ما هو بيرت؟ | فوكس نيوز

BERT هو إطار عمل تعلم آلي مفتوح المصدر يستخدم في مهام معالجة اللغة الطبيعية المختلفة (NLP). إنه مصمم لمساعدة أجهزة الكمبيوتر على فهم الفروق الدقيقة في اللغة بشكل أفضل من خلال فهم معنى الكلمات المحيطة في النص. الميزة هي أنه يمكن فهم سياق النص بدلاً من مجرد معنى الكلمات الفردية.

ليس سراً أن الذكاء الاصطناعي يؤثر على المجتمع بطرق مدهشة. إحدى الطرق التي يستخدم بها معظم الأشخاص الذكاء الاصطناعي دون علمهم هي البحث على Google. عند القيام بذلك ، من المحتمل أن الباحث استخدم BERT دون علمه في شكل خوارزمية ذكاء اصطناعي ، حيث يستخدمه حوالي 10٪ من جميع عمليات البحث. مكّن إطار العمل هذا Google من التعرف على كيفية بحث المستخدمين عن طريق فهم الكلمات بشكل أفضل بترتيبها وسياقها الصحيحين. ومع ذلك ، فإن BERT أكثر من مجرد جزء من خوارزمية Google. كإطار عمل مفتوح المصدر ، يمكن لأي شخص استخدامه لمجموعة واسعة من مهام التعلم الآلي.

ما هو بيرت؟

BERT ، تمثيلات التشفير ثنائي الاتجاه من المحولات ، هي بنية نموذج التعلم الآلي المصممة مسبقًا للتعامل مع مجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP) بطرق لم تكن ممكنة من قبل. منذ نشرها كورقة أكاديمية بعنوان BERT: التدريب المسبق للمحولات ثنائية الاتجاه العميقة لفهم اللغة (Devlin et al. ، 2018) ، أحدثت ثورة في عالم التعلم الآلي. ثم أصدرت Google Researchها كمنصة مفتوحة المصدر. هذا يعني أنه يمكن لأي شخص استخدام BERT لتدريب نظامه الخاص على أداء مهام معالجة اللغة الطبيعية.

الذكاء الاصطناعي: هل يجب أن تتدخل الحكومة؟ الأمريكيون يزنون في

أصبح BERT شيئًا كبيرًا في مجتمع التعلم الآلي لأنه بدلاً من قراءة النص بالتسلسل ، ستنظر نماذج BERT في جميع الكلمات المحيطة لفهم السياق. إنها تفهم كلمة بناءً على الشركة التي تمتلكها ، كما نفعل في اللغة الطبيعية. على سبيل المثال ، يمكن أن يكون لمصطلح “روز” معانٍ مختلفة اعتمادًا على ما إذا كانت الكلمات المحيطة تتضمن “شوكة” أو “كرسي” أو “قوة”. يستطيع BERT فهم الكلمة المستهدفة من الكلمات الأخرى في الجملة ، بغض النظر عما إذا كانت تأتي قبل أو بعد.

ما الذي يمكن أن يفعله بيرت؟

جزء مما يجعل BERT فريدًا هو أنه إطار عمل ثنائي الاتجاه يمكن أن يوفر فهمًا سياقيًا للغة والجمل الغامضة ، خاصة تلك التي تتكون من كلمات ذات معاني متعددة. لذلك فهي مفيدة في المهام القائمة على اللغة.

يُستخدم BERT في روبوتات المحادثة لمساعدتهم على الإجابة عن الأسئلة. يمكن أن يساعد في تلخيص المستندات الطويلة والتمييز بين الكلمات ذات المعاني المختلفة. كتحديث خوارزمية في Google ، فإنه يوزع نتائج أفضل استجابةً لاستعلام المستخدم.

نظرًا لأن Google قد أتاحت نماذج BERT المدربة مسبقًا للآخرين ، فإن نموذج المصدر المفتوح جاهز للاستخدام بعد ضبط مجموعة واسعة من المهام القائمة على اللغة ، مثل الإجابة على الأسئلة والتعرف على الكيانات المسماة.

كيف يتم استخدام BERT في محرك بحث Google؟

بعد عام من نشر الورقة البحثية ، أعلنت Google عن تحديث خوارزمية لاستعلامات البحث باستخدام اللغة الإنجليزية. عند الإطلاق ، قالت Google إن BERT سيؤثر على 1 من كل 10 عمليات بحث. بالإضافة إلى ذلك ، يؤثر BERT على المقتطفات المميزة ، وهي عبارة عن مربع منفصل يوفر الإجابة مباشرة للباحث بدلاً من قائمة عناوين URL.

بدلاً من استبدال RankBrain (أول طريقة خوارزمية AI من Google) ، فهي مضافة إلى خوارزمية البحث الأساسية. تساعد BERT محرك البحث على فهم اللغة عندما يتحدث الناس مع بعضهم البعض.

اعتبر الإنترنت أكثر المكتبات شمولية على الإطلاق. إذا كان Google أمين مكتبة ، فإن تحديث الخوارزمية هذا يساعد محرك البحث في إنتاج أكثر النتائج دقة بناءً على الاستعلام الذي أجراه الباحث. تستخدم Google BERT في الخوارزمية الخاصة بها للمساعدة في فهم ليس فقط تعريف الكلمة ، ولكن ما تعنيه الكلمات الفردية عند وضعها معًا في جملة. يساعد BERT Google في معالجة اللغة وفهم سياق عبارة البحث ونغمةها والغرض منها كما تظهر ، مما يمكّن الخوارزمية من فهم هدف الباحث.

ارتداد سريع: حذر ستيفن هوكينغ من أن الذكاء الاصطناعي قد يعني “نهاية السباق البشري” هذا العام يؤدي إلى وفاته

تساعد طبقة الخوارزمية الجديدة هذه أيضًا Google على فهم الفروق الدقيقة في طلب البحث ، وهو أمر مهم بشكل متزايد حيث يبحث الأشخاص بالطريقة التي يفكرون بها ويتحدثون بها.

قبل BERT ، سحبت Google الكلمات التي اعتقدت أنها الأكثر أهمية في البحث ، وغالبًا ما كانت تؤدي إلى نتائج أقل من مثالية. قامت Google بضبط تحديث خوارزمية BERT على مهام معالجة اللغة الطبيعية ، مثل الأسئلة والأجوبة ، لمساعدتها على فهم الفروق اللغوية الدقيقة لاستعلام الباحث. يتم الآن أخذ هذه الفروق الدقيقة والكلمات الأصغر مثل “إلى” و “من أجل” في الاعتبار عند جزء من طلب البحث.

بالإضافة إلى ذلك ، تأخذ التقنية إشارات من ترتيب الكلمات في الاستعلام ، على غرار الطريقة التي يتواصل بها البشر. الآن يمكن لـ Google فهم معنى البحث بشكل أفضل بدلاً من مجرد معنى الكلمات في الجملة.

ومع ذلك ، لا يتم استخدام BERT في جميع عمليات البحث. ستستخدمه Google عندما تعتقد أن الخوارزمية يمكنها فهم عنصر البحث بشكل أفضل بمساعدتها. يمكن استدعاء طبقة الخوارزمية هذه عندما يحتاج سياق استعلام البحث إلى توضيح ، مثل إذا أخطأ الباحث في كتابة كلمة. في هذه الحالة ، يمكن أن يساعد في العثور على الكلمة التي يعتقد أن الباحث كان يحاول تهجئها. يتم استخدامه أيضًا عندما يحتوي إدخال البحث على مرادفات للكلمات الموجودة في المستندات ذات الصلة. يمكن أن تستخدم Google BERT لمطابقة المرادفات وعرض النتيجة المرجوة.

كيف يتم تدريب بيرت؟

تم تدريب BERT مسبقًا في وقت واحد على مهمتين. الأول هو نموذج اللغة المقنعة. الهدف هو جعل النموذج يتعلم من خلال محاولة التنبؤ بالكلمة المقنعة في تسلسل. تقوم طريقة التدريب هذه بإخفاء بعض كلمات الإدخال بشكل عشوائي باستخدام كلمة واحدة [Mask] الرمز المميز ، ثم يتنبأ الكمبيوتر بما سيكون عليه هذا الرمز المميز في الإخراج. بمرور الوقت ، يتعلم النموذج المعاني المختلفة وراء الكلمات بناءً على الكلمات الأخرى المحيطة بها والترتيب الذي تظهر به في العبارة أو الجملة. تساعد نمذجة اللغة الإطار على تطوير فهم للسياق.

ما هو تاريخ الذكاء الاصطناعي؟

الجملة التالية ثم توقع BERT. باستخدام نظام التدريب هذا ، يتلقى الكمبيوتر زوجًا من الجمل كمدخلات ، ويجب أن يتنبأ بما إذا كانت الثانية بعد الأولى. خلال هذا التدريب ، تكون الجمل 50٪ من الوقت عبارة عن زوج حيث تتبع الجملة الثانية الجملة الأولى ، بينما يتم اختيار الجملة الثانية بشكل عشوائي من مجموعة النص بنسبة 50٪.

خطوة التدريب النهائية هي الضبط الدقيق لمجموعة واسعة من مهام معالجة اللغة الطبيعية. نظرًا لأن BERT تم اختباره مسبقًا على الكثير من النصوص ، فإنه يختلف عن النماذج الأخرى ولا يتطلب سوى طبقة إخراج محدودة ومجموعة بيانات فريدة للمهمة التي يحاول المستخدم تنفيذها. يمكن لأي شخص القيام بذلك لأن BERT مفتوح المصدر.

ماذا تفعل BERT “بدون إشراف”؟

تعتبر عملية ما قبل التدريب لـ BERT غير خاضعة للإشراف لأنها تم تدريبها مسبقًا على مجموعة بيانات خام وغير مسماة ، وهذا سبب آخر يجعلها نموذجًا لغويًا حديثًا. استخدم التدريب المسبق لـ BERT مجموعة نصوص مشتركة ، مثل ويكيبيديا ومجموعة من الكتب النصية الشائعة.

ما هي الأنواع الأربعة الرئيسية للذكاء الاصطناعي؟ اكتشف كيف يمكن لبرامج الذكاء الاصطناعي المستقبلية أن تغير العالم

ماذا يعني ثنائي الاتجاه في BERT؟

يهدف BERT إلى معالجة القيود الموجودة أثناء عملية التدريب المسبق لنماذج اللغة القياسية السابقة. في السابق ، كان بإمكان هذه النماذج عرض النص فقط من اليسار إلى اليمين أو من اليمين إلى اليسار. في هذه الحالة ، لا يأخذ السياق بعين الاعتبار الكلمات اللاحقة في التسلسل.

بدلاً من ذلك ، يمكن أن يتعلم BERT سياق الكلمة بناءً على الكلمات المحيطة بها ، بحيث يمكنه فهم الجملة بأكملها أو تسلسل الإدخال مرة واحدة بدلاً من كلمة واحدة في كل مرة. هذه هي الطريقة التي يفهم بها الناس سياق الجملة. أصبح هذا التعلم ثنائي الاتجاه ممكنًا من خلال الطريقة التي يتم بها تدريب الإطار مسبقًا باستخدام بنية قائمة على المحولات.

ما هو المحول وكيف يستخدمه بيرت؟

المحول عبارة عن بنية وحدة فك ترميز تسمح لـ BERT بفهم العلاقة السياقية بين الكلمات الفردية في النص بشكل أفضل. الميزة الأساسية هي أن نماذج المحولات يمكن أن تتعلم بنفس الطريقة التي يتعلم بها البشر: تحديد الجزء الأكثر أهمية في التسلسل (أو الجملة).

ما هي الدردشة؟

إن استخدام طبقات الإدراك الذاتي في بنية المحولات هو كيف يمكن للآلة أن تفهم السياق بشكل أفضل من خلال ربط أجزاء إدخال معينة بالآخرين. كما يوحي الاسم ، تسمح طبقات الانتباه الذاتي للمشفر بالتركيز على أجزاء معينة من الإدخال. مع الانتباه الذاتي ، يتم فك رموز تمثيل الجملة عن طريق ربط الكلمات في الجملة. طبقة الانتباه الذاتي هذه هي العنصر الرئيسي في بنية المحولات في BERT.

باستخدام هذه البنية ، يمكن لـ BERT ربط كلمات مختلفة بنفس الترتيب مع تحديد سياق الكلمات الأخرى من حيث صلتها ببعضها البعض. تساعد هذه التقنية النظام على فهم كلمة ما بناءً على السياق ، مثل فهم الكلمات متعددة المعاني ، والكلمات ذات المعاني المتعددة والكلمات المتجانسة ، والكلمات التي يتم تهجئتها بنفس الطريقة ولكن لها معاني مختلفة.

هل BERT أفضل من GPT؟

المحولات التوليدية المدربة مسبقًا (GPT) و BERT هما من أقدم الخوارزميات المدربة مسبقًا والتي تؤدي مهام معالجة اللغة الطبيعية (NLP). يتمثل الاختلاف الرئيسي بين BERT والتكرارات السابقة لـ GPT في أن BERT ثنائي الاتجاه ، بينما GPT هي ذاتية الانحدار وتقرأ النص من اليسار إلى اليمين.

انقر هنا للحصول على تطبيق FOX NEWS

تعتبر أنواع المهام المستخدمة في Google BERT و ChatGPT-4 هي الاختلاف الرئيسي في هذه النماذج. يستخدم ChatGPT-4 بشكل أساسي للذكاء الاصطناعي للمحادثة ، مثل داخل روبوت المحادثة. يعالج BERT الإجابة عن الأسئلة ومهام تمثيل الكيانات المسماة التي تتطلب فهم السياق.

يعتبر BERT فريدًا لأنه ينظر إلى النص الكامل للتسلسل ويفهم سياق الكلمة من حيث صلتها بالآخرين في هذا التسلسل. تحقق بنية المحولات ، جنبًا إلى جنب مع التدريب المسبق ثنائي الاتجاه لبيرت ، هذا التطور.