٢٢ يوليو ٢٠٢٠
نموذج اللغة GPT-3
#تعلم_الآلة #التعلم_العميق #معالجة_اللغة_الطبيعية
سلسلة عن نموذج اللغة GPT-3 الذي أطلقه معمل OpenAI والذي أسرت نتائجه مجتمع التقنية.
نموذج GPT-3 هو النسخة الثالثة من نماذج تعلم الآلة التوليدية الخاصة بمعالجة اللغة، وهو أضخم النماذج على الإطلاق حتى الآن! البحث: https://arxiv.org/abs/2005.14165
في فبراير 2019، قام معمل OpenAI بإطلاق نموذج اللغة GPT-2 الذي يأخذ نص قصير كمُدخل لتوليد عدة فقرات من نصوص اللغة الطبيعية السليمة لغويا والمتجانسة. بعد عام أطلقت GPT-3 الذي يفوق حجم سابقه ب ١٠٠ مره محتويا على ١٧٥ بليون معامل. الصورة المرفقة توضح القفزة الهائلة في عدد المعاملات!
سبق إطلاق GPT-3 إعادة هيلكة OpenAI لتتحول من منظومة قائمة على المتبرعين فقط إلى السماح للمستثمرين من الدخول فيها، واعتمدت هيكلة capped-profit الهجينة أي أنها مؤسسة ربحية وغير ربحية معا! استثمرت مايكروسوف بليون دولار عبر بناء معمل من الحواسيب الفائقة الأداء.
المهمة التي تدربت عليها GPT3 هي كالتالي: بالنظر إلى الكلمات السابقة في النص، توقع الكلمة التالية! أثناء التدريب قام النموذج بالاعتماد على بيانات هائلة من مستودعات النصوص Common Crawl و Wikipedia. جهاد العمار يقدم شروحات مرئية في غاية الروعة عن هذا النموذج
تم إطلاق نسخة بيتا من النموذج، اتيح لمجموعة من المختصين تجريبها، ضج تويتر بأمثلة عن التطبيقات الممكنة للنموذج. أول مثال قام به @lacker الذي عمل اختبار تورنغ الذي يقيس ما إذا كانت الآلة تُظهر ذكاء مشابه للإنسان. قدم النموذج إجابات رائعة، إلا أنه لم ينجح!
كما قام المطور @mckaywrigley ببناء تطبيق "تعلم من أي أحد" في ٣ ساعات، استخدم نموذج GPT-3 ليحاكي عملية إجراء حوارات مع شخصيات معروفة مثل إيلون مسك!
هنا مقالة كاملة تمت كتابتها باستخدام النموذج بعنوان: OpenAI's GPT-3 may be the biggest thing since bitcoin من الطريف انها تحتوي على تفاصيل عن تجارب قام بها الكاتب لتجربة النموذج في أحد المواقع، كل التجارب المذكورة متخيلة غير حقيقية، وقعت في مخيلة النموذج!
أما هنا، فقام @jsngr ببناء plug-in في برنامج تصميم الواجهات الشهير Figma باستخدام هذا النموذج، كل ما عليك هو أن تكتب وصف شكل التطبيق الذي تود تصميمه كتابة ليقوم النموذج بإنشاء الواجهات!
قام @paraschopra ببناء محرك بحث كامل باستخدام هذا النموذج، تطرح عليه السؤال فيرد عليك بالجواب الدقيق مع إرفاق رابط لمصدر المعلومة!
واخيرا قام @sharifshameem ببناء تطبيق React عبر استخدام هذا النموذج، تعطيه وصف التطبيق ويقوم بكتابة الكود البرمجي كاملاً!