Transformer الرسّام!
٣٠ أغسطس ٢٠٢٠
#الرسوم_الثلاثية_الأبعاد #معالجة_اللغة_الطبيعية #التعلم_العميق
رابط البحث: https://arxiv.org/pdf/2002.10880.pdf
نموذج Transformer هو نموذج تعلم عميق تم تقديمه في عام 2017 ، ويستخدم بشكل أساسي في مجال معالجة اللغة الطبيعية (NLP). يتعامل هذا النموذج مع البيانات التسلسلية كاللغة الطبيعية لمهام مثل الترجمة و تلخيص النصوص. ما يميز هذا النموذج عن باقي شبكات التعلم العميق أنه لا يتطلب معالجة البيانات التسلسلية بالترتيب. فعلى سبيل المثال ، إذا كانت بيانات الإدخال عبارة عن جملة لغة طبيعية ، فلن يحتاج النموذج إلى معالجة بدايتها قبل النهاية. بسبب هذه الميزة ، يسمح النموذج بتنفيذ المهام بالتوازي وبالتالي تقليل أوقات التدريب.
يعتبر Transformer النموذج المفضل لمعالجة العديد من المشكلات في معالجة اللغة الطبيعية، متفوقا على نماذج الشبكات العصبية المتكررة القديمة مثل الذاكرة طويلة المدى (LSTM) ، متيحا التدريب على مجموعات بيانات أكبر مما كان ممكنًا قبل تطويره. ساهم هذا النموذج في تطوير الأنظمة المسبقة التدريب ك BERT و GPT والمدربة باستخدام مجموعات بيانات لغة عامة ضخمة ، والتي يمكن ضبطها لمهام لغوية محددة. يقدم جهاد العمار شرح متميز لهذا النموذج هنا.
وبالتالي يمكن اعتبار ان نموذج Transformer قد يلعب دور المترجم والمدون. ولكن هل يستطيع ان يلعب كذلك دور الرسام؟
في هذه السلسلة نستعرض بحث قامت مجموعة Deep Mind والتي استحوذت عليها جوجل عام ٢٠١٤ والذي يقترح تطبيقا جديدا لنموذج Transformer في مجال رسومات الحاسب الا وهو توليد نماذج هندسية ثلاثية الأبعاد 3D Meshes والمستخدم في بناء رسومات الحاسب.
تتكون النماذج الهندسية من سلسلة من المضلعات Polygons والمتصلة مع بعضها البعض . كل مضلع يحتوى على عدد من الرؤوس vertices حيث تكون كل مجموعة من هذه الرؤوس وجهاً Face. قام الباحثون في هذا الورقة بتطوير نموذج اسمه PolyGen يستخدم Transformer للتنبؤ بالرؤوس والوجوه للمضلعات المكونة للنموذج الهندسي المراد توليده للصورة المعطاة أو الشكل المطلوب بنائه.
توليد النماذج الهندسية باستخدام PolyGen (المصدر)
كما هو موضح في الصورة، يقوم PolyGen أولاً بإنشاء شبكة رؤوس المضلعات للنموذج الهندسي، ثم بعد ذلك يقوم بتركيب وجوه المضلعات بناء على الرؤوس التي تم توليدها. تولِّد الرؤوس تتابعيا من الأسفل إلى الأعلى كما هو موضوع في الفيديو أدناه.
يتوقع ان يحدث هذا النموذج ثورة كبيرة في عالم تصميم النماذج الهندسية والتي تتطلب وقت وجهد يدوي كبير من أجل بنائها و كذلك في الطباعة ثلاثية الأبعاد، وفي أبحاث الروبوت و رؤية الحاسب. هنا مثال لكيف يمكن توليده النموذج الهندسي للصورة المدخلة باستخدام PolyGen.
توليد النماذج الهندسية باستخدام PolyGen - الصورة المدخلة (يسار) (المصدر)
رابط البحث: https://arxiv.org/pdf/2002.10880.pdf