Transformer الرسّام!

٣٠ أغسطس ٢٠٢٠
#الرسوم_الثلاثية_الأبعاد  #معالجة_اللغة_الطبيعية #التعلم_العميق
pixar_8999674.jpg

 نموذج Transformer  هو نموذج  تعلم عميق تم تقديمه في عام 2017 ، ويستخدم بشكل أساسي في مجال معالجة اللغة الطبيعية (NLP).  يتعامل هذا النموذج مع البيانات التسلسلية  كاللغة الطبيعية  لمهام مثل الترجمة و تلخيص النصوص. ما يميز هذا النموذج عن باقي شبكات التعلم العميق أنه  لا يتطلب معالجة البيانات التسلسلية بالترتيب. فعلى سبيل المثال ، إذا كانت بيانات الإدخال عبارة عن جملة لغة طبيعية ، فلن يحتاج النموذج إلى معالجة بدايتها قبل النهاية. بسبب هذه الميزة ، يسمح النموذج بتنفيذ المهام بالتوازي وبالتالي تقليل أوقات التدريب.

 

يعتبر Transformer النموذج المفضل لمعالجة العديد من المشكلات في معالجة اللغة الطبيعية، متفوقا على نماذج الشبكات العصبية المتكررة القديمة مثل الذاكرة طويلة المدى (LSTM) ، متيحا التدريب على مجموعات بيانات أكبر مما كان ممكنًا قبل تطويره.  ساهم هذا النموذج في تطوير الأنظمة المسبقة التدريب ك BERT و GPT والمدربة باستخدام مجموعات بيانات لغة عامة ضخمة ، والتي يمكن ضبطها لمهام لغوية محددة. يقدم جهاد العمار شرح متميز لهذا النموذج هنا.

1_blSbN23mOGMZ_DWvTAcO1w.png

وبالتالي يمكن اعتبار ان نموذج Transformer قد يلعب دور المترجم والمدون. ولكن هل يستطيع ان يلعب كذلك دور الرسام؟

 في هذه السلسلة نستعرض بحث قامت مجموعة  Deep Mind والتي استحوذت عليها جوجل عام ٢٠١٤ والذي يقترح تطبيقا جديدا لنموذج Transformer في مجال رسومات الحاسب الا وهو توليد نماذج هندسية ثلاثية الأبعاد 3D Meshes والمستخدم في بناء رسومات الحاسب. 

venus_model2.jpg__1354x0_q85_subsampling

تتكون النماذج الهندسية من سلسلة من المضلعات Polygons والمتصلة مع بعضها البعض . كل مضلع يحتوى على عدد من الرؤوس vertices  حيث تكون كل مجموعة من هذه الرؤوس وجهاً Face.  قام الباحثون في هذا الورقة بتطوير نموذج  اسمه  PolyGen يستخدم Transformer للتنبؤ بالرؤوس والوجوه للمضلعات المكونة للنموذج الهندسي المراد توليده للصورة المعطاة أو الشكل المطلوب بنائه. 

Screenshot 2020-08-29 at 19.56.36.png

توليد النماذج الهندسية باستخدام PolyGen (المصدر)

كما هو موضح في الصورة، يقوم  PolyGen أولاً بإنشاء شبكة رؤوس المضلعات للنموذج الهندسي، ثم بعد ذلك يقوم بتركيب وجوه المضلعات بناء على الرؤوس التي تم توليدها. تولِّد الرؤوس تتابعيا من الأسفل إلى الأعلى كما هو موضوع في الفيديو أدناه. 

 يتوقع ان يحدث هذا النموذج ثورة كبيرة في عالم تصميم النماذج الهندسية والتي تتطلب وقت وجهد يدوي كبير من أجل بنائها و كذلك في الطباعة ثلاثية الأبعاد، وفي أبحاث الروبوت و رؤية الحاسب. هنا مثال لكيف يمكن توليده النموذج الهندسي للصورة المدخلة باستخدام PolyGen. 

Screenshot 2020-08-29 at 20.11.20.png

توليد النماذج الهندسية باستخدام PolyGen - الصورة المدخلة (يسار) (المصدر)