FreezeD و نقل النمط StyleGAN
٣ أغسطس ٢٠٢٠
#تعلم_الآلة #التعلم_العميق #النماذج_التوليدية
للنماذج التوليدية GANs استخدامات متعددة في توليد الصور ونقل الأنماط من صورة إلى أخرى، مشكلتها أنها تتطلب قدرة حاسوبية كبيرة وبيانات تدريب كثيرة بمواصفات خاصة. اشتهرت نماذج نقل النمط StyleGAN التي طورتها Nvidia بغرض تحسين نتائج توليد الصور!
تعتمد GAN على التعلم العميق، ولشرح الفكرة ببساطة، يحتوي النموذج على: المولد Generator والمميز Discriminator. كثيراً ما يوصف المولد أنه مزور اللوحات الذي يحاول إنشاء صور تبدو مشابهة جدًا للصور الأصلية. بينما المميز هو من يحاول اكتشاف ما إذا كانت الصور التي تم إنشاؤها مزيفة أم لا.
(مصدر)
الذي يحصل فعلياً أن كلاً من المولد والمميز يتحسن أدائهما، بمعنى أن المولد يستمر في انتاج صور لا يمكن تمييزها عن الصور الأصلية و في نفس الوقت يستمر المميز بالتحسن في كشف الصور المزيفة! وبعد عدد معين من دورات التدريب ينتج المولد صور لا يمكن تمييزها.
في النسخ السابقة للـ GAN، كان هناك اشكالية: لم يكن بالإمكان نقل كثير من الخصائص المميزة للصور المدخلة. تم العمل على ذلك وتطوير النماذج كما نلاحظ في الصور المرفقة في StyleGAN2، يمكن للنموذج أن يتحكم في خصائص دقيقة جداً مثل لون الشعر وشكل البشرة. رابط البحث
نستعرض اليوم ورقة علمية نشرت فبراير ٢٠٢٠ بهدف تحسين أداء نقل النمط Style Transfer بالمقارنة مع طريقة ضبط المعاملات fine Tuning. اسم النموذج FreezeD، بمعنى تجميد الـ Discriminator، وهو نموذج يقوم على تجميد الطبقات الدنيا من المميز بغرض تحسين الأداء. رابط البحث والأكواد
وبالتالي تكون النتائج ذات جودة عالية مقاربة جداً لطريقة ضبط المعاملات fine tuning دون الوقوع في مشكلة overfitting. ويقاس هذا الأمر عن طريق حساب FID الذي كلما قلت قيمته دل ذلك على جودة وتنوع الصور المولدة.
وبالمثل، على غرار FreezeD، تم نشر نتائج FreezeG وهي تتبع نفس الطريقة لكن هذه المرة مع تثبيت المولد generator. هنا صفحة النتائج
نستعرض بعض نتائج FreezeG، والتي استخدمت لنقل النمط: Cat2Wild و Face2Simpsons:
