نماذج الآلة القابلة للتفسير
15 نوفمبر ٢٠٢٠
#تعلم_الالة
Ghorbani, Amirata, and James Zou. "Neuron Shapley: Discovering the Responsible Neurons." NIPS (2020).
Interpretable AI
تتمتع نماذج تعلم الالة بإمكانيات كبيرة لتحسين المنتجات والعمليات والأبحاث، لكنها عادة غير قابلة للتفسير، فهي تعمل كالصندوق الأسود، لا تشرح توقعاتها ولا اختياراتها ولا حتى طريقة عملها. لذلك ظهر توجه جديد في ساحة أبحاث تعلم الآلة وهو بناء نماذج تعلم الآلة القابلة للتفسير، حيث تشرح هذه النماذج كيف تعمل "تحت غطاء محرك السيارة"، وتوضح ما هي نقاط القوة والضعف عندها و كيف يمكن تفسير مخرجاتها.
اقرأ كتاب Interpretable Machine Learning A Guide for Making Black Box Models Explainable المنشور حديثا- وتحديدا قبل عدة أيام من نشر تاريخ هذه المختارة
ومن هذا المنطلق، قام الباحثان Ghorbani و Zou بتطوير اطار عمل اسموه ب Neuron Shapley يهدف الى تفسير أداء نماذج التعلم العميق، وتحديد الخلايا العصبية أو Neuron الفعالة والمسؤولة بشكل مباشر عن أداء هذه النماذج. سمي النموذج ب Shapley استنادا إلى قيمة شابلي Shapley value أحد مفاهيم نظرية اللعبة Game Theory.
لشرح مفهوم قيمة شابلي، فلنتخيل هذا المثال: يتعاون مجموعة من اللاعبين ويحصلون على مكاسب معينة من هذا التعاون. نظرًا لأن بعض اللاعبين قد يساهمون في التحالف أكثر من غيرهم، ما هو مدى أهمية كل لاعب في هذا التعاون، وما هي المكافأة التي قد يتوقعها كل لاعب بناء على ذلك؟ توفر قيمة شابلي إجابة واحدة محتملة لهذا السؤال. لنتخيل تطبيق قيمة شابلي في نموذج تعلم الآلة: قمت بتدريب نموذج تعلم للتنبؤ بأسعار الشقق. توقع نموذجك أن قيمة الشقة المعطاة هي ٣ مليون ريال وتحتاج إلى شرح هذا التوقع. الميزات: تبلغ مساحة الشقة خمسين متر مربع وتقع في الدور الثاني وهناك حديقة قريبة منها كما يمنع وجود القطط. والسؤال هنا ما مقدار مساهمة كل ميزة أو لاعب في هذا التنبؤ؟ ستكون الإجابة على ذلك عبر قيمة شابلي.
في هذا البحث، قام الباحثان باستخدام أسلوب مختلف، حيث قاما بتقدير مساهمة كل خلية عصبية neuron في الشبكات العصبية العميقة كالتالي
يمكن تبسيط هذه المعادلة كالتالي: تقدر مساهمة الخلية العصبية من خلال مساهمتها الهامشية في أداء كل شبكة خلايا فرعية S من النموذج الأصلي مع اعتبار التفاعلات بين الخلايا العصبية. مثلاً: لنفترض خليتين عصبيتين يتحسن أداء النموذج فقط في حالة وجودهما أو غيابهما، ويتضرر الأداء في حال غياب أحدهما. تأخذ هذه المعادلة هذا السلوك في الاعتبار عند حساب مساهمة كل خلية عصبية.
م تطبيق Neuron Shapley على نموذجي Inception-v3 المحتوي على قرابة ١٧ ألف فلتر SqueezeNet والمحتوي على ٣٠٠٠ فلتر. كلا النموذجين يستخدمان الشبكات التلاففية العميقة لتنفيذ مهام الرؤية الحاسوبية computer vision كاكتشاف جنس صاحب الصورة . وجد Neuron Shapley أن عشر فلاتر من Inception-v3 ٢٠ فلتر من SqueezeNet هي الفعالة فقط في اداء هذا النموذج (تم اكتشاف ذلك عبر ازالة هذه الفلاتر واختبار أداء النموذج)!
تحديد الفلاتر الفعالة ليس فقط سيساهم في تفسير سلوك النموذج، بل سيساعد بشكل كبير في إجراء تعديلات ما بعد التدريب دون الحاجة للوصول الى بيانات التدريب نفسها. مثلا بمجرد معرفة الخلايا العصبية، يمكن إزالة تلك التي ادت للتحيز في النتائج أو كانت ضعيفة إزاء adversarial attacks. يعيب Neuron Shapley تكلفته العالية حاسوبياً لكن حاول الباحثان تخفيف هذا الاثر عبر اعتماد خوارزمية Multi-armed bandit.