(١) زونكي سو، جامعة الصين الطبية
(٢) علي أبريشامي و صديق علي بكري، جامعة الشهيد بهشتي، إيران
(1) Su, Z., 2020, April. Prediction of future citation count with machine learning and neural network. In 2020 Asia-Pacific Conference on Image Processing, Electronics and Computers (IPEC) (pp. 101-104). IEEE. https://ieeexplore.ieee.org/document/9114959
(2) Abrishami, A. and Aliakbary, S., 2019. Predicting citation counts based on deep neural network learning techniques. Journal of Informetrics, 13(2), pp.485-499. https://arxiv.org/pdf/1809.04365.pdf https://www.sciencedirect.com/science/article/abs/pii/S1751157718303821
تمثيل تجريدي يمثل الأوراق العلمية
تقديم منظور
يعد البحث العلمي أحد أهم روافد التنمية في جميع البلدان، هو المحرك الأول للنهضة، الابتكار والإبداع. يحتاج البحث العلمي إلى أسس منهجية لتقييم أهميته ومدى أثره. أحد معايير التقييم هي عدد الاستشهادات citations وهي عدد المرات التي يشار فيها إلى البحث كمرجع في بحث أخر. عدد الاستشهادات مهمة للباحث لأنها أساس لتقييم إنتاجه العلمي، لذلك، القدرة على التنبؤ بعدد الاستشهادات التي يمكن أن تشير إلى بحث منشور بعينه أمر ثوري سيساعد الباحثين في التخطيط المستقبلي لأبحاثهم بشتى تخصصاتهم.
اخترنا لكم في منظور دراستين بحثيتين، كلاهما تقترحان استخدام تعلم الآلة والتعلم العميق للتنبؤ بعدد الاستشهادات على المدى الطويل. الفرق بين الدراسة الأولى والثانية أن الأولى تعتمد على مجموعة من السمات الببليومترية للتنبؤ بينما تعتمد الثانية على عدد الاستشهادات في سنوات معينة للتنبؤ بالعدد الكلي للاستشهادات التي تم رصدها. أبرز الاستنتاجات التي يمكن أن نخرج بها من كلا الدراستين هي المؤشرات التسع التي تدل على أهمية وأثر البحث المنشور، حيث اثبت الباحثون باستخدام نماذج التنبؤ ارتباطها بالابحاث المؤثرة المنشورة سابقا. بمعنى إذا تم رصد هذه المؤشرات التسع في البحث المنشور فهذا يعني ازدياد احتمالية كونه عملاً مؤثراً.
الخريطة الذهنية للمقال (غرِّد)
المقدمة
تهتم الدول بالبحث العلمي وتعتبره قوة دافعة مهمة لتنمية البلاد، يتزايد عدد الباحثين الذين يكرسون جهودهم للبحث العلمي وينشرون إبحاثاً علمية في مجالات مختلفة مما يضاعف من عدد هذه المؤلفات على اختلاف جودتها وأثرها العلمي. دعت الحاجة لتقييم قيمة ومساهمة الأبحاث العلمية في التنمية إلى ابتكار معايير لتقييمها في المجتمع الأكاديمي. توجد أنواع مختلفة من طرق التقييم، أكثرها شيوعاً واستخداماً هو عدد الاستشهادات من البحث المنشور، يعد عدد الاستشهادات مؤشرًا مهمًا نظرًا لاستخدامه كأساس للعديد من المقاييس الأخرى مثل h-index و g-index ومعامل التأثير impact factor ومؤشر i-10 ومقاييس التقييم الأخرى للمجلات والمؤتمرات والباحثين ومعاهد البحوث. كما ركزت بعض الأبحاث على تحليل المؤلفين المشاركين وتحليل التعاون بينهم (co-author analysis and collaboration analysis) كما قامت بعض الدراسات بتحليل شبكة الاستشهادات (co-citation network). في الأسفل نموذج لشبكات الاستشهادات باستخدام بعض الأوراق العلمية تم إنشاؤه باستخدام هذه الأداة.
مثال لشبكات الاستشهادات لمجموعة من الأوراق البحثية
أصبح التنبؤ بعدد الاستشهادات المستقبلية ضروريًا بشكل كبير في المجتمع الأكاديمي. هذا التنبؤ مفيد لهدفين:
١- يمكن للباحثين متابعة أحدث الأبحاث في مجال التخصص وأكثرها تأثيراً ليساعدهم على وضع خطة بحث مستقبلية فعالة.
٢- من خلال التنبؤ بعدد الاستشهادات البحثية يمكن للجامعة أو الجهات التي تمول الأبحاث تقييم الأثر المستقبلي لمؤلفي البحث المنشور ومن ضمنها ما إذا كانوا مناسبين لتوظيف في الجامعات وكذلك مدى جدارتهم في الحصول على المنح والجوائز.
تجدر الإشارة إلى أن التنبؤ بالاستشهاد ليس مهمة بسيطة، حيث تتباين الأبحاث العلمية في أنماط الاستشهادات فيما بينها. على سبيل المثال، تبقى بعض الأبحاث على الهامش لسنوات عديدة ثم تجذب الكثير من الاهتمام (تسمى هذه الظاهرة "الجمال النائم في العلم sleeping beauty in science"). بينما تفقد بعض الأبحاث شهرتها تدريجياً بسبب ظهور طرق جديدة أو فقدان قابلية التطبيق. وبالتالي، لا يمكن لقاعدة واحدة أو نموذج بسيط التنبؤ بفعالية بالاستشهادات المستقبلية لبحث ما.
وجدت الأبحاث السابقة أن كل من: مؤلفي البحث، موضوع البحث، طول البحث، لغة البحث، وقائمة المراجع في البحث كان لهم أثر واضح لقياس عدد الاستشهادات المستقبلية للبحث، كما وجد بحث آخر أن عدد الاستشهادات للسنوات الثلاث الأولى كان له أثر واضح بأعداد الاستشهادات المستقبلية.
منهجية البحث
في الدراسة الأولى تم استخلاص ثمان سمات ببليومترية من الاستشهادات في المراحل الأولى بعد النشر واختبار ما إذا كانت هذه السمات فعالة في التنبؤ بعدد الاستشهادات لأبحاث منشورة في مجال علم وظائف الأعضاء. بعد ذلك تم تحويل المهمة إلى تصنيف ثنائي (Binary Classification) لتحديد البحث المنشور ذا الاستشهادات العالية. وأخيراً، تم تدريب ثلاثة نماذج للتعلم الآلي وشبكة عصبية لاختبار ما إذا كانت هذه النماذج قابلة للتطبيق على مهمة التصنيف الثنائي لعدد الاستشهاد للبحث العلمي المنشور. تم تصنيف الأبحاث إما كونها الأعلى في الزيادة Top Increment Paper-TIP أو الأقل في الزيادة Low Increment Paper-LIP.
بينما في الدراسة الثانية يقترح الباحثون طريقة للتنبؤ بعدد الاستشهادات لبحث علمي بناءً على الاستشهادات الخاصة بها خلال سنوات النشر الأولى. بمعنى آخر يتم استخدام عدد الاستشهادات خلال أول ثلاث إلى خمس سنوات ثم يتم التنبؤ بالاستشهادات في فترة طويلة المدى (على سبيل المثال من الخامسة إلى الرابعة عشرة بعد النشر). الفرق بين الدراسة الأولى والثانية أن المُدخل الوحيد لعملية التنبؤ هو عدد الاستشهادات في كل عام بعد النشر دون استخدام أي مصادر أخرى للبيانات مثل سمات المؤلف وخصائص المجلة ونص البحث، وذلك من أجل الحفاظ على تعريف المشكلة بسيطًا وعامًا وقابل للتطبيق أيضًا في المجالات الأخرى. اعتبر الباحثون مشكلة التنبؤ بالاستشهاد مشكلة انحدار Regression بعد ذلك تم استخدام الشبكات العصبية كنموذج لتعلم مهمة التنبؤ.
رسم توضيحي لمنهجية البحث (غرِّد)
البيانات المستخدمة
الدراسة الأولى
استخدم الدراسة الأبحاث العلمية المنشورة في ٢٦ مجلة في علم وظائف الأعضاء على Web of Science، تسع مجلات من كانت من الربع الأول JCR Quartile 1 و ١٧ مجلة من الربع الرابع JCR Quartile 4. بلغ عدد الأبحاث التي شملتها الدراسة ٢٦٠٠ بحث منشور في هذه المجلات عام ٢٠١١. تم تصنيف هذه الأبحاث حسب الزيادة في عدد الاستشهادات المتراكمة من ٢٠١١ إلى ٢٠١٩.
الدراسة الثانية
جمع الباحثون بيانات الأبحاث البحثية مع الاستشهادات بها من قاعدة بيانات الاستشهاد على Web of Science (WoS) وهي خدمة معروفة لفهرسة الأبحاث العلمية على الإنترنت. درس الباحثون الأبحاث المنشورة في منشورات خمس مجلات مرموقة: Nature و Science و NEJM و Cell و PNAS. الأبحاث المستخدمة في البحث هي التي تم نشرها من ١٩٨٠ إلى ما قبل ٢٠٠٣، وتتضمن ١٥ عامًا من الاستشهادات لكل بحث (جميع الاستشهادات قبل ٢٠١٧).
تم استخراج معرّف البحث (رقم بين واحد و 175432)، ومعرّف المجلة، سنة النشر، وعدد الاستشهادات من السنة 0 إلى 14 بعد النشر. يوضح الجدول التالي شكل البيانات لعينة صغيرة من الأبحاث.
السمات المستخدمة في التنبؤ
في الدراسة الأولى، السمات المستخدمة لتحديد ما إذا كان البحث ستكون TIP أو LIP تم استخراجها من الأبحاث التي تستشهد بالبحث التي سيتم تحديد تصنيفها. المؤشرات للأبحاث التي تستشهد بالبحث في وقت مبكر بعد النشر تحدد مستقبلها إذ أن الاستشهادات المبكرة توضح أن البحث قد تم قبوله من قبل المجتمع الأكاديمي ويمكن أن يكون له فرص أكبر في الاستشهاد بها مقارنة بالبحث دون الاستشهادات المبكرة .
تم استخراج السمات عن طريق استخدام أداتين توفرهما Web of Science وهما: "analyze the result" و"create citation report".
فيما يلي السمات المستخرجة لكل بحث منشور (جميع السمات مستخرجة في السنوات الثلاث الأولى بعد النشر):
١- عدد دول المنشأ للاستشهادات.
٢- عدد استشهادات المؤسسات البحثية.
٣- عدد استشهادات المجلات العلمية.
٤- عدد موضوعات الأبحاث المستشهِدة.
٥- عدد لغات الأبحاث المستشهِدة.
٦- متوسط عدد الاستشهادات التي تم الحصول عليها.
٧- متوسط الزيادة في عدد الاستشهادات التي تم الحصول عليها.
٨- عدد جهات التمويل للاستشهادات.
بينما في الدراسة الثانية، يتم التنبؤ بعدد الاستشهادات البحثية لبحث منشور حتى السنة رقم n بعد نشرها مع الأخذ بعين الاعتبار عدد الاستشهادات لأول k + 1 سنة (من السنة 0 إلى السنة k) بعد نشرها. بمعنى، تتم محاولة المقاربة من العدد الفعلي للاستشهادات عن طريق تقليص الفارق ما بين عدد الاستشهادات المتنبأ به وعدد الاستشهادات الفعلي المعروف مسبقاً. قام الباحثون ببناء نموذج يتعلم التنبؤ بعدد الاستشهادات لبحث ما في المستقبل بناءً على تاريخ الاستشهادات الخاص به (عدد الاستشهادات في كل سنة). يتنبأ النموذج بعدد الاستشهادات كرقم صحيح غير سالب، وبالتالي، تعتبر "مشكلة انحدار" في طرق التعلم الآلي وقد تم استخدام الشبكة العصبية لتعلم الانحدار.
تجدر الإشارة إلى أنه من المهم التنبؤ بعدد الاستشهادات بحيث تشكل كل من المدخلات والمخرجات سلاسل من القيم المتتالية. ولذلك، استخدم الباحثون الشبكات العصبية المتكررة RNNs بسبب فاعليتها في تعلم سلاسل القيم. تتعلم الشبكة العصبية المتكررة RNN عن طريق استخدام نموذج التسلسل إلى التسلسل sequence-to-sequence model، أي يتمكن النموذج من التعرف بشكل فعال على نمط تسلسل الاستشهادات، والتنبؤ بالاستشهادات المستقبلية بشكل سلاسل (السنة الأولى-عدد الاستشهادات في السنة الأولى، السنة الثانية-عدد الاستشهادات في السنة الثانية …. وهكذا إلى السنة الأخيرة).
نتائج التنبؤ في الدراسة الأولى
كفاءة السمات الثمانية المستخرجة في تحديد الأبحاث من صنف TIP
في الدراسة الأولى، تم استخدام أربع مصنفات لتصنيف الأبحاث العلمية إلى TIP و LIP (أعلى وأدنى زيادة في عدد الاستشهادات على التوالي). المصنفات الأربع هي: دعم آلات المتجهات (SVM)، شجرة القرار (Decision Tree)، الغابة العشوائية (Random Forest)، الشبكة العصبية (Neural Network). كان أداء الأربع مصنفات متقارب في تحديد تصنيف الأبحاث ذات الزيادة الأعلى في الاستشهادات TIP. باستخدام معيار الدقة Accuracy كوسيلة للحكم على أداء المصنفات، حازت الشبكة العصبية على أعلى معدل زيادة في الاستشهادات بالمقارنة مع النماذج الثلاثة الأخرى. مما يدل على كفاءة السمات الثمانية المستخرجة في تحديد الأبحاث من صنف TIP.
تحليل السمات على ضوء نتائج التصنيف في الدراسة الأولى
كل من السمة الأولى والخامسة تعكسان أثر تنوع دول المنشأ واللغات للأبحاث التي استشهدت بالبحث في السنوات الثلاث الأولى والتي من شأنها أن تؤثر على تقييم الانتشار الدولي للبحث العلمي مما يزيد من فرص جذب البحث للانتباه في دول مختلفة.
تعكس السمة الثانية اهتمام المنظمات الأكاديمية حول العالم بالبحث، فعندما يستحدث البحث مجالًا بحثياً جديدًا أو تخصصًا فرعيًا، أو تطرح منهجية جديدة للتعامل مع مبحث أكاديمي، يمكن أن تلاحظ المؤسسات الأكاديمية الإبداع والقيمة في ذلك البحث في وقت مبكر. وقد يؤدي الاستشهاد حينما يصدر من مؤسسة أكاديمية رصينة في وقت مبكر من عمر البحث إلى المزيد من الاستشهادات في المستقبل
من جانب آخر تصف السمة الثالثة و الرابعة العدد الإجمالي للمجلات وموضوعات الاستشهاد بالبحث في السنوات الثلاث الأولى. عندما يكون البحث المنشور مهماً كأحد اتجاهات البحث الحديثة في مجال الدراسة، يزداد اهتمام الباحثين على الاستشهاد بها في وقت مبكر. الاستشهاد بالبحث في موضوع دراسة أو مجلة أخرى تدل على إمكانية تطبيق منهجية أو فكرة البحث في مجال مختلف.
وبينما تشير السمة السادسة والسابعة إلى متوسط عدد الاستشهادات والزيادات فيها والتي تعكس بشكل مباشر اهتمام الباحثين بهذا البحث وهذا مرتبط بالاستشهادات المستقبلية بشكل مباشر. السمة الثامنة من جهة أخرى، تدل على أن زيادة الاستشهاد من قبل الأبحاث الحاصلة على تمويل الى اهتمام جهات التمويل بالبحث واعتباره عمل الأكاديمي مهم ومؤثر في هذا المجال. وبالتالي، يتوقع ان تستشهد المزيد من الأبحاث بهذه البحث من باب مواكبة اتجاهات البحث الجديدة.
نتائج التنبؤ في الدراسة الثانية
كفاءة عدد الاستشهادات في السنين الأولى بعد النشر كميزة للتبنؤ بعد الاستشهادات المستقبلية
استخدم الباحثون معيارين شائعين من أجل تقييم النموذج المقترح (اسموه NNCP) ومقارنتها بالطرق الأخرى Baseline: الجذر التربيعي للخطأ التربيعي (RMSE)، وثانيًا، معامل التحديد (R2). يقيس RMSE درجة الاختلاف ما بين القيم المتوقعة بالمقارنة مع القيم الفعلية، وبالتالي كلما قلت قيم RMSE دل ذلك على أن النتائج جيدة. بينما درجة R2 تقيس الارتباط بين القيم الفعلية والمتوقعة، وبالتالي كلما ارتفعت قيمة هذا المقياس دل ذلك على صحة النتائج. (يمكن الرجوع للبحث العلمي للاطلاع على نتائج المقارنة بين النموذج المقترح والطرق الأخرى باستخدام حد ٣ سنوات و٥ سنوات من بيانات الاستشهادات).
استخدم الباحثون النموذج المقترح NNCP والطرق الأخرى من أجل التنبؤ بعدد الاستشهادات لـ ١٥ بحث منشور تم اختيارها عشوائيًا من بين أعلى ١٠٠ بحث تم الاستشهاد بها. نستعرض بالأسفل المقارنة بين أداء النموذج NNCP بالمقارنة مع العدد الفعلي للاستشهادات ونتائج الطرق الأخرى (AVR و GMM) لستة أبحاث بحثية من أصل ١٥، تم استخدام الخمس سنوات الأولى كمدخل للنموذج. تظهر هذه المجموعة التباين الكبير بين الأبحاث العلمية وأنماط الاستشهاد بها خلال الـ ١٤ سنة التي تمت دراستها بها. كما تظهر أن النموذج المقترح (باللون الأحمر) هو الأكثر مقاربة للنتائج الحقيقة (باللون الأخضر).
كما أوضحت النتائج أن دقة النموذج تتحسن مع زيادة عدد السنوات المدخلة في بيانات التدريب، يمكن ملاحظة أن الـ RSME يتناقص مع زيادة كل سنة بينما تتضاعف قيمة R2 مع كل سنة مضافة كما توضح الرسمة بالأسفل.
خاتمة منظور
لا يختلف اثنان على أهمية البحث العلمي وأهمية وجود أسس منهجية لتقييم أثره ومدى إسهامه في الحركة العلمية في تخصص ما. من الدراستين التي تم استعراضها نستطيع أن نستنتج أن عدد الاستشهادات لعدد معين من السنوات كافٍ جداً للتنبؤ بالاستشهادات المستقبلية لبحث ما. وفي نفس الوقت يمكن استخدام مجموعة أشمل من السمات في عملية التنبؤ بحيث تأخذ في عين الاعتبار عوامل اللغة، المؤسسات، المنظمات والبلدان. كل من الدراستين تعاملت مع المشكلة بشكل مختلف، بمعنى أن الأولى تعاملت معها على أنها مشكلة تصنيف بينما الثانية أنها مشكلة انحدار. في كل من الدراستين لم يكن هناك شرح ونقاش كافٍ لتحديد السمات الأكثر تأثيراً والتي كان لها ارتباط واضح بزيادة عدد مرات الاستشهاد. كذلك، لم يتم ذكر تفاصيل كافية لكيفية جمع البيانات من Web of Science في كل من الدراستين. رغم ذلك، نعتقد في منظور أن الدراستين قدمتا تفصيل جيد لعملية النمذجة والاختبار خاصة الدراسة الثانية التي كانت أكثر شمولية من الأولى.