لا لإساءة استخدام البيانات عند تعيين الأكاديميين

في كثيرٍ من الأحيان، لا تُطبق أفضل الممارسات في عملية تقييم سجلات النشر الخاصة بالباحثين. فما المؤشرات التي تجزم بصحة قرار بتعيين أكاديمي في منصب ما، أو بصحة الترتيب التصنيفي لجامعة، أو بالأحقية في طلب منحة ما؟

إن بحثتم عني على أداة «إنسايتس» InCites، وهي أداة أعدّتها شركة «كلاريفيت» Clarivate الأمريكية المعنية بتحليل بيانات البحوث، ستجدون عالم كيمياء حيوية لم ينشر الكثير من الأبحاث مؤخرًا. في المقابل، فإن محرك «جوجل سكولار» Google Scholar، وهو أداة شركة جوجل المعنية بالتنقيب في الأوراق البحثية الأكاديمية التي جرى نشرها، يُظهر المزيد من أعمالي البحثية في السنوات القليلة الماضية حول تقييم البحوث والبحوث مفتوحة المصدر. وكأي شخص آخر، أفضِّل ما يظهر أكثر على محركات البحث، ومحرك «جوجل سكولار» يقدم إحصائيات عدد مرات الظهور تلك، إلا أنها تأتي مشوبة بمزيد من الأخطاء، بسبب الطريقة التي تُجري بها خوارزميات جوجل عمليات زحف على قوائم نتائج البحث عن مؤلف، لتقوم بتصفح تلك النتائج وفهرستها. ومشكلاتي في هذا الصدد بسيطة نسبيًا. على سبيل المثال، أحد أفراد فريقي البحثي يرد اسمه في عشرات الاستشهادات البحثية وفقًا لأداة «إنسايتس»، فيما يرد عشرات آلاف المرات وفقًا لأدوات أخرى لاستخلاص البيانات من المواقع الإلكترونية؛ مثل أداة «جوجل سكولار».

ويحتاج الباحثون، لا سيما من في مقتبل حياتهم المهنية، إلى معرفة كيفية جمع مصادر الأدلة البحثية. إذ يستندون، على سبيل المثال، إلى عدد مرات الاستشهاد بأعمال باحث في الأوراق البحثية المنشورة للبرهنة على مسألة ما أمام لجان التوظيف والترقيات. ويُنظر إلى تلك الأدوات على أنها مصادر موثوقة، رغم أنها قد تعطي إحصاءات شديدة التضارُب. وبعض البيانات الأخرى، التي تأتي على سبيل المثال من إعادة نشر التغريدات التي تشير إلى عمل بحثي على موقع «تويتر»، أو «نقرات الإعجاب» على مقطع فيديو منشور عبر الإنترنت، تُستخدم كأداة للبرهنة على التأثير المجتمعي للبحث، لكن دلالات تلك البيانات تغدو مثيرة لمزيد من الشكوك، عندما توظف بصورة غير ملائمة.

في كثيرٍ من الأحيان، لا تُطبق أفضل الممارسات في عملية تقييم سجلات النشر الخاصة بالباحثين. فما المؤشرات التي تجزم بصحة قرار بتعيين أكاديمي في منصب ما، أو بصحة الترتيب التصنيفي لجامعة، أو بالأحقية في طلب منحة ما؟

وتُعد هذه مشكلة خطيرة، تحمل مفارقات شديدة تمس أركان المجتمع العلمي بأسره. وخلال عملنا كباحثين، اعتدنا استخدام بيانات جزئية، غير مكتملة، يشوبها قصور، من أجل اتخاذ القرارات، واستخلاص الاستنتاجات. وتُعالَج أوجه القصور هذه من خلال عمليات إحصائية، وعمليات لحساب الأخطاء، وممارسات بحث علمي جيدة. بيد أنه في كثيرٍ من الأحيان، لا تُطبق أفضل الممارسات في عملية تقييم سجلات النشر الخاصة بالباحثين. فما المؤشرات التي تجزم بصحة قرار بتعيين أكاديمي في منصب ما، أو بصحة الترتيب التصنيفي لجامعة، أو بالأحقية في طلب منحة ما؟

إن قرارات صياغة السياسات، والتعيين بالوظائف الأكاديمية، ومنح التمويلات، والترقيات ترتكز في أدلتها على أسس غير وطيدة. ولو كانت هذه الأدلة تعتمد على بيانات بحثية؛ لما اجتازت آليات جمعها، ووصفها، وتحليلها، وتفسيرها مرحلة مُراجعة الأقران أبدًا. 

وتمتد هذه المشكلة لتطال مؤسسات بقدر ما تطال أفرادًا وتخصصات بحثية. على سبيل المثال، عكفت أنا وزميلي كارل هوانج، الباحث المتخصص في الوصول المفتوح إلى المعارف من جامعة كيرتِن بمدينة بيرث الأسترالية، على دراسة البيانات التي يرتكز عليها ترتيب بعض الجامعات (C.-K. K. Huang et al. Quant. Sci. Stud. 1 445–478; 2020). ووضعنا نظام ترتيب بسيط (للجامعات) يرتكز على الاستشهاد بالبحوث الأكاديمية الصادرة عن 155 جامعة، ولقمنا هذا النظام ببيانات من المصادر الثلاثة الآتية: «شبكة العلوم» Web of Science، وقاعدة بيانات «سكوبس» Scopus، ومنصة «مايكروسوفت أكاديميك» Microsoft Academic، وجميعها أدوات للتنقيب في سجلات الأوراق البحثية الأكاديمية. ووجدنا أنه قد تغير ترتيب ثلاث جامعات بواقع أكثر من 110 مرتبة، وتغير ترتيب 45 جامعة بواقع أكثر من 20 مرتبة، عندما تغيَّر مصدر البيانات المُدخلة.

ولا عجب في أن المصادر المختلفة للبيانات ونُهُج التصنيف المختلفة تأتي بنتائج مختلفة. بيد أننا نستمر في تجاهل هذه الاختلافات، ونتخذ قرارات بشأن السياسات، والتمويل، والتوظيف كما لو أن أي مؤشر مفرد يمكن أن يحسم الحل. ومن ثم، فإننا نُخطئ لدى اتخاذ الكثير من القرارات الحاسمة، على المستويين الفردي والمؤسسي. 

فما الذي يجب أن يتغير؟ تغير مشهد وضع السياسات خلال العِقد الماضي. على سبيل المثال، يلبي «اتفاق تحسين ممارسات تقييم البحوث» The Agreement on Reforming Research Assessment، الذي نُشر في العشرين من يوليو الماضي (انظر: go.nature. com/3pmwd) النداء الذي جاء به تقرير بعنوان «دعوة باريس لتقييم البحوث» Paris Call on Research Assessment، والذي ناشد بتقييم البحوث العلمية بناء على "مزايا وتأثير حقيقيين، بدلًا من تقييم عدد مرات نشر الورقة البحثية، ومواضع نشرها. وهو ما يعزز جودة الأحكام التي تقدمها مراجعة الأقران، بحيث يدعمها اعتماد على نحو مسؤول على المؤشرات الكمّية". بعبارة أخرى، سأم من وجهوا هذه الدعوة بدورهم من الإحصائيات منزوعة السياق. وقد جاءت هذه الدعوة في أعقاب «إعلان سان فرانسيسكو بشأن تقييم البحوث» الصادر في عام 2013 و«بيان لايدن» الصادر في عام 2015، وكلاهما ينادي بإحداث تغيرات مماثلة على مستوى السياسات".

ولتلبية تلك النداءات، تحتاج الأوساط الأكاديمية إلى تغيير ثقافة جمع الأدلة البحثية المُستخدمة في تقييم نتائج البحوث. ولن يتأتى ذلك إلا إذا طالب المجتمع العلمي بأسره بالارتقاء بمعايير تقييم البحث العلمي. فعلينا أن نقدم سردًا أفضل للقصص التي تقف وراء أعمالنا البحثية ونجاحها، أي نطرحها بمزيد من الكلمات المعبرة وبقدر أقل من الإحصائيات ذات الدلالات غير المجدية، وبهذا نولي احترامًا أكبر لتنوّع التخصصات، والطرق العديدة التي يُخلف بها الباحثون بصمة وتأثيرًا. 

كما يجب على كبار الباحثين تقييم جودة الأدلة البحثية المقدمة بعين ناقدة حينما يكونون بصدد إبداء الحكم على عمل بحثي، أو عند تقييم المتقدمين للحصول على مِنحة بحثية، أو خلال تقييم أداء الأقسام البحثية. كما علينا دعم الباحثين ممن في مستهل حياتهم المهنية، من خلال صياغة مبادئ توجيهية يحتكمون إليها، وكذلك تدريبهم لمساعدتهم على تقديم أفضل براهين ممكنة تتيح لهم الترقي في مشوارهم المهني.

ويُتوقع أن يقع الجهد الأكبر في هذا السياق على عاتق الباحثين ممن في مقتبل أو منتصف حياتهم المهنية، وهو ما يعد غير منصفًا، لكنه مما لا مفر منه كذلك. فهؤلاء يُعد تقييم الأبحاث شديد الأهمية لهم. ولهم الاختيار ما بين تقديم أدلة بحثية أكثر دقة واكتمالًا لدى طلب المنح البحثية (من جهات المجتمع الأكاديمي) أو الاكتفاء بذكر الإحصائيات المعتادة. وفي الوقت نفسه، تُعد هذه فرصة لإعادة تشكيل سرديات أبحاثهم، مع جعل تقييمها أكثر إنصافًا.

وقد بدأ هذا يتحقق بالفعل. فمشهد وضع السياسات المعنية بهذا الصدد آخذ في التغير في أعقاب «اتفاق تحسين ممارسات تقييم البحوث» ومبادرات شبيهة في عديد من البلدان. وبصفة متزايدة، بدأت التقييمات اللازمة لتقديم المنح، ومنح الترقيات، والتعيين بالمناصب تتطلب براهين نوعية مدعومة بأدلة كمّية. ومزيد من كبار الباحثين صاروا يطالبون بالارتقاء بمعايير اختيار الأدلة البحثية عند تقييم البحوث العلمية. وبدأت ألحظ تزايُد عدد صغار الباحثين الذين يٌقدمون براهين متقدمة، ومحكمة، ومتنوعة من أجل دعم بحوثهم العلمية أمام لجان الترقيات الأكاديمية أو في عمليات تقييم طلبات المنح.

لذا، لن يتأتى التغيير الحقيقي إلا حينما يبدي من تخضع جهودهم البحثية للتقييم استعدادًا لتقديم نفع وتأثير حقيقيين من خلال أبحاثهم، بصرف النظر عن عدد الاستشهادات البحثية التي يستند إليها العمل البحثي أو عدد التغريدات التي تشير إليه على موقع تويتر، أو مؤشّر هيرش (الذي يقيس إنتاجية المؤلف بناء على عدد الاستشهادات البحثية التي تشير إلى بحوثه المنشورة). وربما تروق لي الأعداد الأكبر، لكنني أُفضِّل العمل في عالمٍ يستدل بأعدادٍ ذات دلالة معلوماتية قيمة.