تحقيق إخباري

تقييم الأبحاث: يوم الحساب

تعمل عدة حكومات على تقييم نوعية الأبحاث الجامعية، مما يثير فزع بعض الباحثين.

بريان أوينز
  • Published online:

LESTYAN/SHUTTERSTOCK


قبل عامين، وجد الأكاديميون في جامعة لانكستر في المملكة المتحدة أنفسهم في وضع غير مريح عندما كان يجري تصنيفهم. كان على كل منهم تقديم أفضل أربعة أبحاث نُشِرت له في السنوات القليلة الماضية، ومن ثمّ الانتظار لعدة أشهر، حيث كانت لجان صغيرة من الزملاء ـ يضمّ كلٌّ منها شخصًا واحدًا على الأقل من خارج الجامعة ـ بصدد الحكم على جودة العمل. وعُرِضت على الذين فشلوا في التقييم أشكال مختلفة من المساعدة، بما فيها الحصول على توجيه من أحد الزملاء الأكثر خبرة، أو بداية مبكرة للتفرغ المقبل، أو انقطاع مؤقت عن مهام التدريس.

لم تَسْعَ الجامعة لإجراء هذه العملية الضخمة لمجرد التأكد من أن الباحثين كانوا يبذلون ما يكفي من الجهد. فقد كان التقييم تدريبًا للإعداد لـ«إطار التميز البحثي» REF، وهو تقييم واسع النطاق لجودة البحوث في كل جامعة ومعهد عامّ للبحوث في المملكة المتحدة، ومن المقرر أن يجري في عام 2014.

لقد وُضِعَتْ فكرة التدريب «لتحديد المجالات التي يمكننا أن نساعد بها الناس على تطوير ملفاتهم الشخصية»، حسبما يقول تريفور ماكميلان، مساعد نائب مستشار جامعة لانكستر للبحوث. ومن دواعي السرور، كما يقول، أن النتائج أشارت إلى أن الجامعة ستسجّل أرقامًا أفضل من تلك التي حصلت عليها في التقييم الوطني الأخير، في عام 2008.

والتقييمات الصورية الأخرى كانت أقل سلاسة. ففي استطلاع شمل أكثر من 7,000 أكاديمي بريطاني، ونشره اتحاد الجامعات والكليات في لندن في 3 أكتوبر الماضي، ذكر ما يقرب من %12 أنهم أُخبِروا أن الفشل في تلبية معايير إطار التميز البحثي لجامعاتهم في مرحلة التدريب قد يؤدي إلى تغيير عقودهم، لتصبح مقتصرة على التدريس فقط، قبل إجراء التقييم الحقيقي لإطار التميز البحثي (انظر: go.nature.com/eqiirr). وقد ذكر ما يقرب من %10 أنهم واجهوا إمكانية الحرمان من الترقية. وقد تعرض عشرة أكاديميين في جامعة كارديف لضغوط من أجل تبديل عقودهم إلى عقود تركِّز على التدريس، بعد أن كانت النتائج التي حصلوا عليها أثناء تدريب عملي سيئة، لكي لا يكونوا السبب في فشل أقسامهم، استنادًا إلى بيتر جيست، المتخصِّص في علم الآثار في كارديف، ومنسّق اتصال الجامعة في اتحاد الجامعات والكليات لشؤون إطار التميز البحثي. هذا النوع من اللعب غير محبّذ، ولكنه ليس ممنوعًا صراحةً ـ من جانب إطار التميّز البحثي ـ ولكن اتخاذ القرارات المهنيّة بناء على التقييم فقط يتعارض وسياسات الجامعة، كتعارضه مع سياسات عديد من المؤسسات الأخرى، استنادًا إلى قول جيست.

تم التوصّل إلى حلّ لجميع حالات كارديف خلال يوم أو يومين، مع مديرين «ذُكِّروا بقوة» بقواعد اتحاد الجامعات والكليات، حسب قول جيست، لكن التجربة تبيِّن مدى الإغراء الذي تقع فيه المؤسسات لاتخاذ القرارات المهنيّة على أساس المعدلات المتوقعة لإطار التميّز البحثي، التي تتصف بعدم الموضوعية الشديدة. وهذا التقييم ليس نزيهًا، وغير موثوق فيه، كما يقول جيست. ورَدًّا على أسئلة تتعلق بهذا الأمر، قال المتحدث باسم الجامعة في رسالة بالبريد الإلكتروني: «لقد تم تشغيل برنامج طويل الأجل لأكثر من أربع سنوات؛ لضمان أن أعضاء هيئة التدريس لدينا يعملون بعقود تعكس ما يفعلونه في الواقع».

وقد استاء منها عديد من الأكاديميين الذين سجّلوا درجات جيدة في عمليات التقييم الصورية. وينظر الباحثون في جميع أرجاء المملكة المتحدة إلى هذه التقييمات الوطنية باعتبارها نتيجة فرضتها البيروقراطية التي يمكنها أن تخنق الإبداع.


تحت الضغط

اعتبر معظم الأكاديميين في لانكستر عملية التقييم الصوري أكثر من مجرد كونها من النتائج «المزعجة بعض الشيء» للبيروقراطية، وأن الأمر الحقيقي مختلف. يقول أحد أعضاء قسم الرياضيات والإحصاء: «يعمل الأستاذ الباحث الأعلى في قسمنا على إعداد ما سنقدّمه للتقييم في إطار التميز البحثي، وهذا يستهلك حوالي ثلث وقته. وهذا يبدو مضيعة للموهبة». ويركّز عديد من الباحثين على الفوز بالمنح، ومحاولة التنبؤ بنوع العمل الذي سوف يحصل على المكافأة في التقييم القادم، بدلًا من تقديم أفضل علومهم. تقول دوروثي بيشوب، المتخصصة في علم النفس التجريبي في جامعة أكسفورد بالمملكة المتحدة: «أعتقد أن الكثير من العلم لا يُقدَّم بشكل جيد للغاية في هذه الأيام، لأن الناس يحاولون القيام بأشياء كثيرة جدًّا»، لكن مديري الجامعات والحكومة أصبحوا يعتمدون على هذه التقييمات؛ لمساعدتهم على اتخاذ قرار بشأن كيفية صرف التمويل. وقد لاقت هذه الفكرة استحسانًا كبيرًا بين القيادات التربوية في البلدان الأخرى التي تتبع نموذج المملكة المتحدة، وبدأت محاولات مماثلة بالظهور في أستراليا، وإيطاليا، وألمانيا، وأماكن أخرى.

في أواخر الثمانينات من القرن العشرين، أصبحت المملكة المتحدة أول دولة تُجْرِي تقييمًا منهجيًّا لنوعية بحوثها الجامعية. ويعتبر إطار التميز البحثي أحدث تجسيد لهذه الاختبارات. وهذه التقييمات التي كانت تُعرف سابقًا باسم اختبارات «تقييم الأبحاث» RAE، كانت موثوقة للغاية، ويُنسب إليها الفضل في المساعدة على تحسين نظام البحوث في البلاد. وبين عامي 2006 و2010، ارتفع معدّل الاستشهاد بالمقالات البريطانية بنسبة %7.2، بأسرع من ازدياد المتوسط العالمي البالغ %6.3، وارتفعت حصة البلاد من الاستشهادات بنسبة %0.9 سنويًّا، وفقًا لتحليل أجرته عام 2011 شركة «إلسيفير» للنشر لصالح الحكومة.

يتم استخدام التقييم من قِبَل حكومة المملكة المتحدة لتوزيع أكثر من 1.6 مليار جنيه استرليني (2.6 مليار دولار) سنويًّا على شكل منح مخصّصة للجامعات. ويذهب أكثر من %70 من مجموعها إلى حوالي 20 جامعة حائزة على أعلى الدرجات، ففي العام الماضي، حازت جامعة أكسفورد على أكثر من 130 مليون جنيه استرليني من التمويل المرتبط بالنوعية، في حين اكتفت المعاهد والمؤسسات الأقل إجراءً للبحوث المكثفة ببضع عشرات الآلاف من الجنيهات الاسترلينية فقط. ويتم تجميع نتائج التقييم بحرص في جداول جامعية، تُظْهِر أيّ الجامعات كانت الأفضل أداءً، وفي أي التخصصات (انظر: «أفضل 5»).

كبر الصورة

يقول ماكميلان: «يمكن للجوانب المتعلقة بالسمعة أن تكون بأهمية الجوانب المالية ذاتها». وقد أفادت معاهد أصغر، تتميز بقوتها في موضوعات معينة ـ كما هو حال لانكستر في الفيزياء ـ أنها تواجه صعوبات أقل في اجتذاب الطلاب إلى هذه المناطق، كنتيجة للتقييمات. ولا يقتصر الأمر على الطلاب فقط. يقول ماكميلان: «إحدى النتائج هي أن الناس يريدون حقًا أن يأتوا إلى القسم الذي حاز معدّلًا جيّدًا في اختبارات تقييم الأبحاث. لقد وجدنا أنه من الأسهل تعيين موظفين ذوي كفاءة عالية في الفيزياء».

تُقدّم الجامعات ـ من أجل إطار التقييم البحثي ـ مجموعة مختارة من أعمال معظم الباحثين النشطاء لديها إلى واحدة من عشرات القوائم التي تضم موضوعات محددة، تُعرف باسم وحدات التقييم التي تتوافق تقريبًا ـ ولكن ليس تمامًا ـ مع أقسام الجامعة. تعمل هذه القوائم على تقييم نوعية الأبحاث باستخدام التحكيم العلمي، ومقاييس أخرى، كمؤشرات الاقتباس. كما ستنظر ـ للمرة الأولى ـ في الآثار الاقتصادية والاجتماعية للبحوث التي تقدمها الجامعة. ويوافق منتقدو هذه التقييمات على وجود بعض الآثار الإيجابية على نظام البحوث في البلاد، فنظرًا إلى أن هذه الاختبارات تحكم على الأكاديميين من حيث نوعية أبحاثهم، فقد حاولت أقسام عديدة تقليص مطالبه الأخرى، كالأعمال الإدارية، كما يقول جيست. وبالإضافة إلى ذلك.. فإن النتائج توضح أي الأقسام والأكاديميين لا يبذل جهدًا كافيًا، وتسمح للجامعات باتخاذ قرارات استراتيجية تتعلق بكيفية استثمار الموارد.

واجهت كلية رويال هولواي، بجامعة لندن، هذا الوضع نفسه بعد الانتهاء من تقييم البحوث الأولى في عام 1986، التي وضعت قسم علم النفس في الجامعة في ذيل قائمة التصنيف على مستوى البلاد، حسبما تقول كاثي راسل، المتخصصة في علم النفس المعرفي، ومديرة القسم لشؤون البحوث. ومع الإدراك بأنه لن يكون قادرًا على دعم تصنيفه عن طريق التعاقد مع باحثين مميزين في المجال، فقد سعى القسم إلى جذب وتطوير المواهب الشابة. تقول راسل: «إننا نحاول التركيز على أفراد نشعر بأنهم يتمتعون بإمكانيات كبيرة».

وحاليًا يجد علماء النفس المهنيون من الشباب في رويال هولواي مجموعة عروض ابتدائية «أساسية، ولكنها مصمَّمة لهم»، كما تقول راسل، مع التزامات تدريسية قليلة جدًّا خلال السنتين الأوليين. كما أنهم يحصلون على مساعدة من الزملاء الأكثر خبرة في إعداد مقترحات التمويل.

وفي اختبارات تقييم الأبحاث التي جرت عام 2008، بعد عقدين من رعاية صغار الموظفين، احتل القسم مركزًا بين العشرة الأوائل في البلاد، وكان لديه طموح للوصول إلى مراكز أعلى. تقول راسل: «إنني أتطلع إلى إطار التميز البحثي، كفرصة لإظهار ما حققناه، وللانتقال إلى مراكز أكثر تقدمًا».


فكرة تنتشر

مع تبنّي دول أخرى إجراء تقييمات البحوث الوطنية الخاصة بها، فهي تأمل في تحقيق الفوائد نفسها. وفي هذا العام، نشرت إيطاليا نتائج تقييم بدأ في عام 2011 (انظر: Nature http://doi.org/nrx; 2013)؛ استهدف زيادة جدارة الجامعات في البلاد، حيث يتلقَّى الأكاديميون من الدرجة نفسها ومن تاريخ الأقدمية ذاته الراتب نفسه في الوقت الحالي، بغضّ النظر عن الإنتاجية. يقول جيوفاني أبرامو، الذي يدْرُس القياسات الببليوغرافية وتقييم البحوث في المجلس الوطني الإيطالي للبحوث في روما: «لا توجد حوافز لتحسين أداء البحوث الخاصة بك». ويضيف: «الآن ستذهب بعض الأموال التي تمنحها الحكومة إلى الجامعات على أساس هذا التقييم».

في إيطاليا تجري جهود تقييم ثلاث دراسات منشورة فقط لكل باحث لديه التزامات تدريسية، بينما تقيّم أستراليا جميع الإنتاج البحثي كجزء من مبادرتها لـ«التميز في البحث العلمي من أجل أستراليا» ERA، التي جرت آخر مرة في عام 2012. وتعتمد نسبة صغيرة فقط من وعاء التمويل على النتائج: ففي هذا العام، وبناء على التصنيفات، تم تحديد صرف مبلغ 68 مليون دولار أسترالي فقط (64 مليون دولار أمريكي). كذلك يُعتمد على النتائج بشكل أساسي؛ لإعطاء المعاهد فكرة عن موقعها من حيث الجودة على المستويين الوطني والدولي، وفقًا لقول ايدين بيرن، الرئيس التنفيذي لمجلس البحوث.

لقد أضافت الاختبارات فوائد.. فقد ساعدت ـ على سبيل المثال ـ في التأكد من أن المجلس يوزّع حافظته المخصّصة للمنح التنافسية البالغة قيمتها 800 مليون دولار أسترالي بطريقة معقولة. ومع جولة تقييمية تبلغ تكلفتها 4 ملايين دولار أسترالي، يقول بيرن «إنها طريقة فعالة جدًّا لمراقبة الجودة». ورغم عدم وجود ارتباط رسمي بين «التميّز في البحث العلمي من أجل أستراليا» وعملية المنح، فالأكاديميون الذين يطّلعون كأقران على طلبات المنح، على دراية بنتائج برنامج التميّز في البحث العلمي من أجل أستراليا، وهذا يؤثر على قراراتهم، كما يقول.


آلام متزايدة

من المبكِّر جدًّا معرفة كيف يمكن لجهود التقييم الأحدث في إيطاليا وأستراليا وبلدان أخرى أن تؤثّر على البيئة البحثية هناك (انظر: «قف لتُحَاسَب»)، لكن الباحثين يقولون إنهم رأوا ما يكفي من برنامج المملكة المتحدة طويل الأمد لمعرفة بعض السلبيات.

كبر الصورة


من المخاوف الرئيسة التي جاءت في استطلاع اتحاد الجامعات والكلّيات: ذلك الشرط الذي تضعه جامعات عديدة، ويقضي بأنْ يكون الباحثون قد أصدروا أربعة منشورات عالية الجودة بين عامي 2008 و2013، استنادًا إلى قول ستيفانو فيلّا، مسؤول العلاقات الصناعية الوطنية في الاتحاد.

ومن بين الأكاديميين الذين شملهم الاستطلاع، شعر %67 أنهم لا يستطيعون تقديم الإنتاج المطلوب، دون عمل لساعات طويلة. وقال %34 منهم إن التوتر يؤثّر على صحتهم. وذكر العديد تغيير الطريقة التي ينتهجون بها عملهم، حسب قول فيلّا، فعلى سبيل المثال.. قد يندفع البعض للنشر في فترة التقييم، حتى لو كان يجب الاستفادة من العمل بمزيد من الوقت. يقول فيلّ:ا «إنهم لا يفكرون في أفضل وسيلة لتقديم عملهم، بل فيما قد يكون أفضل من أجل إطار التميز البحثي».

درس فريدريك لي، الخبير الاقتصادي في جامعة ميسوري في كانساس سيتي، كيف أثّر نظام تقييم البحوث في المملكة المتحدة على انضباطه. وقد شهد جولتين من عمليات التقييم مباشرة عندما كان يعمل في جامعة دي مونتفورت في ليستر في التسعينات من القرن العشرين. وهو يقول إن خبراء الاقتصاد الذين يَدْرسون نظريات بديلة، مثل الماركسية، قد أُخرجوا، لأن التقييم دأب على محاباة أعمال الخط العام في مؤسسات النخبة، التي نُشِرتْ في مجموعة فرعية صغيرة من الدوريّات. ويضيف: « كان هناك ضغط جماعي للالتزام بـ«الحشد» البحثي؛ مما أدى إلى تجانس الموضوعات البحثية».

يقول فريدريك لي إنه لم يسبق له أن تعرّض لضغوط للتخلي عن أبحاثه عن تاريخ النظريات الاقتصادية الإبداعية في المملكة المتحدة، لكنه كان يُشجَّع على إرسال عمله إلى دوريات سائدة معينة، حيث كانت فرصة قبولها ضئيلة. وقد أخبره أكاديميون آخرون أنهم تعرضوا لضغوط للانتقال إلى موضوعات بحثية أكثر تقليدية، كما أُخرِج بعضهم من إدارات معاهد كبرى. وقد تحدثت دورية «نيتشر» إلى أحد الاقتصاديين من جامعة مانشستر، يَدْرس النظريات البديلة، وقد ترك القسم بشكل جزئي، لأن التركيز على النظريات الملائمة لاختبارات تقييم الأبحاث يعني أن احتمالات التقدّم بدت معدومة أساسًا.

الأكاديميون قلقون بشكل خاص إزاء الانتقال إلى تقييم تأثير البحوث في إطار التميز البحثي. إنهم يخشون أن يكون هذا مؤشرًا على المدى القصير إلى تفضيل الأعمال التطبيقية على البحوث الأساسية التي ليست لها منفعة عامة فورية واضحة. يقول بيشوب: «بقدر ما يعنيني الأمر، يجب أن تتدارس علمًا جيدًا وتطبِّقه، لا أنْ تفكّر بهذه الطريقة الاستراتيجية المريعة.. فبعض العلم الجيد يستغرق وقتًا طويلًا لإثبات منفعته».

«يجب أن تتدارس علمًا جيدًا وتطبِّقه، لا أنْ تفكّر بهذه الطريقة الاستراتيجية المريعة»

إنّ الوقت والجهد والأموال التي تنفق على التقارير هي أيضًا مصدر قلق كبير: فالاستعدادات لاختبارات تقييم الأبحاث عام 2008 كلّفت الجامعات 47 مليون جنيه استرليني، وفقًا لمراجعة تمت في عام 2009 لهذه الاختبارات. وحتى الجامعات الأصغر، مثل لانكستر، كانت قد طلبت من عديد من الأكاديميين قضاء أشهر في مراجعة طلبات الحصول على التقييم الصوري لإطار التميز البحثي. ومن الممكن أن يكون عبء الوقت أسوأ من ذلك بالنسبة إلى الإداريين، الذين قد يضطرون إلى توظيف موظفين إضافيين للعمل على إطار التميز البحثي، حسب قول بيشوب. فجامعة كلية لندن، مثلًا، وظّفت أربعة من استشاريي التحرير؛ للعمل على الأثر الذي ينجم عن التقييم.

يقول ماكميلان إنه من الطبيعي أن تنفق أكثر قليلًا من الوقت والمال عند الإعداد لمعالجة معيار جديد. «إنه بُعْدٌ جديد، لسنا معتادين عليه». ويضيف قائلًا إن المسؤولين الإداريين في لانكستر يتعاقدون مع محررين محترفين خارجيين؛ للمساعدة فقط في الجزء الأخير من العملية: تحسين دراسات الحالة والتقارير المؤثّرة التي يكتبها الأكاديميون ومكتب الجامعة لدعم البحوث. ومع ذلك.. يقضي ماكميلان نفسه حاليًا بين يومين إلى ثلاثة أيام أسبوعيًّا في تغيير وتبديل تقارير لانكستر، وهو يقول «أعتقد أن إطار التميّز البحثي ربما يستغرق وقتًا أكثر من وقت الاختبارات السابقة». ويضيف: «لقد شهد التحول إلى جدول أعمال معامل التأثير زيادة كبيرة في حجم العمل».

وقد شهدت عدة جامعات فوائد كل تلك الأعمال. فالتحسينات الهائلة التي قدمها قسم علم النفس في رويال هولواي تثبت مدى مساعدة التقييمات الدورية، كما تقول راسل. إن وجود إطار التميّز البحثي مخيِّمًا فوق رؤوسنا يجعلنا نتأكد أننا نأخذ كل ما في وسعنا من خطوات للحصول على أفضل النتائج من المحيطين بنا».