تحقيق إخباري

هل هناك أزمة في قابلية تكرار نتائج التجارب العلمية؟

استطلاع لدورية Nature يكشف عن رؤية الباحثين للأزمة التي تعصف بالبحث العلمي، والحلول التي يقترحونها؛ لمواجهتها.

مونيا بيكر
  • Published online:

حاوَلَ أكثر من %75 من الباحثين تكرار نتائج تجارب أجراها علماء آخرون؛ وفشلوا في ذلك، بل إن أكثر من نصفهم فشلوا في تكرار نتائج تجاربهم الخاصة. ونعرض هنا بعض الأرقام الكاشفة، التي أسفر عنها استطلاع لدورية Nature، شارك فيه 1,576 باحثًا، أجابوا عن استبيان قصير على الإنترنت حول قابلية تكرار نتائج التجارب العلمية.

كشفت البياناتُ المواقفَ المتناقضة في بعض الأحيان تجاه تكرار نتائج التجارب العلمية. فعلى الرغم من أن %52 ممن شاركوا في الاستطلاع يتفقون على أن هناك «أزمة» فادحة في تكرار نتائج التجارب العلمية، إلا أن أقل من %31 منهم يرون أن الفشل في تكرار النتائج المنشورة يشير إلى خطأ في النتائج على الأرجح، ومعظمهم يقولون إنهم ما زالوا يثقون في الدراسات والأبحاث المنشورة.


وتُعَدّ البيانات المتوفرة حول كمية الأبحاث العلمية مكررة النتائج نادرةً وغير مشجعة بصفة عامة. وتفيد تحليلات شهيرة بأن نسبة نجاح تكرار نتائج الأبحاث تبلغ %40 في مجال علم النفس1، و%10 في مجال علم بيولوجيا السرطان2، غير أن المشاركين في الاستطلاع كانوا أكثر تفاؤلًا، فقد قال %73 منهم إنهم يعتقدون أنه يمكن الثقة في نصف الأوراق البحثية على الأقل في تخصصهم، وأظهر المتخصصون في الفيزياء والكيمياء المعدَّلات الأعلى من الثقة.

تعكس النتائج صورة محيِّرة عن مواقف الباحثين إزاء هذه الإشكاليات، على حد قول أرتورو كاساديفال، عالِم الأحياء الدقيقة في كلية جون هوبكنز بلومبيرج للصحة العامة في بالتيمور بميريلاند. يقول: «في الوقت الحالي، لا يوجد إجماع على تعريف «قابلية نتائج التجارب للتكرار»، أو ما ينبغي أن يكون عليه هذا التكرار». ويؤكد أن مجرد إدراك هذه الحقيقة يُعَدّ خطوة إلى الأمام. ويضيف: «ربما تكون الخطوة التالية هي تحديد المشكلة، والحصول على إجماع حول ذلك التحديد».


ويُعَدّ الإخفاق في تكرار نتائج التجارب أمرًا اعتياديًّا، حسبما يقول ماركوس مونافو، المتخصص في علم النفس الحيوي في جامعة بريستول بالمملكة المتحدة، والمهتم منذ أمد طويل بتكرار نتائج التجارب العلمية. يقول: «عندما كنت طالبًا، حاولت تكرار نتائج التجارب العلمية البسيطة، لكنني لم أستطع؛ مما أصابني بأزمة ثقة، لكنني علمتُ بعد ذلك أن ما مررتُ به ليس أمرًا غير عادي».

ولا يكمن التحدي في القضاء على المشكلات التي تعترض تكرار نتائج التجارب العلمية المنشورة فقط. يقول مونافو إن الاكتشافات العلمية الجديدة والمستمرة تعني أن النتائج ـ في بعض الأحيان ـ لن تكون قوية. ويضيف: «نريد اكتشاف أشياء جديدة، ولكنْ في الوقت نفسه، لا نريد ترك الكثير من النتائج الزائفة المضلِّلة لمَنْ بعدنا».


نطاق تكرار نتائج التجارب

إنّ عملية غربلة الاكتشافات؛ لاستبعاد النتائج الزائفة، قد تكون محرجة. وبالرغم من تصريح الغالبية العظمى من المشاركين في الاستطلاع بأنهم أخفقوا في تكرار تجارب علمية، فإن أقل من %20 منهم قالوا إن باحثًا آخر تواصَل معهم بخصوص عدم تَمَكُّنه من تكرار تجاربهم (انظر: «الأزمة بالأرقام»). وقد تشابهت نتائج هذا الاستطلاع إلى حد مدهش مع نتائج استطلاع آخر على الإنترنت، شارك فيه 900 شخص من أعضاء الجمعية الأمريكية لعلم الأحياء الخلوي (انظر: go.nature.com/kbzs2b). وربما تعزى ندرة الاتصالات بين الباحثين إلى صعوبة إجرائها؛ فإذا تواصل الباحثون الذين يكررون التجربة مع الباحثين الأصليين؛ طلبًا للمساعدة، فإنهم يخاطرون بإظهار أنفسهم بمظهر المتشكِّك، أو غير الكفء، وربما يعرِّضون خصوصية مشروعاتهم للانتهاك.

وصرَّح عدد قليل للغاية من المشاركين في الاستطلاع بأنهم حاولوا نشر نتائج تجارب مكررة. وعندما يفشل الباحثون في تكرار نتيجة تجربة ما، غالبًا ما يفترضون أن هناك سببًا وجيهًا تمامًا ـ وعلى الأرجح ممل ـ لهذا الفشل، فضلًا عن أنه ليس هناك حافز قوي لنشر الأبحاث التي تتضمن نجاحًا لتكرار نتائج التجارب، وتتحاشى الدورياتُ نشر نتائج التجارب الفاشلة. في الواقع، قال عدة مشاركين في الاستطلاع ـ ممن نشروا دراسات حول الفشل في تكرار نتائج التجارب ـ إن المحررين والمراجعين طالَبوهم بالتخفيف من حدة المقارنة بالدراسة الأصلية.

ومع ذلك.. أوضح %24 من المشاركين أنهم تمكَّنوا من نشر أبحاث حول تجارب مكررة ناجحة، بينما قال %13 منهم إنهم نشروا دراساتهم حول الفشل في تكرار نتائج التجارب، غير أن الموافقة على النشر كانت أكثر تكرارًا من الرفض، فقد ذكر %12 فقط من المشاركين إنهم لم يستطيعوا نشر محاولات ناجحة لتكرار نتائج تجارب الآخرين، بينما قال %10 فقط إنهم لم يستطيعوا نشر محاولاتهم الفاشلة.


كان إبراهيم الأحمد ـ أحد المشاركين في الاستطلاع، والباحث في مركز علوم الصحة بجامعة تكساس التقنية في أماريلو ـ يتوقع «رفضًا باردًا وجافًّا» عندما حاول نشر دراسة يشرح فيها سبب فشل إحدى تقنيات الخلايا الجذعية معه، لكنه تلقَّى مفاجأة مدهشة عندما تمت الموافقة على نشر الدراسة3. والسبب ـ من وجهة نظره ـ أنه قَدَّم حلًّا للمشكلة التي عرضها.

يرى آخرون أن القدرة على نشر دراسات أو أوراق عن تكرار نتائج تجربة هي مزيج من الحظ، والمثابرة، وأهواء المحرِّرين. يقول مايكل آدامز ـ أحد المشاركين في الاستطلاع، واستشاري تطوير الأدوية ـ إن هناك دراسة تم رفضها ست مرات، حيث كشفت عن أخطاء فادحة في نموذج حيواني لبحوث مرض السكري. ويعزو ذلك جزئيًّا إلى أنها لم تكشف عن دواء بديل، في حين أن دراسة تفنِّد فعالية مركّب لعلاج مرض «تشاجاس» Chagas تمت الموافقة على نشرها بسرعة4، حسب قوله.


الإجراءات التصحيحية

قال ثلث المشاركين في الاستطلاع إن مختبراتهم قد اتخذت إجراءات ملموسة لتحسين قابلية نتائج التجارب للتكرار في السنوات الخمس الماضية. وقد تراوحت المعدلات من %41 في الطب إلى %24 في الفيزياء والهندسة. وكشفت الردود عن الأسئلة المفتوحة في الاستطلاع أن إعادة تجربة ما، أو مطالبة شخص آخر في المختبر بتكرارها، تُعَدّ من أكثر الممارسات شيوعًا. ومن الممارسات الشائعة كذلك.. تلك الجهود المبذولة في توثيق وتوحيد معايير الطرق التجريبية.

يُعَدّ كل واحد من هذه الجهود مشروعًا ضخمًا في ذاته. تقول طالبة دراسات عليا في قسم الكيمياء الحيوية في المملكة المتحدة، طلبت عدم ذكر اسمها، إن جهود تكرار التجارب في مشروعات مختبَرها تستهلك ضِعْف الوقت والمواد، فضلًا عن الوقت المستغرَق في محاولة تحديد المشكلة، عندما يتكرر فشل بعض عناصر التجربة. ورغم أن التكرار ـ على حد قولها ـ يعزز الثقة في النتائج، إلا أن التكلفة المرتفعة تجعلها تعيد فحص المشروعات المبتكرة، والنتائج غير المتوقعة فقط.


يُعَدّ توحيد طرق التجارب مشروعًا في حد ذاته، كما تقول لورا شانكمان، باحثة ما بعد الدكتوراة، التي تدرس خلايا العضلات الملساء في جامعة فيرجينيا في شارلوتسفيل. فبعد أن غادر مختبرها عدة باحثين من طلاب الدراسات العليا ومرحلة ما بعد الدكتوراة، في فترة زمنية قصيرة، وجد الباحثون الباقون صعوبة في الحصول على نتائج ثابتة لتجاربهم. ولذلك.. قرر المختبر التوقف لبعض الوقت عن طرح أسئلة جديدة لتجارب جديدة، ليركِّز على تكرار الأعمال المنشورة، مما أدى إلى انخفاض وتيرة الأعمال المنجزة بصورة تدريجية. وتعتقد لورا أن المختبَر وَفَّر المال بحصوله على نتائج متزامنة للتجربة نفسها، بدلًا من الاكتشاف التدريجي لأسباب فشل التجارب، وهو الأمر الذي يمثل استثمارًا طويل الأمد.

يرى إراكلي لولادز ـ المتخصص في علم الأحياء الرياضي في كلية بريان للعلوم الصحية في لينكولن بولاية نبراسكا ـ أن الجهود المبذولة لضمان قابلية تكرار نتائج التجارب قد تزيد الوقت المبذول في أي دراسة أو بحث بنسبة %30، حتى في دراساته النظرية؛ إذ ينبغي عليه أن يتأكد من أن كل الخطوات، بدءًا من البيانات الخام إلى الشكل النهائي، يمكن تتبُّعها وتكرارها، ولكنْ سرعان ما تصبح عملية الفحص هذه جزءًا من العمل نفسه. يقول: «إن تكرار التجارب يشبه استعمال الفرشاة لتنظيف الأسنان. إنّ هذا العمل مفيد لصحتك، لكنه يستغرق وقتًا وجهدًا، غير أنه يصبح عادةً، بمجرد أنْ تتعلمه».

يُعَدّ التسجيل المسبق أحد الأساليب الشائعة لتعزيز قابلية نتائج التجارب للتكرار، حيث يقدِّم العلماء فرضياتهم وخططهم لتحليل البيانات إلى طرف ثالث قبل إجراء التجربة؛ لمنع انتقاء تسجيل النتائج البارزة إحصائيًّا في وقت لاحق. وقد أتى على ذِكْر هذه الاستراتيجية أقل من 12 مشاركًا، منهم هان واتكنز، طالبة الدراسات العليا، التي تدرس «اتخاذ القرار الأخلاقي» في جامعة ميلبورن في أستراليا، والتي تقول إن عودتها إلى الأسئلة الأصلية بعد جمْع البيانات حالت بينها وبين الوقوع في فخ التحيز. وعلى الرغم من أن العملية تستهلك الكثير من الوقت، إلا أنها ليست مضنيةً كالحصول على الموافقات الأخلاقية، أو صياغة أسئلة الاستطلاعات. تقول واتكنز: «إذا بُنِيَ كل شيء من البداية بالطريقة الصحيحة؛ فإن ذلك يصير جزءًا من روتين إجراء أيّ دراسة».


السبب

طَرَحَ الاستطلاعُ أسئلةً حول الأسباب التي أدَّت إلى ظهور الأزمة في قابلية نتائج التجارب للتكرار. وقال أكثر من %60 من المشاركين إن السبب يُعزى دائمًا ـ أو في معظم الأحيان ـ إلى أحد عاملين؛ الوقوع تحت ضغط الرغبة في النشر، وانتقاء تسجيل النتائج. وأشار أكثر من نصف المشاركين إلى عدم تكرار التجربة بما يكفي في المختبر الأصلي، وضَعْف كل من الإشراف، والمهارات الإحصائية. وأشارت نسبة أقل من المشاركين إلى عقبات أخرى، مثل التباين في وسائل الاختبار، واستخدام أساليب متخصصة من الصعب تكرارها.

كل هذه العوامل ـ حسب قول جوديث كيمبل، المتخصصة في علم الأحياء الإنمائي في جامعة ويسكونسن ماديسون ـ يتفاقم تأثيرها بسبب الأجواء السائدة، مثل التنافس على المِنَح والمناصب، وتزايد وطأة البيروقراطية التي تقتطع من الوقت المخصَّص لإجراء الأبحاث وتصميمها. وتضيف كيمبل: «في هذه الأيام، الجميع مضغوطون ومُشَتَّتو الجهود». وتتجاوز تكلفة ذلك ميزانية أي مشروع بحثي. فعندما يتدرب طلاب الدراسات العليا في مختبرات لا يجد فيها الباحثون الأقدم الوقت لتدريبهم، فإنهم قد يتجهون إلى إنشاء مختبراتهم الخاصة، دون أن يكون لديهم نموذج يحتذون به لإنجاح التدريب والإشراف. وتتابع قائلة: «سيرحلون، وستصبح الأمور أسوأ».


ما الذي يمكن فعله؟

طُلب من المشاركين في الاستطلاع تقييم 11 وسيلة مختلفة؛ لتحسين قابلية تكرار نتائج التجارب العلمية. وحصلت الطرق جميعها على تأييد المشاركين، فحوالي %90 ـ أي أكثر من ألف باحث ـ اختاروا حلولًا محددة، مثل «تصميم أكثر متانة للتجربة»، و«إحصائيات أفضل»، و«إرشاد أفضل». وحَلَّت هذه الخيارات في مرتبة أعلى من خيار إعطاء الحوافز ـ مثل التمويل، والتثبيت في العمل ـ كممارسة تُحَسِّن من قابلية تكرار النتائج، لكنْ حتى الخيارات التي حَلَّت في مرتبة أقل ـ قوائم الفحص والمراجعة ـ حصلت على تأييد %69 من المشاركين.

استهدف هذا الاستطلاع ـ الذي تم إرساله بالبريد الإلكتروني لقرّاء دورية Nature، وتم الإعلان عنه في مواقع الويب وصفحات التواصل الاجتماعي التابعة لها على أنه استطلاع «حول قابلية تكرار نتائج التجارب» ـ اجتذاب مشاركين متحمسين، وعلى وَعْي جيد بمشكلة قابلية تكرار نتائج التجارب. وعلى أي حال، فإن نتائج الاستطلاع تبيِّن أن الدوريات، وجِهَات التمويل، والمؤسسات البحثية التي تدعم السياسات الرامية إلى حل المشكلة ستكون موضع ترحيب على الأرجح، حسب قول جون إيوانيديس، الذي يدرس «الرسوخ العلمي» scientific robustness في جامعة ستانفورد في كاليفورنيا. ويضيف قائلًا: «سيرحب الباحثون ـ على الأرجح ـ بمثل هذه المبادرات». ويعتقد حوالي %80 من المشاركين أن المموِّلين والناشرين ينبغي عليهم أن يبذلوا مزيدًا من الجهد؛ من أجل تحسين قابلية تكرار نتائج التجارب.

يقول مونافو: «من الجيد أنْ نعرف أنّ الباحثين لديهم وعي بالتحديات، وأنهم منفتحون على طيف من الطرق المباشرة لتجاوزها». ولأن هذه الأفكار تحظى في الوقت الحالي بمناقشات على نطاق واسع، حتى في وسائل الإعلام التقليدية، فقد يكون من المهم أَخْذ زمام المبادرة الآن. ويضيف مونافو: «إذا لم نفعل شيئًا الآن؛ فسنُفَوِّت الفرصة، وسيسأم الناسُ من إخبارهم باستمرار بأنّ عليهم أنْ يفعلوا شيئًا».

ساعدت دان بيني في تنفيذ الاستطلاع، وتحليله.

  1. Open Science Collaboration Science http://dx.doi.org/10.1126/science.aac4716 (2015).

  2. Begley, C. G. & Ellis, L. M. Nature 483, 531–533 (2012).

  3. Patel, R. & Alahmad, A. J. Fluids Barriers CNS 13, 6 (2016).

  4. da Silva, C. F. et al. Antimicrob. Agents Chemother. 57, 5307–5314 (2013).