رؤية كونية

اكبحوا جماح المخاطر التي تهدد القدرة على تكرار النتائج 

تشرح لنا دوروثي بيشوب كيف أن المخاطر المهدِّدة لقابلية تكرار نتائج الأبحاث - التي نعرفها منذ عقود، لكننا لم نواجهها - قد يمكن كبحها أخيرًا.

دوروثي بيشوب
  • Published online:

بعد مرور أكثر من أربعة عقود على بداية مسيرتي المهنية العلمية، أرى نفسي اليوم غريبةً وسط أقراني من العمر نفسه، والأقدمية نفسها في الوسط الأكاديمي؛ فأنا أؤيد بقوة المسعى إلى جعل ممارسة العلوم أكثر تماسكًا. لا أعني بذلك أن زملائي المعاصرين ليسوا مهتمين بممارسة العلوم ممارسة صحيحة؛ كل ما هنالك أن كثيرين منهم لا يبدون مدرِكين لوجود مشكلات خطيرة تشوب الممارسات العلمية الحالية. وعلى النقيض من ذلك، فإني أعتقد أنه خلال عقدين من الزمن، سنلقي نظرة إلى الوراء علما جرى على مدار السنوات الستين الماضية، وخاصة في مجال العلوم الطبية الحيوية، وسنتعجّب من كمّ الوقت والمال المهدَرين على البحوث المعيبة.

كيف يمكن أن يحدث ذلك؟ فنحن نجيد صياغة النظريات، واختبارها داخل إطار تجارب منضبطة. ونستطيع تفسير تفاوت النتائج غير المرغوب فيه باستخدام التقنيات الإحصائية، ونقدّر أهمية تكرار عمليات الرصد.

إلا أن كثيرًا من الباحثين يتمسكون بالعمل بطريقةٍ مِن شبه المؤكد أنها لا تؤتي بنتائج ذات مغزى، فهم يتبعون ممارسات، أدعوها المُدمرات الأربعة لقابلية التكرار، وهي: التحيّز في النشر العلمي، وتدنّي القوة الإحصائية، والتلاعب بقيمة الاحتمالية (P-hacking)، وطرح الفرضيات بعد معرفة النتائج، أو ما يُعرف بالـ«هاركنج»HARKing . ولم يفعل جيلي من العلماء والجيل الذي يسبقه شيئًا يُذكَر لكبح هذه المُدمرات.

في عام 1975، ذكر آنتوني جرينوالد، اختصاصي علم النفس، أن العلوم متحاملة على فرضيات العدم؛ بل قد بلغ بنا الأمر أننا ننظر إلى أبحاث لا غبار عليها تدعم مثل هذه النتائج على أنها "تجارب فاشلة". ويؤدي هذا التحامل إلى وجود تحيز في النشر العلمي، إذ يجعل الباحثين أقل نزوعًا إلى كتابة تقارير عن دراسات لا تضفي أي تأثير، ويجعل محرّري الدوريّات العلمية أقل ميلًا إلى قبول تلك التقارير. ونتيجةً لذلك، فلا تسنح الفرصة لأحد لكي يتعلم من هذه الدراسات، ويهدر الباحثون الوقت والموارد في تكرار التجارب نفسها بلا داعٍ.

بدأ هذا الوضع يتغير لسببين؛ أولهما، أن الأطباء المعالجين قد أدركوا أن التحيز في النشر العلمي يُلْحِق الأذى بالمرضى. فإذا أجريت 20 دراسة على دواء ما، ولا تُظهر سوى دراسة واحدة أن الدواء مفيد، وكانت هذه الدراسة الوحيدة المنشورة عن الدواء، فإننا نحصل على نظرة مشوّهة عن كفاءة الدواء. وثانيهما، أن الاعتماد المتزايد على التحليلات الإحصائية التجميعية، التي تجمع نتائج من مختلف الدراسات، يوضح بشدة أن الميل إلى عدم نشر نتائج سلبية يعطي انطباعات مضلّلة عن الدراسة.

وقد اِتّبع تدنّي القوة الإحصائية مسارًا مشابهًا، إذ لم تتطرق مناهج الإحصاء الدراسية الجامعية التي درستها إلى ذكر القوة الإحصائية؛ وكانت قِلّةٌ قليلة منا مدرِكَة أن علينا أخذ هذه القوة على محمل الجد. فببساطة، إذا كانت تُجرى دراسة ما على عيّنة صغيرة؛ وكان تأثير التلاعب التجريبي فيها قليلًا؛ فمن المرجّح ألّا يلحظ المرء هذا التأثير، حتى إذا كان موجودًا.

ويُعتبر إجراء دراسات ضعيفة إحصائيًّا إهدارًا للموارد والوقت، لكنْ لطالما يعتبر الباحثون علماء الإحصاء الذين يشيرون إلى ذلك أنهم مفسِدون للبهجة. كتب جاكوب كوين في عام 1997 كتابًا قيِّمًا عن هذا الموضوع؛ وبعد عشر سنوات، كتب عالِم إحصاء آخرُ الكلمات التالية: "ما زالت تُجرى دراسات صغيرة مدفوعة بمجرد أمل كاذب في إظهار النتيجة المرغوبة" (R. G. Newcombe Br. Med. J. (Clin. Res. Ed.) 295, 656–659;1987). وفي مجالات مثل التجارب الإكلينيكية، وعلم الوراثة، فرض المموّلون تحسينات على ممارسات العمل، وذلك بإصرارهم على أن تتمتع الدراسات بقوة إحصائية مناسبة، ولكن التخصّصات العلمية الأخرى لم تلحق بعدُ بهذا الركب.

صادفتني مشكلة التلاعب بقيمة الاحتمالية (p)، قبل أن يكون للمصطلح وجود. ففي ثمانينيات القرن الماضي، راجعتُ المؤلفات العلمية المكتوبة عن تخصيص جانبَي الدماغ (أي كيفية تولِّي كل جانب من جانبَي الدماغ وظائف مختلفة عن الآخر)، واضطراباتِ النمو؛ ولاحظتُ أنه على الرغم من أن دراسات عديدة كانت قد وصفت العلاقات بين استعمال إحدى اليدين، وعسر القراءة، فإن تعريف "الاستعمال غير النمطي لإحدى اليدين" اختلف من دراسة إلى أخرى، بل ظهر هذا الاختلاف ضمن المجموعة البحثية نفسها. وقد نشرتُ تعقيبًا ساخرًا، شمل عملية محاكاة كي أثبت كم هو سهلٌ العثور على تأثيرٍ ما، إذا ما اطلع المرء على البيانات بدقة، بعد جمع النتائج  (D. V. M. Bishop J. Clin. Exp. Neuropsychol. 12, 812–816; 1990). لاحظتُ بعد ذلك ظواهر مشابهة في مجالات علمية أخرى، فالباحثون يجرّبون العديد من طرق التحليل، لكنهم لا ينشرون أيٍّ منها سوى تلك التي يعتبرونها "مهمّةً من الناحية الإحصائية".

وفي وقت ما كانت هذه الممارسة، التي غدت تُعرف باسم «التلاعب بقيمة الاحتمالية (P)»، متغلغلة في معظم فروع العلوم التي تعتمد على قيم الاحتمالية (P) لاختبار دلالة النتائج إحصائيًّا؛ لكنّ فئة قليلة من الناس أدركت مدى خطورتها في تشويه النتائج. وقد بدأ ذلك يتغيّر في عام 2011 بفضل نشر ورقة بحثية منسقة فكاهية، نسج فيها مؤلفوها تحاليل دقيقة بغرض إثبات أن الاستماع إلى أغاني فرقة «البيتلز» Beatles قد يجعل طلاّب الجامعات أكثر شبابًا (J. P. Simmons et al. Psychol. Sci. 22, 1359–1366; 2011). وقد كتب مؤلفو البحث أن "المرونة التي لا يُفْصَح عنها تتيح إظهار أي نتيجة على أنها مهمّة إحصائيًّا".

أما مصطلح الـ«هاركنج»، فقد استُحدث في عام 1998 (N. L. Kerr Pers. Soc. Psychol. Rev. 2, 196–217; 1998). وعلى غرار التلاعب بقيمة الاحتمالية، فإن هذه الظاهرة متفشّية إلى درجة جعلت بعض الباحثين يظنون أنها ممارسة جيّدة؛ فهم يعاينون البيانات، ويقتطفون منها نتيجة تبدو مشوّقة، ويؤلفون ورقة بحثية، يروُونَ فيها قصة عن هذه النتيجة. ومن نافلة القول أنه يحقّ للباحثين فحص بياناتهم، بحثًا عن نتائج غير متوقعة، لكنّ قِيَم الاحتمالية تكون بلا مغزى عندما تُستقطع من سياق جميع التحاليل التي أُجريت للحصول عليها.

يزيد عمر هذه المشكلات عن عمر معظم أعضاء هيئة التدريس حديثي التعيين، لكن تعمل قوًى جديدة على كبح جماح هذه المدمرات الأربعة، فأولًا: فهناك مجال دراسة العلوم نفسها باستخدام النهج العلمي (meta-science) الآخذ في التطور، والمصحوب بتطور توثيق هذه المشكلات، والوعي بها؛ إذ لم يعد مقبولًا منا أن نتجاهل المخاوف، لكونها مخاوفَ نظرية بحتة. وثانيًا: إن وسائل التواصل الاجتماعي مكّنتنا من طرح الانتقادات، والنظر فيها بعد النشر بفترة وجيزة. ثالثًا: إن عددًا متزايدًا من الدوريّات العلمية يعتمد الآن صيغة "التقرير الموثق"، التي يقيّم فيها المحرّرون المسألة المراد تجربتها، ويدرسون تصميمها قبل جمع النتائج، وهي استراتيجية تحدّ من التحيّز في النشر العلمي، والتلاعب بقيمة الاحتمالية، وطرح الفرضيات بعد معرفة النتائج. أما القوة الأخيرة والأهم، فهي أن أولئك الذين يموّلون البحوث قد أصبحوا أكثر اهتمامًا وصرامة. وقد طرحوا شروطًا تقتضي أن تكون البيانات والنصوص مفتوحة الوصول، وأن تكون الأساليب البحثية المتّبعة مشروحة بالكامل.

وأتوقع أن تكون لهذه القوى اليد العليا عما قريب، وأنْ يُقْضَى على المُدمرات الأربعة أخيرًا.

دوروثي بيشوب اختصاصية علم النفس التجريبي بجامعة أكسفورد في المملكة المتحدة.

البريد الإلكتروني: dorothy.bishop@psy.ox.ac.uk