یک دانشمند می تواند چندین ماه، و در بسیاری موارد حتی سالها، صرف بررسی جدی یک سوال پژوهشی کند، با هدف نهایی که سهمی – کم یا زیاد – در پیشرفت دانش بشری داشته باشد.

موفقیت در این کار سخت مستلزم آموزش تخصصی، سالها، شهود، خلاقیت، دانش عمیق تئوری های فعلی و گذشته و مهمتر از همه پشتکار فراوان است.

به عنوان عضوی از جامعه علمی، می توانم بگویم که گاهی اوقات، یافتن یک نتیجه جالب و بدیع به همان اندازه سخت است که همکارانتان را متقاعد کنید که کار شما واقعاً بدیع و جالب است. به این معنا که کار شایسته چاپ در یک مجله علمی است.

اما، قبل از انتشار، هر تحقیقی باید از غربالگری “بررسی همتا” عبور کند. این بخش مهمی از فرآیند است – تنها پس از بررسی همتایان می توان یک اثر را بخشی از ادبیات علمی در نظر گرفت. و تنها کارهای بررسی شده در هنگام استخدام و ارزیابی به عنوان یک واحد کاری ارزشمند محسوب می شود.

پیامدهای سیستم انتشار فعلی – بر اساس بررسی همتایان – بر پیشرفت علم در زمانی که رقابت بین دانشمندان در حال افزایش است چیست؟

ضریب تاثیر و معیارهای موفقیت

برخلاف ریاضیات، هر نشریه در علم یکسان نیست. در واقع، حداقل در ابتدا، از نظر کمیته استخدام، وزن یک نشریه در درجه اول توسط “ضریب تاثیر” مجله ای که در آن ظاهر می شود تعیین می شود .

ضریب تاثیر معیاری از موفقیت است که میانگین «استنادات» گذشته مقالات منتشر شده توسط یک مجله در سال‌های گذشته را محاسبه می‌کند. یعنی چند بار یک مقاله توسط سایر مقالات منتشر شده در هر مجله علمی دیگری ارجاع داده می شود. این نمایه ای برای اعتبار یک مجله و شاخصی از استنادات مورد انتظار آینده یک مقاله آینده نگر در آن مجله است.

به عنوان مثال، بر اساس Google Scholar Metrics 2016، مجله با بالاترین ضریب تاثیر Nature است . برای یک دانشمند جوان، انتشار در مجلاتی مانند نیچر می‌تواند نقطه عطف شغلی باشد، تغییری از گذراندن تعداد نامحدودی از سال‌های اضافی در یک موقعیت دانشگاهی کم و بیش مخاطره‌آمیز به گرفتن تصدی دانشگاه.

با توجه به اهمیت آن، انتشار در مجلات برتر بسیار دشوار است و نرخ رد آن از 80 درصد تا 98 درصد متغیر است. چنین نرخ‌های بالایی نشان می‌دهد که تحقیقات صحیح نیز می‌تواند به مجلات برتر تبدیل شود. اغلب، مطالعات ارزشمندی که توسط مجلات برتر رد شده اند به مجلات سطح پایین تر ختم می شوند.

اکتشافات بزرگ نیز رد شدند

ما تخمینی از تعداد اکتشافات بالقوه پیشگامانه ای که از دست داده ایم نداریم، اما سوابقی از چند رد نمونه اشتباه داریم .

به عنوان مثال، مقاله اصلی جورج آکرلوف ، اقتصاددان، «بازار لیمو»، که مفهوم «اطلاعات نامتقارن» را معرفی می‌کند (چگونگی تصمیم‌گیری‌ها تحت تأثیر داشتن اطلاعات بیشتر یک طرف)، چندین بار قبل از انتشار رد شد. آکرلوف بعدها جایزه نوبل را برای این کار و دیگر کارهای بعدی دریافت کرد .

رقابت می تواند نوآوری را افزایش دهد. آیا انصاف در بررسی همتایان را بهبود می بخشد؟ تصویر دانشمندان از طریق www.shutterstock.com

این همش نیست. تنها در سال گذشته، نشان داده شد که سه مجله پزشکی برتر ، 14 مورد از 14 مقاله پر استناد تمام دوران را در رشته خود رد کردند.

سوال این است که چگونه ممکن است این اتفاق بیفتد؟

مشکلات در بررسی همتایان

ممکن است برای کسانی که خارج از دنیای آکادمیک هستند شگفت‌انگیز به نظر برسد، اما تاکنون تحقیقات تجربی کمی در مورد مؤسسه‌ای که همه ادعاهای علمی را تأیید و رد می‌کند، صورت گرفته است.

برخی از محققان حتی از این شکایت دارند که خود بررسی همتایان از نظر علمی تأیید نشده است . دلیل اصلی فقدان مطالعات تجربی در مورد بررسی همتا، مشکل در دسترسی به داده ها است. در واقع، داده‌های بررسی همتایان بسیار حساس در نظر گرفته می‌شوند و به ندرت برای بررسی دقیق منتشر می‌شوند، حتی به شکل ناشناس .

بنابراین، مشکل بررسی همتایان چیست؟

در وهله اول، ارزیابی کیفیت یک کار علمی، حتی برای دانشمندان آموزش دیده، و به ویژه برای مطالعات نوآورانه، کار سختی است. به همین دلیل، داوران اغلب ممکن است در مورد شایستگی یک مقاله اختلاف نظر داشته باشند. در چنین مواردی، سردبیر یک مجله معتبر معمولاً تصمیمی محافظه کارانه می گیرد و آن را رد می کند.

علاوه بر این، برای یک ویراستار مجله، یافتن داوران شایسته می تواند کاری دلهره آور باشد. در واقع، داوران خودشان دانشمند هستند، به این معنی که آنها به شدت مشغول کارهای دیگری مانند تدریس، راهنمایی دانشجویان و توسعه تحقیقات خود هستند. مرور یک مجله باید در کنار کارهای عادی دانشگاهی انجام شود، که اغلب به این معنی است که یک دانشمند می تواند زمان کمتری را نسبت به آنچه که شایسته است به آن اختصاص دهد .

در برخی موارد، مجلات، نویسندگان را تشویق می کنند تا نام داوران را پیشنهاد دهند . با این حال، این ویژگی که در ابتدا برای کمک به ویراستاران معرفی شد، متأسفانه برای ایجاد حلقه‌های بررسی همتایان مورد سوء استفاده قرار گرفته است، جایی که داوران پیشنهادی همدست نویسندگان یا حتی خود نویسندگان با حساب‌های مخفی بودند.

در فرآیند بررسی همتایان مشکلات زیادی وجود دارد. توماس هاوک ، CC BY-NC

علاوه بر این، داوران انگیزه مستقیمی برای انجام یک بررسی خوب ندارند. به آنها پولی پرداخت نمی شود و نام آنها در مقاله منتشر شده وجود ندارد.

رقابت در علم

در نهایت، یک مشکل دیگر وجود دارد که در 15-20 سال اخیر بدتر شده است، جایی که رقابت دانشگاهی برای تأمین بودجه، سمت، فضای نشر و اعتبارات همراه با رشد تعداد محققین افزایش یافته است .

علم شرکتی است که همه چیز را برنده می کند، جایی که هر کس ابتدا کشف قاطع را انجام دهد، تمام شهرت و اعتبار را به دست می آورد، در حالی که همه محققان باقی مانده فراموش می شوند. رقابت می تواند شدید باشد و ریسک بالا باشد.

در چنین محیط رقابتی، تجربه یک رد اشتباه یا صرفاً انتشار تأخیر ممکن است هزینه های زیادی را متحمل شود. به همین دلیل است که برخی از برندگان جایزه نوبل دیگر از انتشار نتایج خود در مجلات کم تأثیر تردید ندارند .

مطالعه رقابت و بررسی همتایان

من و نویسندگان همکارم می‌خواستیم بدانیم که چنین رقابتی چه تأثیری می‌تواند بر بررسی همتایان داشته باشد. تصمیم گرفتیم یک آزمایش رفتاری انجام دهیم .

ما 144 شرکت‌کننده را به آزمایشگاه دعوت کردیم و از آنها خواستیم که «بازی نمایشگاه هنر» را که نسخه‌ای ساده‌شده از سیستم انتشار علمی است، که به یک زمینه هنری ترجمه شده است، بازی کنند.

شرکت کنندگان به جای نوشتن مقالات علمی، تصاویر را از طریق یک رابط کامپیوتری خاص ترسیم می کردند . و به جای انتخاب مجله برای چاپ، یکی از نمایشگاه های موجود را برای نمایش انتخاب می کردند.

تصمیم گیری در مورد اینکه آیا یک تصویر به اندازه کافی برای نمایش خوب است یا خیر، با رعایت قانون “بازبینی دوسویه کور” گرفته می شود، به این معنی که داوران برای نویسندگان ناشناس هستند و بالعکس. این همان رویه ای است که توسط اکثر مجلات دانشگاهی اتخاذ شده است.

قرار بود تصاویری که نمرات نقد بالایی دریافت کرده بودند در نمایشگاه منتخب به نمایش درآیند. آنها همچنین یک جایزه پولی برای نویسنده ایجاد می کنند.

این آزمایش به ما امکان داد تا برای اولین بار رفتار بازبینان و سازندگان را همزمان در یک کار خلاقانه ردیابی کنیم. این مطالعه بینش‌های جدیدی در مورد تکامل همزمان این دو نقش و نحوه واکنش آنها به افزایش سطح رقابت ایجاد کرد که ما به‌طور تجربی آن‌ها را دستکاری کردیم.

در یک شرایط، تمام تصاویر نمایش داده شده یک پاداش پولی ثابت ایجاد کردند. در شرایط دیگر – “شرایط رقابتی” – پاداش نمایش بین تمام نویسندگان موفق تقسیم می شود.

این وضعیت به گونه‌ای طراحی شده است که شبیه موج رقابت برای مسیرهای تصدی، بودجه و توجهی باشد که علم در 15-20 سال گذشته تجربه کرده است.

ما می خواستیم سه جنبه اساسی رقابت را بررسی کنیم: 1) آیا رقابت باعث ارتقاء یا کاهش نوآوری می شود؟ 2) آیا رقابت باعث کاهش یا بهبود عادلانه بودن بررسی ها می شود؟ 3) آیا رقابت توانایی بازبینان برای شناسایی مشارکت های ارزشمند را بهبود می بخشد یا مانع می شود؟

در اینجا چیزی است که ما پیدا کردیم

نتایج ما نشان داد که رقابت به عنوان یک شمشیر دولبه در بررسی همتایان عمل می کند. از یک طرف، تنوع و نوآوری تصاویر را در طول زمان افزایش داد. اما، از طرف دیگر، رقابت تضاد منافع بین منتقدان و سازندگان را تشدید کرد.

آزمایش ما به گونه‌ای تنظیم شد که در هر دور آزمایش، یک بازبین سه تصویر را در مقیاس 0 تا 10 بررسی می‌کرد (خود بازبینی مجاز نبود). بنابراین، اگر منتقد و نویسنده (بررسی شده) یک نمایشگاه را انتخاب می کردند، در رقابت مستقیم قرار می گرفتند.

ما متوجه شدیم که تعداد ثابتی از بازبینان که از این رقابت آگاه بودند، عمداً امتیاز بررسی رقیب را کاهش دادند تا به یک مزیت شخصی دست یابند. به نوبه خود، این رفتار منجر به کاهش سطح توافق بین بازبینان شد.

در نهایت، ما همچنین از نمونه‌ای متشکل از 620 ارزیاب خارجی که از Amazon Mechanical Turk استخدام شده بودند، خواستیم تا به طور مستقل به تصاویر امتیاز دهند.

ما متوجه شدیم که رقابت میانگین سطح خلاقیت تصاویر را بهبود نمی بخشد. در واقع، با رقابت، تعداد بیشتری از آثار با کیفیت خوب رد شدند، در حالی که در شرایط غیر رقابتی، آثار بیشتری با کیفیت پایین پذیرفته شدند.

این امر مبادله در سیستم انتشار فعلی را نیز برجسته می کند.

چیزی که یاد گرفتیم

این آزمایش تأیید کرد که نیاز به اصلاح سیستم انتشار فعلی وجود دارد.

یکی از راه‌های دستیابی به این هدف می‌تواند این باشد که به دانشمندان اجازه داده شود در درازمدت ارزیابی شوند، که به نوبه خود تضاد منافع بین نویسندگان و داوران را کاهش می‌دهد.

این سیاست می تواند با اعطای بودجه بلندمدت به دانشمندان، کاهش تمایل به انتشار پیش از موعد آثار نوآورانه و دادن زمان به آنها برای تقویت نتایج خود در مقابل بررسی همتایان، اجرا شود.

راه دیگر می تواند به معنای حذف الزام «اهمیت» یک مطالعه علمی باشد، همانطور که برخی از مجلات، مانند PLoS ONE ، قبلاً انجام می دهند. این امر شانس بیشتری را به مطالعات نوآورانه تر برای گذراندن غربالگری بررسی همتایان می دهد.

بحث آشکار در مورد مشکلات بررسی همتایان اولین گام برای حل آنهاست. داشتن شهامت برای آزمایش راه حل های جایگزین دوم است.