Метаанализ, посвященный влиянию ChatGPT на успеваемость учащихся, который утверждал о "значительном положительном воздействии", был отозван. Исследователи быстро указали на серьезные методологические проблемы, но редакция журнала отреагировала лишь год спустя. Это событие подчеркивает важность тщательной проверки научных работ и последствия поспешных исследований.
В мае прошлого года журнал Humanities and Social Sciences Communications опубликовал метаанализ, проведенный китайскими исследователями Цзинь Ваном и Вэньсяном Фанем. Работа была посвящена влиянию использования чат-бота OpenAI на процесс обучения в школах и утверждала, что он оказывает "значительное положительное влияние на улучшение академических результатов". Почти через год после публикации, которая по сути подтвердила серьезность исследования, журнал, издаваемый гигантом Springer Nature, принял решение отозвать статью.
"Редактор [член команды, управляющей журналом] принял решение отозвать эту статью из-за опасений относительно несоответствий в метаанализе. Эти проблемы подрывают доверие, которое редакция может оказать достоверности анализа и вытекающим из него выводам", — объясняется в примечании об отзыве, опубликованном 22 апреля. "Авторы не ответили на письма, касающиеся этого отзыва", — добавляет журнал.
Статья была процитирована более 500 раз
Тем временем, согласно данным Google Scholar, отозванный метаанализ был процитирован более 500 раз в различных научных работах, как рецензируемых, так и нет. Если эти последующие исследования в значительной степени опирались на выводы данного метаанализа, то их авторам также придется задаться вопросом о надежности своих собственных работ. Например, эта статья все еще цитировалась в материале, опубликованном в феврале этого года в журнале Scientific Reports, который также издается Springer Nature.
Однако критика в адрес исследования появилась довольно быстро. Уже в июле прошлого года на платформе PubPeer, которая позволяет выявлять возможные проблемы в статьях, уже опубликованных в научных журналах, был размещен критический комментарий.
Норвежские исследователи забили тревогу
Примечательно, что норвежские исследователи одними из первых забили тревогу, указав на слабые места в методологии исследования, но их замечания не привели к немедленному отзыву.