AI工具帮助预测研究再现性

复制成功的科研与研究方法、引用影响和社会媒体报道——而不是大学声望或引用数字——根据一项新的研究由吴呦呦博士在埃克斯波特学院,伦敦大学学院的教育和社会。

发表在《美国国家科学院学报》(PNAS),研究探索的能力验证基于文本的机器学习模型来预测成功复制的可能性超过14100心理学研究自2000年以来在6个顶级期刊上发表文章。

承担与圣母大学的合作,法国,和西北大学,研究确定了几个因素,增加的可能性研究复现性——也就是说,如果一项研究的可能性进行了第二次使用相同的方法,结果将是相同的。

总的来说,作者发现复制实验研究明显低于非实验研究在所有心理学的分支学科。作者发现意味着复制分数——相对成功复制的可能性——0.50非实验论文,实验论文0.39相比,这意味着非实验论文大约1.3倍,是可再生的。

吴呦呦博士和她的同事说,这个发现是令人担忧的,因为心理的强大的科学声誉至少部分是建立在与实验的能力。

研究还表明,一个作者的累计出版数量和引用影响复制成功呈正相关。然而,其他代理的研究质量和严谨,如作者大学声望和论文的引文,被发现与复现性无关。

预测复制率也发现不同在心理学分支学科(临床心理学、认知心理学、发展心理学、组织心理学、人格心理学、社会心理学)。作者得出结论,由于这些变化在心理学,并在其分支学科,使用单一指标来描述整个领域的可复制性可能是不够的。

研究还发现因素与复制的可能性负相关,与媒体的关注负相关复制成功。作者推测,这可能是由于这样的事实,媒体更可能报告不寻常或意外的发现。

作者说,这项研究可以帮助解决社会科学普遍担心疲软的可复制性,尤其是心理学,和加强整个领域。

Wu博士说:“可复制性是一个问题面对整个社会科学,尤其是心理学和手动复制研究的数量下降低于丰富的重要研究科学界希望复制,给定的时间和资源约束。我们的研究结果可能有助于开发新的策略来测试一个科学文献的整体可复制性,self-assessing之前提交》杂志上的研究,以及培训同行评议者。”

参考:呦呦W,杨Y,乌西b discipline-wide调查的可复制性的心理学论文过去二十年。PNAS。2023年,120 (6):e2208863120。doi:10.1073 / pnas.2208863120

本文从以下转载材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。