再现性危机解决,一步一个脚印

提供可再生的科学发现,结果一直观察到当独立研究复制——是保证科学研究的可信度的关键;一些甚至可能就去说,再现性是“科学与非科学的划界标准”。然而,在这个时候迅速发展的技术,科学合作,实验和数据分析在很多方面是比以往任何时候都更快、更容易,大多数科研人员认为,我们有一个“再现性危机“在我们的手中。实证试图估计多少可复制发表的研究表明,科学研究成果发表更有可能是假的(即不是复制)比真实的。

这是一个复杂的问题造成偏差在不同的水平,从个别人员的认知偏见,期刊出版偏见,偏见在我们当前的固有科学的心态。但是作为单独的研究人员和研究团队,有可能我们都可以寻求解决问题的实践。跟上发展的统计和方法论的最佳实践,采取措施来减轻自己的认知偏差,并努力尽可能透明我们报告我们的研究,我们可以帮助解决危机再现性,一步一个脚印。

意识到自己的偏见,并采取措施减轻

作为人类,尤其是热情与既得利益在我们领域的科学家们的研究,我们易受认知偏差,如确认偏误——倾向于关注证据支持我们的信念,后见之明偏见的倾向认为事件发生后才可预测的。这样的偏见可以使得我们很难认识到当我们从事问题实践“p-hacking”,在分析预处理的灵活性是利用改变小方面或分析程序进行统计学意义更有可能的结果。当马库斯Munaf o ,布里斯托尔大学的生物心理学教授解释说:“这很容易,一旦我们看到数据,数据变得兴奋明显模式——我们都进入科学,因为我们想要发现的东西。但这种兴奋和热情可以让我们误入歧途,如果我们不小心,作为人类,我们天生倾向于看到模式噪声。”

有几个实用的方法,我们可以保护自己不被误导了我们自己的偏见,包括致盲。根据实验设计,它可能会盲目的研究参与者和那些执行数据收集不同实验条件下调查,和/或研究假设的关键。这不是有关或可能的实验设计,但是几乎所有的研究应该有可能失明的统计分析,这样实验条件和变量标签的身份掩盖在数据准备和分析,以确保过程像识别异常值不受研究者的期望的结果应该显示什么。

另一种防止偏见的影响数据收集和分析预注册,那里的研究人员发表的一份声明中概述了他们的研究设计,主要结果和分析计划之前计划的研究。“预先登记只是一种布置我们打算做什么在我们开始研究之前,“Munaf教授 o 澄清。他继续解释说,这可以帮助保护我们的偏见,可能会引导我们进入有问题的分析实践”…通过显式声明开始,我们计划的提醒自己。“因此,预先登记可以帮助阻止研究者利用分析的灵活性使他们显得更小说或结论性的结果。支持研究预先登记增加,网站等开放科学框架提供预先注册服务和指导,这种方法研究人员都是新的。凯瑟琳按钮,巴斯大学的心理学高级讲师,指出,预注册还将“做正确” “强迫您考虑许多关键方面的研究设计是重要的可再生的结果(例如,明确的假设,样本容量的理由,分析计划)。”

高效的合作可以帮助解决再现性危机

科学研究是建立在自身,所以当过去的结果不能被复制,我们所知的科学的基础是质疑。近年来,这已经成为一个越来越多的有关问题;自然的一项调查表明,超过70%的研究人员报告无法复制另一个科学家的实验。解决这个所谓的“再现性危机”是科学界面临的最大挑战之一。在本白皮书,发现高效数字化合作可以帮助解决危机再现性,技术解决方案。

视图白皮书

赞助内容

保持与方法论和分析最新的最佳实践

尝试的科学,在很多情况下,由共同的误解和困惑缺乏方法和统计理解;例如,统计的意义和重要性力量的误解。 分析和方法论的最佳实践是在持续改进,尤其是在这一时期 metascience (科学研究本身,以及它如何运作)是一个蓬勃发展的研究领域。没有正式的需求和/或继续教育项目,研究人员应该鼓励 充分利用免费开放的教育资源。短暂的、互动的、基于web模块的关键主题的方法论和分析重要性越来越可用,如应用程序”P-hacker” , 这表明是多么容易产生统计上显著的结果如果足够努力。

提高分析严谨, o ne我们都可以做的事情是确保的研究工作,我们的研究充分的动力。穆纳佛教授解释说:“在较小规模的研究中,所有其他条件相同的情况下,往往给不那么精确的结果,这意味着他们可能不太可能复制。他概述了“的说明这个问题研究观察研究已经受到复制尝试——原始研究越大,越有可能发现复制在随后的复制研究。”While methodological best practice suggests that studies should be powered to around 80%, empirical attempts to estimate power in the published neuroscience literature suggest that studies are平均只有20%的动力解决他们的关键研究问题。

低统计力量,根据定义,反映出减少的概率发现效果真的真的(即增加假阴性)但也破坏了科学的再现性。也许相反,统计能力越低,低的观察效果达到任意的概率统计显著性水平(p < 0.05),实际上反映了一个真实的效果,从而更容易发现假阳性。按钮博士进一步解释说,”更大的样品你不太可能错过真正的影响,当你找到一个重要的它不太可能是假阳性结果。更大的样本也增加你的精度影响的估计,只要你的样本具有代表性,结果将更接近真正的人口与紧缩的置信区间效应。”

方法之一,所有研究人员可以帮助减少误报造成的威胁再现性和膨胀的效应大小,是做一个先天的动力计算确定足够的样本量来解决他们的关键研究问题。一些自由和易于使用的软件可用来做到这一点,包括常用的包GPOWER。 在大规模研究困难重重,缺乏资源在个人研究小组,研究团队之间的协作和跨多个网站增加权力的价值是不可估量的。按钮博士说,她的研究合作者”网络 使用开放科学框架来管理[他们的]合作项目和选择开源软件和资源尽可能最大化[他们的]分享它们的能力。”

增加透明度的报告

当我们阅读并评估科学文献,w e依靠一切被透明的报道我们可以判断结果是否值得信赖,在什么条件下,他们可能会适用。当被问及为研究人员提供一个关键消息试图做更多可再生的研究,Munaf教授 o 声明: “我们控制的程度我们使我们的工作透明。”

有很多实际的步骤我们可以让我们的研究更加透明。重要的是,我们可以清楚什么是确认什么是当我们报告研究结果的探索性分析。寻求可再生的研究” 并不阻止我们做的探索性分析…”Munaf教授建议 o ,它只是要求我们明确“…这分析预先确定(即。确认)并没有(即。,探索)。”Exploring the data we obtain can be very informative and important for generating new hypotheses, but in the case of exploratory analysis, researchers should only describe what they observe in the data, rather than reporting p-values or significance tests, as p-values by definition are designed to test pre-existing hypotheses. By making it clear which analyses are confirmatory and which are exploratory, researchers can tell the reader which effects should be replicable, and which need further investigation to be considered true, reproducible findings.

其他方法,研究人员可以增加透明度是通过记录所有预处理和数据清洗步骤,公开他们的分析管道(或更好的是,使用预先存在的标准化的管道,这另外防止分析弊端比如p-hacking)并公开所有的研究数据。Munaf教授 o 突显出采取这些措施透明度也可以帮助使我们更高效的人员。他解释说,在他的研究小组“准备我们的数据共享[…]意味着我们必须牧师数据仔细well-labelled数据文件和分析代码,一个相应的数据字典描述的变量,一个readme文件描述的基础研究。这意味着所有数据对任何人来说都很容易理解,也意味着我们可以更好地了解他们如果我们返回,几个月或几年后。“所有的数据从Munaf教授 o 的研究小组可以下载的布里斯托大学数据保管。指导方针,提高研究的质量和透明度报告是广泛使用,并提供具体指导质量报告为不同类型的研究设计,其中许多是通过在线数据库赤道的网络。

最佳实践进行粒子浓度测量Zetasizer超

测量样品的颗粒浓度测量其大小相似,但样品制备和样品测量特性有很大的影响对浓度测量的影响。以确保您的数据是准确的和可再生的,关键是建立最佳实践是在样品制备和测量过程。下载本指南来发现如何确保你实现高质量的粒子浓度的数据。

查看指南

赞助内容

取一个一步做更多可再生的研究

无论你一步报告你的结果和过程更透明,致力于进一步培训在最近的方法论和统计的进步,或登记你的下一个研究来帮助防止偏见在数据收集和分析,这些研究的关键信息最佳实践,致力于做某事,和思考再现性指导方针的设计,而不是报告,当大部分的“损害”的再现性数据可能已经被做 不。“有很多开放的研究实践——预先登记,共享数据,发布预印本,“穆纳佛教授说,“它可以感觉到很多事情要做,所以我的建议是做一些——不管似乎最简单和最有趣的你。”