从根本上重新思考科学出版:“章鱼”模式
Alexandra Freeman博士认为与科学研究文化相关的主要问题可以追溯到一个源头:当前的科学出版模式。
几十年来,该模型一直遵循特定的协议。臭名昭著的“不发表就灭亡”模式不仅会扼杀创造力和职业生涯,还会引发剽窃和研究论文工厂等重大问题。
弗里曼是剑桥大学温顿风险与证据传播中心的执行主任,她回忆起自己长期以来想在讲故事的媒体上工作的愿望。在完成了生物科学的初步学习后,弗里曼实现了她长期以来的雄心壮志,成为BBC自然历史和科学电视节目的制片人和导演。
回到学术界后,她发现她在媒体和实验室的同事之间有相似之处。正如弗里曼所描述的那样,这种共性是“渴望讲述简洁、易读、有说服力的故事。”但她认为,好的研究不在于讲述强有力的故事,而在于证据交流。弗里曼被她的观察震惊了,拿着纸和笔坐下来,希望能想出一个解决方案。只用了一个晚上,她就想出了办法章鱼,一个“激进”的初级研究出版平台。
Octopus是一种完全在线的、新颖的科学出版方式,弗里曼认为它可以更有效地识别和重视良好的科学实践。有不同类型的文章可以上传到八达通,包括:
- 一个定义清晰的科学问题
- 原始假设:最初的假设或基本原理
- 方法或协议
- 使用已发表的方法收集的原始数据或总结结果
- 对现有出版数据的统计或专题分析
- 解释-围绕已发表分析的讨论
- 翻译或应用——从已经发表的解释中讨论“现实世界”的应用
- 对上述列表中任何其他类型的出版物进行深思熟虑的、详细的审查
在推出Octopus之前,188金宝搏备用采访了Freeman,了解了她开发这个平台的动机,讨论了科学出版中根深蒂固的问题,并发现了如何通过一步一步来创建解决方案。
莫莉·坎贝尔(MC):你能跟我们谈谈迄今为止你的职业生涯吗?也许有什么“里程碑”时刻,是你认为在你的生活中启发了章鱼的?
Alexandra Freeman (AF):好吧,到目前为止,我已经改变了几次生活方式——但似乎我最感兴趣的是在某种程度上与沟通有关。我完成了蝴蝶交流的博士学位,我一直想在讲故事的媒介上工作。这要么是写作,要么是拍电影,然后我把拍电影换成了“证据传播”的学术工作,这又是一种非常不同的传播。
正是这一举动激发了章鱼的灵感。我意识到讲故事——无论多么吸引人——(大多数时候)是要牵着观众的手得出结论,具有说服力。当我听到学者们问:“我们在这篇论文中要讲什么故事?”我感到我的胃在转。我突然想到在这里奠定了我所知道的许多问题的根源:HARKing、p-hacking、发表偏见和许多其他问题。他们都希望在学术论文中讲述简洁、简短、易于阅读和有说服力的故事。这些故事会让读者相信“我们提出了这个想法,数据表明我们是正确的”——如果可能的话,“知道了这一点,你现在应该改变你的行为方式或思考世界的方式”——那臭名昭著的“影响”。我知道这种故事——在我的媒体生涯中,我一直在写这种故事!
HARK-ing
定义为提出一种事后假设,一种基于已经收集到的结果、受其影响或受其影响的假设。
P-hacking
p-hacking也被称为“选择性报告”和“膨胀偏差”,是指在已发表的研究中,真实的效应大小被错误报道。
发表偏倚
发表偏倚是指作者倾向于发表获得重要数据的研究。
然而,好的研究并不是讲述强有力的故事。这甚至不是关于有影响力的发现。好的研究有许多不同的形式,但它从来都不是关于说服,而是关于证据交流。
所有这一切都发生在我的脑海中,我真的坐下来,在一个晚上花了大约两个小时写出了Octopus的完整规格。我想我生命中的几条线——我的经历和我思考的方式——汇聚在一起。我对不同交流形式的新理解,我对学术研究文化的新体验,我对复制危机和出版偏误问题的认识——这一切都“有意义”,我们需要做的是改变我们处理学术出版的方式。我们需要重新设置激励结构,以符合证据传播的目标,而不是更多的新闻式传播。
MC:你能谈谈为什么这个平台叫Octopus吗?
房颤:我想要一个听起来不“学术”或精英主义的词,一个无论你的母语是什么,都容易发音的词,一个自然地导致一个标志的词。这似乎也是合理的,因为章鱼有一种“分布式智能”——它们的每只手臂都有一个高度发达和独立的神经网络章鱼发布模型中有八种类型的发布,与章鱼的八条手臂相匹配.当然,它们也是很酷的动物。
MC:在您看来,当前科学出版过程中存在哪些关键问题?你希望章鱼如何克服这些困难?
房颤:我可以轻松地用完你的全部字数,甚至在我开始前进之前!
有几个简单的:出版和阅读出版物应该是自由的——其他任何东西只会造成获取不平等。这意味着将成本降至最低,并将该系统作为中央资助的服务来运行。这应该不难。
其次,我们应该使用自动语言翻译来实现出版物的语言不可知。我们现在就可以做到这一点,自动翻译每个月都会变得更好,所以在未来,它会变得很自然,但实现它可以进一步减少访问的不平等。当我们在做的时候,数字化意味着我们可以使用一些工具,比如自动抄袭检测等,我们可以设计平台来减少偏见的来源,比如在出版物上使用作者的姓氏和首字母,而不是名字,也不在出版物上列出他们的机构。
还有更基本的问题(包括它们对研究文化的影响)。正如我说过的,其中很多都归结于我们将“论文”视为发表单位的方式,以及我们如此重视“发现”和“影响”的方式。如果我们想要激励良好的研究实践,我们首先需要认识到什么是“良好的研究”。
如今,研究是由专业人士完成的事情,包括数据收集专家、分析专家、实验设计专家、实施专家等等。
为了写出一篇包含所有这些不同方面的“论文”,我们要么期待某一方面的专家在过程的另一部分“尝试”(就像期待某个人收集了大量现场数据然后进行分析),要么期待一组不同方面的专家找到彼此,一起工作,把他们不同的技能结合在一起。当然,后者是一种比第一种更好的方法,但它仍然限制了输出的质量。作为一名专业研究人员,你不仅在与谁合作方面受到限制,而且一旦一篇论文发表,任何人都不太可能重新接触该研究的任何部分(比如其他人,拥有不同的技能,重新分析数据,或者其他人根据相同的协议收集更多数据)。这是因为出版过程并没有激励他们这样做。因此,不仅个别研究人员在他们可以与谁“合作”方面失去了优势,而且全世界的学术努力本身也在失去优势。
相反,在Octopus中,有八种类型的出版物,每一种都反映了研究过程的一部分。这使得研究人员可以专门研究过程中的一两个部分(使用他们非常不同的技能),并与其他研究团体合作发表他们的工作-在时间上,以及在空间上!有些人现在可能发表了一个理论观点,而另一些人在20年后会收集数据进行验证。20年后,另一位研究人员可能会再次选择使用新技术分析这些数据。
每一份出版物都需要链接到“链中高于它”的现有出版物,这意味着很容易找到与特定研究问题相关的所有出版物,而且人们也不能“错过”过程的某些部分(比如至少不发表他们的结果或数据的大纲)。
它完全改变了我们对研究和研究事业的看法。与其自己或与我们认识的人一起编造故事,我们每个人都可以集中精力尽自己最大的能力做好我们的专业工作。这将创建一个单独的拼图块,然后我们可以将它们插入到我们可以插入的地方,而不是试图自己创建整个图片。
通过优先考虑研究过程中每个单独部分的质量——确保每一块拼图都尽可能正确——我们都渴望的发现和影响将从这个值得信赖的研究基础中出现。
这就是Octopus背后的理念——它的设计旨在通过各种方式激励研究过程的每个部分实现“最佳实践”。我希望,通过这样做,它也将对改善研究文化产生强烈的影响。它旨在认可专家和职业化,鼓励较小的作者群体和随后的问责制/精英管理,减少偏见和消除进入壁垒,此外还与等级制度和它们带来的危险的权力失衡作斗争。它还旨在从根本上改变资金体系……但我没有足够的空间来讨论所有这些!
MC:你能详细介绍一下使用八达通出版与选择期刊出版的主要区别吗?
房颤:嗯,它们真的很不一样。章鱼有点像你工作的“专利局”。
通过在Octopus中发布您的作品,您将其注册为“您的”。一旦你在八达通中得到了它,你就可以放松了——你已经确定了你的优先级和你对那件作品的所有权。因此,我希望这将鼓励人们尽快分享他们的想法和他们的工作。但是他们也会根据你的工作质量来评判你——所以这不是一个匆忙写出草稿的地方。这是正式的记录,你不想因为别人评价很差而玷污你的记录。
它也是你发表作品全部细节的地方。《章鱼》杂志的出版物由读者根据预先设定的质量标准进行评级,这些标准包括可重复性。例如,如果出版物描述了一种方法,其细节是否足够清晰和完整,以允许两个不同的研究人员执行该方法并做同样的事情?如果它是一个结果或数据出版物,那么任何人都可以分析这些数据吗?所以,为了普通读者,忘记字数和简练吧——章鱼需要你告诉后代他们需要知道的关于你的想法和工作的一切。
更重要的是,不要试图完成研究过程中的每个部分——找到你擅长的部分,并坚持下去。让别人做他们最擅长的部分。事实上,我认为这是一个非常令人兴奋的前景。想象一下,发布了一些数据,或者一个假设,然后收到通知,有人已经把它进行了下一步,然后看到他们对它做了什么。和然后收到另一个通知,发现其他人又把它带到了另一个方向。和其他专家一起工作真的很令人兴奋和满足。把自己想象成一个巨大的、来自世界各地的群体中的一员,他们用不同的技能解决同样的问题。
MC:研究人员可以在Octopus上发表研究成果吗?如果他们愿意的话,也可以在期刊上发表吗?
房颤:当然,在短期内,我怀疑很多人会这么做。他们将把Octopus视为一种预打印服务器,并继续撰写“论文”,然后将它们“切割”,在Octopus上发表单独的部分。但我认为,我希望,人们很快就会意识到,这就像使用互联网只是为了出版书籍一样。你可以这样做,但这不是设计的目的。不仅如此,Octopus使用起来更快、更简单(不需要写所有的介绍性材料,因为在Octopus中,你可以将你的新出版物与以前的出版物链接起来,形成一个链。所以,如果有人已经写了“研究问题”,那么你就不需要再涵盖所有的背景信息了。你只需链接到他们的网站,这样你的资助者和机构就能比你在期刊上发表文章更容易地看到和评估你的信誉。
MC:你能谈谈八达通的现状吗?你们计划在今年春天发射,对吗?
目前有一个整个系统的原型你可以玩一下。我们已经建立了一个新版本,我们现在正在进行用户测试,并努力在29日全面发布th6月。随着全面推出,章鱼的出版物将是“官方的”,有doi,所有的信息都被正确注册,并可根据作者的orcid等查看。
MC:在Octopus原型的网站上,写着“任何人都可以在Octopus上阅读任何东西”。那些使用ORCiD登录的用户可以撰写和评价出版物。”这种情况会被缓和吗?
房颤:不。章鱼没有节制。这是一个系统,一种服务,而不是一个员工做编辑工作的公司。
人们在Octopus上所做的一切都可以通过他们的ORCiD显示。每个在Octopus上发表文章的人都有自己的作者页面(任何人都可以查看),从那里,读者可以看到他们在平台上的所有活动(以及他们在期刊上发表的文章)。这意味着一个人的资助者和雇主可以看到他们发表了什么,他们给谁打分等等。我希望这本身就能成为不良做法的缓和者。
除此之外,还有一个“红色标记”系统,允许读者提出对出版物的担忧(例如,如果他们怀疑抄袭,或道德问题或不专业的语言)。这样,如果作者同意读者的担忧,就可以重新发表他们的文章,并在问题解决之前提醒其他读者注意潜在的问题。没有以这种方式得到双方满意解决的问题最终将被升级到相关的研究诚信办公室(里约热内卢)。我们认识到,目前国际上并不总是有一个与所有作者相关的里约热内卢,但我们希望将来会有,因此这个系统将允许对研究记录进行适当的监管。
MC:你有没有收到过关于章鱼的发布的“阻力”?
房颤:不是真的。当然,有些人认为这是一个过于激进的改变,认为它“不会流行起来”,也有些人真正担心它不会按照设计的方式运行(通常是担心欺凌或游戏)。
Octopus不是一个社交媒体平台——它不是一个鼓励草率评论的地方。在Octopus上发表的文章(包括同行评议)是作者对永久研究记录的贡献,经过注册,并在他们的姓名和个人标识符上加盖时间戳。
我们正在设计出版流程,让人们清楚地知道这一点——尽管我们想让它快速、容易地发表,但我们的意思是“与在期刊上发表论文相比,快速、容易”,这是一个相当低的标准。我们并不是说它会像写推特一样。对于每一篇文章,作者都将输入相当多的元数据,比如CoI声明,选择版权名称——如果人们试图发布一个简短的辱骂性评论,就不太可能经历这种事情!
其他人则担心评级系统——认为评级在某种程度上降低了质量评估的复杂性和深度。事实上,我认为他们做的恰恰相反。首先,请记住,Octopus中的出版物要具体得多——人们会对一个方法、一个数据集或一个分析进行评级。这对我很有帮助。然后他们将根据三个预先设定的标准进行评分。这些标准允许我们,作为一个研究团体,定义我们所看到的“好”的每一种类型的出版物。什么定义“好的”数据,或者“好的”假设/理论基础?这些将涉及到描述的清晰度,可重复性,或者他们是否表达了以前没有发表过的东西。我认为像这样的评级比起我们目前拥有的任何方法(当然在Octopus中也存在同行评议)都不能有效地衡量游戏的质量。
最后,我们考虑了游戏——通过使所有事情透明和容易可视化的数据,谁给谁评分,人们给什么评分等等,它应该很容易识别“配对率”或不良实践的圈子。
MC:总的来说,学术界对章鱼的想法有什么反应?
房颤:对此很难有一个公正的看法。和我交谈过的人通常对此都非常积极。事实上,我收到的一些支持信息让我很感动。那些意识到它的目标和潜力的人,有时会对这可能给他们的生活和事业带来的改变充满激情和热情。
另一方面,当然我有时也看到令人沮丧的大量失败主义。有些人并没有真正发现这个想法的问题,而是说“这行不通”,因为他们不相信有什么能改变现状。对此,我几乎没有什么答案:除非有人尝试,否则什么都不会改变。当我刚开始做这件事时,人们通常的合唱是“目前的情况很糟糕,但似乎没有人有解决办法”。他们看到的下一个障碍,现在有了一个潜在的解决方案:“你永远不会改变人们的行为”。嗯,一步一步来。想出一个解决方案。确保它从一开始就能让人们的生活更美好、更轻松。让它可用。确保人们知道这件事。 If those four steps don’t work, then I’ll dig deeper for more solutions. But so far, I’m just working my way through them!
MC:你们已经从英国研究与创新中心获得了Octopus项目的资助。这笔资金将提供哪些支持?你认为将来需要更多的资金吗?
房颤:是的,到目前为止,英国研究与创新(UKRI)一直很棒。他们给了我们所要求的一切,并承诺资助Octopus的启动和第一年——以及一个与之相关的评估项目,该项目将向我们展示我们是否达到了我们希望的效果,以及我们可以如何改进。
每个人都在问,在最初的几年之后,它将如何获得资金。我的计划首先是将运营成本控制在绝对最低的水平。我希望它每年的运营成本低于10万英镑(因为,正如我所说,它是一个服务平台,而不是一家雇佣大量员工的公司)。如果它能达到我所希望的一半,那么如果研究界不能共同筹集到每年10万英镑来维持服务的运行,那么……我只能说我相信它能做到。
Alexandra Freeman博士接受了Technology Networks高级科学作家Molly Campbell的采访。188金宝搏备用