掀起“重复实验”的盖头来：1500位科学家聚焦研究可复制性危机

　　2016年06月29日讯 超过70%的研究人员曾试图复制另一个科学家的实验并以失败告终，而超过一半的研究人员竟无法重复自己的实验。为此，《自然》杂志在线调查了1576名研究人员，结果发现研究可重复性现状令人担忧。

　　调查结果显示，人们对待可重复性的态度经常是互相矛盾的。虽然有52%的被调查者认为，实验可重复性目前是一个大问题，但只有不到31%的人认为，无法重复出那些已发表论文的结果就意味着该结果极有可能是错误的，大部分被调查者都表示，他们愿意相信论文的真实性。

　　有多少科学文献的结果是可重复的并没有太多数据，即便有，也并不乐观。这方面最著名的相关分析是针对心理学和肿瘤生物学文献的，结果发现这两个领域的可重复性分别只有40%和10%。不过，被访者都比较乐观，有73%的人认为，在他们各自的研究领域，至少超过一半的论文是可以被信任的，其中物理学家和化学家的信心是最高的。

　　美国马里兰州约翰斯·霍普金斯大学Bloomberg公共卫生学院微生物学家Arturo Casadevall认为，本次调查结果反映了人们对该问题的真实态度。他评论道：“目前，学界对于什么是科研试验的可重复性以及可重复性究竟应该什么样等问题没有一致看法。”但认清这个现状只是第一步，“接下来，就应该发现具体问题，并想办法达成共识”。

　　英国布里斯托大学生理心理学家Marcus Munafo一直关注实验可重复性问题，他认为，科学研究无法重复是一件非常重大的事情。据他介绍，他还在上学时就曾经尝试重复一些论文里报道的简单试验，结果没能成功。“因此，我对科研产生了信任危机，后来我发现，这是一种非常普遍的感觉。”

　　实际上，问题并不在于清除已发表论文中那些无法重复的研究。Munafo认为，做最前沿的科研就意味着很多时候得到的结果可能并不确定。“我们希望有新的发现，但同时，假阳性率也别太高。”

　　可重复性的范围

　　不过，要想从错误实验中找出真正的发现并不容易。虽然在参与网络调查的科研人员中，绝大部分人都有过没能重复出别人实验结果的失败经历，但只有不到20%的被调查者表示，曾有无法重复出他们实验的人与其联系过。这一结果与之前美国细胞生物学会开展的类似网络调查结果一致，后者共有约900人参与了调查。原因可能是开展这种对话比较困难。因为如果向原作者寻求帮助，则有可能被人嘲笑能力不够或受到责难，也有可能透露自己的研究计划。

　　另外，也有少部分被访者表示，曾经想要发表重复研究的结果。但当实验没能重复出来时，科研人员通常认为是有合理原因的。此外，发表阳性复制结论的奖励很少，而且杂志社也不太愿意发表阴性的重复结果。实际上，有多名曾经发表过重复实验失败工作的被访者都表示，杂志编辑和审稿人都要求他们淡化与原始研究的对比。

　　不过，还是有24%的被访者表示，他们发表过成功复制别人研究的结果，13%的人也发表过没能复制的结果。但总体而言，投稿被接受的机会比拒稿大一些，只有12%的被访者表示没能发表成功复制的研究结果，10%的被访者表示没能发表无法成功复制的研究结果。

　　得克萨斯理工大学健康科学中心的Abraham Al-Ahmad提到，他曾经投过一篇稿子，试图解释为什么干细胞技术在他们实验室不起作用。他原本以为会收到“冷冰冰的拒稿信”，可没想到稿件被接受了。Al-Ahmad认为成功的原因可能是，编辑认为这篇论文提供了变通方案。

　　还有人认为，要成功发表一篇类似研究离不开以下几点：运气、坚持和编辑的喜好。医药开发顾问Michael Adams介绍，他们有一篇文章证明了一个糖尿病动物模型存在严重缺陷，但被拒6次，部分原因是没有发现新的药物作用靶点。但另外一个证明某种药物治疗美洲锥虫病效果不佳的研究很快就被接受了。

　　解决办法

　　1/3的被访者表示，近5年来，他们实验室都有具体操作规程以提高结果的可重复性。但这个比例变动范围很大，最高的医学类达到了41%，而物理和工程学类是最低的，只有24%。全文检索由文本反响表明，自己重复试验或者让实验室里的其他人重复是最常用的确保手段。其他常用手段还包括加强实验记录以及对实验步骤进行标准化管理等。

　　但这些手段都不是根本性的保证方法。英国一名要求匿名的生物化学毕业生表示，在实验室，因为要重复实验，所以时间和实验试剂都要多付出一倍，解决一些棘手实验问题的时间还需要另算。她表示，虽然重复实验能够确保结果的可靠性，但因为代价过大，所以她只会为创新性项目，或者预期之外的实验结果进行重复试验。

　　弗吉尼亚大学研究平滑肌细胞的博士后Laura Shankman表示，如何整合各种方法本身就是一个项目。在短短一段时间里，数个博士后和研究生离开了她所在的实验室，而留下的人很难确保实验的一致性。因此，实验室决定花一些时间专门重复之前发表过的结果。Shankman认为，整个实验室一体化，而不是一个个解决试验失败问题，能从总体上节省实验室的开支，但这却是一项长期的投资。

　　美国布莱恩健康科学学院计算生物学家Irakli Loladze估计，即便是从事他们这种纯理论工作，为了确保可重复性而投入的额外工作也会使平均每个项目花费的时间增加30%。他们要确保从原始数据到最终图表的每一个步骤都是可追溯的。但这些工作很快就成了他们工作的一部分。Loladze说：“可重复性就好像刷牙。这对你肯定有好处，但需要花时间、花精力。可一旦你开始了，它就会变成一种习惯。”

　　一个最广泛宣传用来提高研究可重复性的方法就是预注册方法，即科研人员在试验开始之前就向第三方说明他们的假设以及数据分析计划等，以防日后出现有选择性的统计学结果。但目前只有不到12个人提到了这种方案。澳大利亚墨尔本大学道德决策领域的研究生Hanne Watkins就曾经这么做过。Watkins表示，虽然这个过程比较费时间，不过与获得伦理委员会的同意，或者设计调查问卷相比也不算什么。“如果这个研究从最开始在方向上就是正确的，那接下来顺着这条道路走下去就行了。”

　　我们能做什么

　　这次网络调查也询问了为什么科研试验无法重复。超过60%的被调查者都提到了以下两点原因，即论文发表压力和选择性报道。超过一半的人指出，他们没有开展足够的重复试验，此外，还存在监管不严、统计效力不够等问题。还有一些人提到了试剂不稳定性和高难度的试验技术等因素。

　　不过威斯康星大学麦迪逊分校发育生物学家Judith Kimble认为，这都不是最根本的原因，对基金和职位的激烈竞争才是根源，同时，越来越多的行政事务也挤占了科研人员大量的时间。Kimble评价道：“如果研究生所在的实验室里高年资的人没时间培训低年资的人，那么那些低年资的学生就只能自己干了，这样下去就会越来越糟。”

　　本次被调查者被要求对11种不同的提高科研成果可重复性的方案进行排序。超过90%的参与者都认为，更好的试验设计、更科学的统计分析以及更好的监管和指导是最重要的，远远超过其他因素，比如基金或教学补助等刺激计划等。不过即便被选择率最低的杂志审核也获得了69%的支持。

　　斯坦福大学科研可靠性问题专家John Ioannidis认为，这次调查表明，杂志社、科研项目资助者、科研机构应该携起手来，共同解决这个问题。约有80%的被访者认为，杂志社和资助者应该担负起更多的责任。

　　Munafo认为，大家都意识到了这个问题，并且能够积极地想办法解决，这样很好。“我们也已经在包括主流媒体在内的各个渠道广泛讨论过这个问题，所以赶紧行动起来才是关键。如果我们现在不做，机会稍纵即逝，错过了这个好机会，大家就不会再有兴趣解决这个问题了。”