读一篇原始研究，你会对结果产生怀疑吗？
2018-03-22 李延龙 医咖会
过去一年，“NgAgo基因编辑”的撤稿事件，引发了学术圈对于论文结果能否重现的热烈讨论和探究，也让科学结果的“可重现性”问题重新回到了大众视野。作为一枚仍在科研道路上蹒跚学步的各位，当你看到一篇original article时，你会多问一句“里面的结果靠谱吗？或者结果能重复吗？”。1. 重现性 vs 重复性你分得清什么是结果的重现性（Reproducibility），什么是重复性（Repeata
过去一年，“NgAgo基因编辑”的撤稿事件，引发了学术圈对于论文结果能否重现的热烈讨论和探究，也让科学结果的“可重现性”问题重新回到了大众视野。作为一枚仍在科研道路上蹒跚学步的各位，当你看到一篇original article时，你会多问一句“里面的结果靠谱吗？或者结果能重复吗？”。
1. 重现性 vs 重复性
你分得清什么是结果的重现性（Reproducibility），什么是重复性（Repeatability）吗？
重现性，强调的是同一种方法在不同条件下获得研究结果的一致性；而重复性指的是在同一种方法在相同条件下获得研究结果的一致性（表1）。
简单说，重复性是说你相同条件下重复做了n多次试验后结果是不是比较稳定，没啥大的差别，而重现性就是别人拿着你的研究方案去做了一遍，跟你做出来的结果比比，是不是一致。显然，一个研究结果如果有好的重现性，才能保证其可信性，大家也足够信服（当然，这也是NgAgo基因编辑结果迟迟无法重现的尴尬~）。
2. 研究结果存在可重现性危机？
Nature[2]曾发表了一项针对1576名研究者的调查，显示90%的研究者认为目前的研究成果存在“轻微”或“重大”的可重现性危机（Reproducibility Crisis）（图1）。
图1. 怎么看研究结果可重现性
尽管这种非随机调查的结果并不一定能准确代表所有研究者的看法，但它们却在一定程度上反映了人们对于科研成果的信任危机。
在web of science[3]当中，以“reproducibility crisis，” “scientific crisis，”“science in crisis，” “crisis in science，” “replication crisis，” “replicability crisis”检索论文标题、摘要以及关键词，令人惊讶地发现过去几年中，“科学危机”似乎成了“热搜榜”榜单中不可忽视的一员。
3. 哪些因素导致不可重现的研究发表
Nature这项的调查显示，超过60%的受访者认为文献中选择性报告和迫于压力的发表，“总是“或”经常“导致不可重现的研究发表。
在另一项匿名调查中，1-2％的研究者承认至少编造或伪造了一次数据；更多的人承认在研究过程中存在不同程度的“学术不端“，比如说，有选择性地删除一部分数据，或者”自动过滤“那些存在矛盾的试验结果。
一项针对肿瘤临床试验的随机核查中，0.28％被发现存在“学术不端“，而美国FDA对1977-1988年期间开展的临床试验的调查中，这一数字达到了4%。另外一项对于微生物学论文的检查表明，有1-2％的论文有伪造嫌疑。尽管受到这些影响的文献到底有多少，目前还没有一个权威的数字（当然，可能永远都说不清楚~），但是这些情况的存在却是不争的事实。
另一方面，现实情况下，研究者不得不面对论文发表的压力（或为晋升、或为抢先发表研究成果），从而导致没有开展足够的重复性试验，来确保得到结果的可重现性。
此外，偏低的统计学检验效能（power）同样也增加了假阴性结果的风险。不同的学科中，存在大量研究的power低于推荐的80%。当然，这种偏低的power对于假阴性结果的影响目前还不清楚，还需要考虑研究中真实的组间差异、偏倚程度等等。
另外，大概多数人也可能会归咎于“P值绑架”——为了报告一个p<0.05的“阳性结果”。然而事实如何？一项对于医学类文献的分析发现，14%的论文可能存在”假阳性结果”。当然，这并不是医学类研究的”专利“，多数研究都存在”唯P值论“的现象。
4. 我们能做什么？
超过90%受访者认为“更好的试验设计“、“更科学的统计学分析”、“更严格的质量控制”等因素才能够确保或提高科研成果的可重现性。
试验设计的重要性不言而喻，实际接触中，发现有的小伙伴总想着快出文章而忽视了自己的研究到底应该算什么类型的试验设计。比如，经常混淆横断面调查和病例对照设计。
另外，不同的试验设计有着不同的适用条件和局限性。有的小伙伴守着横断面调查，却总想要下一个确证性结论，完全把横断面调查局限性（调查时，暴露因素和目标结局都是同时收集的，不适合作因果推断）抛在脑后。
统计分析同样需要明确每一种方法的适用条件，当然，更重要地是对于结果的正确解读，不要看到p<0.05，就满心欢喜；p≥0.05，就垂头丧气。公众号里经常和大家分享正确的统计观（例如，既往研究结果为阳性，我却得出了阴性结果，咋办？）。
最后，一个高质量的研究不光靠严谨的研究设计，更要落地到严格的研究实施当中，缺少了GCP的临床研究，其结果的可重现性总免不了要打上点折扣。
科研这件事儿，得有“正襟危坐”的严肃，也有“事必躬亲”的认真~
小提示：本篇资讯需要登录阅读，点击跳转登录
版权声明：
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料，版权均属于梅斯医学所有。非经授权，任何媒体、网站或个人不得转载，授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章，或“梅斯号”自媒体发布的文章，仅系出于传递更多信息之目的，本站仅负责审核内容合规，其内容不代表本站立场，本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
在此留言
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料，版权均属于梅斯医学所有。非经授权，任何媒体、网站或个人不得转载，授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章，或“梅斯号”自媒体发布的文章，仅系出于传递更多信息之目的，本站仅负责审核内容合规，其内容不代表本站立场，本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
在此留言
说的到心坎里去了
75
好文章.学习啦
59
认真学习了.谢谢
55
谢谢分享学习了
60
学习了受益匪浅
58
学习了.长知识
27
学习了.谢谢分享
19
结果可重复性太重要了
22
一起学习学习
20
谢谢分享.学习了
19