褐石研究所 » 褐砂石杂志 » 历史 » 同行评审机制存在缺陷——以下是修复方法
同行评审机制存在缺陷——以下是修复方法

同行评审机制存在缺陷——以下是修复方法

分享 | 打印 | 电子邮件

[本文由密西西比州立大学市场营销学助理教授迈克尔·R·詹金斯共同撰写。]

学术界似乎逐渐形成一种共识,认为同行评审制度——曾经是学术研究的基石——已经失效。但它真的无可挽回吗?或许如此。至少,其现有形式的失效值得探究。然而,我们并不打算彻底放弃这一制度,而是相信我们拥有一个全新的解决方案。不过,首先让我们来审视一下这个制度究竟出了什么问题。

在中世纪,大多数科学研究成果都是学者们自行发表的,他们彼此分享研究发现。但随着学术界的壮大,这种方式变得不再可行,于是科学期刊应运而生,成为信息传播的一种途径。学者们产生想法后,会进行研究,总结结论,并将最终稿件提交给期刊。期刊的编辑会审阅稿件,决定是直接发表、要求修改还是直接拒稿。随着时间的推移,学者数量不断增长,他们面临着越来越大的发表压力——为了获得聘用、终身教职和科研经费——期刊编辑的工作变得异常繁重。投稿数量实在太多,根本无法对所有稿件进行公平的审阅。

于是,他们想出了一个办法:将稿件评估工作外包给由无偿审稿人组成的团队。这些审稿人通常是同一领域或相关领域的其他学者,他们(至少在理论上)有资格评判所审稿件的质量。这既能减轻编辑的负担,又能为最终发表的论文增添一份权威性。一篇学术论文是否值得发表,不再由一两个人决定,而是由一群“盲审”专家来评判。因此,“同行评审”成为了学术研究的黄金标准。在“同行评审期刊”上发表的文章长期以来被认为几乎无可辩驳,以至于政客和媒体人士似乎都坚信,只要引用一篇“同行评审的研究”,就能在任何争论中胜出。

这套系统最初相当不错,而且在很长一段时间内运行良好。但现在看来,它似乎已经走到了尽头。终身教职的要求变得更加量化。互联网降低了投稿门槛,鼓励更多学者向更多期刊投稿。来自亚洲、非洲和中东大学的投稿数量呈爆炸式增长。即便期刊和审稿人数量增加,这套系统也像所有大型复杂系统最终都会崩溃一样,出现了故障。我们之所以知道这一点,是因为斯坦福大学科学家约翰·伊奥尼迪斯(John Ioannidis)20年前首次发现的问题,后来被称为“可重复性危机”。

优秀科学的标志之一是实验可以重复——也就是说,另一位研究人员使用相同的方法会得到相同的结果,这意味着研究结果既有效又一致。但伊奥尼迪斯在他2005年那篇具有开创性意义的文章中指出:“为什么大多数已发表的研究结果都是错误的(2022年更新)指出,大多数已发表的研究结果都存在缺陷。这些实验无法重复,使其有效性受到质疑。

其他学者随后对伊奥尼迪斯的论点提出了质疑,尤其是他对“大多数”一词的使用。社会科学家尤其认为,涉及人类受试者的实验往往无法重复,正是因为人本身就具有不一致性。尽管如此,学者们普遍认同可重复性危机确实存在,尽管其普遍程度可能不及伊奥尼迪斯所言。

这与同行评审有何关系?显然,如果同行评审体系运作良好,由真正的专家团队互相检查和复核彼此的工作,那么我们或许可以预期,只有极少数有缺陷的研究会蒙混过关。换句话说,如果同行评审真的有效,就不会出现可重复性危机。

不幸的是,这套系统的准确性甚至还不是最大的问题。和许多机构一样,它已经沦为高度政治化的回音室。同行评审不再是建立在学术制衡机制之上,从而确定和传播真理的途径,而是变成了推广和维护正统观念的工具。期刊编辑和审稿人不再是严谨而友好地检验彼此假设的学者群体,而是把自己当成了守门人。只有那些能说出正确密码的人才能被接纳。

以气候研究领域为例。至少在过去二十多年里,科学界的共识是人为造成的气候变化对人类构成生存威胁。任何挑战这一正统观点的人,无论其研究质量如何,论证逻辑如何,都很难在顶级期刊上发表研究成果。把关人(也就是审稿人)根本不会允许。

或者说说跨性别意识形态?甚至在我们得知世界跨性别健康专业协会(WPATH)隐瞒和操纵数据之前,为什么很少有学者质疑未成年人的社会、医疗或手术性别转换能够减轻其痛苦的说法?答案显而易见:他们知道这样做会断送自己的职业生涯。即使到了今天,我们仅仅指出这一点也会面临职业风险。这并非科学,科学旨在推进真理的探寻;而是政治,它阻碍了真理的探索。

平心而论,这种情况的发生很容易理解。我们甚至不认为这完全是出于恶意。这只是人性使然。挑战既定思维方式的观点,从哥白尼和马丁·路德时代起,就一直不受那些制定者欢迎。新的发现及其衍生出的理论,有可能动摇上一代学者的理论——而猜猜看,谁才是主要的审阅者?我们所说的“政治”,并非一定指党派之争,而是指个人层面:究竟是谁的利益受到了损害?

当然,党派政治——尤其是意识形态——也常常牵涉其中。即使在那些不像气候学或“性别研究”那样政治色彩浓厚的学科——例如会计学或市场营销——年轻学者也必须对前辈的意识形态顶礼膜拜。他们必须对“多元化、公平和包容”、“白人身份”和“边缘群体”等概念表示敬意,即便这些概念与他们的研究毫无关联,甚至更糟的是,他们的研究结果根本无法支持这些概念。当然,如果他们真的想发表文章,他们总会想方设法将研究成果与当下的政治热点联系起来。因此,我们看到了诸如“白人品牌如何使有色人种消费者处于不利地位”或“在管理研究中关注边缘群体”之类的文章标题。(其中一个是真实的,另一个是我们编的。你能分辨出哪个是哪个吗?)

那么,接下来该怎么办?我们认为现在是时候回归中世纪的“学者共同体”模式了——当然,要融入21世纪的现代元素。诚然,在大多数学科领域,要让所有学者齐聚一堂,互相传阅手稿几乎是不可能的(任何参加过学术会议的人都能体会到这一点),但是,借助现代科技,学者们确实可以“传递”他们的手稿,与来自全国乃至世界各地的同行分享他们的研究进展。

我们的想法是为每个学科创建官方在线论坛,学者们可以在论坛上发表关于其研究想法的文章,阐述理论背景、提出假设、公开研究成果(包括方法论),并推导出其意义或预测。社区内的其他学者可以对这些文章进行评论,提出批评意见、补充缺失的信息,并建议新的研究方向。他们还可以亲自尝试这些实验,看看是否能得到相同或类似的结果,并将结果“反馈”给论坛。之后,原作者可以利用这些信息,进一步探索该研究课题。

这种方法的优势之一在于其迭代性,每位学者都能在前人研究的基础上继续发展。另一个优势是,学者无论研究结果如何都可以发表论文。当前同行评审制度的一个常见批评是,学者只有取得积极成果才能发表论文。然而,消极成果也是成果,它们以自己的方式推动了知识的进步。正如学者需要了解哪些结论是正确的才能在此基础上继续研究一样,他们也必须了解哪些结论是错误的,才能避免重蹈覆辙。

论坛上的帖子都会带有时间戳,方便作者证明其对想法的所有权。帖子可以添加超链接,方便后续研究和引用。为了防止不良行为,所有发帖人和评论者都将取消匿名。论坛会进行轻度审核,以确保帖子符合学术标准,并遵守适当的礼仪、文明用语和署名规范。但所有想法都会被考虑,不会设置任何门槛。相反,社区会进行自我监管,通过“理性讨论”(借用社交媒体术语)而非审查的方式,来纠正“不良”想法。

显然,为了使该体系最终取代当前的同行评审体系,大学需要接受它,并想办法评估学者的生产力,以便授予终身教职等等——或许可以根据帖子数量和社区对这些帖子的反应来评估。

但我们相信这是未来的发展方向,大学、学科和学术团体都应该积极响应。现行体系已经过时,非但没有助力真理的探索,反而成了真理的绊脚石。


加入对话:


发表于 知识共享署名4.0国际许可
如需转载,请将规范链接设置回原始链接 褐石研究所 文章和作者。

作者

  • 罗布·詹金斯 (Rob Jenkins) 是佐治亚州立大学周边学院的英语副教授,也是校园改革的高等教育研究员。 他是六本书的作者或合著者,包括《更好地思考》、《更好地写作》、《欢迎来到我的课堂》和《杰出领导者的九种美德》。 除了《Brownstone》和《校园改革》之外,他还为《市政厅》、《每日电讯报》、《美国思想家》、《PJ Media》、《詹姆斯·G·马丁学术更新中心》和《高等教育纪事报》撰稿。 这里表达的意见是他自己的。

    查看所有文章

今天就捐赠

你们对布朗斯通学院的财政支持将用于支持作家、律师、科学家、经济学家和其他在我们这个时代的动荡中受到职业清洗和流离失所的勇敢人士。 您可以通过他们正在进行的工作帮助查明真相。

订阅 Brownstone Journal 新闻通讯


商店褐石

加入超过 30,000 名独立读者的行列:免费订阅 Brownstone Journal 新闻简报