黄金标准或下角

2014年剑桥大学计算机科学家尼尔劳伦斯请求主持年度机器学习计算神经科学会议,称为Europs处理系统不到四分之一提交审查的论文获得展示点,这是这类声望盛大会议常见的场景,会议过程是发布结果常用模式。Google研究VP共同主席科里纳科特斯表示利用这个机会实验同级评审过程并看它提供何种程度一致性同行评审被视为科学中的“黄金标准”,并普遍得到研究人员的广泛支持,但有证据表明它不一定总能公正判断质量EuroNIPS会议为深入调查提供了机会。

Lawrence和Cortes召集两组评审板,提交论文的10%-166论文-由两组评审最终有43份文件从每个小组收到不同决定,各委员会对最终接受提交38份文件中的57%持不同意见。结果比随机效果略好点(你期望77.5%接受论文有分歧)-但这样对年轻研究者何以定义生涯决定就够了吗?

其它研究显示相似的前后不一致2018年,43名审核者获得相同的25份匿名美国国家卫生院赠款申请审查,在定量或定性评价中显示没有协议研究结论认为,随机选择二类相同应用平均相似于随机选择二类不同应用^一号

期望同行评审高度一致性也许是不合理的劳伦斯表示,'你采样 三人不客观.这可能不曾是一个问题,但学术界目前的竞争性质使得同行评审决定都具有高度意义。或10%的资金率极少赢家和多输家, 以及许多不配的输家和一些不配的赢家,Johan Bollen复杂系统专家来自美印地安那大学布隆明顿,

差异堆积整个发布过程

万博代理Aileen日,皇家化学学会

劳伦斯同意问题的根源在于 职业定位同行评审决策ijjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjj

用于赠款分配的额外问题是时间浪费写作和同侪审查最终没有备注的提案依据澳大利亚研究者建议编写3 700建议,他们在一年内集体提交代表五百年研究时间²Bollen表示这不是批评供资机构容留85%为零钱的系统效率不高

无意识偏差

同行评审时征收的另一收费是它受无意识偏向审查者无疑随身携带的疾病的影响。这些学成的定型观念非有意,但深入加深并能够影响决策万博代理2019年皇家化学学会制作了一份报告,研究2014-2018年提交杂志成功率方面的性别差距RSC数据科学家AileenDay发现所有阶段都存在差异,包括同级评审³日报上说道:它微小,但意义重大举例说,23.9%提交论文的相应作者是女性,只有22.9%接受出版论文有女性对应作者关键是差异堆积 整个发布过程 解释Day

研究还发现男女行为不同审核者表示Day表示:「如果你是位女性,评审者还优待自己的性别

RSC释放出无意识偏差科学发布行动框架提供编辑局和工作人员可以采取的步骤,使出版更具包容性7月,其他出版商,包括美国化学学会和Elsevier同意与RSC一起承诺监测和减少科学出版偏差代表7000多期刊的集团已同意汇总资源和数据并努力适当代表作者、评审员和编辑决策人工作组将协作制定政策、收集多样性数据的良好做法和分享从试验新流程中吸取的经验教训。

杂志显然努力确保审查者实现更好的性别平衡,许多机构为工作人员和审查者提供培训以克服无意识偏差,但对于这些措施的有效性存在意见分歧。专业HR机构人事与发展学院最近一份报告强调培训可改变雇员行为`极有限'证据

我想,我们何不写张支票

Johan Bollen印第安纳大学布隆明顿

避免偏差的一个思想是隐藏论文或建议作者的身份,工程物理研究理事会已经研究过的东西业务改进主管Louise Tillman表示:「多年来,多审核者表示相对小学术圈很难保证匿名

反端部分出版物公开同级评审比方说二月性质并发作者回复发布转介者报告(仍可选择匿名发布)`在一个理想世界中,你可能希望审查者的名字开放,但那里有挑战,'劳伦斯说,'[裁判人]可能不愿意分享直率观点'劳伦斯编辑的机器学习杂志除论文外还发布同行评审Europs实验可能是我最喜爱的创新

某些主体变化速度似乎比其他主体慢公开评审化学杂志的例子少之又少,例如,尽管最近这里有运动迹象-RSC最新两期杂志向作者提供透明同行评审选项(发布论文同行评审报告 ) 。劳伦斯表示慢速度可能与化学发布 受大型社会出版商支配有关Lawrence表示, 社区经商由专业机构管理审核工作, Lawrence认为组织变换速度慢

筹资彩票

如果同级评审像彩票,为什么不用彩票取而代之呢?数个供资机构试运行这些系统自2013年起,新西兰卫生研究理事会授予价值15万新西兰元(76,000英镑)的 " 探索者赠款 ",使用随机数生成器从所有经验证满足标准的申请中选择数位其他资助者测试了这个概念:瑞士国家科学基金会2019年随机选择实验,抽签选择博士后研究金,德国大众基金会自2017年起还使用彩票分配赠款另一种可能不那么残酷的模式虽然尚未测试,但表示未经资助的应用回锅-创建类似溢价债券的系统⁴

最近对新西兰计划审查发现63%响应调查的申请者支持彩票,25%反对可能毫不奇怪,胜者支持率更高受访者还报告系统没有缩短编程时间,因为他们仍需要通过初级质量阈值才能入彩票⁵

Bollen说,这些系统“唯一体现所有可能世界中最坏的一面”。基本资助机构和科学家表示我们不能像样审查.

Bollen为资助研究者想出另一个想法 : i expect, why don't webt写一张支票? 2019年,受互联网搜索引擎使用数学模型启发,他发布自己对自组织集资系统的想法,在这个系统里,每位科学家定期得到等量和无条件的资金渔获量是,他们随后必须匿名向非协作者或同一机构的其他科学家捐赠分量。⁶科学家再分配部分所得Bollen表示模型“在分配和分配资金方面大相径庭,整体上反映社区中每个人的偏好 ” — —或许是最终同侪评审效果可能和我们现在的系统一样公平,

微调模型可帮助解决当前偏向问题,例如委托研究者将一定比例的资金分给代表不足的群体系统当然会偏向学术者, 并偏向隐蔽领域,至今为止,他的模型没有接受者,但从同事和供资机构得到了很多兴趣他希望在当前动荡时期过后可能有改变的胃口

劳伦斯认为我们可能只需要接受同侪评审 总是有缺陷`完美无噪系统思想是最糟糕的错误'最近一些广为传播的撤回,包括一篇关于Covid-19yxyquine处理的Lancet论文显示同级评审不是防错的网站减法观察显示 2019年至少有118份化学论文被收回归根结底,我们也许需要实事求是地表示何谓`黄金标准'`[Peer评 可能是我们现有最佳验证研究系统,但[并非总指]拒绝研究有缺陷或接受研究有辉煌,Lawrence说 。

文章于2020年8月26日更新前一版提到不同国家发布数据比较,但未经验证,Aileen Day引用使用词Bias已被澄清为efferences