碳、氢和氮的±0.4%的标准期刊要求在统计上并不合理

女人在看百分号

来源:©Getty Images

期刊对研究人员严格的元素分析限制没有明确的理由

作为在手套箱里并肩工作的研究生,我们中的两个人(Caleb Martin和Jason Dutton)经历了获得符合严格期刊标准的元素分析数据的压力。虽然我们可以在现场获取和分析新化合物的其他光谱数据(如核磁共振、红外和质谱),但元素分析是由第三方进行的。如果发给我们的结果偏离了预期值,我们所能做的只是耸耸肩,指出我们干净的核磁共振光谱,并尝试合成或纯化一个“更好的”样品,在延迟几周后,它要么给出合适的数字,要么没有。

此外,返回的值没有错误条或证实原始数据。报告中也没有说明如何处理重新提交的样本中的数据,如果公司进行了重复分析,也没有说明应该如何解释多个数据。来自合成界的坊间评论表明,在许多小组中,重新发送同一批次的样本并简单地选择最佳结果是常见的做法。期刊通常要求在拟议公式中碳、氢和氮的计算值的±0.4%以内,但没有对这一阈值进行合理解释。多年后,在我们的学术岗位上,我们从不同的角度面对这种情况。元素分析对我们有限的预算来说是一笔开销,令人不满意的结果推迟了出版。

我们构想了一项评估元素分析结果可靠性的研究。考虑到质疑一项根植于期刊指南数十年的分析技术的高风险,我们咨询了两位朋友,他们也表达了相关担忧。丽贝卡·梅伦(Rebecca Melen)在推特上表达了对在Covid-19封锁期间难以获得元素分析数据的沮丧之情。Saurabh Chitnis已经厌倦了依赖第三方实验室的元素分析数据,最近他购买了自己的仪器,以降低成本并确保更好的质量控制。

元素分析仪

来源:©Saurabh Chitnis

在将样品发送给商业供应商之前,Chitnis元素分析仪器用于检查样品

在一次虚拟会议中,我们设计了一个评估第三方服务可靠性的计划。我们选择了五种空气稳定的有机化合物,它们都通过了新校准的Chitnis仪器。将这些样本发送到两个外部设施,得到的结果彼此差异很大,有几个数据点落在0.4%的范围之外。这是幸运的——如果这两个供应商的数据是准确的,我们可能已经放弃了这个项目。

接下来,我们将样本发送给其他15个学术或企业元素分析服务机构。有些公司给出了全面的完美值,而一家公司的失败率为30%,即数据超出了0.4%的指导方针。一个碳检测结果高了7%——在真实样本中如此大的变化会导致与主管的会面不愉快!

我们这些化学家不知道如何分析这些汇总数据。因此,我们邀请了专业统计学家Rupert Kuveke作为高级合著者,从近500个CHN数据点中解析意义。从这个分析,超过16%的碳结果不符合±0.4%的要求。从我们的研究中无法确定这种变化的来源,但统计分析表明它基本上是随机的。如果认为5%的不合格率是可以接受的,则需要为碳设置±0.71%的裕度。即便如此,仍有5%的样本会因为研究人员无法控制的因素而失败。

我们希望我们的研究能使期刊证明他们对元素分析的门槛和要求是正确的

令我们惊讶的是,这项研究得到了压倒性的积极回应,我们对此表示赞赏ACS中央科学也感谢合成界如此乐于接受一篇可能有争议的文章。这可能反映了元素分析对社区造成的系统性痛苦。我们只收到了两封关键的电子邮件,说明如果操作正确,这项技术是准确的。我们完全同意——问题是我们无法验证在第三方机构进行分析时所使用的小心程度。一些研究人员已经成功地利用我们的价值观在给审稿人的反驳信中要求“更好的”元素分析数据,一些人还在他们手稿的实验部分引用了我们的工作。

我们的手稿提供数据并陈述其统计意义,请读者得出自己的结论。我们认识到这不是关于该方法的完整研究,因为没有考虑到假阳性,但显然期刊和审稿人对元素分析数据的态度需要进行重大修改,因为目前(几乎)覆盖±0.4%不是一个科学合理的标准。我们希望我们的研究能让期刊证明他们对元素分析的门槛和要求是正确的,并让审稿人了解错误失败率,这将使合成化学研究人员在职业生涯的各个阶段少一些挫折,多一些乐趣。