关于反应预测的争论使机器学习的陷阱成为焦点

机器学习专家说:“在我看来，他们使用机器学习就像用锤子解决问题一样。悉赶车他在美国公司英伟达(Nvidia)从事自动驾驶汽车技术。甘居指的是用来预测反应结果的算法¹这一研究现在受到另一个研究团队的质疑，他们认为这一研究在机器学习中失败了经典控制。²

尽管该研究的作者不同意这一评估，^3.这场争议凸显了机器学习方法在获得关注之际的潜在陷阱。十年前，化学机器学习的出版物只有几百本。2018年，Web of Science化学集合中有近8000篇文章包含这个关键词。

学习算法承诺大修药物发现，合成而且材料科学．“但随着越来越多的化学家进入(机器学习)领域，不幸的是，有时并没有遵循最佳实践，”他说Olexandr Isayev美国北卡罗来纳大学教堂山分校的化学家和机器学习专家。

化学模式

2018年2月，一个团队围绕阿比盖尔道尔来自美国普林斯顿大学和默克公司的Spencer Dreher创建了一个机器学习模型来预测加入异恶唑的交叉偶联反应的产量，异恶唑是已知的抑制反应的杂环。

研究人员为他们的算法提供了3000个反应的产率和试剂参数——轨道能量、偶极矩和核磁共振位移等。该模型可以高精度地预测尚未遇到的反应的产量。

人们对机器学习有一种误解，认为它是一个黑盒子。这是不对的

Michael Keiser，加州大学旧金山分校

然而,Kangway壮族而且迈克尔Keiser来自美国加州大学旧金山分校的教授认为道尔的团队未能进行足够的对照实验。当Keiser和Chuang在无意义数据(随机条形码而不是化学参数)上训练一个相同的算法时，它在预测产量方面几乎和Doyle的一样好。“一个连化学特征都看不到的模型究竟怎么能预测反应产量呢?”澳门万博公司凯瑟想。“任何成功的模型都没有使用化学。”

Keiser解释说，这个问题可能源于用于训练和测试模型的数据集缺乏多样性。凯瑟说:“这是有害的，因为它很微妙，很容易被忽视:也许你看到的化学模式真的没有那么多变化。”Ganju解释说，当训练集和测试集看起来太相似时，它会夸大模型的准确性。

凯瑟说:“如果有一种方法可以让机器学习模型找到模式，以我们作为研究人员甚至没有想到的方式作弊并获得良好的表现，那么它就会做到。”甚至还有这样的作弊算法列表由DeepMind的Victoria Krakovna整理。它包括“懒惰的食人族”人工生命模拟．

在模拟中，进食提供能量，移动消耗能量，而繁殖是能量中性的。该算法进化出一种久坐不动的生活方式，主要是通过交配来产生作为食物来源的后代，从而使能量获得最大化。

越简单越好

伊萨耶夫说:“在化学领域，每个数据点的代价很高——你需要有新的化合物，进行新的反应。”这就是为什么化学数据集往往很小，这对于复杂的算法来说是一个问题，因为它们容易过拟合。

只训练了几千种反应的模型可能不仅能发现有用的趋势，还能在潜在噪音中找到模式。过拟合使模型过于自信，并人为地夸大它们的表现。甘居建议坚持奥卡姆剃刀法则:“尽可能使用最简单的算法或模型来帮助解决问题。”

Isayev说，小型数据集也倾向于有偏见——它们包含太多相似的结构。在这些数据上训练的模型可能会做得很好，“但实际上，它所做的只是了解这个特定的支架”，他指出。伊萨耶夫补充说:“这听起来真的很无聊，但数据是关键。”管理数据需要一定的技巧。他说:“与任何模拟一样，‘垃圾输入垃圾输出’原则也适用。”

道尔同意道:“这是一个巨大的挑战。“为了最大化样本外的预测能力，你如何在实验之前知道应该将哪些条件作为模型的训练集?”在他们的反驳中，道尔、德雷尔和同事们认为他们的机器学习模型是有效的，尽管凯泽试图证明不是这样。Doyle解释说，随机模型不能对不属于训练数据的化合物做出预测。

耶稣埃斯特拉达Doyle团队的博士研究员说，要证明模型的预测能力是错误的，仅仅做一个测试和训练集只包含平均反应性成分的实验是不够的。他说，你希望使用结果更为极端的测试集，因为这是(随机)模型无法预测的。

伊萨耶夫说:“很难说谁是正确的，真相可能介于两者之间。”“也许作者在应用某些实践时不够谨慎，但这并不能忽视一个事实，那就是你可以用机器学习来预测反应结果。”

克服炒作

虽然对于算法的有效性还没有最终的共识，但Isayev指出，讨论对于帮助其他人避免类似的绊脚石是很重要的。“人们对机器学习有一种误解，认为它是一个黑盒子。事实并非如此，”凯瑟说。科学探究的原则——测试多个假设并检查结果是否与直觉一致——应该应用于机器学习，就像应用于任何其他类型的研究一样。

Ganju说:“我认为机器学习或任何计算技术的使用是为了减少搜索空间，这使科学家能够更专注地研究——不排除领域专业知识的相关性。”“机器学习和人工智能会成为头条新闻，但有时你必须透过它们去看，才能发现实际结果并没有那么惊天动地。”