开发新型神经毒剂的药物研发AI提出了难题

科学研究通常是怀着最好的意图进行的——无论是为了改善健康，提供更清洁的能源，还是为了增进对我们周围世界的了解。但如果你的研究成果被故意滥用造成伤害呢?

美国北卡罗来纳州一家药物研发公司的研究人员使这个问题成为焦点。合作制药公司的团队被邀请参加一个会议，科学家们被要求尝试识别他们的工作可能带来的潜在威胁。

科学界有一个盲点

法比奥·乌尔比纳，合作制药公司

“这样做是为了让从事化学战防御工作的人能够跟上新事物的步伐，如果六个月前出现的一些新技术被滥用于某种目的，他们也不会措手不及，”解释说法比奥·乌尔比纳他是collaboration公司的资深科学家。

collaboration Pharma使用人工智能工具来识别罕见疾病的潜在治疗方法。为了预测分子在体内可能产生的影响，该团队花了大量时间对已知化合物的性质进行建模，以建立结构-活性关系。

他们分析的最重要的特征之一是毒性，因为无论一个分子在治疗疾病症状方面有多好，如果它也产生致命的副作用，它就不能成为合适的药物。乌尔比纳说:“如果我们一开始就能通过预测分子是否有毒来筛选分子，我们就能从一组更好的潜在候选药物开始。”

当他们被邀请参加Speiz汇聚大会在美国，乌尔比纳和他的同事们最初对他们的技术如何被那些想要造成伤害的人操纵感到困惑——毕竟，他们工作的全部意义在于创造新药。但研究小组意识到，他们复杂的毒性模型可能被滥用来伤害人类。

“我们通常会做一些结合:我们想抑制这种特殊的蛋白质，这将是治疗性的，但我们也不想有毒。”这通常会进入我们的大部分生成式设计中，”Urbina解释道。“但在我们谈话的五分钟内，我们意识到我们所要做的只是在我们的代码中翻转一个小的不平等符号——我们不是给分子的预测毒性高的低分，而是给它的预测毒性高的高分。”

为了验证这一想法，合作团队决定筛选可以抑制乙酰胆碱酯酶的化合物，这种酶有助于分解神经递质乙酰胆碱，这是肌肉放松的重要过程。虽然以乙酰胆碱酯酶为靶点的酶可以治疗某些疾病，在一定剂量下，它也是神经毒剂的靶点，如VX．

在讨论了这个想法之后，乌尔比纳在他的电脑上进行了搜索，并让它整夜运行。他说:“我早上回来时发现我们已经生成了1000个这样的分子。”当研究人员分析预测与搜索查询最匹配的分子时，他们发现了几种化学结构与VX非常相似的化合物。

乌尔比纳说:“更糟糕的是，有相当一部分被预测比VX的毒性更强，这是一个非常令人惊讶的结果，因为VX通常被认为是现存最强大的毒药之一。”“因此，比VX更强大的东西会在你的脑海中敲响警钟。”

“显然，这些预测中会有很多假阳性，它们不是完美的机器学习算法，”他补充道。“但其中含有比VX更有效的物质的可能性绝对存在。”

随着研究团队的深入，他们的担忧得到了证实，人工智能工具产生的一些分子被发现是已知的化学战剂。“这告诉我们，我们在正确的领域——我们没有产生疯狂、奇怪的东西，但我们的模型已经发现了这种毒性的重要因素。”

道德风险

对于乌尔比纳和他的同事来说，这个实验突出了伦理问题，而在设计新的化学软件时，这些问题可能并不总是得到足够的考虑。他们指出，虽然像他们使用的机器学习算法可以帮助坏人发现有害的新分子，但其他类型的人工智能，如逆合成工具，也可以帮助用户实际制造材料。这些系统甚至可以帮助用户避免使用政府监视名单上的材料。

“我们真的找不到任何关于在化学领域道德地使用机器学习的评论或指导方针。这有点令人惊讶，因为我们以为会有关于它的东西，但实际上并没有，”乌尔比纳说。这让我们觉得有点落伍了。

乌尔比纳指出，在其他领域的人工智能研究中，伦理往往受到更多关注。他说:“一些最新的语言模型在他们的论文中出现了超过一页半的讨论，专门集中在误用上。”“我们从来没有见过这样的东西——我从来没有见过一篇化学论文使用机器学习，在毒性领域产生一些东西，从来没有集中讨论过它如何被滥用。”

日常用品Avin剑桥大学存在风险研究中心(University of Cambridge’s Centre for the Study of Existential risk)的风险缓解策略专家斯特恩(scott scott)说，比起发现本身，他更惊讶的是，合作研究小组的研究人员的报告似乎震惊了药物研发界。Avin说:“如果你已经有了一个很大的化合物数据集，并标注了特征——比如毒性或用于X目的的功效——并且现实地期望基于这些特征的预测具澳门万博公司有现实世界的相关性……那么转向预测另一个特征，比如最大化毒性，应该是一个相当自然的‘红队’实验。”“这是发现这一现象的团队事后的想法，这表明我们在实践中灌输文化或负责任的创新方面有多落后。”

Avin提到的红队实验是一个旨在暴露软件漏洞并提醒程序员他们的系统可能被滥用的方法的练习。这是许多维护措施他建议人工智能开发者确保他们的技术是负责任的设计。

“在我建议的英国人工智能加速器机器智能车库(Machine Intelligence Garage)中，所有初创企业在项目开始的前几周都会接受道德咨询，在那里他们会面临诸如:‘你的技术可能会被滥用吗?您将如何减轻这种滥用?' Avin说。“很明显，在所有采用人工智能技术的公司和部门提出这样的问题之前，我们还有很多工作要做，但我们应该抱有同样的期望。”

滥用科学

虽然人们可能会认为，应该限制使用协作制药公司开发的工具，以避免最坏的情况，但乌尔比纳指出，他的团队实验提出的问题很难解决，尤其是考虑到科学透明度和数据共享的根本重要性。他说:“我们都是关于数据资源共享的，我非常支持以最好的方式发布数据集，这样研究才能得到利用。”“即使是最新的(美国国立卫生研究院)指南也非常注重数据共享。但没有一个句子或章节提到这种新的数据共享可能被滥用。所以对我来说，这只是告诉我科学界有一个盲点。”

展望未来，Urbina说他计划在他的所有论文中包括关于滥用的讨论，并希望在未来，这可能成为研究人员在学术文章中期待这种对话的常态。

协作团队还建议，大学应该加强科学和计算机专业学生的道德培训，并希望专注于人工智能的药物研发公司达成一项行为准则，以确保对员工进行适当的培训，并采取保障措施，确保他们的技术安全。

杰弗里·科瓦克他是美国田纳西大学的化学家，写过大量关于科学伦理的文章，他也认为所有研究人员“必须尽最大努力预测他们的发现的后果——无论是好是坏”。然而，他指出，历史上的许多例子表明，预测这些结果是多么困难。他说:“一种是含氯氟烃的制冷剂。”“这在当时是一个巨大的进步，因为它们取代了氨，但我们后来了解到它们对环境有负面影响。”

科瓦奇并不认为人工智能的出现一定会改变太多，他指出“优秀的合成化学家长期以来一直在设计新的分子”。他说，目前可用的化学武器毒性很大。因此，目前尚不清楚设计毒性更强的化合物是否会产生质的差异。但他也响应了合作团队的呼吁，即更加重视理科生的道德教育。

他补充道:“我还建议，化学学会以及计算机科学的道德准则需要加强，以更加强调解决当今世界问题的必要性。”