科學論文通常是事無巨細的典范。作者團隊往往有責任披露一切方便他人復現(xiàn)他們的發(fā)現(xiàn)所需要的信息。

但這項研究是個例外。

最近一篇發(fā)表在 Nature 子刊 Nature Machine Intelligence 上的論文《人工智能驅動的藥物發(fā)現(xiàn)的雙重用途》（Dual - use of artificial Intelligence -powered drug discovery）顯然把它的作者嚇壞了。這體現(xiàn)在文本的基調和沒有透露關鍵信息上。

一次可能性驗證

2021 年，總部位于美國北卡羅來納州羅利的 Collaborations Pharmaceuticals 公司受邀發(fā)表了一篇關于“藥物發(fā)現(xiàn)技術可能被濫用“的論文。該公司利用計算機幫助客戶識別看似潛在藥物的分子。地點是瑞士斯皮茲實驗室組織的一次會議。

這是一個由瑞士政府設立的“融合”系列會議，以確定可能對《禁止化學武器公約》和《禁止生物武器公約》產生影響的技術發(fā)展。會議每兩年舉行一次，匯集了一批國際科學和裁軍專家小組，探討化學和生物領域的最新技術現(xiàn)狀及其發(fā)展軌跡，思考潛在的安全影響，并考慮如何最有效地在國際上處理這些影響。

為了準備這次演講，collaboration 公司的一些研究人員進行了一項他們稱之為“思考實驗”的活動，通過計算證明了制造生化武器的概念。

在這個瑞士會議上，Collaborations Pharmaceuticals 公司決定探索如何使用 AI 來設計有毒分子。該公司之前設計了一種名為 MegaSyn 的藥物分子生成模型，借助機器學習模型預測生物活性，尋找人類疾病靶點的新治療抑制劑。這種生成模型通常會懲罰預測的毒性并獎勵預測的目標活動。

在新的實驗中，他們進行了調整，讓模型同時獎勵毒性和生物活性，并使用來自公共數(shù)據(jù)庫的分子對模型進行訓練。他們的方法和結果簡單得令人不安：通過對從公開數(shù)據(jù)庫中提取的一組類藥分子（定義為易于合成并容易被身體吸收的物質）的化學結構以及這些分子的已知毒性進行訓練，修改后的軟件不到六個小時就能發(fā)現(xiàn)四萬個潛在的致命分子。這些分子符合研究人員預定義的參數(shù)，可能用作化學武器。

The Verge 采訪了該論文的第一作者 Fabio Urbina，Urbina 是 Collaborations Pharmaceuticals 藥物發(fā)現(xiàn)公司的高級科學家，就藥物研發(fā)中的AI技術可能被濫用的問題展開了演講。

研究團隊以前從未有過這種想法，他們也模糊地意識到與病原體或有毒化學品工作的安全問題。Urbina 的工作植根于為治療和毒性靶點建立 ML 模型，并非是制造病毒，而是以更好地協(xié)助藥物發(fā)現(xiàn)新分子的設計，利用 ML 模型對新生產藥物的毒性進行預測。

這就像是，有一種奇妙的藥物可以神奇的降低血壓，但它的副作用卻是擊穿心臟通道，那么，這種藥觸碰了禁區(qū)，是不可能上市的，因為這太危險了。幾十年來，團隊一直在借助計算機和 AI 來改善人類健康。換句話說，無論試圖開發(fā)哪種藥物，首先得需要確保它們不會有毒。

最近，該公司發(fā)布了很多用于不同領域毒性預測的計算 ML 模型，并且 Urbina 在會議演講時，選擇翻轉開關，真正的走向毒性，探索如何使用 AI 來設計有毒分子。這是團隊前所未有的一次思想練習，最終演變成了制造生化武器的計算概念證明。

Urbina 在對一些細節(jié)的描述上有點模糊不清，刻意的隱瞞了某些細節(jié)，以防止被加以利用。簡單來說，整個實驗的大體工作流程就是，借助研發(fā)歷史中已有的分子數(shù)據(jù)集作為預測標簽，因為這些分子已經經過測試是否含有毒性了。需要注意的是，團隊重點關注的是 VX。

那 VX 究竟是什么呢？

嚴格意義上說，它是一種被歸類為神經毒劑的人造化學戰(zhàn)劑。而神經毒劑是已知化學戰(zhàn)劑中毒性最強、作用最迅速的。具體而言，VX 就是所謂的乙酰膽堿酯酶的抑制劑。每當你做任何與肌肉有關的事情時，神經元都會使用乙酰膽堿酯酶作為信號，鼓勵你“去活動你的肌肉”。

這正是 VX 的致命之處，它實際上阻止了你的橫隔膜，也就是影響你肺肌肉的運動，從而導致你的肺部變得麻痹，無法呼吸，甚至癱瘓。顯然，這是人們想要避免的。因此，從歷史上看，已經對不同類型的分子進行了實驗，以查看它們是否抑制乙酰膽堿酯酶。于是，Urbina 建立了這些分子結構及其毒性的大型數(shù)據(jù)集。

然后，團隊便可以利用這些數(shù)據(jù)集來創(chuàng)建一個 ML 模型，該模型基本上可以分辨分子結構的哪些部分對毒性很重要，哪些部分對其不重要。然后，便可以給該 ML 模型提供新的分子，可能是先前從未測試過的新藥物。隨后，它的判斷結果會告訴我們哪些藥物被預測為有毒，或者預測為無毒。

正是上述方法，有效地提高了研究人員對藥物的篩選速度，即他們可以非常迅速的篩選出大量的分子，并剔除那些被預測有毒的分子。然而，在團隊的這項研究中，正好顛倒了這一點。顯然，團隊試圖采用該模型達到的目的是預測毒性。此外，另一個關鍵的部分是這些新的生成模型。團隊可以通過給生成模型輸入一些完全不同的結構，它可以學習如何將分子放在一起。

然后，從某種意義上說，便可以要求它產生新的分子。此時，生成模型可以在整個化學空間中產生新的分子，但也只是一些隨機分子，沒有實質性的意義。但是研究人員可以做的一件事是，告訴生成模型所期望的走向。當然，通過設計一個評分函數(shù)就可以實現(xiàn)這點，如果它生成的分子是研究人員所期望的，就給它打一個高分。以生成毒劑為例，就是要給有毒分子打高分。實驗結果可以看到模型開始生成的這些分子，其中許多看起來像 VX，也像其他的一些化學劑。

Urbina 表示，其實整個團隊真的不確定會得到什么。因為生成模型相對來說還是比較新的技術，目前也沒有對生成模型進行廣泛使用。但一個尤其注意的問題是，很多生成化合物的毒性預測結果比 VX 的毒性更大。

更加令人震驚的是，VX 基本上是已知的最有效的化合物之一，也就意味著只需要非常、非常、非常少的量就能致死。雖然這些預測結果在現(xiàn)實生活中尚未驗證，研究人員也表示他們也不想自己去驗證，但預測模型通常性能相當不錯。

因此，即使存在很多假陽性反應，其中應該也會有毒性更強的分子。其次，研究團隊其實觀察了這些新生成分子的許多結構。不難發(fā)現(xiàn)，其中很多看起來確實像 VX 和其他戰(zhàn)劑，甚至在一些模型中生成的是真正的化學毒劑。并且，這些是在模型從未見過這些化學毒劑的情況下而生成的。毋庸置疑，模型肯定能夠生成一些有毒的分子，因為其中一些分子以前就已經被制造出來了。

那么，令人擔心的是，它到底有多容易實現(xiàn)呢？研究人員表示，在開發(fā)過程中所使用的很多東西都是免費的。你可以從任何地方下載毒性數(shù)據(jù)集。如果有一個人知道如何用 Python 編程，并且具備一些 ML 能力，那么可能利用一個短暫的周末，就可以構建出類似于這種由有毒數(shù)據(jù)集驅動的生成模型。

因此，這就是研究人員真正考慮將這篇論文發(fā)表出來的原因：對于這種類型的濫用來說，它的門檻實在是太低了。Urbina 在論文中表示：“我們仍然跨越了一個灰色的道德界限，證明有可能設計出虛擬的潛在有毒分子，而不需要太多的努力、時間或計算資源。雖然我們可以輕易地刪除我們創(chuàng)造的成千上萬的分子，但我們不能刪除如何重新創(chuàng)造它們的知識。”Urbina 表示，這是一個非常不尋常的話題，他們想把這些真正的信息拿出來，去真正的談論它。與此同時，不希望將其落入非法者之手。

但他明確表示，作為科學家，應該注意發(fā)布的內容必須是負責任地完成的。除此之外，Urbina 表示，目前所做的確實很容易被復制。因為其中很多東西都是開源的——科學的共享，數(shù)據(jù)的共享，模型的共享。Urbina 殷切希望更多的研究人員承認并意識到潛在的濫用。

當你開始在化學領域工作時，你確實會被告知化學濫用的危害，你有責任確保你盡可能地避免這種情況。而在 ML 中，與之相反，沒有任何關于濫用該技術的指導。“我們只是希望更多的研究人員承認并意識到潛在的濫用” ，Urbina 說道。考慮到模型的性能越來越好，所以將這種意識公開是非常有必要的，可以真正地幫助人們去注意這個問題：至少在更廣泛的圈子里被討論過，至少可以成為研究人員所關注的點。

本文來自微信公眾號 “學術頭條”（ID：SciTouTiao），作者：青蘋果，36氪經授權發(fā)布。