圖1：Facebook首席執行官馬克·扎克伯格的偽造視頻

對于未經過特殊訓練的人來說，很難分辨出深度假視頻(Deepfake)，因為它們可能非常逼真。無論是作為一種新型的“調侃”方式，還是用于其他目的，描述人們從未做過或說過事情的虛假視頻都是對“眼見為實”這一長期理念的根本威脅。

大多數深度假視頻是通過向計算機算法顯示某個人的許多圖像，然后讓它使用其所看到的信息生成新的人臉圖像。同時，這些人的聲音也是合成的，所以看起來和聽起來都像是這個人說了某些新東西。

我(本文作者，紐約州立大學奧爾巴尼分校計算機視覺和機器學習實驗室主任Siwei Lyu)的研究小組早期的一些工作，讓我們能夠檢測出不包括人眼正常眨眼次數的深度假視頻，但最新一代的深度假視頻技術已經適應了這種趨勢，因此我們的研究繼續推進。

現在，我們的研究可以通過仔細觀察特定幀的像素來識別視頻的真偽。更進一步，我們還推出了積極的措施，以保護個人不成為深度假視頻的受害者。

發現缺陷

在最近的兩篇研究論文中，我們描述了檢測有缺陷深度假視頻的方法，而這些缺陷是偽造者無法輕易修復的。

當深度假視頻合成算法生成新的面部表情時，新圖像并不總是能與人的頭部位置、光照條件或到攝像頭的距離完美匹配。為了使這些假臉融入周圍環境，必須對它們進行幾何變形——旋轉、調整大小或以其他方式進行扭曲。這個過程在生成的圖像中會留下數字痕跡。

我們已經注意到，有些深度假視頻有很明顯的數字痕跡。這些痕跡可以讓照片看起來明顯經過了修改，比如模糊的邊框和人為修訂的光滑皮膚。更細微的改變仍然會留下證據，我們已經教會了一種算法來檢測它，即使人眼看不出區別。

如果深度假視頻中有個人沒有直視攝像頭，這些偽影就會發生變化。拍攝真人的視頻顯示他們的臉會在三維空間中移動，但深度假視頻的算法還不能在三維空間中偽造人臉。相反，它們會生成一張常規的二維人臉圖像，然后嘗試旋轉、調整和扭曲該圖像，使其符合人們想要看到的方向。

這類算法還沒有很好地做到這一點，這就為發現它們提供了機會。我們設計了一種算法來計算人的鼻子在圖像中的指向，它還可以通過人臉輪廓計算出頭部指向的方向。在一個真實的人的頭部視頻中，這些應該是可以預見的。然而，在深度假視頻中，它們往往是錯位的。

圖2：當電腦把尼古拉斯·凱奇(Nicolas Cage)的臉放在埃隆·馬斯克(Elon Musk)的頭上時，它可能無法將臉和頭正確對齊

檢測深度假視頻

從技術上說，檢測深度假視頻的科學就像軍備競賽，因為偽造者們也在不斷改進自己的技術，所以我們的研究總是要努力跟上，甚至需要保持超前。

如果有一種方法可以影響創建深度假視頻的算法，使它們的效果變得更差，這將使我們更好地檢測偽造視頻。我的團隊最近找到了一種方法來實現這個目標。

圖3：左側圖片中，在我們處理之前很容易在圖像中檢測到人臉。在中間圖片中，我們添加了些干擾，使算法能夠檢測到其他人臉，但不能檢測到真實的人臉。右邊圖像中，我們修改了圖像，增強了30倍使其可見

人臉圖像庫是由算法組合而成的，這些算法處理數千張在線照片和視頻，并使用機器學習來檢測和提取人臉。計算機可能會查看一張班級照片，發現所有學生和老師的面孔，然后將這些面孔添加到庫中。當生成的庫中有大量高質量的人臉圖像時，生成的深度假視頻更有可能成功地欺騙過用戶。

我們發現了一種方法，可以在人眼看不到的數碼照片或視頻中添加特殊設計的噪音，但卻可以欺騙人臉檢測算法。它可以隱藏人臉探測器用來定位人臉的像素模式，并創建一些假信號，表明在沒有人臉的地方有一張臉，比如某塊背景或某人衣服的正方形。

由于真臉更少，非真臉更多，訓練數據受到“污染”，深度偽造視頻算法生成假臉的能力就越差。這不僅減慢了制作深度假視頻的過程，而且使生成的深度假視頻暗藏更大缺陷，更容易檢測出來。

當我們開發這個算法時，我們希望能夠將它應用到任何人上傳到社交媒體或其他在線站點的任何圖像上。在上傳過程中，他們可能會被問到：“你想保護視頻或圖像中的人臉不被用于深度偽造嗎?”如果用戶選擇‘是’，那么該算法可以添加數字噪音，讓人們依然能在網上看到人臉，但同時也能將其有效地隱藏起來，不讓算法試圖模仿它們。 (選自：fastcompany 作者：Siwei Lyu 編譯：網易智能 參與：小小)

圖1：Facebook首席執行官馬克·扎克伯格的偽造視頻

【網易智能訊 7月5日消息】對于未經過特殊訓練的人來說，很難分辨出深度假視頻(Deepfake)，因為它們可能非常逼真。無論是作為一種新型的“調侃”方式，還是用于其他目的，描述人們從未做過或說過事情的虛假視頻都是對“眼見為實”這一長期理念的根本威脅。

大多數深度假視頻是通過向計算機算法顯示某個人的許多圖像，然后讓它使用其所看到的信息生成新的人臉圖像。同時，這些人的聲音也是合成的，所以看起來和聽起來都像是這個人說了某些新東西。

我(本文作者，紐約州立大學奧爾巴尼分校計算機視覺和機器學習實驗室主任Siwei Lyu)的研究小組早期的一些工作，讓我們能夠檢測出不包括人眼正常眨眼次數的深度假視頻，但最新一代的深度假視頻技術已經適應了這種趨勢，因此我們的研究繼續推進。

現在，我們的研究可以通過仔細觀察特定幀的像素來識別視頻的真偽。更進一步，我們還推出了積極的措施，以保護個人不成為深度假視頻的受害者。

發現缺陷

在最近的兩篇研究論文中，我們描述了檢測有缺陷深度假視頻的方法，而這些缺陷是偽造者無法輕易修復的。

當深度假視頻合成算法生成新的面部表情時，新圖像并不總是能與人的頭部位置、光照條件或到攝像頭的距離完美匹配。為了使這些假臉融入周圍環境，必須對它們進行幾何變形——旋轉、調整大小或以其他方式進行扭曲。這個過程在生成的圖像中會留下數字痕跡。

我們已經注意到，有些深度假視頻有很明顯的數字痕跡。這些痕跡可以讓照片看起來明顯經過了修改，比如模糊的邊框和人為修訂的光滑皮膚。更細微的改變仍然會留下證據，我們已經教會了一種算法來檢測它，即使人眼看不出區別。

如果深度假視頻中有個人沒有直視攝像頭，這些偽影就會發生變化。拍攝真人的視頻顯示他們的臉會在三維空間中移動，但深度假視頻的算法還不能在三維空間中偽造人臉。相反，它們會生成一張常規的二維人臉圖像，然后嘗試旋轉、調整和扭曲該圖像，使其符合人們想要看到的方向。

這類算法還沒有很好地做到這一點，這就為發現它們提供了機會。我們設計了一種算法來計算人的鼻子在圖像中的指向，它還可以通過人臉輪廓計算出頭部指向的方向。在一個真實的人的頭部視頻中，這些應該是可以預見的。然而，在深度假視頻中，它們往往是錯位的。

圖2：當電腦把尼古拉斯·凱奇(Nicolas Cage)的臉放在埃隆·馬斯克(Elon Musk)的頭上時，它可能無法將臉和頭正確對齊

檢測深度假視頻

從技術上說，檢測深度假視頻的科學就像軍備競賽，因為偽造者們也在不斷改進自己的技術，所以我們的研究總是要努力跟上，甚至需要保持超前。

如果有一種方法可以影響創建深度假視頻的算法，使它們的效果變得更差，這將使我們更好地檢測偽造視頻。我的團隊最近找到了一種方法來實現這個目標。

圖3：左側圖片中，在我們處理之前很容易在圖像中檢測到人臉。在中間圖片中，我們添加了些干擾，使算法能夠檢測到其他人臉，但不能檢測到真實的人臉。右邊圖像中，我們修改了圖像，增強了30倍使其可見

人臉圖像庫是由算法組合而成的，這些算法處理數千張在線照片和視頻，并使用機器學習來檢測和提取人臉。計算機可能會查看一張班級照片，發現所有學生和老師的面孔，然后將這些面孔添加到庫中。當生成的庫中有大量高質量的人臉圖像時，生成的深度假視頻更有可能成功地欺騙過用戶。

我們發現了一種方法，可以在人眼看不到的數碼照片或視頻中添加特殊設計的噪音，但卻可以欺騙人臉檢測算法。它可以隱藏人臉探測器用來定位人臉的像素模式，并創建一些假信號，表明在沒有人臉的地方有一張臉，比如某塊背景或某人衣服的正方形。

由于真臉更少，非真臉更多，訓練數據受到“污染”，深度偽造視頻算法生成假臉的能力就越差。這不僅減慢了制作深度假視頻的過程，而且使生成的深度假視頻暗藏更大缺陷，更容易檢測出來。

當我們開發這個算法時，我們希望能夠將它應用到任何人上傳到社交媒體或其他在線站點的任何圖像上。在上傳過程中，他們可能會被問到：“你想保護視頻或圖像中的人臉不被用于深度偽造嗎?”如果用戶選擇‘是’，那么該算法可以添加數字噪音，讓人們依然能在網上看到人臉，但同時也能將其有效地隱藏起來，不讓算法試圖模仿它們。 (選自：fastcompany 作者：Siwei Lyu 編譯：網易智能 參與：小小)