最近，韓國(guó)最大的漫畫(huà)平臺(tái)網(wǎng)站Naver webtoon（?????）推出了一個(gè)新工具WebtoonMe，可以將自拍照或者視頻轉(zhuǎn)換為韓式網(wǎng)絡(luò)漫畫(huà)的風(fēng)格。

此處先上一波效果：

項(xiàng)目一經(jīng)推出，就在Reddit上引發(fā)了熱議，不到一天時(shí)間就收獲了超1700個(gè)支持。

一方面是韓國(guó)美少女自帶流量，另一方面則是將照片轉(zhuǎn)換為漫畫(huà)后，畫(huà)面還有很大的提升空間。

首先，漫畫(huà)人物的眼球不會(huì)動(dòng)，也不會(huì)眨眼，瞇眼等動(dòng)作，就顯得不是特別「真實(shí)」。

還有的網(wǎng)友指出，「恐怖谷理論」的假設(shè)場(chǎng)景在這里特別明顯。

恐怖谷理論（Uncanny Valley）于1970年由日本機(jī)器人專家森政弘提出，簡(jiǎn)單來(lái)說(shuō)就是，由于機(jī)器人和人類在外表、動(dòng)作上都會(huì)十分相似，所以人類對(duì)機(jī)器人天然的就是正面情感；但是當(dāng)機(jī)器人真實(shí)到一定地步的時(shí)候，哪怕有一點(diǎn)點(diǎn)與人類不同的地方，都會(huì)顯得十分刺眼，讓機(jī)器人顯得僵硬恐怖，使人有面對(duì)僵尸的感覺(jué)。

而生成的網(wǎng)絡(luò)漫畫(huà)人物有著呆板的眼睛，「心靈的窗戶」被關(guān)上了，自然顯得十分詭異。

不會(huì)開(kāi)發(fā)AI的漫畫(huà)家不是好煉丹師

2018年，36歲的人氣網(wǎng)絡(luò)漫畫(huà)作家河一權(quán)就利用AI技術(shù)在Naver Webtoon上發(fā)表新概念漫畫(huà) 《邂逅》（Met），發(fā)布第二天的累計(jì)瀏覽量就突破了4000萬(wàn)。

通過(guò)將讀者的形象融入網(wǎng)絡(luò)漫畫(huà)中，讀者可以和漫畫(huà)中的人物在學(xué)校環(huán)境中進(jìn)行眼神交流、直接交談和發(fā)展情緒的故事，因?yàn)樽x者通過(guò)與作品進(jìn)行互動(dòng)來(lái)推進(jìn)劇情，所以這類漫畫(huà)也稱為互動(dòng)網(wǎng)絡(luò)漫畫(huà)（interactive Webtoon）。

Met也是業(yè)界首部互動(dòng)網(wǎng)絡(luò)漫畫(huà)。

這類漫畫(huà)特別受歡迎，許多人非常喜歡這種沉浸式故事參與感，而非簡(jiǎn)單地閱讀作者給出的故事。

受到Met的啟發(fā)，這次推出的WebtoonMe項(xiàng)目則將轉(zhuǎn)換技術(shù)更進(jìn)一步，在保留人物照片特點(diǎn)的同時(shí)生成網(wǎng)絡(luò)漫畫(huà)風(fēng)格圖片。

當(dāng)你想到「將照片變成漫畫(huà)的技術(shù)」時(shí)，最好奇的是什么？三次元的人臉是如何變成二次元的？

在好奇心的驅(qū)使下，團(tuán)隊(duì)經(jīng)過(guò)無(wú)數(shù)次的試驗(yàn)，基于深度學(xué)習(xí)的人臉轉(zhuǎn)換技術(shù)終于開(kāi)始有了一下眉目。

然而，想要把背景也換成「二次元」風(fēng)格時(shí)，卻遇到了一個(gè)意想不到的問(wèn)題，直接使用之前的技術(shù)會(huì)導(dǎo)致生成的結(jié)果非常地不自然。

在分析數(shù)據(jù)時(shí)，團(tuán)隊(duì)得出一個(gè)結(jié)論：漫畫(huà)數(shù)據(jù)集中的物體具有獨(dú)特的「風(fēng)格」屬性，這與通常用于深度學(xué)習(xí)研究的自然照片數(shù)據(jù)集不同。

此外，與換臉不同，照片中的各種對(duì)象（如臉部、身體部位、背景等）也都需要不同的「風(fēng)格」，，而團(tuán)隊(duì)最開(kāi)始卻沒(méi)有意識(shí)到這一點(diǎn)。

于是，團(tuán)隊(duì)決定深入了解網(wǎng)絡(luò)漫畫(huà)的創(chuàng)作過(guò)程，從而了解不同的作品是如何將不同的物體風(fēng)格化的。

在采訪了幾位創(chuàng)作者之后，團(tuán)隊(duì)了解到：「前景（包括人臉）」和「背景」是用不同的工具創(chuàng)建的。

首先，需要建立一個(gè)由人臉、身體、物體和背景等各種「零部件」組成的網(wǎng)絡(luò)漫畫(huà)數(shù)據(jù)集，然后再創(chuàng)建各種深度學(xué)習(xí)模型來(lái)減少前景和背景之間的風(fēng)格差異。最后，應(yīng)用幾種模仿不同創(chuàng)作者的修飾技術(shù)的后期處理算法，從而更自然地提高結(jié)果的質(zhì)量。

從AI上色到AI換臉

作為網(wǎng)絡(luò)漫畫(huà)行業(yè)的領(lǐng)軍者，韓國(guó)國(guó)內(nèi)第一大漫畫(huà)平臺(tái)Naver Webtoon此前一直致力于開(kāi)發(fā)新的內(nèi)容IP，例如大火的偶像劇《我的ID是江南美人》即出自此平臺(tái)。

隨著AI技術(shù)的實(shí)用性越來(lái)越強(qiáng)，Webtoon AI團(tuán)隊(duì)利用深度學(xué)習(xí)技術(shù)開(kāi)發(fā)了幾個(gè)項(xiàng)目，不僅能提高網(wǎng)絡(luò)漫畫(huà)讀者的閱讀體驗(yàn)，同時(shí)也能幫助創(chuàng)作者進(jìn)行創(chuàng)作。

2021年10月27日，Naver Webtoon宣布推出Webtoon AI Painter的測(cè)試服務(wù)，能夠幫助創(chuàng)作者對(duì)草圖進(jìn)行著色。

AI算法首先會(huì)對(duì)圖片進(jìn)行區(qū)域分割，當(dāng)創(chuàng)作者選擇一種顏色并觸摸相應(yīng)區(qū)域時(shí)即可對(duì)該區(qū)域進(jìn)行自動(dòng)上色。與現(xiàn)有的手動(dòng)著色不同，AI著色只需幾次觸摸即可完成全圖著色，能夠極大提升網(wǎng)絡(luò)漫畫(huà)創(chuàng)作者的著色時(shí)間，從而提高創(chuàng)作效率。

Webtoon AI Painter的開(kāi)發(fā)歷時(shí)3年，主要技術(shù)還是深度學(xué)習(xí)模型，使用了大約 30 萬(wàn)個(gè)數(shù)據(jù)來(lái)學(xué)習(xí)圖像中每個(gè)區(qū)域的特征和各種著色風(fēng)格，例如人的面部、身體和背景。該上色技術(shù)的模型相關(guān)工作還發(fā)表在了WACV 2022上。

除此之外，Webtoon AI Painter還通過(guò)應(yīng)用圖層分離的PSD（Photoshop文件格式）存儲(chǔ)功能和原創(chuàng)分辨率維護(hù)技術(shù)，為創(chuàng)作者的后期編輯工作提供了更好的技術(shù)服務(wù)。

布局美女元宇宙

在完全虛擬的元宇宙世界中，用戶需要一個(gè)虛擬分身，基于自拍照生成的虛擬分身能夠更好地同時(shí)保留真實(shí)感和虛擬感。

2018年8月，Naver Z公司推出元宇宙虛擬時(shí)尚社交平臺(tái)Zepeto，用戶可以在軟件里自由打造個(gè)人數(shù)字形象，主打的就是一個(gè)「時(shí)尚」！

用戶需要先在平臺(tái)上「捏臉」，按照自己的喜好捏出臉型和五官；然后在平臺(tái)上用虛擬貨幣購(gòu)買時(shí)尚服裝和飾品等，裝扮自己的虛擬形象；還可以購(gòu)買解鎖不同的姿勢(shì)、動(dòng)作，選擇不同的照相背景跟朋友合照；同時(shí)，用戶也可自己在Zepeto平臺(tái)上制作內(nèi)容，并賺取收益。

用戶還可以在Zepeto內(nèi)上傳自拍，然后將其轉(zhuǎn)換成社交平臺(tái)內(nèi)的3D虛擬化身。

除了虛擬人物之外，Zepeto還打造了一個(gè)虛擬游戲世界，用戶可以操作自己的虛擬人物在世界里行動(dòng)。平臺(tái)設(shè)置的社交場(chǎng)景豐富多樣，有鬼屋、教室、學(xué)校、著名景點(diǎn)等，用戶可以在參加派對(duì)、露營(yíng)或者甚至朋友的虛擬婚禮等。

Zepeto跟時(shí)尚娛樂(lè)領(lǐng)域緊密合作，常邀請(qǐng)著名時(shí)尚品牌在平臺(tái)上發(fā)布虛擬服裝飾品，也跟k-pop娛樂(lè)公司聯(lián)手推出活動(dòng)。

去年2月，Gucci在Zepeto上發(fā)布了模仿意大利總部的虛擬「Gucci別墅」，并推出NFT時(shí)尚單品。用戶可以用虛擬形象試穿或購(gòu)買Gucci發(fā)布的虛擬服飾，還可打卡漫游「Gucci別墅」。

除此之外，D&G、Dior、Nike等著名品牌也已入駐該平臺(tái)。全球流行的k-pop組合Blackpink、 ITZY 和 SF9也在Zepeto上舉辦過(guò)虛擬活動(dòng)，發(fā)布k-pop相關(guān)內(nèi)容。

品牌入駐的確為Zepeto帶來(lái)了可觀的收入。目前，已經(jīng)有上百家公司和150萬(wàn)工作室創(chuàng)作者在Zepeto平臺(tái)上推廣自己的虛擬產(chǎn)品，還有5000萬(wàn)工作室的虛擬設(shè)計(jì)品正在出售。

2021年，該公司的月收入徘徊在211.7萬(wàn)美元至279.4萬(wàn)美元之間，比2020年同期增長(zhǎng)了約70%，這些增長(zhǎng)大多來(lái)自于跟Gucci、Dior、三星、現(xiàn)代等著名品牌的廣告合作。

Naver Z的首席戰(zhàn)略官Ruby Lee透露，Zepeto的月活躍用戶從去年5月的1000萬(wàn)增長(zhǎng)到今年1月的2000萬(wàn)。Zepeto擁有2.9億注冊(cè)用戶，在過(guò)去的18個(gè)月內(nèi)幾乎翻了一番。并且在其虛擬世界中，平均用戶會(huì)話時(shí)間可以達(dá)到約30分鐘。

雖然相比游戲類頭部元宇宙平臺(tái)Roblox日活用戶已超4700萬(wàn)的數(shù)據(jù)，Zepeto在整個(gè)元宇宙領(lǐng)域還遠(yuǎn)不算第一梯隊(duì)的體量。

但當(dāng)下的元宇宙平臺(tái)大多仍然以成年男性用戶為主，作為全球最大的虛擬時(shí)尚平臺(tái)，Zepeto吸引了大量青少年女性用戶，在元宇宙領(lǐng)域打出了充分的差異化效果。

Zepeto有超過(guò)2.4億用戶，其中90%來(lái)自韓國(guó)以外，80%是青少年，70%用戶是女性。

2021年末，Naver Z公司旗下元宇宙虛擬社交平臺(tái)Zepeto宣布獲得2235億韓元（約合1.89億美元）的B輪融資，其中日本軟銀集團(tuán)旗下愿景基金2號(hào)（Vision Fund 2）領(lǐng)投金額高達(dá)1.5億美元。

軟銀的立場(chǎng)是十分支持元宇宙的發(fā)展的，所以獲得軟銀的投資，一定程度上可以說(shuō)明Zepeto的價(jià)值，軟銀投資的管理合伙人Greg Moon曾表示，相信元宇宙有可能成為互聯(lián)網(wǎng)的下一次進(jìn)化。

其他投資者還包括韓國(guó)金融公司Mirae Asset、網(wǎng)絡(luò)漫畫(huà)出版商N(yùn)aver Webtoon以及K-pop機(jī)構(gòu)JYP、YG娛樂(lè)和HYBE的資金。

同月Naver Z還獲得了韓國(guó)游戲公司Krafton（絕地求生 PUBG的開(kāi)發(fā)者）的50億韓元（420萬(wàn)美元）投資。

在元宇宙概念大火的今天，仍然還有很多技術(shù)問(wèn)題沒(méi)有完全得到解決，AI技術(shù)解決方案可以加快元宇宙開(kāi)發(fā)的速度，反過(guò)來(lái)元宇宙獲得的投資也會(huì)加快AI技術(shù)的發(fā)展。

在科技洪流中，期待更美好的真實(shí)世界和虛擬世界。

參考資料：

https://webtoon.github.io/WebtoonMe/en

https://www.reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/

https://m.jiemian.com/article/6893200.html

https://weixinso.com/article/jbzehb03.html

本文來(lái)自微信公眾號(hào)“新智元”（ID:AI_era），作者：新智元，36氪經(jīng)授權(quán)發(fā)布。