「變身漫畫(huà)」

這兩天，抖音上一款特效——，簡(jiǎn)直火到不行。

從明星到路人，堪稱(chēng)全民參與，來(lái)看下效果吧~

張藝興

首先登場(chǎng)的是和。

二次元漫畫(huà)

可以看到，這個(gè)特效基于人物的面容，很好的轉(zhuǎn)換成了風(fēng)格。

尤其是眼睛的處理，把張藝興慵懶的眼神、戚薇水汪汪的大眼睛，詮釋的淋漓盡致。

當(dāng)然發(fā)型也都是「滿(mǎn)分轉(zhuǎn)換」，分叉、造型等細(xì)節(jié)可以說(shuō)是絲毫不差了。

抖音網(wǎng)友們直呼：

終于看到這個(gè)特效啦!早就想看偶像的漫畫(huà)風(fēng)，圓夢(mèng)了!

PDD

可愛(ài)的同學(xué)也參與了進(jìn)來(lái)，這個(gè)漫畫(huà)風(fēng)讓他變得少了些油膩，多了份清純，好評(píng)!

調(diào)皮的網(wǎng)友竟發(fā)出疑問(wèn)：

安西教練?

當(dāng)然，刷了眾多視頻之后，你會(huì)發(fā)現(xiàn)這個(gè)特效并不是適合所有人，建議以下2類(lèi)人慎用此特效。

第一類(lèi)是顏值過(guò)高，這里的高是指本來(lái)長(zhǎng)相就像「從漫畫(huà)里走出來(lái)」的人，例如吳亦凡。

本來(lái)吳亦凡是濃眉大眼、五官立體，轉(zhuǎn)換后卻顯得「單薄」了不少。

第二類(lèi)是彪形大漢……話(huà)不多說(shuō)，來(lái)感受一下這個(gè)畫(huà)風(fēng)……

嗯……原來(lái)的味道，全沒(méi)了……引得網(wǎng)友直呼：

你為什么要拉過(guò)來(lái)?

發(fā)我男朋友看一下，讓他認(rèn)清社會(huì)的現(xiàn)實(shí)。

突破「次元壁」的關(guān)鍵技術(shù)那么如此有趣的特效，是怎么做到的呢?

雖然目前并沒(méi)有看到專(zhuān)門(mén)對(duì)應(yīng)此特效的研究，但是有關(guān)「風(fēng)格遷移」的研究，并不是新鮮的事物了。

GAN

而在眾多研究中，打破二次元和三次元的關(guān)鍵技術(shù)，就是(對(duì)抗生成網(wǎng)絡(luò))。

用GAN實(shí)現(xiàn)漫畫(huà)風(fēng)早在去年，港中文、哈工大和騰訊優(yōu)圖的一篇最新研究，可以將人臉照片轉(zhuǎn)化成如同手繪版的卡通圖，甚至還能反向轉(zhuǎn)換，將二次元的卡通圖像，轉(zhuǎn)換成現(xiàn)實(shí)中可能的樣子。

將真實(shí)人臉照片轉(zhuǎn)化成卡通圖像，效果超越了CycleGAN。

還能轉(zhuǎn)換成日漫畫(huà)風(fēng)，自帶了熱血青春的氣息。

Landmark Assisted CycleGAN

這項(xiàng)研究利用到的技術(shù)叫做，它利用面部標(biāo)志特征來(lái)定義一致性損失，指導(dǎo)在CycleGAN中訓(xùn)練局部鑒別器。

整體結(jié)構(gòu)如下：

整體來(lái)說(shuō)，這個(gè)轉(zhuǎn)換過(guò)程分為3步。

首先，生成器先根據(jù)CycleGAN生成一張粗糙的卡通人臉。

隨后，模型根據(jù)第一步生成的圖像，生成一個(gè)預(yù)訓(xùn)練回歸量(regressor)，來(lái)預(yù)測(cè)面部landmark，對(duì)面部的關(guān)鍵點(diǎn)進(jìn)行標(biāo)記。

最后，通過(guò)局部和全局兩種鑒別器，研究人員細(xì)化在卡通圖和對(duì)應(yīng)真實(shí)圖像中的人臉特征。在這個(gè)階段，強(qiáng)調(diào)了landmark的一致性，因此最后的生成生成結(jié)果逼真且有辨識(shí)度。

AI Portraits Ars

用GAN實(shí)現(xiàn)油畫(huà)風(fēng)例如MIT和IBM沃森聯(lián)合實(shí)驗(yàn)室，發(fā)布的名為的工具，只要給定一張圖像，就能秒變「文藝復(fù)興款」的油畫(huà)風(fēng)。

值得一提的是，這不是風(fēng)格遷移，而是GAN自己畫(huà)出來(lái)的。

不止能拿著照片作畫(huà)，看著視頻也沒(méi)問(wèn)題，例如1960年的老電影《驚魂記》。

這項(xiàng)技術(shù)里GAN的生成器就像是個(gè)畫(huà)師，而判別器就充當(dāng)鑒賞家角色，負(fù)責(zé)識(shí)破生成器的畫(huà)不是人類(lèi)作品。

生成器里有個(gè)潛在空間，里面有千千萬(wàn)萬(wàn)的AI畫(huà)像，都是從人類(lèi)畫(huà)作里，用不同的向量修改而成。

然后，要按著照片生成畫(huà)像，就把一個(gè)向量 (Latent Vector) ，映射到千萬(wàn)AI畫(huà)像里和照片最接近的一幅。

團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)Inverter，可以從照片里近似出一個(gè)向量，用來(lái)找到潛在空間里最合適的那個(gè)向量。

用GAN讓紙片人活起來(lái)除此之外，GAN甚至還可以讓2D形象變成3D“活物”。

照片喚醒

例如來(lái)自華盛頓大學(xué)的(Photo Wake-Up)技術(shù)，可以讓你體驗(yàn)到麻瓜的神奇魔法。

它可以讓你最?lèi)?ài)的體育明星從照片里跑出來(lái)：

還能賦予二次元角色新力量：

還可以借此把角色們AR/VR化，只要?jiǎng)觿?dòng)手指，它們就能出現(xiàn)在你身邊的世界：

這項(xiàng)研究整個(gè)操作過(guò)程，其實(shí)只用了三步：

分割紙片人

第一步是：利用現(xiàn)成的圖像分割算法，將畫(huà)中人的軀干、四肢分割，再用人體姿態(tài)估計(jì)，提取畫(huà)中人的2D骨骼關(guān)鍵點(diǎn)，忽略厚重的衣服，擬合出一種半裸的可塑3D模型，稱(chēng)為SMPL模型。

細(xì)化紙片人3D模型

第二步是是：先將SMPL模型映射到2D世界對(duì)準(zhǔn)輪廓，調(diào)好再次轉(zhuǎn)換成3D模型確保精確度。

最后一步中，研究人員用CMU的Mo-cap人體動(dòng)作數(shù)據(jù)集喂給模型。

讓二次元走進(jìn)現(xiàn)實(shí)除了抖音最近火爆的「變身漫畫(huà)」特效外，隔壁島國(guó)的一項(xiàng)「3D姿態(tài)追蹤」也火了。

可以讓漫畫(huà)人物跟隨著你的動(dòng)作，一起翩翩起舞，仿佛二次元人物走進(jìn)了現(xiàn)實(shí)。

利用「真人模型」也是可以的。

并且這項(xiàng)技術(shù)可在線(xiàn)體驗(yàn)哦(鏈接見(jiàn)傳送門(mén))。

這樣一來(lái)，和你心儀的二次元對(duì)象，在現(xiàn)實(shí)中共舞便不再是夢(mèng)!

若是把明星作為模型輸入的一部分，是不是也可以跟偶像共舞了?

咦?好像可以預(yù)見(jiàn)娛樂(lè)平臺(tái)的下一個(gè)爆款特效了。

關(guān)鍵詞： 抖音 變身漫畫(huà) 吳亦凡