還記得電影《銀翼殺手2049》里面的經(jīng)典一幕嗎？AI角色JOI從周到、暖心的知己，快速轉(zhuǎn)換成靦腆而富有魅力的女子。從這個(gè)鏡頭之后，觀眾就明白原來(lái)JOI是一個(gè)認(rèn)知虛擬人全息影像，也是男主角K殘酷的生活中唯一一個(gè)有意義的關(guān)系。

 

▲ 電影《銀翼殺手2049》

 

前段時(shí)間，我們?yōu)榇蠹規(guī)?lái)了關(guān)于虛擬人的認(rèn)知科普、商業(yè)價(jià)值探索與應(yīng)用的系列文章——【未來(lái)進(jìn)行時(shí)-1 | 歡迎來(lái)到虛擬人時(shí)代！】和【未來(lái)進(jìn)行時(shí)-2 | 虛擬人多場(chǎng)景應(yīng)用 賦能品牌強(qiáng)勢(shì)破圈】，今天再接再厲推出第三篇-黑科技篇 ——

 

“因?yàn)楹诳萍疾攀亲屘摂M人前進(jìn)的驅(qū)動(dòng)力，這些黑科技正在變得越來(lái)越酷炫，或者越來(lái)越簡(jiǎn)單，并成為虛擬人得以在未來(lái)被廣泛應(yīng)用的基礎(chǔ)”。

 

在進(jìn)行黑科技介紹之前，讓我們一起來(lái)學(xué)習(xí)當(dāng)前一個(gè)非常重要的研究成果“科特勒最新的研究成果：營(yíng)銷(xiāo)5.0”

 

營(yíng)銷(xiāo)5.0的核心，

 

是科技+人文，

 

給營(yíng)銷(xiāo)帶來(lái)重大新驅(qū)動(dòng)。

 

這其中，“人文”和IP緊密相關(guān)，從內(nèi)容營(yíng)銷(xiāo)到社交營(yíng)銷(xiāo)，從全新品牌打造到成熟品牌迭代更新，都離不開(kāi)IP化的推動(dòng)。而“科技”是關(guān)鍵的幕后推手，如果沒(méi)有科技的變革和推動(dòng)，讓過(guò)去彼此分離的商業(yè)經(jīng)營(yíng)與文創(chuàng)內(nèi)容緊密結(jié)合起來(lái)，就談不上營(yíng)銷(xiāo)和品牌的迭代。

▲ 過(guò)去：企業(yè)的商業(yè)運(yùn)營(yíng)是商業(yè)運(yùn)營(yíng)和文創(chuàng)內(nèi)容的聯(lián)系，只能靠廣告、公關(guān)等來(lái)結(jié)合。

現(xiàn)在與未來(lái)：商業(yè)運(yùn)營(yíng)和文創(chuàng)內(nèi)容之間形成彼此需要、高度融合的關(guān)系，中間的催化劑是不斷變革發(fā)展的黑科技。

 

之前我們了解到虛擬人的商業(yè)運(yùn)用是借助新科技讓商業(yè)經(jīng)營(yíng)與IP文創(chuàng)融合的顯著代表，接下來(lái)我們將逐一介紹驅(qū)動(dòng)虛擬人飛速發(fā)展背后的黑科技，及其可能帶來(lái)一些變革。

 

一

虛擬人

數(shù)字人大家庭

 

虛擬人與數(shù)字人兩個(gè)概念多數(shù)時(shí)候可以通用，相比之下，虛擬人更側(cè)重其在外觀、智能等方面與人的相似性，在難辨真假的同時(shí)可以進(jìn)行交互。

 

對(duì)于虛擬人的技術(shù)分類(lèi)，我們可以從風(fēng)格、創(chuàng)作主體、應(yīng)用場(chǎng)景、驅(qū)動(dòng)方式幾個(gè)方面進(jìn)行了解：

 

▲ 虛擬人\數(shù)字人大家庭

?按照美術(shù)風(fēng)格分：可以大體劃分為高保真風(fēng)格、寫(xiě)實(shí)風(fēng)格與卡通渲染。其中寫(xiě)實(shí)與卡通是一種譜系而非存在涇渭分明的界線(xiàn)，而卡通風(fēng)格也可進(jìn)一步細(xì)分，比如美式卡通、韓系風(fēng)格、二次元風(fēng)格等。

?按創(chuàng)作主體分：虛擬角色的創(chuàng)造者，包括專(zhuān)業(yè)創(chuàng)作者從創(chuàng)意想象出發(fā)，經(jīng)過(guò)2D原畫(huà)—3D建模—綁定—動(dòng)畫(huà)等流程制作出的，屬于PGC類(lèi)型；一般用戶(hù)通過(guò)專(zhuān)業(yè)的平臺(tái)工具，將自己的照片、視頻上傳后自動(dòng)化生成，或組合已有的面部特征、修改參數(shù)進(jìn)行“捏人”的，屬于UGC類(lèi)型。

?按應(yīng)用場(chǎng)景分：虛擬人可延展的場(chǎng)景極廣，包括泛娛樂(lè)偶像、直播帶貨、虛擬陪伴、虛擬客服、教育培訓(xùn)、文旅城鎮(zhèn)、博物館、影視制作等等。

?按驅(qū)動(dòng)方式分：也就是讓角色動(dòng)起來(lái)的方式，這里有可以手動(dòng)調(diào)整動(dòng)畫(huà)的關(guān)鍵幀，再平滑模擬出過(guò)渡幀，實(shí)現(xiàn)角色動(dòng)畫(huà)；或像MMD（MikuMikuDance，虛擬角色跳舞）那樣，導(dǎo)入預(yù)先制作好的動(dòng)畫(huà)方案，讓角色模型舞動(dòng)起來(lái)；還可以通過(guò)面部、身體動(dòng)作捕捉，將真實(shí)運(yùn)動(dòng)映射到虛擬角色的身體，部分虛擬主播、虛擬偶像就采用這種方案。

 

二，

從很像到很真

影視級(jí)照片建模技術(shù)

 

制作實(shí)時(shí)渲染、高保真、可交互的數(shù)字人類(lèi)，需要影視、游戲兩個(gè)領(lǐng)域技術(shù)的取長(zhǎng)補(bǔ)短。

 

通過(guò)傳統(tǒng)流程制作出的游戲角色，仍與真人在細(xì)節(jié)上有一定差距。角色制作遵循一條由虛向?qū)嵉穆窂?，一般流程?D原畫(huà)設(shè)計(jì)—3D建模—貼圖—骨骼綁定—動(dòng)畫(huà)制作。

 

基于顯卡運(yùn)算能力和引擎渲染能力的不斷攀升，寫(xiě)實(shí)風(fēng)格的角色效果正不斷向影視級(jí)靠近：角色可使用的面數(shù)不斷增加，材質(zhì)提升，細(xì)節(jié)完善，這從《古墓麗影》系列主角勞拉的形象變化可見(jiàn)一斑。

 

▲歷代勞拉，越發(fā)真實(shí)

 

這屬于photogrammetry（攝影測(cè)量法）的范疇，即使用單個(gè)場(chǎng)景拍攝的多張不同角度照片來(lái)重建3D空間中的 CG 模型。回憶下《黑客帝國(guó)》中的子彈時(shí)間特效，現(xiàn)場(chǎng)有多臺(tái)攝像機(jī)，用不同角度的影像重建出可360°旋轉(zhuǎn)的場(chǎng)景。

 

▲《黑客帝國(guó)》子彈時(shí)間

 

Light stage技術(shù)正是通過(guò)構(gòu)造相機(jī)陣列，以多角度、高精度照片，既還原拍攝人物的三維結(jié)構(gòu)，也獲取面部的反射信息，從而能在不同環(huán)境光下重構(gòu)人臉模型光效。

 

Light stage在不斷迭代中解決了技術(shù)和工程難點(diǎn)，包括高精度皮膚紋理合成、光照與環(huán)境隨時(shí)統(tǒng)一、更準(zhǔn)確快速的采集過(guò)程。

 

▲ Light stage5 ，《本杰明巴頓奇事》《蜘蛛俠3》《阿凡達(dá)》等均使用過(guò)

 

來(lái)自影視的照相建模、高精度3D掃描、面部和動(dòng)作捕捉相關(guān)技術(shù)，已經(jīng)應(yīng)用到游戲的實(shí)時(shí)渲染領(lǐng)域，為表現(xiàn)力帶來(lái)飛躍。

 

接下來(lái)，如何進(jìn)一步滿(mǎn)足虛擬人實(shí)時(shí)交互的需求呢，比如，讓演員的表情與虛擬人達(dá)成“神同步”？多個(gè)技術(shù)團(tuán)隊(duì)展開(kāi)了探索。

 

 三，

從形似到有神：

AI助力多樣化人物驅(qū)動(dòng)

 

為了讓虛擬人和我們自然地交流互動(dòng)，騰訊NExT Studios與AI Lab在虛擬人Siren（演員實(shí)時(shí)表情動(dòng)作驅(qū)動(dòng)）—Siren AI（語(yǔ)音文字驅(qū)動(dòng)）—Matt AI（更真實(shí)情感表達(dá)）項(xiàng)目歷程中，逐步探索“秀外慧中”的全方位能力。

 

2018 年 5 月， Siren 驚艷亮相，激起了人們對(duì)虛擬人技術(shù)的無(wú)限暢想。

 

Siren的特性是實(shí)時(shí)表情動(dòng)作驅(qū)動(dòng)，涉及多方向的技術(shù)突破，在多國(guó)企業(yè)協(xié)同合作下完成：美國(guó)的Epic發(fā)起和協(xié)調(diào)項(xiàng)目，以Unreal引擎整合模型、貼圖、動(dòng)作等數(shù)據(jù)資源；塞爾維亞的3Lateral制作高精度人物模型，同時(shí)建立綁定，為演員和虛擬人的同步搭建轉(zhuǎn)換橋梁；英國(guó)的Cubic Motion，負(fù)責(zé)實(shí)時(shí)的表情捕捉；NExT作為項(xiàng)目所有者，提供基于Unreal引擎的高質(zhì)量的人物渲染，也積極參與研發(fā)的全過(guò)程。

 

▲ Siren（塞任）意為古希臘傳說(shuō)中半人半鳥(niǎo)的女海妖。而她的面部形象，來(lái)自于中國(guó)的女演員姜冰潔。

 

技術(shù)的進(jìn)步讓Siren擁有了逼真的3D形象，我們能否進(jìn)而賦予她精致有趣的“靈魂”呢？

 

2018 年下半年的 Siren AI 項(xiàng)目，旨在讓虛擬人不止步于“提線(xiàn)木偶”，將智能音箱、語(yǔ)音助手、與人自主交互的能力賦予Siren，讓她獨(dú)立做到能聽(tīng)、會(huì)說(shuō)。

 

這涉及多個(gè)AI研究和工程領(lǐng)域，包括語(yǔ)音識(shí)別（ASR）、自然語(yǔ)言處理（NLP），語(yǔ)音合成（TTS），語(yǔ)音驅(qū)動(dòng)面部動(dòng)畫(huà)（ADFA）。難點(diǎn)集中在最后一步，核心是利用AI訓(xùn)練出語(yǔ)音/文字和面部模型肌肉控制間的對(duì)應(yīng)關(guān)系，然后進(jìn)入渲染引擎、驅(qū)動(dòng)虛擬人。

 

▲ 原理展示

 

2019年，NExT自主制作了男性虛擬人Matt，自主完成一整套高保真虛擬人的研發(fā)流程，并探索語(yǔ)音自驅(qū)動(dòng)且能表達(dá)情緒的虛擬人技術(shù)，將語(yǔ)音、情感、生動(dòng)的面部表情緊密關(guān)聯(lián)起來(lái)。

▲ Matt AI 一個(gè)讓語(yǔ)音驅(qū)動(dòng)的虛擬人能表達(dá)情感

 

為此，團(tuán)隊(duì)建立了一套精確的面部動(dòng)捕流程，以不同情感下的動(dòng)作捕捉，來(lái)訓(xùn)練語(yǔ)音驅(qū)動(dòng)模型，最終構(gòu)造了一個(gè)長(zhǎng)約20個(gè)小時(shí)、13339條語(yǔ)句的，包含語(yǔ)音、面部運(yùn)動(dòng)和身體運(yùn)動(dòng)的多模態(tài)訓(xùn)練數(shù)據(jù)集。在Siren AI 基礎(chǔ)上，增加情感維度數(shù)據(jù)，讓Matt擁有微笑、蹙眉等微表情，多了更自然的“人情味”。

 

▲ Matt AI訓(xùn)練過(guò)程的示意圖

 

未來(lái)，讓虛擬人表現(xiàn)更自然的驅(qū)動(dòng)方式會(huì)更多樣化。

 

特別是面部表情、眼神、肌肉運(yùn)動(dòng)的細(xì)膩流暢，這既需要更多的真實(shí)數(shù)據(jù)、更優(yōu)質(zhì)的算法，也需要生物學(xué)、圖形學(xué)、影視學(xué)等多方跨界支持。

 

軀體動(dòng)作的加強(qiáng)也是未來(lái)方向，個(gè)性化的動(dòng)作組合能彰顯虛擬人迥異的性格，增加親和力和可信度，這對(duì)虛擬主持、主播、客服等需要和直面用戶(hù)的領(lǐng)域十分重要。此外，我們也看到了從用遙感和按鍵來(lái)“操作”角色，到實(shí)時(shí)動(dòng)補(bǔ)、語(yǔ)音和文字帶動(dòng)角色的技術(shù)變化，相信未來(lái)也會(huì)有更多更直觀、適合每個(gè)人的驅(qū)動(dòng)方式出現(xiàn)。

 

當(dāng)一個(gè)亦真亦幻的世界離我們不會(huì)太遠(yuǎn)時(shí)，真實(shí)人與虛擬人交織的狀態(tài)也就成為必然

 

▲ HBO美劇《西部世界》中的機(jī)器“接待員”Dolores

 

隨著虛擬人技術(shù)的突飛猛進(jìn)，越來(lái)越多的C端消費(fèi)者和B端用戶(hù)對(duì)這一領(lǐng)域開(kāi)始充滿(mǎn)熱情。虛擬人IP以其高識(shí)別度、靈活性、交互性和可控性，在企業(yè)與未來(lái)消費(fèi)者的溝通互動(dòng)中發(fā)揮了至關(guān)重要的價(jià)值意義。

 

與此同時(shí)，虛擬人在開(kāi)發(fā)完成后邊際成本低、邊際收益高的特點(diǎn)也不會(huì)給企業(yè)帶來(lái)沉重負(fù)擔(dān)，有著輕量化運(yùn)營(yíng)特點(diǎn)的虛擬人IP反而能夠給企業(yè)帶來(lái)更多可能性——譬如除廣告營(yíng)銷(xiāo)外，它們還能化身客服人員及時(shí)與消費(fèi)者答疑互動(dòng)。

 

因此我們不妨大膽猜測(cè)，在不遠(yuǎn)的將來(lái)，虛擬人有望成為各大企業(yè)、品牌和機(jī)構(gòu)的標(biāo)配應(yīng)用形象。

 

▲ 虛擬人AYAYI參加?jì)商m活動(dòng)

 

作為構(gòu)建虛擬人IP應(yīng)用生態(tài)圈中的重要一環(huán)，在水一方接下來(lái)也將長(zhǎng)期為各企業(yè)品牌主提供全棧式的虛擬IP形象打造服務(wù) ——

 

從掃描、建模、綁定、動(dòng)畫(huà)制作，到實(shí)時(shí)驅(qū)動(dòng)二次元或者真人CG角色，全環(huán)節(jié)高質(zhì)量的制作與緊密配合，賦予虛擬人、虛擬IP形象靈動(dòng)自如的能力，推動(dòng)品牌虛擬代言人、虛擬偶像合作等商業(yè)場(chǎng)景的廣泛應(yīng)用，全力以赴助力企業(yè)完成品牌影響力和產(chǎn)品力的跨次元破圈。

 

 

2021年會(huì)是虛擬人發(fā)展的重要拐點(diǎn)嗎？

 

這個(gè)問(wèn)題也許很難在當(dāng)下給出明確的答案，畢竟科技的發(fā)展速度往往超乎我們的預(yù)期。但可以肯定的是，在技術(shù)、資本和市場(chǎng)的多重同步支撐下，更高品質(zhì)的虛擬人時(shí)代正向我們加速靠近。（完）