河南夢之網網絡科技有限公司
夢之網科技出品
掃描關注夢之網科技微信公眾賬號

掃小程序碼聯系客服

用AI實現動畫角色的姿勢遷移,Adobe等提出新型“木偶動畫”-鄭州網站建設

夢之網科技?2019-10-12?文章動態?

相比于依靠創作者手繪的動畫,木偶動畫的制作是個非常繁瑣的過程,我們需要將一個動作分解成若干個環節,逐幀拍攝再連續放映為影片。近日,Adobe 和康奈爾大學提出了一種名為「變形木偶模板」的動畫制作方法,可實現基于少量卡通角色樣本生成新角色動作,和木偶動畫的制作方法倒是有異曲同工之妙。

近日,Adobe 和康奈爾大學的研究人員提出一種基于學習的動畫制作方法——基于卡通角色的少量圖像樣本就可生成新動畫。

傳統動畫制作中,每一幀都是由創作者親手繪制完成的,因而輸入的圖像缺乏共同結構、配準或標簽。研究人員將動畫角色的動作變化演繹為一個層級 2.5D 模板網格的變形,并設計了一種新型架構,來學習預測能夠匹配模板和目標圖像的網格變形,從而實現由多樣化的角色動作集合中抽象出共同的低維結構。研究人員將可微渲染和網格感知(mesh-aware)模型結合起來對齊通用模板,哪怕只有少量卡通角色圖像可以用來訓練也沒關系。

除了動作,卡通角色的外觀也會因為陰影、離面運動(out-of-plane motion)和圖片藝術效果而呈現細微的差異。研究人員使用圖像平移網絡(image translation network)來捕捉這些細微變化,并改進了網格渲染結果。他們還為了生成更高質量的卡通角色新動畫搭建了一個端到端的模型,這個模型可用于合成中間幀和創建數據驅動的變形,其模板擬合(template fitting)步驟在檢測圖像配準方面的效果明顯優于當前的通用技術。

用AI實現動畫角色的姿勢遷移,Adobe等提出新型“木偶動畫”-鄭州網站建設

Adobe 新方法生成圖像的 1024 × 1024 版本示例。

卡通角色動畫制作的難點

傳統的角色動畫制作過程較為繁瑣,需要多名創作者合力,并且要非常細致地完成每一幀動作的繪制。

用AI實現動畫角色的姿勢遷移,Adobe等提出新型“木偶動畫”-鄭州網站建設

在《起風了:1000日的創作記錄》中,宮崎駿透露,這幾秒鐘的鏡頭耗時1年零3個月。

人類在觀察多個動作序列后,很容易想象出這個角色在做其他姿勢時的細節樣貌,但這對于算法而言沒那么容易:關節接合、藝術效果和視角變化等都會對圖像外觀產生大量細微差別,這些極大增加了提取底層角色結構的復雜度。人類的自然圖像尚且可以依賴大量標注或數據來提取共同結構,但這種方法不適用于卡通角色,因為拓撲結構、幾何和繪畫風格不具備那么強的一致性。

Adobe 的解決之道

正是為了解決這一難題,Adobe 提出了一種依靠「變形木偶模板(deformable puppet template)」去基于少量圖像樣本生成動畫角色新外觀的方法。

研究人員先假設所有的角色姿勢都可以通過扭曲變形模板來生成,開發出一個變形網絡(deformation network),以及這個網絡編碼圖像和解碼模板的變形參數;然后在可微渲染層中使用這些參數,渲染出與輸入幀相匹配的圖像。重建損失可在所有階段中進行反向傳播,從而學習如何對所有訓練幀登記該模板。

不過,渲染結果的姿勢雖然合理,但這個結果相對于創作者繪制成的圖像還是有些遜色,因為它們僅僅扭曲了一個參考輸入,沒有捕捉到陰影、藝術效果等因素造成的輕微外觀差別。為了進一步改善渲染結果的視覺質量,研究人員使用圖像平移網絡來合成最終外觀。

這項研究用到的是學界和工業界常用的層級 2.5D 變形模型(layered 2.5D deformable model),再匹配上多種傳統人工繪制動畫風格。如此一來,相對于需要大量專業知識才能使用的 3D 建模模板,用戶會輕松許多。假如用戶想生成木偶,選擇單個幀,再將前景角色分割成多個身體構成組件,然后就可以使用標準三角剖分(triangulation)工具將其轉化為網格。

在六個動畫角色的制作任務中,研究人員使用 70%-30% 的訓練-測試分割比例去評估了這個新方法:

首先,評估模型重建輸入幀的效果,發現其輸出的結果比當前最優的光流和自編碼器技術更加準確。

其次,評估登記模板(registered template)估計出的配準質量,發現其效果優于圖像配準方法。

最后,證明該模型可用于數據驅動的動畫制作,即合成動畫幀由訓練時獲取的角色外觀決定。研究人員構建了合成中間幀和根據用戶指定變形制作動畫的原型應用,根據角色生成合理變形后的新圖像。相比于計算機圖形學基于能量的傳統優化技術,這一數據驅動方法得到的角色姿勢更加逼真,也更加接近創作者繪畫水準。

方法

文章關鍵詞
急速赛车国语 手机棋牌游戏大厅免费版 街拍论坛投稿赚钱 股票交易软件 重庆彩票时时彩预测软件 3d赚钱 今天黑龙江十一选五开奖结果 棋牌下载送28元 为什么看电视电视台可以赚钱 手游试玩赚钱哪个靠谱 仙居河龙棋牌规则 二分彩怎么玩 山东11选5走势图acaiwang 有什么看小说还能赚钱的软件 极速飞艇彩票官网软件 爱乐彩天津十一选五 eve4级任务赚钱