界面新聞記者 | 肖芳
界面新聞編輯 | 劉方遠
繼去年7月發(fā)布國內(nèi)首部由大模型深度參與制作的微短劇《山海奇鏡之劈波斬浪》之后,快手近日再次發(fā)布由大模型參與制作的AI單元故事集《新世界加載中》。
《新世界加載中》由異類Outliers團隊制作,共包含7部單元劇集,涵蓋科幻、奇幻、荒誕喜劇、歷史等多元題材,總時長達180分鐘,該劇也是目前業(yè)內(nèi)敘事體量最大的AIGC劇集作品。
《新世界加載中》總導演、異類Outliers創(chuàng)始人陳翔宇向界面新聞透露,去年他第一次嘗試使用大模型的文生視頻功能之后,用一晚上時間生成了一輛小汽車飛向太空的短片。這次嘗試讓他意識到,商用標準影像多了一種來自AI大模型的、不依賴于實拍的傳統(tǒng)動畫流程的表達路徑。
陳翔宇因此有了使用大模型制作單元劇集的想法。在他看來,在制作過程中,《新世界加載中》實現(xiàn)了多項技術(shù)突破,包括美學表達、鏡頭結(jié)構(gòu)、復雜動作場景與細節(jié)的全面呈現(xiàn)等。
在觀看《新世界加載中》之后,界面新聞記者也把它和快手去年發(fā)布的《山海奇鏡之劈波斬浪》進行了對比,兩部短片在畫面上確實呈現(xiàn)出了較為明顯的差異。
一方面是畫面風格更加自然多變。《山海奇鏡之劈波斬浪》部分妖怪形象符合中國古代設定,但也有一些看起來風格迥異,整體美術(shù)風格AI感明顯,給人一種違和的感覺。相比之下,《新世界加載中》在不同的單元劇集中嘗試了東方美學、速涂繪畫、黏土動畫等多種風格,畫面也更加自然。
另一方面,人物表情、場景、物體比例與透視等細節(jié)處理更加到位。《山海奇鏡之劈波斬浪》物面部特寫質(zhì)感差,存在表情僵硬、口型對不上、微表情缺失等問題,關(guān)鍵道具存在透視角度不合理、大小比例失調(diào)等問題。在《新世界加載中》中,這些問題都得到了解決,一些鏡頭的細節(jié)處理達到了非常細膩的程度。
這些變化,主要是因為視頻生成模型在技術(shù)能力上取得了諸多突破。
比如,隨著多模態(tài)融合發(fā)展迅速,新一代模型支持“文本+圖像+音頻”混合輸入,能分別解析各模態(tài)信息,并通過動態(tài)注意力機制實現(xiàn)跨模態(tài)信息對齊,確保生成視頻的視聽一致性誤差極小。
在物理規(guī)律與細節(jié)模擬上,模型借助物理引擎整合,能夠準確模擬流體動力學、剛體運動等,咖啡傾倒、布料褶皺、爆炸特效等復雜動態(tài)和細節(jié)的還原度大幅提升,使生成內(nèi)容更貼近真實世界。
據(jù)記者了解,《新世界加載中》制作過程中使用了多款大模型,其中超過50%的素材由快手旗下可靈AI生成。陳翔宇透露,劇集制作流程當中,不僅前期的文生圖、圖生視頻都可以使用可靈AI等大模型生成更多素材,制作中期的動畫也可以使用大模型制作。
在陳翔宇看來,AIGC相較于實拍和動畫,不僅是效率的提升,更是試錯空間的革命性釋放?!敖柚鶤I大模型,我們很好地實現(xiàn)了人物與風格一致性的問題。同時,AI大模型也讓制作成本實現(xiàn)了大幅降低?!?/span>
對于大模型對整個制作成本和效率帶來的改變,陳翔宇并沒有給出準確的數(shù)字。他表示,制作過程中,一些原本需要實拍的物體以及主創(chuàng)人員都可以用AIGC替代,都是降本增效。
可靈AI產(chǎn)品及運營負責人李楊對界面新聞表示,這一年時間AI生成視頻的能力有很大提升,比如可靈AI在語義跟從、運動表現(xiàn)等方面都有了明顯的進步,創(chuàng)作者也能夠用大模型做出效果更加出色的片子。
但李楊也強調(diào),當下的AI創(chuàng)作還遠遠沒有達到一鍵生成的程度。“從拿到工具開始,如何寫Prompt、如何調(diào)和生成自己腦海中的效果,這個非常專業(yè)和考驗人的韌性,現(xiàn)在仍以相對偏專業(yè)創(chuàng)作者為主。”