"毒液"AI宣傳片驚艷刷屏，導演楊晟與Vidu揭秘幕后細節！
文| 劉澍
這是好萊塢“五大”首次在華擁抱AI，不僅自破了曾經公開抵制AI的宣言，而且扶持了本土創作者和技術公司，是全球頭部電影公司合作國內科技文化人才和成果的一次成功嘗試。
潑墨成畫，萬物皆可毒藥。
隨著一點墨跡暈染整個屏幕，毒液以自由靈動之姿變幻為戰馬、魚、鶴等形態，肆意穿梭于海陸空，更能化身“毒液孔明燈”露出頑皮笑容，最后以本姿態落在中式樓閣的屋頂上，傲視周圍。
10月23日，正值《毒液：最后一舞》登陸全國院線，索尼電影官微發布了一支由AI制作的水墨風宣傳片，引發了業內外的劇烈熱議。
△ 《毒液：最后一舞》水墨風獲網友好評
一方面在內容畫面維度，眾人驚嘆于AI創作的精細度和絲滑度，另一方面在行業趨勢維度，這是好萊塢“五大”首次在華擁抱AI，不僅僅只是制作了一部好看的預告片，而且幫助了本土創作者和技術公司，是全球頭部電影公司合作國內科技文化人才和成果的一次成功嘗試。
日前，基于這支AI宣傳片，極客電影獨家專訪了視頻的幕后核心——導演楊晟和北京生數科技有限公司（以下簡稱：生數科技）產品總監張旭東，邀請他們各自從內容和技術的角度，分享了宣傳片的制作過程、相關難點和所用的AI模型Vidu，以及AI應用于影視行業的趨勢觀點。
△ 楊晟導演
△ 北京生數科技有限公司產品總監張旭東
01 合規之內，AI支持和增強創意實現：
索尼對AI的支持態度體現在尊重藝術家的需求，而不是強加功能或限制。
楊晟直言，AI宣傳片是索尼、生數科技和他自己三方碰撞出來的結果。
最開始，索尼的要求是制作一支足夠具有東方元素和中國特色的視頻，但是不能透露太多劇情，方式則不限定。
這顯然是一個開放性命題，給了藝術家很大空間，楊晟很興奮。
作為索尼重點扶持的導演，他認為索尼更深層次的想法是：內容本身優質之外，制作方式也要走在行業前沿，產生廣泛的影響力。
就此，楊晟選擇聯合生數科技，共同完成命題。
生數科技是一家成立于2023年3月的新興科技公司，核心成員來自清華大學人工智能研究院，其自研的AI模型Vidu是國內首個長時長、高一致性、高動態性的視頻大模型，支持文生視頻、圖生視頻、主體參照等功能，這次的AI宣傳片即由藝術家與Vidu合作執行。
△ Vidu
據楊晟透露，索尼曾專門派人到生數科技，用一張2018年出圈的水墨風海報去檢驗Vidu的能力。
現場，張旭東演示了數個版本的效果，得到了索尼的認可，合作得以繼續推進。
特別要提的是，考慮到合規性，索尼直接購買了藝術家與楊晟團隊所使用的200余張水墨風原稿，然后再授權給楊晟團隊基于Vidu創作。”
簡言之：承制方創作畫稿→索尼購買畫稿→索尼授權畫稿→承制方使用畫稿生成視頻→索尼驗收并發布。
整個流程類似于動畫制作，而且是結合了日式和歐美式的動畫生產方式，形成了一種新的工作流。
使用的過程里，Vidu相當于攝影機、手機、PS或者Premiere，是創意實現的高效生產力工具。
這樣一來，索尼獲得了所需的創意效果，承制方則得到了實際操作的空間和自由度。
不過相關過程并非一蹴而就，在實際執行環節里，楊晟與生數科技曾遇到過一個巨大挑戰，即藝術家與AI 技術人員在創作邏輯、主觀審美和工作方式等方面的理解差異。
對比來說，技術人員可能更注重技術和流程，而藝術家更注重創意和表現。
對于這種差異，轉譯工作就顯得尤為重要。楊晟和張旭東正式擔任了這種角色。
張旭東回憶，開始他不能對齊藝術家的需求和標準，比如什么樣的效果是導演更想要的。直到資深動畫導演凱倫坐在工位旁，從藝術的角度下講解后，他逐漸理解了導演的藝術偏好，并和內部美學專家討論后，轉譯成相應的指令輸入給模型。
Vidu 作為一個通用模型，能夠理解和表達很多風格，但如何寫出合適的 prompt 和生成模型進行“溝通”，調動起模型的能力來生成出藝術家想要的東西，確實需要懂模型技術的人和藝術家來共同完成。
△ Vidu參考文森特·梵高《星月夜》生成的視頻
雙方深入溝通理解后，自然會促進效能快速提升，張旭東分享到，根據策劃和原稿，Vidu僅用半個工作日就生成了上千支視頻，供給藝術家挑選和優化，再從中選出最優質的作品。
這種合作模式使得雙方都能充分發揮各自優勢，極大節省了時間成本，提高了工作效率和產出效率，實現了高效率和高質量的創意實現。
02 AI大模型Vidu：節省近90%的后期投入
用傳統影視的方式，制作一支30s的預告片大約需要30天，但是用Vidu只需要10個工作日。
談及應用的技術原理，張旭東介紹，在圖生視頻之外，Vidu的首尾幀功能同樣對《毒液：最后一舞》的生成起到了重要作用。
這種作用特別體現在IP圖像的一致性上，比如經常會看到這樣一種AI創作的情景，一個老爺爺牽著小女孩過馬路，一輛車駛過，下一秒老爺爺換了一個人。
首尾幀功能正好能盡力降低偏差率，以開頭和結尾的圖片約束和糾正影像細節，讓IP圖像前后高精度一致。
眾所周知，索尼在IP圖像上有嚴謹的要求，一絲一毫都不能有差錯，而Vidu有效避免了圖變bug，這是國內AI技術的一大進步，也是AI應用于影視IP的重大突破口。
張旭東進一步表示，基于模型的不斷升級，當下Vidu的一鍵生成視頻能力可以極大簡化短片的制作流程，同步顯著提升相關生產效率。
制作同樣一支宣傳片，對比傳統影視的投入，Vidu節省了近90%的后期投入，驅動總體的時間效率提升3倍。
數據規格上，Vidu能夠同時支持中英文指令輸入；時長方面，模型最長可支持一鍵32s視頻的生成，產品端開放了4s/8s的視頻時長；畫面質感方面，最高可輸出1080p分辨率。
張旭東還提到了Vidu未來的升級方向，他們起了一個名為“參考生視頻”的概念，希望Vidu可以參考相對多的物體，現在它能夠參考單個物體，例如用一雙鞋，模擬人穿鞋在月球上，生成一支廣告片；或者提供一個“怪獸”的形象，安排怪獸做一些事情，都能保持很好的一致性。
△ Vidu產品中的“參考生視頻”功能
未來，據生數科技介紹，Vidu也將補充風格參考能力，提升生成視頻的品質感和藝術性，并且在同種風格呈現中，同并保持人物、場景、道具等多個物體的一致性。
另外，張旭東和楊晟還提到，Vidu的設計也能啟發藝術家，提供超出預期的創作新思路。
在《毒液：最后一舞》的宣傳片里，中式樓閣就是典型案例。
本來只是給了Vidu一個很大概的想法，做一個中式屋頂，但是Vidu既做出了合理性的補全預測和3D模型，也自動生出了很驚艷的運鏡和各類細節。
△ 《毒液：最后一舞》AI宣傳片的“神運鏡”
值得說明一點，對于這支宣傳片，區別于絕大多數AI模型，Vidu的主要指令不是提示詞，而是首尾幀圖像。
這能更直觀地表達創作意圖，減少誤解，可以讓承制方更好地控制視頻的質量和效果。
03 藝術家，只有跟科技公司結合才有未來
我們都在說影視工業化，真的到了那一天，就是創作者和科技公司緊密協作。宣傳片的藝術家團隊都說，只有跟科技公司結合才有未來。
就在索尼發布AI宣傳片的同期，全球影視行業亦傳來兩大重磅消息。
一個是大導演詹姆斯·卡梅隆（James Cameron）官宣加入Stability AI公司，這家公司的開源模型Stable Diffusion在圖像生成領域有著舉足輕重的地位。
△ 詹姆斯·卡梅隆加入Stability AI公司
詹姆斯·卡梅隆，面對生成式AI技術的崛起，他看到了AI與影像創作交匯的巨大潛力。
這兩種完全不同的創作引擎的融合，將為藝術家開啟全新的講故事方式，這是他們從未想象過的。
另一個是張藝謀談執導《三體》，他直言，網友的正向或負向評價，他都接受，這會倒逼團隊創新視聽表達。
△ 張藝謀執導《三體》
他已經精選十余位AI人才，組成AI小組，將運用“中國制造”的新科技、新觀念開展創作。
隨著詹姆斯·卡梅隆和張藝謀的公開支持，影視行業將會加速AI應用的進程。反之，這也會驅動AI科技公司快速精進技術，全球范圍內皆是如此。
就現在的AI水平，張旭東和楊晟說到，如果將AI模型的發展階段比作電影學院的學生，ChatGPT3.5相當于初中生，可以理解部分內容；GPT4相當于研究生，思考較為全面；OpenAI o1則更進一步，具有獨特的思維方式。
而隨著應用案例和經驗愈多，AI 的“學歷”將更高。
現在，AI能夠記住更多的專業詞匯，理解并執行復雜的微調任務，如3D動態故事板著色；
其學習能力使得它在不同場景中的應用更加靈活，可以根據具體需求進行定制化訓練，從而提高工作效率和效果。
通過AI的這些能力，可以降低對上層構造數據的訓練難度，使整個流程更加智能化和高效。
細分到鏡頭運動，AI通過學習和訓練，能夠理解和應用鏡頭運動的基本原理，如推拉搖移等，從而提升視頻的視覺效果。
以及，通過對大量電影和視頻的分析，AI能夠學習到鏡頭運動的基本規律，并在實際應用中加以運用。
△ Vidu生成的俯視視角視頻
△ Vidu生成的第一人稱視角視頻
這種對鏡頭運動的理解和應用，使得AI在視頻制作中的應用更加廣泛和深入，提升了整體的視覺體驗和藝術效果。
而鑒于AI模型規模的擴大和技術的升級，其性能和應用范圍將得到進一步提升。
未來，AI模型有望在更多領域發揮作用，如綠幕特效、視頻補全等，這會更大地降低視頻制作的難度和成本，更快速地提高創作效率。
然而，盡管效能在一直升級，但是現階段AI并不能完全替代人類的創造性勞動，而是作為輔助工具存在。
許多人錯誤地認為AI可以直接生成商業化的內容，但實際上，生成的內容需要經過一系列的加工和優化，才能達到最終的商業標準。
畢竟，藝術作品的評價往往依賴于人的主觀感受。
但不能否認，按照這樣的趨勢，AI將拓寬創作者的門檻，同時也提高了對藝術家的要求，它更重要地強調了藝術創作力的重要性，會讓強者會變得更強大。
預計在未來，AI能夠幫助更多有創意的人實現他們的想法，誕生更多優秀的作品。
感謝【故事接龍StoryStorm】友情支持。