近期，通過人工智能大模型賦能影像創(chuàng)作，多部AI短片陸續(xù)面世，受到各界關注。作為一項重要技術，人工智能大模型推動影視行業(yè)從膠片成像、數(shù)字成像進入算法成像時代，大幅提升影像生產(chǎn)效能。很多讀者想了解，新技術具體怎樣改變影像制作流程，將給影視行業(yè)帶來怎樣的變革，“投進一部小說，還你一部電影”的愿景會實現(xiàn)嗎？我們約請一線創(chuàng)作者和研究者撰文，分享創(chuàng)作體會和前沿觀察。
——編 者
人工智能再造視聽內(nèi)容創(chuàng)作流程
“所思即所見，所見即所想”，將心中所想直接轉(zhuǎn)化為眼前可見的內(nèi)容是人類孜孜以求的夢想。作為AI微短劇《中國神話》創(chuàng)作者，我們?nèi)诤衔纳摹⑽纳鷪D、文生音樂和文生視頻等人工智能技術，實現(xiàn)了從創(chuàng)意構思到視聽呈現(xiàn)的人工智能全流程再造，探索人類與機器智能合作的新模式。
智能化策劃，讓人工智能成為創(chuàng)意策劃的“智囊團”。故事策劃是視聽內(nèi)容創(chuàng)作的首要環(huán)節(jié)，傳統(tǒng)編劇的靈感往往受限于個人閱歷和知識結(jié)構，而大語言模型因為學習了萬億數(shù)量級的文字內(nèi)容，相比于個體創(chuàng)作者，對古今中外的“人情世故”更為了解，有推理能力的人工智能還會組合創(chuàng)新，因而成為故事腳本撰寫的好幫手。利用人工智能工具，可以高效完成劇本方案、人物設定、作品世界觀架構等工作。以《中國神話》的創(chuàng)作為例，創(chuàng)作團隊利用智能應用對中國古代神話資料進行智能檢索、關聯(lián)分析，快速梳理出角色譜系、情節(jié)脈絡等關鍵信息，在此基礎上生成數(shù)十個走向的故事候選方案，分集故事框架的搭建過程僅需20分鐘，前期策劃的人力投入減少70%左右。事實上，在清華大學團隊近期創(chuàng)作的200余條AI視頻中，人工智能輔助生成的選題方案已涵蓋文史、科技、美食、旅行、教育等多個垂直領域，人工智能幫助策劃者快速獲取靈感、系統(tǒng)化拓展思路，為視聽內(nèi)容策劃與制作的“想什么”賦能。
自動化生產(chǎn)，用人工智能豐富“怎么拍”的路徑。在影視畫面制作階段，人工智能技術的引入帶來流程再造。我們采用文生圖、文生視頻技術，通過輸入文字指令讓人工智能自動生成相應風格的圖片素材與視頻素材，極大簡化了視覺創(chuàng)意從構思到呈現(xiàn)的流程。這其中的關鍵技術在于將自然語言文本與視覺內(nèi)容建立精準映射，利用大規(guī)模多模態(tài)預訓練模型，實現(xiàn)圖片和視頻內(nèi)容的智能生成。這一技術打破了傳統(tǒng)動畫影視制作中分鏡繪制、三維建模、動作捕捉等環(huán)節(jié)對專業(yè)技術的高度依賴，把傳統(tǒng)視聽創(chuàng)作對“心—目—手”的高要求轉(zhuǎn)換為“心—目—言”的新要求，實現(xiàn)了從文字腳本到視覺畫面的直接轉(zhuǎn)化，使影視創(chuàng)意的呈現(xiàn)更加高效靈活。這是視聽內(nèi)容創(chuàng)作的一次重大范式轉(zhuǎn)變。由于語料豐富，人工智能可以快捷制作出包括寫實、抽象等在內(nèi)的近130種不同藝術風格的影像內(nèi)容，拓展了視覺創(chuàng)意的可能性，為視聽內(nèi)容創(chuàng)作提供更多靈感。
智能配音和剪輯，以人工智能替代大量基礎性工作。音樂是視聽作品的情感載體，對渲染氣氛、引發(fā)共鳴起著關鍵作用。我們調(diào)用人工智能工具，對短劇的故事情節(jié)、畫面節(jié)奏、情緒基調(diào)進行分析并提取關鍵信息點；再將文本信息輸入音樂模型，使其實時輸出與影片風格、情感氛圍相匹配的音樂素材；最后再通過人工優(yōu)選與整合潤色，配制出風格一致、節(jié)奏流暢的影片配樂。文生音樂的創(chuàng)作模式實現(xiàn)了人工作曲到智能生成的轉(zhuǎn)變，大幅提升了創(chuàng)作效率，降低了生產(chǎn)成本。
配音是視聽作品的重要組成，對角色塑造、情感表達都起到不容忽視的作用。人工智能語音合成技術可自動匹配對白語氣，再現(xiàn)角色的音色特點與情感狀態(tài)。基于深度學習的人工智能配音系統(tǒng)還可捕捉真人配音的韻律特點與情感變化，生成更加接近真人的配音效果。目前，我們利用人工智能技術，可實現(xiàn)配音流程的全自動化。
后期制作向來是影視制作中耗時耗力的環(huán)節(jié)，我們在視頻剪輯時采用智能鏡頭分類、自動拆條、片段標引、智能字幕、一鍵調(diào)色等方法，可讓人工智能“剪刀手”代勞80%的粗剪工作。6分鐘時長的影片粗剪僅需20分鐘，是傳統(tǒng)手工剪輯速度的5倍。整個視頻全部交付的綜合人力時間成本是傳統(tǒng)制作流程的1/16左右。在人工智能代勞大量基礎性工作后，人類創(chuàng)作者能夠?qū)⒏嗑ν度雽ψ髌返暮暧^調(diào)度與藝術把控上，并對內(nèi)容進行選擇和優(yōu)化。
整體而言，人工智能技術將成為提升視聽內(nèi)容生產(chǎn)力的重要工具，人工智能與人類智慧的交織融合正在重塑視聽藝術的邊界。未來，合成視頻、對話和交互式視頻、無編輯視頻、跨風格視頻等新類型內(nèi)容，將極大豐富視聽產(chǎn)品的品類和形態(tài)，提升內(nèi)容的個性化水平，提高內(nèi)容制作的實時性。同時，新的創(chuàng)作生產(chǎn)方式也對創(chuàng)作者的角色定位和知識結(jié)構提出了新的要求，審美和想象力將變得更加重要。當然，人工智能也會犯錯，輸出無中生有的內(nèi)容，帶來穿幫鏡頭等問題，隨著技術的發(fā)展，這些問題將逐步得到解決。
當人工智能技術進一步成熟之后，視聽內(nèi)容創(chuàng)作效率將提升百倍千倍。人類提供一個初始想法，人工智能就能創(chuàng)作出一部中短篇小說，根據(jù)這部小說又能創(chuàng)作出一部影片，整個過程也許只需要數(shù)分鐘即可完成，這種前所未有的視聽創(chuàng)作的夢幻場景，有很大概率在不久的將來實現(xiàn)。屆時，只要輸入創(chuàng)作訴求甚至輸出腦電波，人們就可進行多模態(tài)優(yōu)質(zhì)內(nèi)容創(chuàng)作，在人工智能協(xié)助下實現(xiàn)藝術表達。《中國神話》等作品只是一個起點，人工智能賦能文藝創(chuàng)作的更多可能性，正等待著我們?nèi)ヌ剿骱蛯崿F(xiàn)。
（作者為清華大學新聞與傳播學院教授）
編輯：李華山
