AI動(dòng)漫視頻是AIGC的熱門(mén)賽道之一，目前市面上許多動(dòng)漫領(lǐng)域核心玩家均布局或已啟動(dòng)AIGC動(dòng)漫內(nèi)容生產(chǎn)。我們希望為有意向進(jìn)行AIGC領(lǐng)域創(chuàng)作的PUGC創(chuàng)作者提供便捷的渠道及工具，通過(guò)孵化一批獨(dú)家的AIGC動(dòng)漫原創(chuàng)作者，入局動(dòng)漫創(chuàng)作行業(yè)核心圈，為平臺(tái)供給大量差異化原創(chuàng)內(nèi)容。
通過(guò)對(duì)AI動(dòng)漫視頻行業(yè)進(jìn)行深入調(diào)研洞察，我們發(fā)現(xiàn)其具有以下特點(diǎn)：
-
隨著小說(shuō)推文行業(yè)規(guī)模擴(kuò)大，代理機(jī)構(gòu)及推文KOC達(dá)人賬號(hào)迅速增長(zhǎng)，AI動(dòng)漫視頻訂單規(guī)模不斷擴(kuò)張。
-
在小說(shuō)推文用戶群中，18-23歲的年輕人和女性用戶居多，著眼于抖音小說(shuō)推文指數(shù)，用戶逐漸增加，且有逐漸“破圈”的趨勢(shì)。
-
目前小說(shuō)推文KOC達(dá)人的用戶畫(huà)像，集中在女性學(xué)生和寶媽群體，表明女性達(dá)人對(duì)于小說(shuō)內(nèi)容的理解更為透徹。
同時(shí)我們發(fā)現(xiàn)，目前用戶使用AI動(dòng)漫視頻產(chǎn)品時(shí)的痛點(diǎn)主要集中在以下幾個(gè)方面：
畫(huà)面識(shí)別和文字匹配度不高，導(dǎo)致適配內(nèi)容畫(huà)面表現(xiàn)出現(xiàn)偏差，影響視頻效果。
不能保證同一人物在不同分鏡下的妝造一致，同個(gè)人物的服飾、發(fā)型等會(huì)發(fā)生變化，影響畫(huà)面內(nèi)容的連貫性。
AI動(dòng)漫視頻會(huì)存在較強(qiáng)的“機(jī)器感”，人物和場(chǎng)景風(fēng)格未必和漫畫(huà)風(fēng)格匹配。
AI動(dòng)漫視頻終端交付內(nèi)容動(dòng)態(tài)不連貫，轉(zhuǎn)場(chǎng)效果很像PPT。
基于此，我們對(duì)產(chǎn)品落地進(jìn)行細(xì)致規(guī)劃，將模型驅(qū)動(dòng)AI動(dòng)漫視頻能力落地「度加」創(chuàng)作工具，跑通從文章識(shí)別到視頻合成的完整流程，確保基礎(chǔ)功能落地。從文本轉(zhuǎn)化、畫(huà)面控制、動(dòng)態(tài)能力等多方面調(diào)優(yōu)，對(duì)標(biāo)高質(zhì)量視頻要求，持續(xù)打磨工作流，支撐生態(tài)向高質(zhì)量?jī)?nèi)容轉(zhuǎn)型。
我們持續(xù)打磨設(shè)計(jì)工作流，力求使自動(dòng)生產(chǎn)質(zhì)量達(dá)到動(dòng)漫視頻基線。
設(shè)計(jì)創(chuàng)新提升工具控制范圍和能力，保證輔助生產(chǎn)質(zhì)量追齊專(zhuān)業(yè)動(dòng)漫視頻水平。
通過(guò)不斷打磨優(yōu)化，我們搭建了一套完整的視頻生成流程：設(shè)置基礎(chǔ)信息及視頻參數(shù)→上傳文本→角色/場(chǎng)景提煉（可重新生成至符合預(yù)期）→生成旁白及分鏡（可進(jìn)行編輯或重新生成至符合預(yù)期）→生成視頻。
為了使生成效果更加適配漫畫(huà)內(nèi)容，解決風(fēng)格匹配度不高的問(wèn)題，我們對(duì)市面上的熱門(mén)漫畫(huà)題材進(jìn)行了分析，根據(jù)其內(nèi)容進(jìn)行了分類(lèi)梳理。共梳理出七大類(lèi)別：都市現(xiàn)代、武俠仙俠、奇幻魔幻、恐怖懸疑、科幻賽博、末日廢土、兒童繪本。通過(guò)對(duì)類(lèi)別內(nèi)容的判斷，選擇能表現(xiàn)其內(nèi)容特色的風(fēng)格模型。
為增加模型的可選擇性，每個(gè)類(lèi)別下選擇2套模型進(jìn)行適配，同時(shí)增加通用模型，保證內(nèi)容品質(zhì)及風(fēng)格效果的全方面覆蓋。
目前使用的底模均為基于Stable Diffusion 1.5底模訓(xùn)練出來(lái)的模型。通用模型和垂直模型的區(qū)別在于，通用模型需要具備比較廣泛的通用的內(nèi)容識(shí)別能力，盡可能覆蓋熱門(mén)題材。例如DarkSushiMix這個(gè)模型，在熱門(mén)的都市和仙俠等題材中，均可以識(shí)別小說(shuō)分鏡描述的內(nèi)容，生成符合預(yù)期的畫(huà)面，可以作為通用模型使用。
垂直模型更具有針對(duì)性，部分小說(shuō)內(nèi)容具有強(qiáng)烈的特色風(fēng)格，在模型選擇中，除了對(duì)于文本內(nèi)容的識(shí)別，需要具備符合小說(shuō)特色的風(fēng)格效果。這時(shí)除了篩選適合的底模以外，還可以使用底模+LoRA模型的方式，一方面保證畫(huà)面識(shí)別，另一方面滿足風(fēng)格需要。
在進(jìn)行了大量評(píng)測(cè)組合后，我們選擇出適合7大類(lèi)別的模型搭配。例如在兒童繪本類(lèi)別下，適配了童趣和國(guó)風(fēng)兩種風(fēng)格。通用的底模雖然可以將畫(huà)面內(nèi)容呈現(xiàn)出來(lái)，但是風(fēng)格上與兒童繪本差異較大，會(huì)導(dǎo)致觀感上與小說(shuō)本身產(chǎn)生差異，模型適配準(zhǔn)確后，就可以生成符合預(yù)期的畫(huà)面效果了。
畫(huà)面美觀包含內(nèi)容準(zhǔn)確、風(fēng)格契合、人物畫(huà)面無(wú)崩壞等多個(gè)方面。內(nèi)容準(zhǔn)確與風(fēng)格契合在上面進(jìn)行了總結(jié)，關(guān)于人物畫(huà)面的實(shí)現(xiàn)效果上，AI生圖在尺寸較小的情況下會(huì)出現(xiàn)部分Bug，主要受到影響的是面部清晰度。因此，我們選擇使用Adetailer插件進(jìn)行面部修復(fù)，保證人物的清晰美觀。
在工具初建階段，重點(diǎn)采用Prompt控制鏡頭視角的多樣性。我們測(cè)試了大量鏡頭視角描述詞在不同模型及內(nèi)容描述下的效果，總結(jié)出5個(gè)效果識(shí)別顯著的詞匯：Close-up（特寫(xiě)）、From below（仰視）、Top view（俯視）、Front view（正視角）、From side（側(cè)視角）。鏡頭視角描述詞根據(jù)策略隨機(jī)適配，避免連續(xù)出現(xiàn)相近視角的畫(huà)面，確保畫(huà)面構(gòu)圖的豐富度。
-
比例設(shè)定：設(shè)定「16:9、9:16、4:3、3:4」4套生圖比例，選擇4個(gè)識(shí)別度高的字體匹配4套比例，滿足用戶對(duì)視頻橫板和豎版的不同要求。
-
生圖及視頻尺寸：為保證較快的生圖速度，生圖過(guò)程中，先使用較小的生圖尺寸，再通過(guò)超分?jǐn)U大圖片保證畫(huà)質(zhì)清晰度，同時(shí)對(duì)畫(huà)面在視頻中的范圍及尺寸進(jìn)行規(guī)范。以16:9為例，在該比例下，生圖尺寸若與視頻尺寸一致，畫(huà)面過(guò)長(zhǎng)，AI生圖會(huì)出現(xiàn)相對(duì)不可控的情況。經(jīng)過(guò)多輪測(cè)試評(píng)估發(fā)現(xiàn)，將畫(huà)面尺寸控制在4:3的范圍內(nèi)效果最佳，16:9的高清視頻尺寸為1920x1080，所以畫(huà)面的部分生圖使用了684x512（4:3）的尺寸，再通過(guò)超分?jǐn)U展為1440x1080（4:3）。
為避免視頻有類(lèi)似PPT切換圖片的感受，增加運(yùn)鏡和轉(zhuǎn)場(chǎng)，運(yùn)鏡主要為上移、下移、放大，轉(zhuǎn)場(chǎng)設(shè)計(jì)了下滑、右滑、位移、旋轉(zhuǎn)等8個(gè)效果。
我們使用度加TTS旁白與端內(nèi)音樂(lè)進(jìn)行合成，音色及背景音樂(lè)提供多個(gè)種類(lèi)選擇，音量、語(yǔ)速均可調(diào)整，保證音頻與畫(huà)面的最佳契合度。
Meta正式開(kāi)源了一款名為AudioCraft的AI音頻和音樂(lè)生成工具，該工具可以直接從文本描述和參考音樂(lè)生成高質(zhì)量的音頻和音樂(lè)。AudioCraft包含MusicGen、AudioGen和EnCodec三個(gè)模型，分別實(shí)現(xiàn)音樂(lè)生成、音頻生成和自定義音頻模型構(gòu)建。我們不斷探索音頻模型的內(nèi)容供給，規(guī)劃AI音效庫(kù)建立模式，為素材供給擴(kuò)展可能性。
本篇內(nèi)容主要為AI動(dòng)漫視頻工具的基礎(chǔ)能力搭建，概述了我們?cè)谀Ｐ凸┙o、畫(huà)面控制、規(guī)范制定、音頻合成等多個(gè)方面如何進(jìn)行調(diào)優(yōu)，以滿足產(chǎn)品功能。在未來(lái)的工具2.0迭代中，我們還將從文本轉(zhuǎn)化、畫(huà)面控制、動(dòng)態(tài)生成能力等方面入手，全面提升視頻品質(zhì)。此外，我們還會(huì)通過(guò)對(duì)多項(xiàng)AI能力的探索，衍生短劇、預(yù)告片生成能力，打造AI生視頻領(lǐng)域頭部產(chǎn)品。大家敬請(qǐng)期待吧~
感謝閱讀，以上內(nèi)容均由百度MEUX團(tuán)隊(duì)原創(chuàng)設(shè)計(jì)，以及百度MEUX版權(quán)所有，轉(zhuǎn)載請(qǐng)注明出處，違者必究，謝謝您的合作。申請(qǐng)轉(zhuǎn)載授權(quán)后臺(tái)回復(fù)【轉(zhuǎn)載】。
