CogVideo 是由清華大學(xué)和BAI唐杰團(tuán)隊(duì)共同開發(fā)的一款開源預(yù)訓(xùn)練文本到視頻生成模型，是目前最大的通用領(lǐng)域文本到視頻生成模型，擁有94億參數(shù)。該模型基于Transformer架構(gòu)，通過多幀率分層訓(xùn)練策略，將預(yù)訓(xùn)練的文本到圖像生成模型CogView與文本到視頻生成相結(jié)合，實(shí)現(xiàn)了從文本描述到生動逼真視頻內(nèi)容的高效轉(zhuǎn)換。

• CogVideo官網(wǎng)入口網(wǎng)址：https://models.aminer.cn/cogvideo/
• CogVideo項(xiàng)目官網(wǎng)網(wǎng)址：https://github.com/THUDM/CogVideo

核心特點(diǎn)

• 參數(shù)規(guī)模：CogVideo 擁有 94 億參數(shù)，是目前最大的通用領(lǐng)域文本到視頻生成預(yù)訓(xùn)練模型。
• 多模態(tài)理解：CogVideo 能夠理解文本描述中的場景、對象、動作、人物和對話等多層次信息，并將其轉(zhuǎn)化為高質(zhì)量的視頻內(nèi)容。
• 多幀率分層訓(xùn)練：通過多幀率分層訓(xùn)練策略，CogVideo 能夠更好地對齊文本和視頻片段，生成更符合文本描述的視頻。
• 開源可用：CogVideo 的代碼和模型權(quán)重均開源，用戶可以自由下載和使用。

應(yīng)用場景

CogVideo 在多個(gè)領(lǐng)域具有廣泛的應(yīng)用潛力：

• 影視劇本可視化：將劇本中的文字描述轉(zhuǎn)化為動態(tài)視頻，幫助導(dǎo)演和編劇更好地理解劇本內(nèi)容。
• 教育宣傳資料制作：用于制作教學(xué)視頻、課程介紹等，提高教育內(nèi)容的吸引力和傳播效率。
• 廣告創(chuàng)意設(shè)計(jì)：通過自動生成視頻，提高廣告創(chuàng)意設(shè)計(jì)的效率和創(chuàng)新能力。
• 社交媒體內(nèi)容生產(chǎn)：生成高質(zhì)量的社交媒體視頻內(nèi)容，滿足用戶對視覺內(nèi)容的需求。

CogVideo 的官網(wǎng)地址為：https://models.aminer.cn/cogvideo/ 。用戶可以通過該網(wǎng)站訪問模型的詳細(xì)文檔、教程和在線體驗(yàn)平臺。CogVideo 提供了多個(gè)版本的模型，如CogVideoX-2B 和 CogVideoX-5B，分別擁有20億和50億參數(shù)，支持量化推理，可以在較低算力設(shè)備上運(yùn)行。

CogVideo 的開源特性使其在多模態(tài)視頻理解領(lǐng)域具有重要意義。然而，數(shù)據(jù)-視頻文本對的稀缺性和弱相關(guān)性導(dǎo)致了對復(fù)雜語義關(guān)系的理解困難，這也是未來研究的一個(gè)重要方向。此外，CogVideo 還支持多種應(yīng)用場景，如文本到視頻、視頻到視頻、圖片轉(zhuǎn)視頻等，用戶可以通過專為CogVideo 設(shè)計(jì)的WebUI工具Cogstudio 進(jìn)行操作。

CogVideo 通過其強(qiáng)大的性能和靈活的應(yīng)用場景，為文本到視頻生成領(lǐng)域帶來了新的突破，極大地簡化了視頻制作流程，拓寬了敘事藝術(shù)的可能性。無論是專業(yè)用戶還是非專業(yè)用戶，都可以通過CogVideo 創(chuàng)造出高質(zhì)量的視頻內(nèi)容。