DreaMoving 是阿里巴巴推出的一款基于擴(kuò)散模型的視頻生成框架，專注于生成高質(zhì)量、定制化的舞蹈視頻。用戶可以通過輸入目標(biāo)身份（如人臉圖像）和姿勢序列，生成目標(biāo)人物在任何場景下跳舞的視頻。這一技術(shù)的核心功能包括運(yùn)動(dòng)控制和內(nèi)容導(dǎo)引，能夠精確控制視頻中的人物動(dòng)作和外觀，同時(shí)保留身份信息，確保生成的視頻既符合用戶需求又具有高度的真實(shí)性。

• DreaMoving官網(wǎng)入口網(wǎng)址：https://dreamoving.github.io/dreamoving/
• DreaMoving開源項(xiàng)目地址：https://github.com/dreamoving/dreamoving-project
• DreaMoving在線演示地址：https://www.modelscope.cn/studios/vigen/video_generation/summary

技術(shù)特點(diǎn)

• 運(yùn)動(dòng)控制：通過視頻控制網(wǎng)絡(luò)（Video ControlNet），DreaMoving 能夠?qū)σ曨l中的動(dòng)作進(jìn)行精準(zhǔn)控制，確保生成的視頻動(dòng)作流暢自然，時(shí)間一致性和運(yùn)動(dòng)真實(shí)性高。
• 內(nèi)容導(dǎo)引：內(nèi)容引導(dǎo)器（Content Guider）用于控制視頻中的人物外觀和背景，結(jié)合交叉注意力機(jī)制，將文本提示和圖像特征結(jié)合起來生成目標(biāo)視頻。
• 高度定制化：用戶可以通過簡單的文本或圖像描述輸入，生成符合特定場景和需求的舞蹈視頻，例如在沙灘、城市街道或虛構(gòu)場景中跳舞。
• 泛化能力：DreaMoving 在未見過的領(lǐng)域展現(xiàn)出強(qiáng)大的泛化能力，能夠適應(yīng)各種不同的舞蹈風(fēng)格和場景。

應(yīng)用場景

• 影視制作：在電影、電視劇和廣告中創(chuàng)建復(fù)雜的舞蹈場景，節(jié)省制作時(shí)間和成本。
• 游戲開發(fā)：為游戲角色生成逼真的舞蹈動(dòng)作，增強(qiáng)游戲的沉浸感。
• 個(gè)性化創(chuàng)作：用戶可以創(chuàng)作個(gè)性化的舞蹈視頻，用于社交媒體分享或特殊場合的紀(jì)念視頻。
• 廣告營銷：通過生成定制化的舞蹈視頻，提升廣告的吸引力和傳播效果。

開源與使用

• DreaMoving 已開源，用戶可以通過訪問其官方網(wǎng)站或 HuggingFace 頁面體驗(yàn)該工具。用戶只需上傳目標(biāo)身份圖像和所需姿勢序列，即可生成高質(zhì)量的舞蹈視頻。

DreaMoving 是一款功能強(qiáng)大且易于使用的視頻生成工具，適用于多種場景，從影視制作到個(gè)性化創(chuàng)作。其基于擴(kuò)散模型的技術(shù)框架不僅保證了生成視頻的質(zhì)量，還提供了高度的定制化和靈活性。無論是專業(yè)視頻制作者還是普通用戶，都可以通過簡單的操作生成高質(zhì)量的舞蹈視頻。