10 月 21 日消息，復旦大學和百度聯合開發了一款名為 Hallo2 的全新 AI 模型，該模型可以生成長達數小時的 4K 解析度人物動畫，現已在 GitHub 發佈開源。

Hallo2 模型建立在 latent diffusion models 的基礎上，相比上一代 Hallo 模型的效果更好，支持了長視頻生成，通過引入數據增強方法如 patch-drop 和高斯雜訊，有效提高了長時間視頻的視覺一致性和時間連貫性。

Hallo2 還結合了向量量化生成對抗網路和時間對齊技術，保證了高解析度視頻的品質和流暢性。

此外，Hallo2 將可調整的語義文本標籤的肖像表情作為條件輸入。這超出了傳統的音頻提示，可以提高可控性並增加所生成內容的多樣性。專案頁面介紹稱，Hallo2 是第一種實現 4K 解析度並生成長達 1 小時的音頻驅動的人像圖像動畫的方法，並通過文本提示進行增強。

來源：中國IT之家記者