27日,在中關(guān)村論壇未來人工智能先鋒論壇上,清華大學(xué)聯(lián)合北京生數(shù)科技有限公司(以下簡稱“生數(shù)科技”)正式發(fā)布中國首個(gè)原創(chuàng)全自研視頻大模型——Vidu。論壇現(xiàn)場,清華大學(xué)教授、生數(shù)科技首席科學(xué)家朱軍向與會(huì)者展示了Vidu生成的視頻,包括行駛在崎嶇道路上的汽車、戴珍珠耳環(huán)的貓、彈吉他的熊貓等。與此前震撼業(yè)界的Sora一樣,Vidu能夠根據(jù)文本描述直接生成高質(zhì)量視頻。
“長時(shí)長、高一致性、高動(dòng)態(tài)性”是Vidu的顯著特征。朱軍表示,研發(fā)團(tuán)隊(duì)的核心技術(shù)在于采用U-ViT架構(gòu)。它由Diffusion與Transformer兩個(gè)模型融合而來,可支持一鍵生成長達(dá)16秒的高清視頻內(nèi)容。
除了在時(shí)長方面優(yōu)勢(shì)突出,Vidu在視頻效果方面也實(shí)現(xiàn)顯著提升。朱軍介紹,Vidu能模擬真實(shí)物理世界,生成的視頻不但場景細(xì)節(jié)復(fù)雜,而且符合物理規(guī)律,例如合理的光影效果、細(xì)膩的人物表情等。Vidu還具有豐富的想象力,能生成真實(shí)世界不存在的虛構(gòu)畫面,創(chuàng)造出具有深度和復(fù)雜性的超現(xiàn)實(shí)主義內(nèi)容。此外,Vidu可理解多鏡頭語言,生成的視頻不再局限于簡單的推、拉、移等固定鏡頭,而是圍繞同一主體實(shí)現(xiàn)遠(yuǎn)景、中景、近景、特寫等不同鏡頭的切換,甚至能直接生成長鏡頭、追焦、轉(zhuǎn)場等效果,給視頻注入豐富的鏡頭表達(dá)。Vidu還獨(dú)具文化特色,能很好理解中國元素,生成熊貓、龍等中國元素的視頻。
值得一提的是,論壇上展示的視頻都是從頭到尾連續(xù)生成,沒有明顯的插幀現(xiàn)象。朱軍說,與Sora一樣,Vidu在文本到視頻的轉(zhuǎn)換過程中直接且連續(xù),而且在底層算法上,是由單一模型完全端到端生成,不涉及插幀和其他多步驟處理。(記者何亮)
北疆新聞:內(nèi)蒙古自治區(qū)重點(diǎn)新聞網(wǎng)站(客戶端),內(nèi)蒙古出版集團(tuán)新華報(bào)業(yè)中心旗下國家互聯(lián)網(wǎng)新聞信息采編發(fā)布服務(wù)一類資質(zhì)網(wǎng)站(客戶端)。
北疆新聞版權(quán)與免責(zé)聲明:
一、凡本站中注明“來源:北疆新聞”的所有文字、圖片和音視頻,版權(quán)均屬北疆新聞所有,轉(zhuǎn)載時(shí)必須注明“來源:北疆新聞”,并附上原文鏈接。
二、凡來源非北疆新聞的新聞(作品)只代表本網(wǎng)傳播該消息,并不代表贊同其觀點(diǎn)。
如因作品內(nèi)容、版權(quán)和其它問題需要同本網(wǎng)聯(lián)系的,請(qǐng)?jiān)谝娋W(wǎng)后30日內(nèi)進(jìn)行,聯(lián)系郵箱:bjwmaster@163.com。
版權(quán)聲明:北疆新聞版權(quán)所有,未經(jīng)書面授權(quán),不得轉(zhuǎn)載或建立鏡像,違者依法必究。 本站違法和不良信息舉報(bào)電話:15648148811蒙ICP備16001043號(hào)-1
Copyright © 2016- 北疆新聞網(wǎng) All Rights Reserved互聯(lián)網(wǎng)新聞信息服務(wù)許可證:15120200009-1蒙公網(wǎng)安備:15010502001245