近日啟動的“經(jīng)典香港電影修復(fù)計劃”,計劃將100部香港老電影修復(fù)至4K版本。
電影修復(fù)流程繁雜瑣碎。過去,一位經(jīng)驗豐富的修復(fù)師需要1個月的時間,才可以修復(fù)完成一部影片,而這次修復(fù)百部香港老片將使用深度學習等人工智能技術(shù),這將極大地提升電影修復(fù)效率,同時進一步優(yōu)化影片的畫質(zhì),為觀眾帶來超高清的觀影沉浸感。
傳統(tǒng)的修復(fù)方法更多關(guān)注光影、色彩、美學等,而人工智能修復(fù),可以從清晰度、流暢度等方面提升老片的畫面質(zhì)量。那么,人工智能是如何介入電影修復(fù)的?
由于拍攝設(shè)備、存儲方式等方面的限制,老電影往往帶有嚴重的膠片噪聲且分辨率較低。此外,由于拍攝年代和拍攝方式等的不同,老電影的畫面質(zhì)量也參差不齊,很多畫面模糊不清。
提升影片的清晰度,須修復(fù)模糊的畫面。去模糊的難點在于,模糊的類型多種多樣。在拍攝、儲存、拷貝翻印、膠片數(shù)字化以及壓制導出的過程中,都可能產(chǎn)生模糊損傷,這導致模糊問題成因復(fù)雜,修復(fù)人員通常難以獲得精準的“模糊核”。
利用人工智能技術(shù),可以從低質(zhì)數(shù)據(jù)中抽取不同程度的模糊視頻,利用相關(guān)統(tǒng)計方法進行真實的“模糊核”估計,并通過主觀驗證進一步篩選“模糊核”的類型。同時,在自建的高清影視數(shù)據(jù)集上,生成“模糊—清晰”匹配數(shù)據(jù)對來訓練機器學習從低質(zhì)到高清的潛在的映射關(guān)系。這樣就能快速分辨出不同影片、不同畫面模糊的原因,進而提升修復(fù)效率。
在老電影修復(fù)中,電影中的人像需要重點關(guān)注和優(yōu)化。利用人工智能技術(shù),使用基于生成式的人像修復(fù)模塊,在保持人像真實特征的前提下,可以進行高清五官重建。對低分辨率、多次壓縮損傷以及拍攝環(huán)境(如暗場景和拍攝過程抖動)等造成的模糊、失焦、噪聲、馬賽克等畫質(zhì)損傷,都能有效解決。
在這次100部經(jīng)典港片的修復(fù)中,人工智能還為我們提供了老舊人像修復(fù)和人像超清化等不同的人像解決方案。對于低質(zhì)量的人像,我們優(yōu)化了人像模型在時域上的清晰度和穩(wěn)定性,對不同大小的人臉(近景/中景/遠景)、不同姿態(tài)角度的人臉(側(cè)臉/俯視/仰視)、不同遮擋程度的人臉都有較好的修復(fù)增強效果。對于一些中高質(zhì)量的人像,我們使用人像超清模塊,優(yōu)化五官清晰度,最大限度還原睫毛、眉毛、發(fā)絲和膚質(zhì)等臉部細節(jié),修復(fù)結(jié)果更有質(zhì)感。
很多老電影由于膠片保存不當出現(xiàn)褪色情況,畫面存在色偏。為解決這一問題,需要對其進行色彩校正,還原符合電影美學風格的色彩。借助人工智能技術(shù),修復(fù)人員可以設(shè)計出符合電影美學標準的色彩校正方案。具體做法是,對影片內(nèi)容進行場景分割,使用深度學習方案逐幀學習其色彩校正矩陣;針對幀間一致性問題,則按場景計算出色彩校正矩陣的均值;對同一場景,使用同一套色彩校正矩陣進行處理,從而得到穩(wěn)定的校正結(jié)果。
利用人工智能技術(shù)還能提升老電影的流暢度。比如,一些武打片中,有很多人物快速運動的場景。當畫面幀與幀間運動較大,超過一定范圍時,光流就會估計不準確,容易產(chǎn)生拖影。利用智能插幀算法,通過對前后幀的內(nèi)容進行光流估計,并根據(jù)光流信息將前后幀像素都轉(zhuǎn)換到中間幀,然后進行整合,生成中間幀,提升視頻幀率,這樣就可以減少觀眾觀看時的卡頓感。
一些老電影的膠片,由于保存不當,容易出現(xiàn)臟點、污漬和霉斑,呈現(xiàn)在畫面上就是大塊不規(guī)則形狀的陰影,既破壞了畫面的完整性,也會影響觀眾的觀影體驗。對于這些瑕疵,可以首先用去噪點和去劃痕等算法批量處理,同時輔以人工二次校驗,對誤傷畫面的部分進行優(yōu)化,這既提高了修復(fù)處理的速度,同時也保證了修復(fù)的精準性。
此外,受限于拍攝時的設(shè)備和技術(shù),早期的香港武打片會有不少穿幫鏡頭,如畫面出現(xiàn)威亞線。以往這種情況,只能依賴手工逐幀消除,而人工智能算法可以自動識別到威亞的位置并進行擦除。
值得一提的是,在這次100部港片修復(fù)項目中,我們首次使用了AIGC(生成式人工智能)視覺大模型。在更廣闊的數(shù)據(jù)規(guī)模、更龐大的模型參數(shù)、更豐富的算力的加持下,大模型顯示出遠超以往算法的生成能力,生成內(nèi)容的紋理細節(jié)更逼真、效果更自然。
針對老片修復(fù)的具體場景,我們還對AIGC視覺大模型進行了生成質(zhì)量、視頻任務(wù)和推理效率方面的算法優(yōu)化,有效提升了修復(fù)質(zhì)量。相信隨著大模型技術(shù)的持續(xù)發(fā)展,人工智能將在老電影修復(fù)以及經(jīng)典文化傳承方面發(fā)揮更大作用。
(作者:趙世杰,系火山引擎多媒體實驗室研究員)
北疆新聞:內(nèi)蒙古自治區(qū)重點新聞網(wǎng)站(客戶端),內(nèi)蒙古出版集團新華報業(yè)中心旗下國家互聯(lián)網(wǎng)新聞信息采編發(fā)布服務(wù)一類資質(zhì)網(wǎng)站(客戶端)。
北疆新聞版權(quán)與免責聲明:
一、凡本站中注明“來源:北疆新聞”的所有文字、圖片和音視頻,版權(quán)均屬北疆新聞所有,轉(zhuǎn)載時必須注明“來源:北疆新聞”,并附上原文鏈接。
二、凡來源非北疆新聞的新聞(作品)只代表本網(wǎng)傳播該消息,并不代表贊同其觀點。
如因作品內(nèi)容、版權(quán)和其它問題需要同本網(wǎng)聯(lián)系的,請在見網(wǎng)后30日內(nèi)進行,聯(lián)系郵箱:bjwmaster@163.com。
版權(quán)聲明:北疆新聞版權(quán)所有,未經(jīng)書面授權(quán),不得轉(zhuǎn)載或建立鏡像,違者依法必究。 本站違法和不良信息舉報電話:15648148811蒙ICP備16001043號-1
Copyright © 2016- 北疆新聞網(wǎng) All Rights Reserved互聯(lián)網(wǎng)新聞信息服務(wù)許可證:15120200009-1蒙公網(wǎng)安備:15010502001245