隨著技術的不斷進步，人工智能（AI）已經(jīng)開始在視頻制作領域扮演越來越關鍵的角色。小鵬汽車的AI研究團隊近日推出的“任意物體于任意場景”（Anything in Any Scene）技術引發(fā)了業(yè)界廣泛關注。該技術通過先進的生成式人工智能（AiGC）算法，能夠將任意物體無縫集成進動態(tài)視頻中，創(chuàng)造出極致真實的視覺效果。參與該項研發(fā)工作的小鵬汽車AI研究員Xiaoyin Zheng先生深入解讀了該技術及其背后的愿景與初衷。

“利用我們研發(fā)的Anything in Any Scene技術，用戶能在任意的視頻場景中，插入任意物品，并且達到以假亂真的程度”。為證實所言非虛，Xiaoyin Zheng展示了應用此技術制作的視頻，并邀請記者嘗試識別其中后期插入的物體。場景包括室外道路、夜間道路和室內場景。記者經(jīng)多次觀看后，也難以辨識異樣，直至Xiaoyin Zheng揭示紅綠燈、垃圾桶和頭盔等物體竟然均為后期插入。

Xiaoyin Zheng隨后介紹了這項技術的架構細節(jié)?！跋啾纫酝乃惴蚣埽鏒oveNet、PHDiffusion，Anything in Any Scene呈現(xiàn)的效果更加逼真，這得益于我們架構中的三個主要模塊，分別保證了物體擺放位置的真實性，光照的真實性，和色調的真實性。在確保物體在視頻中正確放置的過程里，我們的技術框架首先確定相機在視頻中的世界坐標系位置，將其作為插入物體的基準點。接著，通過分析相機的內參和方位，精確計算出物體三維模型在各個視頻幀里的具體位置。我們還使用了語義分割模型預測物體的掩碼，避免插入物體被其他物體遮擋。為了使物體在視頻中保持穩(wěn)定，我們會預測視頻連續(xù)幀之間的光流來跟蹤物體的運動軌跡，并減少物體在連續(xù)幀上的投影差異，從而實現(xiàn)物體隨著攝影角度變化時的平滑移動。為了保證物體光照的真實性，我們還會根據(jù)視頻流中的天空部分畫面，推理出主光源的高光和環(huán)境光漫反射這兩種光源的HDR分布，并將此HDR分布送給渲染管線中，這樣就可以連同物體的陰影一并渲染出來，生成逼真的光照效果。最后，我們會對物體做一個style transfer（風格變換），使其更逼近目標視頻流的整體色調，進一步提高整個視頻的逼真程度。”

對于外界關于“任意物體于任意場景”技術是否僅用于制作虛假視頻的質疑，Xiaoyin Zheng給出了詳細的回答。他解釋說：“我們開發(fā)這項技術的初衷，實際上是為了在數(shù)據(jù)層面，促進自動駕駛技術的發(fā)展。在自動駕駛系統(tǒng)的訓練階段，通常需要收集大量的實際駕駛數(shù)據(jù)。然而，某些罕見但重要的情形，如道路上的事故車輛、特種車輛、障礙物、行人意外穿越等，往往難以在日常環(huán)境中收集到足夠的數(shù)據(jù)樣本。若能通過AiGC技術創(chuàng)造出極為逼真的場景數(shù)據(jù)，就能夠以極為低廉的成本，為自動駕駛系統(tǒng)提供持續(xù)的、高質量的訓練‘養(yǎng)料’?！彼M一步闡釋，“然而，這項技術的應用遠不止于此。正如其名稱‘任意物體于任意場景’所暗示的，它賦予了用戶在任何視頻場景中插入任何物體的能力，這極大地拓展了視頻編輯的可能性。無論是在AI視頻創(chuàng)作領域，還是在增強現(xiàn)實（AR）與虛擬現(xiàn)實（VR）等新興領域，這項技術都有著廣闊的應用前景?！?/p>

在討論Anything in Any Scene與近期大火的OpenAI SORA之間的關系時，Xiaoyin Zheng認為，這兩種技術互相補充而非直接競爭。他指出，在視頻創(chuàng)作過程中，SORA和‘任意物體于任意場景’技術都將是重要的工具?！叭绻乙獜念^開始利用AI創(chuàng)造一段視頻，我會首先用SORA來構建整個場景，接著使用‘任意物體于任意場景’對視頻中對物體細節(jié)有高精度要求的部分進行細致編輯。通常情況下，SORA負責將視頻創(chuàng)作從0到90％，而‘任意物體于任意場景’負責完成剩下的，也是極具難度的10％。有了Anything in Any Scene，使用SORA的創(chuàng)作者可以說是錦上添花，將創(chuàng)作提升到全新的高度?！?/p>

展望未來，隨著技術的持續(xù)發(fā)展和完善，Anything in Any Thing與SORA等先進AI工具的結合使用，將不僅為視頻創(chuàng)作帶來革命性的變革，同時也將在自動駕駛、虛擬現(xiàn)實等多個領域開拓出更廣闊的應用空間。這些技術的發(fā)展和應用，預示著我們正邁向一個更加智能、更加多元的新時代。人工智能的邊界將不斷被拓展，創(chuàng)新的火花在不同領域間碰撞，引領我們走向更加精彩的未來。