URL2Video流水線 網(wǎng)頁端自動(dòng)創(chuàng)作視頻的實(shí)現(xiàn)-ESG跨境

URL2Video流水線 網(wǎng)頁端自動(dòng)創(chuàng)作視頻的實(shí)現(xiàn)

URL2Video流水線 網(wǎng)頁端自動(dòng)創(chuàng)作視頻的實(shí)現(xiàn)

在音樂創(chuàng)作、視頻重構(gòu)和繪畫等多媒體內(nèi)容制作時(shí)，由機(jī)器學(xué)習(xí)和計(jì)算方法驅(qū)動(dòng)的創(chuàng)意工具能夠提供多種實(shí)用功能。

·繪畫

https://ai.googleblog.com/2017/04/teachingmachinestodraw.html

目前，Google正在積極探索這些創(chuàng)意工具的應(yīng)用途徑。視頻制作這一創(chuàng)意過程尤其能從此類工具中獲益，因?yàn)檫^程中需要做出一系列決定，如：目標(biāo)受眾更適合什么樣的內(nèi)容、如何在場景中布置素材資源視覺上會(huì)更好，以及怎樣的時(shí)間安排能產(chǎn)生最吸引人的敘事……

不過，能否利用現(xiàn)有素材資源更高效地進(jìn)行視頻創(chuàng)作企業(yè)的網(wǎng)站通常以豐富視覺表現(xiàn)描繪其服務(wù)或產(chǎn)品，這些視覺表現(xiàn)都可以重新用于其他多媒體格式，比如視頻，因此在資源有限的情況下也有可能覆蓋更廣泛的受眾。

我們在發(fā)表于UIST 2020的“在網(wǎng)頁中進(jìn)行自動(dòng)視頻創(chuàng)作實(shí)驗(yàn)(Automatic Video Creation From a Web Page)”中介紹了URL2Video，這是一個(gè)研究原型流水線，可以讓作者在快速和可視化下將網(wǎng)頁自動(dòng)轉(zhuǎn)換為短視頻。URL2Video從HTML中提取素材資源（文本、圖像或視頻）及其樣式（包括字體、顏色、圖形布局和層次結(jié)構(gòu)），并將素材資源組織成一系列鏡頭，同時(shí)保持與頁面相似的觀感。當(dāng)用戶指定的長寬比和時(shí)長，它就會(huì)將重新利用的素材渲染為適合產(chǎn)品和廣告的視頻。

·在網(wǎng)頁中進(jìn)行自動(dòng)視頻創(chuàng)作實(shí)驗(yàn)

https://research.google/pubs/pub49618/

URL2Video概覽

假設(shè)用戶提供了業(yè)務(wù)介紹網(wǎng)頁的網(wǎng)址(URL)。URL2Video流水線將根據(jù)一套啟發(fā)式方法，自動(dòng)從頁面中選擇關(guān)鍵內(nèi)容，并決定每個(gè)素材資源的時(shí)間和視覺表現(xiàn)。這些啟發(fā)式方法由熟悉網(wǎng)頁設(shè)計(jì)和視頻廣告創(chuàng)作的設(shè)計(jì)師通過訪談研究提供基礎(chǔ)信息，具有常見的視頻編輯樣式，如內(nèi)容層次結(jié)構(gòu)、約束鏡頭中的信息量及其時(shí)間長度、為品牌提供一致的顏色和樣式等。URL2Video流水線利用這些信息解析網(wǎng)頁、分析內(nèi)容和選擇視覺上突出的文本或圖像，同時(shí)保留其樣式，并根據(jù)用戶提供的視頻規(guī)范進(jìn)行整理。

URL2Video從輸入網(wǎng)頁中提取結(jié)構(gòu)內(nèi)容和設(shè)計(jì)，做出自動(dòng)編輯決策，在視頻中呈現(xiàn)關(guān)鍵消息。用戶定義的輸出視頻的時(shí)間（例如，以秒為單位的時(shí)長）和空間（例如，長寬比）約束均為考量因素

網(wǎng)頁分析

給定網(wǎng)頁網(wǎng)址，URL2Video可以提取DOM和多媒體材料。出于研究原型的目的，我們將域限制為包含突出的素材資源和標(biāo)題的靜態(tài)網(wǎng)頁。這些素材資源和標(biāo)題保留在遵循最新網(wǎng)頁設(shè)計(jì)原則的HTML層次結(jié)構(gòu)中，最新原則鼓勵(lì)使用突出的元素、不同的部分和視覺焦點(diǎn)順序引導(dǎo)讀者感知信息。

·網(wǎng)頁設(shè)計(jì)原則

https://material.io/design/usability/accessibility.html#hierarchy

URL2Video將這些視覺上可區(qū)分的元素標(biāo)識(shí)為素材資源組的候選列表，每個(gè)素材資源組都可能包含一個(gè)標(biāo)題、一個(gè)產(chǎn)品圖像、詳細(xì)描述和行動(dòng)號(hào)召按鈕，并捕獲每個(gè)元素的原始素材資源（文本和多媒體文件）和詳細(xì)的設(shè)計(jì)規(guī)范（HTML標(biāo)記、CSS樣式和渲染位置）。然后，它再根據(jù)素材資源組的視覺外觀和注解（包括其HTML標(biāo)記、渲染大小和在頁面上顯示的順序），通過為每個(gè)素材資源組分配一個(gè)優(yōu)先級(jí)分?jǐn)?shù)進(jìn)行排名。這樣一來，占據(jù)頁面頂部較大面積的素材資源組就會(huì)得到較高的分?jǐn)?shù)。

基于約束的素材資源選擇

在制作視頻時(shí)我們考慮兩個(gè)目標(biāo)：

1.每個(gè)視頻鏡頭都要提供簡潔的信息；

2.視覺設(shè)計(jì)要與源頁面保持一致。

根據(jù)這些目標(biāo)和用戶提供的視頻約束，包括預(yù)期的視頻時(shí)長（以秒為單位）和長寬比（通常為16:9、4:3、1:1等），URL2Video會(huì)自動(dòng)選擇和排列素材資源組，優(yōu)化優(yōu)先級(jí)總分。為了使內(nèi)容簡潔，它只呈現(xiàn)頁面中的主導(dǎo)元素，例如標(biāo)題和一些多媒體素材資源。它會(huì)約束每個(gè)視覺元素的持續(xù)時(shí)間，以便觀眾感知內(nèi)容。這樣，一個(gè)簡短的視頻能夠強(qiáng)調(diào)頁面頂部最突出的信息，而一個(gè)較長的視頻則包含更多的廣告系列或產(chǎn)品。

場景合成與視頻渲染

給定基于DOM層次結(jié)構(gòu)的有序素材資源列表，URL2Video遵循從訪談研究中獲得的設(shè)計(jì)啟發(fā)式方法，做出有關(guān)時(shí)間和空間安排的決策，在單個(gè)鏡頭中呈現(xiàn)素材資源。它將元素的圖形布局轉(zhuǎn)換為視頻的長寬比，并應(yīng)用包括字體和顏色在內(nèi)的樣式選擇。它還會(huì)調(diào)整素材資源的呈現(xiàn)時(shí)間，使視頻更具動(dòng)感和吸引力。最后，將內(nèi)容渲染為MPEG4容器格式的視頻。

用戶控制

在研究原型的界面上，用戶可以查看從源頁面提取的每一個(gè)視頻鏡頭的設(shè)計(jì)屬性、重新排列素材、更改顏色和字體等細(xì)節(jié)設(shè)計(jì)并調(diào)整約束，生成新的視頻。

在URL2Video的創(chuàng)作界面（左）中，用戶指定源頁面的輸入網(wǎng)址、目標(biāo)頁面視圖大小以及輸出視頻參數(shù)。URL2Video會(huì)對(duì)網(wǎng)頁進(jìn)行分析，提取主要視覺組件。它構(gòu)成一系列場景，將關(guān)鍵幀可視化為故事板。這些組件被渲染至滿足輸入時(shí)空約束的輸出視頻。用戶可以播放視頻，檢查設(shè)計(jì)屬性（右下），并進(jìn)行調(diào)整以生成視頻變化，例如重新安排場景順序（右上）

URL2Video用例

我們在多種現(xiàn)有網(wǎng)頁上演示了端到端URL2Video流水線的性能。下面我們重點(diǎn)介紹一個(gè)示例結(jié)果，其中URL2Video將一個(gè)嵌入多個(gè)簡短視頻剪輯的頁面轉(zhuǎn)換為一個(gè)12秒的輸出視頻。注意流水線如何在捕獲自源頁面的視頻中，對(duì)字體和顏色選擇、時(shí)間和內(nèi)容順序做出自動(dòng)編輯決策。

URL2Video從我們的Google搜索介紹頁面（上）識(shí)別關(guān)鍵內(nèi)容，包括標(biāo)題和視頻素材。同時(shí)考慮呈現(xiàn)流、源設(shè)計(jì)和輸出約束，將它們轉(zhuǎn)換為視頻（12秒的橫向視頻；下）

為了評(píng)估自動(dòng)生成的視頻，我們與Google的設(shè)計(jì)師展開了一項(xiàng)用戶研究。研究結(jié)果表明，URL2Video從網(wǎng)頁中有效提取了設(shè)計(jì)元素，并通過引導(dǎo)視頻創(chuàng)作過程為設(shè)計(jì)師提供了支持。

未來計(jì)劃

雖然當(dāng)前的研究重點(diǎn)是視覺呈現(xiàn)，但我們也在開發(fā)支持視頻編輯中的音軌和配音的新技術(shù)?？偠灾?，在我們設(shè)想的未來中，創(chuàng)作者可以專注于高級(jí)決策，由ML模型交互式地建議詳細(xì)的時(shí)間和圖形編輯，最終實(shí)現(xiàn)多平臺(tái)的視頻創(chuàng)作。

致謝

我們非常感謝我們的論文合著者Zheng Sun(Research)和Katrina Panovich(YouTube)。我們還要感謝為URL2Video做出貢獻(xiàn)的同事：Jordan Canedy、Brian Curless、Nathan Frey、Madison Le、Alireza Mahdian、Justin Parra、Emily Ryan、Mogan Shieh、Sandor Szego和Weilong Yang（按姓氏字母順序排列）。我們非常感謝領(lǐng)導(dǎo)層Tomas Izo、Rahul Sukthankar和Jay Yagnik的支持。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。