Facebook開源Ego 4D數據集 3000小時第一人視角視頻 向AR元宇宙躍進

　　10月15日消息，Facebook在AR領域投入了大量時間和金錢，包括與雷朋(Ray-Ban)合作，打造自己的AR眼鏡。目前，這些小工具只能記錄和共享圖像，未來Facebook又將會賦予它們什么功能?

　　Ego 4D是Facebook在AI領域的一個長期項目，旨在增強AI從第一人稱視角理解世界并與人類互動的能力，解決研究AI對以自我為中心的感知時面臨的挑戰。

　　昨天，Facebook宣布開源Ego 4D(Egocentric 4D Perception)計劃數據集，該計劃是對第一人稱或“以自我為中心”的視頻進行分析，由兩個主要部分組成：一個開放的以自我為中心的視頻數據集和一系列Facebook將在未來賦予AI系統的基準。

　　據稱，該數據集的開源大大增加了在研究界公開可用的第一人稱視頻的數據量，鏡頭時長比任何其他數據集都高出至少20倍。

　　一、面向AR，讓AI從第一人稱視角理解世界

　　此前，AI通常從第三人稱拍攝的照片和視頻中進行學習，但下一代AI將需要從第一視角來展示世界的視頻中學習。

　　以此來看，能夠理解世界的AI系統將會開啟沉浸式體驗的新時代，因為在未來AR眼鏡和VR頭顯等設備將會和智能手機一樣日常。

　　Ego 4D計劃試想讓AI系統能夠使用第一人稱視角不斷分析人們的生活，通過記錄人們的所見所聞所做，以幫助他們完成日常任務。

　　但目前，任何AI系統都無法可靠地完成此類任務，Facebook強調這是一個研究項目，而不是商業開發項目。然而，可以很明顯地看出，Facebook將這些功能視為AR計算的未來。“當然，考慮到增強現實以及我們希望能夠用它做什么，未來我們可能會對這項研究加以利用。”Facebook AI研究科學家克里斯汀·格勞曼(Kristen Grauman)在接受外媒The Verge采訪時表示。

　　但Facebook的野心對用戶的隱私數據具有巨大影響。隱私專家已經對 Facebook的AR眼鏡表示擔心，該設備如何讓佩戴者隱蔽地記錄其他公眾成員，而不會竊取他人的數據。如果未來版本的硬件將佩戴者變成行走的監視機器，用戶不僅可以記錄鏡頭，而且會分析和轉錄，只會加劇這種擔憂。

　　二、數據集：855人3205小時視頻，跨越歐洲中亞

　　Ego 4D計劃包含兩個任務，分別是推進開放的以自我為中心的視頻數據集和推進AI系統完成一系列基準或任務。

　　Facebook與全球9個國家13所大學和實驗室合作收集數據。最新數據顯示總共有大約3,205小時的鏡頭，由居住在9個不同國家的855名參與者錄制。參與者佩戴GoPro相機和AR眼鏡來錄制無腳本活動的視頻，視頻內容包括建筑工作、烘焙、與寵物玩耍和與朋友交往等行為。

　　13所大學負責數據收集，并對部分圖像內容進行處理，會對所有鏡頭進行去標識化處理，其中包括模糊旁觀者的面部并刪除所有的個人身份信息。

　　格勞曼表示，該數據集“在規模和多樣性方面都是同類中的首創”。她說，同類中位于第二的數據集僅包含100小時，且完全位于廚房拍攝的第一人稱鏡頭。“我們讓這些AI系統的視野不僅僅面向英國和西西里島的廚房，還有來自沙特阿拉伯、東京、洛杉磯和哥倫比亞的鏡頭。”

　　三、五大基準挑戰：情景記憶、社交互動

　　Ego 4D的第二個組成部分是一系列基準或任務，Facebook希望世界各地的研究人員使用在其數據集上訓練的AI系統，去嘗試解決這些問題。Facebook為開發更智能、更有用的AI助手制定了以下五個基準挑戰，

　　1、情景記憶(Episodic memory)：什么時候發生的(例如，“我把鑰匙放哪兒了?”)

　　2、預測(Forecasting)：接下來我可能會做什么(例如，“等等，你已經在這個食譜中加了鹽”)

　　3、手和物體操作(Hand and object manipulation)：我在做什么(例如，“教我如何打鼓”)

　　4、視聽日記(Audio-visual diarization)：誰在什么時候說什么(例如，“課堂上的主要話題是什么?”)

　　5、社交互動(Social interaction)：誰在與誰互動(例如，“在這嘈雜的餐廳里幫助我更好地聽到對話者的聲音”)

　　目前，AI系統對上述問題的解決都非常困難，但創建數據集和基準測試是一種長效方法，可以刺激AI領域的發展。

　　事實上，ImageNet項目已經作為創建一個特定的數據集和相關的年度競賽而存在，該項目是一個用于視覺對象識別軟件研究的大型可視化數據庫，通常被認為掀起了最近的AI熱潮。ImagetNet數據集由研究人員訓練AI系統，對大量不同對象圖片進行識別而得到的數據組成。2012年，該比賽的獲勝者使用一種特殊的深度學習方法，擊敗了競爭對手，開啟了當前的研究時代。

　　Facebook希望其Ego 4D項目能夠對AR領域產生類似的影響。該公司表示，在Ego 4D上訓練的系統有朝一日不僅可以用于可穿戴相機，還可以用于家庭助理機器人，這些機器人也將依靠第一人稱相機來分析周圍世界。

　　“該項目有機會以一種尚未真正實現的方式，對該領域的工作起到促進作用。”格勞曼說，“為了將我們的領域從分析人類拍攝的大量照片和視頻的能力，轉移到這種流動的、持續的第一人稱視覺流，AR系統、機器人需要在連續的背景下理解活動。”

　　四、Facebook“黑料”頻出，數據隱私引爭議

　　Facebook不斷探索AI領域，開發人工智能監控系統。盡管Facebook概述的任務確實看起來很實用，但該公司在這一領域的繼續探索會讓很多人感到擔憂。

　　原因在于Facebook在隱私方面的記錄非常糟糕，曾經發生過數據泄露事件，并收到聯邦貿易委員會(FTC)對其 50億美元的罰款。它還反復表明，該公司在許多領域只重視增長和參與，而不是用戶的利益。

　　令人擔憂的是，這個Ego 4D項目中的基準不包括突出的隱私保護措施。例如，“視聽日記”功能可以轉錄不同人所說的內容，從未提及刪除有關不想被記錄的人的數據。

　　當被問及這些問題時，Facebook的一位發言人在接受外媒The Verge采訪時表示，它預計將進一步引入隱私保護措施。發言人說：“我們預計，在公司使用此數據集和基準開發商業應用程序的范圍內，他們將為此類應用程序開發保護措施。例如，在AR眼鏡可以增強某人的聲音之前，他們可能會遵循一個協議來征求其他人的眼鏡許可，或者他們可以限制設備的范圍，使其只能從正在與佩戴者交談或在其附近的人那里接收聲音。”

　　但到目前為止，此類保障措施仍只是假設性的。

　　結語：Facebook大步邁向元宇宙

　　Facebook以第一人稱視頻數據訓練人工智能模型，有望開辟新的具有沉浸式甚至是自我意識的AI，從而應用在AR、機器人等領域。結合其今年以來對元宇宙的推崇，可以想象這個非商業化的項目日后可能發揮更大的商業價值。