《元宇宙：概念、技術與生態》知識點總結3

智玩元宇宙
2023年2月06日10時

本篇是《元宇宙：概念、技術與生態》第三章的總結，沒有讀過前兩篇的讀者可以先跳轉過去看一下：

《元宇宙：概念、技術與生態》讀書筆記1

《元宇宙：概念、技術與生態》知識點總結2

第三篇總結詳見下文：

第三章介紹的是沉浸式交互技術，包括：虛擬現實、增強現實、混合現實，擴展現實等幾種。

虛擬現實即Virtual Reality(VR)通過對現實的虛擬，給用戶提供沉浸式的體驗。屬于擬像理論仿造階段。目前大部分VR眼鏡使用的就是VR技術。

增強現實即Augmented Reality（AR)通過在現實世界疊加一層虛擬層，實現對現實世界體驗的強化。目前大部分AR眼鏡使用的是該技術。

混合現實即Mi-xed Reality（MR)是VR和AR的混合體，能夠創造出可交互的虛擬物體。屬于擬像理論的生產階段。

擴展現實即eXtended Reality（XR)是VR、AR和MR技術的混合體，可在現實世界創造出以假亂真的可交互的虛擬世界。屬于擬像理論的仿真階段。

虛擬現實（VR）

虛擬現實(VR)技術主要涉及計算機、電子信息、仿真技術。VR通過設備隔絕了所有現實世界的畫面，創造出一個完整的虛擬環境。

VR是元宇宙的1.0時代，類似于以臺式電腦為主要入口的互聯網1.0時代。使用時間及空間均受到限制。利用臺式電腦或者手機的VR設備擁有更好的性能，能夠運行更加復制的虛擬程序。特別是游戲，在利用了外接設備之后，性能可以大大提升。

增強現實(AR)

增強現實(AR)技術通過在現實世界中疊加圖像和使用全息圖像，將虛擬物體與現實世界相結合。

AR是元宇宙的2.0時代，類似于以手機為主要入口的互聯網2.0時代。目前的AR技術相對不是很成熟，離商業應用還有大概3~5年的時間，這個周期會比互聯網進入到移動互聯網的周期更短。AR設備為入口的元宇宙時代，用戶可以隨時隨地進入元宇宙。

混合現實(MR)

混合現實(MR)是指真實和虛擬世界融合后產生的新的可視化環境，在該環境下真實實體和數據實體共存，同時能實時交互。

MR是元宇宙的3.0時代，類似于融入了物聯網的互聯網3.0時代。當然還需要有強大的邊緣計算和高速的網絡技術作為支撐。在以MR設備為入口的元宇宙時代，線上與線下邊界被進一步打通。

擴展現實(XR)

擴展現實(XR)是指通過計算機將真實與虛擬相結合，打造一個可以人機交互的虛擬環境，這也是AR、VR、MR等多種技術的統稱。

沉浸式交互的支撐技術

沉浸式交互技術的支撐技術主要包括：圖像顯示原理、數據可視化和計算機圖形學，以及其他技術。

圖像顯示原理依靠頭戴式設備，其核心是頭戴式設備屏幕，包含兩大基本元素:光學(optics)和圖像顯示(image display)。

數據可視化(data visualization)就是將抽象的數據轉化為人類更容易感知的圖形及圖像的過程。

計算機圖形學的主要研究內容就是如何在計算機中表示圖形以及如何利用計算機進行圖形的計算、處理和顯示的相關原理與算法。

如實現高同步的通信技術解決大量用戶同時在線問題的云計算技術，以及用于圖像渲染的GPU和作為虛擬世界基礎架構的算法等。

圖像顯示原理之光學

人的兩只眼睛都能看到的圖像的總角度稱作視場 (Field of View，FoV)，人類的水平雙目視場為200度，雙目重疊占到了120度。雙目重疊對立體視覺的建立非常重要。與水平視場不同，垂直視場約為130度。

瞳孔間距 (Inter-Pupillary Distance，IPD)就是瞳孔之間的距離，與種族、性別、年齡有關。不合適的IPD可能會使得晶狀體產生畸變，或導致眼睛疲勞和頭痛。兒童的最小IPD大約是40毫米，而成人IPD的平均值約為63毫米。人類的每只眼睛通過合并兩個獨立的視角來獲得景深以及浸入式的感覺，但需要大腦為圖像成形消耗大量的計算能力。

光學設計系統分為兩種結構（或者說是AR/VR的基礎架構），分別為直視型結構（pupil forming，PF）以及非直視型結構（non-pupil forming，NPF），這兩個結構的觀察效果如左圖所示。單獨的鏡片通過組合形成了NPF，經過設計，通過放大鏡直接投射到顯示屏上。在進行光的渲染時，會有一個明顯的缺點：枕形失真（pincushion distortion，PD）。而在PF下，單個鏡片產生PD后，第二個鏡片會產生桶形失真（barrel distortion，BD），從而抵消了第一個鏡頭產生的畸變，最后得到一個更為真實和清晰的圖像。這種設計被廣泛應用在那些并不需要高度沉浸感的設備中，比如Hololens和Google Glass。

光波導是一種引導光波傳播的介質器件，也稱為介質光波導。它通過光的全反射原理，實現光在光路中的低損耗傳輸。光波導應用占用空間小，有利于AR眼鏡的薄型化，但由于其制作復雜，成本高，并且不同顏色的光的折射率不同會產生彩虹效果，因此光學設計難度大。

波導是一種物理光學結構設計，可以使光線曲折進入人的眼睛，被用于內部的反射以及光線進出的控制。工業上有四種波導結構設計，分別是全息波導( holographic waveguide）、衍射波導（diffractive waveguide）、偏振波導（polarized waveguide）與反射波導（reflective waveguide）。全息波導是光學元件中一種相當簡單的波導類型，例如用于通過一系列內部反射進行耦合和外耦合。

目前的顯示技術分為：全沉浸式、光學透視型、視頻透視型三種。全沉浸式顯示器與傳感器結合在一起，完全擋住了用戶視野。在“光學透視眼鏡”中，用戶可以直接通過光學元件查看現實。Hololens和Google Project Glass是最近通過智能眼鏡進行光學透視的例子。借助視頻透視型智能眼鏡，用戶可以觀看由攝像頭捕獲的圖像，將這些相機視圖與計算機生成的圖像結合起來，可提升用戶觀感。

圖像顯示技術發展非常迅猛，目前有四大顯示技術：液晶顯示器 (LCD) 、發光二極管(OLED)、數字光處理 (DLP)與LCoS，而LCoS又稱為LCD與CMOS集成電路有機結合的反射型新型顯示技術。

LCD在高清電視中很常見，它由包含液晶分子的單元陣列組成，該單元夾在兩個偏振片之間。這種裝置安置于數百萬個晶體管的薄玻璃基板之間。單個RGB液晶單元稱為子像素，三個子像素形成一個像素。對于彩色LCD，將包含紅色、綠色和藍色濾光片的附加基板，放置在該基板的每個單元上方。

圖像顯示原理之圖像顯示

圖像顯示技術包括：液晶顯示器（LCD）、發光二極管(OLED)、數字光處理(DLP)與LCoS，而LCoS又稱為LCD與CMOS集成電路有機結合的反射型新型顯示技術。

液晶顯示器（LCD）技術的原理是電流流過玻璃材料，改變電流可以使LCD調節光的通過以產生精確的顏色。如果所有子像素都完全打開，則會產生白光。由于液晶單元本身不發光，因此需要通過背光來實現。液晶單元只能改變光的通過以產生所需的顏色并隨后產生圖像。

相比于LCD，OLED由于不需要外部背光，因此結構相對簡單，可以做得非常薄。不僅如此，設備功耗大大降低，屏幕圖像刷新速度更快，具有更高的對比度和更加出色的色彩還原，分辨率更高。大多數完全浸入式頭戴式顯示器都使用此技術。

DLP微型顯示器是現有最快的顯示技術之一。超快的顏色刷新速度、低延遲、低功耗和極高的分辨率使其成為構建頭戴式顯示器的不二選擇。

LCoS介于LCD和DLP顯示器之間。不同于LCD的透射技術，DLP是一種反射技術，其中各個子像素通過微鏡反射。光源通過反射表面時會通過一系列子濾鏡來調制光強度和顏色。與DLP顯示器類似，由于其小尺寸，在與小型設備集成時具有相當大的靈活性。Magic LeapOne就使用了此技術。目前正在開發的顯示技術要求極高的分辨率，平板的頭戴式顯示器可能已成為AR設備的歷史。

數據可視化

數據可視化主要包括3個分支：科學可視化、信息可視化及可視分析。

科學可視化主要利用計算機圖形學將數學方程等文字信息轉換成客觀的視覺圖像，從而有助于觀看者快速了解狀況，更好、更快速地做出有效的判斷。

信息可視化主要用于研究大規模非數值型信息資源的視覺呈現，即將數據信息和知識轉化為一種視覺形式。信息可視化處理的對象是非結構化、非幾何的抽象數據，如金融交易、社交網絡和文本數據，其核心挑戰是大尺度高維復雜數據如何減少視覺混淆對信息的干擾。

可視分析被定義為以可視交互界面為基礎的分析推理科學，它將圖形學、數據挖掘、人機交互等技術融合在一起，形成人腦智能和機器智能優勢互補與相互提升。

計算機圖形學

計算機圖形學包括：建模、渲染、動畫、人機交互等4個部分。

建模

在虛擬世界中，幾何建模可以反映出一個虛擬對象的靜態特性。幾何建模的范圍很廣，這里介紹幾何建模中的幾個概念：

三角形集合：用三角形的集合作為對幾何體的表達。
網格重建：生成網格去處理由三維掃描儀獲得的離散頂點的三維坐標。
平滑：通過增加頂點，使得三角網格看起來更平滑。
細分：渲染出平滑表面，另外可以使網格顯示出一個層次的結構。

渲染

建模和渲染是提升元宇宙中沉浸感與真實感的兩個技術核心，目前基于GPU的圖像成像就是結合幾何建模和渲染，首先需要使用幾何建模技術對頂點數據進行幾何處理，然后使用光柵圖形學技術對幾何處理后的數據進行光柵化最后導出圖像。建模與渲染是具有連貫性的，這也是使圖像成像的基本步驟。

動畫

動畫是使用連續播放靜止圖像的方法產生物體運動的效果的技術，主要包括人體動畫、關節動畫、物理仿真、運動動畫、腳本動畫等還可以進行環境渲染。在元宇宙中，三維動畫極大地滿足了消費者對于虛擬世界的想象。

人機交互

人機交互Human-ComputerInteraction，HCI) 是圖形學中很關鍵的一門技術，在數據可視化領域也常用到。它主要是指人與計算機之間通過有效的交互方式傳遞任務和信息的技術。目前主流的交互界面是以WIMP (窗口、圖符、菜單、鼠標)為基礎的圖形用戶界面(GUI)，而近年來語言、三維交互技術、姿勢輸入、頭部跟蹤、視覺跟蹤.立體顯示、感覺反饋及自然語言界面等新的交互想法和領域也在不斷產生。

其他支撐技術

沉浸式交互技術的其他支撐技術主要包括：5G、元計算、算力和算法。

沉浸式交互技術要求高同步、低延遲。其中5G是實現高同步和低延遲的核心技術。

元宇宙需要實時監控數據和進行大量計算，使用戶可以使用任意設備登錄，并隨時隨地沉浸其中。

對于虛擬世界的模擬來說，GPU是主要的計算能力基礎硬件，要想獲得逼真的虛擬體驗GPU的算力是必不可少的。

引擎通過算法定義了虛擬世界中的基本規則和呈現方式。這些規則包括“光影效果”“動畫系統“物理系統”等。

沉浸式交互技術的應用之數字孿生

在數字孿生中，會先將物理對象轉化為數據，再將數據和原理建模，然后由模型中的機理模型和數據驅動模型實現自我學習與動態調整，最后將模型載入軟件中，軟件將實現對物理對象的描述、診斷、預測、決策等功能。

數字孿生可以復制現實世界的物理元素，其最終產品是作為現實世界鏡像的“克隆宇宙”元宇宙則是根據現實或幻覺(如超現實、科幻等)的邏輯對現實世界進行復制和修改，以開放的模式呈現“多元宇宙”。

數字孿生的特點

1、互操作性

數字孿生中的物理對象和數字空間可以雙向映射、動態交互和連接。因此，數字孿生具有將物理實體映射到各種數字模型的能力，并且具有在不同數字模型之間相互轉換和融合的能力。

2、實時性

因為數字孿生要去再現隨著時間軸而變化的物理實體，所以需要以計算機可識別和處理的方式管理數據，即數字化。

3、可擴展性

數字孿生技術具有集成、添加和替換數字模型的能力，并且可以對模型內容進行擴展。

4、保真性

數字孿生要求虛擬物體不僅要保持對實體幾何結構的高度模擬，還要在狀態、相位和時態方面進行模擬，盡力保證數字虛擬模型與物理實體之間的相似度。

5、閉環性

數字孿生中的數字虛擬體用于描述物理實體的可視化模型和內部機制，從而監控物理實體的狀態數據，進行分析推理，優化工藝參數和運行參數，并實現決策功能，即對虛擬體和物理實體使用一個閉環系統。

數字孿生的應用場景

1、數字化設計

通過數字孿生技術打造產品設計的數字孿生體，在虛擬空間中進行系統仿真，實現反饋設計、迭代創新和持續優化。目前，在汽車、船舶、航空航天、精密裝備制造等領域，樣機設計、工藝設計、工程設計、數字樣機等形式的數字化設計實踐已經普遍開展。

2、虛擬工廠

虛擬工廠是指基于數字孿生技術與MES的結合，在虛擬空間中構建的數字虛擬車間和數字工廠，可實現物理實體與數字虛擬實體的動態數據交互，根據虛擬空間的變化實時對生產進行預測。

3、設備維護

開發、設計設備數字孿生體并與物理實體同步交互，實現設備生命周期的數字化管理。

4、智慧城市

構建城市的數字孿生體，以定量和定性相結合的形式，在數字世界中模擬天氣環境、基礎設施、人口、土地、工業交通等要素的交互運行，繪制“城市肖像”，幫助決策在物理世界完善城市規劃。

5、智慧醫療

數字孿生與醫療服務相結合，實現對人體運行機理和醫療設備的動態監測、仿真和模擬，加速科研創新向臨床轉化，提高醫療診斷效率，優化對醫療設備質量的控制和監督。

沉浸式交互技術的其他應用

交互式技術的其他應用主要有：全息投影沙盤、沉浸式互動體驗室、全息透明屏以及全息直播。

全息投影沙盤

全息投影沙盤常見的有便攜式全息沙盤和全息互動桌。

便攜式全息沙盤可以實現桌面浮動3D沙盤形象，支持空中手勢交互操作、多種三維格式文件導入編輯等。用戶可以真正觸摸到天空中的3D虛擬影像，它比其他傳統全息產品有更強的“真實”體驗感，并且支持外接顯示屏。用戶僅需佩戴輕便的全息3D眼鏡，即可同步投屏桌面影像內容。

全息互動桌采用4K高清投影，投影設備常常安裝在天花板上。它從上到下投影3D圖像不會擋住后方，并可搭配大屏幕，同時投影與互動，精確顯示不同位置的三維視角影像。其他功能與便攜式全息沙盤相同，該設備更適合在固定場地應用。

沉浸式互動體驗室

包括全息幕、2D互動投影體驗室和3D全息投影體驗室。

全息幕利用墻體3D投影和空間跟蹤定位技術，用戶可以戴著全息3D眼鏡在空間中自由移動，觀看從不同位置和角度跳出墻體的3D影像，結合手勢、手柄等交互功能進行虛擬互動體驗。

2D互動投影體驗室通過捕捉設備對目標影像進行捕捉拍攝，然后由影像分析系統分析，從而生成被捕捉物體的動作，這些動作數據結合實時影像互動系統，使參與者與屏幕之間產生緊密結合的互動效果。

3D全息投影體驗室采用的全息投影技術是利用千涉、衍射等原理記錄并再現物體真實的三維圖像的虛擬成像技術:利用干涉原理記錄物體的光波信息，再利用衍射原理再現物體的光波信息，從而得到與原物幾乎完全相同的立體影像。

全息透明屏

全息透明屏實現了空中裸眼3D影像播放，營造了虛實結合的顯示環境，并可添加手勢、語音、觸摸屏等多種虛擬交互功能，提升顯示和交互體驗。

全息直播

全息直播是直播的一種新方式和發展方向。通過全息投影技術，觀眾可以看到清晰、立體逼真的直播畫面，感受“身臨其境”的直播互動體驗。

以上是作者對本書第三章的總結，歡迎讀者與我探討及交流。

/////////
閱讀送書活動開始啦~~~

智玩元宇宙的粉絲朋友們，為了答謝大家的關注和支持，凡是閱讀本文并留言的粉絲將有機會獲得

《元宇宙：圖說元宇宙、設計元宇宙（全兩冊）》圖書1本

活動規則：

閱讀量每到1000即送1本書，10本書封頂！

【作者簡介】

【2140】

以內容為基石的元宇宙項目；一個“去中心化治理”的價值共享平臺；一個開源創造的超級原創科幻IP；一個擁有百萬用戶的創世社區；致力于創造第二數字人生的實驗基地；最終構建一個元宇宙的“根世界”。

羅金海，全國十大科普教育平臺《量子學派》總裁，2140·元宇宙發起人，文津圖書獎《公式之美》作者。

陳育智，2140·元宇宙聯合發起人，《2140》科幻系列內容總監。

蔡志春，2140·元宇宙科學設定總監，《量子學派》內容副主編。

楊雪吟，《2140》科幻系列創作團隊編輯。

【子彌實驗室】

廣東粵港澳大灣區國家納米科技創新研究院與廣州高新區管理委員會聯合打造的納米科技、人工智能、生命科學交叉融合世界級實驗室；在元宇宙領域有深厚技術積累，下一代超薄VR顯示、MR光波導、人工智能助理、腦機接口等技術處于國際領先水平；聚合全球既腳踏實地又仰望星空、既科學嚴謹又想創造未來的年青一代，從“芥子須彌”躍遷至“無盡前沿”。

子彌實驗室主任趙宇亮，中國科學院院士，國家納米科學中心主任。

子彌實驗室執行副主任：胡顯剛。

子彌未來基金合伙人：薛傳藝。

子彌實驗室科普負責人：李優。