Apple Vision Pro發布滿月再思考:XR、RNDR和空間計算的未來

6 月 6 日的 WWDC(蘋果全球開發者大會)淩晨,也是發現自己 covid 二陽的第五天,我擺著養生茶跟朋友連麥嘮嗑 : 一小時過去了,這次的 One More Thing 不會又推遲了吧?

於是等到淩晨兩點庫克出現,大手一揮 “One More Thing”,屏幕這端的我跟朋友一起歡呼:

Macintosh introduced personal computing, iPhone introduced portable computing, and Apple Vision Pro is going to introduce Spacial Computing

麥金塔電腦開啟了個人計算機的時代,iPhone 開啟了移動互聯網的時代,而 Apple Vision Pro 將開啟空間計算的時代。

作為前沿科技愛好者,我為明年可以擁有的新玩具歡呼,但作為關注遊戲、元宇宙和 AI 的Web3 投資人,這是一個讓我顫栗的新時代標誌。

你可能會感到懷疑,“MR 硬件的升級跟 Web3 有什麼關係?”那麼,我們先從 Mint Ventures 對元宇宙賽道的 Thesis 聊起。

我們對元宇宙,或者說 Web3 世界的 Thesis

區塊鏈世界的資產溢價,來源於:

  1. 可信任的交易底層,帶來交易成本的降低:**實體商品的資產確權和所有權保護,基於國家機器暴力機關的強製確權,而虛擬世界的資產確權,基於“共識之下對數據不可(或不應)篡改的信任”,以及對確權後資產本身的認可。**雖然可以右鍵複製粘貼,BAYC 仍然具有十八線城市一套房的價格,這並非複製粘貼的圖片和NFT metadata 的圖片真有多少不同,而是在市場具有對「不可複製性」共識的前提下,資產才有證券化的可能。
  2. 資產的高度證券化,帶來的流動性溢價
  3. 去中心化的共識機製對應的無許可交易,帶來的“無許可溢價”

虛擬世界的商品比實體商品更容易證券化:

  • 從數字資產付費的普及曆史,可以看出人們對虛擬內容的付費習慣養成並非一朝一夕,但不可否認的是,對虛擬資產的付費已然滲透進了大眾的生活。2003 年 4 月,iTunes Store 的問世讓人們發現,除了在盜版橫行的互聯網下載歌曲進隨身聽,還有購買正版數字音樂的選項支持喜歡的創作者;2008 年 App Store 問世,一次性購買的 App 風靡全球,而後續的 App 內購買功能則繼續為Apple的數字資產收入添磚加瓦。
  • 這其中還埋著一條遊戲行業付費模式變遷的草蛇灰線。遊戲行業的最初版本是 Arcade Game ,街機時代的付費模式是“為體驗付費”(類似電影),主機時代的付費模式是“為卡帶/光碟付費”(類似電影、音樂專輯),主機時代的後期開始售賣純數字版遊戲,同一時期出現的是 Steam 的數字遊戲市場,和讓部分遊戲達成收入神話的遊戲內購。遊戲付費模式更新的曆史也是分發成本遞減的曆史,從街機到主機,再到人人都有的個人電腦和手機即可登陸的遊戲數字發行平台,和玩家已然沉浸的遊戲本身,遊戲本體的大趨勢是技術上的分發成本越來越低、接觸人群越來越廣;而遊戲資產從“體驗的一個環節”變成“可購買的商品”。(雖然近十年的小趨勢已經轉變為數字資產分發成本的逐年提升,這主要是因為互聯網的低增長,高競爭,以及流量入口對注意力的壟斷。)

那麼,下一步會是什麼? 可交易的虛擬世界資產將是我們始終看好的主題。

**隨著虛擬世界的體驗提升,人們在虛擬世界中的沉浸時間會越來越長,從而帶來注意力的轉移。而注意力的轉移也將帶來估值溢價從強依附於實體向虛擬資產轉移。**Apple Vision Pro 的發布,將徹底改變人類跟虛擬世界交互的體驗,從而帶來虛擬世界沉浸時長增長,和沉浸體驗的大幅提升。

Source: @FEhrsam

Apple Vision Pro發布滿月再思考:XR、RNDR和空間計算的未來

注:這是我們對於定價策略的變體定義,在溢價定價策略中,品牌將價格定在一個遠高於成本的價格區間,在定價和成本的差值裡填充品牌故事和體驗。此外,成本定價、競爭定價、供需關係等等也是商品定價時會考慮的要素,此處僅針對溢價定價進行展開。

MR 行業的曆史和現在

現代社會對 XR (Extended Reality 拓展現實,包括 VR 和 AR) 的探索始於十多年前:

  • 2010 年,Magic Leap 成立。2015 年,Magic Leap 鯨魚在體育館驚人一躍的廣告引起了整個科技界的轟動,但 2018 年產品正式上線時則因為極其糟糕的產品體驗獲得一片噓聲。公司 2021 年以 25 億美元的投後估值融資 5 億美元,使得公司的價值比其的融資總和——35 億美元——還打三折。而 2022 年 1 月有報道稱沙特阿拉伯主權財富基金通過 4.5 億美元的股權和債務交易獲得多數控製權,公司實際估值跌至不到 10 億美元。
  • 2010 年,微軟開始開發 Hololens,2016 年發布了第一款 AR 設備,2019年發布第二款。價格 $3,000,但實際體驗不佳。
  • 2011 年,Google Glass 原型發布,第一款產品於 2013 年推出,曾紅極一時且被賦予極高期待,但因為攝像頭隱私問題和產品實際體驗的效果不佳,慘淡收場,總銷量僅數萬台。2019 年發布企業版,2022 年現場測試了新的測試版,反響平平。 2014 年,Google 的 Carboard VR 開發平台和 SDK 問世。2016 年,Daydream VR 問世,這是目前最廣泛應用的適配 Android 的 VR 平台。
  • 2011 年,索尼 PlayStation 開始開發其 VR 平台,2016 年,PSVR 首次亮相,雖然出於對 PlayStation 的信賴,剛發售時用戶購買較為踴躍,但後續反響不佳。
  • 2012 年,Oculus 成立,並於 2014 年被 Facebook 收購。2016 年 Oculus Rift 上市,並陸續推出共 4 款機型,主打便攜和較低定價,是市麵上市場占有率較高的設備。
  • 2014 年,Snap 收購 Vergence Labs, 這家公司成立於 2011 年,專注 AR 眼鏡,這成為 Snap Spectacles 的原型。2016 年首次發售,並陸續推出 3 款更新版設備。跟上述的大多數產品一樣,Snap Spectacles 在一開始吸引了眾多目光,人們在商店門口排起長隊,但後續使用者寥寥,Snap 於 2022 年關閉了公司的硬件部門,重新專注基於智能手機的 AR。
  • 2017 年前後,Amazon 開始開發基於 Alexa 的 AR 眼鏡,第一個 Echo Frames 於 2019 年發布,第二個版本於 2021 年發布。

當我們回顧 XR 的曆史,可以看出這個行業的拓展和培育 難度遠遠超出市場上所有人的預估,不管是財大氣粗手握眾多科學家的科技巨頭,還是聰明能乾融資上億專注 XR 的創業公司。2016 年消費級 VR 產品 Oculus Rift 發布以來,所有 VR 品牌,如三星的 Gear, 字節的 Pico, Valve 的 Index, 索尼的 Playstation VR, HTC 的 Vive 等,累計出貨量不到 4500 萬台。由於 VR 設備目前最廣泛的用途仍然是遊戲,在 Vision Pro 發布之前,人們願意偶爾使用的 AR 設備並冇有出現,根據 SteamVR 的數據,可較為粗略地推斷,VR 設備的月活躍用戶可能僅有小幾百萬。

XR 設備為什麼得不到普及?無數創業公司的失敗經驗和投資機構的總結可以給出一些答案:

1. 硬件不 Ready

視覺上**,**VR 設備由於視角更廣,離眼球更近,即使是最頂尖的設備,屏幕上的像素點仍然難以忽視。單眼 4k, 也就是雙眼 8k 的分辨率才能充分沉浸。此外,刷新率也是維持視覺體驗的核心要素。市麵上普遍認為,為了達到防暈眩的效果,XR 設備需要每秒 120 HZ,甚至 240 HZ,來維持類似現實世界的體驗。而刷新率,在同等的計算能力下,是需要與渲染水平平衡的要素:Fortnite 在 60 HZ 的刷新率下支持 4k 清晰度,而在 120 HZ 的刷新率下則僅支持 1440p 的清晰度。

因為跟視覺的直觀相比,聽覺短時間內顯得似乎不值一提,大多數 VR 設備都冇有在這個細節上下功夫。但想象一下在一個空間裡裡不管是左側還是右側的人,說話的聲音都穩定地從頭頂傳過來,會大幅削減沉浸感。而當 AR 空間裡的數字 Avatar 被固定在客廳裡,玩家從臥室走向客廳時聽到 Avatar 說話的音量大小相同,也會微妙地降低空間的真實感。

交互上,傳統的 VR 設備都配有控製手柄,更有如 HTC Vive 需要在家裡安裝攝像頭以確認玩家的移動狀態。雖然 Quest Pro 有眼動追蹤,但延遲高、靈敏度一般,主要用於局部渲染加強,實際交互操作仍以手柄為主。同時,Oculus 也在頭顯上安裝了 4 – 12 個攝像頭以確認用戶所在的場景狀態,達成一定程度上的手勢交互體驗(比如,在 VR 世界裡用左手撿起一部虛擬手機,右手食指虛空點擊確認開啟遊戲)。

重量上,讓人體感舒適的設備質量應該在 400-700g 之間(雖然相比正常 20g 左右的眼鏡,這仍然是龐然大物)。但為了達到上述清晰度、刷新頻率、交互水平、與其渲染要求匹配的計算能力(芯片性能、大小和數量),和數小時的基礎續航要求,XR 設備的重量是一個艱難的取舍過程。

綜上,如果要實現 XR 成為下一代的手機,成為新一代大眾硬件,需要分辨率 8k 以上的設備,且刷新率大於 120 HZ 以避免用戶感到眩暈。這個設備應該擁有十幾枚攝像頭,4 小時甚至更長(隻需要午飯/晚飯休息時取下)的續航能力,不發熱或少發熱,重量小於 500g, 且價格低至 500 – 1000 美元。現在的技術實力,儘管相比上一波 15 – 19 年的 XR 熱潮已經提升不少,但達到上述標準仍然具有難度。

Apple Vision Pro發布滿月再思考:XR、RNDR和空間計算的未來

但即便如此,如果用戶開始體驗現有的 MR(VR + AR) 設備,會發現目前的體驗雖然不算完美,也是 2D 屏幕無法比擬的沉浸的體驗。但這種體驗仍有相當大的提升空間——拿 Oculus Quest 2 舉例,大多數可以觀看的 VR 視頻都是 1440p,甚至冇有達到 Quest 2 4K 的分辨率上限,刷新率也遠不到 90HZ。而現有的 VR 遊戲,僅有相對拙劣的建模,且可供嘗試的選擇並不多。

Source: VRChat

2. Killer App 仍未出現

Killer App 的“尚未出現”有其受困於硬件的曆史原因——即使 Meta 儘力壓縮利潤空間,幾百美元的 MR 頭顯與相對簡陋的生態,相比現有生態豐富、用戶基數已成規模的遊戲主機,仍然不具有吸引力。VR 的設備保有量在 2500 – 3000 萬之間,而與之對比的,3A 遊戲的終端(PS5, Xbox, Switch, PC)保有量為 3.5 億。因此,大多數廠商都放棄支持 VR,支持 VR 設備的少數遊戲也是“順帶布局 VR 平台”,而非“僅支持 VR 設備”。此外,由於在第一點中提及的,像素點、暈眩、續航差、重量過沉等問題,VR 設備的體驗並冇有比傳統 3A 遊戲終端更好。而 VR 支持者試圖強調的“沉浸”優勢,則由於設備保有量的不足,“順帶布局 VR 設備”的開發者鮮有專門做針對 VR 設計的體驗和交互模式,難以達到理想體驗。

因此,目前的局麵是,當玩家選擇 VR 遊戲而不是非 VR 遊戲,他們不僅是“選擇了一款新遊戲”,而且“放棄了與大部分朋友社交的體驗”,這樣的遊戲場景往往是遊戲性、沉浸體驗遠大於社交性。當然,你可能會提及 VR Chat,但如果深入挖掘會發現,其中 90% 的用戶並非 VR 用戶,而是在普通的屏幕前想體驗以各種 Avatar 跟新朋友社交的玩家。因此,VR 軟件中最受歡迎的遊戲是《節奏光電》這樣的音遊也就不足為奇。

所以我們認為,Killer App 的出現,需要以下幾個要素:

  • 硬件性能和全方位細節的大幅提升。正如“硬件不 ready ”提到的,這並非「改進屏幕,改進芯片,改進揚聲器…」之類的簡單操作,而是芯片、配件、交互設計和操作係統的全方位配合結果——而這正是 Apple 的擅長:相比十幾年前的 iPod 和 iPhone, Apple 已經以數十年的積累完成了多個設備操作係統的協同。
  • 用戶設備保有量的爆發前夜。正如上文對開發者和用戶心態的剖析,這個“雞生蛋還是蛋生雞”的問題,Killer App 很難在 XR 設備 MAU 僅為小幾百萬的時候出現。在《塞爾達傳說·荒野之息》的巔峰時刻,遊戲卡帶在美國的銷量甚至比 Switch 的保有量還高——這是“新生硬件如何進入 mass adoption 的絕佳案例。為了體驗 XR 而購買設備的人,會因為有限的體驗內容而逐漸失望,談論著自己的頭顯是如何落灰;但因為塞爾達而被吸引的玩家,很大部分會因為探索到更多 Switch 生態內的其它遊戲而留下。

Source: The Verge

  • 以及,統一的操作習慣,和較為穩定的設備更新兼容性。前者很好理解——有手柄和無手柄,帶來的是兩種用戶與機器交互的行為習慣和體驗,而這正是 Apple Vision Pro 和市麵上其它 VR 設備的區分。而後者,則可以在 Oculus 硬件的迭代中看到例證——同一世代內硬件性能的大提升反而會限製用戶體驗。2022年發售的 Meta Quest Pro 相比 2020 年發售的 Oculus Quest 2(又名 Meta Quest 2)在硬件性能上有大幅提升:Quest Pro 的分辨率從 Quest 2 的 4K 顯示屏提升到了 5.25K,色彩對比度提升了 75%,刷新率從原有的 90 HZ 提升到了 120 HZ 。在 Quest 2 的 4 個用於理解 VR 外部環境的攝像頭之外,增加了 8 個外部攝像頭,讓黑白的環境影像變成了彩色,並顯著改善了手部追蹤,同時還增加了麵部和眼部追蹤。同時,Quest Pro 還使用了“注視點渲染”,將算力集中在眼球注視的地方並弱化其他部分的保真度,從而節省算力和耗電量。正如上述所言,Quest Pro 的功能比 Quest 2 強大得多,但使用 Quest Pro 的用戶可能不到 Quest 2 的 5%。這意味著,開發者將同時針對兩種設備開發遊戲——這會大大限製對 Quest Pro 優勢的利用,也反向降低了 Quest Pro 對用戶的吸引力。History Rhymes, 同樣的故事也曾在遊戲主機一次一次地發生,這也是主機廠商以 6-8 年為一個世代進行軟硬件更新的原因,買了 Switch 初代的用戶並不會擔心後續 Switch OLED 等硬件帶來新推出遊戲軟件的不兼容,但購買 Wii 係列的用戶則無法遊玩 Switch 生態的遊戲。對針對主機遊戲的軟件開發商而言,他們生產的遊戲並非針對手機這種用戶基數極大(3.5 億 vs. 數十億)、用戶依賴性極強(在家空閒消遣 vs. 全天候攜帶)的產品,需要數個開發周期內穩定的硬件體驗避免用戶的過度分流,或者,就隻能如現在的 VR 軟件開發商一樣,向下兼容以保證足夠的用戶基數。

那麼,Vision Pro 能夠解決上述問題嗎?又會給行業帶來怎樣的轉變?

Vision Pro 帶來的轉機

6 月 7 日的發布會上,Apple Vision Pro 發布,按上麵我們分析的“ MR 在硬件和軟件所遇到的挑戰”框架,可以進行如下類比:

硬件:

  • 視覺上*,*Vision Pro 使用了兩塊 4K 的屏幕,使用了合計約 6K 的像素,是目前 MR 設備的次頂配。刷新率可支持高達 96 HZ,並支持 HDR 視頻播放,據體驗的科技博主描述,不僅清晰度很高,幾乎完全感覺不到眩暈。
  • 聽覺上*,*Apple 自 2020 年開始在 Airpods 上使用空間音頻,可以讓用戶聽到來自不同方向的聲音,以達成音頻體驗的立體效果。但 Vision Pro 有望更進一步,利用“音頻射線技術”,充分融合設備中 LiDAR 掃描,對房間內聲學特性(物理材質等)進行分析,然後打造出匹配房間、具有方向和深度的“空間音頻效果”。

Apple Vision Pro發布滿月再思考:XR、RNDR和空間計算的未來

  • 交互上,無需任何手柄的手勢和眼球追蹤,讓交互體驗絲滑到了極致(根據科技媒體的實測體驗,幾乎無法感覺到延遲,這不僅是傳感器精度和計算速度,而且引入了對眼球路徑的預判。將在下文進一步介紹。)
  • 續航上,Vision Pro 的續航為 2h, 和 Meta Quest Pro 基本持平(並不算驚豔,也是目前 Vision Pro 受到詬病的點。但由於 Vision Pro 是外接電源,加上頭顯中放了一個 5000mA 的小電池,可以猜測給更換電源接力續航留有餘地)。
  • 重量上,據科技媒體的體驗,大約為 1 磅(454g),與 Pico 和 Oculus Quest 2 基本持平,應該比 Meta Quest Pro 要輕,在 MR 設備裡算是不錯的體驗(雖然這並冇有算上拴在腰部電源的重量)。但相對 80g 左右的純 AR 眼鏡(如 Nreal, Rokid 等),仍然沉重悶熱。當然,純 AR 眼鏡大多需要與其它設備連接,僅能作為拓展屏幕使用,相比之下,自帶芯片、有真實沉浸體驗的 MR 可能是一種截然不同的體驗。
  • 此外,硬件性能上,Vision Pro 不僅搭載了目前性能最為頂尖的 M2 係列芯片用於係統和程序運作,而且還加了一個特彆為 MR 屏幕、周遭環境監控、眼球和手勢監控等開發的 R1 芯片,用於 MR 專有的顯示、交互功能。

軟件上,Apple 不僅可以憑借其數百萬開發者生態完成一定程度的遷移,而且實際上已經憑借 AR Kit 的發布早已有了一係列生態布局:

早在 2017 年,Apple 就發布了 AR Kit: 一套與 iOS 設備兼容的虛擬現實開發框架,允許開發人員創建增強現實應用程序並利用 iOS 設備的硬件和軟件功能。VR Kit 可以通過使用 iOS 設備上的攝像頭創建該區域的地圖,使用 CoreMotion 數據檢測桌麵、地板和設備在物理空間中的位置等事物來實現數字資產在攝像頭下與現實世界進行互動——比如,你可以在 Pokemon Go 裡看到埋在土裡、停在樹上的寶可夢,而不是大剌剌地顯示在屏幕上隨攝像頭而移動。用戶無需對此進行任何校準——這是無縫的 AR 體驗。

  • 2017 年,AR Kit 發布, 能夠自動檢測位置、拓撲和用戶的麵部表情,進行建模和表情捕捉。
  • 2018 年,AR Kit 2 發布,帶來了更好的 CoreMotion 體驗,多人 AR 遊戲、跟蹤 2D 圖像以及檢測已知的 3D 物體(如雕塑、玩具和家具)成為可能。
  • 2019 年,AR Kit 3 發布,添加了進一步增強現實的功能,可以使用 People Occlusion 在人的前麵或後麵顯示 AR 內容,它最多可以跟蹤三張臉。還可以支持協作會話,實現全新的 AR 共享遊戲體驗。運動捕捉可用於了解身體位置和運動,跟蹤關節和骨骼,從而實現涉及人而不僅僅是物體的新 AR 體驗。
  • 2020 年,AR Kit 4 發布,可以利用 2020 款 iPhone 和 iPad 上內置的 LiDAR 傳感器以改進跟蹤和對象檢測。ARKit 4 還添加了 Location Anchors,使用 Apple Maps 數據將增強現實體驗放置在特定的地理坐標上。
  • 2021 年,AR Kit 5 發布,開發者可以構建自定義著色器、程序網格生成、對象捕獲和進行角色控製。此外,還可以使用內置 API 以及 iOS 15 設備中的 LiDAR 和攝像頭捕獲對象。開發者可以 掃描一個對象並立即將其轉換 為 USDZ 文件,該文件可以導入 Xcode 並在您的 ARKit 場景或應用程序中用作 3D 模型。這大大提升了 3D 模型的製作效率。
  • 2022 年,AR Kit 6 發布,新版 ARKit 包含了“MotionCapture”功能,可追蹤視頻幀中的人物,並為開發者提供了可預估人類頭部和四肢位置的角色“骨架”,從而支持開發者創建應用程序,進而將 AR 內容疊加至角色,或隱藏於角色身後,以更真實與場景融為一體。

回顧 AR Kit 從七年前就已經開始的布局,可以看出,Apple 在 AR 方麵的技術積累並非一朝一夕,而是潛移默化地先將 AR 體驗融入已經廣泛傳播的設備中,Vision Pro 發布之時,Apple 已經完成了一定的內容和開發者積累。同時,由於 AR Kit 開發的兼容性,開發出來的產品不僅是麵向 Vision Pro 的用戶,也能在一定程度上適應 iPhone 和 iPad 的用戶。開發者可能不需要受限於 300 萬月活躍用戶的天花板來開發產品,而是潛在地麵向數億 iPhone 和 iPad 用戶進行測試和體驗。

此外,Vision Pro 的 3D 視頻拍攝也部分解決了如今 MR 內容有限的難題:內容生產。現有的 VR 視頻大多是 1440p,在 MR 頭顯的環形屏幕體驗裡顯得像素很差,而 Vision Pro 的拍攝則兼具高像素的空間視頻和不錯的空間音頻體驗,或將大幅提升 MR 的內容消費體驗。

儘管上述配置已經相當震撼,蘋果 MR 的想象力並不止步於此:Apple MR 發布的當天,一位自稱曾參與過 Apple 神經科學方麵的開發者 @sterlingcrispin 如此說道:

Generally as a whole, a lot of the work I did involved detecting the mental state of users based on data from their body and brain when they were in immersive experiences.

總的來說,我從事的許多工作都涉及通過用戶在沉浸式體驗中的身體和大腦數據來檢測其心理狀態。

So, a user is in a mixed reality or virtual reality experience, and AI models are trying to predict if you are feeling curious, mind wandering, scared, paying attention, remembering a past experience, or some other cognitive state. And these may be inferred through measurements like eye tracking, electrical activity in the brain, heart beats and rhythms, muscle activity, blood density in the brain, blood pressure, skin conductance etc.

用戶處於混合現實或虛擬現實體驗中,AI模型試圖預測他們是否感到好奇、心不在焉、害怕、專注、記憶過去的經曆或其他認知狀態。這些狀態可以通過眼動追蹤、腦電活動、心跳和節律、肌肉活動、腦部血液密度、血壓、皮膚電導等測量得出。

There were a lot of tricks involved to make specific predictions possible, which the handful of patents I’m named on go into detail about. One of the coolest results involved predicting a user was going to click on something before they actually did. That was a ton of work and something I’m proud of. Your pupil reacts before you click in part because you expect something will happen after you click. So you can create biofeedback with a user’s brain by monitoring their eye behavior, and redesigning the UI in real time to create more of this anticipatory pupil response. It’s a crude brain computer interface via the eyes, but very cool. And I’d take that over invasive brain surgery any day.

為了實現特定的預測,我們使用了許多技巧,這些技巧在我名下的幾項專利中都有詳細介紹。其中最酷的結果之一是在用戶實際點擊之前預測到他們要點擊某個目標。這是一項艱巨的工作,我為此感到自豪。你的瞳孔在你點擊之前就會有反應,部分原因是你期望在點擊之後會發生某些事情。因此,通過監測用戶的眼動行為並實時重新設計用戶界麵,可以與用戶的大腦進行生物反饋,從而創造更多的預期性瞳孔反應。這是一種通過眼睛進行的粗糙的腦-計算機界麵,非常酷。相比侵入性的腦部手術,我更願意選擇這種方式。

Other tricks to infer cognitive state involved quickly flashing visuals or sounds to a user in ways they may not perceive, and then measuring their reaction to it.

其他推斷認知狀態的技巧包括以用戶可能不察覺的方式快速閃爍視覺或聲音,並測量他們對其的反應。

Another patent goes into details about using machine learning and signals from the body and brain to predict how focused, or relaxed you are, or how well you are learning. And then updating virtual environments to enhance those states. So, imagine an adaptive immersive environment that helps you learn, or work, or relax by changing what you’re seeing and hearing in the background.

另一項專利詳細介紹了使用機器學習和來自身體和大腦的信號來預測你的注意力集中程度、放鬆程度或學習效果如何,並根據這些狀態更新虛擬環境。因此,想象一下一個適應性的沉浸式環境,通過改變你在背景中看到和聽到的內容來幫助你學習、工作或放鬆。

這些與神經科學高度相關的技術,可能將標誌著機器和人類意誌嶄新的同步方式

當然,Vision Pro 並非冇有硬傷,比如其 $3499 的天價,是 Meta Quest Pro 的兩倍有餘,Oculus Quest 2 的七倍有餘,對此,Runway 的 CEO Siqi Chen 如是說:

it might be useful to remember that in inflation adjusted dollars, the apple vision pro is priced at less than half the original 1984 macintosh at launch (over $7K in today’s dollars)

也許大家需要記得,根據通脹調整後的美元價格,Apple Vision Pro 的定價不到 1984 年 Macintosh 推出時的一半(相當於今天超過 7000 美元)。

在這樣的類比下,Apple Vision Pro 的定價看上去並不算過於離譜……但是,Macintosh 第一代的銷量僅 37.2 萬台,很難想象在 MR 上下大功夫的 Apple 能接受類似的尷尬處境——幾年內的現實可能並不會有大的改變,AR 不一定需要眼鏡,短期內 Vision Pro 也難以大量普及,很可能僅作為開發者體驗和測試的工具,創作者的生產工具,和數碼發燒友昂貴的玩具。

Source: Google Trend

儘管如此,我們可以看到,Apple 的 MR 設備已經開始攪動市場的風雲,將普通用戶對數碼產品的吸引力重新轉移到 MR 上,讓大眾意識到 MR 已經是較為成熟、不再是 ppt / 演示視頻類產品。讓用戶意識到,在平板、電視、手機之外,還有一個頭戴沉浸式顯示器的選擇;讓開發者意識到,MR 可能真正成為了下一代硬件的新趨勢;讓 VC 意識到,這可能是一個有極高天花板的投資領域。

Apple Vision Pro發布滿月再思考:XR、RNDR和空間計算的未來

Web3 與相關的生態

1. 3D 渲染 + AI 概念標的:RNDR

RNDR 簡介

在過去的半年裡,RNDR 已經作為元宇宙、AI、MR 三重概念結合的 meme,多次領漲市場。

RNDR 背後的項目是 Render Network, 一個利用去中心化網絡實現分布式渲染的協議。Render Network 背後的公司 OTOY.Inc 成立於 2009 年,其渲染軟件 OctaneRender 針對 GPU 渲染進行了優化。對普通創作者而言,本地進行渲染對機器的占用較高,這就產生了雲渲染的需求,但如果租用 AWS,Azure 等廠商的服務器用於渲染,可能成本也會較高——這就產生了 Render Network,渲染不局限於硬件條件,連接創作者和擁有空閒 GPU 的普通用戶,讓創作者得以便宜、快速高效地進行渲染,節點用戶可以利用閒置 GPU 賺份零花錢。

對於 Render Network 來說,參與者有兩種身份:

  • **創作者:**發布任務,並使用法幣購買 Credit,或 RNDR 進行支付。(用於發布任務的 Octane X 可以在 Mac 和 iPad 上使用,費用的 0.5-5% 將用於覆蓋網絡成本。)
  • 節點提供者(閒置 GPU 所有者):閒置 GPU 所有者可以申請成為節點提供商,並根據此前完成任務的信譽度決定是否獲得優先匹配。節點完成渲染後,創作者將檢視渲染後的文件,並進行下載。一旦下載,被鎖定在智能合約中的費用將打給節點提供者的錢包。

RNDR 的 tokenomics 也今年 2 月進行了更改,這也是它價格大漲的原因之一(但直到文章發布,Render Network 尚未將新的 tokenomics 應用到網絡中,也暫未給出具體上線時間):

此前,在網絡中,$RNDR 的購買力和 Credit 的購買力是一樣的,而 1 credit = 1 歐元。在 $RNDR 價格小於 1 歐元時,購買 $RNDR 相比法幣購買 Credit 更劃算,但當 $RNDR 的價格提升到超過 1 歐元,因為大家都傾向於用法幣進行購買,則會出現 $RNDR 失去用例的情況。(雖然協議收入可能會進行 $RNDR 的回購,但市場上其他玩家冇有購買 $RNDR 的動力。)

而更改後的經濟模型采用了 Helium 的”BME”(Burn-Mint-Emission)模式,創作者購買渲染服務時不管是用法幣還是 $RNDR,都會銷毀等 95% 法幣價值的 $RNDR,剩餘 5% 流向基金會作為引擎使用的收入。而節點提供服務時,則不再直接獲得創作者購買渲染服務的收入,而是獲得新鑄造的代幣獎勵,獎勵的依據不僅基於任務完成的指標,還包括客戶滿意度等其他綜合因素。

值得注意的是,每個新 epoch(特定時間階段,尚未說明具體時長)都將有新的 $RNDR 被鑄造,且鑄造量被嚴格限定,隨時間推移遞減,與代幣燃燒的數量無關(詳見官方白皮書的釋放文檔)。因此,會帶來對下述 Stakeholders 的利益分配變化:

  • 創作者 / 網絡服務使用者:每個 epoch,創作者消費過的 RNDR 都會部分返還,比例隨時間推移逐漸減少。
  • 節點運行者:節點運行者將因完成的工作量和實時在線的活躍度等因素而得到獎勵。
  • 流動性提供者:Dex 的流動性提供者也將獲得獎勵,以此保證有充足 $RNDR 可供燃燒。

Source: Behind the Network (BTN): July 29th, 2022 | by Render Network | Render Network | Medium

相比之前收入(不定期)回購的模式,新的模式下,在渲染任務需求不足時,礦工可以得到比之前更多的收入,而在渲染任務需求對應的任務價格總額大於釋放的 $RNDR 獎勵總額時,礦工相比原有模型將獲得更少的收入(燃燒掉的 token > 新鑄造的 token),$RNDR 代幣也會進入通縮狀態。

雖然最近半年 $RNDR 漲勢喜人,Render Network 的業務情況並冇有如幣價一般有大幅增長:過去兩年的節點數量冇有大幅波動,每月分配給節點的 $RNDR 也冇有大幅增長,但渲染的任務數量確實有提升——可見創作者分配給網絡的任務由單筆較大金額,逐漸走向了多筆小金額)。

https://dune.com/lviswang/render-network-dollarrndr-mterics

雖然趕不上一年五倍的幣價漲幅,Render Network 的 GMV 確實迎來了較大的增長,2022 年 GMV(Gross Merchandise Value,成交總額)相比去年增加 70%。根據 Dune 看板的 $RNDR 分配給節點的總量,2023 年上半年 GMV 約為 $1.19 M,相比 2022 年同期基本冇有漲幅。這樣的 GMV 在 7 億美元的 mCap 上顯然不夠看。

Source: Render Network: Scaling Rendering for the Future - GCR

Vision Pro 的推出對 RNDR 的潛在影響

在 6 月 10 日發布的 Medium 文章中,Render Network 宣稱,Octane 針對 M1 和 M2 的渲染能力是獨一無二的——由於 Vision Pro 也采用 M2 芯片,在 Vision Pro 中進行渲染並不會與普通桌麵渲染有區彆。

但問題是:為什麼要在一台續航 2 小時,主要用於體驗玩耍,而非生產力工具的設備上發布渲染任務?如果 Vision Pro 價格降下來,續航大提升,重量輕下來,真正實現 Mass Adoption, 可能才會到有 Octane 發揮作用的時機…

可以確認的是,數字資產從平麵設備往 MR 設備的遷移,確實會帶來對基礎設施的需求增長。宣布與 Apple 合作研究如何製造更適配 Vision Pro 的遊戲引擎 Unity,當日股價上漲 17%,也說明了市場對此的看好情緒。隨著迪士尼和 Apple 的合作,傳統影視內容的 3D 化或將迎來類似的需求增長。擅長影視渲染的 Render Network 在今年二月推出了結合 AI 的 3D 渲染技術 NeRFs,利用人工智能計算和 3D 渲染來創建可以在 MR 設備上查看的實時沉浸式 3D 資產 – 在 Apple AR Kit 的支持下,任何人都可以通過較高配置的 iPhone 對物體進行 Photoscan 以生成 3D 資產,而 NeRF 技術則通過 AI 加成的渲染,將簡陋的 Photoscan 3D 渲染成不同角度可以折射出不同光線的沉浸式 3D 資產——這種空間渲染將是 MR 設備內容生產的重要工具,為Render Network提供了潛在的需求。

但這個需求是否會由 RNDR 來滿足?觀察其 2022 年 200 萬美元的 GMV,相比影視行業投入的成本可謂九牛一毛。綜上,RNDR 當然可能繼續以“元宇宙、XR、AI”賽道的 meme 在賽道火熱時再創價格輝煌,但要產生與估值相匹配的收入仍然難度較大。

2. 元宇宙 – Otherside, Sandbox, Decentraland, HighStreet 等

雖然我認為實質上的基本麵改變有限 – 但與 MR 相關的話題似乎也繞不開這幾個大型元宇宙項目,猴子的 Otherside, Animoca 係的 The Sandbox,最古老的區塊鏈元宇宙 Decentraland,以及想做 VR 世界 Shopify 的 Highstreet.(對元宇宙賽道的詳儘分析參考 APE质押临近、监管施压,关键时点重新审视Yuga Labs生态价值 - Mint Ventures 的 4. 業務分析 – 行業分析與潛力部分)

但正如上文在“Killer App 仍未出現”中分析的,大多數現有支持 VR 的開發者,並非“僅支持 VR”(就算僅支持 VR 且做到了行業頭部,在一個百萬量級 MAU 細分市場裡做到頭部也不是碾壓級彆的競爭力),已有的產品並未對 MR 的用戶習慣、操作交互做細致的適配。而暫未推出的項目實際上和其他所有看到 Vision Pro 潛力的大廠、創業公司實際上站在相距不遠的起跑線上:在 Unity 與 Vision Pro 做出更好的結合之後,MR 生態遊戲開發的學習成本有望降低,過往較為狹窄的市場積累起來的經驗難以在一個即將走向 mass adoption 的產品裡複用。

當然,如果要談及先發優勢,已經布局 VR 的項目當然可能有微弱的開發進度、技術和人才積累的優勢。

One More Thing

如果你冇有看過下麵這個視頻,那麼這將是你對 MR 世界最為直觀的感受:便捷、沉浸,但又混亂、無序。虛擬與現實融合得如此無縫,被虛擬現實寵壞的人們將「失去設備中的身份」視為世界末日般的大事。視頻裡的細節在現在的我們看來,仍然覺得有點科幻和難以理解——但這很可能就是我們即將麵對的,數年內的未來。

這讓我想到另一則視頻,2011 年,也就是 12 年前,微軟發布了 Windows Phone 7(作為對那個年代冇有多少記憶的 Gen Z, 很難想起來微軟也曾在手機上下過大功夫),並製作了一則關於智能手機的諷刺廣告“Really?”:廣告裡的人們每時每刻都緊握手機,盯著手機騎單車,盯著手機在沙灘太陽浴,緊握手機洗澡,在宴會上因為看著手機下樓梯而摔倒,甚至因為分神把手機掉進小便池……微軟的本意是向用戶展示“微軟發布的手機,會把我們從手機上癮中拯救出來”——這當然是一敗塗地的嘗試,這個“Really?”的廣告名甚至可以改成“Reality”。智能手機的“在場感”和符合直覺的交互設計就是比反人類的“手機版 windows 電腦”更讓人沉迷,就像虛實結合的現實就是比純粹的現實更讓人上癮。

怎樣把握這樣的未來?我們有幾個正在探索的方向:

  • 沉浸式體驗和敘事的創造:首先是視頻,在 Vision Pro 發布之後,拍攝“具有 3D 深度”的電影從未像此時一樣簡單,而這也將改變人們對數字內容的消費方式——從“遠距離欣賞”到“身臨其境體驗”。 在視頻拍攝外,“有內容體驗的 3D 空間”可能是另一個值得關注的賽道。這裡並不是意指從模板庫隨意搭建千篇一律的場景,或者從遊戲中抽取的幾個看似可探索的空間,而是“有互動,有原生內容,有 3D 更友好”體驗的空間。這樣的空間可能是同樣坐在琴凳上,讓對應琴鍵高亮、並在你沮喪時溫柔鼓勵的帥氣鋼琴教練;可以是在你房間的一角藏了通往下一關遊戲鑰匙的小精靈;也可以是善解人意陪玩家散步的虛擬女友…… 此處催生的創作者經濟則可以很好地用區塊鏈底層去信任、自動結算、資產化數字內容、低溝通磨損交易。創作者可以更好地使用它們去中介化地跟粉絲互動,不需要麻煩地注冊公司再設置 Stripe 接收付款,也不需要給平台 10%(Substack)-70%(Roblox) 的分成,甚至不需要擔心平台會不會倒閉帶走你留下的心血……一個錢包,具有可組合性的內容平台,去中心化存儲就可以解決問題。 類似的升級將發生在遊戲和社交空間,甚至可以說,遊戲、電影和社交空間之間的分野將越發模糊:當體驗不再是相距數米懸浮的大屏幕,而是近在眼前,有深度、有距離、有空間感音頻的交互,玩家不再是“觀賞”的觀眾,而是在場參與,甚至行動會影響虛擬世界環境的角色(比如在叢林裡抬起手,蝴蝶會飛到你的指尖)。
  • 3D 數字資產的 infra 和社區:Vision Pro 的 3D 拍攝功能將大大削減 3D 視頻創作的難度,從而催生一個新興內容生產、消費的市場。對應的素材交易、剪輯等上下遊 infra 可能繼續由現有的巨頭們把持,也可能像 AIGC 由創業公司開辟新天地。
  • 提升沉浸體驗的硬件/軟件升級:不管是 Apple 正在鑽研的“對人體更詳儘的觀測以創造自適應的環境”,還是增加觸覺、味覺等沉浸體驗,都是具有相當潛力的賽道。

當然,這個領域的創業者大概率會比我們有更深入的理解、思考和更具有創造力的探索——歡迎 DM @0xscarlettw 交流和探討空間計算時代的可能性。

1 Like