Apple欲為AR眼鏡帶來類似Zoom的背景替代物
2020年08月07日04:39

  Apple一直在研究如何讓 “Apple Glass ”風格的頭顯進行色度摳像,或者用AppleAR圖像替換純色背景。一項名為“低延遲色度鍵控嵌入頭戴式顯示器,用於混合現實”的Apple美國專利申請,於2020年2月提交,但本週才披露。我們現在都很熟悉用其他圖像,如徽標或海灘場景來取代辦公室和家庭的背景。我們也很熟悉這些東西很少有好的效果,特別是當發言人移動時。

  這在一定程度上是因為即使做得不是很有效,這種背景替換也需要大量的處理能力。在2020年7月的更新之前,微軟Skype iOS版本甚至不能像Mac或PC版本那樣模糊背景。這種模糊是一個複雜的過程,但其中一部分涉及確定一個人的頭部結束和背景開始的位置。Chroma key讓這一過程變得非常簡單,因為人物被放置在一個單一的純色背景前。這和電影中使用的綠屏或藍屏過程是一樣的。

  當視頻會議畫面的哪一部分是說話的人,哪一部分是他們的背景非常明顯時,像Zoom或Skype這樣的系統可以更容易地替換背景。不過那些都是2D系統,而 “Apple眼鏡 ”的目標是用3D的方式來實現,這樣當佩戴者四處走動時,背景就可以被替換掉,而不是僅僅看著一個平面屏幕。因此,Apple的專利申請同時涉及到為AppleAR製作3D立體版背景替換,以及讓它的工作速度足夠快。其中一部分與頭顯處理能力有關,但也與將數據返回用戶視野的速度有關。Apple Watch示,需要一個可穿戴式沉浸式頭顯(HMD),利用嵌入式立體RGB鏡頭捕捉環境,做實時的顏色鍵控,還有一個顯示系統來顯示增強了虛擬內容的真實世界圖像。該系統以高幀率(通常為75幀/秒或更多)運行,通過捕捉圖像並將其格式化以在頭顯本身中顯示,它實現了小於一幀的延遲。

  所以,Apple的提案所說的是,頭顯擁有相機傳感器,在混合現實環境中執行Chroma key,並且要在對佩戴者來說最小延遲情況下完成。低延遲是通過在頭顯本身嵌入處理來實現的,具體來說,就是將鏡頭圖像格式化,檢測所選顏色範圍,並與虛擬內容進行合成。該專利申請並沒有解決替換圖像來自哪裡的問題。在Zoom或Skype會議中,這將由演講者自己進行選擇。

  本文來自cnBeta

關注我們Facebook專頁
    相關新聞
      更多瀏覽