HoloLens 공동 발명가 Avi Bar-Zeev 공유: 전천후 AR 안경으로 가는 길
전천후 XR 안경으로 가는 길
30년 넘게 저는 XR, 메타버스, 공간 컴퓨팅 분야에서 10가지 다른 XR 헤드셋 프로젝트를 지원하거나 조언하는 일을 해왔습니다. 저는 팀이 10억 달러를 구축하기 전에 요구 사항을 입증하거나 거부하고 주요 사용자 경험을 정의함으로써 초기에 다양한 프로젝트에 기여할 수 있는 큰 행운을 얻었습니다. 그 과정에서 나는 효과가 있는 것과 그렇지 않은 것에 대한 교훈을 배웠습니다. 때론 '아직 성숙하지 않다'가 정답이다.
저는 제 과거 고용주가 여전히 소유라고 생각하는 정보를 공개하지 않을 것입니다. 나는 우리에게 약간의 통찰력을 줄 수 있는 공개된 특허에 대한 링크를 제공할 것입니다. 그것이 특허의 실제 목적입니다. 믿거나 말거나입니다. 물론 추측을 불러일으킬 수 있는 특허는 피하겠습니다.
내가 말하거나 쓰는 어떤 것도 회사의 제품 계획의 증거로, 심지어 누군가의 노력에 대한 비판으로 받아들이지 않도록 주의하는 것이 중요합니다. 이것은 전혀 내 의도가 아니었습니다.
배경으로 내가 구축한 첫 번째 실제 XR 경험은 CAVE였습니다. 그 당시 저는 250달러,{1}} 컴퓨터와 거대한 프로젝터를 빌렸고 원자재에 30달러를 더 투자했습니다.{3}} 90년대에 제작된 Disney의 100달러{5}} VR 헤드셋은 상업 시장에 출시되지 못했습니다. 무게를 지탱하기 위해 천장에 매달린 케이블이 필요하지만 수십만 명이 시도했습니다.
2010년 1월까지 즉시 사용할 수 있는 소비자 XR 안경 개발을 시작할 수 있기를 바랍니다. 느리게 움직이는 이 분야에서 큰 활약을 펼칠 때입니다. 또한 Google Glass와 Magic Leap이 같은 시기에 등장했습니다. 다행히도 Microsoft 인큐베이션 팀에서 받은 작업 중 하나는 차세대 XBox에 대한 새로운 아이디어를 찾는 것이었습니다.
당시 Xbox 경영진은 "공격적으로 행동하여 '이건 미쳤다'라고 말하게 만들기도 한다"고 말했다.
나는 확실히 "급진적인" 아이디어를 가지고 있습니다. 우리의 소규모 팀은 곧 모든 화면을 하나의 화면으로 대체하는 "Screen Zero"라는 새로운 제품 개념에 대한 작업을 시작했습니다. 나는 기술 탐구를 담당했고 형성 첫 해에 경험을 정의하는 데 도움을 주었습니다. 내가 떠나는 이유는 이 기사의 공백이 아닙니다. 그러나 1000명이 넘는 사람들이 참여한 후 HoloLens는 2016년에 출시되었습니다.
획기적인 장비입니다. 그러나 여전히 전천후 소비자 웨어러블은 아닙니다. 오늘의 Magic Leap 2, Snap Spectacles, Varjo 또는 Quest는 없습니다.
그렇다면 하루 종일 착용할 수 있는 AR 안경을 구현하려면 정확히 무엇이 필요할까요?
1. 맥시멀리즘과 미니멀리즘
HoloLens가 결국 채택한 것과 같은 최대 접근 방식은 수많은 센서, 알고리즘 및 전원을 고급 시스템으로 통합하는 것을 말합니다. 엔지니어링 및 사용자 경험이 해결되면 이론적으로 범위를 좁힐 수 있습니다. 그러나 그것은 더 많은 시간이 걸리고 특정 전자 장치가 단독으로 전력을 최적화하는 데 최대 10년이 걸릴 수 있습니다.
Cambria 및 이와 유사한 장치는 유사하게 맥시멀리즘에 가깝기 때문에 현실과 시뮬레이션의 혼합을 픽셀 단위로 정밀하게 제어하여 불투명한 거대한 VR 디스플레이와 여러 대의 카메라로 AR을 시뮬레이션합니다. Maximalism은 고급 애플리케이션 및 핵심 R&D에 가장 적합합니다. 어떤 사람들은 응용 프로그램이 더 산업적이지만 현재 작동하는 유일한 도구라고 주장합니다.
그러나 오늘날 시장에 나와 있는 가장 고가의 기기도 하루 종일 착용할 수 없으며 일상적인 사회적 상호 작용이나 거리에서 안전하게 걷는 데 사용할 수 없습니다. 홀로그램 또는 라이트 필드 디스플레이와 같은 최대 기능은 아직 성숙하지 않았습니다.
반면에 최소한의 접근 방식을 사용하는 장치에는 Amazon Echo Frames, Snap Spectacles 및 Ray-Ban Stories 등이 있습니다. 그들은 웨어러블 안경 폼 팩터의 현재 제약 조건에 맞는 기술만을 포장하며 종종 디스플레이를 완전히 버립니다.
그래도 디스플레이가 없는 안경이 XR로 간주될 수 있습니까?
그것이 상황적 관점을 향상시킨다면 나는 예라고 말하고 싶습니다. 팟캐스트나 음악 믹스는 여전히 당신이나 당신의 현재 환경을 감지하지 못하기 때문에 XR이 아닙니다. GPS 네비게이션 앱은 약간 일치하지만 충분하지 않습니다. AI 및 정확한 위치 지정을 위해 공간 오디오 및 카메라를 추가하면 디스플레이가 없어도 XR로 간주됩니다.
미니멀리스트 접근 방식은 단기적으로 더 많은 제품을 판매할 수 있으며 일반적으로 특정 측면에 초점을 맞추고 동급 최고의 솔루션을 만듭니다. Walkman과 iPhone처럼 제대로 할 수 있다면 수십억 달러에 팔 수 있습니다. 그러나 미니멀리즘이 쉽다고 생각하지 마십시오. 여러 면에서 잘하기 어렵기 때문입니다.
2. 최선의 방법
나는 XBox의 Screen Zero가 미니멀리스트 안경과 맥시멀 콘솔 사이의 하이브리드이기를 바랐다. AR 안경은 크기가 Oakley 안경과 비슷하거나 더 작아야 합니다. 다음 호스트는 같은 방에 있는 최대 4쌍의 안경을 위해 대부분의 무거운 물건을 들어 올릴 것입니다.
3. 인체 공학, 에너지 소비 및 열
왜 분리? 그것은 에너지 소비 또는 더 정확하게는 열로 귀결됩니다.
컴퓨터의 모든 작업은 결국 열의 형태로 이루어지며 다른 작업에는 광자 및/또는 소리와 같은 기계적 드라이브가 포함될 수 있습니다. 얼마나 더위? 한 쌍의 가벼운 AR 안경은 약 와트의 에너지를 생성할 수 있습니다.
일반적인 스마트폰은 약 10와트를 생성한 다음 가열될 수 있습니다. 호스트나 PC는 스마트폰보다 10-100배 더 많은 에너지를 소비하므로 안경보다 100-1000배 더 많은 에너지를 소비할 수 있습니다. 작은 LED 손전등과 거대한 의류 건조기를 생각해 보십시오. 이것은 에너지 소비의 큰 차이입니다.
에너지 소비의 균형을 유지하려면 데이터 융합, 분할 렌더링, 최적화된 렌더링 스트림과 같이 제가 2010년부터 작업한 것과 유사한 솔루션이 필요합니다. 낮은 대역폭의 경우 시선 추적 기반 시간 왜곡 렌더링이 잘 작동하고 통신 지연을 처리합니다.
CPU, 카메라, 디스플레이 및 RAM은 많은 에너지를 소비하고 많은 열을 발생시킵니다. 따라서 비밀은 대부분의 경우에 아껴서 사용하는 것입니다. 저전력 맞춤형 하드웨어를 생각해 보십시오. 새로운 상황에 맞는 센서, 초저전력 디스플레이 및 영리하게 "깨어나는" 알고리즘이 있습니다.
해결하는 데 시간이 걸립니다. 예를 들어, 광학 마우스와 호스트 컨트롤러가 대기 상태가 아닌 경우 배터리가 소모되므로 테더링된 솔루션으로 시작합니다. 오늘날 광학 마우스는 작은 배터리로 몇 달 동안 사용할 수 있습니다.
4. 거실 밖
다양한 사용 사례를 지원하기 위해 광학적으로 투명한 AR 시스템은 밝은 환경(창문 또는 거실 조명 포함)의 빛을 이상적으로 차단하고, 공간 오디오를 현실과 더 잘 맞춤화 및 혼합하고, 광학 초점을 조정하고, 다른 사람의 가상 홀로그램을 캡처 및 재현해야 합니다. 그리고 더.
기기가 본체와 헤드셋으로 나누어져도 우리 머리 속에는 여전히 '물건'이 너무 많다. 거대한 인체 공학적 문제는 대부분의 XR 장치가 여전히 사용하는 거대한 스트랩을 제거하여 헤드셋을 얼굴에 껴안는 버그처럼 보이게 만드는 것입니다.
장력을 필요로 하는 모든 종류의 스트랩은 사용자 기반의 다양성을 제한하고(머리 크기의 변화와 머리카락을 엉망으로 만들기에 대한 감수성을 고려하여) 안경을 착용할 가능성을 줄입니다. 이것은 전천후 장비가 초경량이어야 하고 일반적으로 일반 안경과 마찬가지로 적합해야 함을 의미합니다.
Oakley 안경 크기 이하가 된다는 것은 종종 시스템의 더 많은 부분을 클립이나 리모컨으로 이동하는 것을 의미합니다. Magic Leap은 이러한 클립을 제공합니다. 나는 넥밴드 설정을 사용하는 XR 장치를 발견했습니다. 즉, 소비자의 목에 컴퓨팅 구성 요소를 걸어두는 것을 의미합니다. 이 분할 디자인을 사용하면 더 많은 개별 작업이 수행될수록 아이/헤드 어셈블리가 더 가벼워질 수 있습니다.
2010년에는 개인적으로 이두박근이 앵커 포인트이자 필요에 따라 짧은 라인이었기 때문에 더 관심이 많았습니다. 이렇게 하면 더 무겁고 뜨거운 구성 요소가 머리와 목에서 멀리 떨어져 있고 열을 발산할 수 있는 표면적이 많습니다. 팔에 위치한 바이오센서는 또한 Meta가 Control plus Labs 장치를 사용하여 손목에서 제스처를 읽는 것과 유사한 제스처를 감지할 수 있습니다. 이러한 방식으로 제품 설계자는 여전히 "케이블 없음"이라고 말할 수 있습니다.
5. 초점
많은 성인이 근거리 및 원거리 시력을 교정해야 하기 때문에 하루 종일 착용할 수 있는 폼 팩터는 종종 실제 세계를 확대하고 초점을 맞춰야 합니다. 이것은 최소한 렌즈가 맞춤형 비전 매개변수 광학을 지원해야 함을 의미합니다. Snap이 이전에 인수한 도파관 회사는 관련 광학을 기능성 비전 렌즈에 내장할 계획을 발표했지만 이는 어려웠습니다.
그러나 하나의 비전 매개변수로 충분합니까? 많은 성인은 독서나 운전(원시)에만 안경이 필요합니다. 즉, 다른 상태로 전환하려면 안경이 필요합니다. 그럼 비싼 안경 두세 켤레가 필요할까요? 또는 보는 위치에 따라 빛을 굴절시키는 이중 초점, 삼중 초점? (실용적이지만 이상적이지는 않음)
내가 추진하고 있는 솔루션 중 하나는 동적 광학 조정으로, 동일한 안경을 사용하여 독서 또는 운전을 지원하고 미세한 글씨와 멀리 있는 표지판까지 확대할 수 있습니다. 이것은 또한 더 많은 친구들이 그것을 쉽게 시도할 수 있도록 합니다. XBox가 싱글 플레이어 게임만 지원하고 방에 두세 명의 친구가 있다고 상상해 보십시오. 일종의 실패.
현재 최고의 동적 초점 방식에는 Alvarez(기계식 슬라이드)와 액체로 채워진 조정 가능한 렌즈가 있습니다. 기계적 솔루션은 신뢰성을 감소시키는 경향이 있습니다. 특수 LCD를 적층하고 전자적으로 초점을 변경하는 데 상당한 양의 R&D가 진행되고 있습니다. Mega는 이 작업을 수행하기 위해 회사를 인수했습니다.
그러면 현재 시선을 기준으로 허상을 포커싱하는 문제가 있습니다. Avegant와 Magic Leap은 날개 폭 내 적절한 초점 거리에서 "가상 개체"를 탐색하는 데 중요한 간단한 라이트 필드 디스플레이를 시뮬레이션하여 두 초점 거리 사이를 빠르게 전환하는 방법을 보여주었습니다. 이전에 초점 거리를 연속적으로 스캔하는 몇 가지 방법을 살펴보았지만 상업용 모니터는 실제로 충분히 빠르지 않습니다.
눈을 추적하면 처리를 돕고 계산 부하를 줄이며 보다 자연스러운 사용자 입력을 제공할 수 있습니다. 저는 시선 추적 문제에 대해 매우 잘 알고 있으며 의사 결정자에게 조기에 위험을 경고합니다.
마지막으로 비즈니스 측면에서 Luxottica는 저렴하고 고가의 안경을 판매하여 많은 돈을 벌고 있습니다. 그것은 오늘날 시장과 당신이 알고 있는 대부분의 안경 브랜드를 지배합니다. XR 안경 회사는 그들과 협력하거나 반대해야 하며 어느 쪽도 쉬운 선택이 아닙니다. Meta는 Ray-Ban 안경을 개발하기 위해 그들과 협력하기로 결정했습니다. 이 회사의 경쟁업체에는 Warby Park 및 기타 소규모 플레이어가 포함됩니다. 좋은 유통 채널과 파트너 없이는 좋은 신제품을 판매할 수 없습니다.
6. 대비
Magic Leap 2는 자연 세계를 선택적으로 흐리게 하는 방법을 제공합니다. 2010년부터 이 문제를 해결해 왔지만 아직 완벽한 해결책은 없습니다. 일련의 광학 엔지니어들은 그것이 필요하다고 생각하지 않았습니다. 이유는 다음과 같습니다.
투명한 "첨가" 디스플레이가 "검은색"을 렌더링할 수 없는 이유는 일반적으로 이해됩니다. RGB{0}},0, 검정색의 경우 실제로 아무것도 추가하지 않으며 기존 조명에 표시되지 않습니다. 그러나 더 밝은 영역에 접근하여 검은색과 그림자를 인식하도록 쉽게 속일 수 있습니다.
정말 어려운 문제는 XR 안경을 야외에서 가지고 밝은 햇빛이 비추는 벽(아마도 어둡거나 그늘진 영역 근처)을 볼 때 발생합니다. 특정 영역은 다른 영역보다 1000~10000배 더 밝을 수 있습니다. 실내에서는 대비가 너무 뚜렷하여 AR 영상이 완전히 무섭게 보입니다. 광학 엔지니어는 이를 극복하려면 더 많은 빛을 출력해야 한다고 주장합니다. 광학 장치의 효율성은 일반적으로 1% -10%에 불과합니다. 이는 대부분의 빛이 눈에 들어가지 않고 열을 더할 뿐임을 의미합니다. 열이 가장 큰 제한 요소 중 하나이기 때문에 광학을 중심으로 시스템을 설계할 수는 없습니다.
현실은 모든 투명 AR 또는 비디오 투시 안경이 시각적 향상을 만들 때 실제 장면을 고려해야 한다는 것입니다. 투명도의 경우 원하는 최종 색상을 얻으려면 실제 조명에서 안경을 빼야 하는 경우가 많습니다. 비디오 관점의 경우 디스플레이가 전체 픽셀을 대체할 수 있지만 가상 3D 장면의 투명도는 여전히 카메라에서 읽은 배경색과 혼합되어야 합니다. 기본적으로 보고 있는 것은 투명하거나 불투명한 고에너지 카메라와 회로입니다. 이것은 눈을 가리면서 에너지와 무게를 추가하기 때문에 큰 디자인 제약입니다.
표면적으로 투명 안경을 사용한 선택적 음영은 디스플레이에 전원을 추가하거나 카메라를 추가하는 것보다 저렴합니다. 2010년에는 도파관 앞에 간단한 흑백 LCD를 배치했습니다. 예상대로 작동하여 부드러운 검은색 윤곽선이 있는 3D 솔리드 개체를 렌더링합니다. 그러나 동적 보정이 필요하고 LCD가 실제 빛(주로 제어 와이어의 굴절)을 왜곡한다는 단점이 있습니다. 자체적으로 다이나믹 레인지가 좋지 않습니다. 야외에서는 때때로 100%에 가까운 불투명도가 필요합니다. 실내, 특히 사회적 상황과 텔레프레즌스에서 사람들을 직접 눈으로 볼 수 있도록 더 투명하게 만들고 싶습니다.
이 접근 방식에 대한 주된 반대는 LCD 또는 기타 공간 광 변조기가 종종 눈에서 1인치 떨어진 초점에서 벗어나 있다는 것입니다. 그러나 왜곡이 있어 올바른 플러스 마이너스 투명 AR 디스플레이와 일부 고속 저전력 센서를 사용하면 선글라스가 다른 곳의 시야를 흐리게 하지 않고 햇빛, 눈부심 또는 헤드라이트를 차단할 수 있습니다. 세상을 미묘하게 어둡게 만들고 추천 도서를 반짝반짝 빛나게 만들 수 있습니다. 고급 감산(필터링)을 통해 안경은 세상을 다시 색칠하고, 야간 시력을 향상시키며, 불안하거나 주의가 산만하다고 느낄 때 생체 인식 피드백을 제공할 수도 있습니다.
다양한 데모를 만들고 더 나은 방법을 찾는 데 오랜 시간을 보냈습니다. 그러나 그들 모두에는 특정 단점이 있습니다. 그러나 Magic Leap 2의 구현은 핵심 문제가 해결될 것이라는 희망을 줍니다.
7. 네트워크
라디오는 또한 에너지를 필요로 하므로 분할 시스템에는 항상 절충점이 있습니다. 가장 유망한 미래는 오늘날보다 더 낮은 전력과 더 높은 대역폭을 달성하기 위해 고급 무선 주파수를 사용하는 것입니다. 그러나 주요 문제는 이 주파수가 피부나 벽을 통과할 수 없다는 것입니다(좋든 나쁘든). 따라서 솔루션은 매우 영리해야 합니다. 전파가 방과 사람 주위를 반사하고 빔을 쏘기 때문에 오늘날보다 더 많은 송신기를 사용해야 할 수도 있습니다. 분명히 이것은 비용과 복잡성을 추가합니다.
하루 종일 웨어러블의 경우 네트워크에 의존하는 제품을 판매하기 전에 네트워크를 사용할 수 있어야 합니다. 이 제한은 기업이 내가 옹호하는 분할 렌더링 솔루션을 출시하지 않는 가장 큰 이유입니다. 5G는 우리가 필요로 하는 것에 더 가깝지만 적어도 미국에서는 이것이 대부분 짧은 지연 시간과 더 많은 사람들이 동시에 네트워크를 사용하는 문제를 해결합니다. 우리는 5G 이상이 필요하지만 좋은 시작입니다.
방에서 원래 "호스트"(또는 이와 유사한 것)를 제거하려면 작고 가벼운 폼 팩터를 유지하면서 개인 정보를 침해하지 않는 방식으로 결합된 "엣지" 컴퓨팅 방법이 필요합니다. 생체 인식 센서 데이터를 에지 또는 클라우드 솔루션으로 보내는 것은 쉽게 남용될 수 있기 때문에 누구에게나 매우 우려됩니다.
8. 카메라
카메라를 안경에 장착하는 것은 까다로운 작업입니다. Google Glass는 사회적 수용에서 많은 실수를 저질렀고 광범위한 공격을 받았습니다. 하지만 Snap은 그런 면에서 문제가 거의 없는 것 같습니다. 동시에 Facebook은 우리가 좋든 싫든 더 개인화 된 광고를 제공하기 위해 모든 사람의 삶의 세부 사항을 캡처하기 위해 노력하고 있습니다.
특정 카메라는 3D 장면 디지털화 및 사람이나 사물의 디지털 폐색과 같이 에너지 집약적입니다. 3D 그래픽을 적절하게 배치하려면 공간에서 머리를 지속적으로 추적해야 하며 카메라는 여전히 최고의 솔루션입니다. IMU 센서를 활용하여 에너지 소비를 늘리고 있습니다.
사진이나 비디오를 찍는 것은 특히 다른 장치보다 더 자연스럽고 편리한 경우에 상당히 인기 있는 사용 사례입니다. 그러나 크기와 전력의 제약으로 인해 사진의 품질은 일반 스마트폰보다 떨어집니다. 프레임에 작은 백색광을 제공하는 것만으로는 복잡한 사회적 승인 문제를 해결할 수 없습니다.
장면 이해는 다른 사람의 사진을 찍을 필요가 없기 때문에 부분적으로는 카메라 안경의 주요 기능으로 더 쉽게 상상할 수 있지만 더 중요한 것은 하루 종일 안경을 착용하는 가장 중요한 새로운 사용 사례인 상황 이해를 열어준다는 것입니다.
9. 경험
2010년에 내가 가장 개발하기를 희망하는 R&D는 강력한 시선 추적 및 신체 추적 기능을 지원하고 PC와 마우스의 기존 "사각형 안의 직사각형"을 넘어 보다 자연스러운 공간 컴퓨팅 사용자 인터페이스를 탐색하는 AR 안경입니다. 하드웨어에는 확실히 한계가 있지만 XR을 널리 채택하려면 미래에 상호 작용하는 "방법"에 대한 경험적 질문을 누군가가 해결해야 합니까? "상자 안의 3D 상자"는 분명히 아닙니다. 그래서 우리는 아직 해야 할 일이 많습니다.
메타가 이른바 '비주얼 튜링 테스트'를 통과하는 데 VR 노력을 집중하고 있는 반면, 하루 종일 착용할 수 있는 XR 안경은 다른 안경보다 유용해야 합니다. 많은 사람들이 AR 레이어나 채널이 우리 현실에 스며들고, 우리가 보는 모든 것을 표시하고, 정보를 추가하고, 3D로 공간 이야기를 말하고, 세상을 다시 그리는 것을 상상합니다. 이것은 주문형일 가능성이 높지만 내가 기대하는 일상적인 경험은 아닙니다.
대부분의 경우 사람들은 의사 소통, 탐색, 주변 세계 발견, 장소 이해 및 변경, 쇼핑, 콘텐츠 경험, 직장에서 돈 벌기 등 자신이 자주 하는 일을 개선하기를 원합니다. 성공하려면 XR 안경이 스마트폰이나 다른 장치보다 더 잘 작동해야 합니다.
여기에 스마트폰이 할 수 없는 것이 있습니다. 초점을 동적으로 조정하고 빛을 선택적으로 차단하는 평범한 안경을 상상해 보십시오. 문자를 입력하거나 구두로 묻지 않고도 사전에 개인적으로 대화할 수 있습니다. 그것만으로도 수십억 달러의 제품이 될 것입니다. 이러한 안경은 일상적인 경험의 일부로 물건을 기억하거나 신뢰할 수 있는 권장 사항을 제공하는 데 도움이 될 수 있습니다(푸시 광고와 비교).
이 분야에서 내가 수행한 가장 중요한 연구는 비시각적 XR 안경을 사용한 비동기 통신입니다. 오늘날 스마트폰의 음성 및 문자 기능은 충분하지만 집중하기가 어려울 때를 알고 있습니까? 적절한 시기에 상황을 전환하여 업무나 놀이의 흐름을 유지하도록 도와줄 수 있습니까? 안경이 빛날 수 있는 방법은 다음과 같습니다(제조업체를 신뢰할 수 있다고 가정).
내가 설명한 모든 것은 매우 어렵고 관련 기술은 거의 존재하지 않습니다. 아직은 미니멀한 수준은 아니지만, 광학의 소형화와 화각의 극대화보다 우선시하지 않았기 때문이다. 그러나 다른 사람들이 성공하지 못한 곳에서 성공할 수 있는 XR 안경의 종류는 무엇입니까? 나는 여전히 위에 나열된 모든 것이 훌륭한 제품을 만드는 데 도움이 될 것이라고 생각합니다.
