Microsoft HoloLens – jak działa?

Microsoft HoloLens to gogle rozszerzonej rzeczywistości z wbudowanym procesorem i zestawem czujników, które działają bezprzewodowo. Pozwalaną na wyświetlanie cyfrowych obiektów nie zasłaniając jednocześnie pola widzenia użytkownika. Odbiór poleceń odbywa się poprzez śledzenie spojrzenia, gestów lub komunikatów głosowych.

Żyjemy w czasach, w których nie da się odciąć od technologii, obcujemy z nią na co dzień i wszędzie. Nowinki technologiczne pojawiają się prawie każdego dnia i czasami ciężko nadążyć za ciągle postępującymi zmianami. W ten trend wpisuje się także rozszerzona rzeczywistość umożliwiająca nakładanie na realny obraz cyfrowych obiektów, z którymi można wchodzić w interakcje.

Wraz z postępem w dziedzinie elektroniki urządzenia obsługujące technologię rozszerzonej rzeczywistości stają się coraz mniejsze i wydajniejsze. Dzięki temu przestają być tylko i wyłącznie drogimi gadżetami, a stają się użytecznymi urządzeniami, które mogą w realny sposób wpłynąć na jakość naszej pracy. Jednym z pierwszych tego typu urządzeń jest Microsoft HoloLens.

Czym jest HoloLens?

HoloLens to urządzenie nakładane na głowę, z własną, wbudowaną jednostką obliczeniową, systemem operacyjnym Windows 10 i szeregiem sensorów wliczając mikrofon, różnego typu kamery, głośniki stereo i projektory, a konkretnie:

• IMU (Inertial Measurement Unit) jednostka miary inercyjnej, zawierająca akcelerometr, żyroskop i magnetometr
• Kamery mapujące przestrzeń wokół użytkownika
• Kamera wykrywająca głębię
• Czujnik oświetlenia w otoczeniu (Ambient Light Sensor)
• 2 megapikselowa kamera odpowiedzialna za wykonywanie zdjęć i rejestrowanie obrazu w jakości HD,

Urządzenie umożliwia wyświetlanie holograficznych projekcji osadzonych w realnej przestrzeni pokazujących wyrenderowane obiekty 3D, teksty czy zdjęcia. Dzięki wymienionym czujnikom możliwa jest interakcja pomiędzy cyfrowymi obiektami, użytkownikiem i HoloLensem. Urządzenie śledzi spojrzenie, ponadto umożliwia wydawanie komend głosowych lub wykonywanie gestów, które następnie przetwarzane są na instrukcje wykonywane przez komputer.

Jak HoloLens działa?

W przeciwieństwie do zestawów VR, które przekazują zupełnie cyfrowy obraz za pośrednictwem wyświetlaczy OLED, HoloLens jest urządzeniem typu „passthrough”. Oznacza to, że użytkownik widzi prawdziwy świat przez przezroczyste soczewki urządzenia, a wyświetlające się obrazy (hologramy) są niejako dodane do realnej przestrzeni.

HoloLens jest urządzeniem, które mapuje otoczenie, w którym się znajduje. Dzięki temu realna przestrzeń użytkownika zostaje odwzorowana przez urządzenie. Mapowanie otoczenia odbywa się dzięki określonym podzespołom. Cztery kamery zbierają obraz wokół (podłogi, sufitu, ścian, mebli itd.) Następnie procesor HPU (Holographic Processing Unit) przetwarza zebrane informacje na dwa ujęcia pod różnym kątem. Dzięki temu HoloLens wstępnie interpretuje otoczenie.

W kolejnym procesie emitery promieni IR, czyli światła podczerwonego nadają głębie temu obrazowi (podobnie jak w kontrolerze Kinect). Emiter IR wysyła wiązki światła, które odbijają się od napotkanych obiektów. Tak odbite, trafiają do kamery głębi. Kamera głębi umożliwia wyciągnięcie informacji o odległości na podstawie jasności strumieni światła, tzn. im większy dystans strumień światła pokonał, tym jest słabszy po powrocie. Procesor HPU (specyficzny dla HoloLensa) otrzymując wspomniane dane z otoczenia oraz znając odległości od przeszkód, tworzy wirtualny obraz otoczenia. Dzięki temu procesowi, możliwa jest interakcja cyfrowych obrazów z otoczeniem, np. ułożenie hologramu bezpośrednio na stole, nałożenie podświetlenia dokładnie na realny element.

Odwzorowanie otoczenia odbywa się także dzięki układowi nawigacji inercyjnej (IMU) czyli żyroskopowi, akcelerometrowi oraz magnetometrowi. Jednostka IMU pozwala HoloLensowi na interpretację lokacji użytkownika i dopasowanie względem niej wirtualnych obrazów (możemy oglądnąć obraz 3D ze wszystkich stron).

Procesor graficzny zawarty w procesorze ATOM (CPU i GPU) jest odpowiedzialny za generowanie hologramów. Odpowiednio przetworzone dane z kamer są przekazywane do GPU. Na podstawie tych informacji, procesor graficzny tworzy obrazy dopasowane do otaczającego świata.

A jak wygląda sprawa wyświetlania hologramów? Do tego służą dwa projektory w postaci malutkich ciekłych kryształków krzemu (LQoD). Każdy z nich wyświetla obraz w jakości Full HD 16:9 na podstawie informacji otrzymanych od GPU. Obraz ten z kolei jest kierowany na dolną połowę przezroczystych soczewek z filtrami RGB (dzięki czemu użytkownik widzi kolory). Nowością zastosowaną w HoloLens jest wykorzystanie falowodu, który sprawia że pomimo przezroczystej soczewki, światło nie przechodzi przez nią, lecz odbija się, trafiając do oka użytkownika. Dzięki temu użytkownik dokładnie widzi świat zza soczewek, a odbity obraz hologramów jest wyraźny.

Pozostaje jeszcze kwestia wychwytywania gestów użytkownika. Kamera głębi na podstawie odbitych od dłoni wiązek IR wskazuje zmianę głębi i przekazuje ją poprzez HPU do GPU, który wizualnie dostosowuje hologram wykonując określone polecenie. Cała ta czynność odbywa się w czasie rzeczywistym!

Jak używać HoloLensa?

Pomimo zaawansowania technologicznego HoloLens jest bardzo prosty w obsłudze. Wystarczy dobrze dopasować gogle do głowy, przycisnąć przycisk start i wybrać odpowiednią aplikację.

W ubiegły weekend miała miejsce prezentacja HoloLensa 2, który ukaże się do końca bieżącego roku.