Vijf vragen over Microsoft's "Project HoloLens"

Advertentie

Woensdagochtend liet Microsoft een project zien waar ze al zeven jaar aan werken, een augmented reality-headset genaamd Project HoloLens.

De visie is ambitieus: ze willen de manier waarop mensen met computers omgaan fundamenteel veranderen het bouwen van een bril die virtuele en echte inhoud vloeiend kan combineren in de fysieke ruimte van de gebruiker. Dit is zoals virtual reality-technologie Waarom Virtual Reality-technologie je in vijf jaar tijd zal verbazenDe toekomst van virtual reality omvat het volgen van hoofd, oog en expressie, gesimuleerde aanraking en nog veel meer. Deze geweldige technologieën zijn binnen 5 jaar of minder voor u beschikbaar. Lees verder , maar fundamenteel krachtiger. Bovendien willen ze alle bewerkingen lokaal op de bril uitvoeren - geen computer, geen telefoon, geen kabels. Ze lanceren zelfs een speciale versie van Windows, alleen voor de nieuwe hardware. Dit is voor iedereen de volgende fase in de technologische evolutie AR-spellen Augmented Reality-apps: nuttig of gewoon een hype? MakeUseOf-tests

In 2011 voorspelden analisten de opkomst van Augmented Reality mobiele apps. De ontluikende technologie zou een revolutie teweegbrengen in de manier waarop we omgaan met onze mobiele apparaten. Flits twee jaar vooruit en tientallen AR-apps vullen alle ... Lees verder die je ooit op je telefoon hebt geïnstalleerd en sindsdien niet meer hebt aangeraakt.

Hun tijdsbestek is zelfs nog ambitieuzer dan hun doelen: ze willen dit voorjaar ontwikkelaarskits verzenden en het consumentenproduct "tijdens de Windows 10-tijd". Hier is de toonhoogte.

Dit klinkt allemaal geweldig, maar ik geef toe dat ik redelijk sceptisch ben.

De technologieën die Microsoft gebruikt, stellen serieuze, fundamentele uitdagingen, en tot dusver is Microsoft erg krenterig geweest over hoe (of als) ze deze hebben opgelost. Als ze ze niet hebben opgelost, is hun doel om binnen een jaar te verzenden zeer zorgwekkend. Het laatste dat VR en AR nodig hebben, is een groot bedrijf dat nog een halfbakken product zoals de Kinect verzendt. Herinner de Project Natal demo vanaf 2009?

Zonder verder oponthoud, hier zijn de vijf belangrijkste dingen die ik zou willen weten over de HoloLens.

Is dit een lichtveldweergave?

Om deze te begrijpen, moeten we wat dieper in 3D kijken en hoe het werkt. Om de sensatie van een echte, tastbare 3D-wereld te krijgen, integreren onze hersenen veel verschillende soorten informatie. We krijgen diepte-aanwijzingen over de wereld op drie primaire manieren:

• Stereo diepte - het verschil tussen wat onze beide ogen zien. Dit is hoe nep-films werken
• Motion parallax - subtiele bewegingen van ons hoofd en onze romp geven ons extra diepte-aanwijzingen voor objecten die verder weg zijn
• Optische focus - als we ergens op focussen, vervormen de lenzen van onze ogen fysiek totdat het in focus komt; objecten in de buurt van het veld vereisen meer lensvervorming, wat diepte-informatie geeft over waar we naar kijken

Optische focus is eenvoudig zelf uit te checken: sluit één oog en houd uw duim voor een muur in de kamer. Verplaats vervolgens uw focus van uw miniatuur naar het oppervlak erachter. Als je voorbij je duim kijkt, zal je duim onscherp worden omdat de lens van je oog nu minder vervormd is en het licht dat eruit komt niet goed kan opvangen.

VR-headsets zoals de Oculus Rift bieden de eerste twee signalen uiterst nauwkeurig, maar niet de laatste, wat verrassend goed uitpakt goed: onze ogen ontspannen standaard volledig, omdat de optiek de beelden scherpstelt, omdat het licht van oneindig ver komt weg. Het ontbreken van de optische focus is niet realistisch, maar leidt meestal niet af. Je kunt het nog steeds hebben erg coole game-ervaringen 5 Oculus Rift Gaming-ervaringen die je wegblazenNu de tweede generatie Oculus Rift-ontwikkelingskit uit is en in handen is van ontwikkelaars over de hele wereld, laten we eens kijken naar enkele van de beste dingen die de Rift tot nu toe hebben bereikt. Lees verder zonder het.

In augmented reality is het probleem anders, omdat je licht van echte en virtuele objecten moet mixen. Het licht van de echte wereld zal natuurlijk op verschillende diepten worden gericht. De virtuele inhoud zal echter allemaal worden gefocust op een vaste, kunstmatige afstand die door de optica wordt voorgeschreven - waarschijnlijk op oneindigheid. Virtuele objecten zien er niet uit alsof ze echt deel uitmaken van de scène. Ze zijn onscherp als je op dezelfde diepte naar echte dingen kijkt en omgekeerd. Het is niet mogelijk om je oog vloeiend over de scène te bewegen terwijl je het scherp houdt, zoals je normaal doet. De tegenstrijdige diepte-aanwijzingen zullen op zijn best verwarrend zijn en in het slechtste geval misselijk.

Om dit op te lossen, hebt u iets nodig dat een lichtveldweergave wordt genoemd. Lichtveldschermen zijn beeldschermen die een reeks kleine lenzen gebruiken om licht gericht op veel dieptes tegelijkertijd weer te geven. Hierdoor kan de gebruiker zich natuurlijk op het scherm concentreren en (voor augmented reality) lost het het hierboven beschreven probleem op.

Er is echter een probleem: lichtveldschermen brengen in wezen een enkel 2D-scherm in kaart op een driedimensionaal lichtveld, wat betekent dat elke “diepte pixel ”die de gebruiker waarneemt (en op een bepaalde scherptediepte in de scène bestaat) bestaat eigenlijk uit licht van vele pixels op het origineel Scherm. Hoe fijner de diepte die u wilt weergeven, hoe meer resolutie u moet opgeven.

Over het algemeen hebben lichtvelden ongeveer een achtvoudig resolutie afname om voldoende diepte precisie te geven. De beste beschikbare microdisplays hebben een resolutie van ongeveer 1080p. Uitgaande van één high-end microdisplay die elk oog aandrijft, zou dat de werkelijke resolutie van de headset van Microsoft slechts ongeveer 500 x 500 pixels per oog maken, zelfs minder dan de Oculus Rift DK1. Als het scherm een ​​hoog gezichtsveld heeft, zijn virtuele objecten onbegrijpelijke blobs van pixels. Als dit niet het geval is, zal de onderdompeling evenredig lijden. We zien nooit echt door de lens (alleen computerre-creaties van wat de gebruiker ziet), dus we hebben geen idee hoe de gebruikerservaring er echt uitziet.

Het is mogelijk dat Microsoft een nieuwe oplossing voor dit probleem heeft bedacht, om het gebruik van een lichtveldscherm mogelijk te maken zonder de afweging van de resolutie. Microsoft is echter uiterst terughoudend geweest met hun weergavetechnologie, waardoor ik vermoed dat ze dat niet hebben gedaan. Hier is de beste verklaring die we tot nu toe hebben gekregen (van de BEDRADE demo).

Om Project HoloLens-afbeeldingen te maken, stuiteren lichtdeeltjes miljoenen keren rond in de zogenaamde lichtmotor van het apparaat. Vervolgens komen de fotonen in de twee lenzen van de bril, waar ze tussen lagen blauw, groen en rood glas afketsen voordat ze de achterkant van je oog bereiken.

Dit soort beschrijving van de technologie kan vrijwel alles betekenen (hoewel, eerlijk gezegd, de hardware indruk maakte op WIRED, hoewel het artikel weinig details bevatte).

We weten pas zeker wanneer Microsoft technische specificaties begint te publiceren, waarschijnlijk over een paar maanden. Nog een opmerking over nit picking, is het echt nodig om het project te verdrinken in zoveel marketingtaal? De speciale processor die ze gebruiken voor het volgen van koppen wordt een 'holografische processor' genoemd en de afbeeldingen worden zonder enige reden 'hologrammen' genoemd. Het product is fundamenteel cool genoeg dat het echt niet nodig is om het zo te vergulden.

Is de tracking goed genoeg?

De Project HoloLens-headset heeft een camera met een hoge kijkhoekdiepte (zoals de Kinect), die hij gebruikt om erachter te komen waar de headset is in de ruimte (door te proberen het dieptebeeld dat het ziet uit te lijnen met zijn model van de wereld, samengesteld uit diepte uit het verleden afbeeldingen). Hier is hun live demo van de headset in actie.

De tracking is indrukwekkend aangezien het geen markeringen of andere cheats gebruikt, maar zelfs in die video (onder zwaar gecontroleerde omstandigheden), kunt u een zekere mate van wiebelen zien: de tracking is niet helemaal stabiel. Dat is te verwachten: dit soort inside-out tracking is extreem moeilijk.

Echter, de grote les van de verschillende prototypen van Oculus Rift Bekijk ons ​​en probeer de Oculus Rift Crescent Bay op CES 2015De Oculus Rift Crescent Bay is een gloednieuw prototype dat een aantal opwindende verbeteringen in virtual reality-technologie laat zien. We proberen het uit op CES 2015. Lees verder is dat de nauwkeurigheid van het volgen erg belangrijk is. Jittery tracking is alleen vervelend als het een paar objecten zijn in een grotendeels stabiele echte wereld, maar in scènes zoals de Mars-demo toonden ze in hun concept video, waarbij bijna alles wat u ziet virtueel is, kan onnauwkeurige tracking leiden tot een gebrek aan "aanwezigheid" in de virtuele scène of zelfs simulator ziekte. Kan Microsoft de tracking volgens de door Oculus vastgestelde standaard (sub-millimeter tracking-nauwkeurigheid en minder dan 20 ms totale latentie) op hun verzenddatum aan het einde van dit jaar krijgen?

Hier is Michael Abrash, een VR-onderzoeker die voor zowel Valve als Oculus heeft gewerkt, praten over het probleem

[Omdat er altijd een vertraging is bij het genereren van virtuele afbeeldingen, [...] is het erg moeilijk om virtuele en echte afbeeldingen zo nauwkeurig te registreren dat het oog het niet opmerkt. Stel dat je een echt colaflesje hebt dat je in een AR Pepsi-blik wilt veranderen door een Pepsi-logo over het Coke-logo te tekenen. Als het tientallen milliseconden duurt om het Pepsi-logo opnieuw te tekenen, zal het effect elke keer dat je je hoofd draait, zijn dat het Pepsi-logo lijkt een paar graden te verschuiven ten opzichte van het blik en een deel van het Coke-logo wordt zichtbaar; dan klikt het Pepsi-logo terug op de juiste plaats wanneer u stopt met bewegen. Dit is duidelijk niet goed genoeg voor harde AR

Kan het scherm zwart tekenen?

Een ander probleem naast scherptediepte en tracking heeft te maken met het tekenen van donkere kleuren. Meer licht toevoegen aan een scène is relatief eenvoudig met straalsplitsers. Licht uitdoen is een stuk moeilijker. Hoe verduistert u selectief delen van de echte wereld? Het plaatsen van een selectief transparant LCD-scherm zal het niet snijden, omdat het niet altijd de juiste focus kan hebben om te blokkeren waar je naar kijkt. De optische hulpmiddelen om dit probleem op te lossen, bestaan ​​niet, tenzij Microsoft ze in het geheim heeft uitgevonden.

Dit is belangrijk, want voor veel van de applicaties die Microsoft laat zien (zoals Netflix aan je muur kijken), heeft de headset echt nodig de mogelijkheid om het licht van de muur te verwijderen, anders heeft je film altijd een zichtbaar stucwerkpatroon erop: het zal zijn het is onmogelijk voor beelden om echte objecten in de scène te blokkeren, waardoor het gebruik van de headset sterk afhankelijk is van het omgevingslicht voorwaarden. Terug naar Michael Abrash:

Er is nog nooit zoiets opgedoken in de AR-industrie of literatuur, en tenzij en totdat het gebeurt, kan harde AR, in de SF-zin die we allemaal kennen en liefhebben, niet gebeuren, behalve in de duisternis.

Dat betekent niet dat AR van tafel is, maar dat het een tijdje zachte AR zal zijn, gebaseerd op additieve menging […] Nogmaals, denk doorschijnend als "Ghostbusters". Virtuele beelden met hoge intensiteit zonder donkere gebieden zullen ook werken, vooral met de hulp van regionale of wereldwijde verduistering - ze zien er gewoon niet uit als onderdeel van het echte wereld.

Hoe zit het met occlusie?

'Occlusie' is de term voor wat er gebeurt als het ene object voor het andere langskomt en je niet meer ziet wat erachter zit. Om virtuele landschappen een tastbaar deel van de wereld te laten voelen, is het belangrijk dat echte objecten virtueel worden afgesloten objecten: als u uw hand voor een stuk virtueel beeld houdt, mag u het niet door uw hand. Door het gebruik van een dieptecamera op de headset is dit eigenlijk mogelijk. Maar bekijk de live demo opnieuw:

Over het algemeen regelen ze de camerahoeken zorgvuldig om te voorkomen dat echte objecten voorbij virtuele objecten passeren. Wanneer de demonstrator echter interactie heeft met het Windows-menu, kun je zien dat haar hand het helemaal niet afsluit. Als dit buiten het bereik van hun technologie ligt, is dat een heel slecht teken voor de levensvatbaarheid van hun consumentenproduct.

En over die gebruikersinterface gesproken ...

Is dit echt de laatste gebruikersinterface?

De gebruikersinterface die Microsoft in hun demovideo's laat zien, lijkt te werken door een combinatie van blik en hand te gebruiken tracking om een ​​cursor in de virtuele scène te besturen, terwijl u spraakbesturing gebruikt om tussen verschillende te selecteren opties. Dit heeft twee grote nadelen: je ziet eruit als het kleine kind in de Shining dat tegen zijn vinger praat, maar wat nog belangrijker is, het vertegenwoordigt ook een fundamenteel gebrekkig ontwerpparadigma.

Historisch gezien waren de beste gebruikersinterfaces degene die fysieke intuïties over de wereld in de virtuele wereld brengen. De muis bracht klikken, slepen en vensters. Aanraakinterface bracht vegen om te scrollen en knijpen om te zoomen. Beide waren van cruciaal belang om computers toegankelijker en nuttiger te maken voor de algemene bevolking - omdat ze fundamenteel intuïtiever waren dan voorheen.

VR en AR geven je als ontwerper veel meer vrijheid: je kunt UI-elementen overal op een 3D-ruimte plaatsen en de gebruikers er op natuurlijke wijze mee laten communiceren, alsof het fysieke objecten zijn. Een groot aantal voor de hand liggende metaforen suggereert zichzelf. Raak een virtueel UI-element aan om het te selecteren. Knijp eraan, pak het op en verplaats het. Schuif het uit de weg om het tijdelijk op te bergen. Verpletter het om het te verwijderen. U kunt zich voorstellen dat u een gebruikersinterface bouwt die zo intuïtief is dat er geen uitleg voor nodig is. Iets dat je grootmoeder meteen kan oppikken, omdat het is gebouwd op een basis van fysieke basisintuïties die iedereen opbouwt gedurende een leven lang interactie met de wereld. Neem even de tijd en luister naar deze slimme persoon die beschrijft wat immersieve interfaces kunnen zijn.

Met andere woorden, het lijkt mij (voor de hand liggend) dat een immersieve gebruikersinterface zou moeten zijn minstens even intuïtief als de touch-interfaces van de iPhone voor 2D multitouch-schermen. Het bouwen van een interface rond het manipuleren van een VR-muis is een stap achteruit en legt beide diepgaande technologische aspecten bloot tekortkomingen in hun handvolgtechnologie of een fundamenteel misverstand over wat interessant is aan dit nieuwe medium. Hoe dan ook, het is een heel slecht teken dat dit product meer is dan een kolossale Kinect-flop.

Hopelijk heeft Microsoft tijd om hierover feedback te krijgen en het beter te doen. Hier is bijvoorbeeld een interface ontworpen door een hobbyist voor de Oculus Rift DK2 en de Leap Motion. Een meeslepende gebruikersinterface die door een groot bedrijf is ontworpen, zou in ieder geval zo goed moeten zijn.

Een teken van wat komen gaat

Over het algemeen ben ik uiterst sceptisch over het HoloLens-project als geheel. Ik ben erg blij dat een bedrijf met de middelen van Microsoft dit probleem onderzoekt, maar ik maak me zorgen dat ze dat wel zijn proberen een product te overhaasten zonder enkele essentiële onderliggende technische problemen op te lossen, of een goede gebruikersinterface vast te stellen paradigma. De HoloLens is een teken van wat komen gaat, maar dat betekent niet dat het product zelf de consument een goede ervaring gaat bieden.

Image Credit: met dank aan Microsoft