Kan Virtual Reality het snoer doorsnijden?

Advertentie

Laten we geen blad voor de mond nemen: ik ben zichtbaar opgewonden door die van Valve nieuwe Virtual Reality-headset Valve & HTC kondigen nieuwe VR-headset aan voor kerst 2015De nieuwe VR-headset van Valve is de beste die de wereld ooit heeft gezien. Heeft Oculus een kans? Lees verder .

De Vive, gemaakt in samenwerking met HTC, biedt een perfecte tracking van je hoofd en twee controllers, een comfortabele resolutie van 2160 x 1200 en een ultrascherp OLED-scherm van 90 Hz. Haar komt dit jaar uiten het biedt interactieve VR-ervaringen die zorgen voor een langdurig gevoel van fysieke aanwezigheid in de virtuele scène.

Bekijk deze video van "The Gallery", een VR-game die op de Vive wordt gespeeld om een ​​idee te krijgen van hoe goed de tracking is.

De uitdaging van free-roaming virtual reality

De Vive is fantastisch. Als je echter de recensies leest van de prototype-headsets die binnen druppelen, begin je dat op te merken een specifieke klacht blijft opduiken.

Venture Beat:

"Tijdens mijn proef met het prototype droeg ik een riem om een ​​bundel koorden uit de weg te houden - en nu ik erover nadenk, Valve moet iemand hebben gehad die met me rondliep om er zeker van te zijn dat ik niet struikelde over de speling die ik veroorzaakte terwijl ik rond de kamer."

instagram viewer

PC MAG:

"Omdat het een volledig interactieve, rondlopende ervaring is, moet je de meubels uit het midden van een kamer opruimen en proberen niet over de kabel terug te lopen naar de pc."

Gizmodo:

"En dat is waarschijnlijk het belangrijkste zwakke punt van de HTC Vive. Het is als The Matrix dat voelt echt aan, maar ook omdat je op een pc wordt aangesloten met een kabel die uit de achterkant van je hoofd komt. Dat zal af en toe je vrije beweging beperken en is soms (maar niet vaak, naar mijn ervaring) een struikelgevaar. Het is niet een heel groot probleem maar toch merkbaar. ”

Een deel hiervan is omdat de headset een prototype is met vijf kabels (de consumentenversie zou er maar één moeten hebben, een gecombineerd USB- en HDMI-snoer dat de headset op de pc aansluit). Het probleem lijkt echter fundamenteel te zijn voor bedrade headsets waarmee je vrij kunt lopen Bekijk ons ​​en probeer de Oculus Rift Crescent Bay op CES 2015De Oculus Rift Crescent Bay is een gloednieuw prototype dat een aantal opwindende verbeteringen in virtual reality-technologie laat zien. We proberen het uit op CES 2015. Lees verder . Snoeren vormen een struikelgevaar en zijn ook gewoon een spelbreker. Ze voorkomen dat je je VR-apparaat de kamer uit haalt, laat staan ​​het huis.

Dit wordt een groter probleem als we VR gaan gebruiken als basisinterface voor onze besturingssystemen.

We hadden al heel lang geen pc voordat we een mobiele versie van de ervaring wilden (laptops, smartphones en tablets). VR zal op dezelfde manier zijn, vooral nu we augmented reality-functies beginnen te integreren in de trant van de Microsoft HoloLens 8 Real-World-toepassingen voor Microsoft HoloLensHoloLens van Microsoft is cool, maar waar ga je het eigenlijk voor gebruiken? We lopen de meest opwindende mogelijkheden op. Lees verder .

Helaas blijkt dat het loskoppelen van VR-headsets van pc's een grote technologische uitdaging is en dat we nog steeds niet weten hoe we deze moeten oplossen. Er zijn echter twee veelbelovende technologieën aan de horizon die kunnen helpen het probleem op te lossen.

Oplossing # 1: pc-streaming

Een voor de hand liggende benadering van het programma is om uw pc te gebruiken om de virtuele wereld weer te geven en vervolgens de gerenderde afbeeldingen via WiFi naar de headset te streamen (zoals Steamlink, die games van je pc naar je tv streamt). Het probleem met deze aanpak is latentie. In virtual reality wil je de vertraging tussen het bewegen en het zien van die beweging op het scherm minimaliseren. Over het algemeen wordt aangenomen dat de sweet spot minder dan 20 milliseconden bedraagt.

Moderne videostreaming kan tot minder dan een milliseconde latentie bedragen, wat een goed begin is. Helaas is een ongecomprimeerde 1440p 90hz videostream bijna 8 gigabit per seconde aan gegevens. WiFi-routers voor consumenten kunnen ongeveer 100 megabits aan. Zelfs de allerbeste industriële routers halen het maximale uit ongeveer 800 megabits, acht keer minder dan nodig is. Om dit op te lossen, moet u de afbeeldingen comprimeren voordat u ze verzendt. Het compressie- en decompressieproces voegt hieraan toe 80 ms van latentie, welke zullen je ziek maken.

Er zijn een paar mogelijke oplossingen voor dit probleem:

Bandbreedteverbeteringen

Een benadering is om te proberen de hoeveelheid beschikbare bandbreedte te vergroten. 5G-netwerken, die over vijf jaar beschikbaar zullen zijn, kunnen snelheden van ongeveer één terabit per seconde mogelijk maken, wat futuristische 8K HMD's zonder compressie aankan. Op de kortere termijn, Li-Fi (een internettechnologie gebaseerd op snel pulserende LEDS) zou overdrachtssnelheden van 10 GB / s bij zeer lage latenties mogelijk maken, wat zou zorg voor draadloze versies van de huidige generatie VR-headsets in de komende jaren, hoewel de technologie niet beschikbaar is voor consumenten nog.

Dit is waarschijnlijk de beste oplossing voor het probleem, maar het zal minstens een jaar of twee niet beschikbaar zijn voor consumenten, kan duur zijn en de resolutie zal waarschijnlijk achterblijven bij de beste bekabelde headsets tot de juiste 5G-netwerken aankomen.

Lokale kromtrekken

Een meer complexe optie zou zijn om de latentie van 80 ms te accepteren en daar achteraf voor te proberen te corrigeren door het oude beeld naar de nieuwe hoofdpositie te vervormen. Dit levert nog steeds enige input lag op, maar niet het misselijkmakende soort hoofdbeweging.

De standaardbenadering van dit soort problemen is asynchrone time-warp, die gegevens van de pc verzamelt en vervormt met een kleine GPU op de headset om de oude afbeelding vanuit een nieuw perspectief weer te geven, waardoor de headset ondanks de hoge latentie vloeiend kan worden bijgewerkt.

Op het eerste gezicht klinkt dit als een magische kogel. Helaas zijn er enkele grote vangsten. Om Michael Antonov te citeren, een Oculus-onderzoeker,

“Positionele trillingen zijn een van de meest voor de hand liggende artefacten met alleen oriëntatie-tijdwarp. Wanneer u uw hoofd beweegt, wordt alleen de extra rotatiecomponent weerspiegeld in de door ATW gegenereerde afbeeldingen, terwijl elke translatiekopbeweging sinds het frame is gerenderd, wordt genegeerd. Dit betekent dat wanneer u uw hoofd van links naar rechts beweegt, of zelfs gewoon uw hoofd draait wat uw ogen vertaalt, u trillingen met meerdere beelden zult zien op objecten die zich dichtbij u bevinden.

[…]

Een mogelijke manier om positionele trillingen aan te pakken, is door volledige positionele kromming te implementeren, die zowel vertaling- als oriëntatiecorrecties toepast op het originele gerenderde frame. Bij positionele kromming moet rekening worden gehouden met de diepte van het origineel weergegeven frame, waarbij delen van de afbeelding met verschillende hoeveelheden worden verplaatst. Een dergelijke verplaatsing genereert echter disocclusie-artefacten aan de randen van objecten, waar delen van de ruimte worden blootgelegd die geen gegevens bevatten in het oorspronkelijke frame. "

Er zijn verschillende technieken voor het verzinnen van gegevens om de gaten te vullen die zijn gemaakt door positionele tijdwarp, maar ze laten allemaal artefacten achter en degenen die de minste artefacten achterlaten, zijn de meest computationele duur. Het probleem is vergelijkbaar met dat waarmee ze worden geconfronteerd probeert VR-diepte-video weer te geven VR staat op het punt het filmmaken voor altijd te veranderen: hier is hoeVirtual reality is een nieuwe manier van communiceren met je kijker en veel mensen met een achtergrond in traditioneel filmmaken vinden de mogelijkheden spannend. Lees verder .

Om dit probleem perfect op te lossen, moeten ontwikkelaars een manier vinden om extra gegevens te verzenden om de gaten op te vullen. Een paar mogelijke benaderingen:

• Render-field- en near-field-objecten afzonderlijk weergeven en beide afbeeldingen streamen
• Geef een licht veld, die opnieuw kan worden geprojecteerd door grote hoofdverschuivingen zonder disocclusie
• Ontwikkel uiterst geavanceerde hoofdbewegingsmodellen en gebruik voorspelling om disocclusiefouten te minimaliseren

Het is niet duidelijk wat hier de beste oplossing is. Geen van de benaderingen die we kennen is perfect en sommige vereisen meer onderzoek. Uitzoeken of re-projectie een goed idee is, komt neer op hoeveel we de artefacten kunnen minimaliseren. Het is een veelbelovende mogelijkheid, maar er zijn veel onbeantwoorde vragen.

Oplossing # 2: lokale weergave

Een heel andere strategie is om de pc te vergeten en lokaal op de headset te renderen. Dit is hoe Microsoft's HoloLens en Samsung's Gear VR werken. Er is niet veel bekend over de HoloLens Vijf vragen over Microsoft's "Project HoloLens"De nieuwe Augmented Reality-headset van Microsoft is erg spannend - maar kunnen ze de fundamentele problemen van AR oplossen? Lees verder , maar de Gear VR heeft een aantal ernstige beperkingen. De mobiele GPU kan een aantal bescheiden VR-ervaringen aan (met intensieve optimalisatie), maar nauwelijks. Warmtebeheer is een probleem, stijgen de resolutie en vernieuwingsfrequentie niet naar het niveau dat nodig is voor aanwezigheid in de scène, en de headset heeft geen positionele tracking. Een deel hiervan is te wijten aan de beperkingen van mobiele technologie en zal binnenkort beter worden, gesteund door het tij van de wet van Moore.

Sommige van deze problemen zijn echter het gevolg van het moeten engineeren rond een smartphone die niet is ontworpen voor VR. Als je vanaf nul een mobiele VR-headset zou bouwen, zou je veel dingen anders kunnen doen. Ontwerpers zouden twee geavanceerde mobiele GPU's kunnen hebben, een scherm met een zeer hoog vernieuwingsniveau en een grote batterij. Ze kunnen ook componenten spreiden voor een betere gewichtsverdeling en warmtebeheer. De resulterende vormfactor lijkt misschien veel op de Sony Morpheus.

Of, als ingenieurs ambitieus wilden worden, zouden ze iets meer als mini-pc kunnen bouwen: een klein draagbaar blok computronium met een of meer laptop-GPU's, een ventilator en een grote batterij. Dit apparaat zou een vormfactor hebben die lijkt op een Walkman en zou een HMD via één kabel aansturen.

De huidige NVIDIA-vlaggenschip GPU, de GTX 980, die Oculus intern gebruikt, is slechts ongeveer 40% sneller dan zijn mobiele tegenhanger, de 980M, en dat is het klein. Het is waarschijnlijk mogelijk om er twee in een heuptasje te passen, met ruimte voor de rest van het lef van een kleine mobiele pc.

Opmerking voor hardware-ontwikkelaars: sta de pers in geen geval toe uw product te omschrijven als een 'heuptasje'.

Deze vormfactor zou zwaarder zijn dan een op zichzelf staande headset, om nog maar te zwijgen van de dure kosten - wiskunde aan de achterkant suggereert een prijs van ongeveer $ 2500. Het is mogelijk dat moderne consumenten niet geïnteresseerd zijn in producten die log zijn. Het is echter de enige manier waarop een mobiele VR-headset prestaties levert die concurrerend zijn met PC VR, en ik vermoed dat hardcore gamers en andere onherstelbare zaken ervoor zullen gaan. Er is een lange geschiedenis van nerds die voorop lopen in de technologie door bereid te zijn producten te dragen waardoor ze er belachelijk uitzien.

Op dit moment hebben mobiele headsets het onvermogen om positionele tracking te bieden, waardoor een misselijkmakend gevoel ontstaat dat de wereld aan je romp is gehecht wanneer je probeert te bewegen. Dit probleem kan echter binnenkort worden opgelost. Op korte termijn, Valve’s "Lighthouse" positionele volgtechnologie is een geweldige oplossing: de laserprojectoren zijn dom, wat betekent dat ze kunnen worden betegeld om grote ruimtes te dekken en dat ze veel apparaten tegelijk kunnen bedienen. Als gevolg hiervan kan het volgen van vuurtorens in de komende jaren een goedkope dienst worden die huizen en bedrijven bieden, net zoals WiFi tegenwoordig is, zodat u mobiele VR-hardware in de meeste binnenruimtes kunt gebruiken spaties.

Op de langere termijn, naarmate dieptecamera's verbeteren in resolutie en ruisniveau, zou het mogelijk moeten worden om ze te gebruiken voor positionele tracking, met voldoende precisie om een ​​gevoel van VR-aanwezigheid te creëren. Dit zorgt voor op zichzelf staande VR-producten die geschikt zijn voor gebruik buitenshuis en augmented reality.

De toekomst van mobiele VR

Op de lange termijn zijn mobiele headsets waar VR-technologie naartoe gaat.

We kunnen de wet van Moore uitrekenen door uit te zoeken hoeveel verdubbelingen we verwijderd zijn van het kunnen weergeven van fotorealistische virtuele werelden op mobiele apparaten. High-end pc's zijn misschien vijf verdubbelingen (een andere consolegeneratie) verwijderd van het kunnen leveren van fotorealistische spelervaringen met 1080p. Voor VR hebben we één verdubbeling nodig voor 3D en nog drie om te renderen met de 8K per oog die nodig is om onscherpte en het schermdeureffect te elimineren. Om rekening te houden met het mobiele platform, hebben we nog ongeveer vier verdubbelingen nodig om high-end pc's in te halen.

Als je alle verdubbelingen bij elkaar optelt en vermenigvuldigt met de achttien maanden die door de wet van Moore worden voorgeschreven, krijg je ongeveer twintig jaar (2035), wat de waarop niemand het verschil kan zien tussen een VR-scène die wordt weergegeven op een smartphone en een scène die wordt weergegeven op een geavanceerde gaming-pc. Op dat moment is er geen reden meer om ooit een pc-gestuurde headset te gebruiken.

Totdat die dag komt, vermoed ik dat we een tijdje zowel bedrade als draadloze VR pc-gestuurde VR-headsets zullen zien. Draadloze headsets zullen handiger zijn, maar bedrade headsets bieden een betere resolutie - tenminste tot 5G-netwerken volledig volgroeid zijn.

Aan de andere kant van de kloof zullen mobiele headsets blijven verbeteren en het marktaandeel van de pc wegnemen naarmate we verder glijden genoeg in de richting van dalende rendementen, waarbij steeds meer mensen bereid zijn een bescheiden hoeveelheid trouw op te offeren flexibiliteit. De concurrentie zal hevig zijn en hopelijk goed voor de consument. Persoonlijk kan ik niet wachten.

Opgewonden voor draadloze headsets? Kent u een technologie die we hebben gemist? Laat het ons weten in de comments!

Afbeeldingscredits: Barone Firenze Via Shutterstock, "Recording Isan’s ...", door Edvvc, "Phubby, ”Door Kevin Lin,“ HTC VR ”, door HTC,“Steam Link"Door Valve"De wet van Moore, ”Door Wikimedia