Wat is de R1-chip van Apple en hoe verhoudt deze zich tot M1 en M2?

De Vision Pro brengt nieuw Apple-silicium, de R1-chip, speciaal voor realtime gegevensverwerking van alle ingebouwde sensoren. Het is verantwoordelijk voor oog-, hand- en hoofdtracking, vertragingsvrije weergave van de gebruikersomgeving in video passthrough-modus en andere visionOS-functies.

Door de verwerkingslast van de hoofdprocessor te ontlasten en de prestaties te optimaliseren, vermindert de R1 reisziekte tot onmerkbare niveaus, of u de headset nu gebruikt in augmented reality of virtual reality modus. Laten we eens kijken hoe de Apple R1-chip werkt en zich verhoudt tot de belangrijkste M2-chip, de Vision Pro-functies die deze mogelijk maakt en meer.

Wat is de R1-chip van Apple? Hoe werkt het?

De Apple R1, niet de belangrijkste M2-chip, verwerkt een continue stroom van real-time datafeed naar de Vision Pro door zijn twaalf camera's, vijf sensoren en zes microfoons.

Twee externe hoofdcamera's leggen uw wereld vast en sturen elke seconde meer dan een miljard pixels naar de 4K-schermen van de headset. Bovendien volgen een paar camera's aan de zijkant, samen met twee camera's aan de onderkant en twee infraroodstralers, handbewegingen vanuit een breed scala aan posities, zelfs bij weinig licht.

De naar buiten gerichte sensoren omvatten ook de LiDAR-scanner en de TrueDepth-camera van Apple die a dieptekaart van uw omgeving, waardoor Vision Pro digitale objecten nauwkeurig in uw omgeving kan positioneren ruimte. Aan de binnenkant volgen een ring van leds rond elk scherm en twee infraroodcamera's je oogbewegingen, wat de basis vormt van visionOS-navigatie.

De R1 is belast met het verwerken van gegevens van al die sensoren, inclusief de traagheidsmeeteenheden, met onmerkbare vertraging. Dit is van het grootste belang om de ruimtelijke ervaring soepel en geloofwaardig te maken.

Hoe verhoudt de Apple R1 zich tot M1 en M2?

De M1 en M2 zijn processors voor algemeen gebruik die zijn geoptimaliseerd voor Mac-computers. De R1 is een coprocessor met een smalle focus die is ontworpen om soepele AR-ervaringen te ondersteunen. Het doet zijn werk sneller dan de M1 of M2, waardoor voordelen als een vertragingsvrije ervaring mogelijk zijn.

Apple heeft niet gespecificeerd hoeveel CPU- en GPU-cores de R1 heeft, noch de CPU-frequentie en de RAM gedetailleerd, waardoor een directe vergelijking tussen de R1, M1 en M2 moeilijk is.

De belangrijkste domeinen van de R1 zijn oog- en hoofdtracking, handgebaren en real-time 3D-mapping via de LiDAR-sensor. Door die rekenintensieve bewerkingen te ontlasten, kan de M2 ​​de verschillende visionOS-subsystemen, algoritmen en apps efficiënt uitvoeren.

De belangrijkste kenmerken van de R1-chip van de Vision Pro

De R1 heeft deze belangrijke mogelijkheden:

• Snelle verwerking: De gespecialiseerde algoritmen en beeldsignaalverwerking in de R1 zijn geoptimaliseerd voor het begrijpen van sensor-, camera- en microfooningangen.
• Lage latentie: Geoptimaliseerde hardware-architectuur resulteert in een zeer lage latentie.
• Energie-efficiëntie: Dankzij de effectieve geheugenarchitectuur en het 5nm-productieproces van TSMC verwerkt de R1 een bepaalde reeks taken met een minimaal energieverbruik.

Aan de andere kant dragen het dual-chip-ontwerp van de Vision Pro en de verfijning van de R1 bij aan de hoge prijs van de headset en de batterijduur van twee uur.

Welke voordelen brengt de R1 naar de Vision Pro?

De R1 maakt nauwkeurige oog- en handtracking mogelijk die "gewoon werkt". Om bijvoorbeeld door visionOS te navigeren, richt je je blik op knoppen en andere elementen.

De Vision Pro maakt gebruik van handgebaren om items te selecteren, te scrollen en meer. Dankzij de verfijning en precisie van eye- en hand-tracking hebben de technici van Apple een headset voor gemengde realiteit kunnen maken waarvoor geen fysieke controllers nodig zijn.

De volgprecisie en minimale vertraging van de R1 maken extra functies mogelijk, zoals typen in de lucht op het virtuele toetsenbord. De R1 zorgt ook voor betrouwbare head-tracking - cruciaal voor het creëren van een ruimtelijk computercanvas rondom de gebruiker. Nogmaals, precisie is hier de sleutel: je wilt dat alle AR-objecten hun positie behouden, ongeacht hoe je je hoofd kantelt en draait.

Ruimtelijk inzicht is een andere factor die bijdraagt ​​aan de beleving. De R1 neemt dieptegegevens van de LiDAR-sensor en de TrueDepth-camera en voert real-time 3D-mapping uit. Door diepte-informatie kan de headset zijn omgeving begrijpen, zoals muren en meubels.

Dit is op zijn beurt belangrijk voor AR-persistentie, wat verwijst naar de vaste plaatsing van virtuele objecten. Het helpt Vision Pro ook om de gebruiker te informeren voordat ze tegen fysieke objecten botsen, waardoor het risico op ongevallen in AR-toepassingen wordt verminderd.

Hoe vermindert de R1 Sensor Fusion AR-bewegingsziekte?

Het ontwerp met twee chips van de Vision Pro ontlast sensorverwerking van de hoofd-M2-chip, waarop het visionOS-besturingssysteem en de apps draaien. Volgens de Vision Pro-persberichtstreamt de R1 beelden van de externe camera's naar de interne beeldschermen binnen 12 milliseconden, of acht keer sneller dan een oogwenk, waardoor vertraging wordt geminimaliseerd.

Vertraging verwijst naar de latentie tussen wat de camera's zien en de beelden die worden weergegeven op de 4K-schermen van de headset. Hoe korter de vertraging, hoe beter.

Bewegingsziekte treedt op wanneer er een waarneembare vertraging is tussen de invoer die uw hersenen van uw ogen ontvangen en wat uw binnenoor waarneemt. Het kan in veel situaties voorkomen, ook in een pretpark, op een boot of cruise, tijdens het gebruik van een VR-apparaat enz.

VR kan mensen ziek maken als gevolg van zintuiglijke conflicten, resulterend in symptomen van bewegingsziekte zoals desoriëntatie, misselijkheid, duizeligheid, hoofdpijn, vermoeide ogen, zitten, braken en andere.

VR kan ook slecht zijn voor je ogen vanwege vermoeide ogen, waarvan de symptomen pijnlijke of jeukende ogen, dubbel zien, hoofdpijn en een zere nek zijn. Sommige mensen kunnen een of meer van dergelijke symptomen enkele uren voelen nadat ze de headset hebben afgezet.

Als vuistregel geldt dat een VR-apparaat het scherm minstens 90 keer per seconde (FPS) moet verversen en dat de schermvertraging minder dan 20 milliseconden moet zijn om te voorkomen dat mensen bewegingsziek worden.

Met de vermelde vertraging van slechts 12 milliseconden, vermindert de R1 de vertraging tot een onmerkbaar niveau. Hoewel de R1 de effecten van bewegingsziekte helpt minimaliseren, meldden sommige Vision Pro-testers symptomen van bewegingsziekte na het dragen van de headset gedurende meer dan 30 minuten.

Gespecialiseerde Apple Silicon Coprocessors bieden grote voordelen

Apple is geen onbekende voor gespecialiseerde processors. In de loop der jaren heeft het siliciumteam mobiele en desktop-chips geproduceerd waar de industrie jaloers op is.

Apple-siliciumchips zijn sterk afhankelijk van gespecialiseerde coprocessors om specifieke functies te verwerken. Zo beheert de Secure Enclave veilig biometrische en betalingsgegevens, terwijl de Neural Engine AI-functies versnelt zonder de batterij kapot te maken.

Het zijn perfecte voorbeelden van wat kan worden bereikt door een zeer gefocuste coprocessor te hebben voor de juiste set taken versus de hoofdprocessor voor alles gebruiken.