Lume Pad 2: AI-aangedreven 3D-tablet is geweldig en raar

De beschrijving van de Lume Pad 2 klinkt alsof iemand een heleboel modewoorden bij elkaar heeft gegooid: het is een AI-aangedreven 3D-tablet!

Maar wat betekent dat eigenlijk? Wat de AI betreft, deze beschikt over zowel AI op het apparaat om foto's en video's te analyseren en ze vervolgens naar 3D te converteren, als generatieve cloud-AI om 3D-scènes te maken op basis van tekstprompts. En het 3D-gedeelte? Dat klopt ook: het is een 3D-display zonder bril. Echte, echte 3D, met een uniek beeld dat naar elk oog wordt gestraald.

Dit is de Lume Pad 2 van een bedrijf genaamd Leia (ja, zoals de Star Wars-prinses). Het is het meest unieke en fascinerende dat ik in lange tijd heb gezien, maar ik ben er niet van overtuigd dat het een markt heeft die verder gaat dan een handvol gespecialiseerde industrieën.

3D-weergave zonder bril

De kern van het apparaat is een unieke eigen weergavetechnologie ("Light Field") die een enkele kijker om ondersteunde applicaties in een echte 3D-weergave te zien zonder extra bril of een hoofdtelefoon. Hoe het precies werkt, wordt niet onthuld, maar het is waarschijnlijk een variant van lenticulaire lenzen - het soort dat je als kind in cornflakespakjes zou krijgen. Terwijl je de scène verplaatste, zou het doorschijnende prisma aan de voorkant een ander deel van de achtergrondafbeelding naar je ogen richten, waardoor het leek alsof de scène aan het veranderen was. De Lume Pad 2 laat op elk moment twee beelden zien, maar de speciale schermlaag in combinatie met twee naar voren gerichte camera's voor head- en eye-tracking zorgt ervoor dat elk oog er maar één ziet. Wanneer je hersenen ze combineren, kun je een 3D-scène zien.

Het kan heel magisch zijn om persoonlijk te zien ("Whhhaaaaaaat", riep mijn zoon uit, "Papa, het komt uit het scherm. Wat? Hoe? Wat?!")

Bovendien is de Lume Pad 2 een Android-tablet boordevol aangepaste software waarmee je 3D-afbeeldingen en -video's kunt maken of AI kunt gebruiken om bestaande video's om te zetten in 3D.

De Hardware

De Lume Pad 2 heeft een 12,4-inch IPS-scherm met een verversingssnelheid van 120 Hz en 2560 x 1600 pixels, met een pixeldichtheid van 244 PPI en een verhouding van 16:10. In de 3D-modus is het echter veilig om aan te nemen dat de resolutie gehalveerd is.

Als we alle mooie 3D-dingen even zouden vergeten en ik zou dit gewoon evalueren als een Android-tablet, dan zou ik vooral onder de indruk zijn. Het is een mooi solide metalen chassis, voelt goed aan en er is een aangename haptische feedback tijdens het typen. De optionele hoes klikt magnetisch vast en maakt enkele leeshoeken mogelijk.

De Android 12-interface is pittig en afgezien van de vooraf geïnstalleerde software is het een standaard Google Android-tablet waar niet al te veel maatwerk aan is gedaan.

Kortom: het is een mooie tablet, zeker een van de beste Android-tablets waarmee ik tot nu toe heb gespeeld. Je kunt het gebruik buitenshuis echter vergeten; met een maximale helderheid van 450 nits in 2D-modus en 300 nits in 3D, is dit alleen voor gebruik binnenshuis.

Ook vind je dubbele 16MP-camera's aan de achterkant, waarmee je 3D-foto's en -video's rechtstreeks op het toestel kunt maken. In tegenstelling tot de meeste 3D-camera's, zijn ze niet uit elkaar geplaatst zoals menselijke ogen zouden zijn. De meeste camera's die bedoeld zijn om een ​​3D-effect voor het menselijk oog vast te leggen, hebben lenzen met een onderlinge afstand van ongeveer 63 mm uit elkaar - hetzelfde als de gemiddelde mens - waardoor een nauwkeurig 3D-effect wordt waargenomen zoals bedoeld kijker. Maar met de Lume Pad 2 is er wat tovenarij op het apparaat die de diepte in realtime extrapoleert.

De tablet wordt aangedreven door de Qualcomm Snapdragon 888-chipset, met 8 GB RAM en 128 GB UFS 3.1-opslag. Je kunt via een microSD-slot uitbreiden met kaarten tot 2 TB, wat je snel wilt doen als je van plan bent die camera goed te gebruiken of je eigen media offline wilt afspelen.

De software

Naast het magische 3D-scherm zonder bril, komt de echte waarde van de Lume Pad 2 uit de ingebouwde aangepaste software.

LeiaPlayer is een alles-in-één mediaviewer, voor je eigen 3D-filmrol, en een mooie verzameling voorbeeldafbeeldingen. Tik bovendien naar het tabblad Leia Link en je hebt toegang tot inhoud waarvan je hebt geüpload een gewone smartphone met de Leia Link-app, waar hun software vervolgens op magische wijze in kan veranderen 3D. Het werkt meestal, maar alleen op scènes waar de diepte duidelijk is. Ik probeerde het met een familiefoto van zittend in een paar skelters, en de diepte was helemaal verkeerd. Leia Player kan VR180 en side-by-side (SBS) geformatteerde video's afspelen, hoewel u dit vaak moet specificeren. Ik probeerde een video in SBS-formaat te bekijken en om eerlijk te zijn was de diepte erg zwak en was er geen geluid. Ik vermoed dat er codec-problemen waren. LeiaPlayer is zeker niet op hetzelfde niveau als VLC als het gaat om willekeurige codecs, dus dat was een beetje een mislukking. Zelfs als het wel geluid zou hebben, zou ik niet de moeite hebben genomen. Ik denk dat een VR-headset voor de helft van de prijs het veel beter zou doen.

LeiaPix is een app voor sociale netwerken voor het delen en bekijken van 3D-foto's van anderen. Boor in op een specifieke hashtag of onderwerp en je zult merken dat de inhoud schaars is, maar het is een eenvoudige manier om willekeurige 3D-afbeeldingen te bekijken. De kwaliteit varieert, dus het is mogelijk dat deze zijn gemaakt met de oudere versie van de Lume Pad.

LeiaChat stelt je in staat om in 3D te chatten met andere Lume Pad 2-gebruikers, in 3D, voor wanneer standaard Zoom-oproepen gewoon niet meer volstaan. Beide uiteinden hebben natuurlijk een Lume Pad nodig.

Leia Droom is een generatieve 3D-kunst-app. Ik neem aan dat het een aangepaste versie van StableDiffusion is, maar het kan volledig eigen zijn. Hoe dan ook, het stelt je in staat om een ​​tekstprompt in te typen en een aangepaste 3D-afbeelding te krijgen. Het is nog lang niet het niveau van realisme van Midjourney, en als cloudservice wordt uw account geleverd met genoeg voor het genereren van ongeveer 250 afbeeldingen - daarna moet u meer credits kopen.

LeiaViewer is een 3D-modelviewer met een handvol meegeleverde modellen en integratie met Sketchfab als u meer wilt of kunt bekijken je eigen creaties (hoewel alleen een standaard Sketchfab e-mail login wordt ondersteund, niet als je je hebt aangemeld via een social aanbieder). Dit is waarschijnlijk de meest overtuigende use-case voor de Lume Pad 2, waarbij 3D-modellen duidelijk een goede match zijn voor de brilloze weergavetechnologie. U kunt kantelen, roteren, zoomen, enz., en de diepte van het 3D-effect regelen.

LeiaTube is een YouTube- en Vimeo-viewer. Open het en je ziet een selectie van inhoud, hoewel zelfs de native SBS 3D-geformatteerde inhoud door het AI-conversie-algoritme moet worden geleid. Je kunt ook een video van de standaard YouTube-app rechtstreeks naar hier delen en deze wordt automatisch geconverteerd voor weergave in 3D. Ik heb het geprobeerd met een van mijn eigen beoordelingen, en om eerlijk te zijn, het was niet zo geweldig. Het effect was lang niet zo uitgesproken en ook niet zo nauwkeurig als ik had gehoopt; er waren hier en daar zeker wat glitches, met vage randen rond objecten waar het kon zien wat de diepte zou moeten zijn.

Dat zijn veel ingebouwde apps, en er is ook een Leia-appstore. Het is echter een beetje schaars, met misschien vier games in totaal. Realistisch gezien is het onwaarschijnlijk dat u veel ontwikkelaars aan boord krijgt voor zo'n kleine markt, tenzij het een first-party titel van Leia Inc is. Je kunt niet zomaar bestaande games nemen en ze 3D maken. De twee gratis speldemo's die vooraf op ons apparaat waren geïnstalleerd, waren fascinerende demo's, maar konden mijn aandacht uiteindelijk niet langer dan vijf minuten vasthouden.

Hoewel er veel ingebouwde apps zijn, mag je niet verwachten dat iets anders de 3D-functionaliteit ondersteunt. U kunt bijvoorbeeld geen VLC openen en een SBS-gecodeerde film afspelen, noch zal Call of Duty plotseling een derde dimensie krijgen. Om gebruik te kunnen maken van de unieke 3D-technologie, moet een app de Leia SDK ondersteunen. Het zal met plezier andere Android-apps uitvoeren, maar deze worden alleen in normaal 2D weergegeven.

Hoe is het diepte-effect?

Ik was sceptisch over de weergavetechnologie zonder bril in deze recensie, maar onder de juiste omstandigheden kan het behoorlijk verbluffend zijn. Hoewel het onmogelijk is om op video te laten zien, kan ik het wel hebben over de subjectieve kwaliteit van het 3D-effect en het scherm in het algemeen.

Ten eerste varieert de mate van diepte-effect aanzienlijk per app en het type inhoud dat u bekijkt.

Het beste effect wordt verkregen met 3D-gerenderde objecten. Als u bijvoorbeeld de LeiaViewer 3D-app opent en de bijgeleverde cyberpunkstad (inclusief geanimeerde auto's) bekijkt rondzoomen), zult u merken dat de hoogste torenspits bijna 15 cm uit het oppervlak van de tablet. Dat ongelooflijk.

Dit geldt ook voor de gamedemo's, en het is in de Dungeon-game dat de head-tracking-functies ook duidelijk te zien zijn. Niet alleen komen de kerkermuren tot leven in prachtige 3D, maar als je de tablet kantelt of beweegt, zie je eerder verborgen hoeken. Het is een unieke ervaring die ik alleen in VR heb gehad.

Als het echter om afbeeldingen of video gaat, is het effect lang niet zo uitgesproken - in die mate dat ik hier niet de moeite voor zou nemen om 3D-films te bekijken; het is gewoon niet aantrekkelijk in vergelijking met hetzelfde doen in virtuele VR-cinema. Dit zou zomaar een "realistische factor" kunnen zijn. Gerenderde 3D-inhoud ziet er altijd indrukwekkender uit dan een echte scène, omdat we in het echte leven zo gewend zijn aan dat laatste.

Tracking en visuele kwaliteit

Over het algemeen leek het volgen van het gezicht en de ogen prima te werken, zolang ik niet in een te grote stompe hoek stond. Ik heb niet veel glitches meegemaakt waarbij het terug zou springen naar de modus voor alleen 2D, behalve toen mijn zoon besloot zijn gezicht erin te steken en te kijken waar het allemaal om draaide. Het kan niet meer dan één persoon tegelijk volgen, en het duurt soms een seconde of twee voordat je beseft dat er een nieuwe kijker is. Dan springt alles op magische wijze in 3D-weergave.

Het beeldscherm is echter verre van perfect; twee punten doen afbreuk aan de algehele ervaring.

Ten eerste is er een licht gestippeld gaas van het type hordeur over het scherm. Vermoedelijk is dat een deel van de lenticulaire laag die het beeld voor elk oog scheidt. Dit is het duidelijkst wanneer het in de 3D-modus wordt geklikt. Hoewel de tablethardware verder erg mooi en responsief is als een generieke Android-tablet, kan de schermkwaliteit frustrerend zijn.

Ten tweede is er ook een vrij duidelijk ghosting-probleem. Dit betekent dat elk oog het beeld kan zien dat bestemd is voor het andere oog, zij het heel zwak. In het bovenstaande voorbeeld is het nabeeld aan de achterkant van de vleugels ook aanwezig wanneer het in 3D wordt bekeken, niet alleen als gevolg van filmen.

Dit is niet zozeer een kritiek op deze specifieke tablet als wel een fout in de onderliggende technologie, en het is ook niet uniek voor beeldschermen zonder bril. Als je ooit passieve 3D-films hebt gezien (die met een dunne bril), hebben ook die nogal wat nevenbeelden. Dat komt omdat het bijna onmogelijk is om het licht perfect in een bepaalde richting te culmineren. Je kunt het goed genoeg krijgen om het 3D-effect te krijgen, maar als je pauzeert en het beeld kritisch bekijkt, zie je ghosting. Dit is duidelijker voor helderdere objecten op een donkere achtergrond. Alleen Active 3D-displays (die een zwaardere LCD-bril met een batterij nodig hebben) kunnen volledig elimineer ghosting, aangezien het afbeeldingen zijn die elkaar afwisselen en het zicht voor elk één oog volledig blokkeren tijd.

Is dit de ultieme 3D-weergave? Nee.

De Lume Pad 2 is echt behoorlijk magisch om te zien. Het is een technologisch wonder en ik wou dat ik een betere manier had om dit aan je te laten zien, maar net als VR is het iets dat je zelf moet ervaren.

Maar ik weet wat je denkt: dit is een modeverschijnsel. Tot tien jaar geleden was ik een groot voorstander van 3D-tv's en -projectoren. Ik heb zelfs een groot deel van mijn universiteitstijd besteed aan het spelen van Unreal Tournament 2K met de originele Nvidia 3D-bril en een enorme Silicon Graphic CRT-monitor. Maar de releases van 3D-films zijn grotendeels opgedroogd (vier tot nu toe dit jaar, zo lijkt het), en mensen ook besefte dat het dragen van een speciale bril om een ​​film te kijken een gedoe was met vaak slechtere resultaten dan zonder.

Het mooie van de Lume Pad 2 is natuurlijk dat hij werkt zonder bril - en hij werkt gewoon (zij het voor slechts één kijker).

Het feit dat het een ingebouwd AI-systeem heeft om niet-3D-inhoud te converteren, en een manier om zelf 3D-foto's en -films op het apparaat zelf te produceren, geeft het volgens mij benen. Zelfs als de wereld morgen zou stoppen met het maken van 3D-inhoud en het internet zou instorten, zou je nog steeds je eigen creaties kunnen produceren en weergeven vanaf dit ene apparaat. Leia heeft heel hard geprobeerd om boeiende inhoud te produceren met een aangepast sociaal netwerk speciaal voor Lume Pad gebruikers, en ze begrijpen dat je niet alleen ongelooflijke technologie kunt hebben, je hebt ook apps en content nodig ermee. Dat is heel bemoedigend.

Een probleem begrijpen en het kunnen oplossen zijn echter twee verschillende dingen.

De grootste beperking van de Lume Pad 2 is dat je hem op geen enkele manier kunt gebruiken als generiek 3D-display voor welke invoerbron dan ook. Als het een HDMI-poort of -dongle had en elke SBS-geformatteerde invoer in 3D-modus zou kunnen afspelen, zou het een onmiddellijke aankoop zijn voor een veel grotere markt. Bijvoorbeeld de Goovis G3 Max persona bioscoopheadset, die we vorige week hebben besproken, kan precies dat. Er is elke USB-C- of HDMI-ingang voor nodig, of dat nu een 3D Blu-ray-speler is of een generieke mediaspeler met VLC met wat SBS geformatteerde bestanden, of YouTube, of zelfs een pc-game met wat software die 3D-games uitvoert in een side-by-side-indeling - en het is gewoon werken.

Met de Lume Pad 2 moet alles wat u in 3D wilt gebruiken specifiek worden geprogrammeerd met de Leia SDK. Het werkt niet eens met Android-apps die zijn ontworpen voor Google VR.

Als er geen app voor is, dan is dat het. En eerlijk gezegd is het ook niet zo eenvoudig om je eigen inhoud op dit apparaat te krijgen. De Android File Transfer-app op Mac is in de beste tijden vaag, dus ik moest een willekeurige Android-app met een afschuwelijke interface installeren om over het netwerk te bladeren. Het was een ellendige ervaring om een ​​bestand te kopiëren.

Ik denk dat de echte niche voor dit product 3D-modellering zal zijn; of beter gezegd, de 3D-modellen bekijken die u elders hebt gemaakt en naar Sketchfab hebt geüpload. Dat kan echter een heel nichepubliek zijn. Het is ongelooflijk boeiend om je 3D-objectontwerp tot leven te zien komen, en met gerenderde 3D-objecten is de diepte die je kunt krijgen ongelooflijk goed. En voor dat handjevol mensen dat nog steeds van stereofotografie houdt: dit ga je geweldig vinden.

Voor alle anderen weet ik het niet zo zeker. Ik kan zien hoe Leia het aantrekkelijk probeert te maken met de 3D-ifier AI van elke YouTube-video en de camera aan de achterkant om je eigen 3D-foto's te maken. Maar voor die functies werkt het niet zo goed. Net zoals ik denk dat niemand familiemomenten zal vastleggen met de naar voren gerichte 3D-camera van de Apple Vision Pro, kan ik je niet zien sjouwen met een tablet van $ 1000 om foto's of video's te maken. Dus mijn grootste zorg is simpelweg dat er geen markt is voor dit apparaat; in ieder geval niet één die groot genoeg is om ontwikkelaars ervan te overtuigen dat het de moeite waard is om Leia SDK-ondersteuning aan hun apps toe te voegen.

Hoewel het nauwelijks een definitief gegevenspunt is, heeft de subreddit voor de Lume Pad - wat misschien wel de eerste plaats is waar ik naartoe zou springen om nieuwe apps, tips en inhoudsuggesties te vinden - in totaal 105 leden.

De hardware is ongelooflijk, en de software probeert zo hard om een ​​echt doel te vinden, en ik denk gewoon niet dat het helemaal goed is. Maar misschien komt het op tijd. Maar als je de vorige Lume Pad hebt en al geniet van wat je ermee kunt doen, is de Lume Pad 2 hoe dan ook een ongelooflijke upgrade. Krijg het - je zult het geweldig vinden.