Heb je je ooit afgevraagd hoe de portretmodus werkt of hoe je smartphone je gezicht herkent?
Naarmate smartphones geavanceerder worden, bevatten ze ook steeds meer sensoren die gegevens terugsturen naar het apparaat om de gebruikerservaring te verbeteren.
Moderne smartphones hebben ingebouwde vingerafdruksensoren, LiDAR, betere en grotere camerasensoren dan ooit, en op sommige apparaten zelfs Time of Flight (ToF)-sensoren. Maar van alle verschillende sensoren die je op je telefoon ziet, valt de ToF-sensor op, vooral omdat deze de dingen die we op onze smartphones doen op een heel bijzondere en onopgemerkte manier beïnvloedt.
Wat is een Time of Flight-sensor (ToF)?
Een Time of Flight (ToF)-sensor, ook wel een ToF-camera genoemd, is een gespecialiseerde sensor die de diepte of afstand tot een object door een infrarode lichtstraal uit te zenden en de tijd te meten geeft terug. Vandaar de naam Time of Flight.
Dit lijkt sterk op de LiDAR-camera's die te vinden zijn in de iPhone Pro-serie en zelfs op sommige gezichtsherkenningssystemen voor smartphones (waaronder iPhones), waar de apparaat maakt een infraroodkaart van het gezicht van de eigenaar en gebruikt die als referentie voor de persoon die het ziet om te bepalen of het apparaat moet worden ontgrendeld of niet. Dat gezegd hebbende,
ToF-sensoren en LiDAR hebben hun verschillen.Het gebruik van gereflecteerd licht (of geluid) om afstanden te meten is ook geen nieuw idee. Soortgelijke apparaten zoals ultrasone en IR-sensoren bestaan al veel langer en bieden in wezen dezelfde functionaliteit, zij het met veel minder details. Voordelen van een ToF-sensor zijn nauwkeurige en snelle metingen, een groter bereik en gebruiksveiligheid.
In vergelijking met andere 3D-dieptemeettechnologieën zijn ToF-sensoren relatief goedkoop te produceren en te gebruiken. Ze hebben ook niet veel verwerkingskracht nodig, waardoor ze ideaal zijn voor gebruikssituaties zoals smartphones, waar het kennen van de diepte van een bepaald object kan helpen functies zoals de portretmodus, en verwerkingskracht is duur.
ToF-sensoren worden gemaakt door verschillende fabrikanten, waaronder Sony, dat Apple voorziet van 3D-sensoren met behulp van ToF-technologie. Andere populaire fabrikanten van ToF-sensoren zijn TeraRanger One, Lucid, Adafruit en ASC TigerCub.
Hoe werkt een Time of Flight (ToF)-sensor?
Zoals eerder vermeld, gebruiken ToF-sensoren infrarood licht om de afstand van een object tot de sensor te meten. Een kleine infraroodlaser schiet licht, dat weerkaatst op een object en terugkeert naar de sensor. De sensor kan nauwkeurig de afstand tot een object meten door de tijd te meten die het licht nodig had om terug te kaatsen en terug te keren naar de camera.
Omdat we de snelheid van het licht al kennen en het feit dat het precies tweemaal de afstand aflegt tussen de sensor en het object, wordt het eenvoudig om de afstand te bepalen met behulp van een basis formule:
(Lichtsnelheid x Vluchttijd)/2
Sommige ToF-camera's kunnen ook continue golven gebruiken om faseverschuivingen in het gereflecteerde licht te detecteren om zowel diepte als afstand te bepalen. Nogmaals, afhankelijk van het type sensor dat u gebruikt, kunt u mogelijk veel informatie extraheren. Dit kan worden gebruikt om 3D-kaarten van de omgeving van de sensor te maken.
Waar worden ToF-sensoren gebruikt?
Zoals eerder vermeld, werden ToF-sensoren in veel smartphones gebruikt als een "diepte" -camera om de hoofdcamera van het apparaat te helpen bij het produceren van portretfoto's van hogere kwaliteit. Deze foto's zijn bedoeld om een ondiepe scherptediepte te creëren om een cameralens na te bootsen. Omdat het van cruciaal belang is om de diepte van verschillende objecten in dergelijke foto's te kennen om de wazigheid van de achtergrond goed te krijgen, kunnen ToF-camera's en -sensoren een groot verschil maken.
Daarnaast worden ToF-camera's ook gebruikt bij biometrische authenticatie, waarbij een apparaat met een ToF-camera een 3D-kaart van een gezicht kan maken om te gebruiken als referentie voor het ontgrendelen van het apparaat. Dit is in wezen hoe gezichtsontgrendelingstechnologie werkt, inclusief Face ID van Apple. Het is ook veiliger dan alleen twee afbeeldingen vergelijken om een match te bepalen, omdat er meer gegevens zijn om mee te werken in vergelijking met traditioneel computer visie algoritmen die werken op 2D-gegevens.
Ze worden vaak gebruikt in elektrische auto's en andere navigatiesystemen dankzij hun objectdetectiemogelijkheden en hoge polling-snelheid, die bij sommige sensoren bijna 160 Hz kan zijn. Dit maakt ze perfect voor real-time toepassingen zoals objectdetectie, navigatie en zelfs het vervagen van de achtergrond van uw Zoom-oproepen.
Dit vermogen om onderscheid te maken tussen het onderwerp en de achtergrond wordt ook vaak toegepast bij 3D-printen. ToF-camera's kunnen eenvoudig een real-life object in alle drie de dimensies repliceren, waardoor u het gedoe bespaart om het helemaal opnieuw te ontwerpen, vooral als het een complexe structuur is.
ToF-sensoren helpen ook bij 3D-beeldvorming en het verbeteren van AR-ervaringen naast het scannen van objecten, gebarennavigatie en binnennavigatie.
Je kunt ToF-sensoren vinden op Microsoft's Xbox Kinect en andere projecten voor gebarenherkenning, drones en AR-headsets. Over het algemeen betekent hun veelzijdigheid dat hun gebruiksscenario's variëren van overal tussen een camerasuite van een smartphone tot het navigatiesysteem van een autonome auto.
Heeft u een ToF-camera op uw telefoon nodig?
Niet echt.
Computationele fotografie heeft een lange weg afgelegd en de meeste moderne smartphones hebben software die goed genoeg is om het onderwerp volledig van de achtergrond te scheiden met behulp van software. Bovendien, als het gaat om smartphonefotografie, kunnen het aantal megapixels en de grootte van de camerasensor een veel groter verschil maken.
Hoewel er een tijd was dat ToF-camera's vaak werden gezien op vlaggenschip-smartphones, zijn ze nu meestal te vinden op apparaten uit het middensegment of op de iPhone Pro-serie in de vorm van LiDAR-sensoren, een concept dat werkt op de Time of Flight beginsel.
Het kan echter soms handig zijn om een ToF-camera op je telefoon te hebben, vooral als het gaat om biometrische authenticatie. Het kan ook een in uw telefoon ingebouwd hulpprogramma voor afstandsmeting bieden en meer dieptegegevens verstrekken de computation photography-software die op je telefoon draait, wat resulteert in een nog betere portretmodus schoten.
Ken uw sensoren
Smartphones worden volgepakt met steeds meer sensoren om uw ervaring zo veel beter te maken. Een ToF-camera is gewoon weer een van die sensoren op je telefoon die niet direct kan worden gebruikt, maar een groot verschil kan maken voor verschillende andere functies.