Wat is de neurale motor van Apple en hoe werkt het?

Je iPhone, iPad, Mac en Apple TV maken gebruik van een gespecialiseerde neurale verwerkingseenheid genaamd Apple Neural Engine (ANE), die veel sneller en energiezuiniger is dan de CPU of GPU.

ANE maakt geavanceerde functies op het apparaat mogelijk, zoals natuurlijke taalverwerking en beeldanalyse zonder gebruik te maken van de cloud of overmatig stroomverbruik.

Laten we eens kijken hoe ANE werkt en hoe het evolueert, inclusief de gevolgtrekking en intelligentie die het mogelijk maakt op verschillende Apple-platforms en hoe ontwikkelaars het kunnen gebruiken in apps van derden.

Wat is Apple Neural Engine (ANE)?

Apple Neural Engine is een marketingnaam voor een cluster van zeer gespecialiseerde rekenkernen die zijn geoptimaliseerd voor de energiezuinige uitvoering van diepe neurale netwerken op Apple-apparaten. Het versnelt algoritmen voor machine learning (ML) en kunstmatige intelligentie (AI) en biedt enorme voordelen op het gebied van snelheid, geheugen en vermogen ten opzichte van de hoofd-CPU of GPU.

ANE is een belangrijk onderdeel van de reden waarom de nieuwste iPhones, iPads, Macs en Apple TV's snel reageren en niet heet worden tijdens zware ML- en AI-berekeningen. Helaas hebben niet alle Apple-apparaten een ANE: de Apple Watch, Intel-gebaseerde Macs en apparaten ouder dan 2016 hebben er geen.

De eerste ANE die debuteerde in de A11-chip van Apple in de iPhone X van 2017 was krachtig genoeg om Face ID en Animoji te ondersteunen. Ter vergelijking: de nieuwste ANE in de A15 Bionic-chip is 26 keer sneller dan de eerste versie. Tegenwoordig maakt ANE functies mogelijk zoals offline Siri, en ontwikkelaars kunnen het gebruiken om eerder getrainde ML-modellen uit te voeren, waardoor de CPU en GPU vrijkomen om zich te concentreren op taken die beter bij hen passen.

Hoe werkt de neurale motor van Apple?

ANE biedt controle en rekenkundige logica die is geoptimaliseerd voor het uitvoeren van uitgebreide computerbewerkingen zoals vermenigvuldigen en accumulatie, vaak gebruikt in ML- en AI-algoritmen zoals beeldclassificatie, media-analyse, machinevertaling en meer.

Volgens Apples patent getiteld "Multi-Mode Planar Engine for Neural Processor", bestaat ANE uit verschillende neurale engine-kernen en een of meer multi-mode planaire circuits.

Het ontwerp is geoptimaliseerd voor parallel computergebruik, waarbij veel bewerkingen, zoals matrixvermenigvuldigingen die in biljoenen iteraties lopen, gelijktijdig moeten worden uitgevoerd.

Om inferentie in AI-algoritmen te versnellen, gebruikt ANE voorspellende modellen. Bovendien heeft ANE zijn eigen cache en ondersteunt het slechts enkele gegevenstypen, wat de prestaties helpt maximaliseren.

AI-functies mogelijk gemaakt door ANE

Hier zijn enkele functies op het apparaat waarmee u mogelijk bekend bent en die ANE mogelijk maakt.

• Natuurlijke taalverwerking: Snellere, betrouwbaardere spraakherkenning voor Dictation en Siri; Verbeterd leren van natuurlijke talen in de Translate-app en in het hele systeem; Directe tekstvertaling in Foto's, Camera en andere iPhone-apps.
• Computer visie: objecten vinden in afbeeldingen zoals oriëntatiepunten, huisdieren, planten, boeken en bloemen met de Foto's-app of Spotlight-zoekfunctie; Aanvullende informatie krijgen over herkende objecten met Visual Look Up in plaatsen zoals Safari, Mail en Berichten.
• Augmented reality: Occlusie van mensen en het volgen van bewegingen in AR-apps.
• Video-analyse: Detectie van gezichten en objecten op video in apps zoals Final Cut Pro.
• Camera-effecten: Automatisch bijsnijden met Center Stage; Achtergrondvervaging tijdens FaceTime-videogesprekken.
• Spellen: Fotorealistische effecten in 3D-videogames.
• Live-tekst: Biedt optische tekenherkenning (OCR) in Camera en Foto's, zodat u eenvoudig handschrift of tekst zoals een Wi-Fi-wachtwoord of adres van afbeeldingen kunt kopiëren.
• Computationele fotografie: Deep Fusion analyseert pixels voor betere ruisonderdrukking, groter dynamisch bereik en verbeterde automatische belichting en witbalans, waarbij indien nodig gebruik wordt gemaakt van Smart HDR; Ondiepe scherptediepte fotografie, inclusief het maken van portretten in de nachtmodus; Het niveau van achtergrondvervaging aanpassen met Depth Control.
• weetjes: ANE wordt ook gebruikt voor fotografische stijlen in de Camera-app, geheugenbeheer en stilistische effecten in Foto's, gepersonaliseerde aanbevelingen zoals achtergrondsuggesties, ondertiteling van afbeeldingen in VoiceOver, het vinden van dubbele afbeeldingen in Foto's, enz.

Sommige van de hierboven genoemde functies, zoals beeldherkenning, werken ook zonder dat er een ANE aanwezig is, maar zullen veel langzamer werken en de batterij van uw apparaat belasten.

Een korte geschiedenis van de Apple Neural Engine: van iPhone X tot M2 Macs

In 2017 implementeerde Apple zijn allereerste ANE in de vorm van twee gespecialiseerde kernen binnen de A11-chip van de iPhone X. Volgens de huidige maatstaven was het relatief traag, met slechts 600 miljard bewerkingen per seconde.

De ANE van de tweede generatie verscheen in 2018 in de A12-chip, met vier keer zoveel cores. Met een vermogen van vijf biljoen bewerkingen per seconde was deze ANE bijna negen keer sneller en gebruikte hij een tiende van de kracht van zijn voorganger.

De A13-chip van 2019 had dezelfde ANE met acht kernen, maar liep een vijfde sneller terwijl hij 15% minder stroom gebruikte, een product van TSMC's verbeterde 7nm halfgeleiderknooppunt. TSMC (Taiwan Semiconductor Manufacturing Company) fabriceert door Apple ontworpen chips.

De evolutie van Apple Neural Engine

Het volgende jaar verdubbelde de Apple A14 de ANE-prestaties bijna tot 11 biljoen bewerkingen per seconde, bereikt door het aantal ANE-kernen te verhogen van 8 naar 16. In 2021 profiteerde de A15 Bionic van TSMC's tweede generatie 5nm-proces, dat de ANE-prestaties verder verhoogde tot 15,8 biljoen bewerkingen per seconde zonder meer kernen toe te voegen.

De eerste Mac-gebonden M1-, M1 Pro- en M1 Max-chips hadden dezelfde ANE als de A14, waardoor geavanceerde, hardwareversnelde ML en AI voor het eerst naar het macOS-platform werden gebracht.

In 2022 combineerde de M1 Ultra twee M1 Max-chips in één pakket met behulp van Apple's aangepaste interconnect genaamd UltraFusion. Met tweemaal zoveel ANE-kernen (32) verdubbelde de M1 Ultra de ANE-prestaties tot 22 biljoen bewerkingen per seconde.

De Apple A16 in 2022 werd vervaardigd met behulp van TSMC's verbeterde N4-node, wat ongeveer 8% snellere ANE-prestaties (17 biljoen bewerkingen per seconde) opleverde ten opzichte van de ANE van de A15.

De eerste iPads met ANE waren de iPad mini van de vijfde generatie (2019), de iPad Air van de derde generatie (2019) en de iPad van de achtste generatie (2020). Alle iPads die sindsdien zijn uitgebracht, hebben een ANE.

Hoe kunnen ontwikkelaars ANE in apps gebruiken?

Veel apps van derden gebruiken ANE voor functies die anders niet haalbaar zouden zijn. Zo biedt de afbeeldingseditor Pixelmator Pro tools als ML Super Resolution en ML Enhance. En in djay Pro scheidt ANE beats, instrumentals en vocale tracks van een opname.

Externe ontwikkelaars krijgen echter geen toegang op laag niveau tot ANE. In plaats daarvan moeten alle ANE-oproepen door het softwareframework van Apple voor machine learning, Core ML, gaan. Met Core ML kunnen ontwikkelaars hun ML-modellen rechtstreeks op het apparaat bouwen, trainen en uitvoeren. Zo'n model wordt vervolgens gebruikt om voorspellingen te doen op basis van nieuwe invoergegevens.

"Als een model eenmaal op het apparaat van een gebruiker staat, kun je Core ML gebruiken om het op het apparaat opnieuw te trainen of te verfijnen, met de gegevens van die gebruiker", aldus het Core ML-overzicht op de Apple-website.

Om ML- en AI-algoritmen te versnellen, maakt Core ML niet alleen gebruik van ANE, maar ook van de CPU en GPU. Hierdoor kan Core ML een model uitvoeren, zelfs als er geen ANE beschikbaar is. Maar met een aanwezige ANE zal Core ML veel sneller werken en zal de batterij niet zo snel leeglopen.

Veel Apple-functies zouden niet werken zonder ANE

Veel functies op het apparaat zouden niet mogelijk zijn zonder de snelle verwerking van AI- en ML-algoritmen en de minimale geheugenvoetafdruk en het stroomverbruik dat ANE met zich meebrengt. De magie van Apple is het hebben van een speciale coprocessor voor het privé uitvoeren van neurale netwerken op het apparaat in plaats van die taken over te dragen aan servers in de cloud.

Met ANE kunnen zowel Apple als ontwikkelaars diepe neurale netwerken implementeren en profiteren van de voordelen van versneld machine learning voor verschillende voorspellende modellen zoals machinevertaling, objectdetectie, beeldclassificatie, enz.