ChatGPT is de baanbrekende AI-chatbot van OpenAI die het internet versteld doet staan. Tegen alle gevestigde technische trends in, heeft het niet lang geduurd voordat ChatGPT zijn weg vond naar bijna elk gebied van ons digitale leven.
Er zijn maar weinig technische innovaties die zoveel belangstelling hebben gewekt als ChatGPT in zo'n korte tijd. Het lijkt nooit zonder coole trucs te komen - elke dag leren we over spannende nieuwe dingen waarvan we niet wisten dat het ze kon doen.
Maar hoe kan ChatGPT de dingen doen die het kan? Hoe werkt ChatGPT?
Hoe is ChatGPT gebouwd?
Om te begrijpen hoe ChatGPT werkt, is het de moeite waard om naar de oorsprong en het brein achter de geavanceerde AI-chatbot te kijken.
Ten eerste, hoe magisch ChatGPT ook mag lijken, het is gebouwd door het genie van mensen, net als elke waardevolle softwaretechnologie die er is. OpenAI creëerde ChatGPT, het revolutionaire AI-onderzoeks- en ontwikkelingsbedrijf achter andere krachtige AI-tools zoals DALL-E, InstructGPT en Codex. We hebben eerder geantwoord
enkele vragen die u mogelijk heeft over ChatGPT, dus neem een kijkje.Terwijl ChatGPT tegen het einde van 2022 viraal ging, bestaat de meeste onderliggende technologie die ChatGPT aandrijft al veel langer, zij het met veel minder publiciteit. Het ChatGPT-model is gebouwd bovenop GPT-3 (of, meer specifiek, GPT-3.5). GPT staat voor "Generative Pre-trained Transformer 3."
GPT-3 is de derde iteratie van de GPT-lijn van AI-modellen en werd voorafgegaan door GPT-2 en GPT. Eerdere iteraties van de GPT-modellen zijn even nuttig, maar GPT-3 en de fijn afgestemde GPT-3.5-iteratie zijn veel krachtiger. Het meeste van wat ChatGPT kan doen is te wijten aan de onderliggende GPT-3-technologie.
Wat is GPT?
We hebben dus vastgesteld dat ChatGPT is gebouwd op de derde generatie van het GPT-model. Maar wat is GPT eigenlijk?
Laten we beginnen met het uitpakken van de acroniemen op een gemakkelijk te verteren en niet-technische manier.
- De "Generative" in GPT vertegenwoordigt het vermogen om tekst in natuurlijke menselijke taal te genereren.
- De "Pre-trained" vertegenwoordigt het feit dat het model al is getraind op een eindige dataset. Net zoals je een boek of misschien meerdere boeken zou lezen voordat je werd gevraagd om er vragen over te beantwoorden.
- De 'Transformer' vertegenwoordigt de onderliggende machine-learning-architectuur die GPT aandrijft.
Alles bij elkaar genomen, is Generative Pre-trained Transformer (GPT) een taalmodel dat is geweest getraind met behulp van gegevens van internet met als doel het genereren van tekst in menselijke taal wanneer gepresenteerd met een snel. We hebben dus herhaaldelijk gezegd dat GPT is getraind, maar hoe is het getraind?
Hoe is ChatGPT getraind?
ChatGPT zelf is niet vanaf de grond af getraind. In plaats daarvan is het een verfijnde versie van GPT-3.5, die zelf een verfijnde versie van GPT-3 is. Het GPT-3-model is getraind met een enorme hoeveelheid gegevens die via internet zijn verzameld. Denk aan Wikipedia, Twitter en Reddit - het werd gevoed met gegevens en menselijke tekst die uit alle hoeken van het internet werd geschraapt.
Als je je afvraagt hoe GPT-training werkt: GPT-3 is getraind met een combinatie van begeleid leren en Reinforcement Learning through Human Feedback (RLHF). Gesuperviseerd leren is de fase waarin het model wordt getraind op een grote dataset met tekst die van internet is geschraapt. In de versterkingsleerfase wordt het getraind om betere reacties te produceren die aansluiten bij wat mensen zouden accepteren als zowel mensachtig als correct.
Trainen met begeleid leren
Om beter te begrijpen hoe gesuperviseerd en versterkend leren van toepassing is op ChatGPT, kun je je een scenario voorstellen waarin een student wordt geleerd een essay te schrijven van een leraar. Begeleid leren zou het equivalent zijn van de leraar die de student honderden essays te lezen geeft. Het doel hier is dat de student leert hoe een essay moet worden geschreven door te wennen aan de toon, woordenschat en structuur van honderden essays.
Er zullen echter goede en slechte zijn tussen die honderden essays. Omdat de student zowel op goede als op slechte exemplaren is getraind, kan de student soms een slecht essay schrijven omdat de student op een gegeven moment ook slechte essays heeft gekregen. Dit betekent dat wanneer de student wordt gevraagd een essay te schrijven, hij mogelijk een kopie schrijft die niet acceptabel of goed genoeg is voor de leraar. Dit is waar versterkend leren om de hoek komt kijken.
Trainen met versterkend leren
Zodra de leraar vaststelt dat de student de algemene regels van het schrijven van essays begrijpt door honderden essays te lezen, geeft de leraar de student regelmatig huiswerk voor het schrijven van essays. Vervolgens gaf de docent feedback op het huiswerk voor het schrijven van een essay en vertelde hij de studenten wat ze goed deden en wat ze konden verbeteren. De student gebruikt de feedback om het daaropvolgende huiswerk voor het schrijven van essays te begeleiden, waardoor de student na verloop van tijd beter wordt.
Dit is vergelijkbaar met de leerfase van het versterken van het GPT-model. Na een enorme hoeveelheid tekst die van internet is geschraapt, kan het model vragen beantwoorden. De nauwkeurigheid ervan zal echter niet goed genoeg zijn. Menselijke trainers stellen het model een vraag en geven feedback over welk antwoord het meest geschikt is voor elke vraag.
Het model gebruikt feedback om het vermogen te verbeteren om vragen nauwkeuriger te beantwoorden en meer te laten lijken op hoe een mens zou reageren. Dit is hoe ChatGPT menselijk klinkende reacties kan genereren die zowel coherent, boeiend en over het algemeen nauwkeurig zijn.
Hoe kan ChatGPT vragen beantwoorden?
U bezoekt dus de ChatGPT-website en logt in. Je vraagt ChatGPT: "schrijf een rapnummer in de stijl van Snoop Dogg." Het reageert met songteksten van een rapnummer dat opvallend veel lijkt op wat Snoop Dogg zou schrijven. Hoe is dit mogelijk?
Welnu, de "magie" achter ChatGPT sluit allemaal netjes aan bij de training.
Nadat je elke centimeter van je Physics 101-handboek hebt behandeld, is de kans groot dat je elke vraag kunt beantwoorden die je wordt voorgelegd. Waarom? Omdat je het hebt gelezen, en je hebt het geleerd. Hetzelfde geldt voor ChatGPT: het leert. En zoals de menselijke beschaving heeft aangetoond, is het mogelijk om met voldoende training bijna elk probleem op te lossen.
Hoewel je tijdens je leven waarschijnlijk honderden boeken kunt beheren, heeft ChatGPT of GPT al een groot deel van het internet ingenomen. Dat is een enorme schat aan informatie. Daar, ergens, staan waarschijnlijk songteksten van Snoop Dogg's talrijke liedjes. Dus ChatGPT moet het natuurlijk hebben geconsumeerd (vergeet niet, het is vooraf getraind) en herkende patronen in de songteksten van Snoop Dogg. Het zou dan een "kennis" van dit patroon gebruiken om songteksten te "voorspellen" van een nummer dat lijkt op wat Snoop Dogg zou schrijven.
De nadruk ligt hier op 'voorspellen'. ChatGPT beantwoordt vragen niet op dezelfde manier als mensen. Als u bijvoorbeeld wordt geconfronteerd met een vraag als: "Wat is de hoofdstad van Portugal?" je zou Lissabon kunnen zeggen en het zeggen als een 'feit'. ChatGPT beantwoordt vragen echter niet met 100% zekerheid. In plaats daarvan probeert het het juiste antwoord te voorspellen op basis van de gegevens die het heeft verbruikt in zijn trainingsdataset.
ChatGPT's aanpak voor het beantwoorden van vragen
Om het concept van het voorspellen van reacties beter te begrijpen, kun je je voorstellen dat ChatGPT een detective is die een moord moet oplossen. De rechercheur krijgt bewijs voorgelegd, maar ze weten niet wie de moord heeft gepleegd en hoe deze is gebeurd. Met voldoende bewijs kan de rechercheur echter met grote nauwkeurigheid 'voorspellen' wie verantwoordelijk is voor de moord en hoe de misdaad is gepleegd.
Na het consumeren van gegevens van internet, gooit ChatGPT de oorspronkelijke gegevens weg en slaat het neurale verbindingen of patronen op die het uit de gegevens heeft geleerd. Deze verbindingen of patronen zijn als bewijsstukken die ChatGPT analyseert wanneer het probeert te reageren op een prompt.
Dus in theorie is ChatGPT als een zeer goede detective. Het weet niet zeker wat de feiten van een antwoord zouden moeten zijn, maar het probeert het op indrukwekkende wijze nauwkeurigheid, om een logische volgorde van tekst in menselijke taal te voorspellen die het meest geschikt zou zijn om de vraag. Zo krijg je antwoord op je vragen.
En dit is ook de reden waarom sommige van die antwoorden erg overtuigend lijken, maar vreselijk fout zijn.
ChatGPT: antwoorden als een mens, denken als een machine
De onderliggende technische details van ChatGPT zijn complex. Vanuit een rudimentair standpunt werkt het echter door te leren en te reproduceren wat het heeft geleerd wanneer daarom wordt gevraagd, net zoals wij als mensen doen.
Naarmate ChatGPT door onderzoek evolueert, kan de manier waarop het werkt veranderen. De fundamentele werkingsprincipes zullen echter nog een tijdje hetzelfde blijven, in ieder geval totdat er een ontwrichtende nieuwe technologie opduikt.
