Grote taalmodellen (LLM's) zijn de onderliggende technologie die de snelle opkomst van generatieve AI-chatbots heeft aangedreven. Tools zoals ChatGPT, Google Bard en Bing Chat vertrouwen allemaal op LLM's om mensachtige antwoorden op uw prompts en vragen te genereren.
Maar wat zijn LLM's precies en hoe werken ze? Hier wilden we LLM's demystificeren.
Wat is een groot taalmodel?
In de eenvoudigste bewoordingen is een LLM een enorme database met tekstgegevens waarnaar kan worden verwezen om mensachtige reacties op uw prompts te genereren. De tekst is afkomstig uit verschillende bronnen en kan oplopen tot miljarden woorden.
Onder veel gebruikte bronnen van tekstgegevens zijn:
- Literatuur: LLM's bevatten vaak enorme hoeveelheden hedendaagse en klassieke literatuur. Dit kunnen boeken, poëzie en toneelstukken zijn.
- Online-inhoud: Een LLM bevat meestal een grote opslagplaats van online inhoud, waaronder blogs, webinhoud, forumvragen en -antwoorden en andere online tekst.
- Nieuws en actualiteiten: Sommige, maar niet alle LLM's hebben toegang tot actuele nieuwsonderwerpen. Bepaalde LLM's, zoals GPT-3.5, zijn in deze zin beperkt.
- Sociale media: Sociale media vertegenwoordigen een enorme bron van natuurlijke taal. LLM's gebruiken tekst van grote platforms zoals Facebook, Twitter en Instagram.
Natuurlijk is het hebben van een enorme database met tekst één ding, maar LLM's moeten worden getraind om het te begrijpen om mensachtige reacties te produceren. Hoe het dit doet, is wat we hierna behandelen.
Hoe werken LLM's?
Hoe gebruiken LLM's deze repositories om hun antwoorden te creëren? De eerste stap is het analyseren van de gegevens met behulp van een proces dat diep leren wordt genoemd.
Diep leren wordt gebruikt om de patronen en nuances van menselijke taal te identificeren. Dit omvat het verwerven van inzicht in grammatica en syntaxis. Maar belangrijker is dat het ook context bevat. Het begrijpen van de context is een cruciaal onderdeel van LLM's.
Laten we eens kijken naar een voorbeeld van hoe LLM's context kunnen gebruiken.
De prompt in de volgende afbeelding vermeldt het zien van een vleermuis 's nachts. Hieruit begreep ChatGPT dat we het over een dier hadden en niet over bijvoorbeeld een honkbalknuppel. Natuurlijk vinden andere chatbots dat leuk Bing Chat of Google Bard kan dit heel anders beantwoorden.
Het is echter niet onfeilbaar, en zoals dit voorbeeld laat zien, moet u soms aanvullende informatie verstrekken om het gewenste antwoord te krijgen.
In dit geval hebben we met opzet een kromme bal gegooid om te laten zien hoe gemakkelijk context verloren gaat. Maar mensen kunnen de context van vragen ook verkeerd begrijpen, en er is alleen een extra prompt nodig om het antwoord te corrigeren.
Om deze reacties te genereren, gebruiken LLM's een techniek die natuurlijke taalgeneratie (NLG) wordt genoemd. Dit omvat het onderzoeken van de invoer en het gebruiken van de patronen die zijn geleerd uit de gegevensopslagplaats om een contextueel correct en relevant antwoord te genereren.
Maar LLM's gaan dieper dan dit. Ze kunnen antwoorden ook afstemmen op de emotionele toon van de input. In combinatie met contextueel begrip zijn de twee facetten de belangrijkste drijfveren die LLM's in staat stellen om mensachtige reacties te creëren.
Om samen te vatten, LLM's gebruiken een enorme tekstdatabase met een combinatie van deep learning en NLG-technieken om mensachtige reacties op uw prompts te creëren. Maar er zijn beperkingen aan wat dit kan bereiken.
Wat zijn de beperkingen van LLM's?
LLM's vertegenwoordigen een indrukwekkende technologische prestatie. Maar de technologie is verre van perfect, en er zijn nog genoeg beperkingen in wat ze kunnen bereiken. Enkele van de meer opvallende hiervan staan hieronder vermeld:
- Contextueel begrip: We noemden dit als iets dat LLM's opnemen in hun antwoorden. Ze hebben het echter niet altijd goed en zijn vaak niet in staat de context te begrijpen, wat leidt tot ongepaste of ronduit foute antwoorden.
- Vooroordeel: Alle vooroordelen die aanwezig zijn in de trainingsgegevens, kunnen vaak aanwezig zijn in de antwoorden. Dit omvat vooroordelen ten aanzien van geslacht, ras, geografie en cultuur.
- Gezond verstand: Gezond verstand is moeilijk te kwantificeren, maar mensen leren dit van jongs af aan door simpelweg naar de wereld om hen heen te kijken. LLM's hebben deze inherente ervaring niet om op terug te vallen. Ze begrijpen alleen wat hen is aangereikt via hun trainingsgegevens, en dit geeft hen geen echt begrip van de wereld waarin ze leven.
- Een LLM is slechts zo goed als zijn trainingsgegevens: Nauwkeurigheid kan nooit worden gegarandeerd. Het oude computergezegde "Garbage In, Garbage Out" vat deze beperking perfect samen. LLM's zijn slechts zo goed als de kwaliteit en kwantiteit van hun trainingsgegevens hen toestaan.
Er is ook een argument dat ethische overwegingen kunnen worden beschouwd als een beperking van LLM's, maar dit onderwerp valt buiten het bestek van dit artikel.
3 voorbeelden van populaire LLM's
De voortdurende opmars van AI wordt nu grotendeels ondersteund door LLM's. Dus hoewel ze niet bepaald een nieuwe technologie zijn, hebben ze zeker een punt van kritiek momentum bereikt, en er zijn nu veel modellen.
Hier zijn enkele van de meest gebruikte LLM's.
1. GPT
Generative Pre-trained Transformer (GPT) is misschien wel de meest bekende LLM. GPT-3.5 drijft het ChatGPT-platform aan dat wordt gebruikt voor de voorbeelden in dit artikel, terwijl de nieuwste versie, GPT-4, beschikbaar is via een ChatGPT Plus-abonnement. Microsoft gebruikt ook de nieuwste versie in zijn Bing Chat-platform.
2. LaMDA
Dit is de eerste LLM die wordt gebruikt door Google Bard, de AI-chatbot van Google. De versie waarmee Bard aanvankelijk werd uitgerold, werd beschreven als een "lichte" versie van de LLM. De krachtigere PaLM-iteratie van de LLM verving dit.
3. BERT
BERT staat voor Bi-directional Encoder Representation from Transformers. De bidirectionele kenmerken van het model differentiëren BERT van andere LLM's zoals GPT.
Er zijn nog veel meer LLM's ontwikkeld en uitlopers van de grote LLM's komen vaak voor. Naarmate ze zich ontwikkelen, zullen deze blijven groeien in complexiteit, nauwkeurigheid en relevantie. Maar wat houdt de toekomst in voor LLM's?
De toekomst van LLM's
Deze zullen ongetwijfeld de manier bepalen waarop we in de toekomst met technologie omgaan. De snelle acceptatie van modellen als ChatGPT en Bing Chat getuigt hiervan. Op korte termijn, Het is onwaarschijnlijk dat AI u op het werk zal vervangen. Maar er is nog steeds onzekerheid over hoe groot een rol in ons leven deze in de toekomst zullen spelen.
Ethische argumenten kunnen nog een stem hebben in hoe we deze tools integreren in de samenleving. Afgezien daarvan zijn enkele van de verwachte LLM-ontwikkelingen:
- Verbeterde efficiëntie:Met LLM's met honderden miljoenen parameters hebben ze ongelooflijk veel middelen nodig. Met verbeteringen in hardware en algoritmen zullen ze waarschijnlijk energiezuiniger worden. Dit zal ook de responstijden versnellen.
- Verbeterd contextueel bewustzijn:LLM's leren zichzelf; hoe meer gebruik en feedback ze krijgen, hoe beter ze worden. Belangrijk is dat dit zonder verdere grote engineering is. Naarmate de technologie vordert, zal dit leiden tot verbeteringen in taalmogelijkheden en contextueel bewustzijn.
- Getraind voor specifieke taken:De alleskunner-tools die het publieke gezicht van LLM's zijn, zijn foutgevoelig. Maar naarmate ze zich ontwikkelen en gebruikers ze trainen voor specifieke behoeften, kunnen LLM's een grote rol spelen op gebieden als geneeskunde, rechten, financiën en onderwijs.
- Grotere integratie: LLM's kunnen persoonlijke digitale assistenten worden. Denk aan Siri op steroïden, en je snapt het wel. LLM's kunnen virtuele assistenten worden die u met alles helpen, van het voorstellen van maaltijden tot het afhandelen van uw correspondentie.
Dit zijn slechts enkele van de gebieden waar LLM's waarschijnlijk een groter deel gaan uitmaken van de manier waarop we leven.
LLM's transformeren en opleiden
LLM's openen een opwindende wereld van mogelijkheden. De snelle opkomst van chatbots zoals ChatGPT, Bing Chat en Google Bard is een bewijs van de middelen die in het veld worden gestort.
Door een dergelijke wildgroei aan middelen kunnen deze tools alleen maar krachtiger, veelzijdiger en nauwkeuriger worden. De potentiële toepassingen van dergelijke tools zijn enorm, en op dit moment staan we nog maar aan het begin van een ongelooflijke nieuwe bron.