Google PaLM 2 vs. OpenAI GPT-4: wat is het verschil?

Google onthulde de volgende generatie van zijn Pathways Language Model (PaLM 2) op 10 mei 2023 tijdens Google I/O 2023. Het nieuwe grote taalmodel (LLM) biedt veel verbeteringen ten opzichte van zijn voorganger (PaLM) en is misschien eindelijk klaar om het op te nemen tegen zijn grootste rivaal, OpenAI's GPT-4.

Maar hoeveel verbetering heeft Google gemaakt? Is PaLM 2 de verschilmaker die Google hoopt te zijn, en nog belangrijker, met zoveel vergelijkbare mogelijkheden, hoe verschilt PaLM 2 van OpenAI's GPT-4?

PALM 2 vs. GPT-4: prestatieoverzicht

PaLM 2 zit boordevol nieuwe en verbeterde mogelijkheden boven zijn voorganger. Een van de unieke voordelen van PaLM 2 ten opzichte van GPT-4 is het feit dat het beschikbaar is in kleinere formaten die specifiek zijn voor bepaalde toepassingen die niet zoveel verwerkingskracht aan boord hebben.

Al deze verschillende maten hebben hun eigen kleinere modellen genaamd Gecko, Otter, Bison en Unicorn, waarbij Gecko de kleinste is, gevolgd door Otter, Bison en ten slotte Unicorn, het grootste model.

Google claimt ook een verbetering in redeneervermogen ten opzichte van GPT-4 in WinoGrande en DROP, waarbij de eerste een kleine marge trekt in ARC-C. Er is echter over de hele linie een aanzienlijke verbetering als het gaat om PaLM en SOTA.

PaLM 2 is ook beter in wiskunde, volgens de 91 pagina's van Google PaLM 2 onderzoekspaper [PDF]. De manier waarop Google en OpenAI hun testresultaten hebben gestructureerd, maakt het echter moeilijk om de twee modellen rechtstreeks te vergelijken. Google heeft ook enkele vergelijkingen weggelaten, waarschijnlijk omdat PaLM 2 lang niet zo goed presteerde als GPT-4.

In MMLU scoorde GPT-4 86,4, terwijl PaLM 2 81,2 scoorde. Hetzelfde geldt voor HellaSwag, waar GPT-4 scoorde 95,3, maar PaLM 2 kon slechts 86,8 opbrengen, en ARC-E, waar GPT-4 en PaLM 2 96,3 en 89,7 kregen, respectievelijk.

Het grootste model in de PaLM 2-familie is de PaLM 2-L. Hoewel we de exacte grootte niet weten, weten we wel dat het aanzienlijk kleiner is dan het grootste PaLM-model, maar meer trainingscomputers gebruikt. Volgens Google, PaLM heeft 540 miljard parameters, dus de "aanzienlijk kleinere" zou PaLM 2 ergens tussen de 10 en 300 miljard parameters moeten plaatsen. Houd er rekening mee dat deze cijfers slechts aannames zijn op basis van wat Google heeft gezegd in de PaLM 2-paper.

Als dit aantal ergens in de buurt van 100 miljard of minder ligt, is PaLM 2 hoogstwaarschijnlijk kleiner in termen van parameters dan GPT-3.5. Het is indrukwekkend. GPT-3.5 blies aanvankelijk alles uit het water, inclusief PaLM, maar PaLM 2 heeft een behoorlijk herstel doorgemaakt.

Verschillen in GPT-4- en PaLM 2-trainingsgegevens

Hoewel Google de omvang van de trainingsdataset van PaLM 2 niet heeft onthuld, meldt het bedrijf in zijn onderzoekspaper dat de trainingsdataset van de nieuwe LLM aanzienlijk groter is. OpenAI volgde ook dezelfde aanpak bij de onthulling van GPT-4 en deed geen uitspraken over de omvang van de trainingsdataset.

Google wilde zich echter concentreren op een dieper begrip van wiskunde, logica, redeneren en wetenschap, wat betekent dat een groot deel van de trainingsgegevens van PaLM 2 gericht is op de bovengenoemde onderwerpen. Google zegt in zijn paper dat het pre-training corpus van PaLM 2 is samengesteld uit meerdere bronnen, waaronder webdocumenten, boeken, code, wiskunde en gespreksgegevens, waardoor het over de hele linie verbeteringen krijgt, tenminste in vergelijking met Palm.

De gespreksvaardigheden van PALM 2 zouden ook op een ander niveau moeten zijn, aangezien het model getraind is in meer dan 100 talen voor een beter contextueel begrip en betere vertaling mogelijkheden.

Voor zover de trainingsgegevens van GPT-4 zijn bevestigd, heeft OpenAI ons verteld dat het het model heeft getraind met behulp van openbaar beschikbare gegevens en de gegevens waarvoor het een licentie heeft verkregen. De onderzoekspagina van GPT-4 stelt: "De gegevens zijn een corpus van gegevens op webschaal, inclusief correcte en onjuiste oplossingen voor wiskundige problemen, zwakke en sterke redeneringen, tegenstrijdige en consistente verklaringen, en vertegenwoordigen een grote verscheidenheid aan ideologieën en ideeën."

Wanneer GPT-4 een vraag wordt gesteld, kan dit een grote verscheidenheid aan antwoorden opleveren, die mogelijk niet allemaal relevant zijn voor uw vraag. Om het af te stemmen op de intentie van de gebruiker, heeft OpenAI het gedrag van het model verfijnd met behulp van versterkend leren met menselijke feedback.

Hoewel we misschien niet de exacte trainingsgegevens kennen waarop een van deze modellen is getraind, weten we dat de trainingsintentie heel anders was. We zullen moeten afwachten hoe dit verschil in trainingsintentie zich onderscheidt tussen de twee modellen in een real-world implementatie.

PaLM 2- en GPT-4-chatbots en -services

De eerste portal die toegang heeft tot beide LLM's, gebruikt hun respectieve chatbots, PaLM 2's Bard en GPT-4's ChatGPT. Dat gezegd hebbende, GPT-4 zit achter een betaalmuur met ChatGPT Plus en gratis gebruikers krijgen alleen toegang tot GPT-3.5. Bard daarentegen is gratis voor iedereen en beschikbaar in 180 landen.

Dat wil niet zeggen dat je ook geen gratis toegang hebt tot GPT-4. Bing AI Chat van Microsoft maakt gebruik van GPT-4 en is volledig gratis, open voor iedereen en beschikbaar naast Bing Search, de grootste rivaal van Google in de ruimte.

Google I/O 2023 was gevuld met aankondigingen over hoe PaLM 2 en generatieve AI-integratie de Google Workspace zullen verbeteren ervaring met AI-functies die naar Google Documenten, Spreadsheets, Presentaties, Gmail en zowat elke service die de zoekgigant biedt, komen. Bovendien heeft Google bevestigd dat PaLM 2 al is geïntegreerd in meer dan 25 Google-producten, waaronder Android en YouTube.

Ter vergelijking: Microsoft heeft al AI-functies toegevoegd aan de Microsoft Office-programmasuite en veel van zijn services. Op dit moment kun je beide LLM's ervaren in hun eigen versies van vergelijkbare aanbiedingen van twee rivaliserende bedrijven die het tegen elkaar opnemen in de AI-strijd.

Sinds GPT-4 echter vroeg uitkwam en ervoor zorgde dat veel van de blunders die Google met de originele Bard maakte, werden vermeden, is het de de facto LLM voor externe ontwikkelaars, startups en zo ongeveer iedereen die een capabel AI-model in hun service wil opnemen, zodat ver. We hebben een lijst met GPT-4-apps als u ze wilt bekijken.

Dat wil niet zeggen dat ontwikkelaars niet zullen overstappen naar of in ieder geval PaLM 2 zullen uitproberen, maar Google moet op dat vlak nog steeds een inhaalslag maken met OpenAI. En het feit dat PaLM 2 open-source is, in plaats van vast te zitten achter een betaalde API, betekent dat het de potentie heeft om op grotere schaal te worden toegepast dan GPT-4.

Kan PaLM 2 het opnemen tegen GPT-4?

PaLM 2 is nog erg nieuw, dus het antwoord op de vraag of het GPT-4 al dan niet aankan, moet nog worden beantwoord. Echter, met alles wat Google belooft en de agressieve manier waarop het heeft besloten het te verspreiden, lijkt het erop dat PaLM 2 GPT-4 een run voor zijn geld kan geven.

GPT-4 is echter nog steeds een behoorlijk capabel model en verslaat, zoals eerder vermeld, PaLM 2 in nogal wat vergelijkingen. Dat gezegd hebbende, geven de meerdere kleinere modellen van PaLM 2 het een onweerlegbaar voordeel. Gecko zelf is zo licht dat het op mobiele apparaten kan werken, zelfs als het offline is. Dit betekent dat PaLM 2 een geheel andere klasse producten en apparaten kan ondersteunen die mogelijk moeite hebben met het gebruik van GPT-4.

De AI-race is aan het opwarmen

Met de lancering van PaLM2 is de race om AI-dominantie verhit geraakt, aangezien dit misschien wel de eerste waardige tegenstander is die het opneemt tegen GPT-4. Met een nieuwer multimodaal AI-model genaamd "Gemini" dat ook in opleiding is, vertoont Google hier geen tekenen van vertraging.