Hoewel OpenAI voorop loopt bij de ontwikkeling van generatieve AI, hebben velen Google ervan beschuldigd achterop te lopen. Om niet achter te blijven, lanceerde Google tijdens de Google I/O-conferentie in 2023 een nieuw groot taalmodel, PaLM 2.
De nieuwe LLM van Google, die is ingesteld om in vier verschillende formaten te komen voor een reeks toepassingen, ondersteunt blijkbaar al verschillende Google-services, en er zullen er nog veel meer volgen.
Wat is PALM 2?
Tijdens Google I/O 2023, gehouden op 10 mei, onthulde Google-CEO Sunda Pichai het nieuwste speeltje van Google: PALM 2.
De afkorting van Pathways Language Model 2, de geüpgradede LLM van Google, is de tweede iteratie van PaLM, waarvan de eerste versie in april 2022 wordt gelanceerd. Kun je PaLM niet meer herinneren? Welnu, in die tijd was het groot nieuws en kreeg het veel belangstelling vanwege zijn vermogen om een beetje te converseren, eenvoudige grappen te vertellen, enzovoort. Zes maanden vooruitspoelen, en OpenAI's GPT-3.5 blies alles uit het water, inclusief PALM.
Sindsdien, OpenAI heeft GPT-4 gelanceerd, een enorme upgrade van GPT-3.5. Maar terwijl het nieuwere model wordt geïntegreerd in tal van tools, met name Microsoft's Bing AI Chat, richt Google zich op bij OpenAI en GPT-4 met PaLM 2 en hopen dat de geüpgradede LLM kan dichten wat een aanzienlijke kloof leek te zijn - de lancering van Google Bard was nauwelijks een gebrul succes.
Pichai heeft aangekondigd dat PaLM 2 in vier verschillende modelgroottes zal komen: Gecko, Otter, Bison en Unicorn.
Gecko is zo licht dat het op mobiele apparaten kan werken en is snel genoeg voor geweldige interactieve toepassingen op het apparaat, zelfs als het offline is. Deze veelzijdigheid betekent dat PaLM 2 nauwkeurig kan worden afgesteld om hele productklassen op meer manieren te ondersteunen, om meer mensen te helpen.
Nu Gecko in staat is om ongeveer 20 tokens per seconde te verwerken - tokens zijn de waarden die worden toegewezen aan echte woorden voor gebruik door generatieve AI-modellen - lijkt het waarschijnlijk een game-changer te zijn voor mobiel inzetbare AI-tools.
PaLM 2 trainingsgegevens
Google was niet bepaald openhartig met de trainingsgegevens van PaLM 2, begrijpelijk gezien het feit dat het net is vrijgegeven. Maar die van Google PaLM 2-rapport [PDF] zei wel dat het wilde dat PaLM 2 een dieper begrip zou krijgen van wiskunde, logica en wetenschap, en dat een groot deel van het trainingscorpus zich op deze onderwerpen richtte.
Toch is het vermeldenswaard dat PaLM niet traag was. Wanneer Google onthulde PaLM, bevestigde het dat het was getraind op 540 miljard parameters, wat in die tijd een kolossaal cijfer was.
OpenAI's GPT-4 zou meer dan een biljoen parameters gebruiken, met enige speculatie die dat cijfer oploopt tot 1,7 biljoen. Het is een veilige gok dat, aangezien Google wil dat PaLM 2 rechtstreeks concurreert met de LLM's van OpenAI, het op zijn minst een vergelijkbaar cijfer zal hebben, zo niet meer.
Een andere belangrijke stimulans voor PaLM 2 zijn de taaltrainingsgegevens. Google heeft PaLM 2 in meer dan 100 talen getraind om het meer diepgang en contextueel begrip te geven en de vertaalmogelijkheden te vergroten.
Maar het zijn niet alleen gesproken talen. Koppeling aan de vraag van Google naar PaLM 2 om betere wetenschappelijke en wiskundige redeneringen te leveren, heeft de LLM ook getraind in meer dan 20 programmeertalen, wat het een fenomenale aanwinst maakt voor programmeurs.
PaLM 2 ondersteunt al Google-services, maar moet nog worden verfijnd
Het zal niet lang meer duren voordat we PaLM 2 in handen kunnen krijgen en kunnen zien wat het kan doen. Met een beetje geluk zal de lancering van alle PaLM 2-applicaties en -services beter zijn dan Bard.
Maar misschien heb je (technisch gezien!) PaLM 2 al gebruikt. Google heeft bevestigd dat PaLM 2 al is geïmplementeerd en in gebruik is in 25 van zijn producten, waaronder Android, YouTube, Gmail, Google Docs, Google Slides, Google Spreadsheets en meer.
Maar het PaLM 2-rapport laat ook zien dat er nog werk aan de winkel is, met name op het gebied van toxische reacties in verschillende talen.
Wanneer bijvoorbeeld specifiek toxische prompts worden gegeven, genereert PaLM 2 meer dan 30 procent van de tijd toxische reacties. Bovendien leverde PaLM 2 in specifieke talen - Engels, Duits en Portugees - meer toxische reacties op dan 17 procent van de tijd, waarbij aanwijzingen met inbegrip van raciale identiteiten en religies dat cijfer opdrijven hoger.
Het maakt niet uit hoeveel onderzoekers LLM-trainingsgegevens proberen op te schonen, het is onvermijdelijk dat sommigen er doorheen glippen. De volgende fase is om PaLM 2 te blijven trainen om die toxische reacties te verminderen.
Het is een bloeiperiode voor grote taalmodellen
OpenAI was niet de eerste die een groot taalmodel lanceerde, maar de GPT-3-, GPT-3.5- en GPT-4-modellen verlichtten ongetwijfeld het blauwe touchpaper over generatieve AI.
Google's PaLM 2 heeft een aantal problemen die moeten worden opgelost, maar dat het al in gebruik is in verschillende Google-services toont het vertrouwen dat het bedrijf heeft in zijn nieuwste LLM.
