Moet u een lokale LLM gebruiken? 9 voor- en nadelen

Sinds de komst van ChatGPT in november 2022 is de term groot taalmodel (LLM) snel overgegaan van een nicheterm voor AI-nerds naar een modewoord op ieders lippen. De grootste aantrekkingskracht van een lokale LLM is de mogelijkheid om de mogelijkheden van een chatbot zoals ChatGPT op uw computer te repliceren zonder de bagage van een in de cloud gehoste versie.

Er zijn argumenten voor en tegen het opzetten van een lokale LLM op uw computer. We zullen de hype doorbreken en u de feiten brengen. Moet u een lokale LLM gebruiken?

De voordelen van het gebruik van lokale LLM's

Waarom zijn mensen zo enthousiast over het opzetten van hun eigen bedrijf? grote taalmodellen op hun computers? Wat zijn, afgezien van de hype en het opscheppen, enkele praktische voordelen?

1. Minder censuur

Toen ChatGPT en Bing AI voor het eerst online kwamen, waren de dingen die beide chatbots bereid waren te zeggen en te doen even fascinerend als alarmerend. Bing AI gedroeg zich warm en lieflijk, alsof het emoties had. ChatGPT was bereid scheldwoorden te gebruiken als je het vriendelijk vroeg. Destijds zouden beide chatbots je zelfs helpen een bom te maken als je de juiste aanwijzingen gebruikte. Dit klinkt misschien als een fout, maar alles kunnen doen was emblematisch voor de onbeperkte mogelijkheden van de taalmodellen die hen aandreven.

Vandaag allebei chatbots zijn zo streng gecensureerd dat ze je niet eens zullen helpen een fictieve misdaadroman met gewelddadige scènes te schrijven. Sommige AI-chatbots praten niet eens over religie of politiek. Hoewel LLM's die je lokaal kunt opzetten niet geheel censuurvrij zijn, zullen velen van hen graag de tot nadenken stemmende dingen doen die de publieke chatbots niet zullen doen. Dus als je niet wilt dat een robot je de les leest over moraliteit bij het bespreken van onderwerpen van persoonlijk belang, kan het runnen van een lokale LLM de beste keuze zijn.

2. Betere gegevensprivacy

Een van de belangrijkste redenen waarom mensen voor een lokale LLM kiezen, is om ervoor te zorgen dat wat er op hun computer gebeurt, op hun computer blijft. Wanneer u een lokale LLM gebruikt, is het alsof u een privégesprek voert in uw woonkamer: niemand van buitenaf kan meeluisteren. Of u nu experimenteert met uw creditcardgegevens of gevoelige persoonlijke gesprekken voert met de LLM, alle resulterende gegevens worden alleen op uw computer opgeslagen. Het alternatief is het gebruik van publiekelijk gerichte LLM's zoals GPT-4, waarmee de verantwoordelijke bedrijven toegang krijgen tot uw chatinformatie.

3. Offline gebruik

Omdat internet overal betaalbaar en toegankelijk is, lijkt offline toegang misschien een triviale reden om een ​​lokale LLM te gebruiken. Offlinetoegang kan vooral van cruciaal belang zijn op afgelegen of geïsoleerde locaties waar de internetservice onbetrouwbaar of niet beschikbaar is. In dergelijke scenario's wordt een lokale LLM die onafhankelijk van een internetverbinding opereert een essentieel hulpmiddel. Hiermee kunt u zonder onderbreking doorgaan met doen wat u wilt doen.

4. Kostenbesparingen

De gemiddelde prijs voor toegang tot een capabele LLM zoals GPT-4 of Claude 2 is $ 20 per maand. Hoewel dat misschien geen alarmerende prijs lijkt, krijg je voor dat bedrag toch een aantal vervelende beperkingen. Met GPT-4, toegankelijk via ChatGPT, zit u bijvoorbeeld vast aan een limiet van 50 berichten per drie uur. Je kunt alleen voorbij die grenzen komen door overstappen naar het ChatGPT Enterprise-abonnement, wat mogelijk duizenden dollars zou kunnen kosten. Met een lokale LLM hoeft u, zodra u de software heeft geïnstalleerd, geen maandelijks abonnement van $ 20 of terugkerende kosten te betalen. Het is alsof je een auto koopt in plaats van te vertrouwen op ride-share-diensten. In eerste instantie is het duur, maar na verloop van tijd bespaart u geld.

5. Beter maatwerk

Openbaar beschikbare AI-chatbots hebben beperkte aanpassingen vanwege beveiligings- en censuurproblemen. Met een lokaal gehoste AI-assistent kunt u het model volledig aanpassen aan uw specifieke behoeften. U kunt de assistent trainen op het gebied van bedrijfseigen gegevens die zijn afgestemd op uw gebruiksscenario's, waardoor de relevantie en nauwkeurigheid worden verbeterd. Een advocaat zou bijvoorbeeld zijn lokale AI kunnen optimaliseren om preciezere juridische inzichten te genereren. Het belangrijkste voordeel is controle over maatwerk voor uw unieke vereisten.

De nadelen van het gebruik van lokale LLM's

Voordat u de overstap maakt, zijn er enkele nadelen aan het gebruik van een lokale LLM waarmee u rekening moet houden.

1. Resource-intensief

Om een ​​performante lokale LLM te runnen, heb je hoogwaardige hardware nodig. Denk aan krachtige CPU's, veel RAM en waarschijnlijk een speciale GPU. Verwacht niet dat een budgetlaptop van $ 400 een goede ervaring biedt. De reacties zullen pijnlijk traag zijn, vooral bij grotere AI-modellen. Het is alsof je de allernieuwste videogames speelt: je hebt krachtige specificaties nodig voor optimale prestaties. Mogelijk hebt u zelfs gespecialiseerde koeloplossingen nodig. Het komt erop neer dat lokale LLM's een investering in hardware van het hoogste niveau vereisen om de snelheid en het reactievermogen te krijgen die u geniet op webgebaseerde LLM's (of die zelfs te verbeteren). De computervereisten aan uw kant zullen aanzienlijk zijn vergeleken met het gebruik van webgebaseerde services.

2. Tragere reacties en mindere prestaties

Een veel voorkomende beperking van lokale LLM's zijn langzamere responstijden. De exacte snelheid is afhankelijk van het specifieke AI-model en de gebruikte hardware, maar de meeste opstellingen blijven achter bij online diensten. Na directe reacties van ChatGPT, Bard en anderen te hebben ervaren, kunnen lokale LLM's zich schrikbarend traag voelen. Woorden druppelen langzaam naar buiten en worden snel teruggegeven. Dit is niet overal waar, omdat sommige lokale implementaties goede prestaties leveren. Maar de gemiddelde gebruiker wordt geconfronteerd met een steile daling ten opzichte van de pittige webervaring. Bereid je dus voor op een ‘cultuurschok’ van snelle onlinesystemen naar langzamere lokale equivalenten.

Kortom, tenzij je een absolute topinstallatie rockt (we hebben het over AMD Ryzen 5800X3D met een Nvidia RTX 4090 en genoeg RAM om een ​​schip tot zinken te brengen), zullen de algehele prestaties van uw lokale LLM niet te vergelijken zijn met de online generatieve AI-chatbots die u gebruikt gewend om.

3. Complexe installatie

Het inzetten van een lokale LLM is meer betrokken dan alleen het aanmelden voor een webgebaseerde AI-service. Met een internetverbinding kan uw ChatGPT-, Bard- of Bing AI-account binnen enkele minuten klaar zijn om te beginnen met vragen. Het opzetten van een volledige lokale LLM-stack vereist het downloaden van frameworks, het configureren van de infrastructuur en het integreren van verschillende componenten. Bij grotere modellen kan dit complexe proces uren duren, zelfs met tools die de installatie willen vereenvoudigen. Sommige geavanceerde AI-systemen vereisen nog steeds diepgaande technische expertise om lokaal te kunnen functioneren. In tegenstelling tot plug-and-play webgebaseerde AI-modellen vergt het beheren van uw eigen AI dus een aanzienlijke technische en tijdsinvestering.

4. Beperkte kennis

Veel lokale LLM's zitten vast in het verleden. Ze hebben beperkte kennis van de actualiteit. Weet je nog dat ChatGPT geen toegang had tot internet? Terwijl het alleen maar antwoorden kon geven op vragen over gebeurtenissen die plaatsvonden vóór september 2021? Ja? Net als bij vroege ChatGPT-modellen worden lokaal gehoste taalmodellen vaak alleen getraind op gegevens vóór een bepaalde afsluitdatum. Als gevolg hiervan zijn ze zich niet meer bewust van de recente ontwikkelingen na dat punt.