Er zijn tal van AI-aangedreven chatbots beschikbaar, maar welke gebruikt de beste LLM? Hier ziet u hoe u LLM's kunt vergelijken om erachter te komen welke het beste is.
Omdat er online verschillende chatbots beschikbaar zijn, kan het uiterst moeilijk worden om degene te selecteren die aan uw behoeften voldoet. Hoewel je twee chatbots handmatig kunt vergelijken, kost dit veel tijd en moeite.
Een betere en eenvoudigere manier is om Chatbot Arena te gebruiken om de verschillende LLM's te vergelijken die populaire chatbots aandrijven. Het biedt een aantal modi voor het vergelijken van de verschillende modellen, die we hieronder uitleggen.
Wat is Chatbot Arena?
Chatbot Arena is gemaakt door LMSYS Org en is een platform om verschillende LLM's te benchmarken. Het maakt gebruik van het Elo Rating-systeem om de verschillende modellen te rangschikken.
Chatbot Arena biedt gebruikers een aantal manieren om LLM's te vergelijken en te beoordelen. Op basis van de ingediende feedback rangschikt Chatbot Arena de verschillende LLM's op het openbare klassement. Het project wordt gesponsord door
HuggingFace, een open-source alternatief voor ChatGPT.Hoe anonieme LLM's te vergelijken met Chatbot Arena
Met de gevechtsmodus van Chatbot Arena kun je LLM's anoniem vergelijken. Dat kan bijvoorbeeld vergelijk ChatGPT (GPT 3.5) en Claude. Dit betekent dat Chatbot Arena zelf twee taalmodellen selecteert en u, zonder hun namen bekend te maken, ze kunt vergelijken.
Terwijl u de eerste prompt invoert, haalt Chatbot Arena de antwoorden van beide modellen op en presenteert ze naast elkaar. Met het platform kunt u reacties opnieuw genereren (voor beide LLM's) en de geschiedenis wissen om een ander gesprek te beginnen. Je kunt meer vragen blijven stellen totdat je een duidelijke winnaar hebt geselecteerd.
Vervolgens kunt u kiezen of model A beter is of B. Bij het selecteren van de winnaar onthult Chatbot Arena de namen van beide bots. Deze modus werkt prima omdat uw beslissing niet wordt beïnvloed door uw eerdere perceptie of populariteit van de modellen. Met Chatbot Arena kun je ook parameters aanpassen, zoals temperatuur, Top P en maximale outputtokens.
Hoe geselecteerde LLM's te vergelijken met Chatbot Arena
Als je twee specifieke LLM's wilt vergelijken, kun je overschakelen naar de zij-aan-zij-modus van Chatbot Arena. Afgezien van het feit dat je zelf de LLM’s kunt kiezen, werkt deze modus vrijwel hetzelfde als de gevechtsmodus. U kunt parameters aanpassen, reacties opnieuw genereren, de geschiedenis wissen en uiteindelijk een winnaar selecteren.
Het aantal LLM's dat beschikbaar is in deze modus is echter beperkt. U kunt verschillende versies van Llama 2, Vicuna en ChatGLM selecteren. Hoewel de populaire LLM's, zoals GPT-4, GPT-3.5, Claude 1, Claude 2, etc. momenteel niet beschikbaar zijn in deze modus, is Chatbot Arena van plan ze toe te voegen.
Vergelijk LLM's met behulp van Chatbot Arena
Of u nu op zoek bent naar een geschikte chatbot voor uw behoeften of gewoon verschillende LLM's wilt testen, Chatbot Arena is een geweldig platform.
Het biedt een vereenvoudigde manier om verschillende taalmodellen naast elkaar te vergelijken. En omdat het een scorebord bijhoudt op basis van de feedback van gebruikers, kunt u direct de ranglijst van verschillende modellen bekijken zonder zelf de tests uit te voeren.
