Wat is de ChatGPT-tokenlimiet en kunt u deze overschrijden?

ChatGPT heeft de technologische wereld stormenderhand veroverd en er is geen tekort aan verbeteringen en updates. Maar ondanks het gebruik van geavanceerde technologie zijn er nogal wat beperkende factoren binnen de huidige versie.

Een van die factoren is het tokensysteem, dat de evolutiecyclus blijft doorbreken, waardoor het nut van de app op de knieën gaat. Als je ChatGPT gebruikt, wil je misschien meer weten over de tokens van ChatGPT en wat je moet doen als je geen tokens meer hebt.

Laten we een stap terug doen en u inzicht geven in alles wat er te weten valt over de onderliggende werkingsmechanismen van de app.

Wat is een ChatGPT-token?

Als je de façade van de app volgt, zie je alleen een computertaal die je commando's gehoorzaamt en je de antwoorden geeft die je zoekt. De backend is echter gewoon een heleboel code, die elke minuut leert en op de hoogte blijft van de vragen die het beantwoordt.

ChatGPT zet elk woord om in een leesbaar token wanneer je een vraag stelt. Om het verder uit te splitsen: tokens zijn tekstfragmenten en elke programmeertaal gebruikt een andere set tokenwaarden om de vereisten te begrijpen.

Omdat computers tekstwaarden niet direct begrijpen, splitsen ze ze op in een combinatie van getallen, vaak insluitingen genoemd. U kunt zelfs inbeddingen overwegen zoals Python-lijsten, die lijken op een lijst met gerelateerde nummers, zoals [1.1,2.1,3.1,4.1…n].

Zodra ChatGPT de eerste invoer heeft ontvangen, probeert het de volgende mogelijke invoer te voorspellen op basis van de eerdere informatie. Het kiest de volledige lijst met eerdere tokens en probeert, met behulp van zijn coderingssynthese, de daaropvolgende invoer door de gebruiker te voorkomen. Het gebruikt en voorspelt één token tegelijk om het voor de taal eenvoudiger te maken om het gebruik te begrijpen.

Om voorspellingen te verbeteren en de nauwkeurigheid te verbeteren, pikt het de volledige lijst met inbeddingen op en geeft deze door transformatorlagen om associaties tussen woorden tot stand te brengen. Als u bijvoorbeeld een vraag stelt als "Wie is Thomas Edison?", pikt ChatGPT de meest waardevolle woorden in de lijst op: WHO En Edison.

Transformatorlagen spelen hun rol in het hele proces. Deze lagen zijn een vorm van neurale netwerkarchitectuur die is getraind om de meest relevante trefwoorden uit een reeks woorden op te pikken. Het trainingsproces is echter niet zo eenvoudig als het klinkt, want het duurt lang om transformatorlagen te trainen op gigabytes aan gegevens.

Hoewel ChatGPT slechts één token tegelijk voorspelt, is de auto-regressieve technologie geprogrammeerd om te voorspellen en terug te koppelen naar het primaire model om de uitvoer vrij te geven. Het model is zo afgesteld dat het voor elk token maar één keer wordt uitgevoerd, dus het resultaat wordt woord voor woord afgedrukt. De uitvoer stopt automatisch wanneer de toepassing een stoptokenopdracht tegenkomt.

Als u bijvoorbeeld naar de tokencalculator op de ChatGPT-website kijkt, kunt u uw tokengebruik berekenen op basis van uw vragen.

Laten we wat voorbeeldtekst invoeren, zoals:

Hoe leg ik het gebruik van tokens uit in ChatGPT?

Volgens de rekenmachine zijn er 46 tekens in deze string, die 13 tokens zullen verbruiken. Als je het opsplitst in Token-ID's, ziet het er ongeveer zo uit:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

Volgens de OpenAI-tokencalculator:

Een handige vuistregel is dat één token over het algemeen overeenkomt met ~4 tekens tekst voor gewone Engelse tekst. Dit vertaalt zich naar ongeveer ¾ van een woord (dus 100 tokens ~= 75 woorden).

Gratis versus Betaalde tokens

Om u een voorproefje te geven van wat er in de ChatGPT-toepassing zit, biedt OpenAI u een gratis beperkt token-abonnement. Als je wilt experimenteren met de ChatGPT API, gebruik dan het gratis tegoed van $ 5, dat drie maanden geldig is. Zodra de limiet is opgebruikt (of de proefperiode voorbij is), kunt u betalen naar gebruik, waardoor het maximale quotum wordt verhoogd tot $ 120.

ChatGPT Plus: is het betaalde abonnement het waard?

Om nog een stapje verder te gaan, kunt u zich zelfs aanmelden voor de ChatGPT Plus-aanbieding, waarmee u $ 20 per maand terugkrijgt. Gezien het uitgebreide gebruik en de populariteit van het volledige AI-model, zijn hier de belangrijkste kenmerken van het betaalde abonnementsmodel:

• Toegang tot ChatGPT, zelfs als de website uitvalt door een toestroom van gebruikers
• Verbeterde responspercentages
• Toegang uit de eerste hand tot nieuwe functies en releases

Als u denkt dat deze functies de moeite waard zijn en helemaal in uw straatje passen, kunt u zich inschrijven voor het betaalde abonnement en er onmiddellijk van profiteren.

ChatGPT Token Prijsstructuur

Er zijn een paar verschillende toepassingsmodellen beschikbaar, die u kunt kiezen op basis van uw vereisten:

Ada is de snelste, terwijl DaVinci het krachtigste model uit deze lijst met modellen is. De prompt is de vraag, terwijl de voltooiing de antwoorden behandelt.

Maximale tokenlimieten

Met elk model kunt u het maximum aantal tokens binnen elke query instellen. Deze methode bepaalt het maximale aantal tokens dat de toepassing genereert in een enkele aanroep, waardoor de uitvoer wordt beperkt. De max_token-functie is best handig, vooral wanneer u de lengte van uw uitvoer wilt regelen en tegelijkertijd wilt voorkomen dat u uw tokengebruik en tegoeden te veel gebruikt. De standaardlengte is vastgesteld op 2048 tokens, terwijl het maximum kan worden ingesteld op 4096 tokens.

Het beperken van het tokengebruik kan resulteren in korte antwoorden, wat de uitvoer kan beperken en uw gebruikservaring kan verstoren.

ChatGPT3 heeft een bovengrens van 4096; met de introductie van ChatGPT4 worden de tokenlimieten echter als volgt verhoogd:

Als uw uitvoer wordt afgekapt, moet u de opgegeven maximumlimiet van uw dashboard verhogen. Onthoud dat de som van uw prompt en maximale tokens altijd kleiner moet zijn dan de maximale tokenlimiet van het model.

Binnen het ChatGPT-model is bijvoorbeeld de prompt_tokens + max_tokens <= 4096 Munten.

Leer uw ChatGPT-prompts te beheren voor de beste resultaten

Hoe je de AI-gestuurde applicatie ook gebruikt, de kans is groot dat je manieren moet bedenken om slim met je vragen en zinnen te spelen. Afhankelijk van uw gebruikspatronen, zult u ChatGPT waarschijnlijk uitgebreid gebruiken voor elke taak.

Om de beste resultaten te krijgen, moet u leren werken met de tokenmethodologie en uw vaardigheden verbeteren om ervoor te zorgen dat uw gebruikslimieten intact blijven terwijl u de best mogelijke antwoorden krijgt.