Een aangepaste ChatGPT bouwen met uw eigen gegevens

Door GPT-technologie te bieden in een krachtige en gebruiksvriendelijke chatbot, is ChatGPT 's werelds populairste AI-tool geworden. Veel mensen gebruiken ChatGPT om boeiende gesprekken te voeren, vragen te beantwoorden, creatieve suggesties te doen en te helpen bij het coderen en schrijven. ChatGPT is echter beperkt omdat u uw gegevens niet kunt opslaan voor persoonlijk gebruik op lange termijn, en het afkappunt voor kennisgegevens in september 2021.

Als tijdelijke oplossing kunnen we de API en LangChain van OpenAI gebruiken om ChatGPT te voorzien van aangepaste gegevens en bijgewerkte informatie na 2021 om een ​​aangepaste ChatGPT-instantie te maken.

Waarom ChatGPT voorzien van aangepaste gegevens?

Het voeden van ChatGPT met aangepaste gegevens en het verstrekken van bijgewerkte informatie na de sluitingsdatum van de kennis biedt verschillende voordelen ten opzichte van het gewoon gebruiken van ChatGPT zoals gewoonlijk. Hier zijn er een paar:

• Gepersonaliseerde interacties: Door ChatGPT te voorzien van aangepaste gegevens, kunnen gebruikers een meer op maat gemaakte ervaring creëren. Het model kan worden getraind op specifieke datasets die relevant zijn voor individuele gebruikers of organisaties, wat resulteert in antwoorden die zijn afgestemd op hun unieke behoeften en voorkeuren.
• Domeinspecifieke expertise: Dankzij aangepaste gegevensintegratie kan ChatGPT zich specialiseren in bepaalde domeinen of industrieën. Het kan worden getraind op branchespecifieke kennis, terminologie en trends, waardoor nauwkeurigere en inzichtelijkere antwoorden binnen die specifieke gebieden mogelijk zijn.
• Actuele en nauwkeurige informatie: Toegang tot actuele informatie zorgt ervoor dat ChatGPT op de hoogte blijft van de laatste ontwikkelingen en kennis. Het kan nauwkeurige antwoorden geven op basis van recente gebeurtenissen, nieuws of onderzoek, waardoor het een betrouwbaardere informatiebron wordt.

Nu u begrijpt hoe belangrijk het is om aangepaste gegevens aan ChatGPT te verstrekken, vindt u hier stap voor stap hoe u dit op uw lokale computer kunt doen.

Stap 1: Installeer en download software en vooraf gemaakt script

Let op: de volgende instructies zijn voor een Windows 10- of Windows 11-machine.

Om aangepaste gegevens aan ChatGPT te leveren, moet u de nieuwste Python3, Git, Microsoft C++ en het ChatGPT-ophaalscript van GitHub installeren en downloaden. Als u al een deel van de software op uw pc hebt geïnstalleerd, zorg er dan voor dat deze is bijgewerkt met de nieuwste versie om haperingen tijdens het proces te voorkomen.

Begin met het installeren van:

• Downloaden:Python3 (Vrij)
• Downloaden:Git (Vrij)
• Downloaden:Microsoft Visual Build-tools (Vrij)

Opmerkingen over de installatie van Python3 en Microsoft C++

Zorg er bij het installeren van Python3 voor dat u het vinkje aanvinkt Voeg python.exe toe aan PATH optie voordat u klikt Installeer nu. Dit is belangrijk omdat je hiermee toegang hebt tot Python in elke map op je computer.

Wanneer u Microsoft C ++ installeert, wilt u installeren Microsoft Visual Studio Build-tools Eerst. Eenmaal geïnstalleerd, kunt u het vinkje aanvinken Desktopontwikkeling met C++ optie en klik Installeren met alle optionele tools automatisch aangevinkt in de rechterzijbalk.

Nu je de nieuwste versies van Python3, Git en Microsoft C++ hebt geïnstalleerd, kun je het Python-script downloaden om eenvoudig aangepaste lokale gegevens op te vragen.

Downloaden: ChatGPT-ophaalscript (Vrij)

Klik op om het script te downloaden Code, kies dan ZIP downloaden. Dit zou het Python-script moeten downloaden naar uw standaard of geselecteerde map.

Na het downloaden kunnen we nu een lokale omgeving opzetten.

Stap 2: Stel de lokale omgeving in

Om de omgeving in te stellen, moet je een terminal openen in de map chatgpt-retrieval-main die je hebt gedownload. Om dat te doen, opent u chatgpt-retrieval-main map, klik met de rechtermuisknop en selecteer Openen in Terminal.

Zodra de terminal is geopend, kopieert en plakt u deze opdracht:

pip install langchain openai chromadb tiktoken ongestructureerd

Deze opdracht gebruikt de pakketbeheerder van Python om creëer en beheer de virtuele Python-omgeving nodig zijn.

Nadat we de virtuele omgeving hebben gemaakt, moeten we een OpenAI API-sleutel leveren om toegang te krijgen tot hun services. We moeten eerst een API-sleutel genereren uit het OpenAI API-sleutelsite door op te klikken Nieuwe geheime sleutel maken, een naam voor de sleutel toevoegen en vervolgens op de Maak een geheime sleutelknop.

U krijgt een reeks tekens. Dit is uw OpenAI API-sleutel. Kopieer het door op het kopieerpictogram aan de zijkant van de API-sleutel te klikken. Houd er rekening mee dat deze API-sleutel geheim moet worden gehouden. Deel het niet met anderen, tenzij u echt van plan bent dat zij het met u zullen gebruiken.

Eenmaal gekopieerd, keert u terug naar de map chatgpt-retrieval-main en opent u constanten met Kladblok. Vervang nu de tijdelijke aanduiding door uw API-sleutel. Vergeet niet om het bestand op te slaan!

Nu je met succes je virtuele omgeving hebt opgezet en je OpenAI API-sleutel als omgevingsvariabele hebt toegevoegd. U kunt nu uw aangepaste gegevens aan ChatGPT verstrekken.

Stap 3: aangepaste gegevens toevoegen

Om aangepaste gegevens toe te voegen, plaatst u al uw aangepaste tekstgegevens in het gegevens map in chatgpt-retrieval-main. Het formaat van de tekstgegevens kan de vorm hebben van een PDF, TXT of DOC.

Zoals je kunt zien in de bovenstaande schermafbeelding, heb ik een tekstbestand toegevoegd met een verzonnen persoonlijk schema, een artikel waarover ik heb geschreven AMD's Instinct Accelerators, en een PDF-document.

Stap 4: ChatGPT opvragen via terminal

Met het Python-script kunnen we gegevens opvragen uit de aangepaste gegevens die we hebben toegevoegd aan de gegevensmap en internet. Met andere woorden, u heeft toegang tot de gebruikelijke ChatGPT-backend en alle gegevens die lokaal in de gegevensmap zijn opgeslagen.

Voer het python chatgpt.py script en voeg vervolgens uw vraag of zoekopdracht toe als argument.

Python chatgpt.py "JOUW VRAAG"

Zorg ervoor dat u uw vragen tussen aanhalingstekens plaatst.

Om te testen of we met succes onze gegevens aan ChatGPT hebben doorgegeven, zal ik een persoonlijke vraag stellen over de Persoonlijke Sched.txt bestand.

Het werkte! Dit betekent dat ChatGPT de eerder verstrekte persoonlijke Sched.txt kon lezen. Laten we nu eens kijken of we ChatGPT met succes hebben gevoed met informatie die het niet kent vanwege de sluitingsdatum voor kennis.

Zoals je kunt zien, beschreef het correct de AMD Instinct MI250x, die werd uitgebracht na de sluitingsdatum van ChatGPT -3.

Beperkingen van Custom ChatGPT

Hoewel het voeden van GPT-3.5 met aangepaste gegevens meer manieren opent om de LLM toe te passen en te gebruiken, zijn er enkele nadelen en beperkingen.

Ten eerste moet u zelf alle gegevens aanleveren. Je hebt nog steeds toegang tot alle kennis van GPT-3.5 tot de sluitingsdatum voor kennis; u moet echter wel alle extra gegevens verstrekken. Dit betekent dat als u wilt dat uw lokale model kennis heeft van een bepaald onderwerp op internet dat GPT-3.5 nog niet kent, je moet naar internet gaan en de gegevens zelf schrapen en als tekst opslaan in de gegevensmap van chatgpt-retrieval-main.

Een ander probleem is dat het op deze manier opvragen van ChatGPT meer tijd kost om te laden in vergelijking met het direct opvragen van ChatGPT.

Ten slotte is het enige model dat momenteel beschikbaar is de GPT-3.5 Turbo. Dus zelfs als u toegang heeft tot GPT-4, kunt u dit niet gebruiken om uw aangepaste ChatGPT-instantie van stroom te voorzien.

Aangepaste ChatGPT is geweldig maar beperkt

Het verstrekken van aangepaste gegevens aan ChatGPT is een krachtige manier om meer uit het model te halen. Via deze methode kunt u het model voeden met alle tekstgegevens die u maar wilt en ernaar vragen, net als gewone ChatGPT, zij het met enkele beperkingen. Dit zal in de toekomst echter veranderen, omdat het gemakkelijker wordt om onze gegevens te integreren met de LLM, samen met toegang tot het nieuwste GPT-4-model.