Wat is GPT4All en hoe werkt het?

De GPT-modellen van OpenAI hebben een revolutie teweeggebracht in natuurlijke taalverwerking (NLP), maar tenzij u voor premium betaalt toegang tot de services van OpenAI, kunt u hun GPT-modellen niet afstemmen en integreren in uw toepassingen. Bovendien heeft OpenAI toegang tot al uw gesprekken, wat een beveiligingsprobleem kan zijn als u ChatGPT voor zaken en andere meer gevoelige gebieden van uw leven gebruikt. Als je hier niet enthousiast over bent, wil je misschien GPT4All uitproberen.

Dus wat is GPT4All precies? Hoe werkt het en waarom zou je het gebruiken via ChatGPT?

Wat is GPT4All?

GPT4All is een open-source ecosysteem dat wordt gebruikt voor het integreren van LLM's in applicaties zonder te betalen voor een platform- of hardware-abonnement. Het is gemaakt door Nomic AI, een informatiecartografiebedrijf dat de toegang tot AI-bronnen wil verbeteren.

GPT4All is ontworpen om op moderne tot relatief moderne pc's te draaien zonder een internetverbinding of zelfs maar een GPU! Dit is mogelijk omdat de meeste modellen die door GPT4All worden geleverd, zijn gekwantiseerd tot slechts enkele gigabytes, waardoor slechts 4–16 GB RAM nodig is om te werken.

Hierdoor kunnen kleinere bedrijven, organisaties en onafhankelijke onderzoekers een LLM gebruiken en integreren voor specifieke toepassingen. En met GPT4All eenvoudig te installeren via een installatieprogramma met één klik, kunnen mensen nu GPT4All gebruiken en veel van zijn LLM's voor het maken van inhoud, het schrijven van code, het begrijpen van documenten en informatie bijeenkomst.

Waarom GPT4ALL gebruiken via ChatGPT?

Er zijn verschillende redenen waarom u GPT4All via ChatGPT zou willen gebruiken.

• Draagbaarheid: Modellen die door GPT4All worden geleverd, hebben slechts vier tot acht gigabyte aan geheugenopslag nodig, hebben geen GPU nodig om te werken en kunnen eenvoudig worden opgeslagen op een USB-flashstation met het GPT4All-installatieprogramma met één klik. Dit maakt GPT4All en zijn modellen echt draagbaar en bruikbaar op vrijwel elke moderne computer die er is.
• Privacy en veiligheid: Zoals eerder uitgelegd, zijn al uw ChatGPT-conversies toegankelijk via OpenAI, tenzij u toegang heeft tot ChatGPT Plus. GPT4All is gericht op datatransparantie en privacy; uw gegevens worden alleen op uw lokale hardware opgeslagen, tenzij u deze opzettelijk deelt met GPT4All om hun modellen te laten groeien.
• Offline modus: GPT is een eigen model dat API-toegang en een constante internetverbinding vereist om het model op te vragen of er toegang toe te krijgen. Als je een internetverbinding verliest of een serverprobleem hebt, heb je geen toegang tot ChatGPT. Bij GPT4All is dit niet het geval. Aangezien alle gegevens al zijn opgeslagen op een pakket van vier tot acht gigabyte en de inferentie lokaal wordt gedaan, hebt u geen internetverbinding nodig om toegang te krijgen tot modellen in GPT4All. U kunt zelfs zonder internetverbinding blijven chatten en uw model verfijnen.
• Gratis en open source: Verschillende LLM's die door GPT4All worden aangeboden, zijn gelicentieerd onder GPL-2. Hierdoor kan iedereen zijn eigen modellen verfijnen en integreren voor commercieel gebruik zonder te hoeven betalen voor licenties.

Hoe GPT4All werkt

Zoals eerder besproken, is GPT4All een ecosysteem dat wordt gebruikt om LLM's lokaal op uw computer te trainen en in te zetten, wat een ongelooflijke prestatie is! Doorgaans zou het laden van een standaard 25-30 GB LLM 32 GB RAM en een enterprise-grade GPU vergen.

Ter vergelijking: de LLM's die u kunt gebruiken met GPT4All hebben slechts 3GB-8GB opslagruimte nodig en kunnen werken op 4GB-16GB RAM. Dit maakt het mogelijk om een ​​volledige LLM op een edge-apparaat uit te voeren zonder een GPU of externe cloudhulp nodig te hebben.

De hardwarevereisten om LLM's op GPT4All uit te voeren, zijn aanzienlijk verminderd dankzij neurale netwerkkwantisatie. Door het precisiegewicht en de activeringen in een neuraal netwerk te verminderen, kunnen veel van de modellen van GPT4All op de meeste relatief moderne computers worden uitgevoerd.

De trainingsgegevens die in sommige van de beschikbare modellen worden gebruikt, zijn verzameld via 'de stapel', wat gewoon geschraapte gegevens zijn van openbaar vrijgegeven inhoud op internet. De gegevens worden vervolgens verzonden naar de Atlas AI-database van Nomic AI, die kan worden bekeken op basis van correlaties op een gemakkelijk te zien 2D-vectorkaart (ook bekend als een AI-vectordatabase).

Door Nomic AI het Groovy-model te trainen en openbaar beschikbare gegevens te gebruiken, kon Nomic AI het model vrijgeven op een open GPL-licentie waardoor iedereen het kan gebruiken, zelfs voor commerciële toepassingen.

Hoe GPT4All te installeren

Het installeren van GPT4All is eenvoudig, en nu GPT4All versie 2 is uitgebracht, is het nog eenvoudiger! De beste manier om GPT4All 2 te installeren, is door het installatieprogramma met één klik te downloaden:

Downloaden:GPT4All voor Windows, macOS of Linux (gratis)

De volgende instructies zijn voor Windows, maar u kunt GPT4All op elk belangrijk besturingssysteem installeren.

Dubbelklik na het downloaden op het installatieprogramma en selecteer Installeren. Windows Defender kan de installatie als kwaadaardig beschouwen omdat het proces voor Microsoft om geldige handtekeningen te geven voor toepassingen van derden lang kan duren. Dit moet echter snel worden opgelost. Op het moment van schrijven, zolang je de GPT4All-applicatie van de officiële website hebt gedownload, zou je veilig moeten zijn. Klik op Hoe dan ook installeren om GPT4All te installeren.

Zodra u de applicatie opent, moet u een model selecteren om te gebruiken. GPT4ALL biedt u verschillende modellen, die allemaal hun sterke en zwakke punten hebben. Om te weten welk model u moet downloaden, vindt u hier een tabel met hun sterke en zwakke punten.

Houd er rekening mee dat de aangeboden modellen verschillende niveaus van beperkingen hebben. Niet alle modellen zijn gratis commercieel te gebruiken; sommige hebben meer hardwarebronnen nodig, terwijl andere een API-sleutel nodig hebben. De minst beperkende modellen die beschikbaar zijn in GPT4All zijn Groovy, GPT4All Falcon en Orca.

Kun jij GPT4All-modellen trainen?

Ja, maar niet de gekwantiseerde versies. Om GPT4All-modellen effectief af te stemmen, moet u de onbewerkte modellen downloaden en GPU's van bedrijfskwaliteit gebruiken, zoals AMD's Instinct Accelerators of NVIDIA's Ampere of Hopper GPU's. Bovendien moet u het model trainen via een AI-trainingsframework zoals LangChain, waarvoor enige technische kennis vereist is.

Het verfijnen van een GPT4All-model vereist wat financiële middelen en enige technische knowhow, maar als u alleen aangepaste gegevens van een GPT4All-model wilt invoeren, kunt u blijf het model trainen door retrieval augmented generation (wat een taalmodel helpt toegang te krijgen tot en informatie te begrijpen buiten de basistraining om te voltooien taken). U kunt dit doen door de GPT4All te vragen uw aangepaste gegevens te modelleren voordat u een vraag stelt. Aangepaste gegevens moeten lokaal worden opgeslagen en wanneer daarom wordt gevraagd, moet het model u de informatie kunnen geven die u ooit hebt gegeven.

Moet u GTP4All gebruiken?

Het idee voor GPT4All is om een ​​gratis te gebruiken en open-source platform te bieden waar mensen grote taalmodellen op hun computers kunnen uitvoeren. Momenteel zijn GPT4All en zijn gekwantiseerde modellen geweldig voor het experimenteren, leren en uitproberen van verschillende LLM's in een veilige omgeving. Voor professionele workloads raden we nog steeds aan om ChatGPT te gebruiken, aangezien het model aanzienlijk beter in staat is.

Over het algemeen is er geen enkele reden waarom u zich tot één zou moeten beperken. Aangezien hun use-case elkaar niet overlapt, zou u beide moeten proberen.