Een groot taalmodel uitvoeren op Linux (en waarom zou u dat moeten doen)

Grote taalmodellen hebben het potentieel om een ​​revolutie teweeg te brengen in de manier waarop u leeft en werkt, en kunnen gesprekken voeren en vragen beantwoorden met een variabele mate van nauwkeurigheid.

Om er een te gebruiken, hebt u meestal een account bij een LLM-provider nodig en moet u inloggen via een website of speciale app. Maar wist je dat je je eigen grote taalmodel volledig offline op Linux kunt draaien?

Waarom een ​​groot taalmodel op Linux uitvoeren?

Grote taalmodellen (LLM's) zijn tegenwoordig overal en kunnen natuurlijke taal verwerken en passende antwoorden geven die u kunnen doen denken dat een mens heeft geantwoord. Microsoft rolt een nieuwe AI-aangedreven versie van Bing uit, terwijl die van Alphabet Bard is nu een integraal onderdeel van Google-zoekopdrachten.

Buiten zoekmachines kunt u zogenaamde "AI-chatbots" gebruiken om vragen te beantwoorden, poëzie te componeren of zelfs uw huiswerk voor u te maken.

Maar door online toegang te krijgen tot LLM's, bent u afhankelijk van de goodwill van een externe provider, die op elk moment kan worden ingetrokken.

U bent ook onderworpen aan gebruiksbeperkingen. Vraag OpenAI bijvoorbeeld om een ​​erotische novelle van 6000 woorden te schrijven die zich afspeelt in nazi-Duitsland, en je krijgt een antwoord in de trant van "Het spijt me, maar ik kan dat verhaal niet voor je genereren."

Alles wat u in online LLM's invoert, wordt gebruikt om ze verder te trainen, en gegevens die u misschien vertrouwelijk wilt houden, kunnen in de toekomst worden uitgespuugd als onderdeel van een antwoord op de vraag van iemand anders.

U bent ook onderhevig aan een gebrek aan service omdat het systeem wordt overspoeld met gebruikers en gezeurd om zich te abonneren, zodat u toegang kunt krijgen tot het platform wanneer de vraag groot is.

Dalai is een gratis en open-source implementatie van Meta's LLaMa LLM en Stanford's Alpaca. Het werkt comfortabel op bescheiden hardware en biedt een handige webinterface en een reeks promptsjablonen, zodat u alles kunt vragen u wilt, zonder bang te hoeven zijn dat een beheerder uw account gaat sluiten, de LLM zal weigeren te antwoorden, of uw verbinding gaat druppel.

Wanneer u een LLM lokaal op Linux installeert, is deze van u en kunt u deze gebruiken zoals u wilt.

Hoe Dalai op Linux te installeren

De eenvoudigste manier om Dalai op Linux te installeren, is door Docker en Docker Compose te gebruiken. Als je deze nog niet hebt, raadpleeg dan onze gids over hoe je dit kunt doen Installeer Docker en Docker Compose.

Met dat uit de weg, ben je klaar om Dalai te installeren. Kloon de Dalai GitHub-repository en gebruik de opdracht cd om ernaartoe te gaan:

git kloon https://github.com/cocktailpeanut/dalai.git && cd dalai

Om Dalai aan de slag te krijgen met een webinterface, bouwt u eerst het Docker Compose-bestand:

docker-compose bouwen

Docker Compose zal Python 3.11, Node Version Manager (NVM) en Node.js downloaden en installeren.

In fase zeven van negen lijkt de build te bevriezen terwijl Docker Compose Dalai downloadt. Maak je geen zorgen: controleer je bandbreedtegebruik om jezelf gerust te stellen dat er iets aan de hand is, en simuleer de evolutie van virtuele organismen in uw terminal terwijl je wacht.

Uiteindelijk keert u terug naar de opdrachtprompt.

Dalai en de LLaMa/Alpaca-modellen hebben veel geheugen nodig om te werken. Hoewel er geen officiële specificatie is, is een goede ruwe richtlijn 4 GB voor het 7B-model, 8 GB voor het 13B-model, 16 GB voor het 30B-model en 32 GB voor het 65B-model.

De Alpaca-modellen zijn relatief klein, waarbij het 13B-model een bescheiden 7,6 GB bereikt, maar de LLaMA-gewichten kunnen enorm zijn: de equivalente 13B-download komt uit op 60,21 GB, en het 65B-model neemt een epische halve terabyte in beslag op je harde schijf schijf.

Bepaal welk model het meest geschikt is voor uw bronnen en gebruik de volgende opdracht om het te installeren:

docker-compose voer dalai npx dalai alpaca install 13B uit

Of:

docker-compose voer dalai npx dalai lama install 13B uit

Er is een kans dat de via Dalai gedownloade modellen beschadigd zijn. Als dit het geval is, pak ze dan weg Knuffelend gezicht in plaats van.

Nadat u bent teruggekeerd naar de opdrachtprompt, opent u Docker Compose in ontkoppelde modus:

docker-samenstellen up -d

Controleer of de container goed loopt met:

docker-samenstellen ps

Als alles naar behoren werkt, opent u een webbrowser en voert u in lokale host: 3000 in de adresbalk.

Veel plezier met je eigen grote taalmodel op Linux

Wanneer de webinterface wordt geopend, ziet u een tekstvak waarin u uw prompts kunt schrijven.

Effectieve prompts schrijven is moeilijk, en de Dalai-ontwikkelaars hebben behulpzaam een ​​reeks sjablonen geleverd waarmee u een nuttig antwoord van Dalai kunt krijgen.

Dit zijn AI-Dialoogvenster, Chatbot, Standaard, Instructie, Herschrijven, Vertalen, En Tweet-sentiment.

Zoals je zou verwachten, de AI-Dialoogvenster En Chatbot sjablonen zijn zo gestructureerd dat u een soort gesprek met de LLM kunt voeren. Het belangrijkste verschil tussen de twee is dat de chatbot verondersteld wordt "zeer intelligent" te zijn, terwijl de AI-Dialog "behulpzaam, vriendelijk, gehoorzaam, eerlijk en zijn eigen grenzen kent".

Dit is natuurlijk jouw "AI", en als je dat prettig vindt, kun je de prompt wijzigen zodat de chatbot dom is en de AI-dialoogkenmerken "sadistisch" en "onbehulpzaam" zijn. Het is aan jou.

We testten de Vertalen functie door de openingsparagraaf van een BBC-nieuwsverhaal te kopiëren en Dalai te vragen het in het Spaans te vertalen. De vertaling was goed, en toen we het door Google Translate haalden om het weer in het Engels om te zetten, ontdekten we dat het redelijk leesbaar was en de feiten en het sentiment van het originele stuk weergalmde.

Zo ook de Herschrijven template spinde de tekst overtuigend in de opening van een nieuw artikel.

De Standaard En Instructie prompts zijn gestructureerd om u te helpen vragen te stellen of Dalai rechtstreeks te instrueren.

De nauwkeurigheid van de reactie van Dalai zal sterk variëren, afhankelijk van het model dat u gebruikt. Een 30B-model zal veel nuttiger zijn dan een 7B-model. Maar zelfs dan wordt u eraan herinnerd dat LLM's gewoon geavanceerde systemen zijn om het volgende woord in een zin te raden.

Noch de 7B- noch de 13B Alpaca-modellen waren in staat om een ​​nauwkeurige samenvatting van 200 woorden te geven van het korte verhaal "Kat in de Rain" van Ernest Hemingway, en beide verzonnen door en door overtuigende verhaallijnen en details over wat het verhaal was bevatte.

En terwijl de "behulpzame, vriendelijke, gehoorzame, eerlijke" AI-Dialog die "zijn eigen grenzen kent", en de "zeer intelligente" Chatbot zal aarzelen controversiële prompts, kunt u Dalai een rechtstreekse instructie of standaardverzoek geven, en hij zal schrijven wat u maar wilt, hoe u maar wilt Het.

Een groot taalmodel op uw Linux-machine is van u

Door een groot taalmodel op uw eigen Linux-box te draaien, bent u niet onderhevig aan onoplettendheid of intrekking van de service. U kunt het gebruiken zoals u wilt, zonder bang te hoeven zijn voor de gevolgen van het schenden van een zakelijk inhoudsbeleid.

Als je weinig rekenkracht hebt, kun je zelfs een LLM lokaal uitvoeren op een eenvoudige Raspberry Pi.