Come eseguire un LLM simile a ChatGPT sul tuo PC offline

Ci sono un certo numero di giocatori di intelligenza artificiale sul mercato in questo momento, tra cui ChatGPT , Google Bard , Bing AI Chat e molti altri. Tuttavia, tutti richiedono una connessione Internet per interagire con l’IA. E se volessi installare un Large Language Model (LLM) simile sul tuo computer e usarlo localmente? Un chatbot AI che puoi utilizzare in privato e senza connettività Internet. Bene, con il nuovo modello Alpaca rilasciato da Stanford, puoi avvicinarti a quella realtà. Sì, puoi eseguire un modello linguistico simile a ChatGPT sul tuo PC offline. Quindi, su questa nota, andiamo avanti e impariamo come utilizzare un LLM localmente senza Internet.

Esegui un LLM simile a ChatGPT in locale senza Internet (privato e sicuro)

In questo articolo, ho menzionato tutto su come eseguire un LLM simile a ChatGPT su un PC locale senza Internet. Puoi espandere la tabella sottostante e conoscere i passaggi in dettaglio. Sommario

Cos’è Alpaca e LLaMA?

Alpaca è un piccolo modello di linguaggio AI sviluppato da un gruppo di informatici della Stanford University. La cosa unica di Alpaca è quanto sia piccolo ed economico. Con solo 7 miliardi di parametri, Alpaca è buono quanto il modello text-davinci-003 di OpenAI. E puoi eseguirlo sul tuo computer locale senza richiedere una connessione Internet. È piuttosto bello, vero? Immagine: Stanford.edu

Ma come è stato addestrato? Sorprendentemente, Alpaca è messo a punto su LLaMa, il grande modello linguistico di Meta che è recentemente trapelato online. E per addestrare questo modello linguistico, gli scienziati hanno utilizzato il modello “text-davinci-003” di OpenAI per generare 52.000 dati di autoistruzione di alta qualità. Con questo set di dati, hanno messo a punto il modello LLaMA utilizzando il framework di addestramento di HuggingFace e rilasciato Alpaca 7B . Puoi anche usare il modello LLaMA di Meta, ma nei miei test, l’Alpaca LLM di Stanford ha funzionato molto meglio ed è anche abbastanza veloce.

Di che tipo di hardware hai bisogno per eseguire Alpaca?

Puoi usare Alpaca 7B su qualsiasi macchina decente. Ho installato Alpaca 7B sul mio PC entry-level e ha funzionato abbastanza bene. Per darti un’idea, il mio PC è alimentato da un processore Intel i3 di decima generazione con 256 GB di SSD e 8 GB di RAM. Per la GPU, sto usando la GPU GeForce GT 730 entry-level di Nvidia con 2 GB di VRAM.

Alpaca-LoRA(7B)をRaspberry Pi CM4で動かしてみました^^)/ とてもゆっくりですが、この小さな筐体で話してくれるのは、とても可愛いですね #LLM #IoT pic.twitter.com /SyP3HZhMYX— Mitsunori SATOMI＠30° anniversario VR (@gravitino) 20 marzo 2023

Anche senza una GPU dedicata, puoi eseguire Alpaca localmente. Tuttavia, il tempo di risposta sarà lento. A parte questo, ci sono utenti che sono stati in grado di eseguire Alpaca anche su un piccolo computer come Raspberry Pi 4 . Quindi puoi dedurre che il modello linguistico Alpaca può funzionare molto bene anche su computer entry-level.

Configurare l’ambiente software per eseguire Alpaca e LLaMA

finestre

Su Windows, devi installare Python, Node.js e C++ per iniziare a utilizzare un modello di linguaggio di grandi dimensioni offline sul tuo computer. Ecco come procedere.

1. Innanzitutto, scarica Python 3.10 (o versioni precedenti) da qui. Scorri verso il basso e fai clic su “Windows installer (64-bit)” per scaricare il file di installazione.

2. Avviare il file di installazione e abilitare la casella di controllo accanto a “Aggiungi Python.exe a PATH”. Ora installa Python con tutte le impostazioni predefinite.

3. Successivamente, installa Node.js versione 18.0 (o successiva) da qui. Mantieni tutto predefinito durante l’installazione del programma.

4. Infine, scarica gratuitamente l’edizione “Community” di Visual Studio da questo link.

5. Avvia il file di installazione di Visual Studio 2022 e inizialmente scaricherà alcuni file. Successivamente, verrà avviata una nuova finestra. Qui, assicurati che “Sviluppo desktop con C++” sia abilitato.

6. Infine, fai clic su “Installa” e attendi fino al completamento dell’installazione.

7. Consiglio di riavviare il computer una volta installato tutto. Successivamente, apri ” Prompt dei comandi ” ed esegui i comandi seguenti per verificare se Python e Node.js sono stati installati correttamente. Entrambi dovrebbero restituire il numero di versione. Ora sei a posto.

 python --versionnode --version

macOS di Apple

Python viene generalmente preinstallato su macOS, quindi devi solo installare Node.js (versione 18.0 o successiva). Ecco come puoi farlo:

1. Scarica Node.js macOS Installer (versione 18.0 o successiva) dal link qui.

2. Successivamente, apri il Terminale ed esegui il comando seguente per verificare se Node.js è installato correttamente. Se ottieni un numero di versione in cambio, sei a posto.

 nodo --versione

3. Quindi, controlla la versione di Python eseguendo il comando seguente. Dovrebbe essere Python 3.10 o precedente.

 python3 --versione

4. Se non ottieni l’output o ti capita di avere l’ultima versione di Python, scarica Python 3.10 (o precedente) da qui. Scorri verso il basso e fai clic su ” macOS 64-bit universal2 installer ” per scaricare Python. Ora installalo sul tuo Mac.

Linux e Chrome OS

Su Linux e ChromeOS, devi configurare Python e Node.js prima di eseguire offline i modelli Alpaca e LLaMA. Ecco i passi da seguire.

1. Apri il Terminale ed esegui il comando seguente per verificare la versione di Python. Se è Python 3.10 o precedente , sei pronto.

 python3 --versione 

2. Se disponi di una versione successiva, puoi utilizzare i comandi seguenti per installare Python 3.10 su Linux e ChromeOS.

 sudo apt install software-properties-commonsudo add-apt-repository ppa:deadsnakes/ppasudo apt-get updatesudo apt-get install python3.10 

3. Dopo Python, installa Node.js eseguendo il comando seguente.

 sudo apt install nodejs 

4. Dopo l’installazione, eseguire il comando seguente per verificare la versione di Node.js. Dovrebbe essere 18.0 o superiore.

 nodo --versione 

Installa i modelli Alpaca e LLaMA sul tuo computer

Dopo aver configurato Python e Node.js, è il momento di installare ed eseguire un LLM simile a ChatGPT sul tuo PC. Assicurati che il terminale rilevi sia i comandi python che node prima di procedere.

1. Apri il Terminale (nel mio caso, Prompt dei comandi) ed esegui il comando seguente per installare il modello Alpaca 7B LLM (sono necessari circa 4,2 GB di spazio su disco). Se vuoi installare il modello Alpaca 13B, sostituisci 7B con 13B . Il modello più grande richiede 8,1 GB di spazio.

 npx dalai alpaca installa 7B

2. Ora digita ” y ” e premi Invio. Questo avvierà l’installazione del modello Alpaca 7B. L’intero processo richiederà dai 20 ai 30 minuti, a seconda della connettività Internet e delle dimensioni del modello.

3. Al termine dell’installazione, verrà visualizzata una schermata come questa.

4. Puoi scegliere di installare anche i modelli LLaMA o passare al passaggio successivo per testare immediatamente il modello Alpaca. Ricorda, LLaMA è di dimensioni molto maggiori. Il suo modello 7B occupa fino a 31 GB di spazio. Per installarlo, eseguire il comando seguente. Puoi sostituire 7B con 13B , 30B e 65B . Il modello più grande occupa fino a 432 GB di spazio.

 npx dalai lama installa 7B

5. Infine, esegui il comando seguente e avvierà immediatamente il server web.

 npx dalai serve

6. Utilizzare un browser Web sul PC e aprire l’indirizzo seguente. Questo ti porterà all’interfaccia utente web dove puoi testare i modelli Alpaca e LLaMA localmente e senza Internet.

 http://localhost:3000

7. Qui, devi scegliere il modello “Alpaca 7B” o “LLaMA 7B” dal menu a discesa “modello” nell’angolo in alto a destra. Poiché ho installato solo il modello Alpaca 7B, questa è la mia impostazione predefinita.

8. Ora puoi iniziare a utilizzare questo modello di linguaggio simile a ChatGPT sul tuo PC senza connettività Internet. Sostituisci “PROMPT” con la tua richiesta e fai clic su “Vai”.

usa ChatGPT 4 gratuitamente , vai al nostro articolo collegato per alcune risorse straordinarie. E nel caso in cui desideri addestrare un chatbot AI basato sui tuoi documenti, abbiamo una guida approfondita pronta per te. Infine, se riscontri problemi, faccelo sapere nella sezione commenti qui sotto.