Come utilizzare Microsoft JARVIS (HuggingGPT) in questo momento

Nel campo dell’intelligenza artificiale, ogni giorno vengono lanciati nuovi modelli di linguaggi di grandi dimensioni e le cose stanno cambiando a un ritmo vertiginoso. In pochi mesi di sviluppo, ora possiamo eseguire un LLM simile a ChatGPT sul nostro PC offline . Non solo, possiamo addestrare un chatbot AI e creare un assistente AI personalizzato. Ma ciò che mi ha incuriosito di recente è l’approccio pratico di Microsoft allo sviluppo dell’IA. Microsoft sta attualmente lavorando a una forma avanzata di sistema di intelligenza artificiale chiamato JARVIS (un ovvio riferimento a Marvel’s Iron Man) che si collega a più modelli di intelligenza artificiale e risponde con un risultato finale. La sua demo è ospitata su Huggingface e chiunque può verificare le capacità di JARVIS in questo momento. Quindi, se sei interessato, vai avanti e impara subito come utilizzare Microsoft JARVIS (HuggingGPT). Sommario

Cos’è Microsoft JARVIS (HuggingGPT)?

Microsoft ha sviluppato una sorta di sistema collaborativo unico in cui è possibile utilizzare più modelli di intelligenza artificiale per raggiungere un determinato compito. E in tutto questo, ChatGPT funge da controllore dell’attività. Il progetto si chiama JARVIS su GitHub (visita) ed è ora disponibile su Huggingface (da qui chiamato HuggingGPT) affinché le persone possano provarlo. Nei nostri test, ha funzionato meravigliosamente bene con testi, immagini, audio e persino video.

Funziona in modo simile a come OpenAI ha dimostrato le capacità multimodali di GPT 4 con testi e immagini. Tuttavia, JARVIS fa un ulteriore passo avanti e integra vari LLM open source per immagini, video, audio e altro ancora. La parte migliore qui è che può anche connettersi a Internet e accedere ai file. Ad esempio, puoi inserire un URL da un sito Web e porre domande al riguardo. È piuttosto bello, vero?

Puoi aggiungere più attività in una singola query. Ad esempio, puoi chiedergli di generare un’immagine di un’invasione aliena e scrivere poesie su di essa. Qui, ChatGPT analizza la richiesta e pianifica l’attività. Successivamente, ChatGPT seleziona il modello corretto (ospitato su Huggingface) per raggiungere l’obiettivo. Il modello selezionato completa l’attività e restituisce il risultato a ChatGPT.

Infine, ChatGPT genera la risposta utilizzando i risultati dell’inferenza di tutti i modelli. Per questo compito, JARVIS ha utilizzato il modello Stable Diffusion 1.5 per generare l’immagine e ha utilizzato lo stesso ChatGPT per scrivere una poesia.

Ci sono ben 20 modelli collegati a JARVIS (HuggingGPT). Alcuni di questi sono t5-base, stable-diffusion 1.5, bert, bart-large-cnn di Facebook, dpt-large di Intel e altro ancora. Per riassumere, se desideri funzionalità multimodali in questo momento, vai avanti e dai subito un’occhiata a Microsoft JARVIS. Abbiamo spiegato come configurarlo e provarlo subito qui:

Passaggio 1: ottenere le chiavi per utilizzare Microsoft JARVIS

1. Innanzitutto, vai a questo link, accedi al tuo account OpenAI e fai clic su “Crea nuova chiave segreta” per ottenere la tua chiave API OpenAI . Salvare la chiave in un file di Blocco note per un uso successivo.

2. Successivamente, apri il sito Web huggingface.co (visita) e crea un account gratuito .

3. Successivamente, fai clic su questo link per generare il token Hugging Face. Fare clic su “Nuovo token” nel riquadro di destra.

4. Qui, inserisci un nome (ad esempio, ho inserito il nome “jarvis”). Quindi, modifica il ruolo in “Scrivi” e fai clic su “Genera un token”.

5. Successivamente, fai clic sul pulsante ” copia ” e il token verrà copiato negli appunti. Salva il token in un file di Blocco note.

Passaggio 2: inizia a utilizzare Microsoft JARVIS (HuggingGPT)

1. Per utilizzare Microsoft JARVIS, apri questo collegamento e incolla la chiave API OpenAI nel primo campo. Successivamente, fai clic su “Invia”. Allo stesso modo, incolla il token Huggingface nel secondo campo e fai clic su “Invia”.

2. Una volta che entrambi i token sono stati convalidati, scorri verso il basso e inserisci la tua query. Per iniziare, ho chiesto a JARVIS di cosa trattava la foto e ho condiviso un URL dell’immagine.

3. Ha scaricato automaticamente l’immagine e utilizzato tre modelli AI per l’attività, tra cui ydshieh/vit-gpt2-coco-en (per convertire l’immagine in testo), facebook/detr-resnet-101 (per il rilevamento di oggetti) e dandelin / vilt-b32-finetuned-vqa (per la risposta visiva alla domanda). Infine, ha concluso che la foto contiene un gatto che si guarda allo specchio. Non è fantastico?

4. In un altro esempio, gli ho chiesto di trascrivere un file audio e lo ha fatto utilizzando il modello OpenAI/whisper-base. Esistono molti casi d’uso di JARVIS e puoi provarli gratuitamente su HuggingFace.

Usa più modelli di intelligenza artificiale contemporaneamente con HuggingGPT

Quindi è così che puoi utilizzare HuggingGPT per completare un’attività utilizzando diversi modelli di intelligenza artificiale. Ho testato JARVIS più volte e ha funzionato abbastanza bene, tranne per il fatto che devi metterti dietro la coda abbastanza spesso. Non puoi eseguire JARVIS localmente su nessun PC decente, poiché richiede almeno 16 GB di VRAM e circa 300 GB di spazio per vari modelli.

Anche su Huggingface non puoi clonarlo e saltare la coda sotto l’account gratuito. È necessario abbonarsi per eseguire il potente modello su una Nvidia A10G, una GPU di grandi dimensioni che costa 3,15€/ora. Comunque, questo è tutto da noi. Se desideri utilizzare CodeGPT in VS Code per assistenza durante la programmazione, vai alla nostra guida collegata. E per utilizzare ChatGPT 4 gratuitamente , abbiamo un elenco pronto per te. Infine, se avete domande, fatecelo sapere nella sezione commenti qui sotto.