Modello AI di Google PaLM 2: tutto ciò che devi sapere

Al Google I/O 2023, il gigante della ricerca ha finalmente svelato PaLM 2, il suo ultimo modello di linguaggio di grandi dimensioni per uso generico. PaLM 2 è il fondamento su cui vengono ora costruiti più prodotti Google, tra cui Google Generative AI Search , Duet AI in Google Docs e Gmail, Google Bard e altro ancora. Ma cos’è esattamente il modello AI di Google PaLM 2? È meglio di GPT-4? Supporta i plugin? Per rispondere a tutte le tue domande, consulta la nostra spiegazione dettagliata sul modello AI PaLM 2 rilasciato da Google. Sommario

Cos’è il modello AI PaLM 2 di Google?

PaLM 2 è l’ultimo Large Language Model (LLM) rilasciato da Google che è altamente capace nel ragionamento avanzato, nella codifica e nella matematica. È anche multilingue e supporta più di 100 lingue. PaLM 2 è il successore del precedente Pathways Language Model (PaLM) lanciato nel 2022.

La prima versione di PaLM è stata addestrata su 540 miliardi di parametri, rendendola una delle più grandi LLM in circolazione. Tuttavia, nel 2023, Google ha ideato PaLM 2, che è di dimensioni molto più ridotte, ma è più veloce ed efficiente della concorrenza.

Nel rapporto tecnico di 92 pagine di PaLM 2, Google non ha menzionato la dimensione del parametro, ma secondo un rapporto TechCrunch , uno dei modelli PaLM 2 viene addestrato solo su 14,7 miliardi di parametri, che è molto meno di PaLM 1 e altri modelli della concorrenza. Alcuni ricercatori su Twitter affermano che il più grande modello PaLM 2 è probabilmente addestrato su 100 miliardi di parametri, che è ancora molto inferiore rispetto alla concorrenza.

Per darti un’idea, si dice che il modello GPT-4 di OpenAI sia addestrato su 1 trilione di parametri, il che è semplicemente strabiliante. Il modello GPT-4 è almeno 10 volte più grande di PaLM 2.

In che modo Google ha reso PaLM 2 più piccolo?

Nel blog ufficiale, Google afferma che più grande non è sempre migliore e la creatività della ricerca è la chiave per realizzare grandi modelli. Qui, per “creatività della ricerca”, Google si riferisce probabilmente all’apprendimento per rinforzo dal feedback umano (RLHF), al ridimensionamento ottimale per il calcolo e ad altre nuove tecniche.

Google non ha rivelato quale creatività di ricerca sta impiegando in PaLM 2, ma sembra che la società stia utilizzando LoRA (Low-Rank Adaptation), messa a punto delle istruzioni e set di dati di qualità per ottenere risultati migliori nonostante utilizzi un modello relativamente più piccolo.

Nel complesso, PaLM 2 è un modello LLM più veloce, relativamente più piccolo ed economico perché serve meno parametri. Allo stesso tempo, offre funzionalità come ragionamento basato sul buon senso, migliore interpretazione della logica, matematica avanzata, conversazione multilingue, padronanza della programmazione e altro ancora. Queste erano le basi del modello PaLM 2, ora andiamo avanti e scopriamo le sue caratteristiche in dettaglio.

Quali sono le caratteristiche salienti di PaLM 2?

Come accennato in precedenza, PaLM 2 è più veloce, altamente efficiente e ha un costo di servizio inferiore. A parte questo, offre diverse funzionalità avanzate. Per cominciare, PaLM 2 è molto bravo nel ragionamento basato sul buon senso. Google, infatti, afferma che le capacità di ragionamento di PaLM 2 sono competitive rispetto a GPT-4. Test nel test di buon senso WinoGrande, PaLM 2 ha ottenuto 90,2 mentre GPT-4 ha ottenuto 87,5. Nel test ARC-C, GPT-4 ottiene un punteggio più alto e raggiunge 96,3 mentre PaLM 2 ottiene un punteggio di 95,1. In altri test di ragionamento, inclusi DROP, StrategyQA, CSQA e pochi altri, PaLM 2 supera GPT-4. Valutazione del ragionamento / Fonte: documento tecnico PaLM 2 di Google

Non solo, grazie alla sua capacità multilingue, PaLM 2 è in grado di comprendere espressioni idiomatiche, poesie, testi sfumati e persino indovinelli in altre lingue. Va oltre il significato letterale delle parole e comprende il significato ambiguo e figurativo dietro le parole. Questo perché PaLM 2 è stato pre-addestrato su testi multilingui paralleli di varie lingue. Inoltre, il corpus di dati multilingue di alta qualità rende PaLM 2 ancora più potente. Di conseguenza, la traduzione e altre applicazioni simili funzionano molto meglio su PaLM 2.

Successivamente, arriviamo alle sue capacità di codifica. Google afferma che PaLM 2 è nuovamente addestrato su un ampio corpus di set di dati di codice sorgente di qualità disponibili nel pubblico dominio. Di conseguenza, supporta più di 20 linguaggi di programmazione, tra cui Python, JavaScrupt, C, C++ e anche linguaggi meno recenti come Prolog, Fortran e Verilog. Può anche generare codice, offrire suggerimenti sensibili al contesto, tradurre codice da una lingua all’altra, aggiungere funzioni con un semplice commento e altro ancora.

Cosa può fare il modello PaLM 2?

Prima di tutto, lasciatemi dire che PaLM 2 è stato costruito per renderlo adattabile a diversi casi d’uso. Google ha annunciato che PaLM 2 sarà disponibile in quattro diversi modelli: Gecko, Otter, Bison e Unicorn; Gecko è il più piccolo e Unicorn è il più grande.

Gecko è così leggero che può funzionare anche su smartphone pur essendo completamente offline. Può elaborare 20 token al secondo su un telefono di punta, ovvero circa 16 parole al secondo. È fantastico, vero? Immagina il tipo di applicazioni su dispositivo basate sull’intelligenza artificiale che puoi eseguire sul tuo smartphone senza richiedere una connessione Internet attiva o specifiche robuste.

A parte questo, PaLM 2 può essere messo a punto per creare subito un modello specifico del dominio. Google ha già creato Med-PaLM 2, un LLM specifico per la medicina messo a punto su PaLM 2 che ha ricevuto la competenza di livello “Esperto” su domande in stile US Medical Licensing Exam. Ha raggiunto una precisione dell’85,4% nel test USMLE, addirittura superiore a GPT-4 (84%). Detto questo, tieni presente che GPT-4 è un LLM generico e non ottimizzato per le conoscenze mediche.

Andando avanti, Google ha aggiunto funzionalità multimodali a Med-PaLM 2 . Può analizzare immagini come raggi X e mammografie e trarre conclusioni, in linea con medici esperti. È davvero notevole in quanto può portare l’accesso medico tanto necessario in aree remote del mondo. Oltre a ciò, Google ha sviluppato Sec-PaLM, una versione specializzata di PaLM 2 per l’analisi della sicurezza informatica e per rilevare rapidamente minacce dannose in pochissimo tempo.

Prodotti Google basati su PaLM 2

Questi sono tutti diversi casi d’uso di PaLM 2 in diversi ambiti e settori. Per quanto riguarda i singoli consumatori, puoi sperimentare PaLM 2 in azione tramite Google Bard, Google Generative AI Search e Duet AI in Gmail, Google Docs e Google Sheets. Google ha recentemente spostato Bard, il suo chatbot AI interattivo, su PaLM 2 e ha aperto l’accesso a più di 180 paesi. Puoi seguire il nostro articolo e imparare subito come utilizzare Google Bard . Google Bardo

Per quanto riguarda l’utilizzo di PaLM 2 in Gmail, Google Docs e Sheets (Google lo chiama Duet AI per Google Workspace), devi unirti alla lista d’attesa per sfruttare le funzionalità basate sull’intelligenza artificiale. Infine, per gli sviluppatori, Google ha rilasciato l’API PaLM basata sul modello PaLM 2. Puoi registrarti subito per utilizzare l’API PaLM nei tuoi prodotti. Può generare più di 75 token al secondo e ha una finestra di contesto di 8.000 token.

PaLM 2 vs GPT-4: come si confrontano i modelli AI?

Prima di confrontare le capacità, una cosa è chiara: PaLM 2 è veloce. Voglio dire, è veloce nel rispondere alle domande, anche a domande di ragionamento complesse. Non solo, offre tre bozze contemporaneamente, nel caso in cui non sei soddisfatto della risposta predefinita. Pertanto, dal punto di vista dell’efficienza e del calcolo, Google è uno o due passi avanti rispetto a OpenAI. Leggi tutte le nuove funzionalità di Google Bard AI qui.

vedi un esempio qui, dove Bard pensa che il modello PaLM AI sia stato creato da OpenAI). Crea informazioni al volo e risponde con sicurezza con false informazioni. Anche GPT-3 e GPT-3.5 hanno avuto un problema simile, ma OpenAI è riuscita a ridurre le allucinazioni del 40% con il rilascio di GPT-4. Google deve affrontare lo stesso problema di allucinazioni “con coraggio e responsabilità”.

Conclusione: PaLM 2 o GPT-4?

In sintesi, il modello AI PaLM 2 di Google è migliorato in alcune aree come il ragionamento avanzato, la traduzione, le capacità multilingue, la matematica e la codifica. Inoltre, ha l’ulteriore vantaggio di eseguire un modello più piccolo con prestazioni veloci e bassi costi di servizio. Tuttavia, per raggiungere la parità di funzionalità con GPT-4, Google deve aggiungere multimodalità, strumenti di terze parti (plugin), affrontare il problema delle allucinazioni e rendere i suoi modelli di intelligenza artificiale il più possibile compatibili con gli sviluppatori.