L’azienda di Menlo Park ha integrato questi modelli nella sua piattaforma Meta AI disponibile in più paesi attraverso le app di Facebook, Instagram, WhatsApp, Messenger e sul Web (non in Italia al momento).

Gli utenti possono utilizzare Meta AI per svolgere varie attività, come imparare e creare.

Questi modelli linguistici sono stati progettati per offrire prestazioni all’avanguardia e una vasta gamma di nuove funzionalità, con un particolare focus sul miglioramento del ragionamento.

L’approccio di Meta è quello di promuovere l’innovazione nell’intelligenza artificiale, mettendo a disposizione della comunità gli strumenti necessari. L’obiettivo è quello di rendere disponibili i modelli Llama 3 mentre sono ancora in fase di sviluppo, abbracciando l’etica open source e coinvolgendo attivamente gli sviluppatori nella loro evoluzione.

La versione più grande di Llama 3 è attualmente in fase di addestramento con 400 miliardi di parametri e sta già ottenendo un punteggio di 85 MMLU o Massive Multitask Language Understanding, che sono le metriche utilizzate per trasmettere la forza e la qualità delle prestazioni dei modelli di intelligenza artificiale. Le due versioni più piccole in fase di lancio hanno ora 8 miliardi di parametri e 70 miliardi di parametri, e quest’ultima ha ottenuto un punteggio di circa 82 MMLU.

Una delle principali caratteristiche dei modelli Llama 3 è il loro pre-addestramento su un vasto set di dati, comprendente oltre 15 trilioni di token provenienti da fonti pubbliche, come dichiarato dall’azienda:  Meta non ha fornito dettagli sui set di dati utilizzati.

Questo approccio mira a garantire una copertura linguistica ampia e diversificata, con un’enfasi particolare sulla qualità dei dati.

Proprio per garantire la qualità dei dati di addestramento, Meta ha implementato sistemi di filtraggio avanzati, utilizzando filtri euristici, classificatori di testo e altri approcci per ridurre i tassi di falsi positivi e migliorare l’allineamento dei modelli.

Gli sviluppatori, infatti, in passato si sono lamentati del fatto che la versione precedente del modello Llama 2 non riusciva a comprendere il contesto di base, confondendo le domande su come “uccidere” un programma per computer con richieste di istruzioni su come commettere un omicidio. Meta ha affermato di aver ridotto questi problemi in Llama 3 utilizzando “dati di alta qualità” per far sì che il modello riconosca le sfumature.

Un notevole impegno è stato posto nel garantire la sicurezza dei modelli dell’azienda. I modelli ottimizzati per le istruzioni sono soggetti a test per la sicurezza attraverso l’impegno di risorse interne ed esterne. Il loro approccio di red teaming (gruppi di controllo e testing) coinvolge esperti umani e metodi automatizzati per generare suggerimenti contraddittori, mirati a individuare risposte problematiche. Vengono eseguiti test completi per valutare i rischi di uso improprio in varie aree, tra cui chimica, biologia, sicurezza informatica e altri settori a rischio.