Le allucinazioni sono tipicamente definite come la generazione di contenuti privi di senso o non fedeli al contenuto originale fornito e rappresentano un problema significativo per i sistemi di generazione del linguaggio naturale che utilizzano LLM, come ChatGPT o Gemini, poiché gli utenti non possono essere certi della correttezza delle risposte che gli vengono fornite.

I ricercatori si sono concentrati su un particolare tipo di allucinazione, che chiamano “confabulazioni”, dove i LLM forniscono risposte diverse alla stessa domanda, tali risposte sembrano plausibili e coerenti, ma in realtà sono inventate o inesatte.

Per rilevare le confabulazioni, il team utilizza un metodo basato sulla statistica stimando l’incertezza in base alla quantità di variazione delle frasi, lo scopo è quello di misurare l’entropia “semantica” delle generazioni di un LLM. Il processo di calcolo dell’entropia semantica coinvolge diversi passaggi:

1. Probabilità delle Parole: L’LLM assegna una probabilità a ciascuna parola successiva in una frase.
2. Probabilità dei Significati: Queste probabilità delle parole vengono convertite in probabilità sui significati, richiedendo una comprensione di come parole e frasi diverse possano esprimere lo stesso concetto o idea.
3. Calcolo dell’Entropia: Con queste probabilità semantiche, l’entropia viene calcolata per misurare l’incertezza o la variabilità nei significati delle risposte generate.

Misurare l’entropia nella generazione è difficile perché le risposte potrebbero avere lo stesso significato (essere semanticamente equivalenti) nonostante siano espresse in modi diversi (essendo sintatticamente o lessicalmente distinte). Questo porta a stime di base dell’entropia, anche se la stessa risposta corretta potrebbe essere formulata in molti modi diversi senza cambiarne il significato.

Il rilevamento delle confabulazioni consente ai sistemi basati su LLM, di rendere gli utenti consapevoli dell’inaffidabilità delle risposte a una domanda specifica, o di integrare l’LLM con ricerche o recuperi di dati più accurati.

“Il nostro metodo sostanzialmente stima le probabilità nello spazio del significato, o ‘probabilità semantiche'”, ha affermato Jannik Kossen, coautore dello studio.

Uno dei punti di forza di questa tecnica è che funziona su set di dati e attività senza necessitare di una conoscenza a priori, non richiede dati specifici dell’attività e si può applicare a nuove attività. Questo progresso potrebbe aprire nuovi modi per implementare gli LLM in situazioni in cui gli errori potrebbero risultare pericolosi, come nel caso delle risposte a domande legali o mediche.

Tra i paesi che stanno attuando diverse iniziative nel campo dell’Intelligenza Artificiale generativa possiamo considerare:

• Abu Dhabi ha recentemente lanciato il modello “Falcon” prodotto da ai71.
• La Francia ha avviato il progetto Mistral con un investimento di circa 400 milioni di dollari.
• L’India Krutrim ha presentato un modello multilingue, mentre Sarvam ha raccolto 41 milioni di dollari per il suo modello di intelligenza artificiale generativa.

Anche l’Italia ha preso una posizione attiva con l’iniziativa da parte di iGenius, un’azienda specializzata nello sviluppo di prodotti basati sull’intelligenza artificiale per semplificare l’interazione tra persone e dati e Cineca, un Consorzio Interuniversitario che gestisce uno dei più potenti supercomputer al mondo “Leonardo”, che hanno ufficialmente presentato il progetto “Modello Italia”.

Questo nuovo modello è progettato per offrire soluzioni avanzate in settori critici come la sanità, la finanza e la sicurezza nazionale, nel rispetto rigoroso delle normative sulla privacy e sulla sicurezza nazionale.

Stefano Parisse, General Manager di iGenius, ha dichiarato: “Siamo orgogliosi di contribuire a questo progetto. Siamo convinti che l’Italia possa eccellere anche nell’intelligenza artificiale. iGenius è pronto a collaborare con un nuovo ecosistema di aziende, creando soluzioni uniche attraverso Modello Italia per le aziende e le istituzioni italiane, europee e globali.”

Francesco Ubertini, Presidente di Cineca, ha aggiunto: “Cineca è un consorzio basato sulla sinergia e sulla collaborazione. Siamo onorati di intraprendere questa avventura, utilizzando l’infrastruttura di supercalcolo per sviluppare il primo modello di linguaggio per l’intelligenza nativamente in lingua italiana, affinché il nostro Paese sia protagonista attivo della transizione digitale.”

L’obiettivo è quello di sviluppare un Foundational Large Language Model (LLM) di nuova generazione, che sarà rilasciato con licenza open-source. Questo modello sarà addestrato con trilioni di token, focalizzandosi sull’ecosistema delle imprese e della Pubblica Amministrazione in Italia ed Europa.

I dati che varranno utilizzati per addestrare il “Modello Italia” saranno soggetti ad accurati per garantire equità e imparzialità. L’obiettivo è infatti quello di sviluppare un modello libero da pregiudizi intrinseci per un utilizzo sicuro e affidabile in diverse applicazioni.

Risulta evidente come la sicurezza e la privacy siano un elemento chiave del progetto, la conformità e l’adattabilità regolamentare sono prioritari, con i modelli LLM progettati per rispettare le normative vigenti, nazionali e sovranazionali, come l’AI Act europeo. Ciò garantisce non solo avanzate soluzioni tecnologiche, ma anche sicurezza legale e normativa.

Il CEO e fondatore di iGenius, Uljan Sharka, ha sottolineato che “I modelli di linguaggio in ambito di intelligenza artificiale hanno il potere di democratizzare la conoscenza. Ciò sarà possibile solo se ogni Paese e ogni lingua sarà rappresentato allo stato puro. Nessuno meglio degli italiani può trasformare la propria lingua in superpoteri, questo è il Modello Italia, un sistema di AI generativa che rappresenta non solo la nostra lingua, ma una delle civiltà più sofisticate attraverso l’arte, la cultura e le eccellenze per cui siamo famosi nel mondo. Un vero modello di Rinascimento digitale che mette l’uomo al centro.”