IMMAGINE REALIZZATA CON IA MIDJOURNEY
Premessa: la previsione del token successivo è l’obiettivo di pretraining più comunemente utilizzato per i modelli di linguaggio causale. Prende una sequenza di testo come input e addestra il modello sottostante a prevedere il token (parola) successivo per ogni token all’interno di questa sequenza.
Nella video intervista che incorporiamo sulla versione del sito di questa newsletter, Ilya Sutskever, direttore scientifico di OpenAI, afferma che le intelligenze artificiali AGI (Artificial General Intelligence, modelli di IA super-intelligenti) potranno superare l’uomo nella previsione del token successivo. Ovvero che potranno essere più intelligenti. Opinione che ha già trovato diversi punti di vista contrari o in disaccordo.
Di seguito la trascrizione tradotta di parte della sua intervista.
«Metto in dubbio l’affermazione secondo cui la previsione del prossimo token non possa superare le prestazioni umane. A prima vista, sembra che non possa: sembra che, se impari solo a imitare per prevedere ciò che fanno le persone, significa che puoi solo copiarle. Tuttavia, c’è un argomento contrario per cui potrebbe non essere così semplice. Se la tua rete neurale è sufficientemente intelligente, puoi chiederle: “Cosa farebbe una persona con grande intuizione, saggezza e capacità?”. Forse una persona del genere non esiste, ma c’è una buona probabilità che la rete neurale possa estrapolare come si comporterebbe tale persona.
Ma da dove otteniamo queste intuizioni su cosa farebbe quella persona, se non dai dati di persone normali? Se ci pensi, cosa significa effettivamente prevedere bene il prossimo token? È una domanda più profonda di quanto sembri. Prevedere bene il prossimo token significa che capisci la realtà sottostante che ha portato alla creazione di quel token. Non è solo una questione di statistiche, ma di comprensione: per comprendere queste statistiche e comprimerle, devi capire cosa c’è nel mondo che crea queste statistiche.
Quindi, ti chiedi: “Cosa c’è nelle persone che crea i loro comportamenti?”. Le persone hanno pensieri, sentimenti, idee e agiscono in certi modi. Tutto ciò potrebbe essere dedotto dalla previsione del prossimo token. Argomento che questo dovrebbe rendere possibile, non all’infinito, ma fino a un certo grado, indovinare cosa farebbe una persona immaginaria con determinate caratteristiche, anche se tale persona non esiste. Poiché sei così bravo a prevedere il prossimo token, dovresti comunque essere in grado di indovinare cosa farebbe questa persona ipotetica immaginaria con capacità mentali molto superiori al resto di noi.»
