L’azienda ha mostrato alcuni esempi sorprendenti, come video di animali che praticano sport acquatici e persone che vengono ritratte mentre svolgono attività creative.

Meta ha anche annunciato, sul suo blog, che Movie Gen è in grado di generare musica di sottofondo ed effetti sonori perfettamente sincronizzati con il contenuto dei video. Non solo, Movie Gen permette agli utenti di modificare i video esistenti, offrendo possibilità creative senza precedenti.

In una dimostrazione, Meta ha mostrato come l’IA ha inserito dei pompon nelle mani di un uomo che correva da solo nel deserto solo grazie ad un prompt testuale e, in un altro esempio, ha trasformato un parcheggio asciutto in un’area coperta da una pozzanghera, in cui un uomo stava facendo skateboard.

Secondo Meta, i video creati da Movie Gen possono durare fino a 16 secondi, mentre la durata dell’audio può estendersi fino a 45 secondi.

In sostanza Movie Gen è una vera e propria suite di modelli di narrazione, con quattro capacità: generazione video, generazione video personalizzata, editing video preciso e generazione audio.

Inoltre, anticipando eventuali dubbi sulla provenienza dei dati di addestramento, questione, come noto, legata al diritto d’autore, Meta informa di aver addestrato questi modelli su una combinazione di set di dati concessi in licenza e disponibili al pubblico.

Un’ ampio e dettagliato carosello di video è fornito al pubblico per comprendere le potenzialità di questo strumento.

Il processo di Lumiere inizia con la creazione dia struttura di base che può provenire da un prompt o da un’immagine. Sfruttando il potenziale di STUNet, il modello approssima la traiettoria degli oggetti all’interno del fotogramma, generando una sequenza organica di fotogrammi che si fondono senza soluzione di continuità, creando un effetto di movimento fluido.

Lumiere è in grado di generare fino a 80 fotogrammi, rappresentando un notevole avanzamento rispetto ai 25 di Stable Diffusion.

Questi progressi mettono la tecnologia di Google a confronto con attori consolidati come Runway, Stable Video Diffusion e l’Emu di Meta. Confrontando direttamente i risultati di Lumiere con quelli di Runway, emergono notevoli miglioramenti nella resa visiva. Tuttavia, alcune clip potrebbero ancora mostrare tratti di artificialità, soprattutto a livello di texture della pelle o in scenari suggestivi.

Google, tradizionalmente meno predominante nella categoria text-to-video, ha rafforzato la sua presenza rilasciando modelli di intelligenza artificiale sempre più avanzati e orientandosi verso una prospettiva multimodale.

Oltre alla generazione di testo in video, Lumiere offre funzionalità come la generazione di immagini in video, varie tipologie di stili, cinemagraph che animano solo una parte del video e l’inpainting per mascherare aree del video per modificarne colore o motivo. Queste caratteristiche ampliano notevolmente le possibilità creative degli utenti, consentendo loro di sperimentare nuovi stili ed effetti visivi.

Di fronte alle enormi potenzialità di questo strumento la stessa Google, in un documento riconosce il potenziale rischio di abusi nella creazione di contenuti falsi o dannosi. Gli autori sottolineano l’importanza dello sviluppo e dell’applicazione di strumenti per rilevare e prevenire utilizzi impropri, al fine di garantire un ambiente di utilizzo sicuro ed equo.

Nonostante ciò, non viene fornita una spiegazione dettagliata su come questo obiettivo sarà raggiunto.

Lumiere rappresenta un significativo passo avanti nella generazione di video basata sull’intelligenza artificiale. Nonostante non sia ancora disponibile per i test, la piattaforma promette di rivoluzionare il modo in cui i video vengono creati e montati, aprendo nuove frontiere di creatività e realismo. Resta da vedere come questa tecnologia evolverà nel tempo e come verrà gestito il suo impatto etico nell’era della generazione di contenuti digitali avanzati.