Il processo di Lumiere inizia con la creazione dia struttura di base che può provenire da un prompt o da un’immagine. Sfruttando il potenziale di STUNet, il modello approssima la traiettoria degli oggetti all’interno del fotogramma, generando una sequenza organica di fotogrammi che si fondono senza soluzione di continuità, creando un effetto di movimento fluido.

Lumiere è in grado di generare fino a 80 fotogrammi, rappresentando un notevole avanzamento rispetto ai 25 di Stable Diffusion.

Questi progressi mettono la tecnologia di Google a confronto con attori consolidati come Runway, Stable Video Diffusion e l’Emu di Meta. Confrontando direttamente i risultati di Lumiere con quelli di Runway, emergono notevoli miglioramenti nella resa visiva. Tuttavia, alcune clip potrebbero ancora mostrare tratti di artificialità, soprattutto a livello di texture della pelle o in scenari suggestivi.

Google, tradizionalmente meno predominante nella categoria text-to-video, ha rafforzato la sua presenza rilasciando modelli di intelligenza artificiale sempre più avanzati e orientandosi verso una prospettiva multimodale.

Oltre alla generazione di testo in video, Lumiere offre funzionalità come la generazione di immagini in video, varie tipologie di stili, cinemagraph che animano solo una parte del video e l’inpainting per mascherare aree del video per modificarne colore o motivo. Queste caratteristiche ampliano notevolmente le possibilità creative degli utenti, consentendo loro di sperimentare nuovi stili ed effetti visivi.

Di fronte alle enormi potenzialità di questo strumento la stessa Google, in un documento riconosce il potenziale rischio di abusi nella creazione di contenuti falsi o dannosi. Gli autori sottolineano l’importanza dello sviluppo e dell’applicazione di strumenti per rilevare e prevenire utilizzi impropri, al fine di garantire un ambiente di utilizzo sicuro ed equo.

Nonostante ciò, non viene fornita una spiegazione dettagliata su come questo obiettivo sarà raggiunto.

Lumiere rappresenta un significativo passo avanti nella generazione di video basata sull’intelligenza artificiale. Nonostante non sia ancora disponibile per i test, la piattaforma promette di rivoluzionare il modo in cui i video vengono creati e montati, aprendo nuove frontiere di creatività e realismo. Resta da vedere come questa tecnologia evolverà nel tempo e come verrà gestito il suo impatto etico nell’era della generazione di contenuti digitali avanzati.