Descriptions:
AI VIDEO CONTEST – ALMA MATER FEST 2024
3° CLASSIFICATO cat. MADE BY AI
di Daniele Napolitano
Il video cerca di essere una rielaborazione in stile realistico del libro “Codex Seraphinianus” di Luigi Serafini (1981). Il libro originale è una enciclopedia surreale che illustra scenari, fauna, tecnologie e paesaggi impossibili, descritti in caratteri inventati, ma in una lingua senza significato.
Diversi strumenti di intelligenza artificiale generativa sono stati utilizzati per riprodurre in chiave fotorealistica alcune illustrazioni del Codex, aggiungendo una trama di contorno, a sua volta ispirata da “Viaggio al Centro della Terra” di Jules Verne (1870).
La trama narra di un anziano studioso che, dopo essersi impossessato del libro, entra magicamente in questo mondo impossibile. Dopo averlo esplorato, decide di trascorrere lì i suoi ultimi anni per preservare la sua purezza dalla contaminazione umana.
Lo scopo del corto è di dimostrare i potenziali dell’IA generativa nel generare video fotorealistici ma con elementi surreali, che fino a poco tempo fa richiedevano necessariamente l’uso di CGI e conoscenze specifiche. Allo stesso tempo, si è cercato di preservare l’essenza surrealista dell’opera originale.
REALIZZAZIONE TECNICA
Per la realizzazione del corto, il seguente workflow è stato applicato: 0) Decisione del tema: con l’aiuto di Bing Copilot (GPT4), sono stati valutati diversi temi possibili che tenessero in conto dei limiti dell’IA generativa attuale, ovvero i problemi di consistenza nel generare gli stessi paesaggi, volti o creature in scene differenti.
1) Trama e scenografia: Una trama inerente al tema è stata generata da Copilot, così come il monologo del protagonista e una prima scenografia che descrivesse le scene principali da animare
2) Generazione prompt: Alcune illustrazioni di Codex Seraphninianus sono state date in input a Copilot, che ne ha generato dei possibili prompt per programmi di generazione immagini, enfatizzando la necessità di renderle realistiche, al contempo descrivendo gli elementi chiave della scena. 3) Immagini: Midjourney è stato usato per generare le immagini realistiche a partire dai prompt di Copilot. Quando necessario, è stata usata la funzione di inpainting per inserire altri elementi surreali, o modificare eventuali elementi fuori posto. 4) Video: Luma Dream Machine è stato usato per generare brevi video (5-10 secondi), usando le immagini di Midjourney come prompt. 5) Doppiaggio: ElevenLabs è stato usato per dare una voce al monologo prodotto da Copilot, cambiando i parametri del tono di voce opportunamente a seconda della frase e dell’emozione che si cercava di rappresentare. 6) Musica: Suno AI per creare una canzone senza copyright, che si adattasse all’atmosfera e soprattutto al minutaggio del film.
Infine, tutti questi output sono stati messi insieme in fase di montaggio manualmente.
Ogni step del processo ha richiesto qualche ritocco per mantenere coerenza con l’idea originale; pertanto, l’AI è stata usata come strumento di aiuto decisionale ed artistico, mantenendo sempre “the human-in-the-loop”.
L’unico programma che è stato acquistato è Midjourney (basic plan), per tutti gli altri è risultata sufficiente la versione gratuita.
