In questo momento storico software quali DALL-E e ChatGPT stanno stanno avvicinando il mondo dell’intelligenza artificiale a utenti privi di competenze tecniche approfondite. L’algoritmo e il chatbot di cui sopra si occupano prevalentemente di testo e di immagini, ma le AI sono perfettamente in grado di intervenire anche sul video e sul suono.
Da questo punto di vista Runaway AI sta lavorando parallelamente a due progetti ugualmente interessanti. Il primo è Gen-1, uno strumento che analizza input video e applica loro effetti e modifiche quasi in tempo reale. Il secondo si chiama Soundify e consente di assegnare autonomamente un suono a una qualsiasi immagine in movimento.
Come funziona Gen-1
Gen-1 è un’intelligenza artificiale con potenzialità ancora tutte da esplorare. Si inizierà col dire che, ad oggi, lo strumento non è ancora in grado di realizzare contenuti video autonomamente a partire da indicazioni testuali. L’utente dunque non può chiedere all’AI di elaborare un corto nello stile di Quentin Tarantino, piuttosto che un videoclip simile a quelli di Madonna.
Per funzionare Gen-1 di Runaway AI ha bisogno di un input video. Una base concreta, da cui partire per applicare modifiche o correttivi in base alle richieste dell’utente. La prima cosa da fare dunque è caricare un qualsiasi video: dalla ripresa fatta con un vecchio smartphone a un prodotto realizzato da professionisti del settore.
A questo punto è possibile richiedere l’intervento di Gen-1, che per adesso assomiglia a una specie di applicazione in tempo reale di un filtro in stile Snapchat. L’utente può chiedere all’AI di aggiungere una colorazione effettoseppia. Ma può anche entrare nel merito di richieste più complesse e specifiche: ad esempio portare tutti i protagonisti dell’inquadratura in un’arena di gladiatori dell’antica Roma.
In questa fase l’utente può anche aiutare l’AI a continuare a crescere. Gen-1 propone infatti un vero e proprio set di dati di addestramento, che hanno lo scopo di migliorare il livello medio di fedeltà dei risultati proposti.
Un altro modo per aiutare lo strumento ad adeguarsi sempre più alle richieste degli utenti consiste nel fornire esempi specifici. In tal senso, piuttosto che chiedere all’AI di applicare uno stile noir, l’utente può caricare un’immagine o un altro video che descrivano meglio quanto richiesto.
Come funziona Soundify
Runway AI è al lavoro anche su un altro software di nome Soundify. Anche nel caso di Soundify il lavoro dello strumento parte dall’analisi di un video. Con la differenza che la sua attività ha a che fare con la creazione di audio adatti al contenuto di input.
Soundify è in grado di identificare le persone, le attività e gli oggetti che emettono suoni in un video. Comprende quale sia la loro funzione e attribuisce loro un suono adeguato: potrebbe trattarsi di un dialogo o di un rumore di passi. Di una porta che si chiude o del motore di avviamento di un aereo pronto a decollare.
Anche l’intelligenza artificiale di Soundify è in una prima fase di sviluppo. L’impressione è che presto gli utenti potranno modificare video a piacimento, intervenendo sul suono a 360°: a partire dall’utilizzo di effetti allineati alle immagini. Fino ad arrivare a un uso più libero, creativo, irriverente.