Creación audiovisual con la IA: qué se puede y qué no se puede hacer (todavía) con resultados profesionales

El 19 y 20 de noviembre de 2024 ha tenido lugar en Málaga la Upscale Conf 2024, uno de los eventos relacionados con la IA más potentes que recuerdo a nivel mundial.

Era de esperar, viendo los ponentes y de dónde vienen (Freepik, Google, Microsoft, Github, Eleven Labs, Magnific AI, Founderz…).

El evento, aparte de para ver caras conocidas de lo más top tecnológicamente hablando de Málaga, me sirvió para conocer gente nueva. Y es que, no siempre tiene uno ocasión de charlar con un periodista de Business Insider, una de mis newsletters diarias favoritas.

También me sirvió para otra cosa más: ver el estado actual de la IA y entender el impacto global que está teniendo YA en las industrias creativas.

Y de hecho, de esto va este post, de hacer un overview de las ponencias del evento y de aclararte en qué punto estamos ya con esto. Que ya te adelanto que es uno más avanzado del que me esperaba antes de la conferencia.

Eso sí, antes de entrar en materia, he de decir que me sorprendieron gratamente las instalaciones de la Escuela Shorlin, muy cercana a otro espacio chulo de eventos como es La Térmica, más antiguo y también más conocido.

Se nota que Antonio Banderas está detrás del proyecto, porque el nivel audiovisual y de confort de las instalaciones era muy elevado.

Estábamos muy cómodas las más de 500 personas que asistimos al evento y yo diría que ocupamos medio aforo, nada más.

Pues bien, hechas las introducciones, vamos con la mandanga: vamos a repasar una por una todas las ponencias, mientras te comento qué es lo que rescato yo de cada una de ellas.

Martin Leblanc – Freepik

Empezamos fuerte.

Y es que, de todas, esta fue la charla que más me gustó.

Tomé notas como un loco, además de no parar de hacer fotos y vídeos.

¿Por qué?

Pues porque Martin, jefe de producto de Freepik explicó lo que se puede llegar a hacer con la IA y montó todo el material necesario alrededor de un proyecto (imaginario) de energías renovables llamado Solar Nomad.

Cuando digo todo, quiero decir:

#1. Diseño web

En el que, siguiendo este flujo:

1. Sketch to image (perfecto para empezar cuando tenemos algo en mente).
2. Reimagine (versiones, cambiando algún punto concreto).
3. Expand (ampliar márgenes).
4. Retouch (retocar cosas cocretas, como con Photoshop, pero a lo fácil).
5. Scale (aumentar resolución y arreglar manos en el proceso).

Martin mostró como crear una landing page -con su herobanner y su copy- para el proyecto en minutos.

Obviamente todas las herramientas que os pongo arriba, que son con las que trabajó en la demostración, son de Freepik, por si te lo estabas preguntando.

Pero si prefieres usar otras, el proceso sería el mismo.

Esto estuvo bien, pero nada que ver con lo que viene a continuación…

#2. Anuncio en vídeo

Aquí es cuando se nos desencajaron las mandíbulas a todos los que vimos la demo. Éste fue el resultado final, generado entero con IA:

Para llegar a ello, Martin siguió este flujo de trabajo:

Storyboard

Esto no lo hace la IA (por lo menos no la de Freepik… todavía).

Se lo damos nosotros. Y sí, puedes ayudarte de ChatGPT para construirlo, claro.

LORAs

Lo que sí que te hace la IA de Freepik es mantener la coherencia a lo largo de los distintos clips necesarios:

Para que un video (de un anuncio o de lo que sea) funcione, es fundamental mantener a la misma persona (o personaje) siempre.

Para conseguirlo, el proceso es:

1. Creamos o subimos distintas imágenes de la misma persona
2. Escribimos prompts con diferentes situaciones.
3. El resultado es que conseguimos una imagen de cada uno de los clips, que serán consistentes todos.
4. Por último, lo montamos en cualquier editor de vídeo. Esto, de momento, no lo hace la IA.

Bien, pues aún queda un consejito más.

Y es clave.

Image to vídeo

Además de la ayuda a introducir y mejorar los promps de la herramienta, una de las claves para generar vídeos de alta calidad es subir imágenes de alta calidad.

Es decir, de buena resolución.

Y, para ello, hacemos un upscalling la imagen antes de generar el vídeo. Para eso (entre otras cosas) compraron en su momento Magnific.AI 😉

Aunque en la imagen no se aprecia, la diferencia de calidad en el vídeo generado con una y otra imagen es notoria.

Audio para el vídeo

En este punto tenemos dos patas:

1. La locución.
2. La música de fondo.

Bueno, pues Freepik tiene herramientas para encarar ambas:

Freepik tunes

Para generar la voz no tenemos más que subimos el texto y elegir la voz que mejor se adapte.

Si has usado Eleven labs, te conocerás el proceso.

Video match

Una vez locutado, toca meter la música de fondo.

Para ello, subo el video y la herramienta me da distintas opciones de música y, además, integra la voz.

El resultado es simplemente brutal.

Tiempo y recursos del proceso

Pues todo el vídeo del anuncio nos comentó Martin que le llevó 10 horas.

A una sola persona.

O sea, no sé si alguna vez has participado en un rodaje en exteriores, pero ya te digo que no es nada rápido y que, solo en montar y desmontar equipos ya se te va un pico de tiempo.

Y ése es el resultado, que antes hay que buscar y establecer las localizaciones y llevar a cabo un casting para actores.

O sea, el resultado es alucinante y pone al alcance de las PyMes generar anuncios de calidad similar a las grandes marcas.

No he estimado el coste en euros de las herramientas de Freepik necesarias para ejecutar todo esto, pero ya te digo que me espero que sea del orden de entre 100 y 1000 veces menos que rodar un spot de forma “normal”.

Repito: entre 100 y 1000 veces menos que un spot de los que te tragas antes de cualquier película en Prime Video.

Bien pues una vez acabado el resumen de esta charla, que es lo que más me impresionó de la conferencia y que por ello que quería contártelo en detalle, voy a resumir el resto de conferencia centrándome en los puntos clave de cada una.

Nick Coronges – R/GA

Nick nos mostrço ejemplo de cómo la tecnología hace pivotar a las empresas. Que se lo digan a Freepik, quien tuvo que pasar en tiempo récord de ser un Marketplace de imágenes a una plataforma de IA.

También puso foco en cómo usar la IA para marcas. Debemos repensar nuestro pipeline de creatividad.

Gracias a la IA, actualmente podemos seguir haciendo lo que estamos haciendo, pero hacerlo mejor.

Pero Nick nos sugiere que le demos una vuelta a este enfoque y pensemos qué podemos hacer con IA que no podíamos hacer antes.

Puso como ejemplo el caso del rebranding de Android que llevaron a cabo en la agencia este año. Y cómo la IA les ayudó a construir infinitas variaciones del robot, tras entrenar el modelo.

Esto ilustra lo que el considera una agencia de marca IA-nativa.

Hugo Barbera – HumAIn

Hugo es creativo.

Se le nota desde el minuto uno. Y nos cuenta su experiencia con la IA, que no es de ahora, sino que lleva trabajando con ella varios años. Cosa que se nota en sus creaciones:

Además, dentro del mercado del lujo, que es en el que se centra su agencia, sus creatividades futuristas -por llamarlas de algún modo- siempre cuentan una historia. Y es la clave para que triunfen.

Aquí te dejo un par de ejemplos:

Personalmente, me recordaban / evocaban mucho a los comics de Metal Hurlant que leía hace casi 30 años (y que, afortunadamente, han vuelto a la vida gracias a Kickstarter, pero eso es otro tema).

Laia Grassi

Mucha chicha tuvo la charla de Laia.

Para empezar porque apuntó al mogollón de áreas se ven afectadas por la llegada de la IA, muchas más de las que parece a primer nivel.

Por supuesto, sacó números sobre los puestos de trabajo estimados en 2025 relacionados con la IA (en uno y otro sentido) y eran una pasada:

• 97 millones de puestos de trabajos nuevos.
• 85 millones de puestos de trabajos sustituidos por la IA.
• 12 millones de puestos de trabajo de saldo positivo.

Y esto sólo en 2025.

Piensa en qué lado quieres estar… Y actúa.

Una vez metidos en contexto, comenzó a explicar las diferencias entre como se gestiona la creatividad en la mente humana y cómo lo hace la IA.

Además, nos mostró un par de casos reales de campañas en las que se usa la IA.

La primera, para recrear un photoshooting en entornos idílicos para una empresa que no podía pagar los costes de hacerlo realidad:

Es análogo a lo que te contaba del anuncio de la primera charla, pero aplicado a una sesión de fotos.

El otro ejemplo que puso fueron anuncios para un ecommerce, en los que se mezclanel producto con objetos generados con inteligencia artificial (sorry por la calidad del vídeo, pero tuve que tirar de zoom):

Y pasa despedirse, lo hizo con una gran frase, que creo que era de Steve Jobs:

“ Creatividad es la habilidad de ver conexiones donde otros no las ven, para romper los patrones establecidos y generar nuevas soluciones”.

Pau García  – Founderz

Pau se marcó una charla muy entretenida, con constantes bromas, pero llena de sustancia.

Así, pudimos ver en vivo y en directo el mito de crear una startup en 15 minutos -cronometrados- con IA.

Éste fue el flujo:

• Le pidió a Copilot empezar por el plan de negocio de la startup.
• Después, el desglose del plan financiero en tablas.
• Los copies para redes sociales.
• Los vídeos (quizá, lo menos conseguido, pero es que tenía 15 minutos para todo).
• Una presentación para inversores.
• Y una landing page

La idea detrás de todo esto no era hacer una startup que funcionara a la primera, sino que entendiéramos lo rápido que se puede crear una.

Y hacernos ver que la IA permite fallar “faster and cheaper”, por lo que podemos poner en marcha muchas (muchísimas) ideas en nada de tiempo y testarlas, a ver cuál puede funcionar y ya tirar con esas.

Es la misma metodología de los inversores early stage de las startups, pero aplicada a la creación de la misma.

La idea, si eres inquieto, es muy, muy sugerente…

Aparte de su ponencia, Pau también hizo de moderador en el concurso de startups con base IA que hubo en el evento.

Se habían seleccionado 4:

• Journo: contenido para periodistas con IA para SEO, social…
• Brandfy: crear una marca entera con IA.
• Consistentcharacter: visual storytelling.
• PiktId: Crear modelos para shooting.

La ganadora fue esta última, por si te interesa echarle un ojo.

George Eid – Area 17

Poniéndonos más metafísicos, George nos explicó con ejemplos por que funcionan las historias, las reglas a las que obedecen los éxitos.

En el caso de la IA, podemos asociarlo al poder y a la magia.

Justin Hacknay – Eleven Labs

Sinceramente y dado que soy fan de la herramienta, tenía expectativas muy altas sobre esta ponencia. Pero lo cierto es que se puede resumir en una frase:

“The stories we tell shape our reality”.

Nerea Luis

Nerea tenía la difícil tarea de mantenernos despiertos y despejados tras la comida. Y lo consiguió.

Puso foco en los 4 casos de usos donde la IA nos puede ayudar a comunicarnos más rápido y de forma más inteligente, que, para ella, son éstos:

• Personalización UX.
• Copy y comercial contenido.
• Testing interfaces conversacionales (chatbots y QA).
• Prototipos y conceptualización.

Puso el ejemplo de Netflix: cómo los algoritmos han redefinido el uso de las apps de vídeo, haciendo que no usemos el buscador (pese a que algún friqui como yo lo siga usando de vez en cuando).

También nos recomendó darle una oportunidad a Notebook ML, ya que para ella es el siguiente paso, tras ChatGPT, ya que permite una mayo trazabilidad del contenido gracias las “bubbles”, esa especie de tooltips que te muestran más información al pasar por encima.

Mesa redonda, moderador: Andrés Torrubia – Medbravo

A continuación, tuvimos una mesa redonda donde se exploró el punto actual de la IA a la hora de generar vídeo.

Éstas serían las claves que aportaron cada ponente:

• Staicie Chan: a colación de los 8 segundos de vídeo que permite crear su aplicación, comentaba que las limitaciones son buenas para la creatividad, ya que nos obligan a pensar mejor las cosas. Y no puedo estar más de acuerdo, por lo menos a cierto nivel. No hay más que ver las “versiones extendidas” o “director’s cut” de cualquier cinta de Ridley Scott para darse cuenta de lo bien que le viene que haya un productor que le corte las alas.
• Mike Ramos: este productor audiovisual comentaba al respecto que hay que ser consciente de las limitaciones y cambiar las forma de pensar y de crear, antes de utilizar una herramienta. Que igual no puedes hacer lo mismo que antes, pero sí puedes explorar cosas nuevas.
• Javi López: por último, el cofundador de Magnific.AI decía que a la hora de crear vídeo con IA el dedica mucho tiempo a la investigación y a la prueba, hasta que le sale algo decente. Además, apuntaba a la consistencia como factor clave para empezar a usar la IA en vídeo para crear vídeos de más de unos segundos o minutos. Sin ella, es imposible.

Elizabet Larki – Ex Google

Empezó poniendo de manifiesto cómo podemos aprender prompting:

• Ensayo y error.
• Viendo el feedback que nos ofrecen las herramientas.
• Compartidos en foros y portales por otros usuarios (“prueba esto…”).
• Reverse prompting: en plataformas de IA como las de creación de imágenes, en las que podemos ver el prompt que ha generado una imagen para poder replicarlo.

Haciendo esto, ella ha llegado al orden de los elementos en un prompt para crear imágenes profesionales, que es éste:

Te lo paso en texto:

[Subject] + [Action/Pose] + [Setting/Environment] + [Lighting] + [Camera Angle] + [Style] + [Atmosphere] + [Technical Specifications] + [Aspect Ratio]

No sé si tú conocías esta estructura (yo no), así que me la guardo para probarla ya.

David Jensenius – Github

Por último, no acabé de pillarle el punto a la conferencia. Algún ejemplo chulo, pero poco aplicable a proyectos reales.

O yo no supe apreciarlo (influido en parte por lo que te cuento a continuación).

Conclusiones

Y esto es lo que dio la Upscale Conf 2024.

O bueno, a lo que yo pude asistir antes de que un catarro mortal me llevara a casa y me dejara un par de días enteros en la cama.

Esto quiere decir que, aunque no pude asistir a las conferencias del segundo día, con las que te he mencionado aquí creo que te puedes hacer una idea más que buena de en qué punto estamos a nivel de creación con la IA y por dónde van a ir los tiros próximamente.

Como chascarrillo -que a la vez sirve de conclusión- estaba viendo las ponencias con el director de la agencia de comunicación y publicidad más grande de Málaga. Quien observaba lo que se venía con ojos de entre alegría y preocupación.

A buen entendedor, pocas palabras bastan.

Y no es para menos, viendo lo que se nos viene, a todos, encima.

Acabado el artículo, te pregunto: ¿te mola la IA? Pues aquí tienes más artículos sobre Inteligencia Artificial.

Si tras echarles un vistazo, quieres recibir cada jueves uno en tu email (de IA y de negocios digitales), te suscribes aquí.