Cómo crear un videoclip con la IA de Sora

Decía Churchill que “Los Balcanes producen más historia de la que pueden consumir”.

Y eso mismo es lo que he sentido estos días en el mundo de la IA, donde la vorágine de noticias de mucho calado está volando.

Que si Gemini 2.0.

Que si ahora la IA puede ver nuestro mundo y la pantalla.

Que si los agentes ya por fin van a ser inteligentes (a ver si meten alguno en mi tele Samsung que la vuelva Smart de verdad, como decía la etiqueta).

Que si Sora.

En fin, que, o le dedicas todo tu día a probar o es muy difícil llegar a todo.

Así que, como yo no llego, lo que toca es elegir qué probar. Y cómo probarlo.

Esta semana me he decidido por probar Sora. Y, para ello, he pensado un caso de uso. Uno que no hubiera probado antes.

Y me ha venido a la mente que hace tiempo que quería hacer un videoclip con la canción “Memories” de Maroon Five.

Así que, me ha parecido un buen ejemplo.

Te cuento el proceso en cuatro pasos que he seguido.

#1. Guion y storyboard

Lo he generado con ChatGPT empezando con este prompt:

Eres un experto creador de vídeoclips para canciones. Necesito el guion para esta canción quete paso: [aquí le meto la letra completa de la canción]

Me ha resultado curioso aquí que ChatGPT reconoce la canción sin que yo se lo haya dicho:

---

🎥 Soy un experto creador de videoclips para canciones. Conozco las técnicas narrativas visuales para emocionar y conectar con la audiencia.

Voy a desarrollar un guion detallado y visualmente impactante para tu canción. Te guiaré paso a paso en el desarrollo de un videoclip emotivo y significativo para “Memories”.

---

A continuación, he seguido con los mismos pasos que para generar un spot publicitario con IA, que no agrego aquí por no repetirme.

La diferencia es que en este caso, sabiendo que la verdadera habilidad de Sora es generar vídeos partiendo de un prompt y no de una imagen, le he pedido a Chat que me genere el prompt para Sora de cada plano.

Éste es el resultado:

---

🎥 Generación de Prompts para Clips con IA
Aquí tienes los prompts detallados para cada plano del storyboard. Cada prompt está adaptado para generar imágenes precisas que capturen el tono nostálgico y emotivo del videoclip.

---

📜 Prompts para “Memories”

Cuadro	Prompt para IA
1	“Aerial view of a peaceful small town or city at dawn. Streets are empty, bathed in soft golden light of sunrise. Calm and serene atmosphere, slightly hazy horizon.”
2	“Close-up shot of a vintage photo album opened on a wooden table. Fingers gently touching an old photo of smiling friends, soft sunlight streaming from a nearby window.”
3	“Retro-style scene of friends gathered around a table outdoors. Hanging string lights glow warmly. People are laughing, toasting drinks, and smiling, with soft focus.”
4	“Slow-motion shot of a group of friends jumping into a clear lake from a wooden dock. The sunlight reflects on the water, creating a nostalgic and joyful atmosphere.”
5	“A man sitting alone in a dimly lit bar. He holds a glass of whiskey or beer, staring into the distance with a thoughtful, nostalgic expression. Empty chairs around him.”
6	“Close-up of a man’s face, eyes glossy with emotion. A single tear is visible, but he smiles softly. Warm, gentle lighting enhances the emotional tone.”
7	“Group of friends sitting around a large bonfire in a nighttime forest or beach setting. The fire illuminates their faces, casting warm orange glows, with stars above.”
8	“Close-up of hands holding small candles or torches, being lit one by one. The flames flicker gently, symbolizing hope and remembrance in a dark setting.”
9	“Candid moments of friends laughing, hugging, and celebrating outdoors in a sunlit setting. Natural and spontaneous vibes, soft focus for nostalgic feel.”
10	“Close-up of old photos scattered on a wooden table. The images slowly blur and dissolve into scenes of joyful memories with friends, creating a dreamy effect.”
11	“Wide shot of a man walking toward a glowing sunrise horizon. He smiles faintly as the warm golden light surrounds him, suggesting hope and a new beginning.”

---

🎨 Consideraciones Estéticas

1. Colores:
   • Pasado: Tonos cálidos como dorados, sepia, y naranjas para flashbacks.
   • Presente: Tonos fríos (azules y grises) para las escenas del presente, resaltando la nostalgia.
2. Iluminación:
   • Usa luces suaves y difusas en escenas emotivas.
   • Contrasta luces y sombras en escenas como la fogata o el bar.
3. Efectos Visuales:
   • Aplica filtros vintage (grano suave, aspecto de película antigua) en flashbacks.
   • Para transiciones, considera efectos de “desvanecimiento” o “doble exposición” en la IA.

---

#2. Generación del clip de cada plano

Abrimos Sora –recuerda, lo hacemos así si estamos en España– y le damos a Storyboard:

Vamos introduciendo cada prompt en el plano correspondiente:

Podemos mejorar los prompts pulsando en este icono:

El prompt, probablemente se agrandará.

El resultado en mi caso ha sido mixto: en algunos casos mejora el vídeo y en otros, sobre todo en storyboards, claramente no:

Ejemplo del vídeo con prompts originales (directos de ChatGPT):

Ejemplo del vídeo con prompts “mejorados”:

Hace alguna cosa rara, la verda.

Eso sí, tienes que saber que, además de por el prompt en sí, el resultado tiene que ver con lo siguiente que vamos a ver.

Estructura de los storyboards

Una cosa importante: el máximo de duración del clip total que de momento nos permite Sora con el plan Plus (el barato) es de 10 segundos en la resolución a 480p o 5 segundos a 720p.

Esto significa que, si el videoclip final es de más tiempo, te tocará pensar cómo encajar los prompts de cada plano.

Tendrás que estructurar los planos con los mismos personajes o localizaciones dentro del mismo storyboard, para, posteriormente, cortar y montar en el editor de vídeo.

Y, si no le ve sentido -como me parece que ocurrió a mí al darle a “mejorar” el prompt- el resultado será regulero.

En mi caso, yo metí los prompts 2, 5 y 11 en el primer storyboard y el resultado son los vídeos de arriba.

Después storyboard con planos 3, 4 y 9.

Luego fui creando storyboards de dos planos, para mantener cierta coherencia:

• Planos 7 y 8 primero.
• Planos 6 y 10 después.
• Por último, generé el plano 1 solo.

Modificaciones del clip

En uno de los clips, la lágrima del hombre se quedaba estática:

Así que le pedí desde aquí que lo cambiara:

En mi caso, le pedí una modificación ligera del vídeo, ya que Sora te permite elegir la intensidad del cambio.

El resultado:

Como no me gustaba, le pedí que la modificación fuera media:

Como ves, eliminó la lágrima.

Bueno, será cuestión de jugar con los ajustes y con el prompt de “arreglo” que le metas.

Esto me recuerda que hay un punto importante que todavía no he comentado.

Controles generales del clip

A la hora de crear el clip, tenemos diferentes opciones disponibles, que variarán en función del plan que tengamos contratado de la herramienta (el plan Pro ofrece más posibilidades que el Plus, como es lógico).

Empezando de izquierda a derecha tenemos:

• Posibilidad de elegir el formato del vídeo.
• La resolución: según la que escojamos, nos dejará crear vídeos más largos (a 480p) o más cortos (a 720p).
• El tiempo: de la mano de la anterior. 5 o 10 segundos de clip.
• Número de vídeos: variable en función de las dos anteriores. Sora nos permitirá crear 1, 2 o 4 versiones diferentes del vídeo a la vez.
• Presets: algunos ajustes para que el resultado tenga una determinada estética.
• Subir vídeo o imagen: para complementar el prompt. Curiosamente en los storyboards no nos deja.

Truco para la duración del clip:

Para aumentar la duración del clip, que sepas que siempre tienes el recurso de utilizar posteriormente la cámara lenta en tu editor de vídeo, con lo que la duración de cada clip podrá aumentar entre un 20% y un 50%.

#3. Montaje del vídeo

Aquí lo que toca es:

1. Fusionar los distintos clips.
2. Añadir la canción original.
3. Ajustar tiempos.

Yo lo hice con Premiere, pero tú puedes hacerlo con Capcut si prefieres.

Truco para evitar la marca de agua de Sora:

Con el plan Plus no puedes eliminar las marcas de agua, así que, los vídeos se quedan como algo para redes sociales o producciones no profesionales.

Pero te voy a contar un truco que utilizo yo en esos casos.

En realidad, no es una forma de que el vídeo se exporte sin marca de agua, sino uno para que no se vea esta marca.

El truco es uno muy simple: al editar, coloca algo encima.

En mi caso, he colocado el logo de nuestro grupo empresarial. Tú puedes poner lo que quieras:

Si no ya sabes, a pagar el plan Pro de la herramienta.

#4. Añadiendo la letra de la canción

Esto sí que te recomiendo que lo hagas con Capcut, ya que es un clic.

Una vez lo tengas, sólo falta exportar y publicarlo donde quieras.

Resultado final

Aquí lo tienes:

En mi opinión los resultados son sorprendentemente realistas, pero, eso sí, el nivel de control que tienes sobre ellos es mucho menor que en otras herramientas como Kling AI.

Como siempre, según lo que necesites, utilizarás una u otra. Es decir, Sora no es la killer-app del vídeo generativo. Por lo menos, de momento.

Esta es la calidad del primer uso serio que le he dado. Si hablamos de tiempo, el proceso completo me ha llevado poco más de una hora, así que ni tan mal, la verdad.

Conclusiones

Pues la verdad que después de este primer caso de uso, te comparto mis impresiones:

Tengo que decir que mis sensaciones con la herramienta son variadas.

Por un lado, veo cosas positivas:

• El realismo de muchos vídeos con prompts básicos.
• La idea de los storyboards.
• Que se incluya con el plan Plus de ChatGPT.

Pero también otras negativas:

• El control que tienes sobre el clip es más bien escaso.
• Las opciones de “mejora de prompts” y de “cambios en los clips” no han funcionado como esperaba. Quizá sea cuestión de aprender a usarlas mejor y tener claro qué esperar de cada una.
• Los límites de los storyboards. La idea es genial, pero está en un estado muy inicial. Esto será un game-changer cuando te permita vídeos de un par de minutos, por ejemplo.
• Los límites del plan Plus (resoluciones, tiempos, marcas de agua) hacen que no se la pueda considerar a nivel profesional. Otra cosa es el plan Pro, si te lo puedes permitir y te compensa.

En realidad, es otro arma más que añadir a tu arsenal a la hora de generar contenidos. Y, desde esa perspectiva, es una bastante buena, la verdad.

Desde luego, tras utilizar Sora, tengo clara la generación de vídeo cada día se está poniendo más interesante.

Con la competencia que hay entre herramientas, en no tanto seremos capaces de crear producciones audiovisuales que hasta hace nada, solo podíamos soñar.

Y tú te podrás ir enterando si visitas la sección con los avances del mundo del vídeo de esta web.

O si se te suscribes a mi newsletter, donde cada jueves tendrás en tu bandeja de entrada un artículo como éste.