Runway lanza un modelo de IA capaz de generar vídeos a partir de texto

Startup Runway AI Inc. hoy hizo su debut Gen-2, un modelo de inteligencia artificial capaz de generar videoclips cortos basados ​​en mensajes de texto.

Runway, con sede en Nueva York, desarrolla modelos de IA que facilitan las tareas de edición de imágenes y videos para los profesionales creativos. El año pasado, la startup ayudó a cocrear el popular modelo de IA generativa Stable Diffusion. en diciembre el aumentó Financiamiento de la Serie C de $ 50 millones en torno a una valoración informada de $ 500 millones.

Gen-2, el nuevo modelo de IA de la startup para generar videos, es una versión mejorada de una red neuronal existente llamada Gen-1 que debutó en febrero. La startup afirma que Gen-2 puede generar clips de mayor fidelidad que su predecesor. Además, la plantilla ofrece más opciones de personalización a los usuarios.

La red neuronal Gen-1 original de Runway toma un video existente como entrada con un mensaje de texto que describe los cambios que se deben realizar. Un usuario podría, por ejemplo, proporcionar a Gen-1 un video de un automóvil verde y un mensaje de texto que diga «pintar el automóvil de rojo». A continuación, la plantilla realizará automáticamente los cambios correspondientes.

Gen-1 también puede modificar un video adaptándolo al estilo de una imagen de referencia proporcionada por el usuario. Gen-2, el nuevo modelo Runway lanzado hoy, agrega otra forma de generar clips. No requiere un video de origen o una imagen de referencia y permite a los usuarios crear videos simplemente ingresando un mensaje de texto.

Runway ha detallado la tecnología que impulsa el modelo en un documento academico lanzado a principios de este año. Según la compañía, su modelo utiliza un método de inteligencia artificial conocido como transmisión para generar videos.

Con el método de difusión, los investigadores agregan un tipo de error llamado ruido gaussiano a un archivo. Luego entrenan una red neuronal para eliminar el ruido gaussiano y restaurar el archivo original. Al repetir este proceso varias veces, la red neuronal aprende a analizar los datos de entrada que recibe y los transforma en un nuevo archivo que coincide con las especificaciones del usuario.

La empresa desarrolló su modelo utilizando un conjunto de datos de entrenamiento que comprende 240 millones de imágenes y 6,4 millones de videoclips. Posteriormente, organizó una serie de estudios de usuarios para evaluar las capacidades de Gen-2 y dijo que Gen-2 superó significativamente a dos de los modelos de IA más avanzados en la misma categoría.

Runway no es la única empresa que desarrolla modelos de IA capaces de generar videos. El año pasado, los investigadores de Meta Platforms Inc. detallado un modelo de generación de clips similar llamado Make-A-Video. Al igual que Gen-2, puede generar clips basados ​​en indicaciones de texto.

Imagen: Pista