MÁS

FoleyGan, inteligencia artificial que puede generar sonido para videos silenciosos

Foley en la postproducción audiovisual se refiere a la práctica de recrear el sonido de diversas formas para corregir o reemplazar las grabaciones originales que faltan.

La originalidad siempre ha sido un factor clave en la recreación de estos efectos, pero el algoritmo intenta simplificar esto usando IA para crear efectos de sonido que faltan.

Efecto foley a través de la inteligencia artificial

Sanchita Goes y John J. Prevost, miembros de IEEE, una organización de investigación en innovación tecnológica, publicaron recientemente elementos Sugirieron desarrollar un algoritmo de inteligencia artificial que utilice tecnología de aprendizaje profundo para determinar la relación entre ciertos tipos de escenas y sus respectivos sonidos con el fin de producir un sonido adecuado para las muestras silenciosas.

Este tipo de instrumentos se pueden construir utilizando redes generativas adversarias (GAN), y FoleyGAN se basa en esta dinámica, que brinda a los investigadores sugerencias para crear estos efectos espaciales.

De acuerdo con cada secuencia de cuadros presentada, FoleyGAN genera audio asociado con información visual que es de buena calidad de audio y está sincronizado con la imagen. La nueva investigación propuesta se centra en el proceso de creación de redes generativas antagónicas para estos fines y aborda los problemas que se acaban de mencionar.

En la primera línea de su introducción, FoleyGAN fue introducido en su estudio introductorio como un sistema que «puede ajustar la secuencia de acciones de eventos visuales para crear bandas sonoras realistas y orientadas visualmente».

Los investigadores afirman haber utilizado una gran cantidad de muestras de datos de Foley para entrenar a FoleyGAN. Su primer sonido sintético fue calificado manualmente y recibió una calificación promedio de aprobación del 81%. Este índice refleja el alto nivel de inteligencia que estos sonidos sincronizados pueden lograr al editar videos.

Estos resultados se consideran implementadores de proyectos positivos ya que aseguran que sus propuestas produzcan resultados excelentes basados ​​en estadísticas de registro para proyectos propuestos por otras tecnologías y utilizan una variedad de datos de muestra para la capacitación.

Se necesita tiempo y dedicación para crear un efecto Foley original. Obtener estos sonidos de Internet puede ser una solución rápida, pero restará originalidad al proyecto. Además de estas dos alternativas comunes, en el futuro se podría agregar una tercera solución que irá de la mano de la IA presentada.

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Botón volver arriba
error: Content is protected !!