Riffusion es un sistema de aprendizaje automático Stable Diffusion adaptado para síntesis musical
Se dio a conocer el lanzamiento de un nuevo proyecto llamado «Riffusion» que desarrolla una variante del sistema de aprendizaje automático Stable Diffusion adaptado para generar música en lugar de imágenes. La música se puede sintetizar según una plantilla sugerida o una descripción de texto en lenguaje natural.
Los componentes de síntesis de música están escritos en Python utilizando el marco PyTorch y están disponibles bajo la licencia MIT.
El proyecto es interesante porque sigue utilizando los modelos de «texto a imagen» e «imagen a imagen» para la generación de música, pero manipula los espectrogramas como si fueran imágenes.
En otras palabras, Stable Diffusion clásico no se basa en fotografías e imágenes, sino en imágenes de espectrogramas que reflejan el cambio en la frecuencia y la amplitud de la onda de sonido a lo largo del tiempo. En consecuencia, también se forma un espectrograma en la salida, que luego se convierte en una representación de audio.
Se menciona que el método también se puede utilizar para modificar composiciones de sonido existentes y síntesis de música de muestra, similar a la modificación de imágenes en Stable Diffusion.
Por ejemplo, la generación puede establecer espectrogramas de muestra con un estilo de referencia, combinar diferentes estilos, realizar una transición suave de un estilo a otro o realizar cambios en un sonido existente para resolver problemas como aumentar el volumen de instrumentos individuales, cambiar el ritmo y sustitución de instrumentos.
Los patrones también se utilizan para generar composiciones de larga duración, compuestas por una serie de pasajes próximos entre sí, que varían ligeramente con el tiempo. Los fragmentos generados por separado se combinan en un flujo continuo interpolando los parámetros internos del modelo.
Para la creación de un espectrograma a partir del sonido se utiliza una transformada de Fourier (una transformación matemática empleada para transformar señales entre el dominio del tiempo y el dominio de la frecuencia). Al recrear el sonido a partir de un espectrograma, existe un problema con la determinación de la fase (solo la frecuencia y la amplitud están presentes en el espectrograma), para cuya reconstrucción se utiliza el algoritmo de aproximación de Griffin-Lim.
El enlace con la interfaz se implementa en el lenguaje TypeScript y también se distribuye bajo la licencia MIT. Los modelos entrenados se publican bajo la licencia permisiva Creative ML OpenRAIL-M para uso comercial.
Si quieres conocer más al respecto, puedes consultar los detalles en el siguiente enlace.
Continúar leyendo...