Project Gucciberg ofrece audiolibros clásicos leídos por un deepfake de IA de Gucci Mane

¿Alguna vez quisiste que Anna Karenina de Leo Tolstoy o La metamorfosis de Franz Kafka te leyeran el dios trap Gucci Mane, creador de éxitos como “Lemonade” y “Wasted”? Bueno, a) ese es un deseo muy específico, yb) es tu día de suerte.

Project Gucciberg es la última gota de la fábrica viral MSCHF, y hace exactamente eso. Utilizando el aprendizaje automático, MSCHF creó un deepfake de audio de Gucci Mane leyendo una selección de textos clásicos de Little Women a Beowulf . Todos son gratuitos para escuchar y vienen con portadas de libros que combinan perfectamente con el arte de la prolífica discografía de Gucci Mane.

El qué del Proyecto Gucciberg es tremendamente sencillo, pero el por qué es más difícil de responder. Si no está familiarizado con MSCHF, le recomiendo nuestro perfil del atuendodel año pasado . Esencialmente, son un grupo de creadores financiados por VC que hacen cosas raras diseñadas para volverse virales en línea, como chirriantes bongs de pollo y zapatillas Air Max 97 llenas de agua del río Jordan, algunas de las cuales se venden por una tarifa nominal. Entonces ellos ??? y ganancias (presumiblemente vendiendo sus servicios a empresas que quieren que las cosas que hicieron se vuelvan virales en línea).

En declaraciones a The Verge, Dan Greenberg de MSCHF no habló sobre la motivación detrás del Proyecto Gucciberg, pero estaba más que feliz de hablar sobre la mecánica. Los deepfakes de audio ahora son bastante comunes (escuche este clon de Joe Rogan para un buen ejemplo ), hasta el punto en que se hanutilizado para cometer fraude . Para hacer uno, solo necesita una gran cantidad de datos de muestra del habla de su objetivo y las redes neuronales adecuadas para aprender y copiar sus gestos.

Greenberg dice que MSCHF recopiló alrededor de seis horas de audio de Gucci Mane hablando de podcasts, entrevistas y similares. Luego crearon transcripciones de los clips para ayudar con el proceso de conversión de texto a voz (TTS). Esto requirió crear una "clave / diccionario de pronunciación de Gucci para capturar mejor la idiosincrasia del argot particular de Gucci Mane".

“La pronunciación de Gucci sigue una cadencia muy particular; por ejemplo, utiliza una variedad de sonidos de vocales mucho mayor que la que usaría un lector de TTS medio”, dice Greenberg. "El diccionario divide las palabras en fonemas (gestos vocales discretos) que nuestro modelo luego usa como bloques de construcción … Entonces, para un ejemplo simple, necesitamos nuestro modelo para saber qué sílabas elidir, o fluir entre sí a través de las palabras: necesita saber decir "talm 'bout" en lugar de' hablar de ', y el diccionario Gucci {T AH1 LMB AW1 T} nos lleva allí donde las palabras escritas' hablando de 'no ".

Los resultados son impresionantes: el deepfake ciertamente suena como el hombre mismo, aunque los resultados no siempre son totalmente coherentes o de la mayor calidad. “Nuestro Gucci Mane falso a menudo suena como si estuviera hablando a través de un micrófono defectuoso o en una transmisión de Internet de baja calidad, y parte de esto se debe a que en los datos de entrenamiento a menudo hace exactamente eso”, dice Greenberg.

La razón exacta por la que se eligió a Gucci para este proyecto se redujo a dos factores, dice Greenberg: uno, el rapero tiene una voz distintiva y dos, el juego de palabras del Proyecto Gucciberg era demasiado delicioso para ignorarlo.

Greenberg agrega que MSCHF no se acercó a Gucci para pedir permiso para usar su voz. Como señala un descargo de responsabilidad en el sitio, todo el proyecto plantea preguntas interesantes sobre los derechos de autor en la era de las falsificaciones de inteligencia artificial. "No escribimos los libros, y falsificamos la voz", dice. “¿Es esto una infracción de los derechos de autor? ¿Es robo de identidad? Todos los datos de entrenamiento (grabaciones) utilizados para hacer que el Proyecto Gucciberg estén disponibles públicamente en la web. Gucciberg vive en esa hermosa zona gris donde todo es nuevo y todo vale ". ¡Ciertamente lo es! The Verge ha intentado comunicarse con Gucci Mane a través de su sello discográfico para obtener una respuesta, y actualizaremos esta historia si escuchamos.

¿Project Gucciberg es algo más que un clic rápido y un jajaja? Bueno en realidad no. Pero eso es asunto de MSCHF, y son muy buenos en eso. Si bien escuchar más de unos pocos minutos del audio resultante es un poco desorientador, Greenberg sugiere que puede haber beneficios únicos para el mundo venidero de los audiolibros de celebridades deepfake bajo demanda.

"De vez en cuando … la extrema casualidad de la narración de Gucci Mane realmente pone el texto bajo una nueva luz", dice, hablando sobre los beneficios de escuchar la versión deepfake de Metamorfosis de Kafka. "Gregor Samsa realmente se presenta como un chico más que no quiere levantarse de la cama, ¿sabes?"