07 octubre 2024

La voz de André Breton revive gracias a la IA

Diseñada como un laberinto, la exposición “Surrealismo” del Centro Pompidou parisino es una inmersión novedosa en la efervescencia creativa del movimiento surrealista, nacido hace 100 años, con la publicación del Manifiesto fundacional de André Breton.

Para ocasión, el IRCAM ha recreado la voz del célebre poeta gracias a la inteligencia artificial. Esta voz guía al visitante a través del espacio expositivo hasta enero de 2025.

Combinando pinturas, dibujos, películas, fotografías y documentos literarios, la exposición “Surrealismo” presenta 250 obras maestras de artistas emblemáticos del movimiento, procedentes de colecciones públicas y privadas internacionales.

Entre los artistas representados se encuentran Salvador Dalí, René Magritte, Giorgio de Chirico, Max Ernst, Joan Miró, sin olvidar a las mujeres surrealistas, como Leonora Carrington, Ithell Colquhoun o Dora Maar.

La voz de André Breton  guía desde la entrada a los visitantes hasta el corazón de la exposición, donde se presenta su Manifiesto del Surrealismo. El manuscrito original de André Breton  -cedido por la Biblioteca Nacional de Francia- va acompañado de un cortometraje inmersivo proyectado a 300 grados, que arroja luz sobre su génesis y su significado.

Aunque es la voz del propio André Breton quien presenta estos escritos, en realidad nunca fue registrada en el momento de la publicación del Manifiesto. Así, la reconstrucción de esta voz es innovación en materia de mediación realizada por los equipos del laboratorio de Ciencias y Tecnologías de la Música y el Sonido (STMS) del Ircam, que lograron recrear la voz del joven poeta utilizando inteligencia artificial, como decíamos

A la vez cronológico y temático, el recorrido iniciado por la voz de Breton está jalonado por 14 capítulos que evocan las figuras literarias que inspiraron el movimiento (Lautréamont, Lewis Carroll, Sade, etc.) y los principios poéticos que estructuran su imaginación (el artista-médium, los sueños). , la piedra filosofal, el bosque, etc.).

Los equipos del IRCAM además de resucitar una voz desaparecida, han añadido  reto adicional de rejuvenecerla. Para ello, el equipo de Análisis y Síntesis de Sonido utilizó nuevas tecnologías desarrolladas para la conversión de voz, basadas a su vez en los últimos avances de la investigación fundamental en inteligencia artificial.

El proceso de reconstrucción desarrollado se basa en tecnologías de aprendizaje profundo que combinan análisis de contenido y estrategias de diferenciación que permiten desvincular el contenido y la expresividad del discurso del actor que interpreta a André Breton, de su identidad vocal.

Con el objetivo de transformar la voz de un actor vivo en una voz histórica, el equipo de investigación se distanció de herramientas llamadas “text-to-speech” -que hoy permiten generar a partir de un texto una voz sintética inteligible y expresiva pero que carece de contextualización-. para virar hacia un modelo de conversión de la voz del hablante.

A partir de la interpretación del actor, este modelo cambia la identidad vocal conservando su naturalidad y expresividad y el contenido del discurso, para sustituirlo por el del Bretón. Una vez creada esta máscara vocal, se aplican algunos ajustes de sonido finales en la postproducción.

Para lograrlo trabajaron con tres fuentes de sonido diferentes. Por un lado, utilizaron una base de datos de voz de 120 francófonos, que hablan entre 30 y 60 minutos cada uno, leyendo textos en un tono estándar.

También dispusieron de grabaciones de la voz de André Breton que datan de los años 1940/1950, cuando se acercaba a los 50 años. Esto les permitió definir el rango de su voz. Finalmente, para la tercera fuente hicieron que un actor grabara el texto del Manifiesto pero también otras frases, pidiéndole que imitara la expresividad de la voz de Breton.

Cada vez más museos hacen uso de la inteligencia artificial para promover o enriquecer sus exposiciones, tanto en imagen como en voz.

Leave a Reply