Fran recupera la voz: «Ahora me reconozco de nuevo»

Lo mismo sucedió con Fran Vivó, paciente valenciano de 38 años cuya auténtica y alegre voz propia del Camp de Turia se sumió poco a poco en el silencio, que llegó en 2021 por una traqueotomía. Según Paco Vivó, padre de Fran, la pérdida de esta cualidad de su hijo fue «una de las etapas más duras». Lo recuerda ante la pantalla del ordenador, cuando comenzaban las dificultades: «Intentaba completar frases para un proyecto de creación de un banco de voz. ¡Con qué fuerza intentaba pronunciar bien las frases para que quedaran registradas!». Después, «ya no tuvimos más noticias de este proyecto».

Y, como con Hawking, lo que sonaba cuando quería decir algo era frío e impersonal: el resultado de una aplicación de comunicación que controlaba en sincronización con sus ojos. Pese a la dificultad, tras 30 segundos de movimientos oculares lograba frases como: «Cámbiame la manta, que esta no me gusta». Durante siete años, la familia de Fran escuchó resignada el sonido robotizado cada vez que deseaba expresar algo, en lugar de su verdadera voz. Sonaba así:

Este contenido no puede visualizarse correctamente en este formato.

Pero en el caso Fran la IA ha acudido al rescate, gracias a un equipo humano con hambre de mejorar vidas con tecnología. «Nos puso en contacto el documentalista valenciano Álex Badía, que está haciendo un trabajo con Fran», detalla el padre. El investigador al frente fue Jordi Linares, miembro de la Unidad Mixta de Investigación de Valencian Graduate School and Research Network of Artificial Inteligence (ValgrAI) y del Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la Universitat Politècnica de València (UPV).

Linares y su equipo disponían de un punto de partida: apenas 20 minutos de audio de What'sApp y vídeos de Fran antes de que la ELA le arrebatara la voz. Tanto en castellano, como en valenciano, su lengua natal. Puede parecer una base importante, pero según la UPV, «se trataba de material escaso, porque cuando Fran perdió la voz apenas comenzaba a usarse el sistema de audios» de la app de mensajería. Este es un fragmento de la materia prima, su auténtica voz:

Este contenido no puede visualizarse correctamente en este formato.

¿De qué está hecha una voz? ¿Qué la hace única? Influye, en primer lugar, timbre, el 'color' distintivo sonoro. También el tono, que se refiere a si es más aguda o más grave. La forma y el tamaño de las cavidades de resonancia, como la laringe, la nariz y la boca determinan estas cualidades, junto con la tensión y el grosor de las cuerdas vocales.

Los expertos quisieron restaurar la sonoridad original tanto en castellano como en valenciano. «Utilizamos varios programas de clonación de voz y seleccionamos los más interesantes», destaca Linares. Después, fue cuestión de afinar al máximo el instrumento vocal electrónico.

Analizaron la dinámica vocal de Fran, incorporaron modulaciones emocionales y crearon un modelo adaptativo. Todo con el objetivo de ofrecer un lenguaje lleno de rasgos humanos y con las tonalidades propias de Benaguasil. En definitiva, «un concepto próximo y reconocible en lugar de una voz robótica», describen.

La familia de Fran fue necesaria en el proceso. Aportaron los matices. Las sutilezas. Las decisiones a la hora de ajustar la carga emocional, la entonación o la intención del mensaje mediante un editor que respeta la identidad sonora de Fran. La herramienta es editable, por lo que ellos también pueden generar el texto al entender lo que él quiere decir. La tecnología pone la voz y la emoción «sigue siendo suya».

Los trabajos se han desarrollado durante todo este año, hasta alumbrar una aplicación capaz de transformar texto en la voz originaria de Fran. Hace sólo una semana pudo escucharse de nuevo y su veredicto fue claro y emocionante: «Me reconozco», expresó a los suyos.

Este contenido no puede visualizarse correctamente en este formato.

Según Paco, «al poder escuchar su voz casi con todas sus peculiaridades, nos sentimos abrumados, agradecidos y felices de redescubrir a mi hijo en su voz«. Sin embargo, «el estado actual de Fran ya no le permite ni siquiera escribir directamente con el lector ocular». Todas las palabras que necesita decir «nos las tiene que dictar asintiendo con el mínimo movimiento ocular que le queda».

Es una labor costosa. Es de los pocos enfermos de ELA cuyos movimientos oculares se están viendo también reducidos. En esta tesitura, sus familiares le tienen que deletrear todo el abecedario hasta que un leve movimiento de Fran con los ojos marca la elección de una letra. Y así una y otra vez hasta formar la palabra o frase, que anotan pacientemente en una pizarra infantil. También se valen de una pizarra con ideas esenciales numeradas y un funcionamiento parecido. Y entra mucho en juego la intuición de quienes le conocen, que avanza palabras a medio desarrollo. Como en este ejemplo.

Este contenido no puede visualizarse correctamente en este formato.

Al cabo de 15 minutos de anotación, Fran concluye su mensaje. En esta ocasión, su esfuerzo es para elogiar la labor de LAS PROVINCIAS con este reportaje que visibiliza su situación. «Le tengo que decir al periodista que ho fá molt bé», se lee en la pizarra que maneja su padre.

Obviamente, ya no pasarán todos y cada uno de sus mensajes por la aplicación de su voz restaurada. Pero su familia sí quiere utilizarla, por ejemplo, para las publicaciones de Fran en su red social de Instagram, donde hasta ahora sólo se ha escuchado el comunicador anterior, el impersonal y robotizado. Ahora Fran sonará como Fran.

A pesar de todo, la familia de Benaguasil siente mucha gratitud: «Esto nos ha dado un nuevo empuje de fuerza y esperanza para seguir en la lucha contra la ELA. También visibiliza esta cruel enfermedad y lo que supone para el entorno familiar». Han acogido la investigación «como parte de los propósitos de Fran que dan sentido a su vida en medio de la extrema situación». Su deseo es que pueda beneficiar «a muchas personas que han perdido su voz, pero no su dignidad y sus ganas de compartir y comunicar».

Fran, con diez hermanos y 15 sobrinos, ejerció dos años como bombero forestal. Hasta que la durísima enfermedad se cruzó en su vida. Su cuarto es su universo, entre pantallas, altavoces, música de Izal y fotos que le recuerdan su identidad y el amor de los suyos. Adora los documentales de naturaleza, el fútbol o el tenis.

Su familia está volcada con los cuidados. Mientras, lidian con el sufrimiento de asistir a la progresiva parálisis corporal de su hijo. Como destacan sus padres, «la Ley ELA se materializó hace un año, pero todavía no se ha activado la dotación económica para los cuidados que se necesitan 24 horas». Hay una gran lentitud administrativa. De algún modo, «nos han olvidado». Además, «no hay exclusividad y se fusiona con toda la dependencia». El esfuerzo investigador, denuncian, «ha quedado en el limbo».

El proyecto desarrollado para Fran Vivó trasciende lo tecnológico. Según destacan desde la UPV, es «la recreación fiel de la voz de una persona con un sistema de clonación basado en IA que ha logrado recuperar un timbre, una prosodia y una identidad vocal. En definitiva, «la manera única de decir las cosas». El trabajo «abre un abanico de posibilidades a los enfermos de ELA, ayudándoles a recuperar quiénes son y tener esperanza en la vida», como el propio Fran reconoce.

El grupo VertexLit, del que es director Linares, pretende mostrar «el potencial humanizador de la IA». El proyecto «no busca sobresalir por su complejidad técnica, sino por su impacto humano». También visibilizar a las personas afectadas por ELA. «Esta voz no sólo es para Fran. Es para todos ellos», asegura. Según el director de VRAIN y ValgrAI, Vicent Botti, «no se trata de un experimento ni una demostración. Es una promesa ética». La ciencia y la tecnología, ahonda, «deben ponerse al servicio de quienes más apoyo necesitan». Fran ha vuelto a hablar «pero miles de voces también lo podrán hacer».