¿Qué tan precisos son los subtítulos traducidos por IA?

Un cambio fundamental en el comportamiento de consumo de medios, sumado a los avances tecnológicos de IA, ha convertido los subtítulos traducidos por IA en una opción popular y eficaz para eventos en vivo de todo tipo y tamaño. Interprefy los introdujo en 2022 y también están disponibles en Microsoft Teams e incluso en Zoom: subtítulos multilingües autogenerados para reuniones en vivo. Esta tecnología permite a los usuarios comprender , incluso si desconocen el idioma del discurso.

Pero ¿qué tan precisos son? No hay una respuesta sencilla. Los resultados dependen en gran medida del enfoque elegido y de los motores utilizados, la combinación específica de idiomas y las propiedades del audio (acento del hablante, calidad del audio, etc.). Y lo cierto es que no existe un método definitivo para medir la precisión de la traducción.

En el sector de la traducción, las personas describen la calidad de diversas maneras. Al intentar establecer una medida objetiva, un grupo de investigadores admitió que ni siquiera entre ellos se ponían de acuerdo sobre cómo definir la "calidad de la traducción".

Analicemos con más detalle por qué es tan difícil medir la calidad de la traducción y cómo podemos acercarnos a medir la calidad de los subtítulos traducidos automáticamente. 

Cómo funcionan los subtítulos automáticos en varios idiomas

Los subtítulos "traducidos automáticamente", "traducidos por máquina" y "traducidos por IA" o "subtítulos multilingües" son subtítulos cerrados que ofrecen a los usuarios subtítulos en tiempo real junto con el habla en otro idioma. Se crean a partir del audio original mediante una combinación de tecnologías de reconocimiento automático de voz y traducción automática que producen un texto traducido de la transcripción, o una solución basada en IA que convierte directamente el audio del idioma original en texto (o incluso en habla) en el idioma de destino.

Medición de la calidad de la traducción

El lenguaje es muy complejo, por lo que la calidad de una traducción suele estar sujeta a interpretación. Se podría suponer que los problemas de calidad ocurren cuando un traductor o una máquina comete un error. Sin embargo, es mucho más común que lo que se considera un problema de calidad de la traducción sea una evaluación subjetiva.

El marco de Métricas de Calidad Multidimensional (MQM) , un proyecto liderado por la Comisión Europea, proporciona un enfoque "funcionalista" que categoriza las cuestiones de calidad:

• Exactitud
• Estilo
• Fluidez
• Convenciones locales
• Terminología, etc.
   

Es por eso que las organizaciones a menudo proporcionan a los traductores guías de estilo, glosarios e idealmente incluso crean una memoria de traducción, para obtener coherencia en sus trabajos de traducción que se ajuste a sus necesidades.

Medir la calidad de una traducción es una cuestión de evaluar cuán útil es la traducción y cuán bien se ajusta a su propósito. 

Calidad de traducción automática para subtítulos en vivo

La traducción automática existe desde hace más de 60 años, y hoy en día las máquinas y los humanos coexisten. Sin embargo, en las últimas dos décadas, los proveedores de servicios lingüísticos (PSL), las agencias de traducción y los autónomos han adoptado la traducción automática para mejorar la productividad y reducir costes, gracias a la rápida evolución de la calidad de la traducción automática.

No todos los motores de traducción automática son iguales

Hoy en día, existe una gran variedad de motores de traducción de texto a texto, como Google Translate, DeepL Translate o Microsoft Translator, así como varios tipos de traducción automática: basada en reglas, estadística, adaptativa y neuronal. La mayoría de los servicios han comenzado a adoptar esta última, ya que la traducción automática neuronal ha demostrado ser eficaz para producir resultados excepcionalmente satisfactorios y acortar rápidamente la distancia entre humanos y máquinas para ciertos tipos de textos.

Distintos motores de traducción y tipos de traducción automática producen resultados distintos. Un motor puede incluso realizar un trabajo excepcional con una combinación de idiomas, pero producir resultados inútiles con otras.

Requisito de posedición frente a tiempo real

Dado que la mayoría de las traducciones escritas no tienen que finalizarse al instante, el resultado de la traducción automática para sitios web o documentos es revisado y posteditado por traductores profesionales antes de su publicación. Por lo tanto, contar con el mejor motor de traducción supone un gran ahorro de tiempo, aunque no es esencial.

Sin embargo, los subtítulos multilingües en vivo deben entregarse en tiempo real, sin posibilidad de intervención humana antes de que el usuario los lea.

Por lo tanto, es crucial utilizar los motores y combinaciones de motores más eficaces, y que la calidad de entrada de audio sea óptima. Si, por ejemplo, un hablante tiene un acento marcado y usa un micrófono deficiente, incluso las mejores soluciones podrían producir subtítulos multilingües de baja calidad.

El enfoque de Interprefy: evaluación comparativa de soluciones y optimización del audio de entrada

En lugar de utilizar un único motor de traducción automática, el equipo de entrega de IA de Interprefy evalúa continuamente las principales soluciones de traducción, así como combinaciones de soluciones de reconocimiento de voz y traducción automática para combinaciones de idiomas específicas.

Colaboramos con instituciones de investigación líderes a nivel mundial para desarrollar y mejorar continuamente un proceso de evaluación comparativa automático y propio para subtítulos multilingües en directo. Alexander Davydov, director de entrega de IA en Interprefy.

"Utilizamos grandes conjuntos de datos de audio diversos y tomamos el resultado de varios sistemas de traducción y combinaciones de sistemas y lo comparamos con traducciones producidas por traductores profesionales, las validamos y las clasificamos por precisión", explica Alexander. 

El gráfico a continuación ilustra los resultados de la evaluación comparativa para cuatro idiomas traducidos del mismo idioma de origen. Como puede observar, ninguna solución ofrece una calidad uniforme para los cuatro pares de idiomas.

Pero incluso si tiene la solución más sofisticada, la calidad aún puede verse afectada si la calidad de entrada es baja.

La calidad del sonido es un factor clave que afecta no solo la calidad del resultado de la IA, sino también la salud y la capacidad de los intérpretes para actuar, así como la comprensión y la participación del público. Por eso, en Interprefy nos esforzamos continuamente por mejorar la calidad del audio, proporcionando a los organizadores de eventos y ponentes pautas útiles , facilitando herramientas para que los ponentes prueben su calidad de sonido e incluso desarrollando una herramienta de mejora de audio: Interprefy Clarifier.

Además, nuestro personal experto trabaja con nuestros clientes para optimizar el sistema y conseguir que los nombres de marca, acrónimos y más sean correctos.

¿Quieres realizar tu propia evaluación de calidad?

Envíenos un mensaje para solicitar una demostración.

Ingrese su dirección de correo electrónico comercial. Este formulario no acepta direcciones de este tipo.