Un cambio fundamental en el comportamiento de consumo de medios combinado con saltos cuánticos en la tecnología de IA ha convertido los subtítulos traducidos por IA en una opción popular y poderosa para eventos en vivo de todas las formas y tamaños. Interprefy los introdujo en 2022, y también están disponibles en Microsoft Teams e incluso en Zoom: subtítulos multilingües generados automáticamente para reuniones en vivo. Esta tecnología lo posible para que los usuarios comprendan, incluso si no conocen el idioma en el que se pronuncia el discurso.
¿Pero qué tan precisas son? No hay una respuesta simple. Los resultados dependen en gran medida del enfoque elegido y de los motores utilizados, de la combinación específica de idiomas, así como de las propiedades del audio (acento del hablante, calidad del audio, etc.). Y la simple verdad es que no existe un método definitivo para medir la precisión de la traducción.
Las personas en la industria de la traducción describen la calidad de diversas maneras. Al intentar elaborar una medida objetiva, un grupo de investigadores admitió que ni siquiera pudieron ponerse de acuerdo entre ellos sobre cómo debería definirse "translation quality".
Echemos un vistazo más de cerca a por qué la calidad de la traducción es tan difícil de medir y cómo podemos acercarnos más a medir la calidad de los subtítulos traducidos por máquina.
Los subtítulos "Auto-translated", "machine translated", y "AI-translated" o "multilingual subtitles" son subtítulos cerrados que proporcionan a los usuarios subtítulos en tiempo real junto al discurso en un idioma diferente. Se crean a partir del audio fuente utilizando ya sea una combinación de reconocimiento automático de voz y tecnologías de traducción automática que producen un texto traducido de la transcripción, o una solución basada en IA que convierte directamente el audio en el idioma fuente en texto (o incluso discurso hablado) en el idioma de destino.
El lenguaje es altamente complejo y, por lo tanto, la calidad de una traducción a menudo está sujeta a interpretación. Uno podría suponer que los problemas de calidad ocurren cuando un traductor o una máquina comete un error. Sin embargo, es mucho más común que lo que se percibe como problemas de calidad de la traducción sea una valoración subjetiva.
El marco de Métricas de Calidad Multidimensional (MQM), un proyecto dirigido por la Comisión Europea, ofrece un enfoque "funcionalista" que categoriza los problemas de calidad:
That's why organizaciones a menudo proporcionan a los traductores guías de estilo, glosarios y, idealmente, incluso crean una memoria de traducción, para lograr consistencia en sus trabajos de traducción que se ajusten a sus necesidades.
Medir la calidad de la traducción es una cuestión de evaluar cuán útil es la traducción y qué tan bien se ajusta a su propósito.
La traducción automática lleva más de 60 años existiendo, y hoy las máquinas y los humanos coexisten. Pero en las dos últimas décadas, los proveedores de servicios lingüísticos (LSP), agencias de traducción y freelancers han adoptado la traducción automática para mejorar la productividad y reducir costos, gracias a la rápida evolución de la calidad de la traducción automática.
Hoy hay una multitud de motores de traducción de texto a texto disponibles, como Google Translate, DeepL Translate o Microsoft Translator, así como varios tipos de traducción automática: basada en reglas, estadística, adaptativa y neuronal. La mayoría de los servicios han comenzado a orientarse hacia la última, ya que la traducción automática neuronal ha demostrado ser poderosa para producir resultados excepcionalmente satisfactorios y cerrar rápidamente la brecha entre humanos y máquinas en ciertos tipos de textos.
Diferentes motores de traducción y diferentes tipos de traducción automática producen resultados distintos. Un motor incluso puede hacer un trabajo excepcional para una combinación de idiomas, pero producir resultados inútiles para otras.
Porque la mayoría de las traducciones escritas no' tiene que finalizarse instantáneamente, la salida de traducción automática para sitios web o documentos es revisada y post‑editada por traductores profesionales antes de su publicación. Por lo tanto, contar con el mejor motor es un verdadero ahorrador de tiempo, pero no es esencial.
Los subtítulos multilingües en vivo, sin embargo, deben entregarse en tiempo real, sin la posibilidad de intervención humana antes de que el usuario los lea.
Por lo tanto, es crucial que los motores de mejor rendimiento y las combinaciones de motores se utilicen y que la calidad de entrada de audio sea óptima. Si, por ejemplo, un hablante tiene un acento fuerte y usa un micrófono deficiente, incluso las mejores soluciones podrían producir subtítulos multilingües menos que excelentes.
En lugar de usar un único motor de traducción automática, el equipo de entrega de IA de Interprefy's realiza continuamente comparativas de soluciones de traducción líderes, así como combinaciones de reconocimiento de voz y soluciones de traducción automática para combinaciones de idiomas específicas.
Colaboramos con instituciones de investigación líderes a nivel mundial para desarrollar y mejorar continuamente un proceso propietario y automático de evaluación para subtítulos multilingües en vivo. Alexander Davydov, Director de Entrega de IA en Interprefy
"Utilizamos grandes conjuntos de datos de audio diversos y tomamos la salida de varios sistemas de traducción y combinaciones de sistemas y la comparamos con traducciones producidas por traductores profesionales, las validamos y las clasificamos por precisión", explica Alexander.
El gráfico a continuación ilustra los resultados de referencia para cuatro idiomas traducidos desde el mismo idioma de origen. Como puede ver, ninguna solución única ofrece una calidad constante para los cuatro pares de idiomas.
Pero incluso si tienes la solución más sofisticada, la calidad aún puede verse afectada si la calidad de entrada es baja.
La calidad del sonido es un factor clave que afecta no solo la calidad de la salida de IA, sino también la salud y la capacidad de desempeño de los intérpretes, así como la comprensión y el compromiso de la audiencia. Por eso, en Interprefy nos esforzamos continuamente por mejorar la calidad del audio proporcionando a los organizadores de eventos y a los ponentes directrices útiles, facilitando herramientas para que los ponentes prueben su calidad de sonido, y incluso desarrollando una herramienta de mejora de audio, Interprefy Clarifier.
Además, nuestro personal experto trabaja con nuestros clientes para optimizar el sistema y obtener correctamente los nombres de marcas, acrónimos y más.