Subtítulos, una startup de edición de videos con tecnología de Inteligencia Artificial (IA), lanzó una nueva aplicación capaz de doblar videos automáticamente. Disponible de forma gratuita en la App Store, el lipdub Puede traducir audio de videos en hasta 28 idiomas.
Portugués, inglés, francés, hindi, español, italiano y japonés son algunos de los idiomas disponibles. Además, la aplicación permite a los usuarios traducir vídeos a términos más específicos, como jerga actual e incluso lenguaje infantil.
Lipdub clona la voz para doblaje y cambia el movimiento de los labios de la persona
Como se puede ver en el vídeo, el audio del clip es doblado casi de inmediato, con el mismo tono que la voz original. Y la aplicación incluso realiza ligeros cambios en los labios de la persona del vídeo para que el movimiento de la boca se ajuste mejor al sonido del nuevo idioma.
Los usuarios pueden utilizar la aplicación de forma gratuita para traducir y doblar un vídeo y luego compartirlo en otras plataformas.
Responsable de la creación de la aplicación, la startup Caption fue fundada en 2021 por el jefe de ingeniería de diseño Gaurav Misra. Desde entonces, ha tenido más de 100.000 usuarios diarios. La aplicación original de la empresa, también llamada Captions, ya ha sido utilizada por más de 3 millones de personas para editar vídeos.
La herramienta de edición tiene funciones impulsadas por Inteligencia Artificial (IA), como la capacidad de eliminar “ums” y “ahs” o sonidos de ruido del habla en el video. Otra característica interesante es AI Lipdub, capaz de modificar los labios de las personas en el vídeo si se cambia la transcripción.
Otras plataformas ya están invirtiendo en el uso de IA para doblar audio y vídeos
El uso de IA para traducir y doblar audio y vídeos parece ser una tendencia creciente. A finales de septiembre, Spotify y OpenAI anunciaron una asociación para desarrollar una nueva herramienta de inteligencia artificial capaz de crear versiones de podcasts y otros programas en diferentes idiomas.
Antes de eso, en junio, el YouTube ya había revelado que estaba probando una función de IA para que sus usuarios pudieran doblar automáticamente sus vídeos a otros idiomas. El mes pasado, la empresa afirmó que estaba integrando el doblaje directamente en YouTube Estudio.
En octubre, AI ElevenLabs lanzó su herramienta de generación de voz y doblaje basada en inteligencia artificial con soporte para 29 idiomas. Y ahora Lipdub se une a ellos y ya está disponible en Tienda de aplicaciones.
