Todo sobre Apple, Android, Juegos Apks y Sitios de Peliculas

El problema del fallo del modelo de IA y cómo evitarlo [Q&A]

Es tentador observar el revuelo que rodea a la IA y verla como una solución a todos los problemas. Pero la IA no es perfecta: ha habido algunos fallos notables, a menudo debido a modelos mal definidos.

¿Cuáles son las consecuencias de equivocarse y cómo pueden las empresas garantizar que sus proyectos de IA sigan el rumbo? Hablamos con Alessya Visnjic, directora ejecutiva del especialista en observabilidad de IA Por quéLabs descubrir.

BN: ¿Cuáles son los principales desafíos que enfrentan los desarrolladores al desarrollar modelos y aplicaciones de IA?

AV: Durante muchos años, el principal desafío había sido implementar modelos de IA en producción. La comunidad de desarrolladores de IA tuvo problemas con la reproducibilidad de los experimentos de IA en entornos de producción y con los modelos de escala originalmente integrados. Jupyter portátiles para ejecutarse en entornos de alto rendimiento. Sin embargo, el año pasado observamos un cambio de fase importante en las necesidades de los desarrolladores de IA. Gracias a la infraestructura de implementación de IA construida en AWS, Databricks, GCP, Azure y muchos proveedores emergentes, la mayoría de los desarrolladores de IA pudieron implementar modelos con éxito en producción.

Pero hoy en día, el mantenimiento posterior a la implementación es un desafío mayor que la implementación del modelo en sí. Y las organizaciones están muy centradas en crear cultura, procesos y cadenas de herramientas para operar los modelos que pudieron implementar en producción.

Este es el por qué. El proceso de desarrollo de la IA es sorprendentemente similar a los enfoques conocidos de desarrollo de software. El problema con esto es que tratamos el software como código y no tomamos en cuenta cómo los datos (que son la base de un modelo de ML) afectan el comportamiento del software impulsado por ML. Los datos son complejos, muy dimensionales y su comportamiento es impredecible. Y las métricas que utilizamos para medir el rendimiento del software no miden adecuadamente el rendimiento de los modelos de ML a menos que tengan en cuenta la calidad de los datos.

El gran problema con los modelos de IA no es que el software tenga errores, sino que los resultados que entregan serán incorrectos si los datos que obtienen son drásticamente diferentes de los datos de entrenamiento o no son saludables. Los modelos de IA se desvían y se vuelven inexactos cuando los datos que ingresan se comportan de manera diferente o no son sólidos. En otras palabras, los modelos fallan cuando no están «listos» para los datos que reciben, y los desarrolladores necesitan las herramientas adecuadas para detectar, observar y comprender por qué sucede esto.

BN: ¿Cuáles son los peligros del fracaso del modelo en IA? ¿Qué está en juego aquí?

AV: Como mencioné, la mayoría de las fallas de los modelos generalmente se originan en los datos que consumen los modelos, no solo por defectos de software. En los negocios, las fallas de la IA pueden costar millones a las empresas; En la atención sanitaria y las ciencias, una mala IA puede suponer un grave riesgo para el consumidor.

Lo que está en juego depende de la aplicación. Podríamos empezar con la vida humana. Un ejemplo clásico fue Watson de IBM para oncología, que se suponía que daría a los médicos las mejores recomendaciones sobre el tratamiento del cáncer. Resultó que este sistema de 62 millones de dólares estaba entrenado en pacientes sintéticos, no en datos de pacientes reales, y daba malas recomendaciones de tratamiento, potencialmente fatales. Con herramientas adecuadas de seguimiento y observabilidad, estos problemas con los modelos se descubrirán muy pronto y garantizarán que los modelos poco fiables no lleguen a producción.

En los negocios, las consecuencias de una mala ejecución de la IA generalmente incluyen pérdidas de ingresos e insatisfacción del cliente; por ejemplo, cuando los chatbots dan respuestas inútiles y frustran a los compradores hasta el punto de que se van sin realizar una compra.

La IA se está abriendo camino en sistemas que gestionan sistemas energéticos y redes eléctricas que son muy complejos e implican el uso de grandes volúmenes de datos. El Reino Unido ha experimentado con Google DeepMind para gestionar partes de su red eléctrica, por ejemplo, y una falla de la IA en la infraestructura energética podría resultar en un desastre muy costoso que perjudicaría a miles de personas.

BN: MLOps parece estar creciendo como tendencia. ¿Qué significa eso exactamente y cómo está ayudando a avanzar en la IA?

AV: Yo describiría MLOps como un conjunto confiable de técnicas, prácticas, herramientas y cultura que, trabajando juntas, ayudan a que los modelos de IA sigan funcionando como deberían. MLOps ayuda a resolver un problema del mundo real: los datos del modelo de IA cambian constantemente. MLOps incluiría cualquier proceso que configure para incorporar los nuevos datos necesarios para actualizar el modelo de IA.

¿Por qué cambian los datos? Porque la vida cambia, de verdad. Para usar otro ejemplo de reconocimiento de voz, cuando llegó COVID, la tecnología de realidad virtual de repente se volvió menos efectiva para comprender a las personas en entornos públicos. ¿Por qué? La gente a menudo hablaba a través de máscaras y los modelos no estaban capacitados para comprender el habla a través de máscaras. Los datos se habían desviado a lo grande y desafiaron a los sistemas de reconocimiento de voz basados ​​en IA/ML a adaptarse.

Un marco MLOps sólido incluye tomar medidas para tener una observabilidad continua para evitar fallas en el modelo. La observabilidad del modelo es fundamental para mantener las aplicaciones de IA al máximo rendimiento.

BN: ¿Cuáles son algunas de las mejores prácticas que los profesionales del aprendizaje automático pueden implementar para garantizar la solidez del modelo y la responsabilidad general de la IA?

AV: Un punto de partida es garantizar que la salud de los datos sea un aspecto importante y fundamental del plan original para cualquier nueva aplicación de IA.

Este es un cambio de paradigma para la mayoría de los desarrolladores de software y es muy importante comenzar a establecer MLOps para la organización que mantendrá el modelo. En otras palabras, el proceso de desarrollo debe incluir formas de abordar los cambios en el flujo de datos y el cambio en el comportamiento del cliente.

Ya hablamos de la observabilidad, que debería incluirse en cada pila de ML de producción.

Finalmente, como práctica recomendada, los profesionales pueden prepararse para el cuidado y desarrollo continuo de su aplicación de IA. Durante mucho tiempo hemos percibido el desarrollo de software como algo que se hace una sola vez; usted lo crea, lo prueba y lo entrega. Aparte de las correcciones de errores ocasionales y las actualizaciones de funciones, eso está «hecho». Pero los modelos de IA son dinámicos. Si se utilizan en el mundo real, deben ajustarse continuamente a datos nuevos y en evolución. En realidad, son algo así como máquinas físicas, como los vehículos, que se desgastan continuamente y se vuelven menos eficientes; necesitan reparación, por así decirlo. Si su automóvil se desalinea, se inclina hacia un lado, las aplicaciones ML también hacen lo mismo.

Sin embargo, es alentador que el conjunto de herramientas necesario para ayudar a los desarrolladores de software de IA a crear aplicaciones e infraestructura de datos que mantengan la precisión esté llegando al mercado y que las barreras de entrada estén cayendo.