La Unión Europea propuso por primera vez introducir un marco regulatorio para la IA allá por 2021; sin embargo, las ruedas de la política inevitablemente giran lentamente y todavía está trabajando en una legislación para reforzar las regulaciones sobre el desarrollo y el uso de la inteligencia artificial.
La propuesta Ley de inteligencia artificial ha provocado un gran debate en la industria y a muchos les preocupa que pueda dañar la competitividad empresarial.
Hablamos con Steve Wilson, director de producto de Seguridad de contraste y líder de proyecto para el OWASP Top 10 para aplicaciones de IA de modelos de lenguaje grande (LLM)para obtener más información sobre la ley propuesta y lo que significa para las empresas.
BN: La Ley de IA de la UE, que se ratificará el próximo año, es una legislación innovadora en el ámbito de la IA. ¿Cómo prevé que esta ley afectará al panorama global de la IA una vez que entre en vigor?
SW: La Ley de IA de la UE representa un gran paso hacia una regulación integral y estandarizada en el mundo de la IA, proporcionando un marco que intenta equilibrar la innovación con la protección del usuario. Una vez que se implemente, anticipo un efecto dominó en todo el panorama global de la IA. Por un lado, es probable que inspire esfuerzos legislativos similares en otros países, tal como lo hizo el GDPR. Más importante aún, las empresas internacionales que se ocupan de la IA tendrán que alinearse con las disposiciones de la Ley de IA para hacer negocios dentro de la UE, creando un estándar global de facto. La Ley de IA también puede impulsar una mayor transparencia y responsabilidad en la IA, a medida que las empresas se esfuerzan por cumplir con sus estrictos estándares.
BN: La Ley de IA de la UE tiene como objetivo regular a las personas y los procesos involucrados en el desarrollo de la IA, más que a los modelos de IA en sí. ¿Cuáles son los posibles desafíos y beneficios que anticipa con este enfoque, particularmente para las empresas y los desarrolladores de IA?
SW: Centrarse en las personas y los procesos involucrados en el desarrollo de la IA hace que la Ley de IA sea adaptable y escalable, dada la rápida evolución de los modelos de IA. Pero este enfoque conlleva desafíos. Requiere un cambio en las prácticas de los desarrolladores y las empresas, exigiendo una mayor documentación, revisión y seguimiento. También puede requerir una inversión significativa en educación y capacitación para garantizar que los profesionales comprendan y cumplan la Ley de IA.
Sin embargo, los beneficios superan los desafíos. La Ley de IA puede inspirar la creación de marcos sólidos para el desarrollo de la IA, fomentando una cultura de transparencia y rendición de cuentas. Nuestro trabajo en el OWASP Top 10 para modelos de lenguajes grandes es uno de esos marcos, en este caso dirigido a prácticas de desarrollo para proteger esta nueva generación de aplicaciones de IA. También puede impulsar un cambio hacia prácticas de IA más éticas, que pueden reforzar la confianza del público en los sistemas de IA, un factor crítico para su aceptación y adopción más amplia.
BN: ¿Cómo están preparando sus soluciones y sus clientes para las posibles implicaciones de la Ley de IA de la UE? ¿Qué aspectos específicos de la Ley considera que tienen mayor impacto para las empresas en el ámbito de la seguridad del software?
SW: En Contrast Security, somos muy conscientes de que nuestro papel va más allá de ser un proveedor de seguridad de software. A medida que evoluciona el panorama de la IA, reconocemos que debemos liderar el camino para garantizar y demostrar el cumplimiento de los requisitos reglamentarios, como los propuestos en la Ley de IA de la UE. Con este fin, participamos activamente en esfuerzos de estándares, como el OWASP Top 10 para modelos de lenguajes grandes, que proporciona un marco crucial para evaluar la seguridad de los sistemas de IA. Esta iniciativa no solo nos ayuda a mejorar nuestras propias soluciones, sino que también nos prepara para guiar mejor a nuestros clientes a través de este entorno regulatorio cada vez más complejo. También estamos planeando presentar nuestras primeras funciones nuevas destinadas al uso seguro de IA de modelos de lenguaje grande en un futuro próximo.
La Ley de IA de la UE introduce varios elementos que tendrán un impacto para las empresas en el ámbito de la seguridad del software. Éstas incluyen:
- Obligaciones de transparencia: La Ley de IA exige que los operadores de sistemas de IA proporcionen información clara y adecuada a los usuarios sobre la funcionalidad del sistema de IA, incluidas sus capacidades y limitaciones. Esto podría requerir que las empresas realicen cambios significativos en sus interfaces, acuerdos de usuario y métodos de comunicación.
- Sistemas de IA de alto riesgo: La Ley de IA establece regulaciones más estrictas para los sistemas de IA considerados de “alto riesgo”. Muchas aplicaciones de seguridad de software podrían incluirse en esta designación, lo que requiere una evaluación rigurosa y un seguimiento continuo.
- Mantenimiento de registros, documentación e informes: para demostrar el cumplimiento, las empresas deberán mantener registros detallados y producir documentación exhaustiva relacionada con el diseño y el propósito de sus sistemas de IA. Esto requerirá estrategias integrales de gestión de datos y posiblemente personal o recursos adicionales.
- Sistemas de gestión de calidad: las empresas deberán establecer un sistema de gestión de calidad y designar una persona responsable del cumplimiento. Esto podría influir en la contratación y la formación dentro de la organización.
Teniendo en cuenta estos aspectos de la Ley de IA de la UE, está claro que las empresas en el espacio de seguridad del software necesitarán adaptar de manera proactiva sus estrategias, recursos y soluciones para navegar de manera efectiva en este nuevo panorama regulatorio.
BN: Como líder del proyecto OWASP Top 10 para modelos de lenguajes grandes, ¿cómo influye esta legislación propuesta en su enfoque para identificar y abordar vulnerabilidades en aplicaciones LLM?
SW: Nuestra iniciativa ya estaba en marcha antes del proyecto de reglamento de la UE, pero nuestra misión se alinea perfectamente con la intención de la Ley de IA: formar una referencia técnica y fundamental para estos esfuerzos regulatorios más amplios.
De hecho, la Ley de IA subraya la necesidad de nuestro trabajo, que está dirigido principalmente a desarrolladores y expertos en seguridad involucrados en la creación de aplicaciones que aprovechan las tecnologías LLM. Proporcionamos a estos grupos orientación de seguridad práctica, clara y concisa para garantizar que la IA se utilice de forma responsable y segura. Esto abarca no sólo a los desarrolladores tradicionales sino también a la creciente población de desarrolladores ciudadanos: aquellos que pueden ser más nuevos en el campo pero que manejan datos y servicios críticos.
El énfasis de la Ley de IA en la responsabilidad de los desarrolladores y operadores de IA coincide con nuestro enfoque. Aporta un contexto valioso a nuestra misión, guiándonos a identificar y abordar vulnerabilidades en las aplicaciones LLM. Nuestro objetivo es aumentar estos esfuerzos legislativos proporcionando una orientación técnica más granular basada en nuestro examen continuo del ecosistema LLM y las amenazas reales que vemos en términos de seguridad y privacidad de los datos.
BN: ¿Cómo cree que la Ley de IA de la UE podría influir en otras naciones a la hora de proponer una legislación similar? ¿Qué lecciones pueden sacar otros países de esta iniciativa europea?
SW: La Ley de IA de la UE, en su búsqueda de crear un marco legal unificado para la IA, sirve como un modelo importante para otras naciones que buscan regular la IA. Su énfasis en la transparencia, la rendición de cuentas y un enfoque regulatorio basado en el riesgo podría inspirar principios similares en futuras legislaciones en todo el mundo.
Por ejemplo, la Oficina de Política Científica y Tecnológica de Estados Unidos está desarrollando una Estrategia Nacional de Inteligencia Artificial. La minuciosidad de la Ley de IA de la UE, particularmente en su categorización de los sistemas de IA en función de los niveles de riesgo, podría proporcionar un punto de referencia sólido para los formuladores de políticas estadounidenses. El énfasis de la Ley de IA en los derechos fundamentales y la transparencia podría alentar a Estados Unidos a adoptar perspectivas similares a medida que continúan dando forma a su estrategia nacional de IA.
Además, la Ley de IA de la ciudad de Nueva York, que se centra en las auditorías de sesgo para las herramientas automatizadas de decisión de empleo (AEDT, por sus siglas en inglés), indica un creciente interés en la rendición de cuentas de la IA. La Ley de IA de la UE, con su enfoque en los sistemas de IA de alto riesgo y los requisitos para las evaluaciones de impacto, podría ofrecer lecciones valiosas para mejorar estos esfuerzos y extender requisitos similares a otros sectores más allá del reclutamiento.
El énfasis de la Ley de IA no sólo en la tecnología en sí, sino también en los procesos y las personas involucradas en el desarrollo de la IA, subraya la importancia de una visión holística. Esta perspectiva podría guiar a otras naciones a garantizar que sus regulaciones de IA cubran no solo el resultado sino también la integridad del proceso de desarrollo de la IA, fomentando así una cultura de desarrollo responsable de la IA.
Otra conclusión importante es la postura proactiva de la UE al interactuar con la comunidad de IA en general, invitar a comentarios públicos y esforzarse por lograr la armonización regulatoria en todos sus estados miembros. Este enfoque inclusivo y colaborativo podría servir como modelo para otras naciones que busquen promulgar sus regulaciones sobre IA.
En conclusión, la Ley de IA de la UE, con su enfoque integral y equilibrado de la regulación de la IA, sienta un precedente importante. Otras naciones pueden extraer valiosas lecciones de esta iniciativa europea, utilizándola como punto de referencia en sus propios esfuerzos legislativos, fomentando así una convergencia global hacia prácticas de IA responsables y seguras.
Credito de imagen: paparazzza / Shutterstock
