A medida que los agentes de IA se desplazan entre sistemas y plataformas, impulsando los flujos de trabajo empresariales, también exponen vulnerabilidades. Por ello es importante abordar los riesgos de la seguridad de la Inteligencia Artificial Agéntica.
¿Y si tu nuevo empleado digital productivo fuera también tu mayor vulnerabilidad? Los agentes de IA, impulsados por grandes modelos de lenguaje (LLM), ya no son conceptos futuristas.
Las herramientas de este tipo de agente trabajan junto con los humanos, automatizando flujos de trabajo, tomando decisiones y ayudando a los equipos a lograr resultados estratégicos en todas las empresas.
Sin embargo, los agentes de IA también presentan nuevos riesgos que, si no se gestionan, podrían comprometer la resiliencia, la integridad de los datos y el cumplimiento normativo de su empresa.
A diferencia de las aplicaciones de IA más antiguas que operan dentro de límites estrechamente definidos, como los chatbots, los asistentes de búsqueda o los motores de recomendación, los agentes de IA están diseñados para la autonomía.
Entre las empresas que obtienen valor a nivel empresarial gracias a la IA, aquellas con un sólido rendimiento financiero y eficiencia operativa tienen 4.5 veces más probabilidades de haber invertido en arquitecturas de agencia, según las encuestas trimestrales Pulse of Change de Accenture, realizadas entre octubre y diciembre de 2024.
Esta investigación incluyó a 3 mil 450 directivos y 3 mil empleados no directivos de organizaciones con ingresos superiores a 500 millones de dólares, en 22 sectores y 20 países.
¡Ahí vienen los agentes de IA! ¡Prepárate!
Las empresas avanzan en sus procesos, pero aún no están preparadas
Las empresas ya no experimentan con agentes de IA; están escalando el trabajo. Pero una mayor autonomía conlleva una mayor necesidad de confianza, y la confianza no se da por sentada.
Los agentes de IA operan en entornos tecnológicos dinámicos e interconectados.
Interactúan con interfaces de programación de aplicaciones (API), acceden a los sistemas de datos centrales de una empresa y se integran en infraestructuras en la nube y heredadas, así como en plataformas de terceros.
La capacidad de un agente de IA para actuar de forma independiente solo es un activo si las empresas confían en que sus acciones serán seguras, conformes a las normas y alineadas con la intención de negocio.
Sin embargo, la mayoría de las empresas no están preparadas para los riesgos de seguridad de la IA.
Solo el 42 por ciento de los ejecutivos encuestados afirmó estar equilibrando el desarrollo de la IA con las inversiones adecuadas en seguridad.
Solo el 37 por ciento cuenta con procesos para evaluar la seguridad de las herramientas de IA antes de su implementación.
Seguridad de IA con agentes: Un marco de tres fases
¿Cómo pueden los líderes superar esta brecha de preparación? Existen tres buenas prácticas para garantizar la seguridad de tus agentes de IA.
Fase 1: Modelado de amenazas para identificar brechas de seguridad
La Inteligencia Artificial Agéntica (IAA) tiene el poder de transformar las operaciones empresariales precisamente porque opera en todos los sistemas, no solo dentro de ellos.
A diferencia de los antiguos asistentes de IA, que se limitaban a una sola aplicación, los actuales trabajan entre múltiples sistemas y plataformas, a menudo utilizando API para ayudar a ejecutar flujos de trabajo empresariales completos.
Sin embargo, esta misma interoperabilidad causa problemas a muchas organizaciones a medida que crece la red de cibervulnerabilidades.
Para identificar las brechas de seguridad se debe realizar un modelado exhaustivo de amenazas y un mapeo de la integración a nivel empresarial.
Mediante estos procesos se puede catalogar cada interacción entre los componentes LLM, los operadores humanos y otros sistemas.
Utilizando el marco de las 10 principales vulnerabilidades para aplicaciones LLM del Open Web Application Security Project, la empresa identificó dos vulnerabilidades críticas: el envenenamiento de datos y la inyección de avisos.
El envenenamiento de datos consiste en la manipulación deliberada de los datos de entrenamiento para degradar la integridad, la fiabilidad y el rendimiento del sistema, y es una de las amenazas más insidiosas para los sistemas de IA con agentes.
En una encuesta reciente sobre ciberseguridad de Accenture, el 57 por ciento de las organizaciones expresó su preocupación por el envenenamiento de datos en las implementaciones de IA generativa.
Estos ataques introducen imprecisiones en los datos de entrenamiento o incorporan puertas traseras ocultas que se activan en determinadas condiciones.
Por ejemplo, en marzo de 2024, una vulnerabilidad en el marco de trabajo de Ray AI provocó la vulneración de miles de servidores, donde los atacantes inyectaron datos maliciosos para corromper los modelos de IA.
Cómo poner a trabajar a la Inteligencia Artificial a favor de tu empresa
Fase 2: Pruebas de estrés para neutralizar las amenazas a la seguridad
Para afrontar los riesgos de envenenamiento de datos e inyección rápida se pueden integrar pruebas adversarias en cada fase de su ciclo de vida de desarrollo de IA.
Además se deben diseñar ejercicios de red-teaming (ataques controlados) para exponer vulnerabilidades reales antes de que los actores maliciosos pudieran hacerlo.
Este ejercicio no solo alerta, también sirve como modelo para implementar mejoras de seguridad.
Tras identificar los puntos débiles del sistema, los ingenieros de las compañías deben reforzar la validación de entradas, los límites de la API y la lógica de gestión de solicitudes en toda la pila de IA de la compañía.
Estas defensas técnicas por sí solas no son suficientes. Las empresas también deben institucionalizar protocolos de fallo específicos para IA.
Estos simulacros prepararan a los equipos para responder con rapidez, contener el impacto y mantener la continuidad operativa en caso de producirse un fallo de IA.
Fase 3: Aplicación de medidas de seguridad en tiempo real
En la última fase, la empresa debe establecer estrictas protecciones en tiempo de ejecución, como la mejora de las barreras de seguridad del sistema para evitar intentos de inyección de texto en las imágenes procesadas con OCR.
Las entradas de dichas imágenes se validan y controlan estrictamente, lo que reduce significativamente la posibilidad de manipulación no autorizada o uso indebido del sistema de IA.
La empresa debe realizar comprobaciones de integridad de todos los datos utilizados para entrenar los modelos de IA subyacentes, para garantizar que no hubieran sido interceptados ni manipulados mediante envenenamiento de datos.
El mapeo por sí solo no elimina el riesgo, pero expone y restringe el comportamiento del sistema, lo que hace más difícil que el uso no autorizado de IA o las filtraciones de datos pasen desapercibidos.
Estos esfuerzos resultarán en una reducción significativa de la vulnerabilidad cibernética en su ecosistema de IA.
Con esto, las empresas pueden operar con mayor confianza al escalar agentes de IA en más flujos de trabajo, ya que estarán familiarizadas con las vulnerabilidades y las estrategias de mitigación de riesgos.
Para los directores ejecutivos y sus equipos, el mensaje es claro: para escalar la IA con agencia con confianza, los líderes deben pensar más allá del cumplimiento normativo.
Deben mapear las vulnerabilidades en todo el ecosistema tecnológico de su organización, simular ataques reales e integrar medidas de seguridad que protejan los datos y detecten el uso indebido en tiempo real.
Estas medidas no son solo defensivas, sino que promueven la innovación resiliente y escalable en IA.
ACERCA DE LOS AUTORES
Paolo Dal Cin es el director global de Accenture Security. Daniel Kendzior es el director global de datos e Inteligencia Artificial de Accenture Security. Yusof Seedat es el director global de investigación en liderazgo intelectual de Accenture Security. Renato Marinho es director principal de innovación en seguridad de Accenture Security. Los autores agradecen las contribuciones de Gargi Chakrabarty, Periklis Papadopoulos, Fernanda Crema, Vanessa Fonseca, Emily Thornton, Shachi Jain y Manav Saxena de Accenture.
Te recomendamos
Síguenos en Google News
Paolo Dal Cin, Daniel Kendzior, Yusof Seedat y Renato Marinho
Paolo Dal Cin es el director global de Accenture Security. Daniel Kendzior es el director global de datos e Inteligencia Artificial de Accenture Security. Yusof Seedat es el director global de investigación en liderazgo intelectual de Accenture Security. Renato Marinho es director principal de innovación en seguridad de Accenture Security. Los autores agradecen las contribuciones de Gargi Chakrabarty, Periklis Papadopoulos, Fernanda Crema, Vanessa Fonseca, Emily Thornton, Shachi Jain y Manav Saxena de Accenture.y recibe contenido exclusivo
