EY se refiere a la organización global, y puede referirse a una o más, de las firmas miembro de Ernst & Young Global Limited, cada una de las cuales es una entidad legal separada. Ernst & Young Global Limited, una compañía británica limitada por garantía, no presta servicios a los clientes.
La autonomía tecnológica no elimina la responsabilidad empresarial; la reubica.
La reciente comunicación de la Agencia Española de Protección de Datos (AEPD) sobre la primera notificación en España de una brecha de datos personales presuntamente ejecutada mediante un agente de inteligencia artificial plantea una cuestión de fondo: cómo nos preparamos para un futuro en el que los agentes de IA se multiplican dentro de las organizaciones.
Según la Agencia, el agente buscó vulnerabilidades en archivos genéricos, inició sesión correctamente y, ya dentro del sistema, continuó de forma autónoma hasta modificar datos personales y acceder a facturas. La AEPD aclara que este suceso no permite hablar de tendencia estadística, aunque sí es una señal significativa de que los riesgos de los agentes de IA empiezan a materializarse en incidentes reales.
La diferencia está en lo que un agente puede hacer por sí mismo una vez desplegado. Un chatbot se limita a responder, contesta una pregunta y ahí termina su trabajo. Un agente, en cambio, recibe un objetivo y lo persigue por sí solo hasta cumplirlo. Entra en los sistemas de la empresa, decide qué pasos dar, utiliza las herramientas a su alcance y va ajustando su actuación según lo que encuentra por el camino, sin que nadie le indique cada movimiento. Esa capacidad de actuar sin intervención humana en cada paso es, en el fondo, una nueva capacidad operativa dentro de la organización, y como tal exige nuevos controles, igual que ya existen para quienes autorizan pagos o acceden a información sensible.
Por ello conviene preguntarse qué decisiones puede adoptar un agente sin intervención humana, a qué información puede acceder, cuándo debe escalar una decisión a una persona y si existe trazabilidad suficiente para reconstruir lo ocurrido. Son cuestiones que no se responden desde una sola disciplina, sino combinando Derecho, tecnología, ciberseguridad y gobierno corporativo.
Una enseñanza relevante del caso es que la autonomía tecnológica no elimina la responsabilidad empresarial; la reubica. El agente no decide por sí solo desplegarse, ni se otorga sus propios permisos: es la organización la que decide qué objetivo perseguir, a qué sistemas conectarlo y con qué nivel de acceso, y esas decisiones previas siguen siendo plenamente humanas y atribuibles. La autonomía se traslada a la ejecución, pero la responsabilidad permanece en el diseño y el control del sistema. Es, en definitiva, una manifestación del principio de responsabilidad proactiva que recoge el artículo 5.2 del Reglamento General de Protección de Datos, que exige poder demostrar que el tratamiento de datos personales es seguro, lo que no se satisface únicamente con una política interna.
El incidente notificado a la AEPD no es un caso aislado o menor. Los propios desarrolladores de estos sistemas ya han detectado el riesgo y han reconocido públicamente que sus modelos han protagonizado accesos no autorizados a empresas privadas y administraciones públicas. De hecho, las principales empresas de IA han firmado recientemente ante la Casa Blanca un compromiso de autorregulación que incluye controles internos, auditorías externas y un comité independiente de supervisión. Si quienes construyen la tecnología y mejor la conocen ya consideran insuficientes sus propios controles, quienes la despliegan dentro de sus organizaciones también tienen la responsabilidad de gobernarla.
En la práctica, esa gobernanza pasa por inventariar los agentes por nivel de autonomía e impacto; aplicar el mínimo privilegio a sus credenciales (un acceso con permisos excesivos es el vector que la AEPD señala como determinante); exigir intervención humana previa ante accesos sensibles; actualizar los análisis de riesgo ante la intervención de agentes en cada vez más procesos; y mantener trazabilidad de sus decisiones y la responsabilidad contractual de los proveedores. Sin embargo, aplicar estas medidas caso por caso deja de ser viable a medida que el número de agentes crece, y ahí está precisamente el reto de los próximos años: la escala.
En poco tiempo, muchas organizaciones pasarán de gestionar un número reducido de casos de uso de IA a tener decenas o cientos de agentes operando de forma simultánea, cada uno con su propio nivel de acceso y autonomía. Clasificar esos casos de uso por su nivel de autonomía y por el impacto potencial de sus acciones permite concentrar la supervisión humana donde realmente aporta valor, y automatizar controles estándar allí donde el riesgo es menor.
El primer incidente de este tipo notificado en España marca el inicio de una conversación más profunda sobre cómo gobernar una tecnología que ha dejado de responder preguntas y ha empezado a actuar en procesos empresariales. La gobernanza no viene después de la innovación, es lo que permite sostenerla cuando los agentes empiezan a decidir y actuar por su cuenta, sin exponer los derechos de las personas ni la reputación de la organización. Las empresas que inviertan ahora en gobernarlos no solo reducirán su exposición al riesgo, ganarán la confianza de clientes, socios y reguladores, la verdadera ventaja competitiva entre quienes gobiernan sus agentes de IA y quienes simplemente los despliegan.
Resumen
La irrupción de agentes de inteligencia artificial capaces de actuar de forma autónoma plantea nuevos riesgos para las empresas en materia de protección de datos y ciberseguridad. Su creciente autonomía exige reforzar la gobernanza, limitar accesos, mantener la supervisión humana y garantizar la trazabilidad, ya que la responsabilidad última sigue recayendo en las organizaciones que los despliegan.
