Amenazas a la integridad de las decisiones organizacionales mediadas por IA: un modelo de seguridad para la dependencia normativa y evaluativa de sistemas de IA externos

Los marcos existentes de seguridad de la IA abordan principalmente riesgos derivados de entradas maliciosas, modelos comprometidos, salidas incorrectas, autonomía excesiva, exposición de datos o verificación humana insuficiente. La dependencia excesiva de las personas en la IA también se reconoce cada vez más como un riesgo en la toma de decisiones asistida por IA.

Este artículo considera una condición de seguridad diferente.

Un sistema de IA externo puede operar exactamente como fue diseñado. Sus recomendaciones pueden ser factualmente correctas. La persona empleada que interactúa con él puede estar plenamente autorizada, ser competente y leal a la organización. No obstante, la interacción persistente con el sistema de IA puede influir en los supuestos, prioridades, criterios normativos o la representación del problema mediante los cuales la persona empleada toma decisiones organizacionales.

Definimos esta clase como una amenaza a la integridad de las decisiones organizacionales mediadas por IA: una condición en la que un sistema de IA externo influye en el marco evaluativo de un actor organizacional autorizado, creando la posibilidad de decisiones legítimas que son inconsistentes con los intereses, restricciones o la función objetivo de la organización.

A diferencia de los ataques convencionales, esta amenaza no requiere un atacante, compromiso, alucinación, acceso no autorizado ni intención maliciosa. A diferencia del sesgo de automatización ordinario, el fallo relevante no se limita a aceptar una recomendación incorrecta de la IA. En su lugar, el sistema de IA puede influir en los criterios mediante los cuales se evalúan recomendaciones y alternativas.

Desarrollamos un modelo de amenazas, identificamos activos y límites de confianza, distinguimos la clase propuesta de las categorías existentes de seguridad de la IA, describimos escenarios representativos de amenazas y proponemos controles centrados en la preservación de la soberanía organizacional de las decisiones y la independencia epistémica humana.

Palabras clave: seguridad de la IA; integridad de decisiones; modelos de lenguaje de gran tamaño; interacción humano–IA; seguridad organizacional; sesgo de automatización; dependencia excesiva de la IA; agencia humana; seguridad cognitiva; gobernanza de la IA.