Угрозы целостности организационных решений, опосредованные ИИ: модель безопасности для нормативной и оценочной зависимости от внешних систем ИИ

Существующие рамочные подходы к безопасности ИИ преимущественно рассматривают риски, возникающие из-за вредоносных входных данных, скомпрометированных моделей, некорректных выходных данных, избыточной автономности, раскрытия данных или недостаточной человеческой верификации. Чрезмерная зависимость человека от ИИ также все чаще признается риском при принятии решений с поддержкой ИИ.

В данной статье рассматривается иное условие безопасности.

Внешняя система ИИ может работать ровно так, как задумано. Ее рекомендации могут быть фактически корректными. Сотрудник, взаимодействующий с ней, может быть полностью авторизованным, компетентным и лояльным организации. Тем не менее устойчивое взаимодействие с системой ИИ может влиять на предпосылки, приоритеты, нормативные критерии или представление проблемы, через которые сотрудник принимает организационные решения.

Мы определяем этот класс как угрозу целостности организационных решений, опосредованную ИИ: состояние, при котором внешняя система ИИ влияет на оценочную рамку авторизованного организационного актора, создавая возможность легитимных решений, несовместимых с интересами, ограничениями или целевой функцией организации.

В отличие от традиционных атак, эта угроза не требует злоумышленника, компрометации, галлюцинаций, несанкционированного доступа или злонамеренного умысла. В отличие от обычного смещения автоматизации, соответствующий сбой не ограничивается принятием некорректной рекомендации ИИ. Вместо этого система ИИ может влиять на критерии, по которым оцениваются рекомендации и альтернативы.

Мы разрабатываем модель угроз, определяем активы и границы доверия, различаем предлагаемый класс с существующими категориями безопасности ИИ, описываем репрезентативные сценарии угроз и предлагаем меры контроля, сосредоточенные на сохранении суверенитета организационных решений и человеческой эпистемической независимости.

Ключевые слова: безопасность ИИ; целостность решений; большие языковые модели; взаимодействие человек–ИИ; организационная безопасность; смещение автоматизации; чрезмерная зависимость от ИИ; человеческая агентность; когнитивная безопасность; управление ИИ.