Внедрение искусственного интеллекта открывает новые возможности для бизнеса, но также создает серьезные угрозы. От технологических уязвимостей до организационных кризисов — компании сталкиваются с комплексом рисков, требующих системного управления. Понимание этих вызовов позволяет не только избежать финансовых и репутационных потерь, но и построить устойчивую стратегию интеграции ИИ.
Типы рисков, связанных с ИИ
Угрозы искажение данных
Специфика угроз для больших языковых моделей отличается от классических атак на сайты и приложения. Они смещаются с кода и инфраструктуры на:
- саму модель,
- данные обучения;;
- механизмы взаимодействия через естественный язык.
Ключевые векторы атак включают промт-инъекции, джейлбрейк и манипуляцию обучающими данными. Всё это делается для того, чтобы заставить нейросеть выдавать нужную атакующим информацию в ответ на конкретные запросы пользователей.
Вариант такой смоделированной атаки — с помощью «дыр» в логике работы нейросети заставить её выдать неверную информацию при обработке запросов, связанных с конкретной компанией или направлением деятельности. Например, чтобы при обработке запроса (или загруженных файлов), в которых фигурирует определённая компания, нейросеть выдала неверный ответ, который при использовании может навредить этому бизнесу.
Такое расширение периметра атаки требует дополнительных тестов безопасности, потому что традиционные меры защиты инфраструктуры не покрывают всех рисков, связанных с LLM. Необходимо пересматривать подходы к моделированию угроз с учетом жизненного цикла моделей и способов взаимодействия с пользователями.
Проще говоря, всегда нужно ставить под сомнения ответы нейросетей и валидировать их у квалифицированных специалистов, в чьём ведении находится запрашиваемая тема.
Утечка конфиденциальной информации
LLM способны непреднамеренно запоминать и воспроизводить фрагменты обучающих данных. Это критично, если в обучающую выборку попали персональные данные или конфиденциальная информация из внутренних документов. Даже при очистке данных нет гарантии, что чувствительная информация не останется в модели.
Компания Samsung столкнулась с утечкой конфиденциальной информации из-за использования сотрудниками ChatGPT. Один инженер ввел в ChatGPT исходный код, связанный с полупроводниковым оборудованием, а в другом случае разработчик решил упростить проверку кода и отправил его в нейросеть. Как итог — корпоративные данные были отданы наружу и теперь могут использоваться нейросетью для дальнейших ответов.
В ответ на инцидент компания запретила использование сторонних нейросетей в работе. Этот случай показал, что нейросети могут использовать любую информацию в своих целях или передавать ее третьим лицам.
Риски утечки сохраняются на всех этапах жизненного цикла модели: предварительное обучение, дообучение, работа с RAG-базами знаний и обработка пользовательских промтов. Безопасность данных требует анализа источников, оценки рисков извлечения чувствительной информации и эффективной фильтрации.
Ошибки и предвзятость алгоритмов
Галлюцинации ИИ — явление, при котором система выдает вымышленную или нелогичную информацию. В 2024 году финансовые потери из-за таких ошибок составили $67,4 млрд. Почти каждая вторая компания принимала критические решения на основе полностью выдуманной информации. Нейросеть настолько убедительно оперировала вымышленными фактами и данными, что у сотрудников даже не возникло мысли, что ответ может быть неверным и его нельзя использовать для принятия важных решений.
Предвзятость алгоритмов возникает из-за обучения на нерепрезентативных данных. Модель для обнаружения рака кожи чаще находила «признаки» заболевания на фото из врачебного кабинета, поскольку в обучающих данных именно там болезнь обычно диагностировалась. Программа Compas безосновательно оценивала риск рецидива преступлений темнокожего населения в 2 раза выше.
Ошибки ИИ приводят к серьезным последствиям: дезинформации в медицине и юриспруденции, репутационным потерям, генерации предвзятого контента. В отличие от людей, у ИИ нет реального опыта или здравого смысла для перепроверки ответов. Системы полностью полагаются на данные обучения, которые могут быть ограничены.
Использование ИИ злоумышленниками
Киберпреступники используют нейросети для фишинга, написания вредоносного кода или его модификации для обхода систем безопасности. Также ИИ применяется для обхода CAPTCHA и ослабления средств защиты.
Особую угрозу представляют автономные агенты, действующие от имени пользователя. Агенты — это когда нейросеть использует браузер и другие программы на компьютере и сама ими управляет, чтобы выполнить задачу, которую перед ней поставили. Злоумышленник запускает у себя на компьютере такого агента (одного или нескольких), а тот уже самостоятельно открывает сайты, находит уязвимости, вставляет вредоносный код и так далее.
Также мошенники используют ИИ для подделки документов. Дипфейки применяются для аутентификации и синтеза данных. Это позволяет выдавать недействительные документы за действительные и изменять цифровые копии.
Стратегии управления рисками ИИ
Создание системы организационного иммунитета
Эффективное управление рисками ИИ требует построения комплексной системы организационного иммунитета. Эта система включает взаимосвязанные практики, принципы и культурные установки, позволяющие компании предвидеть и системно нейтрализовывать угрозы. Технологические меры должны дополняться организационными решениями. Работа должна сразу вестись в двух направлениях: обучение сотрудников работе с нейросетями (и объяснением рисков при их использовании) и технические средства предотвращения атак, которые умеют выявлять аномальное поведение или действия нейросети.
Для противодействия взлому моделей необходимо внедрение непрерывной функции AI Red Teaming. Это внутренние или внешние группы экспертов, которые постоянно пытаются взломать ключевые ИИ-модели компании. Важно учитывать, что само понятие AI Red Teaming размыто — компании могут проводить такие тесты для успокоения регуляторов, а не реального выявления уязвимостей.
Против проблемы черного ящика разрабатывают протоколы аудита объяснений. Независимые команды выборочно проверяют не только наличие, но и достоверность объяснений, которые генерирует модель. Аудит должен отвечать на вопрос: действительно ли модель приняла решение на основании указанных факторов или это правдоподобная фальсификация.
Для минимизации зависимости от вендоров формируют стратегию суверенитета над моделями. Она включает оценку рисков концентрации, диверсификацию моделей для разных задач и прописанный план миграции на альтернативные решения. Выбор фундаментальной ИИ-модели сравним по значимости с выбором юрисдикции для штаб-квартиры.
Программы когнитивного обучения для лидеров фокусируются на том, как спорить с ИИ. Менеджеров обучают ставить под сомнение выводы системы, искать альтернативные данные и моделировать невозможные сценарии. Цель — усилить человеческое мышление, используя ИИ как интеллектуального спарринг-партнера.
Рекомендации для бизнеса по безопасному использованию ИИ
Компаниям-разработчикам необходимо учитывать специфические угрозы на всех этапах безопасной разработки. Защита промт-интерфейсов от инъекций и DoS-атак становится обязательным требованием. Верификация источников данных и обеспечение безопасности процесса файн-тюнинга нейросетей критически важны для предотвращения утечек конфиденциальной информации.
- Инженерам информационной безопасности следует включать анализ LLM-рисков на самых ранних этапах проектирования архитектуры (LLM — Large Language Model, большая языковая модель, например ChatGPT или DeepSeek). Важно внедрять мониторинг и проводить тестирование моделей до вывода в продакшн. Специалисты Selectel отмечают, что использование подготовленной IT-инфраструктуры значительно снижает затраты на соответствие требованиям безопасности.
- Заказчикам ИИ-продуктов важно понимать возможные векторы атак на LLM. Требования к безопасности должны включаться в технические задания наравне с функциональностью. Осознанный подход к выбору и внедрению технологий позволяет минимизировать юридические риски и репутационные потери.
- Обучение сотрудников и разработка политик приемлемого использования ИИ необходимы для предотвращения инцидентов. Работодатели должны заранее установить границы дозволенного при работе с нейросетями. Сотрудников следует обучать мерам безопасности и объяснять вероятность рисков, связанных с разглашением конфиденциальной информации.
- Отдельное направление в безопасности при использовании ИИ — осознание общедоступности загружаемых в нейросети данных обязательно. ИИ несет высокий риск разглашения конфиденциальной информации. Не следует использовать публичные системы для работы с критически важной коммерческой или персональной информацией.
- Мониторинг изменений в законодательстве сферы искусственного интеллекта становится необходимостью. В обозримом будущем появятся нормативные акты, серьезно затрагивающие бизнес. Компаниям следует участвовать в работе технических комитетов по стандартизации, таких как ТК №164 «Искусственный интеллект» в России.
Принятие критически важных решений нельзя полностью доверять искусственному интеллекту. Системы не обладают правосубъектностью и не несут ответственность за причиненный вред. Иски при ошибках будут обращены к конкретным компаниям и людям.
Выводы
Риски использования искусственного интеллекта в бизнесе носят комплексный и многоуровневый характер. Они охватывают технологические уязвимости, юридические аспекты, вопросы безопасности данных и организационные вызовы. Игнорирование этих факторов может привести к значительным финансовым потерям, репутационному ущербу и юридической ответственности.
Управление рисками ИИ требует системного подхода и интеграции мер безопасности на всех этапах жизненного цикла систем — от решения по внедрению до технических и административных регламентов. Технологические решения должны дополняться организационными изменениями и адаптацией корпоративной культуры, а не внедряться обособленно от других процессов компании. В этом случае соблюдение рекомендаций по безопасному использованию ИИ позволяет минимизировать потенциальные угрозы.
