Ваш купон на скидку:
«К2 Кибербезопасность» и «Лаборатория Касперского» представили новые итоги исследования «Безопасность ИИ в России: практика, риски, зрелость». Согласно результатам, 38% российских корпораций уже занимаются разработкой ИИ-решений для внутренних процессов. При этом зрелость ИБ-процессов не успевает за внедрением новых технологий: почти половина опрошенных компаний, 46%, не знакомы с методологией MLSecOps, а еще 40% знают о ней лишь поверхностно.
MLSecOps (Machine Learning Security Operations) — это подход, объединяющий машинное обучение, DevOps и информационную безопасность. Он предполагает, что безопасность ИИ-систем обеспечивается на каждом этапе их жизненного цикла — от ранних стадий разработки до эксплуатации. Внедрение MLSecOps позволяет существенно снизить ИБ-риски, однако результаты исследования показывают, что пока эта методология не стала общепринятым стандартом управления безопасностью ИИ в российских компаниях.
«Рынок MLSecOps находится на этапе становления, и единая зрелая практика пока еще не сформировалась. Защитные подходы и специализированные решения появляются разрозненно, прежде всего в тех областях, где риски уже проявились на практике и стали ощутимыми для бизнеса, разработки и ИБ-команд. Ситуация осложняется тем, что задачи безопасности ИИ-систем распределены между несколькими уже существующими функциями: безопасностью разработки, защитой данных, контролем инфраструктуры, мониторингом эксплуатации и расследованием инцидентов. Именно поэтому безопасность ML-разработки невозможно эффективно выстроить без постоянного взаимодействия ИБ-отдела с командами по исследованию данных. Значительная часть рисков возникает не только в инфраструктуре, но и непосредственно в данных, пайплайнах обучения, логике валидации и процессе поставки модели в промышленную среду», — сказал Александр Лысенко, ведущий эксперт по безопасности разработки и ИИ в «К2 Кибербезопасность».
«Из-за скорости развития технологий рынок решений по безопасности ИИ очень динамичен: меняется набор инструментов, которые нужно защищать, параллельно растет набор угроз, которые необходимо предотвратить. Если еще недавно речь шла о защите от джейлбрейков и утечке персональных данных в чатах, то сейчас необходимо обнаруживать потенциально опасные действия код-ассистентов и вредоносный код в агентных навыках. Роль ИБ-вендора в данном случае — отслеживать ландшафт угроз и оперативно реагировать на его изменения: понимать, какие из рисков уже закрываются имеющимися решениями, например адаптируются для поиска вредоносных закладок в открытых моделях, для каких необходимо реализовывать продукты в новых классах, например AI Firewall, а где, например в трендах, которые могут не войти в общую практику, первоочередную роль играют повышение осведомленности среди пользователей и разработчиков инструментов на базе машинного обучения — в частности, путем создания руководств, регламентов и обучающих курсов», — сказал Владислав Тушканов, руководитель группы исследования технологий машинного обучения в «Лаборатории Касперского».
Не все российские организации оперативно внедряют необходимые меры контроля за ИИ-системами. Только у трети, 32%, компаний есть централизованный реестр моделей, а отсутствие такого реестра повышает риск запуска непроверенного артефакта, зависимости от неизвестного источника или уязвимости в цепочке поставок. Централизованный каталог датасетов есть менее чем у половины, у 43% компаний. С точки зрения безопасности датасеты — это не вспомогательный ресурс, а фундамент: именно через них в AI/ML-контур могут проникнуть ошибки, а также могут произойти утечки, нарушения прав доступа и риски скрытого изменения поведения модели. Контроль версий моделей реализован у 61% компаний, а заметная доля тех, кто не знает о наличии такого контроля, косвенно показывает, что AI/ML-ландшафт во многих организациях пока не собран в единый операционный контур.
Рынок уже научился переносить на ИИ часть зрелых практик классического ИБ- и ИТ-управления, однако из-за отсутствия устоявшихся методологий защиты некоторые аспекты безопасности все еще остаются без внимания. Контроль доступа и доставки, базовая практика ИБ, есть у большинства — у 59% компаний, но этого недостаточно для защищенности ИИ-среды. Защиту датасетов внедрили 46% компаний, а отсутствие такой меры означает, что компания фактически оставляет без контроля основу будущего поведения модели. При этом наиболее слабым звеном в системе защиты ИИ остается мониторинг drift: его внедрили только 15% компаний, еще 15% пилотируют, а у 70% он отсутствует. Это один из самых важных результатов, поскольку именно мониторинг drift отделяет формально работающую модель от реально управляемой.