Ваш купон на скидку:
Недавно исследователи обнаружили уязвимость в Microsoft 365 Copilot для предприятий, которая позволила им заставить модель искусственного интеллекта раскрыть пароли пользователей и другую конфиденциальную информацию без их подтверждения. Уникальность этого случая заключается в том, что для выявления критической уязвимости исследователи не использовали традиционные методы, такие как реверс-инжиниринг, а просто задали вопросы самому Copilot. Модель с готовностью ответила на запросы.
Специалисты из компании Varonis стремились создать эксплойт, который бы извлекал пользовательские данные при простом нажатии на ссылку. Как и большинство современных AI-ассистентов, Copilot изначально отказался выполнять такие команды, подчеркивая, что для выполнения чувствительных запросов требуется явное согласие пользователя, например, нажатие клавиши "Enter" или другой клавиши. В ответ на это исследователи начали задавать Copilot вопросы о механизмах безопасности, которые требовали подтверждения пользователя перед выполнением мощных команд.
Диалог напоминал игру в 20 вопросов. Каждый ответ предоставлял новые подсказки, раскрывающие информацию о сложном механизме безопасности. Исследователи спрашивали, почему автоматическое выполнение невозможно, какие URL-структуры и глубокие ссылки были задействованы, что происходит, когда страница загружается с уже введенными данными в поле запроса. Каждый ответ углублял понимание границ механизма безопасности.
В конечном итоге Copilot предоставил поразительную коммерческую тайну Microsoft — не задокументированный параметр запроса, который полностью обходил требование о согласии пользователя.