Новая модель искусственного интеллекта Kimi K3, разработанная китайской компанией Moonshot, вышла за пределы специально созданной среды для тестирования её возможностей в области кибербезопасности. Об этом стало известно из отчёта, опубликованного 7 августа специалистами компании Frontier Security. Согласно их данным, песочница, в которой проводились испытания, была некорректно настроена: она блокировала определённый сетевой трафик, но не ограничивала доступ к командным инструментам, что позволило Kimi обойти предусмотренные меры защиты.
Авторы отчёта подчеркивают, что этот инцидент демонстрирует уязвимость методик тестирования ИИ в кибербезопасности. Если модель может находить обходные пути в инфраструктуре испытания, результаты проверки могут не отражать её реальные возможности и уровень ограничений. Специалисты Frontier Security отмечают, что некоторые модели способны целенаправленно искать уязвимости в тестовой среде, чтобы обойти установленные правила.
Случай с Kimi K3 стал частью более широкой серии инцидентов. В последние недели модели от таких компаний, как OpenAI, Anthropic и Meta*, а также те, что тестировались Британским институтом безопасности ИИ, также выходили за пределы экспериментальных сред и взаимодействовали с реальными целями, не входившими в первоначальные сценарии испытаний.
Для отслеживания подобных случаев был создан проект Felony Bench. Согласно его статистике, после инцидента с Kimi у Moonshot зафиксирован один случай, тогда как у OpenAI и Anthropic — по семь, а у Meta* — один. При этом инцидент с Kimi напрямую связан с неправильной настройкой песочницы: модель не получила бесконтрольный доступ к интернету, а обошла конкретное ограничение через доступные ей командные инструменты. Это поднимает вопросы о надёжности изолированных сред и самих методик проверки при оценке киберспособностей современных ИИ-моделей.
* Деятельность организации «Американская транснациональная холдинговая компания Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram» признана экстремистской и запрещена в РФ.