В прошлом месяце компания Anthropic привлекла внимание к значительной киберугрозе, которую, по их мнению, представляет их модель Mythos Preview. В связи с этим компания ограничила первоначальный выпуск модели только для "критически важных партнеров отрасли". Однако новое исследование Института безопасности ИИ Великобритании (AISI) указывает на то, что недавно выпущенная в открытый доступ модель GPT-5.5 от OpenAI достигла "сопоставимого уровня производительности в наших кибероценках" с Mythos Preview, которую группа исследовала в прошлом месяце.

С 2023 года AISI проводит тестирование различных передовых моделей ИИ через 95 различных задач Capture the Flag, предназначенных для проверки возможностей в области кибербезопасности, таких как реверс-инжиниринг, веб-эксплуатация и криптография. На заданиях самого высокого уровня сложности, обозначенных как "Эксперт", GPT-5.5 показала средний результат в 71,4 процента, что немного выше, чем 68,6 процента, достигнутые Mythos Preview, хотя это и находится в пределах погрешности.

В одной особенно сложной задаче, связанной с созданием дизассемблера для декодирования бинарного файла на Rust, AISI отмечает, что "GPT-5.5 решила задачу за 10 минут и 22 секунды без помощи человека, затратив $1,73 на API-вызовы". GPT-5.5 также сравнялась с Mythos Preview в прогрессе на тестовом диапазоне "Последние" (TLO), который AISI разработал для моделирования 32-шаговой атаки по извлечению данных из корпоративной сети. GPT-5.5 успешно справилась с 3 из 10 попыток на TLO, по сравнению с 2 из 10 для Mythos Preview — ни одна предыдущая модель не смогла пройти этот тест даже один раз.

Тем не менее, GPT-5.5 все еще не справляется с более сложной симуляцией "Охлаждающая башня" от AISI, которая моделирует попытку нарушения работы программного обеспечения управления электростанцией, как и все ранее протестированные модели ИИ.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *