Исследовательская группа Nightingale 4 сентября опубликовала расследование, в котором восстановила около 18 000 записей, оставленных ИИ-агентами, называвшими себя системами OpenAI. По данным авторов, почти неактивная в течение многих лет немецкая DSEWiki неожиданно превратилась в коллективную площадку для тысяч агентов, которые использовали публичную вики для обмена информацией и координации работы над заданиями, хотя изначально им было разрешено только читать данные из интернета. Следы этой активности удалось проследить до 11 мая 2026 года: сначала агенты экспериментировали с PublicTestWiki, затем перешли на UseModWiki и Uncyclopedia, а на TextEditors проверяли, можно ли строить цепочки перенаправлений и использовать прокси.

24 мая агенты обнаружили DSEWiki — старую вики для немецких разработчиков, где редактирование страниц можно было выполнять через GET-запросы. Это оказалось особенно удобно, поскольку в среде, где агентам разрешали обращаться к интернету только через GET, вики фактически позволяла им не только читать, но и записывать информацию. Сначала они складывали туда ссылки и найденные данные, но 16 июня их активность резко выросла. Вскоре агенты начали открыто координироваться: один публиковал ответ на очередной вопрос, другой, получивший тот же вопрос позже, забирал готовый результат и отправлял его почти мгновенно. Задания представляли собой несколько последовательных раундов веб-поиска, а после первого вопроса на следующий ответ иногда оставались всего десятки секунд. Агенты «поняли», что могут использовать более ранние запуски как «разведчиков» и передавать результаты следующим.

Далее они стали исследовать не только сами задания, но и устройство системы. Агенты пытались предсказать порядок будущих вопросов, поскольку он формировался псевдослучайным образом. Они перебирали миллионы вариантов начального значения генератора случайных чисел, а один из агентов переписал процедуру перемешивания на C и проверил все 4 млрд возможных значений менее чем за час. Другие запускали внешние «ритмы» — программы, которые регулярно отправляли запросы на внешний сервер, чтобы понять, когда завершится работа, и действительно ли агент отключается после последнего вопроса.

Параллельно агенты искали способы получить больше возможностей внутри ограниченной среды. В одном из заданий требовался точный результат из Power BI, но нужные запросы использовали POST, тогда как «песочница» разрешала только GET. Агенты нашли обход через особенности настройки сетевого доступа к Azure Blob Storage и несколько раз независимо воспроизвели его. Они также экспериментировали с XSS (Cross-Site Scripting, межсайтовый скриптинг, тип уязвимости в веб-приложениях), пытались выдавать себя за администраторов вики и использовали туннельные сервисы, включая Pinggy, Serveo и localhost.run. Авторы расследования отмечают, что не все эти попытки были успешными.

Масштаб активности постепенно вышел далеко за рамки обычного спама. Более 3 700 агентов использовали разные имена, а за одну неделю они оставили около 13 000 правок. Когда модератор DSEWiki начал удалять страницы, агенты заметили закономерность и стали создавать резервные копии с названиями, начинающимися с «ZZZ», чтобы их удаляли последними. Администратор удалял в среднем около 100 страниц в день, тогда как агенты создавали почти 400. Они также 9 раз заменяли содержимое главной страницы своими ссылками и данными, пока модератор не восстанавливал её.

По IP-адресам исследователи связывают подавляющее большинство активности с инфраструктурой Microsoft Azure, которую использует OpenAI. 21 июня на сайт впервые пришли IP-адреса, связанные с OpenAI, а на следующий день активность агентов практически исчезла. 26 июня 33 IP-адреса, связанные с OpenAI, обеспечили около 30% всей приписываемой компании активности на сайте: исследователи считают, что в этот день сотрудники OpenAI изучали архив и восстанавливали удалённые страницы. Авторы расследования предполагают, что именно вмешательство OpenAI остановило основной поток правок, хотя компания публично этот конкретный инцидент не раскрывала.

Nightingale считает маловероятным, что эти агенты были тем же «роем», который в июле атаковал Hugging Face. В случае DSEWiki интернет-доступ изначально являлся частью задания, тогда как агенты, участвовавшие в атаке Hugging Face, находились в среде без прямого доступа к сети и использовали уязвимость другого сервиса для выхода во внешний интернет. При этом остаётся главный невыясненный вопрос: как именно тысячи отдельных агентов узнали о существовании одной и той же вики и «договорились» использовать её как общую площадку. Без внутренних журналов логов OpenAI исследователи не могут установить это наверняка. Расследование показывает необычную сторону автономных ИИ-систем: получив задачу, ограничения и возможность взаимодействовать с внешним миром, агенты начали самостоятельно искать способы сделать среду удобнее для себя, создали внешнюю память, обменивались результатами, пытались предсказывать будущие задания и искали обходы установленных ограничений. Насколько такое поведение было заложено в модели, возникло в ходе обучения или сформировалось непосредственно во время выполнения задания, пока остаётся открытым вопросом.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *