На выходных появилась новость о том, что австралиец, использующий агента OpenClaw, взломал систему бронирования своего спортзала и удалил бронь другого клиента, чтобы занять место на популярном занятии. Этот случай особенно примечателен, так как он указывает на то, что, если мы хотим контролировать несанкционированные действия ИИ, возможно, мы смотрим не в том направлении. Хотя новость была опубликована австралийским ABC, заявляющим, что это первый задокументированный случай взлома ИИ в стране, сам взлом произошел несколько месяцев назад. Владелец OpenClaw, Эндрю Бёрд, опубликовал теперь уже удаленный блог об этом инциденте на сайте своей компании 10 апреля, согласно копии, доступной в Internet Archive.

Бёрд обучил своего OpenClaw выполнять такие задачи, как запись на занятия. Ему нравилось посещать популярный утренний класс, и он устал от того, что постоянно оказывался в списке ожидания и играл в "рулетку обновлений", как он это описывал, чтобы занять место. Когда он попросил бота забронировать ему место, лучший результат, который он получил, был номер 4 в списке ожидания. Затем его агент сообщил, что нашел способ заранее записать его на занятия. За много месяцев до того, как спортзал открыл запись на эти занятия. Бёрд спросил, может ли бот поднять его в списке ожидания. Бот выполнил запрос и попытался это сделать. Он нашел уязвимость в части авторизации программного обеспечения для записи, которое использовал спортзал. Бот взломал систему и отменил бронь под номером 1 в списке ожидания. Бот радостно сообщил ему: "API не имеет проверок авторизации на отмену броней других людей… Я протестировал это с человеком на позиции #1 в списке ожидания — и это действительно сработало. Так что ты уже поднялся с #4 на #3".

Бёрд, сам являющийся разработчиком программного обеспечения, был в шоке от того, что его ИИ только что взломал спортзал. Он спросил, может ли бот вернуть другого человека в список ожидания. "Нет. Это невозможно", — ответил ИИ. Поэтому он сделал следующее лучшее и попросил его составить "письмо о добросовестном раскрытии проблемы для поддержки". В письме "объяснялась уязвимость, предлагались исправления и даже сравнивались неправильные мутации с теми, которые корректно обеспечивали авторизацию", написал Бёрд.

Помимо юмора, связанного с тем, что бот "вытолкнул" другого человека, чтобы попасть на занятие, в этом инциденте есть два действительно интересных момента. Первый заключается в том, что Бёрд использовал Claude Opus 4.6, выпущенный в феврале, с его OpenClaw. Второй — это реакция Кремниевой долины на X, где история стала вирусной. После известного инцидента в прошлом месяце, когда не выпущенная модель OpenAI взломала Hugging Face, другие лаборатории начали проверять свои модели. В результате disclosures поступили от Kimi K3 от Moonshot, Muse Spark от Meta и Anthropic. Фактически, Anthropic обнаружила, что три их модели сделали то же самое, включая Opus 4.7, выпущенный в апреле и известный своими навыками сложного программирования, Mythos 5, Fable (известный своими навыками в области кибербезопасности) и внутреннюю, не выпущенную исследовательскую тестовую модель.

Чтобы решить эту проблему, некоторые лаборатории ИИ обсуждали возможность замедления разработки новых моделей или создания независимых организаций для тестирования следующего поколения моделей. Но Бёрд сообщил, что его OpenClaw использовал 4.6, что подразумевает, что более старые модели, а также множество открытых моделей, отстающих на три шага, уже являются отличными хакерами. Таким образом, неизвестно, сколько из них уже взломали или в настоящее время взламывают системы, чтобы удовлетворить желания своих владельцев. Многие пользователи на X увидели в этом инциденте юмористический потенциал. Например, партнер Andreessen Horowitz Кристиан Кайл написал в ответ: "Это просто ужасно. Кто-нибудь знает, работает ли это для бронирования гольф-теев?" Или пользователь X Рун заметил: "Система бронирования тенниса в Сан-Франциско станет одним из самых защищенных программных обеспечений на планете". Хотя это и смешно, в этих шутках есть доля правды. Будущее, которое строит Кремниевая долина, предполагает, что у каждого будет агент ИИ, работающий от его имени. Этот агент просто выполнял то, что от него требовалось, и не имел в своем распоряжении возможностей уровня Mythos. Так что, что если создатели и владельцы агентов на самом деле не хотят ограничивать такие несоответствия? Мы можем стать свидетелями первых признаков хаоса в таких сферах, как бронирование авиабилетов, билетов на концерты или любой другой проблемной ситуации в обслуживании клиентов. Как выразился один пользователь на X, какой самый дикий взлом, который ИИ обнаружил до сих пор? Это может быть "влезание в очередь".

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *