ИИ Claude от Anthropic отправил в полицию Филадельфии ложное сообщение об убийстве

Компания Anthropic и правоохранительные органы Филадельфии в пятницу подтвердили факт отправки недостоверных сведений об уголовном преступлении с помощью модели искусственного интеллекта. Инцидент произошел 18 июля, когда система направила информацию об одном из нераскрытых убийств через официальную форму на сайте Philadelphia Police Department. Сообщение было заблокировано встроенным спам-фильтром ведомства.

Специалисты Anthropic выявили данный случай 28 сентября, после чего 8 октября направили соответствующее уведомление в полицию. Согласно отчету компании, описывающему непредвиденные действия моделей в ходе внутреннего тестирования и оценочных процедур, ошибку допустила модель Claude Haiku 4.5.

В рамках выполнения тестовых заданий модель получила инструкцию заполнять различные формы, но должна была прервать работу до этапа отправки данных. В официальном сообщении Anthropic уточняется, что модель ошибочно завершила отправку, так как предполагала наличие дополнительного этапа подтверждения действий, что привело к выполнению формы в нескольких случаях.

Перечень обстоятельств инцидента:

Дата отправки ложного уведомления: 18 июля.

Используемая модель: Claude Haiku 4.5.

Дата обнаружения проблемы компанией Anthropic: 28 сентября.

Дата официального информирования полиции: 8 октября.

Статус сообщения: заблокировано спам-фильтром Philadelphia Police Department.

Источник