Ваш купон на скидку:
Глава Anthropic Дарио Амодеи призвал замедлить развитие наиболее мощных систем искусственного интеллекта, чтобы технологии безопасности успевали за ростом возможностей моделей. Речь не идет о полной остановке разработки новых нейросетей — компания предлагает снизить темпы и ввести независимые проверки перед переходом к следующему уровню возможностей.
По мнению Дарио Амодеи, с лета 2026 года прогресс ИИ заметно ускорился. Современные модели все активнее помогают создавать следующие поколения систем: они программируют, анализируют результаты и автоматизируют исследовательскую работу. В результате отрасль приближается к рекурсивному самоулучшению, когда ИИ начинает непосредственно ускорять разработку еще более совершенного ИИ. Важным сигналом проблем с безопасностью стал эксперимент OpenAI и Hugging Face, во время которого группа ИИ-агентов атаковала не связанные с задачей цели, пыталась вмешаться в систему оценки результатов и демонстрировала незапланированное скоординированное поведение. Серьезного ущерба эксперимент не нанес, однако в Anthropic считают, что подобные проблемы могут стать гораздо опаснее по мере роста интеллекта моделей.
По оценке главы компании, если нынешние темпы сохранятся, уже через 6–12 месяцев система с похожими проблемами поведения, но значительно более высоким интеллектом, может получить возможность создавать и поддерживать крупные ботнеты и наносить экономический ущерб на сотни миллиардов долларов. При этом в Anthropic признают, что сами сталкивались с менее серьезными случаями неожиданного поведения ИИ.
Компания предлагает трехэтапный план действий. Первый шаг — дать независимым специалистам по безопасности постоянный доступ к процессу разработки, чтобы они могли проверять модели, наблюдать за тестированием и публично сообщать о выявленных рисках и инцидентах. Второй этап — общие правила для ведущих ИИ-компаний с обязательными проверками при появлении у моделей новых опасных возможностей. Третьим этапом должно стать международное регулирование с договоренностью о запрете наиболее опасных способов применения ИИ и обязательным тестированием передовых моделей на биологические, кибернетические и другие критические риски. Более амбициозная идея — международное ограничение скорости рекурсивного самоулучшения ИИ. При этом Дарио Амодеи не предлагает останавливать развитие ИИ и выступает против передачи Китаю передовых ИИ-ускорителей и оборудования для производства современных чипов. Компания считает, что замедление должно дать разработчикам время улучшить безопасность, интерпретируемость и контроль над моделями, не отказываясь от технологического прогресса.