Ваш купон на скидку:
Глава Anthropic Дарио Амодеи опубликовал новый пост в блоге, в котором призвал "замедлить развитие передовых технологий" и изложил три широкие стратегии для этого. Он также заявил, что Anthropic "в одностороннем порядке берёт обязательство" следовать одной из них. Дискуссия о безопасности и согласованности ИИ обострилась на этой неделе после того, как исследователь Джейкоб Коксон написал об уходе из Anthropic из-за опасений, что ведущие ИИ-компании "играют с нашими жизнями", в то время как люди, создающие технологию, "искренне верят, что она может убить всех нас к концу десятилетия" — утверждение, которое повторяют и другие сотрудники Anthropic.
Пост Амодеи явно не упоминал отставку Коксона или его опасения, но глава компании написал, что две вещи убедили его в необходимости более осторожного подхода к разработке ИИ: взлом OpenAI-HuggingFace и тот факт, что "ИИ развивается значительно быстрее" в последние месяцы, особенно с учётом его "растущей способности создавать следующее поколение ИИ". "Мы должны замедлить темпы улучшения возможностей ИИ-моделей", — написал Амодеи. "Прогресс всё равно будет казаться быстрым, и мы должны разумно использовать время, которое получим". Его первый предложенный шаг включает "встроенных оценщиков" из сторонних организаций, таких как METR — оценщиков, которые могут проверить, что ИИ-компании действительно следуют своим обязательствам по темпам развития и безопасности, а также обеспечить сообщение о инцидентах безопасности. OpenAI недавно критиковали за то, что компания не сообщила об инциденте, когда её ИИ-агенты захватили немецкую вики-форму. Амодеи сравнил этих оценщиков с регуляторами, встроенными в банковские структуры, и заявил, что приглашение их — это "то, к чему Anthropic берёт обязательство в одностороннем порядке и призывает правительства потребовать от других передовых компаний последовать этому примеру". Это означает предоставление оценщикам корпоративных пропусков, рабочих мест, ноутбуков и доступа "в основном сопоставимого с тем, что имеют внутренние команды оценки рисков", за исключением случаев, требуемых законом или контрактами.
Далее Амодеи призвал ведущие ИИ-компании "в демократических странах" координировать "общие стандарты безопасности, а также ограничения на темпы неконтролируемого прогресса ИИ". Такая координация может показаться маловероятной как из-за очевидной вражды между Альтманом и Амодеи, так и потому, что компании, как сообщается, обеспокоены тем, что координированная пауза может привести к антимонопольной проверке. Амодеи упомянул об этой озабоченности в своём посте, написав, что "по антимонопольным причинам полезно, чтобы правительство США выступало посредником или хотя бы способствовало этим обсуждениям — им не обязательно участвовать, но необходимо выдать ограниченное исключение для определённых видов обсуждений безопасности". Амодеи также признал призрак доминирования китайского ИИ, который часто поднимается как аргумент против замедления разработки. Но он заявил, что если правительство США и технологические компании предпримут шаги, такие как отказ продавать мощные чипы или оборудование для производства полупроводников китайским компаниям, а также ужесточат контроль за дистилляцией моделей, они смогут "замедлить прогресс Китая достаточно, чтобы значительно увеличить лидерство Америки в течение следующих 3–5 лет".
Наконец, Амодеи призвал к "глобальной координации", где Соединённые Штаты и их союзники "попытаются координироваться с авторитарными правительствами, насколько это возможно". Амодеи сказал, что это будет означать "сотрудничество с Китаем", и признал, что существуют "резкие ограничения на то, чего можно достичь", но всё же предположил, что могут быть возможности для соглашения, даже если это будет просто "запрет на определённые узкие и очевидно опасные применения ИИ, такие как использование ИИ для производства биологического оружия или предоставление пользователям возможности делать это". Учитывая готовность Амодеи в прошлом признавать потенциальные опасности ИИ и относительную открытость компании к определённым формам регулирования, некоторые сторонники ИИ уже критиковали его как "предсказателя апокалипсиса", чьи комментарии подпитывают текущую реакцию против ИИ. В ответ Амодеи сказал, что он попытался предложить "сбалансированную перспективу" и утверждал, что реакция — это "в основном кризис доверия", поскольку люди стали скептически относиться к технологическим компаниям, технологической индустрии и правительству.
Критики индустрии также скептически относятся к этим апокалиптическим предупреждениям об ИИ, предполагая, что они отвлекают от вреда, который технология уже причиняет. Журналист Брайан Мерчант, например, написал, что ему ещё предстоит увидеть "достоверную пошаговую документацию того, как именно ИИ может перейти от самосовершенствующегося ИИ к убийству каждого человека на планете"; он также предположил, что предложения, похожие на предложения Амодеи, "вероятно, только окажут услугу Anthropic и OpenAI; это то, как выглядит регуляторный захват в действии". В своём новом посте Амодеи написал, что он продолжает "верить, что ИИ может значительно улучшить качество человеческой жизни". "Моё желание достичь этих преимуществ не ослабло", — сказал он. "Но преимущества будут достигнуты только в том случае, если мы построим технологию правильным образом, и — пока мы хорошо используем полученное время — стоит проявлять необычайную осторожность, чтобы сделать это правильно".