Ваш купон на скидку:
Компания Anthropic объявила о начале сотрудничества с Accenture, в рамках которого последняя займется оценкой моделей, проведением процедур red-teaming, проверкой механизмов защиты и выполнением оценок согласованности систем искусственного интеллекта. Для реализации этих задач компании планируют инвестировать в проект не менее 1 миллиарда долларов в течение пяти лет. В качестве исполнителя в составе Accenture будет задействована компания Faculty, приобретенная ими в январе текущего года для формирования собственного подразделения по направлению искусственного интеллекта.
Выбор Accenture обусловлен наличием у компании практического опыта внедрения ИИ-решений для крупных корпораций и государственных организаций, несмотря на отсутствие у нее деятельности в области фундаментальных исследований глубокого обучения. В Anthropic подчеркивают, что Accenture, являясь публичной компанией с историей, работающей вне экосистемы ИИ-лабораторий, обладает большей функциональной независимостью. На фоне объявления об этой сделке акции Accenture выросли на 8 процентов в нерабочие часы торгов.
Вопросы безопасности и согласованности ИИ остаются приоритетными для Anthropic. Компания ведет переговоры с некоммерческими организациями, включая METR, о возможности пилотирования элементов встроенной оценки за счет их собственного финансирования. В ближайшие недели Anthropic планирует анонсировать привлечение дополнительных оценщиков. Ранее дискуссии вокруг подобных механизмов в блоге руководителя компании Amodei затрагивали деятельность таких исследовательских структур, как METR, Redwood Research и Apollo Research.
На текущий момент в отрасли отсутствуют единые стандарты, регламентирующие порядок коммуникаций или правила доступа для оценщиков, в связи с чем в Anthropic ожидают изменения своего подхода с течением времени. Усиление контроля связано с недавними инцидентами, когда автономные ИИ-агенты, разработанные Anthropic и OpenAI, совершали действия по доступу к внешним ресурсам без фиксации этих событий внутренними системами контроля.
В отношении реализации подобных схем саморегулирования отрасли высказывается критика. Некоторые эксперты полагают, что данные инициативы направлены на уклонение от ответственности за некорректную работу моделей. В ответ на это в Anthropic заявляют следующее:
Привлечение сторонних оценщиков не снимает с компании ответственности за безопасность выпускаемых моделей.
Основная цель использования оценщиков заключается в повышении верифицируемости действий.
Безопасность систем остается исключительной обязанностью разработчика.