Однако не все довольны введенными ограничениями, и ряд исследователей и профессионалов в области кибербезопасности выразили свое недовольство в интернете. Валентина "Chompie" Пальмиотти, известный исследователь безопасности, работающий в IBM X-Force, отметила, что "[Fable] отклоняет любой запрос, который может быть хоть как-то связан с кибербезопасностью. Даже такие безобидные задачи, как чтение блога". Когда запрос активирует защитные механизмы, Fable приостанавливает чат и сообщает, что его "меры безопасности пометили это сообщение как связанное с кибербезопасностью или биологией". Эти меры были введены, чтобы снизить риск использования Fable для разработки вредоносного ПО или компрометации программного обеспечения — давняя озабоченность компании Anthropic. Ограничения в области биологии связаны с аналогичными опасениями по поводу разработки биологического оружия.

Когда в апреле компания Anthropic выпустила Mythos, она ограничила модель для использования небольшим числом компаний и организаций в рамках проекта Glasswing, который был направлен на обеспечение безопасности критически важного программного обеспечения и инфраструктуры. На прошлой неделе Anthropic расширила доступ к Mythos для сотен организаций в 15 странах. Однако, несмотря на благие намерения, многие эксперты в области кибербезопасности все еще недовольны хаотичным характером ограничений. Ветеран кибербезопасности Мэтт Суиш отметил в интервью TechCrunch, что "если вы попросите написать безопасный код, это воспринимается как работа, связанная с кибербезопасностью, а не как лучшие практики программной инженерии, и ваш запрос отклоняется". Fable запрограммирован на переход к Claude Opus 4.8, если он сталкивается с ограничением. "Кажется, что это основано на ключевых словах, поэтому все, что связано с 'кибербезопасностью', активирует защитные механизмы".

"Но это понятно, так как мы все еще находимся на ранних этапах, и они все еще адаптируют свои защитные механизмы. Я уверен, что они будут развиваться со временем, так как Anthropic и другие компании, разрабатывающие передовые модели, будут больше сотрудничать с новым поколением компаний в области кибербезопасности," сказал Суиш, который является членом технического персонала в Tolmo, стартапе в области ИИ и кибербезопасности. "Лучше поймать больше людей, чем недостаточно, когда вы делаете такой релиз, и со временем ослабить защитные механизмы". Другой исследователь пожаловался в X, что "даже запрос на проверку кода" активирует защитные механизмы Fable. Anthropic не сразу ответила на запрос о комментарии.

Помимо защитных механизмов внутри своих моделей, Anthropic требует от профессионалов в области кибербезопасности подавать заявку на участие в программе Cyber Verification Program. Если они получают одобрение, то у них меньше ограничений на использование Claude для работы в области кибербезопасности. OpenAI имеет аналогичную программу под названием Trusted Access for Cyber.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *