Microsoft пытается решить проблему контроля над действиями AI-агентов с помощью нового открытого стандарта под названием Agent Control Specification (ACS). Этот стандарт предназначен для того, чтобы предоставить разработчикам более последовательный и детализированный способ управления тем, что разрешено делать AI-агентам. Спецификация позволяет разработчикам, командам по соблюдению нормативных требований и безопасности определять собственные политики, которым должны следовать агенты. Правила могут определять, что агент может делать, чего он не должен делать, когда действие должно быть одобрено человеком и какие доказательства должны быть зарегистрированы для последующего анализа. Эти файлы политик проверяются в нескольких "точках перехвата", когда агент выполняет задачу, чтобы убедиться, что он остается в рамках установленных ограничений.

Спецификация появилась на фоне того, что разработчики импровизируют способы контроля над тем, что их AI видят и делают, особенно в свете обсуждений о сбоях в AI-рабочих процессах из-за неправильного использования инструментов или непреднамеренных действий, приводящих к каскадным сбоям. В настоящее время разработчики могут задавать инструкции в системных подсказках, добавлять пользовательские проверки в код приложения или использовать классификаторы для выявления проблемных входных и выходных данных. Эти подходы работают, но часто оставляют компании с фрагментированными контролями, которые сложно проверять и еще сложнее использовать повторно в различных фреймворках, интерфейсах и системах. ACS стремится интегрировать эти контроли в общий слой управления.

Microsoft утверждает, что спецификация может использоваться для проверки того, придерживается ли агент установленных ограничений в нескольких точках его рабочего процесса — до получения входных данных, до вызова инструмента, после возврата результата инструментом и перед отправкой окончательного ответа пользователю. Политика может разрешать действие, блокировать его, редактировать конфиденциальную информацию или даже запрашивать одобрение у человека. Разработчики также могут вставлять классификаторы для входных и выходных данных, чтобы классифицировать информацию, предсказывать результаты или определять, как агент должен реагировать; добавлять LLM с подсказками, чтобы они выступали в роли "судьи" для политик; и логику для проверки вызовов инструментов, выбора инструментов, точности входных данных, использования выходных данных и ответов.

Поскольку эти политики могут быть написаны в виде отдельных файлов, они могут быть связаны с агентами, что позволяет политике безопасности следовать за агентом в различных фреймворках и средах. ACS поставляется в виде SDK с плагинами для LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI, MCP tools и других.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *