Компания Rippling анонсировала новый инструмент, который поможет выявить "инженеров с высоким расходом на ИИ, чьи коллеги часто просят их переделывать работу в ходе ревью кода", как указано в блоге компании. Этот инструмент был разработан после того, как Rippling в начале года полностью погрузилась в токенмаксинг, как и многие другие компании, но вскоре обнаружила, что сотрудники неразумно расходуют средства. Главный продуктовый директор Мэтт Макиннис вспоминает встречу исполнительной команды в марте, когда финансовый директор Адам Свецкий представил шокирующую цифру: Rippling была на пути потратить 40% бюджета на исследования и разработки на токены ИИ, что означало, что компания тратила столько же на токены, сколько и на 40% всех выплат своим сотрудникам в этом подразделении. Расходы росли на 80% в месяц, и если бы эта тенденция продолжалась, в следующем году компания потратила бы почти столько же на токены ИИ — 90% — сколько на своих высокооплачиваемых сотрудников в R&D. "Мы были в недоумении", — сказал Макиннис в интервью TechCrunch. Руководство немедленно инициировало "срочный" проект для понимания расходов и получаемых результатов.
В ходе анализа Rippling выяснила, что "примерно 10-15% наших сотрудников составляли около 60% общего расхода на ИИ. Один инженер тратил $50,000 в месяц", сообщается в блоге компании. Rippling не хотела полностью прекратить использование ИИ, а лишь значительно его ограничить. Компания начала с переговоров о максимальных лимитах расходов с каждым из инструментов, которые использовались: Cursor, OpenAI и Anthropic. В процессе выяснилось, что сотрудники по умолчанию использовали самые последние и дорогие модели для всех задач. "Правда в том, что провайдеры вывода, такие как Anthropic и OpenAI, совершенно не заинтересованы в том, чтобы помочь вам контролировать свои расходы. У них есть все стимулы, чтобы это были непредсказуемые расходы, и именно это они и делают", — отметил Макиннис.
Теперь, спустя восемь месяцев, компании поняли несколько вещей. Во-первых, им нужно использовать несколько моделей от различных лабораторий ИИ по разным ценовым категориям, включая фронтирные модели. Основатель и CEO Rippling Паркер Конрад отметил, что в ходе собственных тестов компания обнаружила, что Grok от SpaceX является лидером, но "GLM 5.2 стоит на 85% дешевле и при этом показывает почти идентичные результаты" по сравнению с фронтирными моделями. GLM 5.2 стал популярной китайской моделью для задач программирования среди технологических компаний. Во-вторых, компании поняли, что им нужен шлюз ИИ, который направляет запросы к наиболее эффективной модели для выполнения задачи. Rippling пришла к этому выводу и разработала собственный шлюз ИИ, который также является частью нового продукта.
AI Spend Console создает панели управления, которые оценивают такие параметры, как количество запросов в день, объем выполненной работы (строки кода/запросы на слияние) и расходы. С этим инструментом Rippling удалось снизить свои расходы на токены с 40% бюджета на сотрудников до около 15%. Однако использование ИИ не было сокращено. В пиковом месяце компания потратила 605 миллиардов токенов, когда финансовый директор выпустил свое предупреждение. В июле внутреннее использование снова достигло 600 миллиардов токенов, но "стоимость июльских расходов составила 37% от стоимости апрельских расходов", отметил Макиннис. "Это просто потому, что теперь мы направляем запросы к более эффективным моделям", — добавил он.
Тем не менее, технологические решения недостаточны, отмечает Rippling. Компания выявила людей, эффективно использующих ИИ, и назначила их "капитанами ИИ", которые помогают остальным сотрудникам. Однако усилия по использованию ИИ за пределами инженерного отдела все еще находятся в процессе, как говорит Макиннис, поскольку программисты были основными пользователями до сих пор. Rippling, например, работает над автоматизацией некоторых задач по обработке данных для команд по onboarding клиентов. Панель управления будет измерять продуктивность в терминах привлечения новых клиентов. "Мы должны быть в состоянии связать потребление токенов в функциях общего управления и в клиентских функциях с продуктивностью. Если мы не сможем этого сделать, все ставки на доступность этого инструмента для более широкого круга сотрудников будут под вопросом", — подытожил Макиннис. Продукт AI Spend Console включен для подписчиков HR Rippling, хотя есть дополнительные расходы на использование ИИ. Его также можно приобрести как отдельный продукт и интегрировать с другой системой учета HR.