Купон на скидку: 2026
Компания Gimlet Labs разработала, как она утверждает, первый и единственный "мульти-силиконовый облачный сервис для вывода", который представляет собой программное обеспечение, позволяющее одновременно запускать задачи ИИ на различных типах оборудования. Оно может распределять работу приложения ИИ как на традиционные процессоры (CPU), так и на графические процессоры (GPU), настроенные для ИИ, а также на системы с высокой памятью.
"Мы в основном работаем на любом доступном оборудовании," — сообщил Асгар изданию TechCrunch. Один агент может объединять несколько шагов, и каждый из них требует разного оборудования: вывод связан с вычислениями, декодирование — с памятью, а вызовы инструментов — с сетью, пишет ведущий инвестор Тим Талли из Menlo в своем блоге о финансировании. Пока ни один чип не может выполнять все задачи, но по мере появления нового оборудования и перераспределения стареющих GPU, "мульти-силиконовый флот готов — ему не хватает только программного слоя для работы."
Именно это, по мнению Талли, предлагает Gimlet Labs. Если текущая тенденция к увеличению вычислительных мощностей продолжится, McKinsey прогнозирует, что расходы на центры обработки данных достигнут почти 7 триллионов долларов к 2030 году. Асгар отмечает, что приложения используют существующее оборудование лишь "от 15 до 30 процентов" времени.
"Другими словами, вы тратите сотни миллиардов долларов, оставляя ресурсы без дела," — сказал он. "Наша цель заключалась в том, чтобы выяснить, как сделать рабочие нагрузки ИИ в 10 раз более эффективными, чем когда-либо." Поэтому он и его сооснователи, Мишель Нгуен, Омид Азизи и Натали Серрино, занялись созданием оркестровочного программного обеспечения, которое распределяет агентные рабочие нагрузки так, чтобы они могли одновременно распространяться по всем видам оборудования.
Gimlet Labs утверждает, что надежно ускоряет вывод ИИ в 3-10 раз при тех же затратах и мощности. Gimlet заявляет, что может даже разделить основную модель так, чтобы она работала на разных архитектурах, используя лучший чип для каждой части модели. Компания уже сотрудничает с производителями чипов NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix.
Продукт Gimlet, поставляемый либо в виде программного обеспечения, либо через API на собственное облако Gimlet, не предназначен для рядовых разработчиков приложений ИИ. Он предназначен для крупнейших лабораторий моделей ИИ и центров обработки данных. Компания публично запустилась в октябре, заявив о доходах в восьмизначной сумме с самого начала (то есть как минимум 10 миллионов долларов).
Асгар сообщил, что за последние четыре месяца его клиентская база более чем удвоилась и теперь включает крупного производителя моделей и очень большую компанию облачных вычислений, хотя он отказался их назвать. Сооснователи ранее работали вместе в Pixie, стартапе, который создал инструмент наблюдения с открытым исходным кодом для Kubernetes. Pixie была приобретена компанией New Relic в 2020 году, всего через два месяца после запуска с финансированием серии A в размере 9 миллионов долларов под руководством Benchmark.
(Технология Pixie теперь является частью организации с открытым исходным кодом, которая курирует Kubernetes.) После того как Асгар случайно встретил Талли около года назад и также получил ангельские инвестиции от профессоров Стэнфорда, венчурные капиталисты начали проявлять интерес. После запуска на стол Асгара легло предложение о финансировании.
Когда венчурные капиталисты узнали, что Асгар рассматривает предложения, "мы получили довольно большой поток финансирования," и раунд быстро переполнился, сказал он. С учетом предыдущего посевного раунда стартап собрал в общей сложности 92 миллиона долларов, включая инвестиции от множества ангелов, таких как Билл Когран из Sequoia, профессор Стэнфорда Ник МакКеоун, бывший генеральный директор VMware Рагху Рагурам и генеральный директор Intel Лип-Бу Тан.
В компании сейчас работает 30 человек. Среди других инвесторов — Factory, который возглавил посевной раунд, Eclipse Ventures, Prosperity7 и Triatomic.