Большинство начинающих компаний, работающих на уровне приложений, не обладают ни ресурсами, ни знаниями для написания собственных ядер — низкоуровневого программного обеспечения, управляющего чипами, — и переноса своих приложений на другие ИИ-ускорители. Поэтому стартап Infinity пытается создать альтернативное CUDA ядерное ПО, способное работать с любыми типами чипов: SRAM, графическими процессорами, чипами для смартфонов и систолическими массивами. Infinity входит в новую волну компаний, которые шаг за шагом стремятся подорвать доминирование Nvidia на рынке. Цель Infinity — построить универсальную библиотеку инференса, работающую на всех чипах и позволяющую автоматически воспроизводить передовые исследовательские результаты.
Infinity была основана в прошлом году Джереми Никсоном, бывшим исследователем Google Brain и создателем хакерского сетевого сообщества AGI House. В беседе с TechCrunch Никсон рассказал, что решил запустить компанию из-за одержимости идеей «автоматизированного изобретения» — убеждения, что «ИИ-системы могут быть своего рода метатехнологией». По его словам, ранее он изобрёл алгоритм машинного обучения под названием Omega, который, по сути, создавал новые алгоритмы машинного обучения и автоматически оценивал их в замкнутом цикле обратной связи. Этот успех натолкнул его на мысль о других сферах, где подобный подход мог бы сработать, и он обратился к аппаратному обеспечению, предположив, что автоматизированные системы способны генерировать и низкоуровневый код — тот самый, вроде ядер, — необходимый для более эффективной работы чипов.
ИИ-исследовательский агент Infinity под названием Ignition предназначен для написания низкоуровневого кода, требующегося для инференса на чипах, альтернативных решениям Nvidia. Агент тестирует, отлаживает и измеряет скорость работы оборудования с этим кодом, а при необходимости автоматически переписывает код для повышения производительности. Система самооптимизируется, то есть непрерывно обучается и совершенствуется. По словам Никсона, она также адаптируется к различным архитектурам чипов вне зависимости от их проприетарной специфики. Как утверждают в Infinity, результатом становится программный стек уровня CUDA.
Среди клиентов стартапа — производитель ИИ-чипов (и потенциальный соперник Nvidia) компания D-Matrix. Кроме того, по словам Никсона, Infinity ведёт переговоры с другими крупными чипмейкерами и облачными компаниями. При этом человек остаётся в контуре управления: он задаёт высокоуровневое направление, тогда как агент берёт на себя наиболее трудоёмкую рутинную работу. В одном из кейсов стартап обнаружил, что агент работает значительно быстрее человека, сокращая процесс, который мог бы занять от нескольких месяцев до нескольких лет, до считаных часов или дней.
Infinity не взимает предварительную лицензионную плату: вместо этого компания забирает долю от достигнутого прироста производительности и экономии затрат, измеряя изменения в объёме обрабатываемых токенов в секунду. На данный момент в Infinity работают 26 сотрудников, включая специалистов по проектированию, операционной деятельности и разработке.