«В этих фабриках искусственного интеллекта тратится огромное количество энергии впустую», — заявил генеральный директор Nvidia Дженсен Хуанг во время своего выступления на ежегодной конференции GTC. «Каждый неиспользованный ватт — это потерянный доход», — подчеркнула компания в своей презентации.
Сегодня стартап Niv-AI вышел из тени с 12 миллионами долларов начального финансирования, чтобы решить эту проблему, точно измеряя потребление энергии GPU с помощью новых датчиков и разрабатывая инструменты для более эффективного управления.
Стартап из Тель-Авива был основан в прошлом году генеральным директором Томером Тимором и техническим директором Эдвардом Кизисом и поддерживается такими инвесторами, как Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward и Aurora Capital Partners. Компания отказалась раскрыть свою оценку.
Поскольку передовые лаборатории используют тысячи GPU для обучения и работы с продвинутыми моделями, часто возникают резкие скачки потребления энергии на миллисекундном уровне, когда процессоры переключаются между вычислительными задачами и взаимодействием с другими GPU. Эти скачки затрудняют управление энергопотреблением в центрах обработки данных. Чтобы избежать нехватки электроэнергии, центры платят за временное хранение энергии для покрытия скачков или снижают использование GPU. Оба варианта уменьшают возврат инвестиций в дорогие чипы. «Мы просто не можем продолжать строить центры обработки данных так, как делаем это сейчас», — сказал Лиор Хандельсман, партнер Grove Ventures и член совета директоров Niv.
Первый шаг в плане Niv — понять, что происходит; компания сейчас внедряет датчики на уровне стоек, которые обнаруживают потребление энергии на миллисекундном уровне на GPU, находящихся в её собственности и у партнеров по разработке. Цель — понять конкретные энергетические профили различных задач глубокого обучения и разработать методы их смягчения, которые позволят центрам обработки данных раскрыть больше своего существующего потенциала.
Естественно, инженеры планируют создать модель ИИ на основе собранных данных, чтобы обучить её предсказывать и синхронизировать энергетические нагрузки по всему центру обработки данных — своего рода «копилот» для инженеров центров обработки данных. Niv-AI планирует запустить рабочую систему в нескольких центрах обработки данных в США в течение следующих шести-восьми месяцев.
Это привлекательная идея, поскольку гипермасштабные компании, стремящиеся строить новые центры обработки данных, сталкиваются с трудностями в использовании земель и цепочках поставок. Основатели видят свой конечный продукт как недостающий «интеллектуальный слой» между центрами обработки данных и электросетью. «Сеть на самом деле опасается, что центр обработки данных будет потреблять слишком много энергии в определенный момент времени», — сказал Тимор в интервью TechCrunch. «Проблема, которую мы рассматриваем, имеет две стороны. Одна из них — помочь центрам обработки данных использовать больше GPU и, возможно, лучше использовать ту энергию, за которую они уже платят. С другой стороны, вы можете создать гораздо более ответственные энергетические профили между центрами обработки данных и сетью».