Инференс — это постоянное использование моделей, то есть то, что происходит после того, как пользователи отправляют запросы. Как и следовало ожидать, компания демонстрирует впечатляющие характеристики производительности для этих новых TPU по сравнению с предыдущими поколениями: до 3 раз быстрее обучение моделей ИИ, на 80% лучше производительность на доллар и возможность объединить более 1 миллиона TPU в единый кластер. Это должно привести к значительно большему объему вычислений при меньшем потреблении энергии и снижении затрат для клиентов по сравнению с предыдущими версиями. Эти чипы называются TPU, а не GPU, потому что их низкопотребляющие чипы изначально были названы Tensor. Однако чипы Google не являются полной атакой на будущее Nvidia, по крайней мере, пока. Как и другие крупные облачные провайдеры, включая Microsoft и Amazon, Google использует эти чипы для дополнения систем на базе Nvidia, которые она предлагает в своей инфраструктуре. Полной замены Nvidia не происходит. Более того, Google обещает, что в ее облаке будет доступен последний чип Nvidia, Vera Rubin, позже в этом году.
Возможно, в будущем гипермасштабные компании, создающие свои собственные чипы для ИИ (включая Amazon, Microsoft и Google), смогут меньше нуждаться в Nvidia, поскольку предприятия перемещают свои потребности в ИИ в облака и адаптируют свои приложения под эти чипы. Тем не менее, на данный момент невыгодно ставить против Nvidia. Известный аналитик рынка чипов Патрик Мурхед в шутку написал в X, что он предсказывал, что TPU от Google может стать плохой новостью для Nvidia (и Intel) еще в 2016 году, когда поисковый гигант запустил свой первый чип. Сейчас Nvidia — это компания с рыночной капитализацией почти 5 триллионов долларов, что означает, что это предсказание не выдержало испытания временем.
Если все пойдет по плану Nvidia, рост Google как облачного провайдера ИИ приведет к увеличению бизнеса для производителя чипов, а не к его уменьшению, даже если многие рабочие нагрузки будут выполняться на чипах Google. Более того, Google также заявила, что согласилась работать с Nvidia над разработкой компьютерных сетей, которые позволят системам на базе Nvidia работать еще более эффективно в ее облаке. В частности, два технологических гиганта работают над усилением программно-определяемой сетевой технологии под названием Falcon, которую Google создала и открыла в 2023 году в рамках Open Compute Project — организации, занимающейся открытыми аппаратными решениями для дата-центров.