Купон на скидку: 2026
Шон Шен считает, что для успешной работы в физическом мире искусственному интеллекту необходимо запоминать то, что он видит. Компания Шена Memories.ai использует инструменты искусственного интеллекта от Nvidia для создания инфраструктуры, которая позволит носимым устройствам и роботам запоминать и воспроизводить визуальные образы.
В понедельник на конференции GTC компания Memories.ai объявила о сотрудничестве с гигантом полупроводниковой промышленности Nvidia. Благодаря этому партнерству Memories.ai использует модель визуального восприятия Nvidia Cosmos-Reason 2 и приложение Nvidia Metropolis для поиска и обобщения видео, чтобы продолжать развивать свою технологию визуальной памяти.
Шэнь (на фото выше слева) рассказал TechCrunch, что он и его соучредитель и технический директор Бен Чжоу (на фото выше справа) придумали идею для компании, когда разрабатывали систему искусственного интеллекта для очков Ray-Ban от Meta. Работа над очками с искусственным интеллектом заставила их задуматься о том, как люди будут использовать эту технологию в реальной жизни, если не смогут воспроизводить записанные видеоданные.
Они огляделись по сторонам, чтобы понять, не создает ли кто-нибудь уже подобное решение для визуальной памяти ИИ. Не найдя никого, они решили выйти из Meta и создать его самостоятельно.
«Искусственный интеллект уже отлично зарекомендовал себя в цифровом мире. А как насчет физического мира? — спросил Шен. — Носимым устройствам с искусственным интеллектом и роботам тоже нужна память. … В конечном счете искусственный интеллект должен обладать визуальной памятью. Мы верим, что за этим будущее».
Способность систем искусственного интеллекта к запоминанию в целом появилась относительно недавно. В 2024 году компания OpenAI обновила ChatGPT, добавив в него функцию запоминания предыдущих диалогов, а в 2025 году доработала эту функцию. Компания Илона Маска xAI и Google Gemini за последние два года также запустили собственные инструменты для работы с памятью.
Однако, по словам Шена, эти достижения в основном связаны с текстовой памятью. Текстовая память гораздо более структурирована, и ее проще индексировать, но она не так полезна для физических систем искусственного интеллекта, которые в основном взаимодействуют с миром посредством зрения и визуальных образов.
По словам Шена, для успешного создания этого слоя визуальной памяти необходимы две вещи: инфраструктура, позволяющая встраивать видео и индексировать их в формате данных, которые можно хранить и воспроизводить, а также сбор данных, необходимых для обучения модели.
В июле 2025 года компания представила свою большую модель визуальной памяти (Large Visual Memory Model, LVMM). По словам Шена, ее можно сравнить с уменьшенной версией Gemini Embedding 2, мультимодальной модели индексирования и извлечения данных, которая была представлена ранее в этом месяце.
Для сбора данных компания создала LUCI — аппаратное устройство, которое носят «сборщики данных» компании и которое записывает видео для обучения модели. Шен сказал, что компания не планирует становиться производителем аппаратного обеспечения или продавать эти устройства, а создала их самостоятельно, потому что их не устраивали готовые видеорегистраторы, ориентированные на видео высокой четкости и потребляющие много энергии.
Компания выпустила второе поколение LVMM и заключила партнерское соглашение с Qualcomm, чтобы с конца этого года использовать процессоры Qualcomm.
По словам Шена, Memories.ai уже сотрудничает с некоторыми крупными компаниями, производящими носимые устройства, но он не стал раскрывать их названия. Несмотря на уже существующий спрос, Шен считает, что в сфере носимых устройств и робототехники впереди нас ждут еще более широкие возможности.
«Что касается коммерциализации, мы больше сосредоточены на модели и инфраструктуре, потому что в конечном счете, на наш взгляд, рынок носимых устройств и робототехники будет развиваться, но, скорее всего, не сейчас», — сказал Шен.