Яндекс завершил разработку первой версии единой нейросетевой модели Alice AI ART 2.0. Главная особенность продукта — способность одинаково качественно создавать изображения с нуля и вносить в них правки по текстовым инструкциям пользователя. Раньше за эти сценарии отвечали независимые модели, которые требовалось обучать по отдельности.

Как пояснили в компании, до сих пор генерация и редактирование изображений существовали в виде двух изолированных технологических стеков, каждый из которых располагал собственными наборами данных, метриками и регламентами дообучения. Любое улучшение приходилось внедрять раздельно для каждой системы. Переход на общую архитектуру позволил объединить обе функциональности, благодаря чему знания, накопленные при обучении генерации, автоматически применяются и при редактировании.

Разработчики особенно подчёркивают, что эффект от такого объединения заметен на редких визуальных концептах. Если модель научилась создавать по текстовому запросу изображения с элементами хохломской росписи или самоварами, то те же объекты она сможет корректно дорисовывать и при редактировании уже существующих картинок.

В архитектуру Alice AI ART 2.0 встроен специальный модуль, преобразующий краткий пользовательский запрос в подробное описание задачи для основной модели. По подсчётам компании, это решение подняло точность редактирования примерно на 12%, при том что сама генеративная модель не менялась.

Особое внимание уделили работе с текстом внутри изображений. Для обучения модели подготовили специализированные датасеты на русском и английском языках, что повысило качество генерации надписей. На данный момент Alice AI ART 2.0 уже применяется в приложениях «Алиса AI» и «Шедеврум».

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *