Ваш купон на скидку:
Исследовательская лаборатория Группы «Т-Технологии» представила две новые разработки, нацеленные на снижение объемов вычислений при обучении искусственного интеллекта без ухудшения его эффективности. Об этом редакции CNews рассказали представители «Т-Банка». Созданные алгоритмы получили названия LIMe и KronSAE, а их исходный код уже опубликован в открытом доступе на GitHub.
Первая разработка, получившая название LIMe (Layer-Integrated Memory), представляет собой механизм, дающий слоям трансформера доступ к данным из предыдущих этапов обработки. В основе архитектуры трансформеров лежит передача числовых представлений текста от одного слоя к другому, однако по мере прохождения через сеть эти представления могут излишне сближаться, стирая важные различия между токенами и ухудшая многошаговые рассуждения. Для решения этой проблемы LIMe внедряет в блок обработки специальный маршрутизатор, который отбирает нужную информацию с ранних этапов, позволяя повторно задействовать результаты вычислений без наращивания размеров внутренних представлений и экономя 15% вычислительных мощностей.
Вторая разработка, KronSAE, представляет собой новый тип архитектуры разреженных автоэнкодеров (SAE), предназначенных для анализа внутренней структуры языковых моделей и выявления отдельных признаков, распознаваемых нейросетью. В отличие от стандартных аналогов, эта архитектура строит признаки из комбинаций базовых компонентов, что дает возможность эффективнее учитывать связи между ними и повышать общую интерпретируемость. Данный подход сокращает число вычислительных операций, требуемых для выделения признаков, более чем на 40% по сравнению с популярным методом TopK SAE.
В ходе практической проверки LIMe тестировался на языковых моделях с объемом около 1 млрд параметров в сравнении с архитектурами LLaMA, DenseFormer и HyperConnections на задачах математического характера и многошаговых рассуждений. Эксперименты показали, что LIMe снижает затраты вычислений на 15% для достижения показателей базовой модели LLaMA, улучшая при этом генерацию текста. Наибольший прирост качества зафиксирован на синтетических арифметических тестах, где критически важна точность различий между числовыми представлениями, а также на глубоких архитектурах с большим количеством слоев.
В свою очередь, KronSAE проходил испытания на моделях Qwen2.5-1.5B-Base и Gemma-2-2B, продемонстрировав улучшение анализа информации и сокращение вычислительных затрат более чем на 40% относительно метода TopK SAE. Руководитель лаборатории научных исследований искусственного интеллекта «Т-Банка» Даниил Гаврилов отметил, что с развитием языковых систем критически важным становится рост их качества и прозрачности обработки информации, а метод LIMe работает по принципу командного проекта, где участники могут обращаться к любым ранее созданным промежуточным материалам, что позволяет эффективнее использовать данные внутри нейросети и закладывает основу для создания более понятных ИИ-решений.
Сфера применения новинок разделена по задачам: LIMe предназначен для исследовательских команд, занимающихся созданием и обучением больших языковых моделей для многошаговых рассуждений, тогда как KronSAE ориентирован на специалистов, исследующих внутренние процессы и взаимосвязи признаков внутри нейросетей.