Купон на скидку: 2026
Исследователи лаборатории научных исследований группы «Т-Технологии» сравнили методы дообучения больших языковых моделей, которые учатся на заранее подготовленных парах ответов, и показали, что главный фактор качества — тип ранжирования ответов: попарный, когда модель сразу видит два ответа на один запрос и сравнивает их, или поточечный, когда модель оценивает каждый ответ отдельно. Команда разработала единый подход, который позволяет сравнивать методы дообучения в одинаковых условиях и точнее оценивать, какие факторы влияют на качество модели. Для того чтобы языковая модель лучше следовала предпочтениям человека, разрабатывают разные подходы к дообучению. Один из них — алгоритмы прямого выравнивания, например, DPO, ORPO, SimPO, IPO. Такие алгоритмы упрощают классический процесс дообучения и сразу учат модель выбирать более точный и полезный ответ из пары. За последние годы появилось множество похожих методов, и сравнивать их напрямую стало сложно: в них используются разные этапы обучения, настройки и способы сравнения ответов.
Исследователи из «Т-Технологий» разработали единый подход, который приводит такие методы к сопоставимым условиям. Для этого они перевели одноэтапные методы ORPO и ASFT в двухэтапные: сначала модель проходит дообучение с учителем (supervised fine-tuning), то есть учится на качественных примерах, а затем отдельно проходит выравнивание, где учится выбирать лучший ответ из пары. Также исследователи ввели параметр β в методы ORPO и ASFT, где его раньше не было. Этот параметр регулирует силу дообучения на человеческих предпочтения и показывает, насколько сильно модель должна менять поведение, когда учится отличать удачный ответ от неудачного, что позволяет объективнее сравнивать методы между собой. Важно, что такая настройка не ослабляет ORPO и ASFT, а, наоборот, повышает их качество.
Эксперименты проводили на задачах краткого пересказа, следования инструкциям и математического рассуждения. В работе использовались модели Llama 3.2 3B, Llama 3.1 8B, Mistral 7B, Qwen 2.5 7B и Qwen 2.5 14B. Их обучали на данных Reddit TL;DR, UltraChat и UltraFeedback, а качество оценивали на AlpacaEval 2, ArenaHard, попарных сравнениях ответов с помощью более сильной модели и математических бенчмарках. В результате сравнения выяснилось, что многие заявленные преимущества алгоритмов выравнивания стираются, а главным фактором качества оказывается тип ранжирования: лучше себя показали методы, где модель напрямую сравнивает два ответа между собой и учится поднимать лучший выше худшего. Подходы, где модель отдельно повышает оценку хорошего ответа и отдельно снижает оценку плохого, чаще уступали на задачах средней сложности. Например, на относительно простой задаче краткого пересказа Reddit TL;DR почти все методы показали одинаковое качество: большинство превысили 90% по GPT-4 Win Rate.
Исследователи показали, что настройка параметра β заметно повышает качество двухэтапных методов ORPO и ASFT. На задаче Reddit TL;DR прирост качества составил 7 и 43 процентных пункта по GPT-4 Win Rate для ORPO и ASFT соответственно, а на Llama 3.1 8B с UltraChat и UltraFeedback — 3,5 и 8,3 процентного пункта по AlpacaEval 2 LC WR. Также команда продемонстрировала, что для большинства методов не нужен полный объем данных для первичного дообучения. Уже 5–10% данных для дообучения с учителем на первой стадии позволяют достичь не менее 95% от результата, который модели показывают при использовании полного датасета. Исследователи создали единый подход, который впервые позволил объективно сравнивать методы дообучения, и объяснили, почему поточечные методы уступают попарным. Поточечные алгоритмы более чувствительны к смещениям, специфичным для отдельных промптов, и тратят вычислительный ресурс модели на их устранение. В результате при очень простых или очень сложных задачах различие между подходами сглаживается, а наиболее ощутимым оно становится на задачах средней сложности.
Результаты работы помогают инженерам и исследователям точнее выбирать алгоритмы дообучения языковых моделей. Это особенно важно для команд, которые создают узкоспециализированные языковые модели или ассистентов для прикладных задач, таких как следование инструкциям, краткий пересказ документов, математические рассуждения, генерация кода и другие сценарии, где модель должна выбирать наиболее качественный ответ. Благодаря выводу о том, что даже небольшой объем данных для дообучения может приводить к высокому качеству моделей, может снизиться стоимость экспериментов. Если модель получает не менее 95% результата даже на 5–10% данных для дообучения с учителем, исследователям не всегда нужно сразу собирать и размечать полный датасет, что ускоряет проверку гипотез.