Microsoft Research выпустил Orca 2 LLM, способный конкурировать с производительностью более крупных моделей.
Возможно, Microsoft сотрудничала с OpenAI и его крупными моделями языка GPT для создания генеративных ИИ-сервисов, таких как Copilot (ранее известный как Bing Chat). Тем не менее, компания также работает над своими языковыми моделями. На этой неделе Microsoft Research объявила о выпуске Orca 2, второй версии своего языкового инструмента Orca.
В блоге Microsoft говорится, что Orca 2 была разработана специально как более компактная языковая модель, способная отвечать на сложные вопросы, как и крупные языковые модели. Orca 2 поставляется в двух размерах (7 миллиардов и 13 миллиардов параметров) и частично была создана с использованием языковой модели Llama 2 LLM, которую компания помогла запустить в этом году с Meta. Компания настроила модель, основанную на Llama 2, “на настроенных, высококачественных синтетических данных”.
Microsoft утверждает, что благодаря этому Orca 2 может решать задачи на уровне производительности других языковых моделей размером “в 5-10 раз больше”. Они утверждают:
Orca 2 обучена на расширенном, тщательно настроенном синтетическом наборе данных. Обучающие данные генерировались таким образом, чтобы обучить Orca 2 различным методам рассуждения, таким как пошаговая обработка, воспоминание, затем генерация, воспоминание-рассуждение-генерация, извлечение-генерация и методы прямых ответов, обучая ее выбирать различные стратегии решения для разных задач. Модели Orca 2 были протестированы на нескольких более крупных языковых моделях, таких как Llama 2 и WizardLM, с использованием серии бенчмарков, охватывающих темы, такие как “понимание языка, разумное рассуждение, многозадачное рассуждение, решение математических проблем, понимание текста” и многое другое. В блоге говорится:
Наши предварительные результаты показывают, что производительность Orca 2 значительно превосходит модели схожего размера. Она также достигает уровней производительности, сравнимых или даже лучше, чем у моделей, по крайней мере, в 10 раз больших, демонстрируя потенциал оснащения более компактных моделей более высокой способностью к рассуждению.
Хотя Microsoft признала, что у Orca 2 есть ограничения, результаты тестирования пока что показывают “потенциал для будущих усовершенствований”. Microsoft выпускает Orca 2 как проект с открытым исходным кодом, чтобы другие также могли работать над ним.