Исследователи из «Яндекса» разработали новый метод, который улучшает работу рекомендательных систем, делая их более точными в понимании предпочтений пользователей, будь то товары или контент.
Они внедрили дополнительную корректировку в процесс обучения моделей, что, по результатам внутренних тестов, повысило точность рекомендаций на 7% в среднем. «Яндекс» планирует использовать этот метод для обучения своих рекомендательных систем, включая сервис «Маркет».
Новый подход может быть полезен и другим компаниям, а также независимым разработчикам, работающим с рекомендательными системами в различных сферах, таких как социальные сети, интернет-магазины или стриминговые сервисы.
Рекомендательные системы обрабатывают огромное количество объектов, включая тексты, аудио, видео и товары, что требует значительных вычислительных ресурсов.
Обучение моделей также требует обработки миллионов примеров, что делает процесс ресурсоёмким.
Для оптимизации этого процесса применяются различные методы, такие как sampled softmax, который заменяет сложные расчёты более простыми.
Этот метод обучает систему различать предпочтения пользователей, сравнивая положительные действия (например, добавление товара в корзину) с отрицательными (например, просмотр без добавления).
Однако sampled softmax может привести к ошибкам в обучении из-за некорректного учёта вероятностей.
Чтобы избежать этого, была разработана обновлённая формула пересчёта вероятностей — LogQ.
Она учитывает, что положительные и отрицательные примеры попадают в данные по-разному, и корректирует оценки, делая модель более объективной.
Это позволяет модели лучше понимать предпочтения пользователей и давать более точные рекомендации.
Компании и разработчики могут применять новую формулу для обучения своих рекомендательных систем без необходимости изменения архитектуры моделей.