«Вам это понравится». Как работают алгоритмы рекомендаций

Они знакомят покупателя с товарами и услугами, которые он ещё не покупал, но которые скорее всего ему понравятся. Они — это рекомендательные системы, или алгоритмы рекомендаций. В этой статье расскажем, как устроена «Моя волна» Яндекс Музыки и как онлайн площадки повышают средний чек, играя на предпочтениях пользователей.

Программы, которые предлагают товары, услуги или контент пользователям, называются рекомендательными системами (в англоязычных источниках — recommendation systems). Их главная цель — качественно угадывать интересы пользователей.

Лучше всего работают персонализированные рекомендации, которые учитывают интересы и предпочтения каждого сегмента аудитории. Для их создания используются огромные объемы данных из миллионов записей из базы онлайн-сервиса или интернет-магазина. Машинное обучение помогает анализировать их и выявлять закономерности, чтобы сделать пользователю предложение, от которого невозможно отказаться.

Рекомендация или поиск?

У поисковых систем и рекомендательных алгоритмов много внешнего сходства. Они даже используют аналогичные механики работы. Но главное различие между ними кроется в прямом запросе от пользователя: в поиске он всегда есть, а в алгоритмах — нет. Рекомендации опираются лишь на предыдущие действия пользователя и пытаются, используя эту информацию, предугадать его неявные интересы.

Рекомендательные системы находят применение во многих сферах, таких как электронная коммерция, онлайн-сервисы, социальные сети и др. Они заботятся о пользователях: помогают найти наиболее подходящие товары, фильмы, музыку, статьи или другие объекты на основе их предпочтений и поведения.

В двух словах: рекомендательные системы повышают удовлетворенность пользователя и помогают ему получить от шопинга больше. А интернет-магазины и другие онлайн-сервисы могут с их помощью больше зарабатывать. Причём не только прямыми продажами: хорошо подобранные рекомендации повышают лояльность клиентов, что приводит к росту доходов.

А теперь подробнее, какие технологии здесь применяются и почему рекомендации сегодня действительно важны.

С рекомендациями легко находить товары, сервисы, фильмы, музыку и другой контент, который лучше соответствует предпочтениям и интересам пользователя. С их помощью клиенты расширяют свои интересы и открывают новое. Примеры: подписчик сервиса для просмотра фильмов может получить рекомендацию о сериале, который он бы сам не выбрал, но который понравится ему. Рекомендательные системы позволяют пользователям открывать для себя не только новый видеоконтент, но и новые жанры музыки, стили моды, бренды одежды.

Благодаря алгоритмам рекомендаций мы не тонем в море контента, а можем быстро найти интересную информацию, видео, музыку, товары и идеи.

Разумеется, есть и минусы. Некоторым «умные ленты» и подборки товаров кажутся навязчивыми и вызывают скорее негатив, и они предпочли бы отключить эту функцию.

Говорят и про «глобальный вред» алгоритмов. Некоторые исследователи считают, что рекомендательные системы делают людей зависимыми: потребители привыкают опираться на них при подборе книг, кино или аналитических статей и теряют интерес к миру за пределами своего «пузыря рекомендаций». А также навык по самостоятельному поиску контента. Это особенно касается стриминговых сервисов и соцсетей. В итоге у людей формируется однобокое мировоззрение, которое не учитывает другие точки зрения или типы эстетики. Примеры: сторонник теории плоской земли будет получать новые и новые видео с доказательствами, что мы живём на огромном диске, но никогда не услышит критику своей теории. Разработчики рекомендательных систем знают об этой проблеме и стараются ей противостоять: делают алгоритмы более сложными и закладывают больше факторов для анализа, чтобы новый контент отличался от уже показанного.

Рекомендательные системы помогают сервисам зарабатывать больше, повышать конверсию и оптимизировать затраты.

1. Увеличение продаж. Рекомендации помогают предлагать клиентам товары или услуги, которые им могут понравиться, увеличивая вероятность покупки и средний чек.

2. Улучшение пользовательского опыта. Пользователи получают персонализированные рекомендации, что делает их взаимодействие с платформой более удобным и приятным.

3. Удержание клиентов. Персональные предложения повышают удовлетворенность клиентов, а значит, и их лояльность. Шансы того, что клиент уйдёт к конкурентам, снижаются.

4. Сокращение сессии. Рекомендательные системы помогают сузить выбор и ускорить процесс принятия решения, что особенно важно в онлайн-торговле.

Минус заключается в том, что для внедрения хорошего рекомендательного алгоритма нужны ресурсы. Но при этом правильно настроенная и обновляемая рекомендательная система может стать сильным конкурентным преимуществом для любого сервиса или платформы. Поэтому важно решать эту задачу рационально, тщательно рассчитав бюджет и прибыль от использования.

Одни сайты угадывают вкусы пользователя лучше других: это наверняка заметил каждый, у кого есть опыт покупок или подписок в интернете. Причина в том, что «под капотом» алгоритмов рекомендаций лежат разные механизмы работы.

Персонализированные рекомендательные системы (personalized recommendation) анализируют профиль пользователя и его предпочтения. Они предлагают рекомендации, учитывая историю просмотров, покупок или оценок.

Неперсонализированные рекомендательные системы не собирают и не обрабатывают все эти данные. Они предлагают рекомендации на основе общих паттернов или популярности предметов покупки, основанные на количестве просмотров, продаж или оценок.

Персонализированные системы позволяют предлагать более релевантные рекомендации, учитывая индивидуальные интересы пользователей, но для их работы требуется больше данных и вычислительных ресурсов.

Неперсонализированные системы проще запустить: они не требуют больших объемов данных. Но их рекомендации могут хуже попадать в цель.

Что выбрать? Решение зависит от бизнес-целей, бюджета, сферы применения и технических особенностей платформы.

В разных источниках выделяют от 2 до 6 основных типов таких алгоритмов, нам кажется наиболее логичным деление на две группы: фильтрация по содержанию и коллаборативная фильтрация.

Фильтрация по содержанию. Система анализирует определенные характеристики товаров и услуг для формирования рекомендаций. Например, если вы купили сыворотку для чувствительной кожи лица на маркетплейсе, алгоритмы предложат купить крем для кожи от этого же бренда или похожую сыворотку от других производителей.

Коллаборативная фильтрация. Алгоритм подбирает продукты, популярные среди пользователей с похожими предпочтениями, но ещё не известные конкретному покупателю. Например, вы купили крем для чувствительной кожи лица, а алгоритмы предложили вам успокаивающую маску и гипоаллергенную тушь. Это случилось потому, что такие продукты выбирали другие люди, купившие этот крем.

Существуют системы, сочетающие в себе несколько алгоритмов для улучшения качества и точности рекомендаций.

Мы живём в век персональных рекомендаций, но другой тип алгоритмов тоже можно встретить на многих платформах: это доступное и быстрое во внедрении решение, которое хорошо работает. Какие неперсонализированные алгоритмы бывают:

1. Популярные товары. Алгоритм основывается на количестве продаж каждого товара и может быть полезен для новых клиентов, которые не знают, что искать.

2. Связанные (сопутствующие) товары. Например, если клиент выбрал куртку, то ему могут быть предложены шарфы или перчатки.

3. Случайные товары. Такие рекомендательные системы полезны для клиентов, которые ищут что-то новое и необычное, и хорошо работают в небольших магазинах с узкой ЦА.

4. Товары той же цены. Система подбирает товары в определенном ценовом диапазоне.

Некоторые сайты используют несколько рекомендательных систем, чтобы получить от их соединения максимальный эффект. Один из ярких примеров — Яндекс.Музыка.

Важная функция этого стримингового сервиса — знакомить слушателей с новыми треками, исполнителями и жанрами. Ведь «музыка» позиционирует себя как платформа для продвижения музыкантов, а это значит, новые релизы должны находить своих слушателей.

Фичи Яндекс Музыки, в которые встроены алгоритмы рекомендаций:

Как рассказывают разработчики о технологиях, при настройке алгоритмов рекомендаций они столкнулись с челленджами. Это было взаимодействие с новыми пользователями, о которых еще ничего не известно, и продвижение треков, которые еще не успели завоевать популярность. Чтобы с ними справиться, использовали анкетирование пользователей и комбинацию разных алгоритмов, а также инновацию Яндекса — спектральный анализ мелодий.

При регистрации в Яндекс. Музыка новым пользователям предлагается выбрать любимые жанры и исполнителей, чтобы рекомендательные системы могли подобрать для них треки.

По мере того как пользователь взаимодействует с Яндекс Музыкой, ставит лайки, переслушивает или проматывает треки, приложение основывается на этих знаниях и подстраивает рекомендации: определяет, какие станции актуальны, и начинает их предлагать. Здесь подключаются принципы коллаборативных фильтраций, и в рекомендациях выдаются треки, популярные среди пользователей с похожими предпочтениями.

Но как рекомендовать новые треки, если их ещё никто не слышал? Если делать это случайным образом, сложно попасть в цель: мало кто будет доволен, если в его плейлисте вдруг появится жесткий индастриал.

Частично проблему решают метаданные трека. Можно рекомендовать трек, у которого указан жанр «индастриал», если пользователь слушает много треков этого жанра. Но сложность в том, что стили современной музыки — субъективное понятие, и сторонники «олдскульного» индастриала вряд ли оценят релиз из новой волны.

Поэтому в Яндекс. Музыке создали алгоритм обучения нейросети, основанный на спектрограммах песен. Программа получает векторные представления треков и анализирует их: машинное обучение прошло на спектрограммах тысячи треков с достаточным количеством обратной связи. В результате получается предсказывать, каким пользователям понравится трек. Этот метод позволил Яндексу улучшить рекомендации.

Благодаря продвинутым рекомендательным системам количество новых треков в Музыке увеличилось в два раза. Теперь пользователи теперь тратят больше времени на прослушивание музыки, а число дизлайков и жалоб на треки сократилось на 7,5%.

Как оценить работу алгоритма, если на вас не работают аналитики Яндекса? Рассказываем про методы, которые применяются чаще всего.

1. Ретроспективная оценка. Её можно применить, если у компании есть история взаимодействия пользователя с продуктами за месяц. Для оценки сравнивают продукты, выбранные пользователями за последнюю неделю, и рекомендации, предложенные нейросетью: если совпадений много, то алгоритм угадывает достаточно точно.

2. Эксперименты с AB-тестами. Здесь важно, чтобы результаты тестов отражали бизнес-цели компании. Например, должен ли пользователь видеть новые продукты в рекомендациях (как у Яндекс Музыки) или просматривать больше релевантных продуктов, как на маркетплейсах?.. Особое внимание следует уделить количеству продуктов, которые рекомендуют, и заинтересованности клиентов в этих моделях.

Создать рекомендательные системы, точные на 100%, как и точно оценить эффект от работы алгоритмов, невозможно, потому что оценки пользователей всегда субъективны. Сложно также найти правильный баланс по новому контенту в рекомендациях: слишком смелые предложения будут отталкивать, а слишком предсказуемые — покажутся скучными. Но если регулярно собирать обратную связь, следить за метриками и корректировать стратегию, вы обязательно придёте к успеху.

1. Алгоритмы рекомендаций знакомят покупателя с товарами и услугами, которые он ещё не покупал, но которые скорее всего ему понравятся. Их можно встретить в онлайн-сервисах, на маркетплейсах, стриминговых сервисах и онлайн-магазинах.

2. Лучше всего работают персонализированные рекомендательные системы (personalized recommendation system), которые учитывают интересы и предпочтения каждого сегмента аудитории. Примеры: Netflix, Яндекс Музыка, Авито.

3. С рекомендательными системами пользователям легко находить товары, сервисы, фильмы, музыку и другой контент на любых сайтах и в приложениях.

4. Бизнесу рекомендации нужны, чтобы больше зарабатывать, в том числе и не прямыми продажами, а повышая лояльность пользователей.

5. Рекомендации бывают персонализированные и неперсонализированные. В каждом типе выделяют несколько видов по принципу работы алгоритма.

6. Крупные онлайн-сервисы, такие как Яндекс Музыка, часто используют гибридные рекомендательные системы на основе нескольких алгоритмов.

7. Есть разные подходы оценки эффективных рекомендаций, в том числе гибридных, но на практике сложно сделать это с точностью 100%. Как и достичь максимальной эффективности. Ведь вкус и выбор пользователя — вещи очень субъективные.