Поисковые системы непрерывно усложняются. Некоторое время назад «Яндекс» и Google стали использовать в своих алгоритмах искусственный интеллект, что в корне изменило подход к SEO. Рассказываем, что это значит и как адаптироваться к новым требованиям.
Что такое искусственный интеллект
Искусственный интеллект (artificial intelligence, AI) — это свойство технических или программных систем выполнять творческие функции, которые присущи человеку. Одна из основных задач ИИ — понимание человеческого интеллекта.
Выделяют 3 вида искусственного интеллекта:
Выделяют 3 вида искусственного интеллекта:
•
Ограниченный (Artificial Narrow Intelligence, ANI) — ИИ, который создан для решения конкретных задач. Например, угадывать изображения, играть в шахматы.
•
Общий (Artificial General Intelligence, AGI) — универсальный искусственный интеллект, который находится на одном уровне с человеческим и способен решать множество разнообразных задач.
•
Искусственный суперинтеллект (Artificial Superintelligence, ASI) — сверхинтеллект, который превосходит уровень отдельного человека или всего человечества.
На данный момент все существующие формы искусственного интеллекта — ограниченные. То есть способны решать исключительно конкретные, прикладные задачи и не могут соревноваться с человеческим разумом в универсальности.
Между тем, ИИ уже широко используется. Как указывает Google в своем блоге, корпорация применяет искусственный интеллект в следующих сервисах:
Между тем, ИИ уже широко используется. Как указывает Google в своем блоге, корпорация применяет искусственный интеллект в следующих сервисах:
•
Переводчике Google — для прямого перевода.
•
Почте Gmail — в блокировщике спама и при написании текста писем.
•
Голосовом помощнике Google Assistant — для распознавания речи.
•
Google Photo — для распознавания изображений.
•
YouTube — для рекомендаций видеороликов.
Разработки ИИ на основе глубокого обучения начались еще в 2011 году в проекте Google Brain. Например, в 2012 году нейронная сеть из 16 000 компьютеров научилась распознавать на изображениях котов.
В России искусственный интеллект использует «Яндекс» — для предсказания погоды, управления беспилотными автомобилями, написания стихов и музыки, распознавания изображений и речи; в голосовом помощнике «Алиса», мультимедийном устройстве «Яндекс.Станция», и, конечно, в алгоритмах поиска.
В России искусственный интеллект использует «Яндекс» — для предсказания погоды, управления беспилотными автомобилями, написания стихов и музыки, распознавания изображений и речи; в голосовом помощнике «Алиса», мультимедийном устройстве «Яндекс.Станция», и, конечно, в алгоритмах поиска.
Эволюция поисковых систем
Поисковые системы развивались по мере роста количества документов в интернете. Чем больше их становилось, тем заметнее увеличивалась сложность алгоритмов. Сначала поисковики просто искали страницы, затем решали задачи, а теперь становятся постоянными помощниками.
Этапы развития поисковых систем:
Этапы развития поисковых систем:
Наивный поиск
Первоначально работал только поиск слов, так называемый инвертированный индекс. Но количество страниц увеличивалось и их стало необходимо ранжировать. Пришлось учитывать частоту слов, их важность в контексте документа с помощью статистической меры tf-idf.
Ссылочное ранжирование
Когда страниц стало еще больше, к системе ранжирования подключили учет важности страницы в зависимости от качества и количества ссылок на нее — PageRank.
Машинное обучение
В поисковых алгоритмах машинное обучение начали использовать в начале 2000-х. В «Яндексе» это была система «Матрикснет», которая обучалась на основе образцов, составленных специальными людьми — асессорами. В 2017 году «Яндекс» перешел на новую систему машинного обучения — Cat Boost, он дает более точные результаты в задачах ранжирования.
Обе системы используют технологию градиентного бустинга — метод машинного обучения для регрессии и классификации проблем. Метод производит модели прогнозирования в виде дерева решений. Это позволяет обрабатывать разнородные данные, поэтому можно использовать системы сразу в нескольких направлениях: например, в прогнозе погоды, навигаторе, блокировке спама и т.д.
У классического машинного обучения есть определенные ограничения — оно эффективно только при большом количестве данных. Метод отлично работает, когда пользователи запрашивают миллионы и тысячи одинаковых запросов, то есть когда сигнал очень явный и мощный. Однако поиск развивается в сторону уникальных, низкочастотных и многословных запросов.
Обе системы используют технологию градиентного бустинга — метод машинного обучения для регрессии и классификации проблем. Метод производит модели прогнозирования в виде дерева решений. Это позволяет обрабатывать разнородные данные, поэтому можно использовать системы сразу в нескольких направлениях: например, в прогнозе погоды, навигаторе, блокировке спама и т.д.
У классического машинного обучения есть определенные ограничения — оно эффективно только при большом количестве данных. Метод отлично работает, когда пользователи запрашивают миллионы и тысячи одинаковых запросов, то есть когда сигнал очень явный и мощный. Однако поиск развивается в сторону уникальных, низкочастотных и многословных запросов.
Искусственный интеллект в алгоритмах поиска
Искусственный интеллект базируется на достижениях машинного обучения. Разработки в этом направлении велись еще с 2013 года, когда были проведены первые исследования возможностей системы Word2Vec для семантического анализа.
На базе этой программы в Google была создана самообучающаяся система с искусственным интеллектом — Rank Brain. Запуск был утвержден 26 октября 2015 года. Цель алгоритма — уяснить смысл текста, отыскивая связи между отдельными словами.
Rank Brain является частью алгоритма Hummingbird («Колибри») в Google. Когда система встречает незнакомые слова, она ищет подсказки и синонимы по запросу. Найденные аналогии становятся основой для фильтрации данных. На данный момент Rank Brain является одним из трех важнейших критериев оценки страницы, наряду со ссылками и текстом.
В 2016 году «Яндекс» объявил о запуске нового алгоритма «Палех», который работает на основе нейросетей. Алгоритм позволил лучше искать страницы, которые соответствуют запросу не только по ключевым словам, но и по смыслу. «Палех» анализирует заголовки страниц и извлекает из них скрытые семантические связи.
Развитием технологии стал алгоритм «Королев», о введении которого объявили 22 августа 2017 года. В отличие от «Палеха», «Королев» сравнивает семантические векторы запросов и страниц целиком, а не только заголовков. При этом, помимо нейросетей, здесь задействовано машинное обучение на основе поведения людей. В роли асессоров выступают миллионы обезличенных пользователей.
Все алгоритмы имеют схожую схему работы и 1 задачу — улучшить понимание сложных и многословных запросов.
На базе этой программы в Google была создана самообучающаяся система с искусственным интеллектом — Rank Brain. Запуск был утвержден 26 октября 2015 года. Цель алгоритма — уяснить смысл текста, отыскивая связи между отдельными словами.
Rank Brain является частью алгоритма Hummingbird («Колибри») в Google. Когда система встречает незнакомые слова, она ищет подсказки и синонимы по запросу. Найденные аналогии становятся основой для фильтрации данных. На данный момент Rank Brain является одним из трех важнейших критериев оценки страницы, наряду со ссылками и текстом.
В 2016 году «Яндекс» объявил о запуске нового алгоритма «Палех», который работает на основе нейросетей. Алгоритм позволил лучше искать страницы, которые соответствуют запросу не только по ключевым словам, но и по смыслу. «Палех» анализирует заголовки страниц и извлекает из них скрытые семантические связи.
Развитием технологии стал алгоритм «Королев», о введении которого объявили 22 августа 2017 года. В отличие от «Палеха», «Королев» сравнивает семантические векторы запросов и страниц целиком, а не только заголовков. При этом, помимо нейросетей, здесь задействовано машинное обучение на основе поведения людей. В роли асессоров выступают миллионы обезличенных пользователей.
Все алгоритмы имеют схожую схему работы и 1 задачу — улучшить понимание сложных и многословных запросов.
Как изменилось SEO
Внедрение искусственного интеллекта полностью изменило поисковую выдачу и правила игры SEO.
Преимущества:
Преимущества:
•
Повысилась точность выдачи по редким и низкочастотным запросам — поисковики понимают простой человеческий язык.
•
В выдаче лидируют более качественные ресурсы — спам и переоптимизация ключевыми словами теперь приводит лишь к попаданию под фильтры.
•
Отпала необходимость в SEO-текстах — теперь нужно отталкиваться от нужд пользователя. Чтобы оптимизировать текст под запросы, стоит использовать LSI-копирайтинг.
Пример расшифровки запроса на простом языке — «Яндекс» сразу предлагает готовый ответ.
Искусственный интеллект поисковых систем еще развивается и имеет ряд недоработок:
•
Размытые результаты поиска — в случае многозначности смысла, робот не может точно определить нужный контекст и поэтому предлагает сразу несколько вариантов.
•
Непрозрачная система ранжирования — пользователь не может уточнить область поиска с помощью подбора словосочетаний, поиск все равно покажет то, что считает нужным.
•
Нетематические ресурсы в выдаче — зачастую в выдаче присутствуют сайты, которые не относятся к теме запроса или на них размещен контент низкого качества.
Пример, когда по информационному запросу «телефоны Москвы» выдаются коммерческие страницы. Пользователь ищет справочник телефонов в Москве, а ему предлагают купить аппарат.
Помимо органической выдачи, искусственный интеллект теперь используется для подбора целевой аудитории и поисковых запросов в контекстной рекламе. В «Яндекс.Директ» эта функция получила название «Автотаргетинг». Кроме того, тестируется автоматическое создание текстов объявлений на основе контента посадочных страниц и сайтов.
Подобный механизм есть в Google AdWords Express и Google AdWords — платформа сама подбирает ключевые запросы и генерирует объявления, исходя из текста и картинок на сайте. Подобные функции были введены для упрощения работы с рекламными системами.
Более того, ИИ уже выходит в офлайн. Недавно «Яндекс» сообщил о запуске продаж рекламы на цифровых билбордах. Алгоритмы распознавания лиц используются, чтобы таргетировать рекламные сообщения на целевую аудиторию.
Новейший пример использования ИИ в рекламе — платформа AstraOne, которая встраивает рекламу непосредственно в изображения на сайте. При этом она учитывает общий контекст страницы: распознает текст и изображения — это позволяет попасть точно в целевую аудиторию.
Подобный механизм есть в Google AdWords Express и Google AdWords — платформа сама подбирает ключевые запросы и генерирует объявления, исходя из текста и картинок на сайте. Подобные функции были введены для упрощения работы с рекламными системами.
Более того, ИИ уже выходит в офлайн. Недавно «Яндекс» сообщил о запуске продаж рекламы на цифровых билбордах. Алгоритмы распознавания лиц используются, чтобы таргетировать рекламные сообщения на целевую аудиторию.
Новейший пример использования ИИ в рекламе — платформа AstraOne, которая встраивает рекламу непосредственно в изображения на сайте. При этом она учитывает общий контекст страницы: распознает текст и изображения — это позволяет попасть точно в целевую аудиторию.
Искусственный интеллект уже встроен в механизмы поисковых систем и в будущем его роль будет только расти. Помимо оценки текста, ИИ применяется для распознавания речи, изображений и видео, перевода страниц, оценки качества ссылок и изучения поведения пользователей.
Это значит, что SEO-специалистам нужно работать над сайтом комплексно.
Качество поиска растет, а вместе с ним — требования к сайтам. Можно прогнозировать, что влияние ИИ будет только увеличиваться — уже сейчас он используется для маркетинга, а в перспективе может быть использован в разработке и дизайне сайтов.
Качество поиска растет, а вместе с ним — требования к сайтам. Можно прогнозировать, что влияние ИИ будет только увеличиваться — уже сейчас он используется для маркетинга, а в перспективе может быть использован в разработке и дизайне сайтов.
•
Оптимизировать сайт под голосовой поиск.
•
Адаптировать сайт под мобильную выдачу.
•
Для наращивания ссылочной массы использовать крауд-маркетинг и outreach.
•
Оптимизировать изображения и видео для быстрого поиска.
•
Увеличивать количество автоматизированных процессов.
•
Глубоко прорабатывать каждую нишу: искать запросы, синонимы, изучать конкурентов.
Будущее поисковых алгоритмов будет состоять в понимании интента (смысла) запроса пользователей. И чем дольше обучается ИИ поисковых систем, тем точнее он будет подбирать вам максимально подходящие результаты, несмотря на огрехи в текущей реализации.
Раскрывайте темы ваших материалов глубоко, охватывая как можно больше релевантной семантики под страницы. Чем полнее ваш сайт наполнен качественными экспертными публикациями, тем выше шанс, что он получит трафик с умными алгоритмами от «Яндекс» и Google.
Раскрывайте темы ваших материалов глубоко, охватывая как можно больше релевантной семантики под страницы. Чем полнее ваш сайт наполнен качественными экспертными публикациями, тем выше шанс, что он получит трафик с умными алгоритмами от «Яндекс» и Google.
Дмитрий Щербаков
менеджер проектов Uplab
