Алгоритмы Яндекса от Палеха до YATI: как поиск понимает смысл, а не ключи

Яндекс шёл от совпадения слов к сравнению смысла: Матрикснет собрал формулу ранжирования, Палех сравнил запрос с заголовком, Королёв — с текстом страницы, а YATI применил трансформер. Разберём, что менял каждый алгоритм и какие выводы из этого стоит сделать владельцу сайта. Главный вывод простой: страница должна решать задачу человека, а не повторять фразу из запроса.

Как Яндекс выбирает страницу из индекса

Сначала поиск отбирает кандидатов, потом упорядочивает их. На первом шаге долго работал простой принцип: в список предварительно подходящих попадали страницы, где есть слова из запроса. На втором включалась формула ранжирования.

Проблему видно на обычном примере. Человек пишет «фильм про человека который выращивал картошку на другой планете» и ждёт название. На нужной странице этих слов может не быть вообще.

Поэтому все алгоритмы из этой статьи решают одну задачу: как находить хороший ответ, когда он сформулирован другими словами. Яндекс добавлял к формуле смысловое сравнение и постепенно переносил его на более ранние этапы отбора.

Как сайт попадает в этот отбор, разобрано отдельно в материале про индексацию в Яндексе и Google. Если страницы нет в индексе, алгоритмы ранжирования до неё просто не дойдут.

Матрикснет: откуда взялась формула ранжирования

Матрикснет — метод машинного обучения, который Яндекс внедрил в 2009 году. С его помощью строится формула ранжирования. Это не отдельный фильтр и не набор правил для вебмастера.

Раньше признаков, по которым можно оценить страницу, стало так много, что прописать их вручную оказалось невозможно. Машина сама выбирает, какие признаки использовать и как их комбинировать.

Факт. Матрикснет строит формулу с десятками тысяч коэффициентов и позволяет настраивать её отдельно для узких классов запросов. Например, улучшить поиск по запросам о музыке, не ухудшив остальные.

Отсюда первый практический вывод. Один и тот же приём может работать по-разному на разных запросах: формулу настраивают под классы запросов. Советы вида «добавьте ключ в первый абзац, и позиции вырастут» этому не соответствуют.

Но Матрикснет не понимал смысл сам по себе. Он сочетал признаки, а отбор кандидатов всё ещё опирался на слова. Следующий шаг сделали нейросети.

Палех: запрос сравнили с заголовком

Яндекс запустил Палех в ноябре 2016 года. Название отсылает к Жар-птице с палехской миниатюры: её длинный хвост напоминал «длинный хвост» запросов.

Этот хвост — редкие и уникальные запросы. Тогда Яндекс отвечал примерно на 280 миллионов запросов в день, и уникальных и редких среди них было около ста миллионов. По таким запросам мало статистики поведения, и понять, какая страница подходит, намного труднее.

Нейросеть научили переводить заголовки веб-страниц и запросы в группы из трёхсот чисел — семантические векторы. Чем ближе вектор запроса к вектору заголовка, тем лучше страница подходит. Совпадение слов для этого не требуется: у запроса и страницы может не быть ни одного общего слова.

Обучали модель на парах «запрос — заголовок», которые подбирали по накопленной поисковой статистике.

Что это значит для заголовка? Он должен прямо говорить, что на странице. «Услуги» или «Наши решения» почти ничего не сообщают ни человеку, ни модели, которая сравнивает смысл. «Ремонт холодильников на дому» сообщает. О том, как собрать заголовки страницы, подробнее в разборе H1 и иерархии H1–H6.

Королёв: от заголовка к тексту страницы

Королёв вышел в августе 2017 года. Он сравнивает семантические векторы запросов и веб-страниц целиком, а не только их заголовков. Яндекс объяснял разницу на примере книги: по названию «Войны и мира» можно догадаться о батальных сценах, но сюжет известен только тому, кто прочитал роман.

Перевод текста в вектор требует много вычислений. Поэтому Королёв считает векторы страниц заранее, на этапе индексирования, а в момент запроса сравнивает готовые значения.

Такая схема изменила масштаб. В Палехе смысловой анализ был одним из завершающих этапов, и через него проходило всего 150 документов. В Королёве его проводят для 200 тысяч документов.

Есть и второе отличие. Алгоритм смотрит не только на текст, но и на другие запросы, по которым люди приходят на страницу. Так находятся дополнительные смысловые связи.

Обучается модель на обезличенной поисковой статистике: на какие страницы переходят по запросам и сколько времени там проводят. Если человек надолго остался на странице, вероятно, он нашёл ответ. Что о таких сигналах говорит сам Яндекс, разобрано в материале про поведенческие факторы.

Практический вывод: тонкий текст с хорошим заголовком вряд ли спасёт страницу. Если на странице услуги два абзаца общих слов, сравнивать почти нечего.

YATI: трансформер в ранжировании

YATI расшифровывается как Yet Another Transformer (with Improvements). Это нейросеть архитектуры «трансформер», похожая на другие модели этого класса, например BERT, но доработанная инженерами Яндекса под поиск. Такие модели лучше учитывают связи между словами в тексте.

Модель тяжёлая, поэтому её разделили: часть применяется к запросу, часть к документу, а финальная связывающая модель обрабатывает результат. Такая схема распределяет вычислительную нагрузку и позволяет сделать модель сложнее.

Факт. По словам разработчиков, YATI дал рекордные улучшения ранжирования за последние 10 лет. Палех и Королёв вместе повлияли на поиск меньше. Если выключить тысячи факторов и оставить только эту модель, качество по основной офлайн-метрике упадёт лишь на 4–5%.

Эти цифры относятся к офлайн-метрике Яндекса на его данных. Они не означают, что остальные факторы перестали работать: ссылки, техника и поведение никуда не делись. Они показывают другое: модель, которая понимает текст, стала очень сильным сигналом.

Чем отличаются Палех, Королёв и YATI?

Главное различие — что именно модель сравнивает с запросом и на каком этапе.

Новые алгоритмы не отменяли старые целиком. В 2017 году, уже после Палеха, Яндекс писал, что формулу ранжирования строит Матрикснет.

Мнение. Оптимизировать страницу «под YATI» или «под Королёва» не получится: у этих моделей нет чек-листа. Работает обратное — понять, какой вопрос приводит человека на страницу, и ответить на него лучше соседей по выдаче. Исключение — страницы, которых нет в индексе или которые не открываются: там сначала чинят технику.

Как Яндекс оценивает качество сегодня?

В справке для вебмастеров Яндекс описывает, чем измеряет результат. Изменения в алгоритмах оценивают две метрики.

Проксима оценивает качество страниц. Её строят из оценок асессоров и дополнительных сигналов. Она учитывает, среди прочего, релевантность запросу, вероятность решения задачи пользователя, оригинальность контента, баланс полезного и навязчивого и удобство потребления. В сложных тематиках, таких как медицина, право и финансы, добавляются сигналы об авторитетности автора.

Профицит оценивает полезность выдачи: насколько быстро человек решает задачу. Метрика растёт, если человек перешёл на сайт и долго не возвращался в поиск. Она падает, если человек быстро вернулся или пришлось переформулировать запрос.

Оценки асессоров не влияют на результаты поиска напрямую. Они помогают решить, нужно ли внедрять изменение, а потом его проверяют онлайн-экспериментом.

Ответы в поиске меняются и дальше. Как Яндекс собирает ответ над выдачей и откуда берёт источники, описано в статье про нейропоиск.

Что проверить на сайте

Все эти модели сводятся к нескольким вопросам к странице. Начните с тех, что приносят заявки, а не с блога.

• Заголовок. Он называет предмет страницы словами клиента, а не внутренним названием услуги.
• Первый экран текста. Человек сразу понимает, что здесь есть ответ на его вопрос.
• Полнота. Страница закрывает вопросы, которые возникают следом: состав работ, условия, порядок действий.
• Одна задача. На странице одна основная тема, а не перечень всего, что умеет компания.
• Навязчивость. Всплывающие окна и реклама не мешают читать.
• Отдельные страницы. Разные услуги описаны на разных страницах.

Если текст собран вокруг повторов ключевой фразы, не добавляйте к нему новые. Перепишите так, чтобы каждый абзац сообщал что-то новое. Запросы для такой работы удобно брать из семантического ядра: оно показывает, какими словами люди описывают задачу.

Есть случай, когда этот список не поможет. Если страница не индексируется или сайт отвечает ошибкой, начинать нужно с техники. Текст можно улучшать сколько угодно, но поиск его не увидит.

Интент, гео и посадочные страницы

Смысловое сравнение не отменяет простого правила: страница должна соответствовать намерению. Человеку, который ищет цену и подрядчика, статья об истории технологии не поможет, какой бы подробной она ни была. И наоборот, по информационному запросу страница с формой заявки редко окажется лучшим ответом.

Проверить намерение можно по выдаче. Откройте топ по нужному запросу и посмотрите, что там стоит: услуги, каталоги или статьи. Если в топе только статьи, продвигать по такому запросу страницу услуги будет трудно.

С городскими страницами та же логика. Страница для города полезна, если компания там работает и может сообщить местные условия. Копия общего текста с заменой названия города ничего не добавит. Как работать с местным спросом, описано в разборе локального SEO.

Если нужно понять, какие страницы сайта не отвечают на запросы клиентов, опишите задачу: посмотрим структуру и тексты в рамках SEO-продвижения.

Источники

• Матрикснет — Яндекс
• Алгоритм «Палех»: как нейронные сети помогают поиску Яндекса — Блог Яндекса
• Поиск, который мы делаем вместе — Блог Яндекса
• Трансформеры в Поиске: как Яндекс применил тяжёлые нейросети для поиска по смыслу — блог Яндекса на Хабре
• Как измеряется и улучшается качество Поиска — Яндекс Вебмастер