Индексация сайта в Яндексе и Google: как проверить, почему страниц нет в поиске и как ускорить

Индексация сайта — это когда поисковый робот нашёл страницу, загрузил её и добавил в базу, из которой собирается выдача. Проверить индексацию надёжнее всего в Яндекс Вебмастере («Индексирование -> Страницы в поиске») и в отчёте об индексировании страниц Google Search Console. Ускоряют её переобход страниц, обход по счётчику Метрики и запрос индексирования в Google, но ни один способ не гарантирует, что страница попадёт в поиск.

Что такое индексация сайта и из каких шагов она состоит

Индексация — путь страницы от публикации до выдачи. Google описывает три этапа: сканирование, когда робот скачивает текст, изображения и видео, индексирование, когда он анализирует содержимое и сохраняет его в индексе, и показ результатов по запросу. Перед сканированием есть ещё шаг обнаружения: робот должен узнать, что адрес существует.

О новых адресах роботы узнают из ссылок на уже известных страницах, из файла Sitemap, из счётчика Яндекс Метрики и через протокол IndexNow. Страница без единой ссылки на неё и вне карты сайта может годами оставаться невидимой для поиска.

Главное, что стоит понять до любых проверок: попадание в индекс не гарантировано. Google прямо пишет, что не гарантирует сканирование, индексирование и показ сайта даже при соблюдении всех рекомендаций. Поисковик сам решает, стоит ли страница места в базе.

Робот может найти страницу, просканировать её и всё равно не добавить в индекс. Индексация — решение поисковика, а не обязанность.

Как быстро проверить индексацию сайта

Самый быстрый способ проверить индексацию в Google — поисковый оператор site:. Запрос site:site.ru покажет страницы сайта, известные Google, а site: с точным адресом страницы — есть ли в индексе именно она. Google сам советует такой способ владельцам сайтов, где меньше 500 страниц: им отдельный отчёт об индексировании, скорее всего, не понадобится.

У оператора есть предел: он показывает примерную картину и не объясняет причин. Если страницы в выдаче нет, оператор не скажет, закрыта ли она в robots.txt, признана дублем или робот её ещё не посетил. Для этого нужны кабинеты поисковиков.

Порядок проверки, который экономит время:

Если сайт ещё не добавлен в кабинеты, начните с этого: без подтверждённых прав причины исключения не увидеть.

Индексация сайта в Яндексе: что смотреть в Вебмастере

Индексация сайта в Яндексе проверяется в разделе «Индексирование» Яндекс Вебмастера. Там видно, какие страницы участвуют в поиске, какие исключены и почему, когда робот последний раз заходил на сайт. Как добавить сайт и подтвердить права, разобрали в инструкции как добавить сайт в Яндекс Вебмастер.

В «Страницах в поиске» есть три режима: «Последние изменения», «Все страницы» и «Исключённые страницы». Каждый список показывает до 50 000 адресов. Само число исключённых страниц, по словам Яндекса, не влияет на положение сайта в выдаче, поэтому пугаться длинного списка не нужно: важно, есть ли среди исключённых страницы, которые должны приносить трафик.

Факт. Наличие и количество исключённых страниц в Яндекс Вебмастере не влияет на положение сайта в результатах поиска.

Как проверить индексацию в Google Search Console?

В Google за индексацию отвечают два инструмента Search Console: отчёт об индексировании страниц и инструмент проверки URL. Отчёт показывает картину по всему сайту, инструмент — по одной странице. Как подключить сайт и найти отчёты, описано в статье как подключить сайт к Google Search Console.

Отчёт делит страницы на «Проиндексировано» и «Не проиндексировано». Второй статус Google просит не считать ошибкой автоматически: страница может быть исключена по объективной причине, например как копия другой страницы. Чаще всего вопросы вызывают два статуса:

• «Страница просканирована, но пока не проиндексирована» — робот был на странице, но в индекс её не добавил. Повторно отправлять запрос на сканирование, по словам Google, не нужно.
• «Обнаружена, не проиндексирована» — Google знает адрес, но сканирование перенёс, обычно чтобы не перегружать сайт.

Инструмент проверки URL запускается вводом полного адреса в строку поиска вверху Search Console. Он показывает, есть ли страница в индексе, разрешено ли её сканирование и как Google видит отрисованную страницу.

Почему страницы нет в поиске?

Причина почти всегда указана в кабинете — в колонке статуса у Яндекса и в описании причины у Google. Чаще всего встречаются такие:

• Запрет индексации — Disallow в robots.txt или метатег robots с noindex. Проверить robots.txt можно в Вебмастере: «Инструменты -> Анализ robots.txt», поле «Разрешены ли URL?».
• Ошибка ответа сервера — страница отдаёт 404, 5xx или долго отвечает. Получив 404, поисковик удаляет документ из индекса.
• Дубль — содержимое совпадает с другой страницей, и поисковик выбрал в выдачу её.
• Малоценная страница — у Яндекса есть отдельный статус для страниц, которые он счёл малоценными или маловостребованными.
• Робот ещё не дошёл — страница новая, ссылок на неё мало, в карте сайта её нет.
• Слишком большой документ — Яндекс не индексирует документы больше 10 МБ.

Если в robots.txt закрыто лишнее, правила стоит пересобрать — как это сделать без ошибок, разобрали в статье про файл robots.txt. Удалённые страницы, которые по-прежнему ищут люди, лучше оформить по правилам из статьи про ошибку 404 на сайте.

Как ускорить индексацию сайта в Яндексе

Ускорить индексацию в Яндексе можно тремя способами, и у каждого своя задача. Для нескольких новых страниц хватает переобхода, для постоянного потока — обхода по счётчику Метрики или протокола IndexNow.

Важная оговорка: статус «Заявка обработана» не означает, что страница проиндексирована. Если она закрыта от индексации или признана дублем, переобход её в поиск не приведёт. Файлы Sitemap и robots.txt на переобход отправлять не нужно: robots.txt робот перечитывает сам в течение нескольких часов, а карту обновляют в разделе «Файлы Sitemap».

Как ускорить индексацию сайта в Google

В Google ускорить индексацию одной страницы можно через инструмент проверки URL: введите адрес, дождитесь результата и нажмите «Запросить индексирование». Если явных ошибок нет, страница встанет в очередь.

У запроса три ограничения. Число запросов в день ограничено. Сама процедура, по данным Google, может занять одну-две недели, хотя обычно индексирование требует около одного дня. И отправка запроса не гарантирует появления страницы в индексе.

Для многих страниц Google советует другой путь: отправить файл Sitemap и отметить изменённые страницы тегом lastmod. Это масштабируется, а ручной запрос по каждой странице — нет.

Мнение. Если вы опубликовали одну важную страницу — запросите индексирование вручную. Если обновили раздел из сотни страниц, не тратьте дневной лимит: обновите карту сайта с честными датами lastmod и проверьте, что на новые страницы ведут внутренние ссылки.

Что ускоряет индексацию на стороне сайта?

Инструменты кабинетов работают поверх того, как устроен сам сайт. Если структура мешает роботу, никакой переобход это не исправит.

Первое — внутренние ссылки. Робот находит страницы по ссылкам с уже известных, поэтому новая страница должна быть доступна из меню, раздела или свежих материалов на главной. Google прямо говорит, что при хорошо связанном сайте его роботы находят большую часть страниц.

Второе — ответ сервера. Если сервер отвечает ошибками или медленно, роботы снижают скорость обхода, чтобы не перегружать сайт: Google приводит в пример ошибки HTTP 500. В Вебмастере скорость обхода можно настроить вручную — например, временно повысить, когда на сайте появилось много новых разделов.

Третье — корректные заголовки. Яндекс рекомендует следить, чтобы заголовок Last-Modified отдавал правильную дату последнего изменения документа. Тогда робот быстрее понимает, какие страницы обновились.

Индексацию ускоряет не столько кнопка в кабинете, сколько сайт, по которому роботу легко ходить: ссылки на новые страницы, быстрый ответ и честные даты изменения.

Как запретить индексацию сайта или отдельных страниц

Запретить индексацию сайта Яндекс предлагает тремя способами: директивой Disallow в robots.txt, метатегом robots с noindex или none и авторизацией. Выбор зависит от того, что именно нужно скрыть.

• Disallow в robots.txt — подходит для служебных разделов: корзины, поиска, личного кабинета.
• Метатег noindex — для отдельных страниц, которые должны открываться людям, но не попадать в выдачу.
• Авторизация — для того, что не должен видеть никто посторонний, включая тестовую версию сайта.

У Disallow есть подвох. Если главная страница закрыта в robots.txt, но на неё ссылаются другие сайты, она может попасть в результаты поиска — поэтому для полного закрытия сайта Яндекс рекомендует авторизацию. Google тоже показывает статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Ещё одна ловушка: если страница закрыта в robots.txt, робот не увидит на ней метатег noindex. Чтобы убрать из поиска уже проиндексированную страницу, откройте её для сканирования и поставьте noindex.

Если страницы, которые должны приносить заявки, месяцами не попадают в поиск, причина обычно в сочетании нескольких факторов: структура, дубли, ответы сервера. Такие случаи разбираем на SEO-аудите — по кабинетам поисковиков и логам обхода, с планом исправлений.

Источники

• Как отслеживать индексирование и управлять им — Яндекс
• Страницы в поиске — Яндекс
• Переобход страниц — Яндекс
• Поддержка протокола IndexNow — Яндекс
• Как запретить индексирование сайта или страниц — Яндекс
• Индексирование сайта: рекомендации — Яндекс
• Индексирование сайта с помощью счетчика Метрики — Яндекс
• Подробное руководство по принципам работы Google Поиска — Google
• Отчет об индексировании страниц — Google
• Инструмент проверки URL — Google
• Общие сведения о файлах Sitemap — Google
• Как запретить индексирование с помощью правила noindex — Google