Содержание11
- Что такое переобход страниц и когда он нужен
- Как отправить страницы на переобход в Яндекс Вебмастере
- Что означают статусы заявки на переобход?
- Какие файлы не нужно отправлять на переобход
- Как проверить страницу перед отправкой
- Как запросить индексирование в Google Search Console?
- Когда переобход не поможет?
- Что делать, если изменённых страниц много?
- Ошибки при отправке на переобход
- Частые вопросы
- Источники
Переобход страниц — инструмент Яндекс Вебмастера, которым вы просите робота в приоритетном порядке зайти на новые или изменённые страницы. В Google Search Console то же делает кнопка «Запросить индексирование» в инструменте проверки URL. Оба способа ограничены дневным лимитом и не гарантируют попадания страницы в поиск: они только сокращают ожидание, если страница уже открыта для робота.
Что такое переобход страниц и когда он нужен
Переобход — это заявка поисковику: «загляни на эти адреса раньше обычного». Без неё робот сам обходит сайт по своему графику и узнаёт об изменениях, когда до них доберётся. С заявкой адреса встают в приоритетную очередь.
Переобход нужен в трёх ситуациях. Вы опубликовали новую страницу, которая должна быстро попасть в поиск: услугу, акцию, статью. Вы исправили важную страницу — поменяли цену, title, описание, текст — и хотите, чтобы в выдаче была новая версия. Вы починили ошибку: сняли случайный noindex, вернули страницу после 404, исправили ответ сервера.
Удаление страницы из поиска — другая задача. Для неё в Вебмастере есть отдельный инструмент «Удаление страниц из поиска», а переобход для неё не предназначен.
Переобход не заменяет нормальную индексацию сайта. Он работает поштучно, а для потока новых страниц нужны карта сайта, внутренние ссылки и обход по данным счётчика.
Переобход — это просьба зайти раньше, а не команда показать страницу в поиске. Решение о том, попадёт ли страница в выдачу, поисковик принимает после обхода.
Как отправить страницы на переобход в Яндекс Вебмастере
Порядок отправки описан в справке Вебмастера. Сайт должен быть добавлен в Вебмастер, а права на него подтверждены.
Число адресов ограничено: лимит общий для основного домена и всех его поддоменов и обновляется ежедневно. Точного числа справка не называет, поэтому планируйте отправку: сначала страницы, которые приносят заявки и деньги, потом всё остальное.
Отправлять стоит полные адреса в том виде, в котором страница должна быть в поиске: с правильным протоколом, с www или без него, со слэшем на конце или без него — как на сайте. Адрес-зеркало или вариант с параметрами робот обойдёт, но в поиске всё равно будет основная версия. Как подключить сайт к кабинету и подтвердить права, мы разбирали в инструкции как добавить сайт в Яндекс Вебмастер.
Что означают статусы заявки на переобход?
После отправки каждый адрес получает статус в колонке «Статус». По нему видно, дошёл ли робот до страницы и что делать дальше.
| Статус | Что произошло | Что делать |
|---|---|---|
| В очереди | Робот посетит адрес в приоритетном порядке при следующем обращении к сайту; обычно это занимает не более трёх дней | Ждать, повторно не отправлять |
| Заявка обработана | Робот посетил страницу; данные в поиске обновятся в течение двух недель | Проверить статус страницы в «Проверке страницы» или мониторинге |
| Ошибка | Робот не смог проиндексировать страницу и обновить информацию о ней | Проверить доступность и ответ сервера, затем отправить снова |
Самое частое недоразумение связано со статусом «Заявка обработана». Он не означает, что страница проиндексирована: робот только посетил её. Если страница закрыта от индексирования, признана дублем или отдаёт ошибку, в поиск она не попадёт, сколько бы раз её ни отправляли.
В другом разделе справки Яндекс оценивает и общий срок: после переобхода индексирование страницы может занять от 3 до 7 дней. Обновление сниппета в выдаче иногда приходит позже — данные обновляются в пределах двух недель после обработки заявки.
Факт. Статус «Заявка обработана» значит, что робот посетил страницу. Данные в поиске обновятся в течение двух недель, и это ещё не гарантия, что страница попадёт в индекс.
Какие файлы не нужно отправлять на переобход
Инструмент рассчитан в первую очередь на HTML-страницы. Он также принимает PDF, документы Microsoft Office и OpenOffice, текстовые файлы RTF и TXT. Для трёх типов файлов Яндекс прямо советует не тратить лимит:
- Файл robots.txt — робот перечитывает его сам в течение нескольких часов, дополнительно стимулировать переиндексирование не нужно. Правила для него мы разбирали в статье что писать в robots.txt и как его проверить.
- Фавиконка — сам файл favicon.ico на переобход не отправляют. Чтобы обновить значок в выдаче, отправьте главную страницу сайта.
- Карта сайта и XML-фиды — файлы Sitemap и товарные фиды добавляют в разделе «Индексирование» -> «Файлы Sitemap». Через переобход их переиндексирование не гарантируется.
Ещё одна категория, которую нет смысла отправлять, — служебные страницы: корзина, поиск по сайту, фильтры с параметрами, личный кабинет. Если они закрыты от индексации, переобход их всё равно не добавит, а лимит уйдёт впустую.
Как проверить страницу перед отправкой
Отправлять страницу стоит только после того, как вы убедились, что робот её увидит. Для этого в Вебмастере есть инструмент «Индексирование» -> «Проверка страницы».
Он показывает код ответа, который получает робот, и то, как содержимое страницы выглядит для него. Если код отличается от 200 OK, страница может быть исключена из поиска — тогда сначала чините ответ сервера, а переобход оставьте на потом. В том же инструменте видно, участвует ли страница в поиске и насколько она адаптирована под мобильные устройства.
Для страниц, за которыми нужно следить постоянно, удобен «Мониторинг важных страниц». Туда можно добавить до 100 адресов одного сайта: Вебмастер покажет дату последнего обхода, ответ сервера и статус страницы, а при изменениях пришлёт уведомление. Прямо из мониторинга страницу можно отправить на переобход кнопкой «Переобойти страницу» — она встанет в список со статусом «В очереди».
Мнение. Если страница приносит заявки, держите её в мониторинге важных страниц. Так вы узнаете о выпадении из поиска из уведомления, а не из отчёта о продажах.
Как запросить индексирование в Google Search Console?
В Google аналог переобхода встроен в инструмент проверки URL. Отдельного раздела для списка адресов нет: страницы отправляют по одной.
Запрашивать индексирование могут владельцы ресурса и пользователи с полным доступом. Число запросов в день ограничено для каждого ресурса. Если при проверке опубликованной страницы окажется, что проиндексировать её нельзя, кнопка запроса будет недоступна — это подсказка, что сначала нужно чинить страницу.
По срокам Google называет два ориентира: процедура может занять одну-две недели, хотя обычно индексирование требует около одного дня. Отправка запроса не гарантирует появления страницы в индексе. Остальные отчёты Search Console — «Страницы», «Эффективность», файлы Sitemap — мы разбирали в статье как подключить сайт к Google Search Console.
В Яндексе переобход принимает список адресов, в Google запрос индексирования отправляют по одной странице. В обоих случаях лимит дневной, поэтому тратить его стоит на страницы, от которых зависят заявки.
Когда переобход не поможет?
Переобход ускоряет визит робота, но не меняет его решения. Если со страницей что-то не так, заявка только быстрее покажет, что она не попадёт в поиск. Вот случаи, когда дальше отправлять бессмысленно, пока не исправлена причина:
- Страница закрыта от индексации — запрет в robots.txt, метатег noindex или авторизация. Робот зайдёт, но в поиск страница не попадёт.
- Страница отдаёт ошибку — 4xx или 5xx вместо 200 OK. В Яндексе заявка получит статус «Ошибка», в Google запрос индексирования будет недоступен.
- Страница признана дублем — поисковик выбрал основной другую версию. Переобход дубля основную версию не поменяет: сначала нужно настроить canonical или редирект.
- Содержимое страницы слабое — Google прямо пишет, что в индекс прежде всего включает качественный и полезный контент. Пустая карточка или страница-заглушка после переобхода так и останется за бортом.
Ещё одна граница — время. Если после отправки прошло несколько часов, проверять выдачу рано: у Яндекса обработка заявки занимает до трёх дней, у Google сканирование может растянуться на недели. Повторная отправка той же страницы процесс не ускорит.
Что делать, если изменённых страниц много?
Ручной переобход рассчитан на единицы и десятки адресов. Когда меняется целый раздел, каталог или шаблон сайта, поисковики советуют другие инструменты, и вручную отправлять каждую страницу не нужно.
Google прямо пишет, что для запросов на сканирование отдельных URL существуют квоты и увеличение количества запросов не ускорит индексирование. Для многих страниц он советует отправить файл Sitemap и отметить обновлённые страницы тегом lastmod. Яндекс для регулярной передачи большого количества страниц предлагает инструмент «Обход по счётчикам»: робот узнаёт о страницах по данным привязанного счётчика Метрики. Есть и протокол IndexNow, через который сайт сам сообщает поисковикам об изменениях.
Практическое правило такое. Изменилась одна страница услуги — отправьте её вручную. Обновили цены в каталоге из тысячи товаров — обновите карту сайта с честными датами изменения и убедитесь, что на новые страницы ведут внутренние ссылки.
Ошибки при отправке на переобход
Ошибки с переобходом обычно стоят не денег, а времени: лимит тратится впустую, а нужные страницы ждут.
- 01 Отправка закрытых страниц
Адреса с noindex, запретом в robots.txt или ошибкой сервера получат статус «Заявка обработана» или «Ошибка», но в поиск не попадут.
- 02 Отправка служебных файлов
Robots.txt, favicon.ico и Sitemap через переобход не обновляют, для них есть свои механизмы.
- 03 Повторная отправка в ожидании
Если адрес «В очереди», вторая заявка его не ускорит.
- 04 Отправка всего сайта вручную
При массовых изменениях лимит кончается на первых сотнях адресов. Для этого есть Sitemap и обход по счётчикам.
- 05 Отправка не той версии адреса
Зеркало с www, http-версия или адрес с параметрами вместо основного.
Если важные страницы месяцами не попадают в поиск, хотя их регулярно отправляют, проблема почти всегда в самом сайте: в структуре, дублях или ответах сервера. Такие случаи мы разбираем на SEO-аудите — по данным Вебмастера и Search Console, с планом исправлений по приоритету.
Источники
- Переобход страниц — Яндекс
- Как сообщить Яндексу о новых и измененных страницах на сайте — Яндекс
- Проверка страницы — Яндекс
- Мониторинг важных страниц — Яндекс
- Инструмент проверки URL — Google
- Как запросить у Google повторное сканирование вашего сайта — Google
