Как найти дубли страниц на сайте и убрать копии из поиска

Дубли страниц — несколько адресов с одним содержимым или пересекающимся интентом: поисковик может выбрать один URL, а остальные — расходовать обход и делить ссылочные сигналы. Сначала проверьте зеркала и параметры, затем разберите фильтры, пагинацию и карточки. Для ненужного адреса настройте 301, для нужной человеку копии — canonical. noindex закрывает страницу от выдачи, а robots.txt только ограничивает обход.

Как найти и убрать дубли: порядок работ

Начните с адресов, которые ведут к одному документу: проверьте протокол, www, конечный слеш, index.php и параметры. Затем отделите технические копии от похожих страниц и каннибализации запросов. Семантические дубли не стоит автоматически склеивать редиректом: так можно потерять полезную посадочную. Выберите способ обработки URL и проверьте результат в панелях поисковых систем.

Сначала соберите технические копии, затем сравните контент. Для зеркал и ненужных адресов подходит 301. Если копия нужна человеку, но в поиске должен остаться один адрес, укажите canonical. Для страницы, которой не место в выдаче, используйте noindex. Фильтр или категорию оставьте отдельной посадочной, если она отвечает самостоятельному спросу.

robots.txt запрещает обход, но сам по себе не удаляет уже известный поисковику URL из индекса. Чтобы исключить страницу, поисковой системе нужен доступный сигнал: например, noindex, ответ 404 или 410 либо редирект.

Когда обе копии получают переходы, выберите каноническим адрес с полезными ссылками и подходящим сниппетом. Склейка помогает сосредоточить сигналы на выбранном URL, но сама по себе не гарантирует роста позиций.

Идите от зеркал и параметров к фильтрам и карточкам. Для страниц, которые нужны посетителям, сначала проверьте, нет ли у них самостоятельного поискового спроса.

Полный, частичный, семантический дубль и похожий контент

Полный дубль — один и тот же документ по разным адресам: например, по HTTP и HTTPS или с www и без него. Частичный дубль совпадает шаблоном, но содержит уникальные фрагменты. При семантическом дубле разные страницы отвечают на один запрос. Похожий контент — это соседние страницы с пересекающимися темами, но потенциально разными задачами пользователя.

У этих случаев разные решения. Поисковик может выбрать один из повторяющихся URL, а ссылки и сигналы страницы распределятся между копиями. Части общего шаблона недостаточно, чтобы считать две страницы дублями: сравните их назначение и уникальные блоки.

Не объединяйте две страницы только из-за похожих заголовков. Если у каждой своя аудитория или отдельный спрос, сохраните их и уточните содержание и перелинковку. Редирект подходит, когда один адрес больше не нужен посетителям.

Откуда берутся дубли: зеркала, параметры, CMS

Зеркала хоста, параметры URL и настройки CMS могут открывать один документ по нескольким адресам. Так происходит с HTTP и HTTPS, версиями с www и без него, слешем в конце пути и index.php. Параметры добавляют UTM-метки, сортировка, идентификатор сессии и версия для печати. Каждый вариант нужно сопоставить с нужным поведением: некоторые URL стоит склеить, а другие оставить доступными.

В каталоге дубли могут появиться из-за пагинации, пересечения категорий, товара в нескольких разделах или вариантов цвета и размера. Ассортиментный фильтр имеет смысл оставлять в поиске, если он отвечает отдельному спросу. Комбинации сортировки и фильтров, для которых нет самостоятельной задачи пользователя, обычно не подходят на роль посадочных страниц.

Проверьте такие адреса и пути:

• HTTP и HTTPS одной витрины: /catalog/ по двум протоколам
• www и без www — разные версии хоста
• слеш в конце и без него: /catalog/ и /catalog
• index.php или index.html рядом с ЧПУ
• UTM-метки и другие параметры кампаний
• сортировка и лимит: ?sort=, ?limit=
• идентификатор сессии в адресе
• версия для печати
• внутренний поиск: /search/?q=
• страницы пагинации, фильтров и товары в нескольких разделах

Если одна и та же выдача открывается как /filter/color-is-red/ и как категория с параметром, сначала выясните, какой адрес нужен посетителям. Пагинацию проверяйте отдельно: объединение всех страниц списка в первую может скрыть нужные товары от посетителей и поисковых роботов.

Где искать и как проверить контрольный URL

Проверяйте технические варианты до контентных совпадений. Иначе можно случайно склеить нужную посадочную. Начните с протокола и хоста, затем проверьте слеш и index.*, параметры, пагинацию, фильтры и пересечения категорий. Для контрольной проверки выберите конкретный URL, например /catalog/obuv/, и сравните его сигналы.

Если sitemap, canonical и внутренние ссылки указывают на разные URL, поисковик получает противоречивые подсказки. Особенно важно проверить, что canonical ведёт на доступный канонический адрес, а не на редирект или страницу с ошибкой.

Когда карта сайта, canonical и меню указывают на разные страницы, исправьте сигналы и повторите проверку. Даже уникальный текст не решит противоречие адресов.

Какими выгрузками искать дубли

Панели поисковых систем и краулер помогают найти разные виды копий, но ни site:, ни один инструмент не покажут всю картину. В Яндекс.Вебмастере смотрите страницы в поиске и выбранный канонический URL. В Google Search Console проверьте индексирование и выбранный Google канонический адрес. Отчёт URL Parameters в GSC больше не доступен, поэтому данные о параметрах собирайте из логов и краулера.

Краулер, например Screaming Frog, Sitebulb или Netpeak Spider, помогает сгруппировать URL по title, h1 и canonical и найти страницы с совпадающим содержанием. Поиск site: пригодится для быстрой проверки, но не заменит аудит. Семантические дубли по совпадению текста не найти: они требуют анализа запросов и назначения страниц.

Для первичной проверки соберите несколько выгрузок:

• Яндекс.Вебмастер: страницы в поиске и выбранный канонический URL
• Google Search Console: индексирование и сведения о выбранном Google каноническом URL
• Краулер: группы title, h1 и canonical, совпадающие страницы и редиректы
• Логи: параметры URL, которые запрашивают поисковые роботы

Что делать с найденным дублем: матрица склейки

Сначала решите, должен ли адрес оставаться доступным посетителю. Если нет — перенаправьте его на нужную страницу. Если нужен, задайте canonical, когда в поиске должен остаться один адрес. noindex помогает исключить страницу из выдачи, сохраняя её доступность. Параметр можно убрать в CMS или настроить обработку в соответствии с задачей. Для страниц с пересекающимся содержанием иногда лучше объединить материалы и обновить ссылки.

Для карточек товаров оставьте один канонический адрес, если варианты цвета не имеют отдельного спроса. Если пользователи ищут конкретные цвета, сохраните для них отдельные страницы. Фильтры оставляйте посадочными под самостоятельный спрос; страницы сортировок и сочетаний без отдельной задачи не индексируйте. Пагинацию не сводите автоматически к первой странице списка: сохраните доступные страницы с понятными заголовками и корректными внутренними ссылками. Служебный поиск и версии для печати не используйте как посадочные.

Если фильтр закрывает спрос, например помогает выбрать красные кроссовки определённого размера, не закрывайте его только из-за того, что это фильтр. Сначала выясните, ищут ли такую подборку. Для магазина без отдельного спроса по комбинациям фильтров их можно исключить из поиска.

Как Яндекс и Google обрабатывают дубли

Яндекс.Вебмастер помогает указать главное зеркало сайта. Для отдельных URL согласуйте перенаправления, canonical и внутренние ссылки. Google учитывает разные сигналы, среди которых редиректы, canonical, внутренние ссылки, HTTPS и sitemap. Canonical — подсказка поисковику; если остальные сигналы противоречат ему, Google может выбрать другой адрес.

HTTP, HTTPS, www и адрес без www должны вести к согласованной версии сайта. hreflang нужен сайтам с языковыми версиями. Для одноязычного сайта он не решает задачу склейки. Проверяйте выбранный канонический URL в обеих панелях. Если он отличается от указанного вами, проверьте редиректы, внутренние ссылки и sitemap.

Сделайте сигналы согласованными: направьте зеркала на основной адрес, укажите нужный canonical и уберите копии из карты сайта. Затем проверьте выбранный URL в панелях поисковых систем. Это особенно полезно, если Яндекс и Google выбрали разные адреса.

Canonical подсказывает предпочтительный адрес. Итоговый выбор поисковик делает по совокупности сигналов.

Типовые дубли в 1С-Битрикс, WordPress, OpenCart и Tilda

В разных CMS дубли часто связаны с адресами каталога, ЧПУ, фильтрами и служебными параметрами. В 1С-Битрикс проверьте разделы, доступные через ЧПУ и index.php, товары в нескольких разделах, торговые предложения и умный фильтр. Посадочную фильтра оставляйте, если она отвечает отдельному спросу. Для WordPress, OpenCart и Tilda сначала найдите повторяющиеся адреса, затем выберите способ обработки по их назначению.

• 1С-Битрикс: разделы по ЧПУ и через index.php, товары в нескольких разделах, умный фильтр и варианты товара
• WordPress: адреса с ?p= и page_id, страницы вложений, пагинация, версии AMP или для печати
• OpenCart: товар в нескольких категориях, параметры sort, limit и page
• Tilda: служебные адреса, варианты домена и копии опубликованных страниц

Начинайте с правил для зеркал и параметров, затем проверяйте адреса в каталоге. Если посадочная уже приносит полезный поисковый трафик, не закрывайте её без проверки спроса и назначения страницы.

Частые ошибки — ставить canonical на все похожие страницы, использовать не тот тип перенаправления или давать противоречивые сигналы через noindex и canonical. Закрытие адреса в robots.txt также не служит способом удалить его из индекса.

Если каталог ещё проектируют, заложите ЧПУ и склейку зеркал при разработке сайта. Для сайта, который уже попал в поиск, пройдите матрицу по типам URL и проверьте результат в панелях. Если нужна помощь с технической настройкой, закажите SEO-продвижение сайта.

Источники

• Как найти дубли страниц с незначащими GET-параметрами — Блог Яндекса для вебмастеров
• Как Google выбирает канонический URL и объединяет повторяющиеся URL — Google Search Central