Откуда берутся дубли

Дубли — это разные адреса с одинаковым или почти одинаковым содержимым. Поисковая система вынуждена выбирать, какую версию показывать, и выбор нередко падает не на ту страницу, которую вы продвигаете.

  • Параметры сортировки и фильтров в каталоге.
  • Адреса со слэшем на конце и без него.
  • Версии для печати и служебные копии.
  • Одинаковые товары в нескольких категориях с разными адресами.
  • Пагинация без корректной разметки.

Чем закрывать

ИнструментКогда уместен
301-редиректстраница не нужна совсем: слэши, старые адреса, смена структуры
rel=canonicalстраница нужна пользователю, но в индексе должна быть другая версия
robots.txtслужебные разделы, которые не должны сканироваться
meta noindexстраница доступна людям, но не должна быть в поиске

Частая ошибка — закрывать дубли в robots.txt и ждать, что они выпадут из индекса. Запрет сканирования не равен запрету индексирования: уже известные роботу адреса могут оставаться в выдаче.

Как проверить себя

  1. Просканировать сайт краулером и сравнить заголовки страниц: одинаковые title — первый признак.
  2. Посмотреть в панели вебмастера раздел с исключёнными страницами и причинами.
  3. Проверить, что каждая продвигаемая страница ссылается сама на себя каноническим адресом.
  4. Повторить проверку через месяц после внедрения — переиндексация не мгновенна.

Что с этим делать

Если материал совпал с вашей ситуацией — начните с малого: проверьте один пункт из списка на своём сайте и посмотрите, что найдётся. Обычно первая же проверка даёт две-три задачи, которые можно закрыть за неделю.

Если результата проверки не хватает или непонятно, что важнее, — напишите нам: посмотрим сайт и скажем, с чего начинать в вашем случае.