Что эти файлы делают на самом деле
Вокруг robots.txt и sitemap.xml накопилось больше мифов, чем вокруг любой другой части технического SEO. Оба файла полезны, но ни один из них не управляет ранжированием.
| Файл | Что делает | Чего не делает |
|---|---|---|
| robots.txt | рекомендует роботам, что не сканировать | не удаляет страницы из индекса |
| sitemap.xml | подсказывает список адресов и даты изменения | не гарантирует индексацию |
Ошибки, которые закрывают сайт целиком
- Запрет на весь сайт, забытый после переноса с тестового сервера, — самая частая и самая дорогая ошибка.
- Закрытие папок со стилями и скриптами: робот не может отрисовать страницу.
- Карта сайта с адресами, отдающими 404 или редирект.
- Карта сайта, не обновляющаяся при добавлении страниц.
- Разные правила для разных поисковых систем без причины.
После любого переноса сайта первым делом откройте robots.txt. Это тридцать секунд, которые экономят месяцы.
Что с этим делать
Если материал совпал с вашей ситуацией — начните с малого: проверьте один пункт из списка на своём сайте и посмотрите, что найдётся. Обычно первая же проверка даёт две-три задачи, которые можно закрыть за неделю.
Если результата проверки не хватает или непонятно, что важнее, — напишите нам: посмотрим сайт и скажем, с чего начинать в вашем случае.
