Проверка robots.txt и sitemap.xml
Проверьте, правильно ли составлен robots.txt и доступна ли карта сайта. Сервис находит ошибки и неизвестные директивы, показывает группы роботов, проверяет карты сайта из директив Sitemap — сколько в них адресов, нет ли ошибок XML и ссылок на чужой домен — и отвечает, разрешена ли нужная страница выбранному поисковому роботу.
Рабочая область
Результат
Запрос выполняет сервер сайта. Введённые данные и результаты не сохраняются; ведётся только обезличенный счётчик запусков.
Как пользоваться
- Введите адрес сайта или страницы.
- Чтобы проверить конкретную страницу, укажите путь (или оставьте пустым — проверится путь из адреса) и выберите робота.
- Нажмите «Проверить».
Вопросы и ответы
Какое правило срабатывает, если подходят несколько?
Самое длинное подходящее правило. При одинаковой длине Allow сильнее Disallow. Так работают Google и Яндекс.
Закрывает ли robots.txt страницу от поиска?
Нет, он только запрещает обход. Страница может попасть в выдачу по внешним ссылкам. Чтобы убрать её из поиска, используйте meta robots noindex и не закрывайте её в robots.txt — иначе робот не увидит этот тег.
Нужна ли директива Host?
Нет. Яндекс перестал её учитывать: главное зеркало определяется по редиректу 301. Директиву можно удалить.