Сайты и SEO

Проверка robots.txt и sitemap.xml

Проверьте, правильно ли составлен robots.txt и доступна ли карта сайта. Сервис находит ошибки и неизвестные директивы, показывает группы роботов, проверяет карты сайта из директив Sitemap — сколько в них адресов, нет ли ошибок XML и ссылок на чужой домен — и отвечает, разрешена ли нужная страница выбранному поисковому роботу.

Рабочая область

Например, /catalog/?sort=price. Пусто — проверится путь из адреса.

Запрос выполняет сервер сайта. Введённые данные и результаты не сохраняются; ведётся только обезличенный счётчик запусков.

Как пользоваться

  1. Введите адрес сайта или страницы.
  2. Чтобы проверить конкретную страницу, укажите путь (или оставьте пустым — проверится путь из адреса) и выберите робота.
  3. Нажмите «Проверить».

Вопросы и ответы

Какое правило срабатывает, если подходят несколько?

Самое длинное подходящее правило. При одинаковой длине Allow сильнее Disallow. Так работают Google и Яндекс.

Закрывает ли robots.txt страницу от поиска?

Нет, он только запрещает обход. Страница может попасть в выдачу по внешним ссылкам. Чтобы убрать её из поиска, используйте meta robots noindex и не закрывайте её в robots.txt — иначе робот не увидит этот тег.

Нужна ли директива Host?

Нет. Яндекс перестал её учитывать: главное зеркало определяется по редиректу 301. Директиву можно удалить.