Сначала определите задачу#
Robots.txt управляет обходом: какие разделы роботу не стоит запрашивать. Типовые кандидаты на запрет — служебные страницы, результаты внутреннего поиска, страницы фильтров с бесконечными комбинациями параметров.
Файл не скрывает страницу из индекса: если на закрытый URL ведут ссылки, поисковик может показать адрес без содержимого. Для запрета индексации используется noindex — но тогда страница должна оставаться доступной роботу, иначе он не увидит директиву. Различие механизмов разобрано в статье о дублях.
Порядок сборки файла#
- Выпишите пути, которые не должны тратить ресурсы робота, — по одному в строке: например, /admin/ или /search.
- Определите, для каких роботов действуют правила: для всех (*) или отдельная группа для конкретного.
- Добавьте адрес sitemap, если он есть.
- Соберите файл в конструкторе robots.txt — он покажет итоговый текст и замечания по синтаксису.
- Сохраните текст как файл robots.txt и загрузите в корень сайта вручную.
Если файл уже существует, вставьте его в конструктор для проверки: инструмент разметит группы User-agent, строки вне групп и неизвестные директивы.
Проверка после публикации#
Откройте адрес вида site.ru/robots.txt в браузере: файл должен отдаваться с кодом 200 и в кодировке UTF-8. Затем посмотрите отчёты об обходе в консоли поисковика — там видно, какая версия файла загружена и когда.
Учитывайте задержку: поисковики кешируют robots.txt, поэтому изменения применяются не сразу. Проверка конкретного URL на доступность для робота делается инструментами консоли, а не текстом файла.
Границы инструмента#
Конструктор выполняет синтаксическую проверку: он не знает, как конкретный робот применит правила к конкретному адресу. Поддержка директив различается: Clean-param и Crawl-delay понимают не все роботы, а Google игнорирует Crawl-delay.
Robots.txt — публичный файл и добровольная договорённость: он не защищает разделы от людей и от роботов, которые не соблюдают правила. Закрытие служебных зон делается авторизацией, а не этим файлом.
Источники#
Проверены 1 ноября 2026 г.. Официальные рекомендации отделены от наших примеров и результатов проверки.