Что регулирует robots.txt#
Файл размещают в корне сайта: например, https://example.com/robots.txt. В нём задают группы правил для роботов через User-agent, запрещённые пути через Disallow и исключения через Allow. Поддержка дополнительных директив различается между поисковыми системами: не переносите настройку одного робота на всех остальных без проверки документации.
Google и Яндекс предупреждают: запрещённый для обхода URL всё ещё может оказаться в поиске. Если задача — запретить участие страницы в выдаче, разберите директиву noindex и обеспечьте возможность прочитать её.
Небольшой пример правил#
User-agent: *
Disallow: /internal-search/
Sitemap: https://example.com/sitemap.xmlЭто учебный пример: для роботов, которым применима общая группа, закрыт обход адресов с путём /internal-search/. Строка Sitemap сообщает адрес карты. Она не открывает автоматически запрещённые страницы и не обещает их индексирование.
Перед использованием замените условные пути реальными. Название раздела само по себе не делает его служебным: сначала проверьте его содержание и назначение.
Самые дорогие ошибки#
Disallow: / запрещает обход всего сайта для соответствующей группы. Такая настройка может быть намеренной на тестовом окружении, но её опасно переносить на рабочий сайт вместе с остальными файлами.
Не пытайтесь скрыть пароли, персональные данные и приватные документы через robots.txt: файл общедоступен, а соблюдение правил не является контролем доступа. Для закрытой области нужна серверная авторизация.
Ещё одна ошибка — одновременно закрыть обход страницы и ждать, что робот прочитает её meta robots. Разницу настроек показывает разбор canonical, noindex и robots.txt.
Проверка перед изменением#
- Откройте настоящий адрес robots.txt и убедитесь, что сервер отдаёт текст правил, а не HTML ошибки.
- Выпишите конкретные URL, которые должны быть открыты и закрыты.
- Проверьте каждый URL с учётом нужного User-agent в анализаторе robots.txt Яндекс Вебмастера.
- После изменения повторите проверку и сохраните предыдущую версию для отката.
Не проверяйте конфигурацию одним адресом главной: правило для каталога может сработать иначе. Для локального проекта такой тест подтверждает правила файла, но не визит реального робота. Сведения о фактическом обходе ищут в логах сервера и сервисах вебмастеров. Отдельно проверьте, что ссылка на Sitemap ведёт к нужной карте.
Источники#
Проверены 22 октября 2026 г.. Официальные рекомендации отделены от наших примеров и результатов проверки.