Конструктор robots.txt
Соберите robots.txt по полям формы или вставьте существующий файл, чтобы проверить его синтаксис.
Бесплатно. Без регистрации. Работает в браузере.
Параметры и проверка
Как это работает
Если поле существующего файла заполнено — проверяется он. Иначе файл собирается из полей формы: группы User-agent, строки Disallow и адрес Sitemap.
Что проверяется
- Директивы, которые знают основные роботы: User-agent, Disallow, Allow, Sitemap, Clean-param, Crawl-delay.
- Строки вне группы User-agent и пустые группы.
- Синтаксис строк «директива: значение».
Границы
Проверка синтаксическая: инструмент не знает, как конкретный робот применит правила к конкретному URL. Поддержка директив у поисковых систем различается; Clean-param и Crawl-delay понимает не каждый робот. Файл сохраните вручную в корень сайта — инструмент ничего не загружает на сервер.
Как устроен robots.txt →Ввод обрабатывается в вашем браузере. Мы не сохраняем его на сервере.