Что означает термин#
В отличие от HTML meta robots, заголовок можно применить к PDF и другим файлам без HTML-разметки. Для чтения правила робот должен получить ответ. Если обход запрещён в robots.txt, он может не увидеть установленный noindex.
Практический пример#
Для PDF сервер отправляет X-Robots-Tag: noindex, чтобы исключить файл из индексирования поддерживающим поисковиком. Это не защита от скачивания: любой пользователь с доступом к адресу по-прежнему может получить документ. Конфиденциальность обеспечивают другими средствами контроля доступа.
Как проверить#
Проверьте заголовки конечного ответа, включая влияние CDN и перенаправлений. Убедитесь, что правило применяется к нужным файлам и не затрагивает весь сайт случайно. Затем проверьте обработку публичного URL средствами поисковика. Самостоятельно отправленный HTTP-запрос подтверждает конфигурацию ответа, но не завершение удаления из поиска.
Источники#
Проверены 23 октября 2026 г.. Официальные рекомендации отделены от наших примеров и результатов проверки.