Два способа передать noindex#
Для HTML используют метатег в head. На уровне ответа сервера можно передать HTTP-заголовок X-Robots-Tag. Он подходит в том числе для ресурсов, у которых нет HTML-раздела head, например PDF. Оба варианта поддерживаются Google и Яндексом.
<meta name="robots" content="noindex">Альтернативный способ в HTTP-ответе:
X-Robots-Tag: noindexЭто примеры настройки, а не инструкция закрыть все страницы. Сначала решите, должен ли конкретный материал участвовать в поиске.
Когда уместен запрет#
Настройка может пригодиться для публичной служебной страницы, которую посетителю разрешено открывать, но которую вы не хотите показывать в поиске. Для закрытой информации нужен контроль доступа: noindex не мешает человеку перейти по прямой ссылке, сохранить файл или поделиться им.
Не путайте запрет индексирования с выбором основного дубля. Для последней задачи существует canonical. Не добавляйте noindex автоматически ко всем «похожим» страницам: у них могут быть разные задачи и самостоятельная ценность.
Почему noindex может не сработать#
Если адрес запрещён в robots.txt, робот может не загрузить ответ и не увидеть директиву. Google не поддерживает запись noindex как директиву robots.txt.
Другая причина — робот ещё не вернулся после изменения. Наличие тега в браузере сегодня не доказывает, что поисковая система уже обработала новую версию.
Типичная ошибка при запуске — оставить запрет от локальной или тестовой сборки. Не исправляйте только одну статью: если настройка возникает из общего шаблона или заголовка сервера, устраните источник и проверьте несколько типов страниц.
Как найти случайный запрет#
- Запишите точный URL и получите текущий ответ сервера.
- Проверьте HTTP-заголовки на X-Robots-Tag.
- Найдите в исходном HTML все meta robots и адресованные конкретному роботу метатеги.
- Сопоставьте результат с правилами robots.txt.
- После исправления проверьте публичный URL в инструментах Google и Яндекса и наблюдайте обработку.
Разбор HTML помогает проверить вставленный код, но не проверяет HTTP-заголовки удалённого сервера. Отсутствие noindex означает только отсутствие найденного запрета. Оно не подтверждает качество страницы, фактическую индексацию или появление по конкретному запросу. Не заменяйте такую проверку поиском своего заголовка в выдаче.
Источники#
Проверены 22 октября 2026 г.. Официальные рекомендации отделены от наших примеров и результатов проверки.