Сначала сформулируйте нужный результат#
Вместо задачи «закрыть лишние страницы» запишите, должна ли страница оставаться доступной посетителю, есть ли у неё содержательная замена и должна ли она участвовать в поиске. Только после этого выбирайте настройку.
| Сценарий | Решение | Что проверить |
|---|---|---|
| Одна статья доступна с рекламной меткой и без неё | Canonical на основной URL | Содержание действительно одинаковое |
| Служебный отчёт нужен посетителю, но не нужен в выдаче | Noindex при разрешённом обходе | Робот получает правило |
| Технические адреса создают нежелательные запросы робота | Ограничение обхода в robots.txt | Правило не задевает полезные страницы |
| Материал окончательно переехал | Постоянный редирект на замену | Замена решает прежнюю задачу |
Canonical — предпочтение среди дублей#
Google рассматривает canonical как сильный сигнал, а не безусловную команду. Он применим к дубликатам и очень похожим страницам. Указание главной страницы канонической для всех статей не делает их полезнее и не заменяет удаление.
Учебный пример: https://example.com/guide/?utm_source=mail показывает тот же материал, что https://example.com/guide/. В head параметрической версии указываем:
<link rel="canonical" href="https://example.com/guide/">Откройте оба адреса и сравните основной контент. Если параметр меняет товар, язык или содержание руководства, сначала разберитесь, действительно ли перед вами дубль. Не удаляйте параметры автоматически: очистка URL помогает подготовить адрес, но не определяет его смысл.
Noindex должен быть доступен роботу#
Noindex можно передать метатегом в HTML или заголовком X-Robots-Tag. Google должен обойти ресурс и прочитать указание. Если одновременно запретить этот URL в robots.txt, правило внутри страницы может остаться незамеченным. Яндекс также предупреждает: ограниченный в robots.txt адрес может участвовать в поиске.
<meta name="robots" content="noindex">Практическая проверка: найдите правило в полученном HTML, проверьте HTTP-заголовки и отдельные правила для конкретных роботов. Затем проверьте разрешение обхода. Для закрытых документов используйте контроль доступа: поисковая настройка не является защитой от чтения людьми.
Проверяйте фактический ответ, затем поисковую обработку#
- Выберите конкретный URL, включая параметры и протокол.
- Проверьте статус, цепочку переходов, заголовки и исходный HTML.
- Проверьте соответствующую группу User-agent в robots.txt.
- Для canonical откройте целевой адрес и убедитесь, что он отвечает нужным содержанием.
- После обработки поисковиком сопоставьте результат с данными проверки URL в панели вебмастера.
Разбор HTML найдёт метатеги и canonical во вставленном коде. Он не получает robots.txt, не знает выбранную Google каноническую страницу и не подтверждает фактическое исключение из индекса. В отчёте разделяйте «правило присутствует» и «поисковик применил правило».
Источники#
Проверены 22 октября 2026 г.. Официальные рекомендации отделены от наших примеров и результатов проверки.