Что означает термин#
Обнаружение адреса и его загрузка — разные события. Робот может узнать URL из ссылки, но ещё не запросить страницу. Правила robots.txt и доступность сервера влияют на возможность загрузки.
Практический пример#
В sitemap добавлена новая статья. Это помогает сообщить адрес, но факт обхода проверяется отдельно: например, по запросу подтверждённого поискового робота в серверном журнале.
Как проверить#
Проверьте HTTP-ответ и robots.txt, затем журналы сервера или сведения о последнем сканировании в поисковой консоли. Одна строка User-Agent не подтверждает подлинность Googlebot.
Связанное понятие: Индексирование.
Источники#
Проверены 23 октября 2026 г.. Официальные рекомендации отделены от наших примеров и результатов проверки.