Индексация и обход
Как поисковые роботы находят и сканируют страницы: robots.txt, noindex, canonical, sitemap.xml и диагностика проблем с индексацией.
Термины словаря
Обход сайта: как робот загружает страницы
Обход — загрузка доступных ресурсов сайта поисковым роботом. Это этап получения данных, который сам по себе не означает включения страницы в поиск.
Индексирование: чем отличается от обхода
Индексирование — обработка содержимого страницы и включение информации о нём в поисковый индекс. Доступный URL не обязательно будет проиндексирован.
Googlebot: поисковый робот Google и проверка запросов
Googlebot: определение, практический пример и проверка. Googlebot — общее название основных поисковых роботов Google, которые обходят страницы для Google Search.
Yandexbot: робот Яндекса и проверка его происхождения
Yandexbot: определение, практический пример и проверка. YandexBot — основной индексирующий робот Яндекса, который получает страницы для поисковой системы.
Robots.txt: правила обхода сайта
Для чего нужен robots.txt, как читать User-agent и Disallow и почему запрет обхода не заменяет noindex или защиту доступа.
Noindex: как запретить индексирование страницы
Как работают meta robots noindex и X-Robots-Tag, почему роботу нужен доступ к странице и как проверить случайный запрет индексирования.
X-Robots-Tag: правила индексирования в HTTP-ответе
X-Robots-Tag: определение, практический пример и проверка. X-Robots-Tag — HTTP-заголовок, через который поддерживающим его роботам передают правила индексирования и представления ресурса.
Sitemap.xml: карта URL для поисковых роботов
Как устроена XML-карта сайта, какие URL в неё включать и почему успешная обработка Sitemap не подтверждает индексирование страниц.
Canonical: как указать основной адрес страницы
Что означает rel="canonical", когда он нужен и как проверить основной адрес без путаницы с редиректами и noindex.
Mobile-first indexing: роль мобильной версии
Mobile-first indexing — использование Google мобильной версии содержимого для индексирования и ранжирования. Это не отдельный индекс только для мобильных сайтов.
Soft 404: ошибка при успешном HTTP-ответе
Soft 404 — ситуация, когда поисковик воспринимает страницу как отсутствующую или ошибочную, хотя сервер не возвращает соответствующий статус ошибки.
HTTP 404: страница не найдена
HTTP 404 — статус ответа сервера, сообщающий, что ресурс по указанному адресу не найден. Надпись об ошибке внутри страницы не заменяет этот статус.
Редирект: перенаправление на другой URL
Редирект — перенаправление посетителя или робота с исходного адреса на другой. Серверный вариант сообщает новый адрес через HTTP-ответ.
User-Agent: как клиент представляет себя серверу
User-Agent: определение, практический пример и проверка. User-Agent — HTTP-заголовок запроса со сведениями о программе-клиенте и её окружении.
Журнал сервера: запись HTTP-запросов
Журнал доступа сервера — записи об обработанных запросах. Поля и полнота данных зависят от настроек веб-сервера, прокси и системы хранения.
Материалы журнала
Как составить robots.txt и проверить его
Порядок работы с robots.txt: какие задачи файл решает, как собрать правила по шагам, где проверить синтаксис и результат после публикации.
Почему страница не индексируется: порядок диагностики
Начните с точного URL и ответа сервера, затем проверьте запреты, canonical и сведения поисковой консоли. Доступность страницы и её наличие в sitemap ещё не доказывают индексацию.
Страница открывается в браузере: почему этого недостаточно для SEO
Работа страницы у посетителя не подтверждает доступность для поискового робота. Сравните ответы, правила обхода и содержание после рендеринга, не выдавая подмену User-Agent за проверку настоящего Googlebot.
Soft 404: как найти ошибку за ответом 200
Для диагностики Soft 404 сопоставьте HTTP-статус с реальным содержимым страницы. Восстанавливайте полезный материал либо возвращайте подходящий ответ для отсутствующего ресурса.
Параметры URL и дубли: как выбрать решение
Сначала выясните, меняет ли параметр содержание страницы. Рекламная метка, сортировка и фильтр решают разные задачи и не должны автоматически получать одинаковые правила обработки.
Переезд страницы: редирект, ссылки и sitemap
Перенос страницы требует не только редиректа: нужно проверить соответствие нового материала, обновить ссылки и согласовать canonical с картой сайта. Итог проверяют на старом и новом URL.
Пагинация, «Показать ещё» и бесконечная прокрутка
Дополнительные элементы списка должны быть доступны по понятным URL и ссылкам. Поисковый робот не обязан нажимать кнопку «Показать ещё» или прокручивать страницу как посетитель.
Что получает поисковик: исходный HTML и DOM
Сравнивайте ответ сервера и DOM после выполнения JavaScript отдельно. Google умеет рендерить JavaScript, но ошибки ресурсов и недоступные данные могут изменить полученное содержание.
Mobile-first: что мобильная версия не должна потерять
Сравните содержание, метаданные и доступные ссылки на телефоне и компьютере. Мобильное отображение может быть компактнее, но не должно случайно терять основной материал.
JSON-LD проходит тест, но расширенного результата нет
Положительный результат проверки синтаксиса не гарантирует расширенного показа. Проверьте поддерживаемый тип, требования функции, соответствие содержимому и доступность публичной страницы.
Две языковые версии сайта: URL, canonical и hreflang
Запускайте языковые версии как полноценные страницы с согласованной адресацией и взаимными аннотациями. Hreflang не переводит содержание и не заменяет canonical.
Как проверять SEO-гипотезы без ложных выводов
До изменения сформулируйте гипотезу, показатель, условия и ограничения. Изменение трафика после правки ещё не доказывает, что именно эта правка стала причиной.