Индексация сайта и краулинговый бюджет

Как работает индексация

Прежде чем страница появится в поиске, она проходит три этапа: обход (crawling) — бот находит URL и скачивает содержимое; индексация (indexing) — Google анализирует контент и решает, добавлять ли страницу в индекс; ранжирование (ranking) — уже проиндексированная страница участвует в конкуренции за позиции по запросам. Проблема на любом из первых двух этапов делает ранжирование невозможным независимо от качества контента.

Что такое краулинговый бюджет

Краулинговый бюджет — ограниченное количество запросов, которое поисковый бот готов сделать к сайту за период времени. Складывается из двух факторов: скорости, с которой сервер способен отвечать без деградации (чем быстрее и стабильнее ответ — тем больше запросов бот себе позволяет), и «спроса» на обход — насколько важным и часто обновляемым Google считает сайт.

Для большинства сайтов агентства (десятки–сотни страниц) бюджет практически никогда не является ограничением — бот успевает обойти всё. Проблема актуальна для крупных сайтов: интернет-магазинов с генерируемыми фильтрами, каталогов, новостных порталов с десятками тысяч URL.

Что тратит бюджет впустую

Параметрические URL: фильтры, сортировки, UTM-метки создают бесконечные вариации одного и того же контента — бот обходит их вместо приоритетных страниц.

Мягкие ошибки (soft 404): страница отдаёт код 200, но фактически пустая или содержит сообщение об ошибке — бот тратит запрос впустую, не получая полезного сигнала.

Редиректные цепочки: URL А → Б → В → Г вместо прямого А → Г — каждый переход в цепочке — отдельный запрос бота.

Устаревшие URL: давно удалённые страницы без корректного статуса (404/410) или редиректа — бот годами продолжает их проверять по старой памяти обхода.

Как контролировать индексацию

robots.txt: закрывает от обхода служебные разделы, но не гарантирует исключение из индекса, если на URL есть внешние ссылки.

meta robots noindex: корректный способ исключить страницу из индекса при сохранении возможности обхода — бот должен дойти до страницы, чтобы увидеть тег.

Канонические ссылки (rel=canonical): указывают предпочтительную версию при дублях — критично для страниц с фильтрами и параметрами.

XML sitemap: список приоритетных URL для индексации — не гарантия, но сильный сигнал о том, какие страницы вы считаете важными.

Диагностика

Google Search Console → Индексирование → Страницы — показывает, какие URL проиндексированы, какие исключены и по какой причине. Отчёт «Статистика сканирования» — сколько запросов делает бот и как распределены коды ответов. Для полной картины поведения бота нужны логи сервера — они показывают реальные запросы, а не выборку, которую отдаёт GSC.

Работа с индексацией и краулинговым бюджетом входит в наш технический аудит — особенно актуальна для проектов с большим количеством страниц, включая интернет-магазины.