Коротко: Если сайт не индексируется, проблема не всегда в поисковой системе. Чаще причина в доступности страниц, запретах, дублях, слабой структуре или качестве самих URL.
Главная мысль: Сначала нужно убрать блокеры и разложить спрос по страницам. Только после этого стоит масштабировать тексты, блог и внешние работы.
Что значит «не индексируется»
Важно разделять обход и индексацию. Поисковый робот может знать о странице, но не добавить ее в индекс. Также страница может быть в индексе, но не показываться по нужным запросам из-за слабой релевантности.
Проверку нужно начинать с конкретных URL. Формулировка «сайт не индексируется» слишком широкая: одна проблема у нового сайта, другая у раздела с фильтрами, третья у статей блога или карточек товаров.
- страница не найдена поисковиком
- страница найдена, но исключена
- страница в индексе, но не получает показов
- индексируются дубли вместо нужного URL
Базовая диагностика URL
Откройте страницу в браузере и проверьте код ответа. Важный URL должен отдавать 200, не уходить в длинную цепочку редиректов и не требовать авторизацию. Затем проверьте meta robots, canonical и наличие страницы в sitemap.
Если сайт новый, индексация может занять время. Но ожидание не заменяет проверку: поисковику нужно дать понятные ссылки, карту сайта и страницы без технических запретов.
- код ответа 200
- нет noindex
- canonical указывает на правильный URL
- страница есть во внутренних ссылках
- URL добавлен в sitemap
Запреты в robots.txt и meta robots
Robots.txt может закрыть раздел от обхода. Meta robots noindex может запретить добавление страницы в индекс. Иногда эти запреты остаются после разработки, переезда или временной закрытой публикации.
Особенно опасны массовые правила: закрытый каталог, блог, папка услуг или технический параметр, который случайно совпал с рабочими URL. Поэтому проверять нужно не только файл целиком, но и конкретный адрес.
- нет Disallow для важного раздела
- нет meta name robots content noindex
- нет X-Robots-Tag noindex в заголовках
- тестовые настройки после запуска сняты
Sitemap, внутренние ссылки и глубина
Поисковая система быстрее находит страницы, если они есть в sitemap и связаны внутренними ссылками. Страница без ссылок выглядит изолированной: даже если ее добавить вручную, она получает слабый сигнал важности.
Для сайта услуг статьи блога должны ссылаться на релевантные услуги, а услуги - на полезные материалы. Для интернет-магазина категории, подкатегории и карточки должны быть доступны по логичной навигации.
- в sitemap только нужные индексируемые URL
- страница доступна за 2-3 клика от важных разделов
- нет битых внутренних ссылок
- анкоры описывают смысл страницы
Дубли и canonical
Если у страницы есть несколько версий, поисковик может выбрать не ту. Параметры, сортировки, UTM, слеши, зеркала и копии контента создают конкуренцию между URL. В итоге нужная страница выглядит менее сильной.
Canonical помогает, когда он точный и последовательный. Если на странице стоит canonical на другой URL, ожидать индексации этой страницы не стоит: вы сами подсказываете поисковой системе выбрать другую версию.
- внутренние ссылки ведут на основной URL
- canonical не указывает на нерелевантную страницу
- параметры фильтров не открыты без контроля
- нет копий с одинаковым текстом и мета
Качество и ценность страницы
Даже технически доступная страница может не попасть в индекс, если она пустая, дубльная, слабая или не отвечает понятному интенту. Поисковику не нужен набор одинаковых страниц с замененным городом, товаром или одной фразой.
Для индексации важны уникальная задача страницы, полезный текст, понятные заголовки, коммерческие элементы, изображения по делу и связь с остальной структурой сайта. Особенно это критично для новых сайтов без доверия и истории.
- страница закрывает отдельный спрос
- нет шаблонного дубля текста
- Title и H1 описывают конкретную задачу
- есть полезный контент и CTA
- страница связана с разделом или услугой
Что делать по шагам
Не нужно сразу переписывать весь сайт. Начните с таблицы проблемных URL и отметьте причину: технический запрет, дубль, отсутствие ссылок, слабый контент или ошибка сервера. Так задача превращается в управляемый план.
После исправлений отправьте sitemap, проверьте URL в Search Console и Яндекс Вебмастере, обновите внутренние ссылки и через несколько дней проверьте статус снова. Если проблема массовая, нужен технический аудит.
- собрать список проблемных URL
- снять запреты и исправить коды ответа
- почистить sitemap и canonical
- добавить внутренние ссылки
- усилить слабые страницы
- перепроверить индексацию после обновления
Практический шаг: Индексация чинится быстрее, когда вы работаете не с догадками, а с конкретными URL, статусами, запретами, дублями и внутренними ссылками. Если нужен внешний взгляд, начните с SEO-продвижения сайта под ключ или отдельного SEO-аудита SEOProvision.
Как проверить URL перед отправкой на переобход
Перед отправкой страницы на переобход убедитесь, что проблема действительно исправлена. Если URL все еще закрыт robots.txt, содержит noindex, указывает canonical на другую страницу или не имеет внутренней ссылки, повторная отправка не решит проблему.
Затем проверьте ценность страницы. Поисковая система может обходить URL, но не включать его в индекс, если страница дублирует другой материал, слишком тонкая или не отвечает на отдельный интент. В этом случае нужна редакционная доработка, а не только техническая правка.
После исправлений зафиксируйте дату, список изменений и ожидаемый результат. Так через несколько недель можно понять, помогла ли правка или нужно пересматривать структуру, качество текста и внутренние ссылки.
- статус страницы 200
- нет noindex и конфликтующего canonical
- страница есть в sitemap или связана внутренней ссылкой
- содержание отличается от соседних URL
Что делать после исправления причины
Когда техническая причина устранена, не ждите результата вслепую. Обновите sitemap, добавьте внутреннюю ссылку на важный URL, отправьте страницу на переобход в доступных инструментах и зафиксируйте дату изменения. Для новых или слабых страниц этого может быть недостаточно, если содержание не имеет самостоятельной ценности.
Если страница не попадает в индекс после исправлений, сравните ее с соседними URL. Часто проблема в том, что материал повторяет уже существующую страницу, отвечает слишком поверхностно или не закрывает отдельный интент. Тогда нужно объединять, расширять или менять назначение URL.
Не создавайте новые страницы для проверки гипотезы индексации. Сначала разберите текущий кластер: какие URL уже есть, что они обещают, какие из них индексируются и куда должны вести внутренние ссылки.
- переобход после исправления
- внутренняя ссылка на URL
- проверка дублей и canonical
- усиление содержания при слабом качестве
FAQ
Почему новая страница долго не индексируется?
У нового URL может не быть внешних и внутренних сигналов. Проверьте sitemap, ссылки на страницу, отсутствие noindex, код 200 и полезность контента.
Может ли robots.txt запретить индексацию?
Robots.txt управляет обходом. Для запрета индексации используют другие механизмы, но закрытый обход может помешать поисковику увидеть страницу и ее изменения.
Что делать, если в индексе дубль?
Нужно выбрать основной URL, исправить внутренние ссылки, canonical, редиректы и параметры. Иногда требуется закрыть или объединить дубльные страницы.
Вывод
Индексация чинится быстрее, когда вы работаете не с догадками, а с конкретными URL, статусами, запретами, дублями и внутренними ссылками.
