Продвижение

Причины выпадения страниц из индекса поисковых систем

Сегодня мы рассмотрим основные причины проблем с индексацией и выпадения страниц из индекса Яндекса и Google. В статье мы покажем, на что обращать внимание, если вы внезапно обнаружите отсутствие ключевых для продвижения страниц в поиске.

  1. Технические причины
  2. Проблемы с контентом
  3. Ограничения со стороны поисковых систем

Исключённые из поиска страницы можно найти в Яндекс.Вебмастере и Google Search Console:

  • Алгоритм для Яндекс.Вебмастера: «Индексирование – Страницы в поиске – Исключённые страницы».

отчёт Яндекс.Вебмастера по исключённым страницам

  • Алгоритм для Google Search Console: «Индекс – Покрытие – Исключено».

исключённые страницы в Google Search Console

Яндекс в своей справке подробно описывает причины, по которым страницы сайта могут быть исключены из индекса поисковой системы.

Google также приводит перечень причин выпадения из поиска.

1. Технические причины

Некорректный ответ сервера

Причина выпадения:

Страницы с кодом ответа 4ХХ либо 5ХХ не могут быть внесены в поисковую базу.

4ХХ ответ сервера применяется для случаев, когда существует ошибка на стороне клиента. Часто посетители могут обращаться к несуществующим адресам, либо когда URL удалён.

5ХХ ошибки говорят о сбое в работе сервера.

Пример отчёта:

Google Search Console

исключённые страницы с 404 ответом в Google Search Console

Яндекс.Вебмастер

отчёт Яндекс.Вебмастера по страницам с 404 ошибкой

Как исправить:

Необходимо проверить корректность ответа сервера целевого URL. Для этого в Яндекс.Вебмастере выбираем: «Инструменты – Проверка ответа сервера».

проверка ответа сервера в Яндекс.Вебмастере

Если страница выпала из индекса и должна приносить трафик либо содержит полезные для сайта внешние сигналы, её нужно восстановить.

Запрет индексирования в файле robots.txt или метатеге noindex

Причина выпадения:

  • наличие в robots.txt инструкций для поискового робота, запрещающих сканирование страниц/разделов на сайте;
  • метатег с директивой noindex в коде выпавших из индекса страниц.

Файл robots.txt предназначен для указания рекомендаций по сканированию сайта для поисковых систем. Владельцы сайтов с помощью этого файла часто могут запрещать сканирование важных для продвижения сайтов.

Директива noindex говорит поисковым краулерам, что данную страницу не стоит включать в индекс поисковой системы.

Пример отчёта:

Яндекс.Вебмастер

запрещённые в robots.txt к индексации страницы

Яндекс.Вебмастер

запрет на индексирование тегом noindex

Как исправить:

  • удалить из файла robots.txt лишние директивы, которые запрещают сканировать исключённые страницы/разделы сайта;
  • метатег noindex необходимо удалить из кода.

После этого необходимо отправить страницу на переобход.

Яндекс.Вебмастер: «Индексирование – Переобход страниц – вводим URL – Отправить».

переобход страниц в Яндекс.Вебмастере

Google Search Console: в строку поиска вводим адрес страницы – нажимаем Enter – «Запросить индексирование».

переиндексация в Google Search Console

Всё о файле robots.txt описано в статье «Гайд по robots.txt: создаём, настраиваем, проверяем».

Редирект

Причина выпадения:

Перенаправление поискового робота на другой URL сайта.

Редирект используется для перенаправления поисковых роботов и посетителей на новый адрес. Наиболее популярными типами редиректов являются: 301 – постоянное перенаправление и 302 – временное перенаправление.

Пример отчёта:

Google Search Console

страницы с переадресацией в Google Search Console

Яндекс.Вебмастер

страницы с переадресацией в Яндекс.Вебмастере

Как исправить:

Если выпавший из индекса поисковых систем URL ошибочно перенаправляет пользователя, необходимо изменить ответ сервера на 200.

Подробнее о перенаправлении пользователей читайте в статье «301, 302 или 404? Что применять и в каких случаях?».

Неканоническая страница

Причина выпадения:

Наличие в коде атрибута rel=«canonical», указывающего как канонический другой адрес.

Как правило, канонический адрес указывается для ряда страниц с одинаковым либо схожим содержимым. Оптимизатор с помощью rel=«canonical» указывает для поисковых систем приоритетную для продвижения страницу, остальные могут быть исключены из поиска.

Пример отчёта:

Google Search Console

неканонические страницы в Google Search Console

Яндекс.Вебмастер

неканонические страницы в Яндекс.Вебмастере

Как исправить:

Ваша задача – выявить, корректно ли выбрал поисковый робот каноническую страницу. Если выпавшая из поиска страница должна быть в индексе поисковых систем, и атрибут rel=«canonical» размещён по ошибке, его необходимо удалить.

2. Проблемы с контентом

Дубли

Причина выпадения:

Наличие одинакового либо очень похожего контента на сайте.

Причиной возникновения дублей часто является CMS сайта, что приводит к ухудшению ранжирования в поиске. Поисковому роботу приходится тратить лишние ресурсы на обход адресов с идентичным контентом, при этом приоритетные страницы могут сканироваться значительно реже.

Пример отчёта:

Google Search Console

дубли страниц в Google Search Console

Яндекс.Вебмастер

дубли страниц в Яндекс.Вебмастере

Как исправить:

Настроить редирект либо канонический адрес. Также стоит выявить и устранить причину генерации дублированного контента на сайте.

Недостаточно качественные страницы

Причина выпадения:

Поисковый робот исключил страницу из поиска, потому что она недостаточно полно отвечает на запрос пользователя. К недостаточно качественным поисковые системы относят страницы без или с малым количеством контента.

Пример отчёта:

Google Search Console

некачественные страницы в Google Search Console

Яндекс.Вебмастер

некачественные страницы в Яндекс.Вебмастере

Как исправить:

Проведите анализ конкурентов по продвигаемой семантике. По итогу вы сможете выделить недостающие информационные блоки, отличия в наполнении контента, которые можно добавить на продвигаемый URL.

Подробнее читайте в статье «Страницы низкого качества или как понять, что твой сайт “не очень”».

Неуникальный контент

Причина выпадения:

Поисковые системы могут обнаружить, что на вашем сайте размещён скопированный с другого сайта контент, и исключить страницу из поиска. Также конкуренты могут украсть текст, размещённый на вашем сайте, и опубликовать на своём. В целом это может негативно отразиться на продвижении сайта. Яндекс и Google может отдать предпочтение сайту конкурентов с ворованным контентом, если он считается более трастовой площадкой.

Как исправить:

Если на вашем сайте размещён контент, скопированный с других ресурсов – необходимо заново переписать текст. Если конкуренты скопировали текст с вашего сайта – вы можете отправить жалобу на рассмотрение. Более надёжным будет запретить копирование текста.

3. Ограничения со стороны поисковых систем

Обманные методики

Причина выпадения:

Использование запрещённых поисковыми системами способов продвижения сайта.

К обманным методикам можно отнести:

  • скрытая переадресация;
  • схемы обмена ссылками;
  • накрутка поведенческих факторов;
  • последствия взлома сайта;
  • назойливые рекламные блоки;
  • продажа ссылок.

Поисковые системы, обнаружив на сайте использование неразрешённых способов повлиять на рейтинг в поиске, могут накладывать ограничения, вплоть до исключения сайта из индекса до 9 месяцев.

Пример отчёта:

Google Search Console

«Проблемы безопасности и меры, принятые вручную – Меры, принятые вручную»

меры, принятые вручную, в Google Search Console

Яндекс.Вебмастер

«Диагностика – Безопасность и нарушения»

отчёт по нарушениям в Яндекс.Вебмастере

Как исправить:

Отказаться от применения запрещённых для продвижения приёмов, написать в службу поддержки ПС и ждать снятия ограничений, применяемых к сайту.

О фильтрах Яндекса написали наши специалисты «6 актуальных типов фильтров Яндекса».

Если у вашего сайта есть проблемы с индексацией, наши специалисты могут помочь выявить ключевые ошибки.

  • Как оптимизировать зомби-страницы
  • Почему zombie-страницы вредят вашему сайту Виды Zombie Pages Определяем список зомби-страниц Как убрать влияние зомби Зомби-страницы (от англ. Zombie Pages) – это страницы веб-ресурса без…

  • Коммерческие факторы ранжирования Яндекса. Как стать лучше конкурентов
  • Недавно обратили внимание, что тема коммерческих факторов ранжирования не достаточно раскрыта на нашем блоге и, разумеется, решили исправить это. Мы расскажем, что же такое коммерческие факторы, а…

  • А вы знали, что Google видит JavaScript-ссылки, которые не видите вы?
  • Кайла Бекер рассказала на SearchEngineLand, как плохая видимость обратных JavaScript-ссылок может отразиться на анализе обратных ссылок. Большинство специалистов в области сетевого маркетинга уже знают, что…

  • Обновление Google – «Speed Update». Какие метрики помогут улучшить скорость загрузки сайта
  • Chrome User Experience Report First Paint и First Contentful Paint First Meaningful Paint (FMP) и Hero Element Timing Time to Interactive. Long Tasks Сервис Google…

  • Проектирование структуры и навигации интернет-магазина: возможные проблемы и их решение
  • Ошибки в структуре и навигации интернет-магазина могут существенно замедлить его развитие. Их устранение – весьма сложный и затратный процесс. Поэтому, конечно же, лучше этих ошибок…


Есть вопросы?

Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.

Siteclinic logo





Статьи по теме

Кнопка "Вернуться к началу"
Закрыть

Обнаружен Adblock

Пожалуйста, подумайте о том, чтобы поддержать нас, отключив свой блокировщик рекламы!