автор: Benj Arriola

Индексация ваших веб-страниц Google (и другими поисковыми системами) является ключевым моментом. Страницы, которые не проиндексированы, не могут ранжироваться.

Как узнать, сколько у вас проиндексировано страниц? Вы можете

• Использовать оператор [site:].
• Проверить статус отправки вашей карты сайта XML в Google Search Console.
• Проверить общий статус индексации.

Каждый из них предоставит разные числа, но почему они разные – это другая история.

На данный момент давайте просто поговорим о том, как анализировать уменьшение числа проиндексированных страниц, отрапортованных Google.

Если ваши страницы не проиндексированы, это может быть признаком того, что Google может не нравиться вашей странице или ему может быть сложно ее легко обходить. Таким образом, если количество проиндексированных страниц начинает уменьшаться, это может быть потому, что:

• Вам было наложено наказание от Google.
• Google считает ваши страницы неактуальными.
• Google не может обходить ваши страницы.

Вот несколько советов по диагностике и устранению проблемы уменьшения числа проиндексированных страниц.

1. Загружаются ли страницы правильно?

Убедитесь, что у них правильный статус HTTP 200.

Были ли частые или длительные сбои сервера? Недавно ли истек срок домена и был ли он продлен вовремя?

Действие

Вы можете использовать бесплатный инструмент проверки статуса HTTP-заголовка, чтобы определить, есть ли правильный статус. Для массовых сайтов типичные инструменты обхода, такие как Xenu, DeepCrawl, Screaming Frog или Botify, могут провести эти тесты.

Правильный статус заголовка – 200. Иногда могут появляться некоторые ошибки 3xx (кроме 301), 4xx или 5xx – ничего хорошего для URL-адресов, которые вы хотите проиндексировать.

2. Изменились ли ваши URL-адреса недавно?

Иногда изменение CMS, бэкенд-программирования или настройки сервера, приводящее к изменению домена, поддомена или папки, может также изменить URL-адреса сайта.

Поисковые системы могут помнить старые URL-адреса, но если они не перенаправляются должным образом, многие страницы могут быть исключены из индекса.

Действие

Надеюсь, что копию старого сайта все еще можно посетить каким-то образом, чтобы отметить все старые URL-адреса, чтобы затем можно было создать отображение перенаправлений 301 на соответствующие URL-адреса.

3. Исправили ли вы проблемы с дублированием контента?

Исправление проблем с дублированием контента часто включает в себя внедрение канонических тегов, перенаправлений 301, мета-тегов noindex или запретов в файле robots.txt. Все это может привести к уменьшению проиндексированных URL-адресов.

Это один из примеров, когда уменьшение проиндексированных страниц может быть хорошей вещью.

Действие

Единственное, что нужно сделать – это дважды убедиться, что это действительно причина уменьшения проиндексированных страниц, и не что-то еще.

4. Таймауты на ваших страницах?

Некоторые серверы имеют ограничения по пропускной способности из-за связанных с ней затрат, поскольку более высокая пропускная способность подразумевает более высокие расходы; эти серверы могут потребовать модернизации.

Иногда проблема связана с аппаратными средствами и может быть решена путем обновления обработки вашего оборудования или ограничения памяти.

Некоторые сайты блокируют IP-адреса, когда посетители получают доступ к слишком большому количеству страниц с определенной скоростью. Эта настройка является строгим способом избежать любых попыток хакерских атак DDOS, но это также может негативно сказаться на вашем сайте.

Обычно это контролируется на втором уровне страницы, и если порог слишком низкий, нормальное сканирование ботами поисковых систем может достичь порога, и боты не смогут правильно сканировать сайт.

Действие

Если это ограничение пропускной способности сервера, то это может быть подходящее время для обновления услуг.

Если это проблема обработки/памяти сервера, помимо обновления оборудования, убедитесь, что у вас есть какие-либо технологии кеширования сервера, это снизит нагрузку на сервер.

Если установлено программное обеспечение для предотвращения DDOS, либо уменьшите настройки, либо добавьте Googlebot в белый список, чтобы он не блокировался в любое время. Однако будьте осторожны, существуют фейковые Googlebots; убедитесь, что вы правильно определяете googlebot. Обнаружение Bingbot выполняется аналогичным образом.

5. Видят ли поисковые роботы ваш сайт по-другому?

Иногда то, что видят поисковые роботы, отличается от того, что видим мы.

Некоторые разработчики создают сайты предпочтительным образом, не зная о последствиях для SEO.

Иногда используется предпочтительная CMS "из коробки" без проверки ее поисковой дружественности.

Иногда это может быть сделано намеренно SEO-специалистом, пытающимся играть с поисковыми системами с помощью закулисного контента.

В других случаях веб-сайт может быть скомпрометирован хакерами, которые показывают разные страницы Google, чтобы продвигать свои скрытые ссылки или маскировать 301 редиректы на свой сайт.

Худшая ситуация – это страницы, зараженные каким-либо видом вредоносного программного обеспечения, из-за которого Google автоматически исключает страницу сразу после обнаружения.

Действие

Использование функции "получить и отобразить" в Google Search Console – лучший способ увидеть, видит ли Googlebot тот же контент, что и вы.

Вы также можете попробовать перевести страницу в Google Translate, даже если у вас нет намерений переводить язык, или проверить кэшированную страницу Google, но есть способы обойти их, чтобы все равно замаскировать контент.

Индексные страницы не используются как типичные KPI

Ключевые показатели эффективности (KPI), которые помогают измерить успех кампании по SEO, часто крутятся вокруг органического поискового трафика и ранжирования. KPI обычно сосредотачиваются на целях бизнеса, связанных с доходом.

Увеличение числа проиндексированных страниц может увеличить возможное количество ключевых слов, по которым вы можете ранжироваться, что может привести к более высоким прибылям.

Однако основная цель рассмотрения проиндексированных страниц заключается в том, чтобы определить, способны ли поисковые системы правильно сканировать и индексировать ваши страницы.

Помните, что ваши страницы не могут занимать высокие позиции, если поисковые системы не могут видеть, сканировать или индексировать их.

Уменьшение количества проиндексированных страниц не всегда является плохим знаком.

Уменьшение числа проиндексированных страниц может сигнализировать о проблеме, но устранение дубликатов контента, слабого контента или контента низкого качества также может привести к уменьшению числа проиндексированных страниц, что, на самом деле, является положительным моментом.

Узнайте, как оценить свой сайт, рассмотрев пять возможных причин, почему у вас уменьшается количество проиндексированных страниц.