загрузка..

Статус Не получено в Google Search Console для Branched Sitemap 0 0

Последнее обновление: 20/01/2022 18:20 in Branched Sitemap
Сообщение отСерж Ткач

В поддержку обратился пользователь, у которого проиндексировалась подкарта https://smakso.kz/index.php?route=extension/feed/branched_sitemap/main

Но не проиндексировалась https://smakso.kz/index.php?route=extension/feed/branched_sitemap/categories&page=1

и тд

Статус


При нажатии на отдельное ответвление при этом также пишет "Общая ошибка HTTP"



Поиск причины шаг за шагом

В первую очередь проверяю валидность карты через инструменты Яндекса. Все ок.При этом валидатор карты от Яндекса говорит, что с Branched Sitemap для OpenCart все ок


Дальее анализ ответа сервера через bertal.ru показал, что все ок. То есть, статус 200 и Content-Type: text/xml; charset=UTF-8

Погуглил. Нашел тему Sitemap в статусе "Не получено" в поддержке Google. Там речь шла о запрете индексации карты. Посмотрел robots.txt . Подозрительными показались следующие строки:

Disallow: /*?page=
Disallow: /*&page=    

Вообще, у каждого SEOшника своя метода. Кто вешает каноникал, кто добавлять к мета-тегам слова " - Страница Х", а кто запрещает индексировать страницы 2 и более. Но, похоже, что конкретно это правило мешает боту Google индексировать карту. Для выхода из ситуации пользователю предложено дополнить инструкции в robots.txt следующими строками:

Disallow: /*?page=
Disallow: /*&page=
Allow: /*branched_sitemap*?page= Allow: /*branched_sitemap*&page=

Или вот так (вариант добавлен спустя время после обработки подобных обращений):

Disallow: /*?page=
Disallow: /*&page=
Allow: *branched_sitemap*


Спустя 2 дня после изменения правил в robots.txt, пользователь прислал сообщение, что статус карты стал "Успешно" на всех подкартах.


Кстати говоря, закрывать страницы пагинации от индексации НЕ рекомендуется вот ТУТ 1 и вот ТУТ 2.


Встречаются и другие правила в robots.txt, которые приводят к ошибкам

---

Disallow: *?*

Заменить на:

Disallow: *?*
Allow: *branched_sitemap*


---

Disallow: /*route

Добавить разрешение доступа к подкартам:

Disallow: /*route
Allow: *branched_sitemap*



Другие причины ошибки Статус Не получено в Google Search Console

Хотя "новой" консоли уже несколько лет, и она давно уже не новая, но ошибки внутри ее работы до сих пор не исправлены. Вместо адекватного отчета, что конкретно не так с картой сайта, Вы видите просто надпись в столбце Статус "Не получено".

Тем не менее, в справке есть список возможных ошибок, по которому можно проверить карту сайта самостоятельно. Смотрите список в официальной документации Google  https://support.google.com/webmasters/answer/7451001?hl=ru#errors&zippy=%2Cполный-список-ошибок

Я же сюда буду записывать наиболее часто встречаемые.

Ошибка: Нельзя использовать URL

Бывает так, что в OpenCart переход магазина на HTTPS осуществляется не до конца. Может быть настроены редиректы в файле .htaccess, но ссылки изначально формируются БЕЗ https. С точки зрения Google-бота ссылки в карте сайта используют Другой домен, нежели сам Sitemap.

Выглядит это вот так:








*Примечание
Несмотря на то, что на снимке экрана из Google Search Console каждая подкарта имеет свой отдельный статус, отправлять в консоль и (или) добавлять в robots.txt необходимо всего 1 карту, которая является sitemapindex. То есть, содержит перечень всех дочерник подкарт.



Связанные статьи:


** Время зависит от часового пояса America/New_York