Статус Не получено в Google Search Console для Branched Sitemap 0 1

В поддержку обратился пользователь, у которого проиндексировалась подкарта https://smakso.kz/index.php?route=extension/feed/branched_sitemap/main

Но не проиндексировалась https://smakso.kz/index.php?route=extension/feed/branched_sitemap/categories&page=1

и тд

Поиск причины шаг за шагом

В первую очередь проверяю валидность карты через инструменты Яндекса. Все ок.

Дальее анализ ответа сервера через bertal.ru показал, что все ок. То есть, статус 200 и Content-Type: text/xml; charset=UTF-8

Погуглил. Нашел тему Sitemap в статусе "Не получено" в поддержке Google. Там речь шла о запрете индексации карты. Посмотрел robots.txt . Подозрительными показались следующие строки:

Disallow: /*?page=
Disallow: /*&page=    

Вообще, у каждого SEOшника своя метода. Кто вешает каноникал, кто добавлять к мета-тегам слова " - Страница Х", а кто запрещает индексировать страницы 2 и более. Но, похоже, что конкретно это правило мешает боту Google индексировать карту. Для выхода из ситуации пользователю предложено дополнить инструкции в robots.txt следующими строками:

Disallow: /*?page=
Disallow: /*&page=
Allow: /*branched_sitemap*?page=
Allow: /*branched_sitemap*&page=

Или вот так (вариант добавлен спустя время после обработки подобных обращений):

Disallow: /*?page=
Disallow: /*&page=
Allow: *branched_sitemap*

Встречаются и другие правила в robots.txt, которые приводят к ошибкам

---

Disallow: *?*

Заменить на:

Disallow: *?*
Allow: *branched_sitemap*

---

Disallow: /*route

Добавить разрешение доступа к подкартам:

Disallow: /*route
Allow: *branched_sitemap*

Другие причины ошибки Статус Не получено в Google Search Console

Хотя "новой" консоли уже несколько лет, и она давно уже не новая, но ошибки внутри ее работы до сих пор не исправлены. Вместо адекватного отчета, что конкретно не так с картой сайта, Вы видите просто надпись в столбце Статус "Не получено".

Тем не менее, в справке есть список возможных ошибок, по которому можно проверить карту сайта самостоятельно. Смотрите список в официальной документации Google — https://support.google.com/webmasters/answer/7451001?hl=ru#errors&zippy=%2Cполный-список-ошибок

Я же сюда буду записывать наиболее часто встречаемые.

Ошибка: Нельзя использовать URL

Бывает так, что в OpenCart переход магазина на HTTPS осуществляется не до конца. Может быть настроены редиректы в файле .htaccess, но ссылки изначально формируются БЕЗ https. С точки зрения Google-бота ссылки в карте сайта используют Другой домен, нежели сам Sitemap.

Выглядит это вот так:

Связанные статьи:

• Общая ошибка HTTP в Google Search Console