Shopify основной простой файла robots.txt

У меня есть данные, позволяющие предположить, что Shopify не обслуживает файл robots.txt постоянно (если вообще) по крайней мере с 4 января (и, похоже, это было исправлено сегодня, 5:15 по Гринвичу XNUMX января).

На изображении выше показано, как 690,000 4 URL-адресов перешли из заблокированных в доступные для сканирования 404 января, и сегодня я проверил эту проблему на нескольких сайтах в файлах robots.txt, и все они отображают HTML-код для страницы XNUMX внутри самого файла вместо обычные правила robots.txt.

В GSC также есть множество примеров, когда последний зарегистрированный сканированный файл robots.txt был 4 января.

Определенно стоит остерегаться, если это произойдет снова / еще не полностью исправлено - установите другие теги в качестве меры предосторожности.

Один пример того, как это может привести к серьезным проблемам с индексированием:

Магазин, который не настроил свои страницы фильтров на noindex, теперь внезапно имеет индексируемые комбинации фильтров (ранее заблокированные знаком «+» в файле robots.txt), что может экспоненциально увеличить количество индексируемых страниц.

Вот изображение, показывающее, что было показано Google в файле robots.txt (html-страница 404):

Пример Shopify robots txt 404

Мне было бы интересно узнать, видит ли кто-нибудь еще эти большие падения заблокированных страниц в GSC (я уже проверил около 10, и почти у всех есть подобные падения).

Насколько полезным был этот пост?

Нажмите на звезду, чтобы оценить это!

Средний рейтинг 5 / 5. Подсчет голосов: 3

Пока нет голосов! Будьте первым, кто оценит этот пост.

Мы сожалеем, что этот пост не был полезен для вас!

Давайте улучшим этот пост!

Расскажите, как мы можем улучшить этот пост?

Мэтт Джексон

SEO-специалист по электронной торговле с более чем 8-летним опытом анализа и исправления веб-сайтов онлайн-покупок. Практический опыт работы с Shopify, Wordpress, Opencart, Magento и другими CMS.
Нужна помощь? Напишите мне для получения дополнительной информации на info@matt-jackson.com

Этот пункт 0 Комментарии к сообщению

Оставьте комментарий

Ваш электронный адрес не будет опубликован. Обязательные поля помечены *