Нужно ли в WordPress в файле Robots.txt делать отдельные директивы для Googlebot ?
Суть вопроса в самом заголовке, нужно ли в WordPress в файле Robots.txt делать отдельные директивы для Googlebot, так как все делают для Яндекса ? Например сделать три куска директив для User-agent: *, User-agent: Yandex и User-agent: Googlebot.
Я не пойму, у меня одного в инструментах проверки файла robots.txt или у всех такое ?
Нужно делать отдельное правило для Googlebot если предполагаются отдельные правила для Googlebot. Скажем, вы хотите закрыть от индексации отдельную директорию для Googlebot и открыть эту индексацию для Yandex.Если предполагаются общие для всех роботов правила, можно ограничится одним заголовком User-agent: *
У вас на скрине скорее всего синтаксическая ошибка в коде файла (невидимый символ или спецсимвол), просто пересохраните файл robots.txt
Вы правильно сказали, перед User-agent: * обнаружил скрытую директорию /ufeff, наверное откуда то копировал и вместе с ней вставил, написал Robots.txt ручками, сейчас все прекрасно.
Кстати про Адсенс. В Blogspote по умолчанию (немного с ним имел дело) для Адсенс все открыто и стоит такое правило:
User-agent: Mediapartners-Google
Allow: /
Может и в сайте ему все открыть ?
Да, можете открыть, так будете уверены, что реклама будет показана.
P.S. Если у вас есть замечания или встречный вопрос к ответу, просто нажмите "Комментарии" под выбранным ответом. Отвечать на свой же вопрос нет необходимости.
Лучше писать отдельное правило для каждого робота.
Бывают случаи, что если какая-нибудь директория запрещена к индексу, то реклама Адсенс там не будет показываться... и т.д. Так что лучше контролировать процесс индексации для каждого робота в отдельности.
