RE: Нужно ли в WordPress в файле Robots.txt делать отдельные директивы для Googlebot ?
Суть вопроса в самом заголовке, нужно ли в WordPress в файле Robots.txt делать отдельные директивы для Googlebot, так как все делают для Яндекса ? Например сделать три куска директив для User-agent: *, User-agent: Yandex и User-agent: Googlebot.
Я не пойму, у меня одного в инструментах проверки файла robots.txt или у всех такое ?
У вас на скрине скорее всего синтаксическая ошибка в коде файла (невидимый символ или спецсимвол), просто пересохраните файл robots.txt
Вы правильно сказали, перед User-agent: * обнаружил скрытую директорию /ufeff, наверное откуда то копировал и вместе с ней вставил, написал Robots.txt ручками, сейчас все прекрасно.
