RE: Нужно ли в WordPress в файле Robots.txt делать отдельные директивы для Googlebot ?
Суть вопроса в самом заголовке, нужно ли в WordPress в файле Robots.txt делать отдельные директивы для Googlebot, так как все делают для Яндекса ? Например сделать три куска директив для User-agent: *, User-agent: Yandex и User-agent: Googlebot.
Я не пойму, у меня одного в инструментах проверки файла robots.txt или у всех такое ?
Нужно делать отдельное правило для Googlebot если предполагаются отдельные правила для Googlebot. Скажем, вы хотите закрыть от индексации отдельную директорию для Googlebot и открыть эту индексацию для Yandex.Если предполагаются общие для всех роботов правила, можно ограничится одним заголовком User-agent: *
