RE: Нужно ли в WordPress в файле Robots.txt делать отдельные директивы для Googlebot ?
Суть вопроса в самом заголовке, нужно ли в WordPress в файле Robots.txt делать отдельные директивы для Googlebot, так как все делают для Яндекса ? Например сделать три куска директив для User-agent: *, User-agent: Yandex и User-agent: Googlebot.
Я не пойму, у меня одного в инструментах проверки файла robots.txt или у всех такое ?
Лучше писать отдельное правило для каждого робота.
Бывают случаи, что если какая-нибудь директория запрещена к индексу, то реклама Адсенс там не будет показываться... и т.д. Так что лучше контролировать процесс индексации для каждого робота в отдельности.
