Правильный robots.txt у сайта WordPress

Подскажите правильный  файл robots.txt у сайта WordPress чтобы исключить дубли и запретить максимально попадание ненужного контента в индекс поисковых систем.

Сторонник Asked on 10.12.2014 in Оптимизация.
Add Comment
1 Answer(s)

Я всегда делаю так:

User-agent: *
Disallow: *?s=
Disallow: /wp-
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: */page/

Sitemap: http://site.ru/sitemap.xml
Host:  site.ru

Сторонник Answered on 10.12.2014.
Add Comment

Your Answer

By posting your answer, you agree to the privacy policy and terms of service.