robots.txt для wordpress — на примере моего сайта

информацию о robot.txt — можно посмотреть здесь  robots.txt

для wordpress  я использую вот такое содержание (site.ru заменить на свой url сайта).

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-json
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /wp-login
Disallow: /author
Disallow: /*?
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-json
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /wp-login
Disallow: /author
Disallow: /*?
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

*Внимание

Для   YoastSEO   карты  Sitemap  будет  Sitemap: http://site.ru//sitemap_index.xml

Поделись с друзьями:

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *