информацию о robot.txt – можно посмотреть здесь robots.txt
для wordpress я использую вот такое содержание (site.ru заменить на свой url сайта).
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-json
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /wp-login
Disallow: /author
Disallow: /*?
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-json
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /wp-login
Disallow: /author
Disallow: /*?
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
*Внимание
Для YoastSEO карты Sitemap будет Sitemap: http://site.ru//sitemap_index.xml