User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /*/page/*/
Disallow: /page*/
Disallow: /*/feed/
Disallow: /*/ancla*/

# Permitir sitemap pero no las búsquedas.

Sitemap: https://www.discrettoys.com/sitemap_index.xml  
Disallow: /?s=   
Disallow: /search

# Permitir Feed general para Google Blogsearch.

# Impedir que /permalink/feed/ sea indexado pues el feed de comentarios suele posicionarse antes de los post.

# Impedir URLs terminadas en /trackback/ que sirven como Trackback URI (contenido duplicado).   

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

# Lista de bots que debes permitir.

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

# Lista de bots que generan consultas abusivas aunque siguen las pautas del archivo robots.txt

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

# Slurp (Yahoo!), Noxtrum y el bot de MSN que suelen generar excesivas consultas.

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10