Robots.txt Checker: analiza un robots.txt
Revisa qué permite y qué bloquea el robots.txt de un sitio, si declara su sitemap y si tiene errores graves como bloquear todo el sitio a los buscadores.
Cómo usar Robots.txt Checker
- Escribe el dominio o cualquier URL del sitio.
- Pulsa Consultar.
- Revisa el diagnóstico y el contenido.
Cómo funciona
El archivo /robots.txt indica a los robots de los buscadores qué partes del sitio pueden rastrear. Se organiza en grupos User-agent con reglas Disallow (no rastrear) y Allow (permitir), y puede declarar el Sitemap.
Ojo: robots.txt evita el rastreo, pero no garantiza que una página no aparezca en Google; para eso se usa noindex. Google ignora lo que supere 500 KiB y, si robots.txt responde con error 5xx, puede detener el rastreo.
Ejemplos
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ejemplo.com/sitemap.xml
Errores comunes
- Dejar
Disallow: /después de publicar un sitio que estaba en desarrollo. - Bloquear archivos CSS y JS que Google necesita para ver la página.
Preguntas frecuentes
¿Es obligatorio tener robots.txt?
No, pero es recomendable para declarar el sitemap y evitar el rastreo de zonas privadas.
¿Sirve para ocultar páginas?
No: el archivo es público. Para ocultar contenido usa contraseña o noindex.