La empresa Contacto

Robots.txt Checker: analiza un robots.txt

Revisa qué permite y qué bloquea el robots.txt de un sitio, si declara su sitemap y si tiene errores graves como bloquear todo el sitio a los buscadores.

GratisSin registroConsulta en tiempo realSEO y sitios web

Cómo usar Robots.txt Checker

  1. Escribe el dominio o cualquier URL del sitio.
  2. Pulsa Consultar.
  3. Revisa el diagnóstico y el contenido.

Cómo funciona

El archivo /robots.txt indica a los robots de los buscadores qué partes del sitio pueden rastrear. Se organiza en grupos User-agent con reglas Disallow (no rastrear) y Allow (permitir), y puede declarar el Sitemap.

Ojo: robots.txt evita el rastreo, pero no garantiza que una página no aparezca en Google; para eso se usa noindex. Google ignora lo que supere 500 KiB y, si robots.txt responde con error 5xx, puede detener el rastreo.

Ejemplos

  • User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Sitemap: https://ejemplo.com/sitemap.xml

Errores comunes

  • Dejar Disallow: / después de publicar un sitio que estaba en desarrollo.
  • Bloquear archivos CSS y JS que Google necesita para ver la página.

Preguntas frecuentes

¿Es obligatorio tener robots.txt?

No, pero es recomendable para declarar el sitemap y evitar el rastreo de zonas privadas.

¿Sirve para ocultar páginas?

No: el archivo es público. Para ocultar contenido usa contraseña o noindex.

Tu negocio merece un nombre propio en internet

Verifica tu dominio en segundos y actívalo junto con tu hosting. Te acompañamos en cada paso.