Probador y Verificador de robots.txt
Obtén el robots.txt de cualquier sitio y prueba si una URL está permitida o bloqueada para Googlebot y otros rastreadores.
Qué hace Probador y Verificador de robots.txt.
Desde que Google retiró su propio Probador de robots.txt, no hay una forma fácil de revisar las reglas de rastreo. Ingresa un sitio, una ruta y un rastreador, y Effiqs obtiene el robots.txt en vivo, analiza las reglas y te dice si esa ruta está permitida o bloqueada, además de qué regla lo decidió.
Un solo Disallow equivocado puede borrar una sección de Google. Esto lo detecta antes de que te cueste tráfico.
Una URL de sitio, una ruta a probar y un user-agent (Googlebot, Bingbot, GPTBot o todos).
Un veredicto de permitido/bloqueado para la ruta, la regla coincidente, los sitemaps declarados y si existe un robots.txt.
Equipos de SEO que se aseguran de que las páginas importantes sean rastreables, y las privadas no.
La metodología.
- Obtenemos /robots.txt, lo analizamos en grupos de user-agent con sus reglas Allow/Disallow y leemos cualquier directiva Sitemap.
- Para la ruta que pruebas, aplicamos la regla de coincidencia más larga de Google: gana el patrón más específico, y Allow vence a Disallow con longitud igual.
Probador y Verificador de robots.txt: preguntas frecuentes
¿robots.txt evita que una página se indexe?+
No. robots.txt controla el rastreo, no la indexación. Una URL bloqueada aún puede aparecer en resultados (sin snippet) si está enlazada en otro lugar. Para mantener una página fuera del índice, permite el rastreo y usa una etiqueta noindex, o exige autenticación.