Con IA
Un probador de robots.txt que lee las reglas y los sitemaps de un sitio y comprueba si los buscadores y los rastreadores de IA pueden leer una dirección.
DisponibleLista para usar.
Abrir la herramienta| Rastreador | Dirección | Resultado |
|---|---|---|
| Googlebot | /blog/post | Permitido |
| Googlebot | /search?q=x | Bloqueado |
| GPTBot | /blog/post | Bloqueado |
La IA explica cada regla con sencillez. Si una dirección está permitida lo deciden las mismas reglas que usan los buscadores.
Se obtiene el archivo y se agrupan sus reglas por rastreador.
Se leen los sitemaps listados en robots.txt o en la dirección habitual.
Tu dirección se compara con las reglas de cada rastreador.
Qué regla decidió y qué cambiar.
robots.txt es un pequeño archivo de texto en la raíz de un sitio que indica a los rastreadores qué partes pueden pedir. Un probador de robots.txt lee ese archivo y comprueba si una dirección está permitida para un rastreador concreto, como Googlebot o un rastreador de IA.
Una sola línea equivocada puede ocultar una sección entera de los resultados, así que probar antes y después de un cambio merece un minuto.
Agrupa las reglas por rastreador, señala las líneas no válidas y encuentra reglas que bloquean el CSS o los scripts que las páginas necesitan para mostrarse. Puedes probar una dirección con rastreadores de búsqueda y de IA como GPTBot, ClaudeBot y PerplexityBot.
También lee los sitemaps listados, cuenta sus direcciones y detecta las que fallan o que robots.txt bloquea.
robots.txt controla el rastreo, no la indexación. Una página bloqueada puede seguir apareciendo si otras páginas la enlazan. Para dejar una página fuera de los resultados, permite que se rastree y usa una etiqueta noindex.
La mayoría de accidentes con robots.txt ocurren en un lanzamiento, cuando las reglas de un sitio de pruebas llegan al sitio real. La monitorización de cambios revisa robots.txt y el sitemap y avisa cuando cambian.
No. Impide el rastreo. Una página bloqueada puede indexarse por enlaces. Usa noindex para excluirla.
Depende de si quieres que los asistentes de IA lean y citen tus páginas. El probador muestra lo que dice tu archivo hoy.
Para Google gana la regla más específica, y Allow gana en caso de empate. El probador muestra la regla que decidió.