Propulsé par l'IA
Un testeur robots.txt qui lit les règles et les sitemaps d'un site et vérifie si les moteurs de recherche et les robots d'IA peuvent lire une adresse.
DisponiblePrêt à l'emploi.
Ouvrir l’outil| Robot | Adresse | Résultat |
|---|---|---|
| Googlebot | /blog/post | Autorisé |
| Googlebot | /search?q=x | Bloqué |
| GPTBot | /blog/post | Bloqué |
L'IA explique chaque règle simplement. L'autorisation d'une adresse est décidée par les mêmes règles que les moteurs de recherche.
Le fichier est récupéré et ses règles groupées par robot.
Les sitemaps listés dans robots.txt ou à l'adresse habituelle sont lus.
Votre adresse est comparée aux règles de chaque robot.
Quelle règle a décidé, et quoi changer.
robots.txt est un petit fichier texte à la racine d'un site qui indique aux robots les parties qu'ils peuvent demander. Un testeur robots.txt lit ce fichier et vérifie si une adresse est autorisée pour un robot donné, comme Googlebot ou un robot d'IA.
Une seule ligne erronée peut cacher toute une section des résultats, donc tester avant et après une modification vaut une minute.
Il groupe les règles par robot, signale les lignes invalides et trouve les règles qui bloquent le CSS ou les scripts nécessaires à l'affichage. Vous pouvez tester une adresse pour les robots de recherche et les robots d'IA comme GPTBot, ClaudeBot et PerplexityBot.
Il lit aussi les sitemaps listés, compte leurs adresses et repère celles qui échouent ou que robots.txt bloque.
robots.txt contrôle l'exploration, pas l'indexation. Une page bloquée peut encore apparaître si d'autres pages la relient. Pour garder une page hors des résultats, laissez-la être explorée et utilisez une balise noindex.
La plupart des accidents robots.txt surviennent lors d'une mise en ligne, quand les règles d'un site de test arrivent en production. La surveillance des changements vérifie robots.txt et le sitemap et vous prévient quand ils changent.
Non. Il empêche l'exploration. Une page bloquée peut être indexée via des liens. Utilisez noindex pour l'exclure.
Cela dépend si vous voulez que les assistants IA lisent et citent vos pages. Le testeur montre ce que dit votre fichier aujourd'hui.
Pour Google, la règle la plus précise gagne, et Allow l'emporte en cas d'égalité. Le testeur montre la règle décisive.