Test : l'IA peut-elle lire votre site ?

Outils: Navigateur, Terminal (curl), Claude ou ChatGPT
Prix: Gratuit
Temps: 2 min pour le test, 15 min pour corriger
Niveau: Débutant

Vous tapez le nom de votre entreprise dans ChatGPT ou Perplexity. La réponse est vague, ancienne, ou cite un concurrent. Il y a plusieurs raisons possibles, mais la première à écarter est simple : votre site interdit peut-être l'accès aux robots des IA, parfois depuis des années, sans que personne ne l'ait décidé.

Ce tuto sert à tout patron de petite entreprise ou indépendant qui a un site vitrine. Pas besoin d'être développeur : on lit un fichier texte, on lance une commande, et on demande à l'IA de faire le diagnostic.

Ce qu'il faut savoir sur robots.txt

Le fichier robots.txt est posé à la racine de votre site (par exemple votresite.fr/robots.txt). Il dit aux robots quelles pages ils peuvent visiter. Chaque entreprise d'IA utilise plusieurs robots, avec des rôles différents. Voici les noms officiels, tels que les publient OpenAI, Anthropic, Perplexity et Google :

OpenAI : OAI-SearchBot fait apparaître les sites dans la recherche de ChatGPT, GPTBot collecte des contenus qui peuvent servir à entraîner les modèles, ChatGPT-User visite une page quand un utilisateur le demande.
Anthropic (Claude) : Claude-SearchBot sert à la recherche, ClaudeBot à l'entraînement, Claude-User aux pages demandées par un utilisateur de Claude.
Perplexity : PerplexityBot sert à afficher et lier les sites dans ses résultats (Perplexity précise qu'il n'entraîne pas de modèles), Perplexity-User visite une page à la demande d'un utilisateur.
Google : Googlebot pour la recherche Google. Google-Extended n'est pas un robot mais un mot-clé qui règle l'usage de vos contenus pour entraîner Gemini. Google précise qu'il n'a aucun effet sur votre présence ni votre classement dans la recherche.

Retenez la distinction : bloquer un robot d'entraînement ne vous retire pas des réponses. Bloquer un robot de recherche, si.

Le test pas à pas

Lire votre fichier robots.txtOuvrez votresite.fr/robots.txt dans votre navigateur, ou lancez cette commande dans le Terminal (Mac ou Linux). Remplacez l'adresse par la vôtre.
Terminal
```
curl -s https://www.votresite.fr/robots.txt
```
Repérer les lignes qui bloquentCherchez Disallow: / sous User-agent: * (tout le monde est bloqué) ou sous le nom d'un des robots ci-dessus. Une page d'erreur à la place du fichier n'est pas grave : sans robots.txt, rien n'est interdit.
Tester la réponse du serveur à chaque robotCertains hébergeurs et pare-feu bloquent les robots d'IA avant même le robots.txt. Cette commande appelle votre page d'accueil en se présentant sous le nom de chaque robot et affiche le code reçu : 200 veut dire « page servie », 403 veut dire « refusé ».
Terminal
```
for bot in OAI-SearchBot GPTBot Claude-SearchBot ClaudeBot PerplexityBot Googlebot; do
  echo "$bot : $(curl -s -o /dev/null -w '%{http_code}' -A "$bot" https://www.votresite.fr/)"
done
```
Faire lire le résultat par l'IACollez le contenu de votre robots.txt et les codes obtenus dans Claude ou ChatGPT avec le prompt ci-dessous. Il ne contient rien de confidentiel : robots.txt est un fichier public.

Prompt

Tu m'aides à vérifier si les robots des IA peuvent lire mon site.

Voici mon fichier robots.txt :
<robots>
[collez le contenu ici]
</robots>

Voici les codes HTTP renvoyés par ma page d'accueil pour chaque robot :
<codes>
[collez la sortie de la commande ici]
</codes>

1. Fais un tableau : robot, entreprise, rôle (recherche, entraînement, visite à la demande), autorisé ou bloqué, ligne du fichier qui le décide.
2. Signale les erreurs de syntaxe et les règles qui se contredisent.
3. Si un code est 403 alors que robots.txt autorise le robot, explique que le blocage vient sans doute de l'hébergeur ou du pare-feu, et dis où chercher.
4. Propose une version corrigée qui autorise les robots de recherche et me laisse choisir pour les robots d'entraînement.

Base-toi uniquement sur le fichier et les codes fournis. Si un nom de robot t'est inconnu, dis-le au lieu de deviner.

Corriger le fichier

Si vous voulez apparaître dans les réponses des IA tout en refusant l'entraînement, voici un modèle. Les lignes qui commencent par # sont des commentaires. Plusieurs User-agent à la suite partagent la même règle.

robots.txt

# Recherche classique et recherche des IA : autorisées
User-agent: Googlebot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

# Entraînement des modèles : ici refusé, à vous de décider
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

# Tous les autres robots
User-agent: *
Allow: /

Sitemap: https://www.votresite.fr/sitemap.xml

Sur WordPress, Wix ou Shopify, le fichier se modifie souvent depuis les réglages SEO plutôt qu'en ligne de commande. Si votre site passe par Cloudflare, regardez aussi les réglages des robots d'IA dans Security Settings : Cloudflare a changé ses réglages par défaut pour les nouveaux domaines le 15 septembre 2026.

Ce qu'il faut savoir

robots.txt est une demande, pas un verrou. Google rappelle qu'il ne force pas le comportement des robots et ne sert pas à cacher une page. Une page privée se protège par mot de passe.
Les visites faites à la demande d'un utilisateur suivent d'autres règles : OpenAI indique que robots.txt peut ne pas s'appliquer à ChatGPT-User, et Perplexity que Perplexity-User ignore en général ces règles.
OpenAI indique compter environ 24h avant qu'un changement de robots.txt soit pris en compte pour la recherche.
Le test avec curl imite seulement le nom du robot. Certains pare-feu reconnaissent les vrais robots par leur adresse IP et peuvent traiter un imitateur autrement : un 403 est un indice, pas une preuve.
Être lisible ne garantit pas d'être cité. C'est la condition de départ : ensuite, le contenu de vos pages fait la différence.

Avant de modifier. Gardez une copie de votre robots.txt actuel. Un Disallow: / placé sous User-agent: * par erreur retire tout votre site des moteurs de recherche. Relisez le fichier après chaque changement.

Sources

Vous voulez un site lisible par Google comme par les IA dès le départ ? C'est ce que je prévois dans chaque site web que je livre.

Les IA peuvent-elles lire votre site ? Le test en 2 minutes