Crawlers IA : laissez-vous ChatGPT et Perplexity lire votre site ?

Quand ChatGPT, Perplexity ou Google AI répondent à une question, ils citent parfois des sites en source. Pour être cité, encore faut-il que ces IA aient le droit de lire votre site. Or beaucoup de sites bloquent les robots des IA sans même le savoir — et disparaissent ainsi de leurs réponses. Voici comment vérifier, et décider en connaissance de cause.

Les IA ont leurs propres robots

Pour découvrir le contenu du web, les IA génératives n’utilisent pas le robot de Google. Elles ont chacune le leur, qu’on appelle un « crawler » ou « user-agent ». Les principaux aujourd’hui :

• GPTBot — le robot d’OpenAI (ChatGPT) ;
• ClaudeBot — le robot d’Anthropic (Claude) ;
• PerplexityBot — le robot de Perplexity ;
• Google-Extended — le réglage qui autorise (ou non) Google à utiliser votre contenu pour ses réponses IA.

Comme le robot de Google, ces crawlers parcourent les pages publiques du web pour en comprendre le contenu. Et comme lui, ils respectent les consignes que vous leur donnez via un petit fichier : le robots.txt.

Le vrai risque : les bloquer sans le savoir

Le problème, c’est que ce blocage est souvent involontaire. Plusieurs situations très courantes coupent l’accès aux IA à votre insu :

• Un robots.txt qui interdit explicitement ces robots (parfois ajouté par un prestataire, par prudence ou par habitude).
• Un service de protection placé devant votre site (comme un pare-feu ou un CDN type Cloudflare) qui, dans ses réglages par défaut, bloque désormais les robots d’IA.
• Une extension de sécurité sur votre CMS qui filtre les robots « inconnus ».

Résultat : votre site est parfaitement visible pour vos visiteurs et même pour Google, mais totalement invisible pour les IA. Vous ne pouvez donc jamais être cité dans leurs réponses, quelle que soit la qualité de votre contenu.

Pourquoi ça compte de plus en plus

De plus en plus de gens posent leurs questions directement à une IA plutôt que de parcourir une liste de liens. Quand l’IA répond en citant des sources, être l’une de ces sources devient une nouvelle forme de visibilité — on parle de GEO, pour « Generative Engine Optimization », l’optimisation pour les moteurs génératifs.

Être cité par une IA, c’est trois choses à la fois : de la visibilité auprès de gens qui ne vous auraient pas trouvé, du trafic quand ils cliquent sur la source, et un gain de crédibilité (être présenté comme la référence sur un sujet). À l’inverse, rester invisible pour les IA revient à se priver d’un canal entier, en pleine croissance.

Faut-il forcément tout autoriser ?

Non — et c’est une vraie décision, qui vous appartient. Il y a deux logiques légitimes :

• Autoriser les crawlers IA si votre objectif est la visibilité : vous voulez être lu, cité, recommandé. C’est le choix pertinent pour la grande majorité des commerces, artisans, indépendants et petites entreprises qui cherchent à être trouvés.
• Bloquer si vous tenez à ce que votre contenu ne serve pas à entraîner ou alimenter des IA — par exemple un contenu premium, payant, ou que vous considérez comme un actif à protéger.

L’essentiel est que ce soit un choix conscient, pas un blocage subi parce qu’un réglage par défaut en a décidé pour vous.

Comment vérifier si vous bloquez les crawlers IA

1. Avec Limpi, qui détecte si l’accès aux principaux robots d’IA est autorisé ou bloqué, et vous le dit en clair.
2. En lisant votre robots.txt : tapez votre adresse suivie de /robots.txt dans le navigateur. Cherchez des lignes mentionnant GPTBot, ClaudeBot, PerplexityBot ou Google-Extended suivies d’un Disallow: / : cela signifie que le robot est bloqué.
3. Dans les réglages de votre CDN ou pare-feu (Cloudflare et consorts) : vérifiez s’il existe une option de blocage des « AI bots » activée.

Comment autoriser (ou bloquer) proprement

Tout se joue dans le fichier robots.txt, à la racine de votre site. Pour autoriser un robot, le plus simple est de ne rien lui interdire : en l’absence de règle le concernant, l’accès est ouvert. Vous pouvez aussi l’indiquer explicitement, robot par robot :

• User-agent: GPTBot puis Allow: /
• User-agent: ClaudeBot puis Allow: /
• User-agent: PerplexityBot puis Allow: /

Pour bloquer un robot, on remplace simplement Allow: / par Disallow: / sous le nom du robot concerné. Si votre site passe par un CDN ou un pare-feu, pensez à vérifier aussi son réglage dédié aux IA, car il peut primer sur le robots.txt.

Aller plus loin : le fichier llms.txt

Autoriser l’accès, c’est la base. L’étape suivante consiste à guider les IA vers vos contenus les plus importants grâce à un fichier dédié, le llms.txt — une sorte de carte de visite que vous laissez aux IA pour leur dire quoi lire en priorité. C’est un sujet à part entière, que nous détaillons dans un autre article du blog.

Avant de vous demander comment être mieux cité par les IA, assurez-vous d’abord qu’elles ont le droit de vous lire. Sans cet accès, tout le reste est inutile.

Autoriser l’accès ne suffit pas à être cité

Ouvrir la porte aux robots d’IA est une condition nécessaire, mais pas suffisante. Une fois l’accès accordé, encore faut-il que votre contenu mérite d’être cité. Les IA privilégient les pages claires, qui répondent directement à une question, structurées avec des titres explicites, des listes et des chiffres vérifiables. Un contenu fouillis, noyé dans le marketing, sera lu mais rarement repris. Autrement dit, l’accès des crawlers est la première marche ; la qualité et la structure de votre contenu sont les suivantes. C’est tout l’objet de la citabilité, que d’autres articles du blog détaillent.

Le cas particulier de Google-Extended

Google-Extended mérite une mention à part, car il prête souvent à confusion. Ce n’est pas un robot qui explore en plus : c’est un réglage qui autorise (ou non) Google à utiliser le contenu déjà exploré pour alimenter ses réponses génératives, comme les AI Overviews. Point important : le bloquer n’a aucun effet sur votre référencement classique dans Google. Vous pouvez donc rester parfaitement bien positionné dans les résultats traditionnels tout en choisissant de ne pas nourrir les réponses IA de Google — ou l’inverse. Là encore, c’est un curseur que vous réglez selon votre stratégie.

Comment savoir si une IA vous cite déjà

Le test le plus simple : posez à ChatGPT, Perplexity ou Google une question sur votre domaine d’activité, idéalement une question à laquelle votre site répond bien, et regardez si vous apparaissez parmi les sources. Recommencez avec quelques formulations différentes. Perplexity, qui affiche systématiquement ses sources, est particulièrement pratique pour ce test. Si vous n’apparaissez jamais alors que votre contenu est pertinent, deux explications principales : soit les robots d’IA sont bloqués (vérifiez d’abord cela), soit votre contenu n’est pas encore assez clair ou structuré pour être repris.

Et les autres robots d’IA ?

GPTBot, ClaudeBot, PerplexityBot et Google-Extended sont les plus connus, mais la liste s’allonge régulièrement : d’autres acteurs ont leurs propres crawlers, et de nouveaux apparaissent à mesure que le secteur évolue. Inutile de tous les connaître par cœur : le principe reste le même pour chacun. Un robot d’IA se gère exactement comme les autres, via le robots.txt et, le cas échéant, les réglages de votre pare-feu. Une fois que vous avez compris la logique — identifier le nom du robot, puis l’autoriser ou le bloquer —, vous savez gérer n’importe lequel, présent ou futur. L’important est de faire le point de temps en temps, car un blocage peut apparaître à la faveur d’une mise à jour de votre hébergeur ou de votre CDN.

En résumé

Les IA génératives utilisent leurs propres robots pour lire le web, et de nombreux sites les bloquent sans le savoir — via leur robots.txt ou un réglage de pare-feu par défaut. Si la visibilité vous intéresse, vérifiez que GPTBot, ClaudeBot, PerplexityBot et Google-Extended ne sont pas bloqués, côté robots.txt comme côté CDN. Et si vous préférez protéger votre contenu, bloquez-les en toute connaissance de cause : l’important, c’est que la décision vienne de vous.

Questions fréquentes

Autoriser les IA nuit-il à mon référencement Google classique ?

Non. Notamment, Google-Extended est indépendant du classement : vous pouvez rester bien positionné dans les résultats traditionnels tout en choisissant d’alimenter ou non les réponses IA de Google.

Comment savoir si je bloque les robots d’IA ?

Lisez votre robots.txt en tapant votre adresse suivie de /robots.txt, et cherchez un Disallow sous GPTBot, ClaudeBot ou PerplexityBot. Vérifiez aussi les réglages « AI bots » de votre CDN ou pare-feu.

Suis-je obligé d’autoriser les IA ?

Non. C’est une décision stratégique qui vous appartient : autoriser si vous cherchez la visibilité, bloquer si vous tenez à protéger un contenu premium ou propriétaire.

Autoriser l’accès garantit-il d’être cité ?

Non. C’est nécessaire mais pas suffisant : une fois l’accès ouvert, encore faut-il un contenu clair, structuré et qui répond directement aux questions pour avoir des chances d’être repris.

Qu’est-ce que le GEO ?

Le GEO (« Generative Engine Optimization ») désigne l’optimisation de votre site pour être lu, compris et cité par les moteurs génératifs comme ChatGPT, Perplexity ou Google AI.

Sources et références

1. OpenAI — Overview of OpenAI Crawlers (GPTBot, OAI-SearchBot)
2. Google for Developers — Google-Extended — infrastructure d’exploration de Google
3. Anthropic — Anthropic crawle-t-il le web, et comment bloquer le crawler ? (ClaudeBot) (mis à jour avr. 2026)