Technique
robots.txt et bots IA : que faut-il autoriser ?
Réponse courte
Pour être visible dans l'IA, autorisez explicitement GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, Applebot-Extended, Bytespider et meta-externalagent. Bloquer ces user-agents revient à interdire toute citation.
Comment faire
- Lister les user-agents IA à autoriser dans robots.txt.
- Tester chaque règle avec curl -A 'GPTBot' votre URL.
- Conserver Disallow uniquement pour les chemins privés.
- Référencer le sitemap.xml en fin de fichier.
- Vérifier robots.txt depuis la search console Bing et Google.
Voir la version anglaise
robots.txt and AI bots: what to allow?
To be AI-visible, explicitly allow GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, Applebot-Extended, Bytespider and meta-externalagent. Blocking these user-agents bans any citation.