Validateur llms.txt & Testeur de Robots IA
Testez instantanément la conformité de votre fichier /llms.txt et vérifiez si vos règles robots.txt autorisent ou bloquent ChatGPT Search, Perplexity et Claude.
Pourquoi le fichier llms.txt est-il devenu le sitemap des IA ?
Proposé par Jeremy Howard (créateur de fast.ai et Answer.ai), le standard llms.txt résout un problème fondamental : lorsqu'un agent IA ou un modèle de langage (ChatGPT, Claude, Perplexity) visite votre site, parser des mégaoctets de code HTML, de frameworks JavaScript et de balises publicitaires consomme énormément de tokens de contexte et dégrade la précision des réponses.
Un fichier /llms.txt offre une vue d'ensemble en texte brut au format Markdown. Il sert d'index hautement hiérarchisé contenant le nom du projet, un résumé d'une phrase et les liens directs vers vos pages et documentations essentielles.
L'erreur fatale : bloquer la recherche IA en voulant bloquer l'entraînement
De nombreuses entreprises ont ajouté à la hâte des règles restrictives dans leur fichier robots.txt, bloquant sans le savoir les moteurs de réponse qui génèrent du trafic organique qualifié. Il est capital de dissocier deux familles d'agents :
1. Robots de Recherche & Citation (À autoriser)
OAI-SearchBot, ChatGPT-User, PerplexityBot et Claude-Web parcourent le web en temps réel lorsqu'un utilisateur pose une question. Si vous les bloquez, votre entreprise disparaît des citations et sources recommandées.
2. Scrapers d'Entraînement Massif (Optionnel)
GPTBot, CCBot ou Bytespider aspirent des données pour construire les prochains modèles de fondation. Vous pouvez choisir de les bloquer sans que cela n'affecte votre présence dans ChatGPT Search ou Perplexity.
Comment déployer votre fichier llms.txt selon votre stack technique ?
Déploiement sur Next.js (App Router)
Placez simplement le fichier généré dans votre répertoire public/llms.txt. Pour une génération dynamique alimentée par votre CMS ou base de données, vous pouvez également créer une Route Handler app/llms.txt/route.ts renvoyant un new Response(content, { headers: { 'Content-Type': 'text/plain; charset=utf-8' } }).
Déploiement sur WordPress / Apache / Nginx
Déposez le fichier llms.txt directement à la racine de votre hébergement FTP (public_html/llms.txt). Assurez-vous que votre serveur web ne redirige pas les requêtes .txt vers votre page 404 WordPress.
Questions fréquentes sur le GEO & la conformité IA
Quelle est la différence entre /llms.txt et /llms-full.txt ?
Le fichier /llms.txt est un index léger et concis, conçu pour être ingéré rapidement lors de requêtes courtes. Le fichier /llms-full.txt rassemble l'intégralité de la documentation ou des textes en version développée, utile lorsque l'agent dispose d'une fenêtre de contexte étendue (100k+ tokens) pour répondre à des questions complexes.
Le fichier llms.txt remplace-t-il le sitemap.xml classique ?
Non. Le fichier sitemap.xml reste impératif pour Google Search Console, Bing Webmaster et le crawl web traditionnel. Le fichier llms.txt est un complément dédié aux agents intelligents et modèles de raisonnement.