Robots et IA
Moteurs de recherche, robots d’IA, outils SEO, aperçus de liens : voyez qui lit votre site, quelles pages, avec quelles réponses, puis décidez qui autoriser.
Sur cette page
Rendre les robots visibles#
La plupart des robots ne chargent pas le JavaScript : le traceur ne les voit pas. Pour les compter, votre serveur doit signaler leurs passages :
- WordPress : le plugin le fait déjà.
- Serveur web (Caddy, nginx, Apache) : ses journaux d’accès, envoyés par un petit programme, sans rien changer au code du site.
- Next.js, Node, PHP ou autre : une clé d’API et un court extrait.
Les trois voies sont décrites dans Collecte côté serveur. Chaque passage apparaît alors aussi, requête par requête, dans la page Trafic (Trafic).
Les robots qui exécutent le JavaScript sont reconnus à la collecte, par leur User-Agent ou par les marqueurs des navigateurs pilotés (voir plus bas), et rangés avec les autres. Tout ce qu’ils font est gardé : pages, clics, ajouts au panier, paiements, achats. Dans tous les cas, ils sont comptés à part et n’entrent jamais dans l’audience.
Catégories#
Chaque passage est identifié par son User-Agent et rangé dans une catégorie :
| Catégorie | Exemples |
|---|---|
| Moteurs de recherche | Googlebot (et ses variantes Image, Video, News), Bingbot, Applebot, DuckDuckBot, Qwantbot, YandexBot, Baiduspider, KreomnisBot… |
| Robots d’IA | GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-User, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent, Amazonbot… |
| Outils SEO | AhrefsBot, SemrushBot, Majestic, Moz, Screaming Frog, Lighthouse, PageSpeed Insights… |
| Réseaux sociaux et messageries | Aperçus de liens de Facebook, X, LinkedIn, Slack, Discord, WhatsApp, Telegram, Bluesky… |
| Surveillance | UptimeRobot, Pingdom, StatusCake, Better Stack, Datadog, Checkly… |
| Scripts et autres | Navigateurs sans interface (headless), curl, Python, Node.js, lecteurs RSS, User-Agent vide ou inconnu… |
Un User-Agent qui ressemble à un robot sans être connu apparaît sous son propre nom, ou comme « Robot inconnu ».
Le rapport Robots#
Sur 7, 28 ou 90 jours, la page Robots montre :
- le nombre de passages, de robots différents et de pages lues, et la part des robots dans l’ensemble des pages servies (robots et humains) ;
- les passages par jour, séparés entre moteurs, IA et autres ;
- chaque robot : passages, pages distinctes, dernier passage, réponses en erreur (codes 400 et plus) et son identité (vérifiée, non vérifiable ou usurpée), avec le chiffre clé « Robots usurpés » ;
- les pages les plus lues, avec la part des moteurs et des IA ;
- la répartition des codes HTTP renvoyés aux robots ;
- les robots qui cliquent, remplissent un panier, commencent un paiement ou achètent, avec l’élément qu’ils cliquent le plus.
La page Comportement met humains et robots côte à côte sur 24 heures, 7 ou 30 jours : visites, pages les plus vues, éléments cliqués, entonnoir panier, et le journal des visites dépliable en parcours (pages, clics, panier, achat).
N’importe quel programme peut se présenter comme Googlebot. Pour les opérateurs dont le réseau est connu, Kreomnis vérifie que la requête vient bien de ce réseau ; les autres robots restent « non vérifiables ». La vérification demande l’adresse du visiteur (traceur, ou collecte serveur qui la transmet). Voir Robots vérifiés et usurpés.
Navigateurs pilotés et visites suspectes#
Les robots les plus intéressants pilotent un vrai navigateur (Selenium, Puppeteer, Playwright…) et se présentent comme un visiteur ordinaire. Le traceur relève les marqueurs que ces outils posent eux-mêmes et le serveur classe chaque visite :
| Type | Reconnu par |
|---|---|
| Humain | Aucun des signaux ci-dessous. |
| Robot | User-Agent d’un robot connu ou d’un client HTTP (curl, Python…), ou vide. |
| Navigateur piloté | navigator.webdriver, navigateur sans interface (HeadlessChrome), outil de test (Cypress, PhantomJS, Nightmare, Selenium, Playwright…), ou clic sans aucune interaction humaine préalable (clic simulé par script). |
| Suspect | Visite humaine venue d’un centre de données (hébergeur, VPN, relais privé), ou d’au moins deux pages sans souris, toucher, clavier ni molette, ou rafale d’au moins cinq pages à moins de deux secondes d’intervalle. Indice seulement : la visite reste comptée dans l’audience. |
Aucune empreinte du navigateur n’est calculée, rien n’est stocké chez le visiteur : seuls ces marqueurs, sous forme d’un nombre, accompagnent les événements.
Robots d’IA : entraînement ou réponse#
Les robots d’IA n’ont pas tous le même rôle, ce qui guide la décision de les autoriser :
- Collecte pour l’entraînement : GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, Bytespider…
- Lecture à la demande d’un utilisateur ou pour une recherche : ChatGPT-User, OAI-SearchBot, Claude-User, Claude-SearchBot, Perplexity-User…
Le fichier /llms.txt présente votre site aux modèles de langage (proposition llmstxt.org) : KreomnisBot le lit à chaque passage de découverte et en affiche l’état (voir Indexation et couverture).
Bloquer les seconds peut vous priver de citations et de visites venues des assistants, visibles dans le canal Assistants IA de vos statistiques.
La page Référencement teste votre robots.txt pour chacun de ces robots, distingue réponse et entraînement, et propose une version conseillée qui garde vos choix (voir Référencement : SEO et GEO).
KreomnisBot, le robot de Kreomnis#
KreomnisBot alimente l’index Kreomnis et le rapport Couverture. Il s’annonce avec le User-Agent Mozilla/5.0 (compatible; KreomnisBot/2.0; +https://kreomnisindexation.com/bot) et répond au nom KreomnisBot dans robots.txt. Ses passages apparaissent dans le rapport Robots, parmi les moteurs de recherche, si votre serveur signale les robots.
- Il n’explore que les sites dont la propriété est prouvée, et respecte
robots.txtselon la RFC 9309, les balisesnoindex/nofollowet l’en-têteX-Robots-Tag, y compriskreomnisbot: noindex. - Il est poli : 2 requêtes simultanées par défaut, 250 ms au moins entre deux requêtes,
Crawl-delayrespecté jusqu’à 30 s, pause sur les réponses 429 et 503. - Il est économe : réponses compressées et requêtes conditionnelles (une page qui n’a pas changé répond 304).
- Une requête vers
/kreomnis-404-…est sa sonde soft 404 : rien à faire, un 404 est la bonne réponse.
Pour le ralentir et lui fermer une partie du site :
User-agent: KreomnisBot Crawl-delay: 2 Disallow: /recherche
Tout le détail, avec des exemples prêts à copier : la page publique KreomnisBot. Ses réglages dans la console (rythme, vitesse, périmètre) : Exploration et réglages.
Autoriser ou bloquer#
Les consignes se donnent dans le fichier robots.txt à la racine de votre site. Par exemple, pour refuser l’entraînement des IA tout en restant lisible par les moteurs et les assistants :
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: CCBot Disallow: / User-agent: Google-Extended Disallow: /
Pour bloquer une partie du site à un robot précis :
User-agent: AhrefsBot Disallow: /recherche/
Les robots sérieux respectent robots.txt, mais rien ne les y oblige techniquement. Le rapport Robots vous permet de vérifier, après quelques jours, qu’un robot bloqué ne lit plus les pages concernées.
Une question sans réponse ici ? Consultez les questions fréquentes.