Robot d’exploration
KreomnisBot
Le robot qui alimente l’index Kreomnis et la console Kreomnis Indexation : ce qu’il lit, à quel rythme, avec quelle politesse, et comment le piloter depuis votre site.
Mozilla/5.0 (compatible; KreomnisBot/2.0; +https://kreomnisindexation.com/bot)Seulement les sites prouvés
KreomnisBot n’explore que les sites dont le propriétaire a prouvé la propriété sur Kreomnis Indexation, et les sites attestés sur KreomnisNet.
Respecte vos consignes
robots.txtselon la RFC 9309 (groupeKreomnisBot, sinon*), balisesnoindex/nofollow, en-têteX-Robots-Tag, liensrel="nofollow"et balise canonique.Un rythme mesuré
Un passage de découverte par jour (ou par semaine, ou seulement à la demande, selon le réglage du site), puis chaque page à son rythme : plus souvent si elle change, moins souvent sinon.
Léger pour vos serveurs
2 requêtes simultanées par défaut, 250 ms au moins entre deux requêtes,
Crawl-delayrespecté jusqu’à 30 s, pause sur 429 et 503.Économe
Requêtes conditionnelles (une page qui n’a pas changé répond 304 et n’est pas retéléchargée) et réponses compressées (gzip, Brotli).
Prudent
Il n’explore jamais d’adresse privée, n’envoie ni cookie ni identifiant, ne soumet aucun formulaire et n’exécute pas le JavaScript.
Ce qu’il lit, dans l’ordre
À chaque passage de découverte, KreomnisBot lit :
/robots.txt: vos règles d’exploration (relues aussi toutes les 24 heures).- Une adresse qui n’existe pas,
/kreomnis-404-…: c’est la sonde soft 404 (voir plus bas). /llms.txtet/llms-full.txt: la présentation de votre site aux IA. Les pages qu’il cite sont ajoutées à l’exploration.- Vos sitemaps : ceux déclarés dans
robots.txt,/sitemap.xml, et ceux envoyés depuis la console. - La page d’accueil et les URL de départ choisies par le propriétaire du site.
- Puis les liens internes, de page en page, jusqu’à 10 clics de l’accueil par défaut (1 à 20 selon le réglage du site), dans la limite de pages fixée pour le site.
Sur chaque page, il lit la balise robots ou kreomnisbot, l’en-tête X-Robots-Tag, la canonique, les hreflang, une éventuelle meta refresh, puis les liens.
Quand il passe
Un planificateur se réveille toutes les 5 minutes et sert les sites à tour de rôle, le moins récemment servi d’abord, par tranches de 60 secondes. Deux rythmes se combinent :
- Le passage de découverte (la liste ci-dessus) : chaque jour par défaut, chaque semaine, ou seulement à la demande, selon le réglage du propriétaire ; et chaque fois qu’il lance une exploration depuis la console.
- Les revisites : chaque page connue a sa propre date de prochaine visite.
| Page | Prochaine visite |
|---|---|
| Page qui ne change pas | 7 jours par défaut (1 à 60 selon le réglage du site), puis un intervalle multiplié par 1,5 à chaque visite sans changement, 30 jours au plus. |
| Page qui a changé | Intervalle divisé par 2, 24 heures au moins. |
| Page d’accueil | 24 heures au plus. |
| Page en 404 ou 410 | 30 jours. |
| Redirection | 14 jours. |
Page d’un sitemap dont le lastmod est plus récent que la dernière visite | En priorité. |
Le propriétaire peut couper les revisites adaptatives : l’intervalle reste alors fixe. Le bouton d’exploration de la console et le planificateur ne se marchent pas dessus : un seul ouvrier explore un site à la fois.
Vitesse et politesse
- Requêtes simultanées vers votre site : 2 par défaut, de 1 à 4 selon le réglage choisi par le propriétaire, et une seule dès qu’un
Crawl-delayd’au moins 1 seconde s’applique. - Délai minimal entre le début de deux requêtes vers votre serveur : 250 ms par défaut (réglable jusqu’à 10 s), ou votre
Crawl-delays’il est plus grand (30 s au plus). Par défaut, cela fait 4 requêtes par seconde au plus. - Tous sites confondus, KreomnisBot n’a jamais plus de 4 requêtes en cours à la fois.
- 429 ou 503 : il s’arrête pour votre site le temps indiqué par l’en-tête
Retry-After, ramené entre 60 secondes et 1 heure ; sans cet en-tête, 1 minute, puis le double à chaque nouveau refus. Aucune requête d’ici là. - Serveur en difficulté : après 10 échecs réseau ou erreurs 5xx d’affilée, il fait une pause de 30 minutes.
Ralentir KreomnisBot
User-agent: KreomnisBot Crawl-delay: 2
2 secondes entre deux requêtes, une seule à la fois : 30 pages par minute au plus. Les valeurs décimales sont acceptées (0.5). Au-delà de 30 s, KreomnisBot s’en tient à 30 s.
Demander une pause (maintenance)
HTTP/1.1 503 Service Unavailable Retry-After: 600
KreomnisBot attend 10 minutes avant de revenir. Vos pages déjà indexées gardent leur statut (voir pannes et erreurs passagères).
Des requêtes économes
- Compression : il annonce
Accept-Encoding: gzip, deflate, br(etzstdquand c’est possible). Une page HTML servie sans compression est signalée dans la console. - Requêtes conditionnelles : à la revisite, il renvoie l’
ETaget la dateLast-Modifiedreçus. Si la page n’a pas changé, répondez304 Not Modified: rien n’est retéléchargé et la page reste telle quelle dans l’index. - Jeu de caractères : il lit le BOM, puis l’en-tête
Content-Type, puis<meta charset>dans les 2 048 premiers octets ; à défaut, UTF-8, ou Windows-1252 si le texte n’est pas de l’UTF-8 valide. - Redirections : il ne les suit pas dans la foulée ; il note la cible et l’explore à son tour si elle est sur votre site.
- Limites : 12 secondes d’attente au plus, 3 Mo de HTML au plus une fois décompressé. Une « bombe de décompression » (petit fichier qui gonfle démesurément) est refusée.
HTTP/1.1 200 OK Content-Type: text/html; charset=utf-8 Content-Encoding: br ETag: "7d3f-5a1c" Last-Modified: Tue, 17 Nov 2026 08:00:00 GMT
GET /pains/levain HTTP/1.1 User-Agent: Mozilla/5.0 (compatible; KreomnisBot/2.0; +https://kreomnisindexation.com/bot) Accept-Encoding: gzip, deflate, br If-None-Match: "7d3f-5a1c" If-Modified-Since: Tue, 17 Nov 2026 08:00:00 GMT HTTP/1.1 304 Not Modified
Régler l’exploration avec robots.txt
Le fichier se trouve à la racine : https://votre-site.fr/robots.txt. KreomnisBot le lit selon la RFC 9309, le standard des robots :
| Réponse de /robots.txt | Ce que fait KreomnisBot |
|---|---|
| 200 | Il lit le fichier (500 Kio au plus) et applique ses règles. |
| 404, 410 ou autre 4xx | Fichier absent : tout est permis. |
| 5xx, délai dépassé ou réseau | Fichier injoignable : il reprend sa dernière copie si elle a moins de 30 jours ; sinon, il n’explore rien jusqu’à la prochaine lecture réussie. |
| Page HTML à la place du fichier | Fichier considéré comme absent. |
Il lit le groupe User-agent: KreomnisBot s’il existe (la casse n’importe pas ; plusieurs groupes à son nom sont fusionnés), sinon le groupe User-agent: *. Un groupe dédié remplace le groupe * : recopiez-y les règles communes que vous voulez lui appliquer. Seul son nom compte : un groupe User-agent: bot ne le concerne pas.
Bloquer une partie du site
User-agent: KreomnisBot Disallow: /prive/ Disallow: /compte/
Bloquer tout le site
User-agent: KreomnisBot Disallow: /
Les statistiques de visite continuent de fonctionner : elles ne dépendent pas de l’exploration.
Autoriser une exception dans un dossier bloqué
User-agent: KreomnisBot Disallow: /compte/ Allow: /compte/aide
Quand deux règles s’appliquent, la plus longue (la plus précise) l’emporte ; à longueur égale, Allow gagne.
Ignorer des paramètres ou des types de fichiers
User-agent: KreomnisBot # toute URL contenant ?session= Disallow: /*?session= # les pages d’archives en .html ($ = fin de l’adresse) Disallow: /archives/*.html$ # les résultats de recherche interne Disallow: /recherche
* remplace n’importe quelle suite de caractères ; $ en fin de règle marque la fin de l’adresse. Les règles se comparent au chemin et à la requête (/page?x=1), en respectant la casse.
Les mêmes règles pour tous les robots, et un rythme pour KreomnisBot
User-agent: * Disallow: /admin/ Disallow: /panier User-agent: KreomnisBot Crawl-delay: 1 Disallow: /admin/ Disallow: /panier Sitemap: https://votre-site.fr/sitemap.xml
Sans groupe dédié, KreomnisBot applique le groupe * (et son Crawl-delay, s’il en a un).
Page par page
Ne pas indexer une page
<!-- pour tous les robots --> <meta name="robots" content="noindex"> <!-- pour KreomnisBot seulement --> <meta name="kreomnisbot" content="noindex">
La page est lue mais classée « Exclue par la balise “noindex” » dans la couverture. Une balise qui vise un autre robot (<meta name="googlebot">) ne concerne pas KreomnisBot.
Ne pas suivre les liens d’une page
<meta name="robots" content="nofollow"> <!-- ou un seul lien --> <a href="/calendrier?mois=2031-01" rel="nofollow">Mois suivant</a>
Sans toucher au HTML : l’en-tête X-Robots-Tag
Pratique pour tout un dossier, ou un site dont vous ne pouvez pas modifier les gabarits. Une directive sans nom de robot vaut pour tous ; préfixée par kreomnisbot:, elle ne vise que KreomnisBot ; préfixée par le nom d’un autre robot (googlebot: noindex), elle ne le concerne pas.
X-Robots-Tag: noindex
X-Robots-Tag: kreomnisbot: noindex, nofollow
location /brouillons/ {
add_header X-Robots-Tag "kreomnisbot: noindex" always;
}Header set X-Robots-Tag "noindex"
async headers() {
return [{ source: '/brouillons/:path*', headers: [{ key: 'X-Robots-Tag', value: 'noindex' }] }];
}Retirer une page à une date
<meta name="robots" content="unavailable_after: 2027-01-31">
Passée cette date, la page est traitée comme noindex. Écrivez la date au format AAAA-MM-JJ (heure facultative : 2027-01-31T18:00:00Z).
Pages en double : la balise canonique
<link rel="canonical" href="https://votre-site.fr/produits/pain-au-levain">
Une page qui désigne une autre adresse comme canonique est classée « Autre page avec balise canonique correcte », et l’adresse désignée est explorée. Une seule canonique, dans le <head> : plusieurs canoniques différentes, ou une canonique placée dans le <body>, sont ignorées. Un élément interdit dans le <head> (<div>, <img>, du texte) le ferme : la canonique et les hreflang placés après sont ignorés.
Redirections par meta refresh et versions linguistiques
<!-- vaut une redirection : 5 secondes au plus --> <meta http-equiv="refresh" content="0; url=https://votre-site.fr/nouvelle-adresse"> <!-- versions linguistiques --> <link rel="alternate" hreflang="fr" href="https://votre-site.fr/fr/"> <link rel="alternate" hreflang="en" href="https://votre-site.fr/en/">
Une meta refresh vers une autre page en 5 secondes au plus est traitée comme une redirection, et sa cible est explorée ; préférez une redirection 301 côté serveur. Les versions hreflang du même site sont explorées, et une version qui ne renvoie pas vers la page est signalée.
Les requêtes vers /kreomnis-404-…
À chaque passage de découverte, KreomnisBot demande une adresse qui ne peut pas exister : /kreomnis-404- suivi de caractères aléatoires. C’est la sonde soft 404 : elle montre comment votre site répond aux pages inexistantes. Vous n’avez rien à faire.
- Réponse 404 ou 410 : c’est la bonne réponse.
- Réponse 200 (une page d’erreur servie avec un code de succès, ou « soft 404 ») : KreomnisBot garde l’empreinte de cette réponse et classe « Soft 404 » les pages qui lui ressemblent : même contenu, empreinte SimHash à 3 bits près, ou même titre et nombre de mots à 20 % près.
- Redirection vers l’accueil : une page qui redirige vers l’accueil est alors classée soft 404, elle aussi.
SimHash : une empreinte de 64 bits calculée sur le texte ; deux textes presque identiques ont des empreintes qui ne diffèrent que de quelques bits. Pour corriger un soft 404, renvoyez un vrai code 404 ou 410 pour les pages inexistantes.
llms.txt : présenter votre site aux IA
llms.txt est un fichier Markdown à la racine qui résume votre site pour les assistants (ChatGPT, Claude, Perplexity…). KreomnisBot le lit à chaque passage de découverte, ajoute les pages qu’il cite et affiche son état dans la console (Sitemaps › Fichiers pour les IA). llms-full.txt, facultatif, contient le texte complet.
# Boulangerie du Levain > Boulangerie artisanale à Lille : pain au levain, viennoiseries, commandes en ligne. ## Pages principales - [Nos pains](https://votre-site.fr/pains): gamme et allergènes - [Commander](https://votre-site.fr/commande): retrait en boutique sous 24 h - [Horaires et accès](https://votre-site.fr/contact) ## Optional - [Histoire de la maison](https://votre-site.fr/histoire)
- Servez-le en texte (
text/plainoutext/markdown) : une page HTML renvoyée à la place est signalée comme erreur. - Il est soumis à
robots.txt:Disallow: /llms.txtempêche sa lecture. - Taille lue : 1 Mo au plus pour
llms.txt, 2 Mo pourllms-full.txt.
Exemple réel : kreomnisindexation.com/llms.txt.
Sitemaps
KreomnisBot lit les sitemaps déclarés dans robots.txt, /sitemap.xml même sans déclaration, et ceux envoyés depuis la console (Sitemaps). Formats acceptés : XML (protocole sitemaps.org), compressé ou non (.xml.gz), index de sitemaps, flux RSS 2.0 et Atom 1.0, et fichier texte (une adresse par ligne).
Sitemap: https://votre-site.fr/sitemap.xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://votre-site.fr/pains/levain</loc>
<lastmod>2026-11-17</lastmod>
</url>
</urlset>Les pages listées sont explorées même si aucun lien n’y mène. Tenez lastmod à jour : une page dont le lastmod est plus récent que la dernière visite de KreomnisBot repasse en priorité. Taille lue : 20 Mo une fois décompressé et 50 000 adresses par fichier.
Pannes et erreurs passagères
Un délai dépassé, une erreur réseau, une réponse 5xx ou 429 ne font pas sortir une page de l’index :
- KreomnisBot réessaie 1 minute, puis 10 minutes plus tard.
- Si l’erreur persiste, une page déjà lue correctement garde son statut et sa dernière version ; la console signale « Dernière exploration en échec (version précédente conservée) », et la page est retentée 6 heures plus tard.
- Elle ne passe en erreur qu’au troisième échec consécutif, et au plus tôt 48 heures après le premier.
Une page jamais lue passe en erreur tout de suite.
Limites à connaître
- Pas de JavaScript : il lit le HTML renvoyé par le serveur. Un contenu affiché uniquement par JavaScript (application monopage sans rendu serveur) ne sera pas vu ; la console le signale (« Contenu visible seulement avec JavaScript »).
- Pages de plus de 3 Mo (une fois décompressées) ou qui ne répondent pas en 12 s : non lues.
- Fichiers ignorés d’office : images, PDF, archives, vidéos, sons, polices, CSS, JavaScript, JSON, XML et texte (hors sitemaps,
robots.txtetllms.txt), documents bureautiques. - Adresses normalisées : sans fragment
#, sans paramètres de suivi (utm_*,fbclid,gclid…) ; les pièges (adresses générées à l’infini, segments répétés) sont écartés. - Même site seulement :
www.votre-site.fretvotre-site.frne font qu’un ; les liens vers d’autres domaines ne sont pas suivis. - Liens
rel="nofollow"et pages ennofollow: non suivis, sauf si le propriétaire du site l’active. - Nombre de pages : 500 par défaut, réglable par le propriétaire du site.
Le reconnaître
KreomnisBot s’annonce avec le User-Agent ci-dessus ; son nom pour robots.txt est KreomnisBot. Il fonctionne sur une infrastructure cloud sans plage d’adresses fixe publiée : un autre robot peut donc imiter son nom. En cas de doute, bloquez-le avec robots.txt, ce qu’il respecte toujours.
Vous gérez un site ? Ajoutez-le pour voir ce que KreomnisBot y trouve et régler son rythme. Documentation : Exploration et réglages, Indexation et couverture, Robots et IA.