Exploration et réglages
Ce que KreomnisBot fait sur votre site, requête par requête, et chaque réglage qui le pilote : rythme, vitesse, périmètre, seuils et contrôles.
Sur cette page
La page Exploration#
Dans la console, Exploration (rubrique « Recherche et index ») est l’équivalent des « Statistiques sur l’exploration » de la Search Console : ce que KreomnisBot a demandé à votre serveur, et ce qu’il a obtenu. Chaque requête est journalisée 90 jours.
L’état du moment
- le bouton d’exploration, et le passage en cours ou le dernier passage ;
- le prochain passage de découverte prévu, selon le réglage Passage de découverte ;
- la file : les adresses prêtes à être explorées, et les adresses différées, qui attendent une nouvelle tentative.
L’état de l’hôte
L’hôte, c’est votre serveur tel que KreomnisBot le voit :
- robots.txt
- « Lu », « Absent (tout est permis) » ou « Injoignable (exploration suspendue) », avec le code HTTP reçu, la date de lecture et le
Crawl-delayretenu. - Recul en cours
- Jusqu’à quand KreomnisBot s’abstient de toute requête vers votre serveur, et pourquoi : réponse 429 ou 503, ou pannes répétées (voir Vitesse et politesse).
- Sonde soft 404
- La réponse de votre site à une adresse inexistante (
/kreomnis-404-…) : un 404 est la bonne réponse ; un 200 ou une redirection vers l’accueil sert à repérer les soft 404 (voir Soft 404 et sonde).
Courbes, répartitions et journal#
Sur 90 jours
- Requêtes par jour, empilées par résultat : OK, inchangées (304), redirections, erreurs 4xx, erreurs 5xx, réseau ;
- Temps de réponse moyen : premier octet (le serveur commence à répondre) et réponse complète ;
- Volume téléchargé : les octets réellement reçus, compressés.
Répartitions
Par code de réponse, par type de contenu, par but de la requête et par source de découverte des pages. Les buts :
| But | Ce que fait KreomnisBot |
|---|---|
| Découverte | Première lecture d’une adresse trouvée par un lien, un sitemap, llms.txt… |
| Actualisation | Revisite d’une page déjà connue (requête conditionnelle quand c’est possible). |
| robots.txt | Lecture de robots.txt. |
| Sitemap | Lecture d’un sitemap ou d’un flux RSS / Atom. |
| llms.txt | Lecture de llms.txt ou de llms-full.txt. |
| Sonde soft 404 | Demande d’une adresse qui ne peut pas exister (/kreomnis-404-…), pour repérer les soft 404. |
| Inspection | Test en direct demandé depuis Inspection d’URL. |
Les sources, c’est-à-dire comment une adresse est arrivée dans la file :
| Source | L’adresse vient… |
|---|---|
| Accueil | de la page d’accueil. |
| URL de départ | des URL de départ de Paramètres. |
| Sitemap | d’un sitemap. |
| llms.txt | de llms.txt. |
| Lien interne | d’un lien interne d’une autre page. |
| Canonique | de la balise canonique d’une autre page. |
| Redirection | de la cible d’une redirection. |
| hreflang | d’une annotation hreflang d’une autre page. |
| Revisite | d’une revisite programmée (page déjà connue). |
| Inspection | d’un test en direct (Inspection d’URL). |
Historique, dernières requêtes et extrait de la file
- Historique des passages : début, déclencheur (console ou planificateur), statut, pages explorées, nouvelles, modifiées, inchangées (304), erreurs, durée et volume.
- Dernières requêtes : les 50 plus récentes, avec leur résultat.
- Extrait de la file : les 20 prochaines adresses par priorité, et celles qui attendent une nouvelle tentative, avec leur erreur.
Le résultat de chaque requête :
| Résultat | Signification |
|---|---|
| OK (2xx) | Réponse 2xx, lue. |
| Inchangée (304) | Requête conditionnelle : la page n’a pas changé, rien n’est retéléchargé. |
| Redirection (3xx) | La cible est mise en file si elle est sur le site. |
| Erreur client (4xx) | 404, 410, 401, 403… (sauf 429). |
| Trop de requêtes (429) | Le serveur demande de ralentir : KreomnisBot recule. |
| Erreur serveur (5xx) | Erreur du serveur ; sur un 503, KreomnisBot recule. |
| Délai dépassé | Pas de réponse complète dans le délai (12 s pour une page). |
| DNS | Le nom de domaine ne se résout pas. |
| Réseau | Connexion refusée ou coupée. |
| Adresse refusée | Adresse privée ou réservée : KreomnisBot refuse de s’y connecter (protection contre les requêtes vers un réseau interne). |
| Trop volumineuse | Réponse plus grande que la taille lue (3 Mo de HTML une fois décompressé). |
Passages, revisites et file#
- Planificateur
- Toutes les 5 minutes, il sert à tour de rôle les sites qui ont du travail, le moins récemment servi d’abord, 60 secondes par site et par tour. Un seul ouvrier explore un site à la fois : le bouton de la console et le planificateur ne se marchent pas dessus.
- Passage de découverte
- Lecture de
robots.txt, sonde soft 404,llms.txtet sitemaps, puis l’accueil et les URL de départ, et les liens de page en page. Il a lieu selon le réglage Passage de découverte, et chaque fois qu’un administrateur clique sur le bouton d’exploration. - Revisite
- Chaque page connue a sa propre date de prochaine visite (voir Rythme). Les revisites dues rejoignent la file au fil des tours du planificateur.
- File
- Les adresses en attente, rangées par priorité. Une page de sitemap dont le
lastmodest plus récent que la dernière visite passe devant. Une adresse en échec passager attend sa nouvelle tentative : 1 minute, puis 10 minutes plus tard. - Fin d’exploration
- Quand la file du site est vide, KreomnisBot fait les calculs qui demandent une vue d’ensemble : doublons exacts et proches, liens entrants, pages orphelines, liens cassés ou vers des redirections, chaînes et boucles de redirections, cibles des canoniques, URL de sitemap en défaut, hreflang sans retour, titres et descriptions en double. Puis il prend l’instantané du jour : statuts, problèmes et score de santé.
Un passage est en cours, terminé, en pause (par exemple quand robots.txt est injoignable) ou en échec. Il tient ses comptes : requêtes, pages nouvelles, modifiées et inchangées, erreurs, nouvelles tentatives, et adresses écartées (bloquées par robots.txt, hors périmètre, pièges).
Rythme#
Les réglages se trouvent dans Paramètres, une page réservée aux administrateurs du site.
| Réglage | Effet | Valeurs | Par défaut |
|---|---|---|---|
| Passage de découverte | Relit robots.txt, la sonde soft 404, llms.txt et les sitemaps, puis l’accueil et les URL de départ, et découvre les nouvelles pages. | Chaque jour, chaque semaine, à la demande seulement | Chaque jour |
| Revisite de base | Intervalle entre deux visites d’une page qui ne change pas. | 1 à 60 jours | 7 jours |
| Revisites adaptatives | Intervalle divisé par 2 quand la page a changé (24 heures au moins), multiplié par 1,5 sinon (30 jours au plus). Sans elles, l’intervalle reste fixe. | Oui, non | Oui |
| Pages au plus | Pages connues et adresses en file comprises. Au-delà, aucune nouvelle adresse n’est mise en file. | De 1 au plafond de l’offre de l’espace (2 000 pour un espace d’avant les offres ou un site sans espace, 20 000 pour un administrateur Kreomnis) | 500 |
| Profondeur au plus | Clics depuis l’accueil. Les pages plus profondes ne sont pas mises en file. | 1 à 20 clics | 10 clics |
Quels que soient ces réglages, l’accueil est revu au moins toutes les 24 heures, une page en 404 ou 410 tous les 30 jours, une redirection tous les 14 jours ; une page de sitemap dont le lastmod est plus récent que la dernière visite repasse en priorité.
Ce choix supprime les passages de découverte automatiques, pas les revisites des pages déjà connues. Pour arrêter KreomnisBot, bloquez-le dans robots.txt (voir KreomnisBot › robots.txt).
Vitesse et politesse#
| Réglage | Effet | Valeurs | Par défaut |
|---|---|---|---|
| Requêtes simultanées | Requêtes en cours en même temps vers votre site. Ramenées à 1 dès qu’un Crawl-delay d’au moins 1 seconde s’applique. | 1 à 4 | 2 |
| Délai minimal entre requêtes | Temps minimal entre le début de deux requêtes vers votre serveur. | 0 à 10 000 ms | 250 ms |
| Respecter le Crawl-delay | Applique le Crawl-delay de votre robots.txt quand il dépasse le délai minimal, jusqu’à 30 secondes. | Oui, non | Oui |
Quels que soient ces réglages, KreomnisBot recule devant un serveur qui peine :
- sur une réponse 429 ou 503, plus aucune requête vers lui pendant la durée indiquée par
Retry-After, ramenée entre 60 secondes et 1 heure ; à défaut, 1 minute, puis le double à chaque nouveau refus ; - après 10 échecs réseau ou erreurs 5xx d’affilée, pause de 30 minutes.
Le recul en cours s’affiche dans Exploration. Tous sites confondus, KreomnisBot n’a jamais plus de 4 requêtes en cours à la fois.
État lu et durée estimée
Paramètres affiche ce que KreomnisBot a lu de votre serveur (état de robots.txt, Crawl-delay retenu) et estime la durée d’un passage complet d’après ces réglages et le temps de réponse moyen observé, recalculée pendant la saisie.
Exemple : 500 pages, 2 requêtes simultanées, 250 ms de délai minimal, un serveur qui répond en 400 ms : 4 pages par seconde au plus, soit environ 2 minutes de requêtes. Avec Crawl-delay: 2 dans robots.txt : une requête toutes les 2 secondes, soit environ 17 minutes. Comptez un peu plus en pratique : le planificateur partage son temps entre les sites, par tranches de 60 secondes.
Périmètre#
| Réglage | Effet | Valeurs | Par défaut |
|---|---|---|---|
| Protocole | L’adresse de base du site. | https, http | https |
| URL de départ | Adresses explorées à chaque passage de découverte, en plus de l’accueil (voir URL de départ). | 20 au plus, sur le même site | Aucune |
| Chemins inclus | Vide : tout le site. Sinon, seules les adresses qui correspondent à un motif sont explorées ; l’accueil l’est toujours (voir Motifs). | 50 motifs, 200 caractères chacun | Aucun (tout le site) |
| Chemins exclus | Adresses jamais explorées. Une exclusion l’emporte sur une inclusion. | 50 motifs, 200 caractères chacun | Aucun |
| Paramètres d’URL ignorés | Retirés de l’adresse avant la mise en file ; * retire toute la requête (voir Paramètres ignorés). | 30 noms | Aucun |
| Suivre les liens nofollow | Suit aussi, pour découvrir des pages, les liens rel="nofollow" et ceux des pages marquées nofollow. | Oui, non | Non |
- Même site seulement :
www.votre-site.fretvotre-site.frne font qu’un ; un lien vers un autre domaine n’est pas suivi. - Une adresse hors périmètre n’est pas mise en file ; elle est comptée dans les statistiques du passage.
- Une page déjà connue qui sort du périmètre prend le statut « Chemin exclu par le propriétaire » ou « Hors du périmètre d’exploration » à sa revisite, sans requête vers votre serveur.
- Les fichiers qui ne sont pas des pages (images, PDF, archives, vidéos, CSS, scripts…) ne sont jamais mis en file.
Pièges écartés
Certaines adresses se génèrent à l’infini (calendriers, filtres combinés, liens relatifs mal écrits). KreomnisBot les écarte :
| Piège | Exemple |
|---|---|
| Adresse de plus de 2 000 caractères | — |
| Plus de 25 segments dans le chemin | /a/b/c/… |
| Segment répété trois fois de suite, ou groupe de 2 ou 3 segments répété trois fois | /tag/tag/tag/, /fr/blog/fr/blog/fr/blog/ |
| Plus de 12 paramètres | ?a=1&b=2&…&m=13 |
| Valeur de paramètre de plus de 500 caractères | ?filtre=… |
Motifs inclus et exclus#
Les chemins inclus et exclus s’écrivent comme les règles de robots.txt, un motif par ligne. Ils se comparent au chemin et à la requête de l’adresse déjà normalisée (/produits?tri=prix), en respectant la casse :
- un motif est un préfixe :
/blog/vaut pour toutes les adresses qui commencent ainsi ; *remplace n’importe quelle suite de caractères, même vide ;$en fin de motif marque la fin de l’adresse.
Un motif commence par / ou *, sans espace, 200 caractères au plus.
| Motif | Correspond à | Ne correspond pas à |
|---|---|---|
/blog/ | /blog/, /blog/mon-article, /blog/?page=2 | /blog, /Blog/mon-article |
/panier | /panier, /panier/etape-2, /paniers-cadeaux | /mon-panier |
/panier$ | /panier | /panier/etape-2, /panier?promo=1 |
/*.html$ | /archives/2024.html | /archives/2024.html?x=1 |
/*? | /produits?tri=prix (toute adresse avec paramètres) | /produits |
/*tri= | /produits?tri=prix, /produits?page=2&tri=nom | /produits?ordre=prix |
/*/imprimer$ | /recettes/tarte/imprimer | /imprimer, /recettes/tarte/imprimer/ |
Pour n’explorer que la section française et les fiches produits (l’accueil reste exploré) :
/fr/ /produits/
Pour écarter le panier, l’espace client, les tris et les versions imprimables :
/panier$ /compte/ /*tri= /*/imprimer$
/panier exclut aussi /paniers-cadeaux. Écrivez /panier/ ou /panier$ pour viser juste, et vérifiez avec le testeur de périmètre.
Les chemins exclus s’ajoutent à robots.txt : ils ne lèvent jamais une interdiction de robots.txt.
Paramètres d’URL ignorés#
Certains paramètres changent l’adresse sans changer la page : tri, affichage, devise… Laissés tels quels, ils multiplient les adresses explorées et créent des doublons.
- KreomnisBot retire d’office les paramètres de suivi et de session :
utm_*,fbclid,gclid,msclkid,mc_*,_ga,ref,PHPSESSID,JSESSIONID… - Ajoutez les vôtres, un nom par ligne (30 au plus : lettres, chiffres,
_ . - [ ], 64 caractères au plus) ; la casse n’importe pas. *retire toute la requête : à réserver aux sites dont les paramètres ne changent jamais le contenu.
Paramètres ignorés : tri, vue https://votre-site.fr/produits?tri=prix&vue=grille&page=2&utm_source=lettre → https://votre-site.fr/produits?page=2
Avec page ou id parmi les paramètres ignorés, les pages correspondantes ne seraient plus explorées.
URL de départ#
L’accueil est toujours le premier point d’entrée. Ajoutez des URL de départ pour les pages que les liens n’atteignent pas, ou trop profondément : une section à part, un catalogue derrière un moteur de recherche interne, une page de campagne.
- 20 au plus, sur le même site (avec ou sans
www), enhttpouhttps; - elles sont normalisées comme toute adresse, puis mises en file à chaque passage de découverte ;
- elles restent soumises à
robots.txtet au périmètre.
Pour beaucoup de pages, un sitemap fait mieux l’affaire : voir KreomnisBot › Sitemaps.
Le testeur de périmètre#
Dans Paramètres › Périmètre, saisissez une adresse ou un chemin : le testeur montre l’adresse normalisée et le verdict de KreomnisBot avec les réglages en cours de saisie, avant même d’enregistrer. Il applique exactement les mêmes règles que le robot :
- explorée ;
- exclue, avec le motif qui l’exclut ;
- hors périmètre : aucun chemin inclus ne correspond ;
- bloquée par
robots.txt, avec le numéro de la ligne qui décide (d’après la dernière version lue) ; - piège probable, avec sa raison ;
- autre site ;
- pas une page (image, PDF, feuille de style…).
Seuils et contrôles#
Les seuils règlent les contrôles chiffrés de la page Améliorations. Adaptez-les à votre site : une boutique aux fiches courtes, un média aux pages longues…
| Seuil | Contrôle | Par défaut | Bornes |
|---|---|---|---|
| Titre, longueur minimale | Titre trop court (< 15 caractères) | 15 caractères | 1 à 200 caractères |
| Titre, longueur maximale | Titre trop long (> 60 caractères) | 60 caractères | 10 à 300 caractères |
| Meta description, longueur minimale | Meta description trop courte (< 50) | 50 caractères | 1 à 500 caractères |
| Meta description, longueur maximale | Meta description trop longue (> 160) | 160 caractères | 50 à 1 000 caractères |
| Contenu faible | Contenu faible (< 200 mots) | 200 mots | 0 à 5 000 mots |
| Réponse lente | Réponse lente (> 1500 ms) | 1 500 ms | 100 à 30 000 ms |
| Premier octet lent | Premier octet lent (> 800 ms) | 800 ms | 50 à 10 000 ms |
| Page lourde | Page lourde (> 1 500 000 octets de HTML) | 1 500 000 octets | 100 000 à 10 000 000 octets |
| Page profonde | Page profonde (> 4 clics de l’accueil) | 4 clics | 1 à 20 clics |
- Le minimum doit rester inférieur au maximum (titre, meta description).
- Dans le formulaire, le poids d’une page se saisit en Ko.
- Rétablir les seuils par défaut remet toutes les valeurs ci-dessus.
Contrôles actifs
Chaque contrôle de la page Améliorations se coche ou se décoche, par catégorie, avec sa gravité. Un contrôle décoché est ignoré pour ce site, et Améliorations le signale comme désactivé. La liste complète, avec la façon de corriger chaque problème : Améliorations.
Général, données et visibilité#
| Réglage | Effet | Valeurs | Par défaut |
|---|---|---|---|
| Fuseau horaire des rapports | Le fuseau dans lequel les journées des rapports sont découpées. | Fuseaux horaires (Europe/Paris, America/Montreal…) | Europe/Paris |
| Conservation des statistiques | Les données d’audience, de comportement et de robots plus anciennes sont supprimées automatiquement. | 30 à 1 500 jours, dans la limite de l’offre de l’espace | 760 jours |
| Recherche Kreomnis | Les pages indexées du site apparaissent dans la recherche Kreomnis. | Oui, non | Oui |
| Conservation des requêtes | Les requêtes plus anciennes sont effacées du journal du trafic. | 7 à 400 jours, dans la limite de l’offre de l’espace | 90 jours |
| Garder aussi les fichiers statiques servis sans erreur | Images, styles, scripts et polices servis avec succès entrent aussi dans le journal du trafic (beaucoup de lignes en plus). Décochée, seuls les fichiers en erreur sont gardés. | Oui, non | Non |
Un site ajouté dans un espace démarre avec des réglages (pages au plus, durées de conservation) ramenés, au besoin, aux plafonds de son offre (voir Offres et abonnement).
Quand les réglages s’appliquent#
Les réglages s’appliquent au prochain passage de KreomnisBot : au fil des revisites, chaque page est lue avec les nouveaux réglages, et une page qui sort du périmètre change de statut sans requête vers votre serveur. Pour suivre le travail en cours, ouvrez Exploration.
Ce que voient les administrateurs de votre serveur, et comment ils peuvent ralentir ou bloquer le robot : la page publique KreomnisBot.
Une question sans réponse ici ? Consultez les questions fréquentes.