DocumentationExploration et réglages

Exploration et réglages

Ce que KreomnisBot fait sur votre site, requête par requête, et chaque réglage qui le pilote : rythme, vitesse, périmètre, seuils et contrôles.

Sur cette page
  1. La page Exploration
  2. Courbes, répartitions et journal
  3. Passages, revisites et file
  4. Rythme
  5. Vitesse et politesse
  6. Périmètre
  7. Motifs inclus et exclus
  8. Paramètres d’URL ignorés
  9. URL de départ
  10. Le testeur de périmètre
  11. Seuils et contrôles
  12. Général, données et visibilité
  13. Quand les réglages s’appliquent

La page Exploration#

Dans la console, Exploration (rubrique « Recherche et index ») est l’équivalent des « Statistiques sur l’exploration » de la Search Console : ce que KreomnisBot a demandé à votre serveur, et ce qu’il a obtenu. Chaque requête est journalisée 90 jours.

L’état du moment

  • le bouton d’exploration, et le passage en cours ou le dernier passage ;
  • le prochain passage de découverte prévu, selon le réglage Passage de découverte ;
  • la file : les adresses prêtes à être explorées, et les adresses différées, qui attendent une nouvelle tentative.

L’état de l’hôte

L’hôte, c’est votre serveur tel que KreomnisBot le voit :

robots.txt
« Lu », « Absent (tout est permis) » ou « Injoignable (exploration suspendue) », avec le code HTTP reçu, la date de lecture et le Crawl-delay retenu.
Recul en cours
Jusqu’à quand KreomnisBot s’abstient de toute requête vers votre serveur, et pourquoi : réponse 429 ou 503, ou pannes répétées (voir Vitesse et politesse).
Sonde soft 404
La réponse de votre site à une adresse inexistante (/kreomnis-404-…) : un 404 est la bonne réponse ; un 200 ou une redirection vers l’accueil sert à repérer les soft 404 (voir Soft 404 et sonde).

Courbes, répartitions et journal#

Sur 90 jours

  • Requêtes par jour, empilées par résultat : OK, inchangées (304), redirections, erreurs 4xx, erreurs 5xx, réseau ;
  • Temps de réponse moyen : premier octet (le serveur commence à répondre) et réponse complète ;
  • Volume téléchargé : les octets réellement reçus, compressés.

Répartitions

Par code de réponse, par type de contenu, par but de la requête et par source de découverte des pages. Les buts :

ButCe que fait KreomnisBot
DécouvertePremière lecture d’une adresse trouvée par un lien, un sitemap, llms.txt…
ActualisationRevisite d’une page déjà connue (requête conditionnelle quand c’est possible).
robots.txtLecture de robots.txt.
SitemapLecture d’un sitemap ou d’un flux RSS / Atom.
llms.txtLecture de llms.txt ou de llms-full.txt.
Sonde soft 404Demande d’une adresse qui ne peut pas exister (/kreomnis-404-…), pour repérer les soft 404.
InspectionTest en direct demandé depuis Inspection d’URL.

Les sources, c’est-à-dire comment une adresse est arrivée dans la file :

SourceL’adresse vient…
Accueilde la page d’accueil.
URL de départdes URL de départ de Paramètres.
Sitemapd’un sitemap.
llms.txtde llms.txt.
Lien interned’un lien interne d’une autre page.
Canoniquede la balise canonique d’une autre page.
Redirectionde la cible d’une redirection.
hreflangd’une annotation hreflang d’une autre page.
Revisited’une revisite programmée (page déjà connue).
Inspectiond’un test en direct (Inspection d’URL).

Historique, dernières requêtes et extrait de la file

  • Historique des passages : début, déclencheur (console ou planificateur), statut, pages explorées, nouvelles, modifiées, inchangées (304), erreurs, durée et volume.
  • Dernières requêtes : les 50 plus récentes, avec leur résultat.
  • Extrait de la file : les 20 prochaines adresses par priorité, et celles qui attendent une nouvelle tentative, avec leur erreur.

Le résultat de chaque requête :

RésultatSignification
OK (2xx)Réponse 2xx, lue.
Inchangée (304)Requête conditionnelle : la page n’a pas changé, rien n’est retéléchargé.
Redirection (3xx)La cible est mise en file si elle est sur le site.
Erreur client (4xx)404, 410, 401, 403… (sauf 429).
Trop de requêtes (429)Le serveur demande de ralentir : KreomnisBot recule.
Erreur serveur (5xx)Erreur du serveur ; sur un 503, KreomnisBot recule.
Délai dépasséPas de réponse complète dans le délai (12 s pour une page).
DNSLe nom de domaine ne se résout pas.
RéseauConnexion refusée ou coupée.
Adresse refuséeAdresse privée ou réservée : KreomnisBot refuse de s’y connecter (protection contre les requêtes vers un réseau interne).
Trop volumineuseRéponse plus grande que la taille lue (3 Mo de HTML une fois décompressé).

Passages, revisites et file#

Planificateur
Toutes les 5 minutes, il sert à tour de rôle les sites qui ont du travail, le moins récemment servi d’abord, 60 secondes par site et par tour. Un seul ouvrier explore un site à la fois : le bouton de la console et le planificateur ne se marchent pas dessus.
Passage de découverte
Lecture de robots.txt, sonde soft 404, llms.txt et sitemaps, puis l’accueil et les URL de départ, et les liens de page en page. Il a lieu selon le réglage Passage de découverte, et chaque fois qu’un administrateur clique sur le bouton d’exploration.
Revisite
Chaque page connue a sa propre date de prochaine visite (voir Rythme). Les revisites dues rejoignent la file au fil des tours du planificateur.
File
Les adresses en attente, rangées par priorité. Une page de sitemap dont le lastmod est plus récent que la dernière visite passe devant. Une adresse en échec passager attend sa nouvelle tentative : 1 minute, puis 10 minutes plus tard.
Fin d’exploration
Quand la file du site est vide, KreomnisBot fait les calculs qui demandent une vue d’ensemble : doublons exacts et proches, liens entrants, pages orphelines, liens cassés ou vers des redirections, chaînes et boucles de redirections, cibles des canoniques, URL de sitemap en défaut, hreflang sans retour, titres et descriptions en double. Puis il prend l’instantané du jour : statuts, problèmes et score de santé.

Un passage est en cours, terminé, en pause (par exemple quand robots.txt est injoignable) ou en échec. Il tient ses comptes : requêtes, pages nouvelles, modifiées et inchangées, erreurs, nouvelles tentatives, et adresses écartées (bloquées par robots.txt, hors périmètre, pièges).

Rythme#

Les réglages se trouvent dans Paramètres, une page réservée aux administrateurs du site.

RéglageEffetValeursPar défaut
Passage de découverteRelit robots.txt, la sonde soft 404, llms.txt et les sitemaps, puis l’accueil et les URL de départ, et découvre les nouvelles pages.Chaque jour, chaque semaine, à la demande seulementChaque jour
Revisite de baseIntervalle entre deux visites d’une page qui ne change pas.1 à 60 jours7 jours
Revisites adaptativesIntervalle divisé par 2 quand la page a changé (24 heures au moins), multiplié par 1,5 sinon (30 jours au plus). Sans elles, l’intervalle reste fixe.Oui, nonOui
Pages au plusPages connues et adresses en file comprises. Au-delà, aucune nouvelle adresse n’est mise en file.De 1 au plafond de l’offre de l’espace (2 000 pour un espace d’avant les offres ou un site sans espace, 20 000 pour un administrateur Kreomnis)500
Profondeur au plusClics depuis l’accueil. Les pages plus profondes ne sont pas mises en file.1 à 20 clics10 clics

Quels que soient ces réglages, l’accueil est revu au moins toutes les 24 heures, une page en 404 ou 410 tous les 30 jours, une redirection tous les 14 jours ; une page de sitemap dont le lastmod est plus récent que la dernière visite repasse en priorité.

« À la demande seulement » ne met pas KreomnisBot à l’arrêt

Ce choix supprime les passages de découverte automatiques, pas les revisites des pages déjà connues. Pour arrêter KreomnisBot, bloquez-le dans robots.txt (voir KreomnisBot › robots.txt).

Vitesse et politesse#

RéglageEffetValeursPar défaut
Requêtes simultanéesRequêtes en cours en même temps vers votre site. Ramenées à 1 dès qu’un Crawl-delay d’au moins 1 seconde s’applique.1 à 42
Délai minimal entre requêtesTemps minimal entre le début de deux requêtes vers votre serveur.0 à 10 000 ms250 ms
Respecter le Crawl-delayApplique le Crawl-delay de votre robots.txt quand il dépasse le délai minimal, jusqu’à 30 secondes.Oui, nonOui

Quels que soient ces réglages, KreomnisBot recule devant un serveur qui peine :

  • sur une réponse 429 ou 503, plus aucune requête vers lui pendant la durée indiquée par Retry-After, ramenée entre 60 secondes et 1 heure ; à défaut, 1 minute, puis le double à chaque nouveau refus ;
  • après 10 échecs réseau ou erreurs 5xx d’affilée, pause de 30 minutes.

Le recul en cours s’affiche dans Exploration. Tous sites confondus, KreomnisBot n’a jamais plus de 4 requêtes en cours à la fois.

État lu et durée estimée

Paramètres affiche ce que KreomnisBot a lu de votre serveur (état de robots.txt, Crawl-delay retenu) et estime la durée d’un passage complet d’après ces réglages et le temps de réponse moyen observé, recalculée pendant la saisie.

Exemple : 500 pages, 2 requêtes simultanées, 250 ms de délai minimal, un serveur qui répond en 400 ms : 4 pages par seconde au plus, soit environ 2 minutes de requêtes. Avec Crawl-delay: 2 dans robots.txt : une requête toutes les 2 secondes, soit environ 17 minutes. Comptez un peu plus en pratique : le planificateur partage son temps entre les sites, par tranches de 60 secondes.

Périmètre#

RéglageEffetValeursPar défaut
ProtocoleL’adresse de base du site.https, httphttps
URL de départAdresses explorées à chaque passage de découverte, en plus de l’accueil (voir URL de départ).20 au plus, sur le même siteAucune
Chemins inclusVide : tout le site. Sinon, seules les adresses qui correspondent à un motif sont explorées ; l’accueil l’est toujours (voir Motifs).50 motifs, 200 caractères chacunAucun (tout le site)
Chemins exclusAdresses jamais explorées. Une exclusion l’emporte sur une inclusion.50 motifs, 200 caractères chacunAucun
Paramètres d’URL ignorésRetirés de l’adresse avant la mise en file ; * retire toute la requête (voir Paramètres ignorés).30 nomsAucun
Suivre les liens nofollowSuit aussi, pour découvrir des pages, les liens rel="nofollow" et ceux des pages marquées nofollow.Oui, nonNon
  • Même site seulement : www.votre-site.fr et votre-site.fr ne font qu’un ; un lien vers un autre domaine n’est pas suivi.
  • Une adresse hors périmètre n’est pas mise en file ; elle est comptée dans les statistiques du passage.
  • Une page déjà connue qui sort du périmètre prend le statut « Chemin exclu par le propriétaire » ou « Hors du périmètre d’exploration » à sa revisite, sans requête vers votre serveur.
  • Les fichiers qui ne sont pas des pages (images, PDF, archives, vidéos, CSS, scripts…) ne sont jamais mis en file.

Pièges écartés

Certaines adresses se génèrent à l’infini (calendriers, filtres combinés, liens relatifs mal écrits). KreomnisBot les écarte :

PiègeExemple
Adresse de plus de 2 000 caractères—
Plus de 25 segments dans le chemin/a/b/c/…
Segment répété trois fois de suite, ou groupe de 2 ou 3 segments répété trois fois/tag/tag/tag/, /fr/blog/fr/blog/fr/blog/
Plus de 12 paramètres?a=1&b=2&…&m=13
Valeur de paramètre de plus de 500 caractères?filtre=…

Motifs inclus et exclus#

Les chemins inclus et exclus s’écrivent comme les règles de robots.txt, un motif par ligne. Ils se comparent au chemin et à la requête de l’adresse déjà normalisée (/produits?tri=prix), en respectant la casse :

  • un motif est un préfixe : /blog/ vaut pour toutes les adresses qui commencent ainsi ;
  • * remplace n’importe quelle suite de caractères, même vide ;
  • $ en fin de motif marque la fin de l’adresse.

Un motif commence par / ou *, sans espace, 200 caractères au plus.

MotifCorrespond àNe correspond pas à
/blog//blog/, /blog/mon-article, /blog/?page=2/blog, /Blog/mon-article
/panier/panier, /panier/etape-2, /paniers-cadeaux/mon-panier
/panier$/panier/panier/etape-2, /panier?promo=1
/*.html$/archives/2024.html/archives/2024.html?x=1
/*?/produits?tri=prix (toute adresse avec paramètres)/produits
/*tri=/produits?tri=prix, /produits?page=2&tri=nom/produits?ordre=prix
/*/imprimer$/recettes/tarte/imprimer/imprimer, /recettes/tarte/imprimer/

Pour n’explorer que la section française et les fiches produits (l’accueil reste exploré) :

Chemins inclustext
/fr/
/produits/

Pour écarter le panier, l’espace client, les tris et les versions imprimables :

Chemins exclustext
/panier$
/compte/
/*tri=
/*/imprimer$
Le préfixe va plus loin qu’on ne croit

/panier exclut aussi /paniers-cadeaux. Écrivez /panier/ ou /panier$ pour viser juste, et vérifiez avec le testeur de périmètre.

Les chemins exclus s’ajoutent à robots.txt : ils ne lèvent jamais une interdiction de robots.txt.

Paramètres d’URL ignorés#

Certains paramètres changent l’adresse sans changer la page : tri, affichage, devise… Laissés tels quels, ils multiplient les adresses explorées et créent des doublons.

  • KreomnisBot retire d’office les paramètres de suivi et de session : utm_*, fbclid, gclid, msclkid, mc_*, _ga, ref, PHPSESSID, JSESSIONID…
  • Ajoutez les vôtres, un nom par ligne (30 au plus : lettres, chiffres, _ . - [ ], 64 caractères au plus) ; la casse n’importe pas.
  • * retire toute la requête : à réserver aux sites dont les paramètres ne changent jamais le contenu.
Exempletext
Paramètres ignorés : tri, vue

https://votre-site.fr/produits?tri=prix&vue=grille&page=2&utm_source=lettre
→ https://votre-site.fr/produits?page=2
N’ignorez pas un paramètre qui change le contenu

Avec page ou id parmi les paramètres ignorés, les pages correspondantes ne seraient plus explorées.

URL de départ#

L’accueil est toujours le premier point d’entrée. Ajoutez des URL de départ pour les pages que les liens n’atteignent pas, ou trop profondément : une section à part, un catalogue derrière un moteur de recherche interne, une page de campagne.

  • 20 au plus, sur le même site (avec ou sans www), en http ou https ;
  • elles sont normalisées comme toute adresse, puis mises en file à chaque passage de découverte ;
  • elles restent soumises à robots.txt et au périmètre.

Pour beaucoup de pages, un sitemap fait mieux l’affaire : voir KreomnisBot › Sitemaps.

Le testeur de périmètre#

Dans Paramètres › Périmètre, saisissez une adresse ou un chemin : le testeur montre l’adresse normalisée et le verdict de KreomnisBot avec les réglages en cours de saisie, avant même d’enregistrer. Il applique exactement les mêmes règles que le robot :

  • explorée ;
  • exclue, avec le motif qui l’exclut ;
  • hors périmètre : aucun chemin inclus ne correspond ;
  • bloquée par robots.txt, avec le numéro de la ligne qui décide (d’après la dernière version lue) ;
  • piège probable, avec sa raison ;
  • autre site ;
  • pas une page (image, PDF, feuille de style…).

Seuils et contrôles#

Les seuils règlent les contrôles chiffrés de la page Améliorations. Adaptez-les à votre site : une boutique aux fiches courtes, un média aux pages longues…

SeuilContrôlePar défautBornes
Titre, longueur minimaleTitre trop court (< 15 caractères)15 caractères1 à 200 caractères
Titre, longueur maximaleTitre trop long (> 60 caractères)60 caractères10 à 300 caractères
Meta description, longueur minimaleMeta description trop courte (< 50)50 caractères1 à 500 caractères
Meta description, longueur maximaleMeta description trop longue (> 160)160 caractères50 à 1 000 caractères
Contenu faibleContenu faible (< 200 mots)200 mots0 à 5 000 mots
Réponse lenteRéponse lente (> 1500 ms)1 500 ms100 à 30 000 ms
Premier octet lentPremier octet lent (> 800 ms)800 ms50 à 10 000 ms
Page lourdePage lourde (> 1 500 000 octets de HTML)1 500 000 octets100 000 à 10 000 000 octets
Page profondePage profonde (> 4 clics de l’accueil)4 clics1 à 20 clics
  • Le minimum doit rester inférieur au maximum (titre, meta description).
  • Dans le formulaire, le poids d’une page se saisit en Ko.
  • Rétablir les seuils par défaut remet toutes les valeurs ci-dessus.

Contrôles actifs

Chaque contrôle de la page Améliorations se coche ou se décoche, par catégorie, avec sa gravité. Un contrôle décoché est ignoré pour ce site, et Améliorations le signale comme désactivé. La liste complète, avec la façon de corriger chaque problème : Améliorations.

Général, données et visibilité#

RéglageEffetValeursPar défaut
Fuseau horaire des rapportsLe fuseau dans lequel les journées des rapports sont découpées.Fuseaux horaires (Europe/Paris, America/Montreal…)Europe/Paris
Conservation des statistiquesLes données d’audience, de comportement et de robots plus anciennes sont supprimées automatiquement.30 à 1 500 jours, dans la limite de l’offre de l’espace760 jours
Recherche KreomnisLes pages indexées du site apparaissent dans la recherche Kreomnis.Oui, nonOui
Conservation des requêtesLes requêtes plus anciennes sont effacées du journal du trafic.7 à 400 jours, dans la limite de l’offre de l’espace90 jours
Garder aussi les fichiers statiques servis sans erreurImages, styles, scripts et polices servis avec succès entrent aussi dans le journal du trafic (beaucoup de lignes en plus). Décochée, seuls les fichiers en erreur sont gardés.Oui, nonNon

Un site ajouté dans un espace démarre avec des réglages (pages au plus, durées de conservation) ramenés, au besoin, aux plafonds de son offre (voir Offres et abonnement).

Quand les réglages s’appliquent#

Les réglages s’appliquent au prochain passage de KreomnisBot : au fil des revisites, chaque page est lue avec les nouveaux réglages, et une page qui sort du périmètre change de statut sans requête vers votre serveur. Pour suivre le travail en cours, ouvrez Exploration.

Ce que voient les administrateurs de votre serveur, et comment ils peuvent ralentir ou bloquer le robot : la page publique KreomnisBot.

Une question sans réponse ici ? Consultez les questions fréquentes.