DocumentationIndexation et couverture

Indexation et couverture

Comment KreomnisBot explore votre site, et pourquoi chaque page est indexée, exclue ou en erreur, avec le vocabulaire de la Search Console.

Sur cette page
  1. Comment KreomnisBot explore
  2. Fréquence
  3. Vos consignes sont respectées
  4. Fichiers pour les IA (llms.txt)
  5. Statuts et raisons
  6. Améliorations
  7. Inspection d’URL et sitemaps
  8. Performances de recherche

Comment KreomnisBot explore#

KreomnisBot (User-Agent KreomnisBot/1.0 (+indexation; respecte robots.txt)) n’explore que les sites dont la propriété est vérifiée. Une exploration part de :

  • votre robots.txt, relu à chaque lancement, et les sitemaps qu’il déclare ;
  • /sitemap.xml et les sitemaps envoyés dans Sitemaps (index de sitemaps compris) ;
  • votre /llms.txt, s’il existe : les pages du site qu’il cite sont ajoutées à l’exploration (voir plus bas) ;
  • la page d’accueil, puis les liens trouvés de page en page, jusqu’à dix niveaux de profondeur.

Il interroge au plus quatre pages à la fois et s’arrête au nombre maximal de pages fixé dans Paramètres(500 par défaut). Les adresses sont normalisées : sans fragment #, sans paramètres de suivi (utm_*, fbclid, gclid…), et les fichiers qui ne sont pas des pages (images, PDF, CSS, scripts, JSON, XML hors sitemaps…) sont ignorés.

Pas de JavaScript

KreomnisBot lit le HTML renvoyé par votre serveur, sans exécuter le JavaScript : un contenu ou des liens ajoutés uniquement par un script côté navigateur ne sont pas vus.

Fréquence#

  • Première exploration : lancée depuis la Vue d’ensemble une fois le site vérifié.
  • Ensuite : une tâche planifiée relance environ une fois par jour l’exploration des sites vérifiés. Les pages trouvées dans vos sitemaps et vos liens sont revues à chaque exploration (pas plus d’une fois toutes les 12 heures), les autres au bout de sept jours.
  • À la demande : Inspection d’URL teste une adresse en direct (administrateurs d’un site vérifié), et envoyer un sitemap ajoute ses pages à la file.

Vos consignes sont respectées#

KreomnisBot lit le groupe User-agent: KreomnisBot de votre robots.txt, sinon le groupe *. Pour l’écarter d’une partie du site :

robots.txttext
User-agent: KreomnisBot
Disallow: /prive/
  • <meta name="robots" content="noindex">, la même balise avec name="kreomnisbot", ou l’en-tête X-Robots-Tag: noindex excluent la page de l’index.
  • nofollow (balise ou en-tête) empêche de suivre les liens de la page.

Plus de détails sur la page publique KreomnisBot.

Fichiers pour les IA (llms.txt)#

À chaque exploration, KreomnisBot lit aussi /llms.txt (1 Mo au plus) et /llms-full.txt (2 Mo au plus), deux fichiers texte qui présentent votre site aux modèles de langage. Il respecte robots.txt pour ces fichiers, et les pages de votre site citées dans llms.txt rejoignent la file d’exploration.

Leur état s’affiche dans Sitemaps › Fichiers pour les IA : présent (avec titre, résumé, nombre de sections et de liens), absent, bloqué par robots.txt, trop volumineux, en erreur, ou « Page HTML au lieu du fichier » quand votre CMS renvoie une page HTML à cette adresse.

Format et exemples : voir la page publique KreomnisBot.

Statuts et raisons#

Le rapport Couverture range chaque page dans un statut, avec sa raison :

RaisonStatutExplication
IndexéeIndexéeLa page est dans l’index et peut apparaître dans la recherche Kreomnis.
Erreur serveur (5xx)ErreurLe serveur a répondu par une erreur. Vérifiez les journaux de l’hébergement.
Exploration impossibleErreurDNS, délai dépassé ou connexion refusée.
Introuvable (404)ExclueLa page n’existe pas. Retirez les liens qui y mènent ou redirigez-la.
Supprimée (410)ExclueLa page est déclarée supprimée.
Bloquée (4xx)ExclueAccès refusé (401, 403…) ou requête invalide.
Page avec redirectionExclueL’URL redirige ailleurs ; c’est la cible qui est explorée.
Bloquée par robots.txtExcluerobots.txt interdit l’exploration de cette URL.
Exclue par la balise « noindex »ExclueUne balise meta robots ou un en-tête X-Robots-Tag demande de ne pas indexer.
Autre page avec balise canonique correcteExclueLa page désigne une autre URL comme version canonique.
Doublon sans URL canoniqueExclueLe contenu est identique à une autre page indexée. Déclarez une canonique.
Type de contenu non HTMLExclueSeules les pages HTML sont indexées.
Soft 404ExclueLa page répond 200 mais ressemble à une page d’erreur vide.
Chemin exclu par le propriétaireExclueExclu dans les paramètres du site.

La liste des pages, avec leur statut et leurs problèmes, s’exporte en CSV depuis Couverture.

Améliorations#

Pour chaque page explorée, la page Améliorations relève les points d’optimisation suivants :

ProblèmeGravité
Balise <title> absenteErreur
Contenu mixte (ressources http sur https)Erreur
Page servie sans HTTPSErreur
Titre trop long (> 60 caractères)Avertissement
Titre identique à une autre pageAvertissement
Meta description absenteAvertissement
Aucun titre H1Avertissement
Images sans attribut altAvertissement
Réponse lente (> 1,5 s)Avertissement
Page lourde (> 1,5 Mo de HTML)Avertissement
Pas de meta viewport (mobile)Avertissement
Titre trop court (< 15 caractères)Conseil
Meta description trop longue (> 160)Conseil
Meta description trop courte (< 50)Conseil
Plusieurs titres H1Conseil
Contenu faible (< 200 mots)Conseil
Attribut lang absent sur <html>Conseil
Balises Open Graph absentesConseil
Chaîne de redirectionsConseil
Pas de balise canoniqueConseil

Inspection d’URL et sitemaps#

Inspection d’URL affiche l’état d’une adresse dans l’index (statut, raison, canonique, dernière exploration) et peut demander à KreomnisBot de la tester en direct. Sitemaps montre l’état de chaque sitemap lu (nombre d’adresses, erreur éventuelle) et vous permet d’en envoyer d’autres, à condition qu’ils soient sur le domaine du site.

Performances de recherche#

La page Performances reprend les clics, impressions, taux de clic et position moyenne de votre site dans la recherche Kreomnis (portail, KreomnisNet et API), requête par requête.

Ce ne sont pas les chiffres de Google

Ces données concernent uniquement la recherche Kreomnis. Les visites venues de Google, Bing ou Qwant apparaissent dans les sources de vos statistiques.

Pour ne pas apparaître dans la recherche Kreomnis, décochez l’option correspondante dans Paramètres.

Une question sans réponse ici ? Consultez les questions fréquentes.