Indexation et couverture
Pourquoi chaque page est indexée, exclue ou en erreur, avec le vocabulaire de la Search Console : raisons, doublons, soft 404, score de santé, améliorations et inspection d’URL.
Sur cette page
Comment KreomnisBot explore#
KreomnisBot (User-Agent Mozilla/5.0 (compatible; KreomnisBot/2.0; +https://kreomnisindexation.com/bot)) n’explore que les sites dont la propriété est vérifiée. Il travaille en continu : un planificateur passe toutes les 5 minutes et sert les sites à tour de rôle. Deux rythmes se combinent :
- Le passage de découverte, chaque jour par défaut (ou chaque semaine, ou seulement à la demande), et à chaque clic sur le bouton d’exploration : KreomnisBot relit
robots.txt, sonde la réponse du site aux pages inexistantes, litllms.txtet vos sitemaps (ceux derobots.txt,/sitemap.xmlet ceux envoyés dans Sitemaps), puis l’accueil et vos URL de départ, et suit les liens de page en page, jusqu’à 10 clics de profondeur par défaut. - Les revisites : chaque page connue revient à son rythme, tous les 7 jours par défaut, plus souvent si elle change, moins souvent sinon.
Les adresses sont normalisées : sans fragment #, sans paramètres de suivi (utm_*, fbclid, gclid…) ni les paramètres que vous choisissez d’ignorer ; les fichiers qui ne sont pas des pages (images, PDF, CSS, scripts, JSON, XML hors sitemaps…) sont écartés. La première exploration se lance depuis la Vue d’ensemble, une fois le site vérifié. Ensuite, Inspection d’URL teste une adresse en direct, et envoyer un sitemap ajoute ses pages à la file.
Rythme, vitesse et périmètre se règlent dans Paramètres ; le travail du robot se suit requête par requête dans Exploration : voir Exploration et réglages. Ce que voient les administrateurs de votre serveur est décrit sur la page publique KreomnisBot.
KreomnisBot lit le HTML renvoyé par votre serveur, sans exécuter le JavaScript : un contenu ou des liens ajoutés uniquement par un script côté navigateur ne sont pas vus. Une page dont le HTML est presque vide reçoit l’avertissement « Contenu visible seulement avec JavaScript ».
Vos consignes sont respectées#
KreomnisBot lit le groupe User-agent: KreomnisBot de votre robots.txt, sinon le groupe *, selon la RFC 9309. Pour l’écarter d’une partie du site, et le ralentir :
User-agent: KreomnisBot Disallow: /prive/ Crawl-delay: 1
<meta name="robots" content="noindex">, la même balise avecname="kreomnisbot", ou l’en-têteX-Robots-Tag: noindex(ouX-Robots-Tag: kreomnisbot: noindex) excluent la page de l’index ; une dateunavailable_afterpassée aussi. Une directive qui vise un autre robot (googlebot: noindex) ne compte pas.nofollow(balise ou en-tête) empêche de suivre les liens de la page.- Un
robots.txten 404 (ou autre 4xx) vaut « tout est permis » ; en 5xx ou injoignable, KreomnisBot n’explore rien, sauf à reprendre sa dernière copie si elle a moins de 30 jours.
Exemples prêts à copier sur la page publique KreomnisBot.
Statuts et raisons#
Le rapport Couverture range chaque page connue dans un statut, avec sa raison :
- Indexée : la page est dans l’index et peut apparaître dans la recherche Kreomnis.
- Exclue : la page n’est pas indexée, par choix ou par nature (consigne, redirection, doublon, page absente…). C’est souvent normal.
- Erreur : KreomnisBot n’a pas pu la lire, plusieurs fois de suite.
| Raison | Statut | Explication |
|---|---|---|
| Indexée | Indexée | La page est dans l’index et peut apparaître dans la recherche Kreomnis. |
| Erreur serveur (5xx) | Erreur | Le serveur a répondu par une erreur, plusieurs fois de suite. Vérifiez les journaux de l’hébergement. |
| Limitée par le serveur (429) | Erreur | Le serveur a refusé KreomnisBot (trop de requêtes). Autorisez-le, ou fixez un Crawl-delay dans robots.txt. |
| Exploration impossible | Erreur | DNS, délai dépassé ou connexion refusée, plusieurs fois de suite. |
| Introuvable (404) | Exclue | La page n’existe pas. Retirez les liens qui y mènent ou redirigez-la. |
| Supprimée (410) | Exclue | La page est déclarée supprimée. |
| Accès non autorisé (401) | Exclue | La page demande une authentification : elle ne peut pas être indexée. |
| Accès interdit (403) | Exclue | Le serveur refuse l’accès à KreomnisBot. Vérifiez le pare-feu ou le CDN si la page doit être indexée. |
| Bloquée (autre erreur 4xx) | Exclue | Requête refusée par le serveur (400, 405, 451…). |
| Page avec redirection | Exclue | L’URL redirige ailleurs (HTTP 3xx ou meta refresh) ; c’est la cible qui est explorée. |
| Bloquée par robots.txt | Exclue | robots.txt interdit l’exploration de cette URL. |
| Exclue par la balise « noindex » | Exclue | Une balise meta robots, l’en-tête X-Robots-Tag ou une date unavailable_after passée demande de ne pas indexer. |
| Autre page avec balise canonique correcte | Exclue | La page désigne une autre URL comme version canonique. |
| Doublon sans URL canonique | Exclue | Le contenu est identique à une autre page indexée. Déclarez une canonique. |
| Type de contenu non HTML | Exclue | Seules les pages HTML sont indexées. |
| Soft 404 | Exclue | La page répond 200 mais ressemble à la page d’erreur du site. Renvoyez un vrai code 404 ou 410. |
| Chemin exclu par le propriétaire | Exclue | Exclu dans les paramètres du site. |
| Hors du périmètre d’exploration | Exclue | La page ne correspond à aucun chemin inclus dans les paramètres du site. |
- Une
meta refreshvers une autre page en 5 secondes au plus compte comme une redirection. - « noindex » vient de la balise
robotsoukreomnisbot, de l’en-têteX-Robots-Tag(général ou visant KreomnisBot), ou d’une dateunavailable_afterpassée. - Une page déjà connue qui sort du périmètre (chemins exclus ou inclus) prend le statut correspondant à sa revisite, sans requête vers votre serveur.
Lire la couverture#
- Filtre de périmètre : toutes les pages connues, seulement les pages envoyées (listées dans vos sitemaps), ou celles d’un sitemap précis, comme dans la Search Console. Il s’applique aux tuiles, aux raisons, à la courbe et à la liste.
- Tuiles : indexées, exclues, erreurs, et les pages découvertes en attente, c’est-à-dire trouvées mais pas encore explorées (la file).
- Raisons : le nombre de pages par raison, avec son explication.
- Liste des pages : profondeur (clics depuis l’accueil) et liens entrants en plus du statut ; tri par adresse, statut, dernière exploration ou liens entrants ; filtre par problème.
La liste s’exporte en CSV, avec pour chaque page sa profondeur, ses liens entrants, sa canonique, le doublon dont elle relève, son sitemap, le temps de premier octet, la compression, sa source de découverte et ses problèmes.
Doublons exacts et proches#
Quand la file du site est vide (fin d’exploration), KreomnisBot compare les pages entre elles :
- Doublons exacts : plusieurs pages au contenu identique. Il en garde une comme représentante ; les autres sont classées « Doublon sans URL canonique ».
- Doublons proches : des textes presque identiques, repérés par leur empreinte SimHash. Ces pages restent indexées, avec l’avertissement « Contenu presque identique à une autre page ».
Dans les deux cas, Inspection d’URL indique de quelle page une adresse est le doublon. Remède : une balise canonique vers la version à garder, ou des textes vraiment distincts. Une page qui désigne déjà une autre adresse comme canonique est classée « Autre page avec balise canonique correcte » : ce n’est pas un doublon.
SimHash : une empreinte de 64 bits calculée sur le texte de la page ; deux textes presque identiques ont des empreintes qui ne diffèrent que de quelques bits.
Soft 404 et sonde#
Un soft 404 est une page d’erreur servie avec le code 200 (« tout va bien ») au lieu de 404 : les moteurs la jugent sans intérêt, et elle encombre l’exploration. Pour les repérer, KreomnisBot envoie une sonde à chaque passage de découverte : il demande une adresse qui ne peut pas exister, /kreomnis-404- suivi de caractères aléatoires.
- Votre site répond 404 ou 410 : tout va bien.
- Il répond 200 : une page en 200 est classée « Soft 404 » si elle ressemble à la réponse de la sonde : même contenu, empreinte SimHash à 3 bits près, ou même titre et nombre de mots à 20 % près.
- La sonde redirige vers l’accueil : une page qui redirige vers l’accueil est alors un soft 404, elle aussi.
Par ailleurs, une page très courte (moins de 15 mots) dont le titre ou le titre H1 annonce une erreur (« Page introuvable », « Not found »…) est classée soft 404. La réponse de votre site à la sonde s’affiche dans Exploration. Correction : renvoyez un vrai code 404 ou 410 pour les pages inexistantes.
Erreurs passagères : la version précédente est gardée#
Un délai dépassé, une erreur réseau, une réponse 5xx ou 429 ne font pas sortir une page de l’index du jour au lendemain :
- KreomnisBot réessaie 1 minute, puis 10 minutes plus tard.
- Si l’erreur persiste, une page déjà lue correctement garde son statut et sa dernière version. Elle reçoit l’avertissement « Dernière exploration en échec (version précédente conservée) » et sera retentée 6 heures plus tard.
- Elle ne passe en erreur qu’au troisième échec consécutif, et au plus tôt 48 heures après le premier.
Une page jamais lue passe en erreur tout de suite. Sur un 429 ou un 503, KreomnisBot suspend aussi toute requête vers votre serveur le temps demandé par Retry-After : voir Vitesse et politesse.
Score de santé#
Le score de santé résume la page Améliorations en un nombre de 0 à 100 (100 = aucun problème). Il se calcule sur les pages indexées :
- chaque page reçoit une pénalité : 0,5 par erreur, 0,15 par avertissement, 0,03 par conseil, 1 au plus ;
- le score vaut 100 × (1 − pénalité moyenne des pages indexées), arrondi.
Exemple : 10 pages indexées. Huit n’ont aucun problème ; une n’a pas de meta description (un avertissement : 0,15) ; une a des liens cassés (une erreur), ni canonique ni Open Graph (deux conseils) : 0,56. Pénalité moyenne : (0,15 + 0,56) ÷ 10 = 0,071 ; score : 93.
Corriger les erreurs d’abord rapporte le plus. Le score du jour est enregistré à la fin de chaque exploration complète, et Améliorations en trace la courbe. Sans page indexée, pas de score.
Améliorations#
Pour chaque page lue, la page Améliorations relève les problèmes ci-dessous, groupés par catégorie puis par gravité, avec le nombre de pages concernées et sa tendance. Le volet de détail d’un problème explique comment le corriger et liste les pages concernées, avec le contexte utile : doublon de quelle page, liens cassés vers quelles adresses, cible de la canonique, profondeur, liens entrants.
Les seuils (longueur des titres, temps de réponse, poids…) et les contrôles actifs se règlent par site dans Paramètres : voir Seuils et contrôles. Les valeurs ci-dessous sont celles par défaut. Les problèmes marqués « calculé en fin d’exploration » demandent une vue d’ensemble du site : ils sont recalculés quand la file du site est vide.
Indexabilité
| Problème | Gravité | Comment corriger |
|---|---|---|
| Plusieurs balises canoniques différentes | Erreur | Les moteurs ignorent alors toutes les canoniques. N’en gardez qu’une. |
| Balise canonique hors du <head> | Erreur | Placée dans le <body> (ou après un élément qui ferme l’en-tête), elle est ignorée. |
| Élément interdit dans <head> | Erreur | Un <div>, <img> ou texte dans <head> ferme l’en-tête pour les moteurs : la canonique et les hreflang placés après sont ignorés (les directives robots, elles, restent appliquées). |
| Canonique vers une page en erreur Calculé en fin d’exploration | Erreur | La page désignée répond 4xx ou 5xx : corrigez la canonique. |
| Canonique vers une page « noindex » Calculé en fin d’exploration | Erreur | Signaux contradictoires : la version canonique ne peut pas être indexée. |
| URL envoyée marquée « noindex » Calculé en fin d’exploration | Erreur | Un sitemap ne doit lister que des pages à indexer : retirez-la du sitemap, ou retirez le noindex. |
| URL envoyée introuvable ou en erreur Calculé en fin d’exploration | Erreur | Le sitemap liste une page en 4xx ou 5xx : mettez-le à jour. |
| URL envoyée bloquée par robots.txt Calculé en fin d’exploration | Erreur | robots.txt interdit une URL que le sitemap demande d’explorer. |
| Canonique vers une URL qui redirige Calculé en fin d’exploration | Avertissement | Pointez la canonique directement vers l’URL finale. |
| URL envoyée qui redirige Calculé en fin d’exploration | Avertissement | Listez l’URL finale dans le sitemap. |
| Contenu presque identique à une autre page Calculé en fin d’exploration | Avertissement | Les moteurs n’en gardent qu’une. Différenciez les pages, ou déclarez une canonique. |
| Redirection par balise meta refresh | Avertissement | Préférez une redirection HTTP 301 côté serveur. |
| Contenu visible seulement avec JavaScript | Avertissement | Le HTML reçu est presque vide : KreomnisBot et la plupart des robots IA ne voient pas le contenu. Rendu serveur ou statique conseillé. |
| Dernière exploration en échec (version précédente conservée) | Avertissement | Erreur passagère (5xx, 429, délai) : la page sera retentée. Si elle persiste, elle passera en erreur. |
| Pas de balise canonique | Conseil | Une canonique vers elle-même protège la page des doublons (paramètres, majuscules…). |
| Canonique vers un autre domaine | Conseil | Normal pour un contenu repris d’ailleurs ; sinon, vérifiez la balise. |
| URL envoyée non canonique Calculé en fin d’exploration | Conseil | Le sitemap liste une URL qui désigne une autre page comme canonique. |
| Liens de la page non suivis (nofollow) | Conseil | La balise robots « nofollow » empêche de découvrir les pages liées. |
Contenu et balises
| Problème | Gravité | Comment corriger |
|---|---|---|
| Balise <title> absente | Erreur | Ajoutez un titre unique qui résume la page : c’est le lien cliquable des résultats. |
| Titre trop long (> 60 caractères) | Avertissement | Les moteurs coupent les titres longs. Placez l’essentiel au début. |
| Titre identique à une autre page Calculé en fin d’exploration | Avertissement | Chaque page doit avoir son propre titre ; sinon les moteurs hésitent entre elles. |
| Meta description absente | Avertissement | Sans description, le moteur fabrique un extrait lui-même, souvent moins engageant. |
| Aucun titre H1 | Avertissement | Un H1 annonce le sujet principal de la page. |
| Images sans attribut alt | Avertissement | Décrivez chaque image utile (alt="…") ; alt="" pour une image décorative. |
| Titre trop court (< 15 caractères) | Conseil | Un titre plus descriptif aide à comprendre la page avant le clic. |
| Meta description trop longue (> 160) | Conseil | Au-delà, l’extrait est coupé dans les résultats. |
| Meta description trop courte (< 50) | Conseil | Une ou deux phrases qui donnent envie de cliquer. |
| Meta description identique à une autre page Calculé en fin d’exploration | Conseil | Rédigez une description propre à chaque page. |
| Plusieurs titres H1 | Conseil | Un seul H1 par page rend la structure plus claire. |
| Contenu faible (< 200 mots) | Conseil | Peu de texte : la page risque d’être jugée sans intérêt. Étoffez-la ou regroupez-la. |
| Attribut lang absent sur <html> | Conseil | Indiquez la langue de la page : <html lang="fr">. |
| Balises Open Graph absentes | Conseil | og:title et og:image soignent l’aperçu des liens partagés. |
Liens et architecture
| Problème | Gravité | Comment corriger |
|---|---|---|
| Liens internes cassés Calculé en fin d’exploration | Erreur | La page pointe vers des pages du site en 4xx ou 5xx. |
| Boucle de redirections Calculé en fin d’exploration | Erreur | Les redirections reviennent à leur point de départ : la page est inaccessible. |
| Page orpheline (aucun lien interne) Calculé en fin d’exploration | Avertissement | Seul un sitemap ou llms.txt la mentionne. Liez-la depuis une page du site. |
| Liens internes vers une redirection Calculé en fin d’exploration | Conseil | Faites pointer les liens directement vers l’URL finale. |
| Chaîne de redirections Calculé en fin d’exploration | Conseil | Plusieurs redirections à la suite ralentissent et diluent les signaux : redirigez en une fois. |
| Page profonde (> 4 clics de l’accueil) | Conseil | Rapprochez-la de l’accueil (menu, liens de catégorie) pour qu’elle soit mieux explorée. |
Performance
| Problème | Gravité | Comment corriger |
|---|---|---|
| Réponse lente (> 1500 ms) | Avertissement | Temps de réponse complet du serveur pour le HTML. Cache, base de données, hébergement. |
| Premier octet lent (> 800 ms) | Avertissement | Le serveur met du temps à commencer sa réponse (TTFB). Cache de page conseillé. |
| Page lourde (> 1 500 000 octets de HTML) | Avertissement | Allégez le HTML (données en ligne, SVG, scripts intégrés). |
| HTML servi sans compression | Conseil | Activez gzip ou Brotli sur le serveur : 70 % d’octets en moins en général. |
Mobile
| Problème | Gravité | Comment corriger |
|---|---|---|
| Pas de meta viewport (mobile) | Avertissement | Ajoutez <meta name="viewport" content="width=device-width, initial-scale=1">. |
Sécurité (HTTPS)
| Problème | Gravité | Comment corriger |
|---|---|---|
| Contenu mixte (ressources http sur https) | Erreur | Chargez toutes les ressources en https. |
| Page servie sans HTTPS | Erreur | Servez le site en https et redirigez http vers https. |
International (hreflang)
| Problème | Gravité | Comment corriger |
|---|---|---|
| Attributs hreflang invalides | Avertissement | Code de langue ISO 639-1 (et pays ISO 3166-1), ou x-default, avec une URL absolue. |
| hreflang sans lien retour Calculé en fin d’exploration | Avertissement | La version citée ne renvoie pas vers cette page : les moteurs ignorent alors l’annotation. |
| Même langue hreflang pour plusieurs URL | Avertissement | Une même valeur hreflang désigne des URL différentes : les moteurs ne savent pas laquelle montrer. Gardez une seule URL par langue (et par région). |
| hreflang sans référence à la page elle-même | Conseil | Chaque version doit aussi se citer elle-même. |
Données structurées
| Problème | Gravité | Comment corriger |
|---|---|---|
| Données structurées JSON-LD illisibles | Avertissement | Un bloc application/ld+json n’est pas du JSON valide : il est ignoré. |
Inspection d’URL#
Inspection d’URL donne le verdict d’une adresse (indexée ou non, et pourquoi), puis tout ce que KreomnisBot a constaté :
- Accès : la règle de
robots.txtqui décide, avec son numéro de ligne ; l’en-têteX-Robots-Taget les balises robots. - Canonique : celle déclarée, celle retenue (et pourquoi une canonique est ignorée), et l’état de la page désignée.
- Réponse : redirection et cible, temps de premier octet et de réponse complète, compression, jeu de caractères,
ETagetLast-Modified. - Découverte : comment l’adresse a été trouvée (lien, sitemap,
llms.txt…), la page d’origine, le sitemap qui la liste et sonlastmod. - Liens : profondeur, liens entrants (nombre, et pages qui pointent vers elle), liens internes sortants et liens cassés.
- Contenu : doublon de quelle page,
hreflang(et retours manquants), données structurées. - Calendrier : prochaine visite et intervalle adaptatif, et l’historique des dernières requêtes vers cette adresse.
Tester en direct (administrateurs d’un site vérifié) : KreomnisBot explore l’adresse tout de suite, en respectant robots.txt, et met la page à jour.
Sitemaps#
Sitemaps montre l’arbre de vos sitemaps : les index et les sitemaps qu’ils citent, avec pour chacun le type (XML, index, RSS, Atom, texte), la compression gzip, le code HTTP, la taille, les avertissements de lecture et le lastmod le plus récent.
Pour chaque sitemap : adresses déclarées, connues, indexées, exclues et en erreur, avec un lien vers la Couverture filtrée sur ce sitemap. Relire relance sa lecture. Vous pouvez envoyer d’autres sitemaps, à condition qu’ils soient sur le domaine du site.
Une URL envoyée (listée dans un sitemap) qui redirige, qui est en erreur, bloquée par robots.txt, marquée noindex ou non canonique est signalée dans Améliorations (Indexabilité). Formats acceptés et exemples : KreomnisBot › Sitemaps.
Fichiers pour les IA (llms.txt)#
À chaque passage de découverte, KreomnisBot lit aussi /llms.txt (1 Mo au plus) et /llms-full.txt (2 Mo au plus), deux fichiers texte qui présentent votre site aux modèles de langage. Il respecte robots.txt pour ces fichiers, et les pages de votre site citées dans llms.txt rejoignent la file d’exploration.
Leur état s’affiche dans Sitemaps › Fichiers pour les IA : présent (avec titre, résumé, nombre de sections et de liens), absent, bloqué par robots.txt, trop volumineux, en erreur, ou « Page HTML au lieu du fichier » quand votre CMS renvoie une page HTML à cette adresse.
Format et exemples : voir la page publique KreomnisBot.
Performances de recherche#
La page Performances reprend les clics, impressions, taux de clic et position moyenne de votre site dans la recherche Kreomnis (portail, KreomnisNet et API), requête par requête.
Ces données concernent uniquement la recherche Kreomnis. Les visites venues de Google, Bing ou Qwant apparaissent dans les sources de vos statistiques.
Pour ne pas apparaître dans la recherche Kreomnis, décochez l’option correspondante dans Paramètres.
Une question sans réponse ici ? Consultez les questions fréquentes.