Comprendre le fonctionnement du crawl et de l'indexation Google

Une page que vous venez de publier, introuvable dans Google trois jours plus tard. Vous la collez dans la barre d'adresse, elle s'affiche parfaitement. Vous demandez une indexation, Google répond « URL envoyée pour indexation ». Et rien. Une semaine plus tard, toujours rien.

Je vois cette scène se répéter chez presque tous les clients que j'accompagne. Et dans neuf cas sur dix, le problème n'est pas l'indexation. Il est en amont, dans le crawl. Comprendre le fonctionnement du crawl et de l'indexation Google, c'est d'abord accepter une chose désagréable : votre page existe pour vous, pas encore pour le moteur. Entre les deux, il y a un robot qui doit la trouver, la lire, la comprendre, puis décider qu'elle mérite une place dans sa base.

Crawl et indexation : deux étapes que l'on confond tout le temps

Sur un site de e-commerce que j'ai repris il y a deux ans, 41 000 URL étaient connues de Google. Seules 6 200 étaient réellement indexées. Le gérant était persuadé d'avoir un « problème d'indexation ». En réalité, Google explorait très bien son site. Il explorait même trop de choses inutiles.

Ce que fait vraiment Googlebot

Le robot de Google parcourt le web en suivant les liens qu'il rencontre. Il arrive sur une page, récupère le code HTML, en extrait les liens sortants, et recommence. C'est mécanique. Aucune magie là-dedans, et surtout aucune notion de « qualité » à ce stade : à l'exploration, Googlebot collecte. Il ne juge pas encore.

Trois choses conditionnent le passage du robot chez vous :

• Un lien entrant depuis une page déjà connue (le plus fiable)
• Une déclaration dans votre sitemap XML
• Une demande manuelle d'exploration

Ce que Googlebot ne fait pas : deviner qu'une page orpheline, sans aucun lien pointant vers elle, mérite d'être visitée. Si rien ne mène à votre page, elle n'existe pas pour lui.

Explorée, mais pas indexée : le cas le plus fréquent

Une fois la page explorée, Google décide ou non de l'ajouter à son index. Et c'est là que les choses se corsent, parce que la décision ne vous appartient pas. Une page peut être parfaitement accessible, rapide, bien codée, et rester dehors. Les raisons les plus courantes que je rencontre :

• Contenu trop proche d'une autre URL du site (doublon, facettes, paramètres)
• Page trop pauvre en texte utile pour justifier une place
• Valeur SEO globale du site trop faible aux yeux du moteur
• Balise noindex oubliée après une mise en production (classique, et toujours douloureux)

Le noindex oublié, j'en ai fait les frais moi-même. Une mise en préproduction poussée en prod avec le mauvais fichier de configuration : quatre jours de trafic perdus avant que je ne comprenne. Depuis, je vérifie systématiquement la balise sur trois URL types après chaque déploiement. Ça prend deux minutes.

Le budget de crawl : mythe ou réalité ?

Question qu'on me pose sans arrêt : « Est-ce que mon budget de crawl est épuisé ? » Dans 80 % des cas, la réponse est non. Mais dans les 20 % restants, c'est un vrai massacre.

Quand le budget devient un problème concret

Le budget de crawl désigne le nombre approximatif de requêtes que Google accepte d'envoyer à votre serveur sur une période donnée. Il dépend de la taille du site, de sa popularité, de la vitesse de réponse du serveur, et de la qualité perçue du contenu.

Sur un site de 800 pages, vous n'aurez jamais de problème. Sur un site de 200 000 URL dont 150 000 sont des pages de filtres générées automatiquement, Googlebot passe son temps à explorer des pages sans valeur et n'a plus de ressources pour les pages qui comptent. Résultat : vos vraies pages commerciales sont explorées une fois tous les deux mois, quand vos pages de filtres le sont trois fois par semaine.

Situation	Budget de crawl	Action prioritaire
Site vitrine < 500 pages	Non problématique	Sitemap propre, vérifier les noindex
Blog actif < 5 000 articles	Rarement problématique	Maillage interne, canonicalisation
E-commerce > 50 000 URL	Critique	Bloquer les filtres inutiles, consolider les doublons
Place de marché multi-vendeurs	Très critique	Audit complet + surveillance continue

Le levier le plus rentable, dans mon expérience, n'est pas de « demander plus de crawl ». C'est de réduire ce que Googlebot explore inutilement. Sur le site e-commerce cité plus haut, on a bloqué les combinaisons de filtres à faible trafic et consolidé les doublons par canonicalisation. En six semaines, les pages réellement indexées sont passées de 6 200 à 11 400. Sans publier un seul nouvel article.

Robots.txt et sitemap : l'ordre des priorités

Un réflexe fréquent : mettre tout ce qui ne plaît pas dans le robots.txt. Mauvaise idée si vous voulez que la page soit indexée un jour. Le robots.txt bloque l'exploration, mais n'empêche pas l'indexation si un lien externe pointe vers la page. Google peut alors indexer une URL dont il n'a jamais lu le contenu. Le résultat est laid.

Le sitemap, lui, sert à signaler vos pages importantes. Pas à forcer leur indexation. Un sitemap contenant 80 000 URL dont 60 000 redirections est un signal négatif. Mieux vaut un sitemap de 5 000 URL propres qu'un sitemap exhaustif et brouillon.

Lire les rapports de la Search Console sans se tromper

Les rapports d'indexation de la Search Console sont mal lus. Presque systématiquement. Et c'est compréhensible : les libellés se ressemblent tous.

« Explorée, actuellement non indexée » : ce que ça veut dire

Google a lu la page. Il a choisi de ne pas l'indexer. Ce n'est pas une erreur, c'est une décision. Les causes les plus fréquentes : page sans contenu suffisant, page quasi identique à une autre, ou page jugée peu utile.

Ce qu'il faut faire : ouvrir une dizaine d'URL dans ce rapport et les lire. Si ce sont des pages de catégories vides, des pages de tags sans contenu, ou des archives de dates, le diagnostic est clair. Il faut les supprimer ou les fusionner. Si ce sont vos vraies pages commerciales, il faut regarder du côté du contenu et du maillage interne.

« Détectée, actuellement non indexée »

Google connaît l'URL, mais ne l'a pas encore explorée. C'est une question de file d'attente. Rien à faire à part attendre, ou améliorer la découvrabilité de la page (liens internes, sitemap).

« Page en double sans URL canonique choisie par l'utilisateur »

Google a repéré deux URL avec un contenu proche et n'a pas trouvé de balise canonical pour trancher. Il en a choisi une de son côté. Vous avez perdu la main. La correction est simple dans le principe : identifiez la version que vous voulez voir indexée, ajoutez la balise canonical correspondante sur toutes les autres variantes. Dans les faits, sur un site ancien, c'est souvent plusieurs semaines de travail.

Le vérificateur d'URL Google : utile, mais limité

Le vérificateur d'URL de la Search Console permet de tester une URL précise et de demander son indexation. Je m'en sers à chaque mise en ligne de page importante. Mais attention à ce qu'il vous montre : il affiche le rendu tel que Googlebot l'a vu lors de sa dernière exploration. Si votre JavaScript met cinq secondes à charger le contenu, vous verrez peut-être une page vide dans cet outil. Et Google aussi.

Le rendu JavaScript reste la première cause de contenu invisible à l'indexation que je rencontre en audit. Un site React sans pré-rendu peut parfaitement s'afficher pour l'utilisateur et apparaître vide au robot. Le test est simple : désactivez JavaScript dans votre navigateur et rechargez la page. Ce que vous voyez, c'est approximativement ce que Googlebot voit.

Demander une indexation Google : ce que ça change vraiment

La demande d'indexation accélère le passage du robot. Elle ne modifie pas la décision d'indexer. Si votre page n'a pas sa place dans l'index, elle peut être explorée dix fois, elle restera dehors.

Ce que je recommande concrètement :

1. Vérifier que la page est accessible sans erreur (code 200)
2. Confirmer l'absence de noindex
3. Vérifier qu'au moins un lien interne pointe vers la page depuis une page déjà indexée
4. Demander l'indexation dans la Search Console
5. Recontrôler le statut sous 7 jours

Sur un site à faible autorité, comptez deux à six semaines entre la publication et l'indexation réelle. Sur un site de presse à forte fréquence de publication, quelques minutes. L'écart n'a rien à voir avec la demande d'indexation : il tient à l'autorité du domaine et à la fraîcheur attendue du contenu.

Ce qu'il faut retenir quand votre page n'apparaît pas

La prochaine fois qu'une page reste invisible, ne commencez pas par cliquer sur « Demander une indexation ». Posez-vous une seule question : est-ce que Googlebot peut atteindre cette page, et a-t-il une raison de garder son contenu ?

Les deux tiers des cas que j'ai traités se réglaient avec un lien interne ajouté et une balise noindex retirée. Le troisième tiers demandait un vrai travail de fond sur la structure du site. Et une fois, une seule, la réponse était : cette page n'a aucun intérêt pour l'internaute non plus. Elle est restée dehors. C'était la bonne décision, même si le client a mis trois semaines à l'accepter.