Si vous vous souvenez bien, il y a quelques mois j'avais un grand nombre de pages qui n'étaient pas indexées, près de 40% de mon site. J'avais diagnostiqué cela par un contenu faible et de mauvaise qualité (voir mon article comment corriger ses problèmes d'indexation). Ce qui m'ennuyait, c'était d'envoyer un signal négatif à Google sur la qualité globale de mon site.
Je m'étais donc lancé dans un grand correctif pour faire baisser ce taux de 40%. Très rapidement, je suis revenu à un taux plus faible de pages ignorées : 23%. La progression est plutôt bonne. J'ai ensuite un peu laissé tombé pour partir sur d'autres sujets. Et début 2022 il s'est passé quelque chose : je suis passé à 3% de pages ignorées.
Que s'est-il passé ? Suis-je devenu un héros du SEO ? Là où de nombreux SEO sont obligés de passer par des services payants pour forcer l'indexation, j'aurai trouvé LA solution ? Et si je n'y étais pour rien ? Et si Google était... réparé ?
Google est cassé
Ca fait des mois qu'on en parle : Google a de plus en plus de mal à indexer le web. J'aime bien la vidéo de Laurent Bourrelly à ce sujet qui explique comment Google en est arrivé là et comment la firme travaille pour améliorer tout ça.
En tout cas, on s'est tous retrouvés face à ces problèmes d'indexation. La faute à nous. La faute à Google.
Une mise à jour en fin d'année 2021 ?
J'ai constaté quelque chose en cette fin d'année 2021 sur plusieurs de mes sites : de nombreuses pages exclues ou invisibles jusqu'ici aux yeux de Google se sont retrouvées indexées. Elles étaient parfois exclues à cause du bug d'indexation, parfois à cause de problèmes techniques. Le problème, c'est qu'on travaille tous constamment sur nos sites.
Sur le 1er site, j'ai fait plusieurs mises à jour pour améliorer la technique et la vitesse sur ce 1er site. C'est toutefois un premier signal. Sur d'autres sites internet, j'ai la même sensation : des pages se débloquent alors qu'elles étaient exclues ou ignorées depuis des mois. Certains de ces sites étaient à l'arrêt en termes de mises à jour et de création de contenu.
Est-ce que Google a amélioré sa façon de crawler le web fin 2021 ? C'est difficile à dire mais il y a tellement de changements complexes dans ces algos que je pars sur l'hypothèse qu'ils ont amélioré quelque chose.
Google lâche les chevaux début 2022
Ce qui s'est passé fin 2021 n'est qu'une hypothèse, ce que j'ai constaté en début d'année est tout aussi étrange. Sur quelque-uns de mes sites, Google a littéralement pulvérisé le budget crawl en janvier et février.
Si on regarde dans le détail l'un des sites grâce à l'analyse de log : durant ces deux mois, Google a continué à ignorer un certain nombre de pages, mais c'est passé de 30% de pages ignorées à 19%, puis 14%. Le mois de mars revient à un mois classique avec 35% de pages ignorées. Fait intéressant : c'est Googlebot mobile qui est présent aux 2 tiers.
Puis, en avril et mai : 0% et 3% de pages ignorées. Le trafic augmente considérablement à ce moment-là, passant de 3k à 12k, puis 13k. Le crawl augmente aussi, mais ça paraît logique : de nombreuses pages sont désormais très bien positionnées, et Google les crawle régulièrement.
Sur GSC, J'affiche un taux d'indexation du site à 99%. Il ne reste qu'une page qui n'est pas indexée. (les 27 autres sont des fichiers gpx ignorés volontairement)
Hero Seo
Est-ce que j'ai mérité d'obtenir un taux d'indexation à 99% ? Franchement non. Je n'ai pas fait les correctifs jusqu'au bout, étant un peu fainéant et occupé sur d'autres sujets. Je pars dans l'idée que Google a fait une mise à jour et a décidé de recrawler en force certains sites, il a amélioré sa façon de crawler pour aller chercher des pages qu'il ne voyait pas jusqu'ici. C'est d'ailleurs à double tranchant, parfois il arrive à découvrir des pages qui ne devraient pas se retrouver dans l'index.
Le taux d'indexation et l'amélioration du ranking en avril / mai n'est que la conséquence de ce crawl hivernal. Google a littéralement avalé mon site.
Le cas de la refonte
Il y a 20 jours, j'ai lancé une refonte d'un site wordpress pour le basculer sur le CMS MyStranding. On a un peu amélioré le contenu, supprimé des pages inutiles, mais grâce au CMS on a soigneusement travaillé le PageRank sculpting.
Le site fait 200 pages. Ces 200 pages ont été crawlé près de 5500 fois en 20 jours. C'est énorme. On voit bien ce pic sur la Search Console. Ce qui est étonnant, c'est que 100% des urls ont été découvertes et crawlées par Google.
La façon dont je travaille aide clairement Googlebot à découvrir l'ensemble des pages d'un site. La refonte en est pour l'instant le parfait exemple. Je suis plutôt optimiste sur le futur positionnement du site, mais après 15 jours il est un peu tôt pour le dire. Ça va justement être intéressant à suivre.
Conclusion : Google est-il réparé ?
J'ai le sentiment que Google parvient à crawler beaucoup plus facilement les sites internet sur lesquels je travaille. En tout cas Il est capable d'accélérer la cadence et de prendre en compte l'intégralité d'un site plus facilement qu'en 2020 et 2021 qui étaient des années laborieuses.
Et peu importe la techno derrière, tout ne tourne pas avec MyStranding. Voilà tout ce qui me fait penser que Google va beaucoup mieux : l'indexation naturelle des nouvelles pages le montre aussi : je n'ai plus de soucis d'indexation depuis début 2022, que ce soit des nouvelles pages mais aussi des anciennes qui étaient exclues ou ignorées.
Si vous avez des retours d'expérience, n'hésitez pas à m'en faire part en commentaire :)