Google changement algorithme robot txt pour mieux indexer sur le web


Google changement algorithme

Début juillet 2019, Google a annoncé son nouveau cheval de bataille. L’objectif à atteindre : améliorer et standardiser l’indexation du web grâce à une règle établie. Pour cela, le géant d’internet est prêt à laisser entrevoir une toute petite partie de l’un de ses secrets les mieux gardés, afin qu’elle puisse devenir la norme utilisée par tous les développeurs, lors de l’indexation de leurs sites. Cette démarche n’est bien sûr pas anodine, puisqu’elle permettrait que le protocole d’exclusion des robots de Google devienne la norme mondiale pour tous les utilisateurs du web. Voici un sujet complexe mais intéressant, qui mérite quelques explications supplémentaires…

L’INDEXATION AUJOURD’HUI

Vous vous en doutez, l’indexation sur le web ne se fait pas manuellement, mais par le biais de robots d’indexation qui référencent les contenus en consultant toutes les pages, puis prennent en compte les mises à jour et les nouveautés. Mais ces robots peuvent également recevoir des informations de modification de la part des développeurs, qui font intervenir des fichiers d’exclusion « robots.txt » (afin, par exemple, d’interdire l’accès à certains contenus), lors des manœuvres d’indexation de leurs sites. Ces fichiers ont été largement utilisés depuis qu’ils ont été mis en place en 1994, sans aucune mise à jour, ni modification ou prise en compte des évolutions d’internet. Il en résulte un certain fouillis dans l’indexation des résultats et un poids impressionnant pour certains fichiers « robots.txt » qui ont été interprétés au gré des webmasters qui les ont utilisés. Aujourd’hui, les exclusions vont dans tous les sens et il est grand temps d’améliorer tout cela.

LA SOLUTION PROPOSÉE PAR GOOGLE

Ce que propose Google, en résumé, c’est la standardisation de l’utilisation des fichiers « robots.txt » utilisés par les créateurs de sites internet pour établir les règles d’indexation de leurs sites. Ceci afin, dans un premier temps, de remettre de l’ordre dans les résultats de recherche, puis de répondre à certaines situations particulières qui ne sont aujourd’hui pas prises en compte par le moteur de recherche, sans parler des changements intervenus sur la toile ces dernières années, qui sont totalement ignorés.
Pour cela, Google ouvre le code source de l’outil qui lui sert à la lecture des fichiers « robots.txt », mettant en avant son expérience en la matière, qui permet d’établir des règles basées sur un nombre inestimable de cas réels (aux dires du géant du web, il aurait la pratique de l’indexation de plus de 500 millions de sites en vingt ans). Sa réputation ajoutée à ce critère, appuient la crédibilité de sa requête. Aussi, sans dévoiler totalement les mystères de son algorithme, il en découvre cependant une petite partie, qui suffira à faire homogénéiser les pratiques, en termes d’indexation de sites web.

CE QUI A ÉTÉ FAIT DANS CE SENS

Mais avant d’officialiser sa demande, Google s’est attaché les services d’autres moteurs de recherche et de nombreux développeurs, notamment du précurseur qui a rédigé les premiers fichiers « robots.txt ». Tous ces acteurs ont collaboré ensemble à l’écriture d’une liste de règles basée sur les fichiers « robots.txt », qui devrait satisfaire aussi bien les créateurs des moteurs de recherches que les développeurs, puisque tous leurs desiderata ont été pris en compte lors de l’étude préalable.
Après ce travail de concertation et de recensement, une demande formelle a été remise par Google à l’Internet Engeneering Task Force, ou IETF, organisation officielle qui a la charge de la gestion des protocoles du web, argumentée par le savoir-faire, l’expérience et le nombre de cas réels que Google est en mesure de présenter. Un pas supplémentaire qui assoit encore plus la suprématie du géant du web.

Crédit photo : licence acquise + logo propriété de Google

0/5  (0 avis)     Déposer un avis Google changement algorithme robot txt pour mieux indexer sur le web


Dans la même catégorie A lire

15/06/2021 : L’expérience utilisateur plus que jamais au cœur du référencement de Google
09/03/2021 : Index Mobile First, le projet de Google sera terminé début avril 2021
23/10/2020 : Google rencontre de nouveau, des anomalies d’indexation
22/05/2018 : kelfox le pari fou du référencement en 1ère page
08/03/2018 : Algorithme de Google, ce qu’en pensent les professionnels du SEO
14/12/2017 : Mise à jour Google appareils mobiles

Aucun avis.