PrestaConcept
Nos réalisations
Nos métiers
  • Découvrez nos métiers
  • Développement web sur mesure

    Nous développons en méthode agile des back sous le framework PHP Symfony, des front en Angular.

  • Maintenance d'applications

    Maintien en condition opérationnelle de votre plateforme Symfony.

  • Expertise Symfony

    Coaching, formation, audit et conseil.

  • Hébergement et Infogérance

    Une expertise de l'hébergement depuis plus de 15 ans et l’infogérance de centaines de machines en production actuellement.

  • Qui sommes nous
  • Découvrez Prestaconcept
  • PrestaConcept

    Notre histoire, nos convictions, notre vision... Découvrez ce qui nous anime !

  • L'équipe

    Plus de 15 ans minimum d'expérience sur Symfony.

  • Nos engagements RSE

    Une société engagée pour un numérique responsable.

  • Nos convictions

    Co-construction, transparence.. Les principes qui guident nos collaborations !

  • Nous rejoindre

    Envie de nous rejoindre ? Consultez nos offres !

  • Blog
    J'ai un projet Nous contacter
    J'ai un projet Nous contacter Menu
    • Accueil
    • Blog
    • Tech
    • Optimiser l’indexation de son site

    Blog

    Optimiser l’indexation de son site

    SEO crawl budget optimiz.me
    Jean Christophe Bousignac
    Publié le lundi 23 octobre 2017

    Bonnes pratiques et concept à connaître pour améliorer son SEO

    Logo Optimize.me
    Cet article est proposé par notre partenaire SEO Optimiz.me, centre de formation au webmarketing.

    Le référencement naturel repose avant tout sur l’activité de spiders ou bots, qui parcourent le web en suivant des liens. Pour simplifier, un spider va visiter une page, copier son contenu dans un cache qui sera traité ensuite par les différents algorithmes des différents moteurs de recherche. L’indexation d’une page web est donc l’acte fondateur du référencement de cette dernière. Sans indexation, il ne peut y avoir de positionnement et donc de trafic SEO…
    Je vais vous présenter dans cet article, les différents concepts et bonnes pratiques à maitriser afin d’optimiser au mieux ce premier contact indispensable avec Google, Bing, Yahoo ou Qwant…

    Indexation et positionnement

    Dans un premier temps donc, vous l’aurez compris, les différents moteurs de recherche utilisent des robots, appelés aussi spiders ou crawlers, leur vocation est de parcourir et de collecter des données. Ils n’ont pas une vocation d’analyse des contenus et des liens. Ils parcourent le web depuis des pages déjà existantes et vont découvrir de nouveaux contenus, de nouveaux sites, promus par des liens internes ou externes. C’est le cas notamment pour Googlebot et ses différentes formes (il existe Google Bot Regular, un google bot pour smartphone, un google bot pour téléphones à clapet…).
    Chaque contenu récupéré par un bot, est placé dans un index sur des serveurs hébergés dans différents data center.
    Une fois qu’un contenu est placé dans cet index, il va être traité par différents logiciels complexes qui appliqueront des algorithmes. L’objectif pour un moteur de Google est de savoir si ce contenu est intéressant. C’est là qu’arrivent deux nouvelles notions :

    L’index secondaire de Google : c’est là où est stocké le contenu de toute nouvelle page. A noter que depuis la sortie de Google Caffeine en 2010, l’indexation d’une page permet de la mettre instantanément à disposition dans Google. Attention je ne dis pas que vous la trouverez avec un mot clé, mais si vous rechercher l’url de la page que vous venez de faire indexer, vous la retrouverez dans la SERP de Google… Cet index secondaire et en quelque sorte une salle d’attente, les contenus patientent ici avant d’être ou ne pas être positionnés sur des expressions… Il faut retenir cela : indexation n’est pas positionnement.

    Après quelques minutes à plusieurs semaines (un site à très forte autorité verra le travail de positionnement s’accélérer) les algorithmes commenceront à positionner ce contenu sur différentes expressions, ce positionnement variera dans le temps bien évidemment mais là je suis trop bavard…

    Vous imaginez qu’à l’échelle mondiale, les index pèsent très lourd, et cela a donc un coût énorme en termes d’infrastructure pour une marque comme Google… L’algorithmie de Google vise à donc à enlever de son index principal, toutes les pages inutiles, dupliquées notamment sont enlevées pour faire un grand ménage et gagner de la place pour les vraies nouvelles url vecteur d’un contenu pertinent et unique…

    Connaissez-vous le « Crawl Budget » ?
    Il s’agit d’un terme à la mode, mais qu’en est-il exactement ?

    Le crawl budget est un principe simple. Google attribuerait, en fonction de l’intérêt trouvé pour vos contenus, plus ou moins de ressources de crawl tous les jours pour votre site Internet. Comme vu précédemment, le coût d’infrastructure est très élevé, Google préfère donc réserver un maximum de ressources pour les meilleurs contenus. Donc plus votre site a un Crawl budget élevé plus cela révèle que Google a confiance en vous et vous considère comme étant très pertinent.

    Comme nous l’avons vu précédemment indexation n’est pas positionnement, donc au final, si vous augmentez votre budget de fonctionnement de plusieurs milliers de dollars juste pour doubler votre crawl budget, sachez que cela n’aura aucun impact sur votre ranking, mais uniquement un impact sur votre vitesse d’indexation et l’arrivée plus rapide de mots clés source de trafic SEO pour un nouveau contenu…

    Mais alors dans quel cas dois-je surveiller ce Crawl budget ?

    Il vous faut vous poser les questions suivantes :

    • Est-ce que mon site compte une grosse volumétrie de pages (plusieurs centaines) ?
    • Est-ce que j’ajoute tous les jours de nouveaux contenus ?
    • Est-ce que dans mon business model, j’ai besoin que mes pages soient crawlées en moins de 48 heures ?

    Si vous ne répondez pas positivement à deux de ces questions, l’optimisation du crawl budget sera une perte de temps totale pour vous !

    Comment connaître mon crawl budget ?

    Avant de prendre donc la décision de m’occuper ou non du crawl budget, il me faut donc mesurer l’état de santé de mon site à ce niveau, pour cela il vous faudra donc vous
    connecter à la search console de Google pour y arriver, aller ensuite dans Crawl, puis Crawl Stats :

    illustration optmizeme

    On voit ici qu’en moyenne dans cet exemple 94 pages sont indexées pour ce site, OK c’est noté, mais est-ce beaucoup ?
    Il vous faut donc voir quelle est d’une part la quantité de pages indexées dans Index Google > Etat de l’indexation

    illustration optimizme 2

    Et savoir combien de page je propose réellement, ici pour ce site exemple il y en a réellement 29...

    Qu’est-ce que cela veut donc dire ? Que pour cet exemple que ce site est indexé 3 fois par jour ! C’est plutôt excellent, c’est qui me diriez vous ? C’est le site Mazen-app.com tout simplement dans sa version de juin 2017...

    Ici vous comprendrez qu’être indexé plus souvent n’apportera rien. Vous avez un excellent résultat c’est à dire au moins 50% à 30% de votre site indexé par jour, ne cherchez pas dans ce levier pour améliorer quoique ce soit...

    Mon conseil donc : voyez plus le Crawl Budget comme un gros thermomètre...

    Comment améliorer mon crawl budget ?

    Avant de parler technique, redisons les choses simplement : « Content is king » si vous avez de bons contenus, avec un champ lexical adapté, construits en langage naturel, et surtout des contenus qui ne sont pas dupliqués, vous n’aurez pas trop de soucis à vous en sortir...
    N’oubliez pas que le SEO n’est pas affaire que de technique pure.


    Les actions pour booster votre crawl budget sont simples à réaliser, mais potentiellement fastidieuses :

    1. Supprimer les Erreur 404 : privilégiez la correction avec l’url canonique des pages comme destination, si vous désirez faire une redirection 301, faite là bien en direction du contenu se rapprochant le plus de cette page disparue. Si ce contenu et sa thématique ont disparu du scope de votre site, provoquez une erreur 410 qui va indiquer à Google que vous avez supprimé volontairement cette page, il la supprimera automatiquement de son index à sa prochaine visite.
       
    2. Repérer les pages vides (soft 404) : pages de remerciement de formulaires accessibles, pages en construction, pages avec une phrase de texte, tout ceci ne doit pas être desservi à Google, donc utiliser la méta no-index, ou alors faites enfin quelque chose avec ces url en optimisant éditorialement ces pages...
       
    3. Supprimer les boucles de Redirections 301 : c’est la plaie, cela use les spiders si je puis dire, vous les faites tourner en rond et ils n’aiment pas...
       
    4. Utiliser le robots.txt de manière efficace : vous avez repéré un type de page contenu dans un folder spécifique ou possédant un paramètre d’url commun, c’est le moment de le mettre en disallow dans votre robots.txt
       
    5. Optimiser ses sitemap XML : il faut délivrer dans votre sitemap que les url intéressantes, donc surveillez son contenu, pour éviter de proposer à l’indexation des url inutiles qui pourraient être considérées comme de la duplication ou du soft404
       
    6. Gérer les url dynamiques : avec la search console et le robots.txt, signalez à Google les paramètres d’url qui sont inutiles, donc à ne pas indexer, et à l’inverse dans la search console, si un contenu pertinent est associé à un paramètre, lui faire comprendre que les url avec ce paramètre sont à indexer (voir notre prochain article sur la gestion des url dynamiques)
       
    7. Exploiter les pages les plus visitées : vous avez de nouveaux contenus à faire indexer rapidement, ou tout un pan d’un nouveau cocon sémantique, n’oubliez pas de faire ici des liens internes, cela fera gagner du temps dans le processus d’indexation.
       
    8. Augmenter la vitesse de votre site : Time is money, de toute façon pas la peine de trouver des prétextes, plus votre site sera rapide, mieux ce sera, donc au boulot ! Vous savez pas comment, utiliser l’excellent outil GTMetrix pour analyser chaque template de votre site, vous trouverez tous les conseils imaginables pour gagner du temps et donc de l’argent ;-)

    Spider man c’est vous !
    Voilà c’est fait vous êtes prêts pour vous transformer en spider man, mettez votre tenue et sautez sur votre Search Console.

    Blog

    Pour continuer votre lecture ...

    Tech

    Il était une fois l'API

    Par Alain Flaus 13/03/2025

    Petite histoire de l'évolution, du POC jusqu'à la V1.

    Lire la suite
    Tech

    Une crontab sous stéroïdes

    Par Yann Eugoné 03/10/2024

    Proposition d'une alternative aux traditionnelles crontabs, dans un projet Symfony

    Lire la suite
    Tech

    5 Design Patterns que vous avez utilisé au quotidien avec Symfony

    Par Maximilien Delangle 05/07/2024

    Lorsque nous développons avec Symfony, nous utilisons souvent des design patterns sans même nous en rendre compte.
    Dans cet article, nous présenterons cinq design patterns issus de Symfony, et illustrés de leur code source.

    Lire la suite

    Vous avez un projet Laravel ?

    Nous sommes spécialisés en Symfony, et grâce à Web^ID, l’agence sœur du groupe Agile Invest, nous couvrons aussi toute l’expertise Laravel.

    Découvrir Web^ID

    Une question, un projet ?
    Planifiez un échange avec nous !

    Choisissez votre date
    PrestaConcept - Groupe Agile Invest
    5, imp. Morel, 69003 Lyon +33 (0)4 78 54 45 45
    Suivez-nous
    Ecoindex B

    Ce site internet est un site basse consommation. En savoir plus sur l'Ecoindex

    Nos réalisations

  • Logiciel de mise en conformité réglementaire
  • Application de suivi de production des centrales éoliennes
  • Outil d'aide à la décision
  • Portail client
  • Nos métiers

  • Développement sur-mesure
  • Reprise d'application Symfony
  • Expertise Symfony
  • Hébergement & Infogérance
  • Qui sommes-nous

  • PrestaConcept
  • Groupe Agile Invest
  • L'équipe
  • Engagement RSE
  • Blog

  • Tech
  • Méthodologie
  • PrestaConcept
  • RSE
  • © 2025 PrestaConcept
    Mentions légales Politique de confidentialité 🍪
    Retour en haut de page