Ce type de fichier est un fichier qui servira surtout à indiquer à l’ensemble des moteurs de recherche les pages que vous souhaitez qu’ils voient. Et il s’agit d’un fichier texte que vous allez pouvoir ouvrir avec bloc-notes ou encore Notepad. En gros, vous y indiquez les pages à explorer et ceux à éviter. Explications.
C’est quoi le fichier robots.txt ?
Robots.txt est un fichier texte qui contient des instructions pour les bots des moteurs de recherche. Dans ce fichier, les robots y trouvent toutes les informations nécessaires sur un site web précis. Et généralement, ce fichier est inclus dans les racines et les fichiers sources de tous les sites web.
Un fichier robots.txt c’est à peu près le code de la route à destination des bots qui vont venir crawler votre site internet. Dans ce cas précis, on parlera alors de « code de conduite ». Les bots ne suivent pas tous les instructions contenant dans ce fichier mais les « bons » bots vont adopter les bonnes pratiques que vous allez y lister.
Elle se présente sous la forme : « www.votresite.com/robots.txt ».
Si vous ne là trouver pas avec cette méthode, vous pouvez utiliser un outil en ligne comme le vérificateur de robots.txt de Seoptimer.
Comment fonctionne ce fichier « robots.txt » ?
De base, vous êtes en face d’un fichier texte qui ne comprend aucun code de balisage HTML. Les fichiers robots.txt prennent place sur votre serveur, tout comme l’ensemble des fichiers de votre site web. D’ailleurs pour consulter le fichier robots.txt d’un site donné, vous pouvez taper l’URL complet de la page d’accueil d’un site et ajoutez « /robots.txt » à la fin. Ce fichier n’est rattaché à aucun point précis du site.
Ce fichier comme dit précédemment contient des instructions pour les bots MAIS ne peut en aucun cas en imposer la conduite. Les bots de flux d’actualités par exemple, peuvent très bien consulter le fichier avant d’aller « checker » ceux des autres pages d’un domaine précis. D’autres bots sont plutôt programmés pour dénicher justement, les pages qui ne sont pas dans ce fichier.
Quels sont les protocoles que l’on peut trouver dans un fichier robots.txt ?
C’est quoi un protocole ? dans le monde de l’informatique, un protocole est un format qui permet d’instaurer des ordres et des instructions. Aussi, les fichiers robots.txt utilisent un ensemble de protocole ! le protocole de base (principal) est ce qu’on appelle le protocole d’exclusion des robots. Ce sont les fameuses instructions qui disent aux bots quelles ressources et quelles pages web éviter.
Un autre protocole utilisé par les fichiers robots.txt est ce qu’on appelle le sitemap. Le sitemap est également un fichier à part dans un site web, mais il peut être considéré comme un protocole d’inclusion de robots. Ce fichier sert surtout aux robots d’indexation et indique les pages qu’ils peuvent et doivent explorer. Ainsi, le robot d’indexation ne ratera aucune page importante de votre site.
Pourquoi ce fichier est important ?
Eh bien pour de nombreuses raisons. Pour votre stratégie de référencement SEO, il en demeure un atout non négligeable.
Evite une surcharge de votre site web
Un fichier robots.txt évite à votre site d’être surchargé par de nombreux requêtes d’exploration. Effectivement, Google envoie des dizaines de requêtes à la fois ce qui peut à long terme surcharger le site.
Optimise le budget d’exploration
En effet, tout les sites web dispose de ce qu’on appelle un budget d’exploration. C’est-à-dire le nombre de pages que Google explore dans un temps donné.
Aujourd’hui, il existe une version dédié aux IA génératives. Son nom : llms.txt
Votre fichier robots.txt freine-t-il votre visibilité ?
Une simple erreur de syntaxe dans ce fichier peut rendre vos pages invisibles pour Google. Ne laissez pas un détail technique gâcher vos efforts : les experts de Yourtarget Agency analysent votre configuration pour booster votre référencement.
Découvrez comment nous optimisons votre structure technique avec notre service SEO sur mesure.