Aide sur la conception de fichiers robots.txt.
Les moteurs de recherches indexent à priori et sans vous demander votre avis toutes les pages de votre site web, pour autant il se peut que vous ne désiriez pas que ces robots puissent indexer certaines parties de votre site (images, données personnelles contenues sur des pages d'un répertoire du site...).
Il est prévu pour les outils de recherche majeurs (Google, Yahoo, Altavista, Voila...) un standard d'exclusion que l'on nomme robots.txt, il s'agit d'un petit fichier texte qui placé à la racine de votre site web (au niveau de la page d'index) donnera pour instruction aux robots (web spider) d'interdire l'indexation d'un fichier (ou d'une page) ou d'un répertoire tout entier.
Utiliser l'outil de génération de fichiers robots.txt.
Indiquez ci-dessous le chemin du répertoire ou de la page à exclure sans mettre votre nom de domaine (comme sur cet exemple) puis lancer la génération du résultat.
Rappel
sur la méthodologie :
/ = interdiction de visiter et d'indexer tout
le site
/img/ = interdiction de visiter et d'indexer le répertoire "img"
/img = idem et interdiction de visiter et d'indexer
un éventuel fichier "img.jpg" ou "img.php"...
/img/index.html = interdiction de visiter ou d'indexer la page "index.html"
du répertoire "img".
/img/*.zip = interdiction de visiter ou d'indexer les fichiers
à extension ".zip"
du répertoire "img".
Copiez le résultat dans le Bloc Notes, enregistrez ce fichier texte sous le nom robots.txt (et uniquement sous ce nom) puis téléchargez le fichier à la racine de votre site.
Modifications possibles et extensions.
Il vous est possible d'interdire à un robot particulier de venir indexer tout ou partie de votre site web, s'il n'est pas dans notre outil générez un fichier générique (contenant *) puis remplacer (*) par le nom du robots à exclure.
Si cet outil vous a été utile, faites un lien vers lui (autres exemples).
<a href="http://outils.enaty.com/outils/generateur-robots.php" title="Outils gratuits pour webmaster" target="_blank"> Outils Enaty</a>
