Nous avons vu dernièrement l’utilisation des fichiers sitemap et robots.txt. Le premier permet aux robots moteur de recherche de repérer votre blog et d’indexer toutes les pages. Le deuxième permet de bloquer certains accès (fichiers ‘délicats’ et contenu dupliqué) aux robots. Pour bloquer certains accès, nous allons utiliser un autre outil en complément, le plugin All in One SEO Pack.
J’avais déjà présenté ce plugin WordPress dans un article pour optimiser les URL de vos articles ainsi que leurs decriptions. Nous allons voir qu’avec ce plugin, nous pouvons bloquer certains fichiers grâce aux balises ‘noindex’. Voici certaines lignes de mon fichier robots.txt :
User-agent: * (-> tous les robots peuvent se ballader sur mon blog)
Disallow: /cgi-bin/ (-> j’interdis l’accès à ces fichiers)
Disallow: /wp- (-> j’interdis l’accès à ces fichiers)
Disallow: /trackback/ (-> j’interdis l’accès à ces fichiers)
Disallow: /feed/ (-> j’interdis l’accès à ces fichiers)
Disallow: /comments/feed/ (-> j’interdis l’accès à ces fichiers)
Par contre, je vais indiquer aux robots qu’ils peuvent se ballader sur les fichiers suivant :
Allow: /category/
Allow: /page/
Allow: /tag/
Disallow: /search/
Vous devez donc être surpris ? Parceque ces fichiers reprenent du contenu dupliqué que l’on retrouve à l’origine dans les fichiers ‘single.php’. On va quand même interdire ces accès mais avec l’outil plugin All in One SEO Pack. Installons le plugin, et allons sur l’admin du plugin :
En cochant les cases, je n’empêche pas l’accès aux pages ‘category, archives et tag’ mais je leurs dis de ne pas les référencer. Ceci se traduit par les attributs ‘follow’ et ‘noindex’. Pour vous montrer un exemple, voici le code source html de la page catégorie ‘musique’ :
Noindex demande aux robots de ne pas référencer cette page mais les autorise à consulter les liens figurant sur cette page. Une fois de plus, le but étant d’éviter le duplicate content.
Voilà, c’est tout pour aujourdhui. Et vous, utilisez-vous ce plugin wordpress ?