en robots.txt

Uso de “noindex” en robots.txt [Experimiento]

Tweet about this on TwitterShare on LinkedInShare on FacebookShare on Google+

Gracias a Felipe Garcia que compartio este post de deepcrawl he visto que se puede añadir la etiqueta noindex al archivo robots.txt al igual que lo haríamos con la etiqueta disallow.

Así que voy a crear 2 URLs, las voy a indexar y luego a bloquear las dos URLs con la etiqueta “disallow” y con la etiqueta “nondex” en el robots.txt para ver si existen diferencias entre una y otra.

Cuando haya terminado el experimento veremos si podemos ver alguna diferencia entre como gestiona google una de la etiqueta “Noindex” y “Disallow” o si hay que hacer más pruebas.

Actualización:

He visto que la URL bloqueada con disallow ha desaparecido del índice mientras que la URL no noindex continua estando indexada. Voy a realizar una prueba adicional con una URL que estando bloqueada con el robots con la etiqueta disallow aparece en los resultados de búsqueda con el texto “no existe una descripción ya que esta bloqueada por el archivo robots.txt”.

 

(Autor de la imagen del post: https://www.flickr.com/photos/wurz/)
Tweet about this on TwitterShare on LinkedInShare on FacebookShare on Google+

Comentarios

Comentario