Robots.txt en blogger No controlado!

Robots.txtHablemos de la prioridad que Google le da a los sitios que tienen un robots.txt bien formado, cuando tu puedes modificar el acceso para que indexen tus paginas o no la indexen, hagamos una comparación con el robots.txt de blogger.

Bien, este robots.txt esta estructurado de la siguiente manera:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Sitemap: http://mi-blog.blogspot.com/feeds/posts/default?orderby=updated
User-agent: Mediapartners-Google es el robot perteneciente a Google que encuentra páginas con AdSense. Su objetivo básico es mejorar los anuncios contextuales ofreciéndote la herramienta de Google AdWords.
Disallow: Tiene acceso a todo nuestro dominio.
Despues podemos ver que tenemos otro user-agent, este da acceso a todos los robots, Google, Yahoo, Bin, Msn, etc...
Y también tenemos Disallow: /search blogger configura tu robots.txt por default y el /search es para que no se indexe contenido duplicado a la red.
Ahora la pregunta es: ¿Como configurar mi robots.txt de blogger? Como respuesta es que no podemos cambiar nada del robots.txt de blogger creo q esta es una desventaja para nosotros por que podríamos tener un directorio que no queremos que se indexe a los buscadores entonces tendremos que configurar nuestro robots.txt de esta forma:
User-agent: *
Disallow: /prohibido/
Esto hara que todos los robots rastreen nuestro sitio, pero no sera indexada el directorio prohibido. Puede que ahi guardemos cosas que no nos interesa publicar o que no aparezcan en los buscadores, esta seria la forma de que no entren a esa carpeta.
Compartir es Gratis:


5 Comentarios:

  1. Pero vamos, si no queremos que se publique entonces no lo escribimos. Lo importante está en que dé acceso a todos los robots! Bonito diseño del blog! Felicitaciones ;)

    ResponderEliminar
  2. @Javier Gracias javier, pero hablemos no tanto de blogger, cuando te enfocas a blogs que estan hecho en php, html, javascript, colgados en un host, todo se configura manualmente y todo se hace como uno quiere, gracias por el comentario, saludos!

    ResponderEliminar
  3. Tu blog está excelente, me encantaría enlazarte en mis sitios webs. Por mi parte te pediría un enlace hacia mis web y asi beneficiar ambos con mas visitas.

    me respondes a munekitacat@gmail.com

    besos

    Catherine

    ResponderEliminar
  4. Hola, me gustó el artículo, pero no entiendo ¿Donde voy a encontrar el robot en blogger?
    Saludos

    ResponderEliminar
  5. Este comentario ha sido eliminado por el autor.

    ResponderEliminar

Back to Top