[EDIT] Añadido mejoras de SEO

Editado el Robotos.txt añadiendo más disallow.