update robots.txt and gitignore