Tilføjet ekstra tilladelser til robots.txt