add robots.txt config info