remove spider.rb and add robots parser