Web crawler using resque