web crawler fixes