Exemplo Open Source Web Crawler for Java
Para indexação de sites na web