1. Excluído links repetidos
1. URL invalida removida
1. removendo do set de links urls que já estao no banco