adicionada funcao robots que faz o tratamento do arquivo robots.txt, criacao da main(), troca de nome de algumas variaveis, adicionado tratamento de erro nas manipulacoes do socket. Adicionado tambem a leitura de parametros pelo terminal