Adicionada funcao 'robots' que faz o tratamento do arquivo 'robots.txt'. Criacao de uma funcao main(). Mudanca de nome de algumas variaveis. Modificacao no tratamento do 'path' ao realizar uma consulta HTTP. Adicionado tratamento de erro em todas as manipulacoes do socket. Mudanca de nome do arquivo a ser criado, quando o nome nao eh especificado.