ele e capaz de oferecer, nos tornamos refens dos chamados motores de busca (search engines); mais precisamente, do mais famoso deles, o Google.Porem, ao contrario do que muitos pensam e por razoes que fogem ao conhecimento da maior parte dos internautas, o Google, e outros mecanismos de busca populares, nao sao capazes de lhe mostrar exatamente tudo o que existe na rede mundial de computadores.Na verdade, mecanismos como o Google, o Bing e o Yahoo sao capazes de lhe mostrar apenas o que ha na superficie deste oceano, ou seja, uma parte muito pequena do que realmente e a Internet.Exagero? Nem um pouco...Para se ter uma ideia melhor do quao superficial e sua experiencia na Web ao utilizar um desses mecanismos de busca, vamos apresentar um dado realmente impressionante: um estudo feito pela Universidade da California no ano de 2001, estimou que toda a Internet apresentada pelos mecanismos de busca corresponde a bem menos de 1% do tamanho real. A conclusao e que a "internet invisivel" e entre 400 e 550 vezes maior do que estes mecanismos nos fazem crer.A falta de indexacao de todo este conteudo nos motores de busca populares ocorre por inumeras razoes: * Determinacao do dono do conteudo: existem algumas 'metatags' (tipo de instrucao HTML) que podem ser usadas no cabecalho de um site para instruir os mecanismos de busca a nao indexar seu conteudo, tornando-os, desta forma, inacessiveis ao grande publico. * Violacao de algum termo de indexacao: os mecanismos de busca podem deixar de indexar um site se o mesmo infringir algumas de suas regras. Por exemplo, um sitemap1 mal feito. * Dificuldade de acesso ao conteudo dinamico: A maior parte das informacoes da Web estao enterradas muito abaixo das paginas geradas de maneira dinamica. Motores de busca tradicionais criam seus indices rastreando paginas de "superficie". Para serem descobertas, as paginas devem ser estaticas e ligadas a outras paginas. Motores de busca tradicionais nao conseguem "ver" ou recuperar este conteudo ja que, tecnicamente, nao existem ate que sejam criados dinamicamente conforme o resultado de uma pesquisa especifica. Ou seja, indexadores de mecanismo tradicionais nao podem sondar abaixo da superficie. * Efeito "publicidade": Com o intuito de "melhorar" a exibicao de publicidade, os desenvolvedores dos motores de busca mais populares tem investido pesadamente na personalizacao dos resultados. Para tanto, sao usados diversos artificios: desde simples cookies de sessao ate associacao com servicos de e-mail e redes sociais que, literalmente, leem suas mensagens em busca de palavras que possam ser relacionadas a propaganda personalizada. A ideia e tentar, a todo custo, identificar seus habitos de uso para poder exibir a publicidade que melhor se encaixa em seu perfil pessoal. Para se ter uma ideia de como estao as coisas hoje em dia, duas pessoas distintas que fazem uso assiduo de redes sociais, costumam fazer determinados tipos de pesquisa com frequencia, nunca apagam cookies do navegador e, principalmente, permanecem logadas com nome de usuario e senha a estes mecanismos e seus respectivos servidores de e-mail, certamente nao receberao o mesmo resultado de pesquisa para um termo qualquer que for