# Deep web e surface web

Deep web e surface web conformam uma divisão do conteúdo da rede mundial de computadores (world wide web) quanto à indexação feita por mecanismos de busca padrão. Deep web (deepnet, web invisível, undernet, web obscura ou web oculta) corresponde à parte não indexada e surface web (ou internet superficial) é a parte indexada.
Motores de busca constroem um banco de dados através de programas chamados web crawlers ou spiders (aranhas) que começam com uma lista de páginas de internet conhecidas. Esse programa pega uma cópia de cada pagina e indexa-a, guardando informações importantes que permitirão que a página seja facilmente recuperada mais tarde. Qualquer hiperligação para novas páginas são adicionadas para a lista de páginas para serem indexadas. Eventualmente todas as páginas acessíveis são indexadas a menos que exceda os limites do motor de busca. Assim, o conjunto de páginas acessíveis definem a porção superficial da rede (surface web). Por diversas razões (como o Protocolo de Exclusão de Robôs, hiperligações geradas por JavaScript e Flash, proteção de senhas), algumas páginas não podem ser acessadas pelos web crawlers. Essas páginas compõem a seção oculta da rede (deep web). Em janeiro de 2014 as páginas indexadas eram pelo menos 15 bilhões de páginas.
Não deve ser confundida a deep web com a Dark Internet, que está relacionada à porção da Internet que não pode ser acessada ou que se tornou inacessível por meios convencionais. Também não se confunde com a Darknet, que não é uma simples rede de compartilhamento de arquivos, mas uma rede subjacente ou em camadas, onde existem grandes esforços no sentido de se manterem anônimos os dados de seus utilizadores.
Mike Bergman, fundador da BrightPlanet e autor da expressão "deep web", afirmou que a busca na Internet atualmente pode ser comparada com o arrastar de uma rede na superfície do oceano: pode-se pescar um peixe grande, mas há uma grande quantidade de informação que está no fundo, e, portanto, faltando. A maior parte da informação da web está enterrada profundamente em sites gerados dinamicamente, não sendo encontrada pelos mecanismos de busca padrão. Estes não conseguem "enxergar" ou obter o conteúdo na deep web — aquelas páginas não existem até serem criadas dinamicamente como resultado de uma busca específica. A deep web possui um tamanho muito superior ao da surface web. O risco da deep web é, basicamente, a intenção com que o usuário a acessa. Por conter páginas com conteúdo ilegal, as mesmas podem conter vírus, prejudicando a segurança do computador. Vale lembrar que ela também, por ser criptografada e anônima, é muito usada por criminosos.

## Tamanho

Estimativas baseadas em extrapolações de um estudo feito na Universidade da Califórnia em Berkeley em 2001 especularam que a deep web possui 7 500 terabytes de informação. Estimativas feitas por He et al., em 2004, detectaram cerca de 300 mil sites da deep web e, de acordo com Shestakov, cerca de 14 mil destes eram da parte russa da web em 2006.
Em 2008, a web chamada “deep web”, não ref­er­en­ci­ada pelos motores de busca rep­re­senta 70 a 75% do total, ou seja, cerca de um tril­hão de pági­nas não indexadas.

## Nomenclatura

Para referir-se aos websites que não estavam registrados em nenhum mecanismo de busca, Bergman citou um artigo de janeiro de 1996 por Frank Garcia, no qual ele afirma que estes:
Outro uso antigo do termo "web invisível" foi feito por Bruce Mount e Matthew B. Koll do Personal Library Software, descrevendo a ferramenta da deep web "@1", na edição de dezembro de 1996.
O primeiro uso do termo específico deep web, agora reconhecido, ocorreu no estudo de 2001 de Bergman, mencionado anteriormente.

## Classificação

O conteúdo da deep web pode ser classificado em uma ou mais das seguintes categorias:
* Conteúdo dinâmico: páginas dinâmicas que são retornadas em resposta a uma requisição ou através de um formulário.
* Conteúdo isolado: páginas que não possuem referências ou ligações vindas de outras páginas, o que impede o acesso ao seu conteúdo através de web crawlers. Diz-se que essas páginas não possuem backlinks.
* Web privada: sites que exigem um registro e um login (conteúdo protegido por senha).
* Web contextual: páginas cujo conteúdo varia de acordo com o contexto de acesso (por exemplo, IP do cliente ou sequência de navegação anterior). Muitos sites estão escondidos e não há possibilidade de acesso, propositadamente.
* Conteúdo de acesso limitado: sites que limitam o acesso às suas páginas de modo técnico (usando CAPTCHAs por exemplo).
* Conteúdo de scripts: páginas que são acessíveis apenas por links gerados por JavaScript, assim como o conteúdo baixado dinamicamente através de aplicações em Flash ou Ajax.
* Conteúdo não-HTML/texto: conteúdo textual codificado em arquivos multimídia (imagem ou vídeo) ou formatos de arquivo específicos que não são manipulados pelos motores de busca.
* Conteúdo que utiliza o protocolo Gopher ou hospedado em servidores FTP, por exemplo, não é indexado pela maioria dos mecanismos de busca. O Google, por exemplo, não indexa páginas fora dos protocolos HTTP ou HTTPS.