# Google Ngram Viewer

O Google Ngram Viewer ou o Google Books Ngram Viewer é um mecanismo de pesquisa on-line que mapeia as frequências de qualquer conjunto de cadeias de pesquisa delimitadas por vírgulas usando uma contagem anual de n-gramas encontrados em fontes impressas entre 1500 e 2008 nos corpora de texto do Google em inglês, chinês (simplificado), francês, alemão, hebraico, italiano, russo ou espanhol. Existem também alguns corpora em inglês especializados, como inglês americano, inglês britânico e ficção inglesa; e a versão 2009 da maioria dos corpora também está disponível.
O programa pode procurar por uma única palavra ou frase, incluindo erros ortográficos ou rabiscos. Os n-gramas são combinados com o texto dentro do corpus selecionado, opcionalmente usando ortografia com distinção entre maiúsculas e minúsculas (que compara o uso exato de letras maiúsculas), e, se encontrado em 40 ou mais livros, são plotados em um gráfico.
O Google Ngram Viewer, desde janeiro de 2016, suporta pesquisas por classe gramatical e curingas.

## História

O programa foi desenvolvido por Jon Orwant e Will Brockman e lançado em meados de dezembro de 2010. Foi inspirado em um protótipo (chamado "Bookworm") criado por Jean-Baptiste Michel e Erez Aiden do Observatório Cultural de Harvard e Yuan Shen do MIT e Steven Pinker.
O Ngram Viewer foi inicialmente baseado na edição de 2009 do Google Livros Ngram Corpus. Desde janeiro de 2016, o programa pode pesquisar o corpus de um idioma individual na edição de 2009 ou 2012.

## Operação e restrições

Vírgulas delimitam termos de pesquisa inseridos pelo usuário, indicando cada palavra ou frase separada a ser encontrada. O Ngram Viewer retorna um gráfico de linhas plotado segundos após o usuário pressionar a tecla Enter ou o botão "Search" na tela.
Como um ajuste para a publicação de mais livros durante alguns anos, os dados são normalizados, em nível relativo, pelo número de livros publicados em cada ano.
O Google preencheu o banco de dados de mais de 5 milhões de livros publicados até 2008. Assim, a partir de janeiro de 2016, nenhum dado corresponderá além do ano de 2008, independentemente de o corpus ter sido gerado em 2009 ou 2012. Devido a limitações no tamanho do banco de dados Ngram, apenas correspondências encontradas em pelo menos 40 livros são indexadas no banco de dados; caso contrário, o banco de dados pode não ter armazenado todas as combinações possíveis.
Normalmente, os termos de pesquisa não podem terminar com pontuação, embora um ponto final separado (um ponto) possa ser pesquisado. Além disso, um ponto de interrogação no final (como em "Por quê?") fará uma segunda pesquisa para o ponto de interrogação separadamente.
A omissão dos períodos nas abreviações permitirá uma forma de correspondência, como usar "R M S" para procurar "R.M.S." versus "RMS".

## Corpora

Os corpora usados para a pesquisa são compostos de arquivos de total_counts, 1-gramas, 2-gramas, 3-gramas, 4-gramas e 5-gramas para cada idioma. O formato do arquivo de cada um dos arquivos são dados separados por tabulação. Cada linha tem o seguinte formato:
* arquivo total_counts
    year TAB match_count TAB page_count TAB volume_count NEWLINE
* Arquivo ngram da versão 1 (gerado em julho de 2009)
    ngram TAB year TAB match_count TAB page_count TAB volume_count NEWLINE
* Arquivo ngram da versão 2 (gerado em julho de 2012)
    ngram TAB year TAB match_count TAB volume_count NEWLINE
O Google Ngram Viewer usa match_count para plotar o gráfico.
Como exemplo, uma palavra "Wikipedia" do arquivo da versão 2 do inglês 1-gramas é armazenada da seguinte maneira:
| ngram | year | match_count | volume_count |
| Wikipedia | 1904 | 1 | 1 |
| Wikipedia | 1912 | 11 | 1 |
| Wikipedia | 1924 | 1 | 1 |
| Wikipedia | 1925 | 11 | 1 |
| Wikipedia | 1929 | 11 | 1 |
| Wikipedia | 1943 | 11 | 1 |
| Wikipedia | 1946 | 11 | 1 |
| Wikipedia | 1947 | 11 | 1 |
| Wikipedia | 1949 | 11 | 1 |
| Wikipedia | 1951 | 11 | 1 |
| Wikipedia | 1953 | 22 | 2 |
| Wikipedia | 1955 | 11 | 1 |
| Wikipedia | 1958 | 1 | 1 |
| Wikipedia | 1961 | 22 | 2 |
| Wikipedia | 1964 | 22 | 2 |
| Wikipedia | 1965 | 11 | 1 |
| Wikipedia | 1966 | 15 | 2 |
| Wikipedia | 1969 | 33 | 3 |
| Wikipedia | 1970 | 129 | 4 |
| Wikipedia | 1971 | 44 | 4 |
| Wikipedia | 1972 | 22 | 2 |
| Wikipedia | 1973 | 1 | 1 |
| Wikipedia | 1974 | 2 | 1 |
| Wikipedia | 1975 | 33 | 3 |
| Wikipedia | 1976 | 11 | 1 |
| Wikipedia | 1977 | 13 | 3 |
| Wikipedia | 1978 | 11 | 1 |
| Wikipedia | 1979 | 112 | 12 |
| Wikipedia | 1980 | 13 | 4 |
| Wikipedia | 1982 | 11 | 1 |
| Wikipedia | 1983 | 3 | 2 |
| Wikipedia | 1984 | 48 | 3 |
| Wikipedia | 1985 | 37 | 3 |
| Wikipedia | 1986 | 6 | 4 |
| Wikipedia | 1987 | 13 | 2 |
| Wikipedia | 1988 | 14 | 3 |
| Wikipedia | 1990 | 12 | 2 |
| Wikipedia | 1991 | 8 | 5 |
| Wikipedia | 1992 | 1 | 1 |
| Wikipedia | 1993 | 1 | 1 |
| Wikipedia | 1994 | 23 | 3 |
| Wikipedia | 1995 | 4 | 1 |
| Wikipedia | 1996 | 23 | 3 |
| Wikipedia | 1997 | 6 | 1 |
| Wikipedia | 1998 | 32 | 10 |
| Wikipedia | 1999 | 39 | 11 |
| Wikipedia | 2000 | 43 | 12 |
| Wikipedia | 2001 | 59 | 14 |
| Wikipedia | 2002 | 105 | 19 |
| Wikipedia | 2003 | 149 | 53 |
| Wikipedia | 2004 | 803 | 285 |
| Wikipedia | 2005 | 2964 | 911 |
| Wikipedia | 2006 | 9818 | 2655 |
| Wikipedia | 2007 | 20017 | 5400 |
| Wikipedia | 2008 | 33722 | 6825 |
O gráfico plotado pelo Google Ngram Viewer usando os dados acima está aqui:

## Crítica

O conjunto de dados foi criticado por confiar em OCR impreciso, uma superabundância de literatura científica e por incluir um grande número de textos incorretamente datados e categorizados. Por causa desses erros e por não ser controlado pelo viés (como a quantidade crescente de literatura científica, que faz com que outros termos pareçam diminuir em popularidade), é arriscado usar esse corpus para estudar a linguagem ou testar teorias. Como o conjunto de dados não inclui metadados, ele pode não refletir alterações linguísticas ou culturais gerais e pode apenas sugerir esse efeito.
Outra questão é que o corpus é de fato uma biblioteca, contendo um de cada livro. Um único autor prolífico pode, assim, inserir visivelmente novas frases no léxico do Google Livros, quer o autor seja amplamente lido ou não.

### Problemas de OCR

O reconhecimento óptico de caracteres ou OCR nem sempre é confiável e alguns caracteres podem não ser digitalizados corretamente. Em particular, erros sistêmicos, como a confusão de "s" e "f" nos textos anteriores ao século XIX (devido ao uso de s longo, com aparência semelhante a "f"), podem causar viés sistêmico. Embora o Google Ngram Viewer afirme que os resultados são confiáveis a partir de 1800, dados de OCR ruins e insuficientes significam que as frequências fornecidas para idiomas como o chinês só podem ser precisas a partir de 1970, com partes anteriores do corpus mostrando nenhum resultado em termos comuns e dados de alguns anos contendo mais de 50% de ruído.

## Veja também

* Google Trends
* Análise léxica