Processamento de Lingua Natural e uma area que tem me fascinado muito ja ha algum tempo. Comecei me perguntando como um computador poderia entender sistematicamente uma lingua humana (e continuo me perguntando, assim como todos os pesquisadores da area), depois me espantando com recursos que existem ao nosso alcance traducao automatica e revisao gramatical, pra citar alguns dos mais famosos e finalmente comecei a me supreender com o que eu mesmo poderia fazer com algumas linhas de codigo. Algumas nao, com varias.Atualmente, sou mestrando em Ciencia da Computacao na USP/Sao Carlos, pesquisando nesta area. Pretendo trazer para este blog coisas interessantes relacionadas ao PLN que eu encontrar ao longo do caminho, sejam tecnologias, novidades, curiosidades ou opinioes para levantar discussoes polemicas. A Wikipedia e um projeto admiravel. Iniciada em 2001, sua versao original em ingles hoje inclui quase 4 milhoes de artigos sobre os mais diversos temas. Ja me ajudou em diversas ocasioes em que precisava saber alguma coisa sobre algum assunto em particular ou simplesmente matar curiosidades.Mas alem de servir para ser consultada por pessoas, a Wikipedia tambem tem auxiliado pesquisas em Processamento de Lingua Natural. Como? Em primeiro lugar, oferecendo uma quantidade enorme de textos bem escritos (na maioria das vezes). So isso ja e util para algumas aplicacoes, como os modelos de lingua, que tentam determinar se uma sequencia de palavras parece compor um texto real ou nao. Para alcancar esse objetivo, um modelo de lingua precisa ser treinado com textos. (Se voce estiver se perguntando para que serve isso na pratica, a resposta mais facil e traducao automatica: sistemas tradutores normalmente geram diversas versoes do texto traduzido e exibem a que for melhor avaliada pelo seu modelo de lingua. Mas isso ja e outro assunto.) Outras formas de aproveitar automaticamente conhecimento da Wikipedia tambem existem. Uma delas e para deteccao de entidades: imagine que um programa esta "lendo" um texto e quer descobrir do que se trata. Entao, ele se depara com uma palavra desconhecida; por exemplo, Oslo. Uma consulta superficial a Wikipedia, verificando categorias da pagina, alguns templates que aparecem no codigo fonte ou simplesmente algumas palavras chave, pode responder rapidamente que se trata de uma cidade na Noruega.Alem disso, algumas paginas da Wikipedia possuem uma infobox (aquela caixa a direita com informacoes pontuais, dependendo do tipo de artigo), que contem dados em um formato facil de ser lido por computador. No exemplo de Oslo, e possivel o programa aproveitar a Wikipedia para extrair dados como a populacao ou as coordenadas geograficas da cidade. Um cenario imaginavel: o programa le "viajar de Londres para Oslo" e esboca um mapa ligando as duas cidades, sem que nenhum programador tenha informado ao programa a localizacao delas. Ou seja, a Wikipedia poderia ser usada por um computador para aprender coisas, da mesma forma que nos, humanos.Infelizmente, a Wikipedia (com acento - a versao em portugues) esta muito atras da Wikipedia em ingles. Sua quantidade de artigos ainda esta na casa dos 700 mil, e quem ja a acessou algumas vezes pode conferir que muitos dos artigos em portugues sao bem