Impacto de técnicas de pré-processamento de texto na detecção de intenção e extração de parâmetros em sistemas de diálogo orientados a tarefa

Devido a popularidade da internet e ao baixo preco de dispositivos moveis, as pessoas mudaram a forma como interagem umas com as outras e com empresas. No passado, a internet impulsionou o crescimento do comercio eletronico, inicialmente com pessoas fazendo compras por meio de computadores pessoais e mais recentemente utilizando dispositivos moveis, quando o comercio eletronico passou a ser chamado tambem como comercio movel. Nos ultimos anos, ao lado do crescimento do comercio movel, o numero de usuarios ativos em aplicativos de trocas de mensagens tambem cresceu. Em resposta a tal fenomeno, empresas de varios setores tem investido no atendimento a seus clientes por meio deste tipo de aplicativos, contudo, manter pessoal qualificado para atender os clientes pode gerar alto custo. Alem do custo, o atendimento tambem pode ficar demorado em momentos de pico, gerando insatisfacao por parte dos clientes. Neste cenario o desenvolvimento de sistemas de dialogo orientados a tarefa surge como uma alternativa para o atendimento a clientes, gracas a sua capacidade de atender a um grande numero de clientes de forma ininterrupta, com boa velocidade de resposta e baixo custo. A crescente demanda por esses sistemas e os desafios envolvidos em sua construcao, nos motivou a estudar sobre esse tipo de sistema. Neste estudo aprendemos que existe uma fase no desenvolvimento chamada de compreensao de linguagem natural, cujo proposito e identificar a intencao do usuario a cada frase dita por ele, assim como parâmetros relacionados a essa intencao identificada. Este proposito pode ser alcancado por meio de duas tarefas, conhecidas como: deteccao de intencao e extracao de parâmetros. Por serem tarefas conhecidas na literatura de sistema de dialogos, e possuirem diversos trabalhos ja publicados ao longo de anos, propomos nesta dissertacao um estudo sobre o impacto do uso de tecnicas de pre-processamento de texto aplicado em modelos utilizados nessas duas tarefas. Mais precisamente, escolhemos tecnicas como stemmer, lematizacao, remocao de stopwords e uso de Word Embeddings para serem utilizados em nossos experimentos. Os experimentos foram realizados em 3 bases de dados de referencia para o problema estudado, concluimos que nem todas as tecnicas de pre-processamento escolhidas impactam de forma positiva quando aplicadas em trabalhos publicados na literatura. Diante das tecnicas comparadas, apenas o stemmer resultou em ganho, um ganho de ate 3% na revocacao da tarefa de extracao de parâmetros custando uma pequena perda de 0.9% na precisao da mesma tarefa. Ja as tecnicas de lematizacao, remocao de stopwords e Word Embeddings resultaram em perdas na revocacao e precisao. Ao analisar os resultados negativos concluimos que a lematizacao confunde o modelo por apresentar diferentes lemas para uma mesma palavra, enquanto que a remocao de stopwords remove as preposicoes e artigos que sao importantes para contextualizar e localizar os parâmetros a serem extraidos, no caso dos Word Embeddings a configuracao dos trabalhos comparados nao favoreceu o uso da tecnica.