Validation de réponses dans un système de questions réponses. (Answer validation in question answering system)

Avec l'augmentation des connaissances disponibles sur Internet est apparue la difficulte d'obtenir une information. Les moteurs de recherche permettent de retourner des pages Web censes contenir l'information desiree a partir de mots cles. Toutefois il est encore necessaire de trouver la bonne requete et d'examiner les documents retournes.Les systemes de questions reponses ont pour but de renvoyer directement une reponse concise a partir d'une question posee en langue naturelle. La reponse est generalement accompagnee d'un passage de texte cense la justifier. Par exemple, pour la question « Quel est le realisateur d'Avatar ? » la reponse « James Cameron » peut etre renvoyee accompagnee de « James Cameron a realise Avatar. ». Cette these se focalise sur la validation de reponses qui permet de determiner automatiquement si la reponse est valide. Une reponse est valide si elle est correcte (repond bien a la question) et justifiee par le passage textuel. Cette validation permet d'ameliorer les systemes de questions reponses en ne renvoyant a l'utilisateur que les reponses valides. Les approches permettant de reconnaitre les reponses valides peuvent se decomposer en deux grandes categories : -les approches utilisant un formalisme de representation particulier de la question et du passage dans lequel les structures sont comparees ;-les approches suivant une approche par apprentissage qui combinent differents criteres d'ordres lexicaux ou syntaxiques.Dans le but d'identifier les differents phenomenes sous tendant la validation de reponses, nous avons participe a la creation d'un corpus annote manuellement. Ces phenomenes sont de differentes natures telle que la paraphrase ou la coreference. On peut aussi remarquer que les differentes informations sont reparties sur plusieurs phrases, voire sont manquantes dans les passages contenant la reponse. Une deuxieme etude de corpus de questions a porte sur les differentes informations a verifier afin de detecter qu'une reponse est valide. Cette etude a montre que les trois phenomenes les plus frequents sont la verification du type de la reponse, la date et le lieu contenus dans la question.Ces differentes etudes ont permis de mettre au point notre systeme de validation de reponses qui s'appuie sur une combinaison de criteres. Certains criteres traitent de la presence dans le passage des mots de la question ce qui permet de pointer la presence des informations de la question. Un traitement particulier a ete effectue pour les informations de date en detectant une reponse comme n'etant pas valide si le passage ne contient pas la date contenue dans la question. D'autres criteres, dont la proximite dans le passage des mots de la question et de la reponse, portent sur le lien entre les differents mots de la question dans le passage.Le second grand type de verification permet de mesurer la compatibilite entre la reponse et la question. Un certain nombre de questions attendent une reponse etant d'un type particulier. La question de l'exemple precedent attend ainsi un realisateur en reponse. Si la reponse n'est pas de ce type alors elle est incorrecte. Comme cette information peut ne pas se trouver dans le passage justificatif, elle est recherchee dans des documents autres a l'aide de la structure des pages Wikipedia, en utilisant des patrons syntaxiques ou grâce a des frequences d'apparitions du type et de la reponse dans des documents. La verification du type est particulierement efficace puisqu'elle effectue 80 % de bonnes detections. La verification de la validite des reponses est egalement pertinente puisque lors de la participation a une campagne d'evaluation, AVE 2008, le systeme s'est place parmi les meilleurs toutes langues confondues. La derniere contribution a consiste a integrer le module de validation dans un systeme de questions reponses, QAVAL. Dans ce cadre de nombreuses reponses sont extraites par QAVAL et ordonnees grâce au module de validation de reponses. Le systeme n'est plus utilise afin de detecter les reponses valides mais pour fournir un score de confiance a chaque reponse. Le systeme QAVAL peut ainsi aussi bien etre utilise en effectuant des recherches dans des articles de journaux que dans des articles issus du Web. Les resultats sont assez bons puisqu'ils depassent ceux obtenus par un simple ordonnancement des reponses de pres de 50 %.