Des Réseaux de Neurones avec Mécanisme d’Attention pour la Compréhension de la Parole (Exploring the use of Attention-Based Recurrent Neural Networks For Spoken Language Understanding ) (2016)

Abstract: L’étude porte sur l’apport d’un réseau de neurones récurrent (Recurrent Neural Network RNN) bidirectionnel encodeur/décodeur avec mécanisme d’attention pour une tâche de compréhension de la parole. Les premières expériences faites sur le corpus ATIS confirment la qualité du système RNN état de l’art utilisé pour cet article, en comparant les résultats obtenus à ceux récemment publiés dans la littérature. Des expériences supplémentaires montrent que les RNNs avec mécanisme d’attention obtiennent de meilleures performances que les RNNs récemment proposés pour la tâche d’étiquetage en concepts sémantiques. Sur le corpus MEDIA, un corpus français état de l’art pour la compréhension dédié à la réservation d’hôtel et aux informations touristiques, les expériences montrent qu’un RNN bidirectionnel atteint une f-mesure de 79,51 tandis que le même système intégrant le mécanisme d’attention permet d’atteindre une f-mesure de 80,27.

## introduction la compréhension de la parole (spoken language understanding -slu) peut être définie comme l'interprétation des signaux transportés par un signal de parole @xcite . cette interprétation est habituellement assimilée à l'extraction et la représentation du sens contenu par les mots d'une phrase parlée. ## implémentation afin de comparer les rnns avec et sans mécanisme d'attention pour une tâche slu, des implémentations fournies par les auteurs de @xcite et @xcite ont été utilisées pour nos expériences. l'implémentation rnn venant de @xcite ne correspond pas à celle utilisée pour leurs expériences : seulement l'implémentation du rnn avant est disponible tandis que cette étude utilise un réseau de neurone bidirectionnel. afin de valider notre implémentation de ce réseau de neurones bidirectionnel, des premières expériences ont été faites sur le corpus atis afin de comparer nos résultats avec ceux présentés dans @xcite . ## expériences afin de valider notre propre implémentation du réseau de neurones bidirectionnel et comparer nos résultats avec ceux présentés dans @xcite , nous avons mené des premières expériences sur le corpus atis. puis, une fois notre implémentation validée, nous comparons les approches rnn avec et sans mécanisme d'attention sur le corpus media.