<figure><img src="image_1.png" /></figure>

HAL
open science

# New Semantic Task for the French Spoken Language Understanding MEDIA Benchmark

Nadège Alavoine, Gaëlle Laperriere, Christophe Servan, Sahar Ghannay, Sophie Rosset

► To cite this version:

Nadège Alavoine, Gaëlle Laperriere, Christophe Servan, Sahar Ghannay, Sophie Rosset. New Semantic Task for the French Spoken Language Understanding MEDIA Benchmark. The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), May 2024, Torino, Italy. hal-04523286

HAL Id: hal-04523286

https://hal.science/hal-04523286

Submitted on 27 Mar 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
<figure><img src="image_1.png" /></figure>

HAL
open science

# New Semantic Task for the French Spoken Language Understanding MEDIA Benchmark

Nadège Alavoine, Gaëlle Laperriere, Christophe Servan, Sahar Ghannay, Sophie Rosset

<figure><img src="image_2.png" /></figure>

## To cite this version:

Nadège Alavoine, Gaëlle Laperriere, Christophe Servan, Sahar Ghannay, Sophie Rosset. New Semantic Task for the French Spoken Language Understanding MEDIA Benchmark. The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), May 2024, Torino, Italy. pp.12227-12246. hal-04523286

HAL Id: hal-04523286

https://hal.science/hal-04523286v1

Submitted on 27 Mar 2024

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Public Domain
# New Semantic Task for the French Spoken Language Understanding MEDIA Benchmark

Nadège Alavoine¹, Gaëlle Laperrière², Christophe Servan¹,²,
Sahar Ghannay¹ and Sophie Rosset¹

¹Université Paris-Saclay, CNRS, LISN, ²Avignon Université, LIA, ³QWANT
{firstname.lastname}@lisn.upsaclay.fr

## Abstract

Intent classification and slot-filling are essential tasks of Spoken Language Understanding (SLU). In most SLU systems, those tasks are realized by independent modules. For about fifteen years, models achieving both of them jointly and exploiting their mutual enhancement have been proposed. A multilingual module using a joint model was envisioned to create a touristic dialogue system for a European project, HUMANE-AI-NET. A combination of multiple datasets, including the MEDIA dataset, was suggested for training this joint model. The MEDIA SLU dataset is a French dataset distributed since 2005 by ELRA, mainly used by the French research community and free for academic research since 2020. Unfortunately, it is annotated only in slots but not intents. An enhanced version of MEDIA annotated with intents has been built to extend its use to more tasks and use cases. This paper presents the semi-automatic methodology used to obtain this enhanced version. In addition, we present the first results of SLU experiments on this enhanced dataset using joint models for intent classification and slot-filling.

**Keywords:** Benchmark Dataset, Spoken Language Understanding, Joint Intent Detection And Slot-filling, Tri-training

## 1. Introduction

The Spoken Language Understanding (SLU) module is a crucial component of a spoken language dialogue system. It semantically analyzes user queries and identifies speech or text spans that mention semantic information. SLU tasks can fall into three sub-tasks: domain classification, intent classification, and slot-filling (Tur and Mori, 2011). In this study, we are interested in intent classification and slot-filling tasks. The latter task can also be considered as a concept detection task (Bonneau-Maynard et al., 2006).

Most dialogue systems handle those tasks separately by developing independent modules inserted in a pipeline (Hakkani-Tür et al., 2016). Those pipelined approaches usually suffer from error propagation due to their independent models. Thus, joint models for intent classification and slot-filling have been proposed to overcome this issue and to improve sentence-level semantics via mutual enhancement between those two tasks (Weld et al., 2022). For those joint models, multiple approaches were explored such as conditional random fields (Jeong and Lee, 2008), convolutional neural networks (Xu and Sarikaya, 2013), recurrent neural networks (Guo et al., 2014; Hakkani-Tür et al., 2016; Liu and Lane, 2016), slot-gated models (Goo et al., 2018), attention mechanisms (Chen et al., 2016; Liu and Lane, 2016), pre-trained Transformer-based (Vaswani et al., 2017) models (Chen et al., 2019; Castellucci et al., 2019; Wang et al., 2020; Qin et al., 2021; Han et al., 2021) or graph convolutional net-

work (Tang et al., 2020).

For the English language, joint models are classically evaluated on freely available benchmarks annotated with intents and concepts: ATIS (Hemphill et al., 1990) and SNIPS (Coucke et al., 2018).

In the French language, less resources are available. The ATIS dataset has been extended to French within the MultiATIS++ corpus (Xu et al., 2020) by translating the manual transcriptions of the original English corpus. However, the resulting ATIS FR dataset has no audio support available. The MEDIA SLU dataset (Bonneau-Maynard et al., 2005), a native French corpus, has been actively used by the French research community and has been free for academic research since 2020. A study (Béchet and Raymond, 2019) showed that the MEDIA slot-filling task was one of the most challenging benchmarks among the publicly available ones. Unfortunately, it is annotated only with concepts and not with intent.

This paper presents an updated version of the MEDIA dataset enhanced with intent annotations using a semi-automatic approach. In addition, it presents the first results of SLU experiments on this enhanced dataset using joint models for intent classification and slot-filling.

## 2. The MEDIA Benchmark

The *MEDIA Evaluation Package* (MEDIA-EVALDA, 2006) is distributed by ELRA. The corpus is composed of recorded phone calls for hotel booking. It is dedicated to semantic information extraction
# New Semantic Task for the French Spoken Language Understanding MEDIA Benchmark

Nadège Alavoine¹, Gaëlle Laperrière², Christophe Servan¹,²,
Sahar Ghannay¹ and Sophie Rosset¹

¹Université Paris-Saclay, CNRS, LISN, ²Avignon Université, LIA, ³QWANT
{firstname.lastname}@lisn.upsaclay.fr

## Abstract

Intent classification and slot-filling are essential tasks of Spoken Language Understanding (SLU). In most SLU systems, those tasks are realized by independent modules. For about fifteen years, models achieving both of them jointly and exploiting their mutual enhancement have been proposed. A multilingual module using a joint model was envisioned to create a touristic dialogue system for a European project, HUMANE-AI-NET. A combination of multiple datasets, including the MEDIA dataset, was suggested for training this joint model. The MEDIA SLU dataset is a French dataset distributed since 2005 by ELRA, mainly used by the French research community and free for academic research since 2020. Unfortunately, it is annotated only in slots but not intents. An enhanced version of MEDIA annotated with intents has been built to extend its use to more tasks and use cases. This paper presents the semi-automatic methodology used to obtain this enhanced version. In addition, we present the first results of SLU experiments on this enhanced dataset using joint models for intent classification and slot-filling.

**Keywords:** Benchmark Dataset, Spoken Language Understanding, Joint Intent Detection And Slot-filling, Tri-training

## 1. Introduction

The Spoken Language Understanding (SLU) module is a crucial component of a spoken language dialogue system. It semantically analyzes user queries and identifies speech or text spans that mention semantic information. SLU tasks can fall into three sub-tasks: domain classification, intent classification, and slot-filling (Tur and Mori, 2011). In this study, we are interested in intent classification and slot-filling tasks. The latter task can also be considered as a concept detection task (Bonneau-Maynard et al., 2006).

Most dialogue systems handle those tasks separately by developing independent modules inserted in a pipeline (Hakkani-Tür et al., 2016). Those pipelined approaches usually suffer from error propagation due to their independent models. Thus, joint models for intent classification and slot-filling have been proposed to overcome this issue and to improve sentence-level semantics via mutual enhancement between those two tasks (Weld et al., 2022). For those joint models, multiple approaches were explored such as conditional random fields (Jeong and Lee, 2008), convolutional neural networks (Xu and Sarikaya, 2013), recurrent neural networks (Guo et al., 2014; Hakkani-Tür et al., 2016; Liu and Lane, 2016), slot-gated models (Goo et al., 2018), attention mechanisms (Chen et al., 2016; Liu and Lane, 2016), pre-trained Transformer-based (Vaswani et al., 2017) models (Chen et al., 2019; Castellucci et al., 2019; Wang et al., 2020; Qin et al., 2021; Han et al., 2021) or graph convolutional net-

work (Tang et al., 2020).

For the English language, joint models are classically evaluated on freely available benchmarks annotated with intents and concepts: ATIS (Hemphill et al., 1990) and SNIPS (Coucke et al., 2018).

In the French language, less resources are available. The ATIS dataset has been extended to French within the MultiATIS++ corpus (Xu et al., 2020) by translating the manual transcriptions of the original English corpus. However, the resulting ATIS FR dataset has no audio support available. The MEDIA SLU dataset (Bonneau-Maynard et al., 2005), a native French corpus, has been actively used by the French research community and has been free for academic research since 2020. A study (Béchet and Raymond, 2019) showed that the MEDIA slot-filling task was one of the most challenging benchmarks among the publicly available ones. Unfortunately, it is annotated only with concepts and not with intent.

This paper presents an updated version of the MEDIA dataset enhanced with intent annotations using a semi-automatic approach. In addition, it presents the first results of SLU experiments on this enhanced dataset using joint models for intent classification and slot-filling.

## 2. The MEDIA Benchmark

The *MEDIA Evaluation Package* (MEDIA-EVALDA, 2006) is distributed by ELRA. The corpus is composed of recorded phone calls for hotel booking. It is dedicated to semantic information extraction
from speech in the context of human-machine
dialogues collected by using the Wizard-of-Oz
method (Bonneau-Maynard et al., 2005). The
dataset represents 1258 official recorded dialogues
from 250 different speakers and about 70 hours of
conversations. Only the users' turns are annotated
with both manual transcriptions and complex se-
mantic annotations (concepts), and used in this
study. The dataset was split into Train, Dev, and
Test sets. Each concept is represented by an at-
tribute and detailed with a specifier. The semantic
dictionary includes 83 attributes and 19 specifiers,
which results in 1121 possible attribute/specifier
pairs. The MEDIA corpus is available in a full or a
relax scoring version. In the second, attributes are
simplified by excluding the specifiers. The number
of different concepts for each set and version is
presented in Table 1.

Recently, Laperrière et al. (2022) proposed an
updated version of the MEDIA dataset. In addition
to multiple corrections, it possesses other relevant
characteristics compared to the ELRA-distributed
MEDIA version. Firstly, ELRA distributes ME-
DIA with two segmentation systems for audio files.
Laperrière et al. (2022) processed MEDIA using the
less commonly used segmentation system. They
also removed blank audio signals. This segmen-
tation system tends to create shorter utterances in
augmented numbers than the most commonly used
one. The first and second lines of Table 1 present
the differences in utterances' numbers between
those segmentation systems. Secondly, they made
a clear choice for managing truncated words. The
original dataset contains truncated words - words
partially audible. For example, the word "merci"
(thanks in English) can be written "mer ci)" if only
the first syllable is audible on audio. Laperrière
et al. (2022) chose to keep a truncated version of
those words, using the asterisk symbol '*' on the
truncated part. Our example, "mer ci)" becomes
"mer*". Finally, Laperrière et al. (2022) noticed an
available but unused, manually annotated data in
the distributed MEDIA corpus. They used it to cre-
ate a second test set named Test2. The authors
are currently working with ELRA to distribute this
updated version through their catalog. While wait-
ing for an official nomination of this version, we will
cite it as MEDIA 2022 in this paper.

3. Annotating The MEDIA Benchmark
with Intents

To our knowledge, the MEDIA dataset was never
annotated with intents. Unlike other benchmark
datasets such as ATIS (Hemphill et al., 1990) or
SNIPS (Coucke et al., 2018), only slots were consid-
ered. In the context of creating a touristic dialogue
system for a European project - the HUMANE-AI-

NET project - a multilingual language understand-
ing module capable of detecting intents and slots
from utterances was envisioned. A combination
of multiple datasets, including MEDIA, was sug-
gested for training a joint model. But to use the
MEDIA dataset for this module, we needed a ver-
sion annotated with intents. For this purpose, we
defined a list of 11 intents after carefully examining
the dataset content. Some utterances can be as-
sociated with multiple intent tags, separated by the
hashtag sign (#). Details of this list, examples, and
counter-examples will be available in an annotation
guide. We present, as follows, how this enhanced
MEDIA version containing intent annotations was
obtained. Intent annotations will be available in a
public repository <fnref n="1" />.

3.1. Methodology

Annotating a dataset can be a tremendous task. To
shorten the time consumption and annotator efforts,
we used a tri-training approach (Zhou and Li, 2005).
Tri-training is an episodic inductive semi-supervised
method (van Engelen and Hoos, 2020) aiming at
improving classification system performances by
adding unlabeled data. It uses a triad of classi-
fiers trained on different training datasets. On each
episode of the algorithm, those classifiers attribute
pseudo-labels (Chen et al., 2019) to unlabeled data.
When two classifiers of the triad agree on a pseudo-
label, the corresponding pseudo-labeled data is
added to the third model's training set. Classifiers
can continue their training on the updated train-
ing sets. The tri-training algorithm stops when no
change can be observed in the learning of all clas-
sifiers of the triad.

Recently Boulanger et al. (2022) shown that tri-
training could be used in a low resource setting
on a Named Entity Recognition (NER) task. The
authors used subsets of the ConLL 2003 English
(Tjong Kim Sang and De Meulder, 2003) and I2B2
(Uzuner et al., 2011) datasets to simulate a low-
resource setting and train a triad of taggers with the
tri-training algorithm (Zhou and Li, 2005; Ruder and
Plank, 2018). Taggers were Transformer-based
BERT models (Devlin et al., 2019) with a classifier
architecture. Unlabeled data was generated using
sentence generation and sentence completion with
a GPT-2 model (Radford et al., 2019) for a ratio
of 20 synthetic data for one natural data. The F-
measure of the triad on the original test sets was
evaluated. Compared to models trained only on
the subset of natural data, results were globally
positive, with an average lowest gain of 0.71 points
on ConLL with 1000 natural data and an average
highest gain of 4.32 on I2B2 with a subset of 50

<footnote n="1">¹https://github.com/Ala-Na/media-
benchmark intent annotations</footnote>
from speech in the context of human-machine
dialogues collected by using the Wizard-of-Oz
method (Bonneau-Maynard et al., 2005). The
dataset represents 1258 official recorded dialogues
from 250 different speakers and about 70 hours of
conversations. Only the users' turns are annotated
with both manual transcriptions and complex se-
mantic annotations (concepts), and used in this
study. The dataset was split into Train, Dev, and
Test sets. Each concept is represented by an at-
tribute and detailed with a specifier. The semantic
dictionary includes 83 attributes and 19 specifiers,
which results in 1121 possible attribute/specifier
pairs. The MEDIA corpus is available in a full or a
relax scoring version. In the second, attributes are
simplified by excluding the specifiers. The number
of different concepts for each set and version is
presented in Table 1.

Recently, Laperrière et al. (2022) proposed an
updated version of the MEDIA dataset. In addition
to multiple corrections, it possesses other relevant
characteristics compared to the ELRA-distributed
MEDIA version. Firstly, ELRA distributes ME-
DIA with two segmentation systems for audio files.
Laperrière et al. (2022) processed MEDIA using the
less commonly used segmentation system. They
also removed blank audio signals. This segmen-
tation system tends to create shorter utterances in
augmented numbers than the most commonly used
one. The first and second lines of Table 1 present
the differences in utterances' numbers between
those segmentation systems. Secondly, they made
a clear choice for managing truncated words. The
original dataset contains truncated words - words
partially audible. For example, the word "merci"
(thanks in English) can be written "mer ci)" if only
the first syllable is audible on audio. Laperrière
et al. (2022) chose to keep a truncated version of
those words, using the asterisk symbol '*' on the
truncated part. Our example, "mer ci)" becomes
"mer*". Finally, Laperrière et al. (2022) noticed an
available but unused, manually annotated data in
the distributed MEDIA corpus. They used it to cre-
ate a second test set named Test2. The authors
are currently working with ELRA to distribute this
updated version through their catalog. While wait-
ing for an official nomination of this version, we will
cite it as MEDIA 2022 in this paper.

3. Annotating The MEDIA Benchmark
with Intents

To our knowledge, the MEDIA dataset was never
annotated with intents. Unlike other benchmark
datasets such as ATIS (Hemphill et al., 1990) or
SNIPS (Coucke et al., 2018), only slots were consid-
ered. In the context of creating a touristic dialogue
system for a European project - the HUMANE-AI-

NET project - a multilingual language understand-
ing module capable of detecting intents and slots
from utterances was envisioned. A combination
of multiple datasets, including MEDIA, was sug-
gested for training a joint model. But to use the
MEDIA dataset for this module, we needed a ver-
sion annotated with intents. For this purpose, we
defined a list of 11 intents after carefully examining
the dataset content. Some utterances can be as-
sociated with multiple intent tags, separated by the
hashtag sign (#). Details of this list, examples, and
counter-examples will be available in an annotation
guide. We present, as follows, how this enhanced
MEDIA version containing intent annotations was
obtained. Intent annotations will be available in a
public repository <fnref n="1" />.

3.1. Methodology

Annotating a dataset can be a tremendous task. To
shorten the time consumption and annotator efforts,
we used a tri-training approach (Zhou and Li, 2005).
Tri-training is an episodic inductive semi-supervised
method (van Engelen and Hoos, 2020) aiming at
improving classification system performances by
adding unlabeled data. It uses a triad of classi-
fiers trained on different training datasets. On each
episode of the algorithm, those classifiers attribute
pseudo-labels (Chen et al., 2019) to unlabeled data.
When two classifiers of the triad agree on a pseudo-
label, the corresponding pseudo-labeled data is
added to the third model's training set. Classifiers
can continue their training on the updated train-
ing sets. The tri-training algorithm stops when no
change can be observed in the learning of all clas-
sifiers of the triad.

Recently Boulanger et al. (2022) shown that tri-
training could be used in a low resource setting
on a Named Entity Recognition (NER) task. The
authors used subsets of the ConLL 2003 English
(Tjong Kim Sang and De Meulder, 2003) and I2B2
(Uzuner et al., 2011) datasets to simulate a low-
resource setting and train a triad of taggers with the
tri-training algorithm (Zhou and Li, 2005; Ruder and
Plank, 2018). Taggers were Transformer-based
BERT models (Devlin et al., 2019) with a classifier
architecture. Unlabeled data was generated using
sentence generation and sentence completion with
a GPT-2 model (Radford et al., 2019) for a ratio
of 20 synthetic data for one natural data. The F-
measure of the triad on the original test sets was
evaluated. Compared to models trained only on
the subset of natural data, results were globally
positive, with an average lowest gain of 0.71 points
on ConLL with 1000 natural data and an average
highest gain of 4.32 on I2B2 with a subset of 50

<footnote n="1">¹https://github.com/Ala-Na/media-
benchmark intent annotations</footnote>
<table><caption>Table 1: User's utterances characteristics of the MEDIA dataset. The number of utterances for the most commonly used segmentation system is presented in line 1 (*), while the version resulting from the second segmentation system, also used by MEDIA 2022 version, is presented in line 2 (**).</caption><thead><tr><th>Set</th><th>Train</th><th>Dev</th><th>Test</th><th>Test2</th></tr></thead><tbody><tr><td>Nb. utterances *</td><td>12916</td><td>1259</td><td>3518</td><td></td></tr><tr><td>Nb. utterances **</td><td>13712</td><td>1367</td><td>3767</td><td>4002</td></tr><tr><td>Concepts lexicon (full scoring)</td><td>144</td><td>104</td><td>125</td><td>129</td></tr><tr><td>Concepts lexicon (relax scoring)</td><td>73</td><td>63</td><td>71</td><td>71</td></tr></tbody></table>

natural data.

We decided to use a similar system to train and evaluate triads of classifiers. The best triad will be kept to annotate the MEDIA dataset with intent.

### 3.1.1. Datasets For Tri-training

A portion of manually annotated data is needed to train and evaluate triads of classifiers. To this purpose, we used a transcribed version of the MEDIA dataset resulting from the most commonly used segmentation system, with truncated words kept as entire words ("mer ci") is written "merci"). For convenience, this version will be cited as MEDIA original. A subset of randomly chosen utterances from the original training set and others picked explicitly for their content were manually annotated by one person following our intent tagging guide. This annotation was realized out of context: each utterance was treated without considering previous ones in the dialogue. 1551 utterances were manually annotated for tri-training, with 1240 constituting a train set, 124 for a dev set, and 187 for a test set.

Though the different intents were distributed evenly among those tri-training sets as much as possible, an imbalance effect between our classes can be observed in Table 2. This is likely a representation of an imbalance affecting the whole dataset.

<table><caption>Table 2: Intent tags distribution in a subset of the MEDIA training set used for tri-training. This subset is cut into train, dev, and test set. Intents' combinations are not shown.</caption><thead><tr><th>Set</th><th>train</th><th>dev</th><th>test</th><th>Total</th></tr></thead><tbody><tr><td>cancellation</td><td>15</td><td>1</td><td>1</td><td>17</td></tr><tr><td>incomprehension</td><td>6</td><td>1</td><td>4</td><td>11</td></tr><tr><td>discourse marker</td><td>38</td><td>6</td><td>5</td><td>49</td></tr><tr><td>modification</td><td>7</td><td>1</td><td>1</td><td>9</td></tr><tr><td>thanking</td><td>47</td><td>5</td><td>6</td><td>58</td></tr><tr><td>information</td><td>114</td><td>11</td><td>19</td><td>144</td></tr><tr><td>affirmative answer</td><td>392</td><td>42</td><td>52</td><td>486</td></tr><tr><td>indecisive answer</td><td>9</td><td>1</td><td>3</td><td>13</td></tr><tr><td>negative answer</td><td>362</td><td>35</td><td>57</td><td>454</td></tr><tr><td>booking</td><td>352</td><td>30</td><td>48</td><td>430</td></tr><tr><td>greeting</td><td>43</td><td>8</td><td>6</td><td>57</td></tr></tbody></table>

### 3.1.2. Experimental Protocol

Our use case differs from Boulanger et al. (2022) work, as we have a lot of non-annotated natural data. We adapted their code by turning off the synthetic data generation and modifying the classifier for a multi-label intent classifier. It uses the final hidden state of the [CLS] special token combined with a Sigmoid layer and a threshold value of 0.5 to determine whether the input sentence can be associated with each intent.

We used two French Transformers (Vaswani et al., 2017) models: Camembert (Martin et al., 2020), a model derived from RoBERTa (Zhuang et al., 2021), and FrALBERT (Cattan et al., 2021), a compact model derived from ALBERT (Lan et al., 2020). We evaluated two comparable versions, trained on 4 gigabytes (GB) of text from the Wikipedia website: Camembert-base-Wikipedia-4GB<fnref n="2" /> and FrALBERT-base<fnref n="3" />. Cattan et al. (2022) previously demonstrated that classifiers based on those models had good SLU performances on the MEDIA test dataset for the task of slot-filling.

Before the tri-training algorithm, a random sampling of 1000 data among the 1240 constituting our tri-training train set is made for each model of the triad. Fine-tuning our models on this data portion will decrease the chances that the three classifiers will output the same results. Though we can discuss that 1000 among 1240 may not offer enough variability, it reduces the event that one classifier may not be fine-tuned on intent tags poorly represented in our tri-training train set.

The algorithm is tried on a maximum of 30 episodes, though it stops once no change is observed on a validation metric. Hyper-parameters are fixed with a learning rate at 1e-5, a train batch size of 16, and a dropout value of 0.1. The number of maximal epochs per episode is 1000, with an early stopping system of 20 epochs of patience.

Classifiers' performances are evaluated during training using an exact match ratio (EMR) of intents on the tri-training dev set. The EMR is similar to accuracy but stricter as it ignores partially correct labels (Sorower, 2010). Once the tri-training algorithm stopped, EMR, precision, recall, and F-

<footnote n="2">²https://huggingface.co/camembert/camembert-base-Wikipedia-4GB</footnote>

<footnote n="3">³https://huggingface.co/qwant/fralbert-base</footnote>
<table><caption>Table 1: User's utterances characteristics of the MEDIA dataset. The number of utterances for the most commonly used segmentation system is presented in line 1 (*), while the version resulting from the second segmentation system, also used by MEDIA 2022 version, is presented in line 2 (**).</caption><thead><tr><th>Set</th><th>Train</th><th>Dev</th><th>Test</th><th>Test2</th></tr></thead><tbody><tr><td>Nb. utterances *</td><td>12916</td><td>1259</td><td>3518</td><td></td></tr><tr><td>Nb. utterances **</td><td>13712</td><td>1367</td><td>3767</td><td>4002</td></tr><tr><td>Concepts lexicon (full scoring)</td><td>144</td><td>104</td><td>125</td><td>129</td></tr><tr><td>Concepts lexicon (relax scoring)</td><td>73</td><td>63</td><td>71</td><td>71</td></tr></tbody></table>

natural data.

We decided to use a similar system to train and evaluate triads of classifiers. The best triad will be kept to annotate the MEDIA dataset with intent.

### 3.1.1. Datasets For Tri-training

A portion of manually annotated data is needed to train and evaluate triads of classifiers. To this purpose, we used a transcribed version of the MEDIA dataset resulting from the most commonly used segmentation system, with truncated words kept as entire words ("mer ci") is written "merci"). For convenience, this version will be cited as MEDIA original. A subset of randomly chosen utterances from the original training set and others picked explicitly for their content were manually annotated by one person following our intent tagging guide. This annotation was realized out of context: each utterance was treated without considering previous ones in the dialogue. 1551 utterances were manually annotated for tri-training, with 1240 constituting a train set, 124 for a dev set, and 187 for a test set.

Though the different intents were distributed evenly among those tri-training sets as much as possible, an imbalance effect between our classes can be observed in Table 2. This is likely a representation of an imbalance affecting the whole dataset.

<table><caption>Table 2: Intent tags distribution in a subset of the MEDIA training set used for tri-training. This subset is cut into train, dev, and test set. Intents' combinations are not shown.</caption><thead><tr><th>Set</th><th>train</th><th>dev</th><th>test</th><th>Total</th></tr></thead><tbody><tr><td>cancellation</td><td>15</td><td>1</td><td>1</td><td>17</td></tr><tr><td>incomprehension</td><td>6</td><td>1</td><td>4</td><td>11</td></tr><tr><td>discourse marker</td><td>38</td><td>6</td><td>5</td><td>49</td></tr><tr><td>modification</td><td>7</td><td>1</td><td>1</td><td>9</td></tr><tr><td>thanking</td><td>47</td><td>5</td><td>6</td><td>58</td></tr><tr><td>information</td><td>114</td><td>11</td><td>19</td><td>144</td></tr><tr><td>affirmative answer</td><td>392</td><td>42</td><td>52</td><td>486</td></tr><tr><td>indecisive answer</td><td>9</td><td>1</td><td>3</td><td>13</td></tr><tr><td>negative answer</td><td>362</td><td>35</td><td>57</td><td>454</td></tr><tr><td>booking</td><td>352</td><td>30</td><td>48</td><td>430</td></tr><tr><td>greeting</td><td>43</td><td>8</td><td>6</td><td>57</td></tr></tbody></table>

### 3.1.2. Experimental Protocol

Our use case differs from Boulanger et al. (2022) work, as we have a lot of non-annotated natural data. We adapted their code by turning off the synthetic data generation and modifying the classifier for a multi-label intent classifier. It uses the final hidden state of the [CLS] special token combined with a Sigmoid layer and a threshold value of 0.5 to determine whether the input sentence can be associated with each intent.

We used two French Transformers (Vaswani et al., 2017) models: Camembert (Martin et al., 2020), a model derived from RoBERTa (Zhuang et al., 2021), and FrALBERT (Cattan et al., 2021), a compact model derived from ALBERT (Lan et al., 2020). We evaluated two comparable versions, trained on 4 gigabytes (GB) of text from the Wikipedia website: Camembert-base-Wikipedia-4GB<fnref n="2" /> and FrALBERT-base<fnref n="3" />. Cattan et al. (2022) previously demonstrated that classifiers based on those models had good SLU performances on the MEDIA test dataset for the task of slot-filling.

Before the tri-training algorithm, a random sampling of 1000 data among the 1240 constituting our tri-training train set is made for each model of the triad. Fine-tuning our models on this data portion will decrease the chances that the three classifiers will output the same results. Though we can discuss that 1000 among 1240 may not offer enough variability, it reduces the event that one classifier may not be fine-tuned on intent tags poorly represented in our tri-training train set.

The algorithm is tried on a maximum of 30 episodes, though it stops once no change is observed on a validation metric. Hyper-parameters are fixed with a learning rate at 1e-5, a train batch size of 16, and a dropout value of 0.1. The number of maximal epochs per episode is 1000, with an early stopping system of 20 epochs of patience.

Classifiers' performances are evaluated during training using an exact match ratio (EMR) of intents on the tri-training dev set. The EMR is similar to accuracy but stricter as it ignores partially correct labels (Sorower, 2010). Once the tri-training algorithm stopped, EMR, precision, recall, and F-

<footnote n="2">²https://huggingface.co/camembert/camembert-base-Wikipedia-4GB</footnote>

<footnote n="3">³https://huggingface.co/qwant/fralbert-base</footnote>
measure (or F1 score) are evaluated on the test set presented in Table 2. Those performances are calculated on the ensemble of predictions from the triad of models.

### 3.1.3. Evaluation

Results of our experiments are shown in Table 3. Most experiences stopped after 3 or 4 episodes of tri-training. Triads using the CamemBERT model get better results than triads using FrALBERT. They outperformed them by 7.17 points on the EMR and 5.09 points on the F-measure. They also have less variability in their results, with a standard deviation oscillating between 0.33 to 0.70 on the different metrics against 0.81 to 1.62 for FrALBERT.

<table><thead><tr><th>Transformer</th><th>EMR</th><th>Pre.</th><th>Rec.</th><th>F1</th></tr></thead><tbody><tr><td>CamemBERT</td><td>92.09<br>±0.45</td><td>95.29<br>±0.70</td><td>93.48<br>±0.36</td><td>93.73<br>±0.33</td></tr><tr><td>FrALBERT</td><td>84.92<br>±1.62</td><td>90.86<br>±0.81</td><td>87.97<br>±1.44</td><td>88.64<br>±1.37</td></tr></tbody></table>

Table 3: Multi-label intent classification performances with tri-training algorithm using a portion of MEDIA dataset. Results are obtained on all predictions of the triad. The mean and standard deviation error on five seeds are presented for each type of Transformer used. For precision (Pre.), recall (Rec.), and F-measure (F1), values are sample-averaged.

Following those results, we looked deeper into the performances of our best CamemBERT-based triad of models, which are presented in Table 4. This triad will be kept to annotate the MEDIA dataset with intents automatically. The triad obtains an EMR of 92.51 and a sample-averaged F-measure of 93.85. Looking at the performance of macro F-measure, it drops to 58.99. This macro F-measure seems strongly influenced by an important proportion of false negatives in some labels, with a macro recall of 60.98. In contrast, false positives are scarce, with a macro precision of 93.77. Those false negatives mainly concern tags with few examples in our test set presented in Table 2 as they don't affect the sample average of recall and F-measure as much.

### 3.1.4. Discussion, Annotations, And Corrections

Some changes could have been considered to improve our tri-training system. For example, using another metric than EMR to perform early stopping, such as macro or weighted F-measure, or a system considering concept labels. However, we didn't explore those possibilities as we didn't know if the performances on our test set were representative

of the corrections needed to obtain a whole corpus accurately annotated with intents.

This work still represents a first approach towards using a tri-training algorithm with Transformers-based classifiers to annotate a dataset, though improvements could be applied.

<table><thead><tr><th>Metric</th><th>Average</th><th>Value</th></tr></thead><tbody><tr><td>EMR</td><td></td><td>92.51</td></tr><tr><td rowspan="2">Precision</td><td>sample</td><td>95.19</td></tr><tr><td>macro</td><td>93.77</td></tr><tr><td rowspan="2">Recall</td><td>sample</td><td>93.85</td></tr><tr><td>macro</td><td>60.98</td></tr><tr><td rowspan="2">F1</td><td>sample</td><td>93.85</td></tr><tr><td>macro</td><td>58.99</td></tr></tbody></table>

Table 4: Multi-label intent classification performances on all predictions of our best triad of models kept to annotate the MEDIA dataset with intents. This triad uses a pre-trained CamemBERT-base-Wikipedia-4GB model.

<table><thead><tr><th>Set</th><th>Train</th><th>Dev</th><th>Test</th><th>Total</th></tr></thead><tbody><tr><td>cancellation</td><td>32</td><td>1</td><td>15</td><td>48</td></tr><tr><td>incomprehension</td><td>273</td><td>30</td><td>94</td><td>397</td></tr><tr><td>discourse marker</td><td>282</td><td>40</td><td>113</td><td>435</td></tr><tr><td>modification</td><td>115</td><td>10</td><td>31</td><td>156</td></tr><tr><td>thanking</td><td>713</td><td>100</td><td>200</td><td>1013</td></tr><tr><td>information</td><td>1611</td><td>159</td><td>401</td><td>2171</td></tr><tr><td>affirmative answer</td><td>4325</td><td>419</td><td>1190</td><td>5934</td></tr><tr><td>indecisive answer</td><td>37</td><td>5</td><td>9</td><td>51</td></tr><tr><td>negative answer</td><td>1315</td><td>88</td><td>344</td><td>1747</td></tr><tr><td>booking</td><td>5437</td><td>522</td><td>1410</td><td>7369</td></tr><tr><td>greeting</td><td>717</td><td>101</td><td>206</td><td>1024</td></tr></tbody></table>

Table 5: Intent tags distribution in the preliminary version of the MEDIA dataset annotated with intents. Intent combinations are not shown.

Since our goal was to simplify annotator works, we kept the pseudo-labels for which our best triad obtained consensus. Sometimes, different consensus could be obtained at various episodes for the same utterance, meaning that one sentence could have more than one set of pseudo-labels. For those cases, one of the sets of labels was randomly chosen. For each combination of pseudo-labels, corresponding utterances were presented to the annotator, which had to invalidate erroneous intents. Utterances with none or erroneous pseudo-labels were re-annotated. There were 3122 fully or partially erroneous intents (19.51% of the 16005 pseudo-labeled data) and 137 non-pseudo-labeled data.

Intent tags distribution of the final version obtained is shown in Table 5. We can see that an imbalanced effect, already observed in our annotated data used for tri-training in Table 2, is still there.
measure (or F1 score) are evaluated on the test set presented in Table 2. Those performances are calculated on the ensemble of predictions from the triad of models.

### 3.1.3. Evaluation

Results of our experiments are shown in Table 3. Most experiences stopped after 3 or 4 episodes of tri-training. Triads using the CamemBERT model get better results than triads using FrALBERT. They outperformed them by 7.17 points on the EMR and 5.09 points on the F-measure. They also have less variability in their results, with a standard deviation oscillating between 0.33 to 0.70 on the different metrics against 0.81 to 1.62 for FrALBERT.

<table><thead><tr><th>Transformer</th><th>EMR</th><th>Pre.</th><th>Rec.</th><th>F1</th></tr></thead><tbody><tr><td rowspan="2">CamemBERT</td><td>92.09</td><td>95.29</td><td>93.48</td><td>93.73</td></tr><tr><td>±0.45</td><td>±0.70</td><td>±0.36</td><td>±0.33</td></tr><tr><td rowspan="2">FrALBERT</td><td>84.92</td><td>90.86</td><td>87.97</td><td>88.64</td></tr><tr><td>±1.62</td><td>±0.81</td><td>±1.44</td><td>±1.37</td></tr></tbody></table>

Table 3: Multi-label intent classification performances with tri-training algorithm using a portion of MEDIA dataset. Results are obtained on all predictions of the triad. The mean and standard deviation error on five seeds are presented for each type of Transformer used. For precision (Pre.), recall (Rec.), and F-measure (F1), values are sample-averaged.

Following those results, we looked deeper into the performances of our best CamemBERT-based triad of models, which are presented in Table 4. This triad will be kept to annotate the MEDIA dataset with intents automatically. The triad obtains an EMR of 92.51 and a sample-averaged F-measure of 93.85. Looking at the performance of macro F-measure, it drops to 58.99. This macro F-measure seems strongly influenced by an important proportion of false negatives in some labels, with a macro recall of 60.98. In contrast, false positives are scarce, with a macro precision of 93.77. Those false negatives mainly concern tags with few examples in our test set presented in Table 2 as they don't affect the sample average of recall and F-measure as much.

### 3.1.4. Discussion, Annotations, And Corrections

Some changes could have been considered to improve our tri-training system. For example, using another metric than EMR to perform early stopping, such as macro or weighted F-measure, or a system considering concept labels. However, we didn't explore those possibilities as we didn't know if the performances on our test set were representative

of the corrections needed to obtain a whole corpus accurately annotated with intents.

This work still represents a first approach towards using a tri-training algorithm with Transformers-based classifiers to annotate a dataset, though improvements could be applied.

<table><thead><tr><th>Metric</th><th>Average</th><th>Value</th></tr></thead><tbody><tr><td>EMR</td><td></td><td>92.51</td></tr><tr><td rowspan="2">Precision</td><td>sample</td><td>95.19</td></tr><tr><td>macro</td><td>93.77</td></tr><tr><td rowspan="2">Recall</td><td>sample</td><td>93.85</td></tr><tr><td>macro</td><td>60.98</td></tr><tr><td rowspan="2">F1</td><td>sample</td><td>93.85</td></tr><tr><td>macro</td><td>58.99</td></tr></tbody></table>

Table 4: Multi-label intent classification performances on all predictions of our best triad of models kept to annotate the MEDIA dataset with intents. This triad uses a pre-trained CamemBERT-base-Wikipedia-4GB model.

<table><thead><tr><th>Set</th><th>Train</th><th>Dev</th><th>Test</th><th>Total</th></tr></thead><tbody><tr><td>cancellation</td><td>32</td><td>1</td><td>15</td><td>48</td></tr><tr><td>incomprehension</td><td>273</td><td>30</td><td>94</td><td>397</td></tr><tr><td>discourse marker</td><td>282</td><td>40</td><td>113</td><td>435</td></tr><tr><td>modification</td><td>115</td><td>10</td><td>31</td><td>156</td></tr><tr><td>thanking</td><td>713</td><td>100</td><td>200</td><td>1013</td></tr><tr><td>information</td><td>1611</td><td>159</td><td>401</td><td>2171</td></tr><tr><td>affirmative answer</td><td>4325</td><td>419</td><td>1190</td><td>5934</td></tr><tr><td>indecisive answer</td><td>37</td><td>5</td><td>9</td><td>51</td></tr><tr><td>negative answer</td><td>1315</td><td>88</td><td>344</td><td>1747</td></tr><tr><td>booking</td><td>5437</td><td>522</td><td>1410</td><td>7369</td></tr><tr><td>greeting</td><td>717</td><td>101</td><td>206</td><td>1024</td></tr></tbody></table>

Table 5: Intent tags distribution in the preliminary version of the MEDIA dataset annotated with intents. Intent combinations are not shown.

Since our goal was to simplify annotator works, we kept the pseudo-labels for which our best triad obtained consensus. Sometimes, different consensus could be obtained at various episodes for the same utterance, meaning that one sentence could have more than one set of pseudo-labels. For those cases, one of the sets of labels was randomly chosen. For each combination of pseudo-labels, corresponding utterances were presented to the annotator, which had to invalidate erroneous intents. Utterances with none or erroneous pseudo-labels were re-annotated. There were 3122 fully or partially erroneous intents (19.51% of the 16005 pseudo-labeled data) and 137 non-pseudo-labeled data.

Intent tags distribution of the final version obtained is shown in Table 5. We can see that an imbalanced effect, already observed in our annotated data used for tri-training in Table 2, is still there.
## 3.2. Annotation Of The MEDIA 2022 Version

The MEDIA 2022 version was also annotated. For the Train, Dev, and Test sets, the methodology used differed from the one described in Section 3.1 as we already had the intents associated with each utterance. A matching on textual content of utterances was made to retrieve intents when possible. Manual annotations were necessary when sentence lengths differed, or truncated words were present. Concerning truncation and to reuse our example from Section 2: the term "merci" ("thanks") with only the first syllable audible is textually transcribed to "mer*" in the MEDIA 2022 version. It could correspond to the beginning of other words, like "mercredi" ("Wednesday"). Without the full word, the *thanking* intent may be ignored.

For the second test set (Test2), a similar methodology similar to Section 3.1 was used. To this purpose, the previously annotated MEDIA 2022 Train, Dev, and Test sets were used as such for the tri-training algorithm. A triad of classifiers reaching an EMR of 86.22% was kept. On the 4002 utterances composing the Test2 set, 56 were not *pseudo-labeled* by the best triad (1.40% of the 4002 data), while 289 intents among the *pseudo-labeled* were erroneous (7.22% of the 3946 *pseudo-labeled* data).

The annotation results in the enhanced MEDIA 2022 version show that the intents have an equivalent distribution between Train, Dev, Test, and Test2 datasets. The most common intent is *booking* followed by *affirmative_answer*, *information* and *negative_answer*. While the least common intent is *cancellation* followed by *indecisive_answer*.

# 4. Experiments On Manual Transcriptions

Using the enhanced MEDIA dataset, we present a baseline by training and evaluating models on manual transcriptions, performing the joint training of intent classification and slot-filling tasks.

## 4.1. Neural Architecture

The BERT model architecture for joint intent classification and slot-filling (Chen et al., 2019) is a modified version of a BERT model (Devlin et al., 2019). It uses Softmax activation functions to determine the intent and slots of each utterance. For intent classification, the final hidden state of the [CLS] token is fed to a Softmax layer. For slot-filling, the final state of each first sub-token of a word is provided to a Softmax layer to determine which concept can be associated with the word. The model is fine-tuned by optimizing the sum of cross-entropy losses for both tasks.

We modified this architecture to perform a multi-label intent classification instead of a multi-class classification and keep the slot-filling part, using a Sigmoid layer and a threshold value of 0.5. The probability $P_i$ for an input to be associated with an intent $i$ passing $h_{[CLS]}$, the Transformer's last hidden state for [CLS] token, to a layer of weight $W^i$ and bias $b^i$ is defined as: $P_i = sigmoid(W^i h_{[CLS]} + b^i) > 0.5$. A binary cross-entropy loss replaces the cross-entropy loss previously used for intent classification. The model is fine-tuned on the sum of the binary and non-binary cross-entropy losses for intent classification and slot-filling, respectively.

## 4.2. Experimental Protocol

For the slot-filling task, we used a BIO-tagging format. Performances are evaluated in terms of micro F-measure, commonly used for joint models (Weld et al., 2022), and Concept Error Rate (CER), the official metric used in the MEDIA campaign (Bonneau-Maynard et al., 2006). For later comparison with experiences on Automatic Speech Recognition (ASR) outputs, we follow the micro F-measure calculated on multi-hot vectors of concepts present in expected and predicted annotations.

For intent classification, when there are multiple intents, we concatenate them using pound marks (#). In most joint models, this task's performance is evaluated using the accuracy (Weld et al., 2022). As we use a multi-label classification system, the accuracy as proposed by Godbole and Sarawagi (2004) and EMR were evaluated.

The sentence-level semantic frame accuracy (SFA) - corresponding to the number of utterances with perfectly predicted intent and slots divided by the number of sentences - commonly used for joint models (Weld et al., 2022), is also evaluated.

We replaced the BERT model with French models. We choose CamemBERT base trained on 135 GB of text from CCNET (CamemBERT-base-CCNET<fnref n="4" />) (Martin et al., 2020) as well as the previously used CamemBERT-base-Wikipedia-4GB and FrALBERT-base. Those models demonstrated state-of-the-art, or close to, results on slot-filling using MEDIA manual transcriptions (Ghannay et al., 2020; Cattan et al., 2022). We also choose a French BERT model, FlaubERT, fine-tuned for a few epochs on ASR data (FlaubERT-oral-ft⁵) (Hervé et al., 2022) which demonstrated close to state-of-the-art performances on MEDIA ASR outputs (Pelloin et al., 2022).

Following Cattan et al. (2022) study, we used a population-based training (PBT) algorithm (Jader-

<footnote n="4">⁴https://huggingface.co/camembert/camembert-base-ccnet
⁵https://huggingface.co/nherve/flaubert-oral-ft</footnote>
## 3.2. Annotation Of The MEDIA 2022 Version

The MEDIA 2022 version was also annotated. For the Train, Dev, and Test sets, the methodology used differed from the one described in Section 3.1 as we already had the intents associated with each utterance. A matching on textual content of utterances was made to retrieve intents when possible. Manual annotations were necessary when sentence lengths differed, or truncated words were present. Concerning truncation and to reuse our example from Section 2: the term "merci" ("thanks") with only the first syllable audible is textually transcribed to "mer*" in the MEDIA 2022 version. It could correspond to the beginning of other words, like "mercredi" ("Wednesday"). Without the full word, the *thanking* intent may be ignored.

For the second test set (Test2), a similar methodology similar to Section 3.1 was used. To this purpose, the previously annotated MEDIA 2022 Train, Dev, and Test sets were used as such for the tri-training algorithm. A triad of classifiers reaching an EMR of 86.22% was kept. On the 4002 utterances composing the Test2 set, 56 were not pseudo-labeled by the best triad (1.40% of the 4002 data), while 289 intents among the pseudo-labeled were erroneous (7.22% of the 3946 pseudo-labeled data).

The annotation results in the enhanced MEDIA 2022 version show that the intents have an equivalent distribution between Train, Dev, Test, and Test2 datasets. The most common intent is *booking* followed by *affirmative_answer*, *information* and *negative_answer*. While the least common intent is *cancellation* followed by *indecisive_answer*.

# 4. Experiments On Manual Transcriptions

Using the enhanced MEDIA dataset, we present a baseline by training and evaluating models on manual transcriptions, performing the joint training of intent classification and slot-filling tasks.

## 4.1. Neural Architecture

The BERT model architecture for joint intent classification and slot-filling (Chen et al., 2019) is a modified version of a BERT model (Devlin et al., 2019). It uses Softmax activation functions to determine the intent and slots of each utterance. For intent classification, the final hidden state of the [CLS] token is fed to a Softmax layer. For slot-filling, the final state of each first sub-token of a word is provided to a Softmax layer to determine which concept can be associated with the word. The model is fine-tuned by optimizing the sum of cross-entropy losses for both tasks.

We modified this architecture to perform a multi-label intent classification instead of a multi-class classification and keep the slot-filling part, using a Sigmoid layer and a threshold value of 0.5. The probability $P_i$ for an input to be associated with an intent $i$ passing $h_{[CLS]}$, the Transformer's last hidden state for [CLS] token, to a layer of weight $W^i$ and bias $b^i$ is defined as: $P_i = sigmoid(W^i h_{[CLS]} + b^i) > 0.5$. A binary cross-entropy loss replaces the cross-entropy loss previously used for intent classification. The model is fine-tuned on the sum of the binary and non-binary cross-entropy losses for intent classification and slot-filling, respectively.

## 4.2. Experimental Protocol

For the slot-filling task, we used a BIO-tagging format. Performances are evaluated in terms of micro F-measure, commonly used for joint models (Weld et al., 2022), and Concept Error Rate (CER), the official metric used in the MEDIA campaign (Bonneau-Maynard et al., 2006). For later comparison with experiences on Automatic Speech Recognition (ASR) outputs, we follow the micro F-measure calculated on multi-hot vectors of concepts present in expected and predicted annotations.

For intent classification, when there are multiple intents, we concatenate them using pound marks (#). In most joint models, this task's performance is evaluated using the accuracy (Weld et al., 2022). As we use a multi-label classification system, the accuracy as proposed by Godbole and Sarawagi (2004) and EMR were evaluated.

The sentence-level semantic frame accuracy (SFA) - corresponding to the number of utterances with perfectly predicted intent and slots divided by the number of sentences - commonly used for joint models (Weld et al., 2022), is also evaluated.

We replaced the BERT model with French models. We choose CamemBERT base trained on 135 GB of text from CCNET (CamemBERT-base-CCNET<fnref n="4" />) (Martin et al., 2020) as well as the previously used CamemBERT-base-Wikipedia-4GB and FrALBERT-base. Those models demonstrated state-of-the-art, or close to, results on slot-filling using MEDIA manual transcriptions (Ghannay et al., 2020; Cattan et al., 2022). We also choose a French BERT model, FlaubERT, fine-tuned for a few epochs on ASR data (FlaubERT-oral-ft⁵) (Hervé et al., 2022) which demonstrated close to state-of-the-art performances on MEDIA ASR outputs (Pelloin et al., 2022).

Following Cattan et al. (2022) study, we used a population-based training (PBT) algorithm (Jader-

<footnote n="4">⁴https://huggingface.co/camembert/camembert-base-ccnet
⁵https://huggingface.co/nherve/flaubert-oral-ft</footnote>
berg et al., 2017) to explore hyperparameters. We considered a number of training epochs between 5 and 100, a batch size in the interval of 8 and 32, and a learning rate ranging between 1 and 5e-5. To select the best trial among a population with PBT, the algorithm uses the mean value of slot-filling F-measure summed with intent classification accuracy. For the MEDIA 2022 version, we evaluated our performances only on the first Test dataset.

## 4.3. Results on manual transcriptions

Performances on original relax, MEDIA 2022 relax, and MEDIA 2022 full versions of the MEDIA dataset are displayed in Table 6.

On the original relax version, CamemBERT-base-Wikipedia-4GB obtains the best results on intent classification with an accuracy of 93.98 and an intent EMR of 91.84. On slot-filling, CamemBERT-base-CCNET get the best results with an F-measure of 88.52 and a CER of 8.68, reaching a SFA of 76.26. On the MEDIA 2022 relax version, CamemBERT-base-CCNET performs the best on intent EMR with 89.78. But for intent accuracy and slot-filling, FlauBERT-oral-ft obtains the best results with 92.10 of intent accuracy, 87.75 of slot-filling F-measure, 9.18 of CER, reaching an SFA of 73.29. On the MEDIA 2022 full version, FlauBERT-oral-ft obtains the best results on intent classification with an accuracy of 92.31 and an EMR of 89.97. CamemBERT-base-CCNET intent classification performances are close, and its slot-filling performances are the highest, with an F-measure of 85.33 and a CER of 11.61. But for the SFA, CamemBERT-base-Wikipedia-4GB performs slightly better than the rest with 72.15.

Looking at multi-hot concept vectors F-measure, results are logically better than slot-filling F-measure. This metric is, however, only present for later comparison with experiments using ASR outputs.

Concerning concept annotation versions, we can logically observe that models perform better on the relax version than the full version for the task of slot-filling. For example, there is a difference of 2.42 points of F-measure between the best results obtained on MEDIA 2022 relax and full version, in favor of the relax version. More surprisingly, all models perform better on both tasks with the original relax than on the MEDIA 2022 relax version. This could be explained by truncated words in the latter, making it more difficult to recognize semantic concepts and intents.

Comparing our work to previous studies, we cannot reach the best CER result obtained on the original MEDIA relax version by Ghannay et al. (2020) with a value of 7.56 for CamemBERT-base-CCNET. We are also behind Cattan et al. (2022) results with F-measures of 89.9, 90.0, and 89.8 as well as

CERs of 7.5, 8.4 and 8.6 for CamemBERT-base-CCNET, CamemBERT-base-Wikipedia-4GB and FrALBERT-base respectively. Though our architectures - and training conditions for Cattan et al. (2022) - are close, this can be explained by using a training objective considering intent classification and slot-filling in this work, making our training less focused on the slot-filling task.

# 5. SLU Experiments

Using the enhanced MEDIA dataset, we present baselines of SLU performances for cascade and end-to-end systems, performing the joint training of intent classification and slot-filling tasks. We evaluate both approaches' performances using the previous metrics followed in section 4.2, except for slot-filling F-measure.

## 5.1. Cascade

The cascaded approach consists of using two components to solve specific problems separately. First, an ASR system maps speech signals to automatic transcriptions. This is then passed on to the joint model presented in section 4.1, which predicts semantic information (slots and intents) from the automatic transcriptions. The ASR model used for the cascade approach is made of the LeBenchmark FR 3k large (Evain et al., 2021) speech encoder, followed by 3 bi-LSTM layers plus one linear layer of 1024 neurons. Both speech encoder and Bi-LSTM layers are updated with an Adam optimizer of 0.0001 learning-rate, while the linear output layer uses an Adadelta optimizer of 1.0 learning-rate. The Connectionist Temporal Classification (CTC) greedy loss function is optimized for 100 epochs, aiming for the best Word Error Rate (WER) possible, as we obtained 9.49% of WER on MEDIA 2022 and 10.51% of WER on MEDIA original dataset with our system.

Cascade system results are shown in Table 7. On the original relax version, results tend to follow the ones in Section 4.3 with CamemBERT-base-Wikipedia-4GB reaching the best intent accuracy (92.43) and CamemBERT-base-CCNET reaching the best multi-hot concept vectors F-measure (93.82). On MEDIA 2022 relax version, FlauBERT-oral-ft reaches the best results for intent accuracy with 90.40, slot-filling multi-hot F-measure with 93.40, CER with 11.93 and SFA with 64.96. On intent EMR, CamemBERT-base-CCNET performs slightly better with 88.00. On MEDIA 2022 full version, CamemBERT-base-CCNET performs better than other models with an intent accuracy of 90.86, an intent EMR of 88.29, a slot-filling multi-hot F-measure of 91.06 and a CER of 14.18. It reaches 64.14 of SFA. Though FlauBERT-oral-ft was specified
berg et al., 2017) to explore hyperparameters. We considered a number of training epochs between 5 and 100, a batch size in the interval of 8 and 32, and a learning rate ranging between 1 and 5e-5. To select the best trial among a population with PBT, the algorithm uses the mean value of slot-filling F-measure summed with intent classification accuracy. For the MEDIA 2022 version, we evaluated our performances only on the first Test dataset.

## 4.3. Results on manual transcriptions

Performances on original relax, MEDIA 2022 relax, and MEDIA 2022 full versions of the MEDIA dataset are displayed in Table 6.

On the original relax version, CamemBERT-base-Wikipedia-4GB obtains the best results on intent classification with an accuracy of 93.98 and an intent EMR of 91.84. On slot-filling, CamemBERT-base-CCNET get the best results with an F-measure of 88.52 and a CER of 8.68, reaching a SFA of 76.26. On the MEDIA 2022 relax version, CamemBERT-base-CCNET performs the best on intent EMR with 89.78. But for intent accuracy and slot-filling, FlauBERT-oral-ft obtains the best results with 92.10 of intent accuracy, 87.75 of slot-filling F-measure, 9.18 of CER, reaching an SFA of 73.29. On the MEDIA 2022 full version, FlauBERT-oral-ft obtains the best results on intent classification with an accuracy of 92.31 and an EMR of 89.97. CamemBERT-base-CCNET intent classification performances are close, and its slot-filling performances are the highest, with an F-measure of 85.33 and a CER of 11.61. But for the SFA, CamemBERT-base-Wikipedia-4GB performs slightly better than the rest with 72.15.

Looking at multi-hot concept vectors F-measure, results are logically better than slot-filling F-measure. This metric is, however, only present for later comparison with experiments using ASR outputs.

Concerning concept annotation versions, we can logically observe that models perform better on the relax version than the full version for the task of slot-filling. For example, there is a difference of 2.42 points of F-measure between the best results obtained on MEDIA 2022 relax and full version, in favor of the relax version. More surprisingly, all models perform better on both tasks with the original relax than on the MEDIA 2022 relax version. This could be explained by truncated words in the latter, making it more difficult to recognize semantic concepts and intents.

Comparing our work to previous studies, we cannot reach the best CER result obtained on the original MEDIA relax version by Ghannay et al. (2020) with a value of 7.56 for CamemBERT-base-CCNET. We are also behind Cattan et al. (2022) results with F-measures of 89.9, 90.0, and 89.8 as well as

CERs of 7.5, 8.4 and 8.6 for CamemBERT-base-CCNET, CamemBERT-base-Wikipedia-4GB and FrALBERT-base respectively. Though our architectures - and training conditions for Cattan et al. (2022) - are close, this can be explained by using a training objective considering intent classification and slot-filling in this work, making our training less focused on the slot-filling task.

# 5. SLU Experiments

Using the enhanced MEDIA dataset, we present baselines of SLU performances for cascade and end-to-end systems, performing the joint training of intent classification and slot-filling tasks. We evaluate both approaches' performances using the previous metrics followed in section 4.2, except for slot-filling F-measure.

## 5.1. Cascade

The cascaded approach consists of using two components to solve specific problems separately. First, an ASR system maps speech signals to automatic transcriptions. This is then passed on to the joint model presented in section 4.1, which predicts semantic information (slots and intents) from the automatic transcriptions. The ASR model used for the cascade approach is made of the LeBenchmark FR 3k large (Evain et al., 2021) speech encoder, followed by 3 bi-LSTM layers plus one linear layer of 1024 neurons. Both speech encoder and Bi-LSTM layers are updated with an Adam optimizer of 0.0001 learning-rate, while the linear output layer uses an Adadelta optimizer of 1.0 learning-rate. The Connectionist Temporal Classification (CTC) greedy loss function is optimized for 100 epochs, aiming for the best Word Error Rate (WER) possible, as we obtained 9.49% of WER on MEDIA 2022 and 10.51% of WER on MEDIA original dataset with our system.

Cascade system results are shown in Table 7. On the original relax version, results tend to follow the ones in Section 4.3 with CamemBERT-base-Wikipedia-4GB reaching the best intent accuracy (92.43) and CamemBERT-base-CCNET reaching the best multi-hot concept vectors F-measure (93.82). On MEDIA 2022 relax version, FlauBERT-oral-ft reaches the best results for intent accuracy with 90.40, slot-filling multi-hot F-measure with 93.40, CER with 11.93 and SFA with 64.96. On intent EMR, CamemBERT-base-CCNET performs slightly better with 88.00. On MEDIA 2022 full version, CamemBERT-base-CCNET performs better than other models with an intent accuracy of 90.86, an intent EMR of 88.29, a slot-filling multi-hot F-measure of 91.06 and a CER of 14.18. It reaches 64.14 of SFA. Though FlauBERT-oral-ft was specified
<table><caption>Table 6: Best model performances with population-based training on different versions of the MEDIA test dataset manual transcriptions. Performances are evaluated with accuracy (Acc.) and EMR for intent classification. For slot-filling, performances are given in terms of F-measure (F1), F-measure on concepts multi-hot vectors (F1mh) and CER. The SFA is also evaluated.</caption><thead><tr><th rowspan="2">Model</th><th colspan="2">Intent</th><th colspan="4">Slot-filling</th></tr><tr><th>Acc.</th><th>EMR</th><th>F1</th><th>F1mh</th><th>CER</th><th>SFA</th></tr></thead><tbody><tr><td colspan="7"><strong>MEDIA original, relax</strong></td></tr><tr><td>CamemBERT-base-CCNET</td><td>93.87</td><td>91.79</td><td>88.52</td><td><strong>95.97</strong></td><td>8.68</td><td><strong>76.26</strong></td></tr><tr><td>Ghannay et al. (2020)</td><td></td><td></td><td>89.37</td><td></td><td><strong>7.56</strong></td><td></td></tr><tr><td>Cattan et al. (2022)</td><td></td><td></td><td>89.9</td><td></td><td>7.5</td><td></td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td><strong>93.98</strong></td><td><strong>91.84</strong></td><td>87.93</td><td>95.41</td><td>9.34</td><td>75.58</td></tr><tr><td>Cattan et al. (2022)</td><td></td><td></td><td><strong>90.0</strong></td><td></td><td>8.4</td><td></td></tr><tr><td>FlaubERT-oral-ft</td><td>93.66</td><td>91.19</td><td>87.93</td><td>95.63</td><td>8.95</td><td>76.04</td></tr><tr><td>FrALBERT-base</td><td>92.27</td><td>89.88</td><td>84.24</td><td>93.66</td><td>13.14</td><td>72.12</td></tr><tr><td>Cattan et al. (2022)</td><td></td><td></td><td>89.8</td><td></td><td>8.4</td><td></td></tr><tr><td colspan="7"><strong>MEDIA 2022, relax</strong></td></tr><tr><td>CamemBERT-base-CCNET</td><td>91.87</td><td><strong>89.78</strong></td><td>86.95</td><td>94.66</td><td>10.33</td><td>72.68</td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td>91.25</td><td>88.66</td><td>86.88</td><td>94.88</td><td>10.24</td><td>72.60</td></tr><tr><td>FlaubERT-oral-ft</td><td><strong>92.10</strong></td><td>89.73</td><td><strong>87.75</strong></td><td><strong>95.41</strong></td><td><strong>9.18</strong></td><td><strong>73.29</strong></td></tr><tr><td>FrALBERT-base</td><td>90.71</td><td>88.37</td><td>82.48</td><td>92.94</td><td>14.71</td><td>69.18</td></tr><tr><td colspan="7"><strong>MEDIA 2022, full</strong></td></tr><tr><td>CamemBERT-base-CCNET</td><td>92.28</td><td>89.73</td><td><strong>85.33</strong></td><td><strong>92.87</strong></td><td><strong>11.61</strong></td><td>72.13</td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td>91.81</td><td>89.25</td><td>85.24</td><td>92.42</td><td>12.11</td><td><strong>72.15</strong></td></tr><tr><td>FlaubERT-oral-ft</td><td><strong>92.31</strong></td><td><strong>89.97</strong></td><td>84.26</td><td>92.34</td><td>12.68</td><td>71.54</td></tr><tr><td>FrALBERT-base</td><td>90.64</td><td>88.29</td><td>80.10</td><td>90.38</td><td>17.40</td><td>68.04</td></tr></tbody></table>

cally fine-tuned on ASR outputs, this doesn't confer an absolute advantage in this cascade system.

## 5.2. End-to-end

The end-to-end system aims to develop a single system directly optimized to extract semantic information from speech without using intermediate speech transcriptions. Our end-to-end model consists of a fine-tuned speech encoder (original SAMU-XLSR (Khurana et al., 2022), specialized SAMU-XLSR<sub>IT⊕FR</sub> (Laperrière et al., 2023) leading to the best results for MEDIA 2022, or LeBenchmark FR 3k large), followed by two different decoding blocks of 3 bi-LSTM layers of 1024 neurons, here for segments contextualization. Each is followed by a fully connected layer of the same dimension, activated with LeakyReLU and a Softmax function. One branch is optimized to yield the inputs of the audio segments, while the other performs the original slot-filling task of MEDIA. We optimized our CTC greedy loss functions on 100 epochs with the same optimizers used in the cascade approach, apart from the linear layer of the intent classification optimizer, which has its learning rate set to 0.1. The sum of both losses is defined as $loss = \frac{1}{4} * lossintent) + loss(

load checkpoints from our best CER with no significant intent accuracy deterioration.

Experiments showed that the CER significantly worsened when its decoding weights were also being updated for the intent task. We also tried out different learning rates for our optimizers and different loss ratios and metric-based checkpoints.

Table 8 gives the results on intent classification and slot-filling tasks with this end-to-end architecture and different speech encoders. Considering only our end-to-end models, we obtained the state-of-the-art results on MEDIA 2022 full slot-filling task with 18.30% of CER, besides the margin with Laperrière et al. (2023) 18.5% CER not being significant, a difference of 0.8 points of CER being necessary for it to be relevant. To our knowledge, CERs for the MEDIA task are degraded when using an end-to-end architecture compared to a cascade one. However, this is not the case for intent classification, as shown by the best accuracy scores and EMRs obtained with those systems for all datasets, an exception remaining in the 0.4% improvement of MEDIA original's best accuracy score with a cascade approach. The gap between Table 8 and Table 7 intent classification results might, however, not be impactful enough, considering the results obtained for the joint slot-filling task, leading to globally better cascade results. At last, we can affirm a better joint optimization on both tasks with a largely better SFA score for each MEDIA version with our end-to-end models.
<table><caption>Table 6: Best model performances with population-based training on different versions of the MEDIA test dataset manual transcriptions. Performances are evaluated with accuracy (Acc.) and EMR for intent classification. For slot-filling, performances are given in terms of F-measure (F1), F-measure on concepts multi-hot vectors (F1mh) and CER. The SFA is also evaluated.</caption><thead><tr><th rowspan="2">Model</th><th colspan="2">Intent</th><th colspan="4">Slot-filling</th></tr><tr><th>Acc.</th><th>EMR</th><th>F1</th><th>F1mh</th><th>CER</th><th>SFA</th></tr></thead><tbody><tr><td colspan="7"><strong>MEDIA original, relax</strong></td></tr><tr><td>CamemBERT-base-CCNET</td><td>93.87</td><td>91.79</td><td>88.52</td><td><strong>95.97</strong></td><td>8.68</td><td><strong>76.26</strong></td></tr><tr><td>Ghannay et al. (2020)</td><td></td><td></td><td>89.37</td><td></td><td><strong>7.56</strong></td><td></td></tr><tr><td>Cattan et al. (2022)</td><td></td><td></td><td>89.9</td><td></td><td>7.5</td><td></td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td><strong>93.98</strong></td><td><strong>91.84</strong></td><td>87.93</td><td>95.41</td><td>9.34</td><td>75.58</td></tr><tr><td>Cattan et al. (2022)</td><td></td><td></td><td><strong>90.0</strong></td><td></td><td>8.4</td><td></td></tr><tr><td>FlaubERT-oral-ft</td><td>93.66</td><td>91.19</td><td>87.93</td><td>95.63</td><td>8.95</td><td>76.04</td></tr><tr><td>FrALBERT-base</td><td>92.27</td><td>89.88</td><td>84.24</td><td>93.66</td><td>13.14</td><td>72.12</td></tr><tr><td>Cattan et al. (2022)</td><td></td><td></td><td>89.8</td><td></td><td>8.4</td><td></td></tr><tr><td colspan="7"><strong>MEDIA 2022, relax</strong></td></tr><tr><td>CamemBERT-base-CCNET</td><td>91.87</td><td><strong>89.78</strong></td><td>86.95</td><td>94.66</td><td>10.33</td><td>72.68</td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td>91.25</td><td>88.66</td><td>86.88</td><td>94.88</td><td>10.24</td><td>72.60</td></tr><tr><td>FlaubERT-oral-ft</td><td><strong>92.10</strong></td><td>89.73</td><td><strong>87.75</strong></td><td><strong>95.41</strong></td><td><strong>9.18</strong></td><td><strong>73.29</strong></td></tr><tr><td>FrALBERT-base</td><td>90.71</td><td>88.37</td><td>82.48</td><td>92.94</td><td>14.71</td><td>69.18</td></tr><tr><td colspan="7"><strong>MEDIA 2022, full</strong></td></tr><tr><td>CamemBERT-base-CCNET</td><td>92.28</td><td>89.73</td><td><strong>85.33</strong></td><td><strong>92.87</strong></td><td><strong>11.61</strong></td><td>72.13</td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td>91.81</td><td>89.25</td><td>85.24</td><td>92.42</td><td>12.11</td><td><strong>72.15</strong></td></tr><tr><td>FlaubERT-oral-ft</td><td><strong>92.31</strong></td><td><strong>89.97</strong></td><td>84.26</td><td>92.34</td><td>12.68</td><td>71.54</td></tr><tr><td>FrALBERT-base</td><td>90.64</td><td>88.29</td><td>80.10</td><td>90.38</td><td>17.40</td><td>68.04</td></tr></tbody></table>

cally fine-tuned on ASR outputs, this doesn't confer an absolute advantage in this cascade system.

## 5.2. End-to-end

The end-to-end system aims to develop a single system directly optimized to extract semantic information from speech without using intermediate speech transcriptions. Our end-to-end model consists of a fine-tuned speech encoder (original SAMU-XLSR (Khurana et al., 2022), specialized SAMU-XLSR<sub>IT⊕FR</sub> (Laperrière et al., 2023) leading to the best results for MEDIA 2022, or LeBenchmark FR 3k large), followed by two different decoding blocks of 3 bi-LSTM layers of 1024 neurons, here for segments contextualization. Each is followed by a fully connected layer of the same dimension, activated with LeakyReLU and a Softmax function. One branch is optimized to yield the inputs of the audio segments, while the other performs the original slot-filling task of MEDIA. We optimized our CTC greedy loss functions on 100 epochs with the same optimizers used in the cascade approach, apart from the linear layer of the intent classification optimizer, which has its learning rate set to 0.1. The sum of both losses is defined as $loss = \frac{1}{4} * lossintent) + loss(

load checkpoints from our best CER with no significant intent accuracy deterioration.

Experiments showed that the CER significantly worsened when its decoding weights were also being updated for the intent task. We also tried out different learning rates for our optimizers and different loss ratios and metric-based checkpoints.

Table 8 gives the results on intent classification and slot-filling tasks with this end-to-end architecture and different speech encoders. Considering only our end-to-end models, we obtained the state-of-the-art results on MEDIA 2022 full slot-filling task with 18.30% of CER, besides the margin with Laperrière et al. (2023) 18.5% CER not being significant, a difference of 0.8 points of CER being necessary for it to be relevant. To our knowledge, CERs for the MEDIA task are degraded when using an end-to-end architecture compared to a cascade one. However, this is not the case for intent classification, as shown by the best accuracy scores and EMRs obtained with those systems for all datasets, an exception remaining in the 0.4% improvement of MEDIA original's best accuracy score with a cascade approach. The gap between Table 8 and Table 7 intent classification results might, however, not be impactful enough, considering the results obtained for the joint slot-filling task, leading to globally better cascade results. At last, we can affirm a better joint optimization on both tasks with a largely better SFA score for each MEDIA version with our end-to-end models.
<table><caption>Table 7: Cascade results for MEDIA datasets using a LeBenchmark FR 3k large speech encoder and different Transformer-based models with joint architecture. Performances are evaluated with accuracy and EMR for intent classification. For slot-filling, performances are given in terms of F-measure on multi-hot concept vectors (F1-micro) and CER. The SFA is also evaluated.</caption><thead><tr><th rowspan="2">Model</th><th colspan="2">Intent</th><th colspan="2">Slot-filling</th><th rowspan="2">SFA</th></tr><tr><th>Accuracy</th><th>EMR</th><th>F1mh</th><th>CER</th></tr></thead><tbody><tr><td colspan="6"><strong>MEDIA original, relax</strong></td></tr><tr><td>CamemBERT-base-CCNET<br><i>Ghannay et al. (2021)</i></td><td>92.07</td><td>89.82</td><td><strong>93.82</strong></td><td>13.93</td><td><strong>65.69</strong></td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td><strong>92.43</strong></td><td><strong>90.08</strong></td><td>93.29</td><td>15.03</td><td>65.49</td></tr><tr><td>FlaubERT-oral-ft<br><i>Pelloin et al. (2022)</i></td><td>92.28</td><td>89.77</td><td>93.12</td><td>14.19</td><td>65.55</td></tr><tr><td>FrALBERT-base</td><td>90.81</td><td>88.18</td><td>91.14</td><td>19.97</td><td>62.91</td></tr><tr><td colspan="6"><strong>MEDIA 2022, relax</strong></td></tr><tr><td>CamemBERT-base-CCNET</td><td>90.16</td><td><strong>88.00</strong></td><td>92.74</td><td>12.78</td><td>64.43</td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td>89.39</td><td>86.75</td><td>92.90</td><td>13.19</td><td>64.00</td></tr><tr><td>FlaubERT-oral-ft</td><td><strong>90.40</strong></td><td>87.95</td><td><strong>93.40</strong></td><td><strong>11.93</strong></td><td><strong>64.96</strong></td></tr><tr><td>FrALBERT-base</td><td>89.29</td><td>86.86</td><td>91.00</td><td>17.81</td><td>62.01</td></tr><tr><td colspan="6"><strong>MEDIA 2022, full</strong></td></tr><tr><td>CamemBERT-base-CCNET</td><td><strong>90.86</strong></td><td><strong>88.29</strong></td><td><strong>91.06</strong></td><td><strong>14.18</strong></td><td><strong>64.14</strong></td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td>90.62</td><td>88.13</td><td>90.60</td><td>15.19</td><td>63.66</td></tr><tr><td>FlaubERT-oral-ft</td><td>90.23</td><td>87.76</td><td>90.68</td><td>15.11</td><td>63.10</td></tr><tr><td>FrALBERT-base</td><td>88.89</td><td>86.25</td><td>88.22</td><td>20.16</td><td>61.24</td></tr></tbody></table>

<table><caption>Table 8: End-to-end results for MEDIA datasets with different speech encoders (SAMU-XLSR, SAMU-XLSR<sub>IT⊕FR</sub>, LeBenchmark FR 3K large) in terms of accuracy and EMR for intent classification, and F-measure on multi-hot concept vectors (F1mh) and CER for slot-filling. The SFA is also evaluated.</caption><thead><tr><th rowspan="2">Model</th><th colspan="2">Intent</th><th colspan="2">Slot-filling</th><th rowspan="2">SFA</th></tr><tr><th>Accuracy</th><th>EMR</th><th>F1mh</th><th>CER</th></tr></thead><tbody><tr><td colspan="6"><strong>MEDIA original, relax</strong></td></tr><tr><td>SAMU-XLSR</td><td><strong>92.02</strong></td><td><strong>90.14</strong></td><td>91.68</td><td>16.01</td><td>71.57</td></tr><tr><td>SAMU-XLSR <i>IT⊕FR</i></td><td>91.74</td><td>90.02</td><td><strong>92.35</strong></td><td>15.44</td><td><strong>72.51</strong></td></tr><tr><td>LeBenchmark FR 3k large<br><i>Pelloin et al. (2021)</i></td><td>91.75</td><td>89.91</td><td>91.98</td><td>15.51</td><td>71.12</td></tr><tr><td colspan="6"><strong>MEDIA 2022, relax</strong></td></tr><tr><td>SAMU-XLSR</td><td><strong>90.74</strong></td><td><strong>88.85</strong></td><td>90.01</td><td>15.28</td><td>68.50</td></tr><tr><td>SAMU-XLSR <i>IT⊕FR</i></td><td>90.53</td><td>88.64</td><td>90.65</td><td>15.16</td><td>70.83</td></tr><tr><td>LeBenchmark FR 3k large</td><td>90.18</td><td>87.98</td><td><strong>90.77</strong></td><td><strong>15.08</strong></td><td><strong>71.12</strong></td></tr><tr><td colspan="6"><strong>MEDIA 2022, full</strong></td></tr><tr><td>SAMU-XLSR</td><td>90.52</td><td>88.69</td><td>88.88</td><td>18.50</td><td>69.72</td></tr><tr><td>SAMU-XLSR <i>IT⊕FR</i></td><td><strong>90.98</strong></td><td><strong>88.93</strong></td><td><strong>89.14</strong></td><td><strong>18.30</strong></td><td><strong>70.63</strong></td></tr><tr><td>LeBenchmark FR 3k large<br><i>Laperrière et al. (2023)</i></td><td>90.07</td><td>88.02</td><td>87.99</td><td>19.67</td><td>69.06</td></tr></tbody></table>

## 6. Conclusion

In this paper, we present an enhanced version of the MEDIA benchmark dataset with intent annotations. We expect to broaden the use of this French dataset for more SLU tasks. We also present the first experimental results on this enhanced dataset using joint models for intent classification and slot-filling.

We presented different baseline systems for joint

intent classification and slot-filling applied, whether on manual transcriptions, automatic transcriptions (cascade), or speech signals (end-to-end). Experimental results on manual and automatic transcriptions could not reach the previous state-of-the-art results for the task of slot-filling but are still competitive. End-to-end models performing joint optimization seem to obtain better scores on both tasks than cascade models.
<table><caption>Table 7: Cascade results for MEDIA datasets using a LeBenchmark FR 3k large speech encoder and different Transformer-based models with joint architecture. Performances are evaluated with accuracy and EMR for intent classification. For slot-filling, performances are given in terms of F-measure on multi-hot concept vectors (F1-micro) and CER. The SFA is also evaluated.</caption><thead><tr><th rowspan="2">Model</th><th colspan="2">Intent</th><th colspan="2">Slot-filling</th><th rowspan="2">SFA</th></tr><tr><th>Accuracy</th><th>EMR</th><th>F1mh</th><th>CER</th></tr></thead><tbody><tr><td colspan="6"><strong>MEDIA original, relax</strong></td></tr><tr><td>CamemBERT-base-CCNET<br><a href="">Ghannay et al. (2021)</a></td><td>92.07</td><td>89.82</td><td><strong>93.82</strong></td><td>13.93</td><td><strong>65.69</strong></td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td><strong>92.43</strong></td><td><strong>90.08</strong></td><td>93.29</td><td>15.03</td><td>65.49</td></tr><tr><td>FlaubERT-oral-ft<br><a href="">Pelloin et al. (2022)</a></td><td>92.28</td><td>89.77</td><td>93.12</td><td>14.19</td><td>65.55</td></tr><tr><td>FrALBERT-base</td><td>90.81</td><td>88.18</td><td>91.14</td><td>19.97</td><td>62.91</td></tr><tr><td colspan="6"><strong>MEDIA 2022, relax</strong></td></tr><tr><td>CamemBERT-base-CCNET</td><td>90.16</td><td><strong>88.00</strong></td><td>92.74</td><td>12.78</td><td>64.43</td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td>89.39</td><td>86.75</td><td>92.90</td><td>13.19</td><td>64.00</td></tr><tr><td>FlaubERT-oral-ft</td><td><strong>90.40</strong></td><td>87.95</td><td><strong>93.40</strong></td><td><strong>11.93</strong></td><td><strong>64.96</strong></td></tr><tr><td>FrALBERT-base</td><td>89.29</td><td>86.86</td><td>91.00</td><td>17.81</td><td>62.01</td></tr><tr><td colspan="6"><strong>MEDIA 2022, full</strong></td></tr><tr><td>CamemBERT-base-CCNET</td><td><strong>90.86</strong></td><td><strong>88.29</strong></td><td><strong>91.06</strong></td><td><strong>14.18</strong></td><td><strong>64.14</strong></td></tr><tr><td>CamemBERT-base-Wikipedia-4GB</td><td>90.62</td><td>88.13</td><td>90.60</td><td>15.19</td><td>63.66</td></tr><tr><td>FlaubERT-oral-ft</td><td>90.23</td><td>87.76</td><td>90.68</td><td>15.11</td><td>63.10</td></tr><tr><td>FrALBERT-base</td><td>88.89</td><td>86.25</td><td>88.22</td><td>20.16</td><td>61.24</td></tr></tbody></table>

<table><caption>Table 8: End-to-end results for MEDIA datasets with different speech encoders (SAMU-XLSR, SAMU-XLSR<sub>IT⊕FR</sub>, LeBenchmark FR 3K large) in terms of accuracy and EMR for intent classification, and F-measure on multi-hot concept vectors (F1mh) and CER for slot-filling. The SFA is also evaluated.</caption><thead><tr><th rowspan="2">Model</th><th colspan="2">Intent</th><th colspan="2">Slot-filling</th><th rowspan="2">SFA</th></tr><tr><th>Accuracy</th><th>EMR</th><th>F1mh</th><th>CER</th></tr></thead><tbody><tr><td colspan="6"><strong>MEDIA original, relax</strong></td></tr><tr><td>SAMU-XLSR</td><td><strong>92.02</strong></td><td><strong>90.14</strong></td><td>91.68</td><td>16.01</td><td>71.57</td></tr><tr><td>SAMU-XLSR <i>IT⊕FR</i></td><td>91.74</td><td>90.02</td><td><strong>92.35</strong></td><td>15.44</td><td><strong>72.51</strong></td></tr><tr><td>LeBenchmark FR 3k large<br><a href="">Pelloin et al. (2021)</a></td><td>91.75</td><td>89.91</td><td>91.98</td><td>15.51</td><td>71.12</td></tr><tr><td colspan="6"><strong>MEDIA 2022, relax</strong></td></tr><tr><td>SAMU-XLSR</td><td><strong>90.74</strong></td><td><strong>88.85</strong></td><td>90.01</td><td>15.28</td><td>68.50</td></tr><tr><td>SAMU-XLSR <i>IT⊕FR</i></td><td>90.53</td><td>88.64</td><td>90.65</td><td>15.16</td><td>70.83</td></tr><tr><td>LeBenchmark FR 3k large</td><td>90.18</td><td>87.98</td><td><strong>90.77</strong></td><td><strong>15.08</strong></td><td><strong>71.12</strong></td></tr><tr><td colspan="6"><strong>MEDIA 2022, full</strong></td></tr><tr><td>SAMU-XLSR</td><td>90.52</td><td>88.69</td><td>88.88</td><td>18.50</td><td>69.72</td></tr><tr><td>SAMU-XLSR <i>IT⊕FR</i></td><td><strong>90.98</strong></td><td><strong>88.93</strong></td><td><strong>89.14</strong></td><td><strong>18.30</strong></td><td><strong>70.63</strong></td></tr><tr><td>LeBenchmark FR 3k large<br><a href="">Laperrière et al. (2023)</a></td><td>90.07</td><td>88.02</td><td>87.99</td><td>19.67</td><td>69.06</td></tr></tbody></table>

## 6. Conclusion

In this paper, we present an enhanced version of the MEDIA benchmark dataset with intent annotations. We expect to broaden the use of this French dataset for more SLU tasks. We also present the first experimental results on this enhanced dataset using joint models for intent classification and slot-filling.

We presented different baseline systems for joint

intent classification and slot-filling applied, whether on manual transcriptions, automatic transcriptions (cascade), or speech signals (end-to-end). Experimental results on manual and automatic transcriptions could not reach the previous state-of-the-art results for the task of slot-filling but are still competitive. End-to-end models performing joint optimization seem to obtain better scores on both tasks than cascade models.
## 7. Acknowledgements

This paper was partially funded by the European Commission through the HumanE-AI-Net project under grant number 952026 and by the *Multilingual SLU for Contextual Question Answering (MuSCQA)* project from "France Relance" of French government funded by French National Research Agency (ANR), grant number: ANR-21-PRRD-0001-01. This work was performed using HPC resources from GENCI-IDRIS (Grant 2023-A0131013834).

## 8. Limitations

This study has potential limitations. As intent annotations' were mainly made by only one annotator, no inter-annotator agreement (IAA) could be calculated. Other annotators should inspect the current version of intent annotations to reach an IAA. The annotator was a female engineer working at LISN whose first language was French.

## 9. Bibliographical References

Hélène Bonneau-Maynard, Christelle Ayache, Frédéric Bechet, Alexandre Denis, Anne Kuhn, Fabrice Lefevre, Djamel Mostefa, Matthieu Quignard, Sophie Rosset, Christophe Servan, and Jeanne Villaneau. 2006. Results of the French evalda-media evaluation campaign for literal understanding. In *Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06)*, Genoa, Italy. European Language Resources Association (ELRA).

Hélène Bonneau-Maynard, Sophie Rosset, Christelle Ayache, Anne Kuhn, and Djamel Mostefa. 2005. Semantic annotation of the French media dialog corpus. In *Proceedings Interspeech 2005*, pages 3457–3460.

Hugo Boulanger, Thomas Lavergne, and Sophie Rosset. 2022. Generating unlabelled data for a tri-training approach in a low resourced NER task. In *Proceedings of the Third Workshop on Deep Learning for Low-Resource Natural Language Processing*, pages 30–37, Hybrid. Association for Computational Linguistics.

Frédéric Béchet and Christian Raymond. 2019. Benchmarking Benchmarks: Introducing New Automatic Indicators for Benchmarking Spoken Language Understanding Corpora. In *Proceedings Interspeech 2019*, pages 4145–4149.

Giuseppe Castellucci, Valentina Bellomaria, Andrea Favalli, and Raniero Romagnoli. 2019. Multi-lingual intent detection and slot filling in a joint bert-based model. *ArXiv*, abs/1907.02884.

Oralie Cattan, Sahar Ghannay, Christophe Servan, and Sophie Rosset. 2022. Benchmarking Transformers-based models on French Spoken Language Understanding tasks. In *Proceedings Interspeech 2022*, pages 1238–1242.

Oralie Cattan, Christophe Servan, and Sophie Rosset. 2021. On the Usability of Transformers-based Models for a French Question-Answering Task. In *Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021)*, pages 244–255, Held Online. INCOMA Ltd.

Qian Chen, Zhu Zhuo, and Wen Wang. 2019. Bert for joint intent classification and slot filling. *ArXiv*, abs/1902.10909.

Yun-Nung Chen, Dilek Hakanni-Tür, Gokhan Tur, Asli Celikyilmaz, Jianfeng Guo, and Li Deng. 2016. Syntax or semantics? knowledge-guided joint semantic frame parsing. In *2016 IEEE Spoken Language Technology Workshop (SLT)*, pages 348–355.

Alice Coucke, Alaa Saade, Adrien Ball, Théodore Bluche, Alexandre Caulier, David Leroy, Clément Doumouro, Thibault Gisselbrecht, Francesco Caltagirone, Thibaut Lavril, Maël Primet, and Joseph Dureau. 2018. Snips Voice Platform: an embedded Spoken Language Understanding system for private-by-design voice interfaces. *ArXiv*, abs/1805.10190.

Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019)*, pages 4171–4186. Association for Computational Linguistics.

Solène Evain, Ha Nguyen, Hang Le, Marcely Zanon Boito, Salima Mdhaffar, Sina Alisamir, Ziyi Tong, Natalia A. Tomashenko, Marco Dinarelli, Titouan Parcollet, Alexandre Allauzen, Yannick Estève, Benjamin Lecouteux, François Portet, Solange Rossato, Fabien Ringeval, Didier Schwab, and Laurent Besacier. 2021. LeBenchmark: A reproducible framework for assessing self-supervised representation learning from speech. In *Interspeech*, pages 1439–1443.

Sahar Ghannay, Antoine Caubrière, Salima Mdhaffar, Gaëlle Laperrière, Bassam Jabaian, and Yannick Estève. 2021. Where are we in semantic concept extraction for Spoken Language Understanding? In *23rd International Conference on*
## 7. Acknowledgements

This paper was partially funded by the European Commission through the HumanE-AI-Net project under grant number 952026 and by the *Multilingual SLU for Contextual Question Answering (MuSCQA)* project from "France Relance" of French government funded by French National Research Agency (ANR), grant number: ANR-21-PRRD-0001-01. This work was performed using HPC resources from GENCI-IDRIS (Grant 2023-A0131013834).

## 8. Limitations

This study has potential limitations. As intent annotations' were mainly made by only one annotator, no inter-annotator agreement (IAA) could be calculated. Other annotators should inspect the current version of intent annotations to reach an IAA. The annotator was a female engineer working at LISN whose first language was French.

## 9. Bibliographical References

Hélène Bonneau-Maynard, Christelle Ayache, Frédéric Bechet, Alexandre Denis, Anne Kuhn, Fabrice Lefevre, Djamel Mostefa, Matthieu Quignard, Sophie Rosset, Christophe Servan, and Jeanne Villaneau. 2006. Results of the French evalda-media evaluation campaign for literal understanding. In *Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06)*, Genoa, Italy. European Language Resources Association (ELRA).

Hélène Bonneau-Maynard, Sophie Rosset, Christelle Ayache, Anne Kuhn, and Djamel Mostefa. 2005. Semantic annotation of the French media dialog corpus. In *Proceedings Interspeech 2005*, pages 3457–3460.

Hugo Boulanger, Thomas Lavergne, and Sophie Rosset. 2022. Generating unlabelled data for a tri-training approach in a low resourced NER task. In *Proceedings of the Third Workshop on Deep Learning for Low-Resource Natural Language Processing*, pages 30–37, Hybrid. Association for Computational Linguistics.

Frédéric Béchet and Christian Raymond. 2019. Benchmarking Benchmarks: Introducing New Automatic Indicators for Benchmarking Spoken Language Understanding Corpora. In *Proceedings Interspeech 2019*, pages 4145–4149.

Giuseppe Castellucci, Valentina Bellomaria, Andrea Favalli, and Raniero Romagnoli. 2019. Multi-lingual intent detection and slot filling in a joint bert-based model. *ArXiv*, abs/1907.02884.

Oralie Cattan, Sahar Ghannay, Christophe Servan, and Sophie Rosset. 2022. Benchmarking Transformers-based models on French Spoken Language Understanding tasks. In *Proceedings Interspeech 2022*, pages 1238–1242.

Oralie Cattan, Christophe Servan, and Sophie Rosset. 2021. On the Usability of Transformers-based Models for a French Question-Answering Task. In *Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021)*, pages 244–255, Held Online. INCOMA Ltd.

Qian Chen, Zhu Zhuo, and Wen Wang. 2019. Bert for joint intent classification and slot filling. *ArXiv*, abs/1902.10909.

Yun-Nung Chen, Dilek Hakanni-Tür, Gokhan Tur, Asli Celikyilmaz, Jianfeng Guo, and Li Deng. 2016. Syntax or semantics? knowledge-guided joint semantic frame parsing. In *2016 IEEE Spoken Language Technology Workshop (SLT)*, pages 348–355.

Alice Coucke, Alaa Saade, Adrien Ball, Théodore Bluche, Alexandre Caulier, David Leroy, Clément Doumouro, Thibault Gisselbrecht, Francesco Caltagirone, Thibaut Lavril, Maël Primet, and Joseph Dureau. 2018. Snips Voice Platform: an embedded Spoken Language Understanding system for private-by-design voice interfaces. *ArXiv*, abs/1805.10190.

Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019)*, pages 4171–4186. Association for Computational Linguistics.

Solène Evain, Ha Nguyen, Hang Le, Marcely Zanon Boito, Salima Mdhaffar, Sina Alisamir, Ziyi Tong, Natalia A. Tomashenko, Marco Dinarelli, Titouan Parcollet, Alexandre Allauzen, Yannick Estève, Benjamin Lecouteux, François Portet, Solange Rossato, Fabien Ringeval, Didier Schwab, and Laurent Besacier. 2021. LeBenchmark: A reproducible framework for assessing self-supervised representation learning from speech. In *Interspeech*, pages 1439–1443.

Sahar Ghannay, Antoine Caubrière, Salima Mdhaffar, Gaëlle Laperrière, Bassam Jabaian, and Yannick Estève. 2021. Where are we in semantic concept extraction for Spoken Language Understanding? In *23rd International Conference on*
*Speech and Computer (SPECOM 2021)*, Saint Petersburg, Russia.

Sahar Ghannay, Christophe Servan, and Sophie Rosset. 2020. *Neural networks approaches focused on French spoken language understanding: application to the MEDIA evaluation task*. In *Proceedings of the 28th International Conference on Computational Linguistics*, pages 2722–2727, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Shantanu Godbole and Sunita Sarawagi. 2004. *Discriminative methods for multi-labeled classification*. In *Advances in Knowledge Discovery and Data Mining*, pages 22–30, Berlin, Heidelberg. Springer Berlin Heidelberg.

Chih-Wen Goo, Guang Gao, Yun-Kai Hsu, Chih-Li Huo, Tsung-Chieh Chen, Keng-Wei Hsu, and Yun-Nung Chen. 2018. *Slot-gated modeling for joint slot filling and intent prediction*. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2018)*, pages 753–757, New Orleans, Louisiana. Association for Computational Linguistics.

Daniel Guo, Gokhan Tur, Wen-tau Yih, and Geoffrey Zweig. 2014. *Joint semantic utterance classification and slot filling with recursive neural networks*. In *2014 IEEE Spoken Language Technology Workshop (SLT)*, pages 554–559.

Dilek Hakkani-Tür, Gokhan Tur, Asli Celikyilmaz, Yun-Nung Chen, Jianfeng Gao, Li Deng, and Ye-Yi Wang. 2016. *Multi-Domain Joint Semantic Frame Parsing Using Bi-Directional RNN-LSTM*. In *Proceedings Interspeech 2016*, pages 715–719.

Soyeon Caren Han, Siqu Long, Huichun Li, Henry Weld, and Josiah Poon. 2021. *Bi-directional joint neural networks for intent classification and slot filling*. In *Interspeech*.

Charles T. Hemphill, John J. Godfrey, and George R. Doddington. 1990. *The ATIS Spoken Language Systems Pilot Corpus*. In *Speech and Natural Language: Proceedings of a Workshop Held at Hidden Valley, Pennsylvania, June 24-27, 1990*.

Nicolas Hervé, Valentin Pelloin, Benoît Favre, Franck Dary, Antoine Laurent, Sylvain Meignier, and Laurent Besacier. 2022. *Using ASR-generated text for spoken language modeling*. In *Proceedings of BigScience Episode #5 – Workshop on Challenges & Perspectives in Creating Large Language Models*, pages 17–25, virtual+Dublin. Association for Computational Linguistics.

Max Jaderberg, Valentin Dalibard, Simon Osindero, Wojciech M. Czarnecki, Jeff Donahue, Ali Razavi, Oriol Vinyals, Tim Green, Iain Dunning, Karen Simonyan, Chrisantha Fernando, and Koray Kavukcuoglu. 2017. *Population based training of neural networks*. *ArXiv*, abs/1711.09846.

Minwoo Jeong and Gary Geunbae Lee. 2008. *Triangular-chain conditional random fields*. *IEEE Transactions on Audio, Speech, and Language Processing*, 16(7):1287–1302.

Sameer Khurana, Antoine Laurent, and James Glass. 2022. *Samu-xlsr: Semantically-aligned multimodal utterance-level cross-lingual speech representation*. *IEEE Journal of Selected Topics in Signal Processing*, 16(6):1493–1504.

Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. 2020. *ALBERT: A Lite BERT for Self-supervised Learning of Language Representations*. In *8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020*. OpenReview.net.

Gaëlle Laperrière, Ha Nguyen, Sahar Ghannay, Bassam Jabaian, and Yannick Estève. 2023. *Semantic enrichment towards efficient speech representations*. In *Interspeech*, pages 705–709.

Gaëlle Laperrière, Valentin Pelloin, Antoine Caubrière, Salima Mdhaffar, Nathalie Camelin, Sahar Ghannay, Bassam Jabaian, and Yannick Estève. 2022. *The Spoken Language Understanding MEDIA Benchmark Dataset in the Era of Deep Learning: data updates, training and evaluation tools*. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, pages 1595–1602, Marseille, France. European Language Resources Association.

Bing Liu and Ian Lane. 2016. *Attention-based recurrent neural network models for joint intent detection and slot filling*. *ArXiv*, abs/1609.01454.

Louis Martin, Benjamin Muller, Pedro Javier Ortiz Suárez, Yoann Dupont, Laurent Romary, Éric de la Clergerie, Djamé Seddah, and Benoît Sagot. 2020. *CamemBERT: a Tasty French Language Model*. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, pages 7203–7219, Online. Association for Computational Linguistics.

Valentin Pelloin, Nathalie Camelin, Antoine Laurent, Renato De Mori, Antoine Caubrière, Yannick Estève, and Sylvain Meignier. 2021. *End2end acoustic to semantic transduction*. In *ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*. IEEE.
*Speech and Computer (SPECOM 2021)*, Saint Petersburg, Russia.

Sahar Ghannay, Christophe Servan, and Sophie Rosset. 2020. *Neural networks approaches focused on French spoken language understanding: application to the MEDIA evaluation task*. In *Proceedings of the 28th International Conference on Computational Linguistics*, pages 2722–2727, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Shantanu Godbole and Sunita Sarawagi. 2004. *Discriminative methods for multi-labeled classification*. In *Advances in Knowledge Discovery and Data Mining*, pages 22–30, Berlin, Heidelberg. Springer Berlin Heidelberg.

Chih-Wen Goo, Guang Gao, Yun-Kai Hsu, Chih-Li Huo, Tsung-Chieh Chen, Keng-Wei Hsu, and Yun-Nung Chen. 2018. *Slot-gated modeling for joint slot filling and intent prediction*. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2018)*, pages 753–757, New Orleans, Louisiana. Association for Computational Linguistics.

Daniel Guo, Gokhan Tur, Wen-tau Yih, and Geoffrey Zweig. 2014. *Joint semantic utterance classification and slot filling with recursive neural networks*. In *2014 IEEE Spoken Language Technology Workshop (SLT)*, pages 554–559.

Dilek Hakkani-Tür, Gokhan Tur, Asli Celikyilmaz, Yun-Nung Chen, Jianfeng Gao, Li Deng, and Ye-Yi Wang. 2016. *Multi-Domain Joint Semantic Frame Parsing Using Bi-Directional RNN-LSTM*. In *Proceedings Interspeech 2016*, pages 715–719.

Soyeon Caren Han, Siqu Long, Huichun Li, Henry Weld, and Josiah Poon. 2021. *Bi-directional joint neural networks for intent classification and slot filling*. In *Interspeech*.

Charles T. Hemphill, John J. Godfrey, and George R. Doddington. 1990. *The ATIS Spoken Language Systems Pilot Corpus*. In *Speech and Natural Language: Proceedings of a Workshop Held at Hidden Valley, Pennsylvania, June 24-27, 1990*.

Nicolas Hervé, Valentin Pelloin, Benoît Favre, Franck Dary, Antoine Laurent, Sylvain Meignier, and Laurent Besacier. 2022. *Using ASR-generated text for spoken language modeling*. In *Proceedings of BigScience Episode #5 – Workshop on Challenges & Perspectives in Creating Large Language Models*, pages 17–25, virtual+Dublin. Association for Computational Linguistics.

Max Jaderberg, Valentin Dalibard, Simon Osindero, Wojciech M. Czarnecki, Jeff Donahue, Ali Razavi, Oriol Vinyals, Tim Green, Iain Dunning, Karen Simonyan, Chrisantha Fernando, and Koray Kavukcuoglu. 2017. *Population based training of neural networks*. *ArXiv*, abs/1711.09846.

Minwoo Jeong and Gary Geunbae Lee. 2008. *Triangular-chain conditional random fields*. *IEEE Transactions on Audio, Speech, and Language Processing*, 16(7):1287–1302.

Sameer Khurana, Antoine Laurent, and James Glass. 2022. *Samu-xlsr: Semantically-aligned multimodal utterance-level cross-lingual speech representation*. *IEEE Journal of Selected Topics in Signal Processing*, 16(6):1493–1504.

Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. 2020. *ALBERT: A Lite BERT for Self-supervised Learning of Language Representations*. In *8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020*. OpenReview.net.

Gaëlle Laperrière, Ha Nguyen, Sahar Ghannay, Bassam Jabaian, and Yannick Estève. 2023. *Semantic enrichment towards efficient speech representations*. In *Interspeech*, pages 705–709.

Gaëlle Laperrière, Valentin Pelloin, Antoine Caubrière, Salima Mdhaffar, Nathalie Camelin, Sahar Ghannay, Bassam Jabaian, and Yannick Estève. 2022. *The Spoken Language Understanding MEDIA Benchmark Dataset in the Era of Deep Learning: data updates, training and evaluation tools*. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, pages 1595–1602, Marseille, France. European Language Resources Association.

Bing Liu and Ian Lane. 2016. *Attention-based recurrent neural network models for joint intent detection and slot filling*. *ArXiv*, abs/1609.01454.

Louis Martin, Benjamin Muller, Pedro Javier Ortiz Suárez, Yoann Dupont, Laurent Romary, Éric de la Clergerie, Djamé Seddah, and Benoît Sagot. 2020. *CamemBERT: a Tasty French Language Model*. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, pages 7203–7219, Online. Association for Computational Linguistics.

Valentin Pelloin, Nathalie Camelin, Antoine Laurent, Renato De Mori, Antoine Caubrière, Yannick Estève, and Sylvain Meignier. 2021. *End2end acoustic to semantic transduction*. In *ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*. IEEE.
Valentin Pelloin, Franck Dary, Nicolas Hervé, Benoit Favre, Nathalie Camelin, Antoine LAU-RENT, and Laurent Besacier. 2022. ASR-Generated Text for Language Model Pre-training Applied to Speech Tasks. In Proceedings Inter-speech 2022, pages 3453–3457.

Libo Qin, Tailu Liu, Wanxiang Che, Bingbing Kang, Sendong Zhao, and Ting Liu. 2021. A co-interactive transformer for joint slot filling and intent detection. In ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE.

Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. 2019. Language models are unsupervised multitask learners.

Sebastian Ruder and Barbara Plank. 2018. Strong Baselines for Neural Semi-Supervised Learning under Domain Shift. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1044–1054, Melbourne, Australia. Association for Computational Linguistics.

Mohammad S. Sorower. 2010. A literature survey on algorithms for multi-label learning.

Hao Tang, Donghong Ji, and Qiji Zhou. 2020. End-to-end masked graph-based crf for joint slot filling and intent detection. Neurocomputing, 413:348–359.

Erik F. Tjong Kim Sang and Fien De Meulder. 2003. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pages 142–147.

Gokhan Tur and Renato De Mori. 2011. Spoken Language Understanding: Systems for Extracting Semantic Information from Speech. John Wiley & Sons.

Özlem Uzuner, Brett R South, Shuying Shen, and Scott L DuVall. 2011. 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, 18(5):552–556.

Jesper E. van Engelen and Holger H. Hoos. 2020. A survey on semi-supervised learning. Machine Learning, 109(2):373–440.

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is All you Need. In Advances in Neural Information Processing Systems, volume 30. Curran Associates, Inc.

Congrui Wang, Zhen Huang, and Minghao Hu. 2020. Sasgbc: Improving sequence labeling performance for joint learning of slot filling and intent detection. In Proceedings of 2020 6th International Conference on Computing and Data Engineering, ICCDE '20, page 29–33, New York, NY, USA. Association for Computing Machinery.

Henry Weld, Xiaoqi Huang, Siqu Long, Josiah Poon, and Soyeon Caren Han. 2022. A survey of joint intent detection and slot filling models in natural language understanding. ACM Comput. Surv., 55(8).

Puyang Xu and Ruhi Sarikaya. 2013. Convolutional neural network based triangular crf for joint intent detection and slot filling. In 2013 IEEE Workshop on Automatic Speech Recognition and Understanding, pages 78–83.

Weijia Xu, Batool Haider, and Saab Mansour. 2020. End-to-end slot alignment and recognition for cross-lingual NLU. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 5052–5063, Online. Association for Computational Linguistics.

Zhi-Hua Zhou and Ming Li. 2005. Tri-training: exploiting unlabeled data using three classifiers. IEEE Transactions on Knowledge and Data Engineering, 17(11):1529–1541.

Liu Zhuang, Lin Wayne, Shi Ya, and Zhao Jun. 2021. A Robustly Optimized BERT Pre-training Approach with Post-training. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pages 1218–1227, Huhhot, China. Chinese Information Processing Society of China.

# 10. Language Resource References

MEDIA-EVALDA. 2006. MEDIA Evaluation Package. Technolangue Evalda Project Program. distributed via ELRA: ELRA-Id E0024, 1.0, ISLRN 699-856-029-354-6.

## A. Appendix A: Example Of SLU Notation

A simplistic example of SLU notation, illustrated with intent and slot labels, is presented in Figure 1.
Valentin Pelloin, Franck Dary, Nicolas Hervé, Benoit Favre, Nathalie Camelin, Antoine LAU-RENT, and Laurent Besacier. 2022. ASR-Generated Text for Language Model Pre-training Applied to Speech Tasks. In Proceedings Inter-speech 2022, pages 3453–3457.

Libo Qin, Tailu Liu, Wanxiang Che, Bingbing Kang, Sendong Zhao, and Ting Liu. 2021. A co-interactive transformer for joint slot filling and intent detection. In ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE.

Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. 2019. Language models are unsupervised multitask learners.

Sebastian Ruder and Barbara Plank. 2018. Strong Baselines for Neural Semi-Supervised Learning under Domain Shift. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1044–1054, Melbourne, Australia. Association for Computational Linguistics.

Mohammad S. Sorower. 2010. A literature survey on algorithms for multi-label learning.

Hao Tang, Donghong Ji, and Qiji Zhou. 2020. End-to-end masked graph-based crf for joint slot filling and intent detection. Neurocomputing, 413:348–359.

Erik F. Tjong Kim Sang and Fien De Meulder. 2003. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pages 142–147.

Gokhan Tur and Renato De Mori. 2011. Spoken Language Understanding: Systems for Extracting Semantic Information from Speech. John Wiley & Sons.

Özlem Uzuner, Brett R South, Shuying Shen, and Scott L DuVall. 2011. 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, 18(5):552–556.

Jesper E. van Engelen and Holger H. Hoos. 2020. A survey on semi-supervised learning. Machine Learning, 109(2):373–440.

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is All you Need. In Advances in Neural Information Processing Systems, volume 30. Curran Associates, Inc.

Congrui Wang, Zhen Huang, and Minghao Hu. 2020. Sasgbc: Improving sequence labeling performance for joint learning of slot filling and intent detection. In Proceedings of 2020 6th International Conference on Computing and Data Engineering, ICCDE '20, page 29–33, New York, NY, USA. Association for Computing Machinery.

Henry Weld, Xiaoqi Huang, Siqu Long, Josiah Poon, and Soyeon Caren Han. 2022. A survey of joint intent detection and slot filling models in natural language understanding. ACM Comput. Surv., 55(8).

Puyang Xu and Ruhi Sarikaya. 2013. Convolutional neural network based triangular crf for joint intent detection and slot filling. In 2013 IEEE Workshop on Automatic Speech Recognition and Understanding, pages 78–83.

Weijia Xu, Batool Haider, and Saab Mansour. 2020. End-to-end slot alignment and recognition for cross-lingual NLU. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 5052–5063, Online. Association for Computational Linguistics.

Zhi-Hua Zhou and Ming Li. 2005. Tri-training: exploiting unlabeled data using three classifiers. IEEE Transactions on Knowledge and Data Engineering, 17(11):1529–1541.

Liu Zhuang, Lin Wayne, Shi Ya, and Zhao Jun. 2021. A Robustly Optimized BERT Pre-training Approach with Post-training. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pages 1218–1227, Huhhot, China. Chinese Information Processing Society of China.

# 10. Language Resource References

MEDIA-EVALDA. 2006. MEDIA Evaluation Package. Technolangue Evalda Project Program. distributed via ELRA: ELRA-Id E0024, 1.0, ISLRN 699-856-029-354-6.

## A. Appendix A: Example Of SLU Notation

A simplistic example of SLU notation, illustrated with intent and slot labels, is presented in Figure 1.
<table><caption>Figure 1: Simplistic SLU example. Each word of the utterance is associated with a slot label, while the utterance as a whole is associated with an intent label.</caption><tr><td>Utterance</td><td>book</td><td>one</td><td>room</td><td>in</td><td>Marseille</td><td>for</td><td>two</td><td>people</td></tr><tr><td>Slot labels</td><td>B-task</td><td>B-number_ofRooms</td><td>I-number_ofRooms</td><td>O</td><td>B-city</td><td>O</td><td>B-number_of guests</td><td>I-number_of guests</td></tr><tr><td colspan="9">(BIO-tagging format)</td></tr><tr><td>Intent label</td><td colspan="8">booking</td></tr></table>

## B. Appendix B: Annotation Manual Extract (In French)

The following text presents an extract of the first draft of the annotation manual used to annotate the tri-training subset and correct the pseudo-labels. The extract contains the list of proposed intentions accompanied by an explanation, examples, and counter-examples. It is written in French, the language of the MEDIA benchmark.

L'annotation a été réalisée hors-contexte, en ne disposant que des tours de paroles des utilisateurs.

### Liste des intentions proposées :

Onze différentes étiquettes d'intentions ont été distinguées. Ces intentions ont pour vocation d'identifier le but de la requête de l'utilisateur. Pour un système de dialogue, l'identification de cette intention permettrait de formuler une réponse adaptée. En compréhension du dialogue, les intentions se veulent complémentaires aux concepts.

Pour un exemple type "je souhaite réserver une chambre à Marseille pour deux personnes", l'intention pouvant être associée est la réservation d'une chambre d'hôtel. Les concepts identifieront plutôt les paramètres de la réservation (lieu, nombre de chambres, nombre de personnes, etc.). Pour un système de dialogue destiné à la réservation d'hôtel confronté à cet exemple, la finalité serait d'effectuer une réservation correspondant aux attentes de l'utilisateur grâce à cette compréhension des intentions et des concepts.

Pour chaque intention considérée, une brève description est proposée et complétée par des exemples et contre-exemples.

Les noms des intentions proposées sont :

* reponse_affirmative

* reponseala negative

* reponse_indecise

* saluer

* remercier

* marqueur_discursif

* incomprehension

* reservation

* renseignements

* annulation

* modification

### B.1. reponse_affirmative

L'intention reponseaffirmative concerne les énoncés où la réponse apportée par l'utilisateur est une réponse affirmative ou une confirmation. Dans le contexte d'une conversation téléphonique avec un serveur vocal, ce type de réponse peut être fréquemment rencontrée suite à une question fermée.

#### B.1.1. Exemples

Dans la plupart des cas, il peut s'agir d'une réponse courte consistant en un unique marqueur d'accord :

* oui

* voilà

* parfait

* ok

* exactement

* entendu

Dans d'autres cas, la réponse peut être plus longue et comprendre des détails contextuels ou comprendre des marqueurs discursifs. Elle peut aussi ne pas comprendre de marqueur d'accord bien qu'une confirmation soit présente :

* sans problème

* oui et c'est de bon standing oui

* ben oui j'ai pas j'ai pas le choix oui

* ben très bien je prends

* vas-y effectue

* oui s'il vous plaît ça sera vachement bien j'en ai vraiment vraiment envie et c'est important

* le jour de l'arrivée d'accord
<table><caption>Figure 1: Simplistic SLU example. Each word of the utterance is associated with a slot label, while the utterance as a whole is associated with an intent label.</caption><tr><td>Utterance</td><td>book</td><td>one</td><td>room</td><td>in</td><td>Marseille</td><td>for</td><td>two</td><td>people</td></tr><tr><td>Slot labels</td><td>B-task</td><td>B-number_ofRooms</td><td>I-number_ofRooms</td><td>O</td><td>B-city</td><td>O</td><td>B-number_of guests</td><td>I-number_of guests</td></tr><tr><td colspan="9">(BIO-tagging format)</td></tr><tr><td>Intent label</td><td colspan="8">booking</td></tr></table>

## B. Appendix B: Annotation Manual Extract (In French)

The following text presents an extract of the first draft of the annotation manual used to annotate the tri-training subset and correct the pseudo-labels. The extract contains the list of proposed intentions accompanied by an explanation, examples, and counter-examples. It is written in French, the language of the MEDIA benchmark.

L'annotation a été réalisée hors-contexte, en ne disposant que des tours de paroles des utilisateurs.

### Liste des intentions proposées :

Onze différentes étiquettes d'intentions ont été distinguées. Ces intentions ont pour vocation d'identifier le but de la requête de l'utilisateur. Pour un système de dialogue, l'identification de cette intention permettrait de formuler une réponse adaptée. En compréhension du dialogue, les intentions se veulent complémentaires aux concepts.

Pour un exemple type "je souhaite réserver une chambre à Marseille pour deux personnes", l'intention pouvant être associée est la réservation d'une chambre d'hôtel. Les concepts identifieront plutôt les paramètres de la réservation (lieu, nombre de chambres, nombre de personnes, etc.). Pour un système de dialogue destiné à la réservation d'hôtel confronté à cet exemple, la finalité serait d'effectuer une réservation correspondant aux attentes de l'utilisateur grâce à cette compréhension des intentions et des concepts.

Pour chaque intention considérée, une brève description est proposée et complétée par des exemples et contre-exemples.

Les noms des intentions proposées sont :

* reponse_affirmative

* reponseala negative

* reponse_indecise

* saluer

* remercier

* marqueur_discursif

* incomprehension

* reservation

* renseignements

* annulation

* modification

### B.1. reponse_affirmative

L'intention reponseaffirmative concerne les énoncés où la réponse apportée par l'utilisateur est une réponse affirmative ou une confirmation. Dans le contexte d'une conversation téléphonique avec un serveur vocal, ce type de réponse peut être fréquemment rencontrée suite à une question fermée.

#### B.1.1. Exemples

Dans la plupart des cas, il peut s'agir d'une réponse courte consistant en un unique marqueur d'accord :

* oui

* voilà

* parfait

* ok

* exactement

* entendu

Dans d'autres cas, la réponse peut être plus longue et comprendre des détails contextuels ou comprendre des marqueurs discursifs. Elle peut aussi ne pas comprendre de marqueur d'accord bien qu'une confirmation soit présente :

* sans problème

* oui et c'est c'est de bon standing oui

* ben oui j'ai pas j'ai pas le choix oui

* ben très bien je prends

* vas-y effectue

* oui s'il vous plaît ça sera vachement bien j'en ai vraiment vraiment envie et c'est important

* le jour de l'arrivée d'accord
### B.1.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 9.

## B.2. reponse-negative

L'intention reponse-negative regroupe les énoncés où l'utilisateur fournit une réponse négative ou qu'il signale son refus.

Comme pour l'intention reponse-affirmative, ce type de réponse peut être fréquemment rencontrée dans une conversation téléphonique, notamment lorsqu'elles suivent une question fermée.

### B.2.1. Exemples

Il peut s'agir d'une réponse courte consistant en un unique marqueur de désaccord. Du contexte ou des marqueurs discursifs peuvent y être ajoutés. Un refus peut aussi être exprimé sans présence d'un marqueur de désaccord :

* non

* c'est sans importance

* euh j'ai pas d'exigence d'exigence particulière

* euh non

* euh non ça ira j'ai pris note

* non c'est bon c'est tout

* non c'est parfait

### B.2.2. Contre-exemples

Un contre-exemple accompagné de son explication est disponible en Table 10.

## B.3. reponse_indecise

L'intention reponse-indecise est la 3ème catégorie de réponses rencontrée et concerne les énoncés où l'utilisateur exprime principalement son indécision.

Si une telle réponse est présentée à un système de dialogue, celui-ci pourrait demander à l'utilisateur de clarifier sa décision.

### B.3.1. Exemples

Une indécision peut être exprimée sous plusieurs formes. L'utilisateur peut l'exprimer clairement ou laisser la décision au serveur vocal :

* hum celle que vous voulez

* n je sais pas

* euh je ne sais pas

### B.3.2. Contre-exemples

Aucun contre-exemple n'est disponible pour cette catégorie d'intention.

## B.4. saluer

Comme dans la plupart des systèmes de dialogues, une catégorie d'intention saluer est créée. Cette catégorie vise à détecter les salutations de l'utilisateur. Il peut s'agir d'une salutation servant à initier la conversation, ou au contraire à la terminer.

### B.4.1. Exemples

Les énoncés correspondant à cette intention correspondent aux différentes formules de salutations existantes :

* bonjour

* à tout à l'heure

* au revoir madame

* de rien au revoir

### B.4.2. Contre-exemples

Aucun contre-exemple n'est disponible pour cette catégorie d'intention.

## B.5. remercier

L'intention remercier, rencontrée dans de nombreux systèmes de dialogue, vise à identifier un remerciement de la part de l'utilisateur. La détection de cette intention invite à retourner une formule de courtoisie.

### B.5.1. Exemples

Les exemples correspondant à cette catégorie d'intention comprennent les formules de remerciement communément utilisées dans la langue française :

* je vous remercie beaucoup

* merci

* euh je vous remercie bien

### B.5.2. Contre-exemples

Un contre-exemple accompagné de son explication est disponible en Table 11.
### B.1.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 9.

## B.2. reponse-negative

L'intention reponse-negative regroupe les énoncés où l'utilisateur fournit une réponse négative ou qu'il signale son refus.

Comme pour l'intention reponse-affirmative, ce type de réponse peut être fréquemment rencontrée dans une conversation téléphonique, notamment lorsqu'elles suivent une question fermée.

### B.2.1. Exemples

Il peut s'agir d'une réponse courte consistant en un unique marqueur de désaccord. Du contexte ou des marqueurs discursifs peuvent y être ajoutés. Un refus peut aussi être exprimé sans présence d'un marqueur de désaccord :

* non

* c'est sans importance

* euh j'ai pas d'exigence d'exigence particulière

* euh non

* euh non ça ira j'ai pris note

* non c'est bon c'est tout

* non c'est parfait

### B.2.2. Contre-exemples

Un contre-exemple accompagné de son explication est disponible en Table 10.

## B.3. reponse_indecise

L'intention reponse-indecise est la 3ème catégorie de réponses rencontrée et concerne les énoncés où l'utilisateur exprime principalement son indécision.

Si une telle réponse est présentée à un système de dialogue, celui-ci pourrait demander à l'utilisateur de clarifier sa décision.

### B.3.1. Exemples

Une indécision peut être exprimée sous plusieurs formes. L'utilisateur peut l'exprimer clairement ou laisser la décision au serveur vocal :

* hum celle que vous voulez

* n je sais pas

* euh je ne sais pas

### B.3.2. Contre-exemples

Aucun contre-exemple n'est disponible pour cette catégorie d'intention.

## B.4. saluer

Comme dans la plupart des systèmes de dialogues, une catégorie d'intention saluer est créée. Cette catégorie vise à détecter les salutations de l'utilisateur. Il peut s'agir d'une salutation servant à initier la conversation, ou au contraire à la terminer.

### B.4.1. Exemples

Les énoncés correspondant à cette intention correspondent aux différentes formules de salutations existantes :

* bonjour

* à tout à l'heure

* au revoir madame

* de rien au revoir

### B.4.2. Contre-exemples

Aucun contre-exemple n'est disponible pour cette catégorie d'intention.

## B.5. remercier

L'intention remercier, rencontrée dans de nombreux systèmes de dialogue, vise à identifier un remerciement de la part de l'utilisateur. La détection de cette intention invite à retourner une formule de courtoisie.

### B.5.1. Exemples

Les exemples correspondant à cette catégorie d'intention comprennent les formules de remerciement communément utilisées dans la langue française :

* je vous remercie beaucoup

* merci

* euh je vous remercie bien

### B.5.2. Contre-exemples

Un contre-exemple accompagné de son explication est disponible en Table 11.
<table><caption>Table 9: Contre-exemples pour l'intention reponseaffirmative</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>alors je prends l' hôtel Saint-Charles à soixante quinze euros avec le parking</td><td>reservation</td><td>Selon le contexte, l'expression "alors je prends" pourrait correspondre à une réponse affirmative. Cependant la suite de la phrase correspond a des critères de réservation. Il est possible que l'utilisateur annonce sa décision parmi plusieurs options qui lui ont été proposées.</td></tr><tr><td>et ben je vais quand même prendre celle euh avec le chien donc la plus chère</td><td>reservation</td><td>Selon le contexte, le début de l'énoncé peut correspondre à une réponse affirmative. Néanmoins, la suite laisse suggérer que l'utilisateur énonce son choix parmi plusieurs options.</td></tr><tr><td>bon alors l' hôtel Ibis réservons l' hôtel Ibis du trois au cinq juin</td><td>reservation</td><td>La phrase pourrait correspondre à une réponse affirmative. Néanmoins, sans contexte, on peut imaginer que l'utilisateur annonce sa décision entre plusieurs choix. Des critères de réservation sont aussi énoncés.</td></tr><tr><td>non c'est ok</td><td>reponse negative</td><td>"c'est ok" (marqueur d'accord) pourrait correspondre à une réponse affirmative mais vient ici appuyer la réponse négative précédente.</td></tr><tr><td>d' accord et il y a le téléphone</td><td>renseignements</td><td>Le terme "d' accord" semble ici utilisé comme un marqueur discursif, car il est suivi d'une demande de renseignements.</td></tr></tbody></table>

<table><caption>Table 10: Contre-exemple pour l'intention reponse negative</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>aucun</td><td>reservation</td><td>Le mot "aucun" pourrait éventuellement servir de réponse négative à une question. Il est cependant plus probable que cette réponse apporte des détails à une réservation.</td></tr></tbody></table>

## B.6. marqueur_discursif

Sous l'intention marqueur_discursif sont rangés les énoncés n'apportant ni information, ni demande, ni réponse de la part de l'utilisateur. Ils n'invitent pas à une réponse adaptée de la part du serveur.

Les données ayant été récoltées sous forme d'enregistrements audio, de nombreuses énoncés sont concernées et consistent parfois en un ou plusieurs marqueurs discursif, d'où le nom de cette catégorie.

Cette intention ne peut être combinée à une autre.

### B.6.1. Exemples

Il peut s'agir d'interjection ou de formule de politesse n'invitant pas à une réponse particulière ("pas de quoi", "je vous en prie"). Des énoncés courts et ne comportant pas d'informations utiles, mais entrant dans la catégorie des marqueurs discursifs usuellement rencontrés dans la langue française, peuvent aussi concernés. Pour un système de dialogue, il conviendrait d'attendre un nouvel énoncé de la part de l'utilisateur ou de notifier l'utilisateur de sa présence (avec un réponse telle que "oui ?") :

* euh
<table><caption>Table 9: Contre-exemples pour l'intention reponseaffirmative</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>alors je prends l' hôtel Saint-Charles à soixante quinze euros avec le parking</td><td>reservation</td><td>Selon le contexte, l'expression "alors je prends" pourrait correspondre à une réponse affirmative. Cependant la suite de la phrase correspond a des critères de réservation. Il est possible que l'utilisateur annonce sa décision parmi plusieurs options qui lui ont été proposées.</td></tr><tr><td>et ben je vais quand même prendre celle euh avec le chien donc la plus chère</td><td>reservation</td><td>Selon le contexte, le début de l'énoncé peut correspondre à une réponse affirmative. Néanmoins, la suite laisse suggérer que l'utilisateur énonce son choix parmi plusieurs options.</td></tr><tr><td>bon alors l' hôtel Ibis réservons l' hôtel Ibis du trois au cinq juin</td><td>reservation</td><td>La phrase pourrait correspondre à une réponse affirmative. Néanmoins, sans contexte, on peut imaginer que l'utilisateur annonce sa décision entre plusieurs choix. Des critères de réservation sont aussi énoncés.</td></tr><tr><td>non c'est ok</td><td>reponse negative</td><td>"c'est ok" (marqueur d'accord) pourrait correspondre à une réponse affirmative mais vient ici appuyer la réponse négative précédente.</td></tr><tr><td>d' accord et il y a le téléphone</td><td>renseignements</td><td>Le terme "d' accord" semble ici utilisé comme un marqueur discursif, car il est suivi d'une demande de renseignements.</td></tr></tbody></table>

<table><caption>Table 10: Contre-exemple pour l'intention reponse negative</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>aucun</td><td>reservation</td><td>Le mot "aucun" pourrait éventuellement servir de réponse négative à une question. Il est cependant plus probable que cette réponse apporte des détails à une réservation.</td></tr></tbody></table>

## B.6. marqueur_discursif

Sous l'intention marqueur_discursif sont rangés les énoncés n'apportant ni information, ni demande, ni réponse de la part de l'utilisateur. Ils n'invitent pas à une réponse adaptée de la part du serveur.

Les données ayant été récoltées sous forme d'enregistrements audio, de nombreuses énoncés sont concernées et consistent parfois en un ou plusieurs marqueurs discursif, d'où le nom de cette catégorie.

Cette intention ne peut être combinée à une autre.

### B.6.1. Exemples

Il peut s'agir d'interjection ou de formule de politesse n'invitant pas à une réponse particulière ("pas de quoi", "je vous en prie"). Des énoncés courts et ne comportant pas d'informations utiles, mais entrant dans la catégorie des marqueurs discursifs usuellement rencontrés dans la langue française, peuvent aussi concernés. Pour un système de dialogue, il conviendrait d'attendre un nouvel énoncé de la part de l'utilisateur ou de notifier l'utilisateur de sa présence (avec un réponse telle que "oui ?") :

* euh
<table><caption>Table 11: Contre-exemple pour l'intention *remercier*</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>non merci</td><td>reponse-negative</td><td>Le mot "merci" suivant le marqueur de désaccord "non" et n'appuyant pas d'autres arguments par la suite est une formule de politesse fréquente en langue française, auquel il ne convient pas fortement de retourner une autre formule de politesse.</td></tr></tbody></table>

* hein

* ah

* hum hum

* ah excusez-moi

* je vous en prie

* hum pas de quoi

* je peux une minute

* ben écoutez

* c'est noté

* alors

## B.6.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 12.

## B.7. incomprehension

Sous l'étiquette *incomprehension* sont rangées les énoncés où un problème de communication est présent. Ce problème peut survenir chez l'interlocuteur (qui ne comprend pas le serveur ou qui ne formule pas quelque chose d'exploitable) ou chez le serveur (qui ne répond pas à l'attente de l'utilisateur ou rencontre des problèmes techniques). Dans le second cas, nous ne disposons que d'une observation indirecte puisque seuls les tours de paroles de l'utilisateur sont disponibles.

Le corpus textuel ayant été récupéré par transcription d'enregistrements téléphoniques, certaines énoncés concernées peuvent contenir l'interjection "allô" utilisée parfois lorsque la qualité sonore d'un appel diminue ou que des problèmes de communication sont rencontrés. Cette interjection étant utilisée dans d'autres contextes, elle ne saurait constituer à elle seule un critère d'appartenance à cette catégorie d'intention. "allô" peut aussi être utilisé en début de conversation téléphonique.

Les problèmes de communication pouvant frapper l'utilisateur, celui-ci peut exprimer son mécontentement. L'utilisateur peut aussi chercher à clarifier la situation.

Parfois, c'est l'utilisateur qui peut formuler une énoncé dont l'intention est incompréhensible ou hors-sujet, même avec prise en compte du contexte. Ces formulations peuvent aussi comprendre des morceaux de phrases incomplètes, sans information utile ou exploitable par le système, mais qui ne rentre pas dans la catégorie des marqueurs disursifs usuellement rencontrés en langue française.

### B.7.1. Exemples

* n'importe quoi

* je comprends pas moi

* à cette vous vous bégayez ou euh

* dans la chambre en plus je je veux pas que les gens

* excusez-moi allô

* ça colle pas ça

* viennent piétiner dans ma chambre ça vous le comprenez c'est pas possible donc alors c'est là euh vous faites ça euh c'est pas possible hein je vais téléphoner je vais écrire à votre maison moi allô allô

* tais toi chéri

* de problème

### B.7.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 13.

## B.8. reservation

L'intention *reservation* concerne tous ce qui prête à la réservation, c'est-à-dire aux demandes de réservation ou à l'apport de critères de réservation. Les critères de réservation sont variés et peuvent concerner (de manière non exhaustive) : Le nom de l'hôtel, la localisation de l'hôtel, la période de réservation souhaitée, le nombre de chambre, le nombre de personnes, le nombre de nuits, la fourchette de prix souhaitée, la présence d'un service au sein de l'hôtel, l'accessibilité de l'hôtel,
<table><caption>Table 11: Contre-exemple pour l'intention *remercier*</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>non merci</td><td>reponse negative</td><td>Le mot "merci" suivant le marqueur de désaccord "non" et n'appuyant pas d'autres arguments par la suite est une formule de politesse fréquente en langue française, auquel il ne convient pas fortement de retourner une autre formule de politesse.</td></tr></tbody></table>

* hein

* ah

* hum hum

* ah excusez-moi

* je vous en prie

* hum pas de quoi

* je peux une minute

* ben écoutez

* c' est noté

* alors

### B.6.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 12.

### B.7. incomprehension

Sous l'étiquette *incomprehension* sont rangées les énoncés où un problème de communication est présent. Ce problème peut survenir chez l'interlocuteur (qui ne comprend pas le serveur ou qui ne formule pas quelque chose d'exploitable) ou chez le serveur (qui ne répond pas à l'attente de l'utilisateur ou rencontre des problèmes techniques). Dans le second cas, nous ne disposons que d'une observation indirecte puisque seuls les tours de paroles de l'utilisateur sont disponibles.

Le corpus textuel ayant été récupéré par transcription d'enregistrements téléphoniques, certaines énoncés concernées peuvent contenir l'interjection "allô" utilisée parfois lorsque la qualité sonore d'un appel diminue ou que des problèmes de communication sont rencontrés. Cette interjection étant utilisée dans d'autres contextes, elle ne saurait constituer à elle seule un critère d'appartenance à cette catégorie d'intention. "allô" peut aussi être utilisé en début de conversation téléphonique.

Les problèmes de communication pouvant frapper l'utilisateur, celui-ci peut exprimer son mécontentement. L'utilisateur peut aussi chercher à clarifier la situation.

Parfois, c'est l'utilisateur qui peut formuler une énoncé dont l'intention est incompréhensible ou hors-sujet, même avec prise en compte du contexte. Ces formulations peuvent aussi comprendre des morceaux de phrases incomplètes, sans information utile ou exploitable par le système, mais qui ne rentre pas dans la catégorie des marqueurs disursifs usuellement rencontrés en langue française.

### B.7.1. Exemples

* n' importe quoi

* je comprends pas moi

* à cette vous vous bégayez ou euh

* dans la chambre en plus je je veux pas que les gens

* excusez-moi allô

* ça colle pas ça

* viennent piétiner dans ma chambre ça vous le comprenez c' est pas possible donc alors c' est là euh vous faites ça euh c' est pas possible hein je vais téléphoner je vais écrire à votre maison moi allô allô

* tais toi chéri

* de problème

### B.7.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 13.

### B.8. reservation

L'intention reservation concerne tous ce qui prête à la réservation, c'est-à-dire aux demandes de réservation ou à l'apport de critères de réservation. Les critères de réservation sont variés et peuvent concerner (de manière non exhaustive) : Le nom de l'hôtel, la localisation de l'hôtel, la période de réservation souhaitée, le nombre de chambre, le nombre de personnes, le nombre de nuits, la fourchette de prix souhaitée, la présence d'un service au sein de l'hôtel, l'accessibilité de l'hôtel,
<table><caption>Table 12: Contre-exemples pour l'intention marqueur_discursif</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>euh oui j'aimerais changer de dates</td><td>modification</td><td>Une interjection est présente. Cependant, la lecture de l'énoncé laisse suggérer que l'utilisateur veut modifier sa réservation. Un but est présent derrière cette phrase, il ne peut donc s'agir de l'intention marqueur_discursif.</td></tr><tr><td>et je voudrais</td><td>incomprehension</td><td>Ici, un énoncé court et incomplet est présent. Il ne s'agit pas d'un marqueur discursif usuellement rencontré dans la langue française. L'énoncé aurait besoin d'être complété pour que le système puisse en extraire une information utile. Une demande de reformulation ou d'apport de précision à l'utilisateur serait nécessaire.</td></tr></tbody></table>

<table><caption>Table 13: Contre-exemples pour l'intention incomprehension</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>Hôtel comment</td><td>renseignements</td><td>L'utilisateur semble ne pas avoir compris le nom de l'hôtel mais cherche ici à l'obtenir, il s'agit donc plutôt d'une demande de renseignements.</td></tr><tr><td>alors je voudrais euh pour les trois premiers jours de juillet à Paris près de Saint-Germain-Des-Prés euh une chambre pour un couple euh moins de cent vingt euros la nuit et avec un accès handicapés euh à l' hôtel quoi un accès handicapés handicapés</td><td>reservation</td><td>La fin de la phrase avec la partie "euh à l' hôtel quoi" pourrait laisser suggérer une incompréhension de la part de l'utilisateur. La lecture de la phrase dans son intégralité montre cependant qu'il clarifie le sens de sa demande.</td></tr><tr><td>dans le dernier hôtel Ibis euh je sais pas quoi</td><td>reservation</td><td>Le "je ne sais pas quoi" peut laisser penser à une incompréhension de la part de l'utilisateur mais cette expression sert ici à désigner l'hôtel souhaité.</td></tr><tr><td>dans le deuxième hôtel euh Stanislas je sais plus combien à quarante euros</td><td>reservation</td><td>Le "je ne sais plus" est utilisé pour designer l'hôtel choisi par l'utilisateur et complémentaire d'autres informations ("deuxième hôtel", "Stanislas", "à quarante euros").</td></tr></tbody></table>

l'équipement désiré dans la chambre, la réservation de chambres voisines, le nombre d'étoiles de l'hôtel, les services à proximité de l'hôtel, etc. Ces critères de réservation sont détectés par la tache d'identification des concepts (ou slot filling).

Les énoncés concernés peuvent n'inclure qu'une demande de réservation, pour initier la recherche répondant aux besoins de l'interlocuteur.

Dans le contexte d'un système de dialogue où le serveur pose des questions à l'utilisateur pour

obtenir des précisions, certains énoncés peuvent être brefs et ne contenir qu'un critère de réservation ou qu'une information exploitable dans son context. Par exemple, "deux" peut être la réponse à une question rapportant au nombre de chambres, au nombre de personnes, au nombre de nuits, etc. Les énoncés peuvent aussi concerner la rectification ou modification implicite d'un critère de réservation par rapport à ce que l'utilisateur avait précisé auparavant ou par rapport à ce qui lui est proposé.
<table><caption>Table 12: Contre-exemples pour l'intention marqueur_discursif</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>euh oui j'aimerais changer de dates</td><td>modification</td><td>Une interjection est présente. Cependant, la lecture de l'énoncé laisse suggérer que l'utilisateur veut modifier sa réservation. Un but est présent derrière cette phrase, il ne peut donc s'agir de l'intention marqueur_discursif.</td></tr><tr><td>et je voudrais</td><td>incomprehension</td><td>Ici, un énoncé court et incomplet est présent. Il ne s'agit pas d'un marqueur discursif usuellement rencontré dans la langue française. L'énoncé aurait besoin d'être complété pour que le système puisse en extraire une information utile. Une demande de reformulation ou d'apport de précision à l'utilisateur serait nécessaire.</td></tr></tbody></table>

<table><caption>Table 13: Contre-exemples pour l'intention incomprehension</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>Hôtel comment</td><td>renseignements</td><td>L'utilisateur semble ne pas avoir compris le nom de l'hôtel mais cherche ici à l'obtenir, il s'agit donc plutôt d'une demande de renseignements.</td></tr><tr><td>alors je voudrais euh pour les trois premiers jours de juillet à Paris près de Saint-Germain-Des-Prés euh une chambre pour un couple euh moins de cent vingt euros la nuit et avec un accès handicapés euh à l' hôtel quoi un accès handicapés handicapés</td><td>reservation</td><td>La fin de la phrase avec la partie "euh à l' hôtel quoi" pourrait laisser suggérer une incompréhension de la part de l'utilisateur. La lecture de la phrase dans son intégralité montre cependant qu'il clarifie le sens de sa demande.</td></tr><tr><td>dans le dernier hôtel Ibis euh je sais pas quoi</td><td>reservation</td><td>Le "je ne sais pas quoi" peut laisser penser à une incompréhension de la part de l'utilisateur mais cette expression sert ici à désigner l'hôtel souhaité.</td></tr><tr><td>dans le deuxième hôtel euh Stanislas je sais plus combien à quarante euros</td><td>reservation</td><td>Le "je ne sais plus" est utilisé pour designer l'hôtel choisi par l'utilisateur et complémentaire d'autres informations ("deuxième hôtel", "Stanislas", "à quarante euros").</td></tr></tbody></table>

l'équipement désiré dans la chambre, la réservation de chambres voisines, le nombre d'étoiles de l'hôtel, les services à proximité de l'hôtel, etc. Ces critères de réservation sont détectés par la tache d'identification des concepts (ou slot filling).

Les énoncés concernés peuvent n'inclure qu'une demande de réservation, pour initier la recherche répondant aux besoins de l'interlocuteur.

Dans le contexte d'un système de dialogue où le serveur pose des questions à l'utilisateur pour

obtenir des précisions, certains énoncés peuvent être brefs et ne contenir qu'un critère de réservation ou qu'une information exploitable dans son context. Par exemple, "deux" peut être la réponse à une question rapportant au nombre de chambres, au nombre de personnes, au nombre de nuits, etc. Les énoncés peuvent aussi concerner la rectification ou modification implicite d'un critère de réservation par rapport à ce que l'utilisateur avait précisé auparavant ou par rapport à ce qui lui est proposé.
Ils peuvent aussi être formulés de manière interrogative. Par exemple, les phrases "c'est trop cher" ou "vous n'avez pas quelque chose de moins cher ?", suite à une proposition de chambre dans un hôtel dont le prix a été énoncé, impliquent que l'utilisateur souhaiterait se voir proposer une réservation similaire mais à un tarif moins élevé.

Parfois, les énoncés concernés peuvent aussi être l'annonce d'un choix parmi des options proposées par le serveur vocal. L'utilisateur peut ainsi spécifier quel hôtel et quels critères de réservation ont sa préférence.

### B.8.1. Exemples

* euh réserver euh dans un hôtel

* réserver un hôtel

* réservation

* je souhaite réserver à Paris place Gambetta les trois premiers jours d'octobre une chambre simple à moins de cinquante euros

* je souhaite deux chambres c'est-à-dire deux couples dont un avec enfant

* alors j'aurais voulu une autre chambre euh pas trop chère avec euh aussi chambre euh ensoleillée

* à Arles

* Ibis

* un enfant

* une

* cent neuf

* en campagne

* un accès handicapés

* les quatre derniers euh quatre

* vue mer

* mois d'août

* c'est c'est trop cher

* proche d'une salle de cinéma

* près du lac

* alors je prends l'hôtel Saint-Charles à soixante quinze euros avec le parking

* euh ben écoutez je crois que je vais prendre le premier hôtel l'hôtel de du désir à quarante cinq euros

### B.8.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 14.

## B.9. renseignements

Cette intention concerne les énoncés où l'utilisateur exprime vouloir des informations, ou formule une demande de renseignements sur un à plusieurs hôtels. Ces renseignements peuvent concerner l'adresse d'un hôtel, son accessibilité, ses services, son nombre d'étoiles, ses modes de règlement, les services de proximité, etc.

Contrairement à l'intention *reservation*, on attend que le serveur réponde à une question au lieu d'inclure un nouveau critère de réservation.

Parfois, une demande de renseignements peut être formulée sans que la nature des renseignements souhaités soit présente dans la phrase. De la même manière, un énoncé peut contenir uniquement la nature de ces renseignements et la demande est alors implicite.

### B.9.1. Exemples

* plus de détails pour l'hôtel Campanile

* plus des détails

* obtenir d'autres informations

* à l'hôtel Passy pouvez-vous répéter le tarif

* le prix

* je voudrais savoir s'il y a un accès handicapés et s'il y a une baignoire et le prix de ces chambres

* je voudrais savoir s'il y a un tennis dans un de ces deux hôtels

* et comment j'aurais la conf

* on peut régler en carte bleue

* est-ce que je dois vous envoyer un acompte

* si euh éventuellement l'hôtel accepte des animaux

* hum est-ce qu'il y a le téléphone

* y a-t-il des animations le soir

### B.9.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 15.

## B.10. modification

L'étiquette *modification* comprend les énoncés où une modification dans une réservation est souhaitée. La modification peut concerner la réservation effectuée précédemment ou la réservation en cours.

Elle peut parfois se recouper avec l'intention *reservation*, lorsque l'utilisateur modifie les critères d'une réservation. On estime cependant qu'un énoncé peut correspondre à l'intention *modification*
Ils peuvent aussi être formulés de manière interrogative. Par exemple, les phrases "c'est trop cher" ou "vous n'avez pas quelque chose de moins cher ?", suite à une proposition de chambre dans un hôtel dont le prix a été énoncé, impliquent que l'utilisateur souhaiterait se voir proposer une réservation similaire mais à un tarif moins élevé.

Parfois, les énoncés concernés peuvent aussi être l'annonce d'un choix parmi des options proposées par le serveur vocal. L'utilisateur peut ainsi spécifier quel hôtel et quels critères de réservation ont sa préférence.

### B.8.1. Exemples

* euh réserver euh dans un hôtel

* réserver un hôtel

* réservation

* je souhaite réserver à Paris place Gambetta les trois premiers jours d'octobre une chambre simple à moins de cinquante euros

* je souhaite deux chambres c'est-à-dire deux couples dont un avec enfant

* alors j'aurais voulu une autre chambre euh pas trop chère avec euh aussi chambre euh ensoleillée

* à Arles

* Ibis

* un enfant

* une

* cent neuf

* en campagne

* un accès handicapés

* les quatre derniers euh quatre

* vue mer

* mois d'août

* c'est c'est trop cher

* proche d'une salle de cinéma

* près du lac

* alors je prends l'hôtel Saint-Charles à soixante quinze euros avec le parking

* euh ben écoutez je crois que je vais prendre le premier hôtel l'hôtel de du désir à quarante cinq euros

### B.8.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 14.

## B.9. renseignements

Cette intention concerne les énoncés où l'utilisateur exprime vouloir des informations, ou formule une demande de renseignements sur un à plusieurs hôtels. Ces renseignements peuvent concerner l'adresse d'un hôtel, son accessibilité, ses services, son nombre d'étoiles, ses modes de règlement, les services de proximité, etc.

Contrairement à l'intention *reservation*, on attend que le serveur réponde à une question au lieu d'inclure un nouveau critère de réservation.

Parfois, une demande de renseignements peut être formulée sans que la nature des renseignements souhaités soit présente dans la phrase. De la même manière, un énoncé peut contenir uniquement la nature de ces renseignements et la demande est alors implicite.

### B.9.1. Exemples

* plus de détails pour l'hôtel Campanile

* plus des détails

* obtenir d'autres informations

* à l'hôtel Passy pouvez-vous répéter le tarif

* le prix

* je voudrais savoir s'il y a un accès handicapés et s'il y a une baignoire et le prix de ces chambres

* je voudrais savoir s'il y a un tennis dans un de ces deux hôtels

* et comment j'aurais la conf

* on peut régler en carte bleue

* est-ce que je dois vous envoyer un acompte

* si euh éventuellement l'hôtel accepte des animaux

* hum est-ce qu'il y a le téléphone

* y a-t-il des animations le soir

### B.9.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 15.

## B.10. modification

L'étiquette *modification* comprend les énoncés où une modification dans une réservation est souhaitée. La modification peut concerner la réservation effectuée précédemment ou la réservation en cours.

Elle peut parfois se recouper avec l'intention *reservation*, lorsque l'utilisateur modifie les critères d'une réservation. On estime cependant qu'un énoncé peut correspondre à l'intention *modification*
<table><caption>Table 14: Contre-exemples pour l'intention reservation</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>le prix le nombre d'étoiles</td><td>renseignements</td><td>Ici, il ne s'agit pas de critères de sélection de l'hôtel car aucune valeur n'est attribuée. Cet énoncé peut être perçu comme une demande de renseignements.</td></tr><tr><td>et total</td><td>renseignements</td><td>En absence de contexte, il semble s'agir plutôt d'une demande de renseignements dont la nature n'est pas précisée.</td></tr><tr><td>euh non si peut-être le le le la piscine la plus proche de l'hôtel il y en a pas dedans mais il y a sûrement une à côté</td><td>renseignements & reponse_indecise</td><td>Il s'agit d'une demande de renseignement sur un service de proximité et non d'un critère de réservation. Elle suit une réponse indéci s e "non si peut-être".</td></tr></tbody></table>

<table><caption>Table 15: Contre-exemples pour l'intention renseignements</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>ah excusez-moi alors je voudrais un hôtel à Paris à côté de la tour Eiffel pour les d pour les nuits du sept au huit juin trois cham-bres individuelles avec un sauna dans l' hôtel et euh une chambre à deux cents francs deux cents eu-ros maxi et avec un chien un gros chien est-ce que c' est possible</td><td>reservation</td><td>Une question est posée en fin d'énoncé, mais ce sont bien des critères de réservation qui ont été annoncés. La question appelle à chercher une réservation corre-spondant à ces critères.</td></tr><tr><td>euh vous n' avez rien de moins cher avec accès handicapés vous n' avez rien de moins cher</td><td>reservation</td><td>Ici, l'énoncé peut être perçu comme l'évolution implicite d'un critère de réservation : L'utilisateur souhaite un prix moins élevé que celui actuellement proposé par le serveur. De plus, un autre critère de réservation (présence d'un accès handicapé) est aussi demandé.</td></tr></tbody></table>

dès qu'une demande explicite de modification est réalisée.

Des termes tels que "autre", "modifier" ou "changer" peuvent être utilisés.

## B.10.1. Exemples

* euh je voudrais changer un critère

* je désire changer réserver dans un autre hôtel

* je veux modifier les dates vingt trois septembre au vingt neuf septembre

* changer de dates

* et y en a pas d'autres

* hum ben euh ouais une autre date

## B.10.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 16.

## B.11. annulation

L'intention annulation comprend les demandes ou ordres d'annulation explicites. Il peut s'agir d'annuler une réservation en cours ou réalisée préalablement à l'appel actuel.

### B.11.1. Exemples

* alors à ce moment-là j'annule tout parce que je n' ai je ne peux pas réserver pour quelque chose que je ne connais pas à ce moment-là vous annulez tout le numéro cent trente quatre cent quatre vingt douze
<table><caption>Table 14: Contre-exemples pour l'intention reservation</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>le prix le nombre d'étoiles</td><td>renseignements</td><td>Ici, il ne s'agit pas de critères de sélection de l'hôtel car aucune valeur n'est attribuée. Cet énoncé peut être perçu comme une demande de renseignements.</td></tr><tr><td>et total</td><td>renseignements</td><td>En absence de contexte, il semble s'agir plutôt d'une demande de renseignements dont la nature n'est pas précisée.</td></tr><tr><td>euh non si peut-être le le le la piscine la plus proche de l'hôtel il y en a pas dedans mais il y a sûrement une à côté</td><td>renseignements & reponse_indecise</td><td>Il s'agit d'une demande de renseignement sur un service de proximité et non d'un critère de réservation. Elle suit une réponse indéci s e "non si peut-être".</td></tr></tbody></table>

<table><caption>Table 15: Contre-exemples pour l'intention renseignements</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>ah excusez-moi alors je voudrais un hôtel à Paris à côté de la tour Eiffel pour les d pour les nuits du sept au huit juin trois cham-bres individuelles avec un sauna dans l' hôtel et euh une chambre à deux cents francs deux cents eu-ros maxi et avec un chien un gros chien est-ce que c' est possible</td><td>reservation</td><td>Une question est posée en fin d'énoncé, mais ce sont bien des critères de réservation qui ont été annoncés. La question appelle à chercher une réservation corre-spondant à ces critères.</td></tr><tr><td>euh vous n' avez rien de moins cher avec accès handicapés vous n' avez rien de moins cher</td><td>reservation</td><td>Ici, l'énoncé peut être perçu comme l'évolution implicite d'un critère de réservation : L'utilisateur souhaite un prix moins élevé que celui actuellement proposé par le serveur. De plus, un autre critère de réservation (présence d'un accès handicapé) est aussi demandé.</td></tr></tbody></table>

dès qu'une demande explicite de modification est réalisée.

Des termes tels que "autre", "modifier" ou "changer" peuvent être utilisés.

### B.10.1. Exemples

* euh je voudrais changer un critère

* je désire changer réserver dans un autre hôtel

* je veux modifier les dates vingt trois septembre au vingt neuf septembre

* changer de dates

* et y en a pas d'autres

* hum ben euh ouais une autre date

### B.10.2. Contre-exemples

Des contre-exemples accompagnés d'explications sont disponibles en Table 16.

### B.11. annulation

L'intention annulation comprend les demandes ou ordres d'annulation explicites. Il peut s'agir d'annuler une réservation en cours ou réalisée préalablement à l'appel actuel.

#### B.11.1. Exemples

* alors à ce moment-là j'annule tout parce que je n' ai je ne peux pas réserver pour quelque chose que je ne connais pas à ce moment-là vous annulez tout le numéro cent trente quatre cent quatre vingt douze
<table><caption>Table 16: Contre-exemples pour l'intention modification</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>non à Lorient</td><td>reponse-negative & reservation</td><td>Avec l'utilisation d'une réponse négative, il s'agit plutôt d'une rectification.</td></tr><tr><td>non non dans l' hôtel Ti Moana c' est ça allô</td><td>reponse-negative & reservation</td><td>Avec l'utilisation d'une réponse négative, il s'agit plutôt d'une rectification. Des problèmes de communications semblent présents mais sont secondaires.</td></tr><tr><td>euh réserver euh deux chambres dans un autre hôtel</td><td>reservation</td><td>Ici, la mention d'un "autre hôtel" peut concerner une seconde réservation.</td></tr><tr><td>d'accord et l' autre</td><td>renseignements</td><td>Le terme "autre" est utilisé précédé d'un article défini. "autre" désigne donc un objet énoncé préalablement dans la conversation.</td></tr></tbody></table>

* annulez tout le numéro cent trente quatre cent quatre vingt douze

* bien bon ben alors euh on annule tout

* vous annulez

* donc annulation

* bien ben écoutez je regrette euh je j' annule j' annule ma demande

* ok bon ben je réserve pas de chambre alors

* euh oui et ben ça serait tout je réserve pas

### B.11.2. Contre-exemples

Aucun contre-exemple n'est disponible pour cette catégorie d'intention.

## B.12. Combinaisons d'intentions

A l'exception de l'intention marqueur_discursif, qui correspond aux énoncés ou aucune autre intention n'est présente, les différentes intentions peuvent être combinées.

Dans le cadre d'un système de dialogue soumis à ces énoncés, chaque intention pourrait nécessiter une prise en charger particulière. Par exemple, la phrase "A bientôt et merci" serait identifiée par la combinaison d'intentions saluer ("au revoir") et remercier ("merci"). La prise en compte de ces deux intentions pourrait permettre la formulation d'une réponse telle que "De rien et au revoir".

Plusieurs exemples de ces combinaisons sont fournis ci-dessous, sans constituer une liste exhaustive.

### B.12.1. Exemples

Des exemples sont fournis en Table 17.

## C. Appendix C: Annotation Of The MEDIA 2022 Version

Details of the MEDIA 2022 version intent tags distribution are presented in Table 18.
<table><caption>Table 16: Contre-exemples pour l'intention modification</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>non à Lorient</td><td>reponse negative & reservation</td><td>Avec l'utilisation d'une réponse négative, il s'agit plutôt d'une rectification.</td></tr><tr><td>non non dans l' hôtel Ti Moana c' est ça allô</td><td>reponse negative & reservation</td><td>Avec l'utilisation d'une réponse négative, il s'agit plutôt d'une rectification. Des problèmes de communications semblent présents mais sont secondaires.</td></tr><tr><td>euh réserver euh deux chambres dans un autre hôtel</td><td>reservation</td><td>Ici, la mention d'un "autre hôtel" peut concerner une seconde réservation.</td></tr><tr><td>d'accord et l' autre</td><td>renseignements</td><td>Le terme "autre" est utilisé précédé d'un article défini. "autre" désigne donc un objet énoncé préalablement dans la conversation.</td></tr></tbody></table>

* annulez tout le numéro cent trente quatre cent quatre vingt douze

* bien bon ben alors euh on annule tout

* vous annulez

* donc annulation

* bien ben écoutez je regrette euh je j' annule j' annule ma demande

* ok bon ben je réserve pas de chambre alors

* euh oui et ben ça serait tout je réserve pas

### B.11.2. Contre-exemples

Aucun contre-exemple n'est disponible pour cette catégorie d'intention.

## B.12. Combinaisons d'intentions

A l'exception de l'intention marqueur_discursif, qui correspond aux énoncés ou aucune autre intention n'est présente, les différentes intentions peuvent être combinées.

Dans le cadre d'un système de dialogue soumis à ces énoncés, chaque intention pourrait nécessiter une prise en charger particulière. Par exemple, la phrase "A bientôt et merci" serait identifiée par la combinaison d'intentions saluer ("au revoir") et remercier ("merci"). La prise en compte de ces deux intentions pourrait permettre la formulation d'une réponse telle que "De rien et au revoir".

Plusieurs exemples de ces combinaisons sont fournis ci-dessous, sans constituer une liste exhaustive.

### B.12.1. Exemples

Des exemples sont fournis en Table 17.

## C. Appendix C: Annotation Of The MEDIA 2022 Version

Details of the MEDIA 2022 version intent tags distribution are presented in Table 18.
<table><caption>Table 17: Exemples de combinaisons d'intentions.</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>je ne comprends pas comment vous pouvez me donner un une réservation d' hôtel si je n' ai pas l' adresse si vous n' avez pas l' information j' annule tout</td><td>annulation, incomprehension & renseignements</td><td>Le "je ne comprends pas" traduit une forte incompréhension de la part de l' utilisateur. Celui-ci souhaite aussi obtenir une adresse d'hôtel, donc un renseignement. De plus, une intention d' annulation, bien que conditionnelle, est annoncée.</td></tr><tr><td>merci beaucoup au revoir</td><td>remercier & saluer</td><td>L'utilisateur remercie et salue le serveur.</td></tr><tr><td>donnez-moi le tarif puisque je voudrais que ça coûte moins de cinquante euros mais qu' il y ait quand même un parking privé</td><td>renseignements & reservation</td><td>Ici, des critères de réservation sont présents ("moins de cinquante euros", "parking privé"). Un renseignement est aussi demandé ("le tarif").</td></tr><tr><td>non à Marseille</td><td>reponse negative & reservation</td><td>Un marqueur de désaccord est présent et suivi d'un critère de réservation (ville).</td></tr><tr><td>parfait je veux réserver deux chambres individuelles chambres voisines si possible</td><td>reponse affirmative & reservation</td><td>Ici, l'utilisateur approuve le choix qui lui est présenté et ajoute des critères de réservation supplémentaires.</td></tr><tr><td>non j' aimerais avoir des informations de suite pour les deux nuits le cinq et le sept à Chartres août</td><td>renseignements, réponse negative & reservation</td><td>L'utilisateur commence sa phrase par un marqueur de désaccord. Une demande de renseignements est présente, bien que la nature des renseignements ne soit pas précisée. Des critères de réservation (dates du séjour) sont aussi présentés.</td></tr></tbody></table>

<table><caption>Table 18: Intent tags distribution in the preliminary version of the MEDIA 2022 dataset (Laperrière et al., 2022) annotated with intents. Intents' combinations are not shown. There is no distinction between the full and relax scoring versions, as they only differ on slots annotations.</caption><thead><tr><td>Set</td><td>Train</td><td>Dev</td><td>Test</td><td>Test2</td><td>Total</td></tr></thead><tbody><tr><td>cancellation</td><td>33</td><td>1</td><td>17</td><td>12</td><td>63</td></tr><tr><td>incomprehension</td><td>409</td><td>49</td><td>128</td><td>58</td><td>644</td></tr><tr><td>discourse marker</td><td>386</td><td>48</td><td>148</td><td>97</td><td>679</td></tr><tr><td>modification</td><td>127</td><td>11</td><td>33</td><td>23</td><td>194</td></tr><tr><td>thanking</td><td>691</td><td>99</td><td>199</td><td>175</td><td>1164</td></tr><tr><td>information</td><td>1704</td><td>158</td><td>408</td><td>524</td><td>2794</td></tr><tr><td>affirmative answer</td><td>4347</td><td>427</td><td>1209</td><td>1207</td><td>7190</td></tr><tr><td>indecisive answer</td><td>48</td><td>9</td><td>10</td><td>6</td><td>73</td></tr><tr><td>negative answer</td><td>1345</td><td>90</td><td>343</td><td>412</td><td>2190</td></tr><tr><td>booking</td><td>5777</td><td>575</td><td>1528</td><td>1810</td><td>9690</td></tr><tr><td>greeting</td><td>714</td><td>101</td><td>210</td><td>199</td><td>1224</td></tr></tbody></table>
<table><caption>Table 17: Exemples de combinaisons d'intentions.</caption><thead><tr><td>Énoncé</td><td>Intention</td><td>Justification</td></tr></thead><tbody><tr><td>je ne comprends pas comment vous pouvez me donner un une réservation d' hôtel si je n' ai pas l' adresse si vous n' avez pas l' information j' annule tout</td><td>annulation, incomprehension & renseignements</td><td>Le "je ne comprends pas" traduit une forte incompréhension de la part de l' utilisateur. Celui-ci souhaite aussi obtenir une adresse d'hôtel, donc un renseignement. De plus, une intention d' annulation, bien que conditionnelle, est annoncée.</td></tr><tr><td>merci beaucoup au revoir</td><td>remercier & saluer</td><td>L'utilisateur remercie et salue le serveur.</td></tr><tr><td>donnez-moi le tarif puisque je voudrais que ça coûte moins de cinquante euros mais qu' il y ait quand même un parking privé</td><td>renseignements & reservation</td><td>Ici, des critères de réservation sont présents ("moins de cinquante euros", "parking privé"). Un renseignement est aussi demandé ("le tarif").</td></tr><tr><td>non à Marseille</td><td>reponse-negative & reservation</td><td>Un marqueur de désaccord est présent et suivi d'un critère de réservation (ville).</td></tr><tr><td>parfait je veux réserver deux chambres individuelles chambres voisines si possible</td><td>reponse-affirmative & reservation</td><td>Ici, l'utilisateur approuve le choix qui lui est présenté et ajoute des critères de réservation supplémentaires.</td></tr><tr><td>non j' aimerais avoir des informations de suite pour les deux nuits le cinq et le sept à Chartres août</td><td>renseignements, réponse-negative & reservation</td><td>L'utilisateur commence sa phrase par un marqueur de désaccord. Une demande de renseignements est présente, bien que la nature des renseignements ne soit pas précisée. Des critères de réservation (dates du séjour) sont aussi présentés.</td></tr></tbody></table>

<table><caption>Table 18: Intent tags distribution in the preliminary version of the MEDIA 2022 dataset (Laperrière et al., 2022) annotated with intents. Intents' combinations are not shown. There is no distinction between the full and relax scoring versions, as they only differ on slots annotations.</caption><thead><tr><td>Set</td><td>Train</td><td>Dev</td><td>Test</td><td>Test2</td><td>Total</td></tr></thead><tbody><tr><td>cancellation</td><td>33</td><td>1</td><td>17</td><td>12</td><td>63</td></tr><tr><td>incomprehension</td><td>409</td><td>49</td><td>128</td><td>58</td><td>644</td></tr><tr><td>discourse_markers</td><td>386</td><td>48</td><td>148</td><td>97</td><td>679</td></tr><tr><td>modification</td><td>127</td><td>11</td><td>33</td><td>23</td><td>194</td></tr><tr><td>thanking</td><td>691</td><td>99</td><td>199</td><td>175</td><td>1164</td></tr><tr><td>information</td><td>1704</td><td>158</td><td>408</td><td>524</td><td>2794</td></tr><tr><td>affirmative_answer</td><td>4347</td><td>427</td><td>1209</td><td>1207</td><td>7190</td></tr><tr><td>indecisive_answer</td><td>48</td><td>9</td><td>10</td><td>6</td><td>73</td></tr><tr><td>negative_answer</td><td>1345</td><td>90</td><td>343</td><td>412</td><td>2190</td></tr><tr><td>booking</td><td>5777</td><td>575</td><td>1528</td><td>1810</td><td>9690</td></tr><tr><td>greeting</td><td>714</td><td>101</td><td>210</td><td>199</td><td>1224</td></tr></tbody></table>