<figure><img src="image_1.png" /></figure>

HAL
open science

# NLP Tools for Mental Hearth – French experience

Maxime Amblard, Michel Musiol

► To cite this version:

Maxime Amblard, Michel Musiol. NLP Tools for Mental Hearth – French experience. French-Sweden Scientific Day, Nov 2021, stockholm, Sweden. hal-03619164

HAL Id: hal-03619164

https://inria.hal.science/hal-03619164

Submitted on 27 Mar 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.
NLP Tools for Mental Health – French experience

Maxime Amblard - Michel Musiol

November 15th 2021

<figure><img src="image_2.png" /></figure>

UNIVERSITÉ
DE LORRAINE

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

Institut des
sciences du Digital
Management & Cognition
# Main Objectives

* Complete the classic paradigm of Language and Thought Disorders (LTD)
* Complete the classic paradigm of Language and Thought Disorders (LTD)

* By a semantic-formal model of Speech Disorders (SDD)
* Complete the classic paradigm of Language and Thought Disorders (LTD)

* By a semantic-formal model of Speech Disorders (SDD)

* Develop computerized tools of aids in the diagnosis of schizophrenia
* Complete the classic paradigm of Language and Thought Disorders (LTD)

* By a semantic-formal model of Speech Disorders (SDD)

* Develop computerized tools of aids in the diagnosis of schizophrenia

* Adapt and use these tools to address the problem of screening for the onset of the illness and follow-up of the pathology
1. Formalize

2. Compare with real data
1. Formalize

• Logical representations (Montagovian tradition)

$$ \exists x.(\exists y.(\textbf{farmer} x \land \textbf{donkey} y \land \textbf{own} x y) \rightarrow \textbf{beat} x y) $$

[Qian, de Groote, Amblard LiLT 2016]

[Boritchev, Amblard, LCM 2021, SemDial 2020, 2019]

• Define calculations for semantics (|λ|)

[Marsik, Amblard, de Groote TCS 2021]

2. Compare with real data
1. Formalize

• Logical representations (Montagovian tradition)

∃x.(∃y.(farmer x ∧ donkey y ∧ own x y) → beat x y)

[Qian, de Groote, Amblard LiLT 2016]

[Boritchev, Amblard, LCM 2021, SemDial 2020, 2019]

• Define calculations for semantics (|λ|)

[Marsik, Amblard, de Groote TCS 2021]

2. Compare with real data

• Failure to understand : schizophrenic patients

G82 l'an dernier euh... j'savais pas comment faire j'étais perdue

V87 Vous savez ça arrive à tout le monde d'avoir des moments biens et des moments où on est perdu

G88 Oui j'ai peur de perdre tout le monde

[Amblard, Musiol, Rebuschi LCM 2021]
1. Formalize

• Logical representations (Montagovian tradition)

∃x.(∃y.(farmer x ∧ donkey y ∧ own x y) → beat x y)

[Qian, de Groote, Amblard LiLT 2016]

[Boritchev, Amblard, LCM 2021, SemDial 2020, 2019]

• Define calculations for semantics (|λ|)

[Marsik, Amblard, de Groote TCS 2021]

2. Compare with real data

• Failure to understand : schizophrenic patients

G82 l'an dernier euh... j'savais pas comment faire j'étais perdue

V87 Vous savez ça arrive à tout le monde d'avoir des moments biens et des moments où on est perdu

G88 Oui j'ai peur de perdre tout le monde

[Amblard, Musiol, Rebuschi LCM 2021]
1. Formalize

• Logical representations (Montagovian tradition)

∃x.(∃y.(farmer x ∧ donkey y ∧ own x y) → beat x y)

[Qian, de Groote, Amblard LiLT 2016]

[Boritchev, Amblard, LCM 2021, SemDial 2020, 2019]

• Define calculations for semantics (|λ|)

[Marsik, Amblard, de Groote TCS 2021]

⇒ Wide coverage (semantic calculation and data)

2. Compare with real data

• Failure to understand : schizophrenic patients

G82 l'an dernier euh... j'savais pas comment faire j'étais perdue

V87 Vous savez ça arrive à tout le monde d'avoir des moments biens et des moments où on est perdu

G88 Oui j'ai peur de perdre tout le monde

[Amblard, Musiol, Rebuschi LCM 2021]

⇒ Tooling the analysis, developing resources
1. Formalize

• Logical representations (Montagovian tradition)

∃x.(∃y.(farmer x ∧ donkey y ∧ own x y) → beat x y)

[Qian, de Groote, Amblard LiLT 2016]

[Boritchev, Amblard, LCM 2021, SemDial 2020, 2019]

• Define calculations for semantics (|λ|)

[Marsik, Amblard, de Groote TCS 2021]

⇒ Wide coverage (semantic calculation and data)

2. Compare with real data

• Failure to understand : schizophrenic patients

G82 l'an dernier euh... j'savais pas comment faire j'étais **perdue**

V87 Vous savez ça arrive à tout le monde d'avoir des moments biens et des moments où on est **perdu**

G88 Oui j'ai peur de perdre tout le monde

[Amblard, Musiol, Rebuschi LCM 2021]

⇒ Tooling the analysis, developing resources

3. Integrate digital models (DNN, RNN, transformer, etc.):

• identification of the structure of the interaction

[Li, Amblard, Braud TALN 2020]
* Identify patients' cognitive difficulties

* Important clinical issue

* Difficulty: to access the disorder

* Discourse as a natural place for the expression of disorder
* Identify patients' cognitive difficulties

* Important clinical issue

* Difficulty : to access the disorder

* Discourse as a natural place for the expression of disorder

* Methodology

* Finely isolating a cognitive disorder using semantic models

* Link between cognitive and neuro-psychological defects

* SLAM : explain the decisive breaks with the SDRT

⇒ Tools for analyzing the disorder through discourse management processes
* **Identify patients' cognitive difficulties**

* Important clinical issue

* Difficulty : to access the disorder

* Discourse as a natural place for the expression of disorder

* **Methodology**

* Finely isolating a cognitive disorder using semantic models

* Link between cognitive and neuro-psychological defects

* SLAM : explain the decisive breaks with the SDRT

⇒ Tools for analyzing the disorder through discourse management processes

⇒ Hypothesis : link between semantic-pragmatic and neuro-pathological disorders

* **Contributions**

* Original theory of the disorder

* Identification of objectifiable
multimodal clues.

* Digital tools : transfer to the world of
psychiatry

<figure><img src="image_5.png" /></figure>
* SLAM - Schizophrenia and Language : Analyze and Modelling 2010-2017

• constitution of a corpus - Lyon (18 patients + control corpus)

• use of formal models

• automatic analysis of disfluencies
* SLAM - Schizophrenia and Language : Analyze and Modelling
  2010-2017

* constitution of a corpus - Lyon (18 patients + control corpus)

* use of formal models

* automatic analysis of disfluencies

* Action Exploratoire Inria ODiM 2019-2021

* constitution of a corpus - Aix en Provence (20 patients + control corpus)

* analysis of dialogical transactions (model and parsing)

* articulation of neuropsychological and eye-trackers
* SLAM - Schizophrenia and Language : Analyze and Modelling 2010-2017

* constitution of a corpus - Lyon (18 patients + control corpus)

* use of formal models

* automatic analysis of disfluencies

* Action Exploratoire Inria ODiM 2019-2021

* constitution of a corpus - Aix en Provence (20 patients + control corpus)

* analysis of dialogical transactions (model and parsing)

* articulation of neuropsychological and eye-trackers

* MePheSTO - Inria-DFKI 2020-2022

* creation of a Franco-German corpus

* consideration of multimodality

* use of AI methods
B124 Oh ouais et pis compliqué et c'est vraiment très très compliqué la politique c'est quelque chose quand on s'en occupe faut être gagnant parce qu'autrement quand on est perdant c'est fini quoi

A125 Oui

B126 J. C. D. est mort, L. est mort, P. est mort euh (...)

A127 Ils sont morts parce qu'ils ont perdu à votre avis

B128 Non ils gagnaient mais si ils sont morts, c'est la maladie quoi c'est c'est

A129 Ouais c'est parce qu'ils étaient malades, c'est pas parce qu'ils faisaient de la politique

B130 Si enfin

A131 Si vous pensez que c'est parce qu'ils faisaient de la politique

B132 Oui tiens oui il y a aussi C. qui a accompli un meurtre là il était présent lui aussi qui est à B. mais enfin c'est encore à cause de la politique ça
B124 Oh ouais et pis compliqué et c'est vraiment très très compliqué la politique c'est quelque chose quand on s'en occupe faut être gagnant parce qu'autrement quand on est perdant c'est fini quoi

A125 Oui

B126 J. C. D. est mort, L. est mort, P. est mort euh (...)

A127 Ils sont morts parce qu'ils ont perdu à votre avis

B128 Non ils gagnaient mais si ils sont morts, c'est la maladie quoi c'est c'est

A129 Ouais c'est parce qu'ils étaient malades, c'est pas parce qu'ils faisaient de la politique

B130 Si enfin

A131 Si vous pensez que c'est parce qu'ils faisaient de la politique

B132 Oui tiens oui il y a aussi C. qui a accompli un meurtre là il était présent lui aussi qui est à B. mais enfin c'est encore à cause de la politique ça
<figure><img src="image_6.png" /></figure>
SLAM : Point de vue du psychologue

<figure><img src="image_7.png" /></figure>
SLODIM

Tableau de bord

Onglet patient

Estimation

Analyse empirique

Participant Y

Distribution longueur des chaînes

<figure><img src="image_8.png" /></figure>

Distribution des verbal heads

<figure><img src="image_9.png" /></figure>

Déictiques

<figure><img src="image_10.png" /></figure>

Souris
Aube
Spécifique
Onglet d'entrepôt
Dé designation

Participant 8

Distribution longueur des chaînes

<figure><img src="image_11.png" /></figure>

Distribution des verbal heads

<figure><img src="image_12.png" /></figure>

Déictiques

<figure><img src="image_13.png" /></figure>

Souris
Aube
Spécifique
Onglet d'entrepôt
Dé designation

Participant 8

Distribution longueur des chaînes

<figure><img src="image_14.png" /></figure>

Distribution des verbal heads

<figure><img src="image_15.png" /></figure>

Déictiques

<figure><img src="image_16.png" /></figure>

Participant 0

Distribution longueur des chaînes

<figure><img src="image_17.png" /></figure>

Distribution des verbal heads

<figure><img src="image_18.png" /></figure>

Déictiques

<figure><img src="image_19.png" /></figure>

Souris
Aube
Spécifique
Onglet d'entrepôt
Dé designation
<figure><img src="image_20.png" /></figure>

ODIM.

<figure><img src="image_21.png" /></figure>

CREER UN COMPTE
<figure><img src="image_22.png" /></figure>
<figure><img src="image_23.png" /></figure>
MEPHESTO

<figure><img src="image_24.png" /></figure>

"The vision of MEPHESTO is to help breaking the scientific ground for next generation precision psychiatry through AI-based social interaction analysis."

Johannes Tröger, DFKI

<figure><img src="image_25.png" /></figure>
MEPHESTO

Real-world social interactions |

Measuring clinical evidence where it
really matters

<figure><img src="image_26.png" /></figure>

Johannes Tröger, DFKI

<figure><img src="image_27.png" /></figure>
MEPHESTO

Digital phenotyping |

Modelling clinical symptoms through
multimodal sensor read outs & AI

<figure><img src="image_28.png" /></figure>

Johannes Tröger, DFKI
* Treatment of the *French language*

* Tool for *experts*

* Early detection,

* Help with diagnosis,

* Relapse prediction,

* Help with therapy

* Definition of *language profiles*

* Implementation of *tools for the identification of cognitive processes*

* Collaborative cycle: data collection - models - production of implementations
* Works on transcripts of interviews with patients :

* spontaneous interview (Nancy)

* balloon task (Göteborg)

* Combining linguistic and meta-conversational aspects

<figure><img src="image_29.png" /></figure>

* Use of both formal linguistics and AI tools

* SDRT

* topos
Thank you!
* Démarches administratives lourdes :

* CPP de la région de l'institution médicale

* CNIL

* Les données ne doivent pas être utilisées pour/contre le patient.

* Participation des patients (pertes importantes de participation)

* Protocole lourd
<figure><img src="image_30.png" /></figure>

* What is a question ?

* What is an answer ?

* Where is the question ?

* Where is the answer ?

* Data is scarce (oral ? French ? non constrained ?)

* Ethics : open access ? anonymity ?
# Calculs automatiques

In Logical_form:
    CLOS (AGENT (SOME STUDENT) (TIME MIDNIGHT
          (LOCATION (THE PARK) (PATIENT (EVERY TEACHER)
          MEET))) : s

Interpreted by semantics in Semantics as:
    !
    (Ex x.
        (student x) &
        (All x'.
            (teacher x') >
            (! (Exv e. (meet e) & ((patient e x') &
                                   ((location e (the park)) & ((time e midnight) &
                                                                 ((agent e x) & T))))))
        )
    )
    : t
# Questions

<table><thead><tr><th>Forms (main, mutually exclusive)</th><th>Secondary forms</th><th>Functions</th></tr></thead><tbody><tr><td>Yes/no (polar questions)</td><td>Disjunctive (alternative)</td><td>Ask (confirmation, feature, performance)</td></tr><tr><td>Wh</td><td>Interro-neg</td><td></td></tr><tr><td>Dialogue management Auxiliary (deontic/epistemic)</td><td>Completion suggestion</td><td>BC - simple w/ questions</td></tr><tr><td>Assertion</td><td>Reported/quoted speech</td><td>• Phatic</td></tr><tr><td>Question tags</td><td>Complexity (ID)</td><td>• Clarification request</td></tr><tr><td></td><td>Focus</td><td>• Turn</td></tr></tbody></table>
# Réponses

<table><thead><tr><th>Forms (main, mutually exclusive)</th><th>Secondary forms</th><th>Functions</th></tr></thead><tbody><tr><td>Simple answer</td><td>Reported speech</td><td>Refuse, accept</td></tr><tr><td>Strongly exhaustive answer</td><td>Yes/no</td><td>● Deny the assumption (presupposition)</td></tr><tr><td>Question/question</td><td>Non Sentential Utterances</td><td>BC</td></tr><tr><td>Potentially resolving answer</td><td></td><td>● Phatic</td></tr><tr><td>Aboutness</td><td>Deflective</td><td>Give<br>● Uncertain<br>● Unknown<br>● Unrelated<br>● Feature<br>Perform</td></tr></tbody></table>