C-4-4

自閉症傾向および統合失調症傾向と形式思考障害に関する言語特徴分析
Automatic analysis of linguistic features and formal thought disorderon schizophrenic traits and autistic traits
奈良先端科学技術大学院大学

佐賀健志, 田中宏季, 中村哲

データセット/プログラムは研究目的に限り公開中
https://sites.google.com/view/sagatake/resourceこれまでの研究活動
マルチモーダル情報を用いたソーシャルスキルの自動評価• 自閉スペクトラム症(ASD)や統合失調症の方々のトレーニング支援• 7項目5段階スコア付きデータで推定モデルを学習し、推定値に基づいてフィードバックするシステムを構築

安全面への配慮• 奈良医大の協力を経て、データ収集や検証を実施 (倫理委員会承認済み)

T. Saga et al., "Automatic evaluation-feedback system for automated social skills training", Scientific Reports 13, 6856, Apr. 2023

2023 - Takeshi Saga2

本研究の動機課題• 音声や画像に比較して言語特徴についての分析が不十分• ASDと統合失調症の疾患特性の違いを考慮した評価フィードバックができていなかった

研究方針
疾患特性の違いと言語特徴にフォーカスした発話特性分析=> ２つを包括するキーワード “形式的思考障害” を軸に分析

2023 - Takeshi Saga3

形式的思考障害とは思考障害:• 統合失調症の主症状のひとつ [Holzman1986]• Andreasenの定義: 認知・思考の内容・思考過程・思考形式に関する異常 [Andreasenʼ16]• 内容思考障害• 形式思考障害 (FTD): 妄想や幻聴などの内容の異常: 思考が言語で表現される形式の異常 => 以後FTDと呼称

FTDの種類 [Andreasenʼ16]• 陽性思考障害: 付加的に現れる症状 (全8種, IncoherenceやPressured speechなど)• 陰性思考障害: 一部が欠如した症状 (全4種, poverty of speechやBlockingなど)

F. J. Fish. Schizophrenia. Bristol, England: Bright; 1962.
N. C. Andreasen, “Thought disorder”, in S. H. Fatemi et al., “The medical basis of psychiatry”, 2016

2023 - Takeshi Saga4

ASDとFTD: 統合失調症と同様の症状が見られる
統合失調症とASDでFTD症状の重なりが指摘されている [Konstantareasʼ01]
ASDにおけるFTDについての研究• More poverty of content (貧しい内容), but less illogical thinking (非論理的思考) than
Schizophrenia [Dykens1991]• Associated with overall language level of neologisms (造語の多様) and idiosyncratic language[Volden1991]• Exhibited more aspects of FTD, including illogical thinking and loose association (関係の緩み)[Van der Gaagʼ05, Solomonʼ08]

2023 - Takeshi Saga

5

統合失調症とASD
現在も症状や脳活動の相違点についての研究が活発に行われている• 重なっているが非対称的な関係が脳機能結合の分析によって判明 [Yoshiharaʼ20]• 陰性症状より陽性症状のほうがより分類できる [Trevisanʼ21]• 陽性症状の有無がASDと統合失調症のFTDの違いである可能性

2023 - Takeshi Saga

6

思考障害の定量評価が持つ可能性
統合失調症をとりまく問題• 評価尺度に主観を含む: 既存の思考障害評価尺度は医療従事者の主観を含む• 精神科に対する忌避感 : ネガティブなイメージが原因で精神科に行きにくい。治療開始の遅れに。
自動定量化に期待されること• リスクの早期検出による早期治療• スマホアプリやウェブシステム等によるセルフメディケーション• 大規模データと機械学習を用いた疾患理解の促進

2023 - Takeshi Saga7思考障害の自動推定についての関連研究: Silvaʼ21

CDICDICDI• 1分間、写真について発話するタスクを統合失調症群と健常群で実施し言語特徴量との相関を分析• 品詞比率の組み合わせた特徴量CDI(横軸)が決定係数0.19-0.25でFTD傾向スコア(縦軸)を推定

Silva et al., “Small Words That Matter: Linguistic Style and Conceptual Disorganization in Untreated First-Episode Schizophrenia”, Schizophrenia Bulletin, 2021

2023 - Takeshi Saga8

思考障害の自動推定についての関連研究: Tangʼ21• 12分程度のインタビューデータを使用し、統合失調症群と健常群における言語特徴量を比較分析• 統合失調症群では代名詞が多く、限定詞・助詞・形容詞が少なかった• 統合失調症群では単一質問に対する返答文数が増えるほど文埋め込みの距離が離れた
Tang et al., “Natural language processing methods are sensitive to sub-clinical linguistic differences in schizophrenia spectrum disorders”, npj Schizophrenia, 2021

2023 - Takeshi Saga

9

これまでの問題点と本研究の問い (Research Question: RQ)
これまでの問題点• 発話長や発話テーマ、誘発刺激など収録条件が異なるため比較できない• プライバシーの保護の観点から患者データが公開されていないため手法比較が困難• データ収集の難しさから複数疾患群での比較を行った研究は少ない

本研究の問い• RQ1: FTD症状を誘発するために適切な発話テーマはなにか• RQ2: FTDの誘発に発話長さは影響を与えるのか• RQ3: 各傾向スコアの推定にどの言語特徴が有効なのか※評価値付き健常群データを分析対象とすることでデータが公開できない問題にも対処

2023 - Takeshi Saga

10

実験概要
データ収集
• 音声収録手順• 質問紙の選定

相関分析• 統合失調症傾向スコアと自閉症傾向スコアの相関分析

回帰分析• 発話テーマによる影響比較• 発話長による影響比較• アブレーションによる重要特徴の分析

2023 - Takeshi Saga11

データ収集: 音声収録手順• 参加者募集: クラウドソーシング• 形式: オンライン• 被験者数: 54人• 収録手順: 同意書記入 > 質問紙記入 (詳細は後述) > 9つの条件(セッション)で音声収録「好きなこと」と「最も大きな失敗」はオリジナルで追加• 収録条件:• 発話テーマ• 発話長: 最近みた夢 (または好きなこと)・ネガティブな記憶・最も大きな失敗: 30・60・180 [秒][Mota 2017] 最近の見た夢・ネガティブ画像・ニュートラル画像・ポジティブ画像について発話を収録、最近見た夢とネガティブ画像
で統合失調症検出に有効性を確認• 有効データ数: 446 (夢-58, 好きなこと-91, ネガティブ-149, 失敗-148), 有効比率: 92%• 書き起こし: Whisper-large-v2による自動書き起こし後に目視で修正

N. B. Mota et al., “Thought disorder measured as random speech structure classifies negative symptoms and schizophrenia diagnosis 6months in advance”, npj Schizophrenia, 20172023 - Takeshi Saga12

質問紙の選定
日本国内でのFTD研究は限定的• 日本語でFTDを詳細に定量評価する指標が無い (英語等ではTLCやTALDなどがある)• 国外では統合失調症の評価指標PANSSのサブスケールを使用している例もある• PANSSであれば日本語版もあるが、医師や臨床心理士の協力が必要でデータ量の確保が難しい

本研究では一定のデータ量を確保するために自己回答質問紙を用いてラベル付与• Schizotypal Personality Questionnaire (SPQ)• 統合失調症傾向の測定• 下位尺度「奇異な発話」を思考障害傾向スコアとして使用• 2nd edition of Social Responsiveness Scale (SRS2)• 自閉症傾向の測定• 事前分析において「奇異な発話」とSPQ・SRS2はそれぞれ相関していることを確認
N. C. Andreasen, “Scale for the assessment of thought, language, and communication (TLC)”, Schizophrenia bulletin, 1986
T. Kircher, “A rating scale for the assessment of objective and subjective formal thought and language disorder (TALD)”, Schizophrenia research, 2014
S. R. Kay, “The positive and negative syndrome scale (PANSS) for schizophrenia”, Schizophrenia bulletin, 1987
A. Raine, “The SPQ: a scale for the assessment of schizotypal personality based on DSM-III-R criteria”, Schizophrenia bulletin, 1991
J. N. Constantino, “Social responsiveness scale, second edition”, WPS, 20122023 - Takeshi Saga13

回帰分析: 実験設定
機械学習モデル:• 部分的最小二乗回帰 (PLS回帰)

評価方法 : Nested cross validation• Outer loop: leave-one-participant-out(個人性の排除)• Inner loop: 5-fold(主成分数の最適化: 1から10の探索範囲)

入力特徴量グループ• 埋め込み: BERT文埋め込み差分 [Tangʼ21], 文埋め込みコサイン距離, 内容語コサイン距離 [Sagaʼ22]• 内容語: 内容語の各品詞割合 - 名詞, 動詞, 形容詞, 形容動詞, 副詞• 機能語: 機能語の各品詞割合 - 接頭辞, 接尾辞, 間投詞, 代名詞, 連体詞, 接続詞, 助詞, 助動詞• 概略的: 内容語群の割合, CDI-J [Pennebakerʼ14を日本語に適用], 否定表現の割合• 時間的: 1分間の単語数, 句読点比率 (疑似的ポーズ秒数)
共通したデータを用いることで手法比較が可能に

Saga et al., “Multimodal prediction of social responsiveness score with BERT-based text features”, IEICE-Trans., 2022
Tang et al., “Natural language processing methods are sensitive to sub-clinical linguistic differences in schizophrenia spectrum disorders”, npj Schizophrenia, 2021
Pennebaker et al., “When small words foretell academic success: the case of college admissions essays”, PLOS ONE, 2014

2023 - Takeshi Saga14

回帰分析: 発話テーマが与える影響 (Spearman相関, p<0.05)「ネガティブな記憶」についての発話でいずれに推定対象スコアにも有意な相関を示した• Minorらは陽性思考障害が脳の感情システムに関連している可能性を指摘しており、「ネガティブな記憶」を思い出すことでFTD症状をうまく誘発できた可能性がある [Minorʼ16]「最近見た夢」についての発話ではSRSスコア推定でのみ有意な相関を示した• Motaらは 「ネガティブ画像」 や「夢」の発話が統合失調症の分類への有効性を指摘 [Motaʼ17]• 本実験においては自閉症傾向の推定には有効だった一方で統合失調症傾向には有効ではなかった。
• 「夢」の発話による刺激は症状の進行度合いの影響を受ける可能性もMinor et al., ”Affective systems induce formal thought disorder in early-stage psychosis”, Journal of Abnormal Psychology, 2016
Mota et al., “Thought disorder measured as random speech structure classifies negative symptoms and schizophrenia diagnosis 6 months in advance”, npj Schizophrenia, 20172023 - Takeshi Saga

15

回帰分析: 発話長が与える影響

Audio. 1
Audio. 2
Audio. 3

30 sec60 sec180 sec「奇異な発話(OddSpeech)」において発話長が伸びるほど推定性能の上昇が見られた• 180秒音声を3等分した場合も同様な結果が得られた -> 発話時間が長くなるほどFTD症状が誘発されていた2023 - Takeshi Saga16

回帰分析:アブレーションによる重要特徴の分析• 最も強い相関を示した特徴量グループ組み合わせ• SPQ• OddSpeech• SRS: 機能語, 概略的, 内容語: 機能語, 概略的, 時間的: 機能語, 埋め込み, 内容語• 以上の結果より• SPQ, SRS共通 : 機能語特徴が重要• SPQ: 埋め込み特徴• SRS: 内容語特徴

2023 - Takeshi Saga17

まとめと展望まとめ• 形式思考障害FTDラベル付き音声発話データセットを収集した• 「ネガティブな記憶」「長めの収録時間」がFTDを誘発しやすいことが示唆された• アブレーションを通して• SPQとSRSで共通して有効: 機能語• SPQとSRSでそれぞれ特異的に有効: 埋め込み特徴 (統合失調症) 、内容語特徴 (自閉症)

今後の展望• 抽象的特徴と埋め込み特徴がそれぞれの疾患傾向予測に有効だった理由の分析• ASDと統合失調症についてのfMRI等による生理的分析の先行研究の整理• 実際のテキストデータと対応する特徴量の比較、事例分析
データセット/プログラムは研究目的に限り公開中
https://sites.google.com/view/sagatake/resource

2023 - Takeshi Saga

(適当な理由をつけて)フォーム申請 -> ダウンロード-> 何ができるか一緒に考えましょう👍18

Appendix

2023 - Takeshi Saga19

統合失調症と思考障害: 統合失調症研究から発展した思考障害という概念• (1920-1930) 幻覚や妄想などの精神症状を主体とする統合失調症 (精神分裂病)が定義• (1962) Frank Fishは認知の異常の4分類の中で「思考過程の障害」と「思考形式の障害」を提示し、現在の(広義の)思考障害の概念が示された• (1994)精神疾患診断基準DSM-4で統合失調症の診断基準が明確化 (ICD10も同年)• (2014) 現行のDSM-5発行され、統合失調症の診断基準として以下が定義された• 妄想、幻覚、思考障害、まとまりのない行動、陰性症状• (2016) 前出のAndreasenの分類に至る

Fish FJ. Schizophrenia. Bristol, England: Bright; 1962.

2023 - Takeshi Saga20

相関分析: 統合失調症傾向スコアと自閉症傾向スコア

SPQ
SPQ
OddSpeech
SRS

OddSpeech1.00

SRS

Awareness

Cognition

Communication

0.28

0.01

-0.22

0.44

0.28

1.00

0.32

-0.29

0.10

0.11

1.00

0.09

-0.28

-0.27

1-0.19

-0.11

1.00

0.40

Awareness
Cognition• 統合失調症傾向SPQと自閉症傾向SRSは相関していない
Communication• サブスケール「奇異な発話(OddSpeech)」はSPQとSRSどちらにも相関している

1.00• 思考障害が統合失調症傾向と自閉症傾向の共通項であることを示唆

2023 - Takeshi Saga21

Thought disorder

Chapter 25 Thought Disorder
S. H. Fatemi et al. The Medical Basis of Psychiatry, 2016 (DOI 10.1007/978-1-4939-2528-5_25)
Positive thought disorder

Negative thought disorder

Illogicality
Derailment
Poverty of speech
Restriction in the amount of speech (brief,concrete, unelaborated)

Poverty of contentof speechLong enough but convey little information

Blocking
Interruption of a train of speech before athought or idea has been completed

Pattern of speech in which the ideas slip off the
track onto another one which is clearly but
obliquely related or onto one that is completely
unrelated.
Between sentence level.
Alias: loose associations, flight of ideas
NOTE: some uses “tangentiality” with the same meaning but
that’s not recommended since they tend to be unreliable

Incoherence
Pattern of speech which is essentially
incomprehensible at times.
Similar to derailment, but within
sentence or word level.
Alias: Word salad, Jargon aphasia,
paragrammatism

Pattern of speech in which conclusions
are reached that do not follow logically.
Faulty inductive inferences.
Distractible speech
During a discussion or interview, stops
talking in the middle of a sentence andchanges the subject in response to a
nearby stimulus

Clanging
Pattern of speech in which sounds rather
than meaningful relationships appear togovern word choice.
Sound or rhythm affect to word choice.

Perseveration
Persistent repetition of words, ideas, orsubjects

Tangentiality
Reply to a question in an oblique,tangential, or even irrelevant manner.

Pressured speech
Increase in the amount of speech ascompared with ordinary one.
Incl. uncompleted sentences, loud andemphatic speech.

“意味がちょっとずつずれていく”点で類似
音が関係

Feature group correspondence with FTD symptoms• Negative thought disorder••••

Poverty of speech
Poverty of content of speech
Blocking
Perseveration

Temporal (WPM)
Function word
Few speech amountContent word
Target symptoms
Long enough but little information abstract
Interruption of speech before a thought or idea has been completed
Persistent repetition of words, ideas, subjects• Positive thought disorder•••••

Derailment
Incoherence
Tangentiality
Illogicality
Distractible speechstimulus• Clanging• Pressured speech

Ideas slip off the track onto another one, between-sentence
Ideas slip off the track onto another one, between-word Embedding
Reply to a question in tangential, irrelevant manner
Faulty inductive inference
Stop talking in the middle and changes subject related to a nearby
Odd word choice affected by sound or rhythm
abstract, temporal
Abnormal increase in amount, incomplete speech

N. C. Andreasen, “Thought disorder”, in S. H. Fatemi et al., “The medical basis of psychiatry”, 2008
2023/12/12

TAPAS supported by ANR-CREST

23

English-Japanese POS correspondence• English Part-of-speech (POS) system and Japanese POS system are different• Actually, Japanese POS systems are also different... (UniDic, IPA, Masuoka-Kubota grammar)
Unidic (Sudachi)

Englishsubcategory

IPA (Mecab,Cabocha)

category

category

articleAdnominal

category
Adnominal

preposition

Particle

Particlepersonal pronoun

Pronoun

Noun

Aux. verb

Aux. verb

SuffixNounsubcategory

Masuoka-Kubota (Juman,KNP)
category

subcategory

Adnominal
Demonstrative

adnominal form

ParticlepronounDemonstrative

noun form•

impersonal pronoun
auxiliary verb

Aux. verb
suffixSuffix◦ continue to use Sudachi

adjective predicate

Copulaconjunction

Conjunction

Conjunction

Conjunction

adverbAdverbAdverbAdverbNoun

Noun

negationInterjection

generalInterjection

Interjection

fillerFillerGeneral

Noun
Interjection

Verb

Verb

Adjective

Adjective

adjectival nounNoun

PrefixPrefixPrefixSymbolSymbolSpecialAux. symbol

OthersUsed Sudachi in prev. research•

Japanese doesn’t have negation POS◦ negation “phrase” detector from KNP

Verb
Adjective
adjective stemBlank

2023/12/12

TAPAS supported by ANR-CREST

24

Embedding-based features• Sentence-level BERT difference [Tang2021]• Average absolute difference between adjacent sentence embeddings• Sentence-level BERT similarity [Saga2022]• Average cosine similarity between adjacent sentence embeddings• Content-word-level BERT similarity [Saga2022]• Average cosine similarity between adjacent content-word embeddings• (Word-level BERT similarity [Saga2022], not used for this research, weak theoreticalbackground)• Average cosine similarity between adjacent word embeddings• To capture fluency or discontinuity of language
Saga et al., “Multimodal prediction of social responsiveness score with BERT-based text features”, IEICE-Trans., 2022
Tang et al., “Natural language processing methods are sensitive to sub-clinical linguistic differences in schizophrenia spectrum disorders”, npj Schizophrenia, 2021

2023/12/12

TAPAS supported by ANR-CREST

25

CDI-J• Computationally derived language dimension• Categorical language• Dynamic language: references to complexly organized objects and concepts: personal narratives• Pennebaker proposed Categorical-dynamic index (CDI) in 2014
• Silva applied to Schizophrenia classification in 2021

• Procedure• Calculate percentage of each POS related to function words (+ number of negation phrase)• prefix, suffix, interjection, pronoun, adnominal, conjunction, particle, aux. verb, negation phrase• Calculate +/- signs for each POS from PCA 1st component loadings• CDI-J = + [prefix] + [suffix] + [interjection] + [aux. verb] - [pronoun] - [adnominal] [conjunction] ‒ [particle] - [negation phrase]• Explained variance ratio: (original EN) 30%, (JP) 19% --- due to large variety of JP POS types?

Pennebaker et al., “When small words foretell academic success: the case of college admissions essays”, PLOS ONE, 2014
Silva et al., “Small words that matter: linguistic style and conceptual disorganization in untreated first-episode Schizophrenia”, Schizophrenia bulletin, 2022

2023/12/12

TAPAS supported by ANR-CREST

26回帰分析: スピーチ長が与える影響 (音声長正規化あり)
データ量による影響を除くために180秒音声を60秒ごとに分割

SourceAudio. 1

180 sec
0-60 sec

Audio. 2

60-120 sec

Audio. 3

120-180 sec
SPQ

OddSpeech

60sec

120sec180sec

60sec

SRS
120sec180sec

60sec

120sec180sectrue-pred-0.146

0.001

0.240

-0.081

0.072

0.369

0.330

0.017

0.280

ratio_verb

0.007

0.039

-0.032-0.051-0.053-0.052-0.282-0.206

0.098• SPQとOddSpeechの推定結果においてスピーチ長が伸びるほど正解ラベルとの相関が見られた
ratio_particle0.165
0.188
0.309
0.362
0.251
0.444
0.230
0.178
0.134
CDI-J
0.285
0.168
0.236
0.340
0.213
0.331
0.095
0.183
0.362
• OddSpeechにおける推定性能の上昇はデータ量によるアルゴリズム特性起因ではなく、長く話し続けることによる思考障害の表出傾向に起因するものと考えられる
ratio_content-0.063-0.2670.001
0.034-0.103

0.076

0.093

0.092

-0.535

ratio_punctuation-0.057-0.091-0.215-0.263-0.183-0.139-0.110-0.4200.142

ratio_suffix

0.275

0.050

0.256

0.109

0.109

0.397

0.033

0.130

0.134

num_negation

0.417

0.342

0.144
0.378
2023 - Takeshi
Saga

0.305

0.262

0.125

0.329

0.431
27

ratio_pronoun

0.198

0.135

0.136

0.351

0.282

0.146

0.234

0.445

0.212

OddSpeechとSRSが高めな発話例 [ネガティブ発話, 3分]- 中略 えっと もとも私の職種がまぁ製造業のまぁ一般事務の仕事でして まあ個人プレイというよりはチームで動くことが多い中でまあその方はあの旗[傍]から見ると自分の能力を上の人とかに見せつけたいが故に他の人の意見をあの 結構頭ごなしに同年代なんですけどリズム[理詰め]で否定したりだとか発表とかをみんなで分担してアイデア出しとか分担して やるべきところ全部一人でやって あのやってしまっ たというところにメンバー私も含めてネガティブな感情を抱いた出来事 になります
はいで まあ当人とはまあプロジェクトが終わった後に まあプライベートも含めていろいろ話をして現在はあの少し改新[改心]して周りと協力しながら 仕事を進めているのでまあ結果的には本人にはいい経験すごい上から目線ですけどいい経験になったのかなと思って おります今後私が他のメンバーと仕事をするときにそうならないように周りの力を引き出していける ようになりたいなとその出来事を反面教師として今は捉えて仕事を推進しております以上です(文の途中での改行が多く見られており、文中でのポーズが長め)
4770393-8

2023 - Takeshi Saga

28

Relationship with brain activities and FTD symptoms

2023 - Takeshi Saga

29