自然言語処理と記述言語研究のインターフェイス
Universal Dependencies のすすめ田口 智大 (Chihiro Taguchi)
Department of Computer Science and Engineering, University of Notre Dame概要
自然言語処理と記述言語学にまたがる研究の紹介（言語学者向け）
1.
2.
3.
4.
5.

自己紹介
言語学と自然言語処理
Universal Dependencies (UD)
タタール語UDの紹介
今後の展望

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

2自己紹介田口 智大 (TAGUCHI Chihiro)
2015年4月 – 2019年9月

慶應義塾大学法学部政治学科

2018年9月 – 2019年6月

SOAS, University of London 留学

2019年8月 – 2019年9月

東京外国語大学 AA研夏期言語研修 ジンポー語空白？
2020年10月 – 2022年9月

奈良先端科学技術大学院大学修士課程 自然言語処理学研究室

2021年9月 – 2022年8月

University of Edinburgh, MSc by Research in Linguistics

2022年8月 – 現在

University of Notre Dame, PhD in Computer Science and Engineering

現在の研究テーマ : 言語記述のための自然言語処理技術の研究•

例えば、少ないアノテーション済み ELANデータから自動転写モデルを機械学習で訓練

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

3言語学と自然言語処理
似て非なる領域
社会学

数学

哲学

情報学

人類学
コンピュータ科学

文学

言語学

言語自然言語処理
データ
サイエンス

心理学

歴史学
https://ctaguchi.github.io

統計学
2023年7月26日: 第23回文法研究ワークショップ

プログラミング4言語学と自然言語処理
どちらも言語を対象にしているが...
❖決定的な方向性の違い：science 志向か、engineering 志向かScience としての言語学

Engineering としての自然言語処理

人間独自の能力 としての言語の仕組みの探究● 普遍文法 Generative grammar● 認知言語学 Cognitive linguistics● 心理言語学 Psycholinguistics● 言語獲得 Language acquisition● 記述言語学 Descriptive linguistics
人間のツールとしての言語の仕組みの探究● 社会言語学 Sociolinguistics● 計算言語学 Computational linguistics

言語に関して 人間の役に立つ技術の開発● 機械翻訳 Machine translation
Google Translate, DeepL● 音声認識 Speech recognition
Siri, Alexa, YouTube● 文法誤り訂正 Grammatical error correction
Grammarly● チャットボット、検索エンジン
ChatGPT
計算機による人間言語のモデリングhttps://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

5言語学と自然言語処理
Engineering としての自然言語処理の方向性はここ数年で一気に明確化•十年前：統計的手法が主流––––•

統計的機械翻訳 statistical machine translation (SMT)構文解析 parsing → 統語論 syntax と相性が良い（日本語）形態素分析 morphological segmentation
コーパスを用いた研究・開発 → コーパス言語学 corpus linguistics と相性が良い

現在：深層学習 deep learning を用いた手法が主流–––––

https://ctaguchi.github.io

Vaswani et al. (2017) “Attention is all you need”: Transformer の台頭
半導体技術の進展により、大規模な行列演算が可能
ニューラル機械翻訳 neural machine translation (NMT)
科学的な説明性 explainability に欠けるが、技術としてはあまりにも便利で強力
句構造規則 phrase structure rules などを用いた技術は衰退 (?)
2023年7月26日: 第23回文法研究ワークショップ

6言語学と自然言語処理
学会文化の違い（印象）
言語学

自然言語処理全体的な雰囲気

文系寄り

理系寄り（特に工学）

共著・単著

単著が主流

共著が主流

パブリケーション

じっくり時間をかけて書く

たくさん実験してたくさん書く（多産多死？）

業績

論文執筆が主トップ国際学会での発表も業績

引用30〜40年前の論文も頻繁に引用

10年以内の研究の引用が多い

設置学部

文系（言語学、文献学、文学）

理系（工学、情報学）

論文の構成

例を用いながら理論構築に寄与（分野による）コードを書いて実験、報告

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

7言語学と自然言語処理
言語学と自然言語処理の溝は広まっていくばかり......？
•

あくまで全体的なトレンドの話––••

英語などの「大きな言語」中心
ビジネス、有用性

言語学の科学的重要性は不変
記述言語学ができること–––

自然言語処理においてデータは不可欠
世界の99%以上の言語はデータが不足（機械に可読な形で）言語を記述することが重要

本発表では、（記述）言語学と自然言語処理にまたがる取り組みの一つとして、
Universal Dependencies (UD) を紹介する
https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

8Universal Dependencies (UD) とは
Universal Dependencies
どの言語に対しても統一された形態統語的アノテーションをするプロジェクト••••••

2015年に version 1.0 公開
今もコミュニティが拡大中
年2回更新（春・秋）
Github上で管理
2023年7月現在、141言語・245個のツリーバンク（コーパス）
年に一度、Universal Dependencies Workshop (UDW) を開催

コンピュータで処理しやすい形式（タブ区切り形式 .tsv）
https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

9UDの形式: CoNLL-U
語（syntactic word）単位のアノテーション
一文中の各語に対して、
••
••
•••

ID: 語ID
FORM: 語LEMMA: レンマ（辞書形、原形、語幹）
UPOS: 品詞FEATS: 形態的素性HEAD: 修飾先（ヘッド）
DEPREL: 修飾関係

をアノテーション
https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

10UDの形式：例
UDドイツ語（PUDツリーバンク）より

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

11

UDの形式: FORM, LEMMA
Tokenization and Word Segmentation
FORM: 表層形を記述•

統語的語 syntactic word を基準とする––正書法上で区切られた語や音韻的な語ではない
例: いわゆる接語 clitic は別の語として扱う•

dámelo (“Give it to me”; スペイン語）
dá=me=logive.IMP=OBJ.1SG=OBJ.3SG.M→3語として分析。他にもフランス語のau < à + le やドイツ語の zum < zu + dem など

LEMMA: 辞書形、原形を記述•

言語によって方針は異なりうる–

https://ctaguchi.github.io

英語の動詞: 辞書形、ドイツ語の動詞 : 不定形、日本語の動詞 : ウ段形、テュルク諸語の動詞 : 語幹
2023年7月26日: 第23回文法研究ワークショップ

12

UDの形式：UPOS
品詞を記述
開いた類 open class

閉じた類 closed class

その他

ADJ 形容詞

ADP 側置詞

PUNCT 句読点など

ADV 副詞AUX 助動詞SYM 記号など

INTJ 感嘆詞

CCONJ 等位接続詞

X その他

NOUN 名詞

DET 限定詞

PROPN 固有名詞

NUM 数詞VERB 動詞PART 不変化詞
PRON 代名詞SCONJ 従属接続詞

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

13

UDの形式：FEATS
形態論情報を記述•••

形態素境界は示さない（屈折語を考慮）
形態素の順番も考慮しない
FORM（語）に含まれる形態的素性を set として記述
慣習的に素性をアルファベット順に記述–
例：арттырдым （タタール語 : “I increased (it)”）
art-tïr-dï-mincrease-CAUS-PST-1SG→ FEATSは Number=Sing|Person=1|Tense=Past|VerbForm=Fin|Voice=Cau

素性一覧
https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

14

UDの形式：HEAD
統語的依存関係の主要部のIDを記載•

依存先がない場合 0

例: Clinton defeated Dole.
ID

FORM

1Clinton2

2

defeated

03

Dole

24.

2

https://ctaguchi.github.io

…

HEAD

2023年7月26日: 第23回文法研究ワークショップ

15

UDの形式：DEPREL
統語的依存関係の種類を記載•

依存先がない場合 rootrootnsubjobj

例: Clinton defeated Dole.
ID

FORM1…

HEAD

DEPREL

Clinton2nsubj2

defeated

0root

3

Dole

2obj

4.

2

punct

依存関係一覧
https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

16

UDの形式：まとめ
トルコ語UD（GB）より•••syntactic word による分解
品詞情報、形態論情報、統語情報は必ず明記
現在もアノテーション方針は議論が進行中

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

17

UDの応用
•

全言語共通のアノテーション基準を用いて通言語的な比較ができる–

類型論
•

–

統語論の比較
•–CCG: Tran and Miyao (2022), LFG: Patejuk and Przepiórkowski (2018)

多様なテキストへの応用–•Çöltekin and Rama (2022), Chen and Gerdes (2017), More and Tsarfaty (2016)

他の言語理論との互換性–•

Alzetta et al. (2018), Kanayama et al. (2018), Choi et al. (2021)

形態論の比較
••Marneffe et al. (2014), Futrell (2020)

数式: Levine (2023)

ツール開発
–

https://ctaguchi.github.io

日本語形態素分析 : GiNZA

2023年7月26日: 第23回文法研究ワークショップ

18

記述言語学とUD
少数言語の記述も兼ねたUDの活用例（Zariquiey et al. 2022）
••
•
•
•
•
•
••
•
•••
•
•

Akuntsu語UD（トゥピ語族）
Apurina語UD（アラワク語族）
Beja語UD（アフロアジア語族クシ語派）
Bororo語UD（マクロ・ジェ語族）
チュクチ語 UD（チュクチ・カムチャツカ語族）
コプト語UD（アフロアジア語族エジプト語派）
Erzya語UD（ウラル語族モルドヴィン語派）
Guajajara語UD（トゥピ語族）
Kaapor語UD（トゥピ語族）
Kangri語UD（印欧語族インド諸語）
キチェ語UD（マヤ語族）
Livvi語UD（ウラル語族バルト・フィン諸語）
Madi語UD（アラワ語族）
Makurap語UD（トゥピ語族）
マン島語UD（印欧語族ケルト語派）

https://ctaguchi.github.io••••••••••••••

Mbya Guarani語UD（トゥピ語族）
Moksha語UD（ウラル語族モルドヴィン諸語）
Munduruku語UD（トゥピ語族）
Nayini語UD（印欧語族イラン諸語）
Nheengatu語UD（トゥピ語族）
North Sami語UD（ウラル語族フィン・ウゴル語派）
Pomak語UD（印欧語族スラヴ語派）
Skolt Sami語UD（ウラル語族フィン・ウゴル語派）
Soi語UD（印欧語族イラン諸語）
西シエラ・プエブラ・ナワトル語 UD（ユト・アステカ語族）
Xavante語UD（マクロ・ジェ語族）
シベ語UD（ツングース諸語）
Yupik語UD（エスキモー・アレウト語族）
Zaar語UD（アフロアジア語族チャド諸語）

2023年7月26日: 第23回文法研究ワークショップ

19

UD上の言語多様性の重要性••

プロジェクトとしてのUDはまだ始まって8年
ガイドラインは頻繁に更新されている–––

経験論的にガイドラインを更新できるだけ多くの言語を考慮する必要がある
生成文法、記述言語学、類型論などと同様

Our experience tells us that every language adds something to the generalprogram of the scientific study of grammar.
Hale, K. (1998). On endangered languages and the importance of linguistic diversity.

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

20

UDの長所と課題
長所活気がある
言語の多様性

••

–––

言語数語族
手話言語、死語、コードミキシング

貢献者の多様性（言語学者、プログラマ、計算言語学者...）
手軽に貢献できる••
短所•

アノテーションの不一致（次スライド）–

https://ctaguchi.github.io

ミス、放置、言語学的知見の不足
2023年7月26日: 第23回文法研究ワークショップ

21

UDの短所
アノテーションの不一致の問題••••

他のツリーバンクからの自動変換で生成されたUDツリーバンクも少なくなく、UDにそぐわないアノテーションになっていることがある
同じ言語のツリーバンクでも、貢献者によってアノテーション方針に食い違いがあったりする
ツリーバンク間・言語間の貢献者の間での議論が活発でない
貢献者の都合で更新がストップしてしまうとはいえ...
••まだ開始して数年のプロジェクトで、問題提起や議論の場も増えつつある
今後に期待

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

22

UDへ貢献するには？
Release checklist
1.
2.

GitHubアカウントの作成
UDレポジトリ管理担当者に連絡
a.
b.

3.

ツリーバンクの編集（How to start）
a.
b.
c.
d.
e.

4.

言語名、ツリーバンク名
GitHub上にレポジトリを作ってくれるテキストを選定
アノテーション
正しいフォーマットかどうか自動でテスト
GitHubレポジトリにファイル（ .conllu）をアップロード
年2回（5月・11月）に更新、公開されるドキュメンテーションを作成

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

23

研究紹介: タタール語UD24タタール語とはТатар теле / Tatar tele••

タタール語 < キプチャク（北西）語群 < テュルク語族
ロシア連邦タタールスタン共和国–•

約500万人の話者–••

旧ソ連諸国、新疆、欧米にディアスポラ
ロシア語とのバイリンガル

キリル文字正書法が主流
ロシア語の語彙の流入–

典型的な借用語と異なり、ロシア語の音韻を保っている

Коронавирустан саклануның төп ысулы вакцинация булып тора — башка юл юк.
Koronavirustan saqlanunıñ töp ısulı vaktsinatsiyä bulıp tora — başqa yul yuq.
https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

25

タタール語UDUD Tatar NMCTT•••

2021年11月15日公開
2280トークン
テキスト：タタール語のニュースサイト––••

Tatar Inform
テキストの使用許可を取得

貢献者：私のみ（協力者募集中です）
コード・ミキシングを明示的にアノテーション

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

26

タタール語UD：見た目
コード・ミキシングが起きている箇所をアノテーション

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

27

タタール語UD作成の流れ•••

ニュースサイトよりテキストの使用許可を取得
タタール語UDを作りたい旨を管理者に連絡
アノテーション開始––••

他のツリーバンク（特にテュルク諸語）を参照しながら進めるGoogle Colab上で統語依存関係を可視化しながら、手作業でアノテーション

ツリーバンクファイル（.conllu）をGitHubにアップロード
ドキュメンテーションを編集

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ28

タタール語UDの応用
タタール語内のロシア語コード・ミキシングの予測（Taguchi et al. 2022）•

語の内部（形態素単位）で起きることがあるкоронавирустан
koronavirus-tan
coronavirus-ABL•••

ロシア語部分を予測することは、ラテン文字正書法への翻字などで重要
タタール語コーパス構築や辞書構築などでも有用
タタール語の文中に混ざったロシア語を定量的に調べることができる

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ29タタール語UDの応用

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

30

タタール語UDの応用
タタール語UDからわかること••

書き言葉のタタール語では、コード・ミキシングを起こしているのは開いたクラス
open class の語に集中
約20%の名詞がロシア語（またはその派生形）※ ニュース記事なので、他のジャンルや話し言葉の分布とは異なる可能性が大きい

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

31

形態素単位での自動言語識別
どのようにして自動でロシア語部分を抜き出すか？
→ 2つの問題を同時に解く•

スパン同定タスク––•

テキスト中のどこからどこまでを抜き出すかB(eginning), I(ntermediate), O(utside), S(ingleton) の4つのタグを各文字に付与к о р о н а в и р у с т а н
B I I I I I I I I I I O O O

言語識別タスク––https://ctaguchi.github.io

文字列の言語を判定
この場合は三つの候補：タタール語、ロシア語、その他）

2023年7月26日: 第23回文法研究ワークショップ

32

形態素単位での自動言語識別
スパン同定タスクと言語識別タスクを文字単位で解くモデルを訓練したい→条件付き確率場 (Conditional Random Fields; CRFs)•

前後の情報やその他の関連する情報（素性）を考慮することができる（文脈）–

コード・ミキシングは周辺の単語や文字列、品詞とある程度の関連がみられるため、これらを活用したい

訓練データ: タタール語UDのコード・ミキシングのアノテーション

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

33

形態素単位での自動識別
Precision（適合率）: Xと予測したもののうち、実際にXであった確率
Recall（再現率）: 全てのXのうち、Xであると予測できた確率
F1スコア: 適合率と再現率の調和平均

結果••

少ないデータでも言語識別できている
品詞タグ、語（FORM）などのUDに備わった追加の情報を入れると精度が上昇している→ UDを利用した応用ツールの開発やコーパス研究ができそう

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

34

まとめ•

言語学と自然言語処理–––•

トレンドや研究目標の面で分野の壁が大きくなっているように見えるが、根本の関心は 言語
言語処理では、大言語（ < ~20言語？）以外はデータ（言語資源）が足りていない（記述）言語学と言語処理技術を合わせた研究の機運も高まっている

UDは今後もどんどん発展していく–––––

https://ctaguchi.github.io

言語多様性の上昇 → より普遍性の高いフレームワークへ応用研究の機運が高まる : 類型論、コーパス言語学、ツール開発
言語記述の一つの手段としての UD
ただし問題も多く残る（記述）言語学者が必要とされている

2023年7月26日: 第23回文法研究ワークショップ

35

おまけ: 今後やってみたいこと
発話データからUD構築•••

ELANのアノテーション + UDのアノテーション
自動音声認識モデルを訓練 → UD形式でアウトプット
音声からコーパスへのパイプライン→ フィールドワークをする記述言語学者に結びつけたい

現状のUDは書記言語に偏っている••無文字言語や、正書法が確立されていない言語は？
「話された形式」をもっと重視すべき

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

36

時間が余ったらフィールドワーク × 音声認識の話をします...

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

37

フォーマット変換
ELAN形式（.eafファイル = .xmlファイル）
フォーマット変換を自動化することはできるか••

xmlファイル → Python辞書形式→ .tsv に成形してエクスポート（.conlluファイル）スクリプト共有？

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ38

ありがとうございました
Email: ctaguchi@nd.edu

https://ctaguchi.github.io

2023年7月26日: 第23回文法研究ワークショップ

39