言語処理学会 第30回年次大会 発表論文集（2024年3月）

文字系列情報による性能への影響から
ニューラルモデルが有する言語的な傾向を見出せるか
黒澤 友哉

谷中 瞳

東京大学
{kurosawa-tomoya, hyanaka}@is.s.u-tokyo.ac.jp

概要
本研究では，文字系列情報を付加的に利用する
ニューラルモデルにおいて，文字系列情報による性能への影響度を定義し，その値がどのような言語的な傾向を反映しているかを検証する．実験では 48の言語を対象に，品詞タグ付けと依存構造解析の 2
つのタスクにおいて，文字系列情報による性能への影響度を調査する．文字の数が多いほど情報量も多いことから，仮説として「文字系列情報が与える性能への影響度は，その言語の平均単語長が長いほど大きい」と立て検証する．実験の結果，ラテン文字を用いる言語において仮説を支持する値が得られた
一方で，検定の結果，依存構造解析においては仮説を示すことができなかった．

1

はじめに

文字は，記述された自然言語を構成する最小の要素である．我々人間は文字を読み，意味を理解す
る．ニューラルモデルは基本的に，文字の特定の並びを一つのトークンとして扱う．一部のモデルは，文を構成する文字についてもトークンと同様埋め込
みを計算するなどして，文字の情報を利用するものがある．ここではその文字の情報を文字系列情報と呼び，文を構成する文字の列として定義する．文字
系列情報を利用したモデルは，それを利用しなかった場合よりも高い性能が，様々な言語とタスクで報告されている [1, 2, 3]．しかし，文字系列情報による性能上昇は，それを利用した場合と利用しなかった場合のスコアの差として計算されており，モデル
がトークン（単語）から得られる情報に比べ，文字系列情報をどの程度利用したかが明らかになっていない．そのため本研究では [4] にならい，文字系列
情報を付加的に利用するニューラルモデルにおける文字系列情報の影響の度合いを調査する．

最近は大規模汎用言語モデルの発展が目覚まし
く，そのようなモデルは様々な言語において高い性能を達成している．ただし，高性能を達成できるのは十分なデータが存在する言語のみに限られ，低リ
ソース言語においてはモデルの構築が難しいことが知られている [5]．いくつかの先行研究では，言語類型論などに基づいた言語的な特徴を利用したり，
ニューラルモデルから言語的な特徴や傾向を見出したりする試みがある [6, 7]．後者の試みは，人間が観測し得ない傾向を観測できることができ，例えば
言語転移を取り入れるモデルの学習に利用できることから，近年注目されているアプローチである [5]．
しかし，後者では主に言語間で共通な特徴に着目されており，言語間で異なる特徴や傾向を見出す試みが多くない．
そこで本研究では，文字系列情報を付加的に利用するニューラルモデルにおける文字系列情報が性能に与える影響の度合い（影響度）を複数のタスクで評価する．そして，その評価結果を観察し，言語間で異なる言語的な傾向を明らかにする．文字系列情報は文字の数が多いほど情報量も多いという点に着目し，仮説として平均単語長が長い言語ほど，文字
系列情報による性能への影響度が大きいと立て，この仮説を実験で検証する．対象とするタスクは，基礎タスクに分類される品詞タグ付けと依存構造解析とする．これらは系列ラベリングタスクであり，文字系列情報の比重が単語より大きく，その影響が数値に反映されやすいことを利用するという狙いが
ある．

2

関連研究

2.1

文字系列情報の利用

文字系列情報を利用するニューラルネットワーク
モデルには二種類あり，文字系列情報のみを利用す― 702 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

𝒗 Yuriるモデルと，それを付加的に利用するモデルに大別

𝒗 is

𝒗 so

𝒗 cuteされる．前者のモデルは，RNN や双方向 LSTM [8]などを利用して文字埋め込みを得る [9, 10]．最近でbi-LSTMctx

は，注意機構 [11] を用いて文字埋め込みを計算する
𝒙 Yuri

モデルも提案されている [12]．

𝒙 is

𝒙 so

𝒙 cute

文字系列情報を付加的に利用するモデルには，主に特定のタスクを解くものが多い．文字系列情報を

𝒄 cute𝑨cute

付加的に利用する動機の一つとして，学習時に出現しなかった語彙 (out of vocabulary) が扱いやすくなる

bi-LSTMseqという点がある [13]．文字系列情報のみを利用する
𝒄 ′c

モデルの機構と学習済みの文字埋め込みを使用することで，品詞タグ付け，依存構造解析，意味解析，
翻訳タスクなど，様々なタスクで高い性能を達成している [1, 2, 3, 14]．

2.2

多言語モデルにおける言語的な特徴や
傾向の扱い

𝒄 ′t

𝒄 ′e

図 1 モデルの構造．𝑨cute は文字単語ベクトル以外のものを表しており，品詞タグ付けにおいては単語埋め込み
𝒘 cute ，依存構造解析においては単語埋め込み 𝒘 cute と事前学習済みの単語埋め込み 𝒑 cute である．

る文字系列情報を用いて評価する．得られた値

複数の言語にわたり共通のタスクを解くようなモを 𝑦 とおく．

デルには，World Atlas of Language Structures (WALS,[15]) 1）という言語類型論から得られた言語的な特

𝒄 ′u

(iv)

(ii) と (iii) の結果を比較し，文字系列情報の影徴を保有するデータベースなどを利用し，その情報

響度を，正しい文字系列情報を与えて評価したを利用するものがある．[6] は WALS から得た主語，

ときの性能と，正しい文字列と学習時に出現し

動詞，目的語の順序などの言語的な特徴を埋め込みなかった文字のみから構成される文字系列情報

情報の一部として与えている．近年では学習済み多言語的な特徴や傾向を見出す研究も出てきた．[7]を与えて評価したときの性能差の比として定義
𝑥−𝑦と計算される．
する．この値は𝑥
学習済みモデルの評価時に，学習時に出現しなかっは学習済み多言語モデルが有する，言語間で共通のた文字のみから構成される文字系列情報を与えるこ

統語的現象を明らかにした．また，[16] はバイト対とで，そのモデルは学習時に観測した正しい文字系

符号化 (BPE) の結果から言語特有の傾向を見出し

列情報を利用してラベルを予測することができなく𝑥−𝑦なる．そのため影響度は，その学習済みモデ𝑥
ルにおける正しい文字系列情報の貢献の割合とみな言語モデルの開発が活発化したことで，それらからた．本研究は，ニューラルモデルを利用して言語的な傾向を見出す点で [16] に類似しているが，ニューラルモデルの性能から言語的な傾向を見出す点は[16] と異なったアプローチである．

手法

3

文字系列情報を付加的に用いるニューラルモデル
において，その文字系列情報がモデルの性能に与える影響度を次のように定義する．

4

実験

4.1

モデル

本実験では，品詞タグ付けと依存構造解析のそれ
ぞれにおいてほぼ同等の構造を有するニューラル(i) 学習データと正しい文字系列情報を用いてモデルを学習する．
(ii)

すことができる．

モデルを用いる．品詞タグ付けにおいては [1] のモ
デルを，依存構造解析においては [2] のモデルをそ(i) の学習済みモデルを，評価データと正しい

れぞれ用いる．各モデルの共通する構造を図 1 に示

文字系列情報を用いて評価する．得られた値をす．いずれのモデルにおいても，単語で使用される

𝑥 とおく．

各文字 𝑖 の埋め込み 𝒄 ′𝑖 を入力とし，それぞれの方向で最後の隠れ層における表現を利用する LSTM であ(iii) (i) の学習済みモデルを，評価データと，(i) の学習時に出現しなかった文字のみから構成され
1） https://wals.info/

る sequence bi-LSTM [8] により文字から得られる単語ベクトル（以下，文字単語ベクトル）𝒄 𝑗 を各単語

― 703 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 使用する言語のコード，データ数と平均単語長．
言語

データ数

平均単語長

言語

データ数

平均単語長

言語

データ数

平均単語長

ar
be
bg
ca
cop
cs
cu
da
de
el
en
es
et
eu
fa
ﬁ

7,664
333
11,138
16,678320
87,9136,337
5,512
15,894
2,521
16,622
16,013
4,091
8,993
5,997
15,136

4.30
6.01
5.23
4.70
3.70
5.49
4.48
4.96
5.76
5.55
4.47
4.73
5.73
6.51
3.93
7.38

fr
ga
gl
got
grc
he
hi
hr
hu
id
it
ja
ko
la
lt
lv

16,447
1,020
4,003
5,400
13,919
6,216
16,647
8,889
1,800
5,593
13,884
8,232
6,339
2,273
263
3,972

4.65
4.52
4.86
5.17
5.06
3.80
3.88
5.54
6.27
5.90
4.71
1.75
3.26
5.70
6.02
5.68

nl
no
pl
pt
ro
ru
sa
sk
sl
sv
ta
tr
uk
ur
vi
zh

13,73520,045
8,227
9,368
9,524
5,030
190
10,604
8,000
6,026
600
5,635
1,706
5,130
3,000
4,997

5.17
4.92
5.86
4.40
5.23
5.98
6.24
5.26
5.19
5.45
7.65
6.21
5.25
3.61
4.37
1.66

𝑗 について得る．数式では以下のように表される．
𝒄 𝑗 = bi-LSTMseq (𝒄 ′1:𝑚 ) = LSTMf (𝒄 ′1:𝑚 ) ◦ LSTMb (𝒄 ′𝑚:1 )

4.2

データ

本実験では [2] にならい，大規模コーパス Universal
Dependencies (UD, [19]) 2）のうち v2.0 を使用する．

なお，LSTMf , LSTMb はそれぞれ順方向，逆方向の対象言語は，[2] で使用された 47 の言語に加え，ノLSTM で，引数の最後のベクトルを入力する個のルウェー語の Bokmål (no bokmaal) の計 48 言語とす

LSTM の隠れ層における表現を指す．品詞タグ付け

る．各言語の平均単語長は UD v2.0 に含まれるすべ

モデルにおいては，文字単語ベクトルは単語埋め込てのデータ（学習，検証，評価データ）から計算さ

み 𝒘 𝑗 と結合される．一方，依存構造解析モデルにれる．表 1 に使用する言語の ISO 639 における言語

おいては，文字単語ベクトルは学習可能な単語埋め

コード，およびデータ数と平均単語長を示す．言語

込み 𝒘 𝑗 に加え，事前学習済みの単語埋め込み 𝒑 𝑗 と名，各言語の文字体系とデータ数については付録結合される．そして，結合された単語ベクトル 𝒙 𝑗（表 2）に示す．なお，手法の (iii) で言及した具体的な「学習時に出現しなかった文字」は，対象のタスを入力として，それぞれの方向で特定の位置の隠れ層における表現を利用する LSTM である context

クと言語でそれに当てはまる割合が最も高かった，

bi-LSTM により各単語の文脈ベクトル 𝒗 𝑗 を得る．

ASCII コード 92 で表される逆斜線 \ を基本とする．

数式では以下のように表される．

この文字が学習時に出現している場合，すなわち ar,𝒗 𝑗 = bi-LSTMctx (𝒙1:𝑛 , 𝑗) = LSTMf (𝒙1: 𝑗 ) ◦ LSTMb (𝒙 𝑛: 𝑗 )で表される終わり波括弧 } とする．そして「学習時hr, id, ru での依存構造解析では，ASCII コード 125に出現しなかった文字のみから構成される文字系列
品詞タグ付けモデルは，交差エントロピー誤差

情報」は，入力文の空白以外の文字をすべて上記のを用いた確率的勾配降下法により文脈ベクトルか文字に置き換えたものとする．例えば en（英語）にら品詞を予測する．一方，依存構造解析モデルは，

おいて，Yuri is so cute の (iii) の評価時の文字系列

遷移ベース解析 (transition-based parsing, [17]) の一種

情報は \\\\ \\ \\ \\\\ となる．

である arc-hybrid 型 [18] 解析により，文脈ベクトル

結果から依存構造を特定する．品詞タグ付けの性能は4.3

精度 (accuracy)，依存構造解析の性能は LAS (label
attachment score) で計算され，それぞれ 3 回の試行の

図 2a と 2b に品詞タグ付けと依存構造解析における実験の結果をそれぞれ示す．いずれも，横軸は各平均値を示す．なお LAS は，予測された依存関係

言語の平均単語長，縦軸は各言語の文字系列情報のを表す弧の両端とラベルがすべて正しいものの割合を表す．

2） https://universaldependencies.org/― 704 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(a) 品詞タグ付け(b) 依存構造解析

図 2 それぞれのタスクでの結果の散布図．赤色の丸印はラテン文字をアルファベットとして用いる言語を，赤色のバツ
印はラテン文字ではないアルファベットを用いる言語を，青色はアブジャドを用いる言語を，緑色はアブギダを用いる
言語を，黄色は表意文字を用いる言語をそれぞれ表している．

影響度でプロットされた散布図である．48 言語す

れ 0.0494，0.0785 と計算される．このことから，品べてのデータの Pearson の相関係数は，品詞タグ付
けと依存構造解析においてそれぞれ 0.50 と 0.26 と詞タグ付けにおいては帰無仮説を棄却でき，母相関係数が 0.5 よりも大きいことが言える．一方，依存計算される．依存構造解析においては平均単語長と構造解析においては帰無仮説を棄却できず，母相関

文字系列情報による影響度には強い相関が見られな

係数が 0.5 よりも大きいことが言えない．

いが，品詞タグ付けにおいては若干の強い相関が認
められる．

おわりに

5

ここでは，言語の文字体系と使用される文字の種

本研究では，文字系列情報を利用するニューラル類に着目し，特に 48 言語の中で最も多い，ラテン

モデルにおいて，学習時に出現しなかった文字を評文字を用いる言語（30 言語）に着目する．ラテン文

価時に与えることにより，モデルにおける文字系列

字を使用する言語のデータの Pearson の相関係数は，情報による性能の影響度を定義した．この指標を利品詞タグ付けと依存構造解析においてそれぞれ 0.70

用し，「平均単語長が長い言語ほど，文字系列情報と 0.68 と計算される．この値は十分に大きく，ラテによる性能への影響度が大きい」という仮説を判定

ン文字を使用する言語において，平均単語長と文字するために，二つの基礎的な言語処理タスクで実験

系列情報による影響度に強い相関があることがわかる．なお，各言語でのそれぞれの影響度の値は付録を行なった．その結果，すべての言語に関しては仮（表 2）に示す．また，言語数やデータ数が十分では説が支持されなかった一方，ラテン文字を用いる言語においては仮説を支持する傾向が得られた．一方

ないが，ラテン文字ではないアルファベットを用い

で，依存構造解析での結果に関しては仮説検定の結る言語についても，同様の傾向が示唆される．

果から仮説が支持されなかった．今後の展望として

ここでは，相関係数が 0.5 より大きい場合

は，応用的なタスクを含む様々な言語処理タスクにに「平均単語長が長い言語ほど，文字系列情報によ検定

おいてこの仮説が正しいか確かめる予定である．まる性能への影響度が大きい」という仮説が示せると

た，ラテン文字以外の言語についても確かめる余地する．ラテン文字を用いる言語について得られた 2がある．

つの（標本）相関係数を，「母相関係数が 0.5 である」
を帰無仮説，「母相関係数が 0.5 より大きい」を対立仮説とし，有意水準 5%の下で検定する．その結果，品詞タグ付け，依存構造解析において p 値はそれぞ

謝辞
本研究は JST さきがけ JPMJPR21C8 の支援を受けたものである．

― 705 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Barbara Plank, Anders Søgaard, and Yoav Goldberg. Multilingual
part-of-speech tagging with bidirectional long short-term memory
models and auxiliary loss. In Katrin Erk and Noah A. Smith,editors, Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short
Papers), pp. 412–418, Berlin, Germany, August 2016. Associa-

tion for Computational Linguistics.
[2] Miryam de Lhoneux, Yan Shao, Ali Basirat, Eliyahu Kiperwasser,
Sara Stymne, Yoav Goldberg, and Joakim Nivre. From raw text
to Universal Dependencies - look, no tags! In Jan Hajič and Dan
Zeman, editors, Proceedings of the CoNLL 2017 Shared Task:
Multilingual Parsing from Raw Text to Universal Dependencies, pp. 207–217, Vancouver, Canada, August 2017. Association

for Computational Linguistics.
[3] Minh-Thang Luong and Christopher D. Manning. Achieving open
vocabulary neural machine translation with hybrid word-charactermodels. In Katrin Erk and Noah A. Smith, editors, Proceedingsof the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1054–1063,

Berlin, Germany, August 2016. Association for Computational
Linguistics.
[4] Tomoya Kurosawa and Hitomi Yanaka. Does character-level information always improve DRS-based semantic parsing? In Alexis
Palmer and Jose Camacho-collados, editors, Proceedings of the
12th Joint Conference on Lexical and Computational Semantics (*SEM 2023), pp. 249–258, Toronto, Canada, July 2023.

Association for Computational Linguistics.
[5] Edoardo Maria Ponti, Helen O’Horan, Yevgeni Berzak, Ivan Vulić,Roi Reichart, Thierry Poibeau, Ekaterina Shutova, and Anna Korhonen. Modeling Language Variation and Universals: A Survey
on Typological Linguistics for Natural Language Processing. Computational Linguistics, Vol. 45, No. 3, pp. 559–601, September
2019.
[6] Yuan Zhang and Regina Barzilay. Hierarchical low-rank tensors
for multilingual transfer parsing. In Lluı́s Màrquez, Chris CallisonBurch, and Jian Su, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1857–1867, Lisbon, Portugal, September 2015. Associa-

tion for Computational Linguistics.
[7] Karolina Stańczak, Lucas Torroba Hennigen, Adina Williams,
Ryan Cotterell, and Isabelle Augenstein. A latent-variable model
for intrinsic probing. Proceedings of the AAAI Conference on
Artiﬁcial Intelligence, Vol. 37, No. 11, pp. 13591–13599, June
2023.
[8] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, No. 8, pp. 1735–1780, November 1997.
[9] Ilya Sutskever, James Martens, and Geoﬀrey Hinton. Generating text with recurrent neural networks. In Proceedings of theeditors, Proceedings of the Thirty-ﬁrst Conference on Neural Information Processing Systems, Long Beach, California,
December 2017. Curran Associates, Inc.
[12] Kris Cao. What is the best recipe for character-level encoder-onlymodelling? In Anna Rogers, Jordan Boyd-Graber, and Naoaki
Okazaki, editors, Proceedings of the 61st Annual Meeting of
the Association for Computational Linguistics (Volume 1:
Long Papers), pp. 5924–5938, Toronto, Canada, July 2023. As-sociation for Computational Linguistics.
[13] Clara Vania, Andreas Grivas, and Adam Lopez. What do characterlevel models learn about morphology? the case of dependency
parsing. In Ellen Riloﬀ, David Chiang, Julia Hockenmaier, andJun’ichi Tsujii, editors, Proceedings of the 2018 Conferenceon Empirical Methods in Natural Language Processing, pp.
2573–2583, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.
[14] Rik van Noord, Antonio Toral, and Johan Bos. Character-level
representations improve DRS-based semantic parsing even in theage of BERT. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP),
pp. 4587–4603, Online, November 2020. Association for Computational Linguistics.
[15] Matthew S. Dryer and Martin Haspelmath, editors. WALS Online.
Zenodo, 2013. Available online at https://wals.info, Accessedon January 12, 2024.
[16] Ximena Gutierrez-Vasques, Christian Bentz, and Tanja Samardžić.
Languages Through the Looking Glass of BPE Compression.
Computational Linguistics, pp. 1–59, 10 2023.
[17] Joakim Nivre. Algorithms for deterministic incremental dependency parsing. Computational Linguistics, Vol. 34, No. 4, pp.
513–553, 2008.
[18] Marco Kuhlmann, Carlos Gómez-Rodrı́guez, and Giorgio Satta.
Dynamic programming algorithms for transition-based dependency parsers. In Dekang Lin, Yuji Matsumoto, and Rada Mihalcea, editors, Proceedings of the 49th Annual Meeting of
the Association for Computational Linguistics: Human Language Technologies, pp. 673–682, Portland, Oregon, USA, June

2011. Association for Computational Linguistics.
[19] Joakim Nivre, Marie-Catherine de Marneﬀe, Filip Ginter, Yoav
Goldberg, Jan Hajič, Christopher D. Manning, Ryan McDonald,
Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, andDaniel Zeman. Universal Dependencies v1: A multilingual treebank collection. In Nicoletta Calzolari, Khalid Choukri, Thierry
Declerck, Sara Goggi, Marko Grobelnik, Bente Maegaard, Joseph
Mariani, Helene Mazo, Asuncion Moreno, Jan Odijk, and Stelios
Piperidis, editors, Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16),
pp. 1659–1666, Portorož, Slovenia, May 2016. European Language
Resources Association (ELRA).

28th International Conference on International Conference
on Machine Learning, ICML’11, p. 1017–1024, Bellevue, Wash-

ington, USA, 2011. Omnipress.
[10] Wang Ling, Chris Dyer, Alan W Black, Isabel Trancoso, Ramón
Fermandez, Silvio Amir, Luı́s Marujo, and Tiago Luı́s. Finding
function in form: Compositional character models for open vocabulary word representation. In Lluı́s Màrquez, Chris CallisonBurch, and Jian Su, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1520–1530, Lisbon, Portugal, September 2015. Associa-

tion for Computational Linguistics.
[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit,
Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg,
S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett,― 706 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 3 各種ハイパーパラメータ。POS は品詞タグ付けでの，DEP は依存構造解析での値を示す。

言語の詳細と実験結果の数値

A

表 2 に，本研究で使用した言語の詳細と実験結果の数値を示す。

ハイパーパラメータの詳細

B

表 3 に各種ハイパーパラメータを示す。基本的に先行研究 [1, 2] で提示された値を使用する。

表 2 言語名，ISO 639 言語コード，文字の体系と種類，
品詞タグ付け (POS) と依存構造解析 (DEP) の影響度。

エポック数
学習率
単語埋め込みの次元数
事前学習済みの単語埋め込みの次元数
文字埋め込みの次元数
文字 bi-LSTM の次元数
隠れ層の数
ガウス雑音の標準偏差 𝜎
単語のドロップアウト率
文字のドロップアウト率

言語

コード

文字体系

文字の種類

POS 影響度

DEP 影響度

アラビア語
ベラルーシ語
ブルガリア語
カタルーニャ語
コプト語
チェコ語
古代教会スラヴ語
デンマーク語
ドイツ語
ギリシャ語
英語
スペイン語

ar
be
bg
ca
cop
cs
cu
da
de
el
en
es

アブジャド
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット

アラビア文字
キリル文字
ラテン文字
ラテン文字
コプト文字
ラテン文字
グラゴル文字
ラテン文字
ラテン文字
ギリシャ文字
ラテン文字
ラテン文字

57.02%
33.96%
45.24%
26.67%
1.50%
47.13%
25.74%
25.13%
46.16%
52.41%
14.01%
35.08%

22.48%
56.69%
26.75%
21.19%
24.53%
31.17%
29.72%
25.41%
45.35%
40.94%
15.11%
16.10%

エストニア語
バスク語
ペルシア語
フィンランド語
フランス語
アイルランド語
ガリシア語
ゴート語
古代ギリシア語
ヘブライ語
ヒンディー語
クロアチア語

et
eu
fa
ﬁ
fr
ga
gl
got
grc
he
hi
hr

アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アブジャド
アブギダ
アルファベット

ラテン文字
ラテン文字
ペルシア文字
ラテン文字
ラテン文字
ラテン文字
ラテン文字
ゴート文字
ギリシャ文字
ヘブライ文字デーヴァナーガリー
ラテン文字

60.89%
51.85%
8.34%
65.18%
21.76%
6.66%
38.86%
33.81%
37.70%
8.81%
9.34%
40.32%

44.15%
42.81%
23.99%
40.39%
17.92%
22.70%
29.76%
26.94%
43.46%
18.67%
14.54%
39.13%

ハンガリー語
インドネシア語
イタリア語
日本語
韓国語
ラテン語
リトアニア語
ラトビア語
オランダ語
ノルウェー語
ポーランド語
ポルトガル語

hu
id
it
ja
ko
la
lt
lv
nl
no
pl
pt

アルファベット
アルファベット
アルファベット
表意文字
表意文字
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット
アルファベット

ラテン文字
ラテン文字
ラテン文字
漢字，仮名
ハングル
ラテン文字
ラテン文字
ラテン文字
ラテン文字
ラテン文字
ラテン文字
ラテン文字

41.10%
51.24%
31.77%
25.89%
43.20%
26.78%
18.38%
54.45%
18.68%
23.21%
53.87%
22.87%

57.96%
28.26%
14.51%
58.57%
59.99%
49.34%
60.09%
42.47%
26.61%
15.05%
40.19%
24.08%

ルーマニア語
ロシア語
サンスクリット語
スロバキア語
スロベニア語
スウェーデン語
タミル語
トルコ語
ウクライナ語
ウルドゥー語
ベトナム語
中国語

ro
ru
sa
sk
sl
sv
ta
tr
uk
ur
vi
zh

アルファベット
アルファベット
アブギダ
アルファベット
アルファベット
アルファベット
アブギダ
アルファベット
アルファベット
アブジャド
アルファベット
表意文字

ラテン文字
キリル文字
デーヴァナーガリー
ラテン文字
ラテン文字
ラテン文字
タミル文字
ラテン文字
キリル文字
ウルドゥー文字
ラテン文字
漢字

31.43%
43.36%
11.92%
45.82%
37.46%
29.59%
49.66%
33.67%
5.25%
18.00%
4.63%
23.79%

19.36%
54.51%
6.18%
54.11%
43.53%
24.37%
38.57%
34.40%
44.21%
12.90%
22.82%
23.82%― 707 ―

POS

DEP

20
0.1
128
100
100
100
0.2
0.25
0.25

30
0.001
100
50
500
100
100
0.25
0.33

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).