# 日本語の語彙力と読み時間について

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

本研究では、ヒトの語彙力の差が読み時間にどのように影響を与えるのかについて検討を行う。具体的には、単語親密度調査に参加した方の評定値に対して一般化線形混合モデルを適用した際の調査協力者のランダム効果を語彙力と仮定する。その後、同調査協力者に自己ペース読文課題に参加してもらい読み時間を収集し、読み時間に対して一般化線形混合モデルを適用した際の語彙力の固定効果により、語彙力の差が読み時間に与える傾向を明らかにした。また、得られた傾向からサプライザルや言語モデルにおけるパープレキシティとの関連について考察を行う。

## 1 はじめに

本研究では、日本語の語彙力と読み時間の関係について検討する。以前の調査では、視線走査装置1) や自己ペース読文法 [1] を用いた、新聞記事を対象として読み時間データを収集 [2] し、記憶力を計測するリーディングスパンテスト [3] と平成年代に構築された語彙数判定テスト $[4,5]$ による実験協力者の能力差に基づく分析を行った [6]。得られたは語彙力が高い実験協力者の読み時間が長い傾向があるという結果であった。 24 人の実験協力者の語彙力の分散が小さいことが考えられるが、実験協力者を研究室に呼んで、視線走査装置を用いて実験を行うことが困難となった。一方、英語においては、Amazon Mechanical Turk で被験者を募集して、読み時間を収集した Natural Story Corpus (NSC) [7] が構築されている。同様の試みとして、Yahoo! Japan の Yahoo! クラウドソーシングを用い被験者を募集したうえで、ibex ${ }^{2}$ を利用して、ウェブブラウザを介して自己ぺース読文法により大規模に読み時間データを収集した [8]。読み時間収集対象者に


は、事前に単語親密度判定タスクに参加し、そのモデル化の副産物として得られる対象者の語彙力を得た [9]。これらの二つの調査結果を線形混合モデルで対照させたところ、「語彙力が高い実験協力者の読み時間が短い」傾向が確認された。従前の結果が語彙力の高い 1 人の実験協力者の行動に由来する可能性があり、大規模化した行動実験に基づく今回の分析により異なる結果が得られた。

また、サプライザル $[10,11]$ や言語モデルのパー プレキシティとの関連 $[12,13,14,15,16,17,18]$ についても考察を行う。

## 2 データの収集手法

## 2.1 語彙力データの構築

語彙力データは単語親密度データの収集 $[19,9]$ 時に得られる実験協力者の偏りを数値化したものを用いる。具体的には、2018 年より毎年『分類語彙表』 の見出し語に対して、「知っている」「書く」「読む」「話す」「聞く」の程度を収集した。収集したデータを一般化線形混合モデルで単語親密度を 84,114 語のランダム効果として、語彙力を 6,732 人の実験協力者のランダム効果としてベイジアン線形混合モデルによりモデル化した。モデル化する際に、単語側の標準偏差を 1.0、実験協力者の標準偏差を 0.5 とした正規分布によりモデル化したものを用いる ${ }^{3}$ 。

後述するとおり、単語親密度調査の協力者の一部の方が、次節に述べる読み時間データの収集に参加した。読み時間データの収集に参加した方の語彙力の分布を図 1 に示す。

## 2.2 読み時間データの収集

前節に示した単語親密度データ収集の 2020 年 10 月の調查に協力された方のうち、語彙数判定の分散が適切な 2,092人を対象に、自己ペース読文法に


図 1 語彙力の分布

表 1 刺激文と実験協力者の統計

表 2 分析対象

よる読み時間データ収集実験参加を募った $[8]$ 。最初に『現代日本語書き言葉均衡コーパス』の白書 (OW) 1 サンプルについて試験的に 500 人の協力者を募集した。その後、教科書 (OT) 38 サンプルと書籍 (PB)83 サンプルについて、1 サンプル当たり 200 人の協力者を募集した。各実験協力者は 2020 年 11 月 12 月にかけて、白書 $\rightarrow$ 教科書 $\rightarrow$ 書籍の順に自由に実験に参加でき、読むサンプルの数も自由に設定した。従前の発表 [8] と同じスクリーニングを行った後、単語親密度調査 200 回答以上・読み時間実験 5 サンプル以上に参加した実験協力者のデータを分析対象とした。表 1 に刺激文と実験協力者の統計を、表 2 に分析対象となるデータ数を示す。

## 3 統計分析

統計分析は対数読み時間に対する線形混合モデルにおいて、各固定効果における有意差が確認できるか否かにより行う。呈示順4) - 文字列長 ${ }^{5)}$ - 試行

4） BCCWJ-SPR2 における文呈示順 SPR_sentence_ID (sentid) $\cdot$文節呈示順 SPR_bunsetsu_ID (bid)

5）BCCWJ-SPR2 における表層形文字列長 SPR_word_length (length)。順6) ・係り受(゙7) ・ 実験協力者の語彙力 ${ }^{8)}$ を固定効果とし、実験協力者 9$)$ ・サンプル $\mathrm{ID}^{10)}$ をランダム効果とした。本稿では $\operatorname{lme4}[20,21]$ を用いた一般化線形混合モデルの結果を示す。一度モデルを推定したうえで、3SDよりも外側の値のデータポイントを排除し、再推定を行った結果を表 3 に示す。なお、対数読み時間を頻度主義的な線形混合モデルで分析したものを付録の表 4 に、同様のモデルをベイジアン線形混合モデル（対数正規モデル）で分析したものを付録の表 5 に示す。

まず、同一サンプル内の呈示順については、実験が進むについて文脈を得るために読み時間が短くなる傾向が確認された。文字列長は長いほど認識に時間が長くなる傾向が確認された。試行順については教科書においては実験協力者が慣れて短くなる傾向が確認された。書籍においては、反対に繰り返し実施することによる疲れからか、長くなる傾向が確認された。最後に係り受けの数が多いほど、予測が効くために、読み時間が短くなる傾向が確認された。ここまでは既存の分析結果 [8] と同様の結果であった。

## 4 考察

以下、結果についての考察を示す。

## 4.1 語彙力の影響

以前の調査 [6] では語彙力が高い実験協力者の読み時間が長い傾向が確認された。しかしながら、調

6） BCCWJ-SPR2 における実験協力者ごとの試行順（サンプル単位に集計）SPR_trial。OW については 1 サンプルのみのために常に試行順が 1 のため未定義。

7）BCCWJ-SPR2 における当該文節に対する係り受けの数 SPR_DepPara_depnum (dependent)。BCCWJ-DepPara から復元。 OT には係り受けが付与されていないために未定義。

8）WLSP-Familiary3.1 における実験協力者のランダム効果 WFR_subj_rate。

9）BCCWJ-SPR2 における実験協力者固有のID SPR_subj_ID_factor。

10） BCCWJ におけるサンプル ID BCCWJ_Sample_ID。

回帰式：

SPR_reading_time SPR_sentence_ID + SPR_bunsetsu_ID + SPR_word_length + DepPara_depnum

+ SPR_trial + WFR_subj_rate + (1 | SPR_subj_ID_factor) + (1 | BCCWJ_Sample_ID)

但し、OT は 1 回の試行のみのため SPR_trial は未定義、OT は係り受け情報が付与されていないため DepPara_depnum は未定義。

表 3 一般化線形混合モデルに基づく分析結果（読み時間）

查人数が少ないうえ語彙力が高い群が実質 1 名であったために、この1名のデータに依存し、一般性のない分析である可能性があった。本調査では、読み時間計測タスクを自己ペース読文課題に限定しながらも、数百人規模のデータを用い、読む文章量も増やした設定で再検証を行った。また語彙力の測定もNTT の平成版語彙数判定テストではなく、新たに単語親密度調査に基づく副産物としての協力者の語彙力を用いた。結果、語彙力が高い群の読み時間がより短くなる傾向が観察された。

## 4.2 レジスタの影響

語彙力の影響を有意差の観点で見ると、OT(教科書) が $p<0.1 、 \mathrm{~PB}$ (書籍) が $p<0.05 、 \mathrm{OW}$ (白書) が $p<0.01$ であった。教科書は小・中・高の国語の教科書のサンプルであり、協力者は一度は読んだことがある可能性がある。書籍と白書を比べると、一般に書籍のほうが協力者が読みなれている可能性もある。このレジスタについてのなじみの程度が、語彙力の影響の有意差に表れている可能性がある。なじみのある教科書では語彙力の影響の差が小さいが、 なじみのない白書では語彙力の影響の差が大きくなった可能性がある。

## 4.3 サプライザルや言語モデルのパープレ キシティとの関係

サプライザル $[10,11]$ は、文処理の負荷に対する情報量基準に基づいた指標で、当該単語の文脈中の負の対数確率（次式）によりモデル化される文処理の困難さを表す：

$
\text { Surprisal }(w)=-\log _{2} P(w \mid \text { context })
$

似た概念の言語モデルの評価指標としてパープレキシティ (平均分岐数) perplexity(context)= $\Pi_{i=1}^{N} P\left(w_{i}\right)^{1 / N}$ がある。これを対数を取った形式 (cross entropy) で表記すると $H$ (context) = $\frac{1}{N} \sum_{i=1}^{N} \log _{2} P\left(w_{i}\right)$ となるが、言語モデルとして次にくる単語 $w$ を予測する際の仮定としては、 $\arg \max \log _{2} P(w \mid$ context $)$ と、この cross entropy の最大化問題に帰着でき、実質的には符号が反転したサプライザルの式の最小化と等価の問題と捉えることができる。

このパープレキシティ (cross entropy) が低いほどヒトらしいという研究は英語については確認されている $[12,13,14,15,16]$ 一方、英語と日本語における読み時間と Transformer 系の言語モデルの対照分析 [17,18] において、日本語においては必ずしもそうとは言えない報告がなされた。

ここで、サプライザル・パープレキシティとは何

か、さらには「ヒトらしい」とは何かについて考えたい。過去の研究においては、言語モデルの能力差によるパープレキシティの検討がなされてきた。本研究ではヒトの能力差とレジスタの親密性の観点から検討を行いたい。

まず、ヒトの能力差の観点からは、仮定として語彙力が高いヒトは文脈から単語を推測する確率が高いとするならば、この能力差がサプライザルの指標を下げ、全体的に読み時間を短くした可能性がある。サプライザルと言語モデルのパープレキシティの等価性から、言語モデルのパープレキシティが高くなるにつれ、より語彙力の高い群に親和性がある予測を行う可能性がある。

次に、レジスタの親密性の観点からは、仮定として、OT(教科書) は一度読んだ可能性があるテキストであり、PB(書籍) は普段読んでいるものに近い新しいテキストであり、OW(白書) は普段読み慣れないテキストであると想定する。親密性の観点からは、OT>PB>OW の順で次にくる単語が予測しやすい可能性があり、サプライザルはこの逆順で小さい (パープレキシティの観点からは正順で大きい) レジスタであると考える。表 3 の語彙力の有意差の傾向から、 $\mathrm{OT}<\mathrm{PB}<\mathrm{OW}$ の順で語彙力の差が出やすくなっていることがわかる。本データ (BCCWJ-SPR2) の $\mathrm{PB}$ の NDC（日本十進分類法）に基づく分析 [22] では、多くの人が親しみやすい芸能やスポーツなどを含む「7. 芸術・美術」が読み時間が短くなる傾向が確認されている。

以上の観点を総合的に考えると、「ヒトらしい」言語モデルとは、適切なレベルの語彙力を持ち、レジスタの親密性の差異により予測可能性が変化しうるものであろうと考える。後者のレジスタの親密性については、Hale らが、サプライザルをジャンル横断的に調査し、EEGデータと推定したサプライザルとを対照することで、同一ジャンルで訓練した言語モデルのほうがより EEG データに適合することを報告している [23]。

## 5 おわりに

本研究では、日本語の読み時間と語彙力の関係について検討した。本研究の貢献は以下の 3 点である：

・対面で実験できないなか、オンラインで日本語の読み時間と語彙力調査を大規模に行う方法を確立した。
・大規模調査により、日本語において語彙力の読み時間に与える影響について、複数レジスタの資料に対して調査した。
- 調査結果として、「語彙力の高い」群が読み時間が短くなることを確認した。

分析結果から以下の 2 点について考察を行った：

・ヒトの能力差において、「語彙力の高い」ことと「言語モデルのパープレキシティの高い」ことのアナロジーを仮定すると、言語モデルのパープレキシティが高くなるにつれてより語彙力の高い群に親和性がある予測を行う可能性がある。

・レジスタの親密性において、サプライザルが全体的に低いであろう読みなれているレジスタにおいては、語彙力の差が出にくい。

このように日本語の読み時間において、ヒトの能力差やレジスタ差の検討が可能になった。今後、より精緻な数理モデルによる検討を期待する。

今回、ヒト側の能力として語彙力について検討を行い、上記の傾向について明らかにした。日本語においては、再帰的ニューラルネットワーク文法による読み時間の検討 $[24,25]$ も進められている。文法に基づくヒトの文処理過程をつかさどる重要な概念として、実験協力者の作業記憶容量 (パージングアルゴリズムにおけるビーム幅相当）がある。 BCCWJ-EyeTrack においては、日本語リーディングスパンテスト [3] を行い、成績の優劣による検討も行った [6]。本データにおいても、オンラインで作業記憶容量を評価する方法について検討し、パージングに基づく文処理過程のモデリングについて評価可能なデータを構築したい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 17H00917, 18H05521 の支援を受けました。

## 参考文献

[1]Marcel Adam Just, Patricia A. Carpenter, and Jacqueline D. Woolley. Paradigms and processes in reading comprehension. Journal of Experimental Psychology: General, 3:228-238, 1982.

[2]浅原正幸, 小野創, and 宮本エジソン正. BCCWJEyeTrack-『現代日本語書き言葉均衡コーパス』に対する読み時間付与とその分析-. 言語研究, 156:67-96, 2019.

[3]苧阪満里子, editor. ワーキングメモリー脳のメモ帳. 新曜社, 2002.

[4]Shigeaki Amano and Tadahisa Kondo. Estimation of Mental Lexicon Size with Word Familiarity Database. In Proceedings of International Conference on Spoken Language Processing, volume 5, pages 2119-2122, 1998.

[5]天野成昭 and 近藤公久, editors. 単語親密度, NTT デー タベースシリーズ日本語の語彙特性第 $l$ 巻. 三省堂, 1999.

[6]浅原正幸, 小野創, and 宮本エジソン正. 『現代日本語書き言葉均衡コーパス』の読み時間とその被験者属性. In 言語処理学会第 23 回年次大会発表論文集, pages 273-276, 2017.

[7]Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank, Anastasia Vishnevetsky, Steven Piantadosi, and Evelina Fedorenko. The Natural Stories Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[8]浅原正幸. クラウドソーシングによる大規模読み時間データ収集. In 言語処理学会第 27 回年次大会発表論文集, pages 1156-1161, 2021.

[9]浅原正幸. クラウドソーシングによる単語親密度デー 夕の構築 (2021 年版). In 言語処理学会第 28 回年次大会発表論文集, 2022.

[10]John Hale. A probabilistic earley parser as a psycholinguistic model. In Proceedings of the Second Conference of the North American Chapter of the Association for Computational Linguistics, volume 2, pages 159-166, 2001.

[11]Expectation-based syntactic comprehension. Cognition, 106(3):1126-1177, 2008.

[12]Stefan L. Frank and Rens Bod. Insensitivity of the human sentence-processing system to hierarchical structure. Journal of Psychological Science, 22(6):829-834, 2011.

[13]Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of CMCL, pages 61-69, 2012.

[14]Adam Goodkind and Klinton Bicknell. Predictive Power of Word Surprisal for Reading Times is a Linear Function of Language Model Quality. In Proceedings of CMCL, pages $10-18,2018$

[15]Adam Goodkind and Klinton Bicknell. Comparing Gated and Simple Recurent Neural Network Architectures as Models of Human Sentence Processing. In Proceedings of the 41st Annual Conference of the Cognitive Science Society, pages 112-118, 2019.

[16]Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language
Models for Human Real-Time Comprehension Behavior. In Proceedings of the 42nd Annual Conference of the Cognitive Science Society, pages 1707-1713, 2020.

[17]Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguisticsand the 11 th International Joint Conference on Natural Language Processing, pages 5203-5217, 2011.

[18]栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, and 乾健太郎. 予測の正確な言語モデルがヒトらしいとは限らない. In 言語処理学会第 27 回年次大会発表論文集, pages 267-272, 2021.

[19]浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[20]Douglas Bates, Martin Mächler, Ben Bolker, and Steve Walker. Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67:1-48, 2015.

[21]Marek Hlavac. stargazer: Well-formatted regression and summary statistics tables, 2018. R package version 5.2.2.

[22]浅原正幸 and 加藤祥. 『現代日本語書き言葉均衡コー パス』書籍サンプルの読み時間の分析. In 日本語学会 2021 年度春季大会予稿集, pages 49-54, 2021.

[23]John Hale, Adhiguna Kuncoro, Keith Hall, Chris Dyer, and Jonathan Brennan. Text genre and training data size in human-like parsing. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 5846-5852, Hong Kong, China, November 2019. Association for Computational Linguistics.

[24]Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[25]吉田遼, 能地宏, and 大関洋平. 再帰的ニューラルネットワーク文法による人間の文処理のモデリング. In 言語処理学会第 27 回年次大会発表論文集, pages 273-278, 2021.

## A 付録

回帰式：

SPR_log_reading_time SPR_sentence_ID + SPR_bunsetsu_ID + SPR_word_length + DepPara_depnum

+ SPR_trial + WFR_subj_rate + (1 | SPR_subj_ID_factor $)+(1$ | BCCWJ_Sample_ID)

但し、OT は 1 回の試行のみのため SPR_trial は未定義、OT は係り受け情報が付与されていないため DepPara_depnum は未定義。

表 4 一般化線形混合モデルに基づく分析結果（OW 白書・OT 教科書・PB 書籍 $:$ 対数読み時間）

表 5 ベイジアン線形混合モデルに基づく分析結果（OW 白書のみ：対数正規モデル）