\section{はじめに}
本研究では眼球運動に基づき文の読み時間を推定し，ヒトの文処理機構の解明を目指すとともに，工学的な応用として文の読みやすさのモデル構築を行う．対象言語は日本語とする．データとして\ref{subsec:bccwj-eyetrack}節に示す『現代日本語書き言葉均衡コーパス』(BCCWJ)\cite{Maekawa-2014-LRE}の読み時間データBCCWJ-EyeTrack\cite{Asahara-2019d}を用いる．\ref{subsec:prev}節に示す通り，過去の研究は統語・意味・談話レベルのアノテーションを重ね合わせることにより，コーパス中に出現する言語現象と読み時間の相関について検討してきた．一方，Haleは，\modified{言語構造の頻度(Structuralfrequency)}が文処理過程に影響を与えると言及し，漸進的な文処理の困難さについて情報量基準に基づいたモデルをサプライザル\modified{理論}(SurprisalTheory)として定式化している\cite{Hale-2001}．このサプライザル\modified{理論}に基づく日本語の読み時間の分析が求められている．しかしながら，日本語においては，心理言語学で行われる読み時間を評価する単位と，コーパス言語学で行われる頻度を計数する単位に齟齬があり，この分析を難しくしていた．具体的には，前者においては一般的に統語的な基本単位である文節が用いられるが，後者においては斉一な単位である短い語（国語研短単位など）が用いられる．この齟齬を吸収するために，単語埋め込み\cite{Mikolov-2013a}の利用を提案する．単語埋め込みは前後文脈に基づき構成することにより，単語の置き換え可能性を低次元の実数値ベクトル表現によりモデル化する．このうちskip-gramモデルは加法構成性を持つと言われ\footnote{\modified{原論文\cite{Mikolov-2013b}5節AdditiveCompositionalityを参照．}}，句を構成する単語のベクトルの線形和が，句の置き換え可能性をモデル化できる\cite{Mikolov-2013b}．日本語の単語埋め込みとして，『国語研日本語ウェブコーパス』(NWJC)\cite{Asahara-2014}からfastText\cite{fastText}により構成したNWJC2vec\cite{nwjc2vec}を用いた．ベイジアン線形混合モデル\cite{Sorensen-2016}に基づく統計分析\footnote{\modified{本研究では，複雑な要因分析の際にモデルの収束が容易なベイズ主義的な統計分析を行う．頻度主義的な統計分析を用いない理由については，『言語研究』論文\cite{Asahara-2019d}の付録を参照されたい．}}の結果，skip-gramモデルに基づく単語埋め込みのノルムと隣接文節間のコサイン類似度が，読み時間を予測する因子となりうることが分かった．前者のノルムが\modified{読み時間を長くする文節の何らかの特性}を，後者の隣接文節間のコサイン類似度が隣接\modified{尤度}をモデル化すると考える．\modified{「隣接尤度」は文節のbigram隣接尤度のようなものを想定する．}以下，\ref{sec:related}節に前提となる関連情報について示す．\ref{sec:method}節に分析手法について示す．4節に結果と考察について示し，5節でまとめと今後の展開を示す．
\section{前提}
\label{sec:related}\subsection{BCCWJ-EyeTrack}\label{subsec:bccwj-eyetrack}BCCWJ-EyeTrack\cite{Asahara-2019d}は，BCCWJの新聞記事サンプル20記事に対して，日本語母語話者24人分（女性19人,未回答1人,男性4人;20--55歳）の読み時間を収集して，データベース化したものである．自己ペース読文法(SELF:Self-PacedReading)と視線走査法に基づく文節単位の5種類の読み時間(FFT:FirstFixationTime,FPT:FirstPassTime,SPT:SecondPassTime,RPT:RegressionPathTime,Total:TotalTime)が視線停留オフセット値に基づいて算出されている．\modified{自己ペース読文法は，実験協力者がスペースキーを押しながら1文節ずつ読む方法で，スペースキーを押す時間間隔が当該文節を読む時間として計測される．基本的に後戻りして読むことはできない．視線走査法は，視線走査装置を用いて眼球運動を計測することにより，視線停留時間から読み時間を直接評価する手法である．}図\ref{fig:eyetrack}に読み時間のタイプの集計例を示す．\begin{figure}[b]\begin{center}\includegraphics{26-3ia4f1.eps}\end{center}\caption{視線走査データの読み時間のタイプの集計例}\label{fig:eyetrack}\end{figure}表\ref{tbl:data}にBCCWJ-EyeTrackのデータ形式について示す．{\ttsurface}は単語の表層形である．読み時間(i.e.,{\tttime})は対数に変換したデータ(i.e.,{\ttlogtime})も保持し，一般化線形混合モデル用に用いられる．{\ttmeasure}は読み時間のタイプ\{SELF,FFT,FPT,RPT,SPT,TOTAL\}を表す．{\ttsample,article,metadata\_orig,metadata}は記事に関連する情報である．{\ttspace}は文節境界に半角空白を入れたか否かを示す．{\ttlength}は表層形の文字数である．{\ttis\_first,is\_last,is\_second\_last}はレイアウトに関する特徴量である．{\ttsessionN,articleN,screenN,lineN,segmentN}は要素の呈示順に関する特徴量である．{\ttsubj}は被験者のIDで統計処理においてランダム要因として用いる．{\ttdependent}は当該文節に係る文節の数を人手で付与したもの\cite{Asahara-2016b}である．\begin{table}[t]\caption{BCCWJ-EyeTrackのデータ形式}\label{tbl:data}\input{04table01.tex}\end{table}また，被験者が記事をきちんと読んでいるか確認するために，各記事を読んだ後に，Yes/Noで解答できる簡単な内容理解課題を課した．視線走査法の内容理解課題の正解率は99.2\%(238/240)で，自己ペース読文法の内容理解課題の正解率77.9\%(187/240)より有意に高かった(p$<$0.001)\footnote{\modified{自己ペース読文法は，読み戻しができないために正解率が低くなったと考える．}}．\subsection{サプライザル}\label{subsec:surprisal}\citeA{Hale-2001}は文脈中に出現する言語的な事象$x$（音韻的特徴・単語・発話）が伝達する情報を次式によりはかることができ，これを\modified{サプライザル(surprisal)\footnote{\modified{以下，サプライザル理論一般を表す場合にカタカナ表記で，個々の式を表す場合にアルファベット表記を用いる．}}}と呼んだ：\[{\ttSurprisal}(x)=\log_{2}\frac{1}{P(x|{\ttcontext})}\]Surprisalは$x$の（文脈{\ttcontext}による条件付き）確率が低い場合に大きい値をとり，確率が高い場合に小さい値をとる．さらに単語を処理する認識努力(cognitiveeffort)はそのsurprisalに比例するとしている：\[{\ttEffort}\propto{\ttSurprisal}\]Surprisalは前方部分単語列に基づいて選好されるparse木を再考するコストと\pagebreakともに後方部分単語列を期待しうるか否かの困難さをモデル化する．Surprisalは，確率的言語モデルに基づくもの\footnote{確率的言語モデル：${\ttSurprisal}_{k+1}=-\log_{2}P(w_{k+1}|w_{1}\ldotsw_{k})$}・N-gramSurprisal\footnote{N-gram：${\ttSurprisal}_{w_{k+1}}=-\log_{2}P(w_{k+1}|w_{k-2},w_{k-1},w_{k})$}・Parser(PCFG)Surprisal\footnote{PCFG：${\ttSurprisal}_{n}=-\log_{2}P(T{i},w_{i}|T_{1}\ldotsT_{i-1},w_{1}\ldotsw_{i-1})$}などがあり，\citeA{Hale-2001}はEarley法に基づくParserSurprisalを提案した．\citeA{Levy-2008}は，前方部分単語列に対する可能なparse木の確率分布を反映するKLダイバージェンスに基づくsurprisal\footnote{KLダイバージェンス：${\ttSurprisal}_{k+1}=D(P_{k+1}||P_{k})=-\logP(w_{k+1}|w_{1}\ldotsw_{k})$}を提案した．またPynteらはLatentSemanticAnalysis(LSA)\cite{Landauer-1997}による分散表現を用いたsemanticsurprisal\cite{Pynte-2008}を提案し，英語の視線走査データであるDundeeCorpusのモデル化を行っている．具体的には，300次元のLSAモデルを用いて，\modified{wLSA\footnote{\modified{wordlevelLSA}}}-basedsurprisal（前隣接単語と注目単語との意味的類似度）と\modified{sLSA\footnote{\modified{sentencelevelLSA}}}-basedsurprisal（従前に出現する前隣接単語以外の単語と注目単語の意味的類似度）について一般化線形混合モデルにより調査した．wLSA-basedsurprisalは読み時間を予測する効果が確認されたが，sLSA-basedsurprisalには効果が確認できなかった．Mitchellらは，LatentDirechretAllocation(LDA)\cite{Blei-2003,Griffiths-2007}による分散表現を用いたLDA-basedsurprisalを提案した\cite{Mitchell-2010}．\subsection{単語埋め込みとNWJC2vec}\label{subsec:nwjc2vec}単語埋め込み\cite{Mikolov-2013a}\modified{は}単語を数百次元のベクトルで表現する技術である．従来はその単語か否かを表すone-hot表現が用いられていたため，大規模語彙を表現するために高次元ベクトルになっていた．学習の際のモデルとして，文脈から単語を推定するCBOWモデルと単語から文脈を推定するskip-gramモデルが提案されている．単語埋め込みにより，単語の入れ替え可能性を低次元のベクトルで表現できるようになったほか，skip-gramモデルには加法構成性と呼ばれる句を構成する語ベクトルの和が，句ベクトルとして利用できるという良い性質を持つ．本研究ではこの性質を，日本語における語を計数する単位と読み時間を評価する単位の齟齬の吸収に用いる．NWJC2vec\cite{nwjc2vec}はNWJC258億語から訓練した日本語の単語埋め込みデータである．fastText\cite{fastText}を用いて訓練した300次元のCBOWおよびskip-gramモデル\footnote{CBOWかskip-gramか以外のオプションは次の通り：{\tt-size300-window8-negative25-hs0-sample1e-4-iter15}}を用いる．この学習した単語ベクトルを用いて，視線走査データの集計単位である文節単位のベクトルを合成する．合成には線形和を用いた．\subsection{BCCWJ-EyeTrackの過去の分析}\label{subsec:prev}BCCWJ-EyeTrackに対して，統語・意味・談話レベルのアノテーションを重ね合わせて，様々な言語現象に対してヒトがどのような反応をするのかについて検討を進めてきた．\citeA{Asahara-2017a}は被験者属性を対象とし，記憶力がある群は読む速度が速いが全読み時間は記憶力がない群と変わらないこと，語彙力がある群が読み時間が長いことを明らかにした．浅原ら\citeyear{Asahara-2019d}は文節係り受けアノテーションBCCWJ-DepPara\cite{Asahara-2016b}と対照比較を行い，係り受けの数が多い文節ほど読み時間が短くなることを明らかにした．\citeA{Asahara-2018a}は節情報アノテーションBCCWJ-ToriClause\cite{Matsumoto-2018}と対照比較を行い，節末の読み時間が短いことを明らかにした．\citeA{Asahara-2017b}は分類語彙表番号アノテーションBCCWJ-WLSP\cite{Kato-2018}と対照比較を行い，統語分類の「用の類」$<$「相の類」$<$「体の類」の順で読み時間が長くなる傾向と，意味分類の「関係」が他の分類（「主体」「活動」「生産物」「自然物」）と比べて読み時間が短くなる傾向を明らかにした．\citeA{Asahara-2017c}は情報構造アノテーションBCCWJ-Infostr\cite{Miyauchi-2018}と対照比較を行い，共有性において旧情報(hearer-old)が新情報(hearer-new)よりも読み時間が短いことを明らかにした．\citeA{Asahara-2018b}は述語項構造・共参照情報アノテーションBCCWJ-PAS\cite{Ueda-2015,Asahara-2016c}と対照比較を行い，主語がゼロ代名詞の際に外界照応として二人称を指す場合の述語において，SPTが短くなることを明らかにした．これらの分析には，サンプルと被験者をランダム要因とし，アノテーションを固定要因とした対数時間に対する一般化線形混合モデルかベイジアン線形混合モデル\cite{Sorensen-2016}に基づく方法を用いている．
\section{分析手法}
\label{sec:method}分析においては，いくつかの要因に基づく線形式に基づいて，読み時間をベイジアン線形混合モデル\cite{Sorensen-2016}により推定し，その係数を見ることにより進める．図\ref{fig:formula}に推定に用いた線形式を示す．分析は，分散表現のノルムと隣接文節類似度に基づくもの($\mu_{\ttwv}$)，頻度情報に基づく当該文節の出現確率のみに基づくもの($\mu_{\ttfreq}$)，両方を用いたもの\modified{に}基づくもの($\mu_{\ttall}$)を対比する．分散表現は\ref{subsec:nwjc2vec}節に示したfastTextに基づくNWJC2vec300次元のものを用い，CBOWモデルとskip-gramモデルの両方を比較した．対象とする読み時間は，読み戻しが可能な視線走査法のFFT,FPT,RPT,TOTALとする．SPTについては，\modified{付録}\ref{sec:spt}節に述べる．\begin{figure}[t]\begin{center}\includegraphics{26-3ia4f2.eps}\end{center}\caption{推定に用いた線形式}\label{fig:formula}\end{figure}まず読み時間{\tttime}を対数正規分布lognormalによりモデル化し，期待値を$\mu_{\tt*}$，分散を$\sigma$とする．式において$\mu_{\ttbase}$は基本的な要因を表し，$\alpha$を切片とする．$\beta^{\ttlength}$は文節の文字数に対する係数，$\beta^{\ttspace}$は文節間に半角空白を入れたか否かの係数である．$\beta^{\ttsessionN}$,$\beta^{\ttarticleN}$,$\beta^{\ttscreenN}$,$\beta^{\ttlineN}$,\linebreak$\beta^{\ttsegmentN}$が呈示順に対する係数，$\beta^{\ttis\_first}$,$\beta^{\ttis\_last}$,$\beta^{\ttis\_second\_last}$がレイアウト情報に対する係数である．その他，記事に対するランダム係数として$\gamma^{{\ttarticle}=a(x)}$を，\modified{実験協力者}に対するランダム係数として$\gamma^{{\ttsubj}=s(x)}$を考慮する．\modified{このランダム係数により記事間の揺れと実験協力者間の揺れを，それぞれ$\sigma_{article}$，$\sigma_{subj}$を標準偏差とする正規分布によりモデル化することにより吸収する．}$\beta^{\ttdependent}$は当該文節に係る文節の数に対する係数である．先行研究においては，PCFGの部分木により統語構造に基づく効果をモデル化していた．日本語においては，比較的語順が自由な言語であるために句構造木ではなく，文節係り受け木により評価する．日本語は主辞後置言語であり，当該文節に係る文節は基本的に全て前置することから，この係数によって実質的に統語構造に基づく効果がモデル化できると考える\footnote{\modified{詳細については『言語研究』論文\cite{Asahara-2019d}の付録を参照されたい．}}．単語ベクトルから構成した文節ベクトルの情報の二つの情報を用いる．一つは当該文節ベクトルのノルム${\ttwv\_norm}(x)$である．もう一つは当該文節ベクトルと左隣接ベクトルのコサイン類似度${\ttwv\_sim}(x)$である．この上で，単語埋め込みを考慮した期待値として\modified{$\mu_{\ttwv\_all}$}を検討する．$\beta^{\ttwm\_norm}$は単語埋め込みに基づく文節ベクトルのノルムに対する係数，$\beta^{\ttwm\_sim}$は単語埋め込みに基づく左隣接文節とのコサイン\modified{類似度}に対する係数であり，これを評価する．分散表現のモデルとして，CBOWとskip-gramの二つを評価する．\modified{また，比較のためにノルムのみのもの$\mu_{\ttwv\_norm}$とコサイン類似度のみのもの$\mu_{\ttwv\_sim}$も評価する．}比較対照として，単語の頻度を考慮した期待値として$\mu_{\ttfreq}$を検討する．$\beta^{\ttfreq\_ave}$は文節内頻度に対する係数である．単語の頻度に基づく手法については，文節間の連接\modified{尤度}を考慮しない．文節内頻度は文節内の単語の頻度の相乗平均を評価する\footnote{\modified{頻度を確率値とした場合に連接単語数で正規化した対数線形モデルに相当し，Surprisalの式と親和性が良いと考える．}}．相乗平均を評価する際にゼロ頻度は1を乗じた．なお，相加平均でも評価したがモデルが収束しなかった．最後に，単語埋め込みと単語の頻度の両方を考慮した$\mu_{\ttall}$を検討する．分析においては，\modified{RStan}\footnote{\modified{https://mc-stan.org/users/interfaces/rstan}}を用いた．500iterのwarmupのあと，5000iterを4chains行った．\begin{table}[b]\caption{分析結果（概要）}\label{tbl:result}\input{04table02.tex}\end{table}
\section{結果と考察}
\label{sec:result}表\ref{tbl:result}に各モデルの分析結果を示す．詳細な結果については，\modified{付録}\ref{sec:detailed}節に示す．推定されるmeanが0.00から$\pm2$SD以上の差があるものに+もしくは$-$を付与する．0はmeanが$\pm2$SD以内のものである．+はその値が大きければ，読み時間が長くなることを示す．$-$はその値が大きければ，読み時間が短くなることを示す．まず，いずれの結果も\modified{($\beta_{\ttdependent}$)}で係り受けが多ければ多いほど，読み時間が短くなった\footnote{\modified{先行文脈が統語的な関係を持ち，予測に効くために読み時間が短くなる\cite{Levy-2008}．}}．つまり，次に述べる結果は係り受けの効果を確認したうえでの付加的な効果である．単語埋め込みに基づくモデル\modified{($\mu_{\ttwv\_all}$)}においては，隣接文節間類似度が大きければ大きいほど読み時間が短くなる傾向が見られた($\beta_{\ttwm\_sim}$)．skip-gramモデルにおいては，ベクトルのノルムが大きければ大きいほど読み時間が長くなる傾向が見られた($\beta_{\ttwm\_norm}$)．この傾向はCBOWには見られなかった．\modified{また，ノルムと類似度を個別にモデル化したもの($\mu_{\ttwv\_norm}$,$\mu_{\ttwv\_sim}$)でも同じ傾向がみられた．}次に，頻度の相乗平均に基づくモデル($\mu_{\ttfreq}$)においては，高頻度のものが読み時間が短くなる傾向がみられた．単語埋め込みと頻度の双方を考慮したモデル($\mu_{\ttall}$)では，skip-gramのFFT以外において，両者を個別にモデル化したものを合成したような結果が得られた．以下，結果について考察する．まず，文節間の隣接\modified{尤度}ついては，\modified{隣接文節間類似度に関する係数$\beta_{\ttwm\_sim}$で確認できる．類似度が大きいほど読み時間が短くなることにより，隣接\modified{尤度}による予測が効くことが考えられる．つまり，}wLSA-basedsurprisal\cite{Pynte-2008}やLDA-basedsurprisal\cite{Mitchell-2010}\modified{などの既存のsemanticsurprisal}と同様に，fastTextによる単語埋め込みに基づくモデルでもモデル化できることが確認された．単語の頻度情報からは文節単位の隣接尤度の推定が困難であった．\modified{skip-gramの}加法構成性に基づき構成した文節単位のベクトルのコサイン類似度が，適切に隣接尤度をモデル化できた．\modified{一方，CBOWについては加法構成性をもつか否かについては管見の限り報告されていない．本稿の結果，読み時間の推定においてCBOWはskip-gramほどの明確な加法構成性が認められないことが示唆される．}文節内の単語の頻度の相乗平均は，その文節の生起確率を表す．確率が高ければ高いほど読み時間が短くなることが適切にモデル化できている．これは文節単位のunigramsurprisalを適切にモデル化できていると考える．skip-gramのFFT以外においては，このunigramsurprisalと異なる文節単位の特徴として，単語埋め込みのノルムの効果が認められた\modified{．}単語埋め込みのノルム\modified{($\beta_{\ttwm\_norm}$)}は，他の単語の\modified{特徴}を表現していると考えられる．\modified{Schakelらは，単語埋め込みのノルムが，単語の頻度と同様に単語の重要度(wordsignificance)を表している\cite{Schakel-2015}とし，Luhn\citeyear{Luhn-1958}らの議論を引用しながら語の共起に関連する何らかの尺度を示していることを議論している．我々はこのノルムが文節間の何らかの\modified{特性}を表していると考える．}\modified{加法構成性に基づき文節単位のベクトルを構成することにより，ノルムが大きければ大きいほど予測が難しく，読み時間が長い傾向が確認できた．skip-gramのノルムの大きなものの例を見ると，数値表現\footnote{数値表現例：「２２６２億ドルで」「９９７５億１３００万円と」}・長い付属語連接\footnote{長い付属語連接例：「掲載させていただくことがあります。」「持たせてくれるんですよね」}・長い複合語\footnote{長い複合語例：「クラーク元北大西洋条約機構（ＮＡＴＯ）欧州連合軍最高司令官が、」「「２１世紀ＣＯＥ（センター・オブ・エクセレンス）プログラム」に」「農畜産業振興事業団（現農畜産業振興機構）から、」}が見られた．数値表現や付属語連接は，一般的に構成要素の頻度が高くなり，頻度の相乗平均の効果($\beta_{\ttfreq\_ave}$)のみの場合は読みやすいと判定されるが，この部分の読みにくさがモデル化されているのではないかと考える．}\modified{文脈から単語を推定するCBOWモデルではこの傾向が見られなかった．skip-gramにおいてはその加法構成性を持つことが解説されている\cite{Mikolov-2013b}が，CBOWに関してはそのモデル化の方向性のためか加法構成性について議論がされていない．本研究結果でもCBOWの線形和に基づくノルムに対する読み時間の効果は確認できなかった．}いずれの結果も係り受けの効果とともに表れていることから，\modified{先行研究で示されている効果と従属性が低い特徴量}が発見できたといえる．
\section{おわりに}
本研究では，日本語の読み時間の推定のために単語埋め込みを用いることを提案した．英語などで進められているsurprisalの分析において，単語の頻度に基づく確率が用いられている．しかしながら，日本語においては頻度を計数する単位と読み時間を評価する単位との齟齬があり，この分析を難しくしていた．今回skip-gramの単語埋め込みを用いて，ベクトルの線形和により文節ベクトルを構成することにより，この問題を解決した．文節ベクトルのノルムが当該文節の\modified{頻度とは異なる何らかの特性}をモデル化し，ノルムが大きければ大きいほど読み時間が長くなることを確認した．さらにこれらの結果は統語的なモデルとともに導入されるものであり，新しいsurprisalを発見したといえる．また，先行研究と同様に，左隣接文節のベクトルと当該文節ベクトルのコサイン類似度が，\modified{読み時間}を適切にモデル化できることを確認した．\modified{今回，この文節ベクトルのノルムが読み時間に影響を与える何らかの特性を持っていることを経験的に発見したが，数学的に言語学的に何であるのかについての理論的検証については今後の課題としたい．}工学的な応用として重要な点として，これらの単語埋め込みに関する情報は形態素解析器などで単語単位に割り当て可能であり，線形和やコサイン類似度など比較的軽い演算で計算できる．今回用いた統計モデル\modified{は}線形式であることから，\modified{任意の日本語文章に対して簡単に読み時間の推定が計算できる．これまでのBCCWJ-EyeTrackの分析は，高度な統語・意味・談話情報アノテーションに基づくものであり，読み時間のモデル化については，人手によりアノテーションを行う必要があった．}本研究で提案する単語埋め込みに基づくモデルは，NWJC2vecに収録されている語で構成される文章であれば，人間が解釈しやすい線形式で読み時間を与えることができる．本モデルを用いて，読み時間に基づく文章の読みやすさの自動評価ができると考える．\acknowledgment本研究は，国立国語研究所コーパス開発センター共同研究プロジェクト「コーパスアノテーションの拡張・統合・自動化に関する基礎研究」によるものです．本研究の一部はJSPS科研費基盤研究(A)17H00917，挑戦的研究（萌芽）18K18519，新学術領域研究18H05521の助成を受けたものです．\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{Asahara}{Asahara}{2018a}]{Asahara-2018b}Asahara,M.\BBOP2018a\BBCP.\newblock\BBOQBetweenReadingTimeandZeroExophorainJapanese.\BBCQ\\newblockIn{\BemREAD2018:InternationalInterdisciplinarySymposiumonReadingExperience\&AnalysisofDocuments},\mbox{\BPGS\34--36}.\bibitem[\protect\BCAY{Asahara}{Asahara}{2018b}]{nwjc2vec}Asahara,M.\BBOP2018b\BBCP.\newblock\BBOQNWJC2Vec:Wordembeddingdatasetfrom`NINJALWebJapaneseCorpus'.\BBCQ\\newblock{\BemTerminology:InternationalJournalofTheoreticalandAppliedIssuesinSpecializedCommunication},{\Bbf24}(2),\mbox{\BPGS\7--25}.\bibitem[\protect\BCAY{浅原}{浅原}{2018}]{Asahara-2017c}浅原正幸\BBOP2018\BBCP.\newblock名詞句の情報の状態と読み時間について.\\newblock\Jem{自然言語処理},{\Bbf25}(5),\mbox{\BPGS\527--554}.\bibitem[\protect\BCAY{浅原}{浅原}{2019}]{Asahara-2018a}浅原正幸\BBOP2019\BBCP.\newblock日本語の読み時間と節境界情報—主辞後置言語におけるwrap-upeffectの検証.\\newblock\Jem{自然言語処理},{\Bbf26}(2),\mbox{\BPGS\301--328}.\bibitem[\protect\BCAY{浅原\JBA加藤}{浅原\JBA加藤}{2019}]{Asahara-2017b}浅原正幸\JBA加藤祥\BBOP2019\BBCP.\newblock読み時間と統語・意味分類.\\newblock\Jem{認知科学},{\Bbf26}(2),\mbox{\BPGS\219--230}.\bibitem[\protect\BCAY{Asahara,Maekawa,Imada,Kato,\BBA\Konishi}{Asaharaet~al.}{2014}]{Asahara-2014}Asahara,M.,Maekawa,K.,Imada,M.,Kato,S.,\BBA\Konishi,H.\BBOP2014\BBCP.\newblock\BBOQArchivingandAnalysingTechniquesoftheUltra-large-scaleWeb-basedCorpusProjectofNINJAL,Japan.\BBCQ\\newblock{\BemAlexandria:TheJournalofNationalandInternationalLibraryandInformationIssues},{\Bbf25}(1--2),\mbox{\BPGS\129--148}.\bibitem[\protect\BCAY{浅原\JBA松本}{浅原\JBA松本}{2018}]{Asahara-2016b}浅原正幸\JBA松本裕治\BBOP2018\BBCP.\newblock『現代日本語書き言葉均衡コーパス』に対する文節係り受け・並列構造.\\newblock\Jem{自然言語処理},{\Bbf25}(4),\mbox{\BPGS\331--356}.\bibitem[\protect\BCAY{浅原\JBA小野\JBA宮本}{浅原\Jetal}{2017}]{Asahara-2017a}浅原正幸\JBA小野創\JBA宮本エジソン正\BBOP2017\BBCP.\newblock『現代日本語書き言葉均衡コーパス』の読み時間とその被験者属性.\\newblock\Jem{言語処理学会第23回年次大会発表論文集},\mbox{\BPGS\473--476}.\bibitem[\protect\BCAY{浅原\JBA小野\JBA宮本}{浅原\Jetal}{2019}]{Asahara-2019d}浅原正幸\JBA小野創\JBA宮本エジソン正\BBOP2019\BBCP.\newblockBCCWJ-EyeTrack『現代日本語書き言葉均衡コーパス』に対する読み時間付与とその分析.\\newblock\Jem{言語研究},{\Bbf156},\mbox{\BPG\ToAppear}.\bibitem[\protect\BCAY{浅原\JBA大村}{浅原\JBA大村}{2016}]{Asahara-2016c}浅原正幸\JBA大村舞\BBOP2016\BBCP.\newblockBCCWJ-DepParaPAS:『現代日本語書き言葉均衡コーパス』の係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化.\\newblock\Jem{言語処理学会第22回年次大会発表論文集},\mbox{\BPGS\489--492}.\bibitem[\protect\BCAY{Blei,Ng,\BBA\Jordan}{Bleiet~al.}{2003}]{Blei-2003}Blei,D.~M.,Ng,A.~Y.,\BBA\Jordan,M.~I.\BBOP2003\BBCP.\newblock\BBOQLatentDirichletAllocation.\BBCQ\\newblock{\BemJournalofMachineLearningResearch},{\Bbf3},\mbox{\BPGS\993--1022}.\bibitem[\protect\BCAY{Bojanowski,Grave,Joulin,\BBA\Mikolov}{Bojanowskiet~al.}{2017}]{fastText}Bojanowski,P.,Grave,E.,Joulin,A.,\BBA\Mikolov,T.\BBOP2017\BBCP.\newblock\BBOQEnrichingWordVectorswithSubwordInformation.\BBCQ\\newblock{\BemTransactionsoftheAssociationforComputationalLinguistics},{\Bbf5},\mbox{\BPGS\135--146}.\bibitem[\protect\BCAY{Griffiths,Steyvers,\BBA\Tanenbaum}{Griffithset~al.}{2007}]{Griffiths-2007}Griffiths,T.~L.,Steyvers,M.,\BBA\Tanenbaum,J.~B.\BBOP2007\BBCP.\newblock\BBOQTopicsinSemanticRepresentation.\BBCQ\\newblock{\BemPsychologicalReview},{\Bbf114}(2),\mbox{\BPGS\211--244}.\bibitem[\protect\BCAY{Hale}{Hale}{2001}]{Hale-2001}Hale,J.\BBOP2001\BBCP.\newblock\BBOQAProbabilisticEarleyParserasaPsycholinguisticModel.\BBCQ\\newblockIn{\BemProceedingsofthe2ndConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics},\lowercase{\BVOL}~2,\mbox{\BPGS\159--166}.\bibitem[\protect\BCAY{加藤\JBA浅原\JBA山崎}{加藤\Jetal}{2019}]{Kato-2018}加藤祥\JBA浅原正幸\JBA山崎誠\BBOP2019\BBCP.\newblock分類語彙表番号を付与した『現代日本語書き言葉均衡コーパス』の書籍・新聞・雑誌データ.\\newblock\Jem{日本語の研究},{\Bbf15}(2),\mbox{\BPGS\134--141}.\bibitem[\protect\BCAY{Landauer\BBA\Dumais}{Landauer\BBA\Dumais}{1997}]{Landauer-1997}Landauer,T.~K.\BBACOMMA\\BBA\Dumais,S.~T.\BBOP1997\BBCP.\newblock\BBOQASolutiontoPlato'sproblem:TheLatentSemanticAnalysisTheoryofAcquisition,InductionandRepresentationofKnowledge.\BBCQ\\newblock{\BemPsyochologicalReview},{\Bbf104}(2),\mbox{\BPGS\211--240}.\bibitem[\protect\BCAY{Levy}{Levy}{2008}]{Levy-2008}Levy,R.\BBOP2008\BBCP.\newblock\BBOQExpectation-basedSyntacticComprehension.\BBCQ\\newblock{\BemCognition},{\Bbf106},\mbox{\BPGS\1126--1177}.\bibitem[\protect\BCAY{Luhn}{Luhn}{1958}]{Luhn-1958}Luhn,H.~P.\BBOP1958\BBCP.\newblock\BBOQTheAutomaticCreationofLiteratureAbstracts.\BBCQ\\newblock{\BemIBMJournalofResearchandDevelopment},{\Bbf2}(2),\mbox{\BPGS\159--165}.\bibitem[\protect\BCAY{Maekawa,Yamazaki,Ogiso,Maruyama,Ogura,Kashino,Koiso,Yamaguchi,Tanaka,\BBA\Den}{Maekawaet~al.}{2014}]{Maekawa-2014-LRE}Maekawa,K.,Yamazaki,M.,Ogiso,T.,Maruyama,T.,Ogura,H.,Kashino,W.,Koiso,H.,Yamaguchi,M.,Tanaka,M.,\BBA\Den,Y.\BBOP2014\BBCP.\newblock\BBOQBalancedCorpusofContemporaryWrittenJapanese.\BBCQ\\newblock{\BemLanguageResourcesandEvaluation},{\Bbf48},\mbox{\BPGS\345--371}.\bibitem[\protect\BCAY{Matsumoto,Asahara,\BBA\Arita}{Matsumotoet~al.}{2018}]{Matsumoto-2018}Matsumoto,S.,Asahara,M.,\BBA\Arita,S.\BBOP2018\BBCP.\newblock\BBOQJapaneseClauseClassificationAnnotationonthe`BalancedCorpusofContemporaryWrittenJapanese'.\BBCQ\\newblockIn{\BemProceedingsofthe13thWorkshoponAsianLanguageResources(ALR12)},\mbox{\BPGS\1--8}.\bibitem[\protect\BCAY{Mikolov,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013a}]{Mikolov-2013a}Mikolov,T.,Chen,K.,Corrado,G.,\BBA\Dean,J.\BBOP2013a\BBCP.\newblock\BBOQEfficientEstimationofWordRepresentationsinVectorSpace.\BBCQ\\newblockIn{\BemInternationalConferenceonLearningRepresentations,{\upshape\textbf{abs/1301.3781}}}.\bibitem[\protect\BCAY{Mikolov,Sutskever,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013b}]{Mikolov-2013b}Mikolov,T.,Sutskever,I.,Chen,K.,Corrado,G.,\BBA\Dean,J.\BBOP2013b\BBCP.\newblock\BBOQDistributedRepresentationsofWordsandPhrasesandtheirCompositionality.\BBCQ\\newblockIn{\BemAdvancesinNeuralInformationProcessingSystems},\mbox{\BPGS\3111--3119}.\bibitem[\protect\BCAY{Mitchell,Lapata,Demberg,\BBA\Keller}{Mitchellet~al.}{2010}]{Mitchell-2010}Mitchell,J.,Lapata,M.,Demberg,V.,\BBA\Keller,F.\BBOP2010\BBCP.\newblock\BBOQSyntacticandSemanticFactorsinProcessingDifficulty:AnIntegratedMeasure.\BBCQ\\newblockIn{\BemProceedingsofthe48thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\196--206}.\bibitem[\protect\BCAY{宮内\JBA浅原\JBA中川\JBA加藤}{宮内\Jetal}{2018}]{Miyauchi-2018}宮内拓也\JBA浅原正幸\JBA中川奈津子\JBA加藤祥\BBOP2018\BBCP.\newblock『現代日本語書き言葉均衡コーパス』への情報構造アノテーションとその分析.\\newblock\Jem{国立国語研究所論集},{\Bbf16},\mbox{\BPGS\19--33}.\bibitem[\protect\BCAY{Patterson\BBA\Drummer}{Patterson\BBA\Drummer}{2016}]{Patterson-2016}Patterson,C.\BBACOMMA\\BBA\Drummer,J.\BBOP2016\BBCP.\newblock\BBOQEyeTracking--Focus:EyetrackingDuringReading.\BBCQ\\newblockLinguistischerMethodenworkshop(HUBerlin).\bibitem[\protect\BCAY{Pynte,New,\BBA\Kennedy}{Pynteet~al.}{2008}]{Pynte-2008}Pynte,J.,New,B.,\BBA\Kennedy,A.\BBOP2008\BBCP.\newblock\BBOQOn-lineContextualInfluencesDuringReadingNormalText:AMultiple-regressionAnalysis.\BBCQ\\newblock{\BemVisionResearch},{\Bbf48},\mbox{\BPGS\2172--2183}.\bibitem[\protect\BCAY{Schakel\BBA\Wilson}{Schakel\BBA\Wilson}{2015}]{Schakel-2015}Schakel,A.M.~J.\BBACOMMA\\BBA\Wilson,B.~J.\BBOP2015\BBCP.\newblock\BBOQMeasuringWordSignificanceusingDistributedRepresentationsofWords.\BBCQ\\newblock{\BemCoRR},{\Bbfabs/1508.02297}.\bibitem[\protect\BCAY{Sorensen,Hohenstein,\BBA\Vasishth}{Sorensenet~al.}{2016}]{Sorensen-2016}Sorensen,T.,Hohenstein,S.,\BBA\Vasishth,S.\BBOP2016\BBCP.\newblock\BBOQBayesianLinearMixedModelsUsingStan:ATutorialforPsychologists,Linguists,andCognitiveScientists.\BBCQ\\newblock{\BemQuantitativeMethodsforPsychology},{\Bbf12},\mbox{\BPGS\175--200}.\bibitem[\protect\BCAY{植田\JBA飯田\JBA浅原\JBA松本\JBA徳永}{植田\Jetal}{2015}]{Ueda-2015}植田禎子\JBA飯田龍\JBA浅原正幸\JBA松本裕治\JBA徳永健伸\BBOP2015\BBCP.\newblock『現代日本語書き言葉均衡コーパス』に対する述語項構造・共参照関係アノテーション.\\newblock\Jem{第8回コーパス日本語学ワークショップ予稿集},\mbox{\BPGS\205--214}.\bibitem[\protect\BCAY{Vasishth\BBA\Drenhaus}{Vasishth\BBA\Drenhaus}{2011}]{vasishth2011locality}Vasishth,S.\BBACOMMA\\BBA\Drenhaus,H.\BBOP2011\BBCP.\newblock\BBOQLocalityinGerman.\BBCQ\\newblock{\BemDialogue\&Discourse},{\Bbf2}(1),\mbox{\BPGS\59--82}.\end{thebibliography}\appendix
\section{分析結果（詳細）}
\label{sec:detailed}本節では，skip-gramの最大モデル($\mu_{all}$)の結果の詳細について示す．Rhatが収束判定指標でchain数3以上ですべての値が1.1以下を収束とみなす．本研究では全ての設定でchain数4とした．n\_effが有効サンプル数，meanがサンプルの期待値（事後平均），sdがMCMC標準偏差（事後標準偏差），se\_meanが標準誤差で，MCMCのサンプルの分散をn\_effで割った値の平方根を表す．\modified{なお，表中$\sigma$が対数正規分布の標準偏差，$\sigma_{article}$が記事に対するランダム係数をモデル化する分布の標準偏差，$\sigma_{subj}$が実験協力者に対するランダム係数をモデル化する分布の標準偏差を表す．}\subsection{分析結果：FFTskip-gram}表\ref{tbl:fft}にFFTskip-gramの最大モデル($\mu_{all}$)の結果を示す．FFTは文節内の最初の停留の注視時間を評価する．\modified{1回の停留のみの評価のために，文節の長さが長い場合（文節内に複数回視線が停留する場合）に，その2回目以降の停留は加算されない．このため短い文節でかつ文処理負荷が高い文節で長くなる傾向がある．}このため文節長の効果($\beta_{\ttlength}$)や文節間に空白を入れるか否かの効果($\beta_{\ttspace}$)が確認されなかった．呈示順($\beta_{\ttsessionN}$，$\beta_{\ttarticleN}$，$\beta_{\ttscreenN}$，$\beta_{\ttlineN}$，$\beta_{\ttsegmentN}$)・レイアウト情報($\beta_{\ttis\_first}$，$\beta_{\ttis\_last}$，$\beta_{\ttis\_second\_last}$)に関しては，行呈示順($\beta_{\ttlineN}$)で読み時間が短くなる傾向が，文節呈示順($\beta_{\ttsegmentN}$)で読み時間が長くなる傾向が，行内最右要素($\beta_{\ttis\_last}$)で読み時間が短くなる傾向が見られた．\begin{table}[t]\caption{分析結果：FFTskip-gram($\mu_{all}$)}\label{tbl:fft}\input{04table03.tex}\end{table}係り受けの数が多いほど読み時間が短くなる傾向($\beta_{\ttdependent}$)がみられる．ベクトルのノルム($\beta_{\ttwm\_norm}$)については，ノルムが大きくなればなるほど読み時間が長くなるという弱い効果がみられる．\modified{ベクトルのノルムは，長い文節ほど大きくなる傾向があるために，1回の停留のみの評価では強い効果が出なかったのではないかと考える．}隣接要素との類似度($\beta_{\ttwm\_sim}$)や頻度($\beta_{\ttfreq\_ave}$)については，値が大きいほど読み時間が短くなるという強い効果がみられる．\subsection{FPTskip-gram}表\ref{tbl:fpt}にFPTskip-gramの最大モデル($\mu_{all}$)の結果を示す．FPTは文節内に初めて視線が停留し，その後文節から出るまでの総注視時間である．出る方向は右方向でも左方向でも構わない．\modified{一般に，予想と異なる文節とは異なるものが出てきた場合(expectation-based)，短期記憶の負荷がかかる文節が出てきた場合(memory-based)に値が大きくなるとされている．}文節長の効果($\beta_{\ttlength}$)は視線停留対象の面積に相当するために，正方向に効果が出る．また，レジビリティの観点である文節間に空白を入れるか否かの効果($\beta_{\ttspace}$)ついては，空白を入れたほうが読み時間が短くなることが確認された．呈示順($\beta_{\ttsessionN}$，$\beta_{\ttarticleN}$，$\beta_{\ttscreenN}$，$\beta_{\ttlineN}$，$\beta_{\ttsegmentN}$)に関しては，記事呈示順以外で実験が進むにつれて読み時間が短くなる．記事呈示順は実験計画として4パターンのみ準備しており，記事に対するランダム効果($\sigma_{\ttarticle}$)に吸収されたと考える．以上の傾向は，RPT，TOTALについても共通してみられる．\begin{table}[t]\caption{分析結果：FPTskip-gram($\mu_{all}$)}\label{tbl:fpt}\input{04table04.tex}\end{table}レイアウト情報($\beta_{\ttis\_first}$，$\beta_{\ttis\_last}$，$\beta_{\ttis\_second\_last}$)は，行内最左要素($\beta_{\ttis\_first}$)と右から2番目の要素($\beta_{\ttis\_second\_last}$)で読み時間が長くなる傾向が見られた．これは，注視点の復帰改行の移動の効果だと考える．係り受けの数が多いほど読み時間が短くなる傾向($\beta_{\ttdependent}$)がみられる．ベクトルのノルム($\beta_{\ttwm\_norm}$)については，ノルムが大きくなればなるほど読み時間が長くなるという強い効果がみられる．隣接要素との類似度($\beta_{\ttwm\_sim}$)や頻度($\beta_{\ttfreq\_ave}$)については，値が大きいほど読み時間が短くなるという強い効果がみられる．\subsection{RPTskip-gram}表\ref{tbl:rpt}にRPTskip-gramの最大モデル($\mu_{all}$)の結果を示す．RPTは文節内に初めて視線が停留し，その後文節の右側から出るまでの総注視時間である．左側に抜ける場合は継続して合算する．\modified{当該文節が予想と異なった場合に事前文脈を再確認する時間を評価している．}\begin{table}[t]\caption{分析結果：RPTskip-gram($\mu_{all}$)}\label{tbl:rpt}\input{04table05.tex}\end{table}文節長・空白・呈示順については，FPTと同じ傾向であった．レイアウト情報($\beta_{\ttis\_first}$，$\beta_{\ttis\_last}$，$\beta_{\ttis\_second\_last}$)は，行内最右要素($\beta_{\ttis\_last}$)と右から2番目の要素($\beta_{\ttis\_second\_last}$)で読み時間が長くなる傾向が見られた．これは，RPTの読み時間の定義から，最右要素や右から2番目の要素はこれ以上右につきぬけにくいためであろう．係り受けの数が多いほど読み時間が短くなる傾向($\beta_{\ttdependent}$)がみられる．ベクトルのノルム($\beta_{\ttwm\_norm}$)については，ノルムが大きくなればなるほど読み時間が長くなるという強い効果がみられる．隣接要素との類似度($\beta_{\ttwm\_sim}$)や頻度($\beta_{\ttfreq\_ave}$)については，値が大きいほど読み時間が短くなるという強い効果がみられる．\subsection{TOTALskip-gram}表\ref{tbl:total}にTOTALskip-gramの最大モデル($\mu_{all}$)の結果を示す．TOTALは文節内の総注視時間である．\modified{2回目以降の確認作業も含めた読み時間を評価する．}文節長・空白・呈示順については，FPTと同じ傾向であった．\begin{table}[t]\caption{分析結果：TOTALskip-gram($\mu_{all}$)}\label{tbl:total}\input{04table06.tex}\end{table}レイアウト情報($\beta_{\ttis\_first}$，$\beta_{\ttis\_last}$，$\beta_{\ttis\_second\_last}$)は，FPTと同様に，行内最左要素($\beta_{\ttis\_last}$)と右から2番目の要素($\beta_{\ttis\_second\_last}$)で読み時間が長くなる傾向が見られた．係り受けの数が多いほど読み時間が短くなる傾向($\beta_{\ttdependent}$)がみられる．ベクトルのノルム($\beta_{\ttwm\_norm}$)については，ノルムが大きくなればなるほど読み時間が長くなるという強い効果がみられる．隣接要素との類似度($\beta_{\ttwm\_sim}$)や頻度($\beta_{\ttfreq\_ave}$)については，値が大きいほど読み時間が短くなるという強い効果がみられる．
\section{SecondPassTimeについて}
\label{sec:spt}SecondPassTime(SPT)は研究者によって，ゼロ読み時間（読み飛ばし）の扱いが異なり，査読などで議論が対立することが多く，本稿ではSPTの結果を除外した．自己ペース読文法においては，実験協力者は必ずすべての文節を見るために読み飛ばしが発生しない．視線走査法のFFT,FPT,RPT,TOTALにおいては，ゼロ読み時間を考慮しないことが研究コミュニティにおいて共有されている．SPTはゼロ読み時間を扱う研究とゼロ読み時間を扱わない研究があり，BCCWJ-EyeTrackでは後者の扱いをとっている．著者らが考える理由は三つある．一つ目はTOTALとFPTの関係である．SPTにおいてゼロ読み時間をする場合，TOTALにおいてゼロ読み時間の場合を除いて$\text{TOTAL}-\text{FPT}$の値とSPTの値が完全従属する．二つ目は対数正規分布{\ttlognormal}によりモデル化できる点である．対数正規分布は定義域が$0<x<\infty$であり，ゼロ読み時間を評価することができない．しかしながら，正規分布と異なり，サンプリングの際に自然に負の時間を回避できるほか，外れ値の影響が軽減されるというメリットがある．三つ目は，本質的に2回目の読み時間がないということは欠損値であると考え，モデル化する対象から外すことで，0の値を割り当てるというoverspecifiedの問題を回避することができる．Vasishthらは，ゼロ読み時間を扱うものをrereadingtimeと呼び，ゼロ読み時間を扱わないものをSPTとして区別したうえで，SPTを扱うべきとしている\cite{vasishth2011locality}．さらにrereadingtimeについてはUMASSのeyedry\footnote{http://blogs.umass.edu/eyelab/software/}など$\text{rereadingtime}=\text{RPT}-\text{FPT}$としているものもある．Pattersonらは2016年の時点で``controversyoverincluding0whennorereading''\cite{Patterson-2016}とし，この扱いについては，まだ議論が収束していない．なお，SPT分析結果としては，分散表現のノルムのみ（CBOW,skip-gramとも）が効果として確認され，それ以外の効果（単語頻度の幾何平均・隣接文節との類似度）は確認されなかった．\begin{biography}\bioauthor{浅原正幸}{2003年奈良先端科学技術大学院大学情報科学研究博士後期課程修了．2004年より同大学助教．2012年より人間文化研究機構国立国語研究所コーパス開発センター特任准教授．2019年より同教授．博士（工学）．言語処理学会，日本言語学会，日本語学会各会員．}\end{biography}\biodate\end{document}