\section{はじめに}
一般に，自然言語処理システムでは単語を何らかの数値ベクトルとして表現する必要がある．単純にベクトル化する方法としてはone-hot表現がある．これは単語の種類数が$N$の場合，$N$次元ベクトルを用意し，単語$w$が$i$番目の種類の単語であれば，$N$次元ベクトルの$i$番目だけを1に，他は0にして$w$をベクトル化する方法である．one-hot表現によるベクトル化は単にベクトル化しただけであり，ベクトル間の関係はその単語間のなんらかの関係を反映しているわけではない．処理の意味を考えれば，単語のベクトルはその単語の意味を表し，ベクトル間の関係は，単語の意味の関係を反映したものになっていることが望ましい．このような背景下で，Mikolovはword2vecを発表し\cite{Mikolov1,Mikolov-2013}，単語の意味を低次元密なベクトルとして表現する分散表現が大きな成功を収めた．その後，自然言語処理の様々なタスクにおいて，分散表現が導入され，既存のシステムを改善している．また同時に近年，自然言語処理の分野でも深層学習の利用が活発だが，そこでは単語のベクトル化に分散表現が用いられる\cite{okazaki}．つまり，現在，自然言語処理システムにおける単語のベクトル化には分散表現を用いることが一般的な状況となっている．分散表現は，単語分割されたコーパス\footnote{日本語の場合，'mecab-Owakati'により，容易にテキストコーパスをword2vecの入力形式に変換できる．}があればword2vec\footnote{https://github.com/svn2github/word2vec}やGloVe\footnote{https://nlp.stanford.edu/projects/glove/}などの公開されているツールを用いて簡単に構築できる．また深層学習で利用する場合は，ネットワークの一部として分散表現を学習できる．このため分散表現のデータ自体の品質に関心が持たれることは少ない．ただし分散表現を利用したシステムでは，分散表現の品質がそのシステムの精度に大きな影響を与えている．また深層学習では，学習時間や得られるモデルの品質の観点から，分散表現を学習時に構築するよりも，既存の学習済みの分散表現を用いる方が望ましい．このような観点から容易に利用できる高品質の分散表現データがあれば，様々な自然言語処理システムの構築に有益であることは明らかである．以上の潜在的な需要に応えるために我々は国語研日本語ウェブコーパス（以下，NWJC）\cite{asahara2014archiving}を利用して分散表現を構築し，それをnwjc2vecと名付けて公開している\footnote{http://nwjc-data.ninjal.ac.jp/}．NWJCは約258億語からなるコーパスである．1年分の新聞記事中のプレーンな文のデータが約2,050万語\footnote{2008年度の毎日新聞記事から，文としてなりたつと考えられるものを抽出し，unidicを基に形態素解析したものから算出した．}であることを考えると，NWJCは1,200年分以上の新聞記事に相当し，超大規模コーパスといえる．そのためそのコーパスから構築されたnwjc2vecが高品質であることが期待できる．本稿ではnwjc2vecを紹介するとともに，nwjc2vecの品質を評価するために行った二種類の評価実験の結果を報告する．第一の評価実験では，単語間類似度の評価として，単語類似度データセットを利用して人間の主観評価とのスピアマン順位相関係数を算出する．第二の評価実験では，タスクに基づく評価として，nwjc2vecを用いて語義曖昧性解消及び回帰型ニューラルネットワーク（RecurrentNeuralNetwork,以下RNN）による言語モデルの構築を行う．なおここでの言語モデルとは確率的言語モデルであり単語列に対する確率分布を意味する．構築した言語モデルはパープレキシティにより評価できるので，その評価値により構築の基になった分散表現データを評価する．どちらの評価実験においても，新聞記事7年分の記事データから構築した分散表現を用いた場合の結果と比較することで，nwjc2vecが高品質であることを示す．
\section{nwjc2vecの構築}
\subsection{NWJC}NWJCはウェブを母集団とし，100億語規模を目標として構築した日本語コーパスである．ウェブアーカイブの構築で用いられるHeritrix-3.1.1\footnote{http://webarchive.jira.com/wiki/display/Heritrix/Heritrix/}クローラを運用することで，1年間，3か月おきに，固定した約1億URLのウェブページを収集している．得られたウェブページはnwc-toolkit-0.0.2\footnote{https://github.com/xen/nwc-toolkit}を用いて，日本語文抽出と正規化を行う．コピーサイトの問題を緩和するために，文単位の単一化（文の異なりを用いる）を行った．アノテーションはすべて自動解析を用い，形態論情報，および係り受け情報を付与している．形態素解析には形態素解析器MeCab-0.996\footnote{https://taku910.github.io/mecab/}とUniDic-2.1.2\footnote{http://unidic.ninjal.ac.jp/}を使用し，係り受け解析には係り受け解析器CaboCha-0.69\footnote{https://taku910.github.io/cabocha/}とUniDic主辞規則\footnote{CaboChaコンパイル時に{\tt./configure--with-posset=UNIDIC}と指定することで，解析器の主辞規則を\mbox{UniDic}品詞体系に適応することができる．}を使用した．収集したデータを研究者に提供することが求められているが，著作権の問題があり，収集したデータをそのまま外部の研究者に提供することは難しい．そこで，文字列のみならず，形態論情報や係り受け構造に基づく検索系を構築し，例文とともに元データが含まれるURLへのリンクを含めて提示するサービスを構築した\cite{Asahara-2016-bonten}．このサービスから利用可能なデータは，2014年10--12月期収集データ（NWJC-2014-4Qデータ）に基づく．基礎統計は表\ref{table1}のとおりである．\begin{table}[b]\caption{基礎統計:NWJC-2014-4Qデータ}\label{table1}\input{03table01.txt}\end{table}\subsection{word2vecによる分散表現の構築}表1に示したNWJC-2014-4Qデータを用いて分散表現データを構築する．分散表現データの構築にはword2vec\footnote{https://github.com/svn2github/word2vec}のCBOWモデルを用いた．表\ref{table2}にword2vec実行時の各種パラメータを示す\footnote{これらのパラメータはword2vecのソースと一緒に配布されるdemo-word.shに記載されているパラメータである．NWJCに特化してチューニングした値ではない．nwjc2vecの構築に要する時間は高性能マシンを用いても3週間以上であるため，他のパラメータとの比較は行っていない．}．\begin{table}[b]\caption{word2vecの実行時のパラメータ}\label{table2}\input{03table02.txt}\end{table}分散表現の学習に利用するコーパスは単語分割されている必要がある．ここではこの単語として，書字形出現形のみを使ったwordと，形態論情報\footnote{unidic-mecab\_kana-accent-2.1.2のdicrcに記載の素性26種．}を含めたmrphの2種類を用意し，それぞれの単語単位に対してモデルを構築した．\subsection{nwjc2vec}上記により構築できた2つのモデルのうち特に有用であるのは形態論情報を含めた分散表現である．このモデルの分散表現をnwjc2vecと名付けて公開している．nwjc2vecは柔軟な利用が可能なように，分散表現をテキストファイルの形式で保存している．1行は1形態素に相当し，以下の形式になっている．\vspace{0.3\Cvs}\begin{center}\begin{minipage}{150pt}\begin{screen}形態素\verb|e_1|\verb|e_2|・・・\verb|e_200|\end{screen}\end{minipage}\end{center}\vspace{0.7\Cvs}\verb|e_i|がその形態素の分散表現の\verb|i|次元目の値である．例えば，以下は「意味」に対応する分散表現である．\vspace{0.3\Cvs}\begin{center}\begin{minipage}{330pt}\small\begin{screen}意味,名詞,普通名詞,サ変可能,*,*,*,イミ,意味,意味,イミ,意味,イミ,漢,*,*,*,-10.491043-2.121982-3.084628$\cdots$4.0247053.57007212.781445\end{screen}\end{minipage}\end{center}\vspace{0.7\Cvs}つまり``意味,名詞,普通名詞,サ変可能,*,*,*,イミ,意味,意味,イミ,意味,イミ,漢,*,*,*,''が1形態素である．またベクトル値はword2vecの出力値をそのまま書き出しており，大きさ\footnote{本論文ではベクトルの「大きさ」をベクトルの「L2-ノルム」の意味で用いている．}を1とする正規化はされていない．nwjc2vec全体としては1,738,455形態素からなる\footnote{そのテキストファイルはheaderの1行を含め1,738,456行である．}．書字形出現形は1,541,651種類存在するので，書字形出現形が同じでも形態論情報が異なるものが多数存在する．従来の単語分散表現は書字形出現形を形態素としたものが一般的であり，その場合，品詞の違いによる別単語を同一の分散表現にしているという明らかな欠点がある．nwjc2vecではその欠点を回避できている．\begin{table}[b]\caption{品詞別の形態素数}\label{myhinshi}\input{03table03.txt}\end{table}大分類の品詞別の形態素数を頻度順に\mbox{表\ref{myhinshi}}にまとめる．etcは半角英単語などの未知語であり，語彙素の付与に失敗しているものである．次に\mbox{表\ref{myhinshi}}のetc以外の分散表現のベクトルの大きさを調べた．平均は9.261，標準偏差は9.641,中央値は5.105であった．またベクトルの大きさを0.1刻みに丸め，その頻度分布を調べた．結果を\mbox{図\ref{myhindo2}}に示す．\begin{figure}[b]\begin{center}\includegraphics{24-5ia3f1.eps}\end{center}\caption{分散表現ベクトルの大きさの頻度分布}\label{myhindo2}\end{figure}参考として，ベクトルの大きさとその単語の関係を調べた．ベクトルの大きさの小数点以下を切り捨て，大きさ3，15，75\footnote{この3つの数値は，ベクトルの大きさは3が最頻出であったことから選んだ．}の単語をランダムに10個取り出した．その結果を表\ref{w-len}に示す．ここから明確な特徴を示すことはできないが，頻度が小さな単語はそのベクトルも小さく，頻度が大きな単語はそのベクトルも大きいという傾向があると考えられる．\begin{table}[b]\caption{ベクトルの大きさと単語の関係}\label{w-len}\input{03table04.txt}\end{table}
\section{評価実験}
一般に分散表現の評価法には単語間類似度の観点からのものと，分散表現を用いたタスクの精度の観点からのものが存在する．単語間類似度からnwjc2vecを評価したものとして，分類語彙表との対応をみた評価が報告されている\cite{asahara-nwjc}．そこでは主観的な評価ではあるが，nwjc2vecが高品質であることが示されている．ここでは更に定量的な評価を行うために，単語類似度データセットを利用する．またタスクの精度の観点としては，語義曖昧性解消と言語モデル構築という2つのタスクから評価を行う．どちらの評価実験においても，新聞記事7年分の記事データから構築した分散表現を用いた場合の結果と比較することで，nwjc2vecが高品質であることを示す．\subsection{比較のための分散表現mai2vecの構築}nwjc2vecとの比較のために，新聞記事7年分から分散表現を構築する．用いたコーパスは毎日新聞'93年度版から'99年度版の7年分の記事であり，そこから見出しや表内の文字列等を取り除き，文として認められるものだけを取り出した．取り出した文は6,791,403文であった．これをMeCab-0.996とUniDic-2.1.2を用いて分かち書きし，これをword2vecにかけることで分散表現を構築した．この分散表現データをここではmai2vecと名付ける．word2vec実行時の各種パラメータはnwjc2vecを構築したもの（\mbox{表\ref{table2}}）と合わせた．最終的に得られたmai2vecの形態素数は132,509であった．\subsection{単語間類似度による評価}分散表現を単語間類似度の観点から評価する方法として，単語類似度データセットを利用する方法がある．単語類似度データセットは用意された単語ペアに対して，複数の人間が主観的にその類似度を付けたものである．複数人の類似度の平均を，その単語ペアの類似度とみなす．単語類似度データセット中の単語ペアの類似度を，分散表現データを用いて算出する．データセットに記されている類似度が高い単語ペアに対しては，分散表現データも高い類似度を算出し，低い単語ペアに対しては分散表現データも低い類似度を算出するというように，データセット内に記された類似度と分散表現が算出する類似度に相関があれば，その分散表現データの単語間類似度が概ね正しいと考えられる．この相関の算出には一般にスピアマン順位相関係数が用いられる．ここでは首都大学東京の小町研究室が以下で公開している単語類似度データセットを利用する．このデータセットは形容詞，副詞，名詞及び動詞の4つの単語類似度データセットからなる．10人のアノテータにより各単語ペアに対して11段階（0から10）の類似度が付与されている．\vspace{0.5\Cvs}\begin{center}https://github.com/tmu-nlp/JapaneseWordSimilarityDataset\end{center}\vspace{0.5\Cvs}このデータセット中の単語ペアのうちmai2vecとnwjc2vecの両方に登録されている単語ペアだけを評価に利用した．利用した単語ペア数を表\ref{wdsim-tab}に示す．\begin{table}[t]\caption{単語類似度データセット中の利用した単語ペア数}\label{wdsim-tab}\input{03table05.txt}\end{table}上記の単語ペアに対してmai2vecあるいはnwjc2vecから類似度を求め\footnote{類似度は両者のベクトルの大きさを1に正規化し，そららの余弦（この場合，内積）から求めた．}，形容詞，副詞，名詞及び動詞の各データセットに対して，スピアマン順位相関係数を算出した．結果を表\ref{wdsim-kekka}に示す．\begin{table}[t]\caption{単語間類似度の実験結果}\label{wdsim-kekka}\input{03table06.txt}\end{table}全てのデータセットにおいてnwjc2vecはmai2vecよりも評価値が高く，単語間類似度の観点ではmai2vecよりも品質が高いと言える．\subsection{タスクに基づく評価}\subsubsection{語義曖昧性解消タスク}分散表現を用いて，教師あり学習による語義曖昧性解消を行う．語義曖昧性解消に分散表現を用いる手法にはSugawaraが提案した手法\cite{sugawara}を用いる．Sugawaraの手法は語義曖昧性解消に対して通常設定する素性群（基本素性と呼ぶ）の他に対象単語の前後2単語の分散表現を素性として加えるというものである．例えば以下の文を考える．語義曖昧性解消の対象単語は「意味」であり，単語区切りを``/''で示す．\begin{screen}\begin{verbatim}江戸/時代/の/庶民/たち/が/そこ/に/新た/な/意味/の/付与/を/おこなっ/て/き/た/。\end{verbatim}\end{screen}標準的な教師あり学習の手法では「意味」の前後の文脈情報（例えば前後に現れる自立語や直前の品詞など）を素性で表す．これが基本素性となる．この基本素性をベクトル表現したものを$V$とする．Sugawara手法は対象単語の前後2単語，つまり「新た」「な」「の」「付与」の4単語の分散表現$V_{新た}$，$V_{な}$，$V_{の}$，$V_{付与}$を$V$に結合させ，それを新たな上記文の素性ベクトルとして教師あり学習を行うというものである．ここでの実験では分散表現の差異を明確にするために基本素性を利用せずに，前後2単語の分散表現（上記例では$V_{新た}$，$V_{な}$，$V_{の}$，$V_{付与}$）だけを結合させた素性ベクトルを用いることにする．各分散表現を求める際にnwjc2vecあるいはmai2vecを利用する．ただしnwjc2vecの形態素には形態論情報が付与されているが，ここでは大分類の品詞だけを用いることにした．例えば上記文では，形態素解析時に各単語に大分類の品詞名を付与し，以下のような形に直すことで分散表現を求めている．\begin{screen}\begin{verbatim}江戸-名詞/時代-名詞/の-助詞/庶民-名詞/たち-接尾辞/が-助詞/そこ-代名詞/に-助詞/新た-形状詞/な-助動詞/意味-名詞/の-助詞/付与-名詞/を-助詞/おこなっ-動詞/て-助詞/き-動詞/た-助動詞/。-補助記号\end{verbatim}\end{screen}語義曖昧性解消のデータセットとしてはSemEval-2の日本語辞書タスク\cite{semeval-2010}のデータセットを用いる．このタスクでは50単語の対象単語が設定され，各対象単語に対して，50用例の訓練データと50用例のテストデータが与えられている．各対象単語に対して訓練データで分類器を学習し，その単語のテストデータにより分類器の正解率を測る．そして50単語に対する正解率の平均によって評価を行う．実験結果を表\ref{mykekka1}に示す．表中のbaselineはSemEval-2でのベースラインである．表中のmai2vecは分散表現mai2vecから素性ベクトルを作る手法である．表中のnwjc2vecは分散表現nwjc2vecから素性ベクトルを作る手法である．どちらの場合も分散表現のベクトルは大きさを1に正規化している．また大きさを1に正規化せずに，word2vecから求まった値を直接使った場合をmai2vec-0とnwjc2vec-0により示した．ベースラインも含め，いずれのシステムも学習アルゴリズムとしては線形のSVM\footnote{https://www.csie.ntu.edu.tw/~cjlin/libsvm/}を用いた．\begin{table}[t]\caption{平均正解率(\%)}\label{mykekka1}\input{03table07.txt}\end{table}nwjc2vecが最も高い正解率を出しており，nwjc2vecが高品質であると考えられる．また分散表現のベクトルの大きさは1に正規化して利用した方がよいことも確認できる．\subsubsection{RNNによる言語モデル構築}RNNは時系列データを処理する深層学習のモデルである．様々な応用があるが，最も典型的な応用は言語モデルの構築である．時刻$t$の入力データを，文$s$内の$t$番目の単語$w_t$とし，その教師データを次に現れる単語$w_{t+1}$とすることで言語モデルが学習できる．ここではRNNの拡張版であるLongShort-TermMemory（以下LSTM）\cite{gers2000learning}を用いる．言語モデルを学習するLSTMの時刻$t$時の入出力を表したネットワークを\mbox{図\ref{rnn}}に示す．時刻$t$で単語$w_t$が入力され，それを$w_t$の分散表現のベクトルに変換し，その分散表現のベクトルをLSTMブロックに入力する．LSTMブロックでは次の時刻$t+1$へのLSTMブロックへ$w_0$から$w_t$の単語列の情報を圧縮したベクトル$h_t$と記憶セル$c_t$を渡す．同時に$y_t$を出力し，それを線形作用素$W$でone-hot形式のベクトルに直すことで次に現れる単語を予測する．学習時には$Wy_t$と$w_{t+1}$との誤差からネットワークの重みを学習する．\begin{figure}[b]\begin{center}\includegraphics{24-5ia3f2.eps}\end{center}\caption{LSTMの時刻$t$時の入出力}\label{rnn}\end{figure}上記ネットワークでは，$w_t$をその分散表現のベクトルに変換するが，その変換，つまり$w_t$の分散表現自体をLSTM内で学習している．その際，学習対象の分散表現の初期値は通常ランダムな値を設定する．しかしこの初期値に既存の分散表現のデータを利用することも可能である．あるいは，分散表現を学習対象から外し，分散表現への変換は既存の分散表現のデータを利用する形でも良い．ここでの実験では分散表現の品質の比較を目的としているために，分散表現を学習対象から外し，分散表現への変換は評価対象の分散表現データを利用する形で実験を行う．つまり分散表現への変換にmai2vecを用いて構築した言語モデル(mai2vec-lm)，及び分散表現への変換にnwjc2vecを用いて構築した言語モデル(nwjc2vec-lm)を比較することでnwjc2vecを評価する．また参考として分散表現をLSTM内で学習して構築した言語モデル(base-lm)も評価する．言語モデルの評価にはパープレキシティを用いる．言語モデルの学習用のコーパスとしては現代日本語書き言葉均衡コーパス\cite{maekawa2014balanced}のYahoo!ブログとYahoo!知恵袋から取り出した7,330文のうち7,226文を学習用コーパス，104文を評価用コーパスとした．1epoch\footnote{一つの学習用データ（ここでは7,226文）を何回繰り返して学習させたかの単位．}毎に構築した言語モデルのパープレキシティを表\ref{rnn-tb}と図\ref{rnn-fg}に示す．\begin{table}[b]\vspace{-0.5\Cvs}\caption{エポック毎のパープレキシティ}\label{rnn-tb}\input{03table08.txt}\end{table}\begin{figure}[b]\begin{center}\includegraphics{24-5ia3f3.eps}\end{center}\caption{分散表現の違いによる言語モデルのパープレキシティ}\label{rnn-fg}\vspace{-0.5\Cvs}\end{figure}mai2vec-lmとnwjc2vec-lmはbase-lmよりもパープレキシティが低く，言語モデルの学習には分散表現への変換を同時に学習するよりも，既存の分散表現を利用した方がよいと言える．またnwjc2vec-lmはmai2vec-lmよりもパープレキシティが低く，nwjc2vecの方がmai2vecよりも品質が高いと言える．
\section{考察}
単語間類似度に基づく評価実験では，mai2vecもnwjc2vecもスピアマン順位相関係数の値自体は低かった．ただしnwjc2vecはmai2vecよりも明らかに評価値が高く，少なくともmai2vecよりも品質が高いと言える．分類語彙表との対応をみた実験\cite{asahara-nwjc}からも単語間類似度の精度は良く，しかもタスクに基づく評価実験からmai2vecもかなり品質が高いことがうかがえるため，nwjc2vecは単語間類似度の観点からは高品質であると考える．タスクに基づく評価実験では，語義曖昧性解消でも言語モデルの構築でもnwjc2vecはmai2vecよりも良い値を出したが，その差はわずかであった．ただし品質の差は数値の差以上のものがあると考えられる．まず語義曖昧性解消ではSemEval-2の日本語辞書タスクのデータを用いたが，このタスクはbaselineがかなり高く，通常のリソースを使う限りではbaselineを超えることは困難である．実際にSemEval-2の参加システムでbaselineを超える正解率を出したシステムはなかった．また新納はこのタスクにおいて様々なシソーラスの情報を試したが，baselineを0.2\%以上改善できるものはなかった\cite{shinnou}．そこではシソーラスの粒度を混合して利用することで77.28\%まで改善しているが，nwjc2vecはこの値よりも0.43\%高い．Yamakiはwikipediaから構築した分散表現と独自の手法を利用して，77.10\%の正解率を出したが\cite{yamaki}，この値はmai2vecと同程度である．mai2vecもnwjc2vecもbaselineを超えているので，どちらの分散表現もかなり品質は高いといえるが，nwjc2vecはmai2vecよりも0.64\%高い．この0.64\%の差はなかなか埋めることができないものである．次に言語モデルを用いたここでの実験では，未知語の問題を避けていることを注記したい．ここで利用した学習用コーパスと評価用コーパスにはmai2vecおよびnwjc2vecのどちらにも未知語が存在しないように，どちらかに未知語が存在する場合は，その文を予めコーパスから取り除いている．初期のコーパス（175,302単語，異なり単語数15,082単語）ではmai2vecを用いた場合の未知語は7,424単語（異なり数3,204単語）存在したが，nwjc2vecを用いた場合の未知語は404単語（異なり数324単語）であり，大きな差がある．本実験において，学習用コーパスあるいは評価用コーパス内の分散表現データにおける未知語の出現が，構築できる言語モデルにどの程度悪影響を与えるかは不明である．ただし明らかに未知語の出現により評価値は悪くなるはずであり，この点からnwjc2vecとmai2vecの品質の差は更にあると考えられる．最後にnwjc2vecのfine-tuningについて述べる．あるモデルの学習を行う際に，訓練データが少量しかないことは通常起こりえる．このとき別の訓練データから学習された既存のモデルが利用できれば，手持ちの少量の訓練データからその既存のモデルを自分の用途に調整することができる．これをfine-tuningという．分散表現もfine-tuningが可能であるため，nwjc2vecの存在意義は更に高い．この点を確認するため，分散表現の学習プログラム\footnote{windowの幅は5単語，NegativeSampleの個数は20単語，モデルはSkipGramを用いた．}を作成し\cite{shinnou-book}，その分散表現の初期値をnwjc2vecに設定し，学習用コーパスとしてはmai2vecの基になったコーパスから30万文をランダムに取り出したものを用いてnwjc2vecのfine-tuningを行った．得られた分散表現を用いて，前章で行ったLSTMによる言語モデルの学習を再度行った．学習用コーパスと評価用コーパスも前章のものと同じである．結果を\mbox{表\ref{rnn-tb2}}と\mbox{図\ref{rnn-fg2}}に示す．各epoch後に学習できた言語モデルのパープレキシティはfine-tuningによる分散表現を用いたものの方が優れており，fine-tuningの効果が確認できる．\begin{table}[t]\caption{fine-tuningの効果}\label{rnn-tb2}\input{03table09.txt}\end{table}\begin{figure}[t]\begin{center}\includegraphics{24-5ia3f4.eps}\end{center}\caption{fine-tuningによる言語モデルのパープレキシティ}\label{rnn-fg2}\end{figure}
\section{おわりに}
本稿では我々が構築，公開している日本語単語の分散表現のデータnwjc2vecを紹介した．nwjc2vecは超大規模コーパスである国語研日本語ウェブコーパスからword2vecを用いて構築した分散表現のデータである．ここではnwjc2vecの品質を評価するため2種類の評価実験を行った．第一の評価実験では単語間類似度の評価として，単語類似度データセットを利用して人間の主観評価とのスピアマン順位相関係数を算出した．第二の評価実験では，タスクに基づく評価として，nwjc2vecを用いて語義曖昧性解消及び回帰型ニューラルネットワークによる言語モデルの構築からnwjc2vecの評価を行った．二つの評価実験からnwjc2vecが高品質であることが示された．今後はnwjc2vecのfine-tuningの可能性を調査したい．\acknowledgment本研究の一部は国語研コーパス開発センター「超大規模コーパス」プロジェクト(2011--\linebreak2015)・コーパス開発センター共同研究プロジェクト「コーパスアノテーションの拡張・統合・自動化に関する基礎研究」(2016--2021)・新領域創出型共同研究プロジェクト「all-wordsWSDシステムの構築及び分類語彙表と岩波国語辞典の対応表作成への利用」(2016--2017)によるものです．\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{Asahara,Kawahara,Takei,Masuoka,Ohba,Torii,Morii,Tanaka,Maekawa,Kato,\BBA\Konishi}{Asaharaet~al.}{2016}]{Asahara-2016-bonten}Asahara,M.,Kawahara,K.,Takei,Y.,Masuoka,H.,Ohba,Y.,Torii,Y.,Morii,T.,Tanaka,Y.,Maekawa,K.,Kato,S.,\BBA\Konishi,H.\BBOP2016\BBCP.\newblock\BBOQ`BonTen'---CorpusConcordanceSystemfor`NINJALWebJapaneseCorpus'.\BBCQ\\newblockIn{\BemProceedingsofCOLING2016,the26thInternationalConferenceonComputationalLinguistics:SystemDemonstrations},\mbox{\BPGS\25--29}.\bibitem[\protect\BCAY{Asahara,Maekawa,Imada,Kato,\BBA\Konishi}{Asaharaet~al.}{2014}]{asahara2014archiving}Asahara,M.,Maekawa,K.,Imada,M.,Kato,S.,\BBA\Konishi,H.\BBOP2014\BBCP.\newblock\BBOQArchivingandAnalysingTechniquesoftheUltra-large-scaleWeb-basedCorpusProjectofNINJAL,Japan.\BBCQ\\newblock{\BemAlexandria:TheJournalofNationalandInternationalLibraryandInformationIssues},{\Bbf25}(1--2),\mbox{\BPGS\129--148}.\bibitem[\protect\BCAY{浅原\JBA岡}{浅原\JBA岡}{2017}]{asahara-nwjc}浅原正幸\JBA岡照晃\BBOP2017\BBCP.\newblocknwjc2vec:『国語研日本語ウェブコーパス』に基づく単語の分散表現データ.\\newblock\Jem{言語処理学会第23回年次大会発表論文集},\mbox{\BPGS\94--97}.\bibitem[\protect\BCAY{Gers,Schmidhuber,\BBA\Cummins}{Gerset~al.}{2000}]{gers2000learning}Gers,F.~A.,Schmidhuber,J.,\BBA\Cummins,F.\BBOP2000\BBCP.\newblock\BBOQLearningtoForget:ContinualPredictionwithLSTM.\BBCQ\\newblock{\BemNeuralComputation},{\Bbf12}(10),\mbox{\BPGS\2451--2471}.\bibitem[\protect\BCAY{Maekawa,Yamazaki,Ogiso,Maruyama,Ogura,Kashino,Koiso,Yamaguchi,Tanaka,\BBA\Den}{Maekawaet~al.}{2014}]{maekawa2014balanced}Maekawa,K.,Yamazaki,M.,Ogiso,T.,Maruyama,T.,Ogura,H.,Kashino,W.,Koiso,H.,Yamaguchi,M.,Tanaka,M.,\BBA\Den,Y.\BBOP2014\BBCP.\newblock\BBOQBalancedCorpusofContemporaryWrittenJapanese.\BBCQ\\newblock{\BemLanguageResourcesandEvaluation},{\Bbf48}(2),\mbox{\BPGS\345--371}.\bibitem[\protect\BCAY{Mikolov,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013a}]{Mikolov-2013}Mikolov,T.,Chen,K.,Corrado,G.,\BBA\Dean,J.\BBOP2013a\BBCP.\newblock\BBOQEfficientEstimationofWordRepresentationsinVectorSpace.\BBCQ\\newblockIn{\BemICLRWorkshopPaper}.\bibitem[\protect\BCAY{Mikolov,Sutskever,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013b}]{Mikolov1}Mikolov,T.,Sutskever,I.,Chen,K.,Corrado,G.~S.,\BBA\Dean,J.\BBOP2013b\BBCP.\newblock\BBOQDistributedRepresentationsofWordsandPhrasesandTheirCompositionality.\BBCQ\\newblockIn{\BemAdvancesinNeuralInformationProcessingSystems},\mbox{\BPGS\3111--3119}.\bibitem[\protect\BCAY{岡崎}{岡崎}{2016}]{okazaki}岡崎直観\BBOP2016\BBCP.\newblock言語処理における分散表現学習のフロンティア（〈特集〉ニューラルネットワーク研究のフロンティア）.\\newblock\Jem{人工知能：人工知能学会誌},{\Bbf31}(2),\mbox{\BPGS\189--201}.\bibitem[\protect\BCAY{Okumura,Shirai,Komiya,\BBA\Yokono}{Okumuraet~al.}{2011}]{semeval-2010}Okumura,M.,Shirai,K.,Komiya,K.,\BBA\Yokono,H.\BBOP2011\BBCP.\newblock\BBOQOnSemEval-2010JapaneseWSDTask.\BBCQ\\newblock\Jem{自然言語処理},{\Bbf18}(3),\mbox{\BPGS\293--307}.\bibitem[\protect\BCAY{新納}{新納}{2016}]{shinnou-book}新納浩幸\BBOP2016\BBCP.\newblock\Jem{Chainerによる実践深層学習}.\newblockオーム社.\bibitem[\protect\BCAY{新納\JBA佐々木\JBA古宮}{新納\Jetal}{2015}]{shinnou}新納浩幸\JBA佐々木稔\JBA古宮嘉那子\BBOP2015\BBCP.\newblock語義曖昧性解消におけるシソーラス利用の問題分析.\\newblock\Jem{言語処理学会第21回年次大会発表論文集},\mbox{\BPGS\59--62}.\bibitem[\protect\BCAY{Sugawara,Takamura,Sasano,\BBA\Okumura}{Sugawaraet~al.}{2015}]{sugawara}Sugawara,H.,Takamura,H.,Sasano,R.,\BBA\Okumura,M.\BBOP2015\BBCP.\newblock\BBOQContextRepresentationwithWordEmbeddingsforWSD.\BBCQ\\newblockIn{\BemPACLING-2015},\mbox{\BPGS\149--155}.\bibitem[\protect\BCAY{Yamaki,Shinnou,Komiya,\BBA\Sasaki}{Yamakiet~al.}{2016}]{yamaki}Yamaki,S.,Shinnou,H.,Komiya,K.,\BBA\Sasaki,M.\BBOP2016\BBCP.\newblock\BBOQSupervisedWordSenseDisambiguationwithSentencesSimilaritiesfromContextWordEmbeddings.\BBCQ\\newblockIn{\BemPACLIC-30},\mbox{\BPGS\115--121}.\end{thebibliography}\begin{biography}\bioauthor{新納浩幸}{1985年東京工業大学理学部情報科学科卒業．1987年同大学大学院理工学研究科情報科学専攻修士課程修了．同年富士ゼロックス，翌年松下電器を経て，1993年より茨城大学工学部．現在，茨城大学工学部情報工学科教授．博士（工学）．機械学習や統計的手法による自然言語処理の研究に従事．言語処理学会，情報処理学会，人工知能学会各会員．}\bioauthor{浅原正幸}{1998年京都大学総合人間学部卒．2003年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2004年より同大学助教．2012年より国立国語研究所コーパス開発センター特任准教授．現在同准教授．博士（工学）．自然言語処理・コーパス言語学の研究に従事．情報処理学会，言語処理学会，言語学会，日本語学会各会員．}\bioauthor{古宮嘉那子}{2005年東京農工大学工学部情報コミュニケーション工学科卒．2009年同大大学院博士後期課程電子情報工学専攻修了．博士（工学）．同年東京工業大学精密工学研究所研究員，2010年東京農工大学工学研究院特任助教，2014年茨城大学工学部情報工学科講師．現在に至る．自然言語処理の研究に従事．情報処理学会，人工知能学会，言語処理学会各会員．}\bioauthor{佐々木稔}{1996年徳島大学工学部知能情報工学科卒業．2001年同大学大学院博士後期課程修了．博士（工学）．2001年12月茨城大学工学部情報工学科助手．現在，茨城大学工学部情報工学科講師．機械学習や統計的手法による情報検索，自然言語処理等に関する研究に従事．言語処理学会，情報処理学会各会員．}\end{biography}\biodate\end{document}