\section{はじめに}
近年，情報化技術の発展により，インターネット上やデータベース上にはテキストとそのテキストに付随する実世界情報が大量に存在している．実世界情報を用いる自然言語処理の研究として，テキストを用いて画像を検索する研究\cite{NIPS2014_5281}や画像の解説文を生成する研究\cite{Socher_groundedcompositional}などが行われている．また，実世界情報を用いることで言語モデルの性能を向上させる研究\cite{icml2014c2_kiros14}も行われており，実世界情報の活用は自然言語処理の基礎技術の精度向上に有効だと考えられる．そこで本稿では実世界情報とテキスト情報を素性として入力した際の固有表現認識を提案する．本稿では，将棋の解説文に対する固有表現認識を題材として，テキスト情報に加えて実世界情報を参照する固有表現認識器を提案する．固有表現とは，文書の単語列に人名や地名など約8種類の定義\cite{TjongKimSang:2003:ICS:1119176.1119195}を行ったものが一般的であるが，近年では医療の専門用語を定義したバイオ固有表現\cite{Biomedical.Named.Entity.Recognition.Using.Conditional.Random.Fields.and.Rich.Feature.Sets}なども提案されており，本研究では将棋解説コーパス\cite{shogi-corpus}で定義される将棋固有表現を扱う．将棋解説コーパスは，将棋の解説文に対して単語分割と固有表現タグが人手で与えられた注釈つきテキストデータであり，各解説文には解説の対象となる将棋の局面情報が対応付けされている．局面は，盤面上の駒の配置と持ち駒であり，すべての可能な盤面状態がこれによって記述できる．本研究では局面情報を実世界情報として用いる．提案手法では，まず各局面の情報をディープニューラルネットワークの学習方法の1つであるstackedauto-encoder(SAE)を用いて事前学習を行う．次に，事前学習の結果をテキスト情報と組み合わせて固有表現を学習する．提案手法を評価するために，条件付き確率場による方法等との比較実験を行い，実世界情報を用いることにより固有表現認識の精度向上が可能であることを示す．将棋の固有表現認識の精度が向上すると，文書から戦型名や囲い名などを自動的に抽出でき，将棋解説文の自動生成のための基礎技術となる．また，一般の固有表現認識を高い精度で行えるようになると質問応答や文の自動生成などの高度な応用の基礎技術となる．
\section{関連研究}
本章では，まず本研究で扱う固有表現認識について述べる．その後，実世界情報を用いた自然言語処理の研究について述べる．最後に将棋の局面情報を用いた自然言語処理の先行研究について述べる．\subsection{固有表現認識}本稿で行う固有表現認識は自然言語処理の重要な応用の一つである．一般的な固有表現認識は，対象を新聞記事，固有表現として人名，地名，組織名等を扱った研究が広く行われている\cite{TjongKimSang:2003:ICS:1119176.1119195,Ratinov:2009:DCM:1596374.1596399}．固有表現認識は，ある系列（単語列）の各要素（各単語）に適切なラベル列を付与する問題である系列ラベリング問題として解かれることが一般的である．サポートベクターマシンや最大エントロピーモデルなどを用いた様々な手法が提案されており\cite{Borthwick:1999:MEA:930095,TjongKimSang:2003:ICS:1119176.1119195,Finkel:2005:INI:1219840.1219885}，条件付き確率場(CRF)による系列ラベリング\cite{Lafferty:2001:CRF:645530.655813}がよく用いられる．また，近年では深層学習を用いて解く手法が提案されており，Bi-directionalLSTMを用いて解く手法がCoNLL2003コーパス\cite{TjongKimSang:2003:ICS:1119176.1119195}において最高精度を記録している\cite{ma-hovy:2016:P16-1}．系列ラベリング問題として固有表現認識を解く際に，BIOタグ体系を用いて各単語のタグを学習することが多い．BIOのB(Begin)はある固有表現の最初の単語，I(Intermediate)は同種の固有表現の継続，O(Other)はいずれの固有表現でもないことを意味する．固有表現が${J}$種類ある場合，固有表現ごとにBタグとIタグが存在し，どの固有表現でもない単語にはOが対応するので，BIOタグ数は${2J+1}$種類存在する．各単語にはいずれか1種類のタグが付与されるが，BIOタグ系列には接続制約がある．例えば，固有表現がIタグから始まってはいけない．また，BIOタグ体系の他にも，同種の固有表現の終端を表すE(End)や1単語からなる固有表現を表すS(Single)のタグを加えたBIESOタグ体系で記述されることもある．\subsection{実世界情報を用いた自然言語処理}実世界情報を用いた自然言語処理の研究はいくつか存在するが，その多くは教師なし学習を用いてマルチモーダルなベクトル表現を獲得する手法である．それらに対し，本研究はテキストに付随した実世界情報を用いて固有表現認識を直接解く．Bruniらは，テキストのベクトルと画像のベクトル表現の一種であるBag-of-Visual-Wordsに特異値分解(SVD)を用いることでマルチモーダルなベクトルを獲得する手法を提案した\cite{bruni2014}．似た手法を用いて音情報を用いたベクトルを獲得する研究がある\cite{lopopolo2015}．これはテキスト側のベクトルは潜在的意味解析(LSA)を用いて獲得し，音情報のベクトルはBag-of-Audio-Wordsを用いた．NgiamらやSrivastavaandSalakhutdinovは教師なし学習のニューラルネットワークであるdeeprestrictedBoltzmannmachinesを用いて，マルチモーダルなベクトルを獲得する手法を提案した\cite{ngiam2011,srivastava2012}．これはテキストとそのテキストに対応した画像，またはテキストとそのテキストに対応した音情報などのペアから学習し，隠れ層から分散表現を獲得する手法である．また，Ngiamらはマルチモーダルなベクトルを獲得した後，獲得したベクトルを入力として用いて，音声認識や画像検索などの教師あり学習を行う手法を提案した\cite{ngiam2011}．SilbererandLapataは深層学習を用いてマルチモーダルなベクトルを獲得する手法を提案した\cite{silberer2014}．単語の分散表現にマルチモーダル情報を用いる研究がある．単語の分散表現とは，自然言語処理においてよく用いられる低次元の実数値ベクトルであり，word2vec\\cite{mikolov2013a,mikolov2013b}がよく用いられる．Lazaridouらはword2vecを拡張し，画像情報と組み合わせる手法を提案した\cite{lazaridou2015}．KielaandClarkも同様にword2vecを音情報と組み合わせる手法を提案した\cite{kiela2015}．\subsection{将棋の局面を用いた自然言語処理}Kamekoらは，将棋の局面に将棋解説文が付与された将棋解説コーパスを用いて，ニューラルネットワークを応用した将棋解説文のための単語分割手法を提案している\cite{kameko-mori-tsuruoka:2015:EMNLP}．この手法は，まず将棋局面情報を入力とするニューラルネットワークを用いることで将棋用語辞書を獲得し，得られた将棋用語辞書を用いて単語分割を行うことで単語分割の精度向上を実現している．具体的には，将棋用語辞書を作成するために，まず確率的単語分割手法により確率的に単語分割されたコーパスを生成する．次に，将棋局面情報を入力とし，確率的コーパスの単語を出力とするフィードフォワード型のニューラルネットワークを学習し，学習されたニューラルネットワークを用いて単語候補をスコア付けし抽出することで，将棋用語辞書が得られる．本研究と彼らの研究との違いは次の通りである．(1)彼らは局面の素性に，コンピュータ将棋プログラムを用いて作成した複雑な素性を用いているが，本研究では単純な駒の位置情報のみを素性として用いていること，(2)彼らは将棋の局面との対応により事前に獲得しておいた語彙を参照し単語分割しているが，本研究では将棋の局面との対応を直接参照して固有表現認識を行うことが挙げられる．
\section{将棋解説コーパス}
\label{sec-corpus}将棋は2人で行うボードゲームで$9\times9$のマスの盤面と成った駒も含めて14種類の駒を用いる．盤面上の駒の配置と持ち駒からゲームの状態に関するすべての情報が得られる完全情報ゲームである．将棋にはプロ制度があり，日々多数のプロ間の対局が行われている．多くの対局には，対局者以外のプロが解説を行い，その解説文がインターネットで配信されている．本稿で用いる将棋解説コーパス\cite{shogi-corpus}は，将棋の解説文に対して単語分割と固有表現タグが人手で与えられた注釈つきテキストデータである．固有表現は，将棋の解説に特化されており，\tabref{tab-NER-tags}のように21種類が定義されている．出現割合はコーパス中に出現する各固有表現の割合を示す．実際のアノテーションは，BIO2形式であり，各単語ごとにBIOタグが1つ付与されており，タグの種類数は43種類($21\times2+1=43$)ある．\begin{table}[t]\caption{将棋の固有表現の種類とその意味}\label{tab-NER-tags}\input{01table01.txt}\end{table}各解説文には，解説の対象となる局面が対応付けされており，ほとんどの解説文は局面に関するコメントをしているが，局面に関係のないコメント（対局者に関する情報など）も少量含まれる．局面の情報は，解説文が言及する実世界情報とみなすことができ，これを参照することによる固有表現認識が本稿の中心となるアイデアである．
\section{提案手法}
将棋解説文の固有表現認識を行うために用いたフィードフォワード型のニューラルネットワークと実世界情報（将棋の局面）の事前学習について説明する．\subsection{ニューラルネットワークの構成}\figref{fig-DNN}は実世界を参照する固有表現認識のニューラルネットワークの全体図である．テキストの素性は，左側の入力層に$(f_1^t,f_2^t,\ldots,f_n^t)$として入力する．図の右下の5つの層は実世界に関するニューラルネットワークであり，\$(f_1^r,f_2^r,\ldots,f_m^r)$に実世界情報の素性を入力する．図の上側のニューラルネットワークでテキスト情報と実世界情報を統合して固有表現認識を行う．実世界に関するニューラルネットワークの中間層の層数については開発データを用いて調整する\footnote{後述する実験では，中間層の層数を0層から5層まで変えて開発データで実験した結果，4層の場合が最も精度が高かったため，テストデータに対する実験で4層を用いて評価した．}．このネットワークは出力層において，注目している単語が属する各タグの確率を出力する．\begin{figure}[t]\begin{center}\includegraphics{24-5ia1f1.eps}\end{center}\caption{実世界を参照する固有表現認識のためのディープニューラルネットワーク}\label{fig-DNN}\end{figure}\subsection{実世界情報の事前学習の入力とテキストの入力}実世界情報は，\figref{fig-DNN}の右下に示されるニューラルネットワークの入力として参照される．本研究では実世界情報として，\figref{fig-features}に示すように盤面上の全てのマス($9\times9$)における先手と後手を区別した駒の種類($2\times14$)の有無に対応する2,268次元($2{,}268=9\times9\times2\times14$)のバイナリ素性と，持ち駒を記述する先手と後手の7種類の駒の個数に対応する14次元($14=7\times2$)の整数素性の合計2,282次元の素性を用いる．\tabref{tab-text-features}に実験で用いたテキスト素性を示す．$w_{i}$は現在着目し，タグを推定している単語であり，単語の素性には1-of-$k$表現を用いた．$type(w)$は$w$の文字の種類，平仮名，片仮名，漢字，数字，記号やそれらの組み合わせを表し，$pos(w)$は$w$の品詞を表す．\begin{figure}[p]\begin{center}\includegraphics{24-5ia1f2.eps}\end{center}\caption{将棋盤面の素性}\label{fig-features}\end{figure}\begin{table}[p]\caption{タグを推定している$w_{i}$のテキスト素性}\label{tab-text-features}\input{01table02.txt}\end{table}\begin{figure}[p]\begin{center}\includegraphics{24-5ia1f3.eps}\end{center}\caption{Stackedauto-encoder}\label{fig-SAE}\end{figure}\subsection{実世界情報の事前学習}\label{sec:learning-and-labeling}本研究では事前学習手法の一つであるSAEを用いて実世界情報の事前学習を行う．\figref{fig-SAE}の左側のように，まず3層のニューラルネットワークの入力層と出力層に同じ実世界情報を与え，入力されたベクトルと同じベクトルを出力として予測するニューラルネットワークを学習する．このとき中間層の次元数を入力層よりも少ない次元数とすることで，中間層において次元圧縮された実世界情報を得ることができる．次に\figref{fig-SAE}の中央のように，出力層を取り除き，新しい中間層を1つ増やしたネットワークを再定義する．その後，先ほど得られた中間層（下から2層目）のベクトルと同じベクトルを出力層で予測するニューラルネットワークを学習する．このとき，新しく定義しなおした部分（上から3層）の重みのみを更新していく．同様に，層を積み重ねることで，より深く一般化された特徴量($a_1,a_2,\ldots,a_l$)を学習することができる．本研究では，実世界情報のみを用いて事前学習を行うこととする．\subsection{テキスト情報と実世界情報の統合}\label{sec:consolidation}事前学習後，テキスト情報側のニューラルネットワークと実世界情報側のニューラルネットワークを統合し，固有表現認識タスク用にファインチューニングを行う．固有表現認識器のネットワークは出力層において，タグの種類数のユニット（本研究では43個）が存在する．学習の際には，テキスト側の素性とそのテキストに対応する実世界情報側の素性を入力とし，各単語の正解のBIOタグの尤度が最大になるように，\figref{fig-DNN}に示されているニューラルネットワーク全体が最適化される．具体的には，中間層の活性化関数には標準シグモイド関数を用い，出力層ではソフトマックス関数を用いて各タグの確率を出力し，損失関数には交差エントロピー誤差を用いる．したがって，固有表現認識のための中間層だけでなく，事前学習された実世界情報側のニューラルネットワークも同時に調整される．\subsection{最適タグ列の探索}\label{sec:viterbi}固有表現認識は各単語に対するBIOタグを推定することで実現されるが，各単語ごとに確率が最も高いBIOタグを出力すると，推定した固有表現がIタグから始まってしまう場合など，BIOタグ制約を満たさない場合がある．本研究ではBIOタグ制約を満たすために，各タグの推定確率を用いて，ビタビアルゴリズムを適用し，制約を満たす遷移のみからなる確率最大のBIOタグ列を探索する．
\section{評価実験}
提案手法の有効性を確認するために，固有表現認識の実験を行った．この章では，まず評価の方法を説明する．その後，実験設定を説明し，それぞれの結果を提示する．\subsection{評価の方法}評価の方法として以下のように定義される再現率と適合率，F値を用いる（式(\ref{math:h-mean})参照）．ここで正解数は\figref{fig-eval-sample}のように，将棋解説コーパスに出現する実際の固有表現とシステムが出力した固有表現の始点と終点が完全に一致した数である．これらに加えて各単語のタグ一致率も調べた．\begin{equation}\begin{split}再現率&=\frac{正解数}{コーパスに出現する固有表現の総数}\\[1zh]適合率&=\frac{正解数}{システムが出力した固有表現の総数}\\[1zh]{\rmF}値&=\frac{2\cdot適合率\cdot再現率}{適合率+再現率}\end{split}\label{math:h-mean}\end{equation}\begin{figure}[b]\begin{center}\includegraphics{24-5ia1f4.eps}\end{center}\caption{評価方法}\label{fig-eval-sample}\end{figure}\begin{table}[b]\caption{将棋解説コーパスの諸元}\label{tab-corpus}\input{01table03.txt}\end{table}\begin{table}[b]\caption{将棋盤面埋め込みに用いたニューラルネットワークの各層の次元数}\label{tab-layers}\input{01table04.txt}\end{table}\subsection{実験設定}実験には将棋解説コーパスを用いた（\ref{sec-corpus}章参照）．\tabref{tab-corpus}に実験で用いたコーパスの詳細を示す．まず，将棋の局面情報のみを用いて事前学習を行い，学習されたネットワークを用いて固有表現認識器を構築した．\tabref{tab-layers}に局面を事前学習する際に用いた各層の次元数を示す．今回の実験では，中間層の層数$0\sim5$層に設定し，それぞれの中間層での次元数は固定して実験を行った．中間層の次元数は開発セットを用いて，F値が最も高くなるよう調整し，今回は中間層の層数を4層にした．また，既存手法として，条件付き確率場(CRF)\cite{Lafferty:2001:CRF:645530.655813}と実世界情報を用いないディープニューラルネットワーク（テキスト情報のみを用いたディープニューラルネットワーク）を提案手法と比較した．このとき従来手法と提案手法では同じテキスト素性を用いており，ハイパーパラメータは開発セットを用いて調整した．テキスト素性では各単語の品詞情報も用いるが，将棋解説コーパスは単語分割は与えられているが各単語の品詞情報は与えられていない．そのため，KyTea\footnote{http://www.phontron.com/kytea/}を用いて品詞推定を行った．\subsection{実験結果}\tabref{tab-result}に実験の結果を示す．提案手法の有効性を示すために従来手法の「CRF」（条件付き確率場），「DNN」（ディープニューラルネットワーク）を比較対象とした．「局面」は局面の参照（\ref{sec:learning-and-labeling}，\ref{sec:consolidation}節参照）を示しており，「DNN+局面」は提案手法である．\tabref{tab-result}より，「CRF」よりも「DNN」が精度が高く，ディープニューラルネットワークが固有表現認識に効果的であることが分かる．また，いずれの従来手法よりも提案手法の精度が高く，実世界情報を用いることで，「CRF」，「DNN」よりも「DNN+局面」の方がそれぞれ1.57ポイント，0.64ポイント高かった．提案手法のBIOタグ推定精度は「CRF」と「DNN」の精度に対して，マクネマー検定において有意水準$1\%$で統計的に有意差があった．これより，テキスト情報と実世界情報を用いた提案手法の有効性が確認できる．\begin{table}[b]\caption{固有表現認識の結果}\label{tab-result}\input{01table05.txt}\end{table}将棋解説コーパスを詳しくみると，各単語に対するOタグ（どの固有表現でもない単語）の割合は約$68\%$であり，固有表現はPi（駒名）やOt（その他重要な表現）などが多く出現する．「DNN」での出力と「DNN+局面」の出力を比較し局面を参照することによる精度向上を分析すると，正解はOtの単語に対し，「DNN」では不正解でOタグを出力しているが，「DNN+局面」では適切にOtを出力する例が多数あり，局面を参照することにより，不正解から正解に変化した固有表現の約$1/3$がOtに関する単語であった．例えば，「応手」や「効果」，「バリケード」などが提案手法では正しくOtと認識されていた．「と金」や「と」は歩が成った駒を指し，提案手法では正しくPiと認識できた例があった．これは実世界情報としてその駒に対する素性が効いていると考えられ，と金の局面素性を発火させずに入力した際にはPiに分類する確率が低下した．また，「DNN」の適合率に比べ，「DNN+局面」の適合率は減少している．これは，出力が一致せず，どちらの出力も不正解の固有表現が12個存在したが，そのほとんどについて「DNN」ではOタグを出力しており，「DNN+局面」では何らかの固有表現タグを出力しているためである．例えば，St（戦型名）の固有表現「橋本流」に対し，「DNN」ではOを出力し，「DNN+局面」ではOtを出力していた．\begin{figure}[t]\begin{center}\includegraphics{24-5ia1f5.eps}\end{center}\caption{事前学習の際，層数を変化させたときの精度（F値）}\label{fig-analysis}\end{figure}局面情報を事前学習した際のSAEの中間層の層数を変化させた場合の精度（F値）の変化を\figref{fig-analysis}に示す．中間層0層のときは事前学習せずに局面情報を入力とした場合の精度である．\figref{fig-analysis}より，中間層$0\sim1$層のときはテキスト情報のみを用いた「DNN」よりも精度が低く，中間層$2\sim5$層のときに「DNN」よりも精度が高くなった．これより，ある程度次元圧縮された局面情報が有効であることがわかる．局面情報は精度を向上させたが，その差はわずかである．それは，固有表現インスタンスの多くはTu（手番）やPi（駒名），Po（位置）であるが，それらはテキストのみの情報でも高精度で認識することができており，局面情報を加えることで精度向上が見込めるSt（戦型）やCa（囲い）のインスタンスは割合が少ないためと考えられる．
\section{おわりに}
本稿では，新たな固有表現認識の解法として，実世界情報の参照を提案した．提案手法では，全体の枠組みとしてディープニューラルネットワークを用いる．まず実世界情報だけを用いてSAEの事前学習を行い，これをテキスト情報のみを参照する通常の固有表現認識器と統合し，統合されたニューラルネットワークの再学習を行う．実験では，将棋解説に駒の配置という実世界情報と固有表現タグが付与された将棋解説コーパスを用いた．将棋解説コーパスに対する固有表現認識の精度評価を行い，既存手法に対する優位性や実世界情報参照の効果を実験的に示した．本稿で提案した実世界情報を参照する固有表現認識の手法は，将棋解説コーパスのように実世界情報と固有表現タグが付与されたコーパスが利用可能であれば，実世界情報の素性とテキスト素性を同時に入力することができるため，他ドメインの固有表現認識にも適用することが可能である．また，入力される実世界情報によってはネットワークの構造を変更する必要がある（画像情報の入力には畳み込みニューラルネットワークを用いる等）．例えば，ニュース記事とそれに付随した画像情報を参照することにより，一般の固有表現認識の精度向上が期待できる．\acknowledgment本研究の一部は，The54thAnnualMeetingoftheAssociationforComputationalLinguistics(ACL2016)で発表したものである\cite{tomori-ninomiya-mori:2016:P16-2}．本研究はJSPS科研費26540190及び25280084の助成を受けたものである．ここに謝意を表する．\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{Borthwick}{Borthwick}{1999}]{Borthwick:1999:MEA:930095}Borthwick,A.~E.\BBOP1999\BBCP.\newblock{\BemAMaximumEntropyApproachtoNamedEntityRecognition}.\newblockPh.D.\thesis,NewYork,NY,USA.\newblockAAI9945252.\bibitem[\protect\BCAY{Bruni,Tran,\BBA\Baroni}{Bruniet~al.}{2014}]{bruni2014}Bruni,E.,Tran,N.~K.,\BBA\Baroni,M.\BBOP2014\BBCP.\newblock\BBOQMultimodalDistributionalSemantics.\BBCQ\\newblock{\BemJournalofArtificialIntelligenceResearch},{\Bbf49},\mbox{\BPGS\1--47}.\bibitem[\protect\BCAY{Finkel,Grenager,\BBA\Manning}{Finkelet~al.}{2005}]{Finkel:2005:INI:1219840.1219885}Finkel,J.~R.,Grenager,T.,\BBA\Manning,C.\BBOP2005\BBCP.\newblock\BBOQIncorporatingNon-localInformationintoInformationExtractionSystemsbyGibbsSampling.\BBCQ\\newblockIn{\BemProceedingsofthe43rdAnnualMeetingonAssociationforComputationalLinguistics},\mbox{\BPGS\363--370}.\bibitem[\protect\BCAY{Kameko,Mori,\BBA\Tsuruoka}{Kamekoet~al.}{2015}]{kameko-mori-tsuruoka:2015:EMNLP}Kameko,H.,Mori,S.,\BBA\Tsuruoka,Y.\BBOP2015\BBCP.\newblock\BBOQCanSymbolGroundingImproveLow-LevelNLP?WordSegmentationasaCaseStudy.\BBCQ\\newblockIn{\BemProceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\2298--2303},Lisbon,Portugal.AssociationforComputationalLinguistics.\bibitem[\protect\BCAY{Karpathy,Joulin,\BBA\Li}{Karpathyet~al.}{2014}]{NIPS2014_5281}Karpathy,A.,Joulin,A.,\BBA\Li,F.~F.\BBOP2014\BBCP.\newblock\BBOQDeepFragmentEmbeddingsforBidirectionalImageSentenceMapping.\BBCQ\\newblockInGhahramani,Z.,Welling,M.,Cortes,C.,Lawrence,N.,\BBA\Weinberger,K.\BEDS,{\BemAdvancesinNeuralInformationProcessingSystems27},\mbox{\BPGS\1889--1897}.CurranAssociates,Inc.\bibitem[\protect\BCAY{Kiela\BBA\Clark}{Kiela\BBA\Clark}{2015}]{kiela2015}Kiela,D.\BBACOMMA\\BBA\Clark,S.\BBOP2015\BBCP.\newblock\BBOQMulti-andCross-ModalSemanticsBeyondVision:GroundinginAuditoryPerception.\BBCQ\\newblockIn{\BemProceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\2461--2470},Lisbon,Portugal.AssociationforComputationalLinguistics.\bibitem[\protect\BCAY{Kiros,Salakhutdinov,\BBA\Zemel}{Kiroset~al.}{2014}]{icml2014c2_kiros14}Kiros,R.,Salakhutdinov,R.,\BBA\Zemel,R.\BBOP2014\BBCP.\newblock\BBOQMultimodalNeuralLanguageModels.\BBCQ\\newblockIn{\BemProceedingsofthe31stInternationalConferenceonMachineLearning},\mbox{\BPGS\595--603}.\bibitem[\protect\BCAY{Lafferty,McCallum,\BBA\Pereira}{Laffertyet~al.}{2001}]{Lafferty:2001:CRF:645530.655813}Lafferty,J.~D.,McCallum,A.,\BBA\Pereira,F.C.~N.\BBOP2001\BBCP.\newblock\BBOQConditionalRandomFields:ProbabilisticModelsforSegmentingandLabelingSequenceData.\BBCQ\\newblockIn{\BemProceedingsofthe18thInternationalConferenceonMachineLearning},ICML'01,\mbox{\BPGS\282--289},SanFrancisco,CA,USA.MorganKaufmannPublishersInc.\bibitem[\protect\BCAY{Lazaridou,Pham,\BBA\Baroni}{Lazaridouet~al.}{2015}]{lazaridou2015}Lazaridou,A.,Pham,N.~T.,\BBA\Baroni,M.\BBOP2015\BBCP.\newblock\BBOQCombiningLanguageandVisionwithaMultimodalSkip-gramModel.\BBCQ\\newblockIn{\BemProceedingsofthe2015ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\153--163}.\bibitem[\protect\BCAY{Lopopolo\BBA\vanMiltenburg}{Lopopolo\BBA\vanMiltenburg}{2015}]{lopopolo2015}Lopopolo,A.\BBACOMMA\\BBA\vanMiltenburg,E.\BBOP2015\BBCP.\newblock\BBOQSound-baseddistributionalmodels.\BBCQ\\newblockIn{\BemProceedingsofthe11thInternationalConferenceonComputationalSemantics},\mbox{\BPGS\70--75}.\bibitem[\protect\BCAY{Ma\BBA\Hovy}{Ma\BBA\Hovy}{2016}]{ma-hovy:2016:P16-1}Ma,X.\BBACOMMA\\BBA\Hovy,E.\BBOP2016\BBCP.\newblock\BBOQEnd-to-endSequenceLabelingviaBi-directionalLSTM-CNNs-CRF.\BBCQ\\newblockIn{\BemProceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics(Volume1:LongPapers)},\mbox{\BPGS\1064--1074}.\bibitem[\protect\BCAY{Mikolov,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013a}]{mikolov2013a}Mikolov,T.,Chen,K.,Corrado,G.,\BBA\Dean,J.\BBOP2013a\BBCP.\newblock\BBOQEfficientEstimationofWordRepresentationsinVectorSpace.\BBCQ\\newblockIn{\BemarXivpreprintarXiv:1301.3781}.\bibitem[\protect\BCAY{Mikolov,Sutskever,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013b}]{mikolov2013b}Mikolov,T.,Sutskever,I.,Chen,K.,Corrado,G.~S.,\BBA\Dean,J.\BBOP2013b\BBCP.\newblock\BBOQDistributedRepresentationsofWordsandPhrasesandTheirCompositionality.\BBCQ\\newblock{\BemAdvancesinNeuralInformationProcessingSystems},{\Bbf26},\mbox{\BPGS\3111--3119}.\bibitem[\protect\BCAY{Mori,Richardson,Ushiku,Sasada,Kameko,\BBA\Tsuruoka}{Moriet~al.}{2016}]{shogi-corpus}Mori,S.,Richardson,J.,Ushiku,A.,Sasada,T.,Kameko,H.,\BBA\Tsuruoka,Y.\BBOP2016\BBCP.\newblock\BBOQAJapaneseChessCommentaryCorpus.\BBCQ\\newblockIn{\BemProceedingsofthe10thInternationalConferenceonLanguageResourcesandEvaluation},\mbox{\BPGS\1415--1420}.\bibitem[\protect\BCAY{Ngiam,Khosla,Kim,Nam,Lee,\BBA\Ng}{Ngiamet~al.}{2011}]{ngiam2011}Ngiam,J.,Khosla,A.,Kim,M.,Nam,J.,Lee,H.,\BBA\Ng,A.\BBOP2011\BBCP.\newblock\BBOQMultimodalDeepLearning.\BBCQ\\newblockIn{\BemProceedingsofthe28thInternationalConferenceonMachineLearning},\mbox{\BPGS\689--696}.\bibitem[\protect\BCAY{Ratinov\BBA\Roth}{Ratinov\BBA\Roth}{2009}]{Ratinov:2009:DCM:1596374.1596399}Ratinov,L.\BBACOMMA\\BBA\Roth,D.\BBOP2009\BBCP.\newblock\BBOQDesignChallengesandMisconceptionsinNamedEntityRecognition.\BBCQ\\newblockIn{\BemProceedingsofthe13thConferenceonComputationalNaturalLanguageLearning},CoNLL'09,\mbox{\BPGS\147--155}.\bibitem[\protect\BCAY{Settles}{Settles}{2004}]{Biomedical.Named.Entity.Recognition.Using.Conditional.Random.Fields.and.Rich.Feature.Sets}Settles,B.\BBOP2004\BBCP.\newblock\BBOQBiomedicalNamedEntityRecognitionUsingConditionalRandomFieldsandRichFeatureSets.\BBCQ\\newblockIn{\BemProceedingsoftheInternationalJointWorkshoponNaturalLanguageProcessinginBiomedicineanditsApplications},\mbox{\BPGS\33--38}.\bibitem[\protect\BCAY{Silberer\BBA\Lapata}{Silberer\BBA\Lapata}{2014}]{silberer2014}Silberer,C.\BBACOMMA\\BBA\Lapata,M.\BBOP2014\BBCP.\newblock\BBOQLearningGroundedMeaningRepresentationswithAutoencoders.\BBCQ\\newblockIn{\BemProceedingsofthe52ndAnnualMeetingoftheAssociationforComputationalLinguistics(Volume1:LongPapers)},\mbox{\BPGS\721--732}.\bibitem[\protect\BCAY{Socher,Karpathy,Le,Manning,\BBA\Ng}{Socheret~al.}{2014}]{Socher_groundedcompositional}Socher,R.,Karpathy,A.,Le,Q.~V.,Manning,C.~D.,\BBA\Ng,A.~Y.\BBOP2014\BBCP.\newblock\BBOQGroundedCompositionalSemanticsforFindingandDescribingImageswithSentences.\BBCQ\\newblock{\BemTransactionsoftheAssociationforComputationalLinguistics},{\Bbf2},\mbox{\BPGS\207--218}.\bibitem[\protect\BCAY{Srivastava\BBA\Salakhutdinov}{Srivastava\BBA\Salakhutdinov}{2012}]{srivastava2012}Srivastava,N.\BBACOMMA\\BBA\Salakhutdinov,R.\BBOP2012\BBCP.\newblock\BBOQMultimodalLearningwithDeepBoltzmannMachines.\BBCQ\\newblockIn{\BemAdvancesinNeuralInformationProcessingSystems25},\mbox{\BPGS\2222--2230}.\bibitem[\protect\BCAY{TjongKim~Sang\BBA\De~Meulder}{TjongKim~Sang\BBA\De~Meulder}{2003}]{TjongKimSang:2003:ICS:1119176.1119195}TjongKim~Sang,E.~F.\BBACOMMA\\BBA\De~Meulder,F.\BBOP2003\BBCP.\newblock\BBOQIntroductiontotheCoNLL-2003SharedTask:Language-independentNamedEntityRecognition.\BBCQ\\newblockIn{\BemProceedingsofthe7thConferenceonNaturalLanguageLearningatHLT-NAACL2003---Volume4},CoNLL'03,\mbox{\BPGS\142--147}.\bibitem[\protect\BCAY{Tomori,Ninomiya,\BBA\Mori}{Tomoriet~al.}{2016}]{tomori-ninomiya-mori:2016:P16-2}Tomori,S.,Ninomiya,T.,\BBA\Mori,S.\BBOP2016\BBCP.\newblock\BBOQDomainSpecificNamedEntityRecognitionReferringtotheRealWorldbyDeepNeuralNetworks.\BBCQ\\newblockIn{\BemProceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics(Volume2:ShortPapers)},\mbox{\BPGS\236--242}.\end{thebibliography}\begin{biography}\end{biography}\bioauthor{友利涼}{2016年愛媛大学工学部卒業．同年より京都大学大学院情報学研究科修士課程在学．}\bioauthor{二宮崇}{2001年東京大学大学院理学系研究科情報科学専攻博士課程修了．同年より科学技術振興事業団研究員．2006年より東京大学情報基盤センター講師．2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．東京大学博士（理学）．言語処理学会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会，ACL\各会員．}\bioauthor{森信介}{1998年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了．同年，日本アイ・ビー・エム株式会社入社．2007年より京都大学学術情報メディアセンター准教授，2016年同教授．京都大学博士（工学）．1997年情報処理学会山下記念研究賞受賞．2010年，2013年情報処理学会論文賞受賞．2010年第58回電気科学技術奨励賞受賞．言語処理学会，情報処理学会，日本データベース学会，ACL各会員．}\biodate\end{document}