\section{はじめに}
\label{sec-introduction}さまざまな種類のテキストや，音声認識結果が機械翻訳されるようになってきている．しかし，すべてのドメインのデータにおいて，適切に翻訳できる機械翻訳器の実現はいまだ困難であり，翻訳対象ドメインを絞りこむ必要がある．対象ドメインの翻訳品質を向上させるには，学習データ（対訳文）を大量に収集し，翻訳器を訓練するのが確実である．しかし，多数のドメインについて，対訳文を大量に収集することはコスト的に困難であるため，他のドメインの学習データを用いて対象ドメインの翻訳品質を向上させるドメイン適応技術が研究されている\cite{foster-kuhn:2007:WMT,foster-goutte-kuhn:2010:EMNLP,axelrod-he-gao:2011:EMNLP,Bisazza:SMTAdaptation2011,sennrich:2012:EACL2012,sennrich-schwenk-aransa:2013:ACL2013}．このドメイン適応は，機械翻訳を実用に供するときには非常に重要な技術である．本稿では，複数ドメインを前提とした，統計翻訳の適応方式を提案する．本稿の提案方式は，複数のモデルを対数線形補間で組み合わせる方法である．シンプルな方法であるが，機械学習分野のドメイン適応方法である素性空間拡張法\cite{daumeiii:2007:ACLMain}の考え方を流用することで，複数ドメインの利点を活かす．具体的には，以下の2方式の提案を行う．\begin{enumerate}\item複数ドメインの同時最適化を行う方法．この場合，拡張された素性空間に対して，マルチドメイン対応に変更した最適化器で同時最適化を行う．\item複数ドメインを一つ一つ個別に最適化する方法．この場合，素性空間を制限し，通常の対数線形モデルとして扱う．既存の翻訳システムへの改造が少なくても実現できる．\end{enumerate}いずれの方法も，さまざまなドメインで未知語が少ないコーパス結合モデルと，ドメインを限定した際に翻訳品質がよい単独ドメインモデルを併用する．さらに，複数モデル組み合わせ時のハイパーパラメータをチューニングする．素性空間拡張法を機械翻訳に適用した例には，\citeA{Clark:SMTAdaptation2012}がある．これは，翻訳文の尤度の算出に用いられる素性ベクトルの重みだけを適応させていて，素性関数は適応させていない．本稿の新規性は，コーパス結合モデルと単独ドメインモデルを使って，素性関数を適応させていること，および，複数モデル組み合わせ時のハイパーパラメータを適切に設定することの2点である．モデルの選択と設定を適切に行うことによって，最先端のドメイン適応と同等以上の精度が出せることを示す．なお，本稿では，事前並べ替えを使ったフレーズベース統計翻訳方式(PBSMT)\cite{koehn-och-marcu:2003:HLTNAACL,koehn-EtAl:2007:PosterDemo}を対象とする．以下，第\ref{sec-related-work}節では，統計翻訳のドメイン適応に関する関連研究を述べる．第\ref{sec-proposed-method}節では，提案方式を詳細に説明する．第\ref{sec-experiments}節では，実験を通じて本方式の特徴を議論し，第\ref{sec-conclusion}節でまとめる．
\section{統計翻訳のドメイン適応}
\label{sec-related-work}機械翻訳のドメイン適応は，翻訳対象のドメイン（内ドメイン）データが少なく，他のドメイン（外ドメイン）データが大量にある場合，内外ドメインのデータ双方を使って，内ドメインの翻訳品質を向上させる技術である．ドメイン適応には，「ニュース」「Web」のように，あらかじめデータがどのドメインに属するか決まっている場合の他に，自動クラスタリングによって仮想的に作られる場合もある．自動で分割されたドメインでも，重みを最適化することによって，トータルの翻訳品質が向上するという報告もある\cite{finch-sumita:2008:WMT,sennrich-schwenk-aransa:2013:ACL2013}．本稿では，前者のあらかじめデータのドメインが決まっている場合で議論する．\subsection{コーパス結合}最もシンプルなベースラインとして用いられている方法は，内ドメインと外ドメインのデータを結合して学習し，1つのモデルを構築する方法である（本稿ではコーパス結合方式と呼ぶ）．学習された結合モデルは，各ドメインの開発セットで最適化される．一般的な機械学習では，結合されたコーパスで学習したモデルは，内ドメイン，外ドメイン双方の中間的性質を持つため，その精度も内ドメインデータのみ，外ドメインデータのみで学習されたモデル（単独ドメインモデルと呼ぶ）の中間の精度になることが多い．一方，機械翻訳の場合，コーパスを結合することにより，カバーする語彙が増加するため未知語が減少し，単独ドメインモデルより翻訳品質が向上する場合もある．最終的に翻訳品質が向上するか否かは，未知語の減少とモデルパラメータの精度低下のトレードオフになる．\subsection{線形補間，対数線形補間}統計翻訳では，翻訳に使用するサブモデル（フレーズテーブル，言語モデル，並べ替えモデルなど）が返す値（素性関数値）を，線形または対数線形結合して，翻訳文の尤度を算出する．対数線形モデルでは，以下の式で尤度$\logP(e|f)$を算出する．\begin{equation}\logP(e|f)\quad\propto\quad\mathbf{w}\cdot\mathbf{h}(e,f)\end{equation}ただし，$e$は翻訳文，$f$は原文，$\mathbf{h}(e,f)$は素性ベクトル，$\mathbf{w}$は素性関数の重みベクトルである．このとき，重みベクトル$\mathbf{w}$をドメイン毎に切り替えることで，ドメイン依存訳を生成する方法がある．たとえば，\citeA{foster-kuhn:2007:WMT}は，PBSMTのサブモデルをドメイン毎に訓練し，線形補間，対数線形補間でドメイン毎の重みを変えて翻訳を行った．彼らはパープレキシティなどを目標関数にして，独自の重み推定を行ったが，近年は，重みの推定に誤り率最小訓練法(MERT)\cite{Och:2003:ACL}などの最適化方法が用いられている\cite{foster-goutte-kuhn:2010:EMNLP}．素性空間拡張法\cite{daumeiii:2007:ACLMain}は，翻訳に限らず，機械学習全般に使われるドメイン適応方式で，素性関数の重みをドメイン毎に最適化する（\ref{sec-feature-augmentation}節参照）．\citeA{Clark:SMTAdaptation2012}は，これを対数線形補間方式の一種として翻訳に適用し，効果があったと報告している．なお，彼らは単一のモデルを用い，モデルの重みのみをドメイン適応させている．\subsection{モデル適応}重みベクトルではなく，素性ベクトル$\mathbf{h}(e,f)$（素性関数）を変更することによってドメイン適応する方法は，大きく2つに分けられる．一つは，訓練済みサブモデル自身を変更する方法である．もう一つは，ドメインに適応させたコーパスからモデルを訓練する方法である．このうち，サブモデル自身を変更する方法には，fill-up法\cite{Bisazza:SMTAdaptation2011}，翻訳モデル混合\cite{sennrich:2012:EACL2012}，インスタンス重み付け\cite{foster-goutte-kuhn:2010:EMNLP,matsoukas-rosti-zhang:2009:EMNLP}が知られている．fill-up法は，フレーズテーブルから翻訳候補を取得する際，内ドメインの単独モデルにフレーズが存在する場合はその素性関数値を使用，存在しない場合は外ドメインの単独モデルからフレーズを取得し，その値を使用する．翻訳モデル混合は，2つのフレーズテーブルに記録された翻訳確率を重み付きで混合し，新たなフレーズテーブルを生成する．重みは開発セットのパープレキシティが最小になるように，素性関数毎に設定される．インスタンス重み付けは，フレーズテーブルのモデルパラメータ一つ一つを，内ドメインと外ドメインを識別するように内ドメインの開発セットで混合する．これらの方法は，素性関数値のみでなく，デコード時のフレーズ候補も2つのモデルのフレーズを使用するため，一般的には未知語は減少する．しかし，フレーズテーブル以外のサブモデルは，別の構築・混合法を使わなければならないというデメリットも存在する．\subsection{コーパスフィルタリング}素性ベクトル$\mathbf{h}(e,f)$を変更するもう一つの方法は，モデル訓練用コーパスをドメイン適応させる方法である．最初に述べたコーパス結合も，この一種であるが，よりドメインに適応させるには，外ドメインコーパスから対訳文を取捨選択した方がよい．この，外ドメインコーパスから対訳文を取捨選択し，内ドメインコーパスとともにモデルを作成する方式を，コーパスフィルタリングと呼ぶ．\citeA{axelrod-he-gao:2011:EMNLP}は，内ドメインに適した対訳文を，内外ドメインの交差エントロピーの差に基づき，外ドメインコーパスから取捨選択した．選択された文を内ドメインコーパスに追加してモデルを訓練することで，ドメイン適応を行った．コーパスフィルタリングは，翻訳器が使用する全サブモデルを，その種類を問わず適応させることができる点がメリットであるが，最適な追加訓練文数は，あらかじめ予想できない点がデメリットである．\subsection{その他の方法}その他の方法としては，2つの翻訳器を直列に接続し，外ドメイン翻訳器による翻訳結果を，さらに内ドメイン翻訳器を使って訂正する方法もある\cite{jeblee-EtAl:2014:ANLP20142}．これは，ドメイン依存訳の生成を一種の誤り訂正ととらえていることに相当する．
\section{マルチドメイン適応方式}
\label{sec-proposed-method}\subsection{素性空間拡張法}\label{sec-feature-augmentation}素性空間拡張法\cite{daumeiii:2007:ACLMain}は，一般的な機械学習におけるパラメータ（統計翻訳では素性の重みに対応）のドメイン適応に用いられる方式である．素性空間を共通，内ドメイン（ターゲットドメイン），外ドメイン（ソースドメイン）に分割し，素性を，それが由来するドメインごとに異なる空間に配置する．内ドメインの素性は共通空間と内ドメイン空間に，外ドメインの素性は共通空間と外ドメイン空間にコピーして配置するのが特徴である．そして，全体を最適化することにより，適応された重みベクトルを得る．素性が疎な二値素性の場合，共通空間に格納される素性は，内ドメインデータから得られる素性と，外ドメインデータから得られる素性の和(OR)になる．そのため，共通空間にある素性が，内外ドメインのお互いに欠落した素性を補完し，精度が向上する．統計翻訳のような密な実数素性の場合，共通空間を介して，外ドメインの素性が内ドメインの事前分布として作用し，より内ドメインに適合した重みに調整される（\citeA{daumeiii:2007:ACLMain}の3.2節参照）．通常は，外ドメインを内ドメインに適応するために使用されるが，素性空間拡張法では，外ドメインと内ドメインを同等に扱っており，容易に$D$ドメインに拡張することができる．その場合，素性空間は共通，ドメイン1,...ドメイン$D$のように，$D+1$空間に分割される（図\ref{fig-feature-augmentation}）．すなわち，\begin{equation}\mathbf{h}(f,e)=\langle\mathbf{h}_{c},\mathbf{h}_{1},\ldots,\mathbf{h}_{i},\ldots,\mathbf{h}_{D}\rangle\label{eqn-augmented-vector}\end{equation}ただし，$\mathbf{h}_{c}$は共通空間の素性ベクトル，$\mathbf{h}_{i}$はドメイン依存空間の素性ベクトルである．共通空間には常に素性が配置されるが，ドメイン依存空間には，データの属するドメインが一致する場合だけ，素性が配置される．\begin{align}\mathbf{h}_{c}&=\mathbf{\Phi}(f,e)\label{eqn-aug-common}\\\mathbf{h}_{i}&=\left\{\begin{array}{ll}\mathbf{\Phi}(f,e)&\text{if}\\mathrm{domain}(f)=i\\\emptyset&\text{otherwise}\end{array}\right.\label{eqn-aug-dependent}\end{align}ただし，$\mathbf{\Phi}(f,e)$はモデルスコア等を格納した部分ベクトルで，素性空間を拡張しない場合は，$\mathbf{h}(f,e)$と同じになる．この素性マトリクスを最適化し，重みベクトルを得る．\begin{figure}[t]\begin{center}\includegraphics{24-4ia4f1.eps}\end{center}\caption{素性空間拡張とコーパス結合モデル／単独ドメインモデルの併用}\label{fig-feature-augmentation}\end{figure}\ref{sec-experiments}節の実験では，Mosesツールキット\cite{koehn-EtAl:2007:PosterDemo}のデフォルト素性（15次元）を使用する．素性の一覧を表\ref{tbl-feature-list}に示す．これに素性空間拡張法を適用すると，共通空間では15次元，ドメイン依存空間では各14次元となる\footnote{未知語数を表す素性UnknownWordPenaltyは，重みの調整は不可とされているため，共通空間だけに配置する．}．\citeA{Clark:SMTAdaptation2012}は，アラビア語$\rightarrow$英語翻訳（ドメインはNewsとWeb），およびチェコ語$\rightarrow$英語翻訳（ドメインはFictionなど6ドメイン）について素性空間拡張法を適用し，効果が観測されたと報告している．ただし，彼らは，翻訳モデル，言語モデルなどのサブモデルは，コーパス結合モデル1種類だけを使用しており，純粋に素性関数の重みだけをドメイン最適化している．\begin{table}[t]\caption{本稿で用いる素性の一覧}\label{tbl-feature-list}\input{04table01.txt}\end{table}\subsection{提案法}\subsubsection{コーパス結合モデルと単独ドメインモデルの導入}\label{sec-concat-and-specific}機械翻訳では，素性の重みより素性関数の方が翻訳品質に対する影響が大きいため，素性空間によってモデルを切り替えるのは自然な拡張である．本稿で用いる素性関数は，実数値を返す関数であるが，その実態は，モデルファイルに記録されているインスタンスを読み込み，それに対応する値を返している．もし，訓練データ不足などの理由でモデルファイル中にインスタンスが存在しない場合，素性関数値は極小値になる．つまり，実数値の素性関数であっても，実際には二値素性と同様に，スパースネスの問題がある．そこで本稿では，二値素性の素性空間拡張法の考え方を素性関数に適用し，共通空間に対応するモデルとして，全ドメインのコーパスから作成したコーパス結合モデルを使用する．ドメイン依存空間には，それぞれの単独ドメインモデルを使用する．具体的には，\begin{itemize}\itemフレーズテーブル，語彙化並び替えモデル，言語モデルなどのサブモデルについて，単独ドメインモデルとコーパス結合モデルを作成しておく．\item素性空間拡張では，共通空間にはコーパス結合モデルのスコアを素性関数値として配置し，各ドメインの空間には，単独ドメインモデルのスコアを配置し，最適化する（図\ref{fig-feature-augmentation}）．式(\ref{eqn-aug-common})(\ref{eqn-aug-dependent})は以下の式に置換される．\begin{align}\mathbf{h}_{c}&=\mathbf{\Phi}_{c}(f,e)\label{eqn-flat-common}\\\mathbf{h}_{i}&=\left\{\begin{array}{ll}\mathbf{\Phi}_{i}(f,e)&\text{if}\\mathrm{domain}(f)=i\\\emptyset&\text{otherwise}\end{array}\right.\label{eqn-flat-dependent}\end{align}ただし，$\mathbf{\Phi}_{c}(f,e)$はコーパス結合モデルから得られた素性ベクトル，$\mathbf{\Phi}_{i}(f,e)$は，単独ドメインモデル$i$から得られた素性ベクトルである．\itemデコーディングの際は，まず，単独ドメインモデルとコーパス結合モデルのフレーズテーブルをすべて検索し，翻訳仮説を生成する．探索の際には，共通空間と対象ドメインの空間の素性だけを使って尤度計算をする．\end{itemize}翻訳仮説生成にコーパス結合フレーズテーブルを使用することにより，他のドメインで出現した翻訳フレーズも利用でき，未知語の減少が期待できる．また，翻訳仮説が単独ドメインモデルに存在している場合，高い精度の素性関数値が得られると期待される．本方式は，拡張素性空間を最適化することによって，重みベクトル{$\mathbf{w}$}を適応し，コーパス結合モデルと単独ドメインモデルを併用することで，素性関数{$\mathbf{h}(e,f)$}の適応を行っている．どちらもモデルの種類に依存しないため，翻訳に使用する全サブモデルについて，適応させることができる．なお，機械翻訳では，言語モデルを大規模な単言語コーパスから作成する場合がある．このモデルは，いわば非常に多くのドメインを含むコーパス結合モデルに相当するため，共通空間に配置するとよい．このように，外部知識から得られたモデル（素性関数）を追加する場合には，共通空間の次元を増加させる．\subsubsection{empty値}本方式では，コーパス結合モデル，単独ドメインモデルのどちらか一方にのみ出現するフレーズ対が多数存在する．これらフレーズなどのインスタンスに関しても素性関数は値を返す必要がある．この値を本稿ではempty値と呼ぶ．これはいわばn-gram言語モデルにおける未知語確率に相当するものであるので，フレーズの翻訳確率分布から算出されるべきものであるが，本稿では，パイパーパラメータとして扱い，開発コーパスにおけるBLEUスコアが最高になるよう，実験的に設定する\footnote{Mosesでは，empty値として一律に$-100$を割り当てている\cite{Koehn:DomainAdaptation2007,Birch:MultipathDecoding2007}．\ref{sec-experiments}節で述べるように，これは小さすぎる値で，BLEUスコアが下がる原因となる．}．\subsection{最適化}\label{sec-optimization}\subsubsection{同時最適化}\label{sec-joint-optimization}一般的な機械学習における素性空間拡張法の利点の一つは，素性空間を操作しているだけなので，最適化アルゴリズムは既存の方法が使えるという点である．機械翻訳の場合，最適化方法には，誤り率最小訓練(MERT)\cite{Och:2003:ACL}，ペアランク最適化(PRO)\cite{hopkins-may:2011:EMNLP}，kベストバッチMIRA(KBMIRA)\cite{cherry-foster:2012:NAACL-HLT}が知られている．本稿では，高次元の最適化に適したKBMIRAを使用する\footnote{もう一つの理由は，予備実験において，ベースラインシステムのBLEUスコアが最も高かったためである．}．通常の機械学習における最適化と，機械翻訳の最適化の大きな相違点は，多くの機械学習の損失関数が，尤度などデコーダが出力するスコアを使用しているのに対して，機械翻訳はBLEU\cite{papineni-EtAl:2002:ACL}のような，翻訳文の自動評価値を使用する点である．この自動評価値は，翻訳文と参照訳との比較によって算出され，{\emコーパス単位に}計算される場合が多い．実際，MERT,KBMIRAは開発セットのBLEUスコアを損失関数の一部に使用している\footnote{\citeA{Clark:SMTAdaptation2012}が素性空間拡張法の最適化に使用したPROは文単位に近似したBLEUスコアを用いている．}．つまり，複数ドメインを同時に最適化する場合は，ドメイン毎にBLEUスコアを算出しないと，結果がドメイン最適にならないことを意味している．上記問題を解決するため，本稿ではKBMIRAを変更する．\citeA{cherry-foster:2012:NAACL-HLT}のアルゴリズム1に対する変更点は，以下のとおりである．\begin{enumerate}\item処理済み翻訳文のBLEU統計量（n-gram一致数など）を保存する変数$BG$を，1つからドメイン数$D$個に拡張する．\item各翻訳文のBLEUスコアは，その翻訳文のドメイン$i$の$BG_{i}$から算出する．\item素性重みを更新後，その翻訳文のBLEU統計量を$BG_{i}$に追加する．\end{enumerate}この変更によって，各ドメイン空間の素性重みは，そのドメインの開発セットに最適化される．\subsubsection{個別最適化}\label{sec-independent-optimization}同時最適化は，適応させたいドメインが限られている場合にも，すべてのドメインを最適化しなければならないので，少々非効率である．そこで，全$D$ドメインのうち，ドメイン$i$だけ適応させたい場合，ドメイン$i$に関連する空間だけに限り，最適化を行う．これを本稿では個別最適化と呼ぶ．個別最適化は，素性空間を共通空間とドメイン$i$空間に制限し，チューニングデータもドメイン$i$に関するものだけにする．すなわち，式(\ref{eqn-augmented-vector})は式(\ref{eqn-augvector-simple})に置き換える．\begin{align}\mathbf{h}(f,e)&=\langle\mathbf{h}_{c},\mathbf{h}_{i}\rangle\label{eqn-augvector-simple}\\\mathbf{h}_{c}&=\mathbf{\Phi}_{c}(f,e)\\\mathbf{h}_{i}&=\mathbf{\Phi}_{i}(f,e)\end{align}これは，一般的な対数線形モデルであるので，同時最適化を行わなくても，既存の最適化器をそのまま使うことができる．また，デコーダも，(1)複数モデルを同時に使えること，(2)empty値を設定できること，の2点を満たすものであればよいため，既存のものを少し修正するだけで利用可能となる．同時最適化に比べると，共通空間の最適化が弱くなる恐れがあるが，もともと機械翻訳は素性の重みより素性関数の影響の方が大きいため，実用上は問題は少ないと考えられる．ただし，以下の2点に関しては，同時最適化と共通に満たす必要がある．\begin{enumerate}\item共通空間の素性にコーパス結合モデルを使うこと．\itemempty値を適切に設定すること．\end{enumerate}
\section{実験}
\label{sec-experiments}\subsection{実験設定}\label{sec-experimental-settings}\subsubsection{ドメイン／コーパス}本稿では，英日／日英翻訳を対象に，以下の4つのドメインの最適化を行う．各ドメインのコーパスサイズを表\ref{tbl-corpus-size}に示す．MEDコーパスは比較的小規模で，それ以外のドメインは100万文規模である．なお，訓練文は80単語以下のものだけを使用した．\begin{itemize}\item\textbf{MED}:病院等における医師（スタッフ）と患者の疑似対話のコーパス．内部開発．\item\textbf{LIVING}:外国人が日本に旅行や在留する際の疑似対話コーパス．内部開発．\item\textbf{NTCIR}:特許コーパス．訓練コーパスと開発コーパスは国際ワークショップNTCIR-8，テストコーパスはNTCIR-9のものを使用\footnote{http://research.nii.ac.jp/ntcir/index-ja.html}．\item\leavevmode\hboxto160pt{\textbf{ASPEC}:科学技術文献コーパス}\cite{Nakazawa:ASPEC2016}\footnote{http://lotus.kuee.kyoto-u.ac.jp/ASPEC/}．ASPEC-JEのうち，対訳信頼度の高い100万文を使用．\end{itemize}\begin{table}[b]\caption{コーパスサイズ}\label{tbl-corpus-size}\input{04table02.txt}\end{table}\subsubsection{翻訳システム}各コーパスの対訳文は，内部開発の事前並べ替え（\citeA{Goto:2015:PUT:2791399.2699925}の4.5節）を適用したのちに使用した．これは，新聞，Wikipedia，旅行会話，生活会話，科学技術文，ブログなどを混合した対訳コーパスから，ランダムに500万文程度を抽出して訓練した，特定のドメインに依存しない事前並び替えである．今回は，全ドメイン，全方式について同一の事前並び替えを適用した．また，日本語に関しては，訓練，テスト等すべての文について，あらかじめ形態素解析器MeCab\cite{kudo-yamamoto-matsumoto:2004:EMNLP}で単語分割を行ってから使用した．英語に関しては，Mosesツールキット\cite{koehn-EtAl:2007:PosterDemo}付属のtokenizer，truecaserで前処理した．翻訳システムの訓練のうち，フレーズテーブル，語彙化並び替えモデルの学習にはMosesツールキットをデフォルト設定で使用した．言語モデルはKenLM\cite{heafield-EtAl:2013:Short}を用いて，訓練セットの目的言語側から5グラムモデルを構築した．最適化は\ref{sec-joint-optimization}節で述べたマルチドメインKBMIRAを使用した．デコーディングには，内部開発のMosesのクローンデコーダを使用した．デコーダの設定値はMosesのデフォルト値と同じ$\texttt{phrase\_table\_limit}=20$，$\texttt{distortion\_limit}=6$，ビーム幅200とした．なお，フレーズ候補取得の際には，複数のフレーズテーブルをすべて検索して候補を取得後，拡張素性空間で算出された尤度に従って，20個に絞り込んだ．\subsubsection{empty値}\ref{sec-concat-and-specific}節で述べたempty値は，$-3$から$-20$の間の整数値のうち，全ドメインの開発セット翻訳結果を1ドキュメント扱いしたときのBLEUスコアが最高値になる値を採用した．結果，英日翻訳に関しては$-7$，日英翻訳は$-6$となった．これを確率値とみなした場合，英日は$\exp(-7)\approx0.0009$，日英は$\exp(-6)\approx0.0025$となる．\subsubsection{評価指標}評価指標にはBLEU,翻訳編集率(TER)\cite{Snover:TER2006},Meteor\cite{denkowski:lavie:meteor-wmt:2014}（英語のみ），RIBES\cite{D10-1092}（日本語のみ）を使用し，MultEvalツール\cite{clark-EtAl:2011:ACL-HLT2011}\footnote{https://github.com/jhclark/multeval}で有意差検定を行った\footnote{RIBESに関しては，http://www.kecl.ntt.co.jp/icl/lirg/ribes/index.htmlのスクリプトと同等なものをMultEvalツールに組み込んで測定した．}．危険率は$p<0.05$とした．最適化の揺れを吸収するため，5回最適化を実施し，その平均値を使用した．なお，単純化のため，本文ではBLEUで説明する．\subsubsection{比較方式}各ドメインコーパスだけでモデルを構築，最適化，テストする単独ドメインモデル方式をベースラインにし，他の方式と比較する．従来法としては，\ref{sec-related-work}節で述べた以下の方式を使用する．\begin{itemize}\item\textbf{コーパス結合}：全ドメインのコーパス結合モデルを使用し，各ドメインの開発セットで最適化，テストした場合．\item\textbf{素性空間拡張法(Clark)}：\pagebreak共通空間，ドメイン空間共に，コーパス結合モデルの素性関数を使った素性空間拡張法．\citeA{Clark:SMTAdaptation2012}の設定と同じだが，最適化にはマルチドメインKBMIRAを使用した．\item\textbf{Fill-up法}：ドメイン適応方式にfill-up法\cite{Bisazza:SMTAdaptation2011}を用いた場合．\item\textbf{翻訳モデル混合}：ドメイン適応方式に翻訳モデル混合\cite{sennrich:2012:EACL2012}を用いた場合．Moses付属の\texttt{tmcombine}プログラムで混合した．\item\textbf{コーパスフィルタリング}：\citeA{axelrod-he-gao:2011:EMNLP}が提案した修正Moore-Lewisフィルタリングで，自分以外のドメインのコーパスから対訳文を選択し，ドメインの訓練文に加えた場合．追加文数は，10万文単位に文数を変え，各ドメインの開発セットのBLEUスコアが最高になった文数を採用した\footnote{数十万文単位で追加文数を変えながら開発セットBLEUスコアを測定し，その後，最適文数近傍で10万文単位の調整を行った．}．\end{itemize}提案法は，以下のバリエーションをテストする．\begin{itemize}\item\textbf{提案法（同時最適化）}：提案法のうち，\ref{sec-joint-optimization}節で述べた同時最適化を使用した場合．\item\textbf{提案法（個別最適化）}：提案法のうち，\ref{sec-independent-optimization}節で述べた個別最適化を使用した場合．\item\textbf{提案法($\mathbf{empty}\boldsymbol{=-100}$)}：提案法のempty値を，Mosesと同じ$-100$に設定した場合．なお，最適化は個別最適化を使用したが，同時最適化でも同じ傾向が観察された．\item\textbf{提案法（外ドメイン）}：提案法のうち，共通空間に対応するモデルとして，コーパス結合モデルではなく，内ドメインデータを取り除いた外ドメインコーパス（つまり，内ドメイン以外の3ドメインのコーパス）だけから学習したモデルを使用した場合．これも個別最適化を使用した．\end{itemize}\subsection{翻訳品質}\label{sec-experimental-quality}各方式について，英日翻訳および日英翻訳における自動評価スコアを，それぞれ表\ref{tbl-result-ej}，表\ref{tbl-result-je}に示す．なお，表中太字は方式間最高値，(+)は，単独ドメインモデル方式をベースラインとしたとき有意に向上したもの，($-$)は有意に悪化したものを表す($p<0.05$)．\begin{table}[t]\caption{方式別の自動評価スコア（英日翻訳）}\label{tbl-result-ej}\input{04table03.txt}\end{table}今回用いたデータは，ドメイン同士の関連性が比較的薄かったため，従来法では，適応によって翻訳品質は軒並み悪化した．たとえば，コーパス結合方式と素性空間拡張法(Clark)は，単独モデルより翻訳品質が低下する傾向が強かった．コーパス結合方式は各ドメインが平均化されたモデルが作成され，素性関数の精度が落ちたためと考えられる．Fill-up法は，コーパス結合方式に比べると翻訳品質は向上する場合が多かったが，単独ドメインモデルより悪化した．翻訳モデル混合は，ドメインによって有意に向上する場合と悪化する場合があり，この実験での有効性は確認できなかった．コーパスフィルタリングは，ASPECの英日翻訳を除き，単独ドメインモデルより有意に向上，または同等品質となった．ASPEC英日翻訳は10万文を加えただけだったが，これが悪影響しており，コーパスフィルタリングは有効だが，最適な追加文数の決定は難しいことを示している．一方，提案法は，同時最適化，個別最適化ともに，すべてのドメインにおいて単独ドメインモデルより向上あるいは同等品質となり，適切に適応できた．同時最適化に比べ，個別最適化の方が，BLEUスコアが高い傾向がある．なお，empty値を$-100$にすると，最適化時にBLEUスコアが振動して，最適化できない場合があった（表中のN/A）．また，提案法でも，共通空間に使用するモデルを外ドメインモデルにすると，大部分のケースでは提案法に比べ品質が悪化した．共通空間に使用するモデルは，内ドメインを含むコーパス結合モデルの方が望ましいことを示している．\begin{table}[t]\caption{方式別の自動評価スコア（日英翻訳）}\label{tbl-result-je}\input{04table04.txt}\end{table}まとめると，提案法はドメイン適応方式の中ではほぼ最高品質を確保できた．特に，個別最適化方式のような標準的な対数線形モデルであっても，適切な設定をすれば，最先端方式と同等以上のドメイン適応が実現できることを示している．\subsection{シングルドメイン適応としての効果}\label{sec-size-experiments}ドメイン適応が必要となる場面は，新たなドメインデータの翻訳を行わなければならないにも関わらず，十分な量の訓練文が集まらない場合である．本節では，MED英日翻訳に絞って，訓練コーパスのサイズを変えて翻訳品質を測定する．なお，他のドメインについては変更せず，全訓練文を使用する．表\ref{tbl-quality-among-sizes}は，単独ドメインモデル，コーパス結合，コーパスフィルタリングと提案法（個別最適化）を比較した結果である．表中の(+)は単独ドメインモデルと比較して有意に高く，($-$)は有意に低いことを表す．(\dag)はコーパス結合と比較して有意に高く，({$\uparrow$})はコーパスフィルタリングと比較して有意に高いことを表している($p<0.05$)．\begin{table}[t]\caption{訓練コーパスサイズ別BLEUスコア（MEDコーパス，英日翻訳）}\label{tbl-quality-among-sizes}\input{04table05.txt}\end{table}訓練コーパスが1,000文(1~k)しかない場合は，提案法は単独ドメインモデルに比べて非常に高い品質となっているが，コーパス結合とはほぼ同じである．訓練コーパスサイズが増えるにしたがい，全方式ともにBLEUスコアが向上するが，コーパス結合の品質向上は単独ドメインモデルより緩やかで，約10万文(100~k)で単独ドメインモデルの品質が逆転する．提案法は，3,000文(3~k)以上では常に単独ドメインモデル，コーパス結合の品質を上回っており，両者の利点をうまく融合させた方式であることを示している．コーパスフィルタリングは，提案方式とほぼ同様に，3万文(30~k)以上では，単独ドメインモデル，コーパス結合を有意に上回ったが，提案法を有意に上回ることはなかった．\ref{sec-experimental-quality}節でも述べたように，コーパスフィルタリングは，最適な追加文数の決定が難しい．実際，この実験では，10万文単位での最適な追加文数を決定するため，1試行あたり10回以上の訓練，最適化，テストを繰り返した．提案法の訓練回数は，個別最適化の場合，コーパス結合モデルと単独ドメインモデルの2回に固定されており，使いやすさの観点では提案法がコーパスフィルタリングより優れていると考える．ここで，表\ref{tbl-result-ej}，\ref{tbl-result-je}に戻る．表\ref{tbl-result-ej}，\ref{tbl-result-je}では，MEDコーパスにおける提案法（同時最適化，個別最適化）の翻訳品質が英日，日英ともに向上した．この理由は，MEDコーパスが約22万文と，他のコーパスに比べて小規模で，翻訳品質向上の余地を残していたためと推測できる．一方，MED以外のドメインは，100万文規模の大規模コーパスから学習しているため，必ずしも翻訳品質が向上するわけではない．しかし，特筆したいのは，大規模コーパスに提案方式を適用しても，翻訳品質が下がることがなく，データによっては向上する場合もあるという点である．その点で，提案方式はコーパスサイズに対して非常にロバストな方式といえる．\subsection{未知語}本稿の提案方式の特徴は，コーパス結合モデルと単独ドメインモデルの利点を融合させたものとまとめられる．本節では各モデルの未知語の観点から分析する．本稿では，\citeA{Irvine:MTErrors2013}に準じて，未知語を原言語未知と目的言語未知に分けて考える\footnote{原言語未知は，\citeA{Irvine:MTErrors2013}のSEENエラー，目的言語未知はSENSEエラーに相当する．}．原言語未知は入力の単語あるいはフレーズがフレーズテーブルに存在しない場合である，目的言語未知は，原言語のフレーズは存在するが，目的言語の単語あるいはフレーズが存在しないために，参照訳が生成できない場合である．これは，強制デコーディング\cite{yu-EtAl:2013:EMNLP}を行い，参照訳が生成できるかどうかで判定できる．英日翻訳におけるドメイン毎の未知語率を表\ref{tbl-unk-rate}に示す．これは，5回の最適化のうちの1試行を取り出した結果である．ドメイン毎に割合の差はあるが，単独ドメインモデルに比べ，コーパス結合は原言語未知，目的言語未知ともに減少する．たとえば，MEDコーパスでは，原言語未知は9.1\%$\rightarrow$0.9\%，目的言語未知は38.5\%$\rightarrow$16.1\%と減少し，他のドメインの単語が利用可能になっている．しかし，最終的な翻訳品質は単独ドメインモデルの方がよかったことを考えると，未知語の減少が直接品質向上に寄与したわけではない．最適化が重要であることがわかる．\begin{table}[t]\caption{未知語を含む文の割合（英日翻訳）}\label{tbl-unk-rate}\input{04table06.txt}\end{table}提案法は，NTCIRを除き，さらに未知語が減少した．提案法はコーパス結合モデルと単独ドメインモデルのフレーズテーブルをOR検索している．2つのフレーズテーブルは，重複する訓練コーパスを使用しているにも関わらず，訓練によって得られるフレーズは異なるため，結果的にカバレッジが向上したものと考えられる．\begin{table}[p]\caption{翻訳の変化例（MEDドメイン，英日翻訳，テストセット）}\label{tbl-trans-examples}\input{04table07.txt}\end{table}\subsection{ドメイン適応による翻訳の変化例}統計翻訳のモデルを変更した場合，翻訳文の変化を適切に分類するのは非常に難しい．本提案のドメイン適応に関しても，正確な分類は困難だと判断したが，翻訳品質が向上している場合，典型的には以下の3パターンが観察された．ここでは表\ref{tbl-trans-examples}に示す翻訳例を参照しながら説明する．この例はMEDドメインの英日翻訳から抜き出したものである．\begin{itemize}\item単語の翻訳がドメイン依存訳に変化したものがある．例1の``firstvisit''の翻訳に関しては，コーパス結合では「初めて」と一般的な訳になっているが，単独ドメインモデルと提案法では，「初診」となり，病院における対話に適応した訳となっている．同様に，例2では``openinghours''の訳が「診療時間」と翻訳されている．\item例3，4のように，コーパス結合では常体の翻訳文になっているが，単独ドメインモデル，提案法では敬体の翻訳文となっている．コーパス結合モデルでは，特許や論文のコーパスを用いているため，常体が多数派を占めているためだと考えられる．提案法は，コーパス結合モデルを併用しているにも関わらず，MEDの単独ドメインモデルを適切に利用して，敬体の翻訳文を生成した．これも一種のドメイン依存訳であると考えられる．\item例5，6では，単独ドメインモデルでは原言語未知になる単語があった(starvation,\linebreakSangenjaya,Shimokitazawa)が，コーパス結合，提案法ではこれが解消されている．\end{itemize}
\section{まとめ}
\label{sec-conclusion}本稿では，複数ドメインを前提とした，統計翻訳の適応方式を提案した．本稿の方式は，カバレッジが広い（未知語が少ない）コーパス結合モデルと，素性関数の精度がよい単独ドメインモデルを併用し，機械学習分野のドメイン適応方法である，素性空間拡張法の考え方を利用して両者を結合した．また，empty値をチューニング対象に追加した．実験では同時最適化を行った場合，個別最適化を行った場合ともに，単独ドメインモデルに比べ，翻訳品質が向上または同等を保持した．提案法は，当該ドメインの訓練コーパスが小規模である場合に高い効果を持ち，100万文規模の大規模コーパスを持つドメインへの適応に使用しても，翻訳品質を下げることなく，ドメインによっては品質向上の効果がある．基本的な対数線形モデルでも，モデルの選択とチューニングを慎重に行うことで，最先端方式と同等以上の適応方式になることを示した．提案方式は，対数線形モデルに基づく統計翻訳にはすべて適用可能であるので，木構造変換のような翻訳方式でも効果を確認したいと考えている．ただし，木構造変換の翻訳方式は，構文解析を利用しているため，翻訳品質は構文解析自身の精度にも影響を受ける．本稿で用いた事前並び替えも，構文解析を利用している．構文解析などの翻訳に使われているコンポーネントについては，別途ドメイン適応させる必要がある(森下，赤部，波多腰，Neubig，吉野，中村2016)が，本稿の提案方式は，コンポーネントの適応とは独立に併用可能である．\nocite{Morishita:ParsingAdaptation2016j}\acknowledgment本研究は総務省の情報通信技術の研究開発「グローバルコミュニケーション計画の推進—多言語音声翻訳技術の研究開発及び社会実証—I.多言語音声翻訳技術の研究開発」の一環として行われました．\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{Axelrod,He,\BBA\Gao}{Axelrodet~al.}{2011}]{axelrod-he-gao:2011:EMNLP}Axelrod,A.,He,X.,\BBA\Gao,J.\BBOP2011\BBCP.\newblock\BBOQDomainAdaptationviaPseudoIn-DomainDataSelection.\BBCQ\\newblockIn{\BemProceedingsofthe2011ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\355--362},Edinburgh,Scotland,UK.\bibitem[\protect\BCAY{Birch,Osborne,\BBA\Koehn}{Birchet~al.}{2007}]{Birch:MultipathDecoding2007}Birch,A.,Osborne,M.,\BBA\Koehn,P.\BBOP2007\BBCP.\newblock\BBOQCCGSupertagsinFactoredStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe2ndWorkshoponStatisticalMachineTranslation},\mbox{\BPGS\9--16},Prague,CzechRepublic.\bibitem[\protect\BCAY{Bisazza,Ruiz,\BBA\Federico}{Bisazzaet~al.}{2011}]{Bisazza:SMTAdaptation2011}Bisazza,A.,Ruiz,N.,\BBA\Federico,M.\BBOP2011\BBCP.\newblock\BBOQFill-upversusInterpolationMethodsforPhrase-basedSMTAdaptation.\BBCQ\\newblockIn{\BemProceedingsoftheInternationalWorkshoponSpokenLanguageTranslation(IWSLT)},SanFrancisco,California,USA.\bibitem[\protect\BCAY{Cherry\BBA\Foster}{Cherry\BBA\Foster}{2012}]{cherry-foster:2012:NAACL-HLT}Cherry,C.\BBACOMMA\\BBA\Foster,G.\BBOP2012\BBCP.\newblock\BBOQBatchTuningStrategiesforStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe2012ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\427--436},Montr{\'{e}}al,Canada.\bibitem[\protect\BCAY{Clark,Dyer,Lavie,\BBA\Smith}{Clarket~al.}{2011}]{clark-EtAl:2011:ACL-HLT2011}Clark,J.~H.,Dyer,C.,Lavie,A.,\BBA\Smith,N.~A.\BBOP2011\BBCP.\newblock\BBOQBetterHypothesisTestingforStatisticalMachineTranslation:ControllingforOptimizerInstability.\BBCQ\\newblockIn{\BemProceedingsofthe49thAnnualMeetingoftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\176--181},Portland,Oregon,USA.\bibitem[\protect\BCAY{Clark,Lavie,\BBA\Dyer}{Clarket~al.}{2012}]{Clark:SMTAdaptation2012}Clark,J.~H.,Lavie,A.,\BBA\Dyer,C.\BBOP2012\BBCP.\newblock\BBOQOneSystem,ManyDomains:Open-DomainStatisticalMachineTranslationviaFeatureAugmentation.\BBCQ\\newblockIn{\BemProceedingsofthe10thbiennialconferenceoftheAssociationforMachineTranslationintheAmericas(AMTA2012)},SanDiago,California,USA.\bibitem[\protect\BCAY{Daum{\'{e}}}{Daum{\'{e}}}{2007}]{daumeiii:2007:ACLMain}Daum{\'{e}},III,H.\BBOP2007\BBCP.\newblock\BBOQFrustratinglyEasyDomainAdaptation.\BBCQ\\newblockIn{\BemProceedingsofthe45thAnnualMeetingoftheAssociationofComputationalLinguistics},\mbox{\BPGS\256--263},Prague,CzechRepublic.\bibitem[\protect\BCAY{Denkowski\BBA\Lavie}{Denkowski\BBA\Lavie}{2014}]{denkowski:lavie:meteor-wmt:2014}Denkowski,M.\BBACOMMA\\BBA\Lavie,A.\BBOP2014\BBCP.\newblock\BBOQMeteorUniversal:LanguageSpecificTranslationEvaluationforAnyTargetLanguage.\BBCQ\\newblockIn{\BemProceedingsofthe9thWorkshoponStatisticalMachineTranslation},\mbox{\BPGS\376--380},Baltimore,Maryland,USA.\bibitem[\protect\BCAY{Finch\BBA\Sumita}{Finch\BBA\Sumita}{2008}]{finch-sumita:2008:WMT}Finch,A.\BBACOMMA\\BBA\Sumita,E.\BBOP2008\BBCP.\newblock\BBOQDynamicModelInterpolationforStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe3rdWorkshoponStatisticalMachineTranslation},\mbox{\BPGS\208--215},Columbus,Ohio,USA.\bibitem[\protect\BCAY{Foster,Goutte,\BBA\Kuhn}{Fosteret~al.}{2010}]{foster-goutte-kuhn:2010:EMNLP}Foster,G.,Goutte,C.,\BBA\Kuhn,R.\BBOP2010\BBCP.\newblock\BBOQDiscriminativeInstanceWeightingforDomainAdaptationinStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe2010ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\451--459},Cambridge,Massachusetts,USA.\bibitem[\protect\BCAY{Foster\BBA\Kuhn}{Foster\BBA\Kuhn}{2007}]{foster-kuhn:2007:WMT}Foster,G.\BBACOMMA\\BBA\Kuhn,R.\BBOP2007\BBCP.\newblock\BBOQMixture-ModelAdaptationforSMT.\BBCQ\\newblockIn{\BemProceedingsofthe2ndWorkshoponStatisticalMachineTranslation},\mbox{\BPGS\128--135},Prague,CzechRepublic.\bibitem[\protect\BCAY{Goto,Utiyama,Sumita,\BBA\Kurohashi}{Gotoet~al.}{2015}]{Goto:2015:PUT:2791399.2699925}Goto,I.,Utiyama,M.,Sumita,E.,\BBA\Kurohashi,S.\BBOP2015\BBCP.\newblock\BBOQPreorderingUsingaTarget-LanguageParserviaCross-LanguageSyntacticProjectionforStatisticalMachineTranslation.\BBCQ\\newblock{\BemACMTransactionsonAsianandLow-ResourceLanguageInformationProcessing},{\Bbf14}(3),\mbox{\BPGS\13:1--13:23}.\bibitem[\protect\BCAY{Heafield,Pouzyrevsky,Clark,\BBA\Koehn}{Heafieldet~al.}{2013}]{heafield-EtAl:2013:Short}Heafield,K.,Pouzyrevsky,I.,Clark,J.~H.,\BBA\Koehn,P.\BBOP2013\BBCP.\newblock\BBOQScalableModifiedKneser-NeyLanguageModelEstimation.\BBCQ\\newblockIn{\BemProceedingsofthe51stAnnualMeetingoftheAssociationforComputationalLinguistics(Volume2:ShortPapers)},\mbox{\BPGS\690--696},Sofia,Bulgaria.\bibitem[\protect\BCAY{Hopkins\BBA\May}{Hopkins\BBA\May}{2011}]{hopkins-may:2011:EMNLP}Hopkins,M.\BBACOMMA\\BBA\May,J.\BBOP2011\BBCP.\newblock\BBOQTuningasRanking.\BBCQ\\newblockIn{\BemProceedingsofthe2011ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\1352--1362},Edinburgh,Scotland,UK.\bibitem[\protect\BCAY{Irvine,Morgan,Carpuat,Daum{\'{e}},\BBA\Munteanu}{Irvineet~al.}{2013}]{Irvine:MTErrors2013}Irvine,A.,Morgan,J.,Carpuat,M.,Daum{\'{e}},III,H.,\BBA\Munteanu,D.\BBOP2013\BBCP.\newblock\BBOQMeasuringMachineTranslationErrorsinNewDomains.\BBCQ\\newblock{\BemTransactionsoftheAssociationforComputationalLinguistics},{\Bbf1},\mbox{\BPGS\429--440}.\bibitem[\protect\BCAY{Isozaki,Hirao,Duh,Sudoh,\BBA\Tsukada}{Isozakiet~al.}{2010}]{D10-1092}Isozaki,H.,Hirao,T.,Duh,K.,Sudoh,K.,\BBA\Tsukada,H.\BBOP2010\BBCP.\newblock\BBOQAutomaticEvaluationofTranslationQualityforDistantLanguagePairs.\BBCQ\\newblockIn{\BemProceedingsofthe2010ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\944--952},Cambridge,Massachusetts,USA.\bibitem[\protect\BCAY{Jeblee,Feely,Bouamor,Lavie,Habash,\BBA\Oflazer}{Jebleeet~al.}{2014}]{jeblee-EtAl:2014:ANLP20142}Jeblee,S.,Feely,W.,Bouamor,H.,Lavie,A.,Habash,N.,\BBA\Oflazer,K.\BBOP2014\BBCP.\newblock\BBOQDomainandDialectAdaptationforMachineTranslationintoEgyptianArabic.\BBCQ\\newblockIn{\BemProceedingsoftheEMNLP2014WorkshoponArabicNaturalLanguageProcessing(ANLP)},\mbox{\BPGS\196--206},Doha,Qatar.\bibitem[\protect\BCAY{Koehn,Hoang,Birch,Callison-Burch,Federico,Bertoldi,Cowan,Shen,Moran,Zens,Dyer,Bojar,Constantin,\BBA\Herbst}{Koehnet~al.}{2007}]{koehn-EtAl:2007:PosterDemo}Koehn,P.,Hoang,H.,Birch,A.,Callison-Burch,C.,Federico,M.,Bertoldi,N.,Cowan,B.,Shen,W.,Moran,C.,Zens,R.,Dyer,C.,Bojar,O.,Constantin,A.,\BBA\Herbst,E.\BBOP2007\BBCP.\newblock\BBOQMoses:OpenSourceToolkitforStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe45thAnnualMeetingoftheAssociationforComputationalLinguisticsCompanionVolumeProceedingsoftheDemoandPosterSessions},\mbox{\BPGS\177--180},Prague,CzechRepublic.\bibitem[\protect\BCAY{Koehn,Och,\BBA\Marcu}{Koehnet~al.}{2003}]{koehn-och-marcu:2003:HLTNAACL}Koehn,P.,Och,F.~J.,\BBA\Marcu,D.\BBOP2003\BBCP.\newblock\BBOQStatisticalPhrase-BasedTranslation.\BBCQ\\newblockIn{\BemHLT-NAACL2003:MainProceedings},\mbox{\BPGS\127--133},Edmonton,Alberta,Canada.\bibitem[\protect\BCAY{Koehn\BBA\Schroeder}{Koehn\BBA\Schroeder}{2007}]{Koehn:DomainAdaptation2007}Koehn,P.\BBACOMMA\\BBA\Schroeder,J.\BBOP2007\BBCP.\newblock\BBOQExperimentsinDomainAdaptationforStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe2ndWorkshoponStatisticalMachineTranslation},\mbox{\BPGS\224--227},Prague,CzechRepublic.\bibitem[\protect\BCAY{Kudo,Yamamoto,\BBA\Matsumoto}{Kudoet~al.}{2004}]{kudo-yamamoto-matsumoto:2004:EMNLP}Kudo,T.,Yamamoto,K.,\BBA\Matsumoto,Y.\BBOP2004\BBCP.\newblock\BBOQApplyingConditionalRandomFieldstoJapaneseMorphologicalAnalysis.\BBCQ\\newblockInLin,D.\BBACOMMA\\BBA\Wu,D.\BEDS,{\BemProceedingsofEMNLP2004},\mbox{\BPGS\230--237},Barcelona,Spain.\bibitem[\protect\BCAY{Matsoukas,Rosti,\BBA\Zhang}{Matsoukaset~al.}{2009}]{matsoukas-rosti-zhang:2009:EMNLP}Matsoukas,S.,Rosti,A.-V.~I.,\BBA\Zhang,B.\BBOP2009\BBCP.\newblock\BBOQDiscriminativeCorpusWeightEstimationforMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe2009ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\708--717},Singapore.\bibitem[\protect\BCAY{森下\JBA赤部\JBA波多腰\JBAG.\JBA吉野\JBA中村}{森下\Jetal}{2016}]{Morishita:ParsingAdaptation2016j}森下睦\JBA赤部晃一\JBA波多腰優斗\JBAG.Neubig\JBA吉野幸一郎\JBA中村哲\BBOP2016\BBCP.\newblock統語ベース翻訳のための構文解析器の自己学習.\\newblock\Jem{自然言語処理},{\Bbf23}(4),\mbox{\BPGS\353--376}.\bibitem[\protect\BCAY{Nakazawa,Yaguchi,Uchimoto,Utiyama,Sumita,\protect\mbox{Kurohashi},\BBA\\mbox{Isahara}}{Nakazawaet~al.}{2016}]{Nakazawa:ASPEC2016}Nakazawa,T.,Yaguchi,M.,Uchimoto,K.,Utiyama,M.,Sumita,E.,\protect\mbox{Kurohashi},S.,\BBA\\mbox{Isahara},H.\BBOP2016\BBCP.\newblock\BBOQASEPC:AsianScientificPaperExcerptCorpus.\BBCQ\\newblockIn{\BemProceedingsofthe10th\mbox{Edition}oftheLanguageResourcesandEvaluationConference(LREC-2016)},Portoroz,Slovenia.\bibitem[\protect\BCAY{Och}{Och}{2003}]{Och:2003:ACL}Och,F.~J.\BBOP2003\BBCP.\newblock\BBOQMinimumErrorRateTraininginStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe41stAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\160--167},Sapporo,Japan.\bibitem[\protect\BCAY{Papineni,Roukos,Ward,\BBA\Zhu}{Papineniet~al.}{2002}]{papineni-EtAl:2002:ACL}Papineni,K.,Roukos,S.,Ward,T.,\BBA\Zhu,W.-J.\BBOP2002\BBCP.\newblock\BBOQBleu:aMethodforAutomaticEvaluationofMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe40thAnnualMeetingoftheAssociationforComputationalLinguistics(ACL)},\mbox{\BPGS\311--318},Philadelphia,Pennsylvania,USA.\bibitem[\protect\BCAY{Sennrich}{Sennrich}{2012}]{sennrich:2012:EACL2012}Sennrich,R.\BBOP2012\BBCP.\newblock\BBOQPerplexityMinimizationforTranslationModelDomainAdaptationinStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe13thConferenceoftheEuropeanChapteroftheAssociationforComputationalLinguistics},\mbox{\BPGS\539--549},Avignon,France.\bibitem[\protect\BCAY{Sennrich,Schwenk,\BBA\Aransa}{Sennrichet~al.}{2013}]{sennrich-schwenk-aransa:2013:ACL2013}Sennrich,R.,Schwenk,H.,\BBA\Aransa,W.\BBOP2013\BBCP.\newblock\BBOQAMulti-DomainTranslationModelFrameworkforStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe51stAnnualMeetingoftheAssociationforComputationalLinguistics(Volume1:LongPapers)},\mbox{\BPGS\832--840},Sofia,Bulgaria.\bibitem[\protect\BCAY{Snover,Dorr,Schwartz,Micciulla,\BBA\Makhoul}{Snoveret~al.}{2006}]{Snover:TER2006}Snover,M.,Dorr,B.,Schwartz,R.,Micciulla,L.,\BBA\Makhoul,J.\BBOP2006\BBCP.\newblock\BBOQAStudyofTranslationEditRatewithTargetedHumanAnnotation.\BBCQ\\newblockIn{\BemProceedingsofthe7thBiennialConferenceoftheAssociationforMachineTranslationintheAmericas(AMTA-2006)},\mbox{\BPGS\223--231},Cambridge,Massachusetts,USA.\bibitem[\protect\BCAY{Yu,Huang,Mi,\BBA\Zhao}{Yuet~al.}{2013}]{yu-EtAl:2013:EMNLP}Yu,H.,Huang,L.,Mi,H.,\BBA\Zhao,K.\BBOP2013\BBCP.\newblock\BBOQMax-ViolationPerceptronandForcedDecodingforScalableMTTraining.\BBCQ\\newblockIn{\BemProceedingsofthe2013ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\1112--1123},Seattle,Washington,USA.\end{thebibliography}\begin{biography}\bioauthor{今村賢治}{1985年千葉大学工学部電気工学科卒業．同年〜2014年日本電信電話株式会社．1995年〜1998年NTTソフトウェア株式会社．2000年〜2006年ATR音声言語コミュニケーション研究所．2014年より（株）ATR-Trek所属として，国立研究開発法人情報通信研究機構(NICT)へ出向．現在NICT先進的音声翻訳研究開発推進センター主任研究員．主として自然言語処理技術の研究・開発に従事．博士（工学）．電子情報通信学会，情報処理学会，言語処理学会，ACL各会員．}\bioauthor{隅田英一郎}{1982年電気通信大学大学院修士課程修了．1999年京都大学大学院博士（工学）取得．1982年〜1991年（株）日本アイ・ビー・エム東京基礎研究所研究員．1992年〜2009年国際電気通信基礎技術研究所研究員．主幹研究員．室長．2007年〜現在国立研究開発法人情報通信研究機構(NICT)先進的音声翻訳研究開発推進センター(ASTREC)副センター長．2016年NICTフェロー．機械翻訳の研究に従事．}\end{biography}\biodate\end{document}