ニューラル機械翻訳(NeuralMachineTranslation,NMT)の発展\shortcite{luong:2015:emnlp,vaswani:2017:nips}により，ニュース記事のような文体の整った入力に対する翻訳品質は著しく向上し，一部の言語対においては既に人間の翻訳に匹敵するレベルにまで到達したと言われている\shortcite{hassan:2018,barrault:2019:wmt}．しかし，そのめざましい発展をもってしても，ソーシャルメディアに見られるようなユーザ生成コンテンツ(User-GeneratedContents,UGC)に対するNMTの適用可能性は依然として極めて限られている\shortcite{michel:2018:emnlp}．一方で，ソーシャルメディアなどの普及に伴い，UGCが我々の日常生活に与える影響は非常に大きなものとなっている．例えば，それらのサービスへの投稿はユーザの購買行動の決定にも重大な影響を及ぼすことが報告されている\footnote{\url{https://stackla.com/resources/reports/the-consumer-content-report-influence-in-the-digital-age/}}．そのような背景において，\citeA{berard:2019:wngt}はFoursquare\footnote{\url{https://foursquare.com/}}に寄稿されたレストランのレビューに着目し，異文化交流の促進に向けて実応用を見据えた翻訳タスクを設計した．近年ではUGCに対して頑健な翻訳システム構築への関心の高まりと共に，ソーシャルメディア上のテキストの翻訳精度を競うコンペティションも開催されている\shortcite{li:2019:wmt}．当該コンペティションにおいて，翻訳の評価は従来の機械翻訳出力に対する評価と同様に，あるひとつの包括的なデータセットに対してひとつの全体スコアを付与する手法で行われている（図\ref{fig:overview}a）．しかし，我々はこの評価における改善は必ずしもモデルの頑健性を説明していないと考える．例えば，訓練データ規模の異なる2つのモデル出力に対してBLEUスコアの比較を行い，スコアの改善をもってあらゆる事象に対する頑健性を結論付けることは危険である．UGCにおける機械翻訳システムの性能向上への端緒を見出すためには，翻訳品質の低下を招く要因を明らかにし，実際にそれらが改善されていることを示すことのできる確かな基盤が必要である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{28-2ia6f1.pdf}\end{center}\caption{一般的な機械翻訳評価の手法と我々のデータセットによる現象毎評価の比較．}\label{fig:overview}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%そこで本研究では，機械翻訳システムの精緻な評価に向けた第一歩として日英機械翻訳に焦点を当て，日本語ユーザコンテンツに含まれる特定の言語現象が出力に及ぼす影響を調査する．具体的には，既存の評価データセットに対して，新たに固有名詞，名詞の省略，口語表現，異表記の4つの言語現象に着目したアノテーションを付与することで，言語現象毎評価データセット\textbf{PheMT}(\textbf{Phe}nomenon-wiseDatasetfor\textbf{M}achine\textbf{T}ranslationRobustness)を構築した（図\ref{fig:overview}b）．文中の特定の表現に注目することにより，ある言語現象を正しく扱えるかどうかを翻訳正解率を用いてより直接的に測定することを可能にした．また，ある現象がモデルに及ぼす影響は，その現象の存在を取り除いた場合との差分により評価できるというアイデアのもと，人手による当該表現の正規化を行った．原文と正規化後の文を入力した際の評価指標の差異の測定により，個々のモデルが元来有する表現能力の違いに起因する影響を取り除き，当該表現が翻訳文全体の品質に与える影響を測定する．構築したデータセットを用いた評価と分析を通して，UGCという限定されたドメインにおいても依然として十分に翻訳することのできない対処すべき現象が存在することを明らかにする．本論文の貢献は以下の2点である．\begin{enumerate}\item{日英機械翻訳における詳細なエラー分析のための第一歩として，日本語ユーザコンテンツに頻繁に現れる言語現象に着目した評価データセットを構築した．}\item{構築したデータセットを用いた評価と分析により，広く商用に利用される機械翻訳システムを含む最先端のNMTモデルにおいても，依然として多くの課題が残されていることを明らかにし，今後の機械翻訳評価における一つの方向性として言語現象毎評価の可能性を示した．}\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%