グローバル人材育成のため，政府は外国人留学生の受け入れを推進している\footnote{\url{https://www8.cao.go.jp/youth/whitepaper/r01honpen/s6_1.html}}．また，京都大学でも教養・共通科目を英語で提供したり，日本語・日本文化の教育を組み込んだプログラムを用意するなどの施策を行っている\footnote{\url{https://www.kyoto-u.ac.jp/ja/international/students1/study1/undergraduate}}．しかし，主に講義で用いられる言語は日本語であるため，日本人と外国人留学生との間には学習機会の差が未だに存在し，日本語を勉強中の学生をより一層サポートする必要がある．この解決策として，専門的な内容を通訳できる通訳者を各講義に配置することは，コスト面から現実的でない．一方で，近年，深層学習などによって音声認識や機械翻訳の技術は劇的に進展しており，このような自動処理を活用していくことが今後の方向性であると考えられる．音声の機械翻訳は，音声から音声の場合\cite{speech2speech}と音声からテキストの場合があるが，本研究では後者を対象とする．音声からテキストへの翻訳では，一つのモデルで音声から翻訳済みのテキストまでEndtoEndで変換する手法\cite{end2end}と，書き起こしと翻訳を別々のモデルで行う手法\cite{lmt2,lmt1}がある．前者はエラーの累積が少なく，処理時間も短くできることが多いが，ある言語の音声と別言語のテキストの対応をとったコーパスは少ない\cite{end2end}．また分野適応のための新規コーパスの構築も難しい．このため，翻訳精度を高くすることが困難である．一方，後者の手法は，音声認識器からのエラーの累積があるものの，講義のような比較的落ち着いた話し言葉の音声認識は近年かなり高精度になってきており，単言語内での音声とその書き起こしのコーパスやテキスト形式の翻訳コーパスは利用可能なものが多く，新たなコーパスの構築も難しくない．さらに，日本語の書き起こしと英訳を字幕として同時に提供することで，講義内容の理解の補助と同時に日本語の習得の手助けもできる．本研究は，以上のメリット・デメリットと，講義音声を他言語字幕に翻訳する既存のシステム\cite{lmt2,lmt1}の構成を踏まえ，日本語音声を音声認識器によって書き起こし，次いで機械翻訳により日英翻訳を行う設定で研究を行う．機械翻訳モデルはTransformer\cite{transformer}の登場以来翻訳精度が大きく向上しているが，このモデルの性能を十分に発揮するためには大量のテキストデータを用意する必要がある．広く利用可能な日本語テキストの多くは書き言葉を用いたものであり，話し言葉のコーパスは少ないため，機械翻訳モデルは日本語書き言葉から英語への翻訳を学習することになる．一方，講義では話し言葉が用いられ，それを書き起こしたテキストが機械翻訳モデルへの入力となる．このような書き言葉と話し言葉という訓練データと実際のデータ間のギャップは翻訳精度に悪影響を及ぼすことが知られている\cite{disfluency1,disfluency2,preedit_for_speech_translation}．本研究では日本語の話し言葉と書き言葉の違いに着目し，翻訳精度の向上と，標準語に近い整った日本語書き起こしを提供することによる日本語学習の促進を目的として，話し言葉から書き言葉への自動変換を行う（図\ref{fig:system}）．タスクとしての話し言葉書き言葉変換には，フィラーや文末の「ですね」の除去等，パターンマッチや簡単な言語モデルである程度解決可能な問題だけでなく，言い直しや言い換えといった冗長な表現の削除や省略された格助詞の補完など文脈に依存した難しい問題も含まれる．本研究ではこれらの問題を単一のモデルで解決することに取り組む．本システムの推論時には，文の区切りとして音声認識器の出力に含まれる無音区間が文末かどうかを判定するニューラルネットワークモデルによる出力を用いる（例：「でアレニウス式は温度依存性を表すやつ[SEP]です\red{[SEP]}はい\red{[SEP]}そして最後に[SEP]反応器の[SEP]」の場合は，下線部分の無音区間([SEP])が文末と判定されるような学習を行ったモデルを用いる）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{28-4ia4f1.pdf}\end{center}\caption{大学講義の日英翻訳システムの概要}\label{fig:system}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%この話し言葉書き言葉変換を行うモデルを訓練するため，また，その変換による日英翻訳への影響を調査するため，新たなコーパスを構築した．このコーパスは大学講義の書き起こしとそれを書き言葉に変換したもの，対応する英文の3つ組からなる．なおコーパス構築の際には，話し言葉特有の現象の分類\cite{swdiff,csj_rep}を参考にし，どのような現象を変換すべきか取り決めた．こうして構築したコーパスを用いて話し言葉書き言葉変換モデルと日英翻訳モデルを学習させ，話し言葉書き言葉変換が日英翻訳の精度を向上させることを実験的に示した．また，話し言葉書き言葉変換の複数手法の定量的評価を行った．加えて，話し言葉に特有の現象の分類に基づき，どのような現象がどの程度翻訳精度に影響するのかを定量化した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%