現在，ニューラルネットワークを用いた機械翻訳（ニューラル機械翻訳）が機械翻訳の主流となっている．注意機構を用いた再帰型ニューラルネットワーク(RecurrentNeuralNetwork;RNN)に基づくニューラル機械翻訳モデルは初期のころから広く使用されてきたモデルであり，原言語文内の単語と目的言語文内の単語間の関係を捉える言語間注意機構を用いることで，従来のRNNベースのニューラル機械翻訳よりも高い精度を実現した\cite{Bahdanau-attention,luong-attention}．また，従来の言語間注意機構に加えて，同じ文中の単語間の関係を捉える自己注意機構を導入したTransformerモデル\cite{transformer}が提案され，RNNや畳み込みニューラルネットワーク(ConvolutionalNeuralNetwork;CNN)を用いた手法と比べて高い精度を実現することから，近年注目されている．ニューラル機械翻訳の性能を改善する手法については様々な研究がなされているが，その内の一つに，上述の言語間注意機構に制約を与える研究がある\cite{supervised-attention,mi-etal-2016-supervised,garg-jointly}．これらの研究では，アライメントツールを用いて原言語文と目的言語文間の単語の対応関係を予め取得し，その対応関係を教師データとして与えて言語間注意機構を学習させることで翻訳性能の向上を実現している．機械翻訳手法の一つとして，原言語文とそれに対応する内容の画像を入力することで翻訳性能の改善を目指すマルチモーダルニューラル機械翻訳\cite{multimodal-shared-task}が提案されている．翻訳時に与えられる画像は，翻訳の曖昧性解消や省略補完の手がかりとして役立つと考えられ，画像を参照することでより質の高い翻訳が実現されることが期待されている．マルチモーダルニューラル機械翻訳のモデルとして，Helclら\cite{helcl-cuni-system}は，CNNによって抽出した画像の特徴量を翻訳に活用するために，文中の単語と画像の領域との対応関係を捉える視覚的注意機構をTransformerモデルのデコーダ内に導入したモデルを提案している．また，Delbrouckら\cite{enc-visual-attention}は，RNNベースのマルチモーダルニューラル機械翻訳モデルのエンコーダに視覚的注意機構を導入したモデルを提案している．しかし，これらの視覚的注意機構は，マルチモーダルニューラル機械翻訳の訓練時に教師なしで自動的に学習が行われている．そのため，本来捉えるべき対応関係を常に捉えられているとは限らない．本稿では，マルチモーダルニューラル機械翻訳の性能改善のために，人手により与えられた文中の単語と画像領域との対応関係に基づいて教師付き学習を行う制約付き視覚的注意機構を提案する．具体的には，原言語文中の単語と画像内のオブジェクトとの対応関係が付与されたデータを教師データとして用いることで，Transformerモデルエンコーダ内の視覚的注意機構を直接学習させることを行う．Multi30kデータセット\cite{multi30k}を用いた英独翻訳および独英翻訳とFlickr30kEntitiesJPデータセット\cite{nakayama-tamura-ninomiya:2020:LREC}を用いた英日翻訳および日英翻訳の評価実験を行い，提案する教師付き視覚的注意機構によってTransformerベースのマルチモーダル機械翻訳モデルの翻訳性能が改善することが確認できた．また，教師付きの言語間注意機構と組み合わせることにより，さらに翻訳性能が改善されることを確認した．本稿の構成は以下の通りである．\ref{sect:Background}節で本研究の背景について述べ，\ref{sect:proposal_method}節で提案手法について説明する．\ref{sect:exp}節では実験について述べ，\ref{sect:analysis}節で実験結果の考察を行う．\ref{sect:related_work}節で関連研究について述べ，最後に\ref{sect:Conclusion}節でまとめと今後の課題について述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%