自動要約技術は，要約作成時のアプローチによって抽出型と生成型の2種類の手法に分けられる．抽出型自動要約は，入力文書中の重要と思われる文を識別・抽出し，抽出した文を結合させたものを要約とする方法である．一方，生成型自動要約は，入力文書を中間表現に変換し，その中間表現を基に要約の文章を一から生成する方法である．本研究では，生成型の自動要約モデルの技術に着目する．生成型自動要約モデルでは，入力文書中にない単語も利用することができるため，自然な要約を生成することができ，ニュース記事や論文などの自動要約に役立つ．%2生成型自動要約や機械翻訳などの系列変換タスクでは，入力テキストから「文と単語」・「フレーズと単語」・「単語と文字」などの階層構造を捉えることで要約および翻訳精度の改善を実現している．機械翻訳において，\citeA{Multi-Granu}は，Transformer\cite{Transformer}に基づくニューラル機械翻訳モデルにおいて，単語とフレーズの関係を考慮するMulti-GranularitySelf-Attention(MG-SA)を提案している．MG-SAは，入力テキストを複数の粒度（単語やフレーズ）に分解し，それぞれの粒度をMulti-headSelf-AttentionNetworks(\textsc{San}s)の各ヘッドに割り当てる．このMG-SAにより，単語間だけでなく単語とフレーズ間の相互作用をモデルに組み込むことが可能となる．また，自動要約において，HierarchicalNeuralAutoencoder\cite{Hierarchical_model}やHIBERT\cite{HIBERT}では，エンコーダやデコーダを単語および文レベルに階層化することで，単語と文の階層構造を考慮している．これらのモデルでは，入力テキストに対し単語単位での処理に加え文単位でも処理することで，文と単語間の関係性を考慮している．%3近年，生成型自動要約は，ニューラルネットワークに基づくエンコーダ・デコーダモデルが出現したことで，要約の品質が大きく向上した\cite{AbsSumBase}．その中でも，高い精度を報告しているモデルの多くが事前学習\cite{BERTSUM,T5,BART}を導入している．既存の事前学習モデルの中でも，BARTモデル\cite{BART}は高い精度での自動要約を可能にしている．BARTモデルはTransformerモデル\cite{Transformer}をベースとした事前学習モデルで，5つの事前学習法による実験を行っている．BARTモデルは高性能なモデルだが，要約生成時に文書の階層構造をとらえる構造にはなっておらず，文と単語間の関係性が組み込まれていない．よって，BARTモデルにおいても文レベルの情報を捉えることで，さらなる精度向上が見込める．%4そこで本研究では，MG-SAの概念をBARTモデルに適用し，文と単語の階層的な関係を考慮した要約を可能とする手法として，Hierarchical-BART(Hie-BART)を提案する．具体的には，入力文書を単語レベルと文レベルの情報に分割し，BARTにおけるエンコーダの\textsc{San}s層では，単語レベルの関連を計算するだけではなく，一部のヘッドにおいて文レベルの関連を計算する．そして，単語レベルと文レベルのマルチヘッドの出力を結合させることで，単語レベルと文レベルの双方を考慮した要約生成を行う．ここで，MG-SAはフレーズ単位での処理を行うのに対し，Hie-BARTでは文単位で処理を行う．本研究では，自動要約における単語と文の階層構造を利用した従来研究に基づいて応用するため，フレーズ単位ではなく文単位で処理を行う．%5実験の結果，BARTに比べ提案手法では，ROUGE-L\cite{ROUGE}のF値が，CNN/DailyMailデータセットでは0.1ポイント改善することを確認した．また，分析の結果，マルチヘッドにおいて，文レベルのヘッドを多く含むよりも，単語レベルのヘッドを多く含む方がより精度の高い要約を生成することが確認できた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%