# 会議議事録を対象とした議論構造解析と議題生成による 議会レポートの自動生成

大杉了斗 ${ }^{1}$ 秋葉友良 ${ }^{1}$ 増山繁 ${ }^{2}$
1 豊橋技術科学大学 2 東京理科大学
ohsugi.ryoto.dv@tut.jp, akiba@cs.tut.ac.jp masuyama@rs.tus.ac.jp

## 概要

国や地方議会議会での質疑応答は議事録に記録され, 市民はこの議事録を読むことでどのような対策を行っているか知ることができる.しかし, 議会は特殊な形式で進行するため, 議事録は非常に長く読みづらい. 対策案として, 東京都議会は議事録を分かりやすく構造化した「ネットリポート1)」を人手により作成し, 公開している. そこで本研究では, 「ネットリポート」を自動作成するシステムの構築を目的とする. システム実現のための課題を「議論構造解析」と「議題生成」に分け，それぞれ手法を提案する。

## 1 はじめに

国や地方議会が解決すべき政治的課題は議会の質疑応答を通じて議論され, 発言は議事録に記録される. 図 1 の上に, 本研究の対象でもある東京都議会会議録の例を示す. 市民は議事録を通じて議論内容を把握し, 課題に対する意見や対策を知ることができる.しかし, 東京都議会を含む多くの議会は, 議員がまとめて回答をし, 知事や局長が担当の質問に答弁を行う「一括質問・一括答弁」と呼ばれる特殊な形式が取られている. そのため, 質問や答弁に区切りがないため長く読みづらく, 対応する答弁がどこにあるか探すのも困難であり, 市民が議事録を読むことは難しい. このような問題に対処するため, 東京都議会では「ネットリポート」を公開している. 図 1 の下にデータ例を示す. ネットリポートでは, 議事録が 「一問一答」形式に編集されている. また, いくつかの質問答弁ペアをまとめて見出し（本研究では議題と呼ぶ）を付けることで, 議論内容の把握を容易にしている.一方でネットリポートは議会職員により人手作成されているため, 公開には手間や時間がかかるという問題が存在する。議事録

○福祉保健局健康危機管理担当局長(仿藤智秀君) 三点のこ質問におお答え

すが、.

次に、医澺機閲における竐虑、梌查体制についてでありますが、

} \\

図 1 議事録とネットリポート

そこで本研究では,「ネットリポート」の自動作成するシステムの構築を目的とする。「ネットリポート」の自動作成システムを実現するために, 本研究では大きく 2 つ課題を設定する. 1 つ目の課題は「議論構造解析」と呼び, 議会議事録の構造である「一括質問・一括答弁」形式から，「一問一答」形式に自動変換することを課題とする. 2 つ目の課題は「議題生成」と呼び, 議論構造解析で得た質問答弁ペアに対して, 対応する議題を生成することを課題とする. 議論構造解析と議題生成についてそれぞれ手法を提案し, 評価実験で有効性を確認する. 最後に付録 A では 2 つの提案手法を組み合わせたシステムを構築し, 議事録から「ネットリポート」を自動生成できることを示す.

## 2 関連研究

## 2.1 議論構造解析の関連研究

テキストを分析・構造化するために, 様々なアプローチが提案されている. その内の 1 つは, 文間での論理構造を見つける修辞構造理論（RST）[1] を用いる方法である. 林ら (2015) は, 修辞構造理論に基づいて談話構造木を導出することで, 談話構造を分析した [2]. 本研究との違いは, 単に文同士を比較する構造化ではなく, 異なる話者のまとまった発話文 （質問答弁ペア）の対応関係を見つける.

## 2.2 議題生成の関連研究

要約テキストを生成する研究は広く行われているが, 特にキーフレーズ抽出・生成が挙げられる.この研究の目的は, 文書を要約するような複数の短いフレーズ表現（キーフレーズ）を抽出, または生成することである. キーフレーズ抽出では, 抽出したキーフレーズ TopicRank[3] や AttentionRank [4] などを用いて順位付けする.キーフレーズ生成では, seq2seq モデル [5][6]を用いてキーフレーズを生成する. 本研究との違いは, 複数の質問答弁に対応する 1 つの議題を生成することである. キーフレーズ研究では複数の短い単語の集合で文書を表すのに対し, 議題は 1つのフレーズで質問答弁を表現する必要がある.

## 3 提案手法

提案手法に基づく「ネットリポート」の自動作成プロセスを図 2 に示す. 3.1 では議論構造化 (1)(2) について, 3.2 では議題生成 (4)(5) について提案手法を紹介する。

## 3.1 議論構造解析

議論構造解析における目的は，「一括質問・一括答弁」形式の議事録を「一問一答」形式へ変換することである.これは, NTCIR-16 QALab-PoliInfo-3 における QA Alignment タスク [7] と同様の問題設定である. 提案手法は,「セグメンテーション」(図2(1)）と，「アライメント」（図2(2)）の2 段階に分けられる.

## 3.1.1 セグメンテーション

セグメンテーションでは, 質問と答弁の境界を見つけ,テキストを分割する。議会における議論は形式化されている. 例えば, 議員は質問を「〜について見解を伺います.」と終えることが多い.このような特徵に着目し, 特定語句にマッチする付録 B の表 5 のような正規表現を作成した. 質問と回答側で異なる正規表現ルールを用いて, 質問の場合はマッチした文の後ろに, 答弁の場合はマッチした文の前に境界を挿入する. 境界に挟まれたテキストはセグメントと呼び，一つの質問と答弁として扱う.またセグメンテーションエラーに対するヒューリスティックな処理として,連続した境界は削除する。

## 3.1.2 アライメント

アライメントでは, 質問と答弁の対応付けを行い 「一問一答」を導出する.まず,Okapi BM25[8] を用いてセグメントをべクトルに変換する. 次に, ベクトル間のマッチングを行う. 質問と回答のぺアは必ず一対一となるため, ベクトル間のコサイン類似度を最大にする完全マッチング問題として解く.この問題を効率的に解くハンガリアン・アルゴリズム [9] が知られており, 提案手法でもこのアルゴリズムを適用する. またセグメンテーションエラーにより,セグメント数が質問と答弁で一致しないことがあるため, その場合はダミーのセグメントを追加して双方の数を合わせることで対応する.

## 3.2 議題生成

ネットリポートにおける議題は, 複数の質問答弁に対してまとめて付けられている.なぜなら,議員は質問を細分化して複数回に渡って質問するからである. したがって, 議題生成における問題設定においても同様に, 複数の質問答弁を与えて 1 つの議題を生成することを目的とする. 質問答弁をどの程度まと

図 2 自動作成システムの処理の流れの概要

めて議題を付けるかについては,ネットリポートの編集者に委ねられる.この処理は図 2 における (3) グループ分けとして示されている. グループ分けの明確な正解は存在しないため, この部分は手動で行い本研究の対象外とする.

3.1 議論構造解析で得た複数の質問答弁から, 議題を生成する. 提案手法では, seq2seq モデルである Transformer[10] を用いて議題を学習・予測する. 複数の質問答弁を入力する都合上, 入力が長くなりテキストの一部が切り捨てられてしまう場合が存在する.このような問題に対処するため, 提案手法では議題候補を抽出する（図 2(4)）. 議題候補を得るために, 回答の先頭文から付録 B の表 6 に示す正規表現で範囲を選択して取り出す. 抽出した議題候補は特殊トークンで区切って全て結合し, 生成モデルを通じて1つの議題を得る（図 2(5)）.また与えられた質問答弁が 1 つの場合, 提案手法は生成モデルを用いずに候補議題を予測としてそのまま出力する． 1 つの質問答弁に対しては, 生成した抽象的な議題よりも, 発話から取り出した抽出的な議題候補が適しているという考えに基づいている。

## 4 評価実験・分析

## 4.1 議論構造解析

## 4.1.1 比較手法

主にアライメントの提案手法の有効性を検証するため, 比較手法を実装する. 加えて, アライメントの上限值として Oracle も実装する。

w/o BM25 類似度計算に BM25 ゙゙クトルのコサイン類似度を用いない比較手法. 代わりに $\mathrm{N}$-gram 集合の一致数を類似度として用いる. 予備実験で最も性能が高かった Tri-gram を採用する.

w/o Hungarian 質問答弁の割り当てにハンガリアン・アルゴリズムを用いない比較手法. 代わりに類似度が最大となるように貪欲に割り当てを行う手法を実装する. また,この手法は一対多または多対一の質問答弁を許す。

Oracle 類似度計算の際に正解の一問一答ペアを参照する. セグメント同士で正解と同じ文ペアが含まれているほど, 類似度が高くなるように算出する.

## 4.1.2 実験設定

データセットと評価方法は, QA Alignment タスク [7] に従う. データセットは 2019～2020 年度のネットリポートである. 具体的な評価方法は, 予測が正解と同じ一問一答ぺアになっているかどうか文単位でカウントし, Precision, Recall, F1 を計算する. 実装において, BM25を適用するためのテキスト分割として MeCab[11]を用いた。

## 4.1.3 実験結果と分析

評価結果を表 1 に示す. まず提案手法は, 既存の検索手法やアルゴリズムを組み合わせたシンプルな手法にも関わらず, F1 は約 8 割以上を達成した. 比較手法である w/o BM25 は, 提案手法と比べやや F 1 が低下した. BM25 は他のセグメントも考慮する点が性能改善につながったと考えられる. w/o Hungarian は, 提案手法と比べ F 1 が大きく低下した. 実際の結果では, 一部のセグメントに偏って割り当てられるケースが多く観察された. 質問と答弁は一対一の関係であるという制約下でアルゴリズムを適用することで, 高い精度で効率的に対応付けを見つけることができる. Oracle の結果から, アライメントの上限値
表 1 議論構造解析における評価結果

は約 9 割であることがわかる.このことから,アライメントの性能を改善するよりも, セグメンテーションの性能に関して改善の余地があると言える.

## 4.2 議題生成

## 4.2.1 比較手法

議題生成における提案手法の有効性を比較するため, 以下の比較手法を実装する。

w/o Transformer Transformerを用いない手法. 代わりに抽出した議題候補を予測としてそのまま出力する. 候補が複数ある場合は, 最初に抽出された議題候補を選ぶ.

w/o 候補入力 Transformerに候補を入力しない手法.代わりに質問答弁の発話テキストをそのまま Transformer に入力し, 学習と予測を行う. 複数の質問答弁は特殊トークンで区切って結合し， モデルに入りきらない長い入力は切り捨てられる。

w/o 候補出力提案手法では与えられた質問答弁が一つの場合に候補議題を直接予測として出力しているが,これを行わない手法. 与えられた質問答弁の数に関わらず, 全てのサンプルに対して議題を生成する。

## 4.2.2 実験設定

データセット作成のため, 公開されている 13 年分の東京都議会ネットレポートを収集した. データセットの統計を表 2 に示す. 表において, $\mathrm{n}$ はサンプル数, avg.src は質問答弁の平均単語数, avg.tgt は議題の平均単語数, avg.qa は与えられる質問答弁の平均数を表す. 評価指標として, 単語 ROUGE-1,2,L[12]表 3 議題生成における評価結果

ROUGE-1 ROUGE-2 ROUGE-L

表 4 出力例

## 新型コロナ対策

質問 1 次に、新型コロナ対策です。岸田政権‥

答弁 1 次に、新型コロナウイルス感染症対策 $\cdots$

質問 2 都の説明では、都内で一日当たり最大 $\cdots$

答弁 2 まず、検査件数でございますが、一日…

の F1 平均値を用いる. 実装として, 学習フレームワークとして fairseq[13] を,トークナイザとして $\mathrm{MeCab}[11]$ を用いる.

## 4.2.3 実験結果と分析

評価結果を表 3 に示す. まず提案手法は, ROUGE-1 で 0.362 を達成した. 性能評価に関する前提として,議題のような短いフレーズの制限下で正解単語を完全に予測することは難しく, 全体的に性能は低下する. 他の性能低下の要因としては, 単なる生成ミスの他, 議題の長さの不一致, そもそも間違った議題候補が入力されることなどが挙げられる. 比較手法である w/o Transformer は, 提案手法と比べ ROUGE が大きく低下した. これは議題候補を出力する抽出手法に比べ, 抽象手法である Transformer による生成が有効であることを示している. w/o 候補入力は, ROUGE がやや低下した. 発話すべてを入力に用いることは，長い入力は壳長で切り捨てられる短所がある一方で, 発話に含まれる情報量が多く候補抽出によるミスもない長所もあるため, 性能差が小さくなったと考えられる. w/o 候補出力は, ROUGE が低下した. 1 つの質問答弁に対しては, 生成した議題よりも抽出した議題候補が適していることを示している.

## 5 おわりに

本研究では，「ネットリポート」の自動作成システムの構築を目的とし, 議論構造解析ではシンプルで有効的な手法を, 議題生成では議題候補と生成モデルを組み合わせる手法を提案した. 最後に, 各提案手法を組み合わせたシステムの出力例を表 4 に一部示し, 詳細は付録 Aに示す.

## 参考文献

[1] WILLIAM C. MANN and SANDRA A. THOMPSON. Rhetorical structure theory: Toward a functional theory of text organization. Text - Interdisciplinary Journal for the Study of Discourse, Vol. 8, No. 3, pp. 243-281, 1988.

[2] 林克彦, 平尾努, 吉田康久, 永田昌明. 修辞構造木ら自動変換した談話依存構造木の性質について. Proceedings of the Twenty-first Annual Meeting of the Association for Natural Language Processing, 2015.

[3] Adrien Bougouin, Florian Boudin, and Béatrice Daille. TopicRank: Graph-based topic ranking for keyphrase extraction. In Proceedings of the Sixth International Joint Conference on Natural Language Processing, pp. 543551, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[4] Haoran Ding and Xiao Luo. AttentionRank: Unsupervised keyphrase extraction using self and cross attentions. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1919-1928, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Rui Meng, Sanqiang Zhao, Shuguang Han, Daqing He, Peter Brusilovsky, and Yu Chi. Deep keyphrase generation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 582-592, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[6] Xingdi Yuan, Tong Wang, Rui Meng, Khushboo Thaker, Peter Brusilovsky, Daqing He, and Adam Trischler. One size does not fit all: Generating and evaluating variable number of keyphrases. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7961-7975, Online, July 2020. Association for Computational Linguistics.

[7] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Kazuma Kadowaki, Tatsunori Mori, Kenji Araki, Teruko Mitamura, and Satoshi Sekine. Overview of the ntcir-16 qa lab-poliinfo-3 task. Proceedings of The 16th NTCIR Conference, 62022.

[8] Stephen Robertson, S. Walker, S. Jones, M. M. HancockBeaulieu, and M. Gatford. Okapi at trec-3. In Overview of the Third Text REtrieval Conference (TREC-3), pp. 109126. Gaithersburg, MD: NIST, January 1995.

[9] H. W. Kuhn and Bryn Yaw. The hungarian method for the assignment problem. Naval Res. Logist. Quart, pp. 83-97, 1955.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[11] T. KUDO. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/,
2005.

[12] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[13] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

## A システム構築

「議題構造分析」と「議題生成」における提案手法を組み合わせ,ネットリポートの自動作成システムを構築する. 図 3 に, システムが実際に出力したデー タの例を示す. 提案手法の結果を HTML+CSS 形式で出力することで, 閲覧者にわかりやすく提示できるようにした. 実際のネットリポートと同様に, 出力結果は一問一答で, 議題がつけられたデータを出力できていることが分かる. 対応するネットリポートは脚注 URL に示す 2$).$

## B 使用した正規表現

表 5 と表 6 に, 実際に用いた正規表現を示す.

表 5 セグメンテーションのための正規表現 (お)?(伺い尋ね)(を)?(いた)?し?(させていただき)?(ます|たい)|(見解|答弁|所見 |課題認識|考え(説明) をお?(求め|伺い聞かせ|尋ね)|(お)?(答え聞かせ)(て|を)?

質問くださいありがとうございましたいかがですか|どうですがでありませんかるものです|(どのように|どう)(考えて(認識して取り組む)のですがでしょうか

(お)?答え (を)?(いた)?(|し申し上げ)ます初めに, 次(いで|に|は), |まず, 他方で, |最後に, 続きまして, 沉ついて (です|であります|でございます)|の (お話

答弁 |お尋ね)(がございました|でございます)|(の|に関する)(ご)?質問で (ございま)?す|(質問|指摘|言及|お尋ね)が?ございました|(質問(指摘)を?いただきました

表 6 候補抽出のための正規表現

開始た, |他方で, |^最後に, ^続きまして, |^ それから, ^^さらに,|^いわゆる,

終了に(ついてやき関する引?答え)|[^に

## 令和四年東京都議会会議録第二号 (2022/2/22)

## 八十二番 (米倉春奈君)

質問八十二番 (米倉春宗君) 都の説明では、都内で一日当たり最大十三万件の検査を行えるはずです。ところが、一日当たりの検直数は、一月第四週の約六万件をピークに減少し、二月第二週は約五万件にすぎません。都のモニタリング会議は、無症状や軽症で検査未実施の感染者が多数型在している状況が危惧されると繰り返し指摘しています。知事、検目数が少な過ぎると思いませんか。検㚗能力を十分活用できていない原因を明らかにし、必要な方か迅速に検査を受けられるようすることを求めます。いかがですか。

答弁福祉保健局健康危機管理担当局長（佐藤智秀君） まず、検査件数でございますが、一日当たりの最大検直実績は、行政検相四万七千件、都の独自検査一万六千件、PCR等検査無料化事業一万二千件、合わせて七万五千件でございます。また、このほか、今般の感染急拡大に伴う措置として、無症状の㴵厚接触者に対し、受診前に自宅で行う検査キットを一日最大四万件配布しているところでございます。

## 一兵問答并 3 検査体制

一質問答弁4 高龄者施設等における検査

図 3 システムの出力結果