WISS 2022

研究概要に基づいて質問を生成する AI システム
大友 千宙 ∗

宮下 芳明 ∗

概要. 本稿では，論文概要を基に言語モデルが生成した質問を提示する AI システムを提案する．学会や研究グループ内で研究発表するとき，事前準備として自ら考えた想定質問を用いることがある．想定質問を用いた発表準備には，予め研究グループの同期や指導教員から質問を集め，本番の質疑応答では想定した質問のみがなされるように期待する文化もある．このような文化では，想定外の質問がなされることがいわば失敗となる．本稿ではそうした集合知的なアプローチですら想定できない質問を集めることこそが発表の意義であると考えた．なぜなら，それこそが研究グループ内で得られない視点だからであり，研究を進めるためのヒントとなるからである．想定外の質問を集めるためには，想定質問に対する回答を全て発表内に含め，想定内の質問はそもそも質問されないようにすることが望ましい．そこで，本稿ではそうした質問を発表準備に活用することを目的とし，論文の概要を基にした質問を AI に生成させるシステムを提案する．

1

はじめに聴衆からの質問が想定質問となるように期待して発表する文化がある．このような文化では，事前に研究グループのメンバーから質問を集め回答を準備しておく．このようにして回答を準備した事柄が質
疑応答で質問されれば，質疑応答を「乗り切る」ことができるかもしれない．
一方，想定質問を別の形で発表準備に活用することで，発表を有益なものにすることができる．想定
質問に対する回答を全て発表内に含めると，質疑応
答では第三者からの鋭い指摘や想定外の質問を得ることが期待される．想定外の質問はこれまでになかった観点から研究を捉え直すきっかけを提供し，研究を進めるためのヒントでもある．質疑応答で様々な指摘や想定外の質問をもらうために，想定質問を多様な観点から考えておくことが望ましい．
しかし，多様な観点から想定質問を考えることは容易ではない．なぜなら，想定質問を考えるのは主に発表者自身や研究グループ内のメンバーであるため，視野の広さには限界があるからである．そのため，発表準備の段階から幅広く客観的に想定質問を考えるためのシステムが必要となる．
本稿では，このような質問を発表準備に活用することを目的とし，言語モデルが研究の概要を基に質問を生成するシステムを提案する．これにより，発表内に多様な観点からの質問への回答を含めることができ，本番の質疑応答ではさらに想定外の質問を促すことができる．また，システムが生成した質問を基に新たな価値や新たな方向性が発見されることも期待できる．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗明治大学

22.1

関連研究
発表準備支援発表準備を支援する研究として，栗原ら [9] のプレゼン先生が存在する．プレゼン先生はプレゼンテーションスキルを底上げさせるために，発表者の行動に応じた様々なフィードバックを提供し，リハーサルを支援する．また，安村ら [8] は論文からプレゼンテーション構成機能やスライドを作成する機能をもつシステムを開発した．
発表支援を行う研究で質問に着目した研究の多くは，発表本番での議論を促すことを目的としている．たとえば，相槌のようなものを視覚化することで議論への参加を促す山田らのわかるらんど [10] や，共有されたスライド等の画像の特定箇所に着目して議論を行える西田らによる Lock-on-Chat[11] 等がある．
これらの質問に着目した研究には，発表準備に活用するものは少ない．本稿では言語モデルが生成した質問を活用することにより発表本番の前に様々な質問を発表準備に活用することを可能にした．

2.2

AI による質問生成

学習支援や議論支援といった研究分野において，言語モデルによる質問を活用している研究がある．
AI を用いた知的学習支援システムに，学習者との対話の中で質問を行い学習者から正しい解答を得られるように導く Watson Tutor[7] がある．また，池田ら [12] は議論におけるファシリテーションを自動で行うエージェントが生成する質問を議論に対して適切なものにする手法を検討している．
だが，発表準備支援において AI が生成するコンテンツを用いたものは少ない．本稿では AI が生成する質問を用いることで，従来の発表準備支援とは異なるアプローチでの支援が行えると考えている．

WISS 2022

図 1. システム概要

33.1

提案システム

本稿で提案するシステムは，ユーザからの入力を基に GPT-3[1] によって質問を生成し，生成された質問を Slack に送信する Slack Bot である．本シス
テムの概要図を図 1 に示す．本システムは AI による質問生成を GPT-3，日英翻訳を DeepL API[2] で行い，システム本体の作成には Python3.8 を用いた．
本システムは，ユーザが論文の概要を Slack Bot に送信することで処理を開始する．入力された概要をDeepL にて英語に翻訳し，その後に Slack Bot がGPT-3 に入力するプロンプトを作成する．このプロンプトを元に GPT-3 が質問を生成し，Slack Botへと送信する．その後，Slack Bot により生成された質問は Slack に投稿され，一連の処理が終了する．

3.2図 2. システム動作例

概要

質問生成

本システムでは，Open AI API[4] から GPT-3 を利用することで質問生成を行った．使用したモデルは規定モデルの text-davinci-002 であり，生成される文章のランダム性をコントロールする Temperatureを最大値の１，生成するトークン数の最大値である
max tokens を途中で文章が途切れないように 400に設定した．GPT-3 のトレーニングに用いられたデータの 93%が英語である [1] ため，生成の精度を考慮しプロンプトは英語で統一した．加えて，本システムで使用するプロンプトは Reynolds らの研究 [6] を参考に構築した．実際に構築したプロン
プトは “Generate ﬁve diﬃcult questions so thatthe discussion heats up for the paper with theabstract cited:” である．また，生成された質問や入力された文章が不適切なものでないかを確認するために Moderation endpoint[3] を用いた．
本稿では，論文の概要を質問生成の対象とした．
概要は論文を簡潔に表し，主な貢献や主張が含まれているため多様な質問が生成されやすいと考えたからである．実際に概要を入力とした場合の動作例を
図 2 に示す．図 2 では「本論文で提案するシステムはどの程度有効か？」などが質問されており，本システムが生成した質問は本稿の主要なトピックから構成されているといえる．

3.3 Slack 上での動作
Slack 上で本システムに向けてメンションを付けたメッセージに対してのみ，質問を生成するようにした．これは質問を生成させる意図がない投稿に対して質問を生成することを防止するためである．本システムがメッセージを投稿する権限を持つのは，招待されたチャンネルとユーザとのダイレクトメッセージのみである．
また，OpenAI の Usage guidelines[5] によると，GPT-3 を用いたアプリケーションを使用する際は，ユーザに AI とやり取りしていることを明示しなければならないとある．そのため，本システムの Slack上での表示名は「質問生成 AI」とし，AI とコミュニケーションをしていることを明記した．さらに，GPT-3 に意図せぬ文章を生成させないために，ユーザが勝手にプロンプトを変更できないようにする必要がある．本システムではプロンプトを事前に構築し，ユーザからの入力は質問を生成するための材料として活用することとした．

4

おわりに

本稿では，発表準備に自分とは異なる観点からの質問を活用することを目的に，言語モデルが生成した質問を Slack 上に送信するシステムを提案した．
現時点ではシステムへの入力は論文の概要であり，有効性の評価も行っていない．また，GPT-3 に与えたプロンプトが質問生成に与える影響の調査が十分ではない．
今後は概要以外を入力とした質問生成と有効性の評価や，議論の活性化への応用を考えている．概要
以外を入力とした質問生成とプロンプトの調整により，自分と異なる観点からの研究を進めるためのヒントとなる質問が生成される入力を決定する．また，本システムを研究室のゼミや WISS2022 で使用してもらい，有効性を評価する．さらに，質問がされないために停滞している議論の活性化にも本システ
ムを応用できると考えている．本システムが生成した質問を質疑応答で実際に質問することによって議論支援への活用も可能であると考えている．

研究概要に基づいて質問を生成する AI システム

参考文献[1] T. Brown, B. Mann, N. Ryder, M. Subbiah,
J. D. Kaplan, P. Dhariwal, A. Neelakantan,
P. Shyam, G. Sastry, and A. Askell. Language models are few-shot learners. In Advancesin neural information processing systems, pp.
1877–1901, 2020.
[2] DeepL. DeepL API. https://www.deepl.com/
ja/docs-api (2022/11/24 確認).
[3] T. Markov, C. Zhang, S. Agarwal, T. Eloundou, T. Lee, S. Adler, A. Jiang, and L. Weng.
A Holistic Approach to Undesired Content Detection in the Real World. In arXiv preprint
arXiv:2208.03274, 2022.
[4] OpenAI. OpenAI API. https://openai.com/api/ (2022/11/24 確認).
[5] OpenAI.
Usage guidelines.
https://beta.
openai.com/docs/usage-policies (2022/11/24 確認).
[6] L. Reynolds and K. McDonell. Prompt programming for large language models: Beyond
the few-shot paradigm. In Extended Abstractsof the 2021 CHI Conference on Human Factors
in Computing Systems, pp. 1–7, 2021.
[7] M. Ventura, M. Chang, P. Foltz, N. Mukhi,
J. Yarbro, A. P. Salverda, J. Behrens, J.-w. Ahn,

未来ビジョン：AI こそができる質問とは2022 年では，AI によるサービスが数多く提供されている．画像生成や文章生成がその代表例である．本稿で用いた GPT-3 もそうした流れの中で活用されている．たとえば，自然言語での指示に基づきプログラミングを行うデモや，文章の校正を行うデモが公開されている．
また，画像生成 AI に狙い通りの画像を生成させるための技法がまとめられたことをはじめとして，AI の扱い方に関する知識がインターネットを中心に広がりを見せている．これから，今後は AI を表現のためのツールとして捉える動きが形成されるのではないかと考えた．
本稿は，AI をツールとして捉えたときにどこまで応用できるかを探索するための第一歩として，人間と同じように質問することができるシステムを提案した．GPT-3 により生成される質問はルールベースの AI でも行えそうな「定番すぎる質問」から「研究の目的を改めT. Ma, T. I. Dhamecha, et al. Preliminary evaluations of a dialogue-based digital tutor. In International Conference on Artiﬁcial Intelligencein Education, pp. 480–483, 2018.
[8] 安村禎明, 武市雅司, 新田克己. 論文からのプレゼンテーション資料の作成支援. 人工知能学会論文誌, pp. 212–220. 一般社団法人 人工知能学会,2003.
[9] 栗原一貴, 後藤真孝, 緒方淳, 松坂要佐, 五十嵐健
夫. プレゼン先生: 音声情報処理と画像情報処理を用いたプレゼンテーションのトレーニングシス
テム. WISS 第 14 回インタラクティブシステムとソフトウェアに関するワークショップ, pp. 59–64,2006.
[10] 山田尚昭, 増井俊之. わかるらんど: IoT 時代の共有情報視覚化. WISS 第 24 回インタラクティ
ブシステムとソフトウェアに関するワークショッ
プ, pp. 303–304, 2016.
[11] 西田健志, 五十嵐健夫. Lock-on-Chat: 複数の話題に分散した会話を促進するチャットシステム.
コンピュータ ソフトウェア, pp. 69–75. 日本ソフトウェア科学会, 2006.
[12] 池田雄斗, 白松俊, 伊藤孝行, 神谷晃, 内藤勝太,
芳野魁, 鈴木祥太. Web 議論の自動ファシリテー
ションのための事前知識を用いた質問生成手法.
人工知能学会研究会資料 言語・音声理解と対話処理研究会 83 回, pp. 25–30. 一般社団法人 人工知能学会, 2018.て問う質問」もある．このどちらの質問も，事あるごとに自身で意識したり身内から質問されたりすることはない．だからこそ，AI が質問することに意義がある．たとえば，自身の研究について理解しているつもりでも，第三者目線からの初歩的な質問に答えられないことがある．このような質問を予め受けておくことで，自身の研究を新たな観点から再発見することができる．
また，AI の生成する質問の態度の変化により人間と AI の対立構造をあえて作り出し，人間同士の協力を促すことができると考えている．AI に生成させる質問をより難解なものにしたり，似通っている質問を繰り返すことでAI を納得させるために人間同士が協力して最適な答えを探すような状況を作り出せる．AI
をツールとして捉えるとき，人間ではやりにくい悪役をあえてやらせるというのはツールとして 1 つの完成形ではないだろうか．