WISS 2023

Serendipity Wall: 会話文字起こしのベクター検索と大規模言語モデルによる議論支援システム
今村 翔太 ∗

平城 裕隆 ∗ †暦本 純一 ∗ ‡概要. グループディスカッションは，新しいアイデアを探求するために重要である議論をサポートする方法のひとつに関連するキーワードや画像の提示がある．しかし，情報の提示に会話の文脈情報が考慮されない傾向があった．そこで本研究では，議論に関連して情報を提示することで，議論を発展させるシステムを提案する．具体例として，HCI 研究者の学術的な議論を取り上げた．議論中，システムは継続的に対話を書き起こし，議論の埋め込みベクトルを生成する．これらのベクトルを既存の研究論文のベクトルと照合し，関連する研究を特定する．そして，LLM が要約しながら，関連する研究を画面に表示する．評価実験において，本システムは議論の話題を広げ，新たな知識の習得を促進する効果があった．本研究は，AIが情報検索，提示，整理による議論支援を行うことで，議論を促進できる可能性を示した．

Summarize
Related Work

This one is…
Visual…

Vector Search

Database
Embedding

MicrophoneSpeech

TranscriptText

図 1. Serendipity Wall は議論の内容に応じて関連情報を提示することで，議論を促進するシステムである．このシステムは，進行中の議論の参加者の発言をリアルタイムで収集し，書き起こす．書き起
こされた文章は時間毎に分割され，埋め込みベクトルに変換される．そして，ベクトル検索によってデータベースから議論に関連する情報を抽出する．
抽出された情報は大規模言語モデルによって要約され，ディスプレイに表示される．

1

はじめに

ブレインストーミングとグループディスカッショ
ンは，創造的な問題解決とアイデア出しのために不可欠な共同活動であり，製品開発，研究，マーケティング，その他様々な分野で広く使われている [10]．先
行研究では，このようなアイデア出しを促進し，活発な議論を促進するためのツールが提案されてきている [2]．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗東京大学
†産総研
‡Sony CSL

議論を活性化する手法として電子的なポストイットによるアイデア出しの支援 [5] やリモート環境でのブレインストーミング [6]，chatbot を用いたファシ
リテーションによる合意形成の支援 [15][11][14][12]などが提案されてきた．これらのデジタルツールが介入することによってアイデアの創出がより円滑に行われている．中でも，議論中の音声から得られるテキスト情報を用いた議論支援としては，Word2Vec[7]で話題を広げる手法が提案されている [4] ほか，議論によって出てきた単語そのものや web 記事に紐づいた画像を提示することで視覚的に活性化する手法が提案されている [16] [1] [13]．
こうした先行研究から LLM はブレインストーミングを拡張して人の認知能力を広めることが期待できる．しかし，先行研究では個別の文書に基づく議論支援が行われておらず，最新の論文のような LLMが知り得ない新たな知見を踏まえて議論した場合の影響が明らかになっていない．また，議論中の会話において既存の研究では単語や Wikipedia データセットを用いた Word2Vec での類義語提示といった単語での支援であり，会話の文脈を踏まえた議論の支援が行われていない．
そこで本研究ではブレインストーミング中の議論を促進するためのシステム，Serendipity Wall（図１）を提案する．Serendipity Wall は，進行中の議論の書き起こしをもとに埋め込みベクトルを生成し，関連する情報データベースをベクトル検索することで，議論の内容に近い情報を提示し，議論を促進し，知識を広げる．

WISS 2023

2実装

2.1

装置

Serendipity Wall は情報提示を行うための出力装置と，収音のためのマイク，Unity による情報提示アプリケーションのフロントエンドシステムと，情報検索のためのローカルで動かす FastAPI サー
バー，関連情報のデータベースとそれらの処理を動かすパソコンから構成される．
出力装置としては複数人が同時に対面でディスカッションをしながら提示される様々な情報を見ることができるように，大型ディスプレイやプロジェクター，複数台のヘッドマウントディスプレイが考えれらる．ケーススタディでは LG 社製 65EG9600 の湾
曲 4K 有機 EL ディスプレイ 6 枚を一体的なディスプレイとして組み合わせた大型ディスプレイ空間を用いた．マイクには Seeed Studio 社製の ReSpeaker
USB Mic Array マイクを使用した．の表示も用意した．
詳細の情報の提示はすでに表示されている研究がベクター検索にて再度，最上位に来た場合に行われた．ただし，特定の研究に偏らないよう，３度目以降の場合には次点以降の研究を表示するようにした．
(A) Visual image & summary of research

Title

MethodTitle
Summary

Visual image
Result

図 2. (A) タイトルと画像を中心にした提示形態．(B)より詳細に説明した提示形態．

埋め込みベクトルとベクター検索

本研究では，埋め込みベクトルは OpenAI 社の提供する Embedding API[8] を用いて生成した．議論支援の対象として Human Computer Interactionの研究アイデアのディスカションを例にシステムの実装を行うこととした．提示する関連情報としては，HCI の主要学会の論文群とした．論文の最初のペー
ジにはタイトルやアブストラクト，キーワードやティザー画像のキャプション情報などが入っており，各研究の内容がまとまっていることが期待できる．そこで，本研究の実装では各研究論文の最初の１ページを埋め込みベクトルとすることにした．また，最新の会話の方向性を反映しやすくするため，会話の内容の 20 秒毎の文字起こしを一つの会話の埋め込みベクトルとすることにした．会話の内容に関連度の高い論文を検索するために，FAISS[3] というベクトルの効率的な類似性検索を行えるライブラリを用いてベクトル検索を行った．
情報の提示は最初は議論のトピックを入力して出てきたベクター検索結果の上位 10 件の関連研究の表示を行った．その後は 20 秒毎に一件ずつ，会話の埋め込みベクトルに近い関連研究を最も関連度合いの低いものを押し出しつつ追加するようにした．
各研究の表示は情報量の異なる二種類のものを用意した（図２）．一つはキービジュアルとタイトル，大規模言語モデルを用いた短文の要約を表示した．
短文要約は論文の最初のページをコンテキストに与えた上で，要点や主張を 30 文字以内に要約するようプロンプトで指示をした．大規模言語モデルにはOpenAI 社の ChatGPT API （GPT-4）[9] を用いた．短文の要約だけでは情報が不足するため，もう一つの表示形態として，キービジュアルとタイトル，大規模言語モデルを用いた課題，手法，結果の要約

Problem

Visual image

3
2.2(B) Detailed information

ケーススタディ提案手法による議論支援の効果を検証するためにHCI 研究に関するディスカッションを行なってもらった．HCI 関連の研究室から 6 名の参加者を集め，各2 名ずつ計３ペア作った．
実験参加者のフィードバックや会話の埋め込みベ
クトルの広がりからは，Serendipity Wall を通じて議論内容に関連した研究の要約を提示することで，話のきっかけが生まれたり，関連した研究やアイデアを手に入れることができ，HCI の研究に関する議論が拡大していることがわかった．また，曖昧なコンセプトから関連した研究をもとに議論の具体化をしたり，写真を活用したコミュニケーションを図ったりといった議論の促進効果も見られた．一方で，現在のシステムは，次々と他の関連した研究を提示していく実装になっており，話が発散してしまった
り，議論を深ぼることが難しいといった欠点があることが明らかになった．

4

議論と今後の課題

本研究では，議論の内容に応じて関連情報を提示することで議論の促進を図るためのシステムを提案した．ケーススタディでは Serendipity Wall を用
いて HCI の研究ディスカッションを行った結果，新たな知見を得たり，議論の円滑化を図ったり，曖昧な関心を具体化したりすることで議論が活発になったり，話が広がる効果があることを確認した．一方で，情報提示の仕方によっては議論の進展を深めることを阻害してしまうという副作用があることも明らかになった．今後，情報の内容や出し方を工夫したり，適応範囲を拡大していくことで，会話の内容に合わせて情報を提示し，議論や情報の取得を促進するアプリケーションを実現していけると考える．

Serendipity Wall: 会話文字起こしのベクター検索と大規模言語モデルによる議論支援システム

謝辞[8] OpenAI, Embeddings - OpenAI API,

本研究は JST ムーンショット型研究開発事業グ
ラント番号 JPMJMS2012, JST CREST グラント
番号 JPMJCR17A3, 国立研究開発法人情報通信研
究機構の委託研究 02901 の支援を受けたもの
です．

[9] OpenAI, GPT models - OpenAI API,

参考文献
[1] S. Andolina, K. Klouche, D. Cabral, T. Ruotsalo, and G. Jacucci. InspirationWall: Supporting Idea Generation Through Automatic Information Exploration. In Proceedings of the 2015
ACM SIGCHI Conference on Creativity andCognition, C&C ’15, pp. 103–106, New York,NY, USA, June 2015. Association for Computing Machinery.
[2] J. Frich, L. MacDonald Vermeulen, C. Remy,M. M. Biskjaer, and P. Dalsgaard. Mapping
the Landscape of Creativity Support Tools inHCI. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems,No. Paper 389 in CHI ’19, pp. 1–18, New York,NY, USA, May 2019. Association for Computing Machinery.
[3] J. Johnson, M. Douze, and H. Jégou. BillionScale Similarity Search with GPUs. IEEETransactions on Big Data, 7(3):535–547, July
2021.
[4] Y. Kita and J. Rekimoto. V8 Storming: HowFar Should Two Ideas Be? In Proceedings ofthe 9th Augmented Human International Conference, No. Article 14 in AH ’18, pp. 1–8,New York, NY, USA, Feb. 2018. Association forComputing Machinery.
[5] S. R. Klemmer, M. W. Newman, R. Farrell,
M. Bilezikjian, and J. A. Landay. The designers’ outpost: a tangible interface for collaborative web site. In Proceedings of the 14th annual
ACM symposium on User interface software andtechnology, UIST ’01, pp. 1–10, New York, NY,USA, Nov. 2001. Association for Computing
Machinery.
[6] K.-D. Le, P. W. Woźniak, A. Alavi, M. Fjeld,and A. Kunz. DigiMetaplan: supporting facilitated brainstorming for distributed businessteams. In Proceedings of the 18th International
Conference on Mobile and Ubiquitous Multimedia, No. Article 36 in MUM ’19, pp. 1–12,
New York, NY, USA, Nov. 2019. Associationfor Computing Machinery.
[7] T. Mikolov, K. Chen, G. Corrado, and J. Dean.
Eﬃcient Estimation of Word Representations
in Vector Space. Proceedings of Workshop atICLR, 2013, 01 2013.

[10] A. Osborn. Applied Imagination: Principles
and Procedures of Creative Problem Solving.
Scribner, New York, 1953.
[11] S. Park, Y. Y. Lee, S. Cho, M. Kim, and J. Lee.
“Knock Knock, Here Is an Answer from NextDoor”: Designing a Knowledge Sharing Chatbot to Connect Residents: Community Chatbot Design Case Study. In Companion Publication of the 2021 Conference on Computer Supported Cooperative Work and Social Computing,
CSCW ’21, pp. 144–148, New York, NY, USA,Oct. 2021. Association for Computing Machinery.
[12] A. Rapp, A. Boldi, L. Curti, A. Perrucci, andR. Simeoni. Collaborating with a Text-BasedChatbot: An Exploration of Real-World Collaboration Strategies Enacted during HumanChatbot Interactions. In Proceedings of the2023 CHI Conference on Human Factors inComputing Systems, No. Article 115 in CHI ’23,pp. 1–17, New York, NY, USA, Apr. 2023. Association for Computing Machinery.
[13] Y. Shi, Y. Wang, Y. Qi, J. Chen, X. Xu, andK.-L. Ma. IdeaWall: Improving Creative Collaboration through Combinatorial Visual Stimuli. In Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Workand Social Computing, CSCW ’17, pp. 594–603,
New York, NY, USA, Feb. 2017. Association forComputing Machinery.
[14] D. Shin, S. Kim, R. Shang, J. Lee, and G. Hsieh.
IntroBot: Exploring the Use of Chatbot-assisted
Familiarization in Online Collaborative Groups.
In Proceedings of the 2023 CHI Conference on
Human Factors in Computing Systems, No. Article 613 in CHI ’23, pp. 1–13, New York, NY,USA, Apr. 2023. Association for Computing
Machinery.
[15] J. Shin, M. A. Hedderich, A. Lucero,and A. Oulasvirta.
Chatbots Facilitating Consensus-Building in Asynchronous CoDesign. In Proceedings of the 35th Annual
ACM Symposium on User Interface Software
and Technology, No. Article 78 in UIST ’22, pp.
1–13, New York, NY, USA, Oct. 2022. Association for Computing Machinery.
[16] H.-C. Wang, D. Cosley, and S. R. Fussell. Idea
expander: supporting group brainstorming withconversationally triggered visual thinking stimuli. In Proceedings of the 2010 ACM conference on Computer supported cooperative work,
CSCW ’10, pp. 103–106, New York, NY, USA,Feb. 2010. Association for Computing Machinery.