情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24017
2024/2/28

Serendipity Wall: 会話文字起こしのベクター検索と大規模言語モデルによる議論支援システム
今村 翔太1,a)

平城 裕隆1,b)

暦本 純一1,2,c)

概要：グループディスカッションは，新しいアイデアを探求するために重要である．その支援手法のひとつに関連するキーワードや画像の提示がある．しかし，情報の提示に会話の文脈情報が考慮されない傾向があった．そこで本研究では，議論に関連して情報を提示することで，議論を発展させるシステムを提案する．具体例として，HCI 研究者の学術的な議論を取り上げた．議論中，システムは継続的に対話を書き起こし，議論の埋め込みベクトルを生成する．これらのベクトルを既存の研究論文のベクトルと照合し，関連する研究を特定する．そして，LLM が要約しながら，関連する研究を画面に表示する．評価実験において，本システムは議論の話題を広げ，新たな知識の習得を促進する効果があった．本研究は，AI が情報検索，提示，整理による議論支援を行うことで，議論を促進できる可能性を示した．

プ全体の創造性を高めることができる．先行研究では，このようなアイデア出しを促進し，活発な議論を促進するた

Summarize
Related Work

This one is…

めの多くのツールが提案されてきている [2], [3]．

Visual…

Vector Search

自然言語処理技術を用いて，文学やジャーナリズムなど
Database
Embedding

Microphone

Speech

図 1

Transcript
Text

様々な文脈でアイデア創出を支援するデジタルツールも提案されている．大規模言語モデル (以下，LLM) の進歩に伴い，インタラクティブなチャット形式が登場し，SF

Serendipity Wall は議論の内容に応じて関連情報を提示する

小説の冒頭のアイデア [4], [5] やプレスリリースのトピッ

ことで，議論を促進するシステムである．このシステムは，進ク [6], [7] をユーザに提供している ．実用的なアイデア生

行中の議論の参加者の発言をリアルタイムで収集し，書き起こ
す．書き起こされた文章は時間毎に分割され，埋め込みベクトルに変換される．そして，ベクトル検索によってデータベース

成タスクでは，Salikutluk ら [8] が，人間がフェルミ推定
問題を解いたデータで GPT-3[9] を訓練することで，LLM

から議論に関連する情報を抽出する．抽出された情報は大規模が人間の能力に近い推論を生成できることを実証した．ま言語モデルによって要約され，ディスプレイに表示される．

た，Summers-Stay ら [10] は，Alternate Users Task のア
イデア生成において，LLM が人間の能力を上回ることを示した．また，LLM との対話は，人間のブレインストー

1. はじめにブレインストーミングとグループディスカッションは，創造的な問題解決とアイデア出しのために不可欠な共同活動であり，製品開発，研究，マーケティング，その他様々な分野で広く使われている [1]．ブレインストーミングセッ
ションは通常，アイデア創出とアイデア共有・増幅の 2 つのフェーズを含む．他の参加者からのフィードバックや洞察を取り入れることで，集団的な双方向性を育み，グルー
1
2
a)
b)
c)

東京大学
ソニーコンピュータサイエンス研究所
imamura.shota.ap@alumni.tsukuba.ac.jp
hiraki-uts1@g.ecc.u-tokyo.ac.jp
rekimoto@acm.org© 2024 Information Processing Society of Japan

ミングセッションで観察されるような認知的多様性を示した [11]．さらに，LLM との対話はソーシャルメディア上での態度の変化を示し [12] ており，LLM と人間の共同作業
が人間の創造性を高める可能性を示唆している．
議論を活性化する手法として電子的なポストイットによるアイデア出しの支援 [13] やリモート環境でのブレイン
ストーミング [14]，chatbot を用いたファシリテーションによる合意形成の支援 [15], [16], [17], [18] などが提案されてきた．これらのデジタルツールが介入することによってアイデアの創出がより円滑に行われている．中でも，議論中の音声から得られるテキスト情報を用いた議論支援としては，Word2Vec[19] で話題を広げる手法が提案されてい146

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24017
2024/2/28

る [20] ほか，議論によって出てきた単語そのものや web 記

WORDCRAFT ら [5] は，物語の文章を書く際に人間と事に紐づいた画像を提示することで視覚的に活性化する手

LLM が共同で執筆するシステムを提案しており，Wordcraft

法が提案されている [21], [22], [23]．

が提案した案が物語の文章に採用されたことを評価しておこうした先行研究から LLM はブレインストーミングを拡張して人の認知能力を広めることが期待できる．しかり，特に文章生成を改善するようなインタフェースも効果があった．

し，先行研究では個別の文書に基づく議論支援が行われMaurice ら [12] は，言語モデルが特定の意見を支持するておらず，最新の論文のような LLM が知り得ない新たな場合の人間側の態度の変化について評価を行っている．言知見を踏まえて議論した場合の影響が明らかになってい語モデルのアシスタントを用いてテキストで議論を行ったない．また，議論中の会話において既存の研究では単語や場合に，被験者のソーシャルメディアでの態度が改善されWikipedia データセットを用いた Word2Vec での類義語提たことを示した．

示といった単語での支援であり，会話の文脈を踏まえた議論の支援が行われていない．

ニュースメディアは存在する枠組みや物語を批判しながら，プレスリリースのような文書を基にストーリーのアイ

そこで本研究ではブレインストーミング中の議論をデアを探る傾向があり，AngleKindling[7] ではジャーナリ促進するためのシステム，Serendipity Wall を提案する．

ストが報道の文章の案を生み出すのに適した方向性を提示

Serendipity Wall は，進行中の議論の書き起こしをもとにした．

埋め込みベクトルを生成し，関連する情報データベースを
ベクトル検索することで，議論の内容に近い情報を提示し，議論を促進し，知識を広げる．

2.2 大規模言語モデルを用いたブレインストーミングの支援

HCI 研究の議論による評価実験を行った結果，ユーザー

創造的なアイデアを生み出すには，異なる視点を考慮すが Serendipity Wall を使って，新しい洞察を生み出したり，る認知的柔軟性が重要と考えられており [30]，ブレインス

関連する画像でディスカッションを促進したり，関連する

トーミングは他者の視点でアイディアを考えられる点で,研究であいまいな関心を明確にしたりすることで，議論を意思決定の場面において広く利用されている．HCI 研究者促進できることが確認できた．

によって，議論中に得られる音声データを解析してアイデ

2. 関連研究2.1 大規模言語モデルを活用したアイデア出し支援
先行研究ではデジタルツールを用いて人間の創造性をより高める手法が提案されてきた [2], [3]．

アの創出を促進するツールが提案されてきた．

IdeaExpander[21] は会話の内容に基づいて動的に画像の刺激を取得し表示することで，視覚的コミュニケーション
チャネルを追加する．IdeaExpander によって，使わない場合に比べてアイディアが平均して 2 つ多く生成された．

GPT3[9] などの自然言語処理の発達によって，大規模言InspirationWall[22] は，音声データをもとに会話の中から語モデルを用いた創作支援が作曲 [24] やテキスト画像生得られたキーワードに基づいて web の情報を検索し，テキ

成 [25], [26], [27] の分野で行われてるようになった．大規

ストで表示する．Ideawall[23] は，口頭での議論から得ら

模言語モデルは大量のドキュメントを用いて知識を獲得しれた情報を継続的に抽出し，その情報を Web 検索によってており，追加の学習をすることなく多くの自然言語処理タ補完する．さらに，情報のビジュアルを視覚的に提示するスクを解決できる．

ことで議論の活性化を提案している．V8storming[20] は，

Sparks[6] では科学文章の生成を行うためのインスピレー

会話の中からキーワードを抽出し，キーワードに関連する

ションの提供を提案している．buncho では日本語での小単語を提示することで，ブレストにおける話題の幅を広げ説執筆を支援する．BunCho[4] を使用すると，キーワード

ることを提案している．BrainFax[31] はオンラインホワイ

からタイトルやあらすじを生成することができ，さらにトボードアプリの Miro の上でテキストから画像を生成す

テーブルトップのロールプレイングゲームとしての対話型ることで，デザインにおけるブレストを活性化している．

ストーリーの制作を行っている．Metaphorian[28] では科

ブレインストーミング中の会話を検索するにあたって，学ライターが広い読者層に対して難解な概念をよりアクセ

これらの研究はキーワードマッチングや Word2Vec[19] とスしやすい方法で伝えるための，メタファー作成支援を提いった NLP 手法が使われてきたが，大規模言語モデルの案している．

発達によって，LLM を用いたアイデア支援の手法も提案

また，近年ではテキストの与え方や例示の仕方によってされている．

LLM の出力が改善されることが知られており，プロンプト

Idea Machine[32] では入力されたアイデアを LLM によっエンジニアリング [29] と呼ばれている．このような LLMて広げたり，書き直したり，既存の二つのアイディアを組との対話による人間の創造活動は，テキストを用いた様々み合わせたりする手法が提案されている．

な活動に広がりつつある．

© 2024 Information Processing Society of Japan

Summers-Stay ら [8] は，ブレストを行う際に GPT-3[9]147情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24017
2024/2/28に与えるプロンプトによって人間より創造性が上がるかをケーションのフロントエンドシステムと，情報検索のため調査した．発散的思考能力（創造性の重要な側面）のテストのローカルで動かす FastAPI サーバー，関連情報のデータである Alternate Uses Task(AUT)[10] のスコアを，LLM

ベースとそれらの処理を動かすパソコンから構成される．

との協調によって向上させられることが明らかになった．

Memmert と Tavanapour[11] は，これまで人間同士で行われてきたブレストで見られていたグループでの認知的刺激の兆候 [33], [34] が，人間と LLM によっても観測できることを示している．

Salikutluk ら [35] は推定問題, つまり”ダッカにはスマー
トフォンのユーザーが何人いますか？ のように不完全な情報から数量を推定する課題を解決するための 議論支援手法を提案した．声に出して考える think-aloud study で観察したところ，人間は推測質問をサブ質問に分解し，意味的に関連した質問に置き換えることが多いことが明らかになった．このデータをもとに GPT-3 を訓練すると GPT3は人間のように，推定問題のサブクエスチョンやそれに関連する質問を考え出すことができるようになった．

図 2

Serendipity Wall は６台の曲面 4K ディスプレイとマイクロフォンから構成され，議論の内容に応じた関連情報を提示する．

これらの LLM による議論支援は，LLM の中にある情報に依存しているため，論文のような最新のデータに基づ
いてアイデア出しを行った場合の影響が明らかになっていない．

3.2 文字起こし
マイクで収音された会話の内容は 20 秒ごとに wav ファ
イルで保存された．保存された音声ファイルは OpenAI 社

2.3 ベクター検索を用いた文書情報検索の提供する Whisper API[42] を用いて文字起こしを行なっ

大規模なドキュメントデータベースから目的のドキュメ

た．文字起こしを行なったテキストは関連情報を検索する

ントを正確かつ高速に見つけることは検索をインタラク

ためのほか，評価のための会話テキストとして保存した．

ティブに行う上で重要である．膨大なデータから検索を行う際には，おおまかに検索して一部を取り出した後に，そ3.3 データベースの中で検索クエリに対して近い順にランキングをつけると本研究では，議論支援の対象として Human Computer

いった二段階のプロセスを行う [36]．特に BERT でのランInteraction の研究アイデアのディスカションを例にシスキングが行われてきた [37], [38] が，マッチングアルゴリズ

テムの実装を行うこととした．提示する関連情報としてムを実行するため計算量が膨大であった．LLM に代表さは，HCI 研究に関する広範囲のテーマをカバーすることれるように Next sentense prediction や Masked Language

から，CHI2023 から 874 件の論文を対象とすることとしMOdelling などの表現学習を用いた言語モデルが提案された．CHI2023 の研究論文に関するデータベースを構築することで，ベクトル埋め込みを用いたインデックスによるるために，まず，ACM Digital Library より CHI2023[43]検索が提案されてきた．文章ベクトルと入力のクエリを文のプロシーディングスの PDF をダウンロードした．そし章ベクトルに埋め込むと，最近傍探索問題として実行できて Python を用いて，その PDF のパースを行い，PDF のるほか，また，LLM と最近傍検索の組み合わせは少ないパ

冒頭にある研究に関連する部分以外については除外した上ラメーターのモデルであっても実行でき，追加学習なく性

で， ABSTRACT という文字を含むページで分割を行っ能を発揮できる． このようなベクトル埋め込みを用いた最た．これにより CHI2023 から 874 件の論文の PDF を取得

近傍検索は Faiss[39] や SPTAG[40] が提案されており，要した．

約の生成 [41] にも用いられている．

3. 手法
3.1 システム構成

次に，各研究の PDF の最初のページの上半分と，各論文

PDF 画像中で最初に出てくる写真の抽出を行った．なるべ
く研究を象徴するキービジュアルとなる画像を抽出できる
ように，抽出した最初のページ上部の画像と論文中の最初本研究では議論を支援するために，議論の会話内容に合に出てくる画像の内，より色彩が豊かな方の画像をキービわせて関連情報を提示する Serendipity Wall を実装した．

ジュアルとして採用してデータベースに保存した．なお，

Serendipity Wall は情報提示を行うための大型ディスプレ

論文中で画像を用いていない論文に関しては，そのまま最イ群と，収音のためのマイク，Unity による情報提示アプリ

初のページの上半分をキービジュアルとして取り扱った．

© 2024 Information Processing Society of Japan148

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

(A) 更新前

INT24017
2024/2/28(C) 挿⼊とスライド(B) 挿⼊位置の選択

図 3

情報の更新

3.4 埋め込みベクトルとベクター検索

文字以内に要約するようプロンプトで指示をした．大規

多くの論文文献の中から会話の内容に近い文献を探せる

模言語モデルには OpenAI 社の ChatGPT API （GPT-4）

ようにするため，埋め込みベクトル [19] を作成した．埋め[45] を用いた．短文の要約だけでは情報が不足するため，込みベクトルは自然言語処理で使われる手法の一つで，単もう一つの表示形態として，キービジュアルとタイトル，

語やフレーズを高品質な分散ベクトル表現に変換する．埋大規模言語モデルを用いた課題，手法，結果の要約の表示

め込みベクトルは，各単語や文の意味や文脈を捉えることも用意した．

ができる．似たような意味を持つ単語や表現は，埋め込み空間ではより近くにマッピングされる傾向がある．この性(A) Visual image & summary of research(B) Detailed information

質を用いて情報検索においても活用されている．

Title
Visual image

本研究では，埋め込みベクトルは OpenAI 社の提供する

MethodEmbedding API[44] を用いて生成した．この API の生成

Title

する埋め込みベクトルは 1536 次元となっている．一度に字程度である．論文の最初のページにはタイトルやアブス

Visual image

Summary

埋め込みベクトルにできる最大トークン数が決まっており，

8191 トークンとなっている．これは英文字にして 1000 文

Problem

図4

Result(A) タイトルと画像を中心にした提示形態．(B) より詳細に説明した提示形態．

トラクト，キーワードやティザー画像のキャプション情報などが入っており，各研究の内容がまとまっていることが詳細の情報の提示はすでに表示されている研究がベク期待できる．そこで，本研究の実装では各研究論文の最初

ター検索にて再度，最上位に来た場合に行われた．ただし，の１ページを埋め込みベクトルとすることにした．また，特定の研究に偏らないよう，３度目以降の場合には次点以

最新の会話の方向性を反映しやすくするため，会話の内容

降の研究を表示するようにした．

の 20 秒毎の文字起こしを一つの会話の埋め込みベクトルとすることにした．

3.6 装置について

会話の内容に関連度の高い論文を検索するために，複数人が同時に対面でディスカッションをしながら提FAISS[39] というベクトルの効率的な類似性検索を行え示される様々な情報を見ることができるように，LG 社製

るライブラリを用いてベクトル検索を行った．ベクトル検

65EG9600 の湾曲 4K 有機 EL ディスプレイ 6 枚を一体的

索はローカルマシン上で稼働させた Python の Web API

なディスプレイとして組み合わせた大型ディスプレイ空間

サーバーである Fast API のコード上で実行された．

を実装した．ただし，計算機の負荷低減のために各ディス
プレイは HD 画質での出力としたため，全体の解像度は3.5 情報の提示

5760*2160 である．

情報の提示は最初は議論のトピック（例えば「AI の活用

また，複数人の話者の声を拾えるように，Seeed Studio

方法について」など）を入力して出てきたベクター検索結社製の ReSpeaker USB Mic Array マイクをスタンドの上果の上位 10 件の関連研究の表示を行った．その後は 20 秒に設置して使用した．

毎に一件ずつ，会話の埋め込みベクトルに近い関連研究を追加するようにした．追加は左右両端にある計 4 件の表示のうち，最も関連度合いの低いものを押し出すように反対

4. 評価
4.1 評価実験側に新しい研究の情報パネルを挿入して行った（図３）．

提案手法による議論支援の効果を検証するために提案手

各研究の表示は情報量の異なる二種類のものを用意した法を用いて HCI 研究に関するディスカッションを行なっ（図４）．一つはキービジュアルとタイトル，大規模言語モてもらう実験（図５）を実施した．HCI に関連する研究室

デルを用いた短文の要約を表示した．短文要約は論文の最から 6 名の HCI の研究者及び学生を集めた．同一の研究初のページをコンテキストに与えた上で，要点や主張を 30室から各 2 名ずつの研究者のペアを計３ペア作った．いずれの実験参加者も日本語のネイティブ話者であった．この© 2024 Information Processing Society of Japan149

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

ため関連情報の要約の提示や議論については日本語で行われた．各ペアは 15 分間の HCI の研究に関するディスカッ
ションを 2 回行ってもらった．各ディスカッションにおい

INT24017
2024/2/28

Q9. 表示形態や欲しい情報についての意見
4.2.2 会話ベクトルによる評価
会話ベクトルを用いて，議論の広がりについても評価しては参加者の研究内容や興味関心に応じたトピックを 1 つた．まず，評価議論中の発話の文字起こしを 20 秒毎に埋ずつ設定した．例えば，「モビリティを活用した新しい研

め込みベクトルにした．次に，一つのディスカションセッ

究アイデア」といったトピックがあった．一方のディスカション中の各埋め込みベクトルとのコサイン類似度を計算

ションでは提案手法を用いてトピックに関連する研究を表し，その平均と標準偏差を各手法毎に導出した．この cos

示した中でディスカションを行なってもらい，もう一方の類似度の平均と標準偏差をもとに議論の広がりを評価しディスカションではトピックのみを決めて自由にディスカた．潜在空間の中での変化が分かりやすくなるよう，CHI

ションを行なっていただいた．実験参加者らには，トピッの論文の埋め込みベクトルの平均を HCI の研究の部分空クに関連して，より多くのアイデアや広いアイデアについ間であると見做して，会話ベクトルの原点を CHI の論文て議論してもらうようにした．特に特定の結論を出したり，の埋め込みベクトルの平均へと動かした上でコサイン類似

批判的な議論を行う必要はないことを説明した上でディス度とその分散の計算を行なった．

カションを行なっていただいた．

4.3 会話のボキャブラリーの多様性の評価
議論に置いて用いられている語彙のボキャブラリーを評価することで議論の特性を評価した．語彙の多様性はMATTR[46] と MTLD[47] の２つの指標を用いて評価した．MATTR のウィンドウサイズは 100，MTLD の閾値は0.72 に設定した．議論は日本語で行われているため，まず文字起こしを日本語の形態素解析ツールである Mecab[48]で形態素解析を行った．その上で，名詞，動詞，形容詞のみを抽出し，それらをトークンとして MATTR と MTLDで評価した．
図 5

2 名の実験参加者が Serendipity Wall の前で議論している
様子

4.4 主観的評価の結果
アンケートの Q1 から Q7 の回答結果は図 6 に示した通りであった．

4.2 評価指標

提示されている研究の議論への関連度合いについては 6

主観的な評価と会話の埋め込みベクトル，会話のボキャ

人中 6 人が関連しているもしくはある程度関連しているとブラリーの多様性の３つの指標をもとに本システムを評価回答した (Q1)．また，5 名が関連情報の提示が議論の促進した．

に役だったと回答した (Q2)．関連研究の提示は「新しい話4.2.1 主観的な評価

題を話し始めるのに役に立った (P1)」といったように，話ディスカションを終了した後にアンケートに回答してい題のきっかけとして活用されていた．また，「表示された

ただき，以下の項目について回答を得た．

研究について話しているとしっかりその詳細が出たので，

Q1. 議論に関連する研究が出てきたか？

役に立った（P5)」といった感想もあった．また，関連しQ2. 関連研究の情報提示は議論の促進に役立ったか？

た研究の写真を活用して議論を促進できたというフィードQ3. 情報提示により研究アイデアを具体化するためのヒ

バックもあった．「自分がそれらの研究に関して知識があントを得ることはできたか？

Q4. 情報提示により新しい関連研究に触れることができたか？

る場合，話している内容と直接関係がなくても，類似した別の研究の画像などを使って，他者に説明することができた（P4)．」「絵が出てきたのが役立った．自分の専門外のQ5. 情報提示の関連研究の情報量が適切だったか？

分野について，情報提示がなければジェスチャーだけにな

Q6. 情報提示で一度に表示される研究の数が適切だっるところを，絵があることでさらに理解しやすくなった．

たか？

Q7. 情報提示ありの場合と情報提示なしの場合でどちらがより議論が盛り上がったか？

Q8. 関連研究の情報提示が役立った，もしくは役立たなかった理由© 2024 Information Processing Society of Japan(P3)」
6 人中 6 人が新しい関連研究に触れることができたと回答した (Q4)．「類似の研究が表示されることで，それまで知らなかったその論文を読んでみようと思った．
」「同じト
ピックの用語をもとに論文がどんどん連想されてよかっ150

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24017
2024/2/28

中⽴
議論に関連する研究が出てきたか？

関連していない３３

関連していた関連研究の情報提示は議論の促進に役立ったか？

１

役⽴たなかった

１

４

役⽴った

情報提示により研究アイデアを具体化するためのヒントを得ることはできたか？

役⽴たなかった

２

１

２

役⽴った

１

情報提示により新しい関連研究に触れることができたか？

役⽴たなかった

１

５

役⽴った

関連研究の情報量が適切だったか？

少なかった

３

２

多かった

１

一度に表示される研究の数が適切だったか？

1

少なかった

２

２

１

多かった

どちらがより議論が盛り上がったか？

⽀援なし

1

２

図 6

２

１

⽀援あり

主観的評価の結果た．実際に使えそうな関連研究を見つけられた．」といった指摘があった．

提示されている情報量については各研究毎の情報量としてはやや多いが 1 名，ちょうどいいが 3 名，やや少ないが一方で，提示情報をもとに，持っているアイデアを具体

2 名であった (Q5)．一度に表示される関連研究の数は多い化していくという点に関しては 6 人中 3 人が役立つ，ある

１名，やや多い 2 名，ちょうど良い１名，やや少ないが 1程度役立つと回答したが，2 人はあまり役立たないと回答し名であった (Q6)．
「もう少し短文でまとまっていると見やた (Q3)．具体化に役立ったと回答した人からは，「補助すすい（P1）」，「表示する研究の数を減らして，もう少しテる存在の特性のような，抽象的な話題の時に，それに関す

キスト情報を表示きて欲しかったように思いました．もうる論文が出てきたことで，それをフックに議論することが少し文章量が多い方が個人的には嬉しかった．
（P2）
」と人

でき，議論がしやすかった．（P3）」といった理由が上がっ

によって欲しい情報量には違いがあった．

た．一方で，具体化にはあまり役立たなかった理由として「自動で表示されるだけでなくて，触れると情報をもっは「議論を深める前に画面が変わるので広く浅く話しがちと開示できる，スワイプして見飽きた研究を画面外に出すであった．（P1）」，「知らない研究を知ることができ，よりなどインタラクションがあると良いと思った（P2）」といっ

内容を知りたいものがあったが，表示されている内容が限た指摘もあった．

定的で理解を深めることができなかった．(P2)」，「新しい

また，関連研究の提示だけでなく，特定の専門単語やコ研究がポップアップされるとすぐその話題に行くので，話ンセプトなどについての解説を加えることへの希望も複を深めるという点においては不向きかもしれない．話を発数あった．「専門的な装置や指標の話をしている際に，写散させるだけでなく，話を深める方向に研究を表示できる

真，測定する項目など，相手のイメージを補助するものやともっと良くなりそう．（P5）」といった指摘があった．

細かい事項を直接的に提示してくれると，説明が楽になる

総じて関連研究の情報提示のある場合とない場合で，どちらが議論が活発になったかについては，1 名が情報提示と思った．(P3)」「論文に使われている言葉がそもそもわからなくて，深掘りできない場面があった（P6）」あり，2 名がどちらかといえば情報提示あり，中立が 2 名，

配置や表示形態に関してのフィードバックもあった．
「研

情報提示がないほうが議論が活発になったが 1 名であった

究の詳細は，その研究の近くに置いて，ちょっと大きく表(Q7）．情報提示がないほうがよかったと回答した人はその示してほしい（P5)」「動画コンテンツなどバリエーション

理由について，「新しい話題を始めるのには役だったが，議があっても良い（P4)」

論を深める前に画面が切り替わってしまい広く浅く話しがちであった (P1)」ことを理由に挙げた．

© 2024 Information Processing Society of Japan151

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

4.5 会話ベクトルによる評価結果

INT24017
2024/2/28

いった議論の促進効果も見られた．

15 分間の議論を 20 秒毎に埋め込みベクトルに変換し，一方で，現在のシステムは，一度は議論の内容に合わせ

HCI の研究の部分空間に変換したベクトルの cos 類似度のて研究の詳細について提示するものの，その後は次々と他

平均と標準偏差を導出した（図６）．Serendipity Wall を利の関連した研究を提示していく実装になっており，話が発用したときは，コサイン類似度の平均は 0.495，標準偏差

散してしまったり，議論を深ぼることが難しいといった欠は 0.109 であった．一方，Serendipity Wall を用いなかっ点があることが明らかになった．様々な研究に触れたり，た場合には，コサイン類似度の平均は 0.522，標準偏差はアイデアを入手するのか，アイデアを深めていきたいのか

0.096 であった．会話ベクトルが空間中でより広がっていといった議論の目的によっても必要な支援が変わってくることから，Serendipity Wall による関連研究の情報提示る．提示処理や形態にバリュエーションを持たせるといっがある場合には，より広くの研究についての会話が行われたシステムの改善が必要であると考えられる．また，実験ていることが窺われる．対して，Serendipity Wall を用いの議論テーマの設定を工夫して議論の発散や収束のフェーない場合には，会話ベクトルの広がりは狭くなっており，ズを再現することで，各提示処理や形態を評価していくこ

より狭い話題を集中して話している傾向が窺われる．

とも考えられる．
特に特定研究や特定の用語についての詳細が知りたい場

Serendipity Wallを使⽤した場合

Serendipity Wallを使⽤しない場合合に関しては，単に議論の内容に関連した研究を提示する
だけではなく，会話の内容から他の研究を見たいのか，特定の研究や概念について掘り下げていきたいのかを判定す
る処理を追加することが考えられる．これにより他の関連研究を提示するのか，特定の研究のさらに知りたい部分の詳細についてを，特定の論文内のベクター検索や大規模言

平均cos類似度: 0.495
cos類似度の標準偏差: 0.109

平均cos類似度: 0.522
cos類似度の標準偏差: 0.096

語モデルの要約を通じて提示してあげるのかといった処理の切り分けを行うことができるようになる．あるいは深掘

図7

Serendipity Wall を用いた場合と用いなかった場合の各論文と会話のベクトルを次元圧縮して示した．緑色の点は CHI2023の各研究の次元圧縮結果である．それ以外の点は 20 秒毎の会

りした情報と発散させる情報の両方を表示し，議論の変遷を元にして提示していく情報のバランスを調整することも話のベクトルの次元圧縮結果であり，時系列の変化に合わせて考えられる．また，これまでの議論を大規模言語モデルを

青色から赤色に着色している．

利用して整理したり，アイデア出しをするといった支援のあり方も考えられる．
さらに，評価実験では特定の用語や装置の説明が難し

4.6 ボキャブラリーによる評価結果

かったり，用語が分からないために議論が深まらなかった

15 分間の議論全体を用いて MATTR と MTLD を導出しといった例があった．関連研究以外にも関連情報を提示すた．その結果，Serendipity Wall を通じた関連研究の情報ることで，議論の促進がより図れたといったフィードバッ

提示を行なっていた場合には，MATTR は 0.685，MTLDクがあった．関連研究データベース以外にも，必要に応じは 54.8 になった．一方で，Serendipity Wall を用いなかって広くインターネットの情報を検索したり，大規模言語モた場合には，MATTR は 0.715，MTLD は 82.6 になった．

デルを用いて説明をこなったりするといった機能を実装す

Serendipity Wall を用いない場合には，いずれの実験参加ることができれば，さらなる議論の促進につながる可能性

者のペアの場合にも，MATTR，MTLD はより大きな値をがある．

示しており，Serendipity Wall を用いないほうが会話に用いられる語彙の多様性があることが窺われる．

5. 議論
5.1 議論支援による議論の広がり

また，本研究では，関連研究の提示により議論支援を行なった場合の方が語彙の多様性が低下するといった結果となった．議論は広く浅くなった傾向が定性的なフィード
バックや埋め込みベクトルからは示されているが，語彙の多様さといった観点ではトピックのみを決めて自由にディ

実験参加者のフィードバックやベクターの広がりからスカッションを行う方が広くなるということになる．これは，Serendipity Wall を通じて議論内容に関連した研究のは関連情報の提示により，触れられる研究の内容は広がっ

要約を提示することで，話のきっかけが生まれたり，関連ているものの，使用される単語は偏っているということをした研究やアイデアを手に入れることができ，HCI の研示唆している．

究に関する議論が拡大していることがわかった．また，曖昧なコンセプトから関連した研究をもとに議論の具体化をしたり，写真を活用したコミュニケーションを図ったりと© 2024 Information Processing Society of Japan

5.2 情報の配置と更新について
本研究の実装では簡単のために，左右から関連度の低い

152

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24017
2024/2/28

情報を押し出す形で新しい情報を差し込むといった実装には多様な分野で重要となる共同作業形態であり，他の分野なっている．そのため，関連研究の詳細を提示が，元の関での応用を模索していくことが重要である．研究以外の用連研究の詳細の位置と離れてしまった場合もあった．情報途に活用する場合に，どういった情報を提示するのかや，の関連度に応じて隣接関係がわかる配置にしたり，追加のディスカションの影響に変化がありうるのかといった部分

関連情報は隣接して表示することで，分かりやすさを向上に関して評価を行うことが必要であると考えられる．

することができると考えられる．

また，Serendipity Wall の実装と評価は大型ディスプレ

また，情報の更新頻度も 20 秒に一回一つずつと一定のイ空間を用いて行われた．より小型のディスプレイを用い速度で行われていた．情報の更新頻度や，埋め込みベクト

た場合にどのような違いが出るのかについて評価すること

ルを作成する会話の時間単位が 20 秒で良いのか，一定のも必要である．また，ビデオ会議の内容に合わせて関連情速度で良いのかについても調整や評価が必要であると考え報を提示するといった用途も考えられる．さらには情報をられる．

広く空間に提示するということでいくと，仮想現実や拡張

また，発話内容に関連した情報提示を通じてブレインス

現実のヘッドマウントディスプレイを通じた共創作業におトーミングを促進する研究にはキーワードや写真のみを提ける活用も見込むことができる．こうした多様な形態にお示する先行研究もある．Serendipity Wall では情報の要約

ける情報提示形態の模索や，共創作業への影響について評など情報量を多く提示するといったシステムになってい価していくことで，本研究の成果をより広い範囲で活用しる．情報量の寡多や提示情報の種類によって議論にどのよていける可能性がある．

うな変化を及ぼしうるのかについて調査する必要がある．

6. おわりに本研究では，議論の内容に応じて関連情報を提示するこ

5.3 入力の多様化
本研究においては会話の音声の文字起こしのみを入力にとで議論の促進を図るためのシステム，Serendipity Wall

使用している．しかし，音声の文字起こしにはいくつか限を提案した．ケーススタディでは Serendipity Wall を用い界がある．まず，発話していない場合に関心を特定するこて HCI の研究ディスカッションを行った結果，新たな知とが困難である．加えて文字起こしの精度が特に専門用語見を得たり，議論の円滑化を図ったり，曖昧な関心を具体や固有名詞などの場合には完璧ではない場合も多い．さら化したりすることで議論が活発になったり，話が広がる効に会話中にある「あれ」や「それ」といった指示語を特定

果があることを確認した．一方で，情報提示の仕方によっすることが音声文字起こしだけでは困難である．そこで会ては議論の進展を深めることを阻害してしまうという副作話に参加している視線をトラッキングして，注視対象を元用があることも明らかになった．今後，情報の内容や出しに関心情報の入力を補うというアプローチが考えられる．

方を工夫したり，適応範囲を拡大していくことで，会話の例えば，視線の注視時間や領域を元に，注視対象の埋め込

内容に合わせて情報を提示し，議論や情報の取得を促進す

みベクトルに重み付けを行い，会話の埋め込みベクトルとるアプリケーションを実現していけると考える．

合わせて，関心情報の埋め込みベクトルを構成するといった実装がありえる．

謝辞

音声情報と視線情報を組み合わせたマルチモーダルな入本 研 究 は JST ム ー ン シ ョ ッ ト 型 研 究 開 発 事 業 グ ラ

力により，関連情報の推薦精度をあげたり，発言をしていント番号 JPMJMS2012, JST CREST グラント番号 JP-

ない参加者の意図も汲み取ったりすることでより良い議論

MJCR17A3, 国立研究開発法人情報通信研究機構の委託研

支援につながる可能性がある．また，一人で利用している

究

02901

の支援を受けたものです．

場合のアイデア出しや情報探索にも活用しやすいアプリ
ケーションになることも考えられる．
加えて，どこを見ているのかといった情報を入手するこ

参考文献
[1]

とができれば，見られている場所の周辺に情報を提示していくといった実装も可能となる．視線情報を活用して，情[2]報の可視化やレイアウトの工夫にも活用していける可能性がある．

5.4 研究以外の用途への適用拡大と装置の多様化
本研究における評価は研究ディスカションのみをテーマして行われた．しかし，ブレインストーミングやグループ
ディスカッションによる課題解決やアイデア出しというの© 2024 Information Processing Society of Japan[3]

Alex Osborn. Applied Imagination: Principles and Procedures of Creative Problem Solving. Scribner, New
York, 1953.
Jonas Frich, Lindsay MacDonald Vermeulen, ChristianRemy, Michael Mose Biskjaer, and Peter Dalsgaard.
Mapping the landscape of creativity support tools in
HCI. In Proceedings of the 2019 CHI Conference on
Human Factors in Computing Systems, number Paper
389 in CHI ’19, pages 1–18, New York, NY, USA, May
2019. Association for Computing Machinery.
Ben Shneiderman. Creativity support tools: accelerating
discovery and innovation. Commun. ACM, 50(12):20–
32, December 2007.

153情報処理学会 インタラクション 2024
IPSJ Interaction 2024

[4]

[5]

[6]

[7]

[8]

[9]

[10]
[11]

[12]

[13]

Hiroyuki Osone, Jun-Li Lu, and Yoichi Ochiai. BunCho:
AI supported story Co-Creation via unsupervised multitask learning to increase writers’ creativity in japanese.
In Extended Abstracts of the 2021 CHI Conference on
Human Factors in Computing Systems, number Article
19 in CHI EA ’21, pages 1–10, New York, NY, USA, May
2021. Association for Computing Machinery.
Ann Yuan, Andy Coenen, Emily Reif, and Daphne Ippolito. Wordcraft: Story writing with large language
models. In 27th International Conference on Intelligent
User Interfaces, IUI ’22, pages 841–852, New York, NY,
USA, March 2022. Association for Computing Machinery.
Katy Ilonka Gero, Vivian Liu, and Lydia Chilton.
Sparks: Inspiration for science writing using language
models. In Proceedings of the 2022 ACM Designing Interactive Systems Conference, DIS ’22, pages 1002–1019,
New York, NY, USA, June 2022. Association for Computing Machinery.
Savvas Petridis, Nicholas Diakopoulos, Kevin Crowston,Mark Hansen, Keren Henderson, Stan Jastrzebski, Jeffrey V Nickerson, and Lydia B Chilton. AngleKindling:
Supporting journalistic angle ideation with large language models. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, number
Article 225 in CHI ’23, pages 1–16, New York, NY, USA,
April 2023. Association for Computing Machinery.
Douglas Summers-Stay, Clare R. Voss, and Stephanie M.
Lukin. Brainstorm, then select: a generative language
model improves its creativity score. In The AAAI-23
Workshop on Creative AI Across Modalities, 2023.
Tom Brown, Benjamin Mann, Nick Ryder, Melanie
Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind
Neelakantan, Pranav Shyam, Girish Sastry, Amanda
Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen
Krueger, Tom Henighan, Rewon Child, Aditya Ramesh,
Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse,Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray,
Benjamin Chess, Jack Clark, Christopher Berner, Sam
McCandlish, Alec Radford, Ilya Sutskever, and Dario
Amodei. Language models are few-shot learners. In
H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and
H. Lin, editors, Advances in Neural Information Processing Systems, volume 33, pages 1877–1901. Curran
Associates, Inc., 2020.
Christensen P. R. Merrifield P. R. Wilson R. C. Guilford,
J. P. Alternate uses (altus). APA PsycTests, 1960.
Lucas Memmert and Navid Tavanapour. TOWARDSHUMAN-AI-COLLABORATION IN BRAINSTORMING: EMPIRICAL INSIGHTS INTO THE PERCEPTION OF WORKING WITH a GENERATIVE AI. page429, 2023.
Maurice Jakesch, Advait Bhat, Daniel Buschek, Lior Zalmanson, and Mor Naaman. Co-Writing with opinionatedlanguage models affects users’ views. In Proceedings ofthe 2023 CHI Conference on Human Factors in Computing Systems, number Article 111 in CHI ’23, pages
1–15, New York, NY, USA, April 2023. Association for
Computing Machinery.
Scott R Klemmer, Mark W Newman, Ryan Farrell, Mark
Bilezikjian, and James A Landay. The designers’ outpost: a tangible interface for collaborative web site. In
Proceedings of the 14th annual ACM symposium on
User interface software and technology, UIST ’01, pages
1–10, New York, NY, USA, November 2001. Association
for Computing Machinery.

© 2024 Information Processing Society of Japan

INT24017
2024/2/28

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

Khanh-Duy Le, Pawel W Woźniak, Ali Alavi, Morten
Fjeld, and Andreas Kunz. DigiMetaplan: supporting facilitated brainstorming for distributed business teams.
In Proceedings of the 18th International Conference on
Mobile and Ubiquitous Multimedia, number Article 36
in MUM ’19, pages 1–12, New York, NY, USA, November 2019. Association for Computing Machinery.
Joongi Shin, Michael A Hedderich, Andrés Lucero,and Antti Oulasvirta. Chatbots facilitating ConsensusBuilding in asynchronous Co-Design. In Proceedings ofthe 35th Annual ACM Symposium on User Interface
Software and Technology, number Article 78 in UIST
’22, pages 1–13, New York, NY, USA, October 2022. Association for Computing Machinery.
Sangah Park, Yoon Young Lee, Soobin Cho, Minjoon
Kim, and Joongseek Lee. “knock knock, here is an answer from next door”: Designing a knowledge sharing
chatbot to connect residents: Community chatbot design case study. In Companion Publication of the 2021
Conference on Computer Supported Cooperative Workand Social Computing, CSCW ’21, pages 144–148, New
York, NY, USA, October 2021. Association for Computing Machinery.
Donghoon Shin, Soomin Kim, Ruoxi Shang, Joonhwan
Lee, and Gary Hsieh. IntroBot: Exploring the use ofchatbot-assisted familiarization in online collaborative
groups. In Proceedings of the 2023 CHI Conference on
Human Factors in Computing Systems, number Article
613 in CHI ’23, pages 1–13, New York, NY, USA, April
2023. Association for Computing Machinery.
Amon Rapp, Arianna Boldi, Lorenzo Curti, Alessandro
Perrucci, and Rossana Simeoni. Collaborating with a
Text-Based chatbot: An exploration of Real-World collaboration strategies enacted during Human-Chatbot interactions. In Proceedings of the 2023 CHI Conferenceon Human Factors in Computing Systems, number Article 115 in CHI ’23, pages 1–17, New York, NY, USA,
April 2023. Association for Computing Machinery.
Tomas Mikolov, Kai Chen, G.s Corrado, and Jeffrey
Dean. Efficient estimation of word representations in vector space. Proceedings of Workshop at ICLR, 2013, 01
2013.
Yui Kita and Jun Rekimoto. V8 storming: How far
should two ideas be? In Proceedings of the 9th Augmented Human International Conference, number Article 14 in AH ’18, pages 1–8, New York, NY, USA, February 2018. Association for Computing Machinery.
Hao-Chuan Wang, Dan Cosley, and Susan R Fussell. Idea
expander: supporting group brainstorming with conversationally triggered visual thinking stimuli. In Proceedings of the 2010 ACM conference on Computer supported cooperative work, CSCW ’10, pages 103–106, New
York, NY, USA, February 2010. Association for Computing Machinery.
Salvatore Andolina, Khalil Klouche, Diogo Cabral,
Tuukka Ruotsalo, and Giulio Jacucci. InspirationWall:
Supporting idea generation through automatic information exploration. In Proceedings of the 2015 ACM
SIGCHI Conference on Creativity and Cognition, C&C’15, pages 103–106, New York, NY, USA, June 2015.
Association for Computing Machinery.
Yang Shi, Yang Wang, Ye Qi, John Chen, Xiaoyao Xu,
and Kwan-Liu Ma. IdeaWall: Improving creative collaboration through combinatorial visual stimuli. In Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing, CSCW

154

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

’17, pages 594–603, New York, NY, USA, February 2017.
Association for Computing Machinery.
Ryan Louie, Andy Coenen, Cheng Zhi Huang, Michael
Terry, and Carrie J. Cai. Novice-ai music co-creation via
ai-steering tools for deep generative models. In Proceedings of the 2020 CHI Conference on Human Factors
in Computing Systems, CHI ’20, page 1–13, New York,NY, USA, 2020. Association for Computing Machinery.
Vivian Liu and Lydia B Chilton. Design guidelines forprompt engineering text-to-image generative models. In
Proceedings of the 2022 CHI Conference on Human
Factors in Computing Systems, CHI ’22, New York, NY,
USA, 2022. Association for Computing Machinery.
Vivian Liu, Han Qiao, and Lydia Chilton. Opal: Multimodal image generation for news illustration. In Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology, UIST ’22, New York,NY, USA, 2022. Association for Computing Machinery.
Sitong Wang, Savvas Petridis, Taeahn Kwon, Xiaojuan
Ma, and Lydia B Chilton. Popblends: Strategies for conceptual blending with large language models. In Proceedings of the 2023 CHI Conference on Human Factors
in Computing Systems, CHI ’23, New York, NY, USA,2023. Association for Computing Machinery.
Jeongyeon Kim, Sangho Suh, Lydia B Chilton, and Haijun Xia. Metaphorian: Leveraging large language models
to support extended metaphor creation for science writing. In Proceedings of the 2023 ACM Designing Interactive Systems Conference, DIS ’23, pages 115–135, New
York, NY, USA, July 2023. Association for Computing
Machinery.
Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao
Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train,
prompt, and predict: A systematic survey of prompting
methods in natural language processing. ACM Comput.
Surv., 55(9), jan 2023.
Bernard A. Nijstad, Carsten K. W. De Dreu, Eric F.
Rietzschel, and Matthijs Baas. The dual pathway to creativity model: Creative ideation as a function of flexibility and persistence. European Review of Social Psychology, 21(1):34–77, 2010.
Mathias Peter Verheijden and Mathias Funk. Collaborative diffusion: Boosting designerly Co-Creation withgenerative AI. In Extended Abstracts of the 2023 CHI
Conference on Human Factors in Computing Systems,
number Article 73 in CHI EA ’23, pages 1–8, New York,NY, USA, April 2023. Association for Computing Machinery.
Giulia Di Fede, Davide Rocchesso, Steven P Dow, andSalvatore Andolina. The idea machine: LLM-based expansion, rewriting, combination, and suggestion of ideas.
In Proceedings of the 14th Conference on Creativity andCognition, C&C ’22, pages 623–627, New York, NY,
USA, June 2022. Association for Computing Machinery.
Alain Pinsonneault, Henri Barki, R Brent Gallupe, andNorberto Hoppen. Electronic brainstorming: The illusion of productivity. Information Systems Research,
10(2):110–133, June 1999.
J F Nunamaker, Alan R Dennis, Joseph S Valacich, Douglas Vogel, and Joey F George. Electronic meeting systems. Commun. ACM, 34(7):40–61, July 1991.
Vildan Salikutluk, Dorothea Koert, and Frank Jäkel.
Interacting with large language models: A case study
on AI-aided brainstorming for guesstimation problems.
In Frontiers in Artiﬁcial Intelligence and Applications,volume 368 of Frontiers in artiﬁcial intelligence and ap-© 2024 Information Processing Society of Japan

INT24017
2024/2/28

[36]

[37]
[38]

[39]

[40]

[41]

[42]
[43]

[44]
[45]
[46]

[47]

[48]

plications, pages 153 – 167. HHAI 2023 Augmenting Human Intellect, June 2023.
Jiafeng Guo, Yinqiong Cai, Yixing Fan, Fei Sun, Ruqing
Zhang, and Xueqi Cheng. Semantic models for the FirstStage retrieval: A comprehensive review. ACM Trans.
Inf. Syst. Secur., 40(4):1–42, March 2022.
Rodrigo Nogueira and Kyunghyun Cho. Passage reranking with BERT. January 2019.
Jiafeng Guo, Yixing Fan, Qingyao Ai, and W Bruce
Croft. A deep relevance matching model for ad-hoc retrieval. In Proceedings of the 25th ACM Internationalon Conference on Information and Knowledge Management, CIKM ’16, pages 55–64, New York, NY, USA,
October 2016. Association for Computing Machinery.
Jeff Johnson, Matthijs Douze, and Hervé Jégou. BillionScale similarity search with GPUs. IEEE Transactions
on Big Data, 7(3):535–547, July 2021.
Qi Chen, Haidong Wang, Mingqin Li, Gang Ren, Scarlett
Li, Jeffery Zhu, Jason Li, Chuanjie Liu, Lintao Zhang,and Jingdong Wang. SPTAG: A library for fast approximate nearest neighbor search, 2018.
Xiaoyu Zhang, Jianping Li, Po-Wei Chi, Senthil Chandrasegaran, and Kwan-Liu Ma. ConceptEVA: ConceptBased interactive exploration and customization of document summaries. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, number Article 204 in CHI ’23, pages 1–16, New York, NY,
USA, April 2023. Association for Computing Machinery.
OpenAI. Introducing chatgpt and whisper apis, 2022.
CHI ’23: Proceedings of the 2023 CHI Conference on
Human Factors in Computing Systems, New York, NY,
USA, 2023. Association for Computing Machinery.
OpenAI. Embeddings - openai api, 2022.
OpenAI. Gpt models - openai api, 2023.
Michael A. Covington and Joe D. McFall. Cutting thegordian knot: The moving-average type–token ratio(mattr). Journal of Quantitative Linguistics, 17(2):94–
100, 2010.
Philip M McCarthy and Scott Jarvis. Mtld, vocd-d, andhd-d: A validation study of sophisticated approaches tolexical diversity assessment. Behavior research methods,
42(2):381–392, 2010.
T. KUDO. Mecab : Yet another part-of-speech andmorphological analyzer. http://mecab.sourceforge.net/,
2005.

155