HAI シンポジウム 2022
Human-Agent Interaction Symposium 2022

G-1

吹き出しを用いた意図伝達の自在化手法の提案
A Control Method of Communicating Intentions Using Speech
Balloons
石井 誠也 1∗ 杁山 祐貴 1
Ishii Masaya1 Iriyama Yuki1

佐藤 理史 1
Sato Satoshi1

小川 浩平 1
Ogawa Kohei1

名古屋大学大学院工学研究科
Graduate School of Engineering, Nagoya University
1

1

Abstract: In recent years, in teleconferences and other situations, there is a possibility that wrong
intentions may be conveyed because there is not enough information to read the speaker’s intentions
compared to face-to-face situations. In this study, we proposed the use of speech balloons, suchas those used in cartoons, in the case of remote conversations so that the listener can feel the
speaker’s intentions. We conducted an experiment to verify whether speech balloons can emphasize
or obscure the intentions of a speaker by using a system that superimposes speech balloons on the
speaker’s speech. As a result, it was shown that speech balloons can manipulate the communicationof intentions in speech.

1

はじめに

自分の発言に対して相手が言語表現の程度を勘違いしたり, 冗談を真に受けてしまったりなど, 相手の理解と自分の発話意図との間の齟齬の発生, すなわち「意図伝達のずれ」の発生は日常会話において一般的な問題である. 特に, 近年普及が進んだオンライン会議シス
テムを用いたコミュニケーションにおいては, 相手の意
図を読み取るための情報の不足などに起因した, 意図
伝達のずれが発生すると言われている. これについて,Feng ら [1] はコミュニケーションにおける誤解は適切な意図伝達の実現に対する障害のひとつであると述べており, これは意図伝達のずれの発生を防ぐ新たなコ
ミュニケーション手段が必要があることを示している.
意図伝達のずれの発生は, 現在では人同士のコミュニ
ケーションの基盤技術になりつつあるオンラインコミュ
ニケーションの信任性を毀損する可能性がある. そのため, 意図伝達のずれを解消することはオンラインコ
ミュニケーションの信頼性を高め, 例えば COVID-19などのパンデミック発生時や, 在宅勤務などの状況においても人同士の繋がりを保つことに貢献すると考える.
そこで, 本研究では, 発話時に自分の伝達したい意図を表現する情報を, 発話とは異なるモダリティを用いて重畳することで相手に伝わる意図を自在に制御し, 伝達することができるシステムが必要であると考える.
∗ 連絡先: 名古屋大学大学院工学研究科〒 464-8601 愛知県名古屋市千種区不老町
E-mail: ishii.masaya@i.mbox.nagoya-u.ac.jp

意図伝達を発話によらず自在に制御し観察者に豊かに伝達できている例として漫画表現が挙げられる. 漫
画は視覚という伝達手段のみを用いて登場人物の豊富な心情変化を鮮明に描き出すことに成功している. 漫
画は, 登場人物, 背景, コマ, 吹き出しという構成要素によって成り立っており, その中でも, 高月 [2] が示すように, 吹き出しは登場人物の心情変化の表現に貢献していると言われている. 吹き出しは枠形状, 大きさ, フォントなどの様々な要素をもち, それらを組み合わせることで多様な表現を可能としている. そのため, 漫画表現
における吹き出しを, 実世界の会話における発話に重畳することで, 相手に伝わる意図を自在に制御し, 伝達する, すなわち「意図伝達の自在化手法」を確立できる可能性がある.
そこで, 本論文では, 発話者が発言で伝達したい意図を「ココロの声」と呼称し, 会話と同時にココロの声を吹き出しとして表示する「ココロの声システム」を実装し, 実世界の会話に吹き出しを重畳することで, 想定した意図がより明確に対話者に伝達できるかどうかを検証する. 3 章で今回開発したココロの声システムについて説明を行い, 4 章で会話に吹き出しを表示すること
でどのような効果があるか調査した実験について述べ,5 章で考察を行う.

2

関連研究

漫画表現における, 吹き出しの効果に関して様々な研究が実施されている. その中でも, 吹き出しを用いた発話に対する音情報の付与の効果について, 福本ら [3] は動画に対してマンガ表現の吹き出し付与を, 田中ら [4]はテキスト入力に対した吹き出し枠形状の推薦を行っている. 田中らによると, 吹き出しの枠形状は発声の大きさや声質といった発話ニュアンスを表現することが可能であると述べ, 吹き出し枠を用いることで視覚的にテキストのみで発話ニュアンスを表現可能だと示している. また, 吹き出しの音情報付与効果を会話状況に活用するという試みもある. 紺家ら [5] は吹き出し型表記
により話者の明示が可能である点と, 吹き出しの枠形状
やフォントにより音情報の表現が可能である点に注目しており, これらの吹き出しの持つ利点は本研究でも活用可能である. 一方で, 紺家らは吹き出しによる表現は音声の大小と速度にのみ注目しており, 発話者の意図に関する表示は行っていない.
江草ら [6] は人形劇の台詞に対し吹き出し枠形状で表示することで, 視聴者が台詞の非言語情報と感情を保証することが可能だと示している. しかし, 江草らの手法
はあらかじめ用意された台詞と吹き出しを表示しており, 人間同士の実際の会話に応用することができない.
そのため, 台本のない人間同士の発話に吹き出しを重畳する機能は実現されておらず, 本研究の目的である人間同士の会話への活用は難しいと考えられる. そこで本研究では, 人間同士の会話における発話の音声認識結果を基に, 利用者の求めに応じた意図の制御が実現できるよう, 適切な吹き出しが生成できる機能の実現を目
指す.

3

強調
発話の効果を強調する. 特に強調したい発話があるときに, 言葉の意味を強調する一般的な単語を表示するか, 焦点語を強調する形容詞を付与することで発話の効果を強調する.
ex. 発話「楽しかった」＋ココロの声「まじで」曖昧
発話の効果を曖昧化する. 自身のない発話などがあるときに, 言葉の意味を曖昧化する一般的な単語を表示するか, 焦点語を曖昧化する形容詞を付与することで発話の効果を曖昧化する.
ex. 発話「楽しかった」＋ココロの声「たぶん」転換
違う話題に移りたい, または会話を終了したい時などに, 進行中の会話に興味を失った, あるいは興味がないということを示す言葉を表示すること
で, 相手に話題の転換を促す.
ex. 発話「楽しかった」＋ココロの声「どっちでもいいけど」
変形
発話していることとは違う本心を相手に伝える.
感情を表す一連の言葉を発話のおわりに表示することで心の変化を伝え, または焦点語を否定する
吹き出しを表示することで本心を伝達する.
ex. 発話「楽しかった」＋ココロの声「面倒だなぁ」
ex. 発話「楽しかった」＋ココロの声「楽しくなかった」

ココロの声システム

本章では, 人の意図の自在化を実現するために, 使用者が伝達したい意図に従って, 人の発話を基にした吹き出しを生成するシステムである, 「ココロの声システ
ム」について説明する. そのために, まずは使用者が制御できる意図を「ココロの声」と呼ぶこととし, その分類について述べる. その後, システムの概要と構成につ
いて述べる

3.1

いう点で情緒とは異なり, 意図の表現は言語的であると述べている [8]. 以上から意図の表現を定義するということは, 言語による他者との関わりを定義することと同義であり, それは非常に困難であると考える. そのため, 本研究ではシステムの使用が想定されるいくつかの状況において用いられるココロの声を, 強調, 曖昧, 転換, 変形の 4 つに分類した. 以下に各項目の説明を記述
する.

ココロの声の分類

アンスコムは, 意図の表現とは未来に起こる事象もし
くは自身が行為者となって未来に起こす事象を正当化できるように自分もしくは他者に対する働きかけであると述べている [7]. またウィトケンシュタインは, 意
図とは一定のルールに基づいた規約的な表現であると3.2システムの概要

ココロの声システムでは, 利用者は自身に吹き出しが付与される状況, 具体的にはディスプレイの前, オンラ
イン会議システムなどにおいて, 利用者の伝達したいコ
コロの声に従って状況に合わせた文字が吹き出しとして出力されるシステムを実現する. また, 適切な意図を表示するために, 利用者からの吹き出しの表示タイミン
グ, 会話音声, 吹き出しを適した位置に表示するための位置情報の 3 つの情報を利用する. 吹き出しの出力に

図 1: モジュールの構成
ついては, 実世界に自然に吹き出しを重畳する必要があるため, クロマキー合成用に背景を単一色にした吹き出しを表示する. これについて次より個別のモジュールごとに詳述する. システムのモジュール構造を図 1 に示す. 各モジュール間は, TCP/IP により接続されており, json で定義されたプロトコルに従って, 情報のやりとりを行っている.

図 2: 入力インタフェース: ココロの声の分類であげた4 つの意図のボタンを設置する. 発話内容の音声認識結果が下部に表示され, その内容をもとに各意図のココロの声オプションが生成され, 各ボタンに表示される.
てきたクライアントのモジュール名を識別し各モ
ジュールに適した動作を行う. ココロの声生成部の動作としては, まずボタン入力部, 人位置認識
部, 音声認識部の入力モジュールから送信されてくる情報を整理して保存する. 次に, ボタンの入力によりココロの声をディスプレイに表示する指示を受け取った際, 現在保存されている会話内容
やボタン入力などの情報からココロの声を生成す
る. その後, 吹き出しの表示に必要な話者の位置情報や吹き出しのフォント, サイズなどの情報をまとめ, 吹き出し表示部に送信する.

ボタン入力部
ボタン入力部は外部の物理ボタンとシステムを接続している. ボタン入力を行う入力インタフェー
スを図 2 に示す. 前述のココロの声の分類ラベルをボタンに割り当て, 話者はその中で自分の示したいラベルのボタンを押すことでシステムに意図を伝える. ボタン入力部はボタンが押されたと
き, 押されたボタンの情報をココロの声生成部に送信する.
人位置認識部
人位置認識部は外部のカメラとシステムを接続している. 吹き出しをより自然に会話に組み込まれていると感じられる位置に表示するため, 話者の位置情報を取得している. 人位置認識部は一定間隔で話者の位置情報をココロの声生成部に送信
する.
音声認識部
音声認識部は外部のマイクとシステムを接続している. ココロの声を生成するにあたって現在の話者の会話内容を取得する必要があるため, 音声情報を取得している. 音声認識部は話者の会話内容を文単位で取得しココロの声生成部に送信する.
ココロの声生成部
ココロの声生成部は疎結合の中心部分になっており, 他の全てのモジュールと接続している. コ
コロの声生成部は単一サーバになっており, 各モ
ジュールからの通信を常に待機していて, 接続し吹き出し表示部
吹き出し表示部はシステムと外部のディスプレイ
を接続している. 吹き出し表示部はココロの声生
成部から送信されてきた情報からココロの声を表示した吹き出し画像を生成し, ディスプレイに出
力する.

3.3

吹き出しの活用例

会話での吹き出しの活用例として図 3 を示す. 例えば発話者が「お腹がすいた」と発話した時, システムは発話に対して重畳するココロの声のオプションをココロの声の分類に従って提案する. その後, 発話者がココロの声のオプションの中から「強調」を選択し, ボタン
入力として押下した場合, システムは発話情報とボタンの選択に従い, 「お腹がすいた」という文を強調する「まじですいた」というココロの声とを生成し, 吹き出図 4: オンライン会話での運用: スマートフォンでのオンライン会話の例を示す. 話者 A が発話する際にボタンを押すことで吹き出しが生成される. カメラが撮影した話者 A が発話する映像にこの吹き出しを合成し,吹き出しが表示された映像を対話相手に送信することで, 対話相手に, 実世界の話者 A の背後に吹き出しがあるかのように感じさせることが可能である.

図 3: 対面会話での運用: 話者 A の発話時に, 発話内容を音声認識し, 話者 A がボタンを押したタイミングで,選んだボタンの意図と発話内容を反映したココロの声をディスプレイに表示する.
しの形状や文字の大きさなどの吹き出しを表示するパラメータを決定する. その後, システムは接続された
ディスプレイに「まじですいた」と書かれた吹き出しを表示する.
この活用方法は, 対面での会話状況に限らずオンライン会話にも容易に適用可能である. オンライン会話ではスマートフォンやパソコンの映像を介した会話が行われるため, 会話映像にシステムの出力である吹き出しを合成するだけでシステムの運用が可能である. オンライン会話での運用例を図 4 に示す.

4

ココロの声の効果検証実験

本実験では人と人との音声会話に吹き出しを表示した場合に発話者の意図が想定通りに対話者に伝達されるかどうかを検証した.

4.1

実験仮説

本実験では, ココロの声が想定どおりに対話者に伝達されたかどうかを検証するため, 3 つの観点から検証を行った. 具体的に, 一つ目は, 吹き出しを発話に重畳することで, 発話者が会話へどの程度関与していると対話者が感じたかの検証, 二つ目は, 吹き出しを発話に重畳することで, 発話者がどの程度発話に確信を持っていると対話者が感じたかの検証, 三つ目は, 発話の意図の変化により対話者が持つ発話者に対する印象が変化するかの検証である. 以上から, 本実験では, 下記の 3 つの仮説の検証を通じて, 吹き出しを用いたココロの声シス
テムにより, 意図伝達の自在化ができるかどうかを示す. なお, 本実験では, ココロの声の分類の内もっとも
基本的な強調と曖昧に着目した.

1. 強調, 曖昧を表すココロの声を発話に重畳することで, 対話者が感じる発話者の会話への関与の程度が強化または弱化する.
2. 強調, 曖昧を表すココロの声を発話に重畳することで, 対話者が感じる発話者の発話の確信度の程度が強化または弱化する.
3. 強調, 曖昧を表すココロの声を発話に重畳することで, 対話者が感じる発話者の 6 つの要素で定義した印象が, 会話への関与及び発話に対する確信度の度合いに応じて変化する.
仮説 1 について, 対話者が感じる発話者の会話への関与の度合いを確認するため, 発話者の内心が想起できるかどうか, 発話者の会話への興味を感じたかどうか,の 2 つを通じて検証した. ここで, 1 つ目に関して, 相手の発話に隠された意図すなわち内心を理解しようと試みるよう促すことができるかどうかは, 発話への関与の制御において重要な要素であると考えたため, 質問項
目の一つとして, 発話者の会話への興味に加えて仮設 1に関連する質問項目として設定した.
仮説 2 については, 発話の確信度を調査することで,対話者が受け取る発話者の意図が「強調」または「曖昧」であることを示した. そのために, 発話者の発話に対して感じる「自信」と「責任」がそれぞれどのように変化するかを調査する 2 つの質問を設定した.

あり

Emph

なし

n Emph表 2: 曖昧の条件分類表
曖昧(Amb)
ココロの声の有無

ココロの声の有無

表 1: 強調の条件分類表
強調(Emph)

あり

Amb

なし

n Amb

仮説 3 は, 仮設 2 での確信度の調査の結果と関連して, 発話に重畳されたココロの声により発話者に対して感じる印象の変化を, 積極性, 社交性, 大胆さ, 情感性,
暖かさ, 友好性の 6 つの観点から調査した.

4.2

図 5: 実験風景: 画像奥の灰色の服を着た人物が話者
A, 手前の頭だけが写っている人物が話者 B であり, この二者が行っている会話に対して吹き出しの付与を行う. 画像は話者 A の発話に「まじで」という吹き出しを付与した場面を示している.

実験設定

上述した仮説を検証するため本実験では, 重畳するココロの声の種類 (強調・曖昧) における, ココロの声の有無の効果を比較した. 表 1, 表 2 に設定した条件を示す.
各条件で実験参加者に提示する映像を下記の方法に従って準備した. まず, 話者 A, B が 1 対 1 で会話するシナリオを 1 つ用意し, そのシナリオに従って 3 種類の映像刺激を作成した.

1. 話者 A, B が会話を行う映像 (n Emph 条件, n Amb
条件)
2. 話者 A, B が会話を行い, 話者 A の発言の一部に強調の吹き出しを表示した映像 (Emph 条件)
3. 話者 A, B が会話を行い, 話者 A の発言の一部に
曖昧の吹き出しを表示した映像 (Amb 条件)
表中の n Emph と n Amb は映像 1, Emph は映像 2,
Amb は映像 3 がそれぞれ対応しており, 3 つの映像は会話内容, 登場人物などの要素は同様のものであり, 吹
き出しの有無または吹き出しの内容のみが異なる映像である. 映像は話者 A,B が 1 対 1 で話している様子を
話者 B の背後から撮影した映像であり, 吹き出しを表示する映像では話者 A が自身の背後に吹き出しを表示した. 作成した映像刺激のスクリーンショットを図 5 に示す.
実験参加者は 20 代から 60 代の男女 15 名であり,Emph と n Emph を比較する強調実験と, Amb と n Amb
を比較する曖昧実験に参加してもらった. 強調実験と曖昧実験の順序は実験参加者ごとにカウンターバラン
スをとった. 片一方の実験を実施した後, 次の実験まで
2 週間, 間隔を空けることで, できるだけ順番効果を低減した.

実験手順は, 実験参加者に条件に該当する 2 つの映像を視聴させ, それぞれの映像視聴後に質問紙への回答を依頼した. 質問紙は, 1 を「とても当てはまる」, 4
を「全く当てはまらない」としたリッカート尺度を採用した. 質問紙の設問を以下に示す. なお, 設問 7 のみ
設問内で小設問に展開されており, 設問 2 は吹き出しを表示した Emph, Amb の設問紙にのみ設定した.

1. 会話の流れに違和感があったか
2. 表示される吹き出しの内容に違和感があったか
3. 話者 A の内心を思い浮かべることができたか
4. 話者 A は会話に興味を持っていると感じたか
5. 話者 A は発言に自信を持っていると感じたか
6. 話者 A は発言に責任を持っていると感じたか
7. 話者 A の印象はどのようだと感じたか(a) 積極的だと感じたか(b) 社交的だと感じたか(c) 大胆だと感じたか(d) 感情的だと感じたか(e) 暖かいと感じたか(f) 友好的だと感じたか
実験を設定する上で, 吹き出しに違和感があり, 映像
が人間同士の会話状況と判断されない場合, 発話者の意図を判断することができず, 実験が成り立たなくなってしまう可能性がある. そのため, 設問 1,2 でマニピュレーションチェックとして, 実験に用いる会話文と吹き出しに違和感がないかどうかを質問する.

図 6: 設問 1 から設問 4 の質問結果: 設問 1, 設問 2 はマニピュレーションチェックのための設問である. 設問 3, 設
問 4 は仮説 1「対話者が感じる発話者の会話への関与の程度への影響」に対応する質問であり, 「話者の内心の想起が可能であるか (設問 3)」に関しては Emph での有意差 (p < .05) を示し, 「話者から会話への興味を感じたか(設問 4)」に関しては Amb で有意差 (p < .01) を示した.

4.3

図 7: 設問 5, 設問 6 の質問結果: 設問 5, 設問 6 は仮説 2「強調, 曖昧を表すココロの声を発話に重畳することで,対話者が感じる発話者の発話の確信度の程度が強化または弱化する. 」に対応する質問であり, 「話者の自信の想起が可能であるか (設問 5)」に関しては Emph で有意差 (p < .01) を示し, Amb でも有意傾向 (p < .10)を示した.
次に, 設問 3,4 は仮説 1 に対応する質問であり, これにより発話の関与の度合いを検証する. 続いて, 設問
5,6 は仮説 2 に対応する質問であり, これにより発話者の意図の確信度を検証する. 最後に, 設問 7 は仮説 3 に対応する質問であり, これにより発話者に対するの印象の変化について検証する.

実験結果

質問紙の結果を図 6, 図 7, 図 8 に示す. 図中の黒点は平均値, 線分は中央値を示す. 条件感で対応のある t 検定を行った結果, 有意差が見られた項目については図中
上部に記号で示す. 「**」は p < .01, 「*」は p < .05,「+」は p < .10 である.
設問 1 では, 強調, 曖昧ともにココロの声の有無による平均値に有意な差は見られなかった. 設問 2 では, 有
意差は見られなかったものの, 強調実験の方が曖昧実験よりも平均値で 0.47 ポイント低い値 (吹き出しに違和感を感じる) が得られた. 設問 3 では, 強調実験において条件間に有意差がみられた (p < .05). 同様に曖昧実験においても条件間に有意な傾向がみられた (p < .10).
設問 4 では, 曖昧実験において条件間に有意差がみられた (p < .05) が, 強調実験においては有意差がみられなかった.
設問 5 では, 強調実験において条件間に有意差がみられた (p < .01). 同様に曖昧実験においても条件間に有意な傾向がみられた (p < .10). 設問 6 では, 強調, 曖
昧ともにココロの声の有無による有意差を示さなかったが, 平均値に注目すると, 吹き出しを表示することで,吹き出しを表示しない条件と比べ強調実験では 0.40 ポ
イント低い値, 曖昧実験では 0.40 ポイント高い値が得られた.
設問 7 では, 強調実験では a, c, d において条件間に有意差が (それぞれ p < 0.01, p < 0.05, p < 0.05), b
においては有意な傾向がみられた (p < 0.10). また, 曖
昧実験では a, b において条件間に有意差が (それぞれ

図 8: 設問 7 の質問結果: 設問 7 は仮説 3「強調, 曖昧を表すココロの声を発話に重畳することで, 対話者が感じる
発話者の 6 つの要素で定義した印象が, 会話への関与及び発話に対する確信度の度合いに応じて変化する. 」に対応する質問である. 6 つの印象に関する質問に対して, Emph では a; 積極性に関しては p < 0.01, c; 大胆さと d; 情感性に関したは p < 0.05 という有意差を示し, b; 社交性に関しては有意な傾向 (p < 0.10) が見られた. また, Amb
では a; 積極性に関しては p < 0.01, b; 社交性に関しては p < 0.05 という有意差を示し, d; 社交性と e; 暖かさに関しては有意な傾向 (p < 0.10) が見られた.

p < 0.01, p < 0.05), d, e においては有意な傾向がみられた (p < 0.10). 一方で, f については強調, 曖昧ともに有意差を示さなかった. しかし設問 7 内の全ての質問において, 吹き出しを表示することで, 吹き出しを表示しない条件と比べ強調実験では平均値で低い値が,曖昧実験では平均値で高い値が得られた.

4.4

実験考察

マニピュレーションチェックとして設定した設問 1，
2 の結果において, 実験刺激に対する違和感について,
吹き出しあり条件に対しても平均値で 3 程度と評価されたことから, ふきだしの重畳が強い違和感を抱かせる
ことはなかったと考える.
次に仮説 1 の「発話者の会話への関与の程度」について, 設問 3 及び 4 の結果から一部支持された. 強調実
験においては, 話者の内心の想起が有意に向上したことが分かった. また, 曖昧実験では, 話者の会話への興味が有意に低下した事が分かった. しかし, 強調実験において, 会話への興味の向上は検証できなかった. また
曖昧実験では, 内心の想起の向上は有意傾向にとどまった. 以上から, 話者の内心の想起と会話への興味への影
響は, 強調と曖昧が互いに相補的な機能を果たすことが分かった. そのため, 実際に運用する場合には, 強調と曖昧をバランスよく利用することで, よりシステムの効
果を高めることができると考える.
次に仮説 2 の「発話者の発話の確信度の程度」について, 設問 5 及び 6 の結果から一部支持された. 強調実
験においては, 話者の自信の想起が有意に向上したことが分かった. また, 曖昧実験では, 話者の自信の想起の低下は有意傾向がみられた. 一方で, 強調実験, 曖昧実
験ともに, 話者の責任の想起は有意差を示さなかった.
以上から, 話者の自信の想起への影響は, 強調では向上させる機能があり, 曖昧では低下させる機能がある可能性が示された. さらに, 責任の想起への影響については
本実験のココロの声の条件では実現できないことがわかった. しかし, 曖昧実験では吹き出しを表示しない条件についても高い値を示しており, 吹き出しを表示することにより責任の想起をより低下させる影響がある可能性がある. 以上より, 今後の課題として責任の想起について操作可能な条件を改めて模索する必要があると考える.
次に仮説 3 の「発話者の印象」について, 設問 7 の結果から, 仮説が一部支持された. 強調条件においては
積極性, 大胆さ, 情感性の 3 つの観点で有意差を示した.
また, 曖昧実験では, 積極性, 社交性の 2 つの観点で有意差を示した. さらに, 積極性, 社交性, 大胆さ, 情感性の 4 つの観点において, 吹き出しを表示した条件では吹き出しを表示しない条件と比べ, 強調実験では平均値でより高い値が, 曖昧条件では平均値でより低い値を示した. しかし, 暖かさ, 友好性の 2 つの観点は明確な有意差を示さなかった. 以上より, 仮説 2 の検証結果
から吹き出しは自信の想起に影響を与える機能があると考えられることを考慮すると, 吹き出しを表示する
ことにより, 自信の想起への影響に起因し, 積極性, 社
交性, 大胆さ, 情感性の印象について, 強調では向上させる機能が, 曖昧では低下させる機能があるのではな
いかと考えられる. 一方で, 暖かさ, 友好性の印象への影響については本実験の条件, または自信の伝達の可否では実現できないことがわかった. 今後の課題として, 暖かさ, 友好性に影響を与える条件を模索するとともに, 強調及び曖昧の意図による, 本実験で調査していない他の印象への影響も調査する必要があると考える.

5

考察

5.1

吹き出しの機能の拡張

本実験ではココロの声の分類に対応して吹き出しの表示内容, 枠形状に関しては変化させたが, フォント, 文
字の大きさについては手を加えていない. 質問紙の設
問 2 の結果を見ると, Amb 条件においては高い値を示しているが, Emph 条件においては値が分散しており,より違和感のない吹き出しを模索する必要があると考える. そこで, 吹き出しのフォントや文字の大きさについても意図に応じて変更可能にすることで, 強調及び曖
昧の意図を顕著に示すココロの声を生成することが可能ではないかと考える. 加えて, テキストの内容に関して, 現時点では強調及び曖昧という意図の内容のみに依存し, 発話の文脈に依存しない語や文を表示している
が, 文脈に沿った語の選択や, 文頭及び語尾の変化を加えることで, ココロの声の意図伝達効果を増大させることが可能ではないかと考える.

5.2

ココロの声の拡張

ココロの声の分類に関して, 本実験では強調, 曖昧について調査を行ったが, これらの分類では発話した語彙に沿った意図の強弱を変更する形の操作である. しかし, 分類の 1 つである転換については, 発話した語彙に囚われない意図をココロの声で表示することが可能となる. 実験考察で述べた本システムでは操作不可能であった項目に関しても, 分類項目の転換を実装することで操作を可能にすることができるのではないかと考
える.

5.3

利用形態の拡張ココロの声システムの利用にあたり, 本実験では 1 対
1 の人間の会話で, 話者のうち片方のみに吹き出しを表示する, という状況を利用した. しかし, システムの活用状況は 1 対 1 会話であること, または吹き出しの表
示人数が 1 人であることに制限する必要性はなく, 1 対多数の状況である講演や発表の状況での利用も可能である. また, 複数人会話において, 吹き出しを会話参加
者全員が表示することで, 音声会話と吹き出し内容による会話が全く別の話題を提供することなども考えられ,研究目的とは異なる効果もまた見込める可能性がある.
そのほかに, 吹き出しを表示したことによる意図の変化について, 対話者以外の第 3 者として存在する会話の観測者に対しては, 本研究で調査した対話者への影響とは異なる影響がある可能性があり, 今後新たに実験を設定し明らかにしたい.

6

まとめ

本研究では会話の意図伝達のずれを防ぎ発話者の意
図を自在化することを目的として, 吹き出し型の「ココロの声」を会話に重畳するココロの声システムを提案
し, 実際に開発した. そして, システムを用いて意図の自在化が可能であるかという問いに対し, 発話者の会
話への関心, 発話者の発話の確信度, 発話者の印象という 3 つの観点について変更可能であるという仮説をたて, 検証を行った. その結果, 各仮説は一部分のみ支持され, 自在な操作は表示する意図に従って部分的に可能であるという結果にとどまった. しかしココロの声を表示することで, 表示しない状態と比べると発話者の意
図をより正確に対話者に伝達する傾向があることが示された. 以上より, 本システムを用いることで意図伝達のずれを軽減し, オンラインコミュニケーションの信頼性を高め, 人同士の繋がりを保つことに貢献することが可能であると考える.

本論文の結果として, 意図の自在な操作は部分的に可能であると示された. 部分的にのみ自在化可能であるという課題を解消するため, 意図の自在化という目的に沿った吹き出しの生成およびシステムの活用手法を開発する必要がある. 今後は本実験で判明した課題に取り組むとともに, ココロの声システムのモジュールやコ
コロの声の分類, システムの利用形態に関して, 本論文での自在化可能な内容を拡張してより広い範囲について意図の自在化を実現できる改良案を検討したい.

参考文献[1] 馮晨, 池田悠平, 菅谷みどり: 遠隔地コミュニケー
ションにおける感情伝達方法の比較, マルチメディ
ア，分散協調とモバイルシンポジウム 2017 論文集, Vol.2017, pp. 149–153 (2017)[2] 高月義照: マンガにおける表現技法の進化 -何がマンガを文芸に成長させたのか -, 東海大学紀要. 開発工学部, 東海大学, Vol.20, pp. 53–75 (2011)[3] 福本光佑, 中野涼平, 伊藤研志, 富永匠, 渕田孝康:
音声認識による漫画への吹き出し作成の研究, 電気関係学会九州支部連合大会講演論文集, Vol.72(2019)[4] 田中秀樹, 山西良典, 福本淳一, 西原陽子: テキスト会話における発話ニュアンス付与のための吹き出し形状の推薦, 人工知能学会全国大会論文集,
No.30 (2016)[5] 紺家裕子, 椎尾一郎: 吹き出し枠形状を利用した音
声表現の字幕提示方法, 電子情報通信学会論文誌
A, Vol.J98-A, No.1, pp. 85-92 (2015)[6] 江草遼平, 川口漱也, 酒井嗣之介, 楠房子, 溝口博,
生田目美紀, 稲垣成哲: ユニバーサル人形劇システ
ムにおける吹き出し型字幕提示機能の提案, ヒューマンインターフェイス学会論文誌, No.19-4, (2017)[7] G.E.M. アンスコム 著: 菅豊彦 訳: 『インテンショ
ン：実践知の考察』, 産業図書, (1984)[8] ウィトゲンシュタイン 著: 藤本隆志 訳: 『哲学探究』(ウィトゲンシュタイン全集８), 大修館書店,(1976)