論 文
Artiﬁcial Subtle Expression としての明滅光源による音声対話の円滑化
船越孝太郎† a)

小林 一樹†† b)

北村 泰彦†††† e)

辻野 広司† f)

中野 幹生† c)

山田 誠二††† d)

Smoothing Communication by a Blinking-Light as Artiﬁcial Subtle Expression
Kotaro FUNAKOSHI†a) , Kazuki KOBAYASHI††b) , Mikio NAKANO†c) , Seiji
YAMADA†††d) , Yasuhiko KITAMURA††††e) , and Hiroshi TSUJINO†f)

あらまし 音声対話エージェントとユーザ間の対話において，円滑なコミュニケーションの成立が難しく，ユー
ザが快適にシステムを利用できない問題がある．特に発話の衝突に起因する話者交替の失敗が問題の主要な要因となっている．これに対し，本論文では，エージェントが対話中に明滅光源を用いて内部状態を表出することで発話の衝突を抑制し，円滑なコミュニケーションを実現する手法を提案する．実験では，胸部に取り付けられた発光ダイオードを用いて内部状態を表出する音声対話ロボットを実装し，ユーザと簡単な対話であるしりとりを行わせた．ロボットはユーザの回答に応答するまでの時間をランダムに変化させる一方，応答までの間に光源を明滅させた．実験の結果，光源を明滅させることで，発話の衝突の原因となるユーザからの不要な発話の言い直しが抑制されること，反対に望ましい言い直しに関しては促進されること，ロボットに対してユーザが抱く印象が向上することなどが示唆された．
キーワード

話者交替，発話の衝突，subtle expression，ヒューマンロボットインタラクション

1. ま え が き

コミュニケーションを阻害する大きな要因である．発話が衝突するとユーザは自身の発話を中断する傾向がロボットやエージェントが一般ユーザとインタラク

あるが，中断された音声を自動認識することは難しく，ションを持ち始めた現在，人間とロボットエージェント

対話エージェントが適切な応答を行えなくなる [2]．

の自然言語による円滑な対話を実現することは，HAI発話の衝突は，発話終端検出の失敗，すなわちユー

ヒューマンエージェントインタラクション [1] におけるザの発話が終了したと誤解してエージェントが話し始

最重要課題の一つである．しかし，その実現には解決めてしまうことによって起こることが多い．発話終端

すべき多くの課題があり，話者交替（turn-taking）の検出の性能は言語的な表層情報（字面）[3] や韻律の失敗，特に複数の対話者が同時に発話してしまう「発ようなパラ言語情報 [4] を利用することで改善できる．

話の衝突」は，対話エージェントと人との間の円滑なしかしながら，表層情報は音声認識誤りの影響を受けてしまう．韻律特徴量を安定して取り出すためにはあ†（株）ホンダ・リサーチ・インスティチュート・ジャパン
Honda Research Institute Japan Co., Ltd.

††

†††
††††

る程度の発話長が必要であり，発話が細切れになると信州大学 大学院工学系研究科

対応が難しい．人間が無線などで半二重通信を行う場

Faculty of Engineering Graduate School, Shinshu Univer-合のように，発話終端を明示するフレーズ（「どうぞ」sity

国立情報学研究所，総合研究大学院大学など）を使う手段もあるが，ユーザの利用負担が増加

National Institute of Infomatics, SOKENDAIする方法は避けたい．また，これらのフレーズを確実

関西学院大学 理工学部
School of Science and Technology, Kwansei Gakuin Univer-に音声認識することも容易ではない．
多くの音声対話システムでは一定以上の長さの無声sitya) E-mail: funakoshi@jp.honda-ri.comb) E-mail: kkobayashi@cs.shinshu-u.ac.jp

休止の出現を引き金として応答を開始する．この時，

c) E-mail: nakano@jp.honda-ri.com

無声休止の長さに対する閾値が小さいために，発話中d) E-mail: seiji@nii.ac.jpの小休止を発話終端の合図と誤解してしまうことになe) E-mail: ykitamura@kwansei.ac.jpf) E-mail: tsujino@jp.honda-ri.com

る．従って，ユーザの音声信号が止まってからエージェ

電子情報通信学会論文誌 A Vol. Jxx–A No. xx pp. 1–10

c （社）電子情報通信学会 xxxx⃝

1

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–A No. xx

ントが応答するまでの時間間隔を単純に長くとる（閾検出による発話の衝突を回避できる．エージェントの値を大きくする）ことでも発話終端検出の誤りを回避

応答が遅れてもよいならば，アプリケーション開発上できる．このアプローチは単純で頑健だが，システムの制約が大幅に緩和されることになり，大きなメリッの応答性を悪くしてしまう．また，エージェントからトが生まれる．ユーザの要求理解の精度を向上させるの反応がないためにユーザが直前の発話を繰り返してための高度で計算時間を必要とする処理を導入したり，しまい，それが原因で発話の衝突が起こる恐れがある．

安価・省スペースである代わりに性能の限られるハーこれを避ける手だてとして，人間がするような目ドウェアでシステムを実現できるようになる．

線や体の微妙な動きといった様々な仕草によってエー

本研究では，明滅光源を用いて内部状態を表出する

ジェントの発話権取得の意思をユーザに伝えることが音声対話ロボットを採用し，ユーザとの簡単な対話で考えられる．しかし，このアプローチでは，エージェ

あるしりとりを題材とした実験を行う．そしてユーザントに人間のような繊細で自然な仕草を行わせる技術が言い直した回数や主観評価を通して対話の円滑さを的な問題，エージェント設計上の自由度が制限されて分析する．具体的には，ユーザの発話終了からロボッしまう問題，実装コストが高くなる経済性の問題があ

トの発話までの間に光源を明滅させることで，発話衝る．また，身体的な仕草ではなく音声言語（主に「えっ突の原因となるユーザからの言い直しが減少し，ロと」などの間投詞）によって上記の意思を伝えること

ボットに対する印象が向上することを示す．

も考えられる．しかし，何気なく見える間投詞の使用

以降では，まず提案手法の基礎となる subtle ex-

も目線や仕草と同じく難しい課題である．間投詞にはpression および artiﬁcial subtle expression について

多くの種類があるがそれらの間には微妙ではあるが確説明する．そして実験方法を説明し，実験結果と考察

かな違いがあり，それぞれの使用はランダムではなく，を述べる．最後に本研究のまとめを行う．

適切な使用場面やタイミングが存在する [5]．これらの表現を適切に用いるシステムはユーザに好まれる [6]ことや，「えっと」と言い続けることで会話ロボットの2. Artiﬁcial subtle expression としての明滅光源

応答の遅延に対するユーザの印象を改善できる [7] こ

人間同士のコミュニケーションでは，意味の伝達はとが知られているが，タイミングと場面を間違えた瞬発話に代表される言語情報により明示的に行われるが，間にそれらを使用しない寡黙なシステムよりもユーザ

それ以外の顔の表情，視線，身振りなどの非言語情報の評価が悪くなる [8] という報告もある．また「えっの重要性も指摘されている [11], [12]．その効果は，単と」のような表現を利用するためには，エージェントに感情の伝達などの補助的な意味をもつだけでなく，のパーソナリティも限定する必要がでてくる．

発話の意味理解に影響を与えることが知られている．

一方，上記のように機械を人間に似せようとするア
プローチに対して，人工物特有の表現を積極的に採用

例えば，話し手の身振りを見ることは，発話理解の精度に影響を与える [13]．

するアプローチ [9] が存在し，その有効性が示されてさらに，このような非言語情報の中でも，表情や身いる．このアプローチに則れば，人間によって使用の振りの非常に些細な変化が人間同士のコミュニケー

適切性が強く規定されていない明滅光源のような人工ションに少なからぬ影響を与えていることがわかって物特有の表現を用いることで，人間的な表現を用いる

おり，そのような些細な表出が subtle expression と際の問題点を回避しつつ所望の効果を得られる可能性

呼ばれている．この subtle expression が人間同士のがある．また，人・人コミュニケーションにおいてでコミュニケーションにおいて重要であることは，すなはあるが，明滅光源を用いてコミュニケーションを改

わち人間がそのような些細な表出を直観的かつ容易に善できるという報告もある [10]．

理解する能力を備えていることを意味し，人間と擬人

そこで本研究では，明滅光源を導入するという単純化エージェントやロボットのコミュニケーションでもな方法が発話の衝突に関してどれだけ寄与できるかを

subtle expression を利用することで，人間に負担をか検証する．もしそれによってエージェントの応答性のけずにコミュニケーションを円滑化できる可能性があ

悪さに対するネガティブな印象やユーザが発話を繰りる．このような考えのもとに，いくつかの研究（ [14]〜返すことに起因する発話の衝突を抑制できるならば，[16]）が行われている．しかし，これらはエージェント

エージェントの応答を遅らせることで，発話終端の誤に表情や身振りを持たせ，その上に subtle expression2

論文／Artiﬁcial Subtle Expression としての明滅光源による音声対話の円滑化を実現するため，実装コストが非常に高い．

りとりを選んだ．対話の円滑さの基準として，実験参エージェント，あるいは広く人工物の subtle expres-加者の言い直し，対話およびロボットに対する印象，

sion については，山田，小松の研究がある [9], [17]．彼

明滅光源の解釈について調査する．以下では，しりとらは周波数が変化するビープ音などにより，エージェ

り対話システム，ロボット，明滅光源の設定を説明し，ントの単純な基本的態度の推定を促すことに成功して実験手順について述べる．

いる．また，実際に，外見の異なる 2 つのロボットに同

3. 1 しりとり対話システム

様のビープ音を実装したとき，人間がロボットのポジ

本実験では，音声認識器の誤認識が多発する問題を

ティブ／ネガティブな 2 つの態度を推定できることを回避するため，参加者からはロボットが自律的に動作示している．これらの研究は，ユーザによる基本的なしているように見える WOZ（Wizard-of-Oz）システ

態度の推定を促進することに有効な subtle expression

ムを採用した．オペレータはロボットの耳の役割を担を，人間的な複雑な表現によらずとも単純な表現を用

い，参加者の回答を図 1 に示すインタフェースを用い

いて実現できることを示唆している．単純な表現には，て入力する．しりとりの回答はシステムが自動的に選実装が容易であるというメリットがある．また，複雑択し，発話を行う．ロボットの音声には市販の音声合な表現よりも適用可能な範囲が広いことが予測される．

成ソフト（NTT-IT FineVoice）[18] を用いた．オペ

このような背景から，本研究では，人工物におけレータは必要に応じて，以下の操作を行う．

る subtle expression を，複雑な表現ではなく，でき（ 1 ） 参加者の回答の入力: オペレータは，参加者るだけ単純な表現手法で実現することを目指す．これが回答を言い終わったら，直ちにそれをキーボードでによりユーザに負荷をかけることなく直観的なロボッ入力する．入力された回答はしりとりのルールに違反

トの内部状態の理解を促す．これを artiﬁcial subtle

していないかチェックされる．ルール違反があればロ

expression (ASE) とよび，従来の subtle expression

ボットはその旨を参加者に伝え，しりとりをはじめかから区別する．具体的には，ユーザとロボットとのしらやり直す．ルール違反がなければ自分の次の回答をりとり対話タスクを用い，発光ダイオードの明滅とい作成し，発話する．回答はあらかじめ与えた単語辞書

う非常に単純な光のシグナルにより話者交替を円滑にの中からランダムに選ばれる．

行うことを目指す．ロボットが音声を聞き取れなかっ（ 2 ） 再発話の指示: ロボットの発話は自動合成さたのか，聞き取ったが処理中なのかの 2 つの内部状態れるため，しばしば聞き取りづらい．参加者がロボッをユーザが容易に区別できれば，発話衝突を回避でき

トの発話を聞き取れず再発話を要求すると，オペレーるため，円滑な対話が実現できると考える．明滅光源タの指示でロボットは直前の発話を繰り返す．

により内部状態を表出し，心理学実験を通してその効（ 3 ） 聞き返しの指示: オペレータが参加者の発話

果を示す．

を聞き取れない場合もある．オペレータが聞き取れな

ASE として導入した明滅光源の意味は，事前の教示

かった場合にロボットに聞き返しを指示することで，無しでも直感的に理解されることが望ましいので，実ロボットは「もう一度言ってください」と発話する．

験に際して参加者には明滅光源の意味も存在も説明し（ 4 ） しりとりのやり直しの指示: 様々なトラブル

ない．上記のように明滅光源により内部状態を表現す

によってしりとり対話が破綻し，中断され得る．そのることで発話衝突を回避するという着想とその効果は，ような場合には，トラブルの原因がどのようなもの

PC 等を日常的に使用している読者には比較的自明にであっても強制的にしりとりをやり直す．ロボットは映るかもしれないが，予備的に行った実験では明滅光「また最初からしりとりをしましょう．あなたからど源の存在に気づかない参加者が存在することも確認しうぞ」と発話し，参加者に再開を促す．

ており，効果の有無を実験的に確かめる必要がある．

（ 5 ） 参加者による発話の言い直しの記録: 操作 1

3. 実

験

本実験の目的は，artiﬁcial subtle expression としによって参加者の回答が入力されると，ロボットが自身の発話を完了するまで図 1 のシステムは入力を制限
し，操作 1 から 4 の操作はできなくなる．この間に参て明滅光源を導入することで，ロボットとユーザの対加者が発話を言い直したときは，ESC キーを押すこと

話にどのような影響を与えるかを調査することである．

でそれを記録する．

本実験では，最も対話の構造が簡単なタスクとしてし

本実験では，観察対象となる現象とそれに対する効3電子情報通信学会論文誌 xxxx/xx Vol. Jxx–A No. xx

図 2 使用したロボットと発光ダイオードの取り付け位置
Fig. 2 RS Media and position of embedded LED.
図 1 オペレータ用インターフェース
Fig. 1 Operational Interface.

間型ロボット RS Media（WowWee 社）（注 1） を採用した．実験ではロボットは手足を動かさず，静止した状態を維持した．ロボットの胸部には，直径 4mm の果をより明確に確認するために，以下のような調整を

赤色発光ダイオードを埋め込んでいる．ダイオードは，行った．操作 1 によって参加者の回答が入力されると，オペレータがキーボード入力を開始してからロボット

ロボットは自分の回答を発話する．しりとりの回答のが発話するまで明滅する．つまり，ロボットが返答を

生成は一瞬で終わるので，このままではロボットの発生成する内部処理が行われている間，ダイオードが明話が遅れることはない．そこで，回答が入力されてか滅する．聞き取り失敗時はこれに相当しないため，ダらロボットが発話を行うまでの時間を，発話待機時間

イオードは消灯したままである．今回の実験では 1/30を挿入することで，人為的に調整した．発話待機時間秒の等間隔でダイオードを明滅させた．

は，0 秒から 15 秒までの間で，回答の機会ごとに乱発光ダイオードの色と大きさについては，容易に入数によって自動で決定した．これは，実際の音声対話

手可能なものの中から経験的に選択した．また，明滅パ

エージェントにおいては，内部処理の遅延による応答

ターンについては，一番単純な一定周期での ON/OFFの遅れに対応する．

とし，周波数についても経験的に決めた．明滅させず

また，ロボットは 4 分の 1 の確率で参加者の発話に点灯／非点灯だけで状態を表現する方法も考えられを無視するようにした．これは，実際の音声対話エー

るが，予備検討の段階で参加者が明滅光源に気づかなジェントにおいては，音声認識器が入力音声を誤ってい場合もあったことから，点灯／非点灯だけでは刺激雑音と見なし棄却してしまうことに対応する（聞き取が弱すぎると判断し採用しなかった．

り失敗）．さらに，参加者が発話せずに膠着状態にな

3. 3 参 加 者

るのを回避するため，ロボットが発話してから 30 秒

実験への参加者は，一般から募集した 19 歳から 62

経過しても参加者が発話しない場合，自動的に直前の歳の 47 名である．パソコンの使用経験は全員があり，発話を繰り返すようにした．

平均使用歴は 8.3 年，週の平均使用日数は 6.2 日で，

次節で分析対象となるユーザの言い直しの回数は，大多数が日常的に使用していた．18 名は音声認識シス

上記のオペレータ用インターフェースが残す対話ログ

テムの使用経験があった（注 2）．ロボットとの音声対話から得られる．ロボットが聞き取りに失敗した時の言経験がある参加者は 1 名だけであった．

い直しは，聞き取り失敗を表す NEGLECT という記

参加者はロボットの振る舞いに応じて，以下の 2 つ号のある場所で言い直しが行われているかどうかを調のグループにランダムに分けられた．ただし性別や年べることで集計する．聞き取りに成功したロボットが代は 2 条件間でできるだけ均等になるよう調整した．

回答をする前に行われた言い直しは，言い直しを表す(1) 明滅光源あり条件： 男性 11 名，女性 12 名．平REPAIR という記号が，上記の操作 (5) によりログに記録されているので，その数を数えることで集計する．

3. 2 ロボットと明滅光源の設定
参加者がしりとりを行う対象として，図 2 に示す人
4

（注 1）：http://www.wowwee.com/en/products/toys/robots/robotics/robosapiens:rs-media（注 2）：主だった使用対象は，カーナビゲーションシステム，宅配業者の再配達受け付けサービス，ビデオゲームなど．

論文／Artiﬁcial Subtle Expression としての明滅光源による音声対話の円滑化

Table 1

表 1 しりとりのルール
Rules of the last-and-ﬁrst game

・最後に「ん」のつく言葉を言ったら負け．
・自分がすでに使った言葉は再度使えない．
・濁点・半濁点はとってもよい．
（例：ぽ→ほ）・長音は削除する．
（例：コーヒーであれば「ひ」からはじめる）
・拗音は最後の文字を使う．
（例：しゃ→や）

表 2 平均言い直し率（%）
Table 2 Mean repetition rate (%)
条件
明滅光源あり明滅光源なし聞き取り失敗時
55.3 (SD=50.0)
24.3 (SD=34.0)

1.3
5.4

処理中
(SD=3.6)(SD=10.2)

ロボットが聞き取りに成功し，処理を行っている時の均年齢 32.0 歳，標準偏差 11.0 歳．

(2) 明滅光源なし条件： 男性 11 名，女性 13 名．平均年齢 31.0 歳，標準偏差 10.3 歳．

もの（処理中の言い直し）に分類した．
ユーザの平均発話数は明滅光源あり条件で 36.91 回，なし条件で 32.00 回であった．これに対し，聞き取り3. 4 実 験 手 順

失敗の平均回数は，両条件でそれぞれ 9.52 回と 7.09

実験は周囲から区切られた実験室内で行われた．1

回であり，3.1 節で設定した 4 分の 1（25%）という割

回に 1 名のみが入室し，ロボットとしりとり対話を合とほぼ一致する（それぞれの条件で 26%と 22%）．

行った．ロボットは，椅子に座った状態の参加者に対表 2 に聞き取り失敗時と処理中の平均言い直しの率

し，机の上に正面を向くように設置された（図 2 の左を示す．聞き取り失敗時の平均言い直し率は，ロボッ

図）．実験室に案内された参加者は，実験概要を説明

トが聞き取りに失敗したときに参加者が言い直しをしされたのち，性別，年齢，パソコン使用歴などに関すた割合を参加者ごとに算出し，それを平均した値である事前アンケートに回答した．

る．聞き取り失敗時の平均言い直し率に対して t 検定

アンケートに回答後，実験の注意事項が教示された．

を行った結果，明滅光源あり条件となし条件間で有意参加者は，これからロボットと 10 分程度のしりとり

差が認められた（t = 2.67，df = 45，p = .010）．一をすることを説明され，できるだけ長く続くようにと方，処理中の平均言い直し率は，ロボットが参加者の指示された．次に，しりとりのルールとして，表 1 に回答を処理している間に参加者が言い直しをした割合示すルールが説明され，ルールに迷った場合は気軽にを参加者ごとに算出し，それを平均した値である．処

試して構わないことが告げられた．また，ロボットの理中の平均言い直し率に対して t 検定を行った結果，反応として，ロボットがすぐに返答することもあれば，明滅光源あり条件となし条件間で有意傾向が認められ時間がかかることもあり，聞こえていないこともある

た（t = 1.80，df = 45，p = .079）．

と説明された．以上の説明の後，ロボットが話しかけ以上から，明滅光源あり条件では，参加者はロボッてきたら実験開始の合図だと伝え，参加者を実験室にトが処理中の場合には発話しない傾向が示され，明滅残して実験者が退出した．実験は 10 分間継続され，実光源の導入によって，発話の衝突を適切に抑制できる

験者がインターフォンで実験終了を告げた．ユーザが可能性が示唆された．また，言い直しが過剰に抑制さ「ん」で終わる語を言って負けた場合など，ゲームがれることはなく，必要な場面（ロボットが聞き取りに

途中で終了した場合は，10 分の時間制限が来るまで再失敗した時）では促進されることが示唆された．

ゲームを行った．したがって，全ての被験者は 10 分
間対話を行っている．

聞き取り失敗時（ロボットが発話を無視した時）に言い直しが促進されるということは，対話の時間効率

参加者はしりとりの後，引き続き実験室にてしりとが改善されることを意味している．参加者の発話をロりに対する印象，ロボットに対する印象，実験中のそボットが無視した場合，一定時間後にロボットが参加の他の事項に関する 3 つのアンケートに回答した．こ者に言い直しを促すか，参加者が自発的に言い直しをの実験を通し，参加者の行動と印象に対して明滅光源行うまでは対話が停滞したままだからである．

が与える影響を明らかにする．

4. 実験結果と考察

実際に，ロボットの平均応答数は明滅光源なし条件
に対して明滅光源あり条件の方が有意に多かった．
（明
滅光源あり条件の平均：25.8 回，明滅光源なし条件の

4. 1 言い直しの抑制と促進

平均：21.1 回，t = 3.06，d.f. = 43.29，p < .005). 対

参加者の言い直しを (1) ロボットが聞き取りに失敗

話時間は両条件間で差がないので，これは明滅光源をした時のもの（聞き取り失敗時の言い直し）と，(2)用いることで対話を加速できることを示唆している．
5電子情報通信学会論文誌 xxxx/xx Vol. Jxx–A No. xx
表 3 しりとり印象評価のための形容詞対と評価結果
Table 3 Rated adjective pairs for impression of the
game
形容詞対
ポジティブ
気軽な
円滑な
感じのよい
面白い
リラックスする
安心な
暖かい
愉快な
ゆったりとした
うちとけた
明るい
わかりやすい
好きな
得意な
おだやかな
興味深い
元気がでる
落ち着いた

ネガティブ
重厚な
ぎこちない
感じのわるい
つまらない
緊張する
不安な
冷たい
不愉快な
せわしない
かたくるしい暗い
わかりにくい嫌いな
苦手な
いらいらする
退屈な
疲れる
落ち着かない明滅光源あり平均値
SD

明滅光源なし
平均値
SD

4.61

1.62

4.04

1.46

2.83

1.23

2.33

1.09

3.96

1.30

4.25

1.26

4.91

1.59

4.04

1.65

3.78

1.41

3.71

1.30

3.83

1.23

3.42

1.35

3.96

1.11

3.67

1.05

4.48

0.99

4.25

1.42

5.26

0.96

5.17

1.20

4.40

1.40

3.71

1.23

4.04

1.07

4.25

0.99

3.74

1.57

3.21

1.10

4.35

1.03

4.21

1.41

4.17

0.98

4.21

1.06

3.83

1.19

3.67

1.52

4.61

1.56

4.46

1.74

3.17

0.72

3.50

1.44

4.13

1.14

3.54

1.25

4. 2 印 象 評 価
しりとりに対する印象とロボットに対する印象を 7
段階評定法 [19]（非常に・かなり・やや・どちらともいえない・やや・かなり・非常に）で参加者に評価さ

表 4 しりとり印象評価における因子分析結果
Table 4 Results of factor analysis of impression of
the game.
因子負荷量

項目
気軽な
わかりやすい
明るい
うちとけた
暖かい
愉快な
感じのよい
得意な
好きな
元気がでる
落ち着いた
リラックスする
おだやかな
安心な
興味深い
面白い
円滑な
ゆったりとした寄与率（%）

1

2

3

4

5

0.684

0.025

0.048

0.166

0.110

0.662

-0.0130.384-0.089-0.103

0.634

0.265

0.134

0.318

-0.165

0.627

0.363

0.292

0.299

0.061

0.537

0.302

-0.063

0.251

0.105

0.525

0.523

0.001

0.133

0.326

0.513

0.402

0.285

0.188

-0.155

0.151

0.802

0.190

0.006

-0.132

0.119

0.755

0.234

0.404

0.184

0.092

0.424

0.630

0.226

0.138

-0.004

0.036

0.588

0.049

-0.143

0.413

0.199

0.552

-0.101

0.094

0.224

0.422

0.490

0.254

0.192

0.260

0.370

0.415

0.099

0.018

0.235

0.104

0.065

0.835

0.048

0.268

0.305

.0156

0.683

0.389

0.342

-0.008

0.401

0.019

0.623

0.124

-0.0160.146-0.0117-0.427

17.34

14.35

11.66

10.11

5.86

表 5 しりとり印象評価における因子得点
Table 5 Factor scores for impression of the game.
因子

光源ありの
因子得点

光源なしの
因子得点

t値

p 値

せた．すなわち，ポジティブな形容詞とそれと反対の1（親和基準因子）

0.13

-0.12

0.929

0.358

2（満足基準因子）

-0.08

0.08

-0.6000.552

意味を持つネガティブな形容詞からなる形容詞対を並

3（平穏基準因子）

0.06

-0.06

0.500

0.620

4（関心基準因子）

0.05

-0.05

0.356

0.723

5（円滑基準因子）

0.18

-0.18

1.427

0.148

べたアンケート用紙を用意し，しりとり／ロボットに関して，各形容詞対についてポジティブな形容詞とネ（自由度は全て 45）

ガティブな形容詞のどちらに近い印象を持ったかを評価させた．そして，これらの結果に対して因子分析を行い，2 条件間で因子得点の比較を行った．
ここでの仮説は，実験参加者（ユーザ）が，明滅光源あり条件において，しりとり及びロボットに対してよりポジティブな印象を持つということである．音声
対話インターフェースは，ユーザにポジティブな印象を持たれる方が望ましいと考える．

4. 2. 1 しりとりに対する印象
表 3 にしりとりに対する印象評価に用いた形容詞
対と参加者の評価結果を示す．表はポジティブな形容
詞の数値が高くなるように反転項目の処理を行ってある（注 3）．つまり「気軽な–重厚な」のペアであれば，「非
常に気軽な」という評価を 7 とし，「非常に重厚な」という評価を 1 として，評点の平均値を計算している．
この評価データを用い，因子分析（主因子法）を行っ（注 3）：表ではポジティブな項目が左側に並ぶように揃えているが，アンケート用紙上では右側と左側にランダムに振り分けてある．

6

た．バリマックス回転後の各項目の因子負荷量を表 4に示す．スクリープロットを検討した結果，5 因子が抽出された．各因子に対し，項目内容を考慮して因子名を決定した（表 5）.
さらに回帰法によって因子得点を求め，明滅光源あり条件となし条件間で比較した．表 5 に各条件の因子
得点の平均値と，平均値の差の検定（t 検定）の結果を示す．いずれの因子にも有意差は見られなかった．

4. 2. 2 ロボットに対する印象
表 6 にロボットに対する印象評価に用いた形容詞対と参加者の評価結果を示す．しりとりに対する印象評
価と同様の手順で因子分析を行い，明滅光源あり条件となし条件間で比較を行った．表 7 にバリマックス回
転後の各項目の因子負荷量を示す．ここから抽出された各因子に対し，条件間の因子得点の平均値の差の検定（t 検定）を行った結果を表 8 に示す．誠実基準因子において，光源あり条件の方が高い因子得点を持ち，

論文／Artiﬁcial Subtle Expression としての明滅光源による音声対話の円滑化
表 6 ロボット印象評価のための形容詞対と評価結果
Table 6 Rated adjective pairs for impression of the
robot
形容詞対
ポジティブ
積極的な
人のよい
なまいきでない
ひとなつっこいかわいらしい心のひろい
社交的な
責任感のある
慎重な
恥ずかしがりの重厚なうきうきした
堂々とした
感じのよい
分別のある
親しみやすい
意欲的な
自信のある
気長な
親切な

ネガティブ
消極的な
人のわるい
なまいきな
近づきがたい
にくらしい
心のせまい
非社交的な
責任感のない
軽率な
恥しらずの
軽薄な
沈んだ
卑屈な
感じのわるい無分別な
親しみにくい
無気力な
自信のない
短気な
不親切な

明滅光源あり平均値
SD

明滅光源なし
平均値
SD

4.22

1.31

4.21

1.02

4.17

1.27

4.29

1.46

4.00

1.48

4.50

1.56

3.96

1.19

4.17

1.31

4.26

1.14

4.08

1.41

4.22

1.09

3.67

1.27

4.13

1.46

3.83

1.17

4.52

1.08

4.50

1.44

4.78

1.00

4.50

1.44

4.04

0.56

3.79

0.72

4.35

1.15

4.21

1.35

3.65

1.19

3.79

0.78

4.96

1.15

4.83

1.13

4.22

1.13

3.92

1.35

4.52

1.04

4.46

1.18

4.09

1.53

3.96

1.57

4.22

1.17

4.21

0.88

5.00

1.21

4.46

1.22

4.65

1.23

4.83

1.13

3.52

1.34

3.71

1.33

有意差が認められる．この結果から，明滅光源の導入
がロボットに対して誠実で心が広い印象を与えることが示唆された．

表 7 ロボット印象評価における因子分析結果
Table 7 Results of factor analysis of impression of
the robot.
因子負荷量

項目
なまいきでない
人のよい
かわいらしい感じのよい
ひとなつっこい親切な
親しみやすい
重厚な
慎重な
堂々とした
気長な
意欲的な
自信のある
うきうきした
分別のある
責任感のある
心のひろい
積極的な
社交的な
恥ずかしがりの寄与率（%）

1

2

3

4

5

0.822

0.040

0.076

0.038

-0.3270.726-0.295

0.051

0.354

-0.093

0.717

0.142

-0.029

0.216

0.019

0.708

0.184

0.011

0.0455

0.028

0.632

-0.2680.195-0.029

0.256

0.608

0.422

0.232

0.032

0.293

0.589

0.312

0.243

0.256

0.266

0.070

0.777

-0.0220.283-0.341

0.151

0.597

0.105

0.241

-0.141

0.126

0.536

0.480

0.194

0.073

0.182

-0.398-0.1390.196-0.134

0.163

0.106

0.821

0.076

0.100

-0.037

0.231

0.559

0.166

0.062

0.163

-0.3280.554-0.040

0.354

0.139

0.482

0.525

0.419

-0.122

0.251

0.145

0.113

0.798

0.000

0.158

0.130

0.156

0.588

0.035

0.039

-0.067

0.261

0.043

0.734

0.456

0.018

0.241

0.373

0.643

0.154

0.093

0.125

0.184

-0.310

19.03

11.75

10.84

10.15

8.51

表 8 ロボット印象評価における因子得点
Table 8 Factor scores for impression of the robot.
因子

光源ありの
因子得点

光源なしの
因子得点

t値

p 値

-0.13

0.13

-0.923

0.361
0.821

しりとりに対する印象評価では有意な違いが見られ

1（親和基準因子）なかったが，ロボットに対する印象評価では，明滅光2（平静基準因子）

0.03

-0.03

0.228

3（意欲基準因子）

-0.02

0.02

-0.1770.861

4（誠実基準因子）

0.34

-0.32

2.677

0.010

5（積極基準因子）

0.07

-0.06

0.477

0.636

源あり条件の方がポジティブな評価を持ったことが有意差を持って示された．以上の結果は，印象評価についての前述の仮説を支持している．

（自由度は全て 45）

4. 3 明滅光源の解釈
実験後のアンケートでは，「ロボットの振る舞いで特徴的であったこと」，「言い直しをした状況と理由」，「実験中に主にどこを見ていたか」を自由回答で尋ねた．これらの項目に対する回答から明滅光源ありの条件で参加者が明滅光源をどのように解釈したかを分類

Table 9表 9 明滅光源の解釈
Interpretations of the blinking-light.

解釈
反応，理解，認識思考中
その他（気づかなかった）

人数
14
4
3
2

（割合）
(60.9%)(17.4%)(13.0%)(8.7%)

した結果を表 9 に示す．この結果から，明滅光源あり
条件の 23 名中 21 名が明滅光源の存在に気づいていた

た．一方，光源なしの場合では処理中・失敗時ともにことがわかった．またその意味についても「音声に反有意差が認められた．失敗時の前半の平均言い直し率

応・音声を認識していることを表している」や「考えは 29.7%，後半の平均言い直し率は 12.9%（t = 2.11，ていることを表している」など，こちらの意図したよ

df = 23，p = .046），処理中の前半の平均言い直し

うに解釈していることがわかった．
明滅光源の意味を解釈するためにある程度の対話時

率は 5.9%，後半の平均言い直し率は 3.6%（t = 2.32，

df = 23，p = .029）であった．

間が必要であれば，言い直しの頻度が時間軸上で変化以上のことから，明滅光源の意味は対話開始後すぐすると予想される．そこで前半 5 分と後半 5 分の平均に正しく解釈されたと推定でき，明滅光源による内部

言い直し率について t 検定を行った結果，光源ありの状態表出は解釈が容易であることが示唆された．

場合では処理中・失敗時ともに有意差は認められなかっ

また，言い直した理由を条件別に分類した結果を表
7電子情報通信学会論文誌 xxxx/xx Vol. Jxx–A No. xx
表 10 言い直した理由
Table 10 Reasons for repetitions.
条件

解釈
人数 （割合）光源が点滅しなかったので
16 (69.6%)
光源あり 同じ言葉を繰り返したので
5 (21.7%)（言い直さなかった）
2 (8.7%)
同じ言葉を繰り返したので
10 (41.7%)
光源なし 返事が遅いので
7 (29.2%)
その他
5 (20.8%)（言い直さなかった）
2 (8.3%)法の有効性を検証する予定である．また，artiﬁcial

subtle expression の枠組みの中での比較（他のパターンや表出デバイスの使用など）も今後の課題である．
提案手法の有効性は適用対象の外見に影響されないことが望まれる．これに関して PC など非人間型の対象を用いた検証実験を検討している．本研究で想定する提案手法の適用状況は，一対一の対面対話で，対話
対象が静止している状況であり，ロボットが動き回る
ような状況は想定していない．しかし特にロボットの10 に示す．光源なし条件では「返事が遅い」という理

場合は，静止状況とはいっても，本論文での実験のよ由をあげた参加者が 3 割弱いたが，光源あり条件ではうに完全に静止している状況はあまり現実的ではなく，そのような理由をあげる参加者はいなかった．このこ

ロボットが対話に指差しなどのジェスチャを含めることから，明滅光源が存在することで返事が遅いというとは想定しなくてはならない．提案手法とジェスチャ

否定的な印象が薄められている可能性が示唆された．

や他の表出法との干渉も今後の研究課題の一つである．

5. ま と め
本論文では，artiﬁcial subtle expression の考えに

また，多人数対話時の影響も検討する必要がある．
謝辞

artiﬁcial subtle expression について共に議論していただいた小松孝徳氏（信州大学）に感謝する．
文則って，ロボットが対話中に明滅光源を用いて内部状態を表出することで，発話の衝突の原因となるユーザ

山田誠二（監著），人間とロボットの＜間＞をデザインする，東京電機大学出版局，2007．

[2]

M. Nakano, Y. Nagano, K. Funakoshi, T. Ito, K.

からの言い直しを抑制し，円滑なコミュニケーションを実現する手法を提案した．本研究の目的は発話衝突

献[1]

Araki, Y. Hasegawa, and H. Tsujino, “Analysis ofの抑止に関して最も効果的な手段を探ることではなく，

user reactions to turn-taking failures in spoken dia-

明滅光源の有効性を示すことにある．発話衝突を抑制

logue systems,” Proc. the 8th SIGdial Workshop on

する効果をもつ内部状態の表出方法は他にも考えられるが，提案手法は，1 節で述べたように，他手段に対Discourse and Dialogue, pp.120–123, 2007.
[3]

dling of fragmented utterances,” Proc. NAACL-2001

して様々な優位性を持つ．従って，発話衝突の抑制に関して，提案手法以上の効果を持つ他手段があったと

workshop on Adaptation in Dialogue Systems, 2001.
[4]

大須賀智子，堀内靖雄，西田昌史，市川 熹，“音声対話での話者交替／継続の予測における韻律情報の有効性，”
人工知能学会論文誌，vol.21，no.1，pp.1–8，2006．

[5]

W. Tsukahara and N. Ward, “Evaluating responsive-

しても，明滅光源の有効性を示すことには意義がある．
参加者実験では，しりとり対話において，実験参加

L. Bell, J. Boye, and J. Gustafson, “Real-time han-

者の言い直し回数と対話の印象，ロボットの印象を調

ness in spoken dialog systems,” Proc. the 6th Inter-

査した．実験の結果，明滅光源の導入によって，不要

national Conference on Spoken Language Processing

な言い直しを抑制し，適切な言い直しについては促進(ICSLP 2000), pp.1097–1100, 2000.
[6]

できる可能性が示唆された．アンケート結果の分析か

responsive systems,” Proc. the CHI2003 workshop on

ら，明滅光源の導入によってロボットに対する印象が向上すること，大部分の参加者は明滅光源の意味を短

Subtle Expressivity for Characters and Robots, 2003.
[7]

respond?,” Proc. 3rd ACM/IEEE International Con-

応答が遅いことに対するネガティブな印象が軽減されference on Human-Robot Interaction, pp.153–160,

ること，が示唆された．これらの結果から，提案手法

2008.
[8]

linguistic information for human-friendly spoken di-

化できることが示唆された．すなわち，発話の衝突を

alog systems,” Journal of The Japanese Society for
Artiﬁcial Intellignece, vol.20, no.3, pp.220–228, 2005.

回避する目的でエージェントの応答を遅らせる際のデ
今後はより実際的な課題指向対話において提案手
8

N. Kitaoka, M. Takeuchi, R. Nishimura, and S. Nakagawa, “Response timing detection using prosodic andとで，教示や訓練なしに人間とロボットの対話を円滑

メリットを軽減できることが示唆された．

T. Shiwa, T. Kanda, M. Imai, H. Ishiguro, and N.
Hagita, “How quickly should communication robots

時間で適切に解釈したこと，明滅光源の導入によってである明滅光源による内部状態表出手法を導入するこN. Ward, “On the expressive competencies needed for[9]

S. Yamada and T. Komatsu, “Designing simple andeﬀective expression of robot’s primitive minds to a

論文／Artiﬁcial Subtle Expression としての明滅光源による音声対話の円滑化
human,” Proc. 2006 IEEE/RSJ International Con-

チ・インスティチュート・ジャパン リサー

ference on Intelligent Robots and Systems, pp.2614–

チャ．博士（工学）．自然言語理解，音声対話に関する研究に従事．情報処理学会，人工知能学会，言語処理学会，ヒューマ
ンインターフェース学会，AAAI，ACM SIGCHI 会員．

2619, 2006.

長井弘志，渡辺富夫，山本倫也，“音声駆動型身体的引き込みポインタ InterPointer，” ヒューマンインタフェース
学会論文誌，vol.7，no.4，pp.37–46，2005．
[11] A. Kendon, “Do gestures communicate?,” A Review.

[10]

Research in Language and Social Interaction, vol.27,
A. Kendon, “Some functions of gaze direction in social interaction,” Acta Psychologica, vol.26, pp.1–47,

2006 年総合研究大学院大学複合科学研究

1967.
[13]

W. Rogers, “The contribution of kinesic illustrators
towards the comprehension of verbal behavior withinutterances,” Human Communication Research, vol.5,
pp.54–62, 1978.

[14]

（正員）

2000 年茨城大学工学部メディア通信工学科卒業．2002 年同大学院理工学研究科
メディア通信工学専攻博士前期課程修了．

no.3, pp.175–200, 1994.
[12]

小林 一樹

C. Bartneck and J. Reichenbach, “Subtle emotional
expressions of synthetic characters,” International
Journal of Human-Computer Studies, vol.62, no.2,

科情報学専攻博士後期課程修了．博士（情報学）．同年関西学院大学 理工学研究科
ヒューマンメディア研究センター 博士研究員．2008 年より信州大学大学院工学系研究科助教．ヒューマンロボットインタ
ラクション，ヒューマンエージェントインタラクション，環境
情報センシングに関する研究に従事．IEEE，人工知能学会，
ヒューマンインタフェース学会，日本ロボット学会，日本知能
情報ファジィ学会各会員．

pp.179–192, 2005.
[15]

S. Brave, C. Nass, and K. Hutchinson, “Computersthat care: investigating the eﬀects of orientation ofemotion exhibited by an embodied computer agent,”
International Journal of Human-Computer Studies,vol.62, no.2, pp.161–178, 2005.

[16]

H. Prendinger, J. Mori, and M. Ishizuka, “Using hu-（正員）1988 年東京大学教養学部基礎科学科第一卒業. 1990 年同大学大学院理学系研究科相関理化学専攻修士課程修了．1990 年-2004

T. Komatsu and S. Yamada, “How do robotic agents’年日本電信電話（株）にて，自然言語処理，
音声対話システムの研究に従事．博士（理学）．2004 年（株）ホンダ・リサーチ・イ
ンスティチュート・ジャパン入社．現在同社プリンシパル・リ
サーチャ．音声言語理解，音声対話システムの研究に従事．言語処理学会，情報処理学会，日本ロボット学会，電子情報通信

appearances aﬀect people’s interpretations of the学会, ACL, ACM, IEEE 各会員．

man physiology to evaluate subtle expressivity of avirtual quizmaster in a mathematical game,” International Journal of Human-Computer Studies, vol.62,
no.2, pp.231–245, 2005.
[17]

中野 幹生

agents’ attitudes?,” Proc. 2007 ACM SIGCHI Conference on Human Factors in Computing Systems(CHI 2007), pp.2519–2524, 2007.
[18]

S. Takano, K. Tanaka, H. Mizuno, M. Abe, and S.
Nakajima, “A japanese TTS system based on multiform units and a speech modiﬁcation algorithm withharmonics reconstruction,” IEEE Transactions on
Speech and Audio Processing, vol.9, no.1, pp.3–10,
2001.

[19]

鎌原雅彦，大野木裕明，宮下一博，中沢 潤（編著），心理学マニュアル 質問紙法，北大路書房，1998．
（平成 xx 年 xx 月 xx 日受付）

山田 誠二
1984 年大阪大学基礎工学部卒業．1989
年同大学院基礎工学研究科博士課程修了．
工学博士．1989 年大阪大学基礎工学部助手．1991 年大阪大学産業科学研究所講師．
1996 年東京工業大学大学院総合理工学研
究科助教授．2002 年国立情報学研究所教授，現在にいたる．HAI，知的 Web インタラクションに興味をもつ．情報処理学会，日本ロボット学会，AAAI, IEEE, ACM
各会員．

北村 泰彦

（正員）

1960 年 8 月 25 日生。1983 年 3 月大阪

船越孝太郎
2000 年東京工業大学工学部情報工学科
卒業．2002 年同大学大学院情報理工学研

究科計算工学専攻修士課程修了．2005 年
同大学院博士課程修了．同年 同大学院特別研究員．2006 年より（株）ホンダ・リサー

大学基礎工学部情報工学科卒業。1988 年 3月同大学大学院基礎工学研究科物理系専攻（情報工学分野）博士課程修了．工学博士．
1988 年 4 月大阪市立大学工学部電気工学科助手．同大学情報工学科講師，助教授を経て，2003 年より関西学院大学理工学部情報科学科教授．マ

9電子情報通信学会論文誌 xxxx/xx Vol. Jxx–A No. xx
ルチエージェントシステム，インタフェースエージェント，知的 Web システムに関する研究に従事．IEEE, ACM, AAAI,
電子情報通信学会，情報処理学会，人工知能学会，システム制
御情報学会各会員．

辻野広司

1984 年東京工業大学理学部情報科学科卒業．1986 年同大学院情報科学専攻修士課程修了．1987 年（株）本田技術研究所

入社．2003 年より（株）ホンダ・リサー
チ・インスティチュート・ジャパン チー
フ・リサーチャ．脳型コンピュータ，知能システム，ヒューマンロボットインターフェース，画像認識などの研究に従事．IEEE，SFN，INNS，日本ロボット学会，日本ソフトウェア科学会各会員．

10

Abstract Speech overlaps, undesired collisions of utterances between systems and users, harm smoothcommunication and degrade the usability of systems. We propose a method to enable smooth speech interactions between a user and a robot, which enables subtle expressions by the robot in the form of ablinking LED attached to its chest. In concrete terms, we show that, by blinking an LED from the end of
the user’s speech until the robot’s speech, the number of undesirable repetitions, which are responsible forspeech overlaps, decreases, while that of desirable repetitions increases. In experiments, participants playeda last-and-ﬁrst game with the robot. The experimental results suggest that the blinking-light can prevent
speech overlaps between a user and a robot, speed up dialogues, and improve user’s impressions.
Key words Turn-taking, speech overlap, subtle expression, human-robot interaction