情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B22
2016/3/2

半球ディスプレイを用いた瞳孔反応インタフェースの評価
瀬島 吉裕1,a)

江川 翔一1,b)

岡本 大地2,c)

佐藤 洋一郎1,d)

渡辺 富夫1,e)

概要：著者らはこれまでに，人とロボットとの円滑なコミュニケーションの実現を目的として，無意識的に反応する瞳孔反応に着目し，人間同士のコミュニケーション時における瞳孔反応を解析した．さらに，解析結果に基づいて，半球ディスプレイを用いた瞳孔反応インタフェースを開発した．このインタフェー
スは，音声入力のみで瞳孔反応を表現することができる．本研究では，開発したインタフェースを用いてコミュニケーション実験を行った．その結果，瞳孔反応が表現されることで，一体感や親近感等が向上し，開発したインタフェースがコミュニケーション支援に有効であることを示した．

Evaluation of an Expressible Pupil Response Interface
Using Hemispherical Displays
Sejima Yoshihiro1,a)Egawa Shoichi1,b) Okamoto Daichi2,c)Watanabe Tomio1,e)Sato Yoichiro1,d)Abstract: We focused on the pupil response which is related to human emotions for realizing smooth communication during embodied interactions between humans and robots and analyzed the pupil response in
human face-to-face communication. In addition, we developed an expressible pupil response interface using
hemispherical displays on the basis of this analysis. This interface enables expression of the pupil responseby using only speech input. In this study, we perform the communication experiment using the developedinterface. The eﬀectiveness of the proposed expressible pupil response interface is demonstrated by means ofsensory evaluations.

1. はじめに同調することで，身体性が共有され円滑なコミュニケーションが実現されている [2]．この身体的引き込みが互い

近年，情報通信の高速化や情報機械の性能向上により，のかかわりや一体感を実感させ，共感を高めている [3]．

日常生活を支援する様々なコミュニケーションロボットが

著者らはこれまでに，身体的引き込みに着目して，発話開発され，提供されている [1]．このようなコミュニケー音声からうなずきなどの頭部動作や身振りなどの豊かなコションロボットやエンタテインメントロボットには，単にミュニケーション動作を自動生成する iRT 技術を開発し，人間の生活を支援するだけでなく，コミュニケーションをインタラクション支援に有効であることを示している [4]．

通して共感する仕組みが求められている．本来，人間同士さらに，アバタの眼球動作を発話音声から自動生成する眼のコミュニケーションでは，言葉による言語情報だけでな球動作モデルを提案し，iRT と併用することで，対話しやくうなずきや表情・視線等の非言語情報が互いに引き込み，すさや一体感が向上することを示してきた [5]．

12a)b)c)d)e)

岡山県立大学情報工学部
Kuboki 111, Soja-shi, Okayama 719–1197, Japan
岡山県立大学大学院情報系工学研究科
Kuboki 111, Soja-shi, Okayama 719–1197, Japan
sejima@ss.oka-pu.ac.jp
c324011z@ss.oka-pu.ac.jp
cd27013x@ss.oka-pu.ac.jp
sato@ss.oka-pu.ac.jp
watanabe@cse.oka-pu.ac.jp© 2016 Information Processing Society of Japan

一方，人間の瞳孔は光量の調節を行うだけでなく，興味関心やストレスの度合い等，情動に関連して無意識のうちに拡大・縮小運動が行われることが知られている [6], [7]．
さらに近年では，人の興味の度合いについて瞳孔反応を基に定量評価する手法等，数多くの研究が精力的に行われている [8], [9]．しかしながら，従来研究では，人と人工物と242

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B22
2016/3/2のインタラクションを対象としており，人と人とのインタラクションにおける瞳孔反応についての研究はなされていIDなかった．そこで，著者らはこれまでに対面コミュニケー

ID

ションにおける人間の瞳孔に着目し，コミュニケーション時における瞳孔反応を解析した [10]．さらに，解析結果

Voiceに基づいて，半球ディスプレイを用いた瞳孔反応インタID

フェースを開発したが，その有効性に関する定量的な評価

PC

Ethernet

PC Voice

Image distributor

図 2 瞳孔反応インタフェースの概略

Fig. 2 Expressible pupil response interface.

を行っていなかった [11]．
そこで本研究では，開発したインタフェースを用いてコミュニケーション実験を行い，その結果から瞳孔反応が表現されることで，一体感や親近感等が向上し，開発したインタフェースがコミュニケーション支援に有効であることを示す．

2. 瞳孔反応インタフェース

図 3

2.1 コンセプト

半球ディスプレイ

Fig. 3 Hemispherical display.

対面コミュニケーションでは，話し手のジェスチャーや身体動作だけでなく，アイコンタクト等の視線情報が重要

Pupilな役割を果たしている [12], [13]．人間とロボットとのコY

ミュニケーションにおいても同様に視線情報がコミュニケーションの円滑化に影響を与えることが報告されている [14]．そのため，人間とロボットとのインタフェースにIris

ZX

おいても円滑なコミュニケーションを実現するためには，

図 4 瞳孔と虹彩の 3D モデル

視線方向の提示だけでなく，情動に密接に関連する瞳孔をFig. 4 3D model of pupil and iris.

用いた感情表現手法が必要である．
図 1 に半球ディスプレイを用いた瞳孔反応インタフェー

たワークステーション PC (CPU: Corei7 2.93GHz, Mem-スのコンセプトを示す．このインタフェースでは，発話音ory: 8GB, Graphics: NVIDIA Geforce GTS250)，半球ディ声に基づいてディスプレイに表示される瞳孔が拡大・縮小

スプレイ (Gakken WORLDEYE)，映像分配器 (SANWA

運動を行う．対話者は，このような瞳孔反応に対して情動

SUPPLY VGA-HDSP4K) から構成される．半球ディスプ等の解釈・意味付けを行いながらコミュニケーションを行

レイの外観を図 3 に示す．ディスプレイのサイズは，直径う．さらに iRT を適用することで，聞き手のうなずき動作250mm で，投影される解像度は 480 × 480 ピクセルであを実行することが可能となり，対話者はこのインタフェーる．このディスプレイに瞳孔反応を表現するために，3D モスを介して身体リズムを共有し，共感しやすくなると期待デルを作成した．作成した瞳孔部と虹彩部を図 4 に示す．

される．

虹彩を青色にすることで，瞳孔の拡大・縮小反応が認識しやすくなっている．また，この 3D モデルを描画する背景

2.2 瞳孔反応インタフェース

色を白色とすることで，眼球の白目部分を模擬している．

本研究では，半球ディスプレイを用いて瞳孔反応インタ

瞳孔の拡大・縮小反応は，Z 軸に対して 5.2 mm/f rame のフェースを開発した [11]．図 2 に開発したインタフェース

違和感のない速度で前後方向に移動することで実現していの概略を示す．このインタフェースは Windows 7 を搭載しる．うなずき動作は，Y 軸に対して 0.25 rad/f rame の速度で上下方向に移動することで実現している．3D モデル

Voice

Voice
Eyeball

Eyeballの描画には Microsoft DirectX 9.0 SDK (June 2010) を用い，描画フレームレートは 30fps である．音声は，16 ビッ
ト 11 kHz でサンプリングしている．
開発したインタフェースの使用例を図 5 に示す．対話者の音声入力に基づいて，インタフェースは話し手や聞き手

Talker1

Pupil responce

Pupil responce

Talker2として瞳孔反応を生成する．瞳孔反応は以下の手順で生成

図 1 瞳孔反応インタフェースのコンセプト

する．対話者の音声がインタフェースに入力されると，瞳Fig. 1 Concept of an expressible pupil response interface.

孔部である黒色 3D モデルが Z 軸に対して前方向に移動す© 2016 Information Processing Society of Japan243

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B22
2016/3/2

ロ層に移る．ミクロ層では音声の ON-OFF データ（30Hz，60 個）を入力とし，(3) 式を用いて MA モデルでうなずきの開始時点を推定する．予測値が閾値を越えた場合にうなずき動作を行う．

Mu (i) =J

a(j) R(i − j) + u(i)

(1)

j=1

R(i) =
図 5 瞳孔反応インタフェースを用いた使用例

T (i)T (i) + S(i)(2)a(j) : 予測係数

Fig. 5 User using the developed interface.

T (i) : i 番目ユニットでの ON 区間

る．このとき，先行研究の知見に基づいて，通常時と比較S(i) : i 番目ユニットでの OFF 区間

して 1.5 倍の大きさとなるまで拡大する [10]．音声が入力

u(i) : 雑音

され続けている場合は，瞳孔部は拡大した状態を維持する．
音声が入力されなくなると，同じ速度で瞳孔部が後方に移動し（縮小反応），通常時の大きさとなる．このように，音声のみから瞳孔反応を生成することで，人間とコミュニケーションしているような感覚が創出され，一体感の増大に繋がると期待される．

M (i) =Kb(j) V (i − j) + w(i)(3)

j=1b(j) : 予測係数
V (i) : 音声データ
w(i) : 雑音

3. コミュニケーション実験

2.3 インタラクションモデル
発話音声に基づく聞き手の身体反応モデルとして，対話者の音声の ON − OFF パターンに基づくうなずき反応モ
デルとうなずきの予測値に基づく身体動作モデル [4] を導入している．このモデルの予測は，マクロ層とミクロ層から．マクロ層では音声の呼気段なる階層モデルである（図 6）

本研究では，開発したインタフェースの有効性を検討するために，聞き手へのコミュニケーション効果に着目してコミュニケーション実験を行った．

3.1 実験概要

落区分での ON-OFF 区間からなるユニット区間にうなずき

本実験では，被験者を一人ずつ正面に着席させ，瞳孔反の開始が存在するかを [i − 1] ユニット以前のユニット時間．実験方法は，予め録応表現に対する評価を行った（図 7）

率 R(i)（ユニット区間での ON 区間の占める割合，(2) 式）

音した音声データを用いて，音声から生成された瞳孔反応の線形結合（(1) 式）で表される MA (Moving-Average) モをインタフェースに提示し，被験者に視聴させた後に 7 段デルを用いて予測する．予測値 Mu (i) がある閾値を越え階評価を行わせた．録音した音声は，消費税について講義て，うなずきが存在すると予測された場合には，処理はミクしている 2 分間のデータであった．比較モードは，(A) 瞳孔が反応しないモード（静止），(B) 瞳孔が反応するモー

Macro Stage
SpeechV(t)HangoverBinaryMA Model(Duration Unit)「(a)ド（瞳孔反応）の 2 種類とした．アンケート項目は，Threshold

聴講しやすさ」，「(b)（講演内容の）理解しやすさ」，「(c)Mu(i)一体感」，「(d) 親近感」，「(e) 生命感」，「(f) 相手からの視Exponential
distribution
Nodding M(i)Fluctuation

立 0）で官能評価させた．各モードの提示順は順序効果をMicro StageMA Model(1/30th sec)

Threshold1

Threshold1 >Threshold2

Threshold2
Body motion
i-th Unit(i-1)th Unit線」，「(g) 相手からの熱意」の 7 項目について 7 段階（中考慮しランダムとした．被験者は 19 歳〜24 歳までの男性15 人，女性 15 人の計 30 人であった．
3.2 実験結果

Result of Hangover

7 段階評価の結果を図 8 に示す．図には各項目の平均値とその標準偏差を示している．Wilcoxon 符号順位検定をT(i)Talkspurt
Macro Unit

図 6

S(i)

行った結果，提案するモード (B) は，瞳孔が動作しない

Silenceモード (A) に対して全ての項目で有意水準 1%の有意差がインタラクションモデル認められた．これは，話し手役であるインタフェースの瞳Fig. 6 Interaction model.

孔が音声に応じて反応することで，聞き手へ好印象をもた© 2016 Information Processing Society of Japan244

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B22
2016/3/2[%]
10868.4%

9.1%

420

図 7 実験の様子

Fig. 7 Example of experimental sence.

Score **
3****

**

**

図 9** P < 0.01****

mode (B)

消費税の割合Fig. 9 Result of average of ratio in tax.

謝辞

本 研 究 の 一 部 は ，JSPS 科 研 費 26750223,26280077，および岡山工学振興会の助成を受けて実施した．

2

参考文献

1

[1]
0

[2]
-1-2-3mode (A)[3]mode (A)mode (B)
(a)

(b)

(c)

(d)

(e)

(f)

(g)

[4]

(a) Interaction (b) Understanding (c) Unification (d) Familiarity(e) Vividness (f) Line-of-sight (g) Enthusiasm

図 8 7 段階評価結果

Fig. 8 Result of sensory evaluation.

[5]

らしたと考えられる．
また，実験後に消費税について，どの程度が良いかにつ[6]いて回答した結果を図 9 に示す．t 検定を行った結果，統計的な有意差は認められなかった．しかしながら，同じ音[7]声を視聴しているにもかかわらず，瞳孔が反応するモード(B) が高く評価された．これは，瞳孔が音声に応じて拡大[8]することにより，話し手の熱意が伝達され，話し手の主張が通りやすくなった可能性を示している．

[9]以上のことから，インタフェースによる瞳孔反応を表現することで，コミュニケーション支援効果が示され，開発したシステムの有効性が示された．
[10]

4. おわりに本研究では，発話音声に基づいて拡大・縮小反応を表現[11]

する瞳孔反応インタフェースを用いてコミュニケーション実験を行った．実験の結果，瞳孔がインタラクションに応じて反応するすることで，一体感や親近感が向上し，コ[12]ミュニケーション支援に有効であることを示した．
今後は，半球ディスプレイをさらに小型化した瞳孔反応ロボットを設計製作し，人間とロボットとのコミュニケーションにおいて瞳孔反応が与える効果を各種条件下で解析する予定である．

© 2016 Information Processing Society of Japan

[13]
[14]

Pepper：http://www.softbank.jp/robot/，(2015/12/18 ア
クセス).
W. S. Condon and L. W. Sander , Neonate Movement is
Synchronized with Adult Speech, Science, No. 183, pp.
99-101, (1974).
T. Watanabe , Human-Entrained Embodied Interaction
and Communication Technology, Emotional Engineering, Springer, pp.161-177, (2011).
T. Watanabe, M. Okubo, M. Nakashige and R. Danbara , Interactor: Speech-driven embodied interactive actor, International Journal of Human-Computer Interaction, Vol. 17, pp. 43-60, (2004).
瀬島吉裕，渡辺富夫，神代充 , 音声駆動型身体引き込みキャラクタに眼球動作モデルを付与した身体的コミュニ
ケーションシステム, 日本機械学会論文集（C 編）, Vol. 76,
No. 762, pp. 340-350, (2010).
L. Matthew , Area and Brightness of Stimulus Related to
the Pupillary Light Reﬂex, Journal of the Optical Society of America, Vol. 24, No. 5, pp. 130, (1934).
E.H. Hess , Attitude and Pupil Size, Scientific American, pp. 46-54, (1965).
飯島淳彦，小杉剛，木竜徹，松木広介，長谷川功，板東武
彦 , ストレス状態の推定に有効な瞳孔反応パラメータの探索, 生体医工学, Vol. 49, No. 6, pp. 946-951, (2011).
K. Kikuchi, H. Takahira, R. Ishikawa , Development of a
Device to Measure Movement of Gaze and Hand, IEICE
Transactions on Fundamentals of Electronics, Communications and Computer Sciences,Vol. 97, No. 2, pp. 534537, (2014).
瀬島吉裕，村上和輝，佐藤洋一郎，神代充，渡辺富夫 , 対面コミュニケーションにおける瞳孔反応の分析, 日本福祉工学会第 18 回学術講演会, pp.1-2, (2014).
Y. Sejima, Y. Sato and T. Watanabe , Development ofan Expressible Pupil Response Interface Using Hemispherical Displays, Proceedings of 24th IEEE International Symposium on Robot and Human Interactive
Communication(RO-MAN2015), pp.285-290, (2015).
Kendon, A. , Some Functions of Gaze-direction in Social
Interaction, Aca Psychologica, Vol. 26, pp. 22-63, (1967).
Argyle, M. ,Dean, J. , Eye Contact, Distance and Aﬃliation, Sociometry, Vol. 28, pp. 289-304, (1965).
神田崇行，今井倫太，小野哲雄，石黒浩 , 人−ロボット相互作用における身体動作の数値解析, 情報処理学会論文
誌, Vol. 44, No. 11, pp. 2699-2709, (2003).

245