情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C05
2015/3/7

ウェアラブル端末とキャラクターエージェントを利用したコミュニケーションシステムの開発
酒井 紗希1,a)

根岸 匠1,b)

田中 二郎2,c)

神場 知成3,d)

概要：本研究では，ウェアラブル端末，特に腕時計型端末を用いてキャラクターエージェントとコミュニケーションを行うシステムを開発した．コミュニケーションはジェスチャ等に基づく非言語的なものを想定している．提案システムは，自律的に動作するキャラクターとコミュニケーションを行う AUTO モードと，キャラクターを介して遠隔にいる人間の「気分」が提示される LIVE モードとから成る．腕時計型端末を用いることにより，ユーザはキャラクターと一緒に生活している感覚で，任意の場面にてキャラクターとのインタラクションが可能となる．本稿では提案システムの実装方法および動作について述べる．

Character-agent-based Communication Systemusing a Wearble device
Sakai Saki1,a)Negishi Takumi1,b)

Tanaka Jiro2,c)Kamba Tomonari3,d)Abstract: In this study, we developed a system which enables interactive communication with a virtual
character using a wristwatch-type device. The system has two modes; which communicate with a virtual
character and which expresses a remote user’s mood via virtual character’s facial expressions. By using
wristwatch-type device, users can always communicate with a virtual character like being together. In thispaper, we will describe implementation and the behavior of this system.

1. はじめにソフトウェアの操作や様々な情報の参照が可能である．一方，日本におけるウェアラブル端末 (腕時計型，眼鏡型等)

これまで，キャラクターエージェントを利用したユーザの販売台数は 2020 年には約 600 万台までに成長すると予インタフェースは，さまざまな場面で利用されてきた．例

測されている [3]．このような常に身体に装着する端末上でとして，ソネット株式会社が提供するメールソフトであエージェントを利用することで，ユーザはキャラクターのる PostPet[1] や NTT ドコモが提供する秘書アプリである存在をより身近に感じることができるようになる．たとえしゃべってコンシェル [2] 等が挙げられる．これらのシス

ば，腕時計型端末を用いた場合，ユーザは自分の手首の端テムを用いて，ユーザーはキャラクターとの対話を介して末上のキャラクターと一緒に生活をしている感覚で，キャラクターとインタラクションすることが可能であると考え123a)b)c)d)

筑波大学大学院システム情報工学研究科
Graduate School of Systems and Information Engineering,
University of Tsukuba
筑波大学 システム情報系
Faculty of Engineering, Information and Systems, Universityof Tsukuba
ビッグローブ（株）/ 筑波大学
BIGLOBE Inc. / University of Tsukubasaki@iplab.cs.tsukuba.ac.jp
negishi@iplab.cs.tsukuba.ac.jp
jiro@cs.tsukuba.ac.jp
kamba@biglobe.co.jp© 2015 Information Processing Society of Japanられる．
本研究では，ウェアラブル端末の中でも特に，腕時計型端末上においてキャラクターエージェントを利用し，仮想的なキャラクターとのコミュニケーションと，リアルな人間とのコミュニケーションとを組み合わせた，感情のコミュニケーションシステムを提案する．提案システム上では，常にキャラクターエージェントが表示されているが，仮想的なキャラクターが自律的に動作するモードと，遠隔737

ユーザの「気分」を反映してキャラクターが動作するモードとが，常時切り替え可能である．
実装で用いるキャラクターについては，ピアプロ・キャラクター・ライセンス *1 に基づき，クリプトン・フューチャー・メディア株式会社の「初音ミク」を用いた．

2. 提案システム
2.1 システムの全体像
提案システムの全体像を図 1 に示す．

LAN 内 LAN 内

図 2

AUTO モードのシステム構成

たとえば，外出時はキャラクターを腕時計型端末側に呼び戻し，帰宅時はキャラクターを PC 側に送り出すことが可能である．

LAN内で通信システムの動作については，スマートフォン側にキャラLAN内で通信クターが表示されている場合，「キャラクターはユーザとともに出かけている」という状況設定であり，ランダムで数種類のモーション，音声が再生される．またタッチやスワイプなどによりキャラクターとのコミュニケーションをとることが可能である．例えば画面に表示されているキャ

図 1システムの全体像

ラクターの頭を撫でることでキャラクターが喜ぶ仕草をする．また，ユーザが意識的にインタラクションをとろうと本システムは，キャラクターとインタラクションを行うしなくても，キャラクターが画面をノックして端末を振動「AUTO モード」とキャラクターを介して遠隔ユーザの気させるといった，キャラクターが能動的に行うインタラク分の提示を行う「LIVE モード」からなる．AUTO モードションも組み込んでいる．さらにユーザが帰宅し，スマーは，キャラクターが端末内で生活しているイメージであトフォンから PC にキャラクターを移動させたい場合，スり，ユーザ操作または状況に応じて，キャラクターはＰＣマートフォンの下部から上部に向かってスワイプすることとウェアラブル端末との間を移動する．LIVE モードでは，でキャラクターを PC 側に移動させることができる．PC

腕時計型端末内のキャラクターは遠隔ユーザのスマート側では現在はユーザがすることはなく，「キャラクターがフォンアプリと繋がることを想定しており，遠隔ユーザのそこで気ままに生活している」という状況設定であり，本スマートフォン操作から気分を推定し，ウェアラブル端末を読む，眠る，などの数種類のモーションをランダムに再上でキャラクターの表情・仕草として提示する．ウェアラ

生している．

ブル端末のユーザは，これらのモードを常時切り替え可能である．各モードにおけるシステム構成および動作を以下で述べる．

2.3 LIVE モード
LIVE モードは，腕時計端末上のキャラクターの表情によって，スマートフォンを利用している遠隔ユーザの感情

2.2 AUTO モードが提示されるモードである．システム構成を図 3 に示す．

AUTO モードは，利用者が，腕時計型端末上のキャラク

現時点では，スマートフォン側から腕時計型端末への一ターと直接インタラクションを行うモードであり，キャラ方向の伝達のみ実装しており，LAN 内での通信が可能でクターはプログラムにしたがって自律的に動作を行う．シある．

ステム構成を図 2 に示す．

スマートフォン側では，利用者のジェスチャを反映して腕時計型端末とＰＣ上では，連携するアプリケーション感情伝達を行うアプリケーションとして “Moods” を開発がそれぞれ動作しており，キャラクターはどちらか一方だした．Moods は，遠隔地にいる二人のユーザを対象としけに存在する．利用者の操作，または状況に基づいて自動ており，一方のユーザのスマートフォンの操作に応じて他的に，キャラクターは腕時計端末とＰＣとの間を移動する．

方のユーザの時計型端末の画面にキャラクターの表情を提*1示する．キャラクターの表情に関しては，遠隔ユーザのス

http://piapro.jp/license/pcl/summary© 2015 Information Processing Society of Japan738

るものを用いた．腕時計型端末上では顔や上半身を中心として利用者とコミュニケーションを行い，PC 上では全身でコミュニケーションを行うことを想定したためである．

3.2 キャラクターとのインタラクション
現在，利用者がキャラクターとインタラクション可能なjoy)のは，腕時計型端末上だけである．キャラクターが移動して PC 上に存在する場合は，仮想的な部屋の中に座ったり，いくつかの自律的な動作のみをする．
腕時計型端末上側では図 4 左のようにキャラクターが表示されており（現在はスマートフォン上に実装），たとえばキャラクターの頭をなでると，図 4 右のように照れた表情となる．その他，身体のどの部分に触れるかにより数種類の異なる反応をしたり，一定時間以上何も操作をしない

図 3LIVE モードのシステム構成と，自律的に画面の内側からノックをしてきて端末がバイブレーションするような動作も実装している．

マートフォンの操作に応じた様々な表情（笑顔や悲しそうな顔等）を用意している．

腕時計型端末と PC との連携には，TCP/IP によるソケット通信を用いている．スマートフォン側では，PC とMood では，伝達する感情として，5 つの「気分」を定通信を行うために起動時に IP アドレスと Port 番号を入力

義し，それらの気分に対応する利用者のジェスチャを，表する画面が表示される．ここで本システムの PC 側のソフ1 のように定義した．

トウェアを起動している時，PC 側の IP アドレスと Portjoy の項目は，嬉しくなったユーザが端末を上下に振る番号を入力することで，通信相手の PC を指定する．PC 側

ことで，キャラクターが幸せそうな顔をすること表していも同様に起動時にスマートフォン側の IP アドレスと Portる．anger の項目は，怒ったユーザが３本の指で強く画面番号を入力することで，相手の端末を指定する．

をタップすることで，キャラクターは怒った顔をすることを表している．sadness の項目は，悲しくなって脱力したユーザが端末を持ったまま手を腰の位置に下ろすことで，キャラクターが悲しい顔をすることを表している．leaveの項目は，放っておいてほしいユーザが端末を裏返して置くことで，キャラクターが放っておいてほしい素振りをすることを表している．attention の項目は，ユーザが構ってほしい気分の時に端末を指で３回タップすることにより，キャラクターが画面をノックする素振りをすることを表している．

3. 実装
実装は，Android OS を搭載した腕時計型端末で動作することを想定しているが，現在はスマートフォンを利用している．今回のアプリケーションの実装には，3D ゲーム

図 4

スマートフォン上でのキャラクター表示

エンジンの Unity および AndroidStudio を使用しており，言語は C#，Java を用いた．

3.3 遠隔ユーザの気分の提示
3.1 モデルの描画

遠隔ユーザが，スマートフォンアプリ Moods を起動し本システムのキャラクターモデルは MikuMikuDance

た状態で 2.3 節で述べたような動作を行うと，まず端末上形式のキャラクターモデルを MMD4Mecanim を用いてでジェスチャが認識され，認識結果に対応する気分を示す

Unity 上にインポートしている．キャラクターが利用者の文字列（例：anger）が通信網を介して腕時計型端末に送ら手元の腕時計型端末に存在する場合と，大きな画面を持つれる．腕時計型端末上では，その文字列に対応し，キャラPC 上に存在する場合とでは，モーションや声として異なクターが異なる反応を示す（表 1）．

© 2015 Information Processing Society of Japan739

表 1

Moods におけるスマートフォンの操作とキャラクターの表情の対応

気分joyangersadness

leave

attention

操作

端末を持って腕を振る

3 本指でタップ

端末を持って腕を下に垂らす

端末を机の上に伏せて置く

１本指で３回タップ軽くガッツポーズ

横を向いて軽く目をとじる

目を伏せてうつむく

横を向いて冷たい表情

画面の内側からノックする
仕草とバイブレーション

表情

現在は Moods 起動時に図 6(a) に示す設定画面にて相手端末の IP アドレスと Port 番号を入力後，操作を行うことで，図 6(b) に示す画面が表示され，腕時計型端末のキャラクターの表情に反映されるといった実装を行っている．今後は WAN 上での通信を可能にする予定である．

腕時計型端末（イメージ）

スマートフォン
“anger”

３本指でタップ

キャラクターが怒る

図 6
図 5

アプリのユーザインタフェース

遠隔ユーザの気分の提示の例

4. 関連研究フォンを装着し，ヘッドマウントディスプレイに表示された人型の CG キャラクタと音声で対話することができ，家山本ら [6] は「スマートメイちゃん」と呼ばれるスマート

庭内や屋外などの様々な状況での利用を想定したシステム

フォン単体で動作する音声対話 3D エージェントシステムである．本研究では，キャラクターエージェントと対話すを開発した．これはスマートフォン上で音声認識，音声合る点，家庭内や屋外などの様々な状況での利用を想定した

成，3D 描画，リップシンクなどの技術を組み合わせ，オーシステムである点が共通しているが，時計型端末と PC のトマトンを用いたシナリオを作成することで画面内のキャみを用いる点で異なっている．

ラクターとの音声対話を構築するシステムである．本研究Picard[8] は，主要な基本感情の研究において最も多く登では，スマートフォン上で 3D 描画されたキャラクターを場する感情は「joy」，「sadness」，「anger」，「fear」である

登場させる点は共通しているが，タッチジェスチャによっと述べている．本研究では，「joy」，「sadness」，「anger」とてキャラクターとインタラクションする点で異なる．

いう気分を定義した．加えて，放っておいてほしい状態をAramaki ら [7] は，拡張現実技術を使用した AR キャラ
クタによる対話システムを提案，開発した．ユーザは頭表す「leave」と構ってほしい状態を表す「attention」を独自に定義した．

部にヘッドマウントディスプレイ，カメラ，マイク，イヤ© 2015 Information Processing Society of Japan740

5. おわりに本研究では，腕時計型端末の利用を想定し，キャラクターエージェントとのインタラクションおよび遠隔ユーザの気分の提示を行うシステムを開発した．本稿では提案システムの実装方法および動作について述べた．また，本システムはキャラクターと共に生活しているというシナリオの元キャラクターとの対話において音声を使わずにタッチによる対話を可能にした．さらに，遠隔ユーザの気分を身体に装着している端末のキャラクターの表情として提示することを可能にした．
腕時計型端末を想定したソフトウェアは，現時点（2014年 12 月）ではスマートフォン上に実装しているが，画面が小型化されたものが利用可能になり次第，腕にとりつけて利用予定である．また，現状ではキャラクターとのコミュニケーション手段や，腕時計型端末側から遠隔ユーザへのコミュニケーション手段が未実装であるため，それらの実装も計画している．
参考文献
[1]
[2]
[3]
[4]
[5]
[6]

[7]

[8]

PostPet,http://postpet.jp/ (accessed December 10,2014)
し ゃ べ っ て コ ン シ ェ ル,https://www.nttdocomo.co.jp/(accessed December 10, 2014)
総務省,http://www.soumu.go.jp/ (accessed December 9,2014)
MikuMikuDance,http://www.geocities.jp/higuchuu4/(accessed December 5, 2014)
MMD4Mecanim,http://stereoarts.jp/ (accessed December 5, 2014)山本 大介，大浦 圭一郎，西村 良太，打矢 隆弘，内匠 逸，李 晃伸，徳田 恵一, スマートフォン単体で動作する音声
対話 3D エージェント「スマートメイちゃん」の開発, インタラクション 2013, IPSJ Symposium Series Vol. 2013,
No. 1, pp. 675-680.
Aramaki, Reina and Murakami, Makoto. : Investigating Appropriate Spatial Relationship Between User andAr Character Agent for Communication Using AR WoZ
System. Proceedings of the 15th ACM on International
Conference on Multimodal Interaction (ICMI ’13). pp.
397–404, 2013.
Picard, R., Aﬀective Computing. Cambridge: MITPress, 1995.

© 2015 Information Processing Society of Japan741