情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2B-44
2019/3/6

視線と身体を用いたインタラクティブキャラクタシステムとその編集インタフェースの構築
佐藤 裕仁1,a)

三武 裕玄1,b)

杉森 健1

長谷川 晶一1,c)

概要：ディスプレイに表示したキャラクタに，実世界の人とインタラクションさせる試みがなされている．
そのようなインタラクティブキャラクタの実現では，時々刻々と変化する実世界環境により動作を変化させる必要があるため，プロシージャルな動作生成手法が望ましい．同時に，設計者の思い描くインタラクションシナリオやキャラクタらしさは実際のインタラクションを繰り返して調整していくため，編集性も考慮する必要がある．本研究では，注意モデルに基づく視線運動と手先目標指定による動作生成を用いたインタラクティブキャラクタシステムおよびその編集インタフェースを提案する．

1. はじめに人の代替やエンターテイメントを目的として，ディスプレイに表示したキャラクタを実世界の人とインタラクションさせる試みがなされている [1][2][3]．ロボットのように，の制御と，手先目標位置による腕の制御を用いたインタラクションキャラクタシステム，およびその編集インタフェースを提案する．

2. 提案システム

実世界で行動する身体を持たないが，外見を自由に変更でシステムの構成要素は大別するとセンサ，行動決定 AI，き，動作も現実のアクチュエータに制約されないという長動作生成部の 3 つに分けられる．図 1 にシステムの概要を所がある．そのため，特にエンターテイメント分野では，示す．センサは実世界のオブジェクトや人を検知し，行動人気のキャラクタの姿で，生き生きとした動作をさせるこ開始のトリガーや行動目標を設定する．AI はキャラクタとができ，活用されている．のインタラクションシナリオに応じた行動をセンサ情報かインタラクティブキャラクタシステムにおいて，キャラら決定し，動作生成部を活性化する．動作生成は物理エンクタの動作をどのように実現するかは問題である．事前にジンを用いて，動作目標に従いキャラクタの身体状態を動用意したアニメーションを単に再生するだけでは，実世界力学的に更新する．以下では，センサと動作生成に関しての変化に十分に対応できず，キャラクタの実在性を欠くこ詳細を述べる．とになり，インタラクションの妨げとなる．そこで，実世界から取得した目標に対し，プロシージャルに動作を生成2.1 センサすることを考える．そのキャラクタらしいインタラクショ

センサには Kinect，Real Sense，Leap Motion 等を用いンを実現するには，編集者が実際に生成された動作を見なてインタラクションに必要な情報を抽出する．実装するイがら訂正を行い，理想のシナリオ・動作に近づけていく作

ンタラクションシナリオにより使用するセンサ及び情報は業が必要である．そうした試行作業では，編集者が編集段異なる．各センサで取得する情報は，以下のようなものが階で出力されるであろう動作をある程度予測できること，考えられる．

タスクにあまり関係ない部分は自動で生成されること，動• Kinect：主に離れている人の顔，手の位置の検出

作の確認と修正を素早く行えることなどが望ましい．

• RealSense D435：深度画像からディスプレイ付近での本研究では，キャラクタの生き生きとした動作をプロシージャルに生成する手法として，注意モデルによる視線手先の位置の推定• Leap Motion：手形状および手の位置の検出• Omron OKAO Vision：顔の位置，視線方向の検出，

1a)b)c)東京工業大学satoh.h.aa@m.titech.ac.jp
mitake@haselab.net
hase@haselab.net© 2019 Information Processing Society of Japan

顔情報の記憶，検出各センサには，有効範囲があるため，インタラクションに必要な情報が必要なタイミングで検知できるように配慮し632

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2B-44
2019/3/6

図 2

手を振る動作の目標点と動作左に振った端点をそれぞれ目標点に設定し，その間を右から左，左から右へと動かす軌道を作ることで実現している．
手先軌道の現在の目標位置に向けて，手先が移動するよ
うに IK により関節の目標角度及び角速度を求める．IK にはヤコビ行列 IK を用いる．ヤコビ行列の擬似逆行列を計算する際に，基準姿勢に近づくような姿勢が得られる解を探索するように実装している．これにより，基準姿勢に近い方向へと計算がコントロールされ，計算姿勢を自然な方向へと誘導できる．

図 1 提案手法

2.2.2 視線の制御てセンサを配置する必要がある．

人と人とのインタラクションでは，視線の情報も重要な情報である．互いの存在の認識の了解や対話の開始のきっ

2.2 動作生成部かけとなるなど，円滑なコミュニメーションには欠かせな物理エンジン上に，キャラクタを模した物理モデルを用い．人とインタラクションするキャラクタも適切な視線の意し，シミュレーションにより動作を生成する．キャラク

制御を行うことで，インタラクションチャネルの形成促進

タの身体の物理モデルとして多関節剛体モデルを用いる．

や実在感の向上につながる．

各剛体の質量，重心，長さはキャラクタの描画身体に合わ

本研究では，注意に基づく視線移動を実装している．注

せ調整した．関節は，球関節とヒンジ関節を用いる．各関意に基づく視線移動は，対象の選好によるトップダウン注

節は，目標位置及び角速度を設定することで PD 制御によ意と視野内の対象の動きに反応するボトムアップ注意により駆動させる．

り，視線を制御する方法である [5]．

2.2.1 腕の制御

本実装では，トップダウン注意は，対象への距離によっ

キャラクタの腕の制御は，手先の目標位置から手先の通て注意量を付加し，現在の視線方向と対象の角度の差分と過する軌道を生成し，IK により追従することで実現する．

注意量から確率的に注視対象の変更が生じるモデルを構

手先の目標を指定することにより，手を合わせる，ある物築した．また，物体の追従のように，対象が定まっている体の位置まで手を移動させるなどの直観的な方法での動作腕動作を行う前には，動作準備のトップダウン注意の移動指定が可能となる．

として，腕動作の目標位置を一瞬注視する機能を追加して軌道生成は，単純な軌道である躍度最小軌道を複数組みいる．

合わせることにより，複雑な動作を実現する．躍度最小軌

ボトムアップ注意は，視野内での顕著な刺激に対しての道は，Flash ら [4] が提案した人間の手先到達動作の近似モ自動応答的な視線移動であり，本システムの実装例では，デルである．人間の手先到達動作の特徴である直線的な軌

対象の動きに対して適用し，発生時には，トップダウンの道とベルシェイプ型の速度変化を再現する．軌道は 5 次の視線移動に割り込み，上書きして注視対象を刺激物体へ移多項式で記述することができ，開始時の手先位置を ps ，目動させる．

標の手先位置を pf ，運動時間を tf とすると，時間 t における手先位置 p (t) は()()
p (t) = ps + ps − ptf 15τ 4 − 6τ 5 − 10τ 3と な る ．な お ，τ =ttf

(1)

は運動時間で正規化した時間(0 ≤ τ ≤ 1) である．動作の設計者は，動作の終了点や3. 実装例
本システムを用いて作成したインタラクティブキャラク
タを，イベントや展示会で使用した実例を紹介する．なお，実装はゲームエンジン Unity で行い，動作生成に用いる物
理エンジンには Springhead[6] を使用した．

通過点など，特徴的な点をいくつか指定し，その間の遷移時間を決定することにより，動作を設定する．例えば，手を振る動作であれば，図 2 のように手を右に振った端点と© 2019 Information Processing Society of Japan

3.1 AGC との共同研究
2018 年 5 月に米国ロサンゼルスで開催された SID2018633

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2B-44
2019/3/6• センサ情報やキャラクタの行動をタイムライン表示する．タイムラインをさかのぼっての状況再現を行えるようにする．

5. 結論と今後注意に基づく視線モデルと手先目標を用いた動作生成により，人とインタラクションをするキャラクタを作成した．
図 3 SID2018 での展示の様子

展示会やイベントでの展示を行った．
今後の課題として，下半身の動作への対応がある．現在の AGC 社企業ブースにて，AGC 社のイメージキャラクタのシステムは上半身の動きを主な対象とし，しゃがむ，歩モデルを使用し，受付業務を行うインタラクティブキャラ

くなどの動作を実行できない．腕の動きに伴う体全体の揺クタを展示した．

れはあるのだが，接地面は固定されており，長時間同一のインタラクティブキャラクタは入口と出口の 2 か所に設接地面を維持することは不自然な印象につながりかねない置した．入り口では，キャラクタは視線，手を振る動作，ほか，行動の幅を狭める要因ともなる．バランス維持や歩音声による呼びかけ・挨拶により，来場者をブースへと勧行については，すでに多くの研究があるため，本システム

誘しつつ，ブースへの入場の際には名札のスキャンを行い，との統合を考えたい．

顔を記憶する．出口では，退出の際に来場者への感謝を示
す短い挨拶を行い，手を振って見送る．

謝辞

本研究の一部は，AGC 株式会社との共同研究により実施されました．

図 3 に展示中の様子を示す．出口での観察では，退出時に通行人が，キャラクタのほうに視線を向ける，手を振り参考文献返すなどの様子が確認された．

[1]

3.2 アニメイベントでの利用
2018 年 10 月に開催されたイベント『〜東工大×ソード

[2]
[3]

アートオンライン〜科学技術の最前線』にて，本システムでインタラクティブキャラクタ化した登場キャラクタと触[4]れ合う技術展示を行った．
キャラクタに遠方から近づくと，キャラクタはこちらに気づいたかのように視線と音声により反応する．さらに接[5]近することで，キャラクタは挨拶及びインタラクションへの誘導を行う．ディスプレイに手を近づけることにより，キャラクタは体験者の手の位置に向けて手を動かし，体験[6]

者とキャラクタで手を合わせる体験ができ，ディスプレイに手を近づけたまま，手を動かすことにより，キャラクタはその手を追従しようとする．

[7]

名古屋工業大学：メイ＆タクミ，https://www．nitech．
ac．jp/mei/． (参照 2018-12-25)．
Gatebox: Gatebox，https://gatebox．ai/home/． (参照2018-12-25)．
有 限 会 社 エ ム ツ ー：ふ れ あ え る シ ア ン ち ゃ ん ，
https://prtimes．jp/main/html/rd/p/000000001．
000031512．html． (参照 2018-12-25)．
Tamar Flash． and Neville Hogan．: The Coordination of Arm Movements: An Experimentally Confirmed
Mathematical Model，The Journal of Neuroscience，Vol．
5， No． 7， pp． 1688-1703 (1985)
三武裕玄，Hsuehhan Wu，長谷川晶一: キャラクタを用いたデジタルサイネージが通行人の注意を引き付けるための視線制御，エンタテインメントコンピューティング
シンポジウム (EC2018) 予稿 (2018)長谷川晶一，三武裕玄，田崎勇一: 動作行動開発のための物理エンジン Springhead，日本ロボット学会誌 Vol．30
No．9， pp841-848 (2012)〜東工大×ソードアートオンライン〜科学技術の最前線 :https://koudaisai.jp/sao．(参照 2018-12-25)

4. インタラクティブキャラクタの編集環境
現在，センサから取得する情報，動作生成，行動決定 AIを効率的に編集できる環境を構築している．現状のシステ
ムは，これらをほぼすべて編集者がコードにより実装しているため，利用が難しい．これを基本機能の提供や GUI の整備することで，編集者が実装したいインタラクションシナリオの編集に専念できる環境を目指している．具体的には，以下のような環境を考えている．

• センサ情報をビジュアライズする．デバッグやキャラクタの行動決定 AI の設計に際する編集者の情報取得を容易にする．

• 動作生成をステートマシンにより実装する．

© 2019 Information Processing Society of Japan634