WISS 2017

モノの動きを表すハンドジェスチャと意味情報の収集システムの提案
田村 香都 ∗

松村 耕平 ∗

野間 春生 ∗

概要. 会話における非言語行動は様々な意図を表現しており，特に動きを伴うハンドジェスチャはカエルの跳ねる様子やボールの飛ぶ様子のようにモノの動きを表現でき，非言語行動の中でも多様である．場面と話者の意図に応じた，相手に伝わりやすいジェスチャを行うことで意思疎通が容易になる．ジェスチャに含まれる感覚がどのようなものか明らかになれば，適切なジェスチャを用いて意思疎通に役立てることができる．しかし，ジェスチャには個人差や場面差があり，同じ言語情報であってもジェスチャは異なる．また，ジェスチャの意図が伝わらず意思疎通が困難になることが会話における課題である．本論文では，モノの動きを表すジェスチャと意味情報の組み合わせの収集を支援するシステムを提案する．ユーザがジェスチャ入力により視覚的インタラクションを得るシステムデザインにすることで，遊び感覚でユーザの積極的なジェスチャ入力を促し，ユーザの自主的なジェスチャと意味情報の提供の増加を目指す．

1

はじめに会話における非言語行動は様々な意図を表現している．ジェスチャや視線，頷きなど，言語情報を補助することで，言語情報のみでは煩雑さや困難さが生じる会話を容易にすることができる．特に動きを伴うハンドジェスチャはカエルの跳ねる様子やボールの飛ぶ様子のようにモノの動きの表現や言語情報を強調することができ，多様な表現が可能である．
しかし，ジェスチャには個人差や場面差があり，同じ言語情報であってもジェスチャは異なる．また，ジェスチャの意図が伝わらず意思疎通が困難になることが会話における課題である．
そこで，我々はモノの動きを表すジェスチャと意味情報の関係性を明らかにし，モノの動きを表すジェスチャのコーパスを作成するため，モノの動きを表すジェスチャと意味情報の組み合わせの収集を支援するシステムを提案する．
McNeill [1] はジェスチャを iconic，metaphoric，deictic，beat の 4 つに分類している．Iconic gestures は形を軌跡で描くなど，形や大きさなどを示すジェスチャである．Metaphoric gestures は否定や期間など，抽象的な概念を示すジェスチャである．
Deictic gestures は指差しなどのジェスチャのことであり，文脈に依存し，言語情報がなければ理解することが困難である．Beat gestures は手を上下に動かすなどのジェスチャであり，動きそのものに意味はなく発話内容を強調している．Iconic gesturesの中でも特にモノの動きを表すジェスチャは，放物線などにより動きを客観的に定義することができる．
しかし，実際に目の前の動きをなぞっているわけではなく記憶や想像の動きを真似ているため，激しい∗Copyright is held by the author(s).
立命館大学 情報理工学部ブンブン



図 1. エフェクト出現イメージや可愛らしいといった主観的感覚が含まれる．
本論文では，感覚を含めた意味情報と動きを伴う
iconic なハンドジェスチャの収集システムデザインの設計・実装を行う．また，より多くのジェスチャを収集するため，遊び感覚をユーザに与えることでユーザによる自主的なジェスチャと意味情報の提供の増加を目指す．

2アプローチ

ジェスチャの感覚を含めた意味情報の言語化は困難である．ユーザが感覚に一致した単語を思いつかない場合や比較対象がないことで個人尺度となってしまう場合があるためである．また，単調な作業によるジェスチャ収集ではユーザの積極性が低下してしまい，収集が困難になることが予想される．
そこで，ユーザが提案システムで遊ぶことでジェスチャと意味情報の組み合わせを収集できる手法を提案する．まず，ユーザがジェスチャと対応したエフェクトを定義・作成する．このとき，システムがエフェクトの素材を提示することで，ユーザは素材から状況に最も適したエフェクトを作成できる．エWISS 2017
登録フェーズ１

ジェスチャを入力（定義）作成例

２

エフェクトを作成

遊ぶフェーズ
定義したジェスチャを入力すると作成したエフェクトが表示される

図 2. システム概要
図 3. エフェクト作成画面

フェクトから意味情報を抽出することで，ユーザによる直接的な意味情報の言語化を避けている．次に，定義したジェスチャと同様の動作を入力すると作成したエフェクトが出現することで，ユーザに視覚的インタラクションを与え，興味を引くことができる（図 1）．また，仮想空間の背景画像を変更することで様々な場面の表現を可能とし，ユーザの興味を引くことができる．

2.1

システム概要を図 2 に示す．入力デバイスとしてHTC VIVE を用いて Unity 上でシステムを実装する．ユーザが提案システムで遊ぶことでジェスチャと意味情報を収集できるシステムデザインにするために，ジェスチャやその情報を定義する登録フェーズと定義したジェスチャで遊ぶことができる遊ぶフェー
ズに分けて設計する．
登録フェーズでは，VIVE コントローラを用いてジェスチャの定義を行い，必要情報を入力し，図 3のようにエフェクトを作成する．ジェスチャの定義は，作成したエフェクトを出現させるために必要な行程であるため，定義に煩雑さがあるほどユーザの積極性が低くなると考えられる．そのため，複数回同じジェスチャの入力を求めたり，認識に時間がかかるような認識器を利用すべきではない．したがって，一度のジェスチャの入力で定義でき，リアルタイ
ムにジェスチャの定義や認識ができる$1 recognizer[2] を 3 次元に拡張し実装する．
遊ぶフェーズでは，VIVE コントローラでジェスチャを入力することでシステムが認識を行い，図 4のようにジェスチャの終了点付近にジェスチャに対応する作成されたエフェクトが出現する．

2.2

図 4. 実行結果

システム構成意味情報の収集方法

ジェスチャは主観的感覚が含まれるため，言語情報だけでは表現者がその動きをどう感じているのかを伝えることが難しい．そこで，用意された素材を組み合わせてジェスチャに対応したエフェクトを作成してもらうことでジェスチャの意味情報を収集する．用意された素材を比較しながら選ぶことができ，素材を組み合わせることでそのジェスチャに対応する複数の感覚を収集することができると考える．素材は，フォント，吹き出し，色の３項目であり，種類の変更や位置・大きさの調整ができる．

3

まとめと今後の展望

本論文では，モノの動きを表すジェスチャと意味情報の組み合わせの収集を支援するシステムを提案した．ユーザに視覚的インタラクションを与えることでユーザが自主的なジェスチャ入力を行えるようシステムを設計・実装した．今後は作成したシステ
ムを用いてジェスチャ入力が増加しているか評価実験を行う．
また今後の展望として，表現者に紙芝居調の物語を見せ場面に応じたジェスチャの入力を求めることで，固定した状況や意味に対して，複数のジェスチャを収集する方法の設計・実装を行い，コーパスに採用するジェスチャと意味情報の組み合わせを選定する予定である．

参考文献[1] D. McNeill. Hand and mind: What gestures reveal about thought. University of Chicago press,
1992.
[2] J. O. Wobbrock, A. D. Wilson, and Y. Li. Gestures without libraries, toolkits or training: a $1
recognizer for user interface prototypes. In Proceedings of the 20th annual ACM symposium on
User interface software and technology, pp. 159–
168. ACM, 2007.