WISS 2018

YUGE: 手振りコーパスのための手振りと評価を楽しく収集する方法の提案
田村 香都 ∗

松村 耕平 †

野間 春生 †

概要. 会話中の非言語情報は気持ちを含む様々な意図を表現しており，特に手振りは様々な動かし方や意図があるため非言語情報の中でも多様である．そこで手振りに着目し，意思疎通に役立てるため，表現者が行う手振りと，手振りによって表現される気持ちの関係性をコーパス化することを試みる．しかし，気持ちは主観評価であるため，程度が各個人で異なり言語的表現が難しい．また多くの項目を評価するのは煩雑である．そのため，手振りと気持ちの評価を楽しく収集するためのシステム YUGE を提案する．被験者は手振りを入力することで吹き出しエフェクトが出現し，視覚的インタラクションにより遊び感覚を得ることができる．既存研究で既に評価されている色やフォント，オノマトペなどを用いて吹き出しエフェクトを構成することによってそれぞれの評価値を手振りの評価値とする．検証実験の結果，提案手法による評価は，SD 法による評価とおよそ同様であり提案手法が有効であることがわかった．

1はじめに日常生活において，会話は欠かせないものである．
会話は，声による言語情報と，表情や手振り，頷きなどの非言語情報で構成される．非言語情報は気持ちを含む様々な意図を表現しており，言語情報を補助することで意思疎通を容易にしている．特に手振りは様々な動かし方や意図があるため，非言語情報の中でも多様である．
我々は，表現者が行う手振りと，その手振りによって表現される気持ちの関係性をコーパス化することを試みる．このようなコーパスは，エージェントやロボットなど対話システムの表現力の向上のため，あるいは，子どもに対する学習のために用いることができる．コーパス作成のためには，数多くの手振りと，それによって表現される気持ちの主観評価の組を得る必要がある．一般的に，色や形状などの主観評価には SD 法が用いられる．SD 法では，評価対象について複数の形容詞対項目を評価する必要があるため，SD 法を用いて手振りと評価を収集することは被験者の負担が大きい．
我々は，被験者の負担を軽減するため，遊び感覚で手振りの収集・評価を行うことができるシステム YUGE を提案する．YUGE とは，Yes, yougesture. の略であり，楽しむという意味のある日本
ゆ げ
語の古語「遊戯」とかけている．既存研究で評価されている色やフォント，オノマトペなどを用いて気持ちの評価を試みる．被験者に手振りを入力してもらい，色やフォント，オノマトペなどを用いて手振りに対応する吹き出しエフェクトを作成してもらう
ことで，手振りと紐付けし手振りの評価値として収Copyright is held by the author(s).
立命館大学大学院 情報理工学研究科†
立命館大学 情報理工学部∗PlayMode

InputMode

(a)

(c)

(b)

(d)

図 1. システムの説明集する．作成した吹き出しエフェクトの出現による視覚的インタラクションにより，被験者に積極的な手振りの入力と吹き出しエフェクトの作成を促す．

2

提案システムの設計と実装

入力デバイスに HTC VIVE コントローラ，iPadを用いて，PC と iPad の Unity 上で提案システム
YUGE を実装する．YUGE では，視覚的インタラ
クションとして入力した手振りについて吹き出しエフェクトが出現する PlayMode と，手振りと評価の収集を行う InputMode に分けて設計し実装を行う．

2.1 PlayMode
PlayMode では，被験者がコントローラで手振りを入力すると (図 1(a))，対応した吹き出しエフェク
トが画面に表示される (図 1(b))．被験者に視覚的インタラクションを与えることで被験者の積極性を促す．HTC VIVE コントローラを用いて被験者が入力した 3 次元の手振りの軌跡を 2 次元に削減し，[1]を用いてテンプレートマッチングを行う．入力されWISS 2018

た手振りと最も近いテンプレートと紐付けられている吹き出しエフェクトを入力された手振りの軌跡の上に出現させる．これにより，被験者は手振りの入力に対する視覚的インタラクションを得ることができる．

2.2

InputMode

被験者によるシステムへの手振り入力によって 3次元の手振りの収集を行う (図 1(c))．HTC VIVE
コントローラを用いて被験者が入力した手振りの軌跡を 2 次元に次元を削減し，テンプレートデータとして PlayMode で用いる．吹き出しエフェクトの作成のため iPad を使用し，被験者に手振りに合うオノマトペの入力やフォント，色などを選択してもらい，吹き出しエフェクトを入力された手振りと紐付ける (図 1(d))．再度 PlayMode で同様の手振りを入力することで作成した吹き出しエフェクトを出現させることができる (図 1(b))．

2.3

入力値の評価InputMode で入力されたオノマトペ・フォント・色を既存研究の手法を用いて評価する．オノマトペの評価のため，[5] の手法を用いて前処理を行い，[2]によるオノマトペの数値化手法を用いて，3 項目の数値に変換する．InputMode で選択できるフォン
トは，[3] によって評価されたフォントを用い，その評価値を 9 項目，吹き出しの色の評価は，[4] に載せられているカラー・イメージ・プロフィルを用いて，9 項目の数値化を行う．オノマトペ 3 項目，フォン
ト 9 項目，色 9 項目の計 21 項目の数値を独立したパラメータとして手振りの評価に用いる．

3SD法

提案手法

検証実験

提案手法による手振りの評価が有効であるか確かめるために，検証実験を行った．被験者は吹き出しエフェクトを作成する際，提案手法で利用しているフォント・色の評価に用いられている形容詞対についても評価する．20 代の大学生 8 名（男性 6 名，女性 2 名）を被験者とし，31 組の手振りと評価を収集した．なお，検証実験では iPad を用いずマウス操作で吹き出しエフェクトの作成を行った．
提案手法による評価と SD 法による評価について
それぞれ主成分分析と Gap 統計量によるクラス数推定，k-means 法による分類を行い，分類が同等であるか比較することで提案手法が有効であるか検証を行った．累積寄与率が 90%を超えるまでの主成分を用い，Gap 統計量によるクラス数推定の結果，クラス数は 4 であった．k-means 法 (k = 4) でクラスタリングを行った結果を図 2 に示す．図 2 の分類結果から，提案手法による評価と SD 法による評価の分類がおよそ同様であることがわかる．また，形容図 2. 分類結果

詞対が 18 項目あることから提案手法のほうが選択数が少なく，被験者の負担が少ないことがわかる．
さらに，被験者から「ジェスチャが思いついたら楽しい」というコメントが得られたことから，YUGEを用いることによって被験者を楽しませながら手振りと評価の収集が行えていることが示唆される．

4

まとめと今後の展望

本論文では，手振りを気持ちの評価で構成するコーパスを作成するため，視覚的インタラクションにより手振りと気持ちの評価を楽しく収集することができるシステム YUGE を提案した．検証実験から，提案手法は有効であることがわかった．このことから，YUGE を用いることで表現者の手振りと，表現される気持ちを収集できることが示唆される．
今後は，YUGE によって収集される評価は主観であることから，第三者による手振りの評価について収集する必要がある．評価の方法については，YUGEと同様に吹き出しエフェクトを作成してもらうことで収集を進める予定である．

参考文献[1] J. O. Wobbrock, A. D. Wilson, and Y. Li. Gestures Without Libraries, Toolkits or Training: A$1 Recognizer for User Interface Prototypes. In
Proc. of UIST ’07, pp. 159–168, New York, NY,USA, 2007. ACM.
[2] 秋山 広美, 小松 孝徳, 清河 幸子. オノマトペから感じる印象の客観的数値化方法の提案. 研究報告
ヒューマンコンピュータインタラクション（HCI）,2011(23):1–7, mar 2011.
[3] 李志炯, 崔庭瑞, 小山慎一, 日比野治雄. 文字の太さによる印象の変化. デザイン学研究, 63(5):5 101–
5 108, 2017.
[4] 財団法人日本色彩研究所. 色の百科事典. 丸善株式会社, 2005.
[5] 山田 香織, 工口 陽平, 田浦 俊春. 創作擬態語による動きの表現とその合成によるデザイン支援. デザイン学研究, 63(2):2 49–2 54, 2016.