WISS2010

くちびるによるゲームインタフェース
Game Interface by the Lip

竹山 峻平

佐藤 俊樹

野嶋 琢也∗

Summary. 母音発声時の口唇形状は古くからインタフェースとして着目されており，その認識・応用手法について研究がなされてきた．しかしその多くは福祉を念頭においた発話認識や機器操作のためのインタフェースであり，エンタテインメントへの利用は少ない．人間は幼児期より，唇を発話のみならず食事や感情表現など様々な場面で動かしており，その形状の自由度は極めて高いと考えられる．そこで本研究では，任意の口唇形状を，エンタテインメントのためのインタフェースとして利用することを目指す．本発表
ではまず口唇の開閉をインタフェースとして作成したエンタテインメントシステムについて報告する．

はじめに

1

人の口唇形状，なかでも母音発生時の口唇形状をインタフェースとして活用する研究は古くから行われてきた [1][2]．母音発生時のおよそ 5 種類の口唇形状は，特段の訓練を要することなく再現が可能であり，操作に手足を用いる必要がないという特徴から，特に四肢に障がいを抱える人に対する支援装置のインタフェースとして注目されている．しかし人間の口唇形状はおよそ 5 種類の母音発声時の形状以外にも，たとえば口を尖らせる，唇を薄く変形させるいわゆるアヒル口など，多くのバリエーションが存在する．これらの口唇形状は食事や感情表現など日常的に活用されるものであり，多くの人間は訓練なしに利用できると考えられる．また，口唇形状は多くの場合日常生活における様々なシチュエーションと密接に関連しているという特徴がある．例えば口の開閉はものを食べるという動作，尖らせた唇は，不満の表明，あるいはコミカルな形での接吻の要求，といった関連づけが可能であると考えられる．そこで本研究では，口唇形状の高い自由度を利用した入力インタフェース，および特定の口唇形状に関連するシチュエーションを活用することによる，エンタテインメントシステムの開発を目指す [3]．
本発表ではまず口の開閉動作と食事行為を関連させた， パクつくライフ というエンタテインメントシステムを試作したので，それについて紹介する．

試作システム22.1

口唇形状を利用したゲーム：「パクつくライフ」

今回我々は，食事の際の口唇動作，すなわち開ける・閉じるの二つの動作に注目したゲーム パクつくライフ を制作した（図 1）．本ゲームは，金魚∗Copyright is held by the author(s).
Shumpei Takeyama, Toshiki Sato and Takuya Nojima,
電気通信大学大学院情報システム学研究科

図 1. ゲーム画面が餌を食べる行動をモチーフとしたものである．図1 画面上にはプレーヤの位置を示す口の映像と，色分けされた餌が表示されている．プレーヤは金魚の立場になり，連続的に投下される餌を食べるゲームとなっている．プレーヤは口唇位置を移動させることで，画面上に表示された口の画像の位置を制御する．そして口の画像を餌に重ねた状態で口を開閉させることで，画面内に表示された餌を「食べる」ことが可能となる．本ゲームでは，所定の制限時間内に「食べる」ことのできた餌の数や種類に応じた得点が得られるようになっており，取得できた点数を競うゲームとなっている．

2.2

システム概要本システムはカメラ (プリンストンテクノロジー社 (株)，PWC-130IS，130 万画素)，PC(IBM 社,ThinkPad T500)，ディスプレイ ((株) アドテック社，AD-AA19Z，19inch) から構成されている．本システムでは，ユーザの約 60cm 前方に設置されたカメラでユーザの顔周辺の画像を撮影し，その画像に対して口唇形状・位置判定処理を行っている．その結果得られた利用者の口唇形状および位置情報をゲームへの入力として利用している．次節では口唇形状・位置判定の手法について詳細を述べる．

WISS 2010

図 2. 口唇検出対象領域

2.3

口唇形状・位置判定

本システムでは口唇検出手法として，テンプレートマッチングを用いている．ただし，テンプレートマッチングのみでは誤検出の可能性が高いことから，顔画像認識を併用して，テンプレートマッチングを適用する領域を，顔の下半分に制限している．なお，
今回構築したシステムではゲーム画面が表示されるディスプレイのサイズも小さく，着座での利用を前提としている．そのため，カメラに対して顔の位置はあまり移動しないという仮定をおき，顔画像認識によるマッチング領域の制限はゲーム開始時の 1 度のみ実行することとした．マッチング領域の設定後，所定の口唇検出対象領域（図 2）において，開口／閉口画像それぞれによるテンプレートマッチングを行う．これにより，それぞれのテンプレート画像とカメラ画像との最大類似度，および最大類似度をとる画像領域の座標が得られる．そして開口画像を利用した場合の類似度，および閉口画像を利用した場合の類似度とを比較することにより，開口状態か閉口状態かの判定を行っている．そして採用された状態の画像位置を，唇の位置として利用している．ただし，1 フレームのみの判定では語検出の可能性が高いことから，直近の数フレームを比較し，同判定が連続していた場合のみ判定を確定することでその検出精度を高めている．

3

考察

本システムでは，口の位置ならびに開閉動作がそのままゲームの操作入力となっており，直感的で理解しやすいゲームを実現することができた．一方，今回構築したシステムでは，ユーザは着座することが前提となっている．腰の部分が固定されているためか，特に画面周辺の餌を食べに行く際には，顔の向きを変えて食べに行く傾向が見られた．今回構築したシステムではテンプレートマッチングを利用していることから，顔の向きが変化した場合には認識精度が悪化するという問題が発生する．そのため今後は，唇の認識に色情報を利用するといった認識手法の改善，あるいは人間の身体運動能力を考慮して，

図 3. 大画面での試遊風景

ターゲットとなるえさの発生場所を制御するといったコンテンツ上の改善が必要であると考えられる．
また，今回は小型の卓上ディスプレイ利用しており，かつユーザが着座していることを前提としてシステムの構築を行っている．そのため，ユーザの動き大きく制限されるという問題があることがわかった．しかし本研究では唇をゲームの入力インタフェースに利用していることから，画面を大型化することで自然な形で身体運動を誘発し，ゲームのエンタテインメント性を向上することが可能になると考えられる．そこで試験的に 100 インチのプロジェクタにゲーム画面を投影し，実際に試遊してみた（図 3）
ところ，自然な形で全身運動が誘発される傾向が確認された．将来的には画面の大型化，および唇認識精度の向上により，多人数向けのアクティブなエンタテインメントシステムとして構成可能であると考えられる．

4

おわりに

本論文では，口唇の開閉動作ならびにその位置に着目したエンタテインメントの提案を行った．具体的には口唇の開閉動作ならびに位置の認識が可能なシステムを構築し，画面上に投下された餌を自らの口の動作をつかって食べるゲーム， パクつくライ
フ を試作した．今後は認識精度・速度の向上を目指すとともに，より柔軟な形状認識やダイナミックな動きが可能なシステムの構築を目指す．

参考文献[1] 加藤 友哉, 斎藤 剛史, 小西 亮介. リアルタイム口部形状認識を利用した意思伝達システム. 電子情報通信学会技術研究報告. TL, 思考と言語, 107(433),pp.99-104, 2008.
[2] M.J. Lyons, C. Chan, and N. Tetsutani.
Mouthtype: Text Entry by Hand and Mouth. InProc. Conference on Human Factors in Computing Systems, pp.1383-1386, 2004.
[3] 竹山 峻平, 佐藤 俊樹, 野嶋 琢也. くちびるエンタテインメント. 情報処理学会研究報告. EC, エンタ
テインメントコンピューティング, 2010.