情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-6F-06
2017/3/2

CheekTouch：頬を入力面とした頭部搭載型ディスプレイ操作手法
杉浦裕太†1 正井克俊†1杉本麻樹†1

概要：頬を入力面として，指で触ることで頭部搭載型ディスプレイのメニュー切り替えなどの情報操作手法を提案す
る．頭部搭載型ディスプレイの前方のフレームの下部に光センサをアレイ状に複数配置する．この光センサは，頬までの距離が計測できるようになっており，ユーザが頬を指で触れることによって生じる皮膚の変形を計測する．本稿
では，頬の表面上を上下左右に指で押し込むようなジェスチャを Support Vector Machine (SVM)で識別できるようにした．
キーワード：ジェスチャ認識，頭部搭載型ディスプレイ

CheekTouch: Interaction Method for Head Mounted Display with
Cheek as Input Surface
YUTA SUGIURA†1 KATSUTOSHI MASAI†2
MAKI SUGIMOTO†3
Abstract: We have proposed interaction methods such as menu switching of the head mounted type display by touching cheekswith fingers. We attached multiple photo reflective sensors onto the frame of the lens of the head mounted display. Since these
optical sensors can measure the distance between the frame and the cheek, our system can measure deformation of the cheek bytouching with fingers. Our system uses Support Vector Machine (SVM) to determine the gesture to push the cheek face up anddown and left and right.
Keywords: Gesture Recognition, Head Mounted Display

1. はじめに安価な頭部搭載型ディスプレイ（以下，HMD）が登場したことにより，バーチャルリアリティ（以下，VR）は普及しつつあるが，近年では，光透過型 HMD（以下，OST-HMD）の製品も多く登場し，日常のあらゆる場面で情報を取得することができるようになってきた．ディスプレイの普及に付随して端末とインタラクションをするための入力手法のデザインが重要となり，これまでにも様々な手法が提案されている．
代 表 的 な 入 力手 法 は 空 中 で の 入 力で あ っ て ， 例え ば
Holorens ではハンドジェスチャをすることで，情報の入力が可能となる方法である[5]．これはカメラと手までの距離がある程度必要となるため，狭い空間だと操作が難しい．
また Google Glass のように OST-HMD のフレームに接触検出機能を付与して，情報入力をする方法も考えられる[2]．

図 1
Figure 1

頬を利用した入力手法

Input Method using Cheek Surface

これは OST-HMD 自体を直接ユーザが触る必要があるため，場合によっては映像視聴に影響を及ぼす場合がある．

し，頬の触覚受容器を通して自己運動がフィードバックさ

そこで我々は新たな入力サーフェースとして，頬に着目れるため，直感的な入力が可能となる．また，頬は人間がし，頬を触ることで情報入力ができないかと考えた．頬を自然に触れる部位であり，入力していることが相手から気入力面として利用する利点は複数ある．まず頬は柔らかい付かれないという利点もある．さらに，頬は，他の皮膚表ため指の操作に合わせて自然な触覚的フィードバックを返面と比べると，服等によって覆われて入力面として使えなくなることもない．

†1 慶應義塾大学
Keio University© 2017 Information Processing Society of Japan

本研究では，頬を入力インタフェースとして利用する手414

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

図 3
Figure 3

頬の変形を計測する手法

Principle of detecting deformation of cheek surface.

2-6F-06
2017/3/2

図 2

OST-HMD と一体型のシステム
Figure 2

Prototyped device.

法を提案する（図 1）．頬への入力は，OST-HMD に装着さ光センサを眼鏡のフレームに複数配置し，人間がどのようれた光センサで実現する．HMD の下部に装着した光センな表情をしているのかを識別可能なシステムを提案していサは，頬までの距離を計測する．頬を触った時の皮膚の変る[8]．中村らは，光センサを用いて眉間の変形を計測し，形を，この光センサで読み取ることによって，多様なジェ情報操作に応用している[12]．我々の提案する装置はシススチャを認識することが可能である．HMD に一体化が可テム構成としては類似している一方で，頬に指で入力する能であるため，ファッションに馴染み，HMD に加えてイような動作も受け付ける．

ンタラクション取得用の装置をユーザが装着する必要もな
い．

2. 関連研究3. CheekTouch
本研究は，頬の変形を，頭部搭載型ディスプレイに装着された光センサによって取得する．この光センサは，反射皮膚を入力インタフェースとして利用した研究は多い．

型光センサと呼ばれ，赤外 LED とフォトトランジスタが一

中妻らは，手の甲を入力する方法を考案した．腕に装置で体化したものであり，一般的にはセンサと物体の距離を計きるデバイスには，光センサがアレイ状に設置されており，測する目的で利用されている．正井らの研究を参考に[8]，操作している指先の位置を認識する[9]．SenSkin では同様

HMD のフレームにこの光センサを埋め込み，フレームかに光センサが複数組み込まれたもので，つねるや押すなどら頬までの距離を計測する．ユーザが頬に触れると頬に力のインタラクションで前腕部に生じるジェスチャを取得すが加わり頬は変形をする．この結果，頬からフレームまでることができるウェアラブルデバイスである[10]．またの距離が変化するため，光センサでインタラクションを取Harrison らは，皮膚面に伝搬する振動を計測して，皮膚へ得することができる．のタップ動作を取得できるシステムを開発した[4]．これら

3.1 OST-HMD 一体型装置の研究と比較して我々は皮膚の中でも頬の部位に着目している点で異なる．

頬の変形計測装置は，OST-HMD と一体型のものを制作した（図 3）．OST-HMD としては，EPSON 社製の MOVERIO

頬の動作計測は特に咀嚼計測において重要である．小泉BT200 を利用した．この映像投影面の下部に光センサを 5らは，光 セン サを 用いて顎の動作を計測している[7]．

個配置した．本稿では，片眼のみに装着したが，左右に配Tongue-in-Cheek では，頬を舌で押し出すような動作を計測置することによって左右両方の頬の変形を計測が可能となするセンサシステムである[1]．これらは眼鏡型にパッケーる．光センサとしては，コーデンシ製 SG-105 を利用した．

ジしているわけではなく，また人間が指で変形させるよう光センサは，マイクロコントローラ（Arduino Pro Mini，な入力を計測することに主体を置いているわけではない．

3.3V）に接続され，XBee を返してデータが PC に送信され頭部搭載型ディスプレイへの入力方法も様々なものが提る．バッテリは統合されているため，センサを付加するこ案されている．Google Glass ではタッチ入力センサを配置とで新たに外部に配線を引き延ばす必要はない．

して，操作入力が可能である[2]．また HMD の前面部や側3.2 ジェスチャ認識

面部 に タ ッ チ セン サ を 装 着 し て 入 力 を す る 研 究 も あ る

ジェスチャ認識を行う．ジェスチャ認識として教師あり[3][6]．Holorens は空中ジェスチャによって情報の操作が可

機械学習の 1 つである Support Vector Machine (SVM)を利用

能である[5]．これらと比較し，本研究では，した． また実装には PSVM: Support Vector Machine for

ディスプレイに光センサを組み込むことで，人間の皮膚Processing (PSVM) ライブラリを使用した[11]．まずジェス変形から表情を計測する方法が提案されている．正井らはチャのデータセットを用意する．ユーザはデバイスを装着© 2017 Information Processing Society of Japan415

情報処理学会 インタラクション 2017IPSJ Interaction 2017

した上で，頬を上下，左右にそれぞれ指で押し込み，その際のセンサのデータを 10 回記録することで事前学習を行った．学習後は同様のジェスチャを入力することで，上下左右の指を押し込むようなジェスチャが認識可能となる．

4. 動作確認1 人のユーザに対して，ジェスチャの識別精度を検証した．はじめに，デバイスを装着した後，上下左右の頬への押し込みジェスチャ動作をそれぞれ 3 試行ずつ実施し，1試行に対して，5 回センサデータを取得した．デバイスを一旦外した後に再装着し，先ほどと同様，それぞれの動作を 3 試行し，1 試行に対して，5 回データを取得した．取得
したデータはランダムで半分ずつ学習データとテストデータに分類して，ジェスチャの認識精度を検証した．結果は，94.7%の識別精度だった．特に，頬を耳の方向に引っ張る動作を，下に引っ張る動作に誤認識することが多かった．
この二つの動作は皮膚変形の量が小さいためにこのような課題が生じたと考えられる．

5. おわりに
本稿では，OST-HMD のメニュー操作などを対象とした入力手法として，頬に着目して，これを入力面として利用する方法を提案した．ディスプレイ前方のレンズ下部に，光センサをアレイ状に配置することで，頬までの距離を計測し，変形を取得することで，インタラクションの取得を計測できた．また SVM を用いて，頬を上下左右に押し込む 4 つのジェスチャを認識できた．
今後はセンサを両眼下部に装着することで，左右の頬に生じる多様なジェスチャを識別できるようにする．また頬に自然に発生するインタラクション，具体的には，頬をつく動作，搔く動作などを識別できるようにすることで，他

2-6F-06
2017/3/2

SIGCHI Conference on Human Factors in Computing Systems(CHI '10). ACM, New York, NY, USA, 453-462.
[5] Holorens, Microsoft,
https://www.microsoft.com/microsoft-hololens/[6] Kunihiro Kato and Homei Miyashita. 2015. Creating a MobileHead-mounted Display with Proprietary Controllers for Interactive
Virtual Reality Content. In Adjunct Proceedings of the 28th Annual
ACM Symposium on User Interface Software & Technology(UIST '15 Adjunct). ACM, New York, NY, USA, 35-36.
[7] Naoya Koizumi, Hidekazu Tanaka, Yuji Uema, and Masahiko
Inami. 2011. Chewing jockey: augmented food texture by using
sound based on the cross-modal effect. In Proceedings of the 8thInternational Conference on Advances in Computer Entertainment
Technology (ACE '11), Teresa Romão, Nuno Correia, MasahikoInami, Hirokasu Kato, Rui Prada, Tsutomu Terada, Eduardo Dias,and Teresa Chambel (Eds.). ACM, New York, NY, USA, , Article
21 , 4 pages. DOI=http://dx.doi.org/10.1145/2071423.2071449[8] Katsutoshi Masai, Yuta Sugiura, Masa Ogata, Kai Kunze,Masahiko Inami, and Maki Sugimoto. 2016. Facial Expression
Recognition in Daily Life by Embedded Photo Reflective Sensors
on Smart Eyewear. In Proceedings of the 21st International
Conference on Intelligent User Interfaces (IUI '16). ACM, New
York, NY, USA, 317-326. DOI:
http://dx.doi.org/10.1145/2856767.2856770[9] Kei Nakatsuma, Hiroyuki Shinoda, Yasutoshi Makino, Katsunari
Sato, and Takashi Maeno. 2011. Touch interface on back of thehand. In ACM SIGGRAPH 2011 Emerging Technologies(SIGGRAPH '11). ACM, New York, NY, USA, Article 19 , 1pages.
[10] Masa Ogata, Yuta Sugiura, Yasutoshi Makino, Masahiko Inami,and Michita Imai. 2013. SenSkin: adapting skin as a soft interface.
In Proceedings of the 26th annual ACM symposium on Userinterface software and technology (UIST '13). ACM, New York,NY, USA, 539-544. DOI:
http://dx.doi.org/10.1145/2501988.2502039[11] PSVM: Support Vector Machines for Processing,
http://makematics.com/code/psvm/[12] 中村裕美，宮下芳明. F.A.R. Vision :拡張現実感の情報量を制御する眉間フェーダー，インタラクション 2010 論文集，
pp.177-180，2010．

人に気づかれない入力を実現する．
謝辞

本研究は，科研費（16H01741）の助成を受けたものである．

参考文献
[1]

Mayank Goel, Chen Zhao, Ruth Vinisha, and Shwetak N. Patel.
2015. Tongue-in-Cheek: Using Wireless Signals to Enable
Non-Intrusive and Flexible Facial Gestures Detection. In
Proceedings of the 33rd Annual ACM Conference on HumanFactors in Computing Systems (CHI '15). ACM, New York, NY,USA, 255-258. DOI: http://dx.doi.org/10.1145/2702123.2702591[2] Google Glass, https://www.google.com/glass/start/[3] Jan Gugenheimer, David Dobbelstein, Christian Winkler, GabrielHaas, and Enrico Rukzio. 2016. FaceTouch: Enabling Touch
Interaction in Display Fixed UIs for Mobile Virtual Reality. In
Proceedings of the 29th Annual Symposium on User Interface
Software and Technology (UIST '16). ACM, New York, NY, USA,49-60.
[4] Chris Harrison, Desney Tan, and Dan Morris. 2010. Skinput:
appropriating the body as an input surface. In Proceedings of the© 2017 Information Processing Society of Japan416