Ha & Fu : スマートフォンに息を吹きかけるポインティングインタフェース
宮下 芳明*

青木 秀憲†

概要． 本稿ではスマートフォンに息を「はぁー」と吹きかけて曇らせたり，「ふぅー」と吹きかけてタップしたりといったインタラクションを，フロントカメラのフェイストラッキングで実現した．
「はぁー」「ふぅー」の識別にはそれぞれ下顎の開き具合と唇の伸縮具合のパラメータを利用し，顔の位置と方向によってポインティングも可能にした．本稿では 3 種のアプリケーションを試作し応用について議論した．ゲーム操作等で両手が塞がってる際のシングルタップや，ショルダーハッキングされにくい入力手段としても有用な可能性がある．

1

はじめにスマートフォン表面が汚れたとき，私たちはそこに「はぁー」と息を吹きかけ，表面を水蒸気で曇らせてから拭くことがある．また，小さなゴミが表面に付着している場合は，「ふぅー」と強く息を吹きかけ，それを飛ばすことがある．
本稿では，このように画面に息を吹きかける操作を，フロントカメラのフェイストラッキングによって検出できるようにした．唇の収縮具合と下顎の開き具合によって，息を吹きかけているタイミング，およびそのときの息の種類が上記「はぁー」「ふぅー」のいずれかなのかを判別している．また，顔自体の向きによって画面上の点をポインティングすることができる．
図 2．（上）「はぁー」検出時の顔（jawOpen）（下）「ふぅー」検出時の顔（mouthFunnel）

2.1 「はぁー」「ふぅー」の検出と識別

図 1. スマートフォンに「はぁー」「ふぅー」と息を吹きかけている様子

2

システム

プロトタイプの実装は Apple 社による iOS 対応
AR プラットフォーム，AR Kit で行った．
Copyright is held by the author(s). Copyright is heldby the author(s). This paper is non-refereed and nonarchival. Hence it may later appear in any journals,conferences, symposia, etc.
* 明治大学 総合数理学部 先端メディアサイエンス学科†無所属

ARFaceAnchor は，フロントカメラから顔の角度を取得できるクラスである．このうち，顔特徴の相対 的 な 動 き を 記 述 す る ARFaceAnchor.Blend
ShapeLocation を用いた．
「はぁー」「ふぅー」の識別には別のパラメータを用いている．
「はぁー」のイベントは jawOpen(下顎の開き具合を表す係数)が 0.5 で発動させている．顎がある程度開くと識別される．
「ふぅー」のイベントは mouthFunnel (両方の唇が開いた形に収縮することを表す係数）が 0.5 程度のときに発動する．唇の半分くらいをすぼめると識別される．
また，
「はぁー」
「ふぅー」のトリガーについては，それを検出したタイミングで行っている．

WISS 2021

2.2 ポインティング
現在の仕組みとして，ポインティングにはARFaceAnchor 自体の Transform を利用している．
Transform を用いると現在の顔の位置と方向が取得できるため，画面のどこに顔が向いているかを検出可能である．動きをスムーズにするため，直近の 20点の座標を配列に入れた平均値を用いている．これにより，画面内の点をポインティングすることが可能となっている．

3

作例
提案手法を用いて３種類のアプリを作成した．

図 3. 提案手法を用いた作例．左から，タワーディフェンス
ゲーム，マーブル模様作成アプリ，曇るガラスアプリ

3.1 タワーディフェンスゲーム
本ゲームは，CEDEC PERACON2020 の企画案
「HA & FU ～霧と風で迷わす森～」[1]をもとに作成したタワーディフェンスゲームである．
「はぁー」と吹くことによって壁を作り，敵の侵入を防ぐことができる．また，「ふぅー」と吹くことによって敵を吹き飛ばすことが可能である．これによって 30 秒間敵から陣地を守り抜くゲームとなっている（図 3 左）．
3.2 マーブル模様作成アプリ
このアプリは，「ふぅー」と息を吹くと画面上に流体模様が表示されるものである．流体力学をシミュレートしており，息を吹きかけることにより模様を動かし，流体とインタラクションすることができる．
「ふぅー」を検知している状態で顔を動かすことにより x, y の vector を取得しシミュレートしている（図 3 中央）．
3.3 曇るガラスアプリ
本アプリを起動すると，デフォルト状態は水滴で曇ったガラスのようになっている．これを指でタッチしてなぞると曇りがとれる．しかし「はぁー」と息を吹きかけると，全体がまた曇っていく（図 3 右）
．

4

考察と展望

２次元平面での風のセンシングを行うシステムとしては，澤田らのビュー・ビュー・View[2]がある．
風を受けると傾く板とフォトリフレクタを 64 個用いることによって検出を行っており，画面の向こうのろうそくを吹き消すなど，風の入出力と組み合わせたテレコミュニケーションを実現している．小山らは，タブレットの周りに 12 個のコンデンサマイクを設置することで 2 次元の入力を検出し，電子書籍や地図アプリまで多くの試作と検証を行っている[3]．提案手法を用いれば，これらの研究で提案されているアプリケーションを，ハードウェアを追加することなく実現できる可能性がある．今後は，同種のアプリの試作を行うとともに比較を行っていきたい．また，ポインティング性能を評価する実験を行いたいと考えている．
本手法は，いわば顔の表情を検出しているため，慣れてくると息を吹きかける表情をすることで，少量の息，あるいはまったく息を吹きかけずに操作することができるようになってしまう．アプリケーシ
ョンによっては，これがデメリットになることもあるが，実際に息を吹きかけるのに比べると遙かに疲労が少なく，コロナ感染症対策にもなるのはメリットである．ハードウェアを追加せずに息の 2 次元入力を実現するために，単一マイクの音からの位置推定を行う手法[4]があるが，本手法はこれと比較したときに，おそらくポインティング精度と疲労面，そして感染症対策において有利になると考えている．
提案手法を用いると，たとえばゲーム操作等で両手が塞がってるときに，通知ダイアログやウィンドウが開いたとして，右上の閉じるボタンを息によってタップすることができる．あるいはスマホの FPSゲームで両手の親指で移動・視点移動をしつつ，射撃を息で行うこともできるようになる．近年，画面サイズ拡大により片手の指で全体を操作することが難しいことも指摘されているが，その指の到達性の問題[5][6]を解決できる可能性がある．
スマートフォンにおける PIN 認証において，アイトラッキングと併用することでよりセキュアにする手法[7]があるが，提案手法もショルダーハッキングされにくい入力であるので同様なアプリケーションが可能かもしれない．例えばテンキーをタップしながら別の位置に息を吹きかけ，２桁目と４桁目のみ息のほうの入力を採用するなど複雑化もできる．
提案手法は下顎の開き具合・唇の伸縮具合・顔の向きによって操作しているため，アイトラッキングとは異なっている．そのため，訓練は必要かもしれないが，アイトラッキングとも独立した入力手法として併用できるかもしれない．

Ha & Fu : スマートフォンに息を吹きかけるポインティングインタフェース

参考文献[1] 宮 下 芳 明 . HA & FU ～ 霧 と 風 で 迷 わ す 森 ～ .
PERACON2020.
[2] 澤田枝里香，淡路達人，森下圭介，古川正紘，有賀友恒，木村秀俊，藤井智子，武市隆太，清水紀芳，井田信也，常盤拓司，杉本麻樹，稲見昌彦. 風を利用した入出力インタフェース：ビュー・ビュー・View，日本バーチャルリアリティ学会論文誌，13(3), pp.375383, 2008.
[3] 小山雄斗, 岡誠, 森博彦. タブレット端末における息を用いたインタラクションの提案.研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2017HCI-171, No.18, pp.1-8, 2017.
[4] Shwetak N. Patel and Gregory D. Abowd. Blui: lowcost

localized

blowableuserinterfaces.

In

Proceedings of the 20th annual ACM symposium
on User interface software and technology (UIST'07). Association for Computing Machinery, NewYork, NY, USA, 217–220, 2007.
[5] Joanna

Bergstrom-Lehtovirta

andAnttiOulasvirta. Modeling the functional area of thethumbonmobiletouchscreen

surfaces.

InProceedings of the SIGCHI Conference on HumanFactors in Computing Systems, CHI ’14, pp. 1991–2000, 2014.
[6] Huy Viet Le, Sven Mayer, Patrick Bader, and Niels
Henze. Fingers’ range and comfortable area for
one-handed smartphone interaction beyond thetouchscreen. In Proceedings of the 2018 CHI
Conference on Human Factors in Computing
Systems, CHI ’18, pp. 1–12, 2018.
[7] Mohamed Khamis, Mariam Hassib, Emanuel vonZezschwitz, Andreas Bulling, and Florian Alt.
Gaze-touchpin: Protecting sensitive data on mobile
devices using secure multimodal authentication. In
Proceedings of the 19th ACM International
Conference on Multimodal Interaction, ICMI ’17,
pp. 446–450, 2017.