WISS 2020

ORANGE: 360 度カメラと画像認識技術によるユニバーサルリモコン
木ノ原 中也 ∗巻口 誉宗 †

高田 英明 †‡

坂本 大介 ∗

小野 哲雄 ∗

概要.
ネットワークで接続された家電製品や IoT デバイスなどが環境内に増加するに伴い，それらを統一的に制御できる汎用リモコンが求められる．これまで，環境中にカメラなどのセンサを設置し，ユーザの操作を捉えて複数のスマートデバイスを操作する手法が多く提案されているが，環境中へのセンサ設置や複数センサのキャリブレーションなど，導入コストの高さが問題となる．そこで我々は，1 台の 360 度カメラと複数の機械学習ベースの画像認識ソフトウェアからなる手持ちのユニバーサルリモコンシステム
ORANGE（One Remote forAll New GEneration things）を提案する．ORANGE は 360 度カメラの映像から操作ユーザとその注視点，周囲のオブジェクトの認識を行い，ユーザが操作したい対象を直感的に選択できる．本稿では 360 度カメラ映像からのユーザ検出，および注視点推定手法の詳細を述べ，精度評価実験とその結果を報告する．

1

はじめに

様々な家電製品や IoT デバイスがネットワークで接続され，制御されるスマート環境の普及が始まった．賢い機械達によって我々の生活が便利になるという恩恵は重要である一方で，そのような機器の増加は同時にリモコンの増加や操作方法の煩雑化につながる．このため，汎用リモコンをはじめとして，環境内の機器をまとめて操作する試みが数多く行われてきているが，既存の多くの手法では予めカメラなどのセンサを環境内に設置する必要がある．こうした手法では，ユーザが機器を操作できるエリアを広げるためにセンサを大量に設置する必要があり，機材や設置のコストに加え，複数のセンサのキャリブレーションコストも大きな課題となる．さらに，最近ではスマートテレビやスマートスピーカーのようにユーザを識別してコンテンツを切り替える機器が増加している．その際，部屋の任意の場所に位置するユーザや移動するユーザの顔を逐次捉えて識別することは，環境に固定されているカメラでは死角や画角の点で現実的ではない．
そこで我々は 360 度カメラと機械学習に基づく画像認識ソフトウェアからなる手持ちのユニバーサルリモコンシステム ORANGE（One Remote for All
New GEneration things）を提案する（図 1）．本システムの最終的な目標は，環境中のセンサを用いず，リモコンという一台のデバイスのみで環境中の機器全てを操作することである．ユーザは ORANGE リ
モコンを把持しながら操作したいスマートデバイスを注視することで操作対象を選択できる．操作対象の選択に視線を用いることで，複数の機器が環境中
Copyright is held by the author(s).
∗北海道大学†NTT サービスエボリューション研究所‡
現 長崎大学 情報データ科学部

図 1. 提案手法 ORANGE を利用している様子に存在する状態でも直感的に機器を選択できる他，音声認識と組み合わせることで指示語を用いた曖昧な指示での操作も可能になる．また，ユーザに 360度カメラを把持させることで，取得画像から操作しているユーザも同時に認識できるため，ユーザが部屋のどこにいても，もしくは移動していてもユーザを認識し，対応したコンテンツを提供できる．さらに操作者の周囲にいるユーザも同時に認識できることから，その場のグループに適したコンテンツの推薦やユーザ同士の位置関係に応じたコンテンツ再生など，スマートデバイスを介したよりインタラクティブな協調作業の実現も期待される．
本稿では，360 度カメラで取得した画像からユーザとその視線方向を検出し，注視点を推定する手法の詳細を述べ，ユーザ実験によって注視点推定の精度を検証する．

2

関連研究

環境内の電化製品をまとめて操作するための汎用リモコンについて多くの研究が行われてきている．

WISS 2020

図 2. ORANGE の処理の流れ

XWand[7] は小さな杖のような形のデバイスであり，予め部屋に設置された赤外線カメラによって Wandの位置と向きを追跡し，Wand の延長線上にある物を操作対象として選択している．Point&Control[1]はスマートフォンをリモコンとして用い，Kinect と機械学習を用いて人間のボーンをリアルタイムに推定し，スマートフォンを持った腕の延長にある機器を操作対象としている．CRISTAL[6] は天井カメラで取得した映像に映る電化製品の操作が可能である．
これらのリモコンは操作対象を簡単に選択できる一方で，センサやカメラを環境に設置する必要があり，このため，利用範囲が限定される．
そこで最近では，あらかじめセンサ等を設置しておく必要のない手法が検討されている．例えばScenariot[3] ではスマートフォンに搭載した UWB
RF Unit による SLAM で周囲のスマートデバイスの位置を把握して，AR システムに反映する．スマー
トフォンのカメラを通して画面上に映ったスマートデバイスの近くに UI が表示され，ユーザはそれを用いて操作を行う．WorldGaze[5] ではスマートフォ
ンのフロントカメラでユーザの顔の向きを取得し，リアカメラに映っている物のどれを注視しているかを認識している．これらの手法は，スマートフォンを用いた個人的な操作を提供するものであり，リビングなどで想定される複数のユーザが共有して利用するリモコンとしての検討はなされていない．また，既存デバイスを用いることからカメラの画角などは製品ごとにばらつきがあり，統一的なシステムデザインが困難である．

3

提案手法：ORANGE リモコン上記研究背景のもとに，我々は 360 度カメラを搭載したユニバーサルリモコン ORANGE を提案する．ORANGE の目標は，環境に設置されたセンサを利用せず，単体のデバイスで環境中に配置されている複数の機器を操作することである．また，カメラを有しているという利点を活かし「誰が操作しているのか」までを考慮したシステムの実現を目指す．
ORANGE の処理の流れを図 2 に示す．360 度カメラから得られた画像に対し，機械学習ライブラリによる画像認識を行い，ユーザ認識・物体認識・注目点推定を行う．得られたそれぞれの情報からユーザと周囲の物体，注目点の空間位置を推定することで操作対象を選択し，操作を行う．注目点の算出方
法として，XWand のようにリモコンの向きの延長線上に位置する対象を検出する方法や WorldGazeのようにユーザの顔向きによって検出する方法が考えられるが，我々はユーザの視線によって対象を検出する手法に着目した．
360 度カメラで取得した画像から操作ユーザを認識し，注視点を算出する流れを図 3 に示す．Step １
では，360 度カメラで取得された Dual FishEye 画
像を正距円筒図法によって変換し，画像の各画素の座標がカメラを中心とした空間角度（水平方向-180度から 180 度，垂直方向 0 度から 180 度）に対応する長方形画像を取得する．Step ２では，この長方形画像に対して OpenCV による顔認識を行って操作ユーザを認識し，OpenVINO1 を用いて操作ユーザの顔位置座標と視線ベクトルを算出する．最後にStep ３として顔位置と視線ベクトルを３次元極座標空間に反映し，注視点を推定する．以下では操作ユーザの認識，および注視点推定の詳細を述べる．

3.1

操作ユーザの認識

長方形画像に対して顔認識を行い，360 度カメラの正面方向に最も近いユーザをリモコンを使う操作ユーザと判定する．顔認識には OpenCV を利用した公開ライブラリ2 を用いる．ユーザ個人の認識は事前の撮影と学習が必要であり，学習されていないユーザはゲストとして認識される．この認識結果をもとに，再生するコンテンツの切り替えなど，操作ユーザに適した機器操作を実現する．

3.2

注視点推定

我々は小西ら [8] と同様に，360 度カメラを中心とする仮想球を想定したアプローチによって注視点を算出する．仮想球の半径を R とし，ユーザの顔と注視点はともに仮想球表面に存在するものと仮定する．このとき注視点は，仮想球中心を起点として⃗ と，ユーザの顔をユーザの顔へ向かう顔ベクトル F⃗
起点とした視線単位ベクトル d の半直線と仮想球表面の交点で表される．この時，仮想球を起点として⃗ は次式で表され注視点に向かう注視点ベクトル Pる [8]．

P⃗ = F⃗ + td⃗ (t ̸= 0)(1)

この式をもとに，我々はパラメータ t を以下のように算出する．途中の式は小西ら [8] と異なるため，
1

https://www.intel.co.jp/content/www/jp/ja/
internet-of-things/solution-briefs/openvinotoolkit-product-brief.html
2
https://github.com/Mjrovai/OpenCV-FaceRecognition

ORANGE: 360 度カメラと画像認識技術によるユニバーサルリモコン

図 3. 注視点の推定方法

最終的に導出される t は先行研究とは異なっている．

|P⃗ | = RP⃗ · P⃗ = R2
F⃗ · F⃗ + 2tF⃗ · d⃗ + t2 d⃗ · d⃗ = R2
⃗ 2 + 2F⃗ · dt
⃗ = 0 (∵ F⃗ · F⃗ = R2 )d⃗ · dtt=−から得られる視線単位ベクトル d⃗′ から世界座標系での視線単位ベクトル d⃗ は次のように求められる．

⃗2(F⃗ · d)(∵ t ̸= 0)⃗2|d|3.2.1 顔ベクトルの算出
360 度カメラを中心とした世界座標系を図 3 のStep3 図のように定義し，仮想球中心から仮想球表⃗ を次式より算出
面上の顔位置までの顔ベクトル F

図 4. 左：x 軸の回転による補正 右：y 軸の回転による補正する．

yF aceθ1 = π(0 ≤ θ1 ≤ π)
H
xF aceϕ1 = 2π− π (−π ≤ ϕ1 ≤ π)
 W
R sin θ1 sin ϕ1F⃗ =  R cos θ1R sin θ1 cos ϕ1πd⃗ = Rx (−( − θ1 ))Ry (π − ϕ1 )d⃗′2 
1 00Rx (α) = 0 cos α − sin α
0 sin α cos αcos β 0 sin β1 0 
Ry (β) =  0− sin β 0 cos β

ここで H, W は正距円筒図に変換後の長方形画像の縦・横のサイズである．また，(xF ace ,yF ace ) はユー
ザの顔位置座標であり，長方形画像に対して OpenVINO で顔認識を行い，検出された顔の両目の座標の平均を取ることで算出する．

⃗ と視線単位ベクトル d⃗以上で求めた顔ベクトル F⃗ を算出する．
から式 (1) によって注視点ベクトル P
上記プログラムを C++を用いて実装し，ORANGEリモコンのプロトタイプを作成した．

3.2.2 視線ベクトルの算出
360 度カメラを中心とした世界座標系での視線単位ベクトルを d⃗ とする．OpenVINO から得られる
視線単位ベクトル d⃗′ の座標系は，ユーザの顔とカメラ中心を結ぶ直線を z 軸，顔に対して垂直方向を y軸，それらに直行する方向を x 軸とする右手系で算出される. この座標系を図 3 右端に示す世界座標系⃗ を求める際に算出に対応させるため，顔ベクトル Fした θ1 , ϕ1 を用いて変換する（図 4）．OpenVINO

4プロトタイプ実装

本節では ORANGE リモコンのプロトタイプの物理的な構造と操作ユーザの認識処理について述べ，Dual FishEye 画像から長方形画像への変換を行う
際に角度を正確に変換するためのパラメータ設定に関する予備実験について説明する．

WISS 2020

4.1

デバイス構成5

プロトタイプのリモコン部分は M5Stick-C の先に 360 度カメラ（Insta360 Air4 ）が位置する構造とし，筐体をレーザカッターで作成した．360 度カ
メラと M5Stick-C はそれぞれ USB ケーブルによって解析用デスクトップ PC に接続し，360 度カメラから Dual FishEye 画像を，M5Stick-C からはユー
ザのボタン入力をリアルタイムに取得する．
3

4.2

注視点推定の性能評価実験

本稿で開発した注視点推定手法の性能評価を行う．
実験参加者は 12 人（うち男性 9 人，女性 3 人）で全員裸眼もしくはコンタクトレンズ着用である．

5.1

第 1 実験：先行研究との比較

予備実験：360 度カメラの画角設定

Insta360Air は，画角 180 度の魚眼レンズを装着したカメラを表裏に合わせ，Dual FishEye 画像を取得する．取得した Dual FishEye 画像の全範囲を対象として正距円筒図に変換すると 2 つのカメラの端では画像にオーバラップが生じ，角度が正確に表現されない．そのため，正距円筒図に変換する対象範囲を FishEye 画像を中心とした半径 r の円として制限する必要がある．事前実験として，カメラに対して 90 度位置に設置したターゲットを撮影し，パラメータ r を変化させて正距円筒図に変換し，ターゲットのオーバラップや欠損が生じないパラメータr を算出した．

図 6. 実験条件

図 7. 第 1 実験の様子
図 5. (a) 予備実験設定，(b) 実験の様子

図 5 に実験設定と実験の様子を示す．360 度カメラの直下にレーザマーカを設置し，ターゲットに垂線を投影する．360 度カメラの 90 度方向をレーザの垂線方向と一致させ，ターゲットとカメラの距離を 50 cm，100 cm, 200 cm, 400 cm の 4 段階に変化させて Dual FishEye 画像を取得した．パラメー
タ r を，取得した画像の高さを 1 とした場合の半径r = 0.500 を基準として 0.05 刻みで変化させ，各距離ごとにターゲットに投影される垂線に目視でオーバラップや欠損が生じない r を算出した．
実験の結果，r = 0.455 とした際にいずれの距離でも垂線のオーバラップや欠損が生じなかったことから，本システムでは r = 0.455 を用いて正距円筒図への変換を行った．
3
4

https://www.switch-science.com/catalog/6350/
https://www.insta360.com/jp/product/insta360-air

最初の実験では関連する先行研究として，顔向きを用いてユーザの注目点を算出する WorldGaze[5]との精度比較を行う．そのため実験条件は以下の通り WorldGaze と同様のものを用いる．実験条件を
図 6 に，実験の様子を図 7 に示す．壁に十字マーカ
を 80cm 間隔で 3 × 5 に 15 個設置し，実験参加者にはそれらを指示された順に注視してもらい，ユーザとマーカの間に配置した 360 度カメラで動画撮影する．注視するマーカの指示は実験参加者の隣に置いた PC の画面に表示され，実験参加者は指示を確認後，該当マーカを注視した状態で PC のキーを押す．キーが押されて 4 秒後，次の指示が提示され，実験参加者は同じ作業を繰り返す．これを 15 個のマーカに対して各一回ずつ行う．360 度カメラと実験参加者の視点の高さは，中央のマーカの床からの高さに合わせて 135cm とした．360 度カメラと実験参加者の距離は 50cm とし，カメラとマーカの距離（以下マーカ距離）は 1m，2m，4m の 3 段階に

ORANGE: 360 度カメラと画像認識技術によるユニバーサルリモコン変化させて実験を行った．マーカの十字の大きさは4m 離れた距離で中央のマーカが視角 1 度に収まるよう，縦横 14cm とした．
図 8 に注視点推定の誤差を示す．Distance は全実験参加者・全マーカの誤差の中央値をマーカ距離ごとに示している．Horizontal と Vertical は，全実験参加者・全マーカ距離における誤差の中央値をそれぞれマーカの列と行ごとにまとめたものである．中央値を採用したのは分散が非常に大きかったためである．分散が大きい理由として、WorldGazeは顔向き、我々は視線から注視点の推定を行っており、視線はまばたきの影響やサッカードの影響を受けやすいためと考えられる．注視点は実験参加者がキーを押した時点から 15 フレーム分（撮影動画が30FPS のため約 0.5 秒分）の動画に対して注視点ベクトルを推定し，そのベクトルの平均をマーカ平面に射影することで取得した．その際指示されていたマーカ座標と注視点座標のユークリッド距離を誤差とした．注視点ベクトルは WorldGaze と同様に，各マーカ距離，各実験参加者ごとにすべてのデータに対する注視点の平均と標準偏差を一旦計算し，誤差が mean + 3SD 以上のデータを外れ値としてフィルタリングした．
全実験参加者・全パラメータのデータに対する誤差は WorldGaze が 0.71m(SD = 0.47) であったのに対し，ORANGE では 1.8m であった．図 8 のDistance から，マーカ距離が延びるにつれ誤差が大きくなること，さらに，Horizontal・Vertical から中央のマーカからの距離が離れるにつれ誤差が大きくなることがわかる．この傾向は WorldGaze と同様である．距離に応じて精度が低下する要因として，注視点ベクトルをマーカ平面へ射影した座標を注視点座標としている点が考えられる．これは，カメラからあるマーカを見た角度を θ ，注視点ベクトルの角度誤差を θe とするとマーカ平面上の注視点の座標は tan(θ + θe ) から計算されるため，マーカ距離が大きくなるにつれて，あるいは θ が大きくなるにつれ θe の影響が大きくなることによる．

5.2

第 2 実験：本システムの性能評価

次に注視点推定の分解能を角度ベースで測定するため，および ORANGE の適切な把持姿勢を調査するための実験を行う．実験参加者から 2 m 離れた位置に 60 インチのディスプレイを設置し，ディスプレイに 3 × 5 の 15 点の格子点を配置した．各試行ごとに乱数を用いてその格子点のいずれか１つを選択してマーカを表示させ，ユーザには出現したマーカを注視しながら隣に置いた PC のキーを押すよう指示した．キー入力後，1.5 秒のインターバルで次の格子点がランダムで選択され，マーカが表示される．この試行を 100 回繰り返し，360 度カメラで動画撮影した．マーカにはマルタ十字 [4] を使用
し，色は黒背景に対して視感度の高い緑色，大きさは実験 1 と同じ縦横 14cm とした．格子点は，360度カメラから見た角度が等間隔となるよう，縦横ともに 8 度間隔で配置した．360 度カメラと実験参加者との距離は 50cm とした．ORANGE の把持姿勢を調査するため，360 度カメラの床に対する設置角度を垂直・45 度（実験参加者側のカメラが上向き）の 2 パターンでそれぞれ実験を行った．
注視点推定を行った実験参加者ごとの誤差の中央値を表 1 に示す．表上段の番号は実験参加者を表す番号である．実験参加者がキーを押した時点から15 フレーム分の注視点をマーカ平面に射影した場
合のカメラ中心からの角度と，その際指示されていたマーカー点の角度との差を誤差とする．こちらも実験 1 の評価と同様にすべてのデータに対する平均と標準偏差を一旦計算し，誤差が mean + 3SD 以上のデータは外れ値としてフィルタリングした．
全実験参加者・カメラ角度 45 度のデータに対する誤差の中央値は横方向：16.6 deg，縦方向：10.8 degである．全実験参加者・カメラ角度 90 度のデータに対する誤差の中央値は横方向：17.3 deg，縦方向：12.5 deg である．全実験参加者・全パラメータのデー
タに対する誤差の中央値は横方向：16.9 deg，縦方向：11.6 deg である．表 1 を見るとどちらも縦よりも横方向の誤差が大きいが，これはマーカーを表示する範囲が横長であったためと考えられる．一方で，カメラの角度による精度の差はあまりみられなかった．45〜90 度の間では把持姿勢による精度に対する影響は少ないと考えられる．また誤差の程度については個人差が大きい．

6

議論
実験の結果わかったことは以下の通りである．

• 注視点を平面上に射影した場合，顔の向きだけを利用する WorldGaze と比較して視線を利用する我々の手法は倍程度の誤差がある
図 8. 実験 1 の結果• 推定される注視点のばらつきも比較的大きいWISS 2020

表 1. 実験 2：実験参加者毎のカメラ角度に対する縦横方向の誤差（度）

4
17.0
15.5
18.1
8.3

5
17.1
10.6
17.9
11.5

実験参加者 ID
678
12.3 19.8 13.9
7.7
5.8 10.1
12.2 21.0 17.9
9.9 17.5 18.1

• 360 度カメラの角度は 45 度〜90 度であれば

7むすび

カメラ角度

45 度
90 度

誤差（度）
横方向
縦方向
横方向
縦方向

120.6
6.6
16.015.3217.3
26.6
16.0
4.6

3
30.3
4.3
24.8
10.5

精度に大きな影響はない• 注視点の分解能はカメラ中心に対して平均 14.3度である
今回の検討を通してわかったことは，360 度カメラで取得した画像に対しても射影変換と仮想球を用いたベクトル計算を行うことで，通常のカメラ画像を対象とした視線推定ライブラリによる注視点推定が可能だということである．先行手法である WorldGaze
はスマートフォンのカメラを用いて顔の向きのみを取得しており，また非常に簡単な評価実験の結果が示されているだけであるため直接的な比較評価は難しいが，我々の手法はより正確な情報を取得することを目的として視線を扱っており，このため瞬きやサッケードの影響を受けやすく，比較としては誤差が大きい結果となったと考えている．
一方で，実験の結果から 1 箇所を注視していても推定される注視点には大きなばらつきがあることがわかった．そのため，精度向上のために注視点を計算する際に前後の時系列情報を用いた平滑化の処理が必要と考えられる．さらに，視線ベクトルの取得精度・注視点の推定精度には個人差が大きいこともわかった．この個人差は，正面マーカを見てもらった場合の誤差が最小になるように，視線ベクトルを均一に回転させるといったようなキャリブレーションをユーザ登録の際などに行うことで軽減できると考えられる．
注視点推定の精度向上の他のアプローチとして，視線ベクトルに加えて ORANGE リモコンの端末向きや顔向きなどの情報を複合的に用いる手法も考えられる．また，動的エリアカーソル法を視線インタフェースに拡張した Bubble Gaze Cursor 法 [2]のように，操作対象候補の位置によって空間をボロノイ分割し，注視点が含まれる領域から操作対象を判定することで，注視点推定の精度を補う手法も考えられる．様々な技術を総合的に検討・統合していくことで、安定した視線入力技術が実現できると考えている．

99.0
19.2
18.4
11.2

1018.1
11.9
25.3
4.3

1121.5
19.6
11.2
15.4

129.2
6.7
15.0
22.3

本稿では 360 度カメラと画像認識ソフトウェアからなるユニバーサルリモコンシステム ORANGE の視線による物体選択を行うための注視点推定手法を提案し，その精度を実験・評価した．推定された注
視点の分解能はカメラ中心に対して平均 14.3 度である．しかし，ばらつきや精度の個人差が大きいた
め平滑化処理やキャリブレーションなどが重要であることがわかった．

参考文献[1] M. Budde, M. Berning, C. Baumgärtner, F. Kinn,T. Kopf, S. Ochs, F. Reiche, T. Riedel, andM. Beigl. Point & Control – Interaction in Smart
Environments: You Only Click Twice. In Proc.
UbiComp ’13 Adjunct, p. 303–306, New York,NY, USA, 2013. ACM.
[2] M. Choi, D. Sakamoto, and T. Ono. Bubble Gaze
Cursor + Bubble Gaze Lens: Applying Area Cursor Technique to Eye-Gaze Interface. In In Proc.
ETRA ’20, New York, NY, USA, 2020. ACM.
[3] K. Huo, Y. Cao, S. H. Yoon, Z. Xu, G. Chen,and K. Ramani. Scenariot: Spatially Mapping
Smart Things Within Augmented Reality Scenes.
In Proc. CHI ’18, p. 1–13, New York, NY, USA,2018. ACM.
[4] G.-A. Koulieris, B. Bui, M. S. Banks, andG. Drettakis. Accommodation and Comfort in
Head-Mounted Displays. ACM Trans. Graph.,36(4), July 2017.
[5] S. Mayer, G. Laput, and C. Harrison. Enhancing
Mobile Voice Assistants with WorldGaze. Proc.
CHI 20, p. 1–10, New York, NY, USA, 2020.
ACM.
[6] T. Seifried, M. Haller, S. D. Scott, F. Perteneder,
C. Rendl, D. Sakamoto, and M. Inami.
CRISTAL: A Collaborative Home Media and Device Controller Based on a Multi-Touch Display.
Proc. ITS 09, p. 33–40, New York, NY, USA,2009. ACM.
[7] A. Wilson and S. Shafer. XWand: UI for Intelligent Spaces. Proc. CHI 03, p. 545–552, New
York, NY, USA, 2003. ACM.
[8] 小西 優実, 益子 宗, 落合 裕美, 小池 英樹. 全天球
カメラを用いた視線推定技術の提案. インタラク
ション 2020 論文集, pp. 755–757. 情報処理学会,2020.