情報処理学会 インタラクション 2015
IPSJ Interaction 2015

B69
2015/3/6

複数大画面に対する絶対及び相対座標指定に基づくジェスチャ入力手法
福井 辰哉1,a)

山本 豪志朗1,b)

武富 貴史1,c)

Christian Sandor1,d)

加藤 博一1,e)

概要：本稿では周囲を取り囲むように複数の壁一面に配置されたディスプレイに対して，そこに表示されたコンテンツを素早く，正確に操作するジェスチャ入力手法を提案する．近年，ディスプレイ技術の発達によって，複数の大型ディスプレイを安価に配置できるようになり，より多くの情報を同時に提供できるようになった．その一方でディスプレイ領域を物理的に拡張し，室内空間を取り囲む様にディスプレイを配置した環境下では，従来のポインティング手法はユーザの視界よりもディスプレイ領域が広いため，カーソルが見つからないなどの問題が生じて操作性が著しく低下する．本稿ではそのような問題を解決するため，絶対及び相対座指定に基づくポインティングジェスチャ入力によって実現する手法を提案する．
そして素早く正確な座標指定インターフェースの実現を目指し，設計に関わる課題点について言及する．
また試作システムの動作についても報告する．

Absolute and Relative Gesture Pointing on Large Wall-sized Displays
Tatsuya Fukui1,a)Goshiro Yamamoto1,b) Takafumi Taketomi1,c)Hirokazu Kato1,e)Christian Sandor1,d)Abstract: Nowadays, physically large displays are being installed in many places thanks to the advancements in display technology and reduced costs. Although traditional interaction devices such as mouse,
joystick, keyboard, etc. are proven to be useful when there is only one display, large wall-sized displays demand a more intuitive way of controlling the cursor. In order to solve this problem we propose a new gesturepointing interface which allows rapid and accurate two dimensional pointing on large wall-sized displays.
The proposed system combines the absolute and relative positioning methods with the capabilities of gestureinterfaces. In this paper we describe the design and implementation of our system.

1. はじめに場において有効に活用されることが期待されている．しかし複数大画面環境にてデジタルコンテンツを操作するため近年映像表示装置の低価格化や高性能化によって様々なにマウスやタッチパネルといったポインティングデバイス場所でデジタルディスプレイ（以下，ディスプレイ）を配を従来と同様に使用すると，ディスプレイ領域が大きいこ置することが可能になり，部屋の壁一面にディスプレイをとにより操作に時間がかかる，カーソルが消失するなどの配置することも容易になった (図 1 参照)．このように囲む問題を引き起こすことが知られている（図 2 参照）．これ

ようにディスプレイが配置された環境（以下，複数大画面は目的のポインティング位置が現在のカーソル位置から遠環境）は，多人数でのミーティング，ディスカッションのいほどカーソルの移動に時間がかかったり，ディスプレイ

1a)b)
c)d)
e)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
fukui.tatsuya.fl3@is.naist.jp
goshiro@is.naist.jp
takafumi-t@is.naist.jp
sandor@is.naist.jp
kato@is.naist.jp© 2015 Information Processing Society of Japan

領域が拡大することによってカーソルがユーザの視界から外れることが多くなり，カーソルの現在位置発見が遅れがちになるためである．つまりディスプレイサイズ，配置方法はカーソルの操作性に大きな影響を与えることになる．
従来ディスプレイ上をポインティングする手法は絶対座

691

2. 関連研究
本研究では大きく二つの特徴をもつ．一つは，絶対座標指定と相対座標指定を組み合わせるポインティング手法
で，もう一つがハンドジェスチャを用いたポインティング手法である．以下，各々について関連研究を記し，本研究
図 1

壁一面に配置されたディスプレイ環境の位置づけを行う．

Fig. 1 Large Wall-sized Displays

2.1 絶対・相対座標指定の複合ポインティング
大画面環境をより素早く正確に操作するために，絶対座標指定と相対座標指定を組み合わせたインタフェースが数多く提案されている．McCallum ら [2] や Debarba ら [3]はタッチ機能を有した携帯端末を大型のディスプレイ上のカーソル操作に用いることをそれぞれ提案しており，携帯端末の画面を従来のタッチパッドの様に使えるだけなく，McCallum ら [2] は携帯端末の画面をタップする，Debarba
図 2

ディスプレイ領域の拡大による問題点．（左）カーソルの移動

ら [3] は携帯端末をレーザポインタの様にディスプレイに量の増加（右）カーソルの消失向けることで，大型ディスプレイ上の一対一に対応付けさFig. 2 Problems of large display environment. left: Increase ofan amount of cursor movement, right: Lost cursor

れた位置にカーソルを瞬時に移動させることができ，大型ディスプレイ環境においても素早く正確な操作を可能にしている．Clifton ら [9] はペン型のデバイスを使って，複数標指定方式と相対座標指定方式に大別され，大画面を操作するための状況下で，それぞれ異なる利点欠点を有する．
相対座標指定方式は，マウスなどに用いられており，主に現在位置からの移動量を用いる．複数大画面環境であっても，カーソルの現在位置を把握していれば，グラフィカルユーザインターフェースに対して十分な精度を有している．現在のカーソル位置がわからない場合は操作に対して座標を指定する操作性が低下する．一方で絶対座標指定方
式はタッチディスプレイやレーザポインタなどが例としてあげられ，表示領域が空間的に一対一対応であることが特徴である．これらは相対座標指定のように操作開始時のカーソル位置に依存せず，瞬時に目的の領域をポインティングできる．ただしタッチディスプレイはディスプレイの前にいないと操作できず，またレーザポインタのようなレの操作法をを切り替えながらカーソルを操作するシステムを提案している．手の届く範囲を操作する場合は直接ペンでポインティングし，手の届かない範囲を選択する場合はペンをタッチパッドの様に操作することで，カーソルを相対移動量で動かす事ができるため，複数大画面環境においてもディスプレイの前を歩きまわることなく，全てのディスプレイ領域を操作することを実現している．
ただし，これらの手法は全て入力のためのデバイスを必要とするインタフェースであり，ユーザがデバイスを保持していない時には用いることができないという欠点もある．特に複数大画面環境においては複数人で表示された情報を同時に閲覧するという使用用途も考えられるため，デバイスを用意するためのコスト，接続する為の手間も大きくなり不便が生じる．

イキャスティング方式では，前提に離れた位置から操作することが想定される複数大画面環境において，カーソルを高精度に制御しにくい．
本研究では複数大画面環境下での従来のポインティング方式が有する上記の問題点を解決すべく，絶対座標指定と相対座標指定の入力手法を組み合わせ，素早く正確に操作できるインタフェースの実現を目指す．特に会議室にて利用されることを前提に，その室内であればどこからでも操作でき，また利用者を限定することのない環境を想定する．
そのため特別な機器の持ち込みを利用者に要求しないハンドジェスチャに注目し，本稿では素早く正確な操作が可能なインタフェースの設計について考察する．

© 2015 Information Processing Society of Japan

2.2 ハンドジェスチャインタフェース
デバイスを必要としないインタフェースとして良く挙げられるものにハンドジェスチャを用いたインタフェースがある．Jeﬀrey ら [1] は指差しなどのハンドジェスチャを用いることで手の届かない位置に表示された仮想オブジェク
トともインタラクションすることができるインタフェー
スを提案している．ユーザ視点で仮想オブジェクトを指差すジェスチャをすることで，ユーザはそのオブジェクトにタッチする感覚で操作でき，直感的なインタフェースを実現している．この指差しジェスチャを用いた操作はレーザポインタを用いたポインティングに酷似しているため，遠692

くからでも素早く目的の位置をポインティングできるが，ル位置を見失うことが挙げられたが，指差し動作によっ複数大画面環境においては十分な精度を確保できない．てカーソル移動を行った後は，容易に利用可能であり，高Chi-Chiang ら [6] は深度カメラである Microsoft 社の精度なカーソル操作も十分に期待できる．ここでは，図 3

Kinect センサを用いて，同様の指差しジェスチャを用いた(RP) のように机上面で手をマウスのように滑らせて動か絶対座標指定を提案しており，Kinect を用いる事でユーし，その移動ベクトル等をカーソルの移動ベクトルへと変

ザは何もデバイスを身につける事なくディスプレイを操作換することでカーソル位置を制御する．本稿では，カーソすることができる．また顔が腕により Kienct から隠れてルの移動ベクトルの指定方法として，移動量を扱う 3 種

しまった場合でも遮蔽領域周辺のオプティカルフローを元（距離に基づく方式，時間に基づく方式，距離・時間に基づに位置推定を行うことでより安定で高精度なポインティンく方式），方向を扱う 2 種（手中心座標系，机中心座標系）

グを目指している．このようなハンドジェスチャを複数大に分類し，方式毎にジェスチャを以下のように設計する．

画面環境下で用いる事で，デバイスを必要とせず，マウス3.2.1 距離に基づく方式

カーソルが見つからないという複数大画面環境における問

この方式は主にマウスやトラックパッドにて使われてい題も克服できるが，絶対座標指定方式の根本的な問題である移動量指定方式であり，操作開始位置には関係なく，そる，ディスプレイからの距離によって精度が落ちてしまう

こからの移動量をカーソル移動量に反映する．そのため，という問題は未だ解決されていない．

本システムでは机上に手が触れた場所を始点とし，そこか3. 絶対及び相対座標指定に基づくジェスチャ入力手法

ら動いた距離を利用する．

3.2.2 時間に基づく方式
この方式は，レバーコントローラに代表される指定方法

複数大画面環境において，素早く正確なポインティングであり，レバーの傾き方向に応じてカーソルが一定速度でを可能とするインタフェースを実現することを目指し，本動き続ける．本システムでは手が机上面に置かれたとき，稿では絶対座標指定及び相対座標指定を組み合わせたジェその場所を始点と設定し，そこから手が一定距離以上離れスチャ入力手法を提案する．ここではそのジェスチャインると，対応する方向にカーソルを一定速度で動かし続ける．

タラクションの設計について述べる．

3.2.3 距離・時間に基づく方式

本研究では，ポインティングタスクをカーソル移動，イ

上記 2 種を組み合わせた方式でありジョイスティックなベントトリガの二つに大別する．それぞれ，マウス操作にどで用いられる．ある方向に一定速度で動くのではなく，例えるとマウスカーソルを目的の位置に移動し，マウスその速度を調整できるようにする．つまり，手を机上面にボタンのクリックに相当する．さらに，カーソル移動をおいた位置を始点とし，そこからの距離を速度量に割り当絶対座標指定（AP: Absolute positioning），相対座標指定てることで，速度可変の時間に基づく移動量の決定を行う．

（RP: Relative positioning）の 2 種類の操作を適宜組み合わせることで実現する．また，イベントトリガはオン（Ton :3.3 相対座標指定による移動方向のマッピング

Event trigger on）とオフ（Toﬀ : Event trigger oﬀ）とす

上記の移動量の指定方法について述べたが，複数の画面る．この際，カーソル移動を行うジェスチャとイベントトがある場合，手の移動方向とディスプレイ上のカーソルのリガを扱うジェスチャを同一の手で行うと，イベントトリ移動方向との対応関係は操作性に関して重要である．複数

ガのオン・オフの際，カーソル位置がずれてしまう可能性

大画面環境では，ユーザとディスプレイが正対しているとがあり，この 2 種のジェスチャは別々の手に割り当てられは限らず，手の移動方向を扱う座標系と，ディスプレイ上るべきである．図 3 に各ジェスチャ入力の概観を示す．

での移動方向を扱う座標系を違和感なく対応付ける必要がある．そのため，現存するインタフェースを参考に，以下

3.1 指差し動作によるカーソル移動
図 3 (AP) のように絶対座標指定を行い，カーソル位置二つの対応関係を設計する．

3.3.1 手中心座標系を直接的に与える．ユーザはディスプレイ上の指定したいマウスを把持した状態でカーソル操作するときの挙動を領域を一定時間指差すことで，現在のカーソル位置に影響再現する対応関係であり，現在の手の位置を基準にディスを受けず，素早く目的の位置までカーソルを動かすことがプレイに対応する座標系を設定する．そのため，机上の手できる．既述のとおり，高精度なカーソル移動は困難であの前後左右方向とディスプレイ上の上下左右方向が常に一るが，複数画面があったとしても空間的な幾何関係を把握致するよう座標関係が対応付けられ，図 4 のように，操作していれば直感的にカーソルを操作することができる．

者に対して手を右に動かすとカーソルも右に移動する．

3.3.2 机中心座標系
3.2 机上面での手の動作によるカーソル移動
相対座標指定における，大きな問題として現在のカーソ© 2015 Information Processing Society of Japan

ユーザやユーザの手の向きに関係なく，ディスプレイ中心での幾何的対応関係を用いた設定である．つまり，ディ693

図 3

本提案ジェスチャ入力によるポインティングタスクの各要素：（左）指差し動作による絶対座標指定（AP），（中央）机上面での手の動作による相対座標指定（RP），（右）もう片方の手を机上面に置くか否かによるイベントトリガのオン（Ton ）・オフ（Toﬀ ）Fig. 3 Elements of a pointing task on our gesture method: (Left) Absolute positioning
by pointing with one finger (AP), (center) relative positioning by moving a handon a table (RP), (right) event trigger by putting the another hand on a table(Ton /Toﬀ ).

スプレイに対する垂直方向で，近づく動作が上方向，離れる操作がした方向，それに応じて左右方向が定まる．図 4に示す通り，ユーザの左側のディスプレイ内のカーソルを動かす際，テーブル上を右に動かすと，カーソルはディスプレイの上方向へと移動する．

3.4 イベントトリガ
目的の位置へカーソルを移動させたのち，イベントトリガのオン・オフを行う（図 3 (Ton /Toﬀ ) 参照）．イベント
トリガはマウスの左クリックに相当し，カーソル移動に利用した手と別の手が机上に置かれた際に左クリックボタンが押された，もしくは離れた際に左クリックボタンが離されたとする．
図 54. 試作システム

本システムの外観

Fig. 5 System Configuration

試作システムの実装とその動作について述べる．

4.1 システム構成
本システムは，部屋の一面に設置された情報表示用複数大画面ディスプレイ，ユーザをセンシングするための距離画像センサ（Microsoft 社 Kinect for Windows v2 Sensor），コンピュータ（Intel(R) Core(TM) i7-3960K 6 コア 3.20GHz,16GB）で構成される．全体の処理を通して CPU を用いた演算で 30fps で動作することを確認した．本システムの外観を図 5 に示す．

ΣDepth における各机の平面パラメータ Ai を事前に求めておく．

4.2.1 ディスプレイ座標系への変換行列の算出
まず深度カメラ座標系 ΣDepth とあるディスプレイ座標系 Σdn の変換行列 Tdn を求める． 深度カメラ座標系

ΣDepth の三次元点 x をディスプレイ座標系の二次元点 pへと変換する行列は，カメラの内部パラメータ ϕ，カメラの位置姿勢 [R|t] によって p = ϕ(Rx + t) のように表され，ARToolKit[11] などを用いて求めることができる．しかし
4.2 各ディスプレイと実空間の幾何キャリブレーション
ディスプレイに対する指差し位置や机上に置かれた手の位置を推定するために，各ディスプレイと机，実空間の幾何的性を求めておく必要がある．つまり，Kinect の深度カメラ（以下，深度カメラ）座標系 ΣDepth から各ディスプレイ座標系 Σdi への変換行列 Tdi と深度カメラ座標系© 2015 Information Processing Society of Japan

本システムの設計上，深度カメラからディスプレイは映らないため，図 6 の様にマーカを介して Tdi を求める．

4.2.2 机平面パラメータの算出
手の机との接触判定に，深度カメラ座標系における机平面のパラメータ A = (a, b, c) を用いる．深度カメラ座標系
における机の平面方程式を aX + bY + cZ = 1 とし，深度カメラから実際に計測された平面上の N の点 (Xi , Yi , Zi )694

図 4 各座標系上でのカーソルの動き（左）手中心座標系（右）机中心座標系

Fig. 4 Cursor movements on each coordinate

図 8

ユーザ領域の抽出結果

Fig. 8 Result of user area extraction

ように実装したかについて述べる．
図 6 ディスプレイ座標系のキャリブレーション

Fig. 6 Calibration for displays

4.4 絶対座標指定の実装指差されたディスプレイ上の点はユーザの頭と右手の成とおき，擬似逆行列を用いて連立方程式を解くことで A を求める．

4.3 各ジェスチャ認識の実装
図 7 は実際に本手法によりディスプレイ操作を行っている様子である．各々の操作法について，どのように実装したかについて述べる．

す直線とディスプレイの交点として計算した．そのため，
まず深度カメラ座標系におけるユーザの頭，手の三次元位置 xk を求め，2 点を Tk→m2 = Tc→m2 Tm1→c Tk→m1 によってディスプレイ平面上のマーカ座標系上の点 xm2 に変換した．その後，2 点が xy 平面と交わる点を求め，Tm2→dによってディスプレイのピクセル座標へと変換することで，指差された点を求めた．

4.3.1 ユーザ領域の抽出
指差しや机上に手を動かす動作ををユーザごとに検出するため，まずユーザ領域の抽出を行う．今回，ユーザ同士のオクルージョンを避けるため，Kinect を天井から見下ろすように設置したため，提供されている Kinect SDKを用いてのユーザ認識はできない．そのため，机平面よりKinect に近い領域（机より上の領域）にある物体をユーザ領域の候補とし，ユーザ領域とそうでない領域分けた二値画像を作成，その画像に対して領域分割，ノイズ領域の4.5 相対座標指定の実装
相対座標指定の際，まず机上に右手があるかを判別するために，式 1 によって机平面 aX + bY + cZ = 1 と右手の座標 (x0 , y0 , z0 ) との距離 d を求め，しきい値以下であった
時，右手が机の上にあると認識する．またその時前フレームでの右手と机の接触状態を確認し，右手が机に接触し始めた（前フレーム：非接触，現フレーム：接触）時点での点を相対座標系の原点とおいた．

除去を行うことで，それぞれのユーザの領域を切り分けた（図 8）．その後，Kinect から得たデプス画像中でのそれぞd=|ax0 + by0 + cz0 + 1|√
a2 + b2 + c2

(1)

れのユーザ領域に対して処理を行うことにより，ユーザの頭，手の三次元位置，胴体の領域，手の領域を計測した．

4.6 クリックの実現

リガのオン・オフをポインティングと同じ手で行うと，手右手と同様に式 1 によって机平面と左手の座標との距が動き，ポインティング位置がずれてしまう恐れがあるた

離を求め，その距離がしきい値以下の場合，トリガ操作がめ，ポインティングを行った手とは逆の手によってトリガ行われたと認識する．またその時前フレームでの左手と机のオン・オフを切り替える．各々の操作法について，どのの接触状態を確認し，左手が机に接触し始めたとき（前フ© 2015 Information Processing Society of Japan695

図 7 試作システムを操作する様子．(a) 右手の指差しによる大まかな位置指定 (b) 右手を机上で動かすことで細かい位置調整 (c) 左手を机上に移動させてトリガオン

Fig. 7 Process flow. (a)Rough pointing by a right hand(b)Accurate pointing by moving
a right hand on the table (c) To n by putting left hand on the table

レーム：非接触，現フレーム：接触）にトリガオン，左手が机から離れた時（前フレーム：接触，現フレーム：非接[7]触）にトリガオフと認識した．

5. まとめと今後の展望[8]

本稿では室内の壁一面に複数の大型ディスプレイが配置された環境において生じるカーソル消失問題を解決するた[9]めのジェスチャポインティングインタフェースを設計し，その試作システムの実装について述べた．今後，従来用いられているマウスとの操作性比較のための被験者実験を行[10]

い，複数大画面環境において，カーソル位置がわかりにくい状況でも素早く正確なディスプレイ操作を行うことができるのか，また，正対していない複数のディスプレイを操[11]

SIGGRAPH 2014, 2014
Se’bastien Carbini, Jean Emmanuel Viallet and OlivierBernier. Pointing Gesture Visual Recognition for Large
Display. In Proc. of ICCVG 2004, pp.203-208, 2004.
Yan Zhai, Guoying Zhao, Toni Alatalo, Janne Heikkila,
Timo Ojala and Xinyuan Huang. Gesture Interaction for
Wall-Sized Touchscreen Display. In Proc. of UbiComp
2013, pp.175-178, 2013.
Clifton Forlines, Daniel Vogel and Ravin Balakrishnan.
HybridPointing: Fluid Switching Between Absolute andRelative Pointing with a Direct Input Device. In Proc.
of UIST 2006, pp.211-220, 2006.
Brad Johanson, Armando Fox and Terry Winograd.
The Stanford Interactive Workspaces Project, Designing
User Friendly Augmented Work Environments, Springer,
pp.31-61, 2010.
ARToolKit: http://www.hitl.washington.edu/artoolkit/

作するときの手の移動とカーソルの移動の対応関係についても同時に調査する．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

Jeﬀrey S. Pierce, Andrew Forsberg, Matthew J. Conway,Seung Hong, Robert Zeleznik, and Mark R. Mine. Image
Plane Interaction Techniques in 3D Immersive Environments. In Proc. of I3D 1997, pp.39-43, 1997.
David C. McCallum and Pourang Irani. ARC-Pad: Absolute+Relative Cursor Positioning for Large Displayswith a Mobile Touchscreen. In Proc. of UIST 2009,
pp.153-156, 2009.
Henrique Debarba, Luciana Porcher Nedel and Anderson
Maciel, LOP-Cursor: Fast and Precise Interaction withTiled Displays using One Hand and Levels of Precision.
In Proc. of 3DUI 2012, pp.125-132, 2012.
Mathieu Nancel, Emmanuel Pietriga and Michel
Beaudouin-Lafon. Precision Pointing for Ultra-HighResolution Wall Displays. Research Report of Institut
National de Recherche en Informatique et Automatique,pp.1-8, 2011.
Mathieu Nancel, Olivier Chapuis, Emmanuel Pietrigaand Xing-Dong Yang. High-Precision Pointing on Large
Wall Displays using Small Handheld Devices. In Proc. ofCHI 2013, pp.831-840, 2013.
Chi-Chiang Huang, Rong-Hao Liang, Liwei Chan andBing-Yu Chen. Dart-It: Interacting with a Remote Display by Throwing Your Finger Touch. Poster in Proc. of© 2015 Information Processing Society of Japan696