情報処理学会 インタラクション 2017
IPSJ Interaction 20173-502-12
2017/3/2

仮想タッチパネル型スポットライティング
天早健太†1杉原慶哉†1浜信彦†2中道上†2 渡辺恵太†3山田俊哉†4

概要：直観的にオブジェクトに焦点を当てることを目的としたシステムとしてスポットライティングが提案されている．インタラクション 2016 におけるインタビューから，求められる要件として，手形状の指定がなく，フォーカスエリアを固定する機能が挙げられた．本研究ではこれらの要件を満たす仮想タッチパネル型スポットライティングを提案する．提案システムは，仮想タッチパネルに触れた状態で手を動かすことでフォーカスエリアが移動し，仮想タッチパネルから手を離すことでフォーカスエリアを固定することが可能となる．

Virtual touch panel type Spotlighting
KENTA AMAHAYA†1 KEIYA SUGIHARA†1 NOBUHIKO HAMA†2NOBORU NAKAMICHI†2 KEITA WATANABE†3 TOSHIYA YAMADA†4
Abstract: Spotlighting have been proposed as a system for focusing on objects intuitively. From the interview at interaction
2016, there were requirements for it. They are a function to fix the focus area without specifying the hand shape. We propose
virtual touch panel type Spotlighting that meets these requirements. In the proposal system, the focus area moves by moving thehand with touching the virtual touch panel. When the hand is released from the virtual touch panel, the focus area is fixed.

1. はじめに物だけでなく，現実世界の物体もオブジェクトと呼ぶこととする．

近年，センシング技術の著しい向上により家電などのジオブジェクトに対する認知を複数名で共有するために，ェスチャー操作が一般的になりつつある．例えばテレビのオブジェクトに焦点を当てることを目的としたスポットラ

前に立ち，手をかざすことで操作を行うことができる製品

イティング[4]が提案されている．スポットライティングは[1]の開発や研究[2]が進められている．また指差しジェスチ

指差しジェスチャーによるフォーカスエリアの操作を用いャーに着目し，ジェスチャーによるマウスカーソルの移動て直観的にオブジェクトの全体またはその一部の範囲を指を利用したポインティングシステム[3]の研究が進められし示すことが可能である．インタラクション 2016 におけるている．一般的なマウスカーソルは矢印の形をしており，インタビューからスポットライティングに求められる要件その先端である一点がポインティング位置であることをフとして，手形状の指定がなく，フォーカスエリアを固定すィードバックするために使用されているる機能が挙げられていた．本研究ではこれらの要件を満た

人がオブジェクトに対する認知を他の人と共有するために指差しジェスチャーがしばしば行われる．しかし，人が指差しジェスチャーでオブジェクトの認知を共有する際，一点ではなくオブジェクトの全体またはその一部を示したす仮想タッチパネル型スポットライティングを提案する．

2. 関連研究
オブジェクトに対して全体またはその一部の範囲を指い場面が多く存在する．またそのような場合に指差しジェし示すことが可能なデバイスとしてレーザーポインタ[5]，スチャーだけでなく，オブジェクトの特徴を言葉で説明すマウス，タブレット端末などが挙げられる．近年のレーザることで意思疎通を図ることがある．しかし，お互いのオーポインタでは一点のみでなく，円や四角形，矢印型など，ブジェクトに対する認識が異なる場合があるため，認知の様々な形での照射が可能となっている．しかし，デバイス共有は難しい．オブジェクトとは一般的に物や対象物のこを手に持つ必要がある．また照射範囲の図形や色，範囲のとを指しており，本研究ではコンピュータの画面上の対象大きさに制限があり，オブジェクトの全体を示すことが難しい場合がある．

†1 福山大学大学院
Graduate School of Engineering Fukuyama University†2 福山大学
Fukuyama University†3 株式会社 DNP 情報システム
DNP Information System Co., Ltd.
†4 NTT アイティ株式会社
NTT IT Corporation© 2017 Information Processing Society of Japan716

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-502-12
2017/3/2

ジェスチャー認識のために用いられるセンサーとして

ライティングではポインティングシステムとして Remote

Kinect[6]や Leap Motion[7]，Ring[8]が挙げられる．Kinect

Touch Pointing，仮想タッチパネルシステムを利用して実現

は 3 種類のカメラを用いて人の骨格を追跡することが可能している．

なセンサーである．Leap Motion は赤外線を用いて手の形状を認識することが可能なセンサーである．このような非接触によるセンサーの登場により，デバイスを持たないジェスチャー操作が可能になりつつある．Ring は指に装着するセンサーで，空中でアルファベットや数字，図形を描くことで操作を行うことを可能としている．ジェスチャーによるマウスカーソルの移動を利用したポインティングシステ
ムとして，Remote Touch Pointing[3]の研究が進められている．Remote Touch Pointing を用いると発表者は，からだの一部を基点，操作点とし，それら 2 点の延長線上をポインティングすることが可能となる．Remote Touch Pointing は基点と操作点の延長線上をポインティングするため，大画面スクリーンにおいても目的の位置を容易にポインティングすることが可能である．そのため，直観的にポインティ

図 1ングを行うことが可能である．提案システムである仮想タ

Figure 1

Remote Touch Pointing の利用例
An example of remote touch pointing

ッチパネル型スポットライティングのポインティングシス
テムには Remote Touch Pointing を利用して実現している．
図 1 に Remote Touch Pointing の利用例を示す．
利用例では，両肩の中心を基点座標，利き手を操作点座標に設定した場合の Remote Touch Pointing の一例を示している．
仮想的なタッチスクリーンを利用したポインティングシステムの研究[9]も進められている．仮想タッチスクリーンのシステム環境を図 2 に示す．仮想タッチスクリーンは操作者の眉間を頂点とし，スクリーンを底面とする角錐のある位置の断面がパネルとなる．操作者は頂点である眉間と操作点である指先の延長線でポインティングする向きが決まり，指先が仮想タッチスクリーンに触れることでポインティングすることが可能となる．しかし，このシステム

図 2

ではセンサーとして Web カメラを用いているためユーザ

Figure 2

Environment of virtual touch screen

ム で は ポ イ ン テ ィ ン グ シ ス テ ム と し て Remote Touch

図 3

仮想タッチパネルシステム利用例

Pointing を用いることによってポインティング操作を実現

Figure 3

仮想タッチスクリーンのシステム環境

ーがカメラの正面に立っている場合，システムが確実に頭と手を認識することが困難なためカメラの位置をユーザーの上部にカメラを設置しなければならないとされている．
また，パネル位置との関係から常に手を伸ばした状態でなければならないとされている．
Remote Touch Pointing と仮想タッチスクリーンを応用した研究として仮想タッチパネルシステム[10]の研究が進められている．この研究では大画面環境内での離れた位置からの画面に対してのインタラクションとしてユーザーがより直感的な操作を可能にすることを目的としている．図 3に仮想タッチパネルシステムの利用例を示す．このシステ
An example virtual touch panel system

しており，仮想タッチパネルを用いることによってタブレット操作の 2 種類の操作を同時に行うことが可能である．
本研究の提案システムである仮想タッチパネル型スポット© 2017 Information Processing Society of Japan717

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-502-12
2017/3/2

3. スポットライティング
スポットライティング[4]は複数人での認知の共有をするためにオブジェクトに焦点を当てることを目的としたポフォーカスエリアインティングシステムである．スポットライティングは指差しジェスチャーによるポインティングシステムと焦点を当てる範囲であるフォーカスエリアの操作インターフェースから構成される．指差しジェスチャーによるポインティ
ングシステムの一部として Remote Touch Pointing を用いる
ことで，ユーザーがポインティングする際にポインティン
拡大・縮小ボタングデバイスを用いることなく操作を行うことが可能である．
そのため，直観的なポインティングを行うことを可能としている．ポインティング位置にはフォーカスエリアとして，円を表示する．
焦点を当てる範囲であるフォーカスエリアの操作イン

図 4

スポットライティングの一例

Figure 4

ターフェースは，ポインティング機能の【移動】，フォーカ

Example of spotlighting.

スエリアの【拡大・縮小】の機能から構成される．あるオブジェクト（ポスター）に対してスポットライティングを利用してポインティングしている様子を図 4 に示す．ポイ
ンティング位置には外側の枠をランダムに配色された白い円がフォーカスエリアとして表示される．スクリーンの右端に表示された（＋・－）ボタンをポインティングすることで，フォーカスエリアが拡大または縮小する．拡大・縮小機能を利用することで，あるオブジェクトの全体に当てた焦点からその一部に焦点を絞り込むことが可能である．
これによりポインティングすることによって他人とのオブジェクトに対する認知を共有することが容易になる．
先行研究であるスポットライティングの実証実験[4]における参加者のコメントから，ポインティング位置の【移動】に加えて，ポインティング時にフォーカスエリアの位った状態で手を動かすことでフォーカス位置の移動を操作する．また，ポインティング機能の【固定】機能として，それ以外の手の形状（手を開いた状態）でフォーカス位置が固定される．指差しジェスチャーによるポインティングシステムとして，フォーカス位置の固定を用いることによって一度オブジェクトに焦点を当てた上で，身振り手振りといったジェスチャーでコミュニケーションを行う場合に利用可能である．
2016 年 3 月のインタラクション 2016 にて，聴講者 29 人が試作した固定機能付きスポットライティングを体験した．
その後，スポットライティングに求められる要件についてインタビューを行った．表 1 にインタビュー内容とその結果について示す．

置を一時的に固定する【固定】機能が求められている．
3.1 節では 2016 年 3 月のインタラクション 2016 でのデモ体験におけるインタビュー調査の結果から求められる要件を整理する．3.2 節では求められる要件を満たすために開発した仮想タッチパネル型スポットライティングの機能について説明する．
3.1 求められる固定機能の要件

表 1

インタビュー結果

Table 1

The result of interview.

Q1：ポインティングする際の手の形状についてどれが良いか

何でもよい
グー

20 人
9人

Q2 ポインティングと固定機能についての組み合わせが必要か

手の形状何でも良い ＋ 固定無し
グーで動かす ＋ グー以外の手の形状は固定

10 人
19 人

フォーカスエリアの固定機能の要件について調査するた
めに固定機能付きスポットライティングを試作し，インタラクション 2016 のデモ体験でインタビュー調査を実施した．
試作システムでは手形状の差異を利用してポインティン
グ機能【移動】と【固定】機能を検討した．固定機能付き
スポットライティングでは焦点を当てる範囲であるフォー
カスエリアの操作インターフェースは，ポインティング機
能【移動】と【固定】機能，フォーカスエリアの【拡大・縮小】機能から構成される．

まず，スポットライティングの手の形状における操作性について Q1 を行った．Q1 はポインティング時の手の形状としてどちらが操作しやすいかを検証する項目である．結果は，「何でもよい」が 29 人中 20 人となった．次に，ポインティング時にフォーカスエリアの位置を固定する機能の必要性について確認するために Q2 を行った．結果は，「グーで動かす＋グー以外の手の形状は固定」が 29 人中 19 人となった．

ポインティング機能の【移動】として，操作者が手を握© 2017 Information Processing Society of Japan718

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

Q1，Q2 の結果から求められる要件を整理すると下記の 2

3-502-12
2017/3/2

ティングを提案システムとする．図 5 に提案システムの実
験環境のレイアウト，図 6 に提案システムの利用例を示す．

点となった．
・ポインティング時は手形状の指定がない方が良い

提案システムでは試作システムは異なり，指さしジェス・ポインティング機能【移動】に【固定】機能が必要

チャーによるポインティングシステムとして Remote Touch
Pointing と仮想タッチパネルの 2 つを用いている．焦点を3.2 仮想タッチパネルによる固定機能

当てる範囲であるフォーカスエリアの操作インターフェー

インタビューから求められる要件に基づいて機能を検スは，試作システムと同様にポインティング機能【移動】・討した結果，固定機能付きスポットライティングの操作で【固定】機能，フォーカスエリアの【拡大・縮小】の機能

あるとグーでポインティング，その他のジェスチャーで固から構成される．

定となっていた．ポインティング機能【移動】・【固定】機

操作者の前方の 0.4m~0.5m の位置に設置されている仮想能で手形状によるジェスチャーを使用するため操作者が手タッチパネルに手が触れた状態で手を動かすことでフォーの形状を変えた際に誤動作が発生する可能性が考えられる．

カス位置の移動を操作し，仮想タッチパネルから手を離す

本研究では，ポインティング機能【移動】を損なわないことでフォーカス位置を固定する．またポインティングの【固定】機能を実現するために手形状によるジェスチャー

【固定】機能は，操作者が Kinect によって認識されているを使用しない仮想タッチパネルに着目し，仮想タッチパネ間は固定が保持される．仮想タッチパネルの位置は操作者ル型スポットライティングを提案する．次に，本研究で提から 0cm~100cm まで自由に設定することが可能である．ま案する仮想タッチパネル型スポットライティングの機能にた，複数人で使用する場合にユーザー自身のフォーカスエついて説明する．これ以降，固定機能付きスポットライテ

リアと他のユーザーのフォーカスエリアの区別がつくようィングを試作システム，仮想タッチパネル型スポットライに，Kinect センサーの認識範囲内に新たなユーザーが入る

4.0mと自動的にフォーカスエリアの枠組みの配色がランダムでDisplay
0.6m

2.4m変更されるように設定した．

4. 考察
インタビューの結果からにスポットライティングに求められる固定機能の要件を整理し，提案する仮想タッチパ

Kinect
0.25m
3.0m

短焦点
プロジェクター

ネル型スポットライティングに適用した．提案システム利用時のユーザーとの相互作用について分析するとともに，ユーザビリティの観点から提案システムの効果について考察する．

2.0m
仮想タッチパネル位置
0.4m~0.5m
操作者

4.1 節ではユーザーとシステムの相互作用の観点から，試作システムと提案システムの相互作用について分析し，ユーザーにとって大きな差がないことについて分析する．4.2
節ではユーザビリティの観点から試作システムと提案システムの違いについて検討し，提案システムによって向上したユーザビリティの特性について考察する．

図 5
Figure 5

実験環境のレイアウト

Layout of experimental equipment

4.1 スポットライティングの相互作用
試作システムと提案システムをユーザーとシステムの相互作用の違いの観点から分析するためにシーケンス図を操作点フォーカスエリア用いて操作手順を可視化した．試作システムの操作手順を可視化したシーケンス図を図 7 に，提案システムの操作手順を可視化したシーケンス図を図 8 に示す．
2 つのシーケンス図を比較すると，アクターの要素に関して，試作システムでは操作者側から Display に直接返されているため「操作者」と「Display」の 2 個，提案システ
ムのアクターの要素は「操作者」と「Display」の間に「仮操作点仮想タッチパネル想タッチパネル」というアクター要素が増えたため 3 個となった．また，Display 側の実行仕様に関して試作システム
では 3 個，提案システムでは 4 個であった．しかし，両方

図 6
Figure 6

提案システムの利用例
Example of proposed system© 2017 Information Processing Society of Japan719情報処理学会 インタラクション 2017
IPSJ Interaction 20173-502-12
2017/3/2

る．しかし，提案システムを研究室の数名に試してもらっ

Display

操作者
手をグーにして挙げる

フォーカスエリアを表示

拡大・縮小ボタンをポインティング

フォーカスエリアを拡大・縮小表示

手をグーにして目的位置をポインティング

た際には，ポインティングするために手を挙げた時にほぼ全員が仮想タッチパネルに触れていたため，最初の動作で仮想タッチパネルを認知できている人はいなかった．仮想タッチパネルから手を離すという動作でパネル位置をある

目的位置をフォーカスエリアで表示程度認知できている人がほとんどだった．このため，仮想手をグー以外にして静止
目的位置でフォーカスエリアを固定表示

タッチパネル位置は固定の際に認知できていればよいので試作システムより学習のしやすさの評価が向上することが考えられる．

試作システムの操作手順

効率性では，一度学習すれば，あとは高い生産性を挙げOperations of Spotlighting with fix function

られるよう，効率的に使用できるものでなければならない

図 7
Figure 7と定義されている．試作システムでは手を握った状態での仮想タッチパネル操作者
仮想タッチパネルに触れる

ポインティング機能【移動】からそれ以外の手の形状の【固Display

ポインティング開始

フォーカスエリアを表示

定】機能に移り変わるときにセンサーが手の形状をうまく拡大・縮小ボタンをポインティング
ポインティング中
フォーカスエリアを拡大・縮小表示
目的位置をポインティング
ポインティング中
目的位置をフォーカス
エリアで表示仮想タッチパネルから手を離す

認知できず誤動作が起きた．そのため評価は低くなることが考えられる．提案システムでは仮想タッチパネルの位置をある程度操作をすることで慣れることが予想されるが，使用しない期間が空くことによって仮想タッチパネルの位ポインティング完了
目的位置でフォーカスエリアを固定表示

置を忘れてしまうことが考えられるため効率性の評価は試作システムと比較して同様の評価か向上することが考えられる．

図 8
Figure 8

提案システム操作手順

Operations of Spotlighting with virtual touch
panelとも操作者側から返すメッセージに関しては 4 本であった．
この結果から，操作手順の量は同じであるため操作者の学習量は同じである．そのため，試作システムと提案システ
ムはユーザーにとって大きな差がないと考えられる．
4.2 ユーザビリティの特性
ユーザビリティの観点から試作システムと提案システ
ムの違いについて検討し，提案システムによって向上したユーザビリティの特性について考察する．システムの使いや す さ を 評 価 す る ユ ー ザ ビ リ テ ィ の 定 義 と し て Jakob
Nielsen によるユーザビリティの定義[11]を利用した．提案
システムと試作システムを学習のしやすさ（Learnability），効率性（Efficiency），記憶のしやすさ（Memorability），エラー（Errors），主観的満足度（Satisfaction）について考察する．
学習のしやすさでは，ユーザーがそれをすぐに使い始められるよう，簡単に学習できるようにしなければならないと定義されている．試作システムでは操作手順が少なく，手を握った状態とそれ以外（手を開いた状態）の 2 種類の手の形状を覚えるだけで操作が可能となる．しかし，手の形状によるジェスチャーは個人差が大きいためすぐに使い始められない場合が予想される．そのため評価は低くなると考えられる．提案システムでは試作システムと同様に操作手順の量が同じなため，学習量も同じであると考えられ© 2017 Information Processing Society of Japan

記憶のしやすさは，ユーザーがしばらく使わなくても，また使うときにすぐに使えるよう覚えやすくしなければならないと定義されている．試作システムでは操作手順が少なく，手形状による簡単なジェスチャーを覚えるだけなので評価は高いことが考えられる．提案システムでは試作システムと同様に操作手順は少なく，簡単な操作ではあるが，仮想タッチパネルの位置(操作者からのパネルの距離)を覚える必要があるため記憶のしやすさの評価は試作システムの評価と比較して同じか低下することが考えられる．
エラーでは，エラーの発生率を低くし，エラーが起こっても回復できるようにし，かつ致命的なエラーが起こってはならないと定義されている．試作システムではポインテ
ィング機能【移動】と【固定】機能を使用する際にセンサーが度々誤作動で手の形状を上手く認知しない時があった．
これは Kinect センサーが手の関節点として親指と人差し指しか認識できず，その 2 種類で手の形状を判断しているためであると考えられる．そのため評価は低いことが考えられる．提案システムでは試作システムに比べてポインティ
ング機能【移動】と【固定】機能は仮想タッチパネルに触れることで操作することができるため，誤操作が少ないことが考えられえる．
主観的満足度ではユーザーが個人的に満足できるよう，また好きになるよう楽しく利用できなければならないと定義されている．試作システム，提案システムともに実証実験を行っていないため評価できない．今後，博物館などで実証実験を行うことによって評価する予定である．

720

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

5. まとめ本研究ではインタラクション 2016 におけるインタビュ
ー結果からスポットライティングに求められる要件として，「手形状の指定がない，フォーカスエリアを固定する機能」

3-502-12
2017/3/2

想タッチパネルシステムの提案，電子情報通信学会 HCG シン
ポジウム 2016 論文集，pp.395-396(2016).
[11] Nielsen,J. ユーザビリティエンジニアリング言論-ユーザーのためのインターフェースデザイン. 東京電機大学出版局,2002.

が挙げられた．そこで，これらの要件を満たす仮想タッチパネル型スポットライティングを提案した．提案システム
は仮想タッチパネルに触れた状態で手を動かすことでフォーカスエリアが移動し，仮想タッチパネルから手を離すことでフォーカスエリアを固定することが可能となる．
提案システム利用時のユーザーとの相互作用について分析し，ユーザビリティの観点から提案システムの効果について考察した結果，「エラー」，「学習のしやすさ」の特性に関して評価が高くなるが，「記憶のしやすさ」の特性は低くなることが考えられる．
「記憶のしやすさ」や「学習しやすさ」のさらなる向上の改善として，操作者ごとの適切なパネル位置を求めるためのキャリブレーションの検討，使い方の説明なしに利用可能なインターフェースの提供を検討する．
スポットライティングの応用分野として，多人数で情報共有する機会の多い教育分野や会議におけるグループウェアでの利用が挙げられる．他にも，舞台演出としての照明やプロジェクションマッピングに応用したエンターテインメントでの利用が期待される．今後，先行研究と同様に博物館での実証実験を行うことを予定している．
謝辞

本研究は日本学術振興会の科学研究費補助金（若手研究（B）15K16108）の助成により実施した．厚く御礼申し上げます．

参考文献
[1]

LGTV2013 SPECIAL SITE,
http://www.lg.com/jp/lgtv/control, (2014/12/04).
[2] Keita,W., Yuta,M., Noboru,N., Toshiya,Y., Takashi,O.: Remote
Touch Pointing for Smart TV Interaction, 2014 IEEE 3rd Global
Conference on Consumer Electronics (GCCE), pp.232-235(2014).
[3] 渡辺恵太，中道上，山田俊哉ほか: 大画面を利用した講義における直感的なポインティング手法の提案と評価，インタラ
クション 2014 論文集，pp.326-331(2014).
[4] 中道上，天早健太，渡辺恵太，山田俊哉:スポットライティン
グ：認知共有のためのスポットライト型ポインティングシス
テム，インタラクション 2016 論文集，pp.964-969(2016).
[5] “SANWA DIRECT”.
http://direct.sanwa.co.jp/ItemPage/200-LPP019, (参照2016-12-26).
[6] “KINECT for Windows”.
http://www.microsoft.com/en-us/kinectforwindows/, (参照2016-12-26).
[7] “LEAP MOTION”. https://www.leapmotion.com, (参照2015-12-10).
[8] “Logbar”. http://logbar.jp/ring/, (参照 2016-12-26).
[9] Kelvin,C., Masahiro,T.: Estimating Virtual Touchscreen forFingertip Interaction with Large Display, Proc. 18th Australia Conf.
on OZCHI’06, pp.397-400(2014).
[10] 天早健太，中道上，渡辺恵太，山田俊哉:大画面に対する仮© 2017 Information Processing Society of Japan

721