Phase-Delaying Projector:
ハンドヘルドプロジェクタの位相遅れ投影によるインタラクション
木 室俊一†

松崎圭佑†

佐藤宏介†

Phase-Delaying Projector:
A Handheld Projector Interaction with Phase-Delayed Projection
Shunichi Kimuro,† Keisuke Matsuzaki† and Kosuke Sato†

1. は じ め に
光学部品の小型化が飛躍的に進み，Optoma 社のPK101 ような小型プロジェクタが普及しつつある．
これにより，スクリーンの場所を選ばず，日常的に存在する壁に映像を投影するような状況が訪れると考えられる．ハンドヘルドプロジェクタはモバイル端末でありながらも，大型画面を投影できることが強みである．ユーザが投影した大型画面を見てアプリケーションを操作する時，ユーザはモバイル端末の入力インタフェースと投影画面を交互に見て操作しなければならず，入出力空間の一致したユーザインタフェースが必要であると考えられる．

図 1 Phase-Delaying Projector のコンセプト図
Fig. 1 Phase-Delaying Projector Concept

ハンドヘルドプロジェクタを持つ手の運動にはレーザポインタのように指す動作，手首を捻る動作など日• コンピュータとインタラクションするために操作

常動作とコンピュータの操作方法が結びつくような動

インタフェースとして外付けのボタン・タッチパきが存在し，手の運動を用いたインタフェースは習得

ネルなどが必要であるが容易であると考えられる．また，日常的な経験から，• 投影画像の安定化を行っていないため，外付けイ

手の運動は目で確認することなく行えると考えられる．

ンタフェースの操作によって手振れが生じる

よって，手の運動によるハンドヘルドプロジェクタの姿勢変化でコンピュータとインタラクションするシステムが有用であると考えられる．

といった問題点が存在する．
我々は，手の運動によるプロジェクタの姿勢変化を利用してコンピュータとインタラクションするシステ

既存のハンドヘルドプロジェクタシステムは，従来ムとして，Phase-Delaying Projector (以降 PDP) をのモバイル端末の小型ディスプレイの代わりとして提案する．PDP は，投影画像をプロジェクタの光軸ハンドヘルドプロジェクタを用い，単純な出力としてに対してあえて遅延して追従する制御を行い，カーソの利用が多かった1) ．このような活用方法を Floating

ルと投影画像の制御を一時的に分離することで投影画Window と呼ぶ．しかし，Floating Window は，像内コンテンツのポインティングを可能とした．また，† 大阪大学 大学院基礎工学研究科
Graduate School of Engineering Science,
Osaka University

投影画像の遅延が安定化制御の役割も担い，手振れの問題も解決した．投影スクリーンにマーカなどを設置し，幾何的に投影を安定化するような技術2)3) も提案

情報処理学会 インタラクション 2010

されているが，PDP はマーカなど特別な道具や環境を必要としないシステムである．

2. 提案システム: Phase-Delaying Projector
本研究の目的は，ハンドヘルドプロジェクタの姿勢変化で投影画像の制御ができ，プロジェクタの姿勢変

図 2 インタフェースに利用する手の運動例
Fig. 2 Hand Gestures for User Interface化を利用した操作インタフェースを提供することである．2.1 で，PDP のデザインコンセプトを説明する．
次に，2.2 で作成したプロトタイプシステムについて述べる．

2.1 デザインコンセプト
プロジェクタを出力デバイスとして画像を投影し，さらに入力デバイスとして投影コンテンツの操作イン
タフェースとして扱うことは，一つのデバイスで二つのパラメータを制御することを意味する．この操作を

図 3 システム構成
Fig. 3 System Configuration

実現させるための PDP のデザインコンセプトとして，• 位相遅れ投影技術：投影画像の手振れが防げることに加え，遅延により投影画像が安定化される用したインタフェースも提案でき，PDP は，Floating• ゼロ位相ポインタ：位相遅れ投影のデスクトップ

Window では行うことの出来なかった外付けインタに対してゼロ位相無遅延ポインティングする技術

フェースデバイス無しのユーザインタフェースを実装• 手の運動特性を活かしたインタラクションすることができる．以上のユーザインタフェースを実装するためには，手の運動によって投影画像を補正すの三つのアイデアを提案する．
初めに，位相遅れ投影とゼロ位相ポインタのコンセる仕組み，投影遅延を生みだす仕組みが必要である．

プトを説明する．従来の Floating Window では，プロ2.2 において，詳細を説明する．

ジェクタの光軸の先に常に映像があった．一方，マー

2.2 プロトタイプシステム

2)3)

では，プロ

2.1 で述べた提案コンセプトを実現させるための図

ジェクタ姿勢に依らず投影画像を固定させることで，3 のようなプロトタイプシステムを制作した．システ

ポインティングが可能になった．これは，プロジェク

ム構成をハードウェア，位相遅れ投影，ゼロ位相ポイ

タの光軸から投影画像を独立させること投影することンタの順で説明する．

でポインティングが可能になると捉えることができる．

2.2.1 ハードウェア

我々は，プロジェクタの姿勢変化に対して投影画像のシステム実装に用いるハードウェアは，姿勢センサプロジェクタの光軸に対する追従を遅延させ，一時的（InterSense，InertiaCube3），距離センサ（Sharp，に投影画像とプロジェクタの光軸方向に存在するカーGP2D12），モバイルプロジェクタ（Optima pocket

ソルを分離させることで，その遅延時間に限り投影画

projector, PK101），PC （CPU: Intel Core2 2.0

像が静止しポインティングを可能にする．遅延後は，G.Hz）を用いた．センサのデータは 100Hz でサンプ

投影画像がプロジェクタの光軸方向を追従するため，ルした．

カなどによる幾何的な投影安定化技術

ユーザは任意に投影方向をコントロールできる．同時

2.2.2 位相遅れ投影についてに，遅延投影がフィルタリングとして機能することでプロジェクタの位相遅れ投影に関して説明する．図

ユーザの手振れに対する補正の役割も行える．

4 の左図のように PC 画面をキャプチャし，投影画像サ

次に，手の運動を活かしたインタラクションコンセ

イズの 25% 程度のサイズに縮小したコンテンツを投影プトを説明する．ゼロ位相ポインタと投影するコンテする（以下，コンテンツ画像）．姿勢センサから得られンツの GUI を適切にデザインすることで手を振るこる Y aw, Roll, P itch 角のうち，簡易に Roll 回転分だとによりターゲット選択などを実装することができる．

け逆にコンテンツ画像を回転させる．次に Y aw, P itch

また，安定化技術が存在するために，手を振る以外に角よりコンテンツ画像を投影画像内でそれぞれ X, Y

も，手の捻り，手の前後運動等の手の運動（図 2）を活方向に遅延させる．本研究で用いた X 軸方向の遅延Phase-Delaying Projector:ハンドヘルドプロジェクタの位相遅れ投影によるインタラクション

図 4 プロジェクタ姿勢に応じた投影画像の変化（左：姿勢変化前，中央・右：右へ姿勢変化後）
Fig. 4 Image Correction(Left: Default Posture, Center and Right: Postual Changes to the Right)

生成式を式 (1), (2) に示す．Y 軸方向も同様に求めるものとする．

∆Y aw = Y aw0 −n∑

ai · Y awi /i=0

∆X = k · tan(−1 · ∆Y aw)n∑ai(1)i=0(2)(1) 式の右辺第２項は FIR フィルタであり位相遅れ，つまり遅延を発生させる．(2) 式の k はプロジェクタの画角等に依存する固有の定数である．以降の実験では，ai をすべて 1 としサンプル数を n=10 とした．サ

図 5 GoalCrossing を活用したメニュー選択
Fig. 5 Menu Selection using GoalCrossing

ンプリング周期が 10ms であるため，200ms 分投影画像が遅延してプロジェクタの光軸方向を追従する．

2.2.3 ゼロ位相ポインタ移動させる前後移動動作」の 3 個に分類し，それぞれの動作に対応する機能を以下のように設定した．

位相遅れ投影のデスクトップに対してゼロ位相無遅

3.1 フリック動作：メニュー選択 (GoalCrossing)

延ポインティングする技術である．提案システムでは

モバイルプロジェクタをフリックさせることで，投カーソルをプロジェクタの光軸上に常に配置する．位

影画像の遅延を用いた GoalCrossing4) のポインティ

相遅れ投影を行うことでユーザは遅延時間だけコンテングによりアプリケーションメニューの選択を行う．

ンツ画像内でカーソルを動かすことができる．プロジェ

GoalCrossing は図 5 のようにターゲットエリアにカークタを動かすことで光軸中心にあったコンテンツ画像

ソルを移動させてクリックして選択するのではなく，が遅延して動くため，ユーザ視点ではカーソルが動いターゲットエリアをカーソルがクロスすることで選択ているように見える．図 4 の中・右図は右方向にハンされるもので，手に障害者があるユーザに適したポイドヘルドプロジェクタを一瞬振った時（フリックしたンティング手法である．PDP は投影画像の遅延を利時）の投影画像の変化を示している．投影画像はプロ用したターゲットエリアに正確にカーソルを停めるのジェクタの光軸に対して遅延するため，カーソルだけが難しい不安定なポインティングであるため，Goal-がコンテンツ画像内の右方向に移動し，コンテンツ画Crossing の方が適したポインティング手法だと考え像の位置は変化していない．この現象によりユーザはられる．メニュー項目を割り当てたターゲットを作成

カーソルのみを操作した感覚を受ける．また，振ったし，これらのターゲットにカーソルをクロスさせるこ

先でプロジェクタの姿勢を変化させなければコンテンとでターゲット名に対応したパラメータを操作するこツ画像はプロジェククタの光軸に徐々に追従してくる．とが可能となるモードへ切り替える．GUI によるア

3. アプリケーション
PDP を用いたアプリケーションの可能性について議論する．PDP はモバイルプロジェクタの姿勢を変化させる手の運動のみでアプリケーション操作が可能でプリケーションの操作には始めにメニュー項目の選択が必要となるため，PDP は基本的に毎回フリック動作によるメニュー選択からアプリケーション操作が始まると考えられる．

3.2 捻り動作：ボリュームの調節ある．本研究では手の運動を，手で瞬間的にプロジェフリック動作において，音量調節といったボリュークタを振る「フリック動作」，プロジェククタを持つムの変化量の指定を必要とするメニュー項目を選択し手の手首を捻る「捻り動作」，プロジェクタを前後にた場合，それぞれのボリュームの変化量を入力する必情報処理学会 インタラクション 2010

Delaying Projector（PDP）を提案した．ユーザがプロジェクタを把持し姿勢を変化させるだけでポインティングやターゲット選択をはじめとする入力を行うことができるゼロ位相ポインタを示した．また，PDPを利用したアプリケーションの可能性について示し，アプリケーション例として映像再生アプリケーションを実装した．
今後は，位相遅れ投影が視認性などについてユーザに及ぼす影響について評価し，さらにポインティング
図 6 アプリケーションにおける操作と姿勢変化の対応
Fig. 6 A Correspondence between Hand Gesture andManipulation

や投影制御技術をさらに発展させ，幅広いユーザインタフェースに対応できるシステムを目指す．

参 考要がある．PDP ではこれらの変化量の入力をモバイ
ルプロジェクタを持つ手を捻る動作により行う．人間
は普段から AV 機器の音量調節ダイヤルなどを捻ることでボリュームの微調整を行っていたため，捻るという動作はボリュームの微調整に適していると考えられる．よって，入力する変化量は捻る量によって決定され，捻り量の微調整によって細かな変化量の入力が可能となると考えられる．

3.3 前後移動操作：階層・シーケンスの選択
GUI において，様々な作業を同時に行うと複数のウィンドウが階層的に重複する．これらの複数のウィンドウから操作対象となるウィンドウの選択をプロジェクタの前後移動操作によって行う．また，映像フレームのような時系列に並んだシーケンスの選択をプロジェクタの前後移動操作によって行う5) ．ウィンドウ選択の場合，仮想空間のウィンドウの位置関係と実世界の位置関係が対応し，時系列シークエンスの場合は手前方向に過去，奥方向に未来の画像が表示され，画像の時間関係と実世界の位置関係が対応し，自然な操作による選択が可能であると考えられる．
以上のような操作項目を取り入れたアプリケーショ
ン例として，今回は映像再生アプリケーションを構築した（図 6）．

4. ま と め
本研究では，従来の FloatingWindow のコンピュー
タとインタラクションするために外付けインタフェースデバイスが必要である，投影画像の安定化を行っていないため，外付けインタフェースの操作によって手振れが生じるという問題の解決を目指し，投影画像の位相遅れ投影技術を実装し，投影画像が安定化され，かつ手の運動によるハンドヘルドプロジェクタの姿
勢変化のみでインタラクションを可能とした Phase-文献1) Sugimoto, M., Miyahara, K., Inoue, H., andTsunesada, Y.: Hotaru: Intuitive Manipulation
Techniques for Projected Displays of Mobile
Devices. INTERACT 2005, pp.57-68(2005)
2) Beardsley, P., Baar, J.V., Raskar, R., and Forlines, C.: Interaction using a handheld projector. IEEE Computer Graphics and Applications, 25(1). pp.39-43(2005).
3) Cao, X. and Balakrishnan, R.: Interactingwith dynamically deﬁned information spaces
using a handheld projector and a pen. In Proc.
UIST ’06, pp.225-234(2006).
4) Wobbrock, J.O. and Gajos, K.Z.: A comparison of area pointing and goal crossing for people with and without motor impairments. In
Proc. ASSETS ’07, pp.3-10(2007).
5) 松崎圭佑, 甲田春樹, 岩井大輔, 佐藤宏介：SnailLight Projector : 超低速光速を模倣した時空間映像インタラクション． インタラクション 2009
論文集, pp.19-20(2009).