WISS2007

PickPointer: 3 次元モデルの直感的な操作法
PickPointer: Intuitive Manipulation for Three-dimensional Model

飯尾 淳

井上 健司

新井 健生∗

Summary. 3 次元 CAD や 3 次元モデルを扱うコンピュータグラフィクス (CG) 用ソフトウェアにおいて，3 次元のオブジェクトを操作するために様々なユーザインタフェースが提案されている．しかし，一般的なデバイスを利用する方法では操作が繁雑であったり，直感的な操作を提供するためには専用かつ高価なハードウェアを用意しなければならなかったりと，いくつかの課題が残されている．本論文では，プロジェクタで壁面に投影された CG 画面において，その画面中に表示されている 3 次元オブジェクトを直感的に操作する手法を提案する．本手法は，直接かつ直感的な操作方法を提供するだけでなく，市販のレーザポインタやウェブカメラを用いて簡単かつ安価に構築できるという利点も有する．

1

はじめに

これまで筆者らは，3 次元 CAD やコンピュータ
グラフィクス (CG) 用ソフトウェアにおいて 3 次元モデルを扱う際に，マウスやトラックボールなど既存のポインティングデバイスが持つ操作の自由度の数と，3 次元空間内で透視投影変換を実施して 3 次元モデルのレンダリングを行う際に視点の位置と向きを決定するための自由度の数に関するミスマッチを指摘し，より直感的に操作できる 3 次元情報入力
装置 (3 次元ポインティングデバイス) を提案してきた [7, 8, 12, 13]．
様々な装置の提案と評価を繰り返し，提案手法の操作性は向上してきたものの，まだ完全なユーザインタフェースを提供するレベルにまでは達していな
い．また筆者らが提案する手法は，特殊な装置を用いることなく，可能な限り一般的に入手できる部材を使用して低コストで実現できることを目指している点も特徴のひとつである．
これまでの成果を改良し，今回，プロジェクタで壁面に投影された CG 画面において，その画面中に表示されている 3 次元オブジェクトを直接操作する手法を考案した．本手法では，プロジェクタで投影される画面と操作に使用する領域を重ね合わせることにより，画面上に表示されているオブジェクトを直接操作しているようにみせることができる．また，レーザポインタに装着するアタッチメントもごく簡単な構造をしており，画像認識に利用するカメラも一般的に入手可能な，いわゆるウェブカメラである．
本手法は，直接的かつ直感的な操作方法を提供するだけでなく，市販のレーザポインタやウェブカメラを用いて簡単かつ安価に構築可能である点も大きな∗

Copyright is held by the author(s).
Jun Iio, 株式会社三菱総合研究所 情報技術研究センター,
Kenji Inoue, 山形大学大学院 理工学研究科, Tatsuo Arai,大阪大学大学院 基礎工学研究科

特長となっている．
第 2 章では，これまで筆者らが進めて来た研究の概要と改善すべき項目として挙げられていた課題について述べ，さらに関連研究を紹介する．続く第 3章でレーザパターン認識の概要およびレーザポイン
タ先端の 3 次元位置および向きの推定手法について説明する．さらに第 4 章で 3 次元 CG アプリケーションへの適用例を示す．最後の章で本研究についてのまとめと今後の展望について述べる．

2

既存提案手法の課題と解決策

まず最初に，これまで筆者らが提案してきたマルチスポットレーザポインタによる 3 次元情報入力装置の概要と，そのプロトタイプシステムが抱えていた問題点を説明する．本論文で述べる手法はこの問題点を解決し，より直感的なインタフェースを実現する．

2.1

直接操作の実現

筆者らが [12] で提案した 3 次元ポインティング
デバイスは，市販のレーザポインタから照射されるレーザ光を分岐するアタッチメントをレーザポインタの先端に装着し，その結果，机上の特定領域に写し出されるレーザスポットのパターンをカメラで計測することによりレーザポインタの 3 次元位置情報を推定するというものであった (図 1)．
3 次元位置推定の原理とアプリケーションに応用する基本的なコンセプトは，本手法もほぼ同じである．ただし本手法では，レーザポインタ先端に装着するアタッチメントに改良を加えた．その結果，本節で述べる直接的な操作感を実現することが可能になった．
図 1 に示すとおり，[12] で提案したプロトタイプシステムでは，ユーザが制御した結果を表示するス
クリーン (図左，Screen (A)) と，ユーザが位置をWISS 2007

図 3. 合わせ鏡を用いた分光図 1. 既提案手法の利用イメージ

図 4. 使用したプリズム (左) とアタッチメント (右)図 2. 直接操作の実現

制御するために利用する領域 (図右，Control Area(B)) が分離していた．これは当初，マウスパッドを用いたマウス操作を意識してデザインしたものであったが，とくにカメラの画角から外れると操作不能になってしまうという問題点もあり，評価実験に参加した複数のユーザから，操作が直感的ではないというコメントが報じられた．また次節で述べる問
題点から制御領域 (B) を大きくとることができず，領域からはみださないように操作するためには画面と制御領域の両者を注視する必要があるという点が，使い勝手を阻害する大きな要因となっていた．
そこで本提案では，プロジェクタを利用して結果を提示する画像領域とレーザポインタのパターンを投影する領域を同じ壁面に重ね合わせることにより，より直感的な操作方法を提示するようにした (図 2)．

2.2

レーザポインタアタッチメントの改良

前述の直接操作を実現するためには，レーザ光を分岐させるアタッチメントの改良が必須であった．
既存研究 [12] では，図 3 に示すように，合わせ鏡を利用してレーザ光を 5 つのビームに分光する方法を提案していた．
しかしこの方法では，工作精度の問題から，分光した 4 つの点の輝度を十分に取ることができず，照射する平面 (スクリーン) までの距離を確保することができないという問題が存在した．先に述べた領域(B) を大きくとることができないという課題は，この要因に依るものである．また同じ理由で，プロジェクタに投影した画面と重ね合わせたとしても輝度の差を得ることができず，画像認識でレーザスポットを認識することができないことから，図 2 に示すように表示領域 (A) と制御領域 (B) を重ねることが不可能であった．
そこで，輝度を落とさずにレーザ光のパターンを形成する方法を検討し，本提案ではプリズムを用いて特定のパターンを形成する手法を採用した．レー
ザ光の分光に用いたプリズムおよびレーザポインタ
先端に装着するアタッチメントの実現例を図 4 に示す．図 4 左に示したプリズムは，僅かに傾斜のついた四角錐となっている．この中心部分を切り出し，アルミパイプにパテで固定することでアタッチメントを実装した (図 4 右)．
レーザポインタから出力されるレーザ光は，かなり絞られているとはいえ一定の幅を持つ．そこで，四角錐型のプリズムを利用し，その頂点へ照射することにより，レーザ光の一部が 4 面で屈折する．この現象を利用して，1 本のレーザビームを 4 本に分割することができる (図 5)．
四角錐型プリズムの面で分光する他，プリズム上PickPointer: Intuitive Manipulation for Three-dimensional Model

図 5. プリズムによるレーザ光の分岐の各面が接する辺でレーザ光が拡散するために，実際に投影されるパターンは四角形となる．したがって，本アタッチメントを装着することにより，レーザポインタから照射されるレーザ光は空間にレーザポインタの端点を先端とする四角錐を形成することとなる．
この方式によれば輝度低下のロスが少ないために，プロジェクタで投影した表示画面上にレーザ光によるパターンを描いても，表示される画面に対する輝度の差を確保することができる．したがって，表示領域 (A) と制御領域 (B) を重ね合わせることが可能となり，結果として直感的な操作を提供することができるようになる．ただしこのレーザ光パターンは，表示情報に対してはノイズとなる．認識精度を高めるために輝度の差を高くすればするほど顕著になるというトレードオフがあるため，表示の邪魔にならないような見せ方の工夫が必要となろう．
なお，このアタッチメントの作成は手作業で行ったが，調整はプリズムの四角錐先端とレーザ光の中心部を合わせる必要があっただけであり，手作業で十分な精度を確保することができた．この点においても，既存の提案手法における機構よりも単純化した点が活かされている．

2.3

関連研究

なおプロジェクタに投影された画面に対しレーザポインタを利用してインタラクティブな操作を実現しようという試みは，これまで数多くの研究で提案されている．
LumiPoint [3] は，大画面に対して複数のユーザが個々のレーザポインタをペンデバイスとして利用する手法である．Cheng ら [4] は赤外光レーザポインタを利用して，また Remote Pointer [6] はレーザスポットの軌跡を解釈することで，スクリーン上に存在する 2 次元オブジェクトを操作するインタフェースを提供する．また Olsen ら [10] は，レーザポインタとカメラによるインタフェースにおける数値やテキスト入力の手法を提案している．
Smarter Presentations [11] は，とくにプレゼンテーションを実施する際に効果的な，レーザポインタによる操作機能を提供する．
また CollabPointer [2] は，無線通信機能を内蔵した特殊なレーザポインタを用い，遠隔ポインティングデバイスとして活用しつつ複数のユーザによるコミュニケーション支援を目指すものである．
ところで，レーザポインタを用いたインタラクションは精度が不足しがちであることが指摘されており，Myers ら [9] によってそのパフォーマンスに関して他のデバイスとの比較実験が行われている．
その状況を鑑み，Ahlborn ら [1] は，ロバストかつ効率的なレーザスポット検出手法を提案している．

3 次元位置推定

3

スクリーンに投射されるレーザ光は，前述のアタッチメントを経由しているために，四角錐をスクリーンで切り取った断面としてスクリーン上で四角形のパターンを描く．そこで，カメラでそのパターンを計測し，平面投影変換の逆変換を行うことにより，四角形の各頂点について，世界座標での位置が求まる．なお上記計算に用いる平面投影変換行列は，あらかじめ事前のキャリブレーションにより求めておく．このキャリブレーションはプロジェクタから投影したパターンの認識で実現可能である1 ．
これらの位置情報を利用して，四角錐の頂点を求める計算を行うことにより，レーザポインタ先端の 3次元空間上における位置が求まる．また同時にレーザポインタが本来ポイントするスポットは，スクリーン上に描かれた四角形における対角線の交点として定まるため，その点とレーザポインタ先端を結ぶ直線はレーザポインタの軸と一致する．したがって，その 2 点の位置関係を考えることにより，レーザポインタの軸に直角な 2 方向の向きも求まる．本手法
ではレーザポインタの軸を中心とした絶対的な回転角度を測定することはできないが，連続するフレーム間での対応関係を考慮することによって回転角度も推定することは可能である．

3.1

レーザパターンの認識

レーザポインタが照射する四角形のパターンは次の手順で解析され，四角形 4 頂点の位置が推定され
1

プロトタイプではキャリブレーションの自動化までは実装していない．

WISS 2007

図 6. レーザパターンの認識る．なお以下に述べる解析手順の前提として，カメラから取得された画像についてはノイズ除去などの前処理が済んでいるものとする．また下記アルゴリ
ズムの前提として，解析対象の四角形パターンは完全なものでなくとも構わないが，対象とするパターン以外にノイズの影響による画素は含まれないものとし，とくに四角形の外側に存在する余分な領域は完全に除去されていることを条件とする．
なお実際にアプリケーションの描画結果が映し出される画面を背景とするため，背景画面とレーザパターンの分離処理に背景差分等の技術を使うことができない．そこで，レーザパターンが高い輝度を持つことを利用し，カメラの入力ゲインを絞ることで背景画像に対する感度を抑制し，レーザパターンの分離を試みた．このアプローチは [5] 等でも利用されている方法である．
図 6 は入力画像から四角形パターンを抽出し，各頂点および対角線の交点を識別している状況である．
レーザによる四角形のパターンについて，4 つの頂点と対角線の交点にマークが付いている様子を確認することができる．

3.1.1

四角形頂点候補の推定入力されたパターンに対し，四角形頂点の初期値を以下の手順で推定する．図 7 は，ノイズ除去等の前処理が済んだ入力パターン (図 7 上) から四角形の頂点 A, B, C, D を求める概念 (図 7 下) を示す図である．

1. パターンを形成する全ての画素に関して，その重心 G を求める．
2. 同じくパターンを形成する全ての画素に関して，重心 G との距離を求め，各画素を距離の長さでソートする (図 8)．
3. 各画素は，暫定的に決定した頂点とその画素から重心 G を見込む角度の大きさによって 4

図 7. 四角形頂点の推定つのグループに分類する．例えば図 7 において，角度 AGA0 が閾値を越えるまでは同じ領域に含まれるものとして取り扱う．

4. 図 8 に示すように，各領域に含まれる画素のうち，重心 G からの距離がもっとも大きいものを四角形の頂点とする．
なおこの手順で，入力される初期パターンによっては四角形の頂点を完全には求められない場合もある．しかしその場合でも，続く四角形頂点の追跡手順で補正され，最終的には各頂点を追跡することが可能になる．

3.1.2

四角形頂点の追跡本手法は，実時間画像処理をユーザインタフェースに応用する手法であり，計算量の削減は重要な課題のひとつである．前項で述べた方法によりひとたび四角形頂点の初期値が求められれば，後は，動画フレームの連続性を利用して計算量を大幅に削減することができる．
四角形頂点のトラッキング手法について，図 9 によりその概念を説明する．
ユーザのレーザポインタ操作により，パターンの位置と形状は変化する．図 9 では，点線で示されるパターンが右上方向に移動した状況を示している (灰PickPointer: Intuitive Manipulation for Three-dimensional Model

図 8. 四角形頂点画素の選択
図 10. アプリケーションへの適用例

図 9. 四角形頂点のトラッキング色の矢印)．時刻 t における頂点のひとつを Pt ，対角線の中心を Ot とする．
時刻 t + 1 において，新たな四角形の頂点は Pt を中心とする特定の範囲内で探索される．図 9 における網掛けの部分がその範囲を示す．この探索範囲のなかで，各画素について時刻 t における対角線の中心 Ot と各画素との距離を計算する．その結果，この範囲に含まれる画素で対角線の中心 Ot からもっとも遠い画素を，新たな四角形の頂点 Pt+1 として定める．
本インタフェースでは，入力状態と待機状態を明示的に区別するためにレーザポインタが発光している間だけを制御状態としている．したがって，トラッキングの手順において探索範囲の中でパターンを形成する画素が発見できなかった場合には，待機状態に遷移したと判断してレーザポインタによる操作を中断する．

3.2

レーザポインタ先端位置の推定

レーザポインタが照射する四角形の各頂点が求まれば，先に述べたように各頂点の世界座標中における絶対位置が求まり，そこからレーザポインタ先端の 3 次元空間上における位置を求めることができる．
例として図 7 上の点 A, B, C, D を用いて説明する2 ．対角線上の 3 点 A, O, D (O は対角線の交点)に着目し，各点とレーザポインタ先端 P を含む平面を考える．その平面上において，各点がレーザポインタ先端を見込む角度は一定である．したがって
点 P は AO を弦とする円と OB を弦とする円の交点が作る軌跡上に存在する．
同様に，もう一方の対角線上の 3 点 B, O, C でも同様に点 P の候補が描く軌跡を得ることができる．
両者の交点が，その点が 3 次元空間中のレーザポインタ先端位置の推定値である．
具体的な計算方法については文献 [12] の報告を参照されたい．

43 次元 CG アプリケーションへの適用

図 10 は，3 次元 CG アプリケーションへ本提案手法によるインタフェースを適用する例である．このアプリケーションでは，OpenGL による 3 次元オブジェクトとして牛のモデルが描画されており (図 10中央)，ユーザはこのオブジェクトの位置と姿勢を操作することができる．
このアプリケーションでは，3 次元オブジェクトの位置と姿勢に関して 5 つの自由度を操作することができる．対比のためにマウスで操作できるようなアプリケーションを実装したところ，これら 5 つの自由度を 3 組みに分け，マウスが持つ 3 つのボタンを使い分けて操作する必要があった．具体的には左ボタンを押しながらの操作が，図 10 においてチェッカーパターンで表現されている平面上での並行移動に対応し，中ボタンを押しながらの操作がオブジェ
2

図 7 では，図 8 における説明の都合上，重心からの距離が長い順に A, B, C, D を並べているが，実際には，4 つの頂点を，対角線を構成する二組の頂点対にまとめる処理を経てから先端位置推定の計算を行う．

WISS 2007

クトを 2 方向に回転させる操作，右ボタンを押しながらの操作が上下方向の並行移動に対応する操作とした．
一方で，本提案手法を適用した場合は，本手法で推定されたレーザポインタ先端の 3 次元空間上における位置をそのまま利用し，3 次元オブジェクトを直接操作することができる．また先端の位置とスクリーン上に照射されたレーザパターンの対角線交点を結ぶことで求められるレーザポインタの向きを利用して，3 次元オブジェクトの回転を操作することができる．マウスを利用した一般的なアプリケーションと異なり，これらの操作は同時に実現することが可能3 である．

5まとめ

本論文では，レーザポインタに簡単なアタッチメントを装着し，3 次元データを扱うソフトウェアにおいて 3 次元モデルを直感的に操作するためのインタフェースを実現する新しい手法を提案した．
まずはじめに既存手法の課題と解決策を示した．
既存手法においては操作に用いる領域と表示領域が分離していることが操作性を阻害していた．また操作領域が狭いことも問題として指摘されていた．これらの問題を解決するためにレーザポインタに装着するアタッチメントを改良した．
改良したアタッチメントは，光の屈折を利用してレーザを分岐させる．このアタッチメントを利用した場合におけるレーザパターンの認識手法を検討した．この手法においては，スクリーン上に投影される四角形の各頂点を高速に認識することができる．
認識した頂点の位置情報から，レーザポインタ先端の 3 次元位置を推定することが可能である．
認識した位置と姿勢の情報を，3 次元 CG アプリケーションの 3 次元オブジェクト操作に適用した．
一般的なマウスによるオペレーションでは，自由度の不足を補うためにボタンの押下を併用する必要がある．それに対して本手法を適用すれば，より直感的な操作で 3 次元情報を入力することが可能となる．
また位置と姿勢を同時に操作することが可能になることを，実際の 3 次元 CG アプリケーションに適用することで示した．
3 次元オブジェクトの操作方法については，実際の3 次元空間上におけるレーザポインタ先端の位置と姿勢をそのまま適用することで自然なインタフェースが提供できるとは限らない．直感的な操作感と使い易さは必ずしも直結しているとは限らず，3 次元情報入力装置に関するより使い易いユーザインタフェースの検討が今後の課題である．
3

マウスボタンの同時押しを認めることで，同時操作を実現することは可能となるが，その場合，操作はより複雑となる．

参考文献[1] B. A. Ahlborn, D. Thompson, O. Kreylos,B. Hamann, and O. G. Staadt. A Practical System for Laser Pointer Interaction on
Tiled Displays. In Proceedings of ACM Symposium on Virtual Reality Software and Technology (VRST2005), pp. 106–109, 2005.
[2] X. Bi, Y. Shi, X. Chen, and P. Xiang. Facilitating Interaction with Large Displays in SmartSpaces. In Proceedings of Joint sOc-EUSAI
Conference, pp. 105–110, 2005.
[3] X. Chen and J. Davis. LumiPoint: Multi-User
Laser-Based Interaction on Large Tiled Displays. Displays, 23(5):205–211, 2002.
[4] K. Cheng and K. Pulo. Direct Interaction
with Large-Scale Display Systems using Infrared
Laser Tracking Devices. In Proceedings of theAustralian Symposium on Information Visualisation, pp. 67–74, 2003.
[5] K. Fukuchi. A Laser Pointer / Laser Trails
Tracking System for Visual Performance. In
Proceedings of the 10th IFIP International Conference on Human-Computer Interaction (INTERACT2005), pp. 1050–1053, 2005.
[6] T. Hisamatsu, B. Shizuki, S. Takahashi, andJ. Tanaka. A novel click-free interaction technique for large-screen interfaces. In Proceedings of the 7th Asia-Paciﬁc Conference on
Computer-Human Interaction, 2006.
[7] J. Iio and T. Arai. Evaluating an Intuitive User
Interface for Three-dimensional Model Viewer.
In Proceedings of the 10th International Conference on Virtual Systems and Multimedia(VSMM2004), pp. 808–811, 2004.
[8] J. Iio and T. Arai. レーザポインタと単眼カメラを用いた 3 次元情報入力装置. In Proceedings ofthe 13th Workshop on Interactive Systems andSoftware (WISS2005), pp. 133–134, 2005.
[9] B. A. Myers, R. B. nager, J. Nichols, and C. H.
Peck. Interacting at a Distance: Measuring thePerformance of Laser Pointers and Other Devices. In Proceedings of the SIGCHI Conferenceon Human Factors in Computer Systems, Vol. 4,
pp. 33–40, 2005.
[10] D. R. Olsen Jr. and T. Nielsen. Laser pointerinteraction. In Proceedings of the SIGCHI Conference on Human Factors in Computer Systems, pp. 17–22, 2001.
[11] R. Sukthankar, R. G. Stockton, and M. D.
Mullin. Smarter Presentations: Exploiting Homography in Camera-Projector Systems. In
Proceedings of the International Conference on
Computer Vision (ICCV2001), 2001.
[12] 飯尾 淳, 井上 健司, 新井 健生. レーザポインタによる 3 次元情報入力装置の開発とそのユーザビ
リティ評価. ヒューマンインタフェース学会論文誌, 9(3):312–324, 2007.
[13] 飯尾 淳, 新井 健生. 頭部位置計測による 3 次元モデル表示形のユーザビリティ評価. ヒューマンインタフェース学会論文誌, 8(3):445–453, 2006.