計測自助制御学会火北支邦第264回研究集会（2011・3・11）
資料番号264−8

モバイルプロジ工クタカメラを用いた投影面の傾斜に応じた視覚情報提示

VisualIn払rmationDisplayRespondingtotheProjectionSurface
OriantationwithaMobileProjector−CameraSystem
O今井博之＊，鋭慎吾＊＊，橋本浩一＊＊

OHiroyukiImai＊，ShingoKagami＊＊，KoichiHashimoto＊＊＊東北大学工学部＊＊東北大学大学院情事酎斗学研究科＊SchoolofEngineering，TohokuUniversity＊＊GraduateSchoolofInformationSciences，TbhokuUniversity
キーワード：プロジェクタカメラ系（projector−CameraSyStemS），モバイルプロジェクタ（1nObileprojector）・加挙度センサ（accelerometer）・三次元計測（3D−meaSurement）
連絡先：〒980−8579 仙台市青葉区荒巻字青葉6−6−01東北大学大学院情報科学研究科

システム情事絆卜学専攻橋本・荒井研究室／鏡研究室今井博之，Tel．：（022）795r7020，Fax・：（022）795−7020，E」nai1‥hiroyuki＠ic・is・tOhoku・aC・jp

することが可能である．ここで，任意の位置か

1．緒言

ら投影対象を三次元計測する際に得られる情報

近年，プロジェクタは技術革新により，小型は，プロジェクタカメラと投影対象の相対的な化，省電力化，高輝度化が進み，設置して用いる位置姿勢であることに注意する．言い換えると，従来の方法に加えて，モバイルデバイスとしてワールド座標系でのプロジェクタカメラや投影の現実味を絹びてきた．これに伴い，モバイル対象の位置姿勢は未知である．従って，ワールプロジェクタの利川を主Il艮に出いた研究が活発
ド座標系での位置や方向を加味した視覚情報のに進められている．プロジェクタはカメラとあ提示を実現することばできない．例えば，投影わせることで，ステレオカメラと同様に三次元対象平IfrFの傾斜が急峻になるにつれてより赤い計測を行うことが可能である．従って，これら也を投形することなどは不可能である．

をあわせたモバイルプロジェクタカメラは，持本研究では，ワールド座標系とカメラ座標系ち運び，三次元計測，投影表示が可能なデバイの関係の一部を加速度センサを用いて決定するスとして注目されている．

ことを考える．モバイルプロジェクタカメラにモバイルプロジェクタカメラを用いると，投加速度センサを設置することで，カメラ座標系形対象を任意の位旧から三次元計測することがでのワールド座標系の重力方向が既知となる．

でき，これに基づいた何らかの視覚情報を提示

一1−これにより，投影対象の相対的な位置姿勢に加えて，重力方向を加味した視覚情報の提示が可能となる．今回は投影対象を任意の曲面ではなく平面と仮定して，投影面の傾斜に応じた視覚情報を提示することを目標とする．これにより，先に述べた例のような視覚情報の投影表示が可能となる．

関連研究としてはRaskarらのRFIGLampsl）が挙げられる．Raskarらは，プロジェクタカメ

Fig，1 システムの構成

ラと傾斜センサを川いて，プロジェクタを助かしても投影像の形や大きさが不変でかつ投影像る必要がある．また，プロジェクタとカメラのの水平が保たれるシステムを開発した．Raskar

内部パラメータも必要である．したがって，プロらのシステムは，投影面として鉛直面を想定しジェクタとカメラにはあらかじめキャリブレーている．これに対し本論文の提案システムは，任ションを施し，これらのパラメータを取得して意の姿勢の平面を想定している．また，Raskar

おく．

らのシステムはコンピュータのGUI画面を投影3．システムの構成することによるユーザインタフェースの捉供を目的としているのに対し，提案システムは投影

本実験では，プロジェクタとして加賀コンポー

面の傾斜に応じた視覚情報の提示を目的としてネント社製PLUSVT339を用いた．パネル画素いる．

数は1024×768pixelsである．カメラとしては，BUFFALO社製BSW20KO4を用いた．30わsで動作させた場合の有効画素数は640×480

2．原理pixelsである．加速度センサとしては，ATR−
本稿で提案するシステムでは，投影面の法線

Promotions社製1VAAOO6を用いた．加速度のと重力ベクトルのなす角を求めることで，地面最大計測範囲は±2Gと士4Gで選択可能であに対する投影面の傾斜を求める．投影面の法線り，本実験ではこれを土2Gとして使用した．

ベクトルを求めるにあたり，まず面上に二つのFig．1は，以上で述べたプロジェクタ，カメ一次独立なべクトルを作ることを考える．これラ，加速度センサの構成を示したものである．実には全てが一直線上にない面上の三点の三次元験を行う際は，運動加速度の影響を排除して重座標が必要である．提案システムでは，プロジェ

力加速度のみを考慮するため，装置を三脚に固クタからl如上に白色の長方形を投形し，カメラ定した．また，プロジェクタの排熱機の振動にでその頂点を三つ検出する．その後，ステレオよる加速度センサへの影響を低減するため，プ法を用いて各点の三次元座標を求め，所望の二ロジェクタと加速度の間には約40×150×rnm3つのベクトルを得た後，これらの外積を計算すの気泡緩衝材を折り畳んではさんだ．プロジェることでこの面の法線ベクトルを得る．最後にクタカメラのキャリブレーションには，Audet

これと重力方向ベクトルのなす角を求め，投影らのPr。CamCalib2）を用いた．キャリブレー

面の傾斜を得る．

ションの精度を示す再投影誤差は0．78pixelsでステレオ法を用いる際，プロジェクタとカメあった．

ラの位間閲係，すなわち並進とIl小伝が既知であ2形したとき，焦点面から外れた部分は像がぼけ，4．実験

カメラから頂点を検出する精度が落ちる．ホワ

4．1 平面の傾斜計測精度評価実験

イトボードの角度が700，1100のときは900のときに比べてこのぼけが起こりやすく，点の検提案システムを用いた傾斜角度計測結果の精度を調べるため，実験を行った．以下に実験に出精度が落ち，角度の測定精度が落ちたものと用いた機材，実験の手順，結果と考察を述べる．

考えられる．また，ホワイトボードの角度がどの場合でも約20の標準偏差を持つ．この原因としては，第一に，プロジェクタの排熱機の振動

4．1．1 機材

により，加速度センサが重力方向を正確に取得

実験機材として，プロジェクタカメラ及び加できていないことが考えられる．第二に，プロ速度センサから成る提案システムの他に，ホワジェクタから投影した長方形の四頂点をカメラ

イトボード，三脚，水平器及び分度器を用いた．

から検出する際に，サブピクセル精度での検出水平器は水平の基準を求めるために，分度器はを行っていないことによる量子化誤差の影響がホワイトボードの角度を測るために用いた．実考えられる．

鹸中は，ホワイトボード表面の鏡面反射による影響を低減するため，白紙を固定した．また，運Tablel 平面の傾斜計測精度評価実験結果

動加速度の影響を排除して重力加速度のみを考慮するため，装置を三脚に固定した．

Angle（groundtruth）［deg］

4．1．2 手順

7090110

実験の手順を以下に示す．平面の角度を示す
度数は，地面と平行のとき900で，真上を向いAnglemeasurementsp［deg］ cT［deg］

68．99
89．40
107．93

2．21
1．87
2．52

たときに00，真下を向いたときに1800である．
（i）ホワイトボードの角度を900に設定する．

4．2 排熱機の振動が傾斜測定結果に与える影響の評価実験（ii）提案システムのプロジェクタカメラをランダムな位置に固定する．

プロジェクタの排熱機の振動による加速度センサの振動が平面の傾斜の計測植の棋準偏差に（iii）固定した位置から50回計測する．

／iえる最轡を評価するため，実験を行った．以（ii），（iii）を計5回繰り返すことで，合計250下に実験方法，結果と考察を述べる．

回の計測値が得られる．これを，ホワイトボー
ドの角度が700，1100のときについても同様に4．2．1 実験方法行うことで，合計750回の計測値が得られる．
次の三種類の条件のもとで，三脚に固定したプロジェクタから鉛直面をそれぞれ50回計測

4．1．3 結果と考察し，合計150回の計測値を得る．
Tablelに結果を示す．ホワイトボードの′句度（i）加速度センサとプロジェクタカメラの問が700，1100のときは900のときに比べて精度の気泡緩衝材を取り外す．

が劣ることがわかる．プロジェクタから像を投ー3−

5．アプリケーション例（ii）加速度センサとプロジェクタカメラの冊に気泡緩衝材を取り付ける．

5．1 平面の傾斜表示（iii）プロジェクタカメラから加速度センサを提案システムを用いた例として，平面の傾斜取り外し，加速度センサをできるだけ振を表示するアプリケーションを開発した．Fig．

動の少ない面に安置する．

2に動作の様子を示す．このアプリケーション（iii）において，加速度センサの姿勢とプロジェ

では，プロジェクタから表示する長方形の内部クタカメラの姿勢とが無関係であるため，計測に数字を表示している．カメラ画像上から投影した面の傾斜と真情との差は意味を持たないこされた長方形の四頂点の点を検出する際，数字とに注意が必要である．の一部など，長方形の頂点以外の点を検出すると装置が正常に動作しない．このため，あるフレームの頂点探索は，前フレームに検出した頂4．2．2 結果と考察

点に中心を持つ40×40pixelsの矩形領域内で結果をTable2に示す．プロジェクタカメラとのみ行っている．初期処f11！として，拙作者はプ加速度センサを直接貼りつけた場合に比べ，気ログラムが長方形の頂点を正確に検出している

泡緩衝材をはさんだ場合の方が標準偏差の値がことを判断しなければならない．

小さいことがわかる．また，プロジェクタカメラから加速度センサを取り外した場合では，気泡緩衝材をはさんで貼りつけた場合に比べて，標準偏差が小さいことがわかる．以上より，Tablelで認められた約2degの標準偏差の約85％は，プロジェクタカメラの排熱機の振動が原因であることが確かめられた．なお，（ii）の手法は，前述の精度検証実験の条件と同等であるため，標準偏差の値は2deg程度になるはずであるが，Table2では1．1degとなっている．これは実験に用いた気泡緩衝材が異なるためと考えられる．

Table2 排熱機の振動が傾斜測定結果に与えFig．2 平面の傾斜を表示するアプリケーション

る影響の評価実験結果
Methodo・［deg］

5．2 平面の最大傾斜方向表示（i）attachedwithoutbubblewrap 2．74（ii）attachedwithbubblewrapl．14（iii）notattached提案システムを用いた例として，平面の最大O．35

傾斜方向を矢印で表示するアプリケーションをl舟発した．Fig．3に動作の様子を示す．投影対
象平面を打A，平面の法線ベクトルと重力ベクトルの張る平面を打βとする．本アプリケーショ
ンでは，升Aと町βの交線が最大傾斜方向に等しいことを用いている．また，長方形の頂点を取−4−

付するときの探索鶴川と初剃処王判ま，平面の似サブピクセル机度での検出が可能な手法を用い斜を表示するアプリケーションと同様のものをることにより，この影響を低減することができ用いている．

ると考えられる．

将来的には，平面の姿勢のみでなく，曲面の提案システムは無地の平面を対象としており，形状を三次元計測することにより，曲面の多数テクスチャのある平面には適用できない．これの点の最大傾斜方向を矢印や色を用いて表示ではテクスチャのある平面に比べ，無地の平面のきるようになると考えられる．

方がプロジェクタから投影した長方形の頂点を検出するのが容易なためである．プロジェクタから投影する図形を工夫したり，点の検出方法を変更することで，根械のある平面を対象とすることも可能になると考えられる．
現段階では，平面の傾斜に即した情報提示を行うシステムに留まっている．今後は，これを拡張して平面ではなく任意の曲面の形状に即した情報提示を行うシステムを開発することで，よFig．3 平面の最大傾斜方向を表示するアプリ

り有益なアプリケーションの実現が期待される．

ケーション

また，呪段階ではワールド座楳系の特定方向にあたる重力方向を加速度センサにより既知と6．結言した状態である．しかし，カメラから取得した映像などを用いてプロジェクタカメラの自己位置

本稿では，モバイルプロジェクタカメラと加姿勢をワールド座標系で推定することで，ワー速度センサを用いて，平面の傾斜に応じた視覚ルド座標系における位置姿勢を全て既知とする情報を提示するシステムを提案した．またそのことが理論上可能である．これにより，さらに原理を説明し，実験について述べた後，提案シス高度な視覚情報提示の実現が期待される．

テムを用いたアブ1」ケーションを二例紹介した．
プロジェクタの排熱機の振動により計測値の参考文献

楳準偏差が大きくなる問題については，加速度

1）R・Raskar，P・Beardsley，J，VanBaar，Y・情報の高周波成分を取り除くことで改善できる

Warlg，P．Dietz，J．Lee，D．Leighand T・と考えられる．現在はプロジェクタカメラと加Willwacher：RFIGlamps：interactingwith

速度センサの接合部に気泡緩衝材を挿入しておa self−describing world via photosenslng

り，これを物理的なローバスフィルタとして機wireless tags and proJeCtOrS，ACM Trans．

能させている．しかし実験の結果，これが排熱

Graptl．，23，406／415（2004）

機の振動を取り除くのに不十分であることが判明したので，気泡緩衝材の変更や，ソフトウェア

2）S・Audet and M・Okutomi：A user−的なローバスフィルタの導入が必要であると考friendlymethodtogeometricallycalibrate

えられる．また，市販のモバイルプロジェクタでpro」eCtOr−Camera SyStemS，1nIEEEInter−は送風型の排熱機を用いない製品が多くなってnationalWorkshop orlProjector−Camera

きており，振動の問題は起きにくくなっている．

Systems（2009）

プロジェクタから投影した長方形の頂点をカメラから検出する際の量子化誤差については，−5−