(57)【特許請求の範囲】
【請求項１】
３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて少なくとも一つの平面領域を検出し、前記少なくとも一つの平面領域のそれぞれの輪郭を求める平面領域検出部と、
前記少なくとも一つの平面領域のそれぞれについて、当該平面領域の向きを求め、当該向きに一致させた、投影部により映像が投影される範囲の形状を表すモデル領域の初期位置から、前記モデル領域と当該平面領域の輪郭間の追跡処理を実行することで、前記モデル領域を当該平面領域に位置合わせする平面方向検出部と、
前記少なくとも一つの平面領域のうちの何れかである投影範囲に位置合わせされた前記モデル領域に対応する、前記投影部の表示面上の映像表示領域を求める表示領域特定部と、
前記投影部の前記表示面上の前記映像表示領域に映像を表示する投影処理部と、
を有する投影装置。
【請求項２】
前記平面領域検出部は、前記３次元計測データに含まれる複数の測定点のそれぞれについて、当該測定点を含む面の法線方向を求め、前記法線方向の差が所定範囲内となる測定点の集合を前記平面領域とする、請求項１に記載の投影装置。
【請求項３】
前記平面方向検出部は、前記少なくとも一つの平面領域のそれぞれについて、前記３次元計測データに含まれる複数の測定点のうち、当該平面領域内の複数の測定点に対して主成分分析を適用することで当該平面領域の向きを求める、請求項１または２に記載の投影装置。
【請求項４】
前記少なくとも一つの平面領域のうち、当該平面領域の輪郭と前記モデル領域間の形状の差が最小となる平面領域を前記投影範囲とする投影範囲選択部をさらに有する、請求項１〜３の何れか一項に記載の投影装置。
【請求項５】
３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて少なくとも一つの平面領域を検出し、前記少なくとも一つの平面領域のそれぞれの輪郭を求め、
前記少なくとも一つの平面領域のそれぞれについて、当該平面領域の向きを求め、当該向きに一致させた、投影部により映像が投影される範囲の形状を表すモデル領域の初期位置から、前記モデル領域と当該平面領域の輪郭間の追跡処理を実行することで、前記モデル領域を当該平面領域に位置合わせし、
前記少なくとも一つの平面領域のうちの何れかである投影範囲に位置合わせされた前記モデル領域に対応する、前記投影部の表示面上の映像表示領域を求め、
前記投影部の前記表示面上の前記映像表示領域に映像を表示する、
ことを含む映像投影方法。
【請求項６】
３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて少なくとも一つの平面領域を検出し、前記少なくとも一つの平面領域のそれぞれの輪郭を求め、
前記少なくとも一つの平面領域のそれぞれについて、当該平面領域の向きを求め、当該向きに一致させた、投影部により映像が投影される範囲の形状を表すモデル領域の初期位置から、前記モデル領域と当該平面領域の輪郭間の追跡処理を実行することで、前記モデル領域を当該平面領域に位置合わせし、
前記少なくとも一つの平面領域のうちの何れかである投影範囲に位置合わせされた前記モデル領域に対応する、前記投影部の表示面上の映像表示領域を求め、
前記投影部の前記表示面上の前記映像表示領域に映像を表示する、
ことをコンピュータに実行させるための映像投影用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、映像を投影する投影装置、及び、そのような投影装置で利用される映像投影方法及び映像投影用コンピュータプログラムに関する。
【背景技術】
【０００２】
近年、映像を投影するプロジェクタが広く利用されている。プロジェクタから投影される映像を見易くするためには、映像が投影される投影面は平面であることが好ましい。そこで、プロジェクタからの映像を投影するのに適した投影範囲を自動的に検出する技術が提案されている（例えば、特許文献１及び２を参照）。
【０００３】
特許文献１に開示された情報投影表示装置は、投影面上に設置された二つのマーカとあらかじめ指定されたベース角に基づいて、この二つのマーカを対角とする矩形領域を投影領域と決定する。
【０００４】
また、特許文献２に開示された情報提示装置は、格子模様パターン画像を第２のプロジェクタにより作業エリアに向けて投影させる。そして情報提示装置は、投影された格子模様パターン画像を赤外線カメラにより撮像させ、撮像された格子模様パターン画像と、元の格子模様パターン画像とを照合して平面領域を抽出する。さらに、情報提示装置は、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出し、第１のプロジェクタにより提示情報を検出された平面領域に向けて投影させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３６４８２号公報
【特許文献２】特開２００６−１８９７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では、投影範囲の探索対象となるエリアに、予め既知のマーカが設置されていることが求められる。しかしながら、任意の場所でプロジェクタを利用する場合、そのようなマーカが常にあるとは限らない。また、特許文献２に記載の技術では、映像を投影するプロジェクタとは別個に、平面領域を検出するための特殊な画像を投影するためのプロジェクタが別途必要となる。
【０００７】
一つの側面では、本発明は、予め設置されたマーカ及び投影対象となる領域を検出するための別のプロジェクタを用いずに、映像を投影するのに適した投影範囲を特定できる投影装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一実施形態によれば、投影装置が提供される。この投影装置は、３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて少なくとも一つの平面領域を検出し、少なくとも一つの平面領域のそれぞれの輪郭を求める平面領域検出部と、少なくとも一つの平面領域のそれぞれについて、その平面領域の向きを求め、その向きに一致させた投影部により映像が投影される範囲の形状を表すモデル領域の初期位置から、モデル領域とその平面領域の輪郭間の追跡処理を実行することで、モデル領域をその平面領域に位置合わせする平面方向検出部と、少なくとも一つの平面領域のうちの何れかである投影範囲に位置合わせされたモデル領域に対応する、投影部の表示面上の映像表示領域を求める座標変換部と、投影部の表示面上の映像表示領域に映像を表示する投影処理部とを有する。
【発明の効果】
【０００９】
予め設置されたマーカ及び投影対象となる領域を検出するための別のプロジェクタを用いずに、映像を投影するのに適した投影範囲を特定できる。
【図面の簡単な説明】
【００１０】
【図１】一つの実施形態による投影装置のハードウェア構成図である。
【図２】制御部の機能ブロック図である。
【図３】（ａ）〜（ｄ）は、それぞれ、領域拡張法による、平面領域検出の概念図である。
【図４】検出された平面領域と、その凸輪郭の一例を示す図である。
【図５】平面領域と、主成分分析により求められる各方向の関係を示す図である。
【図６】投影範囲のモデル領域の一例を示す図である。
【図７】（ａ）は、平面領域に対して主成分分析を実行することで得られた回転行列及び平行移動ベクトルを用いてモデル領域を移動させた結果を示す図である。（ｂ）は、主成分分析の結果に基づいて移動されたモデル領域に対してICPを適用した場合のモデル領域と平面領域の位置関係を示す図である。（ｃ）は、参考としての、モデル領域と平面領域とをICPにより直接位置合わせした結果の一例を示す図である。
【図８】投影処理の動作フローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ、投影装置について説明する。この投影装置は、投影範囲の探索対象となるエリア全体の３次元形状を表す３次元計測データを３次元センサで取得し、その３次元計測データに基づいて平面領域を検出する。そしてこの投影装置は、検出された平面領域のそれぞれについて、平面領域内の各点の座標に対して主成分分析を適用することで、その平面領域の向きを求める。この投影装置は、平面領域のそれぞれについて、得られた向きに合わせた、映像を投影する範囲の形状のモデルとなるモデル領域を初期位置として、そのモデル領域と平面領域の凸輪郭との間でIterative Closest Point(ICP)アルゴリズムを適用する。これにより、この投影装置は、モデル領域をその平面領域に対して正確に位置合わせする。そしてこの投影領域は、各平面領域の中から選択した、映像を投影する平面領域に位置合わせされたモデル領域に対応する、プロジェクタの表示画面上の映像表示領域に映像を表示させることで、その平面領域に映像を投影する。
【００１２】
図１は、一つの実施形態による投影装置のハードウェア構成図である。投影装置１は、３次元センサ２と、プロジェクタ３と、記憶部４と、制御部５とを有する。投影装置１が有するこれらの各部は、例えば、一つの筐体（図示せず）に収容される。そして３次元センサ２、プロジェクタ３、及び記憶部４は、それぞれ、制御部５と信号線を介して接続される。また、投影装置１は、投影装置１を他の機器と接続するための通信インターフェース（図示せず）をさらに有していてもよい。
【００１３】
３次元センサ２は、例えば、プロジェクタ３の投影方向へ向けて取り付けられる。３次元センサ２は、一定の周期（例えば、50msec〜100msec）ごとに、あるいは、映像投影前もしくは投影する映像の切り替え時といった所定のタイミングで、探索対象となるエリア内の３次元計測データを生成する。なお、探索対象エリアは、プロジェクタ３が映像を投影可能な範囲の少なくとも一部を含む。そして３次元センサ２は、生成した３次元計測データを制御部５へ出力する。そのために、３次元センサ２は、例えば、Time of Flight方式などを採用したデプスカメラ、あるいはステレオカメラとすることができる。３次元計測データは、例えば、所定点（例えば、３次元センサ２のセンサ面の中心）を原点とする３次元の直交座標系における、３次元センサ２の探索対象エリア内の各測定点の実空間の座標を含む。
【００１４】
プロジェクタ３は、投影部の一例であり、例えば、液晶プロジェクタであり、制御部５から受け取った映像信号に従って映像をその表示面に表示することで、映像を投影する。本実施形態では、制御部５により求められた映像表示領域に映像を表示することで、その映像表示領域に対応する投影範囲に映像が投影される。
【００１５】
記憶部４は、例えば、揮発性又は不揮発性の半導体メモリ回路を有する。そして記憶部４は、３次元センサ２により得られた３次元計測データ、プロジェクタ３により投影される映像を表す映像信号などを記憶する。さらに、記憶部４は、映像投影処理で利用される様々な情報を記憶してもよい。
【００１６】
制御部５は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部５は、投影装置１全体を制御する。
また制御部５は、３次元計測データに基づいて、プロジェクタ３により映像が投影される投影範囲を検出する。そして制御部５は、検出された投影範囲に対して映像が投影されるように、プロジェクタ３の表示画面上の映像表示領域を求め、その映像表示領域に投影すべき映像を表示させる。
【００１７】
以下、制御部５により実行される、映像投影処理について説明する。
図２は、制御部５の機能ブロック図である。制御部５は、平面領域検出部１１と、平面方向検出部１２と、投影範囲選択部１３と、座標変換部１４と、投影処理部１５とを有する。
制御部５が有するこれらの各部は、例えば、制御部５が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいはこれらの各部は、その各部の機能を実現する一つまたは複数の集積回路として、制御部５とは別個に投影装置１に実装されてもよい。
【００１８】
平面領域検出部１１は、３次元センサ２により得られた３次元計測データから、探索対象エリア内の平面領域を検出する。本実施形態では、平面領域検出部１１は、領域拡張（Region Growing）法を使用して、法線方向の差が所定値以下となる測定点の集合を平面領域として検出する。
【００１９】
そこで先ず、平面領域検出部１１は、３次元計測データに含まれる各測定点についての法線方向を求める。例えば、平面領域検出部１１は、最小二乗法を用いて、着目する測定点及びその周囲の複数の測定点から選択した３点により定められる平面の法線のそれぞれとの誤差が最小となる法線を、着目する測定点についての法線として算出する。あるいは、平面領域検出部１１は、着目する測定点を重心とする、着目する測定点周囲の三つの測定点から定められる平面の法線を、着目する測定点の法線としてもよい。
【００２０】
各測定点についての法線が算出されると、平面領域検出部１１は、領域拡張法を使用して、法線方向の差が所定値以下となる測定点の集合を求め、その集合を平面領域とする。
【００２１】
図３（ａ）〜図３（ｄ）は、領域拡張法による、平面領域検出の概念図である。先ず、平面領域検出部１１は、３次元計測データ３００に含まれる測定点のうち、法線方向が所定の条件を満たす測定点を、種子点３０１として一つ設定し、種子点３０１に一意なラベルを付与する。なお、所定の条件は、例えば、プロジェクタ３により投影された映像がユーザにとって見易い映像となるように、法線方向と、プロジェクタ３の光軸方向とのなす角が所定角度（例えば、30°）以下となることとすることができる。
【００２２】
次に、平面領域検出部１１は、図３（ｂ）に示されるように、種子点３０１に隣接する測定点のうち、種子点３０１の法線方向と、その測定点の法線方向との差が所定角度以下となる測定点３０２に、種子点３０１に付されたラベルと同じラベルを付与する。すなわち、平面領域検出部１１は、測定点３０２と種子点３０１とを同じ平面領域を表す測定点の集合とする。ただし、平面領域検出部１１は、既に他のラベルが付与されている測定点については、種子点３０１についての領域拡張の対象としなくてもよい（すなわち、種子点３０１と同じラベルを付与しない）。また、所定角度は、例えば、3°である。
【００２３】
図３（ｃ）に示されるように、平面領域検出部１１は、同様のラベル付与の処理を繰り返す。すなわち、平面領域検出部１１は、種子点３０１のラベルと同じラベルが付与された測定点３０２に隣接する測定点のうち、測定点３０２の法線方向と、その測定点の法線方向との差が所定角度以下となる測定点３０３を特定する。そして平面領域検出部１１は、その測定点３０３に、種子点３０１に付されたラベルと同じラベルを付与する。平面領域検出部１１は、種子点３０１のラベルと同じラベルが付与された測定点３０２に隣接する何れの測定点についても、測定点３０２の法線方向と、その測定点の法線方向との差が所定角度より大きくなると、種子点３０１についての処理を終了する。そして図３（ｄ）に示されるように、平面領域検出部１１は、種子点３０１、及び、種子点３０１に付与されたラベルと同じラベルが付与された測定点の集合を、一つの平面領域３１０とする。
【００２４】
平面領域検出部１１は、法線方向が所定の条件を満たし、かつ、ラベルが付与されていない測定点が無くなるまで、上記の処理を繰り返すことで、１以上の平面領域を検出する。
【００２５】
平面領域検出部１１は、検出された平面領域のそれぞれについて、凸輪郭を求める。例えば、平面領域検出部１１は、着目する平面領域に含まれる測定点のうち、１以上の隣接測定点がその平面領域に含まれない測定点を、着目する平面領域の輪郭を表す輪郭測定点として検出する。そして平面領域検出部１１は、輪郭測定点のうち、その輪郭測定点と、着目する平面領域内の任意の二つの測定点とを結ぶ二つのベクトルの内積が０以上となる輪郭測定点を特定する。特定された輪郭測定点は、９０°以下の角度を持つ平面領域の角の点となる。そこで平面領域検出部１１は、特定された輪郭測定点を結んで得られる輪郭を、着目する平面領域の凸輪郭とする。
【００２６】
図４は、検出された平面領域と、その凸輪郭の一例を示す図である。この例では、実線で表される平面領域４００は、他の物体の存在により、矩形の一部が欠けた形状となっている。しかし、その欠けた部分は、凹状となるため、点線で表される凸輪郭４０１は、平面領域４００の本来の輪郭形状に近い形状となる。
【００２７】
平面領域検出部１１は、各平面領域を表す情報、例えば、測定点ごとに付与されたラベルを記憶部４に保存する。また平面領域検出部１１は、平面領域ごとに、その平面領域の凸輪郭を表す情報（例えば、輪郭上の各測定点の座標）を記憶部４に保存する。
【００２８】
平面方向検出部１２は、平面領域検出部１１で検出された平面領域のそれぞれについて、その平面領域の向きを検出する。本実施形態では、平面方向検出部１２は、平面領域のそれぞれについて、主成分分析を適用して、平面領域の長手方向、短手方向及び法線方向を算出する。そして平面方向検出部１２は、得られた長手方向、短手方向及び法線方向に一致させるように、予め設定された投影範囲の形状を表すモデル領域を移動する。平面方向検出部１２は、移動後のモデル領域の位置を初期位置として、モデル領域とその平面領域の凸輪郭との間でICPといった追跡処理を実行することで、平面領域の向き及び位置にモデル領域の向き及び位置を合わせる。
【００２９】
平面方向検出部１２は、着目する平面領域について、その平面領域に含まれる各測定点の３次元座標を入力として、主成分分析を実行する。
【００３０】
図５は、平面領域と、主成分分析により求められる各方向の関係を示す図である。平面領域５００に含まれる各測定点の３次元座標を入力として主成分分析が実行されると、平面領域５００の長手方向５０１が主成分として求められる。そして、主成分である長手方向５０１と直交する方向のうち、２番目に成分が多い方向がその平面領域の短手方向５０２として求められる。そして長手方向５０１及び短手方向５０２と直交する方向として、その平面領域の法線方向５０３が求められる。
【００３１】
平面方向検出部１２は、各平面領域について、投影範囲のモデル領域を、その平面領域の長手方向、短手方向及び法線方向から定められる平行移動ベクトル及び回転行列を用いて、その平面領域の位置へ移動させて、ICPの初期位置とする。
【００３２】
図６は、投影範囲のモデル領域の一例を示す図である。モデル領域６００は、例えば、プロジェクタ３から所定距離（例えば、1m）の位置においてプロジェクタ３からの映像が投影される範囲の輪郭形状と同じ形状を持つ。この例では、モデル領域６００は、矩形形状の輪郭線で表される。
【００３３】
平面方向検出部１２は、次式に従って、モデル領域を着目する平面領域の位置へ移動させる。
【数１】
0006512058.tif 000002
ここで、pn及びp'nは、それぞれ、移動前及び移動後のモデル領域内の点の３次元座標を表す。またtは、平行移動量を表す平行移動ベクトルであり、例えば、モデル領域の重心から着目する平面領域の重心への移動量を表すベクトルで表される。またRは、回転行列であり、次式で表される。
【数２】
0006512058.tif 000003
ここで、(Tx,Ty,Tz)は、それぞれ、着目する平面領域の長手方向の向きを表す単位ベクトルにおける、x軸方向成分、y軸方向成分、z軸方向成分である。また、(Bx,By,Bz)は、それぞれ、着目する平面領域の短手方向の向きを表す単位ベクトルにおける、x軸方向成分、y軸方向成分、z軸方向成分である。そして(Nx,Ny,Nz)は、それぞれ、着目する平面領域の法線方向の向きを表す単位ベクトルにおける、x軸方向成分、y軸方向成分、z軸方向成分である。なお、x軸方向、y軸方向、及びz軸方向は、例えば、３次元センサ２のセンサ面の中心を原点とする直交座標系の各軸の方向を表す。
【００３４】
各平面領域について、モデル領域をその平面領域の位置へ移動させると、平面方向検出部１２は、その移動後の位置をICPの初期位置として、モデル領域とその平面領域の凸輪郭との間でICPを実行する。そして平面方向検出部１２は、各平面領域について、モデル領域の向き及び位置をその平面領域の向き及び位置に合わせるための平行移動量及び回転行列を算出できる。なお、平面方向検出部１２は、モデル領域とその平面領域の凸輪郭との間で、ICP以外の追跡処理を利用して、モデル領域の向き及び位置をその平面領域の向き及び位置に合わせるための平行移動量及び回転行列を算出してもよい。
【００３５】
平面方向検出部１２は、次式に従って、モデル領域の向き及び位置を着目する平面領域の向き及び位置に合わせる。
【数３】
0006512058.tif 000004
ここで、p''nは、モデル領域内の点pnに対応する、着目する平面領域への位置合わせ後の点の３次元座標を表す。また、t'及びR'は、それぞれ、ICPにより算出された平行移動量及び回転行列である。
【００３６】
図７（ａ）は、平面領域に対して主成分分析を実行することで得られた回転行列及び平行移動ベクトルを用いてモデル領域を移動させた結果を示す図である。点線で表されるモデル領域７００は、平面領域７０１に対して主成分分析を実行することで得られた回転行列及び平行移動ベクトルを用いることで、平面領域７０１の比較的近くに移動される。ただし、主成分分析の結果だけを利用した位置合わせでは、例えば、平面領域７０１の一部を隠す物体７０２などの影響による誤差が残り、モデル領域７００は、平面領域７０１に対して完全には一致しない。
【００３７】
図７（ｂ）は、主成分分析の結果に基づいて移動されたモデル領域に対してICPを適用した場合のモデル領域と平面領域の位置関係を示す図である。図７（ｂ）に示されるように、モデル領域７００の移動後の位置を初期位置として、モデル領域７００と平面領域７０１の凸輪郭との間でICPを行うことで求められた回転行列などに基づいて、モデル領域７００は移動される。移動後のモデル領域７００’（点線により図示）は、平面領域７０１と良好に位置合わせされている。
【００３８】
一方、図７（ｃ）は、参考としての、平面領域に対して主成分分析を適用して得られた回転行列などを利用せず、モデル領域と平面領域とを位置合わせした結果の一例を示す図である。図７（ｃ）に示されるように、ICPを実行する際の初期位置となるモデル領域の位置と、平面領域とが大きく離れている場合、ICPで得られる回転行列などが最適解とならず、ローカルミニマムに相当する解となることがある。そのため、図７（ｃ）に示されているように、ICPを直接用いて位置合わせされたモデル領域７１０の位置は、実際の平面領域７０１の位置と正確に一致しないことがある。このように、主成分分析とICPの両方を利用することで、平面方向検出部１２は、モデル領域の位置及び向きを各平面領域の位置及び向きに対して良好に一致させることができる。
【００３９】
平面方向検出部１２は、各平面領域について、その平面領域と位置合わせされたモデル領域の位置及び長手方向、短手方向及び法線方向を表す情報を記憶部４に保存する。
【００４０】
投影範囲選択部１３は、平面領域検出部１１により検出された各平面領域の中から、プロジェクタ３により映像を投影する平面領域を投影範囲として選択する。
【００４１】
例えば、投影範囲選択部１３は、各平面領域について、その平面領域に対する主成分分析の結果として得られる（２）式に示された回転行列を用いて、その平面領域内の各測定点の位置を回転させる。これにより、各平面領域は、その中心を原点とし、長手方向がx軸方向と平行となり、短手方向がy軸方向と平行となるように回転される。そこで、投影範囲選択部１３は、回転されたそれぞれの平面領域について、x軸方向に沿った幅W及びy軸方向に沿った高さHを算出する。そして投影範囲選択部１３は、回転されたそれぞれの平面領域について、幅Wとモデル領域の長手方向に沿った幅Wmとの差(W-Wm)及び高さHとモデル領域の短手方向に沿った高さHmとの差(H-Hm)を算出する。そして投影範囲選択部１３は、差(W-Wm)の二乗と差(H-Hm)の二乗の和が最小となる平面領域を、投影範囲として選択する。
【００４２】
投影範囲選択部１３は、投影範囲として選択された平面領域を表す情報、例えば、その平面領域に対応するラベルを座標変換部１４へ通知する。
【００４３】
座標変換部１４は、表示領域特定部の一例であり、投影範囲をプロジェクタ３の表示面上に座標変換して、投影範囲に対応するプロジェクタ３の表示面上の映像表示領域を特定する。
【００４４】
本実施形態では、座標変換部１４は、投影範囲に設定された平面領域と位置合わせされたモデル領域の４個の角のそれぞれの３次元座標を、次式に従って、プロジェクタ３の表示面における２次元座標に座標変換する。そして座標変換部１４は、座標変換後の４個の角で囲まれた領域を映像表示領域とする。
【数４】
0006512058.tif 000005
ここで、(fx,fy)は、プロジェクタ３の表示面の水平方向及び垂直方向における、プロジェクタ３が有する投影光学系（図示せず）の焦点距離を表す。また(cx,cy)は、プロジェクタ３の表示面の中心の水平座標及び垂直座標を表す。また回転行列Rcp及び平行移動ベクトルTcpは、３次元センサ２を基準とする３次元座標系からプロジェクタ３の表示面を基準とする３次元座標系への座標変換を表す変換パラメータである。(X,Y,Z)は、３次元センサ２を基準とする３次元座標系での着目点（この例では、投影範囲に設定された平面領域と位置合わせされたモデル領域の４個の角の何れか）の３次元座標である。そして(u,v)は、着目点に対応する、プロジェクタ３の表示面上での点の２次元座標である。
【００４５】
座標変換部１４は、映像表示領域の４角の点の座標を投影処理部１５へ通知する。
【００４６】
投影処理部１５は、所望の映像を、プロジェクタ３の表示面上の映像表示領域に表示させる。これにより、投影範囲にその映像が投影される。例えば、ショップ、図書館あるいは博物館などで、展示されている物品を紹介する情報などを含む映像が、その物品の近くにある平面領域に投影される。
【００４７】
図８は、映像投影処理の動作フローチャートである。
【００４８】
平面領域検出部１１は、３次元センサ２から得られた探索対象エリアの３次元計測データから１以上の平面領域を検出する（ステップＳ１０１）。そして平面領域検出部１１は、検出した平面領域ごとに、その平面領域の凸輪郭を求める（ステップＳ１０２）。
【００４９】
平面方向検出部１２は、検出された平面領域のそれぞれについて、主成分分析を適用することで、長手方向、短手方向及び法線方向を検出する（ステップＳ１０３）。そして平面方向検出部１２は、検出された平面領域のそれぞれについて、長手方向、短手方向及び法線方向で表される平面の向きに、投影範囲のモデル領域の向きを一致させ、ICPの初期位置とする（ステップＳ１０４）。
【００５０】
平面方向検出部１２は、検出された各平面領域について、初期位置にあるモデル領域と、その平面領域の凸輪郭との間でICPといった追跡処理を実行することで、その初期位置から平面領域へ移動する回転行列及び平行移動ベクトルを算出する（ステップＳ１０５）。そして平面方向検出部１２は、検出された平面領域のそれぞれについて、その回転行列及び平行移動ベクトルに基づいて、モデル領域をその平面領域と位置合わせする（ステップＳ１０６）。
【００５１】
投影範囲選択部１３は、検出された平面領域のうち、モデル領域との形状の差が最も少ない平面領域を投影範囲として選択する（ステップＳ１０７）。そして座標変換部１４は、投影範囲に対応する平面領域と位置合わせされたモデル領域をプロジェクタ３の表示面上に座標変換して、映像表示領域を特定する（ステップＳ１０８）。
【００５２】
投影処理部１５は、プロジェクタ３の表示面上の映像表示領域に、所望の映像を表示することで、投影範囲にその映像を投影する（ステップＳ１０９）。そして制御部５は、映像投影処理を終了する。
【００５３】
以上に説明してきたように、この投影装置は、映像の投影対象となる探索対象エリアの３次元計測データに基づいて１以上の平面領域を検出する。この投影装置は、検出した平面領域に対して主成分分析を適用することで求めた平面領域の長手方向、短手方向及び法線方向で表される平面の向きに、投影範囲のモデル領域の向きを一致させたものをICPの初期位置とする。そしてこの投影装置は、その初期位置にあるモデル領域と平面領域の凸輪郭との間でICPといった追跡処理を行うことで、モデル領域を、平面領域に対して正確に位置合わせできる。そのため、この投影装置は、探索対象エリアにマーカを設けたり、距離測定用の特殊なパターンを投影するプロジェクタを設けなくても、あるいは、探索対象エリアに無地の物体が含まれていても、映像を投影するのに適した投影範囲となる平面領域を特定できる。そしてこの投影装置は、投影範囲となる平面領域に位置合わせされたモデル領域を座標変換してプロジェクタの表示面上の映像表示領域を特定するので、その投影範囲に所望の映像を投影できる。
【００５４】
なお、変形例によれば、平面方向検出部１２は、主成分分析以外の方法により、検出された各平面の長手方向、短手方向及び法線方向を検出してもよい。例えは、平面方向検出部１２は、着目する凸輪郭上の任意の二つの測定点を結ぶベクトルのそれぞれごとに、そのベクトルの方向を算出する。平面方向検出部１２は、算出されたベクトルごとの方向に基づいて、所定角度範囲（例えば、10°）ごとに算出されたベクトルの方向の頻度を表すヒストグラムを作成する。そして平面方向検出部１２は、そのヒストグラムを参照して、頻度が最多となる角度範囲の中心方向を、その平面領域の長手方向とする。あるいは、平面方向検出部１２は、頻度が最多となる角度範囲に含まれるベクトルの方向の平均値あるいは中央値を、その平面領域の長手方向としてもよい。そして平面方向検出部１２は、長手方向と直交する方向のうち、次に頻度が高い角度範囲内で、長手方向と直交する方向を、その平面領域の短手方向とすればよい。さらに、平面方向検出部１２は、長手方向及び短手方向と直交する方向を法線方向とすればよい。
この変形例によれば、平面方向検出部１２は、主成分分析を用いるよりも少ない演算量で平面の向きを検出できる。
【００５５】
また他の変形例によれば、制御部５は、平面領域検出部１１により検出された平面領域ごとに、３次元センサ２からその平面領域までの距離に応じて対応するモデル領域のサイズを変更してもよい。例えば、制御部５は、検出された平面領域に含まれる各測定点の３次元座標に基づいてその平面領域の重心の３次元座標を算出し、その重心とプロジェクタ３間の距離を算出する。そして制御部５は、所定距離に対する、平面領域の重心とプロジェクタ３間の距離の比を、モデル領域の長手方向及び短手方向の長さに乗じることで、モデル領域の長手方向及び短手方向の長さを補正すればよい。これにより、プロジェクタ３からの距離が遠い平面領域ほど、映像が投影される範囲が広くなる。そのため、この投影装置は、映像を投影する平面までの距離に応じて適切に映像の投影範囲のサイズを設定できる。
【００５６】
さらに他の変形例によれば、投影範囲及びモデル領域は、矩形領域でなくてもよい。例えば、投影範囲及びモデル領域は楕円であってもよい。この場合も、制御部５は、例えば、モデル領域の外接矩形に対して上記の処理と同様の処理を実行して、モデル領域を平面領域に位置合わせすればよい。あるいは、制御部５は、検出された平面領域に内接する楕円を凸輪郭の代わりに求め、その内接楕円をICPに利用して、モデル領域を平面領域に位置合わせしてもよい。そして制御部５は、投影範囲に対応する楕円の長軸の両端及び単軸の両端の座標を座標変換することで、映像表示領域を求めればよい。
【００５７】
さらに他の変形例によれば、投影範囲選択部１３は、複数の平面領域のうち、プロジェクタ３から最も近い平面領域、あるいは、最も遠い平面領域を投影範囲としてもよい。あるいは、投影範囲選択部１３は、複数の投影範囲を設定してもよい。この場合、投影範囲選択部１３は、平面領域の凸輪郭とモデル領域の幅及び高さの差の２乗和が所定値以下となる平面領域、あるいは、平面領域の凸輪郭とモデル領域の幅及び高さの差の２乗和が少ない方から順に所定数の平面領域を投影範囲として選択してもよい。複数の投影範囲が選択される場合、座標変換部１４は、複数の投影範囲のそれぞれごとに、映像表示領域を求めればよい。そして投影処理部１５は、複数の映像表示領域のそれぞれに、同一の映像を表示させてもよく、あるいは、互いに異なる映像を表示させてもよい。
【００５８】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００５９】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて少なくとも一つの平面領域を検出し、前記少なくとも一つの平面領域のそれぞれの輪郭を求める平面領域検出部と、
前記少なくとも一つの平面領域のそれぞれについて、当該平面領域の向きを求め、当該向きに一致させた、投影部により映像が投影される範囲の形状を表すモデル領域の初期位置から、前記モデル領域と当該平面領域の輪郭間の追跡処理を実行することで、前記モデル領域を当該平面領域に位置合わせする平面方向検出部と、
前記少なくとも一つの平面領域のうちの何れかである投影範囲に位置合わせされた前記モデル領域に対応する、前記投影部の表示面上の映像表示領域を求める表示領域特定部と、
前記投影部の前記表示面上の前記映像表示領域に映像を表示する投影処理部と、
を有する投影装置。
（付記２）
前記平面領域検出部は、前記少なくとも一つの平面領域のそれぞれについて、当該平面領域の凸輪郭を前記輪郭として求める、付記１に記載の投影装置。
（付記３）
前記平面領域検出部は、前記３次元計測データに含まれる複数の測定点のそれぞれについて、当該測定点を含む面の法線方向を求め、前記法線方向の差が所定範囲内となる測定点の集合を前記平面領域とする、付記１に記載の投影装置。
（付記４）
前記平面方向検出部は、前記少なくとも一つの平面領域のそれぞれについて、前記３次元計測データに含まれる複数の測定点のうち、当該平面領域内の複数の測定点に対して主成分分析を適用することで当該平面領域の向きを求める、付記１〜３の何れかに記載の投影装置。
（付記５）
前記平面方向検出部は、前記少なくとも一つの平面領域のそれぞれについて、前記３次元計測データに含まれる複数の測定点のうち、当該平面領域の前記輪郭上の複数の測定点のうちの任意の二つを結ぶベクトルの方向ごとの頻度に基づいて当該平面領域の向きを求める、付記１〜３の何れかに記載の投影装置。
（付記６）
前記少なくとも一つの平面領域のうち、当該平面領域の輪郭と前記モデル領域間の形状の差が最小となる平面領域を前記投影範囲とする投影範囲選択部をさらに有する、付記１〜５の何れかに記載の投影装置。
（付記７）
３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて少なくとも一つの平面領域を検出し、前記少なくとも一つの平面領域のそれぞれの輪郭を求め、
前記少なくとも一つの平面領域のそれぞれについて、当該平面領域の向きを求め、当該向きに一致させた、投影部により映像が投影される範囲の形状を表すモデル領域の初期位置から、前記モデル領域と当該平面領域の輪郭間の追跡処理を実行することで、前記モデル領域を当該平面領域に位置合わせし、
前記少なくとも一つの平面領域のうちの何れかである投影範囲に位置合わせされた前記モデル領域に対応する、前記投影部の表示面上の映像表示領域を求め、
前記投影部の前記表示面上の前記映像表示領域に映像を表示する、
ことを含む映像投影方法。
（付記８）
３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて少なくとも一つの平面領域を検出し、前記少なくとも一つの平面領域のそれぞれの輪郭を求め、
前記少なくとも一つの平面領域のそれぞれについて、当該平面領域の向きを求め、当該向きに一致させた、投影部により映像が投影される範囲の形状を表すモデル領域の初期位置から、前記モデル領域と当該平面領域の輪郭間の追跡処理を実行することで、前記モデル領域を当該平面領域に位置合わせし、
前記少なくとも一つの平面領域のうちの何れかである投影範囲に位置合わせされた前記モデル領域に対応する、前記投影部の表示面上の映像表示領域を求め、
前記投影部の前記表示面上の前記映像表示領域に映像を表示する、
ことをコンピュータに実行させるための映像投影用コンピュータプログラム。
【符号の説明】
【００６０】
１    投影装置
２    ３次元センサ
３    プロジェクタ
４    記憶部
５    制御部
１１    平面領域検出部
１２    平面方向検出部
１３    投影範囲選択部
１４    座標変換部
１５    投影処理部
【図１】
0006512058.tif 000006
【図２】
0006512058.tif 000007
【図３】
0006512058.tif 000008
【図４】
0006512058.tif 000009
【図５】
0006512058.tif 000010
【図６】
0006512058.tif 000011
【図７】
0006512058.tif 000012
【図８】
0006512058.tif 000013