(57)【要約】【課題】非ピンホールモデルの光学系の校正を適切に行うことができる校正装置を提供すること。【解決手段】投影装置と平面物体の位置又は姿勢の少なくとも一方が変えられるごとに、前記投影画像を複数回、撮像する撮像手段から複数の撮像画像を取得する撮像画像取得手段と、予め求められている対応関係を利用して、投影画像を形成する複数の光線が位置又は姿勢が異なる平面物体で反射した反射位置を求める反射位置推定手段と、位置又は姿勢が異なる前記平面物体で同一光線が反射した複数の前記反射位置の直線からの乖離度が最小になるように、前記平面物体の少なくとも複数の位置・姿勢を推定する平面物体位置姿勢推定手段と、同一光線の少なくとも複数の前記反射位置を三次元空間上の座標に変換し、複数の前記座標を直線に近似することで前記光線の方程式を同定する投影光線同定手段と、を備えることを特徴とする。【選択図】図８
2016100698.tif 000002
【特許請求の範囲】
【請求項１】
投影画像を投影する投影装置を校正するための校正装置であって、
前記投影装置と平面物体の相対的な位置又は姿勢の少なくとも一方が変えられるごとに撮像手段が前記平面物体に投影された前記投影画像を撮像して生成した撮像画像を取得する撮像画像取得手段と、
予め求められている前記撮像画像の画素と前記平面物体上の位置の対応関係を利用して、前記投影画像を形成する複数の光線が位置又は姿勢が異なる前記平面物体で反射された反射位置を求める反射位置推定手段と、
位置又は姿勢が異なる前記平面物体で同一光線が反射された複数の前記反射位置の直線からの乖離度が最小になるように、前記平面物体の複数の位置・姿勢を推定する平面物体位置姿勢推定手段と、
同一光線を反射する前記平面物体の位置及び姿勢を用いて、同一光線が反射された複数の前記反射位置を三次元空間上の座標に変換し、複数の前記座標を直線に近似することで前記光線の方程式を同定する投影光線同定手段と、を備える校正装置。
【請求項２】
前記平面物体位置姿勢推定手段は、同一光線が反射された複数の前記反射位置を前記平面物体の位置と姿勢を用いて前記座標に変換する変換式を用いて、同一光線が反射された複数の前記反射位置を複数の前記座標に変換し、
複数の前記座標の近似直線を求め、前記近似直線に対する複数の前記座標の二乗残差の和を乖離度とし、前記乖離度が最小となる時に前記変換式に用いられた位置と姿勢を前記平面物体の位置・姿勢として推定する請求項１に記載の校正装置。
【請求項３】
前記平面物体のi番目の位置及び姿勢における前記投影装置に対する前記平面物体の回転行列をＲｉ、並進ベクトルをti（ｉは異なる位置及び姿勢を表す）として、前記変換式として式（１７）により複数の前記反射位置であるｐiを三次元空間上の複数の前記座標であるｑiに変換する場合、
前記反射位置推定手段は、同一光線が反射された複数の前記座標を表すｑiの共分散行列を求め、前記共分散行列の最大固有値を除く固有値の和を評価関数として、前記評価関数が最小となる時の回転行列Ｒｉ及び並進ベクトルtiをそれぞれ前記平面物体の位置・姿勢として推定する請求項２に記載の校正装置。
【数１６】
2016100698.tif 000018
【請求項４】
前記撮像手段と前記平面物体の相対位置を固定したまま、前記投影装置の位置又は姿勢の少なくとも一方が変えられるごとに、前記投影画像が投影されている平面物体を前記撮像手段が撮像する場合、
前記反射位置推定手段は、前記対応関係として予め求められている射影変換行列により、位置又は姿勢が異なる前記平面物体で前記光線が反射された前記反射位置を求める請求項１〜３いずれか１項に記載の校正装置。
【請求項５】
前記撮像手段と前記投影装置の相対位置を固定したまま、前記平面物体の位置又は姿勢の少なくとも一方が変えられるごとに、前記投影画像が投影されている平面物体を前記撮像手段が撮像する場合、
前記反射位置推定手段は、前記平面物体の位置又は姿勢が変えられるごとに前記対応関係として射影変換行列を算出し、算出した射影変換行列により、位置又は姿勢が異なる前記平面物体で前記光線が反射された反射位置を求める請求項１〜３いずれか１項に記載の校正装置。
【請求項６】
前記平面物体位置姿勢推定手段は、事前に得られている前記平面物体の事前位置と算出対象である位置との差、及び、事前に得られている前記平面物体の事前姿勢と算出対象である姿勢との差を前記評価関数に加え、前記評価関数が最小となる時の回転行列Ｒｉ及び並進ベクトルtiをそれぞれ前記平面物体の位置・姿勢として推定する請求項３に記載の校正装置。
【請求項７】
前記投影光線同定手段が同定した前記光線の方程式に対し、平滑化処理を加える投影光線平滑化手段をさらに備えることを特徴とする請求項１〜６いずれか１項に記載の校正装置。
【請求項８】
投影画像を投影する投影装置を校正するための校正装置によって行われる校正方法であって、
前記投影装置と平面物体の相対的な位置又は姿勢の少なくとも一方が変えられるごとに撮像手段が前記平面物体に投影された前記投影画像を撮像して生成した撮像画像を取得する撮像画像取得ステップと、
予め求められている前記撮像画像の画素と前記平面物体上の位置の対応関係を利用して、前記投影画像を形成する複数の光線が位置又は姿勢が異なる前記平面物体で反射された反射位置を求める反射位置推定ステップと、
位置又は姿勢が異なる前記平面物体で同一光線が反射された複数の前記反射位置の直線からの乖離度が最小になるように、前記平面物体の複数の位置・姿勢を推定する平面物体位置姿勢推定ステップと、
複数の前記平面物体の位置及び姿勢を用いて、同一光線が反射された複数の前記反射位置を三次元空間上の座標に変換し、複数の前記座標を直線に近似することで前記光線の方程式を同定する投影光線同定ステップと、を備える校正方法。
【請求項９】
投影画像を投影する投影装置を校正するための校正装置に、
前記投影装置と平面物体の相対的な位置又は姿勢の少なくとも一方が変えられるごとに撮像手段が前記平面物体に投影された前記投影画像を撮像して生成した撮像画像を取得する撮像画像取得ステップと、
予め求められている前記撮像画像の画素と前記平面物体上の位置の対応関係を利用して、前記投影画像を形成する複数の光線が位置又は姿勢が異なる前記平面物体で反射された反射位置を求める反射位置推定ステップと、
位置又は姿勢が異なる前記平面物体で同一光線が反射された複数の前記反射位置の直線からの乖離度が最小になるように、前記平面物体の複数の位置・姿勢を推定する平面物体位置姿勢推定ステップと、
複数の前記平面物体の位置及び姿勢を用いて、同一光線が反射された複数の前記反射位置を三次元空間上の座標に変換し、複数の前記座標を直線に近似することで前記光線の方程式を同定する投影光線同定ステップと、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、校正装置、校正方法及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタ等の投影装置が投影する画像は投影面の位置や形状によって歪むため、歪みを補正する技術が知られている。そのような技術として、投影された画像をカメラで撮像し、投影装置が投影した画像（以下、プロジェクタ画像という）と撮像された画像（以下、カメラ画像という）の二次元的な対応関係を求め、歪みがない画像が投影されるように投影される画像を投影装置や情報処理装置などが補正する技術がある。これに対し、投影対象の三次元計測を行い、得られた三次元情報を用いてプロジェクタ画像を補正する技術がある。後者は、投影された画像を見るユーザが位置の制約を受けにくいという利点がある。
【０００３】
三次元計測を行うためには、プロジェクタ画像とカメラ画像の対応を求める処理が行われることが多く、投影装置が投影対象に投影したパターン光を、カメラが撮像する手法が用いられる。パターン光には特徴点が配置されている。情報処理装置などがプロジェクタ画像とカメラ画像で互いに対応する特徴点を特定すれば、三角測量による投影対象の三次元計測を行うことが可能になる。
【０００４】
ここで、三角測量による三次元計測を行うためには、投影装置とカメラの光学系の内部パラメータ（焦点距離、光軸位置、レンズ歪みなど）及び投影装置とカメラの外部パラメータ（相対位置・姿勢）が求められていることが必要になる。内部パラメータ及び外部パラメータを求めることはキャリブレーション（校正）と称され、従来から種々のキャリブレーションの方法が考案されている。
【０００５】
しかしながら、従来のキャリブレーション方法は一部のプロジェクタには適用しにくい場合がある。プロジェクタの光学系には、プロジェクタの投影光が特定の一点を通過するピンホールモデルと一点を通過しない非ピンホールモデルがある。従来の多くのキャリブレーション方法はピンホールモデルを前提にしているため、ピンホールモデルから乖離した非ピンホールモデルの光学系を有するプロジェクタに対しピンホールモデルの校正技術を適用することは適切でないとされている。
【０００６】
そこで、非ピンホールモデルの光学系を有するプロジェクタに適用可能なキャリブレーション方法が考案されている（例えば、特許文献１参照。）。特許文献１には、カメラ画像に基づいて投影対象の位置及び姿勢を推定し、プロジェクタが投影する光線の投影対象における反射位置を推定し、この反射位置に基づいて光線の方向を同定する校正装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された校正装置では、投影対象の位置又は姿勢の推定に内部パラメータが必要であるという問題があった。
【０００８】
本発明は、上記課題に鑑み、非ピンホールモデルの光学系の校正を適切に行うことができる校正装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、投影画像を投影する投影装置を校正するための校正装置であって、前記投影装置と平面物体の相対的な位置又は姿勢の少なくとも一方が変えられるごとに撮像手段が前記平面物体に投影された前記投影画像を撮像して生成した撮像画像を取得する撮像画像取得手段と、予め求められている前記撮像画像の画素と前記平面物体上の位置の対応関係を利用して、前記投影画像を形成する複数の光線が位置又は姿勢が異なる前記平面物体で反射された反射位置を求める反射位置推定手段と、位置又は姿勢が異なる前記平面物体で同一光線が反射された複数の前記反射位置の直線からの乖離度が最小になるように、前記平面物体の複数の位置・姿勢を推定する平面物体位置姿勢推定手段と、同一光線を反射する前記平面物体の位置及び姿勢を用いて、同一光線が反射された複数の前記反射位置を三次元空間上の座標に変換し、複数の前記座標を直線に近似することで前記光線の方程式を同定する投影光線同定手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
非ピンホールモデルの光学系の校正を適切に行うことができる校正装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】投影対象の三次元計測を説明するための図の一例である。
【図２】非ピンホールモデルの光学系について説明する図の一例である。
【図３】プロジェクタ・カメラシステムの側面図の一例である。
【図４】プロジェクタ・カメラシステムの側面図の一例である。
【図５】投影部の概略構成図の一例である。
【図６】校正装置のハードウェア構成図の一例である。
【図７】校正装置の機能ブロック図の一例である。
【図８】校正装置の校正方法を示すフローチャート図の一例である。
【図９】パターン光として投影されるパターン画像の一例である。
【図１０】平面物体に投影されたパターン光と撮像画像とを示す図の一例である。
【図１１】平面物体の位置・姿勢と反射位置qijを示す図の一例である。
【図１２】パターン画像の一例を示す図である。
【図１３】校正装置の機能ブロック図の一例である（実施例４）。
【図１４】校正装置の校正方法を示すフローチャート図の一例である（実施例４）。
【図１５】線形フィルタの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【００１３】
＜投影対象の三次元計測について＞
まず、説明の便宜上、ピンホールモデルのプロジェクタにおける三次元計測について説明する。なお、詳細は非特許文献１を参照されたい。
【００１４】
図１は、投影対象の三次元計測を説明するための図の一例である。撮像部２０２が三次元空間中の点Ｍ（Ｘ，Ｙ，Ｚ）を撮像する際、その点が写る画像上の座標（ｕ，ｖ）と点Ｍ（Ｘ，Ｙ，Ｚ）の関係は以下のように記述される。
【００１５】
【数１】
2016100698.tif 000003
Ｐは透視投影行列と呼ばれる３×４行列である。透視投影行列は撮像部２０２の内部パラメータＡと外部パラメータ（回転行列Ｒと並進ベクトルｔ）により以下のように表される。
【００１６】
【数２】
2016100698.tif 000004
この関係はプロジェクタ１００の光学系についても成り立つ。
【００１７】
したがって、プロジェクタ１００と撮像部２０２の透視投影行列をそれぞれＰp、Ｐcとおき、三次元空間上の点をＭ（Ｘ，Ｙ，Ｚ）とし、Ｍに対応するプロジェクタ画像（プロジェクタが投影した画像）の点及びカメラ画像（撮像された画像）の点をそれぞれｍp（xp、yp）、ｍc（xc,yc）とすると、式（１）から下式が成り立つ。なお、行列計算の都合のため、同時座標表現を用いている。
【００１８】
【数３】
2016100698.tif 000005
したがって、図１に示すように、プロジェクタ画像とカメラ画像の対応（点Ｍに到達するｍpとｍc）が求められれば、式（３）（４）を連立させてＸ、Ｙ、Ｚを求めることができる。プロジェクタ画像とカメラ画像の対応は、プロジェクタ１００からパターン光を投影しプロジェクタ画像とカメラ画像の特徴点を対応づけることで得られる。
【００１９】
このようにピンホールモデルの光学系が採用されたプロジェクタ１００及び撮像部２０２では、内部パラメータと外部パラメータとが求められることで、三次元計測が可能になる。また、ピンホールモデルの光学系では内部パラメータと外部パラメータと求め方が従来から知られている。
【００２０】
これに対し、次述する非ピンホールモデルでは、内部パラメータと外部パラメータの好ましい求め方が一般に知られているとは言えない。そこで、本実施形態では、次述する非ピンホールモデルにおいて、内部パラメータと外部パラメータとを求めるのでなくプロジェクタ１００から平面物体に投影される光線の方程式を求めることでキャリブレーション（校正）を行う。プロジェクタ１００から照射される複数の光線の方程式が求められれば式（３）のＰpが求められることになるため、カメラ側の式（４）と連立させることでＸ，Ｙ，Ｚを求めることができる。したがって、光線の方程式を求めることで三次元計測が可能になる。
【００２１】
＜非ピンホールモデルの光学系＞
図２を用いて非ピンホールモデルの光学系について説明する。図２（ａ）はピンホールモデルの光学系（以下、ピンホール光学系という）を示し、図２（ｂ）はピンホールモデルから乖離した光学系（以下、非ピンホール光学系という）を示す。図２（ａ）に示すように、ピンホール光学系では対象物３０３と画像平面３０２を通過する全ての光線が１点（視点３０１）で交差する。これに対し、図２（ｂ）に示すピンホール光学系では対象物３０３と画像平面３０２を通過する光線が１点（視点）で交差しない。図２（ｂ）のような光学系を非ピンホール光学系と称する。
【００２２】
なお、本実施形態の校正方法は、非ピンホール光学系のプロジェクタ１００および撮像部２０２に有効であるが、ピンホール光学系のプロジェクタ１００および撮像部２０２に対しても適用できる。
【００２３】
＜プロジェクタ・カメラシステムの構成例＞
図３は、プロジェクタ・カメラシステム５００の側面図の一例である。以下では、図３に示されるＸ軸、Ｙ軸、Ｚ軸の直交座標系を用いて説明する。すなわち、平面物体（例えばスクリーン）１１の上下方向をＹ軸、平面物体１１の面に垂直な方向をＺ軸、紙面に垂直な方向をＸ軸とする。プロジェクタ１００は、一例として、平面物体１１に対し−Ｙ側（下方）かつ手前側（−Ｚ側）である平面物体１１に対し斜め下方の平面物体１１に近接した場所に配置されている。このような近接した配置に可能なプロジェクタ１００を短焦点プロジェクタという場合がある。
【００２４】
プロジェクタ１００にはケーブル２４を介して校正装置２００が接続されており、校正装置２００にはケーブル２３を介して撮像部２０２が接続されている。撮像部２０２は、例えばＣＣＤ,ＣＭＯＳなどの撮像素子を有する撮像装置であり、例えばデジタルスチルカメラ、デジタルビデオカメラが用いられる。あるいは、スマートフォン、タブレット端末、ＰＣ（Personal Computer）など他に利用目的がある装置の撮像機能などが用いられてもよい。
【００２５】
図３の構成は一例に過ぎず、図４に示すように、校正装置２００と撮像部２０２がプロジェクタ内に配置されていてもよい。図４はプロジェクタ・カメラシステム５００の側面図の別の一例を示す。図４のプロジェクタ１００では筐体１２の内部に校正装置２００と撮像部２０２が配置されている。また、図４のような構成では、校正装置２００の機能が制御装置２１に含まれるような実装として、制御装置２１がプロジェクタ１００を制御しながら校正装置２００の機能を兼ねてもよい。
【００２６】
図３に戻って説明する。プロジェクタ１００は、一例として、筐体１２、投影部１６、及び、例えばＣＰＵ等を含む制御装置２１を備えている。筐体１２は、一例として、略直方体形状の箱形部材を有し、上面に光を透過させる光透過窓２２が設けられている。
【００２７】
投影部１６は、一例として、筐体１２内に収容されている。投影部１６は、投影用の画像情報に応じて変調した複数の光線を平面物体１１の表面（スクリーン面）に投影する。なお、投影用の画像情報は、例えばケーブルで接続されたＰＣからケーブルやネットワーク（ＬＡＮやＷＡＮなど）を介して送信されたり、外部記憶媒体のインタフェースに装着された外部記憶媒体から読み出される。
【００２８】
＜＜投影部の構成＞＞
図５は、投影部１６の概略構成図の一例を示す。投影部１６は、光源８０及び投影光学系１７を有している。 光源は一例として、例えばＨＩＤ（High Intensity Discharge lamp）と呼ばれる高輝度放電ランプ（例えば高圧水銀ランプ、高圧ナトリウムランプ、メタルハライドランプなど）やＬＥＤが照射する白色光である。
【００２９】
投影光学系１７は、一例として、カラーホイール８２、ライトトンネル８４、２つのコンデンサレンズ８６、８８、２つのミラー９０、９２、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）９４、投射レンズ９６、ミラー９７、光広角化及び反射手段としての自由曲面ミラー９８を有している。
【００３０】
光源８０から射出された白色光は、カラーホイール８２に入射する。 カラーホイール８２に入射した光は、３原色の各色光に時系列的に分割されてカラーホイール８２から順次取り出される。カラーホイール８２から取り出された各色光は、ライトトンネル８４に入射し、その輝度分布が均一化されて、コンデンサレンズ８６、８８に順次入射する。コンデンサレンズ８６、８８に入射した各色光は、結像面が調整された後、ミラー９０、９２で順次反射されて、ＤＭＤ９４に入射する。ＤＭＤ９４に入射した各色光は、画像情報に応じてＤＭＤ９４で変調されつつ反射されて、投射レンズ９６に順次入射する。投射レンズ９６に入射した各色光は、広角化された後、ミラー９７で折り返すように反射されて、自由曲面ミラー９８に順次入射する。自由曲面ミラー９８に入射した各色光は、自由曲面ミラー９８で広角化されつつ反射され、光透過窓２２を介して筐体１２の＋Ｙ側かつ＋Ｚ側の斜め上方に（平面物体１１に向けて）順次投射される。
【００３１】
この結果、平面物体１１にカラー画像（画像情報によってはモノクロ画像）が投影されて表示される。 なお、図５では、光源８０からミラー９７に至る光の経路が、矢印９９により示されている。
【００３２】
投影光学系１７は、自由曲面ミラー９８上の互いに異なる複数の点から複数の光線を射出する。すなわち、投影光学系１７は、複数の光線を特定の一点から射出するピンホール光学系ではない非ピンホール光学系である。なお、投影光学系１７から射出されるパターン光を形成する各光線は、一例として１画素に対応している。この画素は、例えばプロジェクタ１００が投影する画像の画素である。あるいは、ＤＭＤ９４の１つのマイクロミラーを画素として扱ってもよい。
【００３３】
ここで、投影部１６は、投影される複数の光線の焦点位置が投影部１６に近くなるように設計されている。すなわち短焦点になるように構成されている。よって、プロジェクタ１００は短い投影距離で、平面物体１１に大きなカラー（又はモノクロ）画像を表示することができる。ここで、「投影部１６が短焦点に構成される」とは、投影部１６の光学系が、屈折力を有するミラー（例えば自由曲面ミラー９８）を含むことを意味する。このミラーが有する屈折力は正でも負でも良い（すなわち、ミラーは凹面鏡でも凸面鏡でも良い）。投影光学系１７が屈折力を有するミラーを含むことで、光透過窓２２から平面物体１１までの距離が例えば５０センチ以内であっても８０インチ程度の大きな投影像を表示することが可能である。
【００３４】
このような短焦点型のプロジェクタ１００は、平面物体１１に近接する位置から光を投影できるため、プロジェクタ１００と平面物体１１との間に人や物が介在することが極力防止され、平面物体１１への光の投影が阻害されることを極力防止できる。
【００３５】
なお、単焦点型のプロジェクタ１００としてＤＭＤ９４を用いるのでなく、液晶方式（ＬＣＤ方式）などを用いてもよい。また、プロジェクタ１００は投影装置と呼ばれていてもよい。
【００３６】
＜＜校正装置のハードウェア構成＞＞
図６は、校正装置２００のハードウェア構成図の一例である。校正装置２００は例えば情報処理装置やコンピュータとよばれるものであり、アドレスバスやデータバス等のバスライン１１０を介して電気的に接続されたＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＳＳＤ（Solid  State  Drive）１０４、入出力部１０５、外部メモリ装着部１０６、操作受付部１０７、及び、ネットワークＩ／Ｆ１０８を有している。
【００３７】
ＣＰＵ１０１はＳＳＤ１０４に記憶された校正用プログラム１０９を実行して校正装置２００の全体的な動作を制御する。ＲＡＭ１０２は、ＣＰＵ１０１が校正用プログラム１０９を実行する際の作業メモリである。ＲＯＭ１０３にはＩＰＬ（Initial  Program  Loader）等、主に校正装置２００の起動時にＣＰＵ１０１が実行するプログラムが記憶されている。ＳＳＤ１０４は、校正用プログラム１０９や各種データを記憶するための不揮発メモリである。ＳＳＤ１０４でなくハードディスクドライブを用いてもよい。入出力部１０５には、撮像部２０２やプロジェクタ１００が接続され、これらに対しデータや制御信号が送信される。
【００３８】
外部メモリ装着部１０６は、ＣＰＵ１０１からの指示により着脱可能な外部メモリ１２０に対する書き込み又は外部メモリ１２０からの読み出しを行う。外部メモリ１２０は、例えばＵＳＢメモリ、ＳＤカード等のフラッシュメモリ、ＣＤ−ＲＯＭ等の光ディスクである。操作受付部１０７は校正装置２００に対する操作を受け付けるハードキーやソフトキーなどである。液晶などのディスプレイを有していたり、ディスプレイがタッチパネルを備えていたりしてもよい。ネットワークＩ／Ｆ１０８は、イーサネット（登録商標）カードなどネットワークに接続するためのインタフェースである。
【実施例１】
【００３９】
以下、図７〜１０を用いて本実施例の校正方法について説明する。なお、以下の説明で式の導出における動作の主体は校正者、出願人又は発明者である。
【００４０】
図７は、本実施例における校正装置２００の機能ブロック図の一例を、図８は校正装置２００の校正方法を示すフローチャート図の一例である。本実施例では、図３のプロジェクタ・カメラシステム５００を前提にして、固定された平面物体（投影対象）１１及び固定された撮像部２０２に対して校正者等がプロジェクタ１００を動かし校正を行う校正方法が説明される。
【００４１】
図７に示すように、校正装置２００は、パターン画像送信部３１、記憶部３２、撮像画像取得部３３、反射位置推定部３４、平面物体位置・姿勢推定部３５、及び、投影光線同定部３６を有している。パターン画像送信部３１、撮像画像取得部３３、反射位置推定部３４、平面物体位置・姿勢推定部３５、及び、投影光線同定部３６は、図６に示されている各構成要素のいずれかが、ＲＡＭ１０２上に展開された校正用プログラム１０９に従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。
【００４２】
また、記憶部３２は、図６に示されているＲＡＭ１０２、ＳＳＤ１０４又は外部メモリ１２０によって構築される揮発性又は不揮発性の記憶装置である。この記憶部３２には、投影部１６（すなわちプロジェクタ１００）の校正の際に平面物体１１にパターン光として投影されるパターン画像が保存されている。
【００４３】
図９はパターン光として投影されるパターン画像の一例を示す。パターン光としては、例えば、図９（ａ）のような正方格子が並んだチェッカーパターンが用いられる。また、図９（ｂ）に示すように、正方格子状に点が並んだパターン画像が用いられてもよい。図９（ａ）のパターン画像では格子のコーナーが特徴点となり、図９（ｂ）のパターン画像では点の中心が特徴点となる。
【００４４】
また、パターン画像としては図９（ａ）（ｂ）に示したものに限定されず、特徴点の配置が既知のパターン画像であれば代替可能である。
【００４５】
図７に戻って説明する。図７のパターン画像送信部３１は記憶部３２に記憶されたパターン画像を読み出し投影部１６に送信する。これにより、投影部１６は平面物体１１にパターン光を投影できる。撮像部２０２は、投影部１６が平面物体１１に投影したからパターン光を撮像可能な範囲に固定されている。
【００４６】
撮像画像取得部３３は、撮像部２０２が撮像したパターン光の画像（以下、撮像画像という）を取得して、記憶部３２に記憶させる。なお、撮像部２０２は、プロジェクタ１００が異なるいくつかの位置・姿勢に変えられた状態で平面物体１１に投影したパターン光を撮像する。すなわち、複数個の撮像画像が生成される。位置・姿勢が変えられるとは、位置又は姿勢の少なくとも一方が変えられればよい。
【００４７】
反射位置推定部３４は、プロジェクタ１００がいくつかの位置・姿勢に変えられた状態で撮像された撮像画像を用いて、平面物体１１に投影されたパターン光の光線が該平面物体上で反射する反射位置ｐを推定する。
【００４８】
平面物体位置・姿勢推定部３５は、反射位置ｐを用いてプロジェクタ１００に対する平面物体１１の相対的な位置（以下、相対位置という）・相対的な姿勢（以下、相対姿勢という）を推定する。すなわち、いくつかの位置・姿勢におけるプロジェクタ１００に対する平面物体１１の回転行列Ｒi、並進ベクトルｔiを求める。
【００４９】
投影光線同定部３６は、回転行列Ｒi、並進ベクトルｔi、反射位置ｐ、及び、これらから求められるプロジェクタ座標系における反射位置qを用いてプロジェクタ１００の各位置・姿勢において投影される光線を同定する。同定とは光線の方程式を推定することをいう。
【００５０】
次に、図８を用いて校正装置２００による校正の手順を説明する、図８は、本実施例の校正装置２００がプロジェクタ１００を校正する手順を示すフローチャート図の一例である。以下、この処理フローに従って説明する。
【００５１】
＜＜Ｓ１０１＞＞
投影部１６は、記憶部３２より読み出されたパターン画像を取得して平面物体１１にパターン光を投影する。
【００５２】
＜＜Ｓ１０２＞＞
次に、撮像部２０２は平面物体１１に投影されたパターン光を撮像する。撮像は校正者が行ってもよいし、撮像部２０２がパターン光を検出して自動的に行ってもよい。撮像画像取得部３３は撮像画像を取得して記憶部３２に記憶させる。
【００５３】
＜＜Ｓ１０３＞＞
撮像画像取得部３３は、撮像部２０２が特定回数（Ｍ回とする）の撮像を繰り返したか否かを判定する。すなわち、Ｍ個の撮像画像を取得したか否かを判定する。撮像されるＭ回のパターン光は同じだが、校正者は撮像の度にプロジェクタ１００の位置と姿勢を変更する。プロジェクタ１００の位置・姿勢の変更は人手で行ってもよいし、駆動装置を用いて行ってもよい。なお、プロジェクタ１００の位置・姿勢が変更されても、平面物体１１と撮像部２０２の相対位置及び相対姿勢は固定されたままである。
【００５４】
＜＜Ｓ１０４＞＞
撮像がＭ回繰り返された場合、処理はステップＳ１０４に進む。反射位置推定部３４は位置・姿勢が異なるプロジェクタ１００の各光線の平面物体上での反射位置ｐを推定する。反射位置ｐは二次元の座標である。このため、まず、反射位置推定部３４は撮像画像における光線の反射位置の座標を求める。図９（ａ）のようなパターン画像では（チェッカーパターン）、各格子のコーナーを特徴点とし、特徴点の座標を求める。特徴点の座標の検出には、たとえばハリスのコーナー検出法を用いることができる。式（５）はハリスのコーナー検出方法を説明している。Ｉは画素の位置x,yにおける画素値である。また、Ｒはコーナーの検出関数であり、閾値以上の検出関数Ｒが得られる画素位置がコーナーである。なお、detは行列式をk(trＭ)は行列Ｍのトレースをそれぞれ意味する。
【００５５】
【数４】
2016100698.tif 000006
チェッカーパターンを用いる場合はパターン画像を構成する光のすべての光線の反射位置は求まらず、コーナーとして検出された部分（少なくともコーナーの点を含む）の光線が離散的に求められる。
【００５６】
次に、図１０に示すように、撮像画像における光線の反射位置を平面物体上の座標に変換する。図１０は平面物体１１に投影されたパターン光と撮像画像１９とを示す図の一例である。平面物体１１と撮像部２０２の相対位置・相対姿勢は固定されているため、撮像画像１９における座標から平面物体上の座標へ変換する射影変換行列Ｈにより、撮像画像１９における特徴点を平面物体上の特徴点の座標に変換できる。撮像画像上の特徴点(u, v)から平面物体上の反射位置(x, y)への変換は式（６）で行うことができる。式（６）のうち式（６）−１に示す同値記号は左辺と右辺が０を除くスカラー倍で等しいことを意味する。
【００５７】
平面物体上の特徴点の座標は左上の特徴点を原点にするなどして校正者が測定しておけばよい。例えば、平面物体１１に矩形形状の平面部材を用いる場合、平面部材の４頂点を特徴点として用いることができる。この場合、撮像画像１９の４つの特徴点は撮像された平面部材の４頂点でよい。あるいは、校正者が図９（ａ）のチェッカーパターン、図９（ｂ）の円パターンを平面物体上に投影しておき、平面物体上の特徴点の位置を測定してもよい。
【００５８】
【数５】
2016100698.tif 000007
射影変換行列Ｈは3×3の行列であるがスケールの不定性があるので自由度は８であり、平面物体上の既知の座標の４点（各点は二次元座標なので4×2=8個の制約）を用いて射影変換行列Ｈの要素を同定することができる。まず、射影変換は以下のように記述される。
【００５９】
【数６】
2016100698.tif 000008
ｈ1〜ｈ8は射影変換パラメータである。また、Ｈは以下のように表すことができる。
【００６０】
【数７】
2016100698.tif 000009
また、撮像画像１９と平面物体上の画像の１つの対応点から以下の拘束が得られる。
【００６１】
【数８】
2016100698.tif 000010
したがって、４つの対応点が得られれば射影変換行列Ｈの８つの要素を決定できる。撮像部２０２と平面物体１１は固定されているので射影変換行列Ｈは１つ求めればよい。
【００６２】
以下では、プロジェクタ１００のＭ個の位置・姿勢のうちi番目の位置・姿勢におけるj番目の光線の平面物体上での反射位置をpijと書く。平面物体上での座標系は、平面物体上に原点とx, y軸を取り、平面の法線方向にz軸を取る。すなわち、反射位置pijのz座標は常に0であり、xy座標は式（６)で求められる。
【００６３】
＜＜Ｓ１０５＞
次に、平面物体位置・姿勢推定部３５はプロジェクタ１００に対する平面物体１１の相対位置・相対姿勢を推定する。校正作業の中で実際に位置・姿勢が動かされるのはプロジェクタ１００であるが、プロジェクタ１００の座標系から見た平面物体１１の相対位置・相対姿勢を推定する。i番目の位置・姿勢のプロジェクタ１００に対する平面物体１１の回転行列をＲi、並進ベクトルをｔiとすると、プロジェクタ座標系におけるi番目の位置・姿勢におけるj番目の光線の平面物体上での反射位置qijは式（１０）で表せる。式（１０）は変換式の一例である。
【００６４】
【数９】
2016100698.tif 000011
図１１は、平面物体１１の位置・姿勢と反射位置qijを示す図の一例である。図１１では３つの平面物体１１の位置・姿勢に対し、ｊ番目の光線３０５が反射する３つの反射点ｑ1j、ｑ2j、ｑ3jが示されている。
【００６５】
ここで、屈折率が同じ媒質であれば光は直進するので、j番目の光線３０５の反射位置群{qij | i=1, 2, …, M}は三次元空間上で直線上に並ぶはずである。すなわち同一光線が異なる位置・姿勢の平面物体１１で反射される。そこで、各光線の直線からの乖離度が最小化するようにＲi、ｔiを求める。反射位置群の直線からの乖離度をＤで表現すると、最適化対象の評価関数は次のようになる。
【００６６】
【数１０】
2016100698.tif 000012
直線を求めるため、平面物体位置・姿勢推定部３５は点群（図１１ではｑ1j、ｑ2j、ｑ3j）を最小二乗法で直線に近似（フィッティング）する。すなわち近似直線を求める。点群（ｑ1j、ｑ2j、ｑ3j）の直線に対する距離の二乗和（直線に対する二乗残差）が乖離度Ｄとして用いられる。考え方としては、同じｉについてＲi、ｔiをいくつかに変えて乖離度Ｄが最小になる時のＲi、ｔiが、平面物体の位置・姿勢を表す。
【００６７】
具体的な計算としては、平面物体位置・姿勢推定部３５は式（１０）を用いて点群の三次元位置に対して共分散行列を求める。共分散行列の固有値の合計は元の行列の分散なので、固有値の合計が少ないほど点群の直線からの乖離が少ないと推定される。ただし、共分散行列の最大固有値は三次元点群を直線近似した場合の直線の方向の分散に相当するので、上記合計からは共分散行列の最大固有値を除く必要がある。したがって、式（１０）を用いて算出される点群の三次元位置の共分散行列の最大固有値を除く固有値の和を乖離度Ｄとすることができる。
【００６８】
乖離度ＤにはＲi又はｔiの任意の要素（行列の要素）を変数として、乖離度Ｄに例えば、最急降下法、ニュートン法、又は、共役勾配法などの非線形計画法を用いることで、評価関数（乖離度Ｄ）が最小になる時のＲi、ｔiが求められる。例えば最急降下法では、乖離度ＤのＲi又はｔiの要素の偏微分値に所定値をかけた値で乖離度Ｄを更新することを繰り返す。乖離度Ｄの変化量が十分に小さくなった時のＲｉ、ｔｉが平面物体の位置・姿勢を表す。
【００６９】
＜＜Ｓ１０６＞＞
次に、投影光線同定部３６はプロジェクタ１００の各光線の方程式を同定する。具体的には、Ri、tiが求められたので式（１０）を計算してqijを求める。そして、j番目（ｊを固定して）の光線の反射位置群{qij | i=1, 2, …, M}を最小二乗法で近似することで反射位置群{qij | i=1, 2, …, M}を通過する光線の直線（方程式）を同定する。
【００７０】
以上のように、本実施例では、プロジェクタ１００の光線群に対して一点に集光するピンホール光学系の仮定は使わず、光の直進性のみを評価基準として光線の方程式を求めている。したがって、本実施形態の校正装置・方法は非ピンホール光学系に一般的に適用することが可能である。
【００７１】
なお、図９（ａ）（ｂ）のようなパターン画像でなく、図１２のような正弦波の形状で明暗が変化するパターン画像を用いてもよい。図１２のパターン画像を用いる場合、図８のステップＳ１０４では、プロジェクタ１００が同じ位置・姿勢のまま、校正者等がパターン光を左右にずらして、撮像部２０２が複数回の撮像を行う。濃淡は左右方向に正弦波の形状で分布するので、左右方向に位相がずれた正弦波が得られる。正弦波が得られれば０〜３５９度の間の連続した位相の全てを特定できる。
【００７２】
上下方向にも同様に、図１２のパターン画像を９０度回転させたパターン光を投影する。校正者等が上下にずらして、撮像部２０２が複数回の撮像を行うことで、上下方向にも位相を特定できる。これにより、撮像画像の全ての画素の位置で平面物体１１の位置との対応付けができ、全ての画素の位置を本実施形態における特徴点の位置として利用することができる（このような特徴点の抽出を位相シフト法という）。
【実施例２】
【００７３】
本実施例では、固定されたプロジェクタ１００及び固定された撮像部２０２に対して校正者等が平面物体１１を動かして校正を行う校正方法について説明する。このような校正は、図４のプロジェクタ・カメラシステム５００に示すように、プロジェクタ１００に対し撮像部２０２が固定して配置されている場合に好適に適用できる。
【００７４】
本明細書において、同一の符号を付した構成要素については、同様の機能を果たすので、一度説明した構成要素の説明を省略あるいは相違点についてのみ説明する場合がある。本実施例の校正装置２００の機能ブロック図は実施例１の図７と同様でよいが、本実施例の反射位置推定部３４は、１つの射影変換行列Ｈだけでなくi番目の平面物体１１の位置・姿勢に対する射影変換行列Ｈiを推定する点で、実施例１と異なる機能を有する。
【００７５】
また、本実施例の校正装置２００による校正方法を示すフローチャート図は、実施例１の図８と同様であるが、ステップＳ１０４の動作が実施例１と異なっている。以下では、ステップＳ１０４の処理について説明する。
【００７６】
＜＜Ｓ１０４＞＞
反射位置推定部３４は、校正者や駆動装置が位置・姿勢を変えた平面物体１１に対するプロジェクタ１００の光線の反射位置を推定する。実施例１とは異なり、撮像部２０２と平面物体１１の相対位置・相対姿勢が変化するため、決まった１つの射影変換行列Ｈを使用して平面物体上の反射位置を求めることはできない。
【００７７】
そこで、平面物体上の既知座標の４点以上の特徴点を撮像画像から抽出し、反射位置推定部３４は抽出した撮像画像上の抽出位置と平面物体上の座標の対応関係から、i番目の平面物体１１の位置・姿勢に対する射影変換行列Ｈiを推定する。すなわち、i番目の平面物体１１の位置・姿勢ごとに射影変換行列Ｈiを推定する。実施例１と同様に、平面物体１１に矩形形状の平面部材を用いる場合、平面部材の４頂点を特徴点として用いることができる。この場合、撮像画像の４つの特徴点は撮像された平面部材の４頂点でよい。あるいは、校正者が図９（ａ）のチェッカーパターン、図９（ｂ）の円パターンを平面物体１１に投影しておき、校正装置２００が平面部材の特徴点に対応する撮像画像の特徴点を抽出してもよい。
【００７８】
このようにして、i番目の平面物体１１の位置・姿勢に対する射影変換行列Ｈiを推定できれば、次式により撮像画像上の特徴点(u, v)から平面物体上の反射位置(x, y)への変換を行うことができる。以降の処理は実施例１と同様である。
【００７９】
【数１１】
2016100698.tif 000013
本実施例によれば、プロジェクタ１００と撮像部２０２を固定して平面物体１１を動かすことでプロジェクタ１００の校正を行うことができるので、プロジェクタ１００と撮像部２０２が一体化されたハードウェア構成のプロジェクタ１００を好適に校正することができる。
【実施例３】
【００８０】
本実施例では、プロジェクタ１００に対する平面物体１１の位置・姿勢の事前値が得られている場合、事前値を活用してプロジェクタ１００を高精度に校正する校正装置２００について説明する。事前値は例えば、例えば校正者がメジャーを用いて平面物体１１の位置・姿勢を測定したり、平面物体１１の位置と姿勢を制御する動作用治具の調整値を利用したりすることで得られる。
【００８１】
本実施例の校正装置２００の機能ブロック図は実施例１の図７と同様でよいが、本実施例の平面物体位置・姿勢推定部３５は位置・姿勢の事前値を用いて、プロジェクタ１００のi番目の位置・姿勢を算出する。
【００８２】
また、本実施例の校正装置２００の校正方法を示すフローチャート図は実施例１の図８と同様であるが、ステップＳ１０５の動作が実施例１と異なっている。以下では、ステップＳ１０５の処理について説明する。
【００８３】
＜＜Ｓ１０５＞＞
平面物体位置・姿勢推定部３５はプロジェクタ１００に対する平面物体１１の相対位置・相対姿勢を推定する。前述の通り、i番目の位置・姿勢におけるプロジェクタ１００に対する平面物体１１の回転行列の事前値（事前姿勢）をＲ´i、並進ベクトルの事前値（事前位置）をt´iとする。この時、式（１１）の評価関数に対して正則化項Φを加えて、新しい評価関数J´を次のように設定する。
【００８４】
【数１２】
2016100698.tif 000014
正則化項はＲｉ、ｔｉがＲ´ｉ、ｔ´iから離れるほど大きな値を取るように設計する。たとえば、次式のように事前値との差分のノルムを使うことができる。回転行列Ｒｉに対しては例えばフロベニウスノルムが用いられ、並進ベクトルｔｉに対してはＬ２ノルムが用いられる。フロベニウスノルムは行列の要素の二乗和の平方根であり、Ｌ２ノルムはベクトルの要素の二乗和の平方根である。
【００８５】
【数１３】
2016100698.tif 000015
なお、λは正則項の影響を調整するパラメータであり、校正者等は事前値の信頼度に応じて設定を行う。事前値の信頼度が高い場合には値を大きくする。また、αは回転行列と並進ベクトルのスケールを調整するものである。
【００８６】
式（１３）（１４）を用いて評価関数J'を設定し、最急降下法、ニュートン法、共役勾配法などの非線形計画法を用いて評価関数J'を最小化して算出対象であるＲi、ｔiを求める。
【００８７】
式（１４）によれば回転行列の事前値Ｒ´i、並進ベクトルの事前値t´iからの乖離が少ない場合に、式（１３）の評価関数J´が最小値を取ることができる。したがって、回転行列の事前値Ｒ´i、並進ベクトルの事前値t´iを用いることで、これらの値から最も乖離が少ない回転行列Ｒi、並進ベクトルtiを算出できる。
【００８８】
実施例１の評価関数では局所解に陥ることで必ずしも正確な回転行列Ｒi、並進ベクトルtiが得られない場合が生じうるが、本実施例ではより高精度に回転行列Ｒi、並進ベクトルtiを算出できる。
【００８９】
このように本実施例によれば、プロジェクタ１００に対する平面物体１１の相対位置・相対姿勢の推定に事前値を用いることで、推定精度を高めることができる。これにより、最終的なプロジェクタ１００の校正精度を高めることができる。
【実施例４】
【００９０】
本実施例では、複数の光線の推定値に対して平滑化処理を施すことにより、校正精度を高める校正方法について説明する。
【００９１】
図１３は、本実施例における校正装置２００の機能ブロック図の一例である。図７の機能ブロック図に対し投影光線平滑化部３７が追加されている。投影光線平滑化部３７は、投影光線同定部３６が求めた光線を平滑化する。
【００９２】
図１４は校正装置２００の校正方法を示すフローチャート図の一例である。図８のフローチャート図に対し、ステップＳ１０７が追加された形となっている。以下、ステップＳ１０７の処理について説明する。
【００９３】
＜＜Ｓ１０７＞＞
投影光線平滑化部３７は投影光同定部が同定した光線を平滑化する。平滑化方法として、例えばフィルタ処理を利用する。平面物体１１では投影光線を求める際に特定された特徴点が正方格子状に並んでいる。ｆ行ｇ列の特徴点に対応する投影光の方向余弦e(ｆ,ｇ)と、通過位置a(ｆ,ｇ)が得られているものとする。なお、方向余弦は、光線の進行方向を表すベクトル(=方向ベクトル)の各X,Y,Z成分である（プロジェクタ座標系）。また、通過位置a(f, g)としては反射位置ｑを利用でき、式（１０）から求められるプロジェクタ座標系における三次元座標である。
【００９４】
これらに対して、たとえば図１５に示す線形フィルタを適用することで、平滑化効果により誤差を低減することができる。図１５は線形フィルタの一例を示す。
【００９５】
具体的には以下のように線形フィルタが適用される。三次元空間中の光線の軌跡ｍ(s)は媒介変数sを用いて以下のように表すことができる。
【００９６】
【数１４】
2016100698.tif 000016
線形フィルタのフィルタ係数をw(u,v)とすると、次式により方向余弦と通過位置のフィルタ出力値が得られる。なお、w(u,v)は線形フィルタの行数がｕ、列数がｖであることを意味している。
【００９７】
【数１５】
2016100698.tif 000017
なお、方向余弦の出力値はフィルタ処理の後、Ｌ２ノルムが１になるように正規化されることが好ましい。式（１６）で得られる方向余弦と通過位置の出力値を式（１５）に適用することで平滑化された光線の方程式を求めることができる。
【００９８】
また、適用するフィルタは線形フィルタに限らず、たとえばメディアンフィルタ、εフィルタ、又は、バイラテラルフィルタなど非線形のフィルタを適用してもよい。これにより、急峻な変化を保持しつつ平滑化を行うことができる。
【００９９】
本実施例によれば、複数の光線の推定値に対して平滑化処理を施すことにより、方向余弦と通過位置の誤差が低減されるので、光線の方程式の精度を高めることができる。
【０１００】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【０１０１】
１１      平面物体
３１      パターン画像送信部
３２      記憶部
３３      撮像画像取得部
３４      反射位置推定部
３５      平面物体位置・姿勢推定部
３６      投影光線同定部
３７      投影光線平滑化部
１００    プロジェクタ
２００    校正装置
２０２    撮像部
【先行技術文献】
【特許文献】
【０１０２】
【特許文献１】特開2014-131091号公報
【非特許文献】
【０１０３】
【非特許文献１】高橋徹,外３名,"投影画像の幾何補正に関する実験的検討," 計測自動制御学会東北支部 第235回研究集会, 2007年5月18日，No.235-5
【図１】
2016100698.tif 000019
【図２】
2016100698.tif 000020
【図３】
2016100698.tif 000021
【図４】
2016100698.tif 000022
【図５】
2016100698.tif 000023
【図６】
2016100698.tif 000024
【図７】
2016100698.tif 000025
【図８】
2016100698.tif 000026
【図９】
2016100698.tif 000027
【図１０】
2016100698.tif 000028
【図１１】
2016100698.tif 000029
【図１３】
2016100698.tif 000030
【図１４】
2016100698.tif 000031
【図１５】
2016100698.tif 000032
【図１２】
2016100698.tif 000033