(57)【要約】【課題】ピンホール光学系を有する投影手段のみならず、非ピンホール光学系を有する投影手段をも校正できる校正装置を提供する。【解決手段】  校正装置１８は、投影部１６から複数の光線が投影されている、平板部材のパターン形成面を撮像する撮像部１８ｂと、パターン形成面が撮像されて得られた画像に基づいてパターン形成面の位置及び姿勢を推定する位置・姿勢推定部１８ｃと、推定されたパターン形成面の位置及び姿勢に基づいて複数の光線それぞれのパターン形成面上での反射位置を推定する反射位置推定部１８ｄと、推定された複数の光線それぞれの反射位置に基づいて投影部１６とパターン形成面との間における該光線の通過位置及び方向を同定する通過位置・方向同定部１８ｅと、を備えている。【選択図】図３
2014131091.tif 000002
【特許請求の範囲】
【請求項１】
複数の光線を投影する投影手段を校正するための校正装置であって、
前記投影手段から前記複数の光線が投影されている、物体の一面を撮像する撮像部と、
前記一面が撮像されて得られた画像に基づいて、前記一面の位置及び姿勢を推定する位置・姿勢推定部と、
推定された前記一面の位置及び姿勢に基づいて、前記複数の光線それぞれの前記一面上での反射位置を推定する反射位置推定部と、
推定された前記複数の光線それぞれの前記反射位置に基づいて、前記投影手段と前記一面との間における該光線の通過位置及び方向のうち、少なくとも方向を同定する同定部と、を備える校正装置。
【請求項２】
前記物体は、前記投影手段に対する位置及び姿勢の少なくとも一方が少なくとも１回変更され、前記位置及び姿勢の少なくとも一方の変更前後のいずれにおいても前記複数の光線が前記一面に投影され、
前記撮像部は、前記変更前後における前記一面を撮像し、
前記位置・姿勢推定部は、前記変更前後に前記一面が撮像されて得られた画像に基づいて、前記変更前後における前記一面の位置及び姿勢を推定し、
前記反射位置推定部は、推定された前記変更前後における前記一面の位置及び姿勢に基づいて、前記変更前後における前記複数の光それぞれの前記反射位置を推定し、
前記同定部は、推定された前記複数の光線それぞれの前記変更前後における前記反射位置に基づいて、該光線の前記通過位置及び方向のうち、少なくとも方向を同定することを特徴とする請求項１に記載の校正装置。
【請求項３】
前記同定部は、前記複数の光線それぞれの前記変更前後における前記反射位置に対して最小二乗法でフィッティングする直線を求めることで、該光線の前記通過位置及び方向のうち、少なくとも方向を同定することを特徴とする請求項２に記載の校正装置。
【請求項４】
前記複数の光線間には、所定の制約条件があり、
前記同定部は、前記複数の光線それぞれの前記変更前後における前記反射位置からの距離が最小となる直線を求めることで、該光線の前記通過位置及び方向のうち、少なくとも方向を同定することを特徴とする請求項２に記載の校正装置。
【請求項５】
前記同定部は、前記複数の光線それぞれの前記変更前後における前記反射位置からの距離、及び前記複数の光線間の位置及び方向の変化量が最小となる直線を求めることで、該光線の前記通過位置及び方向のうち、少なくとも方向を同定することを特徴とする請求項２に記載の校正装置。
【請求項６】
同定された、前記複数の光線それぞれの前記通過位置及び方向のうち、少なくとも方向にフィルタ処理を施す補正部を更に備えることを特徴とする請求項１〜５のいずれか一項に記載の校正装置。
【請求項７】
前記一面には、所定の基準パターンが形成されていることを特徴とする請求項１〜６のいずれか一項に記載の校正装置。
【請求項８】
前記一面には、所定の投影パターンに応じて変調された前記複数の光線が投影されることを特徴とする請求項１〜７のいずれか一項に記載の校正装置。
【請求項９】
前記複数の光線それぞれは、１画素に対応することを特徴とする請求項８に記載の校正装置。
【請求項１０】
前記一面は、平坦面であることを特徴とする請求項１〜９のいずれか一項に記載の校正装置。
【請求項１１】
画像情報に応じて変調された複数の光線を被投影面に投影するプロジェクタであって、
前記複数の光線を投影する投影手段と、
前記投影手段を校正するための請求項１〜１０のいずれか一項に記載の校正装置と、を備えるプロジェクタ。
【請求項１２】
前記投影手段と前記校正装置の撮像部とを用いた三角測量によって前記被投影面の３次元形状を計測し、計測結果に基づいて、前記被投影面に投影される画像の幾何歪みを補正する幾何歪み補正手段を更に備えることを特徴とする請求項１１に記載のプロジェクタ。
【請求項１３】
対象物の３次元形状を計測する３次元スキャナであって、
複数の光線を投影する投影手段と、
前記投影手段を校正するための請求項１〜１０のいずれか一項に記載の校正装置と、を備え、
前記投影手段と前記校正装置の撮像部とを用いた三角測量によって前記３次元形状を計測する３次元スキャナ。
【請求項１４】
複数の光線を投影する投影手段の校正方法であって、
前記投影手段から複数の光線を物体の一面に投影し、該一面を撮像する工程と、
前記一面が撮像されて得られた画像に基づいて、前記一面の位置及び姿勢を推定する位置・姿勢推定工程と、
推定された前記一面の位置及び姿勢に基づいて、前記複数の光線それぞれの前記一面上での反射位置を推定する反射位置推定工程と、
推定された前記複数の光線それぞれの前記反射位置に基づいて、前記投影手段と前記一面との間における該光線の通過位置及び方向のうち、少なくとも方向を同定する工程と、を含む校正方法。
【請求項１５】
前記撮像する工程の後で、かつ前記位置・姿勢推定工程の前に、
前記物体の前記投影手段に対する位置及び姿勢の少なくとも一方を変更する工程と、前記位置及び姿勢の少なくとも一方が変更された前記物体の一面に前記投影手段から複数の光線を投影し、該一面を撮像する工程と、を更に含み、
前記位置・姿勢推定工程では、前記位置及び姿勢の少なくとも一方の変更前後に前記一面が撮像されて得られた画像に基づいて、前記変更前後における前記一面の位置及び姿勢が推定され、
前記反射位置推定工程では、推定された前記変更前後における前記一面の位置及び姿勢に基づいて、前記変更前後における前記複数の光線それぞれの前記反射位置が推定され、
前記同定する工程では、推定された前記複数の光線それぞれの前記変更前後における前記反射位置に基づいて、該光線の前記通過位置及び方向のうち、少なくとも方向が同定されることを特徴とする請求項１４に記載の校正方法。
【請求項１６】
前記同定する工程では、前記複数の光線それぞれの前記変更前後における前記反射位置に対して最小二乗法でフィッティングする直線が求められることで、該光線の前記通過位置及び方向のうち、少なくとも方向が同定されることを特徴とする請求項１５に記載の校正方法。
【請求項１７】
前記複数の光線間には、所定の制約条件があり、
前記同定する工程では、前記複数の光線それぞれの前記変更前後における前記反射位置からの距離が前記制約条件下で最小となる直線が求められることで、該光線の前記通過位置及び方向のうち、少なくとも方向が同定されることを特徴とする請求項１５に記載の校正方法。
【請求項１８】
前記同定する工程では、前記複数の光線それぞれの前記変更前後における前記反射位置からの距離、及び前記複数の光線間の位置及び方向の変化量のいずれもが最小となる直線が求められることで、該光線の前記通過位置及び方向のうち、少なくとも方向が同定されることを特徴とする請求項１５に記載の校正方法。
【請求項１９】
同定された、前記複数の光線それぞれの前記通過位置及び方向のうち、少なくとも方向にフィルタ処理を施す工程を更に含むことを特徴とする請求項１４〜１８のいずれか一項に記載の校正方法。
【請求項２０】
請求項１４〜１９のいずれか一項に記載の校正方法をコンピュータに実行させるプログラム。
【請求項２１】
請求項２０に記載のプログラムがコンピュータで読み出し可能に保存された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、校正装置、プロジェクタ、３次元スキャナ、校正方法、プログラム及び記録媒体に係り、更に詳しくは、複数の光線を投影する投影手段を校正する校正装置、前記投影手段及び前記校正装置を備えるプロジェクタ、前記投影手段及び前記校正装置を備える３次元スキャナ、前記投影手段の校正方法、該校正方法をコンピュータに実行させるプログラム、及び該プログラムが保存された記憶媒体に関する。
【背景技術】
【０００２】
従来、複数の光線を投影する投影手段を校正する技術が知られている（例えば特許文献１〜３参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１〜３に開示されている技術では、複数の光線を特定の一点から射出するピンホール光学系ではない光学系（以下では、非ピンホール光学系とも称する）を有する投影手段を校正することは、できなかった。
【課題を解決するための手段】
【０００４】
本発明は、複数の光線を投影する投影手段を校正するための校正装置であって、前記投影手段から前記複数の光線が投影されている、物体の一面を撮像する撮像部と、前記一面が撮像されて得られた画像に基づいて、前記一面の位置及び姿勢を推定する位置・姿勢推定部と、推定された前記一面の位置及び姿勢に基づいて、前記複数の光線それぞれの前記一面上での反射位置を推定する反射位置推定部と、推定された前記複数の光線それぞれの前記反射位置に基づいて、前記投影手段と前記一面との間における該光線の通過位置及び方向のうち、少なくとも方向を同定する同定部と、を備える校正装置である。
【発明の効果】
【０００５】
本発明によれば、ピンホール光学系を有する投影手段のみならず、非ピンホール光学系を有する投影手段をも校正できる。
【図面の簡単な説明】
【０００６】
【図１】一実施形態のプロジェクタの構成を概略的に示す図である。
【図２】プロジェクタが備える投影部を説明するための図である。
【図３】プロジェクタの制御の構成を概略的に示すブロック図である。
【図４】校正装置を用いた投影部の校正方法を説明するためのフローチャートである。
【図５】平板部材の一面に形成された基準パターンの一例としてのチェッカーパターンを示す図である。
【図６】平板部材の一面に投影される投影パターンの一例としてのドットパターンを示す図である。
【図７】平板部材の一面に形成されたチェッカーパターン上にドットパターンが投影された状態を示す図である。
【図８】位置及び姿勢の少なくとも一方が互いに異なる３つの状態における平板部材の一面上での一の光線の反射位置を示す図である。
【図９】平板部材の一面上での一の光の反射位置と該反射位置に対応する撮像面上の点（撮像点）との関係を示す図である。
【図１０】投影部と校正装置の撮像部とを用いた三角測量によって物体の３次元形状を計測する方法を示す図である。
【図１１】三角測量の原理を説明するための図である。
【図１２】基準パターン又投影パターンの他の例を示す図である。
【図１３】変形例３のプロジェクタの制御の構成を概略的に示すブロック図である。
【図１４】変形例３の校正装置を用いた投影部の校正方法を説明するためのフローチャートである。
【図１５】変形例３の校正装置によるフィルタ処理で用いられるフィルタの一例を示す図である。
【発明を実施するための形態】
【０００７】
以下、一実施形態を図１〜図１１に基づいて説明する。図１には、一実施形態に係るプロジェクタ１０が側面図にて示されている。以下では、図１に示される、鉛直方向をＹ軸方向とするＸＹＺ３次元直交座標系を用いて説明する。
【０００８】
プロジェクタ１０は、一例として、図１に示されるように、吊り下げ型のスクリーンＳの−Ｙ側かつ−Ｚ側の斜め下方に近接して配置されている。
【０００９】
プロジェクタ１０は、一例として、筐体１２、投影部１６（図２参照）、校正装置１８（図３参照）、幾何歪み補正手段２５（図３参照）、例えばＣＰＵ等を含む制御装置（不図示）などを備えている。
【００１０】
筐体１２は、一例として、略直方体形状の箱形部材から成り、＋Ｙ側の壁に光を透過させる光透過窓部材２２が設けられている。
【００１１】
投影部１６は、一例として、筐体１２内に収容されており、例えばパソコン、記憶媒体等の外部機器からの画像情報に応じて変調された複数の光線をスクリーンＳの表面（スクリーン面）に投影する。投影部１６は、光源８０、投影光学系１７などを有している。
【００１２】
投影光学系１７は、図２に示されるように、一例として、光分割手段としてのカラーホイール８２、光均一化手段としてのライトトンネル８４、光屈折手段としての２つのコンデンサレンズ８６、８８、光反射手段としての２つのミラー９０、９２、光変調手段としてのＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）９４、光広角化及び結像手段としての投射レンズ９６、光反射手段としてのミラー９７、光広角化及び反射手段としての自由曲面ミラー９８を含む。
【００１３】
光源８０から射出された複数の光線を含む光は、カラーホイール８２に入射する。カラーホイール８２に入射した光は、３原色の各色光に時系列的に分割されてカラーホイール８２から順次取り出される。カラーホイール８２から取り出された各色光は、ライトトンネル８４に入射し、その輝度分布が均一化されて、コンデンサレンズ８６、８８に順次入射する。コンデンサレンズ８６、８８に入射した各色光は、結像面が調整された後、ミラー９０、９２で順次反射されて、ＤＭＤ９４に入射する。ＤＭＤ９４に入射した各色光は、上記画像情報に応じてＤＭＤ９４で変調されつつ反射されて、投射レンズ９６に順次入射する。投射レンズ９６に入射した各色光は、広角化された後、ミラー９７で反射されて、自由曲面ミラー９８に順次入射する。自由曲面ミラー９８に入射した各色光は、自由曲面ミラー９８で広角化されつつ反射され、光透過窓部材２２を介して筐体１２の＋Ｙ側かつ＋Ｚ側の斜め上方に（スクリーンＳに向けて）順次投射される（図１参照）。この結果、スクリーン面にカラー画像又はモノクロ画像が表示される。なお、図２では、光源８０からミラー９７に至る光の経路が、矢印により示されている。
【００１４】
以上の説明から分かるように、投影光学系１７は、自由曲面ミラー９８上の互いに異なる複数の点から複数の光線を射出する。すなわち、投影光学系１７は、複数の光線を特定の一点から射出するピンホール光学系ではない非ピンホール光学系である。なお、投影光学系１７から射出される各光線は、一例として１画素に対応している。
【００１５】
ここで、投影部１６は、投影される複数の光線（複数の投影光）の焦点位置が近くなるように、すなわち短焦点に構成され、短い投影距離で、スクリーンＳに大きなカラー（又はモノクロ）画像を表示することができる。ここで、「投影部１６が短焦点に構成される」とは、投影部１６の光学系が、屈折力を有するミラー（例えば上記自由曲面ミラー９８）を含むことを意味する。このミラーが有する屈折力は正でも負でも良い（すなわち、ミラーは凹面鏡でも凸面鏡でも良い）。投影光学系１７が屈折力を有するミラーを含むことで、光透過窓部材２２からスクリーンＳまでの距離が例えば５０センチ以内であっても８０インチ程度の大きな投影像を表示することが可能である。
【００１６】
このような短焦点型のプロジェクタ１０は、スクリーンＳに近接する位置から光を投影できるため、プロジェクタ１０とスクリーンＳとの間に人や物が介在することが極力防止され、スクリーンＳへの光の投影が阻害されることを極力防止できる。
【００１７】
校正装置１８は、投影部１６を校正（キャリブレーション）するための装置であり、一例として、図３に示されるように、記憶部１８ａ、撮像部１８ｂ、位置・姿勢推定部１８ｃ、反射位置推定部１８ｄ、通過位置・方向同定部１８ｅなどを含む。
【００１８】
記憶部１８ａとしては、例えば半導体記憶装置（ＲＡＭ又はＲＯＭ）、ハードディスク、光ディスクなどが用いられている。記憶部１８ａには、投影部１６を校正する際に用いられる物体に投影される投影パターンが保存されている。投影部１６は、記憶部１８ａから投影パターンを読み込み、該投影パターンを上記物体に投影可能である。
【００１９】
撮像部１８ｂとしては、例えばＣＣＤ、ＣＯＭＳなどの撮像素子を有するカメラが用いられている。撮像部１８ｂは、一例として、筐体１２の＋Ｙ側の面上に設置されている。上記カメラの撮像範囲は、投影部１６から投影パターンが投影された上記物体を撮像可能な範囲に設定されている。撮像部１８ｂで撮像された上記物体の画像は記憶部１８ａに保存される。
【００２０】
位置・姿勢推定部１８ｃは、撮像部１８ｂで撮像された上記物体の画像を記憶部１８ａから読み込み、該物体の位置及び姿勢を推定する。
【００２１】
反射位置推定部１８ｄは、位置・姿勢推定部１８ｃで推定された上記物体の位置及び姿勢に基づいて、該物体上での各投影光（各光線）の反射位置を推定する。
【００２２】
通過位置・方向同定部１８ｅは、反射位置推定部１８ｄで推定された反射位置に基づいて、投影部１６と上記物体との間における各投影光の通過位置及び方向を同定する。
【００２３】
幾何歪み補正手段２５は、一例として、３次元形状計測部２５ａ、画像情報補正部２５ｂなどを含む。
【００２４】
３次元形状計測部２５ａは、校正装置１８を用いて校正された投影部１６と撮像部１８ｂとを用いた三角測量によってスクリーン面の３次元形状を計測する。この結果、スクリーン面全域における幾何歪み情報が検出される。
【００２５】
画像情報補正部２５ｂは、３次元形状計測部２５ａでの計測結果に基づいてスクリーン面の歪みに起因する投影画像の幾何歪みを補正するための補正情報を生成し、生成された補正情報を用いて上記外部機器からの画像情報を補正する。上記補正情報は、画像情報にスクリーン面の歪みと逆の変形を加えてスクリーン面の歪みを相殺するような情報である。
【００２６】
以下に、校正装置１８を用いた投影部１６の校正方法の一例を、図４のフローチャートを参照して説明する。この校正方法は、該校正方法の手順が規定されたプログラムを上記制御装置に実行させることによって行われる。このプログラムは、上記制御装置によって読み出し可能に記憶部１８ａに保存されている。
【００２７】
ここでは、上記物体の一例として、基準パターンが形成された一面を有する平板部材３０（図５〜図７参照）が用いられる。基準パターンの一例として、図５に示されるチェッカーパターンＣＰが用いられる。投影パターンの一例として、図６に示される、マトリクス状に配列された複数のドットを含むドットパターンＤＰが用いられる。以下では、便宜上、平板部材３０の、基準パターンが形成された一面を「パターン形成面」とも称する。
【００２８】
先ず、最初のステップＳ１では、投影部１６が、記憶部１８ａから投影パターンを読み出し、該投影パターンを、平板部材３０の一面に形成された基準パターン上に投影する（図７参照）。そして、撮像部１８ｂが、基準パターン上に投影パターンが投影されてなる合成パターンを撮像する。撮像された合成パターンの画像は、記憶部１８ａに保存される。
【００２９】
次のステップＳ３では、上記制御装置が、合成パターンの撮像回数が所定回数Ｍ（例えば３）未満であるか否か、すなわち上記ステップＳ１が行われた回数が所定回数Ｍ未満であるか否かを判断する。この判断が肯定された場合は、ステップＳ４に移行する。なお、Ｍは、３に限らず、要は、自然数であれば良い。
【００３０】
ステップＳ４では、上記制御装置が平板部材３０の投影部１６に対する位置及び姿勢の少なくとも一方を変更する（図８参照）。ここでは、上記制御装置が、平板部材３０を動作させるアクチュエータ（不図示）を制御して（介して）平板部材３０の位置及び姿勢の少なくとも一方を変更する。なお、図８では、便宜上、プロジェクタ１０のうち、投影部１６のみを示している。
【００３１】
なお、この変更は人手で行われても良い。すなわち、上記制御装置によってステップＳ４が行われなくても良い。但し、人手で行われる場合は、平板部材３０の位置及び姿勢の少なくとも一方が変更されたことを検出し、検出結果を上記制御装置に送る手段（例えば位置センサ、角度センサ等）を設けることが好ましい。
【００３２】
ステップＳ４が終了すると、フローは、ステップＳ１に戻る。そして、ステップＳ３での判断が否定されると、すなわち位置及び姿勢の少なくとも一方が互いに異なるＭ個の状態それぞれにおける平板部材３０上の合成パターンが撮像されると、ステップＳ５に移行する。このように、平板部材３０は、位置及び姿勢の少なくとも一方がＭ−１回変更され、位置及び姿勢の少なくとも一方の変更前後のいずれにおいても投影部１６から投影パターンがパターン形成面に投影され、合成パターンが撮像される。結果として、記憶部１８ａに異なるＭ個の合成パターンが保存される。
【００３３】
ステップＳ５では、位置・姿勢推定部１８ｃが、パターン形成面の位置及び姿勢を推定する。
【００３４】
詳述すると、位置・姿勢推定部１８ｃは、記憶部１８ａに保存されたＭ個の合成パターンの画像を読み込む。そして、読み込まれた各画像から平板部材３０上の基準パターンの特徴点の位置を抽出する。具体的には、図５に示される、基準パターンとしてのチェッカーパターンＣＰを構成する白又は黒の各正方形部分のコーナーを特徴点とし、その撮像面上での２次元位置を得る。コーナーの検出には、例えばハリスのコーナー検出法などを用いることができる。そして、得られた特徴点の撮像面上での２次元位置と、基準パターン上の座標系での２次元位置との対応から、パターン形成面の位置及び姿勢を推定する。これをＭ個の合成パターンの画像に対して実行し、各画像におけるパターン形成面の位置及び姿勢を推定する。
【００３５】
具体的な計算手順の一例を以下に説明する。一の合成パターンの画像におけるｉ番目の特徴点の撮像面上での位置を（ｕｉ，ｖｉ）、パターン形成面上での位置を(ｘｉ，ｙｉ)とする。特徴点の個数をＮとし、次の再投影誤差Ｊ（ｈ）を最小化する射影変換の係数ｈ１〜ｈ８を、次の（１）式で求める。
【００３６】
【数１】
2014131091.tif 000003
【００３７】
撮像部の焦点距離（ｆｕ，ｆｖ）、光軸位置（ｃｕ，ｃｖ）が既知であるとする。これをまとめた内部パラメータ行列Kを、次の（２）式で定義する。
【００３８】
【数２】
2014131091.tif 000004
【００３９】
そして、パターン形成面の回転行列R=(r1, r2, r3)と並進ベクトルtを、次の（３）〜（６）式で求める。
【００４０】
【数３】
2014131091.tif 000005
【００４１】
なお、撮像部の内部パラメータが既知でない場合は、Ｚｈａｎｇのカメラ校正法（Z. Zhang, “A flexible new technique for camera calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, 11, pp. 1330−1334, 2000.）を用いて、内部パラメータとパターン形成面の回転・並進を同時に求めることができる。
【００４２】
次のステップＳ６では、反射位置推定部１８ｄが、複数の光線それぞれのパターン形成面上における反射位置を推定する。
【００４３】
詳述すると、反射位置推定部１８ｄは、記憶部１８ａに保存されたＭ個の合成パターンの画像を読み込む。そして、読み込まれた各画像からパターン形成面に投影された投影パターンの特徴点の反射位置を推定する。具体的には、図６に示される、投影パターンとしてのドットパターンＤＰの各ドットの中心を特徴点とし、その位置を抽出する。この特徴点の位置、並びにステップＳ５で推定されたパターン形成面の位置及び姿勢に基づいて、パターン形成面上での投影パターンの特徴点の３次元位置（反射位置）を推定する。これをＭ個の合成パターンの画像に対して実行する。図９に示されるように、投影パターンの特徴点の撮像面上での２次元位置ｐ＝（ｐｕ，ｐｖ）Ｔから、パターン形成面上で対応する点の３次元位置ｑ＝（ｑｘ，ｑｙ，ｑｚ）Ｔを求めるには、次の（７）式の方程式を解けば良い。
【００４４】
【数４】
2014131091.tif 000006
【００４５】
次のステップＳ７では、通過位置・方向同定部１８ｅがステップＳ６で推定された投影パターンの特徴点の３次元位置に基づいて、投影光の方程式を同定する。位置及び姿勢の少なくとも一方が互いに異なるＭ個の状態における平板部材３０のパターン形成面上の投影パターンの同一特徴点の反射位置をｑ１〜ｑＭとする。そして、これら複数の反射位置ｑ１〜ｑＭに最小二乗法でフィッティングする直線の方程式を求めることで、投影光の通過位置及び方向を求める（図８参照）。投影パターンの全ての特徴点に対して同様の処理を実行することで、各特徴点に対応する投影光の通過位置及び方向を求めることができる。
【００４６】
このようにして、投影パターンの特徴点ごとの投影光の位置及び方向を求めることができる。そこで、３次元形状計測部２５ａは、投影部１６から物体に投影パターンを投影し、撮像部１８ｂで合成パターンを撮像し、求められた各光線の通過位置及び方向を用いることで、三角測量の原理で該物体の３次元形状を計測することができる（図１０参照）。この結果、スクリーンＳの歪みに関する情報を検出することができる。
【００４７】
なお、投影部１６及び撮像部１８ｂの光学系の内部パラメータ（焦点距離、光軸位置、レンズ歪みなど）、並びに投影部１６及び撮像部１８ｂの外部パラメータ（相対位置・姿勢）が既知であれば、投影部１６の投影点と撮像部１８ｂの撮像点との対応から三角測量を行うことができる（図１１参照）。
【００４８】
そこで、画像情報補正部２５ｂは、検出されたスクリーンＳの歪みに関する情報に基づいて、スクリーンＳに投影される画像の幾何歪みを補正するための補正情報を生成し、該補正情報を用いて原画像の画像情報を補正することで、スクリーンＳ上に幾何歪みのない高品質な画像を投影することができる。
【００４９】
なお、上述した校正方法では、撮像部１８ｂのカメラのレンズ歪みについては考慮しなかったが、従来のレンズ歪みの補正方法を撮像部１８ｂで得られた画像に適用することで、仮に撮像部１８ｂのカメラにレンズ歪みが存在する場合でも、上述の校正方法を適用することができる。
【００５０】
以上説明した本実施形態の校正装置１８は、投影部１６から複数の光線が投影されている、平板部材３０のパターン形成面を撮像する撮像部１８ｂと、パターン形成面が撮像されて得られた画像に基づいて、パターン形成面の位置及び姿勢を推定する位置・姿勢推定部１８ｃと、推定されたパターン形成面の位置及び姿勢に基づいて、複数の光線それぞれのパターン形成面上での反射位置を推定する反射位置推定部１８ｄと、推定された複数の光線それぞれの反射位置に基づいて、投影部１６とパターン形成面との間における該光線（投影光）の通過位置及び方向を同定する通過位置・方向同定部１８ｅと、を備えている。
【００５１】
この場合、例えば、平板部材３０の位置及び姿勢の少なくとも一方が少なくとも１回変更され、位置及び姿勢の少なくとも一方の変更前後における平板部材３０のパターン形成面に対して、複数の光線が投影され、パターン形成面が撮像されることで、複数の光線それぞれの前記変更前後における反射位置を推定することができ、該光線の通過位置及び方向を求めることができる。
【００５２】
なお、複数の光線が特定の一点を通過するピンホール光学系を有する投影部を校正する場合には、上述したピンホール光学系を有する投影部１６を校正する場合と同様に上記反射位置に基づいて複数の光線それぞれの通過位置及び方向を同定しても良いし、複数の光線それぞれの通過位置を上記特定の一点とし、上記反射位置に基づいて方向のみを同定しても良い。
【００５３】
結果として、校正装置１８では、ピンホール光学系を有する投影手段のみならず、非ピンホール光学系を有する投影手段をも校正できる。
【００５４】
また、通過位置・方向同定部１８ｅは、複数の光線それぞれの前記変更前後におけるパターン形成面上での反射位置に対して最小二乗法でフィッティングする直線を求めることで、該光線の通過位置及び方向を同定している。この場合、複数の光線それぞれの通過位置及び方向を容易に精度良く求めることができる。
【００５５】
また、プロジェクタ１０は、画像情報に応じて変調された複数の光線をスクリーン面に投影する投影部１６と、該投影部１６を校正するための校正装置１８と、投影部１６と校正装置１８の撮像部１８ｂとを用いた三角測量によってスクリーン面の３次元形状を計測し、計測結果に基づいて前記画像情報を補正する幾何歪み補正手段２５と、を備えている。
【００５６】
この場合、例えばスクリーン面の歪みに起因する幾何歪みを精度良く補正することができ、ひいては幾何歪みが抑制された高品質な画像をスクリーン面上に投影することができる。
【００５７】
なお、平板部材３０に形成される基準パターンはチェッカーパターンに限られない。また、平板部材３０に投影される投影パターンはドットパターンに限られない。要は、基準パターン及び投影パターンそれぞれは、複数の特徴点の位置関係が既知であるパターンであれば、他のパターンであっても良い。例えば、基準パターンは、ドットパターンであっても良い。投影パターンは、チェッカーパターンであっても良い。
【００５８】
また、基準パターン及び投影パターンの少なくとも一方は、格子パターンであっても良い。この場合、特徴点として、例えば、格子パターンの格子の交点を用いても良いし、格子パターンで囲まれる領域（格子の目）を用いても良い。
【００５９】
また、例えば、基準パターン又は投影パターンとして、図１２に示される正弦波の形状で明暗が変化するパターンを用いることもできる。このパターンを左右にずらして複数回撮影し、撮影画像の画素ごとの正弦波の位相を推定する。同様に、９０度回転した上記パターンを上下にずらして複数回撮影し、撮影された画像の画素ごとの正弦波の位相を推定する。これにより、投影パターン上の位置と撮影画像の画素との対応付けができ（位相シフト法）、全ての画素の位置を上記実施形態の特徴点の位置として利用することができる。
【００６０】
また、上記実施形態では、投影部１６が非ピンホール型であり、投影パターンの各特徴点に対応する投影光間に制約がない場合について説明した。しかしながら、投影部が全体として非ピンホール型であっても、局所的にはピンホールと見なせる場合が存在する。そこで、以下に、このような投影パターンの特徴点間の関係（制約条件）を用いて投影光の位置及び方向を同定する変形例１を説明する。
【００６１】
変形例１の校正装置は、通過位置・方向同定部の処理を除いて、上記実施形態の校正装置１８と同様の構成及び機能を有している。以下では、変形例１の通過位置・方向同定部の処理内容について説明する。
【００６２】
変形例１の通過位置・方向同定部は、反射位置推定部１８ｄが推定した投影パターンのｉ番目の特徴点のパターン形成面上での反射位置の組ｑ１（ｉ），ｑ２（ｉ），…，ｑＭ（ｉ）を取得する。ここで、投影パターンのｉ番目の特徴点に対応する投影光の方向余弦（方向の単位ベクトル）をｅ（ｉ）、通過位置をａ（ｉ）とする。i番目の特徴点とj番目の特徴点に対応する投影光に対してピンホールモデルが適用できる場合、ａ（ｉ）=ａ（ｊ）が成り立つ。このことを利用して、同一のピンホールモデルが成り立つ投影光のインデックスの集合をＳとして、次の（８）式で示される最適化問題を解く。
【００６３】
【数５】
2014131091.tif 000007
【００６４】
つまり、投影光の通過位置を一点に制限した上で、投影光の直線から反射位置の推定位置の距離の二乗和を最小化する。この最適化問題は次のような反復演算で解くことができる。まず、ｅ（ｉ）（ｉ∈Ｓ）に初期値を設定する。たとえば、ｑ１（ｉ），ｑ２（ｉ），…，ｑＭ（ｉ）を主成分分析し、第一主成分の方向をｅ（ｉ）に設定する。そして、次の（９）式でａ＝ａ（ｉ）（ｉ∈Ｓ）を求める。
【００６５】
【数６】
2014131091.tif 000008
【００６６】
次いで、ｉ∈Ｓに対する次の行列の最大固有値に対応する固有ベクトルを求め、それをｅ（ｉ）に代入すると、次の（１０）式のようになる。
【００６７】
【数７】
2014131091.tif 000009
【００６８】
上記（９）式による通過位置ａの更新と上記（１０）式の固有値演算による方向余弦ｅ（ｉ）の更新を、規定条件を満たすまで繰り返す。規定条件として、例えば、特定回数繰り返すこと、繰り返しごとのパラメータの変化量が特定閾値より小さくなることなどを設定することができる。
【００６９】
制約条件の与え方は上記に限らず、例えば、投影光の光軸に対する対称性を制約とすることもできる。一般的な制約の場合は上記の反復解法を適用できないため、汎用の制約条件付き非線形最適化法により解を得る。
【００７０】
変形例１によれば、投影光間に成り立つ制約条件下で最小二乗推定が行われるため、少ない撮影画像からロバストに投影光の位置及び方向を同定することができる。
【００７１】
また、以下に説明する変形例２のように、各投影光の反射位置の推定値の直線からの距離、及び投影光間の位置と方向の変化量をいずれも最小化することにより、投影光の位置及び方向を同定しても良い。投影光間での制約を課せない場合でも、十分に滑らかに変化する光学系では、空間的に近い投影光同士の位置、方向は近い値を取る場合がある。この性質を利用し、投影光の位置及び方向をロバストに同定する。
【００７２】
変形例２の校正装置は、通過位置・方向同定部の処理を除いて、上記実施形態の校正装置１８と同様の構成及び機能を有している。以下では、変形例２の通過位置・方向同定部の処理内容について説明する。
【００７３】
変形例２の通過位置・方向同定部は、まず、反射位置推定部が推定した投影パターンの反射位置の推定値を取得する。投影パターンとしては、例えば図５及び図６に示されるような特徴点がマトリクス状に並んだものを用い、ｉ行ｊ列の特徴点のｋ枚目の撮影画像における入射位置の推定値をｑｋ（ｉ，ｊ）、ｉ行ｊ列の特徴点に対応する投影光の方向余弦（方向の単位ベクトル）をｅ（ｉ，ｊ）、通過位置をａ（ｉ，ｊ）と表記する。これらを用いて、次の（１１）式で示される評価関数が構成される。
【００７４】
【数８】
2014131091.tif 000010
【００７５】
第一項は投影光の直線から反射位置の推定位置の距離の二乗和であり、第二項のΦ（ｅ，ａ）は正則化項である。投影光の方向余弦や通過位置の滑らかさに対するペナルティを与えることができる。例えば、次の（１２）式のように、方向余弦ｅ（ｉ，ｊ）のｉ方向の二階差分の二乗和を設定することができる。
【００７６】
【数９】
2014131091.tif 000011
【００７７】
ｊ方向についても同様に考えることができ、また、通過位置ａ（ｉ，ｊ）に対しても同様の正則化項の設定が可能である。このように構成した正則化項Φ（ｅ，ａ）を用いて上記（１１）式を最小化するようにｅ（ｉ，ｊ）、ａ（ｉ，ｊ）を求めることで、空間的に滑らかに通過位置及び方向が変化する投影光を得ることができる。なお、（１１）式の最小化には、最急降下法やニュートン法など、非線形最適化法を用いることができる。
【００７８】
変形例２によれば、各投影光の反射位置の推定値の直線からの距離と、投影光間の位置と方向の変化量とをいずれも最小化することにより、少ない撮影画像からロバストに投影光の位置及び方向を同定することができる。
【００７９】
また、以下に説明する変形例３のように、各投影光の通過位置及び方向にフィルタ処理を施すことにより、該投影光の通過位置及び方向をロバストに同定しても良い。
【００８０】
図１３には、変形例３の校正装置１８０の概略的構成が示されている。校正装置１８０は、通過位置・方向補正部１８ｆが設けられている点が上記実施形態の校正装置１８と異なる。
【００８１】
図１４には、校正装置１８０を用いた投影部１６の校正方法を説明するためのフローチャートが示されている。図１４のフローチャートは、図４のフローチャートに対してステップＳ８が追加されたものである。
【００８２】
ステップＳ８では、通過位置・方向補正部１８ｆが通過位置・方向同定部１８ｅで同定された各投影光の通過位置及び方向を補正する。補正方法として、フィルタ処理を利用することができる。上記変形例２と同様に、投影パターンの特徴点がマトリクス状に並んでおり、i行j列の特徴点に対応する投影光の方向余弦ｅ（ｉ，ｊ）と、通過位置をａ（ｉ，ｊ）が得られているものとする。そこで、これに対して、例えば図１５に示される係数のフィルタを適用することで、平滑化を行って誤差を低減することができる。適用するフィルタは、線形フィルタに限らず、例えばメディアンフィルタ、εフィルタ、バイラテラルフィルタなど非線形のフィルタを適用することで、急峻な変化を保持しつつ平滑化を行うことができる。
【００８３】
変形例３によれば、各投影光の通過位置及び方向にフィルタ処理を施すことにより、該投影光の位置及び方向を少ない撮影画像からロバストに同定することができる。
【００８４】
なお、例えばピンホール光学系を有する投影部を校正する場合などにおいて、通過位置・方向同定部１８ｅで各投影光の方向のみを同定した場合には、同定された方向にのみ上述したフィルタ処理を施しても良い。
【００８５】
また、上記実施形態及び各変形例では、校正装置は、プロジェクタ１０に搭載されているが、これに限らず、例えば、複数の光線を投影する投影手段を備える３次元スキャナに搭載されても良い。この場合も、投影手段と校正装置の撮像部とを用いた三角測量によって、未知形状の物体の３次元形状を容易に精度良く計測することができる（図１０参照）。
【００８６】
また、上記実施形態及び各変形例では、校正装置を用いて投影部を校正する際に、平板部材３０が１つ用いられているが、複数用いられても良い。要は、投影部１６に対する位置及び姿勢の少なくとも一方が互いに異なる複数の状態それぞれにおける平板部材３０のパターン形成面上の合成パターンを撮像できれば良い。
【００８７】
また、上記実施形態及び各変形例では、投影部から複数の光線が投影される物体として平板部材３０が用いられているが、これに限らず、要は、平坦な一面を有する物体であることが好ましい。そして、この平坦な一面には、基準パターンが形成されていることがより好ましい。
【００８８】
また、上記実施形態及び各変形例では、被投影面は、一例として、吊り下げ型のスクリーンＳの表面とされたが、これに限らず、例えば、建造物の壁に固定されたスクリーンＳの表面、建造物の壁面、布の表面、パネルの表面、ボードの表面、自動車のフロントガラスの表面等とされても良い。
【００８９】
また、上記実施形態及び各変形例では、投影部は、短焦点型とされているが、短焦点型でなくても良い。この場合、屈折力を有するミラー（例えば上記自由曲面ミラー９８）に代えて、ＭＥＮＳミラー、ガルバノミラー等を用いても良い。
【００９０】
また、投影部の構成は、上述したものに限られず、適宜変更可能である。例えば、上記実施形態では、光源８０からの光をＤＭＤ９４で画像信号に応じて変調しているが、これに限らず、例えば、画像信号に応じて光源を変調駆動しても良い。この場合、ＤＭＤ９４に代えて、例えば２軸のＭＥＮＳスキャナ、２軸のガルバノスキャナ、複数のＭＥＭＳミラー、複数のガルバノミラー等を用いても良い。また、ＤＭＤ９４に代えて、例えば透過型液晶パネル、反射型液晶パネル等を用いても良い。
【符号の説明】
【００９１】
１０…プロジェクタ、１６…投影部（投影手段）、１８…校正装置、１８ｂ…撮像部、１８ｃ…位置・姿勢推定部、１８ｄ…反射位置推定部、１８ｅ…通過位置・方向同定部（同定部）、１８ｆ…通過位置・方向補正部（補正部）、２５…幾何歪み補正手段、ＣＰ…チェッカーパターン（基準パターン）、ＤＰ…ドットパターン（投影パターン）。
【先行技術文献】
【特許文献】
【００９２】
【特許文献１】特開２００１−３２０６５２号公報
【特許文献２】特開２００５−３２６２４７号公報
【特許文献３】特許４２３０５２５号公報
【図１】
2014131091.tif 000012
【図２】
2014131091.tif 000013
【図３】
2014131091.tif 000014
【図４】
2014131091.tif 000015
【図５】
2014131091.tif 000016
【図６】
2014131091.tif 000017
【図９】
2014131091.tif 000018
【図１０】
2014131091.tif 000019
【図１１】
2014131091.tif 000020
【図１３】
2014131091.tif 000021
【図１４】
2014131091.tif 000022
【図１５】
2014131091.tif 000023
【図７】
2014131091.tif 000024
【図８】
2014131091.tif 000025
【図１２】
2014131091.tif 000026