(57)【要約】  本開示は、コストの増大を抑制しながら、コンテンツ視聴中の対応点検出を実現させることができるようにする画像処理装置および方法に関する。１フレームに対応する複数のサブフレームのいずれかに所定のパタンを含むパタン画像を重畳し、各サブフレームを投影部に順次投影させ、その投影の制御に同期し、投影部により投影された、パタン画像が重畳されたサブフレームの投影画像を撮像部に撮像させ、その撮像の制御に従って撮像部により撮像されて得られた撮像画像に含まれるパタン画像に基づいて、投影画像と撮像画像との対応点を検出する。本開示は、例えば、画像処理装置、投影装置、撮像装置、投影撮像装置、制御装置、または投影撮像システム等に適用することができる。
2017154628.tif 000002
【特許請求の範囲】
【請求項１】
１フレームに対応する複数のサブフレームのいずれかの画像に所定のパタンを含むパタン画像を重畳し、各サブフレームの画像を投影部に順次投影させる投影制御部と、
前記投影制御部による投影の制御に同期し、前記パタン画像が重畳されたサブフレームの投影画像を撮像部に撮像させる撮像制御部と、
前記撮像制御部に制御されて前記撮像部により撮像されて得られた撮像画像に含まれる前記パタン画像に基づいて、投影画像と撮像画像との対応点を検出する対応点検出部と
を備える画像処理装置。
【請求項２】
前記１フレームに対応する複数のサブフレームのそれぞれの画像は、前記１フレームの画像の所定の色成分の画像であり、前記複数のサブフレームの画像を順次投影することにより、前記１フレームの画像を投影したことに相当するようになされている
請求項１に記載の画像処理装置。
【請求項３】
前記投影制御部は、高輝度の色成分のサブフレームの画像に前記パタン画像を重畳する
請求項２に記載の画像処理装置。
【請求項４】
前記投影制御部は、緑色成分のサブフレームの画像に前記パタン画像を重畳する
請求項３に記載の画像処理装置。
【請求項５】
前記複数のサブフレームは、赤色成分の２サブフレーム、青色成分の２サブフレーム、緑色成分の４サブフレームからなる、８サブフレームである
請求項４に記載の画像処理装置。
【請求項６】
前記投影制御部は、パタンの輝度値変化方向が互いに反転している１対のパタン画像を、前記複数のサブフレームの内の、互いに異なるサブフレームの画像に重畳して投影させ、
前記撮像制御部は、前記１対のパタン画像のそれぞれが重畳されたサブフレームの投影画像を撮像させる
請求項１に記載の画像処理装置。
【請求項７】
前記１フレームに対応する複数のサブフレームのそれぞれの画像は、前記１フレームの画像の所定の色成分の画像であり、前記複数のサブフレームの画像を順次投影することにより、前記１フレームの画像を投影したことに相当するようになされており、
前記投影制御部は、前記１対のパタン画像を、前記複数のサブフレームの内の、互いに同一の色成分の互いに異なるサブフレームの画像に重畳して投影させるように構成される
請求項６に記載の画像処理装置。
【請求項８】
前記投影制御部は、前記１フレームを前記複数のサブフレームにサブフレーム化し、得られた前記複数のサブフレームの内の、互いに同一の色成分の互いに異なるサブフレームの画像に前記１対のパタン画像を重畳して投影させる
請求項７に記載の画像処理装置。
【請求項９】
前記投影制御部は、前記１フレームを、前記１対のパタン画像を重畳する各サブフレームの直前に投影されるサブフレームの画像が互いに同一の色成分の画像となるような投影順の前記複数のサブフレームにサブフレーム化する
請求項８に記載の画像処理装置。
【請求項１０】
前記投影制御部は、前記１フレームを、前記パタン画像を重畳しないフレームに対応するサブフレームの投影順とは異なる投影順の前記複数のサブフレームにサブフレーム化する
請求項８に記載の画像処理装置。
【請求項１１】
前記投影制御部は、前記対応点検出部により検出された対応点基づいて設定されたパラメータを用いて各サブフレームの画像に対して幾何補正を行い、幾何補正された画像を前記投影部に順次投影させる
請求項１に記載の画像処理装置。
【請求項１２】
前記撮像制御部は、前記撮像部に撮像させて得られた、前記サブフレームの投影画像の撮像画像に含まれる前記パタン画像を抽出する
請求項１に記載の画像処理装置。
【請求項１３】
前記撮像制御部は、パタンの輝度値変化方向が互いに反転している１対のパタン画像のそれぞれを含む前記撮像画像同士の差分画像を生成し、前記差分画像に含まれる前記パタン画像を抽出する
請求項１２に記載の画像処理装置。
【請求項１４】
前記撮像制御部は、前記差分画像を２値化し、得られた２値化画像に含まれる前記パタン画像を抽出する
請求項１３に記載の画像処理装置。
【請求項１５】
前記投影制御部は、複数の投影部に前記パタン画像が重畳されたサブフレームの画像を投影させ、
前記撮像制御部は、各投影部より投影された、前記パタン画像が重畳されたサブフレームの投影画像を、複数の撮像部に撮像させ、
前記対応点検出部は、各投影部により投影される投影画像と、各撮像部により撮像される撮像画像との対応点を検出する
請求項１に記載の画像処理装置。
【請求項１６】
前記対応点検出部により検出された前記対応点を用いて姿勢推定を行う姿勢推定部をさらに備える
請求項１に記載の画像処理装置。
【請求項１７】
前記姿勢推定部により推定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備える
請求項１に記載の画像処理装置。
【請求項１８】
投影画像を投影する投影部をさらに備える
請求項１に記載の画像処理装置。
【請求項１９】
投影画像を撮像して撮像画像を得る撮像部をさらに備える
請求項１に記載の画像処理装置。
【請求項２０】
１フレームに対応する複数のサブフレームのいずれかに所定のパタンを含むパタン画像を重畳し、各サブフレームを投影部に順次投影させ、
その投影の制御に同期し、前記投影部により投影された、前記パタン画像が重畳されたサブフレームの投影画像を撮像部に撮像させ、
その撮像の制御に従って前記撮像部により撮像されて得られた撮像画像に含まれる前記パタン画像に基づいて、投影画像と撮像画像との対応点を検出する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、コストの増大を抑制しながら、コンテンツ視聴中の対応点検出を実現させることができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、プロジェクタにより投影された投影画像の歪みの低減や、複数のプロジェクタによる各投影画像の位置合わせのために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等に応じた投影画像の幾何補正を行う方法があった。このような方法の場合、投影画像と撮像画像との間で対応点を求める必要があった。【０００３】
この対応点を求める方法として、コンテンツの視聴中にセンシングを行うISL（Imperceptible Structured Light）が提案された（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Imperceptible Structured Light Ramesh Raskar, SIGGRAPH 98
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、通常のプロジェクタデバイスでISL方式を用いた対応点検出を実現するためには、フレームレートを倍化する必要があるので、専用のデバイスを用意する必要があり、開発や製造のコストが増大するおそれがあった。【０００６】
本開示は、このような状況に鑑みてなされたものであり、コストの増大を抑制しながら、コンテンツ視聴中の対応点検出を実現させることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、１フレームに対応する複数のサブフレームのいずれかの画像に所定のパタンを含むパタン画像を重畳し、各サブフレームの画像を投影部に順次投影させる投影制御部と、前記投影制御部による投影の制御に同期し、前記パタン画像が重畳されたサブフレームの投影画像を撮像部に撮像させる撮像制御部と、前記撮像制御部に制御されて前記撮像部により撮像されて得られた撮像画像に含まれる前記パタン画像に基づいて、投影画像と撮像画像との対応点を検出する対応点検出部とを備える画像処理装置である。【０００８】
前記１フレームに対応する複数のサブフレームのそれぞれの画像は、前記１フレームの画像の所定の色成分の画像であり、前記複数のサブフレームの画像を順次投影することにより、前記１フレームの画像を投影したことに相当するようになされているようにすることができる。【０００９】
前記投影制御部は、高輝度の色成分のサブフレームの画像に前記パタン画像を重畳することができる。【００１０】
前記投影制御部は、緑色成分のサブフレームの画像に前記パタン画像を重畳することができる。【００１１】
前記複数のサブフレームは、赤色成分の２サブフレーム、青色成分の２サブフレーム、緑色成分の４サブフレームからなる、８サブフレームであるようにすることができる。【００１２】
前記投影制御部は、パタンの輝度値変化方向が互いに反転している１対のパタン画像を、前記複数のサブフレームの内の、互いに異なるサブフレームの画像に重畳して投影させ、前記撮像制御部は、前記１対のパタン画像のそれぞれが重畳されたサブフレームの投影画像を撮像させることができる。【００１３】
前記１フレームに対応する複数のサブフレームのそれぞれの画像は、前記１フレームの画像の所定の色成分の画像であり、前記複数のサブフレームの画像を順次投影することにより、前記１フレームの画像を投影したことに相当するようになされており、前記投影制御部は、前記１対のパタン画像を、前記複数のサブフレームの内の、互いに同一の色成分の互いに異なるサブフレームの画像に重畳して投影させるように構成されるようにすることができる。【００１４】
前記投影制御部は、前記１フレームを前記複数のサブフレームにサブフレーム化し、得られた前記複数のサブフレームの内の、互いに同一の色成分の互いに異なるサブフレームの画像に前記１対のパタン画像を重畳して投影させることができる。【００１５】
前記投影制御部は、前記１フレームを、前記１対のパタン画像を重畳する各サブフレームの直前に投影されるサブフレームの画像が互いに同一の色成分の画像となるような投影順の前記複数のサブフレームにサブフレーム化することができる。【００１６】
前記投影制御部は、前記１フレームを、前記パタン画像を重畳しないフレームに対応するサブフレームの投影順とは異なる投影順の前記複数のサブフレームにサブフレーム化することができる。【００１７】
前記投影制御部は、前記対応点検出部により検出された対応点基づいて設定されたパラメータを用いて各サブフレームの画像に対して幾何補正を行い、幾何補正された画像を前記投影部に順次投影させることができる。【００１８】
前記撮像制御部は、前記撮像部に撮像させて得られた、前記サブフレームの投影画像の撮像画像に含まれる前記パタン画像を抽出することができる。【００１９】
前記撮像制御部は、パタンの輝度値変化方向が互いに反転している１対のパタン画像のそれぞれを含む前記撮像画像同士の差分画像を生成し、前記差分画像に含まれる前記パタン画像を抽出することができる。【００２０】
前記撮像制御部は、前記差分画像を２値化し、得られた２値化画像に含まれる前記パタン画像を抽出することができる。【００２１】
前記投影制御部は、複数の投影部に前記パタン画像が重畳されたサブフレームの画像を投影させ、前記撮像制御部は、各投影部より投影された、前記パタン画像が重畳されたサブフレームの投影画像を、複数の撮像部に撮像させ、前記対応点検出部は、各投影部により投影される投影画像と、各撮像部により撮像される撮像画像との対応点を検出することができる。【００２２】
前記対応点検出部により検出された前記対応点を用いて姿勢推定を行う姿勢推定部をさらに備えることができる。【００２３】
前記姿勢推定部により推定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備えることができる。【００２４】
投影画像を投影する投影部をさらに備えることができる。【００２５】
投影画像を撮像して撮像画像を得る撮像部をさらに備えることができる。【００２６】
本技術の一側面の画像処理方法は、１フレームに対応する複数のサブフレームのいずれかに所定のパタンを含むパタン画像を重畳し、各サブフレームを投影部に順次投影させ、その投影の制御に同期し、前記投影部により投影された、前記パタン画像が重畳されたサブフレームの投影画像を撮像部に撮像させ、その撮像の制御に従って前記撮像部により撮像されて得られた撮像画像に含まれる前記パタン画像に基づいて、投影画像と撮像画像との対応点を検出する画像処理方法である。【００２７】
本技術の一側面の画像処理装置および方法においては、１フレームに対応する複数のサブフレームのいずれかに所定のパタンを含むパタン画像が重畳され、各サブフレームが投影部により順次投影され、そのパタン画像が重畳されたサブフレームの投影画像が撮像部に撮像され、その撮像部により撮像されて得られた撮像画像に含まれるパタン画像に基づいて、投影画像と撮像画像との対応点が検出される。
【発明の効果】
【００２８】
本開示によれば、画像を処理することができる。特に、コストの増大を抑制しながら、コンテンツ視聴中の対応点検出を実現させることができる。
【図面の簡単な説明】
【００２９】
【図１】幾何補正の様子の例を示す図である。
【図２】幾何補正の様子の例を示す図である。
【図３】幾何補正の様子の例を示す図である。
【図４】対応点検出の様子の例を示す図である。
【図５】対応点検出の様子の例を示す図である。
【図６】対応点検出の様子の例を示す図である。
【図７】グレイコードの例を示す図である。
【図８】ISLの例を説明する図である。
【図９】ISLを実現するデバイスの構成例を説明する図である。
【図１０】単板式デバイスにおけるISL方式のセンシングの概要の例を説明する図である。
【図１１】投影撮像システムの主な構成例を示すブロック図である。
【図１２】制御装置の主な構成例を示すブロック図である。
【図１３】制御装置が実現する機能例を示す機能ブロック図である。
【図１４】パタン画像投影撮像部が実現する機能例を示す機能ブロック図である。
【図１５】投影撮像装置の主な構成例を示すブロック図である。
【図１６】設定処理の流れの例を説明するフローチャートである。
【図１７】パタン画像投影撮像処理の流れの例を説明するフローチャートである。
【図１８】パタン画像投影撮像処理の流れの例を説明する、図１７に続くフローチャートである。
【図１９】動作モードを切り替える例を説明する図である。
【図２０】画像投影処理の流れの例を説明するフローチャートである。
【図２１】パタン画像投影撮像処理の流れの例を説明するフローチャートである。
【図２２】パタン画像投影撮像処理の流れの例を説明する、図２１に続くフローチャートである。
【図２３】投影撮像システムの他の構成例を示すブロック図である。
【図２４】投影撮像システムや投影撮像装置の主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．対応点検出と幾何補正
２．第１の実施の形態（投影撮像システム）
３．第２の実施の形態（動作モード）
４．第３の実施の形態（投影撮像システム・投影撮像装置）
５．その他
【００３１】
＜１．対応点検出と幾何補正＞
＜幾何補正＞
プロジェクタの投影面（スクリーンや壁等）に対する姿勢（位置や向き等）や投影面の形状等によって、例えば図１のＡのように、投影された画像（投影画像とも称する）が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、図１のＢの例のように、投影画像の歪みを低減し、見やすくすることができる。
【００３２】
また、図２の例のように、複数のプロジェクタにより画像を投影して、１つの投影画像を形成させるシステムがある。例えば、図２のＡのように、複数のプロジェクタから互いに同位置に画像を投影することにより、コントラスト比を大きくし、ハイダイナミックレンジを実現する方法がある。また、例えば、図２のＢのように、各プロジェクタから投影された投影画像を並べることにより、１台のプロジェクタが投影する投影画像よりも大きな投影画像（１台のプロジェクタが投影する投影画像よりも高解像度の投影画像）を実現する方法がある。これらの方法の場合、各プロジェクタから投影された投影画像同士の位置関係が不適切であると、投影画像同士がずれて重畳されたり不要な隙間が生じたりして投影画像全体としての画質が低減するおそれがある。そのため、各投影画像に対する上述した歪み補正だけでなく、投影画像同士の位置合わせ（シフトやズーム等）の補正も必要になる場合がある。さらに、明るさや色等を投影画像間で揃える補正も必要になる場合もある。
【００３３】
本明細書においては、投影画像の変形、移動、拡大、縮小等、投影画像の各画素の投影面における位置が変化する補正を幾何補正と称する。つまり、幾何補正には、画像処理によるものだけでなく、シフトやズーム等の光学系の制御によるものや、投影部の位置や姿勢等の制御によるもの等も含まれるものとする。
【００３４】
このような幾何補正を利用することにより、例えば図３のように、複数のプロジェクタから曲面の投影面に対して画像を投影して、１つの投影画像を形成させるといった複雑なマルチプロジェクションを実現することができる。
【００３５】
このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。特に図３の例のような複雑な幾何補正を手動で実現することは容易ではないし、仮に実現できたとしてもそのために長時間を要する可能性が高い。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正の設定を行う方法が考えられた。
【００３６】
その場合、投影画像と撮像画像とから、それらの間で対応点（投影画像および撮像画像の、投影面の互いに同じ位置に対応する画素）が求められ、カメラの各画素とプロジェクタの各画素との対応関係が求められる。そして、その対応関係に基づいて、プロジェクタやカメラの姿勢が推定されたり、スクリーン形状が推定されたりし、それらの推定結果を利用して幾何補正の設定が行われる。
【００３７】
例えば、図４に示されるように、プロジェクタ１１から所定の絵柄の標準化光パタン１２をスクリーン１３に投影し、カメラ１４によりその投影された標準化光パタン１２を撮像して撮像画像１５を得る。そして、その標準化光パタン１２の絵柄に基づいて標準化光パタン１２と撮像画像１５との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ１１とカメラ１４の姿勢（位置関係）やスクリーン１３の形状等を求め、その結果に基づいて幾何補正の設定が行われる。
【００３８】
画像を投影する際は、この設定に従って幾何補正を行うようにすることにより、図３の例のような複雑な幾何補正も容易に実現することができる。
【００３９】
なお、例えば図２や図３のように複数のプロジェクタ（投影撮像装置）を用いる場合は、上述したように投影画像同士の位置合わせも必要になる。つまり、投影撮像装置内でのカメラの画素とプロジェクタの画素との対応点だけでなく、投影撮像装置間でのカメラの画素とプロジェクタの画素との対応点も求める必要がある。なお、図２のＢや図３の例のように、複数の投影画像を並べて大きな投影画像を形成する場合、隣接する投影画像の一部同士を重畳させる（オーバラップさせる）ことにより、その位置合わせをより容易にすることができる（例えば、図３）。
【００４０】
例えば、図５のように、投影部２１−１（プロジェクタ）と撮像部２２−１（カメラ）とを有する投影撮像装置２０−１と、投影部２１−２（プロジェクタ）と撮像部２２−２（カメラ）とを有する投影撮像装置２０−２とを協働させて画像を投影するとする。ここで、投影撮像装置２０−１と投影撮像装置２０−２とを互いに区別して説明する必要が無い場合、投影撮像装置２０と称する。また、投影部２１−１と投影部２１−２とを互いに区別して説明する必要が無い場合、投影部２１と称する。さらに、撮像部２２−１と撮像部２２−２とを互いに区別して説明する必要が無い場合、撮像部２２と称する。
【００４１】
図５に示されるように、投影撮像装置２０−１の投影部２１−１による投影面２３の投影領域（投影画像の範囲）は、P0L乃至P0Rの範囲である。また、投影撮像装置２０−２の投影部２１−２による投影面２３の投影領域は、P1L乃至P1Rの範囲である。つまり、両矢印２４で示される範囲（P1L乃至P0Rの範囲）が、互いの投影画像が重畳するオーバーラップ領域となる。
【００４２】
なお、投影撮像装置２０−１の撮像部２２−１による投影面２３の撮像領域（撮像画像に含まれる範囲）は、C0L乃至C0Rの範囲である。また、投影撮像装置２０−２の撮像部２２−２による投影面２３の撮像領域（撮像画像に含まれる範囲）は、C1L乃至C1Rの範囲である。
【００４３】
このようなシステムの場合、上述したように、投影画像同士の位置合わせを行うために、各投影撮像装置２０における投影部２１と撮像部２２との間の対応点を求めるだけでなく、投影撮像装置２０間において投影部２１と撮像部２２との間の対応点を求める必要がある。そこで、例えば、図６のように、投影部２１−１のある画素から照射された光（矢印２７）が、投影面２３のＸにおいて反射し、撮像部２２−２のどの画素により受光される（矢印２８）かが求められる。また、投影部２１−２と撮像部２２−１との間でも同様の画素対応関係が求められる。
【００４４】
このように、オーバラップ領域（両矢印２４で示される範囲）を利用することにより、容易に、投影撮像装置２０間における投影部２１と撮像部２２との間の対応点を求めることができる。そして、この対応点を利用して幾何補正の設定を行うことにより、その設定を用いた幾何補正により、各投影撮像装置２０の投影部２１が投影する各投影画像の歪み補正や位置合わせを容易に行うことができる。
【００４５】
このような対応点の検出方法として、所定のパタンのパタン画像が投影され、その投影画像が撮像され、得られた撮像画像に含まれるパタン画像に基づいて投影画像と撮像画像との間で対応点を検出するという方法がある。このようなパタンとして、例えば、グレイコードを用いる方法がある。例えば、図７のＡに示されるような所定のパターン画像を時系列に切り替えながら投影して、各パターンを撮像する。そして、全てのパターンの撮像が完了したら撮像画像の各画素において、各撮像パターンの「１」(白)または「０」(黒)を検出して、図７のＢに示されるように、その「１」と「０」の変化パターンをデコードすることでプロジェクタ画素の位置を取得する。これにより画素の対応関係を取得することができる。
【００４６】
しかしながら、パタン画像の投影とコンテンツの画像の投影とを排他的な関係とすると、コンテンツの画像の投影中は対応点検出ができないことになる。したがって、例えば、コンテンツの画像の投影中に、温度や振動などの外乱の影響等により対応点にずれが生じた場合、コンテンツの視聴を中断して対応点検出をやり直すか、または、コンテンツの視聴を妨げないように、対応点検出をやり直さずにコンテンツの画像の投影を継続しなければならなかった。いずれも、実質的に、コンテンツを視聴するユーザにとって投影画像の主観画質が低減することになるおそれがあった。
【００４７】
＜オンラインセンシング＞
そこで、コンテンツの画像の投影を継続したまま対応点を検出する方法（オンラインセンシング）が考えられた。
【００４８】
オンラインセンシング技術として、例えば、Infrared等の不可視光を利用した方式、SIFT等の画像特徴量を利用した方式、ISL（Imperceptible Structured Light）方式等が考えられた。Infrared等の不可視光を利用した方式の場合、不可視光を投影するプロジェクタ（例えばInfraredプロジェクタ）がさらに必要になるためコストが増大するおそれがあった。また、SIFT等の画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難であった。
【００４９】
これらに対してISL方式の場合、可視光を利用するため、システム構成要素の増大（すなわちコストの増大）を抑制することができる。また、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
【００５０】
＜ISL方式＞
ISL方式では、所定のパタンの画像であるパタン画像が、コンテンツの画像に埋め込まれ、積分効果を利用して人間に知覚されないように投影される。そして、そのパタン画像を用いて対応点の検出が行われる。
【００５１】
より具体的に説明すると、例えば図８に示されるように、入力画像（コンテンツの画像）に対して、所定のパタン画像（Structured Light）のポジ画像とネガ画像とがそれぞれ重畳され、ポジフレーム（Pos Frame）とネガフレーム（Neg Frame）との２フレームが生成される。この２フレームをプロジェクタから投影させる。パタン画像のポジ画像とネガ画像は、パタンの輝度値変化方向が互いに逆向き（例えば白と黒）であるので、プロジェクタからこれらの２フレームが連続して投影されると、ユーザには、積分効果によりこのパタン画像（ポジ画像とネガ画像）を知覚することが困難になる。
【００５２】
これに対して、カメラは、プロジェクタに同期して動作し、この２フレームの投影画像をそれぞれ撮像する。各撮像画像には、パタン画像のポジ画像とネガ画像とがそれぞれ含まれる。したがって、これらの撮像画像の差分を求めることにより、パタン画像が抽出される。
【００５３】
以上のように、ISL方式の場合、パタン画像のポジ画像およびネガ画像が、互いに同一のフレームの入力画像に重畳される。つまり、例えば入力画像がフレームレート６０Hzの動画像である場合、プロジェクタは、その倍（１２０Hz）のフレームレートで画像を投影しなければならない。そのためには、図９のＡの例のようにパネルドライバの前段SOC（System On a Chip）でフレームレートを倍速にするか、図９のＢの例のようにパネルドライバ自身でフレームレートを倍速にする必要がある。
【００５４】
つまり、ISL方式の対応点検出を実現させるだけのために、図９の例のような構成を有する新たなプロジェクタを用意しなければならず、開発や製造のコストが増大するおそれがあった。
【００５５】
＜単板式プロジェクタデバイスを用いたISL方式の実現＞
そこで、単板式のプロジェクタデバイスを利用してISL方式を実現するようにする。プロジェクタデバイスには、LCOS（Liquid crystal on silicon）（登録商標）と称される反射型液晶パネルを用いたデバイスがある。このLCOSは、シリコン基板上に液晶パネルを作りつけ、基板の裏側から液晶を駆動し、それに光を反射させることで映像を投射するものである。画素電極下に回路が作られているため高い開口率を持つことができるという特徴を有する。このようなLCOSを用いた投影方式として、現在、単板式と３板式の２方式が存在する。３板式では、色毎に１つのディスプレイチップを設け、各ディスプレイチップにおいて生成した各色（例えば赤、緑、青）の画像を光学的に合成して投影する。これに対して、単板式では、１つのディスプレイチップしか設けられず、その１つのディスプレイチップを時分割して各色（例えば赤、緑、青）の画像を生成し、それらを連続的に投影する。
【００５６】
つまり、単板式のプロジェクタデバイスは、動画像の各フレームを複数のサブフレームにフレーム化し、１フレームの投影時間中（１垂直同期期間（1V）中）に、各サブフレームを順次投影する。各サブフレームの画像は、１フレーム分の各サブフレームの画像を投影することにより、その１フレームの画像を投影したことに相当するようになされている。例えば、各サブフレームの画像を、動画像のそれらのサブフレームに対応するフレームの画像の所定の色成分（例えば、赤色成分、緑色成分、青色成分等）の画像としてもよい。その場合、各色成分の画像のサブフレームへの割り当ては、全てのサブフレームの画像を順次投影したときに、視聴するユーザにとって、積分効果により各色成分の画像が混ざって１フレームの画像を投影したように見えるようにすればよい。なお、１フレームに対応するサブフレームの数は任意であるが、その数が多いほど、色の切り替わりを知覚してしまう"カラーブレーキング現象"が起こりにくくなる。
【００５７】
例えば、図１０の場合、単板式のプロジェクタは、１フレームを８つのサブフレーム（Sub-Frame）にサブフレーム化し、その８サブフレームを、１垂直同期期間（1V）中に順次投影する。また、このプロジェクタは、フレームの画像の３原色の成分をサブフレームの画像として順次投影する（カラーシーケンシャル駆動）。より具体的には、プロジェクタは、その８サブフレームとして、フレームの画像の赤色成分の画像を２サブフレーム分投影し、緑色成分の画像を２サブフレーム分投影し、青色成分の画像を２サブフレーム分投影し、再度、緑色成分の画像を２サブフレーム分投影する。フレームの画像の赤色成分の画像のサブフレームを赤色成分のサブフレームとも称する。同様に、フレームの画像の緑色成分の画像のサブフレームを緑色成分のサブフレームとも称し、フレームの画像の青色成分の画像のサブフレームを青色成分のサブフレームとも称する。
【００５８】
つまり、プロジェクタは、サブフレームの画像を、動画像のフレームレートの８倍のレートで投影する。例えば動画像のフレームレートが６０Hzであるとすると、プロジェクタは、４８０Hzでサブフレームを投影するように駆動する。
【００５９】
すなわち、単板式のプロジェクタは、投影する動画像のフレームレートよりも高速に駆動する。このような単板式のプロジェクタデバイスを用いてISL方式の対応点検出を実現することにより、ISL方式のためにプロジェクタデバイスを通常よりも高速駆動させる必要がないので、新たな仕様のプロジェクタデバイスを開発する必要がなく、開発や製造のコストの増大を抑制することができる。つまり、コストの増大を抑制しながら、コンテンツ視聴中の対応点検出が可能なISL方式を実現することができる。
【００６０】
単板式のプロジェクタの場合、上述したように動画像の各フレームをサブフレーム化するが、従来のようにフレームの画像にパタン画像を重畳してサブフレーム化しても、各サブフレームの投影画像の撮像画像からそのパタン画像を抽出することは困難である。また、この方法の場合、パタン画像のポジ画像とネガ画像とを同一のフレームに重畳することはできない。
【００６１】
そこで、パタン画像をサブフレームの画像に重畳するようにする。つまり、１フレームに対応する複数のサブフレームのいずれかの画像に所定のパタンを含むパタン画像を重畳し、各サブフレームの画像を投影部に順次投影させるようにする。パタン画像を重畳するサブフレームの数は、１フレームに対応する複数のサブフレームの全部でなければ任意であり、単数でも複数でも良い。このようにすることにより、単板式のプロジェクタデバイスを用いてISL方式の対応点検出を実現することができる。
【００６２】
なお、高輝度の色成分のサブフレームの画像にパタン画像を重畳するようにしてもよい。例えば、緑色成分のサブフレームの画像に前記パタン画像を重畳するようにしてもよい。図１０の例の場合、プロジェクタは、緑色成分のサブフレームの画像にパタン画像を重畳している。緑色成分は、赤色成分や青色成分に比べて高輝度である。このような高輝度の色成分の画像にパタン画像を重畳することにより、パタン画像の抽出において、パタン画像のS/N比を向上させることができる。つまり、より正確にパタン画像を抽出することができる。
【００６３】
また、上述したように、パタン画像を、ポジ画像とネガ画像として重畳することにより、積分効果により、視聴画像においてパタン画像の不可視性を向上させることができる。
【００６４】
さらに、そのポジ画像とネガ画像とを、互いに同一の色成分の互いに異なるサブフレームの画像に重畳して投影させるようにしてもよい。図１０の例の場合、プロジェクタは、緑色成分のサブフレームの先に投影される２サブフレームの画像にポジ画像を重畳し、緑色成分のサブフレームの後に投影される２サブフレームの画像にネガ画像を重畳している。ポジ画像とネガ画像との色成分が互いに異なると、視聴画像においてパタン画像がユーザに見えやすくなり、差分画像においてフレームの画像が残り易くなる。つまり、ポジ画像とネガ画像とを、互いに同一の色成分の画像に重畳することにより、視聴画像においては、パタン画像の不可視性の低減を抑制することができ、差分画像においては、パタン画像のS/N比の低減を抑制することができる。
【００６５】
なお、パタン画像の絵柄は任意である。つまり、どのようなパタンの画像であってもよい。
【００６６】
そして、カメラを、以上のような単板式のプロジェクタの投影に同期して駆動させ、そのプロジェクタにより投影された投影画像を撮像させる。このようにすることにより、パタン画像が重畳されたサブフレームの投影画像を確実に撮像することができる。図１０の例の場合、カメラは、パタン画像が重畳された緑色成分のサブフレームの投影画像のみを撮像している。このようにすることにより、不要なサブフレームの画像の撮像を省略することができ、不要な撮像による負荷の増大を抑制することができる。
【００６７】
なお、図１０の例の場合、プロジェクタは、パタン画像が重畳された緑色成分の２サブフレームを連続して投影している。このようにすることにより、カメラは、その２サブフレーム分の期間露光することができ、より高感度な撮像を行うことができる。また、１サブフレームの画像を撮像する場合よりも、駆動速度を低減させることができ、撮像に関する負荷の増大を抑制することができる。
【００６８】
＜２．第１の実施の形態＞
＜投影撮像システム＞
図１１は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図１１において、投影撮像システム１００は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、ISL方式による対応点検出を行ったりすることができるシステムである。
【００６９】
図１１に示されるように、投影撮像システム１００は、制御装置１０１、並びに、投影撮像装置１０２−１乃至投影撮像装置１０２−Ｎ（Ｎは任意の自然数）を有する。投影撮像装置１０２−１乃至投影撮像装置１０２−Ｎは、それぞれ、ケーブル１０３−１乃至ケーブル１０３−Ｎを介して制御装置１０１に接続されている。
【００７０】
以下において、投影撮像装置１０２−１乃至投影撮像装置１０２−Ｎを互いに区別して説明する必要が無い場合、投影撮像装置１０２と称する。また、ケーブル１０３−１乃至ケーブル１０３−Ｎを互いに区別して説明する必要が無い場合、ケーブル１０３と称する。
【００７１】
制御装置１０１は、ケーブル１０３を介して各投影撮像装置１０２を制御する。例えば、制御装置１０１は、各投影撮像装置１０２に対して、投影する画像を供給し、その画像を投影させる。また、例えば、制御装置１０１は、各投影撮像装置１０２に対して、投影画像等の撮像を指示し、その撮像画像を取得する。さらに、例えば、制御装置１０１は、投影画像と撮像画像の対応点を検出する。また、例えば、制御装置１０１は、その求めた対応点に基づいて各投影撮像装置１０２の姿勢を推定したり、スクリーン（投影面）を再構成したり、各投影撮像装置１０２に投影させる画像に対して幾何補正を行ったりする。
【００７２】
例えば、制御装置１０１が、この幾何補正として、投影させる画像に対して、例えば、拡大、縮小、変形等の画像処理を行うようにしてもよい。また、例えば、制御装置１０１が、この幾何補正として、例えば、各投影撮像装置１０２の光学系に対して、投影方向や撮像方向等の制御等を行うようにしてもよい。もちろん、これらの両方が行われるようにしてもよい。
【００７３】
投影撮像装置１０２−１乃至投影撮像装置１０２−Ｎは、それぞれ、画像を投影する投影部１１１−１乃至投影部１１１−Ｎ、並びに、被写体を撮像する撮像部１１２−１乃至撮像部１１２−Ｎを有する。以下において、投影部１１１−１乃至投影部１１１−Ｎを互いに区別して説明する必要が無い場合、投影部１１１と称する。また、撮像部１１２−１乃至撮像部１１２−Ｎを互いに区別して説明する必要が無い場合、撮像部１１２と称する。
【００７４】
投影部１１１は、所謂プロジェクタの機能を有する。つまり、投影撮像装置１０２は、投影部１１１を用いてプロジェクタとして駆動することができる。例えば、投影撮像装置１０２は、この投影部１１１を用いて、制御装置１０１から供給される画像を任意の投影面に投影することができる。
【００７５】
撮像部１１２は、所謂カメラの機能を有する。つまり、投影撮像装置１０２は、撮像部１１２を用いてカメラとして駆動することができる。例えば、投影撮像装置１０２は、この撮像部１１２を用いて、投影部１１１により画像が投影された投影面の撮像を行うことができる。なお、投影撮像装置１０２は、さらに、制御装置１０１との通信機能を有している。例えば、投影撮像装置１０２は、その通信機能を利用して、撮像部１１２により得られた撮像画像のデータを制御装置１０１に供給することができる。
【００７６】
投影撮像装置１０２の数は任意であり、単数でも複数でも良い。投影撮像装置１０２が複数の場合、各投影撮像装置１０２は、互いに独立に動作することもできるし、制御装置１０１の制御の下、互いに協働して動作し、図２や図３を参照して説明したような画像の投影を行うこともできる。各投影撮像装置１０２を協働させる場合の投影撮像システム１００は、所謂マルチプロジェクションシステムとして機能し、所謂プロジェクションマッピングを実現することができる。
【００７７】
なお、投影部１１１の、例えば、画像の投影方向や拡大率、投影画像の歪み補正等の、投影に関するパラメータを制御することができるようにしてもよい。また、この投影に関するパラメータの制御のために、例えば、投影部１１１が有する光学系の位置や姿勢、投影部１１１全体の位置や姿勢等を制御可能としてもよい。
【００７８】
また、撮像部１１２の、例えば、画像の撮像方向や画角、撮像画像の歪み補正等の、撮像に関するパラメータを制御することができるようにしてもよい。また、この撮像に関するパラメータの制御のために、例えば、撮像部１１２が有する光学系の位置や姿勢、撮像部１１２全体の位置や姿勢等を制御可能としてもよい。
【００７９】
さらに、このような投影部１１１の制御と撮像部１１２の制御は、互いに独立して行うことができるようにしてもよい。また、投影撮像装置１０２の位置や姿勢を制御可能としてもよい。なお、以上のような投影部１１１の制御、撮像部１１２の制御、投影撮像装置１０２の制御は、制御装置１０１が行うようにしてもよいし、例えば投影撮像装置１０２等、制御装置１０１以外の装置が行うようにしてもよい。
【００８０】
ケーブル１０３は、制御装置１０１と投影撮像装置１０２とを通信可能に接続する任意の通信規格の電気通信ケーブルである。つまり、このケーブル１０３は、制御装置１０１と投影撮像装置１０２との間の通信媒体となり得る。なお、投影撮像システム１００においては、制御装置１０１と投影撮像装置１０２とが互いに通信可能に接続されていればよく、例えば制御装置１０１と投影撮像装置１０２とが無線通信により接続されるようにしてもよい。その場合、ケーブル１０３を省略することができる。
【００８１】
上述したように制御装置１０１は、投影画像と撮像画像との対応点を検出する。つまり、制御装置１０１は、各投影部１１１と各撮像部１１２との間で画素対応関係を求める。その際、制御装置１０１は、オンラインセンシングのISL方式により対応点検出を行う。その際、制御装置１０１は、本技術を適用した方法で対応点検出を行う。
【００８２】
＜制御装置＞
図１２は、本技術を適用した画像処理装置の一実施の形態である制御装置１０１の主な構成例を示すブロック図である。
【００８３】
図１２に示されるように、制御装置１０１は、CPU１２１、ROM１２２、RAM１２３、バス１２４、入出力インタフェース１３０、入力部１３１、出力部１３２、記憶部１３３、通信部１３４、およびドライブ１３５を有する。
【００８４】
CPU１２１、ROM１２２、RAM１２３は、バス１２４を介して相互に接続されている。バス１２４にはまた、入出力インタフェース１３０も接続されている。入出力インタフェース１３０には、入力部１３１、出力部１３２、記憶部１３３、通信部１３４、およびドライブ１３５が接続されている。
【００８５】
CPU１２１は、例えば、ROM１２２や記憶部１３３に記憶されているプログラム等をRAM１２３にロードして実行することにより、各種処理を行う。RAM１２３にはまた、CPU１２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８６】
例えば、CPU１２１は、そのようにプログラム等を実行することにより、対応点の検出に関する処理を行うことができる。
【００８７】
入力部１３１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、バーコードリーダ等であってもよい。また、加速度センサ、光センサ、温度センサ等の各種センサであってもよい。さらに、外部の任意の情報をデータ（信号）として受け付ける入力端子であってもよい。出力部１３２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイやスピーカ等であってもよい。また、任意の情報をデータ（信号）として外部に出力する出力端子であってもよい。
【００８８】
記憶部１３３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。通信部１３４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。この通信部１３４による通信の通信方法や通信規格は任意である。例えば、通信部１３４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。
【００８９】
ドライブ１３５は、自身に装着されたリムーバブルメディア１４１に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア１４１は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ１３５は、自身に装着されたリムーバブルメディア１４１に記憶されている情報（プログラムやデータ等）を読み出し、その情報をCPU１２１やRAM１２３等に供給する。また、例えば、ドライブ１３５は、CPU１２１やRAM１２３等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア１４１に書き込む。
【００９０】
＜制御装置の機能ブロック＞
図１３は、制御装置１０１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図１３に示されるように、プログラムを実行することにより制御装置１０１は、投影処理部１５１、パタン画像投影撮像部１５２、対応点検出部１５３、姿勢推定部１５４、設定部１５５、投影制御部１５６、および撮像制御部１５７の機能を有する。
【００９１】
投影処理部１５１は、コンテンツ（動画像）の投影に関する処理を行う。パタン画像投影撮像部１５２は、パタン画像の投影や撮像に関する処理を行う。対応点検出部１５３は、投影画像と撮像画像との対応点の検出に関する処理を行う。姿勢推定部１５４は、各投影撮像装置１０２（または各投影撮像装置１０２の投影部１１１および撮像部１１２）の姿勢推定等に関する処理を行う。設定部１５５は、幾何補正等に関するパラメータの設定に関する処理を行う。投影制御部１５６は、各投影部１１１の制御に関する処理を行う。撮像制御部１５７は、各撮像部１１２の制御に関する処理を行う。
【００９２】
なお、各ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。
【００９３】
＜パタン画像投影撮像部＞
図１３のパタン画像投影撮像部１５２は、図１４において機能ブロックとして示される機能を有する。つまり、パタン画像投影撮像部１５２は、例えば、制御部１６１、事前情報記憶部１６２、およびパタン記憶部１６３を有する。
【００９４】
制御部１６１は、パタン画像の投影や撮像に関する制御を行う。事前情報記憶部１６２は、キャリブレーション情報等の、予め用意された情報（事前情報）を記憶する。この事前情報は、制御部１６１により適宜読み出され、利用される。パタン記憶部１６３は、パタン画像を記憶する。このパタン画像は、適宜読み出され利用される。なお、パタン記憶部１６３は、パタン画像をポジ画像やネガ画像（つまり、１対のパタン画像）として記憶してもよい。
【００９５】
また例えば、パタン画像投影撮像部１５２は、パタン画像投影部１７０およびパタン画像撮像部１８０を有する。
【００９６】
パタン画像投影部１７０は、パタン画像の投影に関する処理を行う。パタン画像投影部１７０は、画像解析部１７１、サブフレーム化部１７２、パタン重畳部１７３、および投影処理部１７４を有する。
【００９７】
画像解析部１７１には、入力画像が供給される。この入力画像は、投影する画像であり、例えば、コンテンツの動画像のフレーム画像である。画像解析部１７１は、制御部１６１により制御されてこの入力画像を解析し、解析結果を制御部１１に返す。また、画像解析部１７１は、入力画像をサブフレーム化部１７２に供給する。
【００９８】
サブフレーム化部１７２は、制御部１６１により制御されて、入力画像（フレーム画像）を複数のサブフレームにサブフレーム化する。例えば、制御部１６１は、画像解析部１７１の解析結果に応じて入力画像をどのようにサブフレーム化させるかを制御する。サブフレーム化部１７２は、得られた各サブフレームの画像をパタン重畳部１７３に供給する。
【００９９】
パタン重畳部１７３は、制御部１６１により制御されて、パタン画像をパタン記憶部１６３から読み出し、所定のサブフレームの画像にそのパタン画像を重畳する。例えば、制御部１６１は、画像解析部１７１の解析結果に応じて、そのフレームにパタン画像を重畳させるか否かを制御する。また例えば、制御部１６１は、画像解析部１７１の解析結果に応じて、パタン記憶部１６３に記憶されている複数のパタン画像の内のどのパタン画像を重畳させるかを制御する。さらに例えば、制御部１６１は、画像解析部１７１の解析結果に応じて、どのサブフレームの画像にパタン画像を重畳させるかを制御する。パタン重畳部１７３は、各サブフレームの画像を投影処理部１７４に供給する。
【０１００】
投影処理部１７４は、制御部１６１により制御されて、供給された各サブフレームの画像に対して適宜幾何補正を行い、投影撮像装置１０２の投影部１１１に供給し、順次投影させる。例えば、制御部１６１は、画像解析部１７１の解析結果や事前情報記憶部１６２から読み出した事前情報等に応じて、幾何補正を制御する。
【０１０１】
パタン画像撮像部１８０は、パタン画像の撮像に関する処理を行う。パタン画像撮像部１８０は、撮像処理部１８１、差分画像生成部１８２、２値化部１８３、およびパタン抽出部１８４を有する。
【０１０２】
撮像処理部１８１は、制御部１６１により制御されて、投影撮像装置１０２の撮像部１１２に投影画像を撮像させ、その撮像画像を得る。制御部１６１は、撮像処理部１８１の駆動を、投影処理部１７４と同期させる。つまり、各サブフレームの画像の投影のタイミングと撮像のタイミングとを対応させ、所望のサブフレームの投影画像（つまりパタン画像が含まれる投影画像）を撮像させるように制御する。撮像処理部１８１は、撮像により得られた撮像画像を差分画像生成部１８２に供給する。この撮像画像には、パタン画像が重畳されたサブフレームの投影画像が含まれる。
【０１０３】
差分画像生成部１８２は、制御部１６１により制御されて、パタン画像を含む撮像画像の差分画像を生成する。つまり、差分画像生成部１８２は、ポジ画像が重畳されたサブフレームの投影画像を含む撮像画像と、ネガ画像が重畳されたサブフレームの投影画像を含む撮像画像との差分画像を生成する。差分画像生成部１８２は、その差分画像を２値化部１８３に供給する。
【０１０４】
２値化部１８３は、制御部１６１により制御されて、その差分画像を２値化する。２値化部１８３は、２値化した差分画像である２値化画像をパタン抽出部１８４に供給する。
【０１０５】
パタン抽出部１８４は、制御部１６１により制御されて、その２値化画像よりパタン画像を抽出する。抽出されたパタン画像は、対応点検出部１５３による対応点検出に利用される。
【０１０６】
もちろん、パタン画像投影撮像部１５２がこれら以外の機能を有するようにしてもよい。なお、各ブロックは、図１４において矢印で示される関係以外にも、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。
【０１０７】
＜投影撮像装置＞
図１５は、投影撮像装置１０２の主な構成例を示すブロック図である。図１５に示されるように、投影撮像装置１０２は、制御部２０１、投影部１１１、撮像部１１２、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５を有する。
【０１０８】
制御部２０１は、例えば、CPU、ROM、RAM等を有し、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。制御部２０１は、例えば制御装置１０１の制御に基づいて、それらの処理を行う。例えば、制御部２０１は、制御装置１０１の制御に従って、制御装置１０１から供給される画像を、通信部２１４を介して取得し、それを投影部１１１に供給し、投影させる。また、例えば、制御部２０１は、制御装置１０１の制御に従って、撮像部１１２に投影面を撮像させ、撮像画像を取得し、それを、通信部２１４を介して制御装置１０１に供給する。
【０１０９】
投影部１１１は、制御部２０１により制御されて、画像の投影に関する処理を行う。例えば、投影部１１１は、制御部２０１から供給される画像を投影撮像装置１０２の外部（例えば投影面等）に投影する。投影部１１１は、例えばLCOSを用いた単板式のデバイスであり、動画像の各フレームの画像を色成分毎にサブフレーム化して、各色成分のサブフレームの画像を順次投影する（カラーシーケンシャル駆動する）。なお、投影部１１１は、動画像の各フレームをサブフレーム化し、シーケンシャルに各色成分の画像を投影することができるものであればどのようなデバイスであってもよい。
【０１１０】
撮像部１１２は、制御部２０１により制御されて、装置外部（例えば投影面等）の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部２０１に供給する。撮像部１１２は、例えばCMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ、CCD（Charge Coupled Device）を用いたイメージセンサ等を有し、そのイメージセンサによって被写体からの光を光電変換して、撮像画像の電気信号（データ）を生成する。例えば、撮像部１１２は、投影部１１１と同期して駆動し、投影部１１１により投影面に投影された、パタン画像が重畳されたサブフレームの投影画像を撮像する。なお、撮像部１１２は、投影画像を撮像することができるものであればどのようなデバイスであってもよい。
【０１１１】
入力部２１１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子、加速度センサ、光センサ、温度センサ等の各種センサ等であってもよい。出力部２１２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイ、スピーカ、出力端子等であってもよい。
【０１１２】
記憶部２１３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。
【０１１３】
通信部２１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。例えば、通信部２１４は、通信ケーブル１０３に接続され、通信ケーブル１０３を介して接続される制御装置１０１と通信を行うことができる。この通信部２１４による通信の通信方法や通信規格は任意である。例えば、通信部２１４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。
【０１１４】
ドライブ２１５は、自身に装着されたリムーバブルメディア２２１に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア２２１は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ２１５は、自身に装着されたリムーバブルメディア２２１に記憶されている情報（プログラムやデータ等）を読み出し、その情報を制御部２０１等に供給する。また、例えば、ドライブ２１５は、制御部２０１等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア２２１に書き込む。
【０１１５】
＜設定処理の流れ＞
次に、このような構成の投影撮像システム１００において実行される処理について説明する。上述したように、投影撮像システム１００の制御装置１０１は、各投影撮像装置１０２を制御し、コンテンツ（動画像）を投影する。
【０１１６】
例えば、制御装置１０１の投影処理部１５１は、コンテンツ（動画像）の各フレームの画像から、各投影撮像装置１０２（投影部１１１）に供給する画像を生成する。例えば、投影処理部１５１は、コンテンツ（動画像）のフレームの画像を分割したり、設定部１５５により後述するように設定されたパラメータを用いて、変形、拡大、縮小、移動等の任意の幾何補正を行ったり、サブフレーム化したりして、各投影撮像装置１０２（投影部１１１）に供給する画像を生成する。投影処理部１５１は、生成した各サブフレームの画像を投影撮像装置１０２（投影部１１１）に供給し、投影させる。
【０１１７】
その投影中の、所定のタイミングにおいて、または、指示を受ける等の所定のイベントの発生に基づいて、制御装置１０１は、幾何補正についての設定をやり直す、すなわち、幾何補正に関するパラメータの再設定を行う。制御装置１０１は、この幾何補正に関するパラメータの設定を、ISL方式のオンラインセンシングにより、コンテンツ（動画像）を投影しながら行う。
【０１１８】
このようにして画像投影中に幾何補正に関するパラメータが更新されると、制御装置１０１は、それ以降の画像を、その更新されたパラメータに基づいて幾何補正してから投影する。
【０１１９】
このような幾何補正に関するパラメータの設定を行うために制御装置１０１において実行される設定処理の流れの例を、図１６のフローチャートを参照して説明する。
【０１２０】
設定処理が開始されると、制御装置１０１のパタン画像投影撮像部１５２等は、ステップＳ１０１において、各投影撮像装置１０２を制御し、パタン画像の投影や撮像を行い、各投影部１１１により投影された各投影画像を各撮像部１１２が撮像して得られた各撮像画像について、その撮像画像含まれるパタン画像を抽出する。詳細については後述する。
【０１２１】
ステップＳ１０２において、対応点検出部１５３は、ステップＳ１０１において各撮像画像より抽出されたパタン画像を用いて、投影画像と撮像画像との間の対応点の検出を行う。
【０１２２】
ステップＳ１０３において、姿勢推定部１５４は、ステップＳ１０２において検出された対応点を用いて、各投影部１１１および各撮像部１１２（または各投影撮像装置１０２）の姿勢推定やスクリーン（投影面）再構成を行う。スクリーン再構成とは、投影面であるスクリーンの形状を設定する処理である。
【０１２３】
ステップＳ１０４において、設定部１５５は、ステップＳ１０３において行われた姿勢推定やスクリーン再構成の処理結果に基づいて、必要に応じて、各投影部１１１から投影させる画像に対する幾何補正に関するパラメータを設定する。
【０１２４】
ステップＳ１０４の処理が終了すると、設定処理が終了する。
【０１２５】
投影処理部１５１や投影処理部１７４は、このようにして設定された幾何補正に関するパラメータを用いて、サブフレームの画像に対する幾何補正を行う。
【０１２６】
＜パタン画像投影撮像処理の流れ＞
次に、図１７および図１８のフローチャートを参照して、図１６のステップＳ１０１において実行されるパタン画像投影撮像処理の流れの例を説明する。
【０１２７】
パタン画像投影撮像処理が開始されると、投影制御部１５６は、ステップＳ１２１において、処理対象とする投影部（処理対象投影部）を、未処理の投影部１１１の中から選択する。
【０１２８】
ステップＳ１２２において、画像解析部１７１は、コンテンツの動画像の未処理のフレームの中から処理対象とするフレームを選択し、その処理対象のフレームの画像（入力画像とも称する）を解析する。
【０１２９】
ステップＳ１２３において、サブフレーム化部１７２は、その入力画像をサブフレーム化する。
【０１３０】
ステップＳ１２４において、制御部１６１は、処理対象とするサブフレームの画像（処理対象サブフレーム画像）を、未処理のサブフレームの画像の中から選択する。
【０１３１】
ステップＳ１２５において、パタン重畳部１７３は、処理対象サブフレーム画像にパタン画像を重畳するか否かを判定する。重畳すると判定された場合、処理はステップＳ１２６に進む。
【０１３２】
ステップＳ１２６において、パタン重畳部１７３は、処理対象投影部が投影する処理対象サブフレーム画像に、パタン記憶部１６３から読み出したパタン画像を重畳する。
【０１３３】
ステップＳ１２７において、投影処理部１７４は、ステップＳ１２６においてパタン画像が重畳された処理対象サブフレーム画像を処理対象投影部に供給し、投影させる。その際、投影処理部１７４は、適宜、処理対象サブフレーム画像に対して幾何補正を行う。
【０１３４】
ステップＳ１２８において、撮像制御部１５７は、処理対象とする撮像部（処理対象撮像部）を未処理の撮像部１１２の中から選択する。
【０１３５】
ステップＳ１２９において、撮像処理部１８１は、ステップＳ１２７の処理対象サブフレーム画像の投影タイミングに応じたタイミングで、処理対象撮像部に投影画像を撮像させる。つまり、撮像処理部１８１は、処理対象撮像部に、ステップＳ１２７において投影された投影画像（処理対象サブフレーム画像）を撮像させて、その投影画像の少なくとも一部を含む撮像画像を取得する。
【０１３６】
ステップＳ１３０において、撮像制御部１５７は、全ての撮像部１１２に撮像させたか否かを判定する。未処理の撮像部１１２が存在すると判定された場合、処理はステップＳ１２８に戻る。また、ステップＳ１２８において、全ての撮像部１１２に撮像させたと判定された場合、処理は図１８に進む。
【０１３７】
つまり、ステップＳ１２８乃至ステップＳ１３０の各処理が、各撮像部１１２について実行される。なお、撮像範囲内に処理対象サブフレーム画像の投影画像が含まれない撮像部１１２については、これらの処理を省略するようにしてもよい。
【０１３８】
また、図１７のステップＳ１２５において、処理対象サブフレーム画像にパタン画像を重畳しないと判定された場合、処理はステップＳ１３１に進む。
【０１３９】
ステップＳ１３１において、投影処理部１７４は、処理対象サブフレーム画像を処理対象投影部に供給し、投影させる。その際、投影処理部１７４は、適宜、処理対象サブフレーム画像に対して幾何補正を行う。なお、この処理対象サブフレーム画像には、パタン画像が重畳されていない。処理対象サブフレーム画像が投影されると、処理は図１８に進む。
【０１４０】
パタン画像が重畳された処理対象サブフレーム画像を投影し、全ての撮像部１１２に撮像させるか、または、パタン画像が重畳されていない処理対象サブフレーム画像を投影すると、図１８のステップＳ１４１において、制御部１６１は、処理対象のフレームに対応する全てのサブフレームを処理したか否かを判定する。未処理のサブフレームが存在すると判定された場合、処理は図１７のステップＳ１２４に戻る。また、図１８のステップＳ１４１において、全てのサブフレームが処理されたと判定された場合、処理はステップＳ１４２に進む。つまり、図１７のステップＳ１２４乃至ステップＳ１３１の各処理、並びに、図１８のステップＳ１４１の処理が、処理対象のフレームに対応する各サブフレームについて実行される。
【０１４１】
処理対象のフレームに対応する全てのサブフレームについて投影が終了すると、ステップＳ１４２において、制御部１６１は、処理対象とする撮像部（処理対象撮像部）を未処理の撮像部１１２の中から選択する。
【０１４２】
ステップＳ１４３において、差分画像生成部１８２は、ステップＳ１４２において選択された処理対象撮像部の撮像により得られた撮像画像同士の差分画像を生成する。すなわち、差分画像生成部１８２は、パタン画像のポジ画像の投影画像が含まれる撮像画像と、ネガ画像の投影画像が含まれる撮像画像との差分画像を生成する。
【０１４３】
ステップＳ１４４において、２値化部１８３は、ステップＳ１４３において生成された差分画像を２値化して２値化画像を生成する。
【０１４４】
ステップＳ１４５において、パタン抽出部１８４は、ステップＳ１４４において生成された２値化画像に含まれるパタン画像（一部または全部）を抽出する。
【０１４５】
ステップＳ１４６において、制御部１６１は、全ての撮像部１１２についてこれらの処理を行ったか否かを判定する。未処理の撮像部１１２が存在すると判定された場合、処理はステップＳ１４２に戻る。また、ステップＳ１４６において全ての撮像部１１２についてこれらの処理が行われたと判定された場合、処理はステップＳ１４７に進む。
【０１４６】
つまり、ステップＳ１４２乃至ステップＳ１４６の各処理が、各撮像部１１２について実行される。なお、図１７のステップＳ１２９において撮像が行われなかった（撮像画像が存在しない）撮像部１１２については、これらの処理を省略するようにしてもよい。
【０１４７】
処理対象投影部が投影した投影画像を全ての撮像部１１２に撮像させ、得られた各撮像画像についてパタン画像が抽出されると、ステップＳ１４７において、投影制御部１５６は、全ての投影部１１１について処理を行ったか否かを判定する。未処理の投影部１１１が存在すると判定された場合、処理は図１７のステップＳ１２１に戻る。つまり、図１７のステップＳ１２１乃至図１８のステップＳ１４７の各処理が、各投影部１１１について実行される。
【０１４８】
そして、図１８のステップＳ１４７において、全ての投影部１１１にパタン画像を投影させた、すなわち、全ての投影部１１１が投影した投影画像を全ての撮像部１１２に撮像させ、得られた各撮像画像についてパタン画像が抽出されたと判定された場合、パタン画像投影撮像処理が終了し、処理は図１６に戻る。
【０１４９】
上述したように、各撮像画像において抽出されたパタン画像を用いて対応点検出が行われる。
【０１５０】
以上のように各処理を実行することにより、カラーシーケンシャル駆動する単板式のデバイスを用いてISL方式のオンラインセンシングを実現することができ、コストの増大を抑制しながら、コンテンツ視聴中の対応点検出を実現させることができる。
【０１５１】
＜パタン画像＞
なお、動画像に重畳するパタン画像は、どのようなパタン（絵柄）であってもよい。不可視性が高く、かつ、検出がより容易なパタンの方が好ましい。また、パタンの輝度値変化方向が互いに反転している１対のパタン画像（すなわち、ポジ画像とネガ画像）でなくてもよい。例えば、不可視性の低い１つのパタン画像（すなわち、ポジ画像のみ）を動画像に重畳するようにしてもよい。その場合、１フレームに対応する複数のサブフレームの内の一部のサブフレームの画像にそのパタン画像を重畳すればよい。パタン画像が重畳されたサブフレームの画像と、パタン画像が重畳されていないサブフレームの画像との差分を求めることにより、パタン画像を抽出することができる。つまり、この場合も、上述した１対のパタン画像を重畳する場合と基本的に同様の方法により、対応点を求めることができる。
【０１５２】
＜サブフレーム＞
また、以上においては、サブフレーム化の際に、フレームの画像の赤色成分、緑色成分、青色成分をそれぞれサブフレーム化するように説明したが、サブフレーム化する色成分は任意である。例えば、シアン、マゼンタ、イエロー等であってもよい。また、色数は任意であり、２色以下であってもよいし、４色以上であってもよい。例えば、赤色、緑色、青色の他に青緑色が含まれるようにしてもよいし、白色や黄色が含まれるようにしてもよい。また、近赤外光、赤外光、紫外光等のように、可視光外の帯域成分が含まれるようにしてもよい。
【０１５３】
＜直前のサブフレーム＞
上述したように、色成分が互いに異なる複数の画像をサブフレームとして連続して投影する場合、実際にはディスプレイデバイスの応答性等の要因によって残像が生じ、あるサブフレームに同期して撮像を行ったとしても、その撮像画像に直前に投影されたサブフレームの投影画像も含まれてしまう可能性がある。例えば、ポジ画像を重畳した緑色成分のサブフレームの直前に赤色成分のサブフレームが投影され、ネガ画像を重畳した緑色成分のサブフレームの直前に青色成分のサブフレームが投影される場合、ポジ画像を重畳した緑色成分のサブフレームの画像とネガ画像を重畳した緑色成分のサブフレームの画像との差分画像に、パタン画像だけでなく、赤色成分の画像や青色成分の画像も残ってしまう可能性があり、十分に高精度にパタン画像を抽出することが困難になる可能性がある。
【０１５４】
そこで、１対のパタン画像を重畳する各サブフレームの直前に投影されるサブフレームの画像が互いに同一の色成分の画像となるように（そのような投影順となるように）フレームをサブフレーム化するようにしてもよい。このようにすることにより、ポジ画像が重畳されたサブフレームとネガ画像が重畳されたサブフレームのそれぞれの直前のサブフレームの色成分が互いに異なる場合よりも、差分画像にフレームの画像が残り難くする（すなわち、差分画像に残るフレームの画像の量を低減させる）ことができる。
【０１５５】
＜フィルタ＞
また、撮像部１１２に、パタン画像が重畳されたサブフレームの色成分のみを透過するフィルタを設け、そのフィルタを介して投影画像を撮像させ、撮像画像を得るようにしてもよい。このようにすることにより、撮像画像の不要な色成分を低減させることができる。撮像画像に、直前のサブフレームの画像が残像成分として含まれ難くする（すなわち、撮像画像に含まれる直前のサブフレームの画像の量を低減させる）ことができる。
【０１５６】
＜キャリブレーション＞
また、事前にキャリブレーションを行い、そのキャリブレーションによって撮像画像や差分画像の残存成分を低減させるようにしてもよい。例えば、入力画像の各色成分の平均値とその残像成分との関係を事前に求め、その関係に基づいて直前のサブフレームの画像から残存成分を推定し、その残存成分を撮像画像や差分画像から除去するようにしてもよい。
【０１５７】
＜３．第２の実施の形態＞
＜センシング時動作モード＞
ところで、カラーブレーキングをより低減させるには、各色成分のサブフレームの順序がよりランダム性を有することが求められる。また、各色成分の切り替えは高速である程望ましい。
【０１５８】
図１０の例の場合、色成分の投影順が規則性を有するだけでなく、色成分の切り替えのレートがサブフレームレートの２分の１となってしまう。コンテンツ（動画像）全体に対して、このような投影を行うとカラーブレーキングが生じやすく、視聴するユーザにとっての主観画質が低減してしまう可能性がある。これに対して、図１９の上段（一般動作モード）に示される順は、各色成分の画像の並びが図１０の例よりも複雑（ランダム）であり、かつ、各色成分の切り替え回数がより増大している。したがって、カラーブレーキングを抑制することができる。
【０１５９】
しかしながら、ランダム性の高い投影順では、上述したようにパタン画像の抽出に不向きとなる可能性がある。例えば、パタン画像が重畳されるサブフレームの直前に投影されるフレームの色成分が揃わなかったり、高輝度の色成分のサブフレームが連続しなかったりする可能性がある。
【０１６０】
そこで、対応点検出を行わないフレームは、一般動作モードとして、よりカラーブレーキングを低減させる投影順となるようにサブフレーム化し、パタン画像を重畳して対応点の検出を行うフレームは、センシング時動作モードとして、より正確なパタン画像の抽出が可能となる投影順となるようにサブフレーム化するようにしてもよい。つまり、対応点検出を行うフレームと対応点検出を行わないフレームとの間で、サブフレームの投影順が互いに異なるようにしてもよい。
【０１６１】
このようにすることにより、カラーブレーキングの発生を抑制しながら、単板式の画像投影を利用した対応点検出を実現することができる。すなわち、主観画質の低減およびコストの増大を抑制しながらコンテンツ視聴中の対応点検出を実現させることができる。
【０１６２】
例えば、図１９の場合、一般動作モードにおいては、赤色、緑色、緑色、赤色、緑色、青色、青色、緑色の順でサブフレームが投影されるが、センシング時動作モードにおいては、赤色、青色、緑色、緑色、赤色、青色、緑色、緑色の順でサブフレームが投影される。つまり、センシング時動作モードのサブフレームの並びは、一般動作モードの場合よりもランダム性は低減するものの、パタン画像が重畳される緑色成分の４つのサブフレームが２サブフレームずつ連続している。
【０１６３】
上述した対応点検出は、任意のタイミング（フレーム）において行うことができるが、常時（全てのフレームについて）行わなくてもよい。一般的には、ごく少数のフレームにおいて行えばよい。つまり、センシング時動作モードにおいてランダム性を低減させてもカラーブレーキングは起こり難く、主観画質の低減を抑制することができる。
【０１６４】
そして、パタン画像が重畳される緑色成分のサブフレームが連続することにより、第１の実施の形態において説明したように、撮像の露光時間を長くすることができるだけでなく、カメラの駆動をサブフレームレートよりも低速にすることができる。
【０１６５】
また、図１９の例の場合、ポジ画像が重畳されるサブフレームが３番目と４番目に配置され、ネガ画像が重畳されるサブフレームが７番目と８番目に配置されている。つまり、８サブフレームの中で、ポジ画像が重畳されるサブフレーム群と、ネガ画像が重畳されるサブフレーム群とがより分散するように配置されている。したがって、２サブフレームのブランク期間を挟んで２サブフレーム露光するといったように、カメラの駆動をより安定化・均一化させることができ、カメラへの負荷を抑制することができる。
【０１６６】
さらに、図１９の例の場合、ポジ画像が重畳される２サブフレームの直前のサブフレームと、ネガ画像が重畳される２サブフレームの直前のサブフレームとが、どちらも青色成分とされている。したがって、第１の実施の形態において説明したように、差分画像に残る残像成分の抑制がより容易になる。
【０１６７】
もちろん、一般動作モードやセンシング時動作モードのサブフレームの投影順は、それぞれ任意であり、図１９の例に限定されない。
【０１６８】
なお、この場合も、投影撮像システム１００の構成は、第１の実施の形態と基本的に同様である。制御装置１０１や投影撮像装置１０２の構成も、第１の実施の形態と基本的に同様である。制御装置１０１実現する機能ブロックも、第１の実施の形態と基本的に同様である。
【０１６９】
＜画像投影処理の流れ＞
この場合の、コンテンツ（動画像）を投影するために制御装置１０１により実行される画像投影処理の流れの例を、図２０のフローチャートを参照して説明する。
【０１７０】
画像投影処理が開始されると、制御装置１０１の投影制御部１５６は、ステップＳ２０１において、動作モードが一般動作モードであるか否かを判定する。処理対象のフレームにおいて、コンテンツ（動画像）の投影のみを行い、対応点検出を行わないと判定された場合、処理はステップＳ２０１に進む。
【０１７１】
その場合、制御装置１０１は、投影撮像システム１００の動作モードを一般動作モードとして、ステップＳ２０２乃至ステップＳ２０４の各処理を行う。すなわち、投影処理部１５１は、ステップＳ２０１において入力画像を解析し、ステップＳ２０２において処理対象フレームを一般動作モード用のサブフレーム構成にサブフレーム化し、ステップＳ２０３において各サブフレームの画像を、投影部１１１から順次投影させる。投影処理部１５１は、全ての投影部１１１に対してこれらの処理を行う。つまり、各投影部１１１に、それぞれの投影部１１１用の画像を投影させる。ステップＳ２０４の処理が終了すると処理はステップＳ２０６に進む。
【０１７２】
また、ステップＳ２０１において、処理対象のフレームにおいて、対応点検出を行うと判定された場合、処理はステップＳ２０５に進む。この場合、制御装置１０１は、投影撮像システム１００の動作モードをセンシング時動作モードとして、ステップＳ２０５の処理を行う。すなわち、パタン画像投影撮像部１５２乃至撮像制御部１５７は、ステップＳ２０５において、設定処理を行う。この設定処理は、図１６のフローチャートを参照して説明した第１の実施の形態の場合と同様の流れで行われる。ただし、設定処理の中で行われるパタン画像投影撮像処理の流れについては後述する。ステップＳ２０５の処理が終了すると、処理はステップＳ２０６に進む。
【０１７３】
ステップＳ２０６において、投影処理部１５１は、画像投影処理を終了するか否かを判定する。動画像の投影を継続しており、画像投影処理を終了せずに次のフレームの投影を行うと判定された場合、処理はステップＳ２０１に戻る。つまり、次のフレームを処理対象として、それ以降の処理が行われる。ステップＳ２０６において、動画像の投影を終了すると判定された場合、画像投影処理が終了する。
【０１７４】
＜パタン画像投影撮像処理の流れ＞
上述したように図２０のステップＳ２０５の設定処理は、図１６のフローチャートを参照して説明したような流れで行われる。
【０１７５】
図２１および図２２のフローチャートを参照して、この場合の、図１６のステップＳ１０１において実行されるパタン画像投影撮像処理の流れの例を説明する。この場合も各処理は、図１７および図１８のフローチャートを参照して説明した場合と基本的に同様に行われる。
【０１７６】
図２１のステップＳ２２１およびステップＳ２２２の各処理が、ステップＳ１２１およびステップＳ１２２（図１７）の各処理の場合と同様に実行される。
【０１７７】
ただし、ステップＳ２２３において、サブフレーム化部１７２は、入力画像を、センシング時動作モード用のサブフレーム構成にサブフレーム化する。
【０１７８】
ステップＳ２２４乃至ステップＳ２３１の各処理は、ステップＳ１２４乃至ステップＳ１３１（図１７）の各処理の場合と同様に実行される。
【０１７９】
また、図２２のステップＳ２４１乃至ステップＳ２４７の各処理は、ステップＳ１４１乃至ステップＳ１４７（図１８）の各処理の場合と同様に実行される。
【０１８０】
以上のように各処理を実行することにより、カラーブレーキングの発生を抑制しながら、カラーシーケンシャル駆動する単板式のデバイスを用いてISL方式のオンラインセンシングを実現することができ、コストの増大を抑制しながら、コンテンツ視聴中の対応点検出を実現させることができる。
【０１８１】
＜４．第３の実施の形態＞
＜投影撮像システム、投影撮像装置の他の構成例＞
なお、本技術を適用した投影撮像システムの構成例は、上述した例に限定されない。例えば図２３のＡに示される投影撮像システム４００のように、制御装置１０１並びに各投影撮像装置１０２がネットワーク４０１を介して互いに接続されるようにしてもよい。
【０１８２】
ネットワーク４０１は、任意の通信網である。ネットワーク４０１において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク４０１は、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク４０１に含まれるようにしてもよい。
【０１８３】
制御装置１０１並びに各投影撮像装置１０２は、このネットワーク４０１に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。なお、各装置の数、筐体の形状や大きさ、配置位置等は任意である。
【０１８４】
制御装置１０１並びに各投影撮像装置１０２は、ネットワーク４０１を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、制御装置１０１並びに各投影撮像装置１０２は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。
【０１８５】
このような構成の投影撮像システム４００の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
【０１８６】
また、例えば図２３のＢに示される投影撮像システム４１０のように、投影部１１１と撮像部１１２とが互いに異なる装置として構成されるようにしてもよい。投影撮像システム４１０は、投影撮像装置１０２の代わりに、投影装置４１１−１乃至投影装置４１１−Ｎ（Ｎは任意の自然数）、並びに、撮像装置４１２−１乃至撮像装置４１２−Ｍ（Ｍは任意の自然数）を有する。投影装置４１１−１乃至投影装置４１１−Ｎは、それぞれ、投影部１１１（投影部１１１−１乃至投影部１１１−Ｎ）を有し、画像の投影を行う。撮像装置４１２−１乃至撮像装置４１２−Ｍは、それぞれ、撮像部１１２（撮像部１１２−１乃至撮像部１１２−Ｍ）を有し、投影面（投影部１１１が投影した投影画像）の撮像を行う。
【０１８７】
投影装置４１１−１乃至投影装置４１１−Ｎを互いに区別して説明する必要が無い場合、投影装置４１１と称する。撮像装置４１２−１乃至撮像装置４１２−Ｍを互いに区別して説明する必要が無い場合、撮像装置４１２と称する。
【０１８８】
各投影装置４１１並びに各撮像装置４１２は、それぞれ制御装置１０１と通信可能に接続されており、有線通信または無線通信またはその両方により制御装置１０１と通信を行う（情報を授受する）ことができる。なお、各投影装置４１１並びに各撮像装置４１２が、制御装置１０１を介して、他の投影装置４１１若しくは他の撮像装置４１２またはその両方と通信を行うことができるようにしてもよい。
【０１８９】
また、各装置の数、筐体の形状や大きさ、配置位置等は任意である。また、図２３のＡの例のように、各装置が、ネットワーク４０１等のような他の設備（装置や伝送路）を介して互いに通信可能に接続されるようにしてもよい。
【０１９０】
このような構成の投影撮像システム４１０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
【０１９１】
また、例えば図２４のＡに示される投影撮像システム４２０のように、制御装置１０１を省略するようにしてもよい。図２４のＡに示されるように、投影撮像システム４２０は、投影撮像装置４２１−１乃至投影撮像装置４２１−Ｎ（Ｎは任意の自然数）を有する。投影撮像装置４２１−１乃至投影撮像装置４２１−Ｎを互いに区別して説明する必要が無い場合、投影撮像装置４２１と称する。各投影撮像装置４２１は、通信ケーブル４２２を介して互いに通信可能に接続されている。なお、各投影撮像装置４２１が無線通信によって互いに通信可能に接続されるようにしてもよい。
【０１９２】
投影撮像装置４２１−１乃至投影撮像装置４２１−Ｎは、それぞれ、制御部４２３−１乃至制御部４２３−Ｎを有する。制御部４２３−１乃至制御部４２３−Ｎを互いに区別して説明する必要が無い場合、制御部４２３と称する。制御部４２３は、制御装置１０１と同様の機能を有し、同様の処理を行うことができる。
【０１９３】
つまり、この投影撮像システム４２０の場合、上述した制御装置１０１において行われる処理が、投影撮像装置４２１（の制御部４２３）において実行される。なお、いずれかの投影撮像装置４２１（の制御部４２３）が、制御装置１０１において行われる処理の全てを実行するようにしてもよいし、複数の投影撮像装置４２１（の制御部４２３）が、情報を授受し合う等して協働して処理を実行するようにしてもよい。
【０１９４】
このような構成の投影撮像システム４２０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
【０１９５】
また、例えば図２４のＢに示されるように、投影撮像システム１００が１つの装置として構成されるようにしてもよい。図２４のＢに示される投影撮像装置４３０は、投影部１１１（投影部１１１−１乃至投影部１１１−Ｎ（Ｎは任意の自然数））、撮像部１１２（撮像部１１２−１乃至撮像部１１２−Ｍ（Ｍは任意の自然数））、並びに、制御部４２３を有する。
【０１９６】
投影撮像装置４３０において、制御部４２３は、上述した制御装置１０１において行われる処理を実行することにより、各投影部１１１並びに各撮像部１１２を制御して対応点の検出等を行う。
【０１９７】
したがって、このような構成の投影撮像装置４３０の場合も、投影撮像システム１００の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
【０１９８】
＜５．その他＞
＜本技術の適用例＞
上述した実施形態に係るシステムや装置は、任意のシステムや電子機器に応用され得る。また、本技術は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野の画像処理システムや画像処理装置に適用することができる。
【０１９９】
例えば、本技術は、鑑賞の用に供される画像を投影・撮像するシステムにも適用することができる。また、例えば、本技術は、交通の用に供されるシステムにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムや、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステム等にも適用することができる。
【０２００】
＜ソフトウェア＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２０１】
例えば図１２の制御装置１０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１４１により構成される。その場合、例えば、リムーバブルメディア１４１をドライブ１３５に装着することにより、そのリムーバブルメディア１４１に記憶されているこのプログラムを読み出させ、記憶部１３３にインストールさせることができる。
【０２０２】
また例えば図１５の投影撮像装置１０２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア２２１により構成される。その場合、例えば、リムーバブルメディア２２１をドライブ２１５に装着することにより、そのリムーバブルメディア２２１に記憶されているこのプログラムを読み出させ、記憶部２１３にインストールさせることができる。
【０２０３】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図１２の制御装置１０１の場合、プログラムは、通信部１３４で受信し、記憶部１３３にインストールすることができる。また、例えば図１５の投影撮像装置１０２の場合、プログラムは、通信部２１４で受信し、記憶部２１３にインストールすることができる。
【０２０４】
その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図１２の制御装置１０１の場合、プログラムは、記憶部１３３やROM１２２等に予めインストールしておくこともできる。また、例えば図１５の投影撮像装置１０２の場合、プログラムは、記憶部２１３や制御部２０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。
【０２０５】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０２０６】
また、上述した各ステップの処理は、上述した各装置、または、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
【０２０７】
＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０８】
例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２０９】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２１０】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２１１】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１２】
また、本技術は、装置やシステムとして実施するだけでなく、装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０２１３】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
【０２１４】
なお、本技術は以下のような構成も取ることができる。
（１）  １フレームに対応する複数のサブフレームのいずれかの画像に所定のパタンを含むパタン画像を重畳し、各サブフレームの画像を投影部に順次投影させる投影制御部と、
前記投影制御部による投影の制御に同期し、前記パタン画像が重畳されたサブフレームの投影画像を撮像部に撮像させる撮像制御部と、
前記撮像制御部に制御されて前記撮像部により撮像されて得られた撮像画像に含まれる前記パタン画像に基づいて、投影画像と撮像画像との対応点を検出する対応点検出部と
を備える画像処理装置。
（２）  前記１フレームに対応する複数のサブフレームのそれぞれの画像は、前記１フレームの画像の所定の色成分の画像であり、前記複数のサブフレームの画像を順次投影することにより、前記１フレームの画像を投影したことに相当するようになされている
（１）に記載の画像処理装置。
（３）  前記投影制御部は、高輝度の色成分のサブフレームの画像に前記パタン画像を重畳する
（１）または（２）に記載の画像処理装置。
（４）  前記投影制御部は、緑色成分のサブフレームの画像に前記パタン画像を重畳する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記複数のサブフレームは、赤色成分の２サブフレーム、青色成分の２サブフレーム、緑色成分の４サブフレームからなる、８サブフレームである
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）  前記投影制御部は、パタンの輝度値変化方向が互いに反転している１対のパタン画像を、前記複数のサブフレームの内の、互いに異なるサブフレームの画像に重畳して投影させ、
前記撮像制御部は、前記１対のパタン画像のそれぞれが重畳されたサブフレームの投影画像を撮像させる
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）  前記１フレームに対応する複数のサブフレームのそれぞれの画像は、前記１フレームの画像の所定の色成分の画像であり、前記複数のサブフレームの画像を順次投影することにより、前記１フレームの画像を投影したことに相当するようになされており、
前記投影制御部は、前記１対のパタン画像を、前記複数のサブフレームの内の、互いに同一の色成分の互いに異なるサブフレームの画像に重畳して投影させるように構成される
（１）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記投影制御部は、前記１フレームを前記複数のサブフレームにサブフレーム化し、得られた前記複数のサブフレームの内の、互いに同一の色成分の互いに異なるサブフレームの画像に前記１対のパタン画像を重畳して投影させる
（１）乃至（７）のいずれかに記載の画像処理装置。
（９）  前記投影制御部は、前記１フレームを、前記１対のパタン画像を重畳する各サブフレームの直前に投影されるサブフレームの画像が互いに同一の色成分の画像となるような投影順の前記複数のサブフレームにサブフレーム化する
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  前記投影制御部は、前記１フレームを、前記パタン画像を重畳しないフレームに対応するサブフレームの投影順とは異なる投影順の前記複数のサブフレームにサブフレーム化する
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）  前記投影制御部は、前記対応点検出部により検出された対応点基づいて設定されたパラメータを用いて各サブフレームの画像に対して幾何補正を行い、幾何補正された画像を前記投影部に順次投影させる
（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）  前記撮像制御部は、前記撮像部に撮像させて得られた、前記サブフレームの投影画像の撮像画像に含まれる前記パタン画像を抽出する
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）  前記撮像制御部は、パタンの輝度値変化方向が互いに反転している１対のパタン画像のそれぞれを含む前記撮像画像同士の差分画像を生成し、前記差分画像に含まれる前記パタン画像を抽出する
（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）  前記撮像制御部は、前記差分画像を２値化し、得られた２値化画像に含まれる前記パタン画像を抽出する
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）  前記投影制御部は、複数の投影部に前記パタン画像が重畳されたサブフレームの画像を投影させ、
前記撮像制御部は、各投影部より投影された、前記パタン画像が重畳されたサブフレームの投影画像を、複数の撮像部に撮像させ、
前記対応点検出部は、各投影部により投影される投影画像と、各撮像部により撮像される撮像画像との対応点を検出する
（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）  前記対応点検出部により検出された前記対応点を用いて姿勢推定を行う姿勢推定部をさらに備える
（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）  前記姿勢推定部により推定された姿勢に基づいて、投影画像の幾何補正に関する設定を行う設定部をさらに備える
（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８）  投影画像を投影する投影部をさらに備える
（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９）  投影画像を撮像して撮像画像を得る撮像部をさらに備える
（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０）  １フレームに対応する複数のサブフレームのいずれかに所定のパタンを含むパタン画像を重畳し、各サブフレームを投影部に順次投影させ、
その投影の制御に同期し、前記投影部により投影された、前記パタン画像が重畳されたサブフレームの投影画像を撮像部に撮像させ、
その撮像の制御に従って前記撮像部により撮像されて得られた撮像画像に含まれる前記パタン画像に基づいて、投影画像と撮像画像との対応点を検出する
画像処理方法。
【符号の説明】
【０２１５】
１００  投影撮像システム，  １０１  制御装置，  １０２  投影撮像装置，  １１１  投影部，  １１２  撮像部，  １５１  投影処理部，  １５２  パタン画像投影撮像部，  １５３  対応点検出部，  １５４  姿勢推定部，  １５５  設定部，  １５６  投影制御部，  １５７  撮像制御部，  １６１  制御部，  １６２  事前情報記憶部，  １６３  パタン記憶部，  １７０  パタン画像投影部，  １７１  画像解析部，  １７２  サブフレーム化部，  １７３  パタン重畳部，  １７４  投影処理部，  １８０  パタン画像撮像部，  １８１  撮像処理部，  １８２  差分画像生成部，  １８３  ２値化部，  １８４  パタン抽出部，  ２０１  制御部，  ４００  投影撮像システム，  ４０１  ネットワーク，  ４１０  投影撮像システム，  ４１１  投影装置，  ４１２  撮像装置，  ４２０  投影撮像システム，  ４２１  投影撮像装置，  ４２３  制御部，  ４３０  投影撮像装置
【図１】
2017154628.tif 000003
【図２】
2017154628.tif 000004
【図３】
2017154628.tif 000005
【図４】
2017154628.tif 000006
【図５】
2017154628.tif 000007
【図６】
2017154628.tif 000008
【図７】
2017154628.tif 000009
【図８】
2017154628.tif 000010
【図９】
2017154628.tif 000011
【図１０】
2017154628.tif 000012
【図１１】
2017154628.tif 000013
【図１２】
2017154628.tif 000014
【図１３】
2017154628.tif 000015
【図１４】
2017154628.tif 000016
【図１５】
2017154628.tif 000017
【図１６】
2017154628.tif 000018
【図１７】
2017154628.tif 000019
【図１８】
2017154628.tif 000020
【図１９】
2017154628.tif 000021
【図２０】
2017154628.tif 000022
【図２１】
2017154628.tif 000023
【図２２】
2017154628.tif 000024
【図２３】
2017154628.tif 000025
【図２４】
2017154628.tif 000026
【国際調査報告】
2017154628.tif 000027
2017154628.tif 000028
2017154628.tif 000029
2017154628.tif 000030