(57)【要約】  本開示の画像処理装置は、プロジェクタによる投影画面を、撮像領域が部分的に重複するように複数の領域に分けて撮像し、撮像画像として、複数の部分画像を取得する撮像部と、撮像画像に基づいて、隣り合う部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行う推定部とを備える。
2016204068.tif 000002
【特許請求の範囲】
【請求項１】
プロジェクタによる投影画面を、撮像領域が部分的に重複するように複数の領域に分けて撮像し、撮像画像として、複数の部分画像を取得する撮像部と、
前記撮像画像に基づいて、隣り合う前記部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行う推定部と
を備える画像処理装置。
【請求項２】
前記射影変換行列を用いて複数の前記部分画像を射影変換して繋ぎ合わせることによって生成された画像に基づいて、前記プロジェクタによって投影する投影画像の校正を行う校正部、をさらに備えた
請求項１に記載の画像処理装置。
【請求項３】
前記推定部は、ユニークな局所特徴量を持つ複数の画像特徴点を画像全体に配置した第１の画像パターンを含む画像を投影した場合に取得された前記撮像画像に基づいて、前記射影変換行列の１回目の推定を行う
請求項１に記載の画像処理装置。
【請求項４】
前記推定部は、前記第１の画像パターンよりも前記画像特徴点の座標位置を高精度に特定可能な、第２の画像パターンを含む画像を投影した場合に取得された前記撮像画像と、前記射影変換行列の１回目の推定結果とに基づいて、前記射影変換行列の２回目の推定を行う
請求項３に記載の画像処理装置。
【請求項５】
前記第１の画像パターンは、前記画像特徴点の周囲に、所定の明度よりも明度の高い画素と明度の低い画素とを含む
請求項３に記載の画像処理装置。
【請求項６】
前記第２の画像パターンは、前記投影画面における前記画像特徴点の配置間隔に対して、前記撮像画像上における前記画像特徴点の配置間隔の方が等間隔に近付くように調整されたパターンである
請求項４に記載の画像処理装置。
【請求項７】
前記第２の画像パターンにおける前記画像特徴点の配置間隔は、１回目の推定による前記射影変換行列が持つ射影変換誤差の値よりも大きく、かつ、所定の値よりも小さい値である
請求項６に記載の画像処理装置。
【請求項８】
前記第１の画像パターンを含む画像の投影および撮像と、前記第２の画像パターンを含む画像の投影および撮像とをそれぞれ別々に行う
請求項４に記載の画像処理装置。
【請求項９】
前記推定部は、前記第１の画像パターンと前記第２の画像パターンとが混在した画像を投影した場合に取得された前記撮像画像に基づいて、前記射影変換行列の１回目および２回目の推定を行う
請求項４に記載の画像処理装置。
【請求項１０】
プロジェクタによる投影画面を、撮像領域が部分的に重複するように複数の領域に分けて撮像することによって、撮像画像として、複数の部分画像を取得することと、
前記撮像画像に基づいて、隣り合う前記部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行うことと
を含む画像処理方法。
【請求項１１】
プロジェクタと、
前記プロジェクタによる投影画面を、撮像領域が部分的に重複するように複数の領域に分けて撮像し、撮像画像として、複数の部分画像を取得する撮像部と、
前記撮像画像に基づいて、隣り合う前記部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行う推定部と
を備えるプロジェクションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、投影画像の校正を行う機能を有する画像処理装置および画像処理方法、ならびにプロジェクションシステムに関する。
【背景技術】
【０００２】
プロジェクタ向けアプリケーションとして、投影画面の歪みや輝度むらの補正処理を行うものがある。また、複数の投影画面を繋ぎ合わせて１つの投影画面に合成するマルチプロジェクションシステムでは、投影画像に、複数の投影画面間の繋ぎ目を目立たないようにするエッジブレンディング処理を行うものがある。これらの投影画面の補正処理を行うために、撮像装置で投影画面を撮像し、撮像画像を解析することでプロジェクタによって投影する投影画像の校正を行う技術がある。例えば特許文献１には、投影画面を撮像し、その撮像画像に基づいて、投影画像のエッジブレンディングを行う技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５２０５号公報
【特許文献２】特開２００５−２７７８２５号公報
【発明の概要】
【０００４】
近年、垂直投影式プロジェクタとは異なり、スクリーンの近傍に設置でき、至近距離から投影を行うことのできる超短焦点プロジェクタが開発されている。超短焦点プロジェクタにおいて上記した投影画面の補正処理を行う場合、投影画面撮像時のユーザー利便性を向上させるため、プロジェクタ本体に撮像装置を搭載することがある。しかしながら、超短焦点プロジェクタにおいてプロジェクタ本体に撮像装置を搭載する場合、撮像装置の撮像画角の制限や、撮像装置とスクリーンとの距離によっては、校正に必要な撮像すべき投影画面全体を撮像することができず、一部分しか撮像ができない場合がある。その場合は、投影画像の校正を実施することが困難である。撮像画角が広角な魚眼カメラ等で撮像することで、必要な投影画面全体を撮像できる場合もあるが、広角カメラは高価かつ大型である。そのため、撮像装置をプロジェクタと一緒に顧客に販売する場合は、製品価格の上昇を招く。また、プロジェクタに撮像装置を内蔵する場合は、筐体の大型化に繋がる。また、撮像装置をプロジェクタとは別に顧客が用意する場合も顧客の費用負担増加を招き、撮像利便性の低下に繋がる。
【０００５】
そこで、広角でない安価かつ小型な複数台の撮像装置を使用して投影画面を複数の領域ごとに撮像するか、もしくは１台の撮像装置で撮像領域を変えて投影画面を複数回に分けて撮像し、得られた複数の撮像画像をスティッチ（繋ぎ合わせ）することで、投影画面全体の撮像画像を得る方法がある。この方法では、各撮像画像から画像特徴点とその画像特徴点における局所特徴量とを抽出し、各撮像画像間で類似した局所特徴量を持つ画像特徴点のペアを探索する。そして、ペアリングされた画像特徴点の座標の対応関係から、複数の撮像画像同士をスティッチするための射影変換行列を推定し、複数の撮像画像のスティッチを行う。この方法では、画像特徴点および局所特徴量を抽出するアルゴリズムは複数提唱されている。一般に画像特徴点は画像中の物体の角や線が交わる点であり、局所特徴量は画像中のある範囲の輝度勾配を数値化したものである。例えば、画像Ａを射影変換した画像をＢとし、それぞれの画像内の対応する座標を同次座標系で座標Ａ（ｘＡ，ｙＡ，１），座標Ｂ（ｘＢ，ｙＢ，１）とする。座標Ａと座標Ｂとの関係は画像Ａから画像Ｂへ射影変換する射影変換行列Ｈを用いて、Ｂ（ｘＢ＊ｗ，ｙＢ＊ｗ，ｗ）＝ＨＡ（ｘＡ，ｙＡ，１）のように表すことができる。ここでｗは同次成分である。
【０００６】
また、相関法やテンプレートマッチング法を用いて複数の撮像画像間の対応点を探索し、その情報から画像を射影変換する行列を推定することで、複数の撮像画像のスティッチを行うことも可能である。この方法は特許文献２で提案されている。
【０００７】
しかしながら、撮像画像に、ノイズや環境光の影響、スクリーンに対するプロジェクタの投影角度や撮像角度、またはスクリーンの反射特性等による輝度むら等が生じると、上記方法による画像間の射影変換行列の推定精度は低下し、スティッチ後の画像に歪みが生じ得る。そして、歪んだ画像を用いて投影画像の校正を行うことで、意図しない歪み補正や輝度補正、あるいは位置合わせといった校正精度の悪化を招くおそれがある。そのため、上記のような様々な撮像条件下であっても射影変換行列を精度良く推定する必要があり得る。
【０００８】
投影画像の校正を精度良く行うことができるようにした画像処理装置および画像処理方法、ならびにプロジェクションシステムを提供することが望ましい。
【０００９】
本開示の一実施の形態に係る画像処理装置は、プロジェクタによる投影画面を、撮像領域が部分的に重複するように複数の領域に分けて撮像し、撮像画像として、複数の部分画像を取得する撮像部と、撮像画像に基づいて、隣り合う部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行う推定部とを備えたものである。
【００１０】
本開示の一実施の形態に係る画像処理方法は、プロジェクタによる投影画面を、撮像領域が部分的に重複するように複数の領域に分けて撮像することによって、撮像画像として、複数の部分画像を取得することと、撮像画像に基づいて、隣り合う部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行うこととを含むものである。
【００１１】
本開示の一実施の形態に係るプロジェクションシステムは、プロジェクタと、プロジェクタによる投影画面を、撮像領域が部分的に重複するように複数の領域に分けて撮像し、撮像画像として、複数の部分画像を取得する撮像部と、撮像画像に基づいて、隣り合う部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行う推定部とを備えたものである。
【００１２】
本開示の一実施の形態に係る画像処理装置もしくは画像処理方法、またはプロジェクションシステムでは、プロジェクタによる投影画面が、撮像領域が部分的に重複するように複数の領域に分けて撮像され、撮像画像として、複数の部分画像が取得される。また、撮像画像に基づいて、隣り合う部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算が複数回行われる。
【００１３】
本開示の一実施の形態に係る画像処理装置もしくは画像処理方法、またはプロジェクションシステムによれば、隣り合う部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行うようにしたので、精度良く射影変換行列を推定できる。その射影変換行列を用いて複数の部分画像を射影変換して繋ぎ合わせることによって生成された画像に基づいて、投影画像の校正を行うことで、投影画像の校正を精度良く行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施の形態に係るプロジェクションシステムの機能的な構成の一例を示すブロック図である。
【図２】図１の機能を実現するためのプロジェクションシステムの一具体例を示す外観図である。
【図３】プロジェクションシステムにおける投影画像の校正の手順の一例を示す流れ図である。
【図４】暫定版射影変換行列を推定するために投影する第１の画像パターンの一例を模式的に示す説明図である。
【図５】第１の画像パターンの他の例を模式的に示す説明図である。
【図６】図４に示した第１の画像パターンをスクリーンに投影して撮像した場合に取得される部分画像の一例を模式的に示す説明図である。
【図７】高精度版射影変換行列を推定するために投影する第２の画像パターンの一例を模式的に示す説明図である。
【図８】図７に示した第２の画像パターンをスクリーンに投影して撮像した場合に取得される部分画像の一例を模式的に示す説明図である。
【図９】投影画像の校正に用いる投影画像校正用パターンの一例を模式的に示す説明図である。
【図１０】図９に示した投影画像校正用パターンをスクリーンに投影して撮像した場合に取得される部分画像の一例を模式的に示す説明図である。
【図１１】図１０に示した部分画像を射影変換した画像の一例を模式的に示す説明図である。
【図１２】図１１に示した射影変換された部分画像をスティッチしたスティッチ画像の一例を模式的に示す説明図である。
【図１３】第１の画像パターンと第２の画像パターンとが混在した混在パターンの一例を模式的に示す説明図である。
【図１４】図４に示した第１の画像パターンを、反射型特性を持つスクリーンに投影して撮像した場合に取得される部分画像の一例を模式的に示す説明図である。
【図１５】図１４に対して撮像条件を調節して撮像した場合に取得される部分画像の一例を模式的に示す説明図である。
【図１６】図４に示した第１の画像パターンに対する比較例の画像パターンの一例を模式的に示す説明図である。
【図１７】図１６に示した比較例に係る第１の画像パターンを、反射型特性を持つスクリーンに投影して撮像した場合に取得される部分画像の一例を模式的に示す説明図である。
【図１８】図１７に対して撮像条件を調節して撮像した場合に取得される部分画像の一例を模式的に示す説明図である。
【図１９】図７に示した第２の画像パターンに対する比較例の画像パターンの一例を模式的に示す説明図である。
【図２０】図１９に示した比較例に係る第２の画像パターンを投影して撮像した場合に取得される部分画像の一例を模式的に示す説明図である。
【発明を実施するための形態】
【００１５】
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．プロジェクションシステムの一実施形態
１．１  構成
１．１．１  プロジェクションシステムの機能構成例（図１）
１．１．２  プロジェクションシステムの具体的な構成例（図２）
１．２  動作（図３〜図１３）
１．３  効果および比較例（図１４〜図２０）
２．その他の実施の形態
【００１６】
＜１．プロジェクションシステムの一実施形態＞
［１．１  構成］
（１．１．１  プロジェクションシステムの機能構成例）
図１は、本開示の一実施の形態に係るプロジェクションシステムの機能的な構成の一例を示している。
【００１７】
本実施の形態に係るプロジェクションシステムは、画像を投影する画像投影部１と、画像投影部１における投影画像の生成および校正を行う画像処理装置とを備えている。画像処理装置は、投影画像を生成する投影画像生成部２と、投影画像を校正する投影画像校正部３と、画像投影部１による投影画面を撮像する画像撮像部４とを有している。また、画像処理装置は、射影変換行列推定部５と、画像スティッチ部６と、制御部７とを有している。制御部７は各機能部の制御を行うものである。
【００１８】
画像撮像部４は、複数台の画像撮像部４Ａ，４Ｂ，４Ｃを含んでいる。画像撮像部４では、複数台の画像撮像部４Ａ，４Ｂ，４Ｃによって、投影画面を撮像領域が部分的に重複するように複数の領域に分けて撮像し、撮像画像として、複数の部分画像を取得するようになっている。
【００１９】
なお、図１では、画像投影部１が１台、画像撮像部４が３台の例を示しているが、それぞれの台数は図示した例に限らない。例えば、マルチプロジェクションシステムの場合は、画像投影部１を２台以上備え、２台以上の画像投影部１のそれぞれの投影画面を繋ぎ合わせて１つの投影画面を表示するようにしてもよい。また、画像撮像部４も、必要とされる撮像範囲に応じて台数を増やしたり減らしてもよい。また、画像撮像部４を１台のみとし、複数の撮像領域を複数回に分けて撮像するようにしてもよい。
【００２０】
射影変換行列推定部５は、画像撮像部４（４Ａ，４Ｂ，４Ｃ）による撮像画像に基づいて、隣り合う部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行うものである。
【００２１】
投影画像生成部２は例えば、投影画像として、射影変換行列を推定するための、後述する第１の画像パターン３１（図４）を含む画像、および後述する第２の画像パターン３２（図７）を含む画像を生成するようになっている。また、投影画像生成部２は例えば、投影画像として、後述する投影画像校正用パターン３３（図９）を生成するようになっている。画像スティッチ部６は、投影画像校正用パターン３３を投影して撮像した場合に取得される複数の部分画像を、推定された射影変換行列を用いて射影変換してスティッチ（繋ぎ合わせ）を行うものである。投影画像校正部３は、スティッチ画像を基に投影画像を校正するものである。
【００２２】
（１．１．２  プロジェクションシステムの具体的な構成例）
図１に示したプロジェクションシステムの機能は、例えば図２に示したように、プロジェクタ１１と、撮像装置１２と、パーソナルコンピュータ１３とによって具現化される。
【００２３】
プロジェクタ１１は、図１の画像投影部１に対応するものである。プロジェクタ１１は、例えばスクリーン８の近傍に設置される。プロジェクタ１１は例えば、スクリーン８の下方側の至近距離からスクリーン８に向けて投影画像の投影を行う、超短焦点投影型のプロジェクタとなっている。
【００２４】
撮像装置１２は、図１の画像撮像部４（４Ａ，４Ｂ，４Ｃ）に対応するものである。撮像装置１２としては、例えばカメラモジュールが用いられ、プロジェクタ１１によってスクリーン８に投影された投影画面を撮像する。図２の構成例では、プロジェクタ１１の本体の上に、撮像装置１２として、３台の撮像装置１２Ａ，１２Ｂ，１２Ｃを設置している。撮像装置１２Ａ，１２Ｂ，１２Ｃはそれぞれ、スクリーン８上の投影画面の左の撮像領域２０Ａ、中央の撮像領域２０Ｂ、および右側の撮像領域２０Ｃを撮像できるように設置されている。また、撮像装置１２Ａ，１２Ｂ，１２Ｃは、各撮像領域が一部重複するように設置されている。
【００２５】
パーソナルコンピュータ１３は、図１の投影画像生成部２、投影画像校正部３、画像スティッチ部６、射影変換行列推定部５、および制御部７の機能を実現するものである。投影画像校正部３は例えば、専用の投影画像校正プログラムもしくは装置としてパーソナルコンピュータ１３に備えられている。上記で述べたように、プロジェクタ１１と撮像装置１２の台数は必要に応じて増やしたり減らしてもよい。撮像装置１２を１台にする場合であっても、例えば撮像方向を機械的に動かすことで、複数の撮像領域を撮像して、複数の部分画像を取得可能である。
【００２６】
［１．２  動作］
本実施の形態に係るプロジェクションシステムでは、画像投影部１としてのプロジェクタ１１による投影画面を、画像撮像部４によって、撮像領域が部分的に重複するように複数の領域に分けて撮像し、撮像画像として、複数の部分画像を取得する。射影変換行列推定部５では、撮像画像に基づいて、隣り合う部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行う。投影画像校正部３では、射影変換行列を用いて複数の部分画像を射影変換して繋ぎ合わせることによって生成された画像に基づいて、投影画像の校正を行う。
【００２７】
射影変換行列推定部５では、ユニークな局所特徴量を持つ複数の画像特徴点を画像全体に配置した第１の画像パターン３１を含む画像を投影した場合に取得された撮像画像に基づいて、射影変換行列の１回目の推定を行う。これにより、後述の暫定版射影変換行列を推定する。また、射影変換行列推定部５では、第１の画像パターン３１よりも画像特徴点の座標位置を高精度に特定可能な、第２の画像パターン３２を含む画像を投影した場合に取得された撮像画像と、射影変換行列の１回目の推定結果とに基づいて、射影変換行列の２回目の推定を行う。これにより、後述の高精度版射影変換行列を推定する
【００２８】
以下、図３を参照して、本実施の形態に係るプロジェクションシステムにおける投影画像の校正の手順の具体例を説明する。
【００２９】
まず、暫定版射影変換行列を推定するための第１の画像パターン３１を、画像投影部１によってスクリーン８に投影する（ステップＳ１０１）。
【００３０】
図４は、暫定版射影変換行列を推定するために投影する第１の画像パターン３１の一例である。第１の画像パターン３１は、画像特徴点の周囲に、所定の明度よりも明度の高い画素と明度の低い画素とが含まれるようなパターンであることが望ましい。例えば、ランダムな色で塗り潰された三角形を敷き詰め、隣り合う三角形の輝度は高い色と低い色とが交互になるよう色を選択する。なお、図４では、色をモノクロとしているが、赤色、青色等、種々の色付けがなされていてもよい。
【００３１】
図４では、画像特徴点をパターン全体に満遍なく配置し、各画像特徴点における局所特徴量がパターン内にてユニークとなるよう、ランダムな色で塗り潰された三角形を敷き詰めたパターンの例を示す。撮像条件により撮像画像が部分的に白飛び、あるいは黒潰れしても画像特徴点が消失しないよう、また、画像特徴点が消失しなくとも、隣り合う三角形の色が双方とも白飛び、あるいは黒潰れすることにより、輝度勾配が消失し、期待する局所特徴量が得られなくならないよう、画像特徴点の周りの画素輝度が高い色と低い色とで塗り潰された三角形を交互に配置する。なお、敷き詰める図形の形状は他の多角形や曲線で構成されたものでもよく、単一形状でなくともよい。
【００３２】
図５は、暫定版射影変換行列を推定するために投影する第１の画像パターン３１の他の例である。ランダムな色で塗り潰された三角形を敷き詰め、隣り合う三角形の輝度を交互に高い色と低い色とにする代わりに、投影画像以外の撮像条件により生じる輝度むらで輝度を逆補正してもよい。例えば、撮像画像に白飛び、あるいは黒潰れが生じないよう、投影画像以外の撮像条件によって撮像画像に生じる輝度むらをあらかじめ別手段により測定し、その測定結果を基に輝度を補正した、図５に示したような第１の画像パターン３１Ａを投影してもよい。図５に示した第１の画像パターン３１Ａは、図２の構成例の場合において、スクリーン８の右上および左上において輝度が低く撮像される条件を想定し、右上および左上の輝度を高く補正した画像となっている。
【００３３】
次に、撮像装置１２を用いて第１の画像パターン３１を投影した投影画面を撮像する（ステップＳ１０２）。図６は、図４に示した第１の画像パターン３１をスクリーン８に投影し、その投影画面を図２の構成例における撮像装置１２（１２Ａ，１２Ｂ，１２Ｃ）を用いて撮像した場合に取得される部分画像４１Ａ，４１Ｂ，４１Ｃの一例を示している。図６において左側から、スクリーン８に向かって左の撮像装置１２Ａ、中央の撮像装置１２Ｂ、および右の撮像装置１２Ｃによって撮像した画像となっている。
【００３４】
次に、射影変換行列推定部５では、各部分画像４１Ａ，４１Ｂ，４１Ｃから、画像特徴点を抽出し、その画像特徴点における局所特徴量を算出する（ステップＳ１０３）。画像特徴点の抽出および局所特徴量の算出を行うアルゴリズムは既存の技術を利用可能である。例えば、アルゴリズムの一例として以下の参考文献１に記載のＯＲＢ等がある。
参考文献１：E. Rublee, V. Rabaud and K Konolige, "ORB: An efficient alternative to SIFT or SURF", Computer Vision and 2011 IEEE International Conference, Barcelona, (2011) November 6-13.
【００３５】
次に、射影変換行列推定部５では、隣り合う部分画像４１Ａ，４１Ｂ，４１Ｃから、類似する局所特徴量を持つ画像特徴点のペアを探索する（ステップＳ１０４）。探索アルゴリズムの一例としては全ての組み合わせを総当たりで検査するBrute Force等がある。
【００３６】
次に、射影変換行列推定部５では、上記探索でペアリングされた複数の局所特徴量の座標対を用いて、一方の部分画像をもう一方の部分画像へとスティッチするための暫定版射影変換行列を推定する（ステップＳ１０５）。
【００３７】
ここで、撮像画像中のノイズや環境光の影響、スクリーン８に対するプロジェクタ１１の投影角度や撮像角度、スクリーン８の反射特性等により局所特徴量に誤差が生じ、その影響により意図しない画像特徴点のペアが生成され、推定した射影変換行列に誤差が生じ得る。そのため、上記の射影変換行列を暫定版射影変換行列とし、第２の画像パターン３２をスクリーン８に投影し、撮像および解析することで暫定版射影変換行列を高精度化した、高精度版射影変換行列を推定する。高精度版射影変換行列を推定するため、投影画像生成部２では、第２の画像パターン３２を含む画像を生成する（ステップＳ１０６）。
【００３８】
図７は、高精度版射影変換行列を推定するために投影する第２の画像パターン３２を含む画像の一例を示している。第２の画像パターン３２は、投影画面における画像特徴点の配置間隔に対して、撮像画像上における画像特徴点の配置間隔の方が等間隔に近付くように調整されたパターンであることが望ましい。また、第２の画像パターン３２における画像特徴点の配置間隔は、暫定版射影変換行列が持つ射影変換誤差の値よりも大きく、かつ、所定の値よりも小さい値であることが望ましい。
【００３９】
図７では、第２の画像パターン３２として、黒色の背景に小さな白色の円を複数配置したパターンを示す。複数の白色の円の各間隔は撮像画像上にて第１の画像パターン３１により推定した暫定版射影変換行列が持つ射影変換誤差より大きくなるよう、また、大きく超過しないよう調節した画像を生成する。図２の構成例ではスクリーン８の下部より見上げるようにして撮像するため、図７の第２の画像パターン３２では、下部が上部と比較して白色円の間隔が密となっている。第２の画像パターン３２における図形の配置密度は、例えばプロジェクタ１１、スクリーン８、および撮像装置１２（１２Ａ，１２Ｂ，１２Ｃ）のそれぞれの位置関係を別手段により取得することにより決定する。あるいは、第１の画像パターン３１の撮像画像から画像特徴点の密度を取得する等により決定することも可能である。
【００４０】
次に、生成した第２の画像パターン３２を画像投影部１によって投影（ステップＳ１０７）し、撮像装置１２（１２Ａ，１２Ｂ，１２Ｃ）を用いて、第２の画像パターン３２の投影画面を撮像する（ステップＳ１０８）。図８は、図７に示した第２の画像パターン３２をスクリーン８に投影し、その投影画面を図２の構成例における撮像装置１２（１２Ａ，１２Ｂ，１２Ｃ）を用いて撮像した場合に取得される部分画像４２Ａ，４２Ｂ，４２Ｃの一例を示している。図８において左側から、左からスクリーン８に向かって左の撮像装置１２Ａ、中央の撮像装置１２Ｂ、および右の撮像装置１２Ｃによって撮像した画像となっている。
【００４１】
次に、射影変換行列推定部５では、各部分画像４２Ａ，４２Ｂ，４２Ｃにおける各図形の座標を抽出する（ステップＳ１０９）。座標を抽出は、例えば各部分画像４２Ａ，４２Ｂ，４２Ｃを２値画像に変換し、各図形を構成する輪郭の画素を抽出し、その重心座標を計算することにより行う。
【００４２】
次に、射影変換行列推定部５では、第１の画像パターン３１により推定した暫定版射影変換行列と併せて、第２の画像パターン３２の撮像画像から抽出した各図形の座標を元に、再び隣り合う部分画像間の対応座標のペアを探索する（ステップＳ１１０）。例えば、一方の部分画像より抽出された各図形の座標を暫定版射影変換行列で射影変換し、もう一方の部分画像にて射影変換した座標から最近傍の図形の座標を対応付ける。例えば、一方の部分画像Ａをもう一方の部分画像Ｂに合わせるよう、第１の画像パターン３１を使用して暫定的に推定した暫定版射影変換行列Ｈ’を用いて、一方の部分画像Ａのある座標Ａ（ｘＡ，ｙＡ，１）を射影変換する。この際、もう一方の部分画像Ｂにて対応する白色の円の座標Ｂ（ｘＢ，ｙＢ，１）ではなく、Ｂ（ｘＢ，ｙＢ，１）＋ΔＢ（ΔｘＢ，ΔｙＢ，１）のように誤差が生じ得る。しかしながら、本実施の形態では、ΔＢよりも白色の円の間隔の方が大きくなるように第２の画像パターン３２を生成してあることで、最近傍の白色の円の座標を選択することができ、座標Ｂ（ｘＢ，ｙＢ，１）が正しい対応座標と認識できる。
【００４３】
次に、射影変換行列推定部５では、上記探索でペアリングされた部分画像間の複数の座標対を用いて、一方の部分画像をもう一方の部分画像へスティッチするための高精度版射影変換行列を推定する（ステップＳ１１１）。本実施の形態では、暫定版射影変換行列と比較して、より正確な座標対から推定を行うことにより、より高精度な射影変換行列を得ることができる。
【００４４】
次に、投影画像校正部３が校正に利用する投影画像校正用パターン３３を画像投影部１によってスクリーン８に投影する（ステップＳ１１２）。そして、その投影画像校正用パターン３３を投影した投影画面を撮像装置１２（１２Ａ，１２Ｂ，１２Ｃ）を用いて撮像する（ステップＳ１１３）。図９は、投影画像の校正に用いる投影画像校正用パターン３３の一例を示している。図１０は、図９に示した投影画像校正用パターン３３をスクリーン８に投影し、その投影画面を図２の構成例における撮像装置１２（１２Ａ，１２Ｂ，１２Ｃ）を用いて撮像した場合に取得される部分画像４３Ａ，４３Ｂ，４３Ｃの一例を示している。図１０において左側から、スクリーン８に向かって左の撮像装置１２Ａ、中央の撮像装置１２Ｂ、および右の撮像装置１２Ｃによって撮像した画像となっている。
【００４５】
次に、画像スティッチ部６では、撮像した投影画像校正用パターン３３を高精度版射影変換行列で射影変換する（ステップＳ１１４）。図１１は、図１０に示した投影画像校正用パターン３３の部分画像４３Ａ，４３Ｂ，４３Ｃを射影変換した部分画像４４Ａ，４４Ｂ，４４Ｃの一例である。図１１において上側から、スクリーン８に向かって左の撮像装置１２Ａ、中央の撮像装置１２Ｂ、および右の撮像装置１２Ｃによって撮像した画像を射影変換した画像となっている。より詳しくは、図２の構成例において、図１０で示した部分画像４３Ａ，４３Ｂ，４３Ｃのうちの中央の部分画像４３Ｂに、左側および右側の撮像装置１２Ａ，１２Ｃで撮像した部分画像４３Ａ，４３Ｃを合わせるよう推定した高精度版射影変換行列を用いて、左側および右側の撮像装置１２Ａ，１２Ｃで撮像した部分画像４３Ａ，４３Ｃを射影変換したものである。
【００４６】
次に、画像スティッチ部６では、射影変換した部分画像４４Ａ，４４Ｂ，４４Ｃをスティッチする（ステップＳ１１５）。推定した射影変換行列には並進成分も含まれるため、画像同士の位置合わせを行う必要はない。スティッチ方法にはアルファブレンディング等の方法がある。図１２は、図１１に示した部分画像４４Ａ，４４Ｂ，４４Ｃをスティッチしたスティッチ画像３４の一例を示している。
【００４７】
最後に、スティッチ画像３４を投影画像校正部３へ入力し、投影画像校正部３において投影画像の校正を行う（ステップＳ１１６）。
【００４８】
（変形例）
図３に示した手順では、第１の画像パターン３１を含む画像の投影および撮像の手順と、第２の画像パターン３２を含む画像の投影および撮像の手順とをそれぞれ別々に行うようにしたが、それらの手順をまとめて行うようにしてもよい。例えば、図１３に示したように、第１の画像パターン３１と第２の画像パターン３２とが混在した混在パターン３５を投影することで、上記手順をまとめて行うことが可能である。
【００４９】
また、スティッチ後の画像に台形補正等の射影変換を実施することで、スクリーン８の正面以外の撮像位置を模した画像を得ることも可能である。また、図２の構成例では、プロジェクタ１１を超短焦点投影型とし、かつ、撮像位置をスクリーン８の近傍としたが、その他のプロジェクタ１１や撮像位置においても、本実施の形態による技術を適用可能である。
【００５０】
［１．３  効果および比較例］
以上のように、本実施の形態によれば、隣り合う部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行うようにしたので、精度良く射影変換行列を推定できる。その射影変換行列を用いて複数の部分画像を射影変換して繋ぎ合わせることによって生成されたスティッチ画像に基づいて、投影画像の校正を行うことで、投影画像の校正を精度良く行うことができる。
【００５１】
本実施の形態の技術を用いることで、プロジェクタ１１による投影画面の各領域を、一部が重畳するよう撮像した複数の撮像画像をスティッチする場合、撮像画像にノイズや環境光の影響、スクリーン８に対するプロジェクタ１１の投影角度や撮像角度、スクリーン８の反射特性等による輝度むらが生じたとしても、精度良くスティッチを行うための射影変換行列を推定することができる。そして、スティッチした画像の歪みを低減させ、スティッチした画像を利用して投影画像の校正を精度良く行うことができる。
【００５２】
本実施の形態の技術には、以下の技術１，２が含まれるが、それによる効果を説明する。
（技術１）
図４に示したように、暫定版射影変換行列を推定するために投影する第１の画像パターン３１として、画像特徴点の周囲に、所定の明度よりも明度の高い画素と明度の低い画素とが含まれるようなパターンを使用する。
（技術２）
図７に示したように、高精度版射影変換行列を推定するために投影する第２の画像パターン３２として、投影画面における画像特徴点の配置間隔に対して、撮像画像上における画像特徴点の配置間隔の方が等間隔に近付くように調整されたパターンを使用する。
【００５３】
以下では、スクリーン８の反射特性が、入射光がスクリーン表面の法線を挟んで反対側により強く反射する反射型特性を持つ場合を例に説明する。また、図２の構成例における撮像装置１２（１２Ａ，１２Ｂ，１２Ｃ）で投影画面を撮像する場合を例に説明する。
【００５４】
図１４は、図４に示した第１の画像パターン３１を、上記反射型特性を持つスクリーン８に投影して撮像した場合に、撮像画像として取得される部分画像５１Ａ，５１Ｂ，５１Ｃの一例を示している。図１５は、図１４に対して撮像条件を調節して撮像した場合に、撮像画像として取得される部分画像５２Ａ，５２Ｂ，５２Ｃの一例を示している。図１４および図１５において左側から、スクリーン８に向かって左の撮像装置１２Ａ、中央の撮像装置１２Ｂ、および右の撮像装置１２Ｃによって撮像した画像となっている。
【００５５】
図１４ではスクリーン８の右上端と左上端とが暗く撮像されている。これに対して図１５は、スクリーン８の右上端と左上端とにおける撮像輝度が暗くならないよう、撮像装置１２（１２Ａ，１２Ｂ，１２Ｃ）の撮像露光時間やゲイン等の撮像条件を調節して撮像したものであり、スクリーン８の中央下部が明るく撮像されている。図１４および図１５共に三角形の頂点である画像特徴点は消失せずに撮像されている。
【００５６】
これに対して、図４に示した第１の画像パターン３１とは異なり、上記技術１を用いず、各三角形をランダムな画像輝度で塗り潰した比較例の第１の画像パターン３６の一例を、図１６に示す。図１７は、図１６に示した比較例に係る第１の画像パターン３６を、上記反射型特性を持つスクリーン８に投影して撮像した場合に、撮像画像として取得される部分画像３６Ａ，３６Ｂ，３６Ｃの一例を示している。図１８は、図１７に対して上記と同様に撮像条件を調節して撮像した場合に、撮像画像として取得される部分画像３７Ａ，３７Ｂ，３７Ｃの一例を示している。図１７および図１８において左側から、スクリーン８に向かって左の撮像装置１２Ａ、中央の撮像装置１２Ｂ、および右の撮像装置１２Ｃによって撮像した画像となっている。
【００５７】
図１７および図１８では、撮像画像の一部の画像特徴点周辺の輝度が白飛び、あるいは黒潰れしてしまうことにより、画像特徴点が消失していることが確認できる。また、画像特徴点が消失しなくとも、隣り合う三角形の色が双方とも白飛び、あるいは黒潰れすると、輝度勾配が消失し、期待する局所特徴量が得られなくなる可能性がある。
【００５８】
つまり上記技術１を用いて、第１の画像パターン３１を生成することにより、撮像画像上に輝度むらが生じたとしても、画像特徴点が消失することによる画像間の対応座標ペア減少が起こりにくくなり、また期待しない局所特徴量算出による画像特徴点ペアリング時の誤差が生じにくくなることから、暫定版射影変換行列の推定精度を向上させることができる。暫定版射影変換行列の推定精度が向上することにより、第２の画像パターン３２上の図形の配置密度を高めることができ、画像間の対応座標対を増加できることから、高精度版射影変換行列の推定精度の向上を期待できる。
【００５９】
以上の例ではスクリーン８の反射特性を反射型としたが、撮像画像の輝度むらを生じさせ得る他の反射特性や、環境光等の影響による輝度むらが生じる際にも上記技術１は有効である。
【００６０】
次に、図７に示した第２の画像パターン３２とは異なり、上記技術２を用いず、図形間の各間隔を調節せず一定の間隔で作成した、比較例の第２の画像パターン３８の一例を、図１９に示す。図２０は、図１９に示した比較例に係る第２の画像パターン３８を投影して撮像した場合に、撮像画像として取得される部分画像３８Ａ，３８Ｂ，３８Ｃの一例を示している。図２０において左側から、スクリーン８に向かって左の撮像装置１２Ａ、中央の撮像装置１２Ｂ、および右の撮像装置１２Ｃによって撮像した画像となっている。
【００６１】
比較例の第２の画像パターン３８では、図形間の各間隔を調節していないため、図２０における画像上部のように、撮像画像上において、各図形の座標間の間隔が小さくなる領域では、暫定版射影変換行列が持つ射影変換誤差より図形の座標間の間隔の方が小さくなる可能性があり、誤った画像間の対応座標同士をペアリングし、射影変換行列の推定精度悪化を招くおそれがある。例えば、一方の部分画像Ａをもう一方の部分画像Ｂに合わせるよう、第１の画像パターン３１を使用して暫定的に推定した暫定版射影変換行列Ｈ’を用いて、一方の部分画像Ａのある座標Ａ（ｘＡ，ｙＡ，１）を射影変換する。この際、もう一方の部分画像Ｂにて対応する白色の円の座標Ｂ（ｘＢ，ｙＢ，１）ではなく、Ｂ（ｘＢ，ｙＢ，１）＋ΔＢ（ΔｘＢ，ΔｙＢ，１）のように誤差が生じ得る。比較例の第２の画像パターン３８では、図形間の間隔ΔＢ’（ΔｘＢ’，ΔｙＢ’，１）が｜ΔＢ’｜＜｜ΔＢ｜を満たすよう配置されているため、最近傍の白色の円の座標を対応座標とすると、座標Ｂではなく、誤ったペアリングを行ってしまうおそれがある。
【００６２】
また、比較例の第２の画像パターン３８を用いた場合には、図２０における画像下部のように、撮像画像上において、各図形の座標間の間隔が大きくなる領域では、暫定版射影変換行列が持つ射影変換誤差より図形の座標間の間隔が広すぎ、間隔を調整した図７の第２の画像パターン３２パターンと比較して画像間の対応座標対が減少する可能性がある。そして、射影変換行列の推定精度が低下するおそれがある。
【００６３】
上記の理由から上記技術２を用いることにより、高精度版射影変換行列の推定精度向上が見込める。
【００６４】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【００６５】
＜２．その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
【００６６】
例えば、本技術は以下のような構成を取ることができる。
（１）
プロジェクタによる投影画面を、撮像領域が部分的に重複するように複数の領域に分けて撮像し、撮像画像として、複数の部分画像を取得する撮像部と、
前記撮像画像に基づいて、隣り合う前記部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行う推定部と
を備える画像処理装置。
（２）
前記射影変換行列を用いて複数の前記部分画像を射影変換して繋ぎ合わせることによって生成された画像に基づいて、前記プロジェクタによって投影する投影画像の校正を行う校正部、をさらに備えた
上記（１）に記載の画像処理装置。
（３）
前記推定部は、ユニークな局所特徴量を持つ複数の画像特徴点を画像全体に配置した第１の画像パターンを含む画像を投影した場合に取得された前記撮像画像に基づいて、前記射影変換行列の１回目の推定を行う
上記（１）または（２）に記載の画像処理装置。
（４）
前記推定部は、前記第１の画像パターンよりも前記画像特徴点の座標位置を高精度に特定可能な、第２の画像パターンを含む画像を投影した場合に取得された前記撮像画像と、前記射影変換行列の１回目の推定結果とに基づいて、前記射影変換行列の２回目の推定を行う
上記（３）に記載の画像処理装置。
（５）
前記第１の画像パターンは、前記画像特徴点の周囲に、所定の明度よりも明度の高い画素と明度の低い画素とを含む
上記（３）または（４）に記載の画像処理装置。
（６）
前記第２の画像パターンは、前記投影画面における前記画像特徴点の配置間隔に対して、前記撮像画像上における前記画像特徴点の配置間隔の方が等間隔に近付くように調整されたパターンである
上記（４）または（５）に記載の画像処理装置。
（７）
前記第２の画像パターンにおける前記画像特徴点の配置間隔は、１回目の推定による前記射影変換行列が持つ射影変換誤差の値よりも大きく、かつ、所定の値よりも小さい値である
上記（６）に記載の画像処理装置。
（８）
前記第１の画像パターンを含む画像の投影および撮像と、前記第２の画像パターンを含む画像の投影および撮像とをそれぞれ別々に行う
上記（４）ないし（７）のいずれか１つに記載の画像処理装置。
（９）
前記推定部は、前記第１の画像パターンと前記第２の画像パターンとが混在した画像を投影した場合に取得された前記撮像画像に基づいて、前記射影変換行列の１回目および２回目の推定を行う
上記（４）ないし（７）のいずれか１つに記載の画像処理装置。
（１０）
プロジェクタによる投影画面を、撮像領域が部分的に重複するように複数の領域に分けて撮像することによって、撮像画像として、複数の部分画像を取得することと、
前記撮像画像に基づいて、隣り合う前記部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行うことと
を含む画像処理方法。
（１１）
プロジェクタと、
前記プロジェクタによる投影画面を、撮像領域が部分的に重複するように複数の領域に分けて撮像し、撮像画像として、複数の部分画像を取得する撮像部と、
前記撮像画像に基づいて、隣り合う前記部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定する演算を複数回行う推定部と
を備えるプロジェクションシステム。
【００６７】
本出願は、日本国特許庁において２０１５年６月１９日に出願された日本特許出願番号第２０１５−１２３６１２号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
【００６８】
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
【図１】
2016204068.tif 000003
【図２】
2016204068.tif 000004
【図３】
2016204068.tif 000005
【図４】
2016204068.tif 000006
【図５】
2016204068.tif 000007
【図６】
2016204068.tif 000008
【図７】
2016204068.tif 000009
【図８】
2016204068.tif 000010
【図９】
2016204068.tif 000011
【図１０】
2016204068.tif 000012
【図１１】
2016204068.tif 000013
【図１２】
2016204068.tif 000014
【図１３】
2016204068.tif 000015
【図１４】
2016204068.tif 000016
【図１５】
2016204068.tif 000017
【図１６】
2016204068.tif 000018
【図１７】
2016204068.tif 000019
【図１８】
2016204068.tif 000020
【図１９】
2016204068.tif 000021
【図２０】
2016204068.tif 000022
【国際調査報告】
2016204068.tif 000023
2016204068.tif 000024
2016204068.tif 000025
2016204068.tif 000026