(57)【要約】【課題】被投影物の所定の領域に適合するように投影される画像を容易に生成すること。【解決手段】パターンまたは模様を一部に含む被投影物に投影される投影コンテンツの画像を処理する画像処理装置であって、投影コンテンツの画像と、被投影物との位置合わせを行う位置合わせ手段と、位置合わせ手段による位置合わせ結果に基づいて投影コンテンツの画像を変形する変形手段と、変形手段によって変形された投影コンテンツの画像において、投影装置による被投影物への投影領域に対応する画像を切り出す切り出し手段と、切り出された画像を投影装置に出力する出力手段と、を備える。【選択図】図２
2019205134.tif 000002
【特許請求の範囲】
【請求項１】
パターンまたは模様を一部に含む被投影物に投影装置から投影される投影コンテンツの画像を処理する画像処理装置であって、
前記投影コンテンツの画像と、前記被投影物との位置合わせを行う位置合わせ手段と、
前記位置合わせ手段による位置合わせ結果に基づいて前記投影コンテンツの画像を変形する変形手段と、
前記変形手段によって変形された前記投影コンテンツの画像において、前記投影装置による前記被投影物への投影領域に対応する画像を切り出す切り出し手段と、
前記切り出された画像を前記投影装置に出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記切り出し手段は、前記投影装置の解像度に相当する領域を前記投影領域として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記投影コンテンツの画像は、前記被投影物の画像に関連する画像であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記変形手段は、前記投影コンテンツの画像のうち、前記投影領域に対応する領域の部分画像を変形することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記部分画像は、前記投影装置の座標系における投影領域を前記投影コンテンツの画像の座標系に変換した領域を、部分的に拡張した領域の画像であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記被投影物は、画像が印刷された印刷物であることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記位置合わせ手段は、
前記被投影物における前記投影領域を含む領域を撮像するように設置されている撮像装置によって撮像された撮像データを取得する取得手段と、
前記被投影物の画像データと前記撮像データとに基づいて、前記被投影物と前記撮像装置との位置関係を決定する第一の位置合わせ手段と、
前記投影装置から前記被投影物に投影された位置合わせ用パターンと、前記撮像装置によって前記位置合わせ用パターンが撮像された撮像データと、に基づいて、前記撮像装置と前記投影装置との位置関係を決定する第二の位置合わせ手段と、
を備えることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第一の位置合わせ手段は、前記被投影物の画像データを分割した領域ごとの画像特徴点を用いて領域ごとの位置関係を決定し、
前記変形手段は、前記領域ごとの位置関係に基づいて、前記投影コンテンツの画像を領域ごとに変形することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記被投影物の画像データと、前記変形手段によって変形される前の投影コンテンツの画像の画像データとは、同じ解像度の画像データであることを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記位置合せ手段は、
前記被投影物における前記投影領域を含む領域を撮像するように設置されている撮像装置によって撮像された撮像データを取得する取得手段と、
前記被投影物の３次元形状モデル及び前記撮像データに基づいて、前記被投影物と前記撮像装置との位置関係を決定する第一の位置合わせ手段と、
前記撮像データと前記撮像装置の内部パラメータ及び前記投影装置の内部パラメータとに基づいて前記撮像装置と前記投影装置との位置関係を決定する第二の位置合わせ手段と、
を備えることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項１１】
前記投影装置が複数ある場合、
前記第二の位置合わせ手段は、投影装置ごとに前記位置関係を決定することを特徴とする請求項７から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記第一の位置合わせ手段と前記第二の位置合わせ手段とで用いられる前記撮像データは、所定の位置に設置されている前記撮像装置から同一の画角で撮像された撮像データであることを特徴とする請求項７から１１のいずれか一項に記載の画像処理装置。
【請求項１３】
請求項７から１２のいずれか一項に記載の画像処理装置と、
前記撮像装置と、
前記投影装置と、
前記撮像装置及び投影装置を制御する制御手段と、
を有する画像投影システムであって、
前記制御手段は、前記撮像装置が前記被投影物を撮像する際に、前記投影装置から投影が行われるように前記投影装置を制御することを特徴とする画像投影システム。
【請求項１４】
パターンまたは模様を一部に含む被投影物に投影装置から投影される投影コンテンツの画像を処理する画像処理方法であって、
前記投影コンテンツの画像と、前記被投影物との位置合わせを行う位置合わせステップと、
前記位置合わせステップによる位置合わせ結果に基づいて前記投影コンテンツの画像を変形する変形ステップと、
前記変形ステップによって変形された前記投影コンテンツの画像において、前記投影装置による前記被投影物への投影領域に対応する画像を切り出す切り出しステップと、
前記切り出された画像を前記投影装置に出力する出力ステップと、
を備えることを特徴とする画像処理方法。
【請求項１５】
コンピュータを、請求項１から１３のいずれか一項に記載の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、印刷物等の被投影物に画像を投影する技術に関するものである。
【背景技術】
【０００２】
従来から、ポスター等の印刷物に投影装置から様々な画像を投影して、印刷物の見かけを変化させたり、情報を追加表示したりする技術が知られている。特許文献１では、実物の絵を表示対象物とし、実物の絵の所定の領域に投影装置からコンテンツの画像を投影する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−８８６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、実物の絵の所定の領域にコンテンツの画像を投影するためには、予めその領域のサイズに適合する画像をユーザが準備する必要がある。また、その所定の領域に適合するようにコンテンツの画像を重畳投影するためには、ユーザは、投影装置の設置位置を調整するなど、絵と投影装置との位置合わせを手動で行う必要があり、位置合わせ作業が煩雑となる。
【０００５】
本発明は、被投影物の所定の領域に適合するように投影される画像を容易に生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、パターンまたは模様を一部に含む被投影物に投影装置から投影される投影コンテンツの画像を処理する画像処理装置であって、前記投影コンテンツの画像と、前記被投影物との位置合わせを行う位置合わせ手段と、前記位置合わせ手段による位置合わせ結果に基づいて前記投影コンテンツの画像を変形する変形手段と、前記変形手段によって変形された前記投影コンテンツの画像において、前記投影装置による前記被投影物への投影領域に対応する画像を切り出す切り出し手段と、前記切り出された画像を前記投影装置に出力する出力手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被投影物の所定の領域に適合するように投影される画像を容易に生成することができる。
【図面の簡単な説明】
【０００８】
【図１】画像投影システムの概要を説明する図。
【図２】画像投影システムの機能構成例を示すブロック図。
【図３】画像処理装置のハードウェア構成の一例を示す図。
【図４】全体の処理の一例を示すフローチャート。
【図５】座標系の変換を説明する図。
【図６】位置合わせ処理のフローチャート。
【図７】位置合わせ処理のフローチャート。
【図８】全体の処理の一例を示すフローチャート。
【図９】座標系の変換を説明する図。
【図１０】画像投影システムの概要を説明する図。
【図１１】画像投影システムの機能構成例を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１０】
＜＜実施形態１＞＞
図１は、本実施形態の画像投影システムの概要を説明する図である。本実施形態では、被投影物として、壁などに貼付されたポスターなどの印刷物１００を例に挙げて説明する。そして、印刷物１００における画像の一部の領域（以下、部分領域という）に対して、投影コンテンツの画像（以下、投影コンテンツ画像という）を投影装置から投影する。これにより、印刷物１００の部分領域１０１に対応する投影領域１５１に、投影コンテンツの画像が重畳して提示されることになる。
【００１１】
本実施形態では、印刷物１００に印刷されている画像（以下、コンテンツ画像という）と、投影コンテンツの画像とは、同じサイズ（解像度）の同じ画像である場合を例に挙げて説明する。つまりあるコンテンツ画像をプリンタに出力させて印刷物を生成し、印刷物を生成するために用いたコンテンツ画像を投影装置に出力させて投影コンテンツ画像を生成する。例えば、印刷物１００に印刷されているコンテンツ画像と投影コンテンツの画像とは、同じ車の画像であるものとする。そして、印刷物１００における画像の部分領域１０１は、ヘッドライトを含む領域であるものとする。ユーザは、投影装置１５０からヘッドライト部分の輝度を高くした投影画像を投影することで印刷物１００の見かけを変化させたい、といった場面を想定する。この場合、印刷物１００全体を投影領域とせずに、部分領域１０１を含む領域を投影領域１５１とすることで、部分領域１０１の輝度を、印刷物１００全体を投影領域とした場合に比べて高くすることができる。
【００１２】
まず、比較例として、ユーザが、部分領域に対応する投影画像を用意して、投影装置１５０の設置位置を手動で調整することで、ヘッドライト部分の輝度を高くする手法を説明する。ユーザは、投影コンテンツの画像（車の全体の画像）の中から、ヘッドライト付近の部分領域１０１を切り出して、投影用の画像データを準備する。そして、準備した投影用の画像データを投影装置１５０から投影する。ユーザは、切り出した投影用の画像データを投影装置１５０で投影しながら、印刷物における切り出した部分領域１０１に対応する位置に投影画像が正確に一致するように、投影装置１５０の設置位置などを手動で調整する。このような調整は、ユーザにとって手間である。また、高精度に位置合わせをすることが難しい。さらには、調整後に、印刷物１００の位置と１５０との相対位置に変更が生じてしまうと、再度、その位置に合わせた投影用の画像データをユーザが準備する必要があったり、投影装置１５０の設置位置を手動で調整したりするなどの手間が生じてしまう。以下で説明する実施形態では、このような手間を生じさせずに、印刷物１００の部分領域１０１に適した投影画像を画像処理装置が生成して、生成した投影画像を投影装置１５０が投影する形態を説明する。
【００１３】
なお、印刷物１００の形状は長方形に限らず、平面であれば何でもよい。例えば、ひし形や台形、丸や三角などであってもよい。また、ここでは被投影物の一例として印刷物１００を示しているが、カーテンおよび服などの布製品でも良い。
【００１４】
＜構成の説明＞
図２は、本実施形態における画像投影システムの機能構成例を示すブロック図である。図２に示すように、本実施形態に係る画像投影システムは、撮像装置２５０、投影装置１５０、および画像処理装置２００を有する。
【００１５】
撮像装置２５０は、印刷物１００が画角に含まれるように配置される。撮像装置２５０は、印刷物１００を撮像する。また、撮像装置２５０は、投影装置１５０から投影する位置合わせ用のパターン画像を撮像する。なお、撮像装置２５０は、必ずしも印刷物全体が画角に含まれるように配置される必要はなく、少なくとも印刷物１００上の投影領域１５１が画角に含まれれば良い。
【００１６】
投影装置１５０は、画像処理装置２００のデータ保持部２０２に保持されている投影コンテンツの画像（以下、投影コンテンツ画像という）を印刷物１００に投影する。投影装置１５０は、印刷物１００上の画像の部分領域１０１が投影領域１５１に含まれるように配置される。なお、本実施形態では、ユーザは、投影装置１５０の設置位置を高精度に合わせる必要はない。投影装置１５０は、印刷物１００における画像の部分領域が投影領域１５１に含まれるように配置されていれば良い。つまり、図１の例では、印刷物１００における画像に対して、車のヘッドライト付近の領域が投影領域１５１に含まれるように投影装置１５０が設置されていれば良い。さらに付言すると、重畳投影の対象物であるヘッドライトが投影領域１５１の中央付近に位置するように投影装置１５０を設置しなくても良い。重畳投影の対象物であるヘッドライトが投影領域１５１の中央よりも端部寄りに位置するように、投影装置１５０が設置されても良い。投影装置１５０は、印刷物１００上の重畳投影の対象物の部分領域１０１が投影領域１５１に含まれるように、大まかな位置合わせをして配置されていれば良い。なお、ここでは投影装置１５０の設置位置を調整する例を説明したが、投影装置１５０が固定されており、印刷物１００の位置を調整する形態でも同様である。
【００１７】
画像処理装置２００は、例えばコンピュータなどの情報処理装置であり、制御部２０１と、データ保持部２０２と、位置合わせ部２０３と、画像変形部２０４と、領域決定部２０５と、画像切り出し部２０６とを有する。
【００１８】
制御部２０１は、画像処理装置２００の全体の処理を制御する。制御部２０１は、投影装置１５０における投影処理と撮像装置２５０における撮像処理とを制御可能である。本実施形態では、画像処理装置２００の制御部２０１が投影装置１５０と撮像装置２５０とを制御する形態を例に挙げて説明するが、各装置を制御する制御装置を別個に備えていても良い。
【００１９】
データ保持部２０２は、各種のデータおよび情報を保持する。例えば、データ保持部２０２は、印刷物１００のコンテンツ画像に対応する画像データ（コンテンツ画像データという）を保持する。また、データ保持部２０２は、投影装置１５０から投影する投影コンテンツの画像データ（投影コンテンツ画像データという）を保持する。本実施形態では、投影コンテンツ画像は、印刷物１００のコンテンツ画像と関連する画像である。例えば、印刷物１００のコンテンツ画像と投影コンテンツ画像とは、同じシーンの画像である。同じシーンの画像には、所定の画像処理後の画像が含まれる。例えば、一方をコントラスト補正した画像、他方をコントラスト補正していない画像としても良い。また、一方をノイズ低減処理した画像とし、他方をノイズ低減処理していない画像としても良い。印刷物１００のコンテンツ画像と投影コンテンツ画像とは同じ画像サイズであればよく、異なる画像であっても良い。印刷物１００のコンテンツ画像は、後述する投影コンテンツ画像との位置合わせに利用される。また、データ保持部２０２は、投影領域情報を保持する。投影領域情報は、例えば投影装置１５０の解像度の値である。
【００２０】
位置合わせ部２０３は、印刷物１００と撮像装置２５０との間の位置関係、及び、撮像装置２５０と投影装置１５０との間の位置関係をそれぞれ推定する。処理の詳細については、後述する。
【００２１】
画像変形部２０４は、位置合わせ部２０３で決定した位置関係に基づいて、投影コンテンツ画像を変形する。まず、画像変形部２０４は、位置合わせ部２０３で推定した印刷物１００と撮像装置２５０と間の位置関係に基づいて、コンテンツ画像をコンテンツ画像の座標系からカメラ座標系に変換する。さらに、画像変形部２０４は、撮像装置２５０と投影装置１５０との間の位置関係に基づいて、カメラ座標系のコンテンツ画像をプロジェクタ座標系５３１に変換することで、コンテンツ画像を変形する。処理の詳細は後述する。
【００２２】
領域決定部２０５は、プロジェクタ座標系に変形されたコンテンツ画像において、投影装置１５０から投影する領域を、投影領域情報に基づいて決定する。処理の詳細は、後述する。
【００２３】
画像切り出し部２０６は、プロジェクタ座標系に変形されたコンテンツ画像から、領域決定部２０５で決定した領域に対応する部分画像を切り出す。このように切り出された部分画像は、投影画像として投影装置１５０から投影される。即ち、制御部２０１が、投影装置１５０を制御して、画像切り出し部２０６で切り出された部分画像を投影画像として投影装置１５０に投影させる。なお、切り出された部分画像は、位置関係に基づいて変形済みの投影コンテンツ画像の一部であるので、投影装置１５０から投影されると、投影画像は、印刷物１００における画像の所定の領域に高精度で位置合わせされた状態で重畳して投影されることになる。
【００２４】
図３は、画像処理装置２００のハードウェア構成の一例を示す図である。図３に示す画像処理装置２００は、ＣＰＵ３０１、メインメモリ３０２、記憶部３０３、入力部３０４、および出力部３０５を備え、各部がバス３０８を介して接続されている。ＣＰＵ３０１は、画像処理装置２００を統括的に制御する演算処理装置であり、記憶部３０３等に格納された各種プログラムを実行して様々な処理を行う。メインメモリ３０２は、各種処理で用いられるデータおよびパラメータなどを一時的に格納するほか、ＣＰＵ３０１に作業領域を提供する。記憶部３０３は、各種プログラムおよび各種データを記憶する大容量記憶装置である。記憶部３０３としては、例えばハードディスクまたはシリコンディスク等の不揮発性メモリが用いられる。入力部３０４は、撮像装置２５０で撮像された撮像データおよび印刷物１００のコンテンツ画像の画像データなどを入力する。また、入力部３０４は、ユーザの各種の指示を入力する。出力部３０５は、投影装置１５０に投影画像の画像データを出力したり、投影装置１５０および撮像装置２５０に各種の制御命令を出力したりする。図２に示す画像処理装置２００のデータ保持部２０２は、記憶部３０３に対応する。図２に示す画像処理装置２００のその他の各部の一部もしくは全部は、記憶部３０３に記憶されたプログラムをＣＰＵ３０１がメインメモリ３０２に展開し、実行することで実現することができる。あるいは、各部の一部もしくは全部は、専用のハードウェアによって実現されても良い。
【００２５】
＜フローチャート＞
図４は、本実施形態に係る画像処理装置２００が行う全体の処理の一例を示すフローチャートである。図４のフローチャートで示される一連の処理は、ＣＰＵ３０１が記憶部３０３に記憶されているプログラムコードをメインメモリ３０２に展開し実行することにより行われる。あるいはまた、図４におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。
【００２６】
Ｓ４０１では、制御部２０１は、投影装置１５０を制御して、位置合わせ用のパターンを投影装置１５０から印刷物１００上に投影させる。また、制御部２０１は、撮像装置２５０を制御して、位置合わせ用のパターンが投影された印刷物１００を撮像させる。位置合わせ用のパターンは、例えばグレイコードパターンを用いることができる。グレイコードは、白黒のパターン画像であり、パターンが異なる複数のパターン画像を投影することで位置を推定することが可能である。なお、位置合わせ用のパターンは、パターンが投影された投影面を撮像した画像から識別可能な特徴や座標値が抽出できれば何でもよい。例えば、ランダムドットパターンであってもよい。
【００２７】
Ｓ４０２では、制御部２０１は、撮像装置２５０を制御して、パターンが投影されていない印刷物１００を撮像させる。なお、制御部２０１は、撮像装置２５０が印刷物１００を撮像する際に、投影装置１５０から白色もしくは灰色光を印刷物１００に投影させても良い。これにより、撮像データにおいて印刷物１００が暗くなるのを避けることができる。また、コンテンツ画像データと撮像データとで色が異なる場合には、制御部２０１は、投影装置１５０を制御して、色を一致させるもしくは似せるような投影を行っても良い。
【００２８】
Ｓ４０３では、位置合わせ部２０３は、第一の位置合わせ処理として、印刷物１００と撮像装置２５０との間の位置関係を推定する。具体的には、Ｓ４０２の撮像で得られた、パターンが投影されていない印刷物１００の撮像画像と、データ保持部２０２に保持されている印刷物１００のコンテンツ画像とを用いる。そして、印刷物１００と撮像装置２５０との間のホモグラフィーＨctを推定する。ホモグラフィーは、ある平面を別の平面に写像する射影変換を表すものである。処理の詳細については、後述する。
【００２９】
Ｓ４０４では、位置合わせ部２０３は、第二の位置合わせ処理として、撮像装置２５０と投影装置１５０との間の位置関係を推定する。具体的には、Ｓ４０１の撮像で得られた、パターンが投影された印刷物１００の撮像画像と、Ｓ４０１で投影されたパターンとを用いて、撮像装置２５０と投影装置１５０との間のホモグラフィーＨpcを推定する。処理の詳細については、後述する。
【００３０】
Ｓ４０５では、画像変形部２０４は、データ保持部２０２に保持されている投影コンテンツ画像を、Ｓ４０３およびＳ４０４の結果得られる位置関係に基づいて変換する。前述したように、投影コンテンツの画像は、印刷物１００のコンテンツ画像と同じ解像度の画像である。即ち、投影コンテンツの画像の座標系と、印刷物のコンテンツ画像の座標系とは、同じ座標系である。この投影コンテンツ画像を、プロジェクタ座標系の画像に変換する処理を行う。画像変形部２０４は、Ｓ４０３の第一の位置合わせ処理で推定したホモグラフィーＨctを用いて、投影コンテンツ画像をカメラ座標系の画像に変換する。さらに、画像変形部２０４は、このカメラ座標系に変換された投影コンテンツ画像を、Ｓ４０４の第二の位置合わせ処理で推定したホモグラフィーＨpcを用いてプロジェクタ座標系の画像に変換する。
【００３１】
図５は、座標系の変換を説明する図である。図５（ａ）は、投影コンテンツ画像５１０を示す図である。投影コンテンツ画像５１０と印刷物１００のコンテンツ画像とは、同じ座標系（コンテンツ座標系５１１）の画像である。画像変形部２０４は、位置合わせ部２０３で推定した印刷物１００と撮像装置２５０と間の位置関係に基づいて、投影コンテンツ画像５１０をカメラ座標系５２１の画像に変形する。具体的には、印刷物１００と撮像装置２５０との間のホモグラフィーＨctを用いる。そして、図５（ａ）及び（ｂ）に示すように、投影コンテンツ画像５１０をコンテンツ座標系５１１上の座標（ｕt、ｖt）からカメラ座標系５２１上の座標（ｕc、ｖc）へ式１を用いて変換する。図５（ｂ）は、投影コンテンツ画像５１０をカメラ座標系５２１の画像に変形した第一変形画像５２０を示している。
【００３２】
【数１】
2019205134.tif 000003
【００３３】
画像変形部２０４は、さらに、撮像装置２５０と投影装置１５０との間の位置関係に基づいて、カメラ座標系５２１の第一変形画像５２０をプロジェクタ座標系の画像に変形する。即ち、画像変形部２０４は、撮像装置２５０と投影装置１５０との間のホモグラフィーＨpcを用いる。そして、図５（ｂ）及び（ｃ）に示すように、第一変形画像５２０をカメラ座標系５２１の座標（ｕc、ｖc）からプロジェクタ座標系５３１の座標（ｕp、ｖp）へ式２を用いて変換する。図５（ｃ）は、カメラ座標系５２１の第一変形画像５２０を、プロジェクタ座標系５３１の画像に変形した第二変形画像５３０を示している。このように、投影コンテンツ画像５１０は、プロジェクタ座標系５３１の画像（第二変形画像５３０）に変形される。
【００３４】
【数２】
2019205134.tif 000004
【００３５】
Ｓ４０６では、領域決定部２０５は、データ保持部２０２が保持する投影領域情報を参照し、変形後の投影コンテンツ画像における投影領域を決定する。即ち、領域決定部２０５は、プロジェクタ座標系５３１の第二変形画像５３０における投影領域を、投影領域情報に基づいて決定する。図５（ｃ）を用いて説明する。プロジェクタ座標系５３１に変換された投影コンテンツ画像（第二変形画像５３０）は、投影装置１５０の有効表示領域の左上の点５３２を原点として投影装置の解像度に相当する領域を包含する。また、投影コンテンツ画像（第二変形画像５３０）は、プロジェクタ座標系５３１のマイナス座標も含む。マイナス座標が含まれるのは、印刷物１００の部分領域に位置合わせパターンを投影した画像を撮像した撮像データに基づいて、投影装置１５０と撮像装置２５０との間の位置関係が決定されているからである。領域決定部２０５は、原点５３２から投影領域情報（ここでは、解像度）に相当する領域を、投影領域５３５として決定する。つまり、領域決定部２０５は、プロジェクタ座標系５３１において、（０，０）、（Ｘ方向解像度−１, ０）、（Ｘ方向解像度−１、Ｙ方向解像度−１）、（０、Ｙ方向解像度−１）の４点の座標を結ぶ閉曲線の内部を投影領域５３５と決定する。
【００３６】
Ｓ４０７では、画像切り出し部２０６は、Ｓ４０６で決定した投影領域５３５に基づいて、変形後の投影コンテンツ画像（第二変形画像５３０）から部分画像を切り出す。即ち、画像切り出し部２０６は、投影領域５３５に相当する部分画像を第二変形画像５３０から切り出す。
【００３７】
Ｓ４０８では、制御部２０１は、投影装置１５０を制御して、Ｓ４０７で切り出した部分画像を投影装置１５０から印刷物１００上へ投影させる。以上の処理により、位置合わせが行われた部分画像が、印刷物１００上の適切な位置に投影されることになる。
【００３８】
＜位置合わせ処理の説明＞
図６（ａ）は、Ｓ４０３で実施する第一の位置合わせの処理の詳細を示すフローチャートである。図６（ａ）の処理は、位置合わせ部２０３によって実行される。Ｓ６０１では、位置合わせ部２０３は、データ保持部２０２によって保持されている印刷物１００のコンテンツ画像とＳ４０２の撮像で得られた撮像画像との両方から画像特徴点を抽出する。ここで抽出する画像特徴点は、例えばＡ−ＫＡＺＥ特徴とする。Ａ−ＫＡＺＥ特徴はスケールや回転、輝度変化、ブラーに対してロバストな対応を取得できる特徴である。なお、抽出する特徴点はＡ−ＫＡＺＥ特徴に限定するものではなく、画像から抽出できる特徴点であれば、いかなる特徴でも良い。
【００３９】
Ｓ６０２では、位置合わせ部２０３は、Ｓ６０１で印刷物１００のコンテンツ画像及び撮像画像から抽出した画像特徴点同士の対応を決定する。具体的には、Ａ−ＫＡＺＥ特徴量が最も一致するものを互いに全探索する。Ｓ６０３では、位置合わせ部２０３は、Ｓ６０２で決定した画像特徴点の対応から印刷物１００と撮像装置２５０との間のホモグラフィーを推定する。このとき、例えば、ＲＡＮＳＡＣや最尤推定といったロバスト推定を適用しても良い。ロバスト推定を適用することで、特徴点の対応に誤ったものが含まれていた場合であっても、精度の高いホモグラフィーを推定することができる。
【００４０】
図６（ｂ）は、Ｓ４０４で実施する第二の位置合わせの処理の詳細を説明するフローチャートである。Ｓ６５１では、位置合わせ部２０３は、Ｓ４０１の撮像で得られた撮像画像を用いて、投影装置１５０が投影した位置合わせ用のパターンと撮像画像との間の対応点を決定する。位置合わせ用のパターンとして、グレイコードを用いることが出来る。位置合わせ用に用いるグレイコードパターンは、該パターンを投影した投影装置上の座標を一意に決定可能なパターンであり、該パターンを撮像した画像と一対一で対応付けが可能である。Ｓ６５２では、位置合わせ部２０３は、Ｓ６５１で決定した対応点から、撮像装置２５０と投影装置１５０との間のホモグラフィーを推定する。
【００４１】
なお、上記で説明した例では、Ｓ６０１において、Ｓ４０２で撮像した画像から画像特徴点を抽出する例を説明した。しかし、Ｓ４０１で撮像した、パターンが投影された印刷物の撮像画像から画像特徴点が抽出可能な場合には、Ｓ４０１で撮像した画像から画像特徴点を抽出してもよい。この場合には、Ｓ４０２の処理を省略しても良い。
【００４２】
また、上記で説明した例では、第一の位置合わせ（Ｓ４０３）の後に第二の位置合わせ（Ｓ４０４）を実施する方法について説明したが、第二の位置合わせの後に第一の位置合わせを実施してもよい。この場合、位置合わせ用のパターンは必ずしも印刷物上に投影する必要はなく、第二の位置合わせを実施後に印刷物を貼付し、第一の位置合わせを実施するようにしてもよい。また、投影装置およびカメラの配置が固定の場合には、撮像装置２５０と投影装置１５０との間のホモグラフィーが不変である。このため、第二の位置合わせを１度実施した結果をデータ保持部２０２に保持しておき、次回からはデータ保持部２０２から読み込むようにしてもよい。
【００４３】
以上述べたように、本実施形態では、撮像装置を用いて印刷物と投影装置との位置関係を推定し、位置合わせの結果に基づいて投影コンテンツ画像を変形する。そして、投影装置の投影領域と同じ解像度の領域の部分画像を、変形後の投影コンテンツ画像から切り出す。このように切り出された画像を投影画像として投影装置が投影することで、高精度に位置合わせがされた投影画像が、印刷物の部分領域に重畳して投影されることが可能となる。このように、本実施形態によれば、投影する所定の領域のサイズに適合させたコンテンツ画像を予め作る必要がない。また、その領域にコンテンツ画像を投影するための投影装置を設置する位置をユーザが正確に調整する手間を省くことができる。
【００４４】
＜変形例１＞
実施形態１では、印刷物の形状が平面であることを想定して説明したが、印刷物の形状が、曲面や凸凹形状などでもよい。本変形例では、印刷物の形状が平面以外の形状の場合について説明する。本変形例では、第一の位置合わせの処理及び第二の位置合わせの処理内容が、実施形態１と異なる。以下では、相違点を中心に説明する。
【００４５】
先ず、図６（ａ）を用いて第一の位置合わせの処理について説明する。Ｓ６０１及びＳ６０２の処理は、実施形態１で説明したものと同様である。
【００４６】
Ｓ６０３では、位置合わせ部２０３は、印刷物１００のコンテンツ画像及び撮像画像から抽出した画像特徴点の対応から、印刷物１００と撮像装置２５０との間のホモグラフィーを推定する。本変形例では、このとき、印刷物１００のコンテンツ画像または撮像画像のどちらか一方を複数の領域に分割し、領域ごとに領域内に含まれる画像特徴点の対応を用いてホモグラフィーを推定する。印刷物の形状が曲面や凹凸であっても、小さい領域に分割することで各領域を平面と仮定することができるため、領域ごとにホモグラフィーの推定が可能となる。領域の分割方法は任意の方法を採用すれば良く、例えば予め定めたサイズの格子で領域を分割しても良い。
【００４７】
ホモグラフィー推定には少なくとも４つの対応点が必要となる。対応点が４つ以上含まれない領域については、周辺の領域での対応を用いてホモグラフィーを推定する。なお、対応点が４つ以上含まれない領域については、他の方法でホモグラフィーを推定するようにしても良い。例えば、画像特徴点が抽出されない印刷物のコンテンツ画像の領域に、特徴点が抽出されるようにするために既知のマーカーなどを貼付してもよい。
【００４８】
次に、図６（ｂ）を用いて第二の位置合わせの処理を実行する。Ｓ６５１は、実施形態１で説明したものと同様である。Ｓ６５２において、位置合わせ部２０３は、撮像装置２５０と投影装置１５０との間のホモグラフィーを推定する。このとき、撮像画像または位置合わせ用パターン（パターン画像）のどちらか一方を複数の領域に分割し、Ｓ６０３と同様にして、領域ごとに領域内に含まれる画像特徴点の対応を用いてホモグラフィーを推定する。
【００４９】
変形例１を適用することで、印刷物１００の形状が平面以外の形状、例えば曲面や凸凹形状などの場合であっても、撮像装置２５０を用いて印刷物１００と投影装置１５０との位置関係を推定し、位置合わせの結果に基づいて投影コンテンツ画像を変形できる。
【００５０】
＜＜変形例２＞＞
変形例２では、印刷物１００の形状が未知の場合について説明した。印刷物１００の３次元形状が既知である場合には、印刷物の３次元形状から得られる特徴に、印刷物を撮像した撮像画像から抽出した特徴を当てはめるモデルフィッティングの手法を用いることができる。これにより、印刷物１００と撮像装置２５０との間の位置姿勢を推定することが可能である。推定した位置姿勢に基づいて投影コンテンツ画像を変形することができる。
【００５１】
まず、本変形例に係るシステムの機能構成例を図２のブロック図を用いて説明する。データ保持部２０２以外は、実施形態１で説明したものと同様であるため、ここではデータ保持部２０２についてのみ説明する。
【００５２】
データ保持部２０２は、印刷物１００と同一の表面形状を有する３次元形状モデルを保持する。またデータ保持部２０２は、印刷物と撮像装置との間の概略位置姿勢、撮像装置及び投影装置の内部パラメータ、投影装置１５０から投影する投影コンテンツ画像、並びに、投影領域情報を保持する。３次元形状モデルは、複数の三角形とその接続関係で定義されるポリゴンモデルとする。なお、３次元形状モデルは、印刷物の表面形状が表現できればよく、別の方法で表現してもよい。例えば、複数の面の形状で表現されるＢｒｅｐモデルで表現してもよい。印刷物１００と撮像装置２５０との間の概略位置姿勢は、正確な位置姿勢である必要はなく、ユーザがメジャーや分度器などで測定した距離や角度などで良い。また、ユーザが入力した概略位置姿勢に基づいて本変形例の処理を１度実行して得られた撮像装置２５０と印刷物１００との間の位置姿勢を、撮像装置２５０と印刷物１００との間の概略位置姿勢としても良い。撮像装置２５０及び投影装置１５０の内部パラメータは、例えば撮像装置２５０及び投影装置１５０の焦点距離及び主点位置である。
【００５３】
次に、本変形例における全体の処理フローを図４を用いて説明する。Ｓ４０３からＳ４０５の処理内容のみが実施形態１と異なるため、以下では、Ｓ４０３からＳ４０５の処理のみ説明する。
【００５４】
Ｓ４０３において、位置合わせ部２０３は、印刷物１００と撮像装置２５０との間の３次元の位置姿勢［Ｒ｜Ｔ］ctを推定する。位置姿勢［Ｒ｜Ｔ］ctは、変換行列であり、Ｒは、姿勢成分の行列を示し、Ｔは、平行成分の行列を示している。処理の詳細については、後述する。
【００５５】
Ｓ４０４において、位置合わせ部２０３は、撮像装置２５０と投影装置１５０との間の３次元の位置姿勢［Ｒ｜Ｔ］pcを推定する。処理の詳細については、後述する。
【００５６】
Ｓ４０５において、画像変形部２０４は、式３で示すように、Ｓ４０３で推定した印刷物１００と撮像装置２５０との間の３次元の位置姿勢［Ｒ｜Ｔ］ctを用いて座標変換を行う。即ち、３次元の位置姿勢［Ｒ｜Ｔ］ctを用いて、印刷物１００の３次元形状モデルの各座標（ｘt、ｙt、ｚt）を撮像装置２５０の位置からみた３次元座標（ｘc、ｙc、ｚc）に変換する。
【００５７】
【数３】
2019205134.tif 000005
【００５８】
そして、画像変形部２０４は、撮像装置２５０の位置からみた３次元座標（ｘc、ｙc、ｚc）を、式４に示すように、プロジェクタ座標系の座標（ｕp、ｖp）へ変換する。即ち、撮像装置２５０と投影装置１５０との間の３次元の位置姿勢［Ｒ｜Ｔ］pc及びデータ保持部２０２が保持する投影装置の内部パラメータＫを用いて、３次元座標（ｘc、ｙc、ｚc）を座標（ｕp、ｖp）へ変換する。この結果、印刷物１００の３次元形状モデルに対応する座標系の投影コンテンツ画像を、プロジェクタ座標系の座標へ変形することができる。
【００５９】
【数４】
2019205134.tif 000006
【００６０】
図７（ａ）は、本変形例のＳ４０３で実行する第一の位置合わせの処理を説明するフローチャートである。Ｓ７０１において、位置合わせ部２０３は、データ保持部２０２が有する印刷物１００の３次元形状モデルから、３次元のエッジ特徴を抽出する。また、撮像画像から２次元のエッジ特徴を抽出する。なお、抽出する特徴はエッジ特徴に限らず、３次元形状から抽出できる特徴であれば何でもよい。例えば、曲率がある形状から抽出されるルーフエッジと直角形状から抽出されるジャンプエッジとを区別し、ジャンプエッジのみを抽出するようにしてもよい。ルーフエッジは撮像位置によって検出される位置がずれるが、ジャンプエッジは位置がずれないため、Ｓ７０２において、対応の誤りが生じ難い。
【００６１】
Ｓ７０２において、位置合わせ部２０３は、３次元形状モデルから抽出した３次元のエッジ特徴と撮像画像から抽出した２次元のエッジ特徴との対応を決定する。具体的には、まず、データ保持部２０２が保持する印刷物１００と撮像装置２５０との間の概略位置姿勢に基づいて、３次元形状モデルから抽出した３次元のエッジ特徴を撮像画像上に投影し、３次元のエッジ特徴を２次元の特徴に変換する。次に、撮像画像上に投影して得られた２次元のエッジ特徴ごとに、撮像画像上で最も近傍に存在する撮像画像から抽出した２次元のエッジ特徴を探索し、対応づける。
【００６２】
Ｓ７０３において、位置合わせ部２０３は、対応づいたエッジ特徴同士の距離の総和が最少となる時の印刷物１００と撮像装置２５０との間の位置姿勢［Ｒ｜Ｔ］ctを推定する。対応づいたエッジ特徴同士の距離は、撮像画像上に投影して得られた２次元のエッジ特徴の端点と撮像画像から抽出した２次元のエッジ特徴との距離の和とする。
【００６３】
図７（ｂ）は、本変形例のＳ４０４で実行する第二の位置合わせの処理を説明するフローチャートである。Ｓ７５１は、実施形態１で説明したＳ６５１の処理と同様である。Ｓ７５２において、位置合わせ部２０３は、撮像装置２５０と投影装置１５０との間の位置関係［Ｒ｜Ｔ］pcを推定する。具体的には、撮像装置２５０と投影装置１５０との間の対応点と、データ保持部２０２が保持する撮像装置２５０の内部パラメータ及び投影装置１５０の内部パラメータを用いて、Ｅｓｓｅｎｔｉａｌ行列を推定する。そして、Ｅｓｓｅｎｔｉａｌ行列を姿勢と位置成分に分解することで、撮像装置２５０と投影装置１５０との間の位置関係［Ｒ｜Ｔ］pcを推定することができる。
【００６４】
以上述べたように、印刷物１００の表面形状が既知である場合には、印刷物１００の３次元形状から抽出した特徴を用いて、印刷物１００と投影装置１５０との間の位置合わせを行い、位置合わせの結果にもとづいて投影コンテンツ画像を変形できる。
【００６５】
＜変形例３＞
実施形態１では、印刷物１００を被投影物の例として説明した。しかしながら、被投影物は、絵画、壁画、または投影装置から画像を投影したスクリーンなど、被投影物を撮像した撮像画像からパターンまたは模様等に代表される画像特徴点が抽出できれば何でもよい。被投影物が絵画または壁画の場合には、データ保持部２０２は、印刷物１００の画像に代わって、被投影物の３次元の形状データまたは２次元の画像データを保持すれば良い。例えば、３次元スキャナなどを使って被投影物の表面の３次元位置を計測することで生成された被投影物の３次元の形状データを保持すれば良い。この場合には、変形例２で説明した方法を適用して、位置合わせを行うことができる。被投影物の２次元の画像データは、ＲＧＢＤスキャナを使って被投影物の色及び表面の３次元位置を計測し、被投影物の色情報付き３次元の形状データを生成し、更に３次元の形状データを２次元平面に射影することで生成することができる。この場合、実施形態１または変形例１の方法を適用して位置合わせを行うことができる。なお、被投影物の３次元形状データ及び２次元画像データの生成方法は、上記に限らず何でも良い。例えば、複数の始点から被投影物を撮像し、マルチビューステレオの手法を適用することで３次元形状データを生成するようにしても良い。
【００６６】
以上述べた方法を適用することで、被投影物が印刷物以外のもの、例えば絵画、壁画、または投影装置から画像を投影したスクリーンであっても、撮像装置を用いて印刷物と投影装置との位置関係を推定できる。そして、位置合わせの結果に基づいてコンテンツ画像を変形できる。
【００６７】
＜＜変形例４＞＞
実施形態１では、Ｓ４０５において画像変形部２０４が投影コンテンツ画像をプロジェクタ座標系に変換することで画像を変形する場合に、投影コンテンツ画像全体を変形する例を説明した。本変形例では、画像変形部２０４は、データ保持部２０２が保持する投影領域情報を参照して、投影コンテンツ画像のうちの投影領域に相当する領域のみを変形する形態を説明する。
【００６８】
図８は、本変形例における画像処理装置２００が行う全体の処理の一例を示すフローチャートである。Ｓ８０１からＳ８０４は、実施形態１で説明したＳ４０１からＳ４０４の処理と同様である。
【００６９】
Ｓ８０５において、領域決定部２０５は、データ保持部２０２が保持する投影領域情報を参照し、投影コンテンツ座標系における投影領域を決定する。即ち、本変形例では、投影コンテンツ画像を変形する前に、投影コンテンツ座標系における投影領域を決定する処理を行う。以下、図を用いて説明する。
【００７０】
図９は、本変形例の座標系の変換を説明する図である。本変形例では、図９（ｃ）に示すプロジェクタ座標系５３１における投影領域５３５から、コンテンツ座標系５１１の投影領域９１５を決定する処理を行う。まず、図９（ｃ）に示すように、領域決定部２０５は、プロジェクタ座標系５３１での投影領域５３５を決定する。投影領域５３５は、投影領域情報を参照し、（０，０）、（Ｘ方向解像度−１, ０）、（Ｘ方向解像度−１、Ｙ方向解像度−１）、（０、Ｙ方向解像度−１）の４点の座標を結ぶ閉曲線の内部領域とする。
【００７１】
そして、領域決定部２０５は、図９（ａ）に示すように、コンテンツ座標系５１１における投影領域９１５を決定する。投影領域９１５の求め方は、次の通りである。まず、Ｓ８０４で推定した撮像装置２５０と投影装置１５０との間のホモグラフィーＨpcの逆行列を用いて、図９（ｃ）および（ｂ）に示すように、プロジェクタ座標系５３１での投影領域５３５をカメラ座標系５２１での投影領域９２５に変換する。さらに、Ｓ８０３で推定した印刷物１００と撮像装置２５０との間のホモグラフィーＨctの逆行列を用いて、図９（ｂ）および（ａ）に示すように、カメラ座標系５２１での投影領域９２５をコンテンツ座標系５１１での投影領域９１５に変換する。
【００７２】
次に、Ｓ８０６において、画像変形部２０４は、投影コンテンツ画像５１０に関して、Ｓ８０５で決定した投影領域９１５を含む部分領域９１６に該当する部分画像のみを変形する。部分領域９１６は、投影領域９１５を部分的に拡張した領域である。部分領域９１６は、投影領域９１５を包含しかつ投影コンテンツ画像５１０のサイズ内であれば良く、サイズや形状は何でも良い。例えば、部分領域９１６は、投影領域９１５に外接する長方形とする。あるいは、投影領域９１５を数画素分太らせた領域としても良い。仮に、撮像装置２５０、投影装置１５０、または印刷物１００の配置が振動などの影響で微小にずれた場合、Ｓ８０５およびＳ８０６の処理を再度実行する必要がある場合がある。この時、投影領域９１５よりも部分領域９１６を広く設定しておくことで、微小にずれた場合にも、投影領域９１５は部分領域９１６に含まれるので、再度の処理を省略できる。
【００７３】
Ｓ８０７及びＳ８０８は、実施形態１で説明したＳ４０７及びＳ４０８の処理と同様である。なお、コンテンツ座標系５１１の投影領域９１５と部分領域９１６とが同一の場合は、Ｓ８０７の画像切り出し処理は省略することができる。
【００７４】
以上述べた方法を適用することで、投影コンテンツ画像全体ではなく投影コンテンツ画像の一部のみを変形することができる。これにより、画像変形の処理の負荷を軽減することが可能となる。
【００７５】
＜＜実施形態２＞＞
実施形態１では、１台の投影装置を用いて投影コンテンツ画像を投影する形態を例に挙げて説明した。本実施形態では、印刷物に複数の投影装置から投影した投影コンテンツ画像を重畳させて提示する画像投影システムの例を説明する。
【００７６】
図１０は、本実施形態における画像投影システムの概要を示す図である。印刷物１０００に対して、投影装置１０５１、１０５２、１０５３から、それぞれ投影領域１００１、１００２、１００３に投影画像が投影される。投影装置１０５２は、印刷物１０００全体に投影画像を投影している。投影装置１０５１および１０５３は、印刷物１００の部分領域に投影画像を投影している。なお、説明のため投影装置の台数を３台としているが、制限はない。
【００７７】
＜ブロック図＞
図１１は、本実施形態に係る画像投影システムの機能構成例を示す図である。図１１に示すように、本実施形態に係る画像投影システムは、撮像装置２５０、データ保持部１１０２、投影装置１０５１、１０５２、１０５３、画像処理装置２００を有する。データ保持部１１０２が保持するデータ以外は、実施形態１の図２を用いて説明した内容と同様であるため、データ保持部１１０２についてのみ説明する。
【００７８】
データ保持部１１０２は、印刷物１０００のコンテンツ画像と、投影装置１０５１、１０５２、１０５３から投影する投影コンテンツ画像と、投影領域情報とを保持する。各投影装置から投影される投影コンテンツ画像は、同一であってもよいし、投影装置ごとに異なっていても良い。また、印刷物１０００のコンテンツ画像と投影コンテンツ画像とは同じ画像サイズ（解像度）であれば良く、異なる画像であっても良いし、同一の画像であっても良い。投影領域情報は、各投影装置の解像度とする。印刷物１０００のコンテンツ画像は、位置合わせに利用される。位置合わせの結果及び投影領域情報に基づいて、実施形態１で説明したように、投影コンテンツ画像が変形され、投影装置１０５１、１０５２、及び１０５３から、変形後の投影画像が投影される。
【００７９】
本実施形態における処理を説明する。本実施形態に係る画像処理装置２００が行う全体の処理は、実施形態１の図４のフローチャートを用いて説明した処理を、投影装置ごとに実施する。なお、Ｓ４０２及びＳ４０３で実行する第一の位置合わせの処理については１台の投影装置に関してだけ実施すれば良く、得られた推定結果はその他の投影装置の処理で使用されれば良い。
【００８０】
以上述べたように、本実施形態では、複数の投影装置を用いた場合、投影装置ごとに第二の位置合わせ処理を実施する。従って、投影装置ごとに解像度または投影する所定の領域が異なっている場合であっても、各投影装置と同じ解像度の領域をコンテンツ画像から自動的に切り出すことが可能となる。また、このように各投影装置から投影される投影画像は、印刷物の対応する領域に高精度で適合するように変形された投影画像となる。
【００８１】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８２】
２０３  位置合わせ部
２０４  画像変形部
２０５  領域決定部
２０６  画像切り出し部
【図１】
2019205134.tif 000007
【図２】
2019205134.tif 000008
【図３】
2019205134.tif 000009
【図４】
2019205134.tif 000010
【図５】
2019205134.tif 000011
【図６】
2019205134.tif 000012
【図７】
2019205134.tif 000013
【図８】
2019205134.tif 000014
【図９】
2019205134.tif 000015
【図１０】
2019205134.tif 000016
【図１１】
2019205134.tif 000017