(57)【要約】【課題】投影対象物が動いたときや変形した時の追従処理のずれを目立ち難くすることを課題とする。【解決手段】画像処理装置（１００）は、投影対象物を撮影した撮影画像を基に、投影対象物の歪み量と移動量との、少なくともいずれかを検出する検出手段（１０３，１０４）と、入力画像に対し、第一の画像補正処理を行う第一の補正手段（１０６）と、入力画像に対し、第一の画像補正処理より処理時間が少ない第二の画像補正処理を行う第二の補正手段（１０７）と、検出手段（１０３，１０４）による検出の結果に基づいて、第一の画像補正処理と第二の画像補正処理のいずれの画像補正処理を用いるかを決定し、その決定した画像補正処理が行われた画像を、投影対象物に投影する投影画像とする決定手段（１０８）とを有する。【選択図】図１
2019185532.tif 000002
【特許請求の範囲】
【請求項１】
投影対象物を撮影した撮影画像を基に、前記投影対象物の歪み量と前記投影対象物の移動量との、少なくともいずれかを、検出する検出手段と、
入力画像に対し、第一の画像補正処理を行う第一の補正手段と、
前記入力画像に対し、前記第一の画像補正処理より処理時間が少ない第二の画像補正処理を行う第二の補正手段と、
前記検出手段による検出の結果に基づいて、前記第一の画像補正処理と前記第二の画像補正処理のいずれの画像補正処理を用いるかを決定し、前記決定した画像補正処理が行われた画像を、前記投影対象物に投影する投影画像とする決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記歪み量が所定の閾値を超えたときに、前記決定する画像補正処理を、前記第一の画像補正処理から前記第二の画像補正処理に切り替えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記移動量の増加に応じて前記閾値を増加させることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第二の画像補正処理は、前記第一の画像補正処理の設定を変えた画像補正処理であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第二の画像補正処理は、前記第一の画像補正処理の場合よりも補正に用いる点の数を減らすように設定した画像補正処理であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第二の画像補正処理は、前記第一の画像補正処理の場合よりも解像度を減らすように設定した画像に対する画像補正処理であることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記第二の画像補正処理は、前記入力画像を、前記投影対象物を包含する大きさに拡大する処理であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項８】
前記第一の画像補正処理は、歪み補正処理であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第二の画像補正処理よりも処理時間が少なく、各処理時間が異なる一つ以上の第三の画像補正処理を行う第三の補正手段をさらに有し、
前記決定手段は、前記検出手段による検出の結果に基づいて、前記第一から第三の画像補正処理のいずれの画像補正処理を用いるかを決定することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記入力画像を取得する入力手段と、
前記投影画像を前記投影対象物に投影する投影手段と、
をさらに有することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記投影対象物を撮影する撮像手段をさらに有することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記撮像手段により撮像する領域と前記投影手段により投影される領域との、少なくともいずれかを、前記移動量に基づいて移動させる手段を有することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記撮像する領域と前記投影される領域の少なくともいずれかを前記移動させた場合、前記検出手段は、前記移動に応じて前記移動量の補正を行うことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
投影対象物を撮影した撮影画像を基に、前記投影対象物の歪み量と前記投影対象物の移動量との、少なくともいずれかを、検出する検出工程と、
入力画像に対し、第一の画像補正処理を行う第一の補正工程と、
前記入力画像に対し、前記第一の画像補正処理より処理時間が少ない第二の画像補正処理を行う第二の補正工程と、
前記検出工程による検出の結果に基づいて、前記第一の画像補正処理と前記第二の画像補正処理のいずれの画像補正処理を用いるかを決定し、前記決定した画像補正処理が行われた画像を、前記投影対象物に投影する投影画像とする決定工程と、
を有することを特徴とする画像処理方法。
【請求項１５】
コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影する画像を処理する技術に関する。
【背景技術】
【０００２】
近年、投影装置は、従来のオフィスや会議室などの用途以外にも、さまざまな分野で使用されるようになってきている。それに伴い、投影対象物も従来の投影用のスクリーンからさまざまな物に広がっている。例えば、プロジェクションマッピングと呼ばれる投影手法では、建物や立体物などの投影対象物にコンピューターグラフィックスなどの映像を投影することが行われている。プロジェクションマッピングは、投影対象物が動いているように見せる表現が可能になるため、ショーやサイネージなどの主に人の目を引く必要のある用途において用いられている。
【０００３】
さらに近年、プロジェクションマッピングは、建物のような固定されている物に対してだけではなく、動くものに対しても行われるようになっている（例えば、特許文献１）。また、投影面の形状が変化するものに対する投影も行われるようになっている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６-０８１４９７号公報
【特許文献２】特開２００６-３２３１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動く投影対象物や、投影面の形状が変化する投影対象物に対して、その動きや形状の変化に追従した投影を行う場合、投影する映像の追従処理は、データ処理量が多くなる。追従処理の例としては、投影対象物の距離や位置の検出処理、投影面の形状の検出処理、投影する画像を補正するためのキーストーン（台形補正）処理やｗａｒｐｉｎｇ（投影面の形状に合わせた幾何学歪み補正）処理などがある。これらの処理はデータ処理量が多いため、処理に遅延が発生し易い。そして、遅延が発生すると、投影対象物に投影画像が追従できず、投影対象物と投影画像にずれが生じてしまう。一方、人の目は動きに対して敏感なので、投影対象物と投影画像のずれは人の目につきやすく視聴の妨害となってしまう。特に投影対象物が大きく動いた時や大きく変形した時には、投影する画像の補正処理の演算量が多くなって処理の遅延が大きくなるため、投影対象物と投影画像のずれが大きくなる。そのため、特にずれが目につきやすく視聴の妨害となってしまう。
【０００６】
そこで、本発明は、投影対象物が動いた時や変形した時の追従処理のずれを目立ち難くすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、投影対象物を撮影した撮影画像を基に、前記投影対象物の歪み量と前記投影対象物の移動量との、少なくともいずれかを、検出する検出手段と、入力画像に対し、第一の画像補正処理を行う第一の補正手段と、前記入力画像に対し、前記第一の画像補正処理より処理時間が少ない第二の画像補正処理を行う第二の補正手段と、前記検出手段による検出の結果に基づいて、前記第一の画像補正処理と前記第二の画像補正処理のいずれの画像補正処理を用いるかを決定し、前記決定した画像補正処理が行われた画像を、前記投影対象物に投影する投影画像とする決定手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、投影対象物が動いた時や変形した時の投影対象物と投影画像のずれを目立ち難くすることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】画像投影装置の構成例を示す図である。
【図２】画像投影装置の投影対象物の構成例を示す図である。
【図３】画像投影装置の処理手順を示すフローチャートである。
【図４】撮影画像例を示す図である。
【図５】歪み量情報の取得方法の一例を示す図である。
【図６】第一の画像補正処理の一例を示す図である。
【図７】第二の画像補正処理の一例を示す図である。
【図８】投影方法決定の処理手順を示すフローチャートである。
【図９】歪み量と画像補正処理、および移動量と閾値の関係を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の画像処理装置が適用される画像投影装置１００の概略構成例を示すブロック図である。本実施形態の画像投影装置１００は、例えば動く投影対象物や投影面の形状が変化する投影対象物に対して追従した投影を可能にする装置である。以下、図１を参照しながら本実施形態の画像投影装置１００の構成要素と概略機能の説明を行う。詳細な処理内容は後ほど説明する。
【００１１】
先ず画像投影装置１００の各構成要素について説明する。
画像投影装置１００は、マーカー検出部１０２、歪み量検出部１０３、移動量検出部１０４、第一補正部１０６、第二補正部１０７、決定部１０８、さらに、撮像部１０１、投影部１０９、入力部１０５の各構成要素を有している。これら各構成要素は、演算装置の内部でハードウェアまたはソフトウェアにより構成されてもよいし、それらの組み合わせにより構成されてもよい。本実施形態において、マーカー検出部１０２、歪み量検出部１０３、移動量検出部１０４、第一補正部１０６、第二補正部１０７、決定部１０８は、画像処理装置の主要部であり、これらはマイクロコンピュータ等の演算装置により構成されているとする。なお、以下の説明では省略しているが、各構成要素間で送受信される画像は画像信号であり、投影部１０９からは光線による投影画像が出射されて投影対象物に投影される。
【００１２】
入力部１０５は、画像投影装置１００の外部から、投影される画像の元になる入力画像を取り込む際に使用される。また、入力部１０５は、後述するように歪み等が存在していない理想状態の投影対象物に配置されるマーカーの配置状態およびマーカーの数などを座標系により表すマーカー情報（以下、基準マーカー情報とする）を事前に取得して保持しているとする。なお、入力部１０５は、各種通信規格の端子及びその処理回路等で構成されている。各種通信規格はＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ、登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ、登録商標）、ＬＡＮや無線ＬＡＮ等を含む。入力部１０５は、取り込んだ入力画像と、事前に取得して保持している基準マーカー情報とを、第一補正部１０６と第二補正部１０７に送信する。また、図１では図示を省略しているが、基準マーカー情報は、歪み量検出部１０３と移動量検出部１０４にも送られる。
【００１３】
撮像部１０１は、レンズとＣＣＤなどの撮像センサによって構成される。撮像部１０１は、投影対象物およびその周囲の領域を撮影する。撮像部１０１は、撮影により取得した撮影画像をマーカー検出部１０２に送信する。
【００１４】
マーカー検出部１０２は、撮影画像からマーカーの位置と数を座標系により表すマーカー情報を検出する。以下の説明では、マーカー検出部１０２により撮影画像から検出されたマーカー情報を検出マーカー情報と呼ぶことにする。マーカー検出部１０２は、撮影画像から取得した検出マーカー情報を、歪み量検出部１０３、移動量検出部１０４、第一補正部１０６、第二補正部１０７に送信する。
【００１５】
歪み量検出部１０３は、事前に用意されている基準マーカー情報と、撮像画像から取得された検出マーカー情報とを基に、投影対象物の歪み量を検出し、その検出した歪み量情報を、決定部１０８に送信する。歪み量検出部１０３における歪み量情報の検出処理の詳細については後述する。
【００１６】
移動量検出部１０４は、事前に用意されている基準マーカー情報と、撮像画像から取得された検出マーカー情報とを基に、投影対象物の移動量を検出し、その検出した移動量情報を、決定部１０８に送信する。移動量検出部１０４おける移動量情報の検出処理の詳細は後述する。
【００１７】
第一補正部１０６は、事前に用意されている基準マーカー情報と、撮像画像から取得された検出マーカー情報とを基に、入力画像に対して、投影対象物の動きや形状変化に追従させるための第一の画像補正処理を行って補正画像Ａを作成する。第一の画像補正処理の具体的な処理内容は後述する。第一補正部１０６は、作成した補正画像Ａを、決定部１０８に送信する。
【００１８】
第二補正部１０７は、事前に用意されている基準マーカー情報と、撮像画像から取得された検出マーカー情報とを基に、入力画像に対して、投影対象物の動きや形状変化に追従させるための第二の画像補正処理を行って補正画像Ｂを作成する。本実施形態において、第二の画像補正処理は、第一の画像補正処理と比較して、簡易的で処理時間は少ないが、画質や追従の精度は低い処理である。第二の画像補正処理の具体的な処理内容は後述する。第二補正部１０７は、作成した補正画像Ｂを、決定部１０８に送信する。
【００１９】
決定部１０８は、歪み量情報と移動量情報を基に、第一補正部１０６からの補正画像Ａと第二補正部１０７からの補正画像Ｂとのいずれを投影画像として用いるかを決定する。言い換えると、決定部１０８は、歪み量情報と移動量情報を基に、第一の画像補正処理と第二の画像補正処理のいずれの画像補正処理を選択するかを決定する。そして、決定部１０８は、その決定に応じて補正画像Ａと補正画像Ｂを選択的に切り替えて、投影部１０９に送信する。
【００２０】
投影部１０９は、ランプやレーザーなどの光源と、プリズムやミラーなどの光学素子と、液晶パネルやＬＣＯＳ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｏｎ  Ｓｉｌｉｃｏｎ）パネルなどの表示パネルと、投射レンズとによって構成される。投影部１０９は、決定部１０８から送信された投影画像を、投影対象物に対して投影する。
【００２１】
図２（Ａ）と図２（Ｂ）は、本実施形態の画像投影装置１００により投影される画像と投影対象物の構成例を示す図である。
図２（Ａ）は投影対象物２００とその周囲の領域を示した図である。
投影対象物２００は、例えば自由に移動や変形ができるシート状の物体であるとする。投影対象物２００は、シート状の物体に限らず、例えば、平面状の物体、凹凸のある立体物などでもよい。またこの例では、投影対象物２００に重なるように、投影画像領域２０１が存在している。
【００２２】
投影領域２０２は、投影部１０９が投影する領域である。画像投影装置１００は、投影領域２０２内の投影画像領域２０１に対して画像を投影し、投影対象物２００の移動や変形に対する追従投影を行う。また画像投影装置１００は、投影領域２０２内の投影画像領域２０１より外側の領域に対しては例えば黒の画像を投影する。このため、投影画像領域２０１より外側の領域については、人の目には何も投影されていないように見える。
【００２３】
撮影領域２０３は、撮像部１０１が撮影可能な領域である。画像投影装置１００は、撮像部１０１により取得された撮影画像を基に、撮影領域２０３内における投影対象物２００の位置や動き、変形等の認識が可能である。なお、撮影領域２０３は、投影領域２０２よりも広いことが望ましく、投影対象物２００が存在する可能性のある領域がすべて含まれていることが望ましい。
【００２４】
図２（Ｂ）は、歪み等のない理想的な状態の投影対象物２００とマーカーについて示した図である。
図２（Ｂ）に示すように、理想的な状態の投影対象物２００の表面にはマーカー２０４が等間隔に並べて配置されている。本実施形態の場合、図２（Ｂ）に示すように、歪み等のない理想的な状態の投影対象物２００に配置されたマーカー２０４の位置と数を座標系により表した情報が、前述した基準マーカー情報である。この例では縦４個、横５個の合計２０個のマーカーがある。マーカー２０４は、画像投影装置１００が投影対象物２００の位置、移動や歪み等を認識する際に使用される。人が投影対象物２００を鑑賞する際に妨害とならないように、マーカー２０４は人の目に不可視であることが望ましい。
【００２５】
図３は、本実施形態の画像投影装置１００における画像投影時の処理手順を示すフローチャートである。この例では、投影開始時に、入力部１０５において、投影される画像の元になる入力画像が取得されているものとする。また、画像投影装置１００では、歪み等のない理想的な状態の投影対象物に設けられているマーカーの配置状態や数などを表す基準マーカー情報が事前に取得されて保持されているものとする。なお、図３のフローチャートに示した処理は、ハードウェア構成により実行されてもよいし、ＣＰＵ等が実行するプログラムに基づくソフトウェア構成により実現されてもよく、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ＣＰＵ等が実行するプログラムは、例えば図１には不図示のＲＯＭ等に格納されていてもよいし、不図示の外部メモリ等の記録媒体から取得されてもよく、或いは不図示のネットワーク等を介して取得されてもよい。以下の説明では、各処理のステップＳ３０１〜ステップＳ３０６をＳ３０１〜Ｓ３０６と略記する。これらのことは後述する他のフローチャートにおいても同様であるとする。
【００２６】
Ｓ３０１において、撮像部１０１は、撮影領域２０３を撮影して撮影画像を取得する。取得した撮影画像をマーカー検出部１０２に送る。Ｓ３０１の後、画像投影装置１００の処理はＳ３０２に移る。
【００２７】
Ｓ３０２において、マーカー検出部１０２は、撮影画像から各マーカーの位置や数を表すマーカー情報を検出する。マーカー検出部１０２は、撮影画像から取得した検出マーカー情報を、歪み量検出部１０３、移動量検出部１０４、第一補正部１０６、第二補正部１０７に送信する。Ｓ３０２の後、画像投影装置１００の処理はＳ３０３に移る。
【００２８】
以下、マーカー情報について図４を参照しながら説明する。図４は、撮像部１０１により取得された撮影画像の一例を示した図である。撮影画像には、歪んだ状態の投影対象物２００がマーカー２０４と共に撮影されているとする。図４の例の場合、外側の矩形の範囲が撮影画像の範囲（図２の撮影領域２０３）である。マーカー検出部１０２は、この撮影画像から各マーカー２０４を検出し、それら検出マーカー２０４の座標を算出する。先ず、マーカー検出部１０２は、例えば撮影画像の左上を原点とする座標系（Ｘ，Ｙ）でそれら検出マーカー２０４の座標を算出する。次に、マーカー検出部１０２は、撮影画像の座標系（Ｘ，Ｙ）で算出された検出マーカー２０４の座標を、投影画像の左上を原点とする座標系（ｘ，ｙ）に変換する。なお、座標系（Ｘ，Ｙ）と（ｘ，ｙ）の差は撮像部１０１と投影部１０９の構成によって決まる。本実施形態の場合、マーカー検出部１０２は、投影画像の座標系（ｘ，ｙ）に変換した各座標を検出マーカー情報として取得する。
【００２９】
図３のフローチャートに説明を戻す。Ｓ３０３に移ると、検出マーカー情報と基準マーカー情報とを基に、歪み量検出部１０３は歪み量情報を検出し、移動量検出部１０４は移動量情報を検出する。
以下、図５を参照しながら、歪み量情報と移動量情報の検出方法の一例を説明する。
歪み量検出部１０３は、歪んだ状態の投影対象物２００から取得された検出マーカーと、歪み等がない理想的な状態の投影対象物（図５の点線で示した投影対象物）について事前に取得しておいた基準マーカーとを基に、歪み量を算出する。この場合の歪み量検出部１０３は、先ず、例えば図５の左上の検出マーカーの位置を、理想状態の投影対象物における左上の基準マーカーの位置に合わせる。次に、歪み量検出部１０３は、それら左上の検出マーカーと基準マーカーの位置を合わせた状態で、各基準マーカーの位置からそれぞれ対応した検出マーカーの位置までの変位量を求める。図５の例では、各基準マーカーの位置からそれぞれ対応した検出マーカーの位置までの変位量を、図中の矢印（図５では一部のマーカー分の矢印のみ記載）で表している。そして、歪み量検出部１０３は、各基準マーカーの位置からそれぞれ対応した検出マーカーの位置までの変位量の絶対値の総和を、歪み量情報として算出する。このようにして、歪み量検出部１０３は、撮影画像に写っている投影対象物が、歪み等のない理想的な状態の投影対象物から、どのくらい歪んでいるか表す歪み量を求める。
【００３０】
移動量検出部１０４は、各基準マーカー情報とそれぞれ対応した各検出マーカー情報との差分の総和を、移動量情報として算出する。例えば、マーカー情報の座標（ｘ，ｙ）のｘ成分の総和が大きければ、投影対象物２００がｘ軸の正方向に移動していると言える。Ｓ３０３の後、画像投影装置１００の処理はＳ３０４に移る。
【００３１】
Ｓ３０４において、基準マーカー情報と検出マーカー情報を基に、入力画像に対し、第一補正部１０６は第一の画像補正処理を実施し、第二補正部１０７は第二の画像補正処理を実施する。Ｓ３０４の後、画像投影装置１００の処理はＳ３０５に移る。
【００３２】
図６（Ａ）〜図６（Ｄ）は第一の画像補正処理の一例を説明する図である。図６（Ａ）は入力画像６００の例である。図６（Ｂ）の黒丸は入力画像について、基準マーカー６０４に対応した点を表している。第一補正部１０６は、図６（Ｃ）のように、入力画像６００における各基準マーカー６０４に対応する点を、撮影画像内の投影対象物２００における各検出マーカー２０４の位置へと移動させる。このときの座標系は、前述した投影画像の座標系（ｘ，ｙ）とする。そして、第一補正部１０６は、その座標系を基に、ｗａｒｐｉｎｇ（投影面の形状に合わせた幾何学歪み補正）処理を用いて入力画像６００を変形する。ｗａｒｐｉｎｇ処理は広く知られた技術なのでその詳細は省略する。そして、第一補正部１０６は、図６（Ｄ）のように、変形した入力画像６１０の周囲を黒画像６１１で埋めた補正画像Ａを生成する。
【００３３】
第二の画像補正処理は、基本的には第一の画像補正処理と同様の処理であるが、第一の画像補正処理と比較して、簡易的で処理時間は少ないが画質や追従の精度は低い処理である。第二補正部１０７は、入力画像に対して第二の画像補正処理を実施して、補正画像Ｂを作成する。
【００３４】
第一の画像補正処理より簡易的な第二の画像補正処理としては、例えば図２（Ｂ）に示したマーカー２０４の個数を第一の画像補正処理よりも減らした処理が挙げられる。図２（Ｂ）では合計２０個のマーカーがあるが、例えば縦３個、横３個の合計９個に減らすと、その分だけｗａｒｐｉｎｇの演算処理が減少し、処理時間を短くすることができる。この場合の第二補正部１０７は、第一補正部１０６と同等の構成であるが、設定を変える（例えばマーカーの数を減らした処理を設定する）ことによって簡易的な処理を行えるようにする。
【００３５】
また、第二の画像補正処理の別の一例として、ｗａｒｐｉｎｇ処理後の補正画像の解像度が、第一の画像補正処理の場合よりも少なくなるような処理が挙げられる。つまり、ｗａｒｐｉｎｇ処理される画像の解像度を、第一の画像補正処理の場合より減らす。このように、解像度を減らして画像中の画素数を減らすと、その分だけｗａｒｐｉｎｇの演算処理が減少し、処理時間が減少する。
【００３６】
その他にも、第二の画像補正処理の別の一例として、投影画像が投影対象物２００を包含する大きさになるように拡大するような処理を挙げることができる。この例を図７（Ａ）〜図７（Ｃ）に示す。図７（Ａ）は投影対象物２００の一例である。この例の場合、第二補正部１０７は、入力画像を、投影対象物２００を包含する大きさになるように拡大し、補正画像Ｂを作成する。これにより、その補正画像Ｂを投影すると、図７（Ｂ）のように投影されることになる。投影対象物２００からはみ出した部分の投影画像２１０の光は、投影対象物２００の後方に物体がない場合には投影対象物２００の後方に拡散してしまうので人の目には見えなくなり、人の目では結果的に図７（Ｃ）のように認識される。なお、本実施形態における第二の画像補正処理はそれら前述した各例のいずれが用いられてもよい。
【００３７】
図３のフローチャートに説明を戻す。Ｓ３０５に移ると、決定部１０８は、歪み量情報と移動量情報とを基に、画像補正処理に要する時間を算出し、その時間を基に補正画像Ａと補正画像Ｂのどちらを投影画像として用いるかを決定する。そして、決定部１０８は、その決定した投影画像の画像信号を、投影部１０９に送信する。
【００３８】
図８は、決定部１０８における投影方法決定処理のフローチャートである。
Ｓ８０１において、決定部１０８は、投影画像を決定する際の投影画像選択用の閾値ｔに、予め規定された初期値Ｔを設定する。
【００３９】
次にＳ８０２において、決定部１０８は、歪み量情報を基に第一の画像補正処理に要する推定処理時間Ｔａを算出する。例えば歪み量情報と推定処理時間Ｔａを対応付けたテーブルを事前に用意しておき、決定部１０８は、歪み量情報を用いてテーブルを参照することで推定処理時間Ｔａを取得する。
【００４０】
次にＳ８０３において、決定部１０８は、移動量情報を基に閾値ｔを増減させる。決定部１０８は、例えば、移動量が大きいときには、投影対象物と投影画像のずれが目立ち難くなるので閾値ｔを増加させ、移動量が小さいときには閾値ｔを減少させる。閾値ｔの増減のさせ方は、移動量に比例させるようにしてもよいし、移動量の範囲ごとに値を設定してもよい。つまり、本実施形態の画像投影装置１００では、投影対象物の動きと形状変化に対して投影画像を追従させるようにするが、投影対象物と投影画像のずれは投影対象物の動きと形状変化の両者によって発生する。また、投影対象物と投影画像のずれは、投影対象物の動きが大きいときには、人の目に目立ち難くなる。このため、決定部１０８は、Ｓ８０３において、移動量情報が大きくなるほど閾値ｔを増加させるようにする。
【００４１】
次にＳ８０４において、決定部１０８は、推定処理時間Ｔａと閾値ｔの大きさを比較する。そして、決定部１０８は、推定処理時間Ｔａが閾値より大きい（Ｔａ＞ｔ）場合にはＳ８０７に処理を移し、推定処理時間Ｔａが閾値以下（Ｔａ≦ｔ）である場合にはＳ８０５に処理を移す。
【００４２】
Ｓ８０５に移ると、決定部１０８は、第一補正部１０６による第一の画像補正処理の完了を待ち、完了したならばＳ８０６において補正画像Ａを投影画像として投影部１０９に送信する。
一方、Ｓ８０７に移ると、決定部１０８は、第二補正部１０７による第二の画像補正処理の完了を待ち、完了したならばＳ８０８において補正画像Ｂを投影画像として投影部１０９に送信する。
これらＳ８０６またはＳ８０７の後、決定部１０８における投影方法決定処理は終了する。
【００４３】
図９は、歪み量と選択される画像補正処理の関係、および、移動量と閾値ｔとの関係を示す図である。
ここで、歪み量と第一の画像補正処理の推定処理時間Ｔａは、図９のグラフ９００のような関係を有しているとする。この例の場合、閾値ｔは、移動量が大きいときには増加し、移動量が小さいときには減少する。この図９に示すように、決定部１０８は、推定処理時間Ｔａが閾値ｔより大きいとき、つまり閾値ｔに対応した歪み量Ｄよりも、歪み量検出部１０３で検出された歪み量が大きいときは、第二の画像補正処理を選択する。一方、決定部１０８は、推定処理時間Ｔａが閾値ｔ以下のとき、つまり歪み量検出部１０３で検出された歪み量が、閾値ｔに対応した歪み量以下（Ｄ以下）のときは、第一の画像補正処理を選択する。
【００４４】
図３のフローチャートに説明を戻す。Ｓ３０５の後、画像投影装置１００の処理は投影部１０９により行われるＳ３０６に移る。
Ｓ３０６において、投影部１０９は、決定部１０８から送信された投影画像の投影を行う。
以上で、図３に示した画像投影装置１００の処理手順を示すフローチャートの説明を終了する。
【００４５】
前述した実施形態では、歪み量情報と移動量情報を基に補正画像Ａと補正画像Ｂのどちらを投影画像とするかを決定するようにしたが、歪み量情報と移動量情報のどちらか片方だけ使用して決定するようにしてもよい。例えば、歪み量情報のみを用いる場合は、図８のフローチャートにおいて閾値ｔとして初期値Ｔを使用し、Ｓ８０３を実施しないようにする。また例えば、移動量情報のみを用いる場合は、図８のフローチャートとは異なり、例えば移動量に所定の閾値を設け、それによって補正画像Ａと補正画像Ｂを切り替えるようにする。
【００４６】
また、前述の実施形態では、処理の時間を優先して、第一の画像補正処理と第二の画像補正処理を同時に開始し、後でどちらの画像補正処理を使用するか選択するようにしている。これに対し、例えば、先にどちらの画像補正処理を使用するか選択し、選択したほうの画像補正処理のみを実施するようにしてもよい。
【００４７】
また、前述の実施形態では、第一の画像補正処理と第二の画像補正処理の２種類の画像補正処理を行うようにしたが、３種類以上の画像補正処理を行うようにしてもよい。この場合、画像投影装置１００は、第一補正部１０６、第二補正部１０７の他に、処理時間が異なる一つ以上の第三の画像補正処理を行う第三補正部（第三補正部は１以上設けてもよい）をさらに有する。そして、この場合、図８の投影方法決定のフローチャートにおいて、各画像補正処理の推定処理時間を算出し、閾値ｔとの大小を比較することによって、投影画像として使用する画像補正処理を決定する。
【００４８】
また、前述の実施形態では、投影対象物２００が撮影領域２０３内を移動するものとしたが、移動量情報の検出結果に応じて、撮影領域２０３や投影領域２０２をレンズシフトなどで移動させるようにしてもよい。その場合、撮影領域２０３や投影領域２０２移動の影響を、移動量情報の計算時に補正するようにする。
【００４９】
以上説明したように、本実施形態の画像投影装置１００では、複数の画像補正処理を実行可能となされている。そして、本実施形態の画像投影装置１００は、投影対象物の歪み量情報を基に画像補正処理の処理時間を算出し、投影対象物の歪み量情報と移動量情報を基に画像補正処理を切り替えて投影を行うようにしている。そのため、投影対象物が動いたときや変形した時に追従処理のずれが目立ちそうな場合、処理時間の早い処理を選択でき、追従処理のずれを低減して、視認時の妨害感を軽減することが可能になる。また、投影対象物が移動している場合など追従処理の遅延が目立ち難くなる場合には、移動量情報に応じて画像補正処理の切り替えの閾値を変えることで、より人の目の視認特性に適した投影を行うことが可能になる。このように、本実施形態によれば、投影対象物に対して処理時間の異なる画像補正手段を切り替えることで、投影対象物と投影画像のずれを目立ち難くして、視聴の妨害感を低減することが可能になる。
【００５０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５１】
１００：画像投影装置、１０１：撮像部、１０２：マーカー検出部、１０３：歪み量検出部、１０４：移動量検出部、１０５：入力部、１０６：第一補正部、１０７：第二補正部、１０８：決定部、１０９：投影部
【図１】
2019185532.tif 000003
【図２】
2019185532.tif 000004
【図３】
2019185532.tif 000005
【図４】
2019185532.tif 000006
【図５】
2019185532.tif 000007
【図６】
2019185532.tif 000008
【図７】
2019185532.tif 000009
【図８】
2019185532.tif 000010
【図９】
2019185532.tif 000011