(57)【要約】【課題】投影面に合わせた良好な映像を投影可能な画像処理装置、画像処理方法、および画像投影装置を提供する。【解決手段】実施形態によれば、補正部と、シミュレーション部と、パラメータ算出部と、を備えた画像処理装置が提供される。前記補正部は、処理対象の画像に関する補正画像を算出する。前記シミュレーション部は、前記補正画像を用いて、前記補正画像を投影した際に投影面を撮影することで得られると推定されるシミュレーション画像を算出する。前記パラメータ算出部は、前記シミュレーション画像と、前記投影面を撮影した撮影画像と、を用いて、前記投影面に関する補正パラメータを算出する。前記補正部は、前記処理対象の画像と、前記補正パラメータと、を用いて前記補正画像を算出する。【選択図】図１
2015138048.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像に関する補正画像を算出する補正部と、
前記補正画像を用いて、前記補正画像を投影した際に投影面を撮影することで得られると推定されるシミュレーション画像を算出するシミュレーション部と、
前記シミュレーション画像と、前記投影面を撮影した撮影画像と、を用いて、前記投影面に関する補正パラメータを算出するパラメータ算出部と、
を備え、
前記補正部は、前記処理対象の画像と、前記補正パラメータと、を用いて前記補正画像を算出する画像処理装置。
【請求項２】
前記シミュレーション部は、前記投影面に投影された前記補正画像が撮影された際の撮影パラメータに応じて、過去の複数の補正画像を積算し前記シミュレーション画像を算出する請求項１記載の画像処理装置。
【請求項３】
前記撮影パラメータは、露光時間およびタイミングの少なくともいずれかを含む請求項２記載の画像処理装置。
【請求項４】
前記シミュレーション部は、前記投影面が撮影されている間に前記投影面に投影された前記補正画像の時間の比率に応じて、過去の複数の補正画像を重みづけ加算し前記シミュレーション画像を算出する請求項１〜３のいずれか１つに記載の画像処理装置。
【請求項５】
前記シミュレーション部は、前記撮影の時間が相対的に長い場合には相対的に長い時間の前記過去の補正画像を用いて前記シミュレーション画像を算出し、前記撮影の時間が相対的に短い場合には相対的に短い時間の前記過去の補正画像を用いて前記シミュレーション画像を算出する請求項３または４に記載の画像処理装置。
【請求項６】
前記シミュレーション部は、前記撮影のリフレッシュレートが相対的に低い場合には相対的に長い時間の前記過去の補正画像を用いて前記シミュレーション画像を算出し、前記撮影のリフレッシュレートが相対的に高い場合には相対的に短い時間の前記過去の補正画像を用いて前記シミュレーション画像を算出する請求項３または４に記載の画像処理装置。
【請求項７】
前記パラメータ算出部は、前記投影面の反射率と、前記投影面に投影された前記補正画像の光以外の外光が前記投影面で反射された反射光の輝度と、を前記補正パラメータとして算出する請求項１〜６のいずれか１つに記載の画像処理装置。
【請求項８】
前記処理対象の画像は、動画像を含む請求項１〜７のいずれか１つに記載の画像処理装置。
【請求項９】
処理対象の画像に関する補正画像を算出する画像処理方法であって、
前記算出した補正画像を用いて、前記補正画像を投影した際に投影面を撮影することで得られると推定されるシミュレーション画像を算出し、
前記算出した前記シミュレーション画像と、前記投影面を撮影した撮影画像と、を用いて、前記投影面に関する補正パラメータを算出し、
前記処理対象の画像と、前記算出した前記補正パラメータと、を用いて、前記補正画像を算出する画像処理方法。
【請求項１０】
処理対象の画像に関する補正画像を算出する補正部と、
前記補正画像を投影面に投影する投影部と、
前記投影部が前記補正画像を投影した際の前記投影面を撮影し撮影画像を取得する撮影部と、
前記補正画像を用いて、前記投影部が前記補正画像を投影した際に前記撮影部が前記投影面を撮影することで得られると推定されるシミュレーション画像を算出するシミュレーション部と、
前記シミュレーション画像と、前記撮影画像と、を用いて、前記投影面に関する補正パラメータを算出するパラメータ算出部と、
を備え、
前記補正部は、前記処理対象の画像と、前記補正パラメータと、を用いて前記補正画像を算出する画像投影装置。
【請求項１１】
前記投影部は、前記補正画像を投影する際の投影方式に関する投影パラメータを前記シミュレーション部に送信し、
前記撮影部は、前記投影面を撮影するときに利用した撮影方式に関する撮影パラメータを前記シミュレーション部に送信し、
前記シミュレーション部は、前記投影パラメータと、前記撮影パラメータと、をさらに用いて、前記シミュレーション画像を算出する請求項１０記載の画像投影装置。
【請求項１２】
前記投影パラメータのうちの駆動方法に関するパラメータが時分割駆動である場合には、
前記投影部は、前記補正画像を複数の色のサブフィールドに分割して投影し、
前記シミュレーション部は、前記複数の色のそれぞれのサブフィールドにおいて前記投影部が前記投影面に投影した前記補正画像を前記撮影部が撮影した時間に応じて、前記過去の複数の補正画像を積算し前記シミュレーション画像を算出する請求項１１記載の画像投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法、および画像投影装置に関する。
【背景技術】
【０００２】
例えばプロジェクタ装置などの画像投影装置を用いて投影面に映像を投影するときに、投影面の地模様や投影面の変化に合わせて映像を補正することで、どのような投影面であっても良好な映像を投影する技術がある。一般的に、このような技術では、投影面の変化に合わせて映像を補正するときに、投影面に投影された投影画像と、投影画像を撮影した撮影画像と、を比較することにより、例えば反射率などの投影面に関する情報を推定する必要がある。このとき、投影面に関する情報を正確に推定するためには、投影画像と撮影画像とが互いに１対１で対応付けられている必要がある。
【０００３】
しかし、例えば動画が表示されているときのように、撮影画像を取得中に投影画像が変化すると、正しい投影面に関する情報を推定することができない。撮影画像を取得中に投影画像が変化しても正しく投影面に関する情報を推定し、投影面に合わせた良好な映像を投影可能な技術が望まれている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２８８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施形態は、投影面に合わせた良好な映像を投影可能な画像処理装置、画像処理方法、および画像投影装置を提供する。
【課題を解決するための手段】
【０００６】
実施形態によれば、補正部と、シミュレーション部と、パラメータ算出部と、を備えた画像処理装置が提供される。前記補正部は、処理対象の画像に関する補正画像を算出する。前記シミュレーション部は、前記補正画像を用いて、前記補正画像を投影した際に投影面を撮影することで得られると推定されるシミュレーション画像を算出する。前記パラメータ算出部は、前記シミュレーション画像と、前記投影面を撮影した撮影画像と、を用いて、前記投影面に関する補正パラメータを算出する。前記補正部は、前記処理対象の画像と、前記補正パラメータと、を用いて前記補正画像を算出する。
【図面の簡単な説明】
【０００７】
【図１】本実施形態にかかる画像処理装置および画像投影装置を表すブロック図である。
【図２】本実施形態にかかる画像処理方法を説明するフローチャート図である。
【図３】本実施形態のシミュレーション画像の算出方法の例を示すタイミングチャート図である。
【図４】本実施形態にかかる画像処理装置および画像投影装置を表すブロック図である。
【図５】本実施形態のシミュレーション画像の算出方法の例を示すタイミングチャート図である。
【図６】本実施形態の投影部の投影方式が走査方式である場合を説明する模式図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施の形態について図面を参照しつつ説明する。なお、各図面中、同様の構成要素には同一の符号を付して詳細な説明は適宜省略する。  
図１は、本発明の実施の形態にかかる画像処理装置および画像投影装置を表すブロック図である。  
なお、図１に表したブロック図は、本実施形態にかかる画像処理装置の要部構成の一例であり、必ずしも実際のプログラムモジュールの構成とは一致しない場合がある。これは、図４に表した画像処理装置の要部構成についても同様である。
【０００９】
図１に表した画像投影装置１００は、画像処理装置２００と、投影部１１０と、撮影部１２０と、を備える。  
画像処理装置２００は、補正部２１０と、シミュレーション部２２０と、パラメータ算出部２３０と、を有する。
【００１０】
なお、画像処理装置２００は、画像投影装置１００とは異なる外部の装置であってもよいし、画像投影装置１００が備える装置であってもよい。図１に表したハードウェア構成は、一例であり、各実施形態に係る画像処理装置２００の一部、又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。各機能ブロックについては、個別にプロセッサ化してもよいし、各機能ブロックの一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法については、ＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。これらは、図４に表した画像処理装置および画像投影装置においても同様である。
【００１１】
画像投影装置１００は、画像投影装置１００の外側の投影面に映像を投影する。投影面は、一般的な投影用スクリーンだけではなく、屋内外の壁面や、床や、天井などのように地模様や色がついた投影面を含む。
【００１２】
入力画像（処理対象画像）１０の信号の形式は、様々に想定され得る。本実施形態においては、各画素は、画素値として赤成分、緑成分、および青成分の３チャンネルの輝度を有する。画面内の位置（ｕ、ｖ）の各チャンネルの輝度は、輝度値Ｉ（ｕ、ｖ）と記載される。このとき、各チャンネルの信号は、非線形な階調値から線形変換して算出されてもよい。例えば、各チャンネルの信号は、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  ＵｎｉｏｎのＹＣｂＣｒ伝送規格等による入力信号から算出されてもよい。入力画像１０の信号は、あらゆる機器または媒体から入力される画像の信号であってもよい。例えば、入力画像１０の信号は、ＨＤＤなどの記録媒体から入力される画像の信号、ネットワークを介して接続された外部装置から入力される信号、およびＴＶ（テレビジョン）などの放送波から入力される画像の信号の少なくともいずれかであってもよい。入力画像１０は、例えば動画像あるいは静止画像を含む。
【００１３】
補正部２１０は、入力画像１０と、パラメータ算出部２３０から出力された補正パラメータと、を用いて補正画像を算出する。補正部２１０は、画像毎に補正を行う。補正部２１０が補正を行う際のパラメータは、一定期間毎に更新されてもよい。あるいは、補正部２１０が補正を行う際のパラメータは、投影面の状態の変化があらかじめ定められた基準を超えた場合（たとえば基準値が閾値以上となった場合等）に更新されてもよい。この場合には、投影画像が時間ごとに変わることで視認性が悪くなることを抑えることができる。入力画像１０が動画像を含む場合には、補正部２１０が補正を行う際のパラメータは、逐次的に更新されてもよい。入力画像１０が静止画像を含む場合には、補正部２１０が補正を行う際のパラメータは、更新されなくともよい。入力画像１０が動画像を含むかあるいは静止画像を含むかに応じて、パラメータの更新を行うか否かの判断がなされてもよい。補正部２１０は、算出した補正画像を投影部１１０とシミュレーション部２２０とに出力する。
【００１４】
投影部１１０は、補正部２１０から出力された補正画像を投影面に投影する。投影部１１０は、例えば液晶プロジェクタやレーザプロジェクタなどの一般的な投影装置であればよい。
【００１５】
撮影部１２０は、投影部１１０が補正画像を投影した際の投影面の光景を撮影し、撮影画像を算出する。撮影部１２０は、撮影画像をパラメータ算出部２３０に出力する。撮影部１２０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの電子式の光学撮像素子を搭載する一般的な撮影装置であればよい。
【００１６】
シミュレーション部２２０は、補正部２１０から出力された補正画像を用いて、投影部１１０が補正画像を投影した際に撮影部１２０が投影面の光景を撮影することで得られると推定されるシミュレーション画像を算出する。シミュレーション部２２０は、算出したシミュレーション画像をパラメータ算出部２３０に出力する。
【００１７】
パラメータ算出部２３０は、シミュレーション部２２０から出力されたシミュレーション画像と、撮影部１２０から出力された撮影画像と、を用いて、投影面の地模様や色などを補正する補正パラメータを算出する。パラメータ算出部２３０は、算出した補正パラメータを補正部２１０に出力する。
【００１８】
図２は、本実施形態にかかる画像処理方法を説明するフローチャート図である。  
図３は、本実施形態のシミュレーション画像の算出方法の一例を例示するタイミングチャート図である。
【００１９】
処理対象の入力画像１０の信号が、補正部２１０に入力される（ステップＳ１０１）。また、パラメータ算出部２３０により算出された補正パラメータが、補正部２１０に入力される。補正部２１０は、補正パラメータに基づいて入力画像１０を補正した補正画像を算出する（ステップＳ１０３）。補正パラメータは、パラメータ算出部２３０が算出し出力する投影面に関する情報である。
【００２０】
補正画像の位置（ｕ、ｖ）における輝度Ａは、次式によって出力される。  
Ａ（ｕ、ｖ）＝（Ｉ（ｕ、ｖ）−Ｇ（ｕ、ｖ））／Ｈ（ｕ、ｖ）  ・・・式（１）
式（１）中の「Ｉ」は、入力画像１０の輝度を表す。式（１）中の「Ｇ」は、外光が投影面で反射された反射光の量（外光の反射光の輝度）（以下、説明の便宜上、「外光オフセット」と称する）である。外光は、投影部１１０から照射された光以外の光であって、例えば室内照明から照射された光などである。式（１）中の「Ｈ」は、投影面の各色成分に対する反射率である。式（１）によれば、入力画像１０の輝度Ｉから外光オフセットＧを差し引いた値を反射率Ｈで除した値として補正画像の輝度Ａが算出される。これにより、補正部２１０は、投影面の外光オフセットＧと、投影面の反射率Ｈと、の影響を踏まえた補正画像を出力することができる（ステップＳ１０５）。なお、補正画像の輝度Ａの算出方法は、式（１）に限定されるわけではない。
【００２１】
続いて、投影部１１０は、補正部２１０から出力された補正画像を投影面に投影する（Ｓ１０５）。このとき、補正画像の位置（ｕ、ｖ）が投影面上の位置（ｕ'、ｖ'）と一致するように、レジストレーションが予め施されていることが望ましい。例えば、補正画像の画素と、投影面上の領域と、の間の対応が求められていることが望ましい。これにより、補正画像と投影面上との間において、画素単位の正確な位置合わせを行うことができる。また、例えば、投影面上の所定の領域で切り出しを行い、幾何補正や領域補正を行うことで、補正画像の画素と、投影面上の領域と、の間の対応が求められていることが望ましい。投影面上の位置（ｕ'、ｖ'）の外光オフセットがＧ（ｕ'、ｖ'）であり、投影面上の位置（ｕ'、ｖ'）の反射率がＨ（ｕ'、ｖ'）である場合には、外光オフセットＧ（ｕ'、ｖ'）および反射率Ｈ（ｕ'、ｖ'）の影響を予め考慮するように補正された補正画像Ｐが投影部１１０から投影される。そのため、投影面に地模様がある場合でも、投影面に合わせた良好な映像が投影される。
【００２２】
ステップＳ１０１〜Ｓ１０７によれば、投影面に関する情報を有する補正パラメータを用いて入力画像１０を補正することで、投影面の地模様や投影面の変化に合わせた良好な映像を投影することができる。
【００２３】
撮影部１２０は、投影部１１０が補正画像を投影した際の投影面の光景を撮影し、撮影画像を算出する（ステップＳ１１１）。撮影部１２０は、撮影画像をパラメータ算出部２３０に出力する。
【００２４】
撮影部１２０は、投影部１１０が投影面に補正画像を投影している際に、補正画像が投影されている投影面の光景を撮影する。このとき、投影面から反射される光には、投影部１１０が出力した光の反射光と、投影部１１０が出力した光以外の外光の反射光と、が混在している。そのため、投影部１１０が補正画像を投影した際の投影面の光景を撮影部１２０が撮影することによって、パラメータ算出部２３０は、補正パラメータとしての反射率と、補正パラメータとしての外光オフセットと、を分離する情報を得ることができる。
【００２５】
ステップＳ１１１では、撮影部１２０は、撮影部１２０に予め設定されているリフレッシュレートＲＣに基づく所定期間１／ＲＣ秒間のうち、光学撮像素子の露光時間（シャッター速度あるいはシャッタースピードとも称される）をＥ秒間とすることによって全景像を取得する。撮影部１２０は、取得した全景像の中から、補正画像が投影されている領域を検出し、補正画像の位置（ｕ、ｖ）と撮影画像の位置（ｕ'，ｖ'）が一致するようにレジストレーションを行ってから、撮影画像Ｃとして出力する。このとき、例えば、補正画像の画素と、撮影画像の画素と、の間の対応が求められていることが望ましい。これにより、補正画像と撮影画像との間において、画素単位の正確な位置合わせを行うことができる。また、例えば、投影面上の所定の領域で切り出しを行い、幾何補正や領域補正を行うことで、補正画像の画素と、撮影画像の画素と、の間の対応が求められていることが望ましい。
【００２６】
シミュレーション部２２０は、補正部２１０から出力された補正画像を用いて、投影部１１０が補正画像を投影した際に撮影部１２０が投影面の光景を撮影することで得られると推定されるシミュレーション画像を算出する（ステップＳ１０９）。シミュレーション部２２０は、算出したシミュレーション画像をパラメータ算出部２３０に出力する。
【００２７】
図３を参照しつつ、ステップＳ１０９におけるシミュレーション画像の算出方法についてさらに説明する。  
図３では、投影部１１０に予め設定されているリフレッシュレートＲＰに基づく所定期間１／ＲＰ秒間が、撮影部１２０における光学撮像素子の露光時間Ｅ秒間よりも短い場合を例に挙げて説明する。また、図３では、投影部１１０が投影を始めるタイミング（例えばタイミングＴ０）と、撮影部１２０が撮影を始めるタイミング（例えばタイミングＴ１）と、の間の時間差Ｄが予め分かっている場合を例に挙げて説明する。言い換えれば、投影部１１０の投影開始のタイミングと、撮影部１２０の撮影開始のタイミングと、の間のずれ時間が予め分かっている場合を例に挙げて説明する。
【００２８】
図３に表したタイミングチャート図の横軸は、時間を表す。  
図３に表したタイミングチャート図の上段は、投影部１１０が投影を行う期間を表す。投影部１１０は、補正画像Ｐ０、Ｐ１、・・・のそれぞれを１／ＲＰ秒間ずつ投影する。言い換えれば、投影部１１０は、１／ＲＰ秒間ごとに補正画像Ｐ０、Ｐ１、・・・を切り替え投影する。  
図３に表したタイミングチャート図の下段は、撮影部１２０が撮影を行う期間を表す。撮影部１２０は、撮影画像Ｃ０、Ｃ１、・・・のそれぞれをＥ秒間ずつ取得する。言い換えれば、撮影部１２０は、Ｅ秒間ごとに撮影画像Ｃ０、Ｃ１、・・・切り替え取得する。
【００２９】
図３に表した例では、撮影部１２０が撮影画像Ｃ０を取得する間に、投影部１１０は補正画像Ｐ０、Ｐ１、Ｐ２を投影している。補正画像Ｐ０が撮影部１２０の撮像素子に受光された時間は、Ｗ０（タイミングＴ１〜Ｔ２）である。補正画像Ｐ１が撮影部１２０の撮像素子に受光された時間は、Ｗ１（タイミングＴ２〜Ｔ３）である。補正画像Ｐ２が撮影部１２０の撮像素子に受光された時間は、Ｗ２（タイミングＴ３〜Ｔ４）である。シミュレーション部２２０は、撮影部１２０が補正画像を撮影した際の撮影パラメータに応じて、過去の複数の補正画像を積算した像を生成する。例えば、シミュレーション部２２０は、撮影部１２０が撮影を行った時間（撮影時間）に応じて、過去の複数の補正画像を積算した像を生成する。具体的には、シミュレーション部２２０は、補正画像Ｐ０が撮像素子に受光された時間Ｗ０と、補正画像Ｐ１が撮像素子に受光された時間Ｗ１と、補正画像Ｐ２が撮像素子に受光された時間Ｗ２と、の比率に応じて、補正画像Ｐ０、Ｐ１、Ｐ２を重みづけ加算することで、シミュレーション画像を算出する。撮影部１２０の露光時間が固定されている場合において、シミュレーション部２２０は、撮影部１２０の撮影時刻（タイミング）に応じて、過去の複数の補正画像を積算した像を生成してもよい。
【００３０】
投影面に関する情報として補正パラメータを正確に推定するためには、投影部１１０が投影した補正画像に関する情報と、撮影部１２０が撮影した撮影画像に関する情報と、が互いに１対１で対応付けられている必要がある。ステップＳ１０９によれば、図３に表したタイミングチャート図のように、撮影部１２０が撮影画像を取得中に投影画像が変化する場合に、シミュレーション部２２０は、投影画像の変化の様子を踏まえたシミュレーション画像を作成してパラメータ算出部２３０に出力する。これにより、パラメータ算出部２３０において、正しい投影面に関する情報を推定することができる。
【００３１】
また、撮影部１２０における光学撮像素子の露光時間Ｅが相対的に長い場合には、シミュレーション部２２０は、相対的に長い時間の過去の補正画像を用いてシミュレーション画像を算出する。撮影部１２０における光学撮像素子の露光時間Ｅが相対的に短い場合には、シミュレーション部２２０は、相対的に短い時間の過去の補正画像を用いてシミュレーション画像を算出する。
【００３２】
また、撮影部１２０に予め設定されているリフレッシュレートＲＣが相対的に低い場合には、シミュレーション部２２０は、相対的に長い時間の過去の補正画像を用いてシミュレーション画像を算出する。撮影部１２０に予め設定されているリフレッシュレートＲＣが相対的に高い場合には、シミュレーション部２２０は、相対的に短い時間の過去の補正画像を用いてシミュレーション画像を算出する。
【００３３】
なお、リフレッシュレートＲＰに基づく所定期間１／ＲＰ秒間が露光時間Ｅ秒間よりも長い場合についても、図３に関して説明した処理と同様の処理を行うことができる。そのため、シミュレーション画像の算出方法は、図３に関して説明した算出方法に限定されるわけではない。
【００３４】
図２に戻って説明すると、パラメータ算出部２３０は、シミュレーション部２２０から出力されたシミュレーション画像と、撮影部１２０から出力された撮影画像と、を用いて、補正パラメータとしての投影面の反射率Ｈと、補正パラメータとしての投影面の外光オフセットＧと、を算出する（ステップＳ１１３）。パラメータ算出部２３０は、算出した反射率Ｈと、算出した外光オフセットＧと、を補正部２１０に出力する。
【００３５】
ステップＳ１１３において、補正パラメータを算出する方法では、どのような方法を用いてもよい。本実施形態では、一例として、シミュレーション部２２０により出力されたシミュレーション画像Ｓと、撮影部１２０により出力された撮影画像Ｃと、をそれぞれｎ枚ずつ用いて次式により、投影面の位置（ｕ、ｖ）における反射率Ｈ（ｕ、ｖ）と、投影面の位置（ｕ、ｖ）における外光オフセットＧ（ｕ、ｖ）と、を算出する。
Ｃｔ−ｎ＋１（ｕ、ｖ）＝Ｓｔ−ｎ＋１（ｕ、ｖ）×Ｈ（ｕ、ｖ）＋Ｇ（ｕ、ｖ）
Ｃｔ−ｎ＋２（ｕ、ｖ）＝Ｓｔ−ｎ＋２（ｕ、ｖ）×Ｈ（ｕ、ｖ）＋Ｇ（ｕ、ｖ）
…
Ｃｔ（ｕ、ｖ）＝Ｓｔ（ｕ、ｖ）×Ｈ（ｕ、ｖ）＋Ｇ（ｕ、ｖ）  ・・・式（２）
式（２）中の「Ｃｔ−ｎ＋１」、「Ｃｔ−ｎ＋２」、・・・、「Ｃｔ」は、現在のフレームｔを含む過去の撮影画像を表す。式（２）中の「Ｓｔ−ｎ＋１」、「Ｓｔ−ｎ＋２」、・・・、「Ｓｔ」は、現在のフレームｔを含む過去のシミュレーション画像を表す。式（２）では、Ｈ（ｕ、ｖ）とＧ（ｕ、ｖ）との２変数が未知である。そのため、ｎ＝２枚以上の過去のフレームを用いて式（２）を連立して解くことで、投影面の位置（ｕ、ｖ）における反射率Ｈ（ｕ、ｖ）と、投影面の位置（ｕ、ｖ）における外光オフセットＧ（ｕ、ｖ）と、を算出することができる。
【００３６】
ステップＳ１１３によれば、パラメータ算出部２３０は、投影面に投影された補正画像と、投影された補正画像を撮影した撮影画像と、を比較することによって、投影面に関する情報として反射率や外光オフセットなどの補正パラメータを取得することができる。補正部２１０は、投影面に関する情報として補正パラメータを用いて補正画像を生成する。これにより、投影部１１０は、投影面の地模様や投影面の変化に合わせた良好な映像を投影することができる。例えば動画像等のように投影される画像が時系列的に変更されるコンテンツを投影する場合であっても、投影された画像と撮影画像とを対応付けて補正を行うことができる。そのため、逐次的に投影面の変化に合わせた良好な映像を投影することができる。
【００３７】
次に、本発明の他の実施の形態について説明する。  
図４は、本発明の他の実施の形態にかかる画像処理装置および画像投影装置を表すブロック図である。
【００３８】
図４に表した画像投影装置１００は、画像処理装置２００と、投影部１１０と、撮影部１２０と、を備える。  
画像処理装置２００は、補正部２１０と、シミュレーション部２２０と、パラメータ算出部２３０と、を有する。
【００３９】
本実施形態に係る画像投影装置１００は、図１〜図３に関して前述した補正部２１０、シミュレーション部２２０、パラメータ算出部２３０、投影部１１０、および撮影部１２０を備えていれば、あらかじめ定めた各部を工場出荷時に組み合わせて構成されてもよい。あるいは、本実施形態に係る画像投影装置１００は、ユーザーが購入した各部であって図１〜図３に関して前述した組み合わせとは異なる各部を組み合わせて構成されてもよい。あるいは、本実施形態に係る画像投影装置１００では、各部の一部または全てが別の型番のものに交換されてもよい。
【００４０】
補正部２１０は、入力画像１０と、パラメータ算出部２３０から出力された補正パラメータと、を用いて補正画像を算出する。補正部２１０は、算出した補正画像を投影部１１０とシミュレーション部２２０とに出力する。
【００４１】
投影部１１０は、補正部２１０から出力された補正画像を投影面に投影する。投影部１１０は、投影の際の投影パラメータをシミュレーション部２２０に出力する。
【００４２】
撮影部１２０は、投影部１１０が補正画像を投影した際の投影面の光景を撮影する。撮影部１２０は、撮影した撮影画像を算出し、パラメータ算出部２３０に出力する。撮影部１２０は、撮影の際の撮影パラメータをシミュレーション部２２０に出力する。
【００４３】
シミュレーション部２２０は、補正部２１０から出力された補正画像と、投影部１１０から出力された投影パラメータと、撮影部１２０から出力された撮影パラメータと、を用いて、投影部１１０が補正画像を投影した際に撮影部１２０が投影面の光景を撮影することで得られると推定されるシミュレーション画像を算出する。シミュレーション部２２０は、算出したシミュレーション画像をパラメータ算出部２３０に出力する。
【００４４】
次に、本実施形態にかかる画像処理方法について説明する。  
図４に表した補正部２１０における処理は、図１〜図３に関して前述した補正部２１０における処理と同様である。図４に表したパラメータ算出部２３０における処理は、図１〜図３に関して前述したパラメータ算出部２３０における処理と同様である。
【００４５】
図４に表した投影部１１０は、図１〜図３に関して前述した投影部１１０における処理に加え、投影の際の投影パラメータをシミュレーション部２２０に出力する。投影パラメータとは、投影部１１０が補正画像を投影するときに利用した投影方式に関する変数である。シミュレーション部２２０は、シミュレーション画像を作成するときに、投影部１１０から出力された投影パラメータを利用する。
【００４６】
具体的には、投影パラメータは、時分割駆動や空間分割駆動などの投影方式に関する情報を含む。あるいは、投影パラメータは、投影時のリフレッシュレート、投影画像の解像度、色域や色度点などを含む。投影パラメータは、投影部１１０と画像処理装置２００とを接続するケーブルを通じて自動的に送信されてもよい。あるいは、投影パラメータは、ユーザーによって手動で画像処理装置２００に入力されてもよい。
【００４７】
図４に表した撮影部１２０は、図１〜図３に関して前述した撮影部１２０における処理に加え、撮影の際の撮影パラメータをシミュレーション部２２０に出力する。撮影パラメータとは、撮影部１２０が投影面を撮影するときに利用した撮影方式に関する変数である。シミュレーション部２２０は、シミュレーション画像を作成するときに、撮影部１２０から出力された撮影パラメータを利用する。
【００４８】
具体的には、撮影パラメータは、撮影時のリフレッシュレート、撮影時の撮像素子の露光時間、露光時間の自動制御情報、撮影画像の解像度、色域や色度点などを含む。また、撮影パラメータは、撮影部１２０と画像処理装置２００とを接続するケーブルを通じて自動的に送信されてもよい。あるいは、撮影パラメータは、ユーザーによって手動で画像処理装置２００入力されてもよい。
【００４９】
シミュレーション部２２０は、補正部２１０から出力された補正画像と、投影部１１０から出力された投影パラメータと、撮影部１２０から出力された撮影パラメータと、を用いて、投影部１１０が補正画像を投影した際に撮影部１２０が投影面の光景を撮影することで得られると推定されるシミュレーション画像を算出する。シミュレーション部２２０は、算出したシミュレーション画像をパラメータ算出部２３０に出力する。
【００５０】
シミュレーション部２２０は、投影部１１０から出力された投影パラメータのうちの駆動方法のパラメータが時分割駆動であることを示す場合には、補正部２１０から出力された補正画像を複数の色サブフィールドに分解した画像と、投影部１１０から出力された投影パラメータとしてのリフレッシュレートＲＰと、撮影部１２０から出力された撮影パラメータとしての露光時間Ｅと、を用いて、シミュレーション画像を算出する。
【００５１】
なお、図４に表した二点鎖線の矢印のように、本実施形態のシミュレーション部２２０は、撮影部１２０が投影面を撮影するタイミングを指示する信号を撮影部１２０に出力してもよい。
【００５２】
シミュレーション画像の算出方法について、さらに説明する。  
図５は、本実施形態のシミュレーション画像の算出方法の一例を例示するタイミングチャート図である。
【００５３】
図５に表したタイミングチャート図の横軸は、時間を表す。  
図５に表したタイミングチャート図の上段は、投影部１１０が投影を行う期間を表す。投影部１１０は、補正画像Ｐ０、Ｐ１、・・・のそれぞれを１／ＲＰ秒間ずつ投影する。言い換えれば、投影部１１０は、１／ＲＰ秒間ごとに補正画像Ｐ０、Ｐ１、・・・を切り替え投影する。  
図５に表したタイミングチャート図の下段は、撮影部１２０が撮影を行う期間を表す。撮影部１２０は、撮影画像Ｃ０、Ｃ１、・・・のそれぞれをＥ秒間ずつ取得する。言い換えれば、撮影部１２０は、Ｅ秒間ごとに撮影画像Ｃ０、Ｃ１、・・・切り替え取得する。
【００５４】
投影部１１０の駆動方式が時分割駆動である場合には、投影部１１０は、補正画像Ｐ０、Ｐ１、Ｐ２、・・・のそれぞれを赤、緑、および青などの色サブフィールドに分割し、例えば補正画像Ｐ０において補正画像Ｐ０Ｒ、Ｐ０Ｇ、Ｐ０Ｂを投影する。例えば、投影部１１０は、補正画像Ｐ０を投影する場合には、赤色に関する補正画像Ｐ０Ｒを投影し、その後に緑色に関する補正画像Ｐ０Ｇを投影し、その後に青色に関する補正画像Ｐ０Ｂを投影する。
【００５５】
補正画像Ｐ０Ｂが撮影部１２０の撮像素子に受光された時間は、Ｗ０Ｂ（タイミングＴ１１〜Ｔ１２）である。補正画像Ｐ１Ｒが撮影部１２０の撮像素子に受光された時間は、Ｗ１Ｒ（タイミングＴ１２〜Ｔ１３）である。補正画像Ｐ１Ｇが撮影部１２０の撮像素子に受光された時間は、Ｗ１Ｇ（タイミングＴ１３〜Ｔ１４）である。補正画像Ｐ１Ｂが撮影部１２０の撮像素子に受光された時間は、Ｗ１Ｂ（タイミングＴ１４〜Ｔ１５）である。補正画像Ｐ２Ｒが撮影部１２０の撮像素子に受光された時間は、Ｗ２Ｒ（タイミングＴ１５〜Ｔ１６）である。補正画像Ｐ２Ｇが撮影部１２０の撮像素子に受光された時間は、Ｗ２Ｇ（タイミングＴ１６〜Ｔ１７）である。
【００５６】
シミュレーション部２２０は、撮影部１２０の撮影時間に応じて、過去の複数の補正画像を積算した像を生成する。具体的には、シミュレーション部２２０は、補正画像Ｐ０、Ｐ１、Ｐ２を赤、緑、および青などの色サブフィールドに分割し、それぞれの色サブフィールドにおいて補正画像が撮像素子に受光された時間の比率に応じて、それぞれの色サブフィールドにおける補正画像を重みづけ加算することで、シミュレーション画像を算出する。つまり、シミュレーション部２２０は、補正画像Ｐ０Ｂが撮像素子に受光された時間Ｗ０Ｂと、補正画像Ｐ１Ｒが撮像素子に受光された時間Ｗ１Ｒと、補正画像Ｐ１Ｇが撮像素子に受光された時間Ｗ１Ｇと、補正画像Ｐ１Ｂが撮像素子に受光された時間Ｗ１Ｂと、補正画像Ｐ２Ｒが撮像素子に受光された時間Ｗ２Ｒと、補正画像Ｐ２Ｇが撮像素子に受光された時間Ｗ２Ｇと、の比率に応じて、補正画像Ｐ０Ｂ、Ｐ１Ｒ、Ｐ１Ｇ、Ｐ１Ｂ、Ｐ２Ｒ、Ｐ２Ｇを重みづけ加算することで、シミュレーション画像を算出する。シミュレーション部２２０は、算出したシミュレーション画像をパラメータ算出部２３０に出力する。
【００５７】
本実施形態によれば、投影部１１０の駆動方式が時分割駆動である場合でも、シミュレーション部２２０は、時分割駆動による投影画像の変化の様子を踏まえたシミュレーション画像を作成してパラメータ算出部２３０に出力する。これにより、正しい投影面に関する情報を推定することができる。
【００５８】
なお、例えば、補正画像Ｐ０と補正画像Ｐ１との間や、補正画像Ｐ１と補正画像Ｐ２との間などに、黒色の画像が挿入されてもよい。黒色の画像を投影するために、例えば液晶プロジェクタのバックライトを消す操作、投影面の略全体に黒色が表示された画像を液晶プロジェクタの液晶パネルに書き込む操作等を行う。この場合でも、シミュレーション部２２０は、投影画像の変化の様子を踏まえたシミュレーション画像を作成してパラメータ算出部２３０に出力する。これにより、パラメータ算出部２３０において、正しい投影面に関する情報を推定することができる。
【００５９】
また、撮影部１２０から出力された撮影パラメータのうちの露光時間の自動制御に関する情報が自動制御の有効を示す場合には、シミュレーション部２２０は、シミュレーション画像を作成する度に、撮影部１２０から出力された撮影パラメータの露光時間Ｅを取得し、露光時間Ｅを用いてシミュレーション画像を算出する。具体的には、露光時間Ｅが相対的に長い場合には、シミュレーション部２２０は、相対的に長い時間の過去の補正画像を用いてシミュレーション画像を作成する。露光時間Ｅが相対的に短い場合には、シミュレーション部２２０は、相対的に短い時間の過去の補正画像を用いてシミュレーション画像を作成する。
【００６０】
これによれば、撮影部１２０の露光時間の自動制御が有効である場合でも、露光時間が様々に変わる際の撮影画像の変化を踏まえたシミュレーション画像を作成してパラメータ算出部２３０に出力する。これにより、正しい投影面に関する情報を推定することができる。
【００６１】
また、シミュレーション部２２０は、撮影部１２０から出力された撮影パラメータのリフレッシュレートＲＣを取得し、リフレッシュレートＲＣを用いてシミュレーション画像を算出する。具体的には、撮影部１２０に予め設定されているリフレッシュレートＲＣが相対的に低い場合には、シミュレーション部２２０は、相対的に長い時間の過去の補正画像を用いてシミュレーション画像を算出する。撮影部１２０に予め設定されているリフレッシュレートＲＣが相対的に高い場合には、シミュレーション部２２０は、相対的に短い時間の過去の補正画像を用いてシミュレーション画像を算出する。
【００６２】
図６は、本実施形態の投影部の投影方式が走査方式である場合を説明する模式図である。  
図６（ａ）は、本実施形態のシミュレーション画像の算出方法の他の一例を例示するタイミングチャート図である。図６（ｂ）は、本実施形態の投影画像を表す模式的平面図である。図６（ｃ）は、本実施形態の撮影部が撮影した像を表す模式的平面図である。図６（ｄ）は、本実施形態のシミュレーション画像を表す模式的平面図である。
【００６３】
図６（ａ）に表したタイミングチャート図は、図３に関して前述したタイミングチャート図と同様である。
【００６４】
投影部１１０の投影方式が走査方式である場合には、補正画像Ｐ０、Ｐ１、Ｐ２のそれぞれは、リフレッシュレートＲＰに基づく所定期間１／ＲＰ秒間をかけて書き換えられる。そのため、図６（ｂ）に表したように、タイミングＴ１において投影部１１０が投影面に投影した補正画像Ｐ０では、例えば、投影画像の上部は書き換えられている一方で、投影画像の下部がまだ書き換えられていないことがある。このような書き換えの状態は、タイミングＴ４においても生ずる。
【００６５】
すると、図６（ｃ）に表したように、撮影部１２０が投影面の光景を撮影した像は、タイミングＴ１〜Ｔ４の間に投影された補正画像が混在した像となる。
【００６６】
そこで、投影部１１０から出力された投影パラメータのうちの駆動方法のパラメータが走査方式であることを示す場合には、シミュレーション部２２０は、補正画像Ｐ０が撮像素子に受光された時間Ｗ０と、補正画像Ｐ１が撮像素子に受光された時間Ｗ１と、補正画像Ｐ２が撮像素子に受光された時間Ｗ２と、の比率に応じて、補正画像Ｐ０、Ｐ１、Ｐ２を重みづけ加算することで、シミュレーション画像を算出する。シミュレーション部２２０が算出したシミュレーション画像は、例えば図６（ｄ）に表した通りである。
【００６７】
パラメータ算出部２３０は、シミュレーション部２２０から出力されたシミュレーション画像（図６（ｄ））と、撮影部１２０から出力された撮影画像（図６（ｃ））と、を用いて、補正パラメータとしての投影面の反射率Ｈと、補正パラメータとしての投影面の外光オフセットＧと、を算出する。パラメータ算出部２３０は、算出した反射率Ｈと、算出した外光オフセットＧと、を補正部２１０に出力する。
【００６８】
本実施形態によれば、投影部１１０の投影方式が走査方式である場合でも、シミュレーション部２２０は、投影画像の書き換え状態を踏まえたシミュレーション画像を作成してパラメータ算出部２３０に出力する。これにより、パラメータ算出部２３０において、正しい投影面に関する情報を推定することができる。
【００６９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７０】
１０ 入力画像
１００ 画像投影装置
１１０ 投影部
１２０ 撮影部
２００ 画像処理装置
２１０ 補正部
２２０ シミュレーション部
２３０ パラメータ算出部
【図１】
2015138048.tif 000003
【図２】
2015138048.tif 000004
【図３】
2015138048.tif 000005
【図４】
2015138048.tif 000006
【図５】
2015138048.tif 000007
【図６】
2015138048.tif 000008