(57)【要約】【課題】印刷物と相関の無い画像を印刷物に無駄に投影することを防止できる画像投影装置、投影制御装置、及びそれらの投影制御方法、並びにプログラムを提供する。【解決手段】画像投影装置１は、投影画像を生成する液晶素子６Ｒ，６Ｇ，６Ｂと、生成された投影画像を投影する投影光学系３と、投影光学系３による投影画像の投影先に設置される印刷物の画像を取得するＱＲコードセンサと、投影画像と印刷物の画像の間の相関値を算出する相関値算出部２５と、算出された相関値が一定値未満の場合は投影画像を投影し、相関値が一定値以上の場合は投影を止めるように投影光学系３を制御する投影制御部２７を備える。【選択図】図１
2019129447.tif 000002
【特許請求の範囲】
【請求項１】
投影画像を生成する生成手段と、
前記生成された投影画像を投影する投影手段と、
前記投影手段による前記投影画像の投影先に設置される印刷物の画像を取得する取得手段と、
前記生成された投影画像と前記取得された印刷物の画像の間の相関値を算出する算出手段と、
前記算出された相関値が一定値未満の場合は前記生成された投影画像を投影し、前記相関値が前記一定値以上の場合は投影を止めるように前記投影手段を制御する制御手段とを備えることを特徴とする画像投影装置。
【請求項２】
投影画像を生成する生成手段と、
前記生成された投影画像を投影する投影手段と、
印刷物の提示位置を固定する固定手段と、
前記固定手段によって前記印刷物が所定の提示位置で固定されていない場合は投影を止めるように前記投影手段を制御する制御手段とを備えることを特徴とする画像投影装置。
【請求項３】
前記投影画像は前記印刷物の輝度分布情報を基に空間的に変調された照度分布を有する照度分布画像であることを特徴とする請求項２記載の画像投影装置。
【請求項４】
前記制御手段は、前記固定手段によって前記印刷物が所定の提示位置で固定されておらず前記投影手段に投影を止めるように制御した後、前記固定手段によって固定される前記印刷物の提示位置が所定位置となった場合、前記投影手段による投影を再開することを特徴とする請求項３記載の画像投影装置。
【請求項５】
前記投影手段により全面固定色の画像を投影した時の前記投影先に設置される前記印刷物の第１のコントラストが、前記投影手段による投影を止めた時の前記投影先に設置される前記印刷物の第２のコントラストに比べて低下しているか否かを判定する判定手段を更に備え、
前記制御手段は、前記相関値が前記一定値以上であり、投影を止めるように前記投影手段を制御した後、前記判定手段により第１のコントラストが前記第２のコントラストに比べて低下していない場合は、前記全面固定色の画像を投影するように前記投影手段を制御することを特徴とする請求項１記載の画像投影装置。
【請求項６】
前記生成された投影画像にグラフィックスを合成する合成手段を更に備え、
前記算出手段は、前記グラフィックスを合成する前に前記相関値の算出を行うことを特徴とする請求項１記載の画像投影装置。
【請求項７】
前記投影手段による投影先を撮影し撮像データを生成する撮影手段を更に備え、
前記固定手段によって前記印刷物が前記所定の提示位置に固定されているか否かは、前記撮像データを用いて判定することを特徴とする請求項２乃至４のいずれか１項に記載の画像投影装置。
【請求項８】
前記固定手段は、前記印刷物を挟持する挟持手段を保持する保持部、及び、前記保持部に前記挟持手段が保持されているか否かを検出するセンサを有し、
前記固定手段によって前記印刷物が前記所定の提示位置に固定されているか否かは、前記センサによる検出結果を用いて判定することを特徴とする請求項２乃至４のいずれか１項に記載の画像投影装置。
【請求項９】
投影画像を生成する生成部と、前記生成された投影画像を投影する投影部とを備える画像投影装置を制御する制御装置であって、
前記投影部による前記投影画像の投影先に設置される印刷物の画像を取得する第１の取得手段と、
前記投影画像を前記画像投影装置から取得する第２の取得手段と、
前記第１の取得手段で取得された前記印刷物の画像、及び前記第２の取得手段で取得された前記投影画像の間の相関値を算出する算出手段と、
前記算出された相関値が一定値未満の場合は前記生成された投影画像を前記投影部により投影するように前記画像投影装置に指示し、前記相関値が前記一定値以上の場合は前記投影部による投影を止めるように前記画像投影装置に指示する指示手段とを備えることを特徴とする制御装置。
【請求項１０】
投影画像を生成する生成ステップと、
前記生成された投影画像を投影する投影ステップと、
前記投影ステップにおいて前記投影画像の投影先に設置される印刷物の画像を取得する取得ステップと、
前記生成された投影画像と前記取得された印刷物の画像の間の相関値を算出する算出ステップと、
前記算出された相関値が一定値未満の場合は前記生成された投影画像を投影し、前記相関値が前記一定値以上の場合は投影を止めるように前記投影ステップを制御する制御ステップとを有することを特徴とする画像投影装置の投影制御方法。
【請求項１１】
投影画像を生成する生成ステップと、
前記生成された投影画像を投影する投影ステップと、
印刷物の提示位置を固定する固定ステップと、
前記固定ステップにおいて前記印刷物が所定の提示位置で固定されていない場合は投影を止めるように前記投影ステップを制御する制御ステップとを有することを特徴とする画像投影装置の投影制御方法。
【請求項１２】
投影画像を生成する生成部と、前記生成された投影画像を投影する投影部とを備える画像投影装置を制御する制御装置の投影制御方法であって、
前記投影部による前記投影画像の投影先に設置される印刷物の画像を取得する第１の取得ステップと、
前記投影画像を前記画像投影装置から取得する第２の取得ステップと、
前記第１の取得ステップにおいて取得された前記印刷物の画像、及び前記第２の取得ステップにおいて取得された前記投影画像の間の相関値を算出する算出ステップと、
前記算出された相関値が一定値未満の場合は前記生成された投影画像を前記投影部により投影するように前記画像投影装置に指示し、前記相関値が前記一定値以上の場合は前記投影部による投影を止めるように前記画像投影装置に指示する指示ステップとを有することを特徴とする投影制御方法。
【請求項１３】
請求項１０乃至１２のいずれか１項に記載の投影制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影装置、投影制御装置、及びそれらの投影制御方法、並びにプログラムに関し、特に印刷物のコントラストを向上させる画像投影装置、投影制御装置、及びそれらの投影制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、露出条件が異なる複数の撮影画像を合成することで、合成前の各撮影画像が有するダイナミックレンジよりも広いダイナミックレンジを有する合成画像を生成し、自然界の被写体の有する高いダイナミックレンジを表現する技術が知られている。このような合成画像（以下、ＨＤＲ（ハイダイナミックレンジ）画像という。）が人間の視覚に対して忠実に再現された画像であると、色や階調、質感等の表現力が増すため、その利用が期待されている。
【０００３】
一方で、輝度の高ダイナミックレンジ化や色域拡大を目的に、印刷物にプロジェクタで印刷物に関連した画像を投影してコントラストを向上させる技術が提案されている（例えば、特許文献１参照）。
【０００４】
また、印刷物にプロジェクタ投影する画像を生成する際に、印刷物の画像データから表示上の相関性がある画像を生成する技術が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−８３１８０号公報
【特許文献２】特開２０１３−８８８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された従来技術では、印刷物に印刷された画像がプロジェクタに予め記憶されていない場合に、印刷物とは相関の無い画像を印刷物に投影してしまうことがある。
【０００７】
また、特許文献２に開示された従来技術では、印刷物への投影中に印刷物を差し替えた場合、差し替え後の印刷物と相関の無い画像を無駄に投影してしまうことがある。
【０００８】
そこで、本発明の目的は、印刷物と相関の無い画像を印刷物に無駄に投影することを防止できる画像投影装置、投影制御装置、及びそれらの投影制御方法、並びにプログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の請求項１に係る画像投影装置は、投影画像を生成する生成手段と、前記生成された投影画像を投影する投影手段と、前記投影手段による前記投影画像の投影先に設置される印刷物の画像を取得する取得手段と、前記生成された投影画像と前記取得された印刷物の画像の間の相関値を算出する算出手段と、前記算出された相関値が一定値未満の場合は前記生成された投影画像を投影し、前記相関値が前記一定値以上の場合は投影を止めるように前記投影手段を制御する制御手段とを備えることを特徴とする。
【００１０】
本発明の請求項２に係る画像投影装置は、投影画像を生成する生成手段と、前記生成された投影画像を投影する投影手段と、印刷物の提示位置を固定する固定手段と、前記固定手段によって前記印刷物が所定の提示位置で固定されていない場合は投影を止めるように前記投影手段を制御する制御手段とを備えることを特徴とする。
【００１１】
本発明の請求項９に係る制御装置は、投影画像を生成する生成部と、前記生成された投影画像を投影する投影部とを備える画像投影装置を制御する制御装置であって、前記投影部による前記投影画像の投影先に設置される印刷物の画像を取得する第１の取得手段と、前記投影画像を前記画像投影装置から取得する第２の取得手段と、前記第１の取得手段で取得された前記印刷物の画像、及び前記第２の取得手段で取得された前記投影画像の間の相関値を算出する算出手段と、前記算出された相関値が一定値未満の場合は前記生成された投影画像を前記投影部により投影するように前記画像投影装置に指示し、前記相関値が前記一定値以上の場合は前記投影部による投影を止めるように前記画像投影装置に指示する指示手段とを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、印刷物と相関の無い画像を印刷物に無駄に投影することを防止できる。
【図面の簡単な説明】
【００１３】
【図１】実施例１に係る画像投影装置のハードウェア構成を示すブロック図である。
【図２】実施例１の投影制御処理の手順を示すフローチャートである。
【図３】図２のステップＳ２における映像信号と印刷物の画像の相関値の算出方法を説明するための概念図である。
【図４】実施例２に係る画像投影装置のハードウェア構成を示すブロック図である。
【図５】実施例２に係る画像投影装置の印刷物保持部の概念図である。
【図６】実施例２の投影制御処理の手順を示すフローチャートである。
【図７】図６の投影制御処理を説明するための図である。
【図８】実施例３に係る画像投影装置のハードウェア構成を示すブロック図である。
【図９】実施例３に係る保持検出部の概念図である。
【図１０】実施例４の投影制御処理の手順を示すフローチャートである。
【図１１】実施例５の投影画像例を示す図である。
【発明を実施するための形態】
【実施例１】
【００１４】
以下、図１を参照して、本発明の実施例１について説明する。
【００１５】
図１は、本実施例に係る画像投影装置のハードウェア構成を示すブロック図である。尚、本実施例では液晶プロジェクタが本発明に係る画像投影装置である例を説明するが、光源と、入力された映像信号に基づいて光源からの光を変調して投影画像を生成する生成部と、生成された投影画像を投影する投影光学系を有すれば、これに限定されない。
【００１６】
図１において、画像投影装置１は、ＣＰＵ２、投影光学系３、光学制御部４、色合成部５、液晶素子６Ｒ，６Ｇ，６Ｂ、液晶制御部７、色分離部８、光源９、光源制御部１０、表示バッファ１１、メモリ１２、外部Ｉ／Ｆ１３を備える。さらに、画像投影装置１は、環境光センサ１５、Ｉ／Ｆ１６，２０、無線Ｉ／Ｆ１８、記憶媒体２１、表示部２２、スイッチ入力部２３、相関値算出部２５、投影画像判定部２６、投影制御部２７を備える。投影光学系３、液晶素子６Ｒ，６Ｇ，６Ｂ及び光源９以外の各動作ブロックは、データバス２４を介して互いに接続される。
【００１７】
ＣＰＵ２は、データバス２４を介して画像投影装置１全体を制御する。また、画像の拡大縮小処理、画像の統計量の算出等を行うことも出来る。
【００１８】
投影光学系３（投影部）は、不図示の複数のレンズ、レンズ駆動用のアクチュエータからなり、色合成部５から出力された合成光を投影画像としてスクリーンや印刷物に投影する。また、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。
【００１９】
光学制御部４は投影光学系３を制御するものであり、制御用のマイクロプロセッサからなる。また、光学制御部４は、専用のマイクロプロセッサである必要はなく、例えば、ＣＰＵ２が光学制御部４と同様の処理を実行しても良い。
【００２０】
色合成部５は液晶素子６Ｒ，６Ｇ，６Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部５により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系３に送られる。このとき、液晶素子６Ｒ，６Ｇ，６Ｂは、後述する表示バッファ１１から入力された映像信号に対応する光の透過率となるように、液晶制御部７により制御されている。すなわち、液晶素子６Ｒ，６Ｇ，６Ｂは、光源９から出力され、色分離部８で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光を、入力された映像信号に基づいて変調して投影画像を生成する生成部である。そのため、例えば、色合成部５により合成された光が投影光学系３によりスクリーンに投影された場合、表示バッファ１１から入力された映像信号に対応する投影画像がスクリーン上に表示される。
【００２１】
液晶制御部７は表示バッファ１１から入力された映像信号に基づいて、液晶素子６Ｒ，６Ｇ，６Ｂの画素の液晶に印可する電圧を制御して、液晶素子６Ｒ，６Ｇ，６Ｂの反射率若しくは透過率を調整する。
【００２２】
色分離部８は光源９から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源９として、各色に対応するレーザーや、ＬＥＤ等を使用する場合には、色分離部８は不要である。
【００２３】
光源９は不図示のスクリーンや印刷物に画像を投影するための光を出力するものであり、例えば、レーザー、ＬＥＤハロゲンランプ、キセノンランプ、高圧水銀ランプなどから構成される。
【００２４】
光源制御部１０は光源９のオン／オフの制御や明るさの制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１０は、専用のマイクロプロセッサである必要はなく、例えば、ＣＰＵ２が光源制御部１０と同様の処理を実行しても良い。
【００２５】
表示バッファ１１は投影画像を記憶し、これを液晶制御部７や表示部２２に映像信号として出力する。
【００２６】
メモリ１２はパーソナルコンピュータ１４、記憶媒体２１、ネットワーク１９から取得した複数の画像及びそのメタデータからなるデータベースを保持する。また、メモリ１２はかかるデータベース以外に、メニュー等のグラフィックスの画像やＣＰＵ２のプログラムコードなどを記憶することが可能である。
【００２７】
外部Ｉ／Ｆ１３はパーソナルコンピュータ１４と画像投影装置１を接続してパーソナルコンピュータ１４が出力する映像信号を入力する。外部Ｉ／Ｆ１３は入力された映像信号のうち有効画素期間のデータを投影画像として取り出した後にメモリ１２及び表示バッファ１１に記憶させる。
【００２８】
環境光センサ１５は画像投影装置１の環境光を計測する。
【００２９】
Ｉ／Ｆ１６はプリンタ１７が接続される。ＣＰＵ２の制御に基づき、プリンタ１７で印刷すべき印刷画像はＩ／Ｆ１６を介してプリンタ１７に転送され、プリンタ１７が、印刷画像を媒体上に印刷出力する。
【００３０】
無線Ｉ／Ｆ１８はＣＰＵ２の制御に基づき、ＬＡＮやインターネット等のネットワーク１９に対するデータ通信を行う。例えば、画像投影装置１からネットワーク１９を介してデータを外部に送信することや、ネットワーク１９を介して外部から受信した映像信号等のデータをメモリ１２に保存することができる。無線Ｉ／Ｆ１８はネットワーク１９を介して入力された映像信号のうち有効画素期間のデータを投影画像として取り出した後にメモリ１２及び表示バッファ１１に記憶させる。
【００３１】
Ｉ／Ｆ２０は例えばメモリカード等の記憶媒体２１が装着可能になっている。ＣＰＵ２の制御に基づき、装着された記憶媒体２１からのデータの読み出しや、記憶媒体２１に対するデータの書き込みを行う。Ｉ／Ｆ２０は記憶媒体２１から入力された映像信号のうち有効画素期間のデータを投影画像として取り出した後にメモリ１２及び表示バッファ１１に記憶させる。
【００３２】
表示部２２は表示バッファ１１から入力された映像信号に基づき、投影画像を表示するパネルである。表示部２２は、例えば液晶パネル又は有機ＥＬパネルである。
【００３３】
スイッチ入力部２３は、ユーザの指示を受け付け、ＣＰＵ２に指示信号を送信するものである。例えば、スイッチ入力部２３はスイッチやダイヤル、タッチパネルである。
【００３４】
相関値算出部２５は表示バッファ１１に記憶されている投影画像（映像信号）とメモリ１２に記憶された印刷物の画像の各画素の相関値を算出する。相関値は差分絶対値和（ＳＡＤ）を算出したものである。差分絶対値和が小さい場合は相関が有ると判断し、差分絶対値和が大きい場合は相関が無いと判断する。相関値の算出の詳細は後述する。
【００３５】
投影画像判定部２６は相関値算出部２５で算出した相関値と一定値を比較して、比較結果に応じて投影画像を印刷物に投影するかを決定する。相関値が一定値未満場合は投影画像と印刷画像に相関が有ると判断して投影画像を印刷物に投影するよう投影制御部２７に通知する。相関値が一定値以上の場合は投影画像と印刷画像に相関が無いと判断して印刷物への投影画像の投影を止めるよう投影制御部２７に通知する。
【００３６】
投影制御部２７は投影画像判定部２６からの通知に基づいて投影を制御する。具体的には、まず、印刷物に投影画像を投影するよう通知があった場合は、光源制御部１０に光源９をオンにするよう指示する。次に、液晶制御部７に表示バッファ１１からの映像信号に基づき液晶素子６Ｒ，６Ｇ，６Ｂで投影画像を生成するよう指示し、投影光学系３で投影画像を投影するよう光学制御部４に指示する。また、投影を止めるよう通知があった場合は光源制御部１０に光源９をオフにするよう指示し、投影を止める。
【００３７】
グラフィックス合成部２８はＣＰＵ２の指示に基づきメモリ１２から読み出したメニュー等のグラフィックスを投影画像に合成することが出来る。
【００３８】
ＣＰＵ２は、投影先の印刷物に対応した印刷画像を取得するために、不図示のＱＲコード(登録商標)センサで読み取った投影先の印刷物のＱＲコードから印刷物のメタデータをあらかじめ取得しておく。このあらかじめ取得しておいたメタデータに基づき、ＣＰＵ２はメモリ１２のデータベース内から投影先の印刷物に対応する画像を探し出すことができる。尚、投影先の印刷物からそのメタデータをあらかじめＣＰＵ２が取得できればよく、例えば、不図示のバーコードリーダーで印刷物にバーコードを読むような構成であってもよい。
【００３９】
図２は、画像投影装置１における投影制御処理の手順を示すフローチャートである。本処理は、ＣＰＵ２がメモリ１２に記憶されるプログラムコードを読み出すことにより開始される、映像信号と印刷画像の相関に応じた投影制御処理である。
【００４０】
まず、ステップＳ１において、ＣＰＵ２は、ネットワーク１９、パーソナルコンピュータ１４、記憶媒体２１のいずれかから画像投影装置１に映像信号の入力があると、ステップＳ２に進み、映像信号と印刷画像の相関値を相関値算出部２５により算出する。ステップＳ１で入力された映像信号は、前述の通り、有効画素期間のデータが取り出された後、表示バッファ１１に投影画像として記憶される。ＣＰＵ２は、この表示バッファ１１で投影画像として記憶される映像信号をステップＳ２で相関値算出部２５に出力する。また、ステップＳ２の印刷画像は、ＣＰＵ２が投影先の印刷物から読み取ったＱＲコードからあらかじめ取得しておいたメタデータに基づき、メモリ１２のデータベース内から探し出す。尚、ステップＳ２の印刷画像として、ユーザがメモリ１２に記憶されている画像の１つを指定しても良い。尚、印刷物が投影先から取り除かれていた等の事情によりＱＲコードの読み取りができなかった場合は、後述するステップＳ３において映像信号と印刷画像に相関は無いと判断される。
【００４１】
ステップＳ３において、ＣＰＵ２は、投影画像判定部２６においてステップＳ２で算出した相関値と一定値を比較させる。投影画像判定部２６は、相関値が一定値未満の場合は映像信号と印刷画像に相関があると判断し（ステップＳ３でＹＥＳ）、投影画像を印刷物に投影するよう投影制御部２７に通知した後にステップＳ４に進む。一方、投影画像判定部２６は前記相関値が一定値以上の場合は映像信号と印刷画像に相関が無いと判断し（ステップＳ３でＮＯ）、印刷物への投影画像の投影を止めるよう投影制御部２７に通知した後にステップＳ５に進む。
【００４２】
ステップＳ４において、投影制御部２７は、まず、投影画像判定部２６からの通知に基づいて、光源制御部１０に光源９をオンにするよう指示する。次に、液晶制御部７に映像信号に基づき投影画像を生成するよう指示し、投影光学系３で投影画像を投影するよう光学制御部４に指示する。これにより、投影画像が印刷物に投影される。印刷画像と投影画像の解像度が大きく異なる場合は、ＣＰＵ２が投影画像の解像度変換処理を行い、印刷画像の解像度と同等の解像度に変換することが可能である。
【００４３】
ステップＳ５において、投影制御部２７は、投影画像判定部２６からの通知に基づいて、光源制御部１０に光源９をオフにするよう指示し、投影を止める。
【００４４】
ステップＳ６において、ＣＰＵ２がスイッチ入力部２３からの入力をもとに本処理を継続するか判断し、継続する場合はステップＳ１に戻り、継続しない場合は本処理を終了する。
【００４５】
図３は、図２のステップＳ２における映像信号と印刷画像の相関値の算出方法を説明するための概念図である。
【００４６】
最初に、図３（ａ）と図３（ｂ）を用いて映像信号と印刷画像の相関が高い場合について説明する。図３（ａ）は画像投影装置１に入力された映像信号（投影画像）３０１を示す。図３（ｂ）は印刷画像３０２を示す。
【００４７】
図３（ｂ）の印刷画像３０２はユーザにより指定されたものである。具体的には、ユーザはメモリ１２に記憶されたデータベースの各印刷画像を表示部２２に表示させ、その一つを印刷画像３０２としてスイッチ入力部２３を用いて指定する。
【００４８】
相関値算出部２５は、図３（ａ）の投影画像３０１と図３（ｂ）の印刷画像３０２の相関値を算出する。例えば、相関値算出部２５は、相関値を算出するために図３（ａ）の投影画像３０１と図３（ｂ）の印刷画像３０２の各画素の差分絶対値和（ＳＡＤ）を算出する。投影画像３０１、印刷画像３０２がそれぞれ幅方向にＸ［画素］、高さ方向にＹ［画素］の解像度を有する場合、投影画像３０１及び印刷画像３０２の相関値（ＳＡＤ）は、以下の式（１）により算出される。
【００４９】
【数１】
2019129447.tif 000003
【００５０】
式（１）において、Ａ（ｘ，ｙ）、Ｂ（ｘ，ｙ）は、それぞれ投影画像３０１及び印刷画像３０２の座標（ｘ，ｙ）の画素の輝度値を示す。なお、式（１）により算出されるＳＡＤは２画像間のＳＡＤであるため、その値が小さいほど比較画像間の相関が高くなる。逆に、ＳＡＤが大きいほど比較画像間の相関が低くなる。式（１）を用いて図３（ａ）の投影画像３０１と図３（ｂ）の印刷画像３０２の相関値を算出すると、両者は同一の画像なので算出された相関値は一定値未満の値になる。
【００５１】
次に同様に、図３（ｃ）と図３（ｄ）を用いて映像信号と印刷画像の相関が低い場合の処理の説明を行う。図３（ｃ）は画像投影装置１に入力された映像信号（投影画像）３０３を示す。図３（ｄ）は印刷画像３０４を示す。図３（ｃ）の投影画像３０３と図３（ｄ）の印刷画像３０４の相関値を算出すると、両者は別の画像なので算出された相関値は一定値以上の値になる。
【００５２】
以上、本実施例によれば、映像信号が入力された場合、あらかじめ取得しておいた投影先の印刷物の画像と映像信号の相関の有無に応じて、映像信号に基づき生成された投影画像を投影するか否かを制御する。これにより、印刷物と相関の無い画像を印刷物に無駄に投影することを防止できる。
【実施例２】
【００５３】
以下、図４を参照して、本発明の実施例２について説明する。実施例２は投影先の撮像データを画像投影装置内の撮像素子で撮影することにより生成し、その撮像データに基づき投影先の印刷物の存否により投影を制御する点が実施例１と異なる点である。尚、実施例１と重複する構成の説明は省略する。
【００５４】
図４は、本実施例に係る画像投影装置のハードウェア構成を示すブロック図である。
【００５５】
図４において、画像投影装置１００は、タイミング発生器３０、撮像素子３１、Ａ／Ｄ変換部３２、デジタル信号処理部３３、存否検出部４０、存否判定部４１、投影制御部４２、及び画像処理部４３の各動作ブロックを備える。また、画像投影装置１００では画像投影装置１から相関値算出部２５、投影画像判定部２６、及び投影制御部２７が削除される。
【００５６】
タイミング発生器３０は、撮像素子３１、Ａ／Ｄ変換部３２、デジタル信号処理部３３にクロック信号や制御信号を供給する。
【００５７】
撮像素子３１は、不図示の撮影レンズを介して得られた光学像を電気信号に変換することで被写体の撮影を行うＣＭＯＳ素子等である。
【００５８】
Ａ／Ｄ変換部３２は、撮像素子３１で得られた電気信号についてアナログ信号出力からデジタル信号に変換する。
【００５９】
デジタル信号処理部３３は、撮像素子３１で読み出した画素データに対するノイズ低減処理、ゲイン補正処理、及びガンマ補正処理や、撮像素子３１で読み出した画素データを映像フォーマットに変換し、撮像データを生成するフォーマット変換処理を行う。さらにデジタル信号処理部３３は、生成した撮像データをメモリ１２に記憶させる。
【００６０】
存否検出部４０は撮像素子３１による投影先の撮影で得られた撮像データに印刷物が存在するかを検出する。具体的には、ユーザはスイッチ入力部２３を操作して印刷物が掲示されていない投影先である壁面を撮影し、その壁面の画像をメモリ１２にあらかじめ登録する。存否検出部４０はメモリ１２からユーザがあらかじめ登録した壁面の画像を取得し、その壁面の画像と投影先の撮像データの相関値を算出する。存否検出部４０における相関値の算出方法は相関値算出部２５と同様に行うことが出来る。存否検出部４０は算出した相関値を存否判定部４１に出力する。
【００６１】
存否判定部４１は存否検出部４０で算出した相関値と一定値を比較して、比較結果に応じて印刷物が投影先に存在するかを判定する。相関値が一定値未満の場合は印刷物が投影先に存在している判定する。相関値が一定値以上の場合は印刷物が投影先に存在していないと判定する。また、存否判定部４１は存否検出部４０から取得した相関値の変化を一定時間ごとに確認することにより壁面の印刷物の差し替え、移動等を検出することが出来る。存否判定部４１は存否判定結果を投影制御部４２及び画像処理部４３に出力する。
【００６２】
投影制御部４２は、存否判定部４１の判定結果に基づき投影を制御する。投影制御部４２は、存否判定部４１で印刷物が存在するという判定があった場合は光源制御部１０に光源９をオンにするよう指示する。また、投影制御部４２は、存否判定部４１で印刷物が存在しない又は印刷物の掲示位置がずれているという判定があった場合は光源制御部１０に光源９をオフにするよう指示する。
【００６３】
画像処理部４３は、存否判定部４１で印刷物が存在するという判定があった場合は、デジタル信号処理部３３から撮像データを取得し、撮像データに含まれる印刷物の画像の輝度分布情報を基に空間的に変調された照度分布画像を生成する。照度分布画像を生成する具体例を以下に説明する。まず画像処理部４３の不図示のモノクロ化処理部は以下の式（２）を用いて印刷物の画像の全画素値をモノクロ化（輝度に変換）する。モノクロ化した画像を輝度分布情報とも呼ぶ。
【００６４】
【数２】
2019129447.tif 000004
【００６５】
次に画像処理部４３の不図示のブラー処理部は輝度分布情報にぼかし効果を加えるブラー処理を施し空間的に変調したブラー画像を生成する。さらに、画像処理部４３の不図示のゲイン調整処理部はブラー画像の画素値にゲイン調整処理を施して照度分布画像を生成する。この生成された照度分布画像は、表示バッファ１１に投影画像として保持される。
【００６６】
このように生成された照度分布画像を投影画像として印刷物に投影する場合、印刷物と投影画像が多少ずれていても鑑賞できるというメリットがある。画像処理部４３による照度分布画像の生成し、投影画像として投影する処理は実施例１においても適用可能である。
【００６７】
図５は、本実施例に係る画像投影装置１００の印刷物保持部１０１の概念図である。
【００６８】
図５（ａ）は、画像投影装置１００の正面から見た図である。画像投影装置１００の印刷物保持部１０１はフォトフレーム１０３に挟まれた印刷物１０２の掲示位置を固定する。不図示であるがフォトフレーム１０３は２枚のフレーム枠により構成され、印刷物１０２の周辺をその２枚のフレーム枠で挟持することによって印刷物１０２の提示位置を固定させる。
【００６９】
図５（ｂ）は、画像投影装置１００の上面から見た図である。印刷物保持部１０１はフォトフレーム１０３に提示される印刷物１０２を撮影するための撮像素子３１と印刷物１０２に画像を投影する投影光学系３を備える。
【００７０】
図５（ｃ）は、画像投影装置１００を横から見た図である。印刷物保持部１０１はフォトフレーム１０３を保持するための溝（保持部）を有し、その溝により保持されたフォトフレーム１０３が挟持する印刷物１０２に投影画像１０４が投影される。
【００７１】
図６は、本実施例の投影制御処理の手順を示すフローチャートである。本処理は、ＣＰＵ２がメモリ１２に記憶されるプログラムコードを読み出すことにより開始する、印刷物の存否に応じた投影制御処理である。
【００７２】
まず、ステップＳ１００において、ＣＰＵ２は、表示バッファ１１に記憶される投影画像を消去する。
【００７３】
その後、ステップＳ１０１において、ＣＰＵ２は、撮像素子３１による投影先の撮影で得られた撮像データに印刷物が存在するかどうかを存否検出部４０により検出する存否検出処理を行なう。具体的には、メモリ１２からユーザがあらかじめ登録した壁面の画像を取得し、その壁面の画像と投影先の撮像データの相関値を算出する。
【００７４】
ステップＳ１０２は存否判定部４１が存否検出部４０で算出された相関値に基づき印刷物が投影先に存在するか判定する。印刷物が存在すると判定した場合は（ステップＳ１０２でＹＥＳ）、ステップＳ１０４に進み、それ以外の場合、具体的には、印刷物が存在しない又は印刷物の掲示位置がずれている場合は（ステップＳ１０２でＮＯ）、ステップＳ１０３に進む。
【００７５】
ステップＳ１０３では、投影制御部４２は、光源制御部１０に光源９をオフにするよう指示し、投影を停止した後、ステップＳ１１４に進む。
【００７６】
ステップＳ１０４では、投影制御部４２は、光源制御部１０に光源９をオンにするよう指示した後、印刷物に投影する投影画像が表示バッファ１１に存在するか判定する。投影画像が存在する場合（ステップＳ１０４でＹＥＳ）、ステップＳ１０５に進み、存在しない場合は（ステップＳ１０４でＮＯ）、ステップＳ１０６に進む。
【００７７】
ステップＳ１０５では、ＣＰＵ２が表示バッファ１１に存在する投影画像を印刷物に投影する。
【００７８】
ステップＳ１０６では、ＣＰＵ２が環境光センサ１５から環境光センサ情報を取得する。
【００７９】
ステップＳ１０７では、ＣＰＵ２が取得した環境光センサ情報を基に画像処理部４３の不図示のＲＧＢゲイン処理部にＲＧＢのゲイン値を設定して投射光の色温度を設定する。
【００８０】
ステップＳ１０８では、印刷物の画像キャプチャを行う。具体的には、ＣＰＵ２が撮像素子３１に投影先にある印刷物を撮影させる。その後、デジタル信号処理部３３が得られた画素データから撮像データを生成し、メモリ１２に記憶する。
【００８１】
ステップＳ１０９では、ＣＰＵ２がステップＳ１０８で取得した撮像データから印刷物の四隅の座標を決定し、その四隅の座標で囲まれる領域を画像処理領域に設定する。例えば、印刷物が図５に示す印刷物１０２のように写真である場合、その四隅の座標のデータはあらかじめ決められた写真サイズに応じて不図示のテーブルに保持されている。ユーザが印刷物の写真サイズを設定するとＣＰＵ２がそのテーブルを参照して印刷物１０２の四隅の座標を決定する。また、ＣＰＵ２は画像認識を用いてフレームと写真の境界を検出して写真の四隅の座標を決定することも可能である。
【００８２】
以下ステップＳ１１０〜Ｓ１１２の画像処理により、印刷物の輝度分布情報を基に空間的に変調された照度分布を生成する。
【００８３】
ステップＳ１１０では、画像処理部４３が取得した撮像データの画像処理領域内の画像のモノクロ化処理を行う。
【００８４】
ステップＳ１１１では、画像処理部４３が取得した撮像データの画像処理領域内の画像のブラー処理を行う。
【００８５】
ステップＳ１１２では、画像処理部４３が取得した撮像データの画像処理領域内の画像のガンマカーブを調整するトーンカーブ処理を行う。
【００８６】
ステップＳ１１３では、ステップＳ１１０〜Ｓ１１２の画像処理により生成された画像を投影画像として表示バッファ１１に記憶させた後、ステップＳ１０４に戻る。
【００８７】
ステップＳ１１４では、ＣＰＵ２がスイッチ入力部２３からの入力をもとに本処理を継続するか判断し、継続しない場合は本処理を終了する。一方、継続する場合はステップＳ１００に進む。これにより、ステップＳ１０３で一度投影を停止しても、その後、印刷物保持部１０１により固定される印刷物の掲示位置が所定位置となり、ステップＳ１０２において印刷物が存在すると判定された場合は投影が再開される。
【００８８】
図７は、図６の投影制御処理を説明するための図である。
【００８９】
図７（ａ）は、フォトフレーム１０３に収められた印刷物１０２の提示位置が画像投影装置１００に対して正しく保持された状態を示す図である。ここで、「正しく保持された状態」とは、撮像素子３１により撮影された印刷物１０２が所定の提示位置で固定されており、その４隅の座標位置が、ステップＳ１０９で前述した、写真サイズに応じてテーブル化された四隅の座標位置に一致した状態をいう。
【００９０】
図７（ａ）の状態の印刷物１０２が撮像素子３１で撮影された場合、ステップＳ１０２において印刷物１０２が存在すると判定される。このため、ステップＳ１０５において、印刷物１０２に投影画像が投影される。
【００９１】
図７（ｂ）は、フォトフレーム１０３に収められた印刷物１０２の提示位置が画像投影装置１００に対して斜めに傾いて保持された状態を示す図である。ここで、「斜めに傾いて保持された状態」とは、フォトフレーム１０３内において、上記「正しく保持された状態」から印刷物１０２が例えば図７（ｂ）に示す矢印の方向等に回転しているような状態をいう。
【００９２】
図７（ｂ）の状態の印刷物１０２が撮像素子３１で撮影された場合、ステップＳ１０１で存否検出部４０により算出される相関値は一定値以上である、すなわち、印刷物の掲示位置がずれていることが検出される。このため、ステップＳ１０２において印刷物１０２が存在するとは判定されず、ステップＳ１０３において、投影制御部４２が光源９をオフとして投影を停止する。
【００９３】
以上、本実施例によれば、撮像素子３１で投影先を撮影することにより生成された撮像データに基づき印刷物の存否判定を行い、印刷物があると判定された場合は再度撮像素子３１で投影先にある印刷物の撮影を行って投影すべき投影画像を生成する。これにより、印刷物と相関の無い画像を印刷物に無駄に投影することを防止できる。
【実施例３】
【００９４】
以下、図８を参照して、本発明の実施例３について説明する。実施例３は印刷物保持部１０１のセンサによる検出結果に基づき印刷物が存在しているか存否判定を行う。尚、実施例１，２と重複する構成の説明は省略する。
【００９５】
図８は、本実施例に係る画像投影装置のハードウェア構成を示すブロック図である。
【００９６】
図８において、画像投影装置２００は、実施例１の画像投影装置１の有する構成の他、保持検出部６０及び投影制御部６１を有する。また、画像投影装置２００は画像投影装置１から相関値算出部２５、投影画像判定部２６、及び投影制御部２７を削除した構成である。
【００９７】
保持検出部６０は、印刷物保持部１０１に設置されたフォトフレーム１０３を検出するセンサである。保持検出部６０は、投影制御処理が開始しＣＰＵ２によりＯＮにされるとフォトフレーム１０３の検出を開始する。開始後所定時間フォトフレーム１０３が検出された場合、フォトフレーム１０３が印刷物保持部１０１に保持されているとの検出結果を投影制御部６１に通知する。一方、それ以外の場合は、フォトフレーム１０３が印刷物保持部１０１に保持されていないとの検出結果を投影制御部６１に通知する。
【００９８】
投影制御部６１は、保持検出部６０から通知された検出結果に応じて投影を制御する。具体的には、フォトフレーム１０３が保持されているという検出結果が通知された場合は、印刷物が存在していると判断する。この場合、投影制御部６１は、光源制御部１０に光源９をオンにするよう指示し、液晶制御部７に液晶素子６Ｒ，６Ｇ，６Ｂで投影画像を生成するよう指示し、投影光学系３で投影画像を投影するよう光学制御部４に指示する。一方、フォトフレーム１０３が保持されていないという検出結果が通知された場合は、印刷物が存在していないと判断する。この場合、投影制御部６１は、光源制御部１０に光源９をオフにするよう指示し、投影を止める。
【００９９】
図９は、本実施例に係る保持検出部６０の概念図である。
【０１００】
図９に示すように、保持検出部６０は、印刷物保持部１０１の内部にある。ＣＰＵ２が保持検出部６０をＯＮにした後に、フォトフレーム１０３が印刷物保持部１０１に設置されると、保持検出部６０がフォトフレーム１０３を検出する。
【０１０１】
すなわち、本実施例においては、図６のステップＳ１０１の代わりに、印刷物保持部１０１によりフォトフレーム１０３が保持されているか否かという検出が保持検出部６０により行われる。また、ステップＳ１０２では、この検出結果に基づき、印刷物が存在しているかの存否判定が行われる。
【０１０２】
以上、本実施例によれば、保持検出部６０で印刷物保持部１０１によりフォトフレーム１０３が保持されていると検出された場合に投影先に印刷物があると判定し、撮像素子３１で投影先にある印刷物の撮影を行って投影すべき投影画像を生成する。これにより、印刷物と相関の無い画像を印刷物に無駄に投影することを防止できる。
【実施例４】
【０１０３】
以下、図１０を参照して、本発明の実施例４について説明する。実施例４は投影先にある印刷物と投影する映像信号（投影画像）の間の相関の有無に応じて、全画面固定色画像を投影するか否かを制御する。また、この制御により全面固定色画像を投影した場合に、印刷物の印刷内容に応じて反射率が異なるため印刷物のコントラストが低下することがある。そこで、実施例４の画像投影装置は全画面固定色を投影してコントラストが低下したことを検出した場合には投影を止める。尚、実施例１，２，３と重複する構成の説明は省略する。また、ハードウェア構成は図４の実施例２の構成となる。
【０１０４】
図１０は、本実施例の投影制御処理の手順を示すフローチャートである。本処理は、ＣＰＵ２がメモリ１２に記憶されるプログラムコードを読み出すことにより開始される。
【０１０５】
図２のステップＳ１〜Ｓ６と同じ処理については、同一の符号を付し説明を省略する。すなわち本実施例は、ステップＳ５の実行後、ステップＳ６に進むのではなく、ステップＳ１５０に進む点で実施例１と異なる。
【０１０６】
ステップＳ１５０では、ステップＳ５で投影制御部２７により投影が止められた後、撮像素子３１を用いて印刷物の撮影を行う。この撮影により撮像素子３１から読み出された画素データに基づきデジタル信号処理部３３で撮像データが生成され、未投影時の印刷物の撮像データとしてメモリ１２に記憶される。
【０１０７】
ステップＳ１５１では、ＣＰＵ２が印刷物への全画面固定色の投影を行う。
【０１０８】
ステップＳ１５２では、ステップＳ１５０と同様の処理を行う。具体的には、ステップＳ１５１でＣＰＵ２により印刷物への全画面固定色の投影が開始した後、撮像素子３１を用いて印刷物の撮影を行う。この撮影により撮像素子３１から読み出された画素データに基づきデジタル信号処理部３３で撮像データが生成され、全面固定色投影中の印刷物の撮像データとしてメモリ１２に記憶される。
【０１０９】
ステップＳ１５３では、ＣＰＵ２がステップＳ１５０でメモリ１２に記憶された未投影時の印刷物の撮像データとステップＳ１５２でメモリ１２に記憶された全面固定色投影中の印刷物の撮像データを取得し、これらの撮像データのコントラストを算出する。具体的には、ＣＰＵ２は、これらの撮像データの画像の輝度の統計量を算出し、それぞれの撮像データの画像の輝度ヒストグラムを作成する。
【０１１０】
ステップＳ１５４では、ＣＰＵ２は、ステップＳ１５３で作成されたそれぞれの撮像データの画像の輝度ヒストグラムの分布から全面固定色の投影によりコントラストが低下したか否かを判断する。具体的には、ステップＳ１５３で作成された２つの輝度ヒストグラムのそれぞれについて最大輝度ピークと最小輝度ピークの間の距離（ピーク間距離）を求める。ＣＰＵ２は、求められたピーク間距離が、未投影時の場合より全面固定色投影中の場合の方が小さくなっていたらコントラストが低下したと判断してステップＳ１５５に進む。一方、それ以外の場合はステップＳ１５６に進む。
【０１１１】
ステップＳ１５５では、ＣＰＵ２は全画面固定色画像を投影した場合印刷物のコントラストが低下すると判断し、印刷物への全画面固定色画像の投影を止める。その後、ステップＳ６に進む。
【０１１２】
ステップＳ１５６では、ＣＰＵ２は全画面固定色画像を投影しても印刷物のコントラストは低下しないと判断し、印刷物への全画面固定色画像の投影を続ける。その後、ステップＳ６に進む。
【０１１３】
以上、本実施例によれば、映像信号が入力された場合、あらかじめ取得しておいた投影先の印刷物の画像と映像信号の相関がない場合、全画面固定色画像を投影する。ただし、印刷物のコントラストが低下する場合はかかる投影を停止する。これにより、コントラストを低下させるような画像を印刷物に無駄に投影することを防止できる。
【実施例５】
【０１１４】
以下、図１１を参照して、本発明の実施例５について説明する。本実施例は印刷物と相関が無い画像を投影する構成である。尚、実施例１、２、３、４と重複する構成の説明は省略する。ハードウェア構成は図１に示す実施例１の構成となる。
【０１１５】
図１１は、本実施例の投影画像例を示す図である。
【０１１６】
図１１に示すように、画像投影装置１は、印刷物１０２に位置合わせのためのグリッド線１１００と位置合わせのメニュー１１０１を投影する。グリッド線１１００とメニュー１１０１はＣＰＵ２が生成してメモリ１２に記憶する。グラフィックス合成部２８は、グリッド線１１００とメニュー１１０１をメモリ１２から取得して投影画像に合成する。この場合、相関値算出部２５は、かかる合成前に算出された、投影画像と印刷物の画像の相関値を投影画像判定部２６に出力する。投影画像判定部２６は、相関値算出部２５により出力された相関値が一定値未満であれば、投影制御部４２に対し、合成後の投影画像を印刷物１０２に投影するよう通知する。
【０１１７】
以上、本実施例によれば、印刷物と相関が無いグラフィックスを投影画像に合成する場合、その合成前の投影画像と印刷物の相関の有無に基づき合成後の投影画像の投影の制御を行う。これにより、印刷物と相関のある投影画像の投影中にグラフィックスの合成を投影画像に対して行っても、印刷物への投影画像の投影が中断するという事態を防止できる。
【０１１８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１１９】
例えば、実施例１の相関値算出部２５、投影画像判定部２６、及び投影制御部２７は、外部の制御装置、例えば、ＰＣ１４が備えるような構成であってもよい。この場合、ＰＣ１４は、相関値算出部２５で用いる液晶素子６Ｒ，６Ｇ，６Ｂで生成された投影画像を画像投影装置１から取得する。また、ＰＣ１４は、不図示のＱＲコードセンサで読み取った投影先の印刷物のＱＲコードから印刷物のメタデータをあらかじめ取得しておく。ＰＣ１４の相関値算出部２５は、そのメタデータに基づきＰＣ１４内部のメモリに保持されるデータベース内から探し出された投影先の印刷物に対応する画像を印刷物の画像として取得する。さらに、ＰＣ１４では、投影画像判定部２６の判定結果に基づき投影制御部２７が画像投影装置１に対し投影画像を印刷物に投影するか否かの指示を送信する。画像投影装置１のＣＰＵ２は、送信された指示に基づき、光源制御部１０、液晶制御部７、及び投影光学系３を制御する。
【０１２０】
同様に、実施例２のタイミング発生器３０、撮像素子３１、Ａ／Ｄ変換部３２、デジタル信号処理部３３、存否検出部４０、存否判定部４１、投影制御部４２、及び画像処理部４３は、外部の制御装置、例えば、ＰＣ１４が備えるような構成であってもよい。
【０１２１】
［その他の実施例］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
【０１２２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１２４】
また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２５】
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【符号の説明】
【０１２６】
１，１００，２００  画像投影装置
２  ＣＰＵ
３  投影光学系
４  光学制御部
６Ｒ，６Ｇ，６Ｂ  液晶素子
７  液晶制御部
９  光源
１０  光源制御部
２５  相関値算出部
２６  投影画像判定部
２７，４２，６１  投影制御部
２８  グラフィックス合成部
３１  撮像素子
６０  保持検出部
１０１  印刷物保持部
【図１】
2019129447.tif 000005
【図２】
2019129447.tif 000006
【図３】
2019129447.tif 000007
【図４】
2019129447.tif 000008
【図５】
2019129447.tif 000009
【図６】
2019129447.tif 000010
【図７】
2019129447.tif 000011
【図８】
2019129447.tif 000012
【図９】
2019129447.tif 000013
【図１０】
2019129447.tif 000014
【図１１】
2019129447.tif 000015