(57)【要約】【課題】  基本画像情報がない場合でも、印刷物のダイナミックレンジの向上ができる画像を生成し、印刷物に投影画像として重畳することができる投影装置、情報処理装置、制御方法、並びにプログラムを提供する。【解決手段】  投影面における、強調対象領域としての印刷物４０の画像領域を含む投影領域５０に投影画像を投影する投影装置１００は、投影領域５０に全黒画像のテストパターンを投影し、その投影時に投影領域５０を含む撮像領域６０が撮像された撮像画像ＩＭＧ＿Ｂを取得し、また、投影領域５０に全白画像のテストパターンを投影し、その投影時に撮像領域６０が撮像された撮像画像ＩＭＧ＿Ｗを取得する。その後、撮像画像ＩＭＧ＿Ｂ，ＩＭＧ＿Ｗから投影領域５０を検出し、記検出された投影領域５０における画像から投影画像を生成する。【選択図】  図１
2019015876.tif 000002
【特許請求の範囲】
【請求項１】
投影面における、強調対象領域を含む投影領域に投影画像を投影する投影装置において、
前記投影領域を含む撮像領域が撮像された撮像画像を取得する取得手段と、
前記撮像画像から前記強調対象領域を検出し、検出された前記強調対象領域における画像から前記投影画像を生成する生成手段と、
前記生成手段により生成された前記投影画像を前記強調対象領域に投影する投影手段とを備えることを特徴とする投影装置。
【請求項２】
前記生成手段は、前記検出された投影領域における画像に対して色変換処理を行うことを変換することを特徴とする請求項１記載の投影装置。
【請求項３】
前記生成手段は、前記検出された投影領域における画像に対して階調変換処理を行うことを変換することを特徴とする請求項１又は２記載の投影装置。
【請求項４】
前記生成手段は、前記投影画像に含まれる前記強調対象領域に対応する画像の輝度もしくは彩度の少なくとも１つを変更することを特徴とする請求項１乃至３のいずれか１項に記載の投影装置。
【請求項５】
前記生成手段は、前記検出された投影領域における画像に対して、前記投影装置のパネル解像度に応じた変形処理およびサイズ調整処理を含む画像処理を施すことを特徴とする請求項１乃至４のいずれか１項に記載の投影装置。
【請求項６】
前記生成手段は、
前記検出された投影領域から前記強調対象領域を検出する検出手段と
前記検出された投影領域における画像のうち、前記検出手段により検出された強調対象領域の周辺の階調値を所定の階調に変更する変更手段とを更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の投影装置。
【請求項７】
前記生成手段は、
前記検出された投影領域から前記強調対象領域を検出する検出手段と
前記第２の投影手段による投影時における撮像パラメータを、前記検出手段により検出された強調対象領域における画像の階調値が飽和しないように調整する調整手段をと更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の投影装置。
【請求項８】
前記強調対象領域は、印刷物、絵画、建物の壁の少なくとも一つが設置されることを特徴とする請求項１乃至７のいずれか１項に記載の投影装置。
【請求項９】
前記撮像画像は、外部の撮像装置より撮像されることを特徴とする請求項１乃至８のいずれか１項に記載の投影装置。
【請求項１０】
前記取得手段は、撮像手段であることを特徴とする請求項１乃至９のいずれか１項に記載の投影装置。
【請求項１１】
前記取得手段は、前記投影領域に全黒画像のテストパターンを投影しているときに撮像した第１画像と、全白画像のテストパターンを投影しているときに撮像した第２画像とを取得し、
前記生成手段は、前記第１画像と第２画像との解析に基づき前記強調対象領域を検出することを特徴とする請求項１乃至１０のいずれか１項に記載の投影装置。
【請求項１２】
投影面における、強調対象領域を含む投影領域に投影画像を投影する投影装置を制御する情報処理装置において、
前記投影領域を含む撮像領域が撮像された撮像画像を取得する取得手段と、
前記撮像画像から前記強調対象領域を検出し、検出された前記強調対象領域における画像から前記投影画像を生成する生成手段と、
生成された前記投影画像を前記投影装置に送信する送信手段とを備えることを特徴とする情報処理装置。
【請求項１３】
投影面における、強調対象領域を含む投影領域に投影画像を投影する投影装置の制御方法において、
前記投影領域を含む撮像領域が撮像された撮像画像を取得する取得ステップと、
前記撮像画像から前記強調対象領域を検出し、検出された前記強調対象領域における画像から前記投影画像を生成する生成ステップと、
前記生成ステップにおいて生成された前記投影画像を前記強調対象領域に投影する投影ステップとを有することを特徴とする制御方法。
【請求項１４】
投影面における、強調対象領域を含む投影領域に投影画像を投影する投影装置を制御する情報処理装置の制御方法において、
前記投影領域を含む撮像領域が撮像された撮像画像を取得する取得ステップと、
前記撮像画像から前記強調対象領域を検出し、検出された前記強調対象領域における画像から前記投影画像を生成する生成ステップと、
生成された前記投影画像を前記投影装置に送信する送信ステップとを有することを特徴とする制御方法。
【請求項１５】
請求項１３又は１４記載の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置、情報処理装置、制御方法、並びにプログラムに関し、特に投影面上の強調対象領域のダイナミックレンジを拡大する照明を行う投影装置、情報処理装置、制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、液晶ディスプレイ、有機ＥＬディスプレイ、及び投影装置等の電子ディスプレイ装置において、表示輝度の改善によりダイナミックレンジを拡大し、映像表示能力を向上させてきている。一方で、印刷物を展示する際の照明が均一照明である場合、投影領域におけるダイナミックレンジは印刷物そのもののダイナミックレンジに依存する為、コントラスト比が数百：１と狭い。また、このとき印刷物の暗部にも照明が当たるため、黒浮きが生じる。
【０００３】
そこで、このような黒浮きを防止しつつダイナミックレンジを拡大させるために、印刷物の元データに基づいて投影領域の所定領域ごとに輝度を変調させたダイナミックレンジ拡大用の画像を生成し、投影装置で当該画像を印刷物に重畳して投影する技術がある。
【０００４】
例えば、特許文献１では、デジタルスチルカメラなどの撮像装置で撮影した画像やＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）画像等の基本画像情報から印刷物を生成する。一方、基本画像情報のコントラスト情報に基づいた画像が上記ダイナミックレンジ拡大用の画像として生成される。このように生成されたダイナミックレンジ拡大用の画像を印刷物に投影することにより、印刷物上の暗部にあたる投影光の光量をさげ、明部にあたる投影光の光量を上げることができるようになる為、印刷物のダイナミックレンジを向上させることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１４５９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されるダイナミックレンジ拡大用の画像は、ユーザが基本画像情報を持っていなければ生成できない。印刷物を展示する際、ユーザは基本画像情報を持っているとは限らず、印刷物しか持っていないことがある。
【０００７】
このような課題を鑑みて本発明は、基本画像情報がない場合でも、印刷物のダイナミックレンジの向上ができる画像を生成し、印刷物に投影画像として重畳することができる投影装置、情報処理装置、制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の請求項１に係る投影装置は、投影面における、強調対象領域を含む投影領域に投影画像を投影する投影装置において、前記投影領域を含む撮像領域が撮像された撮像画像を取得する取得手段と、前記撮像画像から前記強調対象領域を検出し、検出された前記強調対象領域における画像から前記投影画像を生成する生成手段と、前記生成手段により生成された前記投影画像を前記強調対象領域に投影する投影手段とを備えることを特徴とする。
【０００９】
本発明の請求項１２に係る情報処理装置は、投影面における、強調対象領域を含む投影領域に投影画像を投影する投影装置を制御する情報処理装置において、前記投影領域を含む撮像領域が撮像された撮像画像を取得する取得手段と、前記撮像画像から前記強調対象領域を検出し、検出された前記強調対象領域における画像から前記投影画像を生成する生成手段と、前記生成された前記投影画像を前記投影装置に送信する送信手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、基本画像情報がない場合でも、印刷物のダイナミックレンジの向上ができる画像を生成し、印刷物に投影画像として重畳することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る投影装置を含む画像表示システムを示す図である。
【図２】図１の投影装置の全体の構成を示すブロック図である。
【図３】図２における画像処理部の内部構成を示すブロック図である。
【図４】実施例１に係る重畳画像生成処理の手順を示すフローチャートである。
【図５】図４のステップＳ４０１の撮像画像取得処理の手順を示すフローチャートである。
【図６】実施例１で生成される各画像を説明する図である。
【図７】図４のステップＳ４０５の印刷物投影用画像生成処理の手順を示すフローチャートである。
【図８】撮像装置の露光量、撮像画像の階調値、及び投影面輝度の特性を示す図である。
【図９】実施例２に係る重畳画像生成処理の手順を示すフローチャートである。
【図１０】図９のステップＳ９０４で作成されたヒストグラムを説明する図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１３】
なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。
【００１４】
（実施例１）
以下、本発明の実施例１による、投影面上の印刷物などが設置してある強調対象領域を撮像し、撮像した画像に基づき強調対象領域のダイナミックレンジを向上させる投影画像の生成方法について説明する。
【００１５】
図１は、本実施例に係る投影装置を含む画像表示システムを示す図である。本画像表示システムにより、投影面に上記生成された投影画像を重畳し、強調対象領域のダイナミックレンジを向上させる。
【００１６】
投影面の所定位置に設置された印刷物４０に対し、投影装置１００は印刷物４０を含む領域である投影領域５０に投影画像を重畳する。撮像装置２０は、投影領域５０を含む領域である撮像領域６０の撮像を行い、投影装置１００へ撮像画像を送信する。投影装置１００は撮像装置２０から受け取った撮像画像を基に投影画像を生成する。本実施例では、強調対象領域は印刷物４０の画像領域とする。また、本実施例では印刷物４０の画像領域と投影領域５０と撮像領域６０の順に範囲が広くなるが、必ずしもその必要はない。例えば、印刷物４０の画像領域と投影領域５０が同じ領域でもよく、また、投影領域５０と撮像領域６０が同じ領域でも良い。さらに、印刷物４０の画像領域と投影領域５０と撮像領域６０はすべて同じ範囲でも構わない。
【００１７】
以上のように、印刷物４０上の画像に基づいて生成される投影画像を投影領域５０に投影することで、印刷物４０のダイナミックレンジを向上して、実在感の高いコンテンツを提供することができる。
【００１８】
なお、本実施例においては、強調対象領域に設置される強調対象は印刷物４０であるが、強調対象はこれに限るものではない。すなわち、投影画像が強調対象領域のダイナミックレンジを向上させるものであれば、強調対象領域に設置される強調対象の形態を問わない。例えば絵画や建物の壁であってもよい。
【００１９】
また、本実施例では、投影装置１００と撮像装置２０が別体で構成されていたが、これに限定されない。例えば、投影装置１００が携帯も可能な大きさ・重量のものであり、撮像装置２０が内蔵されていてもよい。この場合、内蔵する撮像装置２０で撮像画像の撮像を行う場合は、投影装置１００を携帯し、一方、投影画像の投影を行う場合は、投影装置１００を所定の位置に設置する。
【００２０】
図２は、図１の投影装置１００の全体の構成を示すブロック図である。
【００２１】
本実施例の投影装置１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、投影装置１００は、さらに、液晶制御部１５０、液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、投影装置１００は、さらに、通信部１９３、撮像画像入力部１９４を有する。
【００２２】
ＣＰＵ１１０は、投影装置１００全体を制御し、ＲＯＭ１１１は、ＣＰＵ１１０の処理手順を記述した制御プログラムを保持し、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納する。また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に保持されたプログラムを用いて再生することができる。また、ＲＡＭ１１２は、撮像画像入力部１９４により得られた画像や映像を一時的に記憶することもできる。
【００２３】
操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号に応じて、投影装置１００全体を制御する。
【００２４】
画像入力部１３０は、（不図示の）外部装置から送信される画像を受信するものである。ここで、外部装置とは、画像出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。さらに画像入力部１３０はＵＳＢフラッシュメモリやＳＤカードのようなメディアに記録された画像を読み込むこともできる。
【００２５】
画像処理部１４０は、画像入力部１３０や撮像画像入力部１９４から受信した画像にフレーム数、画素数、画素値、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。なお、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行しても良い。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）、輝度補正処理、色補正処理といった機能を実行することが可能である。また、画像処理部１４０は、所望のテストパターン画像を生成して液晶制御部１５０に送信することもできる。また、画像処理部１４０は、画像入力部１３０から受信した画像以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。
【００２６】
液晶制御部１５０は、画像処理部１４０から出力される画像に基づいて、液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂの透過率を調整する。液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整する。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整する。液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整する。
【００２７】
光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。また、光源１６１は、不図示のスクリーン等の投影領域５０に上記生成された投影画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。また、色合成部１６３は、液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。すなわち、色合成部１６３により合成された光が投影光学系１７１により投影領域５０に投影されると、画像処理部１４０により入力された画像に対応する投影画像がスクリーン上に表示される。
【００２８】
光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。また、投影光学系１７１は、色合成部１６３から出力された合成光を投影領域５０に投影するためのものであり、複数のレンズ及びこれらを駆動するためのアクチュエータからなる。投影光学系１７１において複数のレンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。
【００２９】
通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、投影装置１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。
【００３０】
撮像画像入力部１９４は、撮像装置２０が接続されており、撮像装置２０により撮像された上記撮像領域６０における、投影光学系１７１を介して投影された画像と印刷物４０が重畳された画像（以下「印刷投影重畳画像」という。）を取得することができる。撮像画像入力部１９４は、取得した印刷投影重畳画像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その印刷投影重畳画像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。また、撮像画像入力部１９４で取得した印刷投影重畳画像を画像処理部１４０へ送信し、投影することもできる。
【００３１】
尚、図１に示す撮像装置２０は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、レンズを介して取得した光学像を画像信号に変換する撮像素子を含む。さらに、撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部などを含む。
【００３２】
なお、本実施例の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０は、これらと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。本実施例では撮像装置２０が投影装置１００の外部に接続されたものとして説明するが、投影装置１００に内蔵してもかまわない。
【００３３】
次に、図３を用いて、図２における画像処理部１４０の内部構成について説明する。
【００３４】
画像処理部１４０は、レジスタバス１９９を介してＣＰＵ１１０と接続される、前処理部１４１、マスク処理部１４２、メモリ制御部１４３、画像メモリ１４４、パターン生成部１４５、及び後処理部１４６により構成される。
【００３５】
前処理部１４１は、画像処理部１４０に入力された画像を、液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂに適した色空間、解像度へ変換する。具体的には、色空間変換、拡大縮小処理を含む表示レイアウトの変換処理を行う。また、前処理部１４１では、画像処理部１４０へ入力された撮像画像入力部１９４からの撮像画像に対して、印刷物４０へ重畳した時にダイナミックレンジが改善するような投影画像への変換処理を施す。変換処理としては、グレースケール変換、ガンマ変換、１Ｄ−ＬＵＴなどがある。具体的な変換処理の方法は、図４のフローチャートを用いて後述する。
【００３６】
さらに前処理部１４１は入力された画像のヒストグラムを生成することもできる。
【００３７】
マスク処理部１４２は、ＣＰＵ１１０の指示によって、自身に入力される画像を、所定の座標の画素データをあらかじめ設定してある画素データに置き換えて出力する。
【００３８】
メモリ制御部１４３は、ＩＰ変換やフレームレート変換などの時間軸上の変換処理や、投影画像の形状補正のために使用される画像メモリ１４４のメモリアドレスの発行および画像の書き込み・読み出し制御を行う。メモリ制御部１４３のフレームレート変換処理には、同じ画像を画像メモリ１４４から２度読み出すことにより実現されるフレームレートの倍速化処理も含まれる。
【００３９】
パターン生成部１４５は、ＣＰＵ１１０の指示によって、全面が白や黒、またグラデーション画像といった所望の画像パターンを生成し、後処理部１４６に出力することができる。
【００４０】
後処理部１４６は、液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂと投影光学系１７１起因の表示むら（色むら、輝度むら）、ディスクリネーションなどの補正処理を行う。更には、液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂの階調性に合わせたガンマ変換などの画像処理を行う。
【００４１】
次に、本発明の投影装置１００が印刷物４０を撮像装置２０で撮像し、印刷物４０に重畳する投影画像を生成する重畳画像生成処理について、図４のフローチャートを用いて説明する。
【００４２】
この重畳画像生成処理は、操作部１１３を介して投影装置１００のユーザから投影画像重畳モードへ移行する指示がＣＰＵ１１０に送信されたときに開始する。
【００４３】
ステップＳ４０１において、ＣＰＵ１１０は撮像装置２０による撮像領域６０の撮像画像を取得する撮像画像取得処理を実行する。この撮像画像取得処理については、図５のフローチャートを用いて説明する。
【００４４】
ステップＳ５０１において、ＣＰＵ１１０は、パターン生成部１４５に対して、全面が黒である全黒画像のテストパターンを生成するよう指示する。パターン生成部１４５は、ＣＰＵ１１０からの指示通りに生成した全黒画像のテストパターンを、後処理部１４６に対して出力する。本テストパターンは、画像処理部１４０から出力された後、液晶制御部１５０によって液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂ上に形成され、投影光学系１７１を介して印刷物４０に重畳するよう投影される。
【００４５】
次に、ステップＳ５０２において、ＣＰＵ１１０は、撮像画像入力部１９４を介して撮像装置２０に対して撮像領域６０を撮像するよう指示する。撮像装置２０は、撮像領域６０を撮像し、得られた撮像画像ＩＭＧ＿Ｂ（図６（ａ））を撮像画像入力部１９４へ送信する。この撮像画像ＩＭＧ＿Ｂは、ＲＡＭ１１２に記録される。
【００４６】
ステップＳ５０３において、ＣＰＵ１１０は、パターン生成部１４５に対して、全面が白である全白画像のテストパターンを生成するよう指示する。パターン生成部１４５は、ＣＰＵ１１０からの指示通りに生成した全白画像のテストパターンを、後処理部１４６に対して出力する。本テストパターンは、画像処理部１４０から出力された後、液晶制御部１５０によって液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂ上に形成され、投影光学系１７１を介して印刷物４０に重畳するよう投影される。
【００４７】
次に、ステップＳ５０４において、ＣＰＵ１１０は、撮像画像入力部１９４を介して撮像装置２０に対して撮像領域６０を撮像するよう指示する。撮像装置２０は、撮像領域６０を撮像し、得られた撮像画像ＩＭＧ＿Ｗ（図６（ｂ））を撮像画像入力部１９４へ送信する。この撮像画像ＩＭＧ＿Ｗは、ＲＡＭ１１２に記録され、ステップＳ４０１の撮像画像取得処理を終了する。
【００４８】
なお、上記の説明ではステップＳ５０１で全黒画像をテストパターンとして生成し、投影させたが、不図示のシャッターの全閉や光源１６１を消灯することにより無投影状態でステップＳ５０２の撮影を実行するようにしても良い。
【００４９】
次に、ステップＳ４０２において、ＣＰＵ１１０は、撮像画像ＩＭＧ＿Ｂ，ＩＭＧ＿Ｗとの解析に基づき投影領域５０を検出する。具体的には、ＩＭＧ＿ＷからＩＭＧ＿Ｂの差分をとり、差分画像ＩＭＧ＿Ｄ（図６（ｃ））を生成する。所定以上の差分のある領域を投影装置１００の投影領域５０と判断する。なお、投影領域５０と撮像領域６０が一致している場合は、本処理は実施しなくてもよい。
【００５０】
ステップＳ４０３において、ＣＰＵ１１０は、画像ＩＭＧ＿Ｄから印刷物４０の画像領域を検出する。ここでの検出方法は、特に限定されるものではない。例えば、操作部１１３からユーザが印刷物４０の画像領域を指定してもよいし、ステップＳ４０２で画像ＩＭＧ＿Ｄから検出した差分値が所定以下の領域を壁などの背景領域として設定し、残った領域を印刷物４０の画像領域としてもよい。なお、印刷物４０の画像領域と投影領域５０もしくは撮像領域６０のいずれかが一致している場合は、本処理は実施しなくてもよい。
【００５１】
ステップＳ４０４において、ＣＰＵ１１０は、差分画像ＩＭＧ＿Ｄに対して射影変換を行い、ステップＳ４０２で検出した投影装置１００の投影領域５０が所望の形状になるように変換した画像ＩＭＧ＿Ｐ（図６（ｄ））を作成する。たとえば、パネル解像度がＷＵＸＧＡ（１９２０ｘ１２００）であるならば、投影領域５０は１６：１０のアスペクト比の長方形になるように射影変換を行う。さらに、長方形の解像度がＷＵＸＧＡサイズになるようにサイズ調整処理、すなわち、拡大縮小処理も行う。なお、撮像領域６０と投影領域５０が一致している場合は、本処理は実施しなくてもよい。
【００５２】
ステップＳ４０５において、画像ＩＭＧ＿Ｐを画像処理部１４０にて印刷物４０のダイナミックレンジを拡張する印刷物投影用画像ＩＭＧ＿Ｉ（図６（ｅ））を生成する印刷物投影用画像生成処理を実行する。この印刷物投影用画像生成処理については図７のフローチャートを用いて詳述する。
【００５３】
ステップＳ７０１において、ＣＰＵ１１０は画像処理部１４０の前処理部１４１によって画像ＩＭＧ＿Ｐの色変換処理をおこなう。例えば、輝度成分のみ抽出しグレースケールにしても良いし、入力画像のＲＧＢ空間から、マトリックス変換にてＨＬＳ空間へ変換しても良い。
【００５４】
ステップＳ７０２において、投影面輝度を検出する。具体的には、図８に示す投影面輝度の特性を予めＲＯＭ１１１に記録しておき、ＣＰＵ１１０は撮像画像の各画素の階調値と当該特性を参照して投影面輝度を取得する。ここで、ＲＯＭ１１１に予め記録される上記投影面輝度の特性は、図８に示す撮像装置２０の露光量、撮像画像の階調値、及び投影装置１００の光学特性から導き出される。なお、投影面輝度が取得できれば、この方法に限定しない。
【００５５】
ステップＳ７０３において、ＣＰＵ１１０は、画像処理部１４０の前処理部１４１において階調変換処理を行い、画像ＩＭＧ＿Ｉ（図６（ｅ））を生成する。本実施例の画像ＩＭＧ＿Ｉは、画像ＩＭＧ＿Ｐ（図６（ｄ））に対し、ステップＳ７０２で取得した投影面輝度に応じて印刷物４０の画像領域内における暗部を黒にし、明部を白になるようにして画像のコントラストを高くするように階調変換される。階調変換方法は１Ｄ−ＬＵＴを用いてもよいし、ガンマ変換計算により行ってもよい。なお、階調変換方法は、これに限定することはなく、投影面輝度を取得せずに、ユーザの意図で自由に変更してもよい。
【００５６】
また、本実施例では１Ｄ−ＬＵＴを用いた階調変換処理をおこなったが、ＨＬＳ空間へ変換してからＬ（輝度）のみゲインなどの処理をしてもよいし、Ｓ（彩度）にゲインなどの処理をして彩度を向上させる処理を行ってもよいし、両方行ってもよい。尚、かかる処理を行なった場合は、上記処理後、ＨＬＳ空間からＲＧＢ空間へ逆変換を施す。
【００５７】
以上で、ステップＳ４０５の印刷物投影用画像生成処理を終了する。
【００５８】
次に、ステップＳ４０６において、ＣＰＵ１１０は画像処理部１４０のマスク処理部１４２によってステップＳ４０３にて投影領域５０であり且つ印刷物４０の画像領域周辺である背景領域と設定した領域を階調値０でマスクする。マスク後の画像は、画像ＩＭＧ＿Ｍ（図６（ｆ））のようになる。尚、背景領域へのマスクの階調値は０に限らず、黒から白まで自由に設定可能である。本実施例では、印刷物４０の画像領域のみダイナミックレンジを向上させ、強調したいため、階調値０でマスクしている。
【００５９】
ステップＳ４０７において、ＣＰＵ１１０は、ステップＳ４０６で生成した画像ＩＭＧ＿Ｍを液晶制御部１５０へ投影画像として送信し、投影面の強調対象領域に設置される印刷物４０に重畳させる。
【００６０】
以上説明したように、印刷物４０の基本画像情報がない場合でも、強調対象領域（印刷物４０の画像領域）に重畳することにより印刷物４０のダイナミックレンジの向上ができる投影画像を生成することができる。
【００６１】
なお、本実施例では、前処理部１４１の後にマスク処理部１４２の順で記述したが、順番は逆でも構わない。
【００６２】
また、本実施例では撮像画像から投影領域５０を切り出してパネル解像度に射影変換した後、印刷物投影用画像生成処理により印刷物投影用画像ＩＭＧ＿Ｉを生成する。さらに、印刷物投影用画像ＩＭＧ＿Ｉに対してマスク処理を施して、投影画像としての画像ＩＭＧ＿Ｍを生成した。しかし、印刷物投影用画像の生成方法は本実施例に限定されない。例えば、撮像画像から印刷物４０の画像領域を切り出してパネル解像度に射影変換した後、印刷物投影用画像生成処理により生成された画像をそのまま投影画像としてもよい。この場合、印刷物４０の画像領域が投影領域５０と一致していない場合は、後からユーザが操作部１１３を介して手動で変形処理を実施し、印刷物４０の画像領域を投影領域５０と一致させてもよい。
【００６３】
また、本実施例において、ステップＳ５０２で取得する全黒画像の投影時の撮像画像ＩＭＧ＿Ｂには環境光が含まれている一方、ステップＳ４０２で得られた画像ＩＭＧ＿Ｄは環境光が差し引かれている。よって、画像ＩＭＧ＿Ｄの投影領域５０における色温度と撮像画像ＩＭＧ＿Ｂの投影領域５０における色温度とを比較することで環境光の色温度を取得することが出来る。取得した環境光の色温度に応じて、画像ＩＭＧ＿Ｄに環境光の色温度による投影面上の色ずれの影響を打ち消すようなゲイン処理を行うことで、環境光の影響を除去可能になる。例えば、画像ＩＭＧ＿Ｄのグレーかつ最大の階調を持つ画素Ｘと同じ位置にある画像ＩＭＧ＿Ｂの画素Ｙ（０〜１．０）を取り出し、画素ＹをＲＧＢ空間からｘｙ空間へ変換する。ｘｙ空間上の黒体軌跡に対し、画素Ｙのｘｙ空間内の位置から色温度を算出する。ＲＯＭ１１１に色温度６５００Ｋを基準に各色温度とゲインの関係をＬＵＴとして保持しておき、このＬＵＴから画素Ｙの色温度に相当するゲインの逆数を画像ＩＭＧ＿ＤもしくはステップＳ７０３で得られた画像ＩＭＧ＿Ｉの全体に施す。このようなゲイン処理をステップＳ４０２またはステップＳ７０３の処理に加えることで、印刷物４０に投影画像を重畳する際に、環境光の色温度による投影面上の色ずれの影響を打ち消す効果が得られる。
【００６４】
（実施例２）
以下、本発明の実施例２による、全白画像のテストパターン投影時の撮像画像ＩＭＧ＿Ｗから得られた階調のヒストグラムに応じて撮像装置２０の撮像パラメータを調整し、強調対象領域内の取得階調値を広くさせる投影画像の生成方法について説明する。
【００６５】
図９は、本実施例に係る重畳画像生成処理の手順を示すフローチャートである。
【００６６】
ステップＳ９０１〜Ｓ９０３はステップＳ４０１〜Ｓ４０３と同様のステップであるため説明を割愛する。
【００６７】
ステップＳ９０４〜Ｓ９０７が本実施例の特徴的な動作である。
【００６８】
ステップＳ９０４において、ＣＰＵ１１０は撮像画像ＩＭＧ＿Ｗにおける印刷物４０の画像領域の階調データを読み取り、ヒストグラムを作成する。
【００６９】
ステップＳ９０５において、ＣＰＵ１１０はステップＳ９０４で作成されたヒストグラムを基に、撮像装置２０の露光量の調整が必要か不要かを判断する。必要と判断した場合はステップＳ９０６に進み、不要と判断した場合はステップＳ９０８に進む。ここで、露光量とは、撮像装置２０内の不図示の撮像デバイスへ入射する光の量であり、シャッター速度や絞りによって調整することができる。露光量を大きくなるようにシャッター速度や絞りを調整すると明るい画が撮像される。露光量を小さくなるようにシャッター速度や絞りを調整すると暗い画が撮像される。
【００７０】
以下、図１０を用いて、図９のステップＳ９０４で作成されたヒストグラムを説明する。ここで図１０（ａ）〜（ｃ）の各ヒストグラムの横軸は階調レベルを示し、その縦軸は、画像ＩＭＧ＿Ｄから検出された印刷物４０の画像領域にあって、ある階調レベルを有する画素の数（度数）を表す。
【００７１】
図１０（ａ）のヒストグラムのように、全画素が階調レベル０〜１．０の間に存在しており、且つ画像の階調が飽和していない場合は、十分なダイナミックレンジでの撮影ができていることがわかる。この場合は、ステップＳ９０５において露光量の調整が不要と判断し、ステップＳ９０８に移行する。すなわち、撮像画像ＩＭＧ＿Ｗにおける印刷物４０の画像領域の最大階調値が１．０の１メモリ下の階調レベルである場合は、露光量の調整は不要である。ここで、画像の最大階調値が１．０の１メモリ下の階調レベルであるとは、たとえば８ｂｉｔ（階調値０〜２５５）の画像の最大階調値が２５４である場合を指す。
【００７２】
図１０（ｂ）のヒストグラムのように、画素の階調レベルが１．０に集中している場合、画像の階調が飽和していることがわかる。この場合は、ステップＳ９０３において画像ＩＭＧ＿Ｄから検出された印刷物４０の画像領域の階調を基に印刷物投影用画像を生成しても、印刷物４０のダイナミックレンジを向上できない可能性がある。よって、ステップＳ９０５において露光量の調整が必要（すなわち、露光量を下げる必要がある）と判断し、ステップＳ９０６へ移行する。
【００７３】
一方、図１０（ｃ）のヒストグラムのように、画素の最大階調レベルが０．８であって、１．０に満たない場合、十分なダイナミックレンジでの撮影ができていないことがわかる。この場合は、ステップＳ９０５において露光量の調整が必要（すなわち、露光量を上げる必要がある）と判断し、ステップＳ９０６へ移行する。
【００７４】
なお、本実施例では図１０（ｂ）のように画像の階調が飽和しているときは、露光量を下げるべく調整したが、これに限定されるものではない。例えば、ステップＳ９０１の撮像画像取得処理をなるべく下げた露光量で行い、ステップＳ９０５において画像の諧調が飽和しているとわかるところまで上げていくようにしてもよい。また、露光量の調整は、シャッタースピードや絞り、その他撮像デバイスへの光の量を調整する方法であれば、どのような方法をとってもよい。
【００７５】
ステップＳ９０６において、ＣＰＵ１１０は撮像画像入力部１９４を介して撮像装置２０の露光量を調整する。図１０（ｂ）のように画素の階調が飽和している場合は、撮像装置２０の露光量を下げるようにＣＰＵ１１０は指示する。図１０（ｃ）のように画素の最大階調レベルが１.０に満たない場合は、撮像装置２０の露光量を上げるようにＣＰＵ１１０は指示する。
【００７６】
ステップＳ９０７において、ＣＰＵ１１０は、ステップＳ５０３，Ｓ５０４と同様の処理により、全白画像のテストパターンを印刷物４０に重畳し、撮像装置２０に対して撮像領域６０を撮像するよう指示する。その後、ステップＳ９０４に戻る。
【００７７】
本実施例の方法によって、強調対象領域（印刷物４０の画像領域）のダイナミックレンジを向上することが可能となる。たとえば、図１０（ｂ）のヒストグラムのまま投影画像を生成した場合、印刷物４０の画像領域の多くは明るくなってしまい、高階調領域の明るさが飽和してしまう可能性がある。また、図１０（ｃ）のヒストグラムのまま投影画像を生成した場合、投影装置１００の最大輝度で投影できない可能性や、ダイナミックレンジが狭いため十分な階調変化が得られない可能性がある。
【００７８】
ステップＳ９０８〜Ｓ９１１はステップＳ４０４〜Ｓ４０７と同様のステップであるため説明を割愛する。
【００７９】
以上により本実施例に係る重畳画像生成処理を終了する。
【００８０】
本実施例によれば、強調対象領域における画像を撮像装置２０の撮像パラメータを調整しながら広いダイナミックレンジで取得することができる。これにより、階調変換などによる詳細な画像処理が可能となり、露光量を調整しなかった時と比べ画質がよくなる。
【００８１】
（実施例３）
上記実施例１，２においては、投影画像の生成を投影装置１００自体が行ったが、不図示のＰＣ等の情報処理装置において投影画像を生成するようにしてもよい。
【００８２】
この場合、情報処理装置が、図４のステップＳ４０１〜Ｓ４０６の処理を行ない、ステップＳ４０６で生成した画像ＩＭＧ＿Ｍを投影画像として投影装置１００に送信する。
【００８３】
尚、ステップＳ５０１，Ｓ５０３は、情報処理装置からの投影指示に応じて投影装置１００において行われ、ＣＰＵ１１０がステップＳ５０１，Ｓ５０３において投影を終了する毎にその旨の通知を情報処理装置に行う。情報処理装置はこの通知を受けて撮像装置２０にステップＳ５０２，Ｓ５０４の撮像処理の指示を行う。また、撮像装置２０は、この撮像処理により得られた撮像画像ＩＭＧ＿Ｗ，ＩＭＧ＿Ｂをそれぞれ情報処理装置に送信する。
【００８４】
また、本実施例では、情報処理装置は、投影装置１００よりそのパネル解像度の情報を取得する。
【００８５】
尚、本実施例に係る情報処理装置はＰＣに限定されるものではなく、クラウドサーバにアクセス可能なスマートフォンであってもよい。この場合、スマートフォンに撮像装置２０の機能を、上記情報処理装置の機能をクラウドサーバに実行させるようにしてもよい。
【００８６】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８７】
１００  投影装置
１１０  ＣＰＵ
１３０  画像入力部
１４０  画像処理部
１４１  前処理部
１４２  マスク処理部
１４３  メモリ制御部
１４５  パターン生成部
１９４  撮像画像入力部
【図１】
2019015876.tif 000003
【図２】
2019015876.tif 000004
【図３】
2019015876.tif 000005
【図４】
2019015876.tif 000006
【図５】
2019015876.tif 000007
【図６】
2019015876.tif 000008
【図７】
2019015876.tif 000009
【図８】
2019015876.tif 000010
【図９】
2019015876.tif 000011
【図１０】
2019015876.tif 000012