(57)【要約】【課題】  印刷物に動画像を投影して重畳表示する際に、該重畳表示によって再現される画像において所望の画質、特にダイナミックレンジ及び色域を得ることができる。【解決手段】  印刷物に動画像を投影して重畳させることで、動きのある再現画像を表示する画像表示システムにおける画像処理装置であって、印刷物を印刷するための印刷画像を入力する印刷画像入力手段と、印刷画像と同一シーンの動画像を入力する動画像入力手段と、入力された動画像の各フレーム画像と印刷画像とから、投影装置に各フレーム画像を投影させるための投影用フレーム画像を生成する生成手段と、を備え、生成手段は、入力された動画像の画質のうち印刷物で再現しきれない画質が再現画像で再現されるように、投影用フレーム画像を生成する。【選択図】  図７
2019205141.tif 000002
【特許請求の範囲】
【請求項１】
印刷物に動画像を投影して重畳させることで、動きのある再現画像を表示する画像表示システムにおける画像処理装置であって、
前記印刷物を印刷するための印刷画像を入力する印刷画像入力手段と、
前記印刷画像と同一シーンの動画像を入力する動画像入力手段と、
前記入力された動画像の各フレーム画像と前記印刷画像とから、投影装置に前記各フレーム画像を投影させるための投影用フレーム画像を生成する生成手段と、を備え、
前記生成手段は、前記入力された動画像の画質のうち前記印刷物で再現しきれない画質が前記再現画像で再現されるように、前記投影用フレーム画像を生成する
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、
前記印刷画像の表色系と前記入力された動画像の表色系とを所定の表色系に変換し、前記変換後の前記入力された動画像の各フレーム画像の画素値を前記変換後の前記印刷画像の画素値で除算して、前記各フレーム画像のそれぞれに対応する前記投影用フレーム画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の表色系がＸＹＺ表色系である
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記投影用フレーム画像のそれぞれを時系列に前記投影装置に出力する出力手段をさらに備える
ことを特徴とする請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
前記生成手段は、
前記投影用フレーム画像の表色系を前記投影装置に対応する表色系に変換し、
前記出力手段は、
前記変換後の前記投影用フレーム画像を前記投影装置に出力する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成手段は、
観察照明の分光分布を示す情報に基づいて、前記投影用フレーム画像の画素値を、前記観察照明を考慮した値に更新する
ことを特徴とする請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、
前記変換後の前記入力された動画像と、前記変換後の前記印刷画像と前記投影用フレーム画像とを重畳して得られる画像とに基づき、前記再現画像において前記入力された動画像の画質を再現しきれない領域が発生しないように、前記投影用フレーム画像の画素値を補正する
ことを特徴とする請求項３から請求項６のうちのいずれか１項に記載の画像処理装置。
【請求項８】
前記再現画像において前記入力された動画像の画質を再現しきれない前記領域を特定し、該領域をユーザに提示するためのユーザインターフェース画面を表示装置に表示する特定手段をさらに備える
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画質には、ダイナミックレンジと色域とが含まれる
ことを特徴とする請求項１から請求項８のうちのいずれか１項に記載の画像処理装置。
【請求項１０】
印刷物に動画像を投影して重畳させることで、動きのある再現画像を表示する画像表示システムにおける画像処理方法であって、
前記印刷物を印刷するための印刷画像を入力する印刷画像入力ステップと、
前記印刷画像と同一シーンの動画像を入力する動画像入力ステップと、
前記入力された動画像の各フレーム画像と前記印刷画像とから、投影装置に前記各フレーム画像を投影させるための投影用フレーム画像を生成する生成ステップと、を含み、
前記生成ステップにおいて、前記入力された動画像の画質のうち前記印刷物で再現しきれない画質が前記再現画像で再現されるように、前記投影用フレーム画像を生成する
ことを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１から請求項９のうちのいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、印刷物に動画を投影して重畳表示するための画像処理技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等で撮影した自然界の被写体や、コンピュータグラフィックス（ＣＧ）でモデリングした仮想オブジェクト等において、高いダイナミックレンジを有するハイダイナミックレンジ画像（ＨＤＲ画像）を扱う機会が増えてきている。こうしたＨＤＲ画像を、表示デバイスや出力デバイスによって、人間の主観的視覚に対して忠実に再現することが求められている。その際に、特に画像を大画面で表示できるプロジェクタや、高精細な大判出力が可能な大判プリンタ等のデバイスが、実物（被写体）やＣＧオブジェクトの色や階調、質感等を、迫力のあるサイズで再現可能であるため、その利用が期待されている。
【０００３】
しかし、一方でこれらのデバイスが有するダイナミックレンジや色域は、ＨＤＲ画像を再現するには十分ではない。そのため、ＨＤＲ画像をこれらのデバイスで再現するためには、トーンマッピングと呼ばれる階調圧縮処理や、色域圧縮処理を施す必要がある。なお、オリジナルの色や階調をより忠実に再現するためには、再現する側のデバイスのダイナミックレンジや色域ができる限り広いことが望ましいのはもちろんである。
【０００４】
このような観点を鑑みた場合、プロジェクタは高い白色輝度を有する反面、黒色表示においても微量の光を投射してしまうため、投影画像像のコントラスト比が低下しやすい。特に、照明が明るいほど黒の輝度が上昇する、いわゆる黒浮き現象が避けられないため、照明下では投影画像のコントラスト比や再現色域が極端に小さくなってしまう。一方、プリンタ等で出力した印刷物は、プロジェクタの投影像（以下、プロジェクタ投影像と呼ぶ。）のように顕著な黒浮きは発生しないものの、反射物であるが故に照明光以上の明るさを得ることはできず、十分なダイナミックレンジが得られない。
【０００５】
これに対し、印刷物に対してプロジェクタ投影像を重畳して、再現可能なダイナミックレンジや色域を拡張する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１０３８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に記載の技術では、同一シーンにおいて一部のオブジェクトが移動するような動画像を、印刷物に投影して重畳表示する場合について考慮されていない。そこで、本発明は、印刷物における画像に動画像を投影して重畳表示する際に、該重畳表示によって再現される画像において所望の画質、特にダイナミックレンジ及び色域を得ることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明による画像処理装置は、印刷物に動画像を投影して重畳させることで、動きのある再現画像を表示する画像表示システムにおける画像処理装置であって、印刷物を印刷するための印刷画像を入力する印刷画像入力手段と、印刷画像と同一シーンの動画像を入力する動画像入力手段と、入力された動画像の各フレーム画像と印刷画像とから、投影装置に各フレーム画像を投影させるための投影用フレーム画像を生成する生成手段と、を備え、生成手段は、入力された動画像の画質のうち印刷物で再現しきれない画質が再現画像で再現されるように、投影用フレーム画像を生成することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、印刷物における画像に対して動画像を投影して重畳表示する際に、該重畳表示によって再現される画像において所望の画質、特にダイナミックレンジ及び色域を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の画像表示システムの構成の一例を示す図である。
【図２】再現画像が得られる様子を示す図
【図３】色再現を説明するための図
【図４】ダイナミックレンジの拡大効果を説明するための図
【図５】色域の拡大効果を説明するための図
【図６】第１実施形態の画像処理装置の構成の一例を示すブロック図
【図７】第１実施形態における色変換処理を説明するための図
【図８】第１実施形態における色変換処理に用いるＬＵＴの作成処理を示すフローチャート
【図９】第１実施形態におけるプロジェクタ用信号生成部の処理を示すフローチャート
【図１０】複数台のプロジェクタを含む画像表示システムの構成の一例を示す図
【図１１】第２実施形態における色変換処理を説明するための図
【図１２】色再現範囲ＸＹＺ補正部の処理を示すフローチャート
【図１３】色再現範囲ＸＹＺ補正処理の効果を説明するための図
【図１４】第２実施形態の効果を説明するための図
【図１５】第３実施形態における色変換処理を説明するための図
【図１６】再現不可領域をユーザに通知するためのＵＩ画面の一例を示す図
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を必ずしも限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
［第１実施形態］
【００１２】
＜装置概要＞
第１実施形態では、印刷物における画像に対してプロジェクタを用いて動画像を重畳して投影して、印刷物上で再現される画像（以下、再現画像と呼ぶ。）において一部のオブジェクトに動きがあるように見せる画像表示システムについて説明する。図１は、第１実施形態の画像表示システムの構成の一例を示す図である。図１に示すように本実施形態の画像表示システムは、画像処理装置１０２と、プロジェクタ１０３と、プリンタ１０４とを備える。画像表示システムは、互いに出力形態が異なる複数のデバイス（印刷装置と投影装置）による出力画像を重畳して、動きのある画像を印刷物上で再現する。より具体的には、画像表示システムは、投影装置であるプロジェクタ１０３で一部のオブジェクトに動きのある入力動画像を再現し、印刷装置であるプリンタ１０４で入力静止画像を再現し、さらに、再現されたそれらの画像を重畳させて動きのある画像を再現する。なお一般にプロジェクタは、自身の発光によって形成された投影像がユーザに検知されるため、発光型のデバイスと称される。またプリンタは、メディア上に形成された画像に対する照明の反射光によって像がユーザに検知されるため、反射型のデバイスと称される。
【００１３】
静止画像１０１ａは、デジタルカメラで撮影したＲＧＢ形式の静止画像である。本実施形態の画像処理装置１０２は、静止画像１０１ａとして、例えば、都市のビル群、橋、灯台等の建造物を夜に遠くから広角で撮影した静止画像を入力する。実際には、静止画像１０１ａとして静止画像を表すデータ（信号）が画像処理装置１０２に入力される。動画像１０１ｂは、複数フレームからなり、各フレームはＲＧＢ形式で画素値を保持する。動画像１０１ｂは、静止画像１０１ａと同一シーンを同様な撮影条件で撮影した動画像であり、例えば、建造物に備えられた電飾や照明等の点灯、点滅したり、ヘッドライトを点灯した自動車や電車が移動したりする等、画像内で一部のオブジェクトが動いたり変化したりする動画像である。静止画同様、動画像も遠くから広角で撮影しているため、建造物や空などの大部分では、被写体の動きがない。なお、実際には、動画像１０１ｂとして動画像を表すデータ（信号）が画像処理装置１０２に入力される。なお、静止画像１０１ａや動画像１０１ｂの各フレームは、ＲＧＢ形式以外、例えばＹＵＶ形式で画像値が記録されていても良い。その場合には、静止画像１０１ａや、動画像１０１ｂをＲＧＢ形式に変換してから画像処理装置１０２に入力すれば良い。本実施形態では、動画像１０１ｂとして、静止画像１０１ａを撮影したデジタルカメラの動画撮影機能で、静止画像１０１ａとほぼ同時に撮影された動画像が画像処理装置１０２に入力されるものとする。また、静止画像１０１ａと動画像１０１ｂとの画角の位置関係は対応付けられているものとする。
【００１４】
なお、静止画像１０１ａと動画像１０１ｂとして、デジタルカメラではなくビデオカメラを用いて撮影した、静止画像と動画像とを用いるようにしても良い。また、静止画像１０１ａと動画像１０１ｂとの画角の位置関係が対応付けられるのであれば、静止画像と動画像とを撮影する撮影デバイスはそれぞれ異なっていても良く、また各撮影デバイスとして任意のデバイスが用いられても良い。また、静止画像と動画像として、ＣＧ（コンピュータグラフィックス）のようなコンピュータ上で生成された静止画像及び動画像が用いられてもよい。
【００１５】
画像処理装置１０２は、図１に示されるように、静止画像１０１ａのＲＧＢデータと動画像１０１ｂのＲＧＢデータとを入力し、プロジェクタ１０３用のＲＧＢデータとプリンタ１０４用のＣＭＹＫデータとを出力する。画像処理装置１０２の構成については後述する。以下、ＲＧＢデータをＲＧＢ信号、ＣＭＹＫデータをＣＭＹＫ信号と表現する場合がある。
【００１６】
画像処理装置１０２から出力されたＲＧＢ信号はプロジェクタ１０３に入力されて、プロジェクタ投影像１０５が得られる。プロジェクタ投影像１０５は、時間的に画像が変化する動画像である。また画像処理装置１０２から出力されたＣＭＹＫ信号はプリンタ１０４に入力されて、印刷画像（プリント画像）１０６が得られる。プリント画像１０６は、時間的に画像におけるオブジェクトには、当然、動きのない静止画像である。ユーザが、プリント画像１０６を印刷した印刷物を壁などに貼り付け、印刷物における画像に合わせて、プロジェクタ投影像１０５を投影する。予めプロジェクタの投影幾何条件が定まっている場合には、その条件に基づいて決定したプリントサイズでプリント画像１０６を出力し、プロジェクタ投影領域と印刷領域とが合わさるようにしてプロジェクタ投影像１０５を投影するようにしても良い。このとき、例えばプロジェクタ投影像１０５やプリント画像１０６に、外枠や位置合わせ用のアイコン等を付与して表示したり出力したりするようにしても良い。それにより、プロジェクタ投影像１０５とプリント画像１０６との位置合わせやサイズ合わせを簡易化できる。
【００１７】
このように本実施形態では、プロジェクタ投影像１０５とプリント画像１０６との位置を合わせた上でそれぞれを重畳する。これにより、ある特定の時刻において、プロジェクタ用のＲＧＢ信号とプリンタ用のＣＭＹＫ信号とが画像のピクセル単位で重畳された、ＲＧＢＣＭＹＫ信号による再現画像を得ることができる。図２には、プロジェクタ投影像（ＲＧＢ信号）２０１にプリント画像（ＣＭＹＫ信号）２０２を重畳することで、再現画像（ＲＧＢＣＭＹＫ信号）２０３が得られる様子が示されている。
【００１８】
ここで、図３を用いて、一般的なプロジェクタ投影像単体及びプリント画像単体の場合の色再現と、プロジェクタ投影像とプリント画像とを重畳した場合の色再現について説明する。
【００１９】
図３（ａ）は、プロジェクタ投影像単体の場合の色再現を説明するための図である。ここで、プロジェクタ投影像を投影するスクリーン及びその他の諸条件は固定されているものとする。すると、あるプロジェクタのＲＧＢ信号値に対するＸＹＺ値（ＸＹＺ表色系で表した信号値）は、該ＲＧＢ信号に対するプロジェクタの分光分布と、スクリーンの分光反射率と、等色関数とに基づいて一意に定まる。
【００２０】
図３（ｂ）は、プリント画像単体の場合の色再現を説明するための図である。プリントメディアや観察照明及びその他の諸条件を固定すると、あるプリンタのＣＭＹＫ信号に対するＸＹＺ値は、該ＣＭＹＫ信号に対するプリンタの分光反射率と、観察照明の分光分布と、等色関数とに基づいて一意に定まる。
【００２１】
図３（ｃ）は、プロジェクタとプリンタの色（信号）を重畳する場合の色再現を説明するための図である。プロジェクタのＲＧＢ信号とプリンタのＣＭＹＫ信号とを重畳した場合の表示色ＸＹＺ（ＲＧＢＣＭＹＫ）は、該ＲＧＢ信号に対するプロジェクタの分光分布と、該ＣＭＹＫ信号に対するプリンタの分光反射率と、等色関数とに基づいて定まる。これはつまり、あるＣＭＹＫ信号に対して、複数のＲＧＢ信号との組み合わせにより、複数の色が表現可能であるということを示す。
【００２２】
このように、プロジェクタのＲＧＢ信号とプリンタのＣＭＹＫ信号とを組み合わせることで、単体デバイスでは再現できない様々な色を表現することが可能となる。つまり、ダイナミックレンジや色域を拡大させることができる。
【００２３】
本実施形態では、プロジェクタ投影像の各フレーム（静止画）を時系列にプリント画像（静止画）に投影して重畳表示することによって、再現画像（動画像）におけるダイナミックレンジ及び色域を拡大する。図４は、ダイナミックレンジの拡大効果を説明するための図である。図５は、色域の拡大効果を説明するための図である。図４に示されるように、プロジェクタとプリンタの色（信号）を重畳した場合の方が、プロジェクタ単体の場合と比べて、再現できる黒の輝度レベルが低下し、コントラスト比が格段に上昇していることが分かる。これにより、暗部の再現色域が拡大するため、暗い色の再現性が向上する。また、プリンタ単体の場合と比べると、ダイナミックレンジが明暗両方向に拡大していることが分かる。これにより、明暗方向の再現性が格段に向上する。図５には、ｘｙ色度図上に、可視領域５０１とともに、プロジェクタ単体の場合の再現色域５０２、プリンタ単体の場合の再現色域５０３、及びプロジェクタとプリンタの色を重畳した場合の再現色域５０４が示されている。図５に示されるように、プロジェクタとプリンタの色を重畳した場合の方が、デバイス単体の場合よりも明らかに色域が拡大しているため、色の再現性も向上することが分かる。
【００２４】
＜装置構成＞
図６は、第１実施形態の画像処理装置１０２の構成の一例を示すブロック図である。画像処理装置１０２は、ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３、及び画像入力部６１４を備える。また、画像処理装置１０２は、入力デバイスＩ／Ｆ６０４、ハードディスクドライブ（ＨＤＤ）Ｉ／Ｆ６０６、ビデオＩ／Ｆ６０８、出力デバイスＩ／Ｆ６１０、及び測色機Ｉ／Ｆ６１２を備える。
【００２５】
ＣＰＵ６０１は、ＲＯＭ６０２や、出力デバイスＩ／Ｆ６１０を介して接続されるＨＤＤ６０７等に格納されたプログラムに従って、装置全体の動作を司る。その際、ＣＰＵ６０１は、ＲＡＭ６０３をワークメモリとして利用し、本実施形態に係る画像処理を含む各種処理を実行する。
【００２６】
入力デバイスＩ／Ｆ６０４は、入力デバイス６０５を接続するためのインタフェースである。入力デバイス６０５としてはキーボードやマウスなどの入力装置が含まれ、ユーザの指示の入力に用いられる。
【００２７】
ＨＤＤＩ／Ｆ６０６は、ＨＤＤ６０７を接続するためのインタフェースである。ビデオＩ／Ｆ６０８は、ビデオデバイス６０９を接続するためのインタフェースである。ビデオデバイス６０９としては、画像やユーザインターフェース画面（ＵＩ画面）を表示するためのカラーモニタ（例えば、ＣＲＴディスプレイや液晶ディスプレイ）や、カラー動画像を出力可能なプロジェクタなどの表示装置が含まれる。本実施形態では、ビデオＩ／Ｆ６０８には、図１に示すプロジェクタ１０３が接続される。
【００２８】
出力デバイスＩ／Ｆ６１０は、出力デバイス６１１を接続するためのインタフェースである。出力デバイス６１１としては、カラー静止画を出力可能なインクジェットプリンタや電子写真プリンタ等の画像出力装置が含まれる。本実施形態では、出力デバイスＩ／Ｆ６１０には、図１に示すプリンタ１０４が接続される。
【００２９】
測色機Ｉ／Ｆ６１２は、測色機６１３を接続するためのインタフェースである。測色機６１３としては、ビデオデバイス６０９や出力デバイス６１１のデバイス特性や、照明環境を測定するための測定機などが含まれる。なお、画像処理装置１０２は、測色機Ｉ／Ｆ６１２を備える代わりに、ＲＯＭ６０２、ＲＡＭ６０３またはＨＤＤ６０７に予めデバイス特性データや照明環境データを保存しておいてそれらのデータを利用するようにしても良い。
【００３０】
上記各Ｉ／Ｆ６０４，６０６，６０８，６１０，及び６１２として、汎用のインタフェースを利用可能である。例えば、ＵＳＢ及びＩＥＥＥ１３９４などのシリアルインタフェースや、ＳＣＳＩ及びセントロニクスなどのパラレルインタフェース等を利用可能である。
【００３１】
画像入力部６１４は、画像データを入力する。本実施形態では、画像入力部６１４は、画像データとして、静止画像１０１ａのＲＧＢ信号値及び動画像１０１ｂのＲＧＢ信号値を入力する。なお、画像処理装置１０２は、画像入力部６１４を備える代わりに、ＲＯＭ６０２、ＲＡＭ６０３またはＨＤＤ６０７に予め画像データを保存しておいて、該画像データを利用するようにしても良い。
【００３２】
＜色変換処理＞
次いで、本実施形態の画像処理装置１０２における色変換処理を説明する。本実施形態では、プリンタで再現可能な色再現範囲をプリンタで再現し、プリンタでは再現できない色再現範囲をプロジェクタで再現するように、入力画像及び入力動画像に対して色変換処理が適用される。
【００３３】
図７は、第１実施形態における色変換処理を説明するための図である。本実施形態における色変換処理は、プリンタ用ＣＭＹＫ信号生成部７０１とプロジェクタ用ＲＧＢ信号生成部（以下、単にＲＧＢ信号生成部と呼ぶ）７０２とによって実現される。なお、プリンタ用ＣＭＹＫ信号生成部７０１及びプロジェクタ用ＲＧＢ信号生成部７０２は、ＣＰＵ６０１がＲＯＭ６０２やＨＤＤ６０７が記憶するプログラムをＲＡＭ６０３にロードし、ロードしたプログラムを実行することによって機能する。
【００３４】
まず、プリンタ用ＣＭＹＫ信号生成部７０１について説明する。プリンタ用ＣＭＹＫ信号生成部７０１は、ＲＧＢ→ＣＭＹＫ変換部７１１及びＲＧＢ−ＣＭＹＫ  ＬＵＴ７１２を含む。ＲＧＢ−ＣＭＹＫ  ＬＵＴ７１２は、ＲＧＢ信号をプリンタ１０４に出力するためのプリンタ用ＣＭＹＫ信号に変換するためのルックアップテーブル（ＬＵＴ）である。ＲＧＢ→ＣＭＹＫ変換部７１１は、静止画像のＲＧＢ信号が入力されると、ＲＧＢ−ＣＭＹＫ  ＬＵＴ７１２を用いて、入力されたＲＧＢ信号をプリンタ用ＣＭＹＫ信号に変換する。
【００３５】
次に、プロジェクタ用ＲＧＢ信号生成部７０２について説明する。プロジェクタ用ＲＧＢ信号生成部７０２は、ＣＭＹＫ→ＸＹＺ変換部７２１、ＣＭＹＫ−ＸＹＺ  ＬＵＴ７２２、ＲＧＢ→ＸＹＺ変換部７２３、及びＲＧＢ−ＸＹＺ  ＬＵＴ７２４を含む。また、プロジェクタ用ＲＧＢ信号生成部７０２は、プロジェクタ用ＸＹＺ導出部７２５、ＸＹＺ→ＲＧＢ変換部７２６、及びＸＹＺ−ＲＧＢ  ＬＵＴ７２７を含む。ＣＭＹＫ−ＸＹＺ  ＬＵＴ７２２は、ＣＭＹＫ信号をＸＹＺ信号に変換するためのＬＵＴである。ＣＭＹＫ−ＸＹＺ  ＬＵＴ７２２は、プリンタ１０４の特性に応じて予め作成されるものとする。ＣＭＹＫ→ＸＹＺ変換部７２１は、ＲＧＢ→ＣＭＹＫ変換部７１１からＣＭＹＫ信号が入力されると、ＣＭＹＫ−ＸＹＺ  ＬＵＴ７２２を用いて、入力されたＣＭＹＫ信号をＸＹＺ信号に変換する。以下、このＸＹＺ信号をプリンタＸＹＺ信号と呼ぶ。ＲＧＢ−ＸＹＺ  ＬＵＴ７２４は、ＲＧＢ信号をＸＹＺ信号に変換するためのＬＵＴである。ＲＧＢ→ＸＹＺ変換部７２３は、動画像の各フレーム（静止画）のＲＧＢ信号が入力されると、ＲＧＢ−ＸＹＺ  ＬＵＴ７２４を用いて、入力されたＲＧＢ信号をＸＹＺ信号に変換する。以下、このＲＧＢ信号を入力動画像ＲＧＢ信号と呼ぶ。また、このＸＹＺ信号を入力動画像ＸＹＺ信号と呼ぶ。プロジェクタ用ＸＹＺ導出部７２５は、プリンタＸＹＺ信号と入力動画像ＸＹＺ信号とに基づき、プロジェクタ用ＸＹＺ信号（投影用動画像データと呼ぶ。）を導出する。従って、プロジェクタ用ＸＹＺ信号は、動画像ＸＹＺ信号をプリンタＸＹＺ信号で除算して得られる値を観察照明のＸＹＺ値で減算することで導出される。すなわち、プロジェクタ用ＸＹＺ信号は、以下のような式により導出される。
【００３６】
プロジェクタ用ＸＹＺ信号  ＝  （入力動画像ＸＹＺ信号／プリンタＸＹＺ信号）  −  観察照明のＸＹＺ値
【００３７】
このとき、観察照明のＸＹＺ値は、照明下に配置した完全拡散白色板を輝度計等の測定器によって測定するなどして取得された分光分布特性と、ＸＹＺ等色関数との演算により導出される。なお、観察照明を考慮しなくても良い照明下においてプロジェクタ用ＸＺＹ信号を導出する場合には、上記式における観察照明の項は省略してもよい。また、入力動画像ＸＹＺ信号には、入力動画像を構成するフレーム画像それぞれに対応するＸＹＺ信号が含まれるものとする。また、それらのＸＹＺ信号に対して、上記の式が適用されるものとする。したがって、各フレーム画像についてプロジェクタ用ＸＹＺ信号（投影用フレーム画像データと呼ぶ。）が導出されることになる。ＸＹＺ→ＲＧＢ変換部７２６は、ＸＹＺ−ＲＧＢ  ＬＵＴ７２７を用いて、プロジェクタ用ＸＹＺ信号をプロジェクタ用ＲＧＢ信号に変換する。
【００３８】
プリンタ用ＣＭＹＫ信号生成部７０１には、一つの静止画像のＲＧＢ信号が入力されるが、プロジェクタ用ＲＧＢ信号生成部７０２には、動画像のフレーム毎に異なる複数のＲＧＢ信号が入力される。したがって、プロジェクタ用ＲＧＢ信号生成部７０２は、プリンタ用ＣＭＹＫ信号生成部７０１から受け取ったプリンタ用ＣＭＹＫ信号を、入力動画像の各フレームに対して繰り返し利用し、フレーム毎のプロジェクタ用ＲＧＢ信号を生成する。このようにして、本実施形態では、プリンタ用のＣＭＹＫ信号で再現できない入力動画像のダイナミックレンジまたは色再現範囲を、プロジェクタで再現する。
【００３９】
なお、プリンタ用ＣＭＹＫ信号生成部７０１における処理は、ＰＣ（パーソナルコンピュータ）のプリンタドライバ等で実施される一般的な色変換処理である。そのため、プリンタ用ＣＭＹＫ信号生成部７０１とプロジェクタ用ＲＧＢ信号生成部７０２とがそれぞれ別の装置に実装されてもよい。例えば、プリンタ用ＣＭＹＫ信号生成部７０１は、画像処理装置１０２ではなくＰＣのプリンタドライバで実現するようにしてもよい。その場合、プロジェクタ用ＲＧＢ信号生成部７０２は、ＰＣ上のプリンタ用ＣＭＹＫ信号生成部７０１からプリンタ用ＣＭＹＫ信号を受け取るようにすれば良い。
【００４０】
＜ＬＵＴ作成処理＞
図８は、第１実施形態における色変換処理に用いるＬＵＴの作成処理を示すフローチャートである。ここでは、ＸＹＺ信号をＲＧＢ信号に変換する際に参照されるＸＹＺ−ＲＧＢ  ＬＵＴ７２７の作成処理を説明する。図８に示される一連の処理は、ＣＰＵ６０１が画像処理装置１０２にインストールされたＬＵＴ作成用のプログラム（以下、ＬＵＴ作成プログラムと呼ぶ）を実行することにより行われる。なお、画像処理装置１０２とは別のＰＣにＬＵＴ作成プログラムをインストールして、該ＰＣ上で図８に示される一連の処理が行われるようにしても良い。そして、ＰＣ上で生成されたＬＵＴを画像処理装置１０２のＨＤＤ６０７等に格納するようにしてもよい。
【００４１】
まず、ＣＰＵ６０１は、ＲＧＢの格子信号を生成する（ステップＳ８０１）。このとき、例えば、各色１７グリッドで均等間隔となるＲＧＢの格子値が生成される。以下、ステップＳ８０１を単にＳ８０１と記す。他のステップについても同様である。
【００４２】
次に、ＣＰＵ６０１は、Ｓ８０１で生成した格子信号のうちの１格子点に対応する、１色のＲＧＢ値を取得する（Ｓ８０２）。次に、ＣＰＵ６０１は、Ｓ８０２で取得したＲＧＢ値（注目ＲＧＢ値と呼ぶ）に対応する、プロジェクタ１０３の分光分布特性を取得する（Ｓ８０３）。プロジェクタ１０３の分光分布特性は、予め所定のＲＧＢ値に対する分光分布を測定するなどして得られ、分光分布プロファイルとしてＨＤＤ６０７に記憶されているものとする。分光分布プロファイルに注目ＲＧＢ値と一致するＲＧＢ値が含まれていない場合には、ＣＰＵ６０１は、補間処理等によって注目ＲＧＢ値に対する分光分布特性を導出する。
【００４３】
次に、ＣＰＵ６０１は、Ｓ８０２で取得した、プロジェクタ１０３の注目ＲＧＢ値に基づく投影色であるＸＹＺ値を、以下の式（１）〜式（３）に基づいて導出する（Ｓ８０４）。
【００４４】
Ｘ（ｒ，ｇ，ｂ）＝∫Ｓ＿ｐｒｊ（ｒ，ｇ，ｂ，λ）×ｘ（λ）ｄλ  ・・・（１）
Ｙ（ｒ，ｇ，ｂ）＝∫Ｓ＿ｐｒｊ（ｒ，ｇ，ｂ，λ）×ｙ（λ）ｄλ  ・・・（２）
Ｚ（ｒ，ｇ，ｂ）＝∫Ｓ＿ｐｒｊ（ｒ，ｇ，ｂ，λ）×ｚ（λ）ｄλ  ・・・（３）
【００４５】
このとき、式（１）において、Ｘ（ｒ，ｇ，ｂ）、Ｙ（ｒ，ｇ，ｂ）、Ｚ（ｒ，ｇ，ｂ）はそれぞれ、あるＲＧＢ値に対するＸ値、Ｙ値、Ｚ値である。Ｓ＿ｐｒｊ（ｒ，ｇ，ｂ，λ）は、あるＲＧＢ値に対するプロジェクタ投影光の分光分布である。ｘ（λ）、ｙ（λ）、ｚ（λ）は、２度視野のＸＹＺ等色関数であり、λは波長を表す。
【００４６】
次に、ＣＰＵ６０１は、Ｓ８０１で生成した全ての格子信号に対するＸＹＺ値を導出したか否かを判定する（Ｓ８０５）。全ての格子信号についてＸＹＺ値を導出済みであれば（Ｓ８０５のＹＥＳ）、処理はＳ８０６に進む。そうでなければ（Ｓ８０５のＮＯ）、処理はＳ８０２に戻り、まだＸＹＺ値が導出されていない格子信号に対してＳ８０２〜Ｓ８０４の処理が行われる。
【００４７】
最後に、ＣＰＵ６０１は、Ｓ８０１で生成したＲＧＢの格子値と、各格子値についてＳ８０４で導出したＸＹＺ信号とを対応付けてＬＵＴ化し、ＨＤＤ６０７に保存して終了する（Ｓ８０６）。
【００４８】
なお、ここでは、ＸＹＺ信号をＲＧＢ信号に変換する際に参照されるＬＵＴの作成処理の手順を示したが、プリンタ１０４のＣＭＹＫ信号をＸＹＺ信号に変換する際に参照されるＣＭＹＫ−ＸＹＺ  ＬＵＴ７２２の作成処理も同様の手順で行われる。その場合は、分光分布をプリンタの分光反射率Ｒ＿ｐｒｎ（ｃ，ｍ，ｙ，ｋ，λ）に置き替えて同様の手順でＬＵＴを生成すればよい。いずれのＬＵＴであっても、入力と出力の各信号値が１対１で対応付くように生成すればよい。
【００４９】
＜プロジェクタ用信号生成部の処理＞
図９は、第１実施形態におけるプロジェクタ用ＲＧＢ信号生成部７０２の処理を示すフローチャートである。まず、プロジェクタ用ＲＧＢ信号生成部７０２は、プリント画像１０６の出力に用いられる印刷画像データ（プリンタ用ＣＭＹＫ信号）を入力する（Ｓ９０１）。本実施形態では、図７に示すように、プロジェクタ用ＲＧＢ信号生成部７０２は、プリンタ用ＣＭＹＫ信号生成部７０１からプリンタ用ＣＭＹＫ信号を入力する。例えば、デジタル一眼レフ等のカメラで撮影して得られるＲＧＢ形式の画像データ（本実施形態では都市の夜景の画像データ）をＣＭＹＫ形式に変換したものである。このように、プロジェクタ用ＲＧＢ信号生成部７０２は、印刷画像入力手段としての機能を有する。なお、以下において画像データを単に画像と表現する場合がある。
【００５０】
次に、プロジェクタ用ＲＧＢ信号生成部７０２は、動画像データ（動画像の各フレームのＲＧＢ信号）を入力する（Ｓ９０２）。ここでは、上記の都市の夜景をデジタル一眼レフ等のカメラで撮影する際に並行して、そのカメラの動画機能を用いて動画撮影を行い、その動画撮影により得られる動画像データを入力する。例えば、Ｓ９０１で用いた都市の夜景の画像と同じ画角で動画撮影して得られる動画像であって、その画角内に映る建物の電飾ライト等が点滅するような動きのある動画像を示す動画像データが入力される。このように、プロジェクタ用ＲＧＢ信号生成部７０２は、動画像入力手段としての機能を有する。なお、以下において動画像データを単に動画像と表現する場合がある。
【００５１】
次に、プロジェクタ用ＲＧＢ信号生成部７０２は、動画像の処理対象フレームのフレーム番号を示す変数ｉを０にセットする。ここで、ｉは０以上の整数である。例えば、６０ＦＰＳ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）のフレームレートで３秒間の動画像を処理対象とする場合は、フレーム数は１８０枚となり、ｉは０から１７９まで取り得る。
【００５２】
次に、プロジェクタ用ＲＧＢ信号生成部７０２は、プリンタ用ＣＭＹＫ信号と、動画像の処理対象フレームｉのＲＧＢ信号とに基づき、フレームｉにおけるプロジェクタ用ＲＧＢ信号を生成する（Ｓ９０４）。
【００５３】
次に、プロジェクタ用ＲＧＢ信号生成部７０２は、動画像の全フレームに対する処理を完了したか否かを判定する（Ｓ９０５）。全フレームを処理済みであれば（Ｓ９０５のＹＥＳ）、プロジェクタ用ＲＧＢ信号生成部７０２は、全フレーム分のプロジェクタ用ＲＧＢ信号を、ＨＤＤ６０７に保存して終了する（Ｓ９０７）。全フレームを処理済みでなければ（Ｓ９０５のＮＯ）、プロジェクタ用ＲＧＢ信号生成部７０２は、ｉをインクリメントして（Ｓ９０６）、Ｓ９０４の処理に戻る。
【００５４】
再現画像表示時には、画像処理装置１０２（より具体的にはＣＰＵ６０１）が、Ｓ９０７でＨＤＤ６０７に保存した各フレームのプロジェクタ用ＲＧＢ信号をフレーム順（時系列）に読み出して、プロジェクタ１０３に出力する。なお、ＨＤＤ６０７に保存した各フレームのプロジェクタ用ＲＧＢ信号を、画像処理装置１０２以外の他の装置に保持させても良い。そして、他の装置が、各フレームのプロジェクタ用ＲＧＢ信号をプロジェクタ１０３に出力するようにしてもよい。
【００５５】
以上説明したように、本実施形態によれば、発光型デバイスであるプロジェクタによって投影される動画像と、反射型デバイスであるプリンタによって印刷物に生成された静止画像とを重畳する。またその際に、プロジェクタ及びプリンタの分光特性に基づく重畳時の表示特性に応じた色変換処理を、時間的に変化する動画像のフレーム毎に行う。本実施形態では上述したように、建造物に備えられた電飾や照明等の点灯、点滅したり、ヘッドライトを点灯した自動車や電車が移動したりする等、画像内で一部のオブジェクトが動いたり変化したりする動画像に基づく投影画像を、印刷物における画像に投影する。そのため、建造物や空などの動きのない領域においては、プリンタ単体利用時及びプロジェクタ単体利用時よりも、再現画像の画質、特にダイナミックレンジや色域を拡大させることができる。一方動画像において、建造物に備えられた電飾や照明や、ヘッドライトを点灯した自動車や電車は、動きがある。さらに本実施形態では、静止画像および動画像を遠くから広角で撮影して取得しているため、自動車や電車、電灯そのものは小さく詳細な形状がわからないが、電灯やヘッドライドの動きは観察することができる。例えば、橋の上を、ヘッドライトを点灯した自動車が移動する場合、印刷物に印刷された夜景の画像において、橋の上をヘッドライトが動いているように見える。観察者は、印刷物上において橋の上を走る車そのものを認識できていなくても、橋の上を照明が移動する場合は自動車が移動しているように見える。あるいは、動画像において建造物の照明が点灯している場合、観察者は、印刷物において建造物に備えられた電灯そのものを認識できていなくても、夜景の一部として建造物の電灯が点灯しているように認識する。そのため、印刷物における画像に対して動きのあるような再現画像を表示させることができる。
【００５６】
なお、本実施形態においては、プロジェクタ用ＸＹＺ導出部７２５において観察照明のＸＹＺ信号が一定の場合の例を示したが、観察環境が場所や時間によって変化する場合には、その変化に応じて観察照明のＸＹＺ信号を更新するようにしても良い。
【００５７】
また、本実施形態においては、プリンタで再現可能な色再現範囲をプリンタで再現しプリンタでは再現できない色再現範囲をプロジェクタで再現する色変換処理について説明した。しかし、例えば、プリンタで色再現性（彩度）重視の色再現を行い、プロジェクタで明るさ重視の色再現を行うようにして、各デバイスの色再現の特徴や役割が異なるようにしても良い。
【００５８】
また、本実施形態では、動画像の全フレームに対して色変換処理を一様に適用する構成を示した。しかし、一部のフレーム、あるいは、各フレームの一部のみ等、部分的に色変換処理を行うようにしても良い。
【００５９】
また、本実施形態では、プロジェクタ及びプリンタをそれぞれ１台ずつ用いる構成を示した。しかし、プロジェクタを複数台用いるようにしても良い。図１０には、ｎ台（ｎ≧２）のプロジェクタと１台のプリンタとを用いて、ｎ個のプロジェクタ投影像と１個のプリント画像とを重畳して色再現する画像処理システムの構成の一例が示されている。そのようなシステムでは、プロジェクタ１０３−１〜１０３―ｎの各プロジェクタの分光分布特性を加算して一つの分光分布特性を導出し、導出した分光分布特性とプリンタの分光反射率とに基づいて重畳特性を導出すれば良い。この際、各プロジェクタの分光分布特性はそれぞれ異なっていても問題ない。
【００６０】
さらに、本実施形態では、入力画像の静止画像と動画像は同じデバイスで撮影しそれぞれの画角の対応付けができていることを前提とした。しかし、静止画像と動画像とを異なるデバイスで撮影しても良い。その場合は、パターンマッチング等の公知の位置合わせ技術を用いたり、デバイスまたは画像データが保持する画角情報を利用したりして、静止画像と動画像との位置合わせを行うようにすれば良い。あるいは、ＰＣ等を用いてモニタに位置合わせ用のＵＩ画面を表示して、該ＵＩ画面を介してユーザに手動で位置合わせを行わせるようにしても良い。
【００６１】
また、本実施形態では、投影用動画像を導出する場合に、プリンタＣＭＹＫ信号と入力動画像ＲＧＢ信号とをデバイスに依存しないＸＹＺ表色系に変換し、変換後の各信号から投影用動画像を導出している。しかし、投影用動画像が導出可能であれば、プリンタＣＭＹＫ信号と入力動画像ＲＧＢ信号とをＸＹＺ表色系以外の他の表色系に変換した上で、投影用動画像を導出するようにしても良い。その場合、ＸＹＺ→ＲＧＢ変換部７２６は、上記他の表色系で表された信号をＲＧＢ信号に変換するためのＬＵＴを用いればよい。
［実施形態２］
【００６２】
以下、本発明の第２実施形態について説明する。なお、第１実施形態と重複する部分については説明を省略する。プリント画像とプロジェクタ投影像とを重畳する際に、各画素での出力ダイナミックレンジや色域の違いを考慮せずに重畳すると、画素毎にダイナミックレンジや色域の違いが生じる場合がある。そのような場合、再現画像において輝度や色域の段差が生じ、視覚上の違和感を与える可能性がある。そこで、第２実施形態の画像処理装置は、各画素の出力ダイナミックレンジや色域の違いを考慮して色変換処理を行う。すなわち、第２実施形態では、第１実施形態と異なる色変換処理が行われる。
【００６３】
＜色変換処理＞
図１１は、第２実施形態における色変換処理を説明するための図である。図１１に示すように、本実施形態における色変換処理は、プリンタ用ＣＭＹＫ信号生成部７０１とプロジェクタ用ＲＧＢ信号生成部１１０１とによって実現される。プロジェクタ用ＲＧＢ信号生成部１１０１は、図７に示すプロジェクタ用ＲＧＢ信号生成部７０２と同様である。ただし、プロジェクタ用ＲＧＢ信号生成部１１０１は、図７に示す構成に加えて色再現範囲ＸＹＺ補正部１１０２を含む。
【００６４】
図１１に示すように、色再現範囲ＸＹＺ補正部１１０２は、プロジェクタ用ＸＹＺ導出部７２５が出力するプロジェクタ用ＸＹＺ信号を入力する。そして、色再現範囲ＸＹＺ補正部１１０２は、プロジェクタ用ＸＹＺ信号を、ＣＭＹＫ→ＸＹＺ変換部７２１が出力するプリンタＸＹＺ信号に基づき補正する。色再現範囲ＸＹＺ補正部１１０２は、補正されたプロジェクタ用ＸＹＺ信号を、プロジェクタ用ＸＹＺ→ＲＧＢ変換部７２６に出力する。
【００６５】
図１２は、色再現範囲ＸＹＺ補正部１１０２の処理を示すフローチャートである。ここでは、説明を簡単にするため、Ｙ値（輝度）に対する補正処理の例を示す。Ｘ値及びＺ値についても同様の処理を適用することができる。
【００６６】
まず、色再現範囲ＸＹＺ補正部１１０２は、ＣＭＹＫ→ＸＹＺ変換部７２１からプリンタＸＹＺ信号を入力する（Ｓ１２０１）。次に、色再現範囲ＸＹＺ補正部１１０２は、プロジェクタ用ＸＹＺ導出部７２５からプロジェクタ用ＸＹＺ信号を入力する（Ｓ１２０２）。次に、色再現範囲ＸＹＺ補正部１１０２は、プロジェクタ用ＸＹＺ信号の補正量を決定する（Ｓ１２０３〜Ｓ１２０６）。
【００６７】
ここで、Ｓ１２０３〜Ｓ１２０６の処理を説明する。Ｓ１２０３において、色再現範囲ＸＹＺ補正部１１０２は、プリンタＸＹＺ信号とプロジェクタ用ＸＹＺ信号とを重畳する。この重畳により得られるＸＹＺ信号を、重畳後ＸＹＺ信号と呼ぶ。次にＳ１２０４において、色再現範囲ＸＹＺ補正部１１０２は、重畳後ＸＹＺ信号に平滑化処理を適用する。平滑化処理には、例えば１３×１３の平均値フィルタ（重み係数は均等）が用いられる。この平滑化処理は、後述する輝度や色域の段差が少なくなるように作用する。なお、平均値フィルタ以外の公知の平滑化処理を適用するようにしても良い。また、平均値フィルタは、静止画像や動画像の特徴に応じて可変としても良い。また、両画像の像域変化に応じて、一部領域のみに適用してもよい。次にステップＳ１２０５において色再現範囲ＸＹＺ補正部１１０２は、平滑化処理した重畳後ＸＹＺ信号（以下、平滑化処理後ＸＹＺ信号と呼ぶ）のＤＣ値をターゲット（入力値）に応じて補正する。このとき、平滑化処理後ＸＹＺ信号がターゲット以下に収まるようにＤＣ値が補正される。また、ＸＹＺの各成分のそれぞれにおいてＤＣ値が補正される。このＤＣ値の補正も、後述する輝度や色域の段差が少なくなるように作用する。最後にＳ１２０６において、色再現範囲ＸＹＺ補正部１１０２は、ＤＣ値補正後の平滑化処理後ＸＹＺ信号（以下、ＤＣ値補正後ＸＹＺ信号と呼ぶ）に基づき、プロジェクタ用ＸＹＺ信号の補正量を導出する。ここでは、補正後のプロジェクタ用ＸＹＺ信号とプリンタＸＹＺ信号とを重畳した場合に上記ＤＣ値補正後ＸＹＺ信号が得られるように、プロジェクタ用ＸＹＺ信号の補正量が導出される。Ｓ１２０６の後、色再現範囲ＸＹＺ補正部１１０２は、導出した補正量に従ってプロジェクタ用ＸＹＺ信号を補正し、補正後のプロジェクタ用ＸＹＺ信号を出力する（Ｓ１２０７）。
【００６８】
＜色再現範囲ＸＹＺ補正処理の効果＞
図１３は、色再現範囲ＸＹＺ補正処理の効果を説明するための図である。ここでは説明を簡単にするため、Ｙ値（輝度）について得られる効果を説明する。Ｘ値、Ｚ値についても同様の効果が得られる。
【００６９】
まず、図１３（ａ）には、プリンタで出力されたプリント画像であって、領域Ａ、領域Ｂ、及び領域Ｃの３つの領域が横並びに配置されたパッチ画像の一例が示されている。領域Ａは黒ベタ部、領域Ｂはグレー部、領域Ｃは紙白部（非プリント）に相当する。
【００７０】
また、図１３（ｂ）には、図１３（ａ）に示すプリント画像に対してプロジェクタで画像を投影した場合の入力値と出力値との関係を示した図である。横軸は、図１３（ａ）に示すパッチ画像の左右方向（図における左右方向）に断面をとった場合の領域Ａ、領域Ｂ、及び領域Ｃの位置に対応している。ここでは各領域において８つずつ点をプロットしている。出力Ｙ値１３０１は、プリント画像のみの出力値（Ｙ値）を表す。また、出力値１３０２は、プリント画像とプロジェクタ投影像の最大出力値とを重畳した出力Ｙ値である。ターゲット１３０３は、入力値、すなわち再現しようするＹ値を表す。このとき、ターゲット１３０３よりも出力値１３０２の値が大きな領域Ｃはターゲット１３０３を再現可能だが、出力値１３０２の値が小さな領域Ａと領域Ｂはターゲット１３０３を再現できない。つまり、ターゲット１３０３を再現する際、出力値の段差（階調段差）が発生し、視覚上の違和感となる。
【００７１】
そこで、第２実施形態においては、図１３（ｃ）に示すように、重畳後ＸＹＺ信号に上述したＳ１２０４の平滑化処理を適用することで、出力値１３０２の信号成分を平滑化する。それにより、出力値１３０４が得られる。さらに、出力値１３０４（すなわち平滑化処理後ＸＹＺ信号）に対してＳ１２０５の処理を適用することで、出力値１３０４のＤＣ値がターゲットに応じて補正され。出力値１３０５が得られる。このようにして、プリント画像とプロジェクタ投影像とを重畳して再現可能な出力値の範囲をターゲット以下に収めることができる。
【００７２】
ここで、図１４を用いて、本実施形態の効果を説明する。プリント画像の濃度が異なる単調領域が隣接するようなプリント画像に対して、一定の色再現範囲の表現が必要なプロジェクタ画像を投影する場合は、本実施形態を適用することで階調段差を低減することが可能となる。図１４（ａ）には、入力画像をプリント画像のみで再現した場合の例が示されている。図１４（ｂ）（ｃ）には、入力画像をプリント画像とプロジェクタ投影像画像とで再現した場合の例が示されている。スポットライトの光を表す領域１４０１は、図１４（ａ）に示すプリント画像上では白地となっている。一方、スポットライトのカバーとスポットライトの光とが重なった領域１４０２は、図１４（ａ）に示すプリント画像上では輝度が低くなっている。そのため、図１４（ａ）に示す画像に対して、色再現範囲ＸＹＺ補正処理を適用せずにプロジェクト投影像を重畳した場合、領域１４０２については、図１３で示したように出力値の再現範囲が制限される。したがって、図１４（ｂ）に示すように、領域１４０１と領域１４０２との輝度が異なる結果となり、輝度の差が発生してしまう。よって、スポットライトの光を正しく再現することができなくなる。一方、色再現範囲ＸＹＺ補正処理が適用されたプロジェクト投影像を重畳した場合には、図１４（ｃ）に示すように、領域１４０１と領域１４０２との輝度の差がなくなり、スポットライトの光を正しく再現することができる。
【００７３】
このように色再現範囲を補正することで、重畳画像において領域ごとのダイナミックレンジや色域の再現範囲の違いにより生じる段差を低減することができ、動きがある入力画像をより好ましく再現することが可能となる。
【００７４】
なお、短時間で大きく変化するような動画像をプロジェクタで投影する場合には、画像の変化に意識が向けられるため、上記のような段差が生じたとしても特に問題とならない。したがって、そのような場合には、本補正処理を省略してもよい。つまり、本補正処理は、輝度や色域の段差が目立ちやすい動画像をプロジェクタで投影する場合に行えばよく、本補正処理の適用可否や適用範囲は好適に選択的に行えばよい。
【００７５】
また、上記の例では、動画像をプロジェクタで投影する場合について説明したが、静止画像をプロジェクタで投影する場合にも同様にして、本補正処理を適用することができる。それにより、動きがない入力画像についても上記のような段差を低減することができ、より好ましく再現することが可能となる。
【００７６】
以上説明したように、本実施形態では、発光型デバイスであるプロジェクタの動画と、反射型デバイスであるプリンタの静止画を重畳する際に、各画素の出力ダイナミックレンジや色域の違いを考慮した場合の色変換処理を行う。それにより、重畳画像においてダイナミックレンジや色域の違いによる段差を低減し、視覚上の違和感を低減した上で、動きのある入力画像をより忠実に再現することが可能となる。
［第３実施形態］
【００７７】
以下、本発明の第３実施形態について説明する。なお、第１実施形態及び第２実施形態と重複する部分については説明を省略する。
【００７８】
第２実施形態では色再現範囲を補正することで、重畳画像において領域ごとのダイナミックレンジや色域の再現範囲の違いにより生じる段差を低減する画像処理について説明した。しかし、入力する静止画像や動画像によっては、ダイナミックレンジや色域を完全に再現できない場合がある。また、ダイナミックレンジや色域が完全に再現できているか否かをユーザが認識するのは難しい。そこで、本実施形態では、入力画像のダイナミックレンジや色域を完全に再現できない領域を、ユーザインターフェースを介してユーザに通知する方法について説明する。
【００７９】
図１５は、第３実施形態における色変換処理を説明するための図である。図１５に示すように、本実施形態における色変換処理は、プリンタ用ＣＭＹＫ信号生成部７０１とプロジェクタ用ＲＧＢ信号生成部１５０１とによって実現される。プロジェクタ用ＲＧＢ信号生成部１５０１は、図１１に示すプロジェクタ用ＲＧＢ信号生成部１１０１と同様である。ただし、プロジェクタ用ＲＧＢ信号生成部１５０１は、図１１に示す構成に加えて色再現性判定部１５０２を含む。
【００８０】
図１５に示すように、色再現性判定部１５０２は、ＣＭＹＫ→ＸＹＺ変換部７２１が出力するプリンタＸＹＺ信号を入力する。また、色再現性判定部１５０２は、色再現範囲ＸＹＺ補正部１１０２が出力する補正後のプロジェクタ用ＸＹＺ信号を入力する。色再現性判定部１５０２は、入力したプリンタＸＹＺ信号と補正後のプロジェクタ用ＸＹＺ信号とに基づき、再現画像において入力画像のダイナミックレンジや色域を完全に再現できない領域（以下、再現不可領域と呼ぶ）を特定する。そして、色再現性判定部１５０２は、モニタ表示用ＲＧＢ信号を出力する。モニタ表示用ＲＧＢ信号は、入力画像（静止画像と動画像）と、再現不可領域を示す情報とを重畳して表示するための信号である。色再現性判定部１５０２から出力されたモニタ表示用ＲＧＢ信号は、ビデオＩ／Ｆ６０８を介してモニタに出力される。それにより、図１６に示すようなＵＩ画面がモニタに表示される。図１６には、再現不可領域をユーザに通知するためのＵＩ画面１６０２がモニタ１６０１に表示されている様子が示されている。ＵＩ画面１６０２には、入力静止画像と入力動画像とを重畳した画像とともに、再現不可領域を示す情報として波線の枠１６０３が表示される。図１６に示されるように、明度が低い背景画像をプリンタで印刷した印刷物を被投影物として、鉄塔から照射された照明光を表す画像をプロジェクタで投影した場合、再現不可領域が発生する。枠１６０３で囲われた部分は、印刷物の明度が低いためにプロジェクタを投影しても所望の色再現が得られていない再現不可領域である。このように、本実施形態では、再現不可領域を破線の枠等で囲ってユーザに通知している。なお、時間的な変化に対して、所望の色再現が得られない領域は変化する。したがって、プリント画像に対して動画像をプロジェクタで投影する場合には、動画像に合わせて随時枠１６０３の位置を変化させるようにしてもよい。なお、図１６では、再現不可領域を示す情報として波線の枠が表示されているが、該情報の表示態様はそれ以外であっても良い。
【００８１】
以上説明したように、本実施形態によれば、プロジェクタの動画とプリンタの静止画とを重畳する際に、入力する静止画と動画のダイナミックレンジや色域を完全に再現できない領域を、ＵＩ画面を介してユーザに提示することが可能となる。
（その他の実施形態）
【００８２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８３】
７２１  ＣＭＹＫ→ＸＹＺ変換部
７２３  ＲＧＢ→ＸＹＺ変換部
７２５  プロジェクタ用ＸＹＺ導出部
７２６  ＸＹＺ→ＲＧＢ変換部
【図１】
2019205141.tif 000003
【図２】
2019205141.tif 000004
【図３】
2019205141.tif 000005
【図４】
2019205141.tif 000006
【図５】
2019205141.tif 000007
【図６】
2019205141.tif 000008
【図７】
2019205141.tif 000009
【図８】
2019205141.tif 000010
【図９】
2019205141.tif 000011
【図１０】
2019205141.tif 000012
【図１１】
2019205141.tif 000013
【図１２】
2019205141.tif 000014
【図１３】
2019205141.tif 000015
【図１４】
2019205141.tif 000016
【図１５】
2019205141.tif 000017
【図１６】
2019205141.tif 000018