(57)【要約】【課題】複数デバイスから出力される画像を重畳して表示する際に、重畳する画像間で画素ずれが生じた場合でも画質を大きく劣化させることなく、ダイナミックレンジの高い画像を表示することができる。【解決手段】入力画像データに基づいて第１のデバイスによる出力像と第２のデバイスによる出力像とを重畳して表示させることで、入力画像データが表す画像を形成する画像形成システムにおける画像処理装置であって、入力画像データを色差成分と輝度成分に分割する分割手段と、色差成分を用いずに、輝度成分のみに基づいて、第１のデバイスに出力像を出力させるための第１のデバイス用の画像データを生成する第１の生成手段と、輝度成分を用いずに、色差成分のみに基づいて、第２のデバイスに出力像を出力させるための第２のデバイス用の画像データを生成する第２の生成手段と、を有する。【選択図】図２
2019067097.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データに基づいて第１のデバイスによる出力像と第２のデバイスによる出力像とを重畳して表示させることで、前記入力画像データが表す画像を形成する画像形成システムにおける画像処理装置であって、
前記入力画像データを色差成分と輝度成分に分割する分割手段と、
前記色差成分を用いずに、前記輝度成分のみに基づいて、前記第１のデバイスに前記出力像を出力させるための前記第１のデバイス用の画像データを生成する第１の生成手段と、
前記輝度成分を用いずに、前記色差成分のみに基づいて、前記第２のデバイスに前記出力像を出力させるための前記第２のデバイス用の画像データを生成する第２の生成手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
前記第１の生成手段は、前記第１のデバイス用の画像データの各画素位置の輝度成分に、前記入力画像データの対応する画素位置の輝度成分が示す輝度を設定し、該各画素位置の色差成分に、予め定めた色差を設定し、
前記第２の生成手段は、前記第２のデバイス用の画像データの各画素位置の色差成分に、前記入力画像データの対応する画素位置の色差成分が示す色差を設定し、該各画素位置の輝度成分に、予め定めた輝度を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記予め定めた色差が、前記第１のデバイス用の画像データに設定し得る色差の中間値であり、前記予め定めた輝度が、前記第２のデバイス用の画像データに設定し得る輝度の中間値である
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の生成手段は、前記輝度成分に基づいて、前記第１のデバイス用の画像データよりも低周波の輝度成分画像データを生成し、
前記第２の生成手段は、
前記輝度成分を用いずに前記色差成分のみに基づいて生成した前記第２のデバイス用の画像データと、前記低周波の輝度成分画像データとを合成して得られる合成画像データを、新たな前記第２のデバイス用の画像データとする
ことを特徴とする請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の生成手段は、前記入力画像データに、前記第１のデバイスで再現可能な色域外の輝度を示す輝度成分が含まれている場合に、前記低周波の輝度成分画像データを生成する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１の生成手段は、
前記入力画像データについて、画素位置ごとに、該画素位置の輝度成分が示す輝度が前記第１のデバイスで再現可能な色域内であるか否かを判定し、
前記第１のデバイスで再現可能な色域内の輝度を示す輝度成分を有する画素位置については、予め定めた第１の輝度を設定し、前記第１のデバイスで再現可能な色域を上まわる輝度を示す輝度成分を有する画素位置については、前記第１の輝度よりも大きい第２の輝度を設定し、前記第１のデバイスで再現可能な色域を下まわる輝度を示す輝度成分を有する画素位置については、前記第１の輝度よりも小さい第３の輝度を設定することで、前記低周波の輝度成分画像データを生成する
ことを特徴とする請求項４または請求項５に記載の画像処理装置。
【請求項７】
前記予め定めた第１の輝度が、前記第２のデバイス用の画像データに設定し得る輝度の中間値である
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第２の生成手段は、前記色差成分に基づいて、前記第２のデバイス用の画像データよりも低周波の色差成分画像データを生成し、
前記第１の生成手段は、
前記色差成分を用いずに前記輝度成分のみに基づいて生成した前記第１のデバイス用の画像データと、前記低周波の色差成分画像データとを合成して得られる合成画像データを、新たな前記第１のデバイス用の画像データとする
ことを特徴とする請求項１から請求項７のうちのいずれか１項に記載の画像処理装置。
【請求項９】
前記第２の生成手段は、前記入力画像データに、前記第２のデバイスで再現可能な色域外の色差を示す色差成分が含まれている場合に、前記低周波な色差成分画像データを生成する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第２の生成手段は、
前記入力画像データについて、画素位置ごとに、該画素位置の色差成分が示す色差が前記第２のデバイスで再現可能な色域内であるか否かを判定し、
前記第２のデバイスで再現可能な色域内の色差を示す色差成分を有する画素位置については、予め定めた第１の色差を設定し、前記第２のデバイスで再現可能な色域を上まわる色差を示す色差成分を有する画素位置については、前記第１の色差よりも大きい第２の色差を設定し、前記第２のデバイスで再現可能な色域を下まわる色差を示す色差成分を有する画素位置については、前記第１の色差よりも小さい第３の色差を設定することで、前記低周波な色差成分画像データを生成する
ことを特徴とする請求項８または請求項９に記載の画像処理装置。
【請求項１１】
前記予め定めた第１の色差が、前記第１のデバイス用の画像データに設定し得る色差の中間値である
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１のデバイスが、前記第２のデバイスよりも高解像度の画像を出力可能である
ことを特徴とする請求項１から請求項１１のうちのいずれか１項に記載の画像処理装置。
【請求項１３】
第１のデバイスがプリンタであり、第２のデバイスがプロジェクタである
ことを特徴とする請求項１から請求項１２のうちのいずれか１項に記載の画像処理装置。
【請求項１４】
入力画像データに基づいて第１のデバイスによる出力像と第２のデバイスによる出力像とを重畳して表示させることで、前記入力画像データが表す画像を形成する画像形成システムにおける画像処理方法であって、
前記入力画像データを色差成分と輝度成分に分割する分割ステップと、
前記色差成分を用いずに、前記輝度成分のみに基づいて、前記第１のデバイスに前記出力像を出力させるための前記第１のデバイス用の画像データを生成する第１の生成ステップと、
前記輝度成分を用いずに、前記色差成分のみに基づいて、前記第２のデバイスに前記出力像を出力させるための前記第２のデバイス用の画像データを生成する第２の生成ステップと、を含む
ことを特徴とする画像処理方法。
【請求項１５】
コンピュータを、請求項１から請求項１３のうちのいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
複数デバイスを用いてハイダイナミックレンジ画像を出力する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等で撮影した自然界の被写体において、ハイダイナミックレンジ画像（ＨＤＲ画像）を扱う機会が増えてきている。こうしたＨＤＲ画像を鑑賞する際、表示デバイスや出力デバイスによって人間の主観的視覚に対して忠実に再現することが求められている。その際に、特に画像を大画面で表示できるプロジェクタや、高精細な大判出力が可能な大判プリンタ等のデバイスが、実物（被写体）の色や階調、質感等を、迫力のあるサイズで再現可能であるため、これらのデバイスの利用が期待されている。
【０００３】
一方でこれらのデバイスが有するダイナミックレンジや色域は、ＨＤＲ画像を再現するには十分ではない。そこで、ＨＤＲ画像をプロジェクタとプリンタとで合成して表示し、より広い色域で再現する技術が提案されている。特許文献１には、入力画像をプロジェクタ用のＲＧＢ信号とプリンタ用のＣＭＹ信号とに変換する際、プロジェクタにおける分光分布特性とプリンタにおける分光反射率特性とに基づいて生成された変換用のＬＵＴを用いる技術が提案されている。特許文献１に記載された技術では、上記ＬＵＴを用いて変換した画像信号に基づいてプロジェクタで形成された画像とプリンタで形成された画像とを重畳する。それにより、ダイナミックレンジおよび色域を拡大しつつ、入力画像をより忠実に再現することを可能としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許２０１０−１０３８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載された技術では、プロジェクタとプリンタの両方で輝度成分を表示している。そのため、重畳された画像間で数画素のずれが生じただけで、表示画像がぼけたように見えてしまう可能性がある。
【０００６】
そこで、本発明は、複数デバイスから出力される画像を重畳して表示する際に、重畳する画像間で画素ずれが生じた場合でも画質を大きく劣化させることなく、ダイナミックレンジの高い画像を表示することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による画像処理装置は、入力画像データに基づいて第１のデバイスによる出力像と第２のデバイスによる出力像とを重畳して表示させることで、入力画像データが表す画像を形成する画像形成システムにおける画像処理装置であって、入力画像データを色差成分と輝度成分に分割する分割手段と、色差成分を用いずに、輝度成分のみに基づいて、第１のデバイスに出力像を出力させるための第１のデバイス用の画像データを生成する第１の生成手段と、輝度成分を用いずに、色差成分のみに基づいて、第２のデバイスに出力像を出力させるための第２のデバイス用の画像データを生成する第２の生成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数デバイスから出力される画像を重畳して表示する際に、重畳する画像間で画素ずれが生じた場合でも画質を大きく劣化させることなく、ダイナミックレンジの高い画像を表示することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態の画像処理装置を含むシステムの構成を示すブロック図である。
【図２】第１実施形態の画像処理装置の処理を示すフローチャートである。
【図３】第１実施形態の画像処理装置によって入力画像が処理される様子を示す図である。
【図４】第２実施形態の画像処理装置の構成を示すブロック図である。
【図５】第２実施形態における画像処理装置の処理を示すフローチャートである。
【図６】画像振り分け部の処理を示すフローチャートである。
【図７】第２実施形態の画像処理装置によって入力画像が処理される様子を示す図である。
【図８】第２実施形態の画像処理装置によって入力画像が処理される様子を示す図である。
【図９】システムの色域範囲を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明を実施する形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に必ずしも限定されるものではない。
【００１１】
［実施形態１］
＜画像処理装置＞
図１は、第１実施形態の画像処理装置１００を含む画像形成システムの構成を示すブロック図である。図１に示すように、本実施形態の画像処理装置１００は、画像入力部１０１、画像分割部１０２、第１の画像生成部１０３、及び第２の画像生成部１０４を備える。また、図１に示すように、画像処理装置１００には、プリンタ１１０とプロジェクタ１２０とが接続されている。
【００１２】
画像入力部１０１は、画像データ（以下、画像信号と呼ぶ場合がある）を入力する。本実施形態では、画像入力部１０１は、デジタルカメラ等で撮影して得られる画像データ、たとえばＲＧＢの各色の画素値を有する画像データ（ＲＧＢ画像データ）を入力する。
【００１３】
画像分割部１０２は、入力されたＲＧＢ画像データに対し、輝度成分と色差成分とに分割する処理を行う。ＲＧＢ画像データを分割する方法としては、例えば、入力された画像データをＢＴ．７０９として、ＲＧＢ信号からＹＣｒＣｂ信号に変換し、Ｙを輝度成分、ＣｒＣｂを色差成分とする方法がある。また例えば、入力された画像データをＡｃｅｓＲＧＢとして、ＲＧＢ信号からＬａｂ信号に変換し、Ｌを輝度成分、ａｂを色差成分とする方法がある。
【００１４】
第１の画像生成部１０３は、画像分割部１０２により得られた輝度成分画像データから、プリンタ１１０が出力可能な画像データを生成する。プリンタ１１０は、第１の画像生成部１０３で生成された画像データを出力（印刷）する。
【００１５】
第２の画像生成部１０４は、画像分割部１０２により得られた色差成分画像データから、プロジェクタ１２０が出力可能な画像データを生成する。プロジェクタ１２０は、第２の画像生成部１０４で生成された画像データを出力（投影）する。
【００１６】
＜実施形態画像処理装置の処理＞
図２は、第１実施形態の画像処理装置１００の処理を示すフローチャートである。図３は、第１実施形態の画像処理装置によって入力画像が処理される様子を示す図である。
【００１７】
まず、画像入力部１０１が、画像データを入力する（ステップＳ２０１）。本実施形態では、画像入力部１０１は、上述したように、デジタルカメラ等で撮像して得られたＲＧＢ画像データを入力する。図３に示す入力画像３０１は、画像入力部１０１が入力するＲＧＢ画像データによって示さる画像（入力画像）の一例である。
【００１８】
次いで、画像分割部１０２が、画像入力部１０１が入力した画像データ（入力画像データと呼ぶ）を輝度成分と色差成分とに分割する（ステップＳ２０２）。本実施形態では、画像分割部１０２は、ＲＧＢ信号をＹＣｒＣｂ信号に変換して、Ｙを輝度成分とし、ＣｒＣｂを色差成分として分割する。そして、画像分割部１０２は、プリンタ１１０に出力させるための画像データ（プリンタ１１０用の画像データ）として、輝度成分Ｙからなる輝度成分画像データを生成する。また、画像分割部１０２は、プロジェクタ１２０に出力させるための画像データ（プロジェクタ１２０用の画像データ）として、色差成分ＣｒＣｂからなる色差成分画像データを生成する。図３に示す輝度成分画像３０２及び色差成分画像３０３は、入力画像データを分割して得られる輝度成分画像データ及び色差成分画像データによって示される画像の一例である。プリント画像３０４は、輝度成分画像データに従ってプリンタ１１０から出力される出力像の一例である。プロジェクタ投影像３０５は、色差成分画像データに従ってプロジェクタ１２０から出力される出力像の一例である。なお、ＲＧＢ信号をＬａｂ信号に変換して、Ｌを輝度成分とし、ａｂを色差成分として分割して、輝度成分Ｌからなる輝度成分画像データと、色差成分ａｂからなる色差成分画像データとを生成するようにしてもよい。
【００１９】
ここで、ＲＧＢ信号の分割について詳細に説明する。本実施形態の画像分割部１０２は、ＲＧＢ信号を分割する際、ＢＴ．７０９で規定される変換式（以下の式１）に従ってＲＧＢ信号をＹＣｒＣｂ信号に変換し、Ｙを輝度成分、ＣｒＣｂを色差成分として分割する。
【００２０】
【数１】
2019067097.tif 000003
【００２１】
なお、ｓＲＧＢのＲＧＢ信号を、以下の式２に従ってＸＹＺ信号に変換し、さらに、以下の式３〜式８に従ってＸＹＺ信号をＬａｂ信号に変換し、Ｌを輝度成分、ａｂを色差成分として分割するようにしてもよい。
【００２２】
【数２】
2019067097.tif 000004
【００２３】
【数３】
2019067097.tif 000005
【００２４】
【数４】
2019067097.tif 000006
【００２５】
【数５】
2019067097.tif 000007
【００２６】
【数６】
2019067097.tif 000008
【００２７】
【数７】
2019067097.tif 000009
【００２８】
【数８】
2019067097.tif 000010
【００２９】
次いで、第１の画像生成部１０３が、画像分割部１０２により生成された輝度成分画像データを、プリンタ１１０に適した画像データ（画像信号）に変換する。また、第２の画像生成部１０４が、画像分割部１０２により生成された色差成分画像データを、プロジェクタ１２０に適した画像データ（画像信号）に変換する（ステップＳ２０３）。
【００３０】
なお、輝度成分画像データは、上述したように輝度成分Ｙからなる画像データであり、より具体的には、式１で得られるＹＣｒＣｂ信号の色差成分Ｃｒ，Ｃｂに、中間値である０を設定して得られる画像データである。したがって、入力画像データを分割して輝度成分画像データを生成することは、入力画像データ（ＲＧＢ信号）を式１によりＹＣｒＣｂ信号に変換し、該ＹＣｒＣｂ信号の色差成分Ｃｒ，Ｃｂに０を設定することと等価である。また、輝度成分画像データからプリンタ１１０に適した画像信号を生成することは、色差成分Ｃｒ，Ｃｂに０を設定したＹＣｒＣｂ信号を以下の式９により変換してＲＧＢ信号を得ることと等価である。また、色差成分画像データは、上述したように色差成分ＣｒＣｂからなる色差成分画像データであり、より具体的には、式１によりで得られるＹＣｒＣｂ信号の輝度成分Ｙに、中間値である１２８を設定して得られる画像データである。したがって、入力画像データを分割して色差成分画像データを生成することは、入力画像データ（ＲＧＢ信号）を式１により変換し、該ＹＣｒＣｂ信号の色差成分Ｃｒ，Ｃｂに０を設定することと等価である。また、色差成分画像データからプロジェクタ１２０に適した画像信号を生成することは、輝度成分Ｙに１２８を設定したＹＣｒＣｂ信号を以下の式９により変換してＲＧＢ信号を得ることと等価である。なお、輝度成分は１２８に限定したものではなく、一律の値であれば他の値でもよい。なお、式９は、ＹＣｒＣｂ信号をＢＴ．７０９のＲＧＢ信号に変換する場合に用いられる変換式である。
【００３１】
【数９】
2019067097.tif 000011
【００３２】
なお、プリンタ１１０とプロジェクタ１２０がｓＲＧＢのＲＧＢ信号を入力するとした場合には、以下の式１０〜式１４に従ってＬａｂ信号をＸＹＺ信号に変換し、さらに、以下の式１５に従ってＸＹＺ信号をＲＧＢ信号に変換すればよい。そのとき、輝度成分画像データをＲＧＢ信号に変換する場合には、色差成分ａ，ｂにそれぞれ、中間値である０を設定して変換すればよい。また、色差成分画像データをＲＧＢ信号に変換する場合には、輝度成分Ｌに、中間値である５０を設定して変換すればよい。なお、輝度成分は５０に限定したものではなく、一律の値であれば他の値でもよい。
【００３３】
【数１０】
2019067097.tif 000012
【００３４】
【数１１】
2019067097.tif 000013
【００３５】
【数１２】
2019067097.tif 000014
【００３６】
【数１３】
2019067097.tif 000015
【００３７】
【数１４】
2019067097.tif 000016
【００３８】
【数１５】
2019067097.tif 000017
【００３９】
最後に、プリンタ１１０が、第１の画像生成部１０３が生成した画像信号に従って出力（印刷）を行う。また、プロジェクタ１２０が、第２の画像生成部１０４が生成した画像信号に従って出力（投影）を行う（ステップＳ２０４）。このとき、プリンタ１１０の出力画像（図３に示すプリント画像３０４）を壁などに貼り付けて、該画像にプロジェクタ１２０の出力画像（図３に示すプロジェクタ投影像３０５）を投影することで、両画像を重畳させる。図３に示す再現画像３０６は、両画像を重畳させて得られる画像の一例である。
【００４０】
以上のように、本実施形態では、入力画像データを輝度成分と色差成分とに分割し、輝度成分からなる画像データをプリンタに入力し、色差成分からなる画像データをプロジェクタに入力する。そして、プリンタから出力されるプリント画像に、プロジェクタの投影画像を重畳させて、再現画像を表示する。輝度画像同士を重畳して表示した場合、特に高周波な輝度画像同士を重畳して表示した場合には、互いの画像が数画素ずれただけでも、そのずれが目立ってしまう。しかし、本実施形態では、入力画像データを輝度成分と色差成分とに分割するようにしているので、輝度画像同士が重畳されることがなく、仮にプリント画像とプロジェクタの投影画像とが数画素ずれた場合でも画像のずれが目立ちにくくなる。つまり、本実施形態によれば、プロジェクタとプリンタとによる出力画像を重畳させた再現画像において、ダイナミックレンジを拡大しつつ、画像のずれによる画質の劣化を抑制することができる。
【００４１】
なお、本実施形態では、輝度成分をプリンタで出力させ、色差成分をプロジェクタで出力させる方法を例にしたが、輝度成分をプロジェクタで出力させ、色差成分をプリンタで出力させるようにしてもよい。ただし、色差よりも輝度の方が人間の目に知覚されやすいので、輝度成分は、高解像度の画像を出力可能なデバイスで出力されることが望ましい。例えば、プロジェクタよりもプリンタのほうが高解像度の画像を出力可能である場合には、本実施形態のように、プリンタに輝度成分を出力させる形態が望ましい。
【００４２】
また、輝度成分を高輝度バックライトで表示させ、色差成分をＯＨＰ（Ｏｖｅｒｈｅａｄ  ｐｒｏｊｅｃｔｏｒ）用の透明フィルムで表示させてもよい。つまり、第１の画像生成部１０３に接続されるデバイスは、プリンタに限定されず、プロジェクタやディスプレイ装置、ＯＨＰ、高輝度バックライトなどであってもよい。また、第２の画像生成部１０４に接続されるデバイスは、プロジェクタに限定されず、プリンタやディスプレイ装置、ＯＨＰ、高輝度バックライトなどであってもよい。
【００４３】
さらに、各デバイスから出力される画像を重畳可能であれば、各デバイスの組み合わせはどのような組み合わせであってもよい。例えば、ディスプレイ装置とプロジェクタとを用いて、ディスプレイ装置の表示画像にプロジェクタの投影画像を重畳させてもよい。また、プリンタとＯＨＰとを用いて、プリント画像にＯＨＰの投影画像を重畳させてもよい。また、プロジェクタを２台用いて、一方のプロジェクタの投影画像に他方のプロジェクタの投影画像を重畳させてもよい。
【００４４】
また、本実施形態では、画像処理装置１００からプリンタ１１０とプロジェクタ１２０とに画像データ（各デバイスに適した画像信号）を出力する画像形成システムを例にした。しかし、第１の画像生成部１０３と第２の画像生成部１０４とによって生成された画像データのいずれかまたは両方を記憶装置（例えば、ネットワーク上のサーバ）に記憶させておくようにしてもよい。そして、画像処理装置１００以外の装置が、上記記憶装置に記憶された画像データを読み出して、該画像データを対応するデバイスに出力するようにしてもよい。
【００４５】
［実施形態２］
第１実施形態では輝度成分をプリンタ、色差成分をプロジェクタで表示する例を説明した。本実施形態では、色差成分をプロジェクタだけでなくプリンタにも表示させるようにする。また、輝度成分をプリンタだけでなくプロジェクタに表示させるようにする。それにより、システムの色域範囲を拡大させる。ただし、両方のデバイスに周波数の高い輝度成分画像を表示させると、上述したように、画像同士が数画素ずれただけでも表示画像がぼけて見えてしまうおそれがある。したがって、本実施形態では、以下で説明するように、少なくともプロジェクタに表示させる輝度成分画像については、その周波数を低く設定する。
【００４６】
図４は、第２実施形態の画像処理装置２００の構成を示すブロック図である。第２実施形態の画像処理装置２００の構成は、第１実施形態の画像処理装置１００と同様である。ただし、第２の画像処理装置２００は、画像入力部１０１、画像分割部１０２、第１の画像生成部１０３、第２の画像生成部１０４に加えて、画像振り分け部４０１を備える。
【００４７】
画像振り分け部４０１は、図４に示すように、画像分割部１０２の後段に配置される。そして、画像振り分け部４０１は、画像分割部１０２により得られた輝度成分画像データと色差成分画像データとを入力する。画像振り分け部４０１は、輝度成分画像データに、プリンタ１１０で再現可能な輝度を超える輝度成分が含まれる場合、には、後述するように、低周波輝度成分画像データを生成して第２の画像生成部１０４に渡す。同様に、画像振り分け部４０１は、色差成分画像データに、プロジェクタ１２０で再現可能な色域を超える色差成分が含まれる場合には、後述するように、低周波色差成分画像データを生成して第１の画像生成部１０３に渡す。
【００４８】
＜実施形態２における画像処理装置の処理フロー＞
図５は、第２実施形態における画像処理装置２００の処理を示すフローチャートである。なお、ステップＳ５０１，Ｓ５０２，Ｓ５０５の処理は、第１実施形態におけるステップＳ２０１，Ｓ２０２，Ｓ２０４の処理と同様であるため説明を省略する。
【００４９】
ステップＳ５０３において、画像振り分け部４０１は、画像分割部１０２から輝度成分画像データと色差成分画像データを受け取る。そして、画像振り分け部４０１は、画像分割部１０２から受け取った輝度成分画像データをそのまま第１の画像生成部１０３に出力する。また、画像振り分け部４０１は、画像分割部１０２から受け取った色差成分画像データをそのまま第２の画像生成部１０４に出力する。
【００５０】
このとき、上述したように、入力画像にプロジェクタ１２０のみでは再現できない彩度が含まれる場合には、画像振り分け部４０１は、プリンタ１１０にも色差成分を表示させるために、低周波色差成分画像データを生成し第１の画像生成部１０３に出力する。また、入力画像にプリンタ１１０のみでは再現できない輝度が含まれる場合には、画像振り分け部４０１は、プロジェクタ１２０にも輝度成分を表示させるために、低周波輝度成分画像データを生成し第２の画像生成部１０４に出力する。
【００５１】
ステップＳ５０４において、第１の画像生成部１０３および第２の画像生成部１０４はそれぞれ、画像振り分け部４０１から各画像データを受け取ると、次のように動作する。第１の画像生成部１０３は、画像振り分け部４０１から受け取った輝度成分画像データと低周波色差成分画像データとを合成する。そして、第１の画像生成部１０３は、合成して得られた合成画像データをプリンタ１１０に適した画像信号に変換してプリンタ１１０に出力する。また、第２の画像生成部１０４は、画像振り分け部４０１から受け取った色差成分画像データと低周波輝度成分画像データとを合成する。そして、第２の画像生成部１０４は、合成して得られた合成画像データをプロジェクタ１２０に適した画像信号に変換して出力する。なお、各デバイス用の信号への変換方法は、ステップＳ２０３と同様であるため説明を省略する。
【００５２】
＜画像振り分け部の処理＞
図６は、画像振り分け部４０１の処理を示すフローチャートである。図７，８は、第２実施形態の画像処理装置２００によって入力画像が処理される様子を示す図である。図９は、システムの色域範囲を示す図である。
【００５３】
画像振り分け部４０１は、画像分割部１０２から受け取った輝度成分画像データ及び色差成分画像データから１画素ずつ取得する（ステップＳ６０１）。なお、輝度成分画像データから取得した１画素について行われる処理と、色差成分画像データから取得した１画素について行われる処理とは同様である。したがって、以下では、輝度成分画像データから取得した１画素について行われる処理について説明する。
【００５４】
次いで、画像振り分け部４０１は、プロジェクタ１２０の輝度成分初期値を設定する（ステップＳ６０２）。輝度成分初期値はＹｓ＝１２８（またはＬｓ＝５０）である。なお、輝度成分初期値は、画像処理装置２００が備える記憶装置（図示せず）等に予め格納されているものとする。また、ここでは、輝度成分初期値Ｙｓ（またはＬｓ）として、Ｙの中間値（またはＬの中間値）を設定したが、輝度成分初期値Ｙｓ（またはＬｓ）にはその他の値が設定されてもよい。また、輝度成分初期値Ｙｓ（またはＬｓ）は、ユーザによって指定可能であってもよい。
【００５５】
次いで、画像振り分け部４０１は、ステップＳ６０１で取得した画素がプリンタ１１０とプロジェクタ１２０との基本色域外かどうかを判定する（ステップＳ６０３）。基本色域とは、プリンタ１１０で輝度成分、プロジェクタで色差成分を表示する、第１実施形態におけるシステムの色域である。ステップＳ６０３の判定は、次の方法により行われる。画像振り分け部４０１は、ステップＳ６０１で取得した画素の画素値が予め作成した３ＤＬＵＴ内であるかどうかを判定する。そして、画素値が３ＤＬＵＴ内であれば（ステップＳ６０３のＮＯ）、画像振り分け部４０１は、画素値が基本色域内であると判断し、ステップＳ６０５の処理に進む。画素値が３ＤＬＵＴ外であれば（ステップＳ６０３のＹＥＳ）、画像振り分け部４０１は、画素値が基本色域外であると判断し、ステップＳ６０４の処理に進む。
【００５６】
ここで、上記３ＤＬＵＴの作成方法を説明する。まず、プリンタ１１０を用いて全面黒（Ｙ＝０、またはＬ＝０）から全面白（Ｙ＝２５５、またはＬ＝１００）まで数段階に振った画像を出力する。次に、輝度をＹ＝Ｙｓに設定したプロジェクタ１２０で、Ｃｒ＝−２００〜２００、Ｃｂ＝−２００〜２００まで数段階に振ったパッチ画像を、プリンタ１１０が出力した画像（出力物）上に投影する。または、輝度をＬ＝Ｌｓに設定したプロジェクタ１２０で、ａ＝−２００〜２００、ｂ＝−２００〜２００まで数段階に振ったパッチ画像を投影する。さらに、プロジェクタのそれぞれの投影輝度に対して先にプリンタで出力したパッチ画像を測定し、３ＤＬＵＴを作成する。
【００５７】
ステップＳ６０４において、画像振り分け部４０１は、図９に示すシステムの色域に基づき、Ｙｓ（またはＬｓ）を更新し、ステップＳ６０５の処理に進む。図９に示す内側のひし形の領域９０１は、第１実施形態のシステムの色域、すなわち基本色域を示す。外側のひし形の領域は、第２実施形態のシステムの色域を示す。領域９０２は、第２実施形態のシステムの色域のうち、第１実施形態のシステムの色域よりも輝度成分が大きい領域を示す。領域９０３は、第２実施形態のシステムの色域のうち、第１実施形態のシステムの色域よりも輝度成分が小さい領域を示す。領域９０４は、第２実施形態におけるシステムの色域のうち、第１実施形態のシステムの色域よりも色差成分が大きい領域を示す。つまり、領域９０２，９０３はプリンタ１１０のみでは再現不可である色域であって、プリンタ１１０とプロジェクタ１２０とを合せて用いることで再現可能となる色域を表している。また、領域９０４は、プロジェクタ１２０のみでは再現不可である色域であって、プリンタ１１０とプロジェクタ１２０とを合せて用いることで再現可能となる色域を表している。画像振り分け部４０１は、ステップＳ６０１で取得した画素の輝度成分が領域９０２に属するときは、以下の式１６を用いてＹｓ（またはＬｓ）を更新し、該輝度成分が領域９０３に属するときは、以下の式１７を用いてＹｓ（またはＬｓ）を更新する。式１６及び式１７における“８”や“５”といった数値はユーザによって指定可能であり、画像処理装置２００が備える記憶装置（図示せず）等に予め格納されているものとする。  
Ｙｓ＝Ｙｓ＋８（または、Ｌｓ＝Ｌｓ＋５）  ・・・(式１６)
Ｙｓ＝Ｙｓ−８（または、Ｌｓ＝Ｌｓ−５）  ・・・(式１７)
【００５８】
ステップＳ６０５において、画像振り分け部４０１は、Ｙｓ（またはＬｓ）を用いて、低周波輝度成分画像データを作成する。より具体的には、画像振り分け部４０１は、ステップＳ６０１で取得した画素と同じ画素位置にＹｓ（またはＬｓ）を設定した画像データを作成する。この処理が輝度成分画像データの全画素について行われることで、低周波輝度成分画像データが生成される。図７に示すプロジェクタ用輝度成分画像７０５は、低周波輝度成分画像データによって示される画像の一例である。
【００５９】
ステップＳ６０６において、画像振り分け部４０１は、全画素について処理が終了したかどうかを判定する。全画素について処理が終了していれば（ステップＳ６０６のＹＥＳ）、処理は終了する。全画素について処理が終了していなければ（ステップＳ６０６のＮＯ）、処理はステップＳ６０１に戻る。
【００６０】
以上のようにして、図７に示すように、輝度成分画像７０２から、プロジェクタ用輝度成分画像７０５が生成される。プロジェクタ用輝度成分画像７０５は、各画素に１２８，１３６（＝１２８＋８），１２０（＝１２８−８）のいずれかの画素値が設定された、低周波の輝度成分画像である。なお、図７に示すプリンタ用輝度成分画像７０４は、画像振り分け部４０１から第１の画像生成部１０３に転送される輝度成分画像データによって示される画像であり、輝度成分画像７０２と同一である。また、プリンタ用画像７０８は、輝度成分画像データと低周波色差成分画像データとを合成して得られる合成画像データによって示される画像の一例である。
【００６１】
また、画像振り分け部４０１は、色差成分画像データの各画素について上記の処理を同様に行って、低周波色差成分画像データを生成する。図７に示すプリンタ用色差成分画像７０６は、低周波色差成分画像データによって示される画像の一例である。なお、色差成分画像データの各画素について上記の処理を行う場合には、ステップＳ６０２において、プリンタ１１０の色差成分初期値を設定すればよい。色差成分初期値はＣｒｓ＝Ｃｂｓ＝０（またはａｓ＝ｂｓ＝５０）である。また、ステップＳ６０３において、ステップＳ６０１で取得した画素の色差成分が、プラス側（図９において右側）の領域９０４に属するときには、式１６と同様の式を用いてＣｒｓとＣｂｓ（または、ａｓとｂｓ）を更新すればよい。また、ステップＳ６０３において、ステップＳ６０１で取得した画素の色差成分がマイナス側（図９において左側）の領域９０４に属するときには、式１７と同様の式を用いてＣｒｓとＣｂｓ（または、ａｓとｂｓ）を更新すればよい。なお、図７に示すプロジェクタ用色差成分画像７０７は、画像振り分け部４０１から第２の画像生成部１０４に転送される色差成分画像データによって示される画像であり、色差成分画像７０３と同一である。また、プロジェクタ用画像７０９は、色差成分画像データと低周波輝度成分画像データとを合成して得られる合成画像データによって示される画像の一例である。
【００６２】
以上のように、本実施形態では、入力画像の輝度成分をプロジェクタ１２０にも出力させるようにしているので、再現画像におけるダイナミックレンジをさらに拡大させることができる。それにより、例えば、図８に示す入力画像８０１のように、被写体（人物）にスポットライトが当たっている場面を撮影して得られた画像を表示する際に、スポットライトが被写体に当たる様子をより忠実に再現することが可能となる。なお、図８に示す画像８０２〜８０９は、画像７０２〜７０９と同様である。すなわち、画像８０２〜８０９は、入力画像８０１に対して本実施形態における画像処理を適用した場合に処理過程において生成される画像データによって示される画像のそれぞれに対応する。なお、説明の簡単のため、画像８０２〜８０９についての説明は省略する。
【００６３】
また、本実施形態では、入力画像の輝度成分をプロジェクタ１２０に出力させる際に、高周波の輝度成分画像同士が重畳されないように、低周波な輝度成分画像を生成し、それをプロジェクタ１２０に出力させるようにしている。よって、プリンタ１１０とプロジェクタ１２０との両方に輝度成分画像を出力させた場合でも、画素ずれによる画質の劣化を目立たちにくくすることができる。
【００６４】
また、本実施形態では、入力画像の色差成分をプリンタ１１０にも出力させるようにしているので、再現画像における色域をさらに拡大させることができる。よって、例えば、図７に示す入力画像７０１における被写体（車）のボディの色や“ＡＢＣ”などの文字の色が彩度の高い色（蛍光の黄緑色や蛍光のオレンジ色など）である場合でも、再現画像においてそれらの色をより忠実に再現することが可能となる。なお、本実施形態では、低周波色差成分画像データを生成する際に、低周波輝度成分画像データを生成する場合と同様の手法で低周波な画像データを生成するようにしている。しかし、高周波の色差成分画像同士を重畳させた場合は、高周波の輝度成分画像同士を重畳させた場合と比較して画素ずれが目立ちにくい。したがって、低周波色差成分画像データは、必ずしも低周波輝度成分画像データと同程度に低周波にする必要はなく、上記以外の手法で生成するようにしてもよい。
【００６５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６６】
１０２  画像分割部
１０３  第１の画像生成部
１０４  第２の画像生成部
【図１】
2019067097.tif 000018
【図２】
2019067097.tif 000019
【図３】
2019067097.tif 000020
【図４】
2019067097.tif 000021
【図５】
2019067097.tif 000022
【図６】
2019067097.tif 000023
【図７】
2019067097.tif 000024
【図８】
2019067097.tif 000025
【図９】
2019067097.tif 000026