(57)【要約】【課題】  時間的変化のある領域を有する表示画像に対して、印刷画像と投影画像を適応的に決定することで、画像の変化に追従可能な画像処理システムを提供すること。【解決手段】  印刷する画像データとプロジェクタで投影する画像データの元になる元画像データを入力する入力手段と、印刷物に画像が投影された状態における画像の時間的な変化のある領域とそうでない領域を判定する判定手段と、元画像から印刷画像情報と投影画像情報を生成する画像生成手段と、前記画像生成手段は、前記時間的な変化のある領域に対して、印刷画像の印刷濃度を弱めて生成することを特徴とする。【選択図】図２
2020087052.tif 000002
【特許請求の範囲】
【請求項１】
印刷する画像データとプロジェクタで投影する画像データの元になる元画像データを入力する入力部と、
印刷物に画像が投影された状態における画像の時間的な変化のある領域とそうでない領域を判定する判定部と、
元画像から印刷画像情報と投影画像情報を生成する画像生成部と、を有し、
前記画像生成部は、前記時間的な変化のある領域に対して、印刷画像の印刷濃度を弱めて生成することを特徴とする画像生成システム。
【請求項２】
前記元画像データは、動画像、あるいは静止画に対してユーザー指定値に従い時間的に変化させた画像であることを特徴とする請求項１に記載の画像生成システム。
【請求項３】
前記時間的な変化は、物体の形状が空間的に移動する物体移動量、あるいは画像の色味が変化する色変化量の少なくとも１つの変化であることを特徴とする請求項１又は２に記載の画像生成システム。
【請求項４】
前記画像生成部は、物体移動量が検出された場合には、プリンタで印刷する印刷物の輝度を高める、または彩度を弱めることを特徴とする請求項１乃至３の何れか一項に記載の画像生成システム。
【請求項５】
前記画像生成部は、色変化が検出された場合には、プリンタで印刷する印刷物の彩度を弱めることを特徴とする請求項１乃至３の何れか一項に記載の画像生成システム。
【請求項６】
前記画像生成部は、色変化が検出された場合に、色変化の変化幅に応じて、プリンタで印刷する印刷物の彩度を決定することを特徴とする請求項１乃至５の何れか一項に記載の画像生成システム。
【請求項７】
前記画像生成部は、色変化が検出された場合の色変化の変化幅が大きいほど、プリンタで印刷する印刷物の彩度を弱めることを特徴とする請求項１乃至６の何れか一項に記載の画像生成システム。
【請求項８】
前記画像生成部は、印刷情報、及び投影情報に基づいて、印刷画像と投影画像を決定することを特徴とする請求項１乃至７の何れか一項に記載の画像生成システム。
【請求項９】
前記印刷情報は、紙の種類、反射率であることを特徴とする請求項１乃至８の何れか一項に記載の画像生成システム。
【請求項１０】
前記投影情報は、プロジェクタの型番、輝度特性、色域情報であることを特徴とする請求項１乃至８の何れか一項に記載の画像生成システム。
【請求項１１】
印刷する画像データとプロジェクタで投影する画像データの元になる元画像データにおいて、あるフレームにおいて同じ輝度、同じ色であるにもかかわらず、時間的または空間的な変化をしない領域と時間的または空間的な変化をする領域とでは、印刷画像の印刷濃度が異なることを特徴とする画像生成システム。
【請求項１２】
前記印刷濃度において、時間的または空間的な変化をする領域の印刷物の輝度は、時間的または空間的な変化をしない領域の印刷物の輝度に比べて高いことを特徴とする請求項１１に記載の画像生成システム。
【請求項１３】
前記印刷濃度において、時間的または空間的な変化をする領域の印刷物の彩度は、時間的または空間的な変化をしない領域の印刷物の彩度に比べて低いことを特徴とする請求項１１に記載の画像生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のデバイスの組み合わせによって一つの画像を再現する画像処理システムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等で撮影した自然界の被写体を、高いダイナミックレンジを持ったハイダイナミックレンジ画像（以下ＨＤＲ画像と記す）として取り扱う機会が増えてきている。ＨＤＲ画像を人間の視覚に対して忠実に再現することが求められており、忠実に再現することが出来れば、色や階調、質感等の表現力が増すため、その利用が期待されている。
【０００３】
一方で、液晶ディスプレイ、有機ＥＬ等の各種直視型デバイスの表示能力が進化しているとはいえ、その再現範囲は、一般的に１〜１０００ｃｄ／ｍ２程度である。従って、例えば１０００ｃｄ／ｍ２を超えるようなＨＤＲ画像をこれらのデバイスで再現するためには、トーンマッピングと呼ばれる階調圧縮処理を施す必要がある。このような場合には、ＨＤＲ画像が本来持っているダイナミックレンジを十分に表現しきれていないことになる。
【０００４】
そこで、輝度のダイナミックレンジや色域拡大を目的に、印刷物にプロジェクタで投影することでコントラストを向上させる技術が提案されている（特許文献１）。
【０００５】
また、従来の印刷投影に加えて、印刷物に対して、画像の一部に別の画像や色味の異なる画像を投射することで、臨場感を高めエンターテインメント性を出す試みも行われている（特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１０３８６３号公報
【特許文献２】特開２０１３−８８８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献に開示された従来技術では、印刷物に投影する画像が印刷物と同じ画像が前提であるため、印刷物と投影画像が異なる場合に、別の画像が重畳されるため所望の表現が実現出来ない。また画像に色味の変化があった場合に、印刷物が一様に決まらないという課題があった。
【０００８】
また、印刷物に単純に別な画像を投影すると、印刷物の絵柄によっては投影画像を正確に表現することが出来ず、例えば、印刷物内の高周波領域に低周波画像を投影した場合、低周波画像に高周波成分が混じってしまい、投影画像を正確に表現出来ないという課題があった。
【０００９】
そこで、本発明の目的は、時間的変化のある領域を有する表示画像に対して、印刷画像と投影画像を適応的に決定することで、画像の変化に追従可能な画像処理システムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係る画像生成システムは、
印刷物にプロジェクタの出力光を照射する画像処理システムであって、印刷する画像データとプロジェクタで投影する画像データの元になる元画像データを入力する入力手段と、印刷物に画像が投影された状態における画像の時間的な変化のある領域を判定する判定手段と、元画像から印刷画像情報と投影画像情報を生成する画像生成手段と、を有し、前記画像生成手段は、前記時間的な変化のある領域に対して、印刷画像の印刷濃度を弱めて生成することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、時間的変化のある領域を有する表示画像に対して、印刷画像と投射画像を適応的に決定することで、画像の変化に追従可能な画像処理システムの提供を実現できる。
【図面の簡単な説明】
【００１２】
【図１】実施例１に係る、画像処理システムの構成図
【図２】実施例１に係る、パソコン１０１の内部ブロックを示す構成図
【図３】実施例１に係る、空間動き変化の概念を表す図
【図４】実施例１に係る、色味変化の概念を表す図
【図５】実施例１に係る、印刷画像ＰＤの生成フローの流れを示す図
【図６】実施例１に係る、投影画像ＧＤの生成フローの流れを示す図
【図７】実施例１に係る、印刷情報ＰＩの一例を示す図
【図８】実施例１に係る、投影情報ＴＩの一例を示す図
【図９】実施例１に係る、空間動き変化のある画像に対する画像生成方法を示す図
【図１０】実施例１に係る、色味変化のある画像に対する画像生成方法を示す図
【図１１】実施例２に係る、パソコン１０１の内部ブロックを示す構成図
【図１２】実施例２に係る、オリジナル画像Ａ、Ｂの一例を示す図
【図１３】実施例２に係る、オリジナル画像重畳の一例を示す図
【図１４】実施例３に係る、パソコン１０１の内部ブロックを示す図
【図１５】実施例３に係る、印刷画像ＰＤの生成フローの流れを示す図
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１４】
本発明の実施例１における画像処理システムの構成図を図１に示す。
【００１５】
パソコン１０１は、オリジナル画像ＯＤ、投影情報ＴＩ、及び印刷情報ＰＩから、投影用画像ＧＤと印刷用画像ＰＤを生成する。パソコン１０１の内部動作の詳細については、後述する。
【００１６】
オリジナル画像とは、デジタルカメラ等により入力されたカラー画像データや、ＣＧのようなグラフィックス画像を、ＸＹＺの信号に変換した画像である。オリジナル画像ＯＤのＸＹＺ信号がパソコン１０１に入力されると、パソコン１０１は、入力されたＸＹＺ信号をプロジェクタ１０２で投影するための投影用画像ＧＤとプリンタ１０３で印刷するための印刷用画像ＰＤに変換してそれぞれ出力する。つまり、パソコン１０１は、デバイス画像生成手段として機能し、入力されたＸＹＺ信号から、プロジェクタ１０２用のＲＧＢ信号とプリンタ１０３用のＣＭＹ信号を生成してそれぞれ出力する。
【００１７】
プロジェクタ１０２は、プリンタ１０３で印刷された印刷画像１０４に投影画像１０５を重畳して照射する。プロジェクタ１０２は、一般的なプロジェクタを用いればよく、例えば、ＤＬＰ方式の光学系を有するものや、ＬＣＯＳパネルを有するものなどを用いればよい。もちろん、これらの方式に限定されず、他の方式でも構わない。印刷画像１０４に投影画像１０５を重畳して照射することで、ダイナミックレンジ拡大、及び色域拡大が可能になる。それぞれの拡大効果については、先行技術で述べられている通りである。
【００１８】
プリンタ１０３は、印刷用画像ＰＤを印刷し、印刷画像１０４として表示面に配置される。本実施例における、印刷用画像ＰＤは、ＰＣ等の外部機器や、ＵＳＢメモリ等の記憶装置から入力するものとし、プリンタ１０３は、インクジェット方式の写真を印刷するタイプのプリンタとする。プリンタ１０３で印刷に使用する印刷紙はユーザーが好みに応じて選択すればよい。例えば、表面のざらざらしたマット紙や、表面に光沢感のある写真用紙などを選択する。
【００１９】
プロジェクタ１０２から投影された投影画像１０５を表示する表示面においては、配置された印刷画像１０４に、プロジェクタから投影された投影画像１０５を重畳して表示する。
【００２０】
次に、パソコン１０１の内部動作の詳細について説明する。以下の説明では、簡単のため、オリジナル画像ＯＤ、投影用画像ＧＤ、印刷用画像ＰＤ、は、光の強度にリニアに比例するＲＧＢ線形信号（８ｂｉｔ（０〜２５５階調））であるとして説明する。
【００２１】
また、必要に応じて適宜、ＲＧＢ線形信号のＲＧＢ値から、ＲＧＢ三原色の色度座標、及び白色点（Ｒ、Ｇ、Ｂ＝２５５、２５５、２５５）として設定された白色点色度座標と輝度値に基づき、ＣＩＥのＸＹＺ値とｘｙ色度座標が算出される。前記の白色点色度座標と輝度値を基準として、ＣＩＥのＬ＊ａ＊ｂ＊値が算出される。各画素の輝度は、各画素のＸＹＺ値のうちのＹ値として表され、彩度は、Ｌ＊ａ＊ｂ＊値のうちのａ＊値、ｂ＊値からその二乗平均として算出されるＣ＊ａｂとして表される。
【００２２】
以下の実施例の計算においては、ＲＧＢ三原色の色度座標はＩＴＵ−Ｒ  ＢＴ．７０９規格に基づくものとしている。白色点の白色点色度座標はＤ６５光源相当、輝度値は２５５［ｃｄ／ｍ２］として計算している。
【００２３】
図２は、パソコン１０１の内部構成を示すブロック図である。
【００２４】
時間変化算出部２０１は、入力されたオリジナル画像ＯＤに対して、時間的な変化を有する場所、領域を検出する。本実施例における時間的な変化とは、物体の空間的な移動を表す空間動き判定結果ＭＶと、画像の色味の変化を表す色味変化判定結果ＣＯＬの２種類である。それぞれ画素ごとに判定されるため、領域ごとに時間的な変化があるか否かを判定出来る。
【００２５】
図３を用いて、物体の空間的な移動を表す空間動き判定結果ＭＶの算出方法について詳細に説明する。図３は、物体の空間的な移動のイメージを示す概念図である。
【００２６】
図３において、背景３０１と山３０２については、時間的な画素値の変化はない静止領域である。図３において、横軸に示した時間は、Ｔ１→Ｔ２→Ｔ３と進むにつれて時間が経過している様子を示している。車３０３は、時間が経過するにつれ、左側から右側で順次移動していく。このような画像において、時間変化算出部２０１では、車３０３の移動の有無が画素ごとに判定される。
【００２７】
本実施例では、フレーム間の画素値の相関を見ることで移動の有無を判定する。例えば、時間的に異なるＴ１フレームとＴ２フレームの画像に対してブロックマッチング法を用いることで、物体の移動が検出された画素に対しては、空間動き判定結果ＭＶ＝１と判定され、移動が検出されなかった画素に対しては、空間動き判定結果ＭＶ＝０と判定される。この空間動き判定を入力された各画素ごとに行い、画面全体の画素数分（水平ｈ画素、垂直ｖ画素とすると、ｈ×ｖ画素）の空間動き判定結果ＭＶ（ｘ、ｙ）が出力される。
【００２８】
本実施例では、ブロックマッチング法を用いて、物体の空間的な移動の判定を行ったが、もちろん他の手法でも構わない。例えば、フレーム間の画素値の差分に応じて動きの有無を検出すればよい。また、判定結果が２値の場合を示したが、多値でもよい。判定結果のビット数が多ければ多いほど、精度を高く制御することが可能になる。
【００２９】
フレームごとに算出された空間動き判定結果ＭＶの値を、入力されたオリジナル画像ＯＤ全フレームに対して再度検証を行い、全フレームのいずれかのフレームで「動きあり」と判定された画素については、空間動き判定結果ＭＶ（ｘ、ｙ）＝１を出力する。逆に、全フレームすべてのフレームで「動きなし」と判定された画素については、空間動き判定結果ＭＶ（ｘ、ｙ）＝０を出力する。
【００３０】
次に、図４を用いて、画像の色味の変化を表す色味変化判定結果ＣＯＬの算出方法について詳細に説明する。図４は、色味の変化のイメージを示す概念図である。
【００３１】
図４において、背景４０１は時間が経過するにつれて色味が変化する領域である。例えば、図４では、Ｔ１の時間に位置する画像の背景４０１がグレー、Ｔ２の時間に位置する画像の背景４０１が青、Ｔ３の時間に位置する画像の背景４０１が赤等である。山４０２は時間的な色味の変化がない領域である。このような画像において、時間変化算出部２０１では、背景４０１の色味の変化が判定される。
【００３２】
次に、色味変化判定結果ＣＯＬの算出方法について、より詳細に説明する。まず、オリジナル画像ＯＤのＲＧＢ線形信号のＲＧＢ値から、ＣＩＥのＸＹＺ値とｘｙ色度座標を算出する。算出されたｘｙ色度座標に基づいて、色味変化判定結果ＣＯＬを判定する。算出されたｘｙ色度座標値に基づいて、白色点色度座標値を（ＴＷｘ、ＴＷｙ）、画素ごとの色度座標値を（Ｔｘｐ、Ｔｙｐ）とする。
【００３３】
画素ごとに、白色点色度座標値（ＴＷｘ、ＴＷｙ）からのずれを毎フレーム判定する処理を行い、この処理をオリジナル画像の全フレームに対して実施する。具体的には、対象画素の色度点が、白色点色度座標値（ＴＷｘ、ＴＷｙ）に対して、水平方向＋側、及び垂直方向＋側に、全フレームの中で最もずれた色度点との差分量（ＴＤｘｐ、ＴＤｙｐ）を算出する。同様に、水平方向＋側、垂直方向−側に、全フレームで最もずれた色度点との差分量（ＴＤｘｐ、ＴＤｙｍ）、水平方向−側、垂直方向＋側に、全フレームで最もずれた色度点との差分量（ＴＤｘｍ、ＴＤｙｐ）、水平方向−側、垂直方向−側に、全フレームで最もずれた色度点との差分量（ＴＤｘｍ、ＴＤｙｍ）を算出する。
【００３４】
これらの情報を用いて、プロジェクタで投影画像ＰＤを投射することですべてに色が再現可能な最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）を算出する。最小色域色度点ＭＩＮＣの算出方法の詳細を以下に示す。
【００３５】
まず、色度点差分量の水平方向に対して、＋側と−側の差分がある場合は、再現可能な最小色域色度点ＭＩＮＣは、白色点色度座標値（ＴＷｘ、ＴＷｙ）と算出される。同様に、色度点差分量の垂直方向に対して、＋側と−側の差分がある場合も、再現可能な最小色域色度点ＭＩＮＣは、白色点色度座標値（ＴＷｘ、ＴＷｙ）と算出される。
【００３６】
次に、色度点差分量の水平方向、垂直方向共に、同じ符号の差分の場合は、水平：＋側、垂直：＋側で算出された色度点差分量から算出された色度点、あるいは、水平：−側、垂直：−側で算出された色度点差分量から算出された色度点を、最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）とする。時間的な色味変化がない場合は、白色点色度座標値（ＴＷｘ、ＴＷｙ）からのずれがすべてのフレームで同じであるため、最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）は、入力された画像の色度点となる。
【００３７】
算出された最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）を、色味変化判定結果ＣＯＬとして、画像生成部２０２へ伝送する。
【００３８】
以上、示したように本実施例での色味変化判定結果ＣＯＬは、オリジナル画像全フレームに対して検証を行うことで、時間的に変化のある画像に対しても、適切な印刷画像を生成することが可能になる。
【００３９】
画像生成部２０２は、時間変化算出部２０１で算出した空間動き判定結果ＭＶ、色味変化判定結果ＣＯＬ、及び投影情報ＴＩ、印刷情報ＰＩに従って、印刷画像ＰＤと投影画像ＧＤを出力する。
【００４０】
図５に、空間動き判定結果ＭＶ、色味変化判定結果ＣＯＬ、及び投影情報ＴＩに従って、印刷画像ＰＤを生成するフローを示す。
【００４１】
Ｓ１０１で、印刷画像ＰＤの生成フローが開始される。
【００４２】
Ｓ１０２で投影情報ＴＩを取得する。投影情報ＴＩは、例えば、プロジェクタの型番、輝度特性、色域情報などの情報である。詳細については後述する。
【００４３】
Ｓ１０３で、空間動き判定結果ＭＶの値に応じて処理の切り替えを行う。空間動き判定結果ＭＶが１である場合、つまり対象画素に空間的な動きがある場合は、Ｓ１０４へ進む。空間動き判定結果ＭＶが０の場合、つまり対象画素に空間的な動きがない場合には、Ｓ１０５へ進む。
【００４４】
Ｓ１０４で、輝度を高め、彩度を弱めた印刷画像ＰＤを作成する。オリジナル画像ＯＤの画素ごとの輝度、彩度は、前述のように各画素ごとのＹ、Ｃ＊ａｂ、として表される。この値を適宜、Ｙを高め、Ｃ＊ａｂを低める処置を行い、それを再びＸＹＺ値を経てＲＧＢ値に逆変換する。
【００４５】
本実施例においては、少々極端であるが、Ｓ１０４で決定される印刷画像の輝度の高め度合、彩度成分の弱め度合いは、空間動き判定結果ＭＶ＝１の時に、印刷画像の輝度成分を２５５、彩度成分を０にする。Ｒ、Ｇ、Ｂ＝２５５、２５５、２５５になる。つまり、印刷しない白色紙の状態であることを示している。本実施例では、２値の制御方法を示したが、もちろん多値の値を持った制御を行っても構わない。その場合は、空間動き判定結果ＭＶの値が大きさに応じて、印刷画像の輝度、彩度成分をアナログ的に制御すればよい。
【００４６】
Ｓ１０５で、色味変化判定結果ＣＯＬと投影情報ＴＩに基づいて印刷画像ＰＤを生成する。具体的には、時間変化算出部２０１で算出された色味変化判定結果ＣＯＬに格納されている最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）に従って、印刷画像ＰＤを生成する。前述の手順の逆を行い、ｘｙ色度座標値である最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）をＲＧＢ値に変換する。
【００４７】
色味の変化がない画像の場合、最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）の彩度Ｃ＊ａｂが高いため、このような場合は、彩度の高い印刷画像ＰＤが生成される。逆に、色味の変化が多い画像の場合、最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）の彩度Ｃ＊ａｂが低いため、このような場合は、彩度の低い印刷画像ＰＤが生成され、投影画像で色味の表現を行うことになる。
【００４８】
また、Ｓ１０４で生成した、空間動き判定結果ＭＶ＝１、つまり動きありの領域の印刷画像は輝度成分が２５５、彩度成分が０で、さらに彩度のプロジェクタのみの投影に依存することになるため、通常の印刷画像領域より、彩度が低くなる可能性がある。このような場合には、バランスを取るため、Ｓ１０５で生成する動きなしの領域の印刷画像も、プロジェクタの再現可能色域範囲を考慮して生成する。つまり、投影情報ＴＩとして格納されているプロジェクタの再現可能色域範囲を使用することで、プロジェクタの再現可能色域範囲が低い場合には、印刷画像ＰＤの彩度も色味変化判定結果ＣＯＬに格納されている最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）よりも低めに生成する。
【００４９】
Ｓ１０６で、全画素分の処理が完了したかどうかの判定を行う。全画素分終了していれば、Ｓ１０７で印刷画像ＰＤの生成フローが終了となる。全画素分終了していない場合には、Ｓ１０３に戻り、全画素分処理が完了するまで、Ｓ１０３〜Ｓ１０５を繰り返す。
次に、図６に、空間動き判定結果ＭＶ、印刷情報ＰＩ、及び投影情報ＴＩに従って、投影画像ＧＤを生成するフローを示す。
【００５０】
Ｓ２０１で、投影画像ＧＤの生成フローが開始される。
【００５１】
Ｓ２０２で印刷情報ＰＩを取得する。印刷情報ＰＩは、例えば、印刷紙の種類、反射率などであり、投影情報ＴＩは、プロジェクタの型番、輝度特性、色域情報などである。図７に、印刷情報ＰＩの一例を示す。図７は、印刷物係数を算出するテーブルであり、印刷用紙の種類に対応した印刷物反射係数が格納されている。つまり、印刷用紙の種類を指定すると、それに対応した印刷物反射係数が決定される。
【００５２】
図７を見て分かるとおり、用紙Ａ（マット）の印刷物反射係数０．５より、用紙Ｃ（光沢）の印刷物反射係数１．２の方が紙の表面の反射率が高いため、投影画像の表示輝度が高くなる。
【００５３】
Ｓ２０３で、投影情報ＴＩを取得する。投影情報ＴＩは、図５のＳ１０２で取得した投影情報と同様である。
【００５４】
Ｓ２０４で、空間動き判定結果ＭＶの値に応じて処理の切り替えを行う。空間動き判定結果ＭＶが１である場合、つまり対象画素に空間的な動きがある場合は、Ｓ２０５へ進む。空間動き判定結果ＭＶが０の場合、つまり対象画素に空間的な動きがない場合には、Ｓ２０６へ進む。
【００５５】
Ｓ２０５で、動き領域部の投影画像ＧＤを生成し、Ｓ２０６で静止領域部の投影画像ＧＤを生成する。ここでは、投影情報ＴＩとしてプロジェクタの輝度特性を用いる。
【００５６】
図８に、投影情報ＴＩの一例を示す。図８（ａ）は、通常印刷領域における、投影画像の「階調−輝度」特性であり、図８（ｂ）は、印刷無し領域における、投影画像の「階調−輝度」特性の一例を示した図である。通常印刷領域とは、投影画像と同じ画像が印刷されている領域である。また、印刷無し領域とは、画像に動きが検出された（空間動き判定結果ＭＶが０でない）領域のことである。
【００５７】
図８を見て分かる通り、入力階調に応じた表示輝度が定義されており、同じ入力階調に対して、印刷無し領域の方が輝度が高く表示され、また、印刷されている領域の方が、暗部がより黒く表現可能なような特性を持っている。これは、印刷面に印刷されている領域の方が、反射係数が下がるためである。
【００５８】
これらの情報を用いて、動き領域部の投影画像ＧＤ、及び静止領域部の投影画像ＧＤを生成する処理の詳細説明をする。
【００５９】
空間動き判定結果ＭＶ＝１の領域（動き領域部）の輝度をＭＩ、空間動き判定結果ＭＶ＝０の領域（静止領域部）の輝度をＳＩとする。動き領域部輝度ＭＩは、印刷無し領域に投射光を照射した場合の強度であり、静止領域部輝度ＳＩは、通常印刷領域に投射光を照射した場合の強度である。
【００６０】
ここで、見た目の違和感を軽減するためには、オリジナル画像ＯＤにおける輝度が同じ場合には、ＭＩ＝ＳＩとなるように、投射光を決定する必要がある。印刷無し領域の印刷紙ゲインをＧ１、通常印刷領域の印刷紙ゲインをＧ２、印刷無し領域の投影画像ＧＤの輝度をＴＹＤ［ｃｄ／ｍ２］、通常印刷領域の投影画像ＧＤの輝度をＳＹＤ［ｃｄ／ｍ２］とすると、動き領域部輝度ＭＩ、静止領域部輝度ＳＩは以下の式１、式２で算出される。
【００６１】
ＭＩ＝ＴＹＤ×Ｇ１    ・・・（式１）
ＳＩ＝ＳＹＤ×Ｇ２    ・・・（式２）
ここで、Ｇ１、Ｇ２は印刷情報から得られた印刷物反射係数から決定する。印刷無し領域については、得られた印刷物反射係数をそのまま用い、通常印刷領域については、印刷輝度に応じて補正した印刷物反射係数を用いる。つまり、通常印刷領域は、印刷輝度が低いほど、印刷反射係数が小さくなるように補正を行う。これは、印刷された暗部領域は、光の反射が少ないためである。
【００６２】
まず、式（１）に従って、動き領域部輝度ＭＩを、入力階調輝度ＴＹＤに従って決定する。次に、ＭＩ＝ＳＩになるように、ＳＹＤ（静止領域部に照射する輝度）を決定する。このような処理を行うことで、印刷用画像と投影用画像を空間動き判定結果ＭＶの判定結果に応じて適応的に制御することが可能になり、動き領域／静止領域の境目を視認しにくくすることが可能になる。
【００６３】
図９、図１０に、本フローを適用した概念図を示す。図９は、Ｓ１０４のフローを適用した例である。
【００６４】
図９において、背景３０１、及び山３０２の領域（領域Ａ）は、図５のフローにより、時間的な空間的な変化、及び時間的な色味の変化が無しのフローとなるため、色味変化判定結果ＣＯＬに基づいて印刷画像ＰＤが生成される。つまり、輝度を高める処理、及び彩度を弱める処理は行わない印刷画像ＰＤが生成される。
【００６５】
これに対して、車３０３が時間的に移動する領域（領域Ｂ）は、時間的な空間的な変化があると判定されるため、図５のＳ１０４で印刷画像の輝度を高め、彩度を弱めた印刷画像ＰＤを生成する。図９の例では、空間動き判定結果ＭＶ＝１の領域に対しては印刷しない例を示している。
【００６６】
より具体的には、山３０２の変化しない領域（領域Ａ）と車が移動する領域（領域Ｂ）のうちの山のすそ野の部分は、オリジナル画像において同じ輝度、同じ色（茶色、ＲＧＢ＝１５５，７０，０）である。ただ、同じ輝度、色であるにも関わらず、領域Ａの山のすそ野の部分の投影画像ＧＤはＲＧＢ＝２５５、２５５、２５５、印刷画像ＰＤは、ＲＧＢ＝１５５、７０、０に設定され、車が移動している領域Ｂの山のすそ野の部分は、投影画像ＧＤはＲＧＢ＝１５５、７０、０、印刷画像ＰＤは、ＲＧＢ＝２５５、２５５、２５５に設定される。
【００６７】
この結果、領域Ａの山のすそ野の部分の印刷画像ＰＤは輝度を表すＹ値が８３、彩度を表すＣ＊ａｂ値が７０であるのに対し、車が移動している領域Ｂの山のすそ野の部分の印刷画像ＰＤは輝度を表すＹ値が２５５、彩度を表すＣ＊ａｂ値が０となる。
【００６８】
このように本発明においては、オリジナル画像において、同じ輝度、同じ色の画素であるにもかかわらず、時間的または空間的な変化をしない領域と時間的または空間的な変化をする領域とでは、印刷画像の印刷濃度が異なる。それに伴って、投影画像の輝度や色も異なる。
【００６９】
画像の動きを有する領域Ｂについては、投影画像はＴ１〜Ｔ３にかけて画像を表示し、投影画像で動きを表現する。逆に、画像に動きの無い領域Ａについては、印刷物で表現するため、投影画像としては領域Ａには投射画像を照射することで、印刷＋照明システムの効果でダイナミックレンジ拡大、及び色域拡大の効果が高まる。
【００７０】
図１０は、Ｓ１０５のフローを適用した例である。
【００７１】
図１０において、背景４０１の領域（領域Ａ）は、時間的な色味の変化があるため、図５のＳ１０５で色味変化判定結果ＣＯＬに従って印刷画像ＰＤの彩度が決定する。時間的な色味の変化がある領域においては、時間変化算出部２０１で彩度の低い最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）が算出されるため、結果として彩度の低い印刷画像ＰＤが生成される。図１０の例では、領域Ａは、グレー階調（白黒表示）で印刷する例を示している。
【００７２】
これに対して、山４０２の領域（領域Ｂ）は時間的な空間的な変化、及び時間的な色味に変化がなしのため、時間変化算出部２０１でオリジナル画像に基づいた最小色域色度点ＭＩＮＣ（Ｃｘ、Ｃｙ）が算出されるため、輝度を高め、彩度を弱める処理を行わない印刷画像ＰＤが生成される。
【００７３】
このように制御を行うことで、山４０２の精細感や高色域感、コントラスト感と、背景４０１の色味の変化を両立して表現することが可能になる。
【００７４】
本実施例では、投影情報ＴＩとして、プロジェクタの輝度特性や色域特性の例を示したが、もちろん他の情報を用いてもよい。例えば、プロジェクタの輝度特性や色域特性に紐づいたプロジェクタの型番を用いても本実施例と同様の処理が可能になる。
【００７５】
また、本実施例では、印刷物に画像が投影された状態における画像の時間的な変化のある領域とそうでない領域を判定する判定部を、時間変化算出部２０１とし、ブロックマッチング法を用いてＭＶとＣＯＬの２種類の指標を算出してこれによって判断するものとしたが、本発明はこれに限るものではない。結果的に画像の時間的な変化のある領域とそうでない領域が判定されるのであれば、その手法やその算出方法はどのようなものであっても良い。さらに、オリジナル画像データを基に一定の処理手順によって判定するものでなく、外部から別途、画像の時間的な変化のある領域とそうでない領域の情報を取得して、それに基づいて判定するものであっても良い。
【００７６】
また、オリジナル画像データを入力する入力部、印刷物に画像が投影された状態における画像の時間的な変化のある領域とそうでない領域を判定する判定部、オリジナル画像から印刷画像情報と投影画像情報を生成する画像生成部はハードウェア、あるいはソフトウェアとして明示的に各々に分かれていなくても良い。単一のハードウェア、あるいはソフトウェアの内部で実現されていても良い。あるいは複数のハードウェア、ソフトウェアの協調によって実現されていてもよい。
【００７７】
以上説明したように、時間的変化のある領域を有する表示画像に対して、印刷画像と投射画像を適応的に決定することで、画像の変化に追従可能な画像処理システムを提供することが可能になる。
【００７８】
また、印刷紙ゲイン、及びプロジェクタの輝度特性に基づいて動き領域、及び非動き領域の輝度を制御することで、判定の境界が視認しにくい表示が可能になる。
【実施例２】
【００７９】
実施例１では、オリジナル画像が、「印刷物に投射用画像を投影することが前提の動画像」である例を示したが、実施例２では、オリジナル画像に、複数枚の静止画を使用することで、ユーザーが任意に移動量、色合い変化を設定することで、印刷物に投射用画像を投影した際に、表示画像が時間的に変化する動画となる例を示す。以下、実施例１と異なる構成や処理について詳しく説明し、実施例１と同様の構成や処理についての説明は省略する。
【００８０】
本発明の実施例２における画像処理システムの構成図を図１１に示す。画像合成部５０１は、オリジナル画像Ａ、オリジナル画像Ｂ、及びユーザー指定画像調整値から、合成画像ＭＤ、空間動き判定結果ＭＶ、及び色味変化判定結果ＣＯＬを画像調整部５０２へ出力する。
【００８１】
本実施例では、２枚の静止画を入力する想定である例を示す。オリジナル画像Ａは、合成画像ＭＤに対して、メイン構成となる静止画像、オリジナル画像Ｂは、メインの静止画像内を移動する移動物体画像である。オリジナル画像Ａとオリジナル画像Ｂのイメージ図を図１２に示す。図１２の（ａ）は、背景６０１に山６０２が配置された静止画像である。図１２の（ｂ）は、車６０３が配置された静止画像である。
【００８２】
画像合成部５０１では、ユーザー指定画像調整値に従って、オリジナル画像Ａの上に、オリジナル画像Ｂが重畳されて合成画像ＭＤとなる。ユーザー指定画像調整値は、ユーザーが複数種類の画像を合成する設定値のことである。本実施例では、ユーザー指定画像調整値は、オリジナル画像Ａ上に、オリジナル画像Ｂを配置する位置（水平座標Ｘ、垂直座標Ｙ）、及びオリジナル画像Ｂを移動させる際の移動方向／移動量（ベクトル）を設定する。
【００８３】
図１３にオリジナル画像Ａにオリジナル画像Ｂを合成する際のイメージ図を示す。オリジナル画像Ａに対してユーザーが設定した配置座標（Ｘ、Ｙ）上に、オリジナル画像Ｂが配置される。そして、ユーザーが指定した移動量ＶＥＣ（Ｘ、Ｙ）に従って、フレームごとにオリジナル画像Ａ上にオリジナル画像Ｂを移動させて合成画像ＭＤが生成される。
【００８４】
空間動き判定結果ＭＶ、色味変化判定結果ＣＯＬは、上記設定値（配置座標（Ｘ、Ｙ）、移動量ＶＥＣ（Ｘ、Ｙ））から、画像に時間的な変化がある領域や色味の変化がある領域に対してユーザー設定値に基づいた所定の値を出力する。値が持つ情報については、実施例１と同様であるため、詳細な説明は省略する。このような構成を持つことにより、実施例１で示した動画像のオリジナル画像を入力する以外にも、複数枚の静止画像に対して、重畳する配置位置、移動量等をユーザーが自由に設定して動画像を生成する例においても、同様の効果が得られる。
【００８５】
また、物体を重畳させて移動するケース以外にも、色の変化の設定をしてもよい。この場合、オリジナル画像Ａのメインの景色静止画に対して、ユーザーが、色味を変化させたい領域（範囲）、及び変化前ＲＧＢ値と変化後ＲＧＢ値を設定することで、色味変化判定結果ＣＯＬを算出することが出来る。この場合、ユーザーが指定した変化前と変化後の色味に対して、間の時間のフレーム画像の色味は、隣接フレーム間で線形補間することで算出する。
【００８６】
以上説明したように、予め作成されたオリジナル動画像を用いることなく、複数の静止画像に対して、ユーザーが任意に設定することで、時間的変化のある領域を有する表示画像に対して、印刷画像と投射画像を適応的に決定することが可能になる。結果として、画像の変化に追従可能な画像処理システムを提供することが可能になる。
【実施例３】
【００８７】
実施例３では、オリジナル画像が有する輝度値に基づいて印刷画像の輝度、彩度を弱める度合を制御する例を示す。以下、実施例１と異なる構成や処理について詳しく説明し、実施例１と同様の構成や処理についての説明は省略する。
【００８８】
本発明の実施例３における画像処理システムの構成図を図１４に示す。
【００８９】
輝度算出部７０１は、オリジナル画像ＯＤから輝度成分を算出するブロックである。具体的には、入力されたＲＧＢ画像から下記式３に従って輝度成分Ｙを算出する。
【００９０】
Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ  ・・・（式３）
式３は、一例としてＩＴＵ−Ｒ  ＢＴ．７０９規格に基づいた計算式の例を示したが、これに限定されることはなく、入力画像に応じて適宜決定すればよい。算出されたＹ成分が輝度情報として、画像生成部７０２へ出力される。
【００９１】
次に、画像生成部７０２の動作について説明する。画像生成部７０２では、時間変化算出部２０１で算出した空間動き判定結果ＭＶ、色味変化判定結果ＣＯＬ、輝度算出部７０３で算出された輝度成分Ｙ、及び投影情報ＴＩ、印刷情報ＰＩを用いて、印刷画像ＰＤと投影画像ＧＤを出力する。輝度成分Ｙ以外の情報については、実施例１と同様の考え方、動作をするため、詳細な説明は省略する。
【００９２】
本実施例では、時間変化がある領域（空間方向の動きがある、或いは色味の変化がある）に対して、対象領域の輝度値に応じて、印刷濃度の弱め度合いを制御する。
【００９３】
以下、より具体的に制御方法の詳細について説明する。図１５は画像の生成方法を示すフロー図である。
【００９４】
Ｓ３０１で、印刷画像ＰＤの生成フローが開始される。
【００９５】
Ｓ３０２で、輝度成分Ｙを閾値ＴＨと比較する。比較した結果、閾値ＴＨより高ければ、Ｓ３０４へ進む。閾値ＴＨより低ければ、Ｓ３０３へ進む。
【００９６】
Ｓ３０３で、印刷画像の輝度を高める度合い、及び彩度を弱める度合いを低減した印刷画像ＰＤを生成する。このような印刷画像ＰＤを生成する理由は、輝度が中輝度〜高輝度の領域に、投影画像を投射した場合、投影画像をはっきり視認することが可能であるためである。
【００９７】
Ｓ３０４で、印刷画像の輝度を高める度合い、及び彩度を弱める度合いを高めた印刷画像ＰＤを生成する。このような印刷画像ＰＤを生成する理由は、印刷物が暗い領域に、投影画像を投射した場合に、投影画像を視認しにくくなるため、このような場合は、投影画像を表示することで、暗部領域に物体が動くようなケースにおいても、視認性を高めることが可能になる。また、この場合には、暗部領域をプロジェクタで投影することになるので、動いた領域の低輝度部分に、黒浮きが発生する。従って、このような場合は、物体の視認性と、黒浮きの度合のトレードオフを考慮して閾値ＴＨを決定すればよい。
【００９８】
Ｓ３０５で、画面上の全画素に対して処理が終了していれば、Ｓ３０６で印刷画像ＰＤの生成フローが終了となる。終了していなければ、Ｓ３０２〜Ｓ３０４を繰り返す。
【００９９】
以上説明したように、輝度成分に応じて印刷画像の補正を行うことで、輝度成分量に適した印刷が可能になり、プロジェクタにて投影する動画を適応的に制御することが可能になる。結果として、印刷画像による精細感向上と投影画像によるダイナミックレンジ拡大が可能になる。
【符号の説明】
【０１００】
１０１  パソコン、１０２  プロジェクタ、１０３  プリンタ、
１０４  印刷画像、１０５  投影画像、２０１  時間変化算出部、
２０２，７０２  画像生成部、５０１  画像合成部、５０２  画像調整部、
７０１  輝度算出部
【図１】
2020087052.tif 000003
【図２】
2020087052.tif 000004
【図３】
2020087052.tif 000005
【図４】
2020087052.tif 000006
【図５】
2020087052.tif 000007
【図６】
2020087052.tif 000008
【図７】
2020087052.tif 000009
【図８】
2020087052.tif 000010
【図９】
2020087052.tif 000011
【図１０】
2020087052.tif 000012
【図１１】
2020087052.tif 000013
【図１２】
2020087052.tif 000014
【図１３】
2020087052.tif 000015
【図１４】
2020087052.tif 000016
【図１５】
2020087052.tif 000017