(57)【要約】【課題】  入力画像に基づいて複数の装置から出力された画像を重畳して１つの画像を生成する際に生じる、入力画像に対する重畳画像の鮮鋭度の低下を抑制するための画像処理を提供することを目的とする。【解決手段】  第１画像出力装置から出力された第１出力画像と、第２画像出力装置から出力された第２出力画像と、を重畳することによって１つの画像を生成するために、画像データを生成する画像処理装置であって、入力画像データを取得する第１取得手段と、前記第１画像出力装置に出力する第１出力画像データを取得する第２取得手段と、前記入力画像データと、前記第１出力画像データと、に基づいて、前記第２画像出力装置に出力する第２出力画像データを生成する生成手段と、を有し、前記第２出力画像データが表す画像の鮮鋭度は、前記第１出力画像データが表す画像の鮮鋭度に応じていることを特徴とする画像処理装置。【選択図】  図１
2018093472.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に基づいて第１画像出力装置から出力された第１出力画像と、前記入力画像に基づいて第２画像出力装置から出力され、前記第１出力画像よりも高解像度な第２出力画像と、を重畳することによって１つの画像を生成するために、前記第２画像出力装置に出力する画像データを生成する画像処理装置であって、
前記入力画像を表す入力画像データを取得する第１取得手段と、
前記入力画像データに基づいて生成された、前記第１画像出力装置に出力する第１出力画像データを取得する第２取得手段と、
前記入力画像データと、前記第１出力画像データと、に基づいて、前記第２画像出力装置に出力する第２出力画像データを生成する第１生成手段と、を有し、
前記第２出力画像データが表す画像の鮮鋭度は、前記第１出力画像データが表す画像の鮮鋭度に応じていることを特徴とする画像処理装置。
【請求項２】
前記第１画像出力装置と前記第２画像出力装置との少なくともいずれかはプロジェクタであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１画像出力装置はプロジェクタであって、前記第２画像出力装置はプリンタであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１画像出力装置と前記第２画像出力装置とはどちらもプロジェクタであることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記第１画像出力装置と前記第２画像出力装置とは、一方がプリンタであり、他方がディスプレイであることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記入力画像データに基づいて、前記第１出力画像データを生成する第２生成手段をさらに有し、
前記第２取得手段は、前記第２生成手段によって生成された前記第１出力画像データを取得することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記第２生成手段は、前記第１画像出力装置が出力する画像の画素数に応じて前記入力画像データの解像度を変換し、解像度が変換された前記入力画像データに基づいて、前記第１出力画像データを生成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記入力画像データと前記第１出力画像データとに基づいて、前記入力画像データが表す画像の鮮鋭度に対する前記第１出力画像データが表す画像の鮮鋭度の低下度合いを算出する算出手段をさらに有し、
前記第１生成手段は、前記算出手段によって算出された前記鮮鋭度の低下度合いに基づいて、前記第２出力画像データを生成することを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
前記入力画像データが表す画像のサイズに対する前記第１出力画像のサイズの第１倍率を取得する第３取得手段をさらに有し、
前記算出手段は、前記第１倍率に基づいて、前記入力画像データと前記第１出力画像データとを解像度変換するための第２倍率を算出し、前記第２倍率に基づいて、前記入力画像データと前記第１出力画像データとを解像度変換し、前記解像度変換された前記入力画像データと前記第１出力画像データとに基づいて、前記鮮鋭度の低下度合いを算出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記算出手段は、前記鮮鋭度の低下度合いとして、前記入力画像データが有する画素値と前記第１出力画像データが有する画素値との差分を算出することを特徴とする請求項８又は請求項９に記載の画像処理装置。
【請求項１１】
前記算出手段は、前記入力画像データに対して前記第２倍率に応じたハイパスフィルタを適用することによって、前記鮮鋭度の低下度合いを算出することを特徴とする請求項８又は請求項９に記載の画像処理装置。
【請求項１２】
前記第１生成手段は、前記入力画像データと前記鮮鋭度の低下度合いとに基づいて、前記入力画像データが表す画像の鮮鋭度を強調し、鮮鋭度を強調された画像を表す前記入力画像データに基づいて、前記第２出力画像データを生成することを特徴とする請求項８乃至請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記第１生成手段は、前記入力画像データが有する画素値に前記鮮鋭度の低下度合いを表す値を加算することによって、前記入力画像データが表す画像の鮮鋭度の強調を行うことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記第１生成手段は、前記鮮鋭度の低下度合いに応じたγ値を用いて前記入力画像データに対してγ補正を行うことによって、前記入力画像データが表す画像の鮮鋭度の強調を行うことを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記第１生成手段は、前記鮮鋭度の低下度合いに応じたフィルタを用いて前記入力画像データに対してエッジ強調を行うことによって、前記入力画像データが表す画像の鮮鋭度の強調を行うことを特徴とする請求項１２に記載の画像処理装置。
【請求項１６】
画像の重畳を行う環境における環境光の強度を取得する第４取得手段をさらに有し、
前記第１生成手段は、さらに前記環境光の強度に基づいて、前記第２出力画像データを生成することを特徴とする請求項１乃至請求項１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記第１画像出力装置と前記第２画像出力装置との少なくともいずれかの、画像を出力する際の出力特性を取得する第５取得手段をさらに有し、
前記第１取得手段は、前記出力特性に応じたフィルタを用いて補正された前記入力画像データを取得することを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
【請求項１８】
コンピュータを請求項１乃至請求項１７のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１９】
入力画像に基づいて第１画像出力装置から出力された第１出力画像と、前記入力画像に基づいて第２画像出力装置から出力され、前記第１出力画像よりも高解像度な第２出力画像と、を重畳することによって１つの画像を生成するために、前記第２画像出力装置に出力する画像データを生成する画像処理方法であって、
前記入力画像を表す入力画像データを取得する第１取得ステップと、
前記入力画像データに基づいて生成された、前記第１画像出力装置に出力する第１出力画像データを取得する第２取得ステップと、
前記入力画像データと、前記第１出力画像データと、に基づいて、前記第２画像出力装置に出力する第２出力画像データを生成する第１生成ステップと、を有し、
前記第２出力画像データが表す画像の鮮鋭度は、前記第１出力画像データが表す画像の鮮鋭度に応じていることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のデバイスそれぞれから出力された画像を組み合わせることによって１つの画像を再現するための画像処理技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等による撮像やＣＧ（コンピュータグラフィックス）レンダリングにおいて、より高精細で広いダイナミックレンジを持つ画像を扱う機会が増えてきている。同様に、プリンタ等の出力デバイスによる上述したような画像の再現についても需要が高まっている。この需要に対し、実物（被写体）やＣＧオブジェクトの色や階調、質感等を、迫力のあるサイズで再現可能であるプロジェクタや大判プリンタ等の利用が期待されている。複数のデバイスから出力された画像を重畳することによって１つの画像を再現する技術として、特許文献１が開示する技術がある。特許文献１では、画像形成装置によって形成されたプリント物に画像投影装置が投影する画像を重ねることによって、画像投影装置のみを用いる場合よりも再現する画像の暗部領域における色再現範囲を拡大する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０３８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように複数のデバイスから出力された画像を重畳する際に、解像度の異なる画像を重畳する場合がある。この場合、各デバイスから出力された画像を重畳して再現される画像の鮮鋭度が、入力画像の鮮鋭度よりも低下してしまうといった課題がある。画像投影装置によって出力された画像と画像形成装置によって出力された画像とを重畳する場合を例にこの課題を説明する。画像投影装置によって投影された画像は画素数が一定であるために、画像のサイズの拡大に反比例して出力できる画像の解像度が低下する。そのため、画像形成装置と画像投影装置とに同じ画像データを入力し引き延ばして出力する場合、画像形成装置によって出力された画像の解像度よりも画像投影装置によって出力された画像の解像度の方が低くなってしまう。この解像度の低下により、入力された画像データの解像度で保持されていた情報を表現しきれずに、鮮鋭度が低下してしまう。この場合に各デバイスから出力された画像を重畳すると、画像投影装置によって出力された画像の鮮鋭度が低下しているために、各デバイスから出力された画像を重畳して再現される画像の鮮鋭度が、入力画像の鮮鋭度よりも低下してしまう。
【０００５】
本発明は、入力画像に基づいて複数の装置から出力された画像を重畳して１つの画像を生成する際に生じる、入力画像に対する重畳画像の鮮鋭度の低下を抑制するための画像処理を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像処理装置は、入力画像に基づいて第１画像出力装置から出力された第１出力画像と、前記入力画像に基づいて第２画像出力装置から出力され、前記第１出力画像よりも高解像度な第２出力画像と、を重畳することによって１つの画像を生成するために、前記第２画像出力装置に出力する画像データを生成する画像処理装置であって、前記入力画像を表す入力画像データを取得する第１取得手段と、前記入力画像データに基づいて生成された、前記第１画像出力装置に出力する第１出力画像データを取得する第２取得手段と、前記入力画像データと、前記第１出力画像データと、に基づいて、前記第２画像出力装置に出力する第２出力画像データを生成する第１生成手段と、を有し、前記第２出力画像データが表す画像の鮮鋭度は、前記第１出力画像データが表す画像の鮮鋭度に応じていることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、入力画像に基づいて複数の装置から出力された画像を重畳して１つの画像を生成する際に生じる、入力画像に対する重畳画像の鮮鋭度の低下を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置１の機能構成の一例を示すブロック図
【図２】画像処理装置１が実行する処理についてのフローチャート
【図３】投影画像データを生成するための第１色変換ＬＵＴ１０５の一例を示す図
【図４】画像処理装置１のハードウェア構成の一例を示すブロック図
【図５】鮮鋭度の低下度合いを算出する処理（Ｓ２０３）についてのフローチャート
【図６】環境光情報に応じて補正係数を決定するためのＬＵＴ１１３の一例を示す図
【図７】形成画像データを生成するための第２色変換ＬＵＴ１０８の一例を示す図
【図８】画像処理装置１の機能構成の一例を示すブロック図
【図９】画像処理装置１の機能構成の一例を示すブロック図
【図１０】画像処理装置１の機能構成の一例を示すブロック図
【図１１】変倍率に基づいた解像度の変換処理を模式的に示した図
【図１２】鮮鋭度の低下度合いを算出する処理の一例を模式的に示した図
【図１３】画像の鮮鋭度を強調する処理の一例を模式的に示した図
【図１４】再現対象の画像と画像形成装置が出力する画像との関係を模式的に示す概念図
【図１５】鮮鋭度の低下度合いを算出する処理（Ｓ２０３）についてのフローチャート
【図１６】変倍率に応じたハイパスフィルタの一例を示す模式図
【図１７】画像処理装置１の機能構成の一例を示すブロック図
【図１８】再現対象の画像と画像投影装置が出力する画像との関係を模式的に示す概念図
【図１９】ユーザによる入力を受け付けるためのＵＩ画面の一例を示す図
【図２０】画像処理装置１の機能構成を示すブロック図
【図２１】画像処理装置１の機能構成を示すブロック図
【図２２】画像処理装置１の機能構成を示すブロック図
【図２３】画像形成装置３の出力特性を計測するためのチャートの一例を示す図
【発明を実施するための形態】
【０００９】
以下、本発明の実施例について、図面を参照して説明する。尚、同一の構成については、同じ符号を付して説明する。
【００１０】
［実施例１］
＜再現対象の画像とデバイスが出力する画像との関係＞
まず、図１４及び図１８を用いて、再現対象の画像と画像形成装置が出力する画像との関係及び、再現対象の画像と画像投影装置が出力する画像との関係を説明する。尚、本実施例における解像度は、投影もしくは形成された画像における表現の細かさの尺度としても表現され、単位としてｄｐｉ（ｄｏｔ  ｐｅｒ  ｉｎｃｈ）を用いる。また、本実施例における鮮鋭度は、画像の微細部分（高解像度部分）の明瞭性の尺度である。例えば、鮮鋭度は、各解像度における入力コントラストに対する出力コントラストの減少の割合で表される応答関数ＭＴＦ（ｍｏｄｕｌａｔｉｏｎ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ）で表現可能である。コントラストの減少の割合が低く応答性が良い場合を鮮鋭度が高いと表現し、コントラストの減少の割合が高く応答性が悪い場合を鮮鋭度が低いと表現する。
【００１１】
図１４（ａ）に再現対象の画像を表す入力画像データ（第１画像データとも呼ぶ）を示す。図１４（ｂ）に入力画像データの等倍（拡大率１．０）のサイズの画像を表す形成画像データ（第３画像データとも呼ぶ）、図１４（ｃ）に入力画像データの２倍（拡大率２．０）のサイズの画像を表す形成画像データを示す。尚、形成画像データは、画像形成装置が記録媒体上に画像を形成するために入力する画像データである。図１４では、解像度３００ｄｐｉで、水平方向に８１９２画素、垂直方向に４３２０画素のサイズである画像を表す入力画像データと、解像度１２００ｄｐｉの画像を形成可能な画像形成装置が当該入力画像データに基づいて形成した画像の例を示している。画像形成装置は、記録媒体に対してインクを吐出する記録ヘッドを複数回走査することで画像を形成する。記録媒体と記録ヘッドの距離は形成する画像のサイズによらず一定のため、画像形成装置が形成する画像の解像度は一定となる。例えば、図１４に示すように、解像度３００ｄｐｉの画像を上述した画像形成装置が解像度１２００ｄｐｉで出力する場合、入力画像データが表す画像の画素数に対し形成画像データが表す画像の画素数を縦横共に４倍にする。また、入力画像データが表す画像の２倍の画像サイズで画像を形成する場合では、入力画像データが表す画像の画素数に対し形成画像データが表す画像の画素数を縦横共に２倍にする。上述のようにすることで、画像形成装置が出力（形成）する画像の解像度を一定にしている。
【００１２】
図１８（ａ）に再現対象の画像を表す入力画像データ、図１８（ｂ）に入力画像データが表す画像を画像投影装置の画素数（拡大率１．０）で投影した場合のサイズ（「等倍」サイズと仮定）である画像を表す投影画像データ（第２画像データとも呼ぶ）を示す。さらに、図１８（ｃ）に投影する画像のサイズを「等倍」サイズの２倍（拡大率２．０）にした場合の画像を表す投影画像データを示す。尚、投影画像データは、画像投影装置が画像を投影するために入力する画像データである。図１８において、入力画像データは図１４と同様であり、画像投影装置が出力する画像の画素数は水平方向に４０９６画素、垂直方向に２１６０画素の例を示している。画像投影装置は、画像形成装置と異なり、液晶パネル等の表示素子を画素毎に駆動させて画像を生成し、生成した画像を投射レンズにより投射することで画像を表示する。そのため、予め保持する液晶パネル等の表示素子によって出力する画像の画素数が決定してしまい、画像形成装置のように出力する画素数を増減させることができない。その結果、図１８に示すように、解像度３００ｄｐｉの画像を表す入力画像データに基づいて等倍のサイズで画像を投影する場合と、２倍のサイズで画像を投影する場合とで、投影された画像の画素数は一定である。そのため、投影する画像のサイズの拡大に反比例して画像の解像度が低下する。
【００１３】
以上に述べた通り、画像形成装置は記録ヘッドの走査方法によって出力する画像の画素数を増減できるために、画像サイズによらず一定の解像度で画像の形成が可能である。一方、画像投影装置では、出力する画像の画素数が液晶パネル等の表示素子によって決定されてしまうために、入力画像を引き延ばして投影することによる画像サイズの拡大に反比例して画像の解像度が低下してしまう。すなわち、画像形成装置による出力画像は再現対象画像のサイズによらず一定の鮮鋭度であるのに対し、画像投影装置による出力画像は再現対象画像のサイズが大きくなると画素サイズも大きくなり、同一の位置から見た場合の鮮鋭度が低下してしまう。本実施例では、画像投影装置が投影する画像と画像形成装置が形成する画像とを重畳して１つの画像を再現する。その際に、上述したような画像投影装置で投影した画像の鮮鋭度の低下を、画像形成装置が形成する画像の鮮鋭度を強調することで補う。以下で詳細を説明する。
【００１４】
＜画像処理装置１のハードウェア構成＞
図４は、本実施例における画像処理装置１のハードウェア構成例である。画像処理装置１は、例えばコンピュータであり、ＣＰＵ１４０１、ＲＯＭ１４０２、ＲＡＭ１４０３を備える。ＣＰＵ１４０１は、ＲＡＭ１４０３をワークメモリとして、ＲＯＭ１４０２、ＨＤＤ（ハードディスクドライブ）１４１２などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１４０１は、システムバス１４０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１４０２やＨＤＤ１４１２などに格納されたプログラムコードがＲＡＭ１４０３に展開され、ＣＰＵ１４０１によって実行される。ＶＣ（ビデオカード）１４０４には、ディスプレイ５が接続される。汎用Ｉ／Ｆ（インターフェース）１４０５には、シリアルバス１４０９を介して、マウスやキーボードなどの入力デバイス１４１０や画像投影装置２、画像形成装置３が接続される。ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１４０６には、シリアルバス１４１１を介して、ＨＤＤ１４１２や各種記録メディアの読み書きを行う汎用ドライブ１４１３が接続される。ＮＩＣ（ネットワークインターフェースカード）１４０７は、外部装置との間で情報の入出力を行う。ＣＰＵ１４０１は、ＨＤＤ１４１２や汎用ドライブ１４１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１４０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ５に表示し、入力デバイス１４１０を介して受け付けるユーザ指示などの入力を受信する。
【００１５】
＜画像処理装置１の機能構成＞
図１は、画像処理装置１の機能構成を示したブロック図である。図１において、１は画像処理装置、２は画像投影装置（プロジェクタ）、３は画像形成装置（プリンタ）、４は重畳画像を観察する際の環境光を決定する照明を示す。重畳画像は、画像形成装置３によって記録媒体上に形成された形成画像５０１の上に、画像投影装置２によって投影された投影画像５０２が重なった画像を示す。尚、画像処理装置１は例えば一般的なパーソナルコンピュータにインストールされたプリンタドライバによって実施され得る。その場合、以下に説明する画像処理装置１の各部は、コンピュータが所定のプログラムを実行することにより実現されることになる。また、別の構成としては、例えば、画像投影装置２と画像形成装置３を画像処理装置１が含む構成としても良い。
【００１６】
画像処理装置１と画像投影装置２、画像処理装置１と画像形成装置３とはインターフェース又は回路によって接続されている。画像処理装置１は、第１入力端子１０１と、第２入力端子１０２と、取得部１０３と、第１生成部１０４と、第１色変換ＬＵＴ１０５と、算出部１０６と、第２生成部１０７と、第２色変換ＬＵＴ１０８と、第１出力端子１０９と、第２出力端子とを有する。取得部１０３は、第１入力端子１０１を介して、再現対象の画像を表す入力画像データを取得する。また、第２入力端子１０２を介して、画像投影装置２の投影状態を取得する。投影状態については後述する。第１生成部１０４は、上述した入力画像データに基づいて、第１色変換ＬＵＴ１０５を参照し、画像投影装置２に入力する画像データ（投影画像データ）を生成する。算出部１０６は、入力画像データと投影画像データとを取得し、投影状態に応じて入力画像データが表す画像の解像度及び投影画像データが表す画像の解像度を変換する。さらに、解像度が変換された画像を表す入力画像データ及び投影画像データに基づいて、入力画像データが表す画像に対する投影画像データが表す画像の鮮鋭度の低下度合いを算出する。第２生成部１０７は、入力画像データと鮮鋭度の低下度合いとに基づいて、入力画像データが表す画像の鮮鋭度を強調する。さらに、鮮鋭度が強調された画像を表す入力画像データに基づいて、第２色変換ＬＵＴ１０８を参照し、画像形成装置３に入力する画像データ（形成画像データ）を生成する。第１生成部１０４で生成された投影画像データは、第１出力端子１０９を介して、画像投影装置２に出力され、第２生成部１０７で生成された形成画像データは、第２出力端子１１０を介して、画像形成装置３に出力される。
【００１７】
＜画像投影装置２の構成と動作＞
画像投影装置２は、投射光学部（不図示）を有する。投射光学部は、光源であるランプと、入力された投影画像データに基づいて液晶パネルを駆動させる液晶駆動装置と、投射レンズとを備える。ランプからの光が光学系によってＲ、Ｇ、Ｂの光に分解されて、液晶パネルにそれぞれ導かれる。各液晶パネルに導かれた光は、各液晶パネルで輝度変調されて投射レンズにより、画像形成装置３により形成されたプリント物上に画像を投影する。
【００１８】
＜画像形成装置３の構成と動作＞
画像形成装置３は、画像処理装置１において生成された形成画像データに基づいて、記録ヘッド（不図示）を記録媒体に対して相対的に縦横に移動させてインクドットを記録媒体上に記録し、画像を形成する。本実施例において、画像形成装置３はインクジェット方式のプリンタを用いるが、電子写真方式など他の方式のプリンタでも構わない。
【００１９】
＜画像処理装置１の処理内容＞
次に、上述した機能構成を備えた画像処理装置１の処理内容について、図２（ａ）のフローチャートを用いて説明する。以下、各ステップ（工程）は符号の前にＳをつけて表す。
【００２０】
Ｓ２０１において、取得部１０３は、第１入力端子１０１を介して入力画像データを取得する。入力画像データは、各画素に各８ビットのＲＧＢ値が記録された３チャンネルのカラー画像データである。また、入力画像データが表す画像は、画像投影装置２が投影する画像の解像度よりも高解像度であることとする。つまり、画像投影装置２が投影する画像は、入力画像データが表す画像よりも低解像度となる。入力画像データ取得部１０３で取得した入力画像データは、第１生成部１０４と算出部１０６と第２生成部１０７とに送られる。さらに、第２入力端子を介して、投影状態を取得する。投影状態は、画像投影装置２が投影画像５０２を投影する際の、画像投影装置２と投影対象である形成画像５０１との距離（投影距離）及び、投射レンズと液晶パネルとの関係から定まる画角である。投影距離Ｄはメートル（ｍ）単位、画角θはラジアン単位に換算した４ビットデータとして取得する。投影状態は、図１９に示すＵＩ画面を介したユーザによる入力を受付けることによって取得するか、もしくは画像投影装置２と画像処理装置１とを接続することで画像投影装置２より直接取得する。
【００２１】
Ｓ２０２において、第１生成部１０５は、画像投影装置２の出力する画像の画素数に基づいて、取得部１０３で取得した入力画像データが表す画像の解像度を変換する。解像度の変換には公知のバイキュービック法を用いるが、バイリニア法など他の解像度変換方法を用いても良い。さらに、解像度を変換した画像を表す入力画像データに基づいて、予め保持する第２色変換ＬＵＴ１０５を参照し、投影画像データを生成する。参照される第１色変換ＬＵＴ１０５を図３に示す。図３に示す通り、入力画像データの画素ごとに記録されている信号値（ＲＧＢ値）と投影画像データの各画素に記録される信号値（ＲＧＢ値）との対応関係を保持している。上述した第１色変換ＬＵＴ１０５は、投影画像データに記録された入力信号値が既知のチャートを投影し、投影された画像の色を測定することで予め作成しておく。生成する投影画像データは、入力画像データと同様に、各画素に各８ビットのＲＧＢ値が記録された３チャンネルのカラー画像データである。投影画像データが生成されると、第１出力端子１０９を介して画像投影装置２に送られる。また、算出部１０６にも送られる。
【００２２】
Ｓ２０３において、算出部１０６は、Ｓ２０１で取得した入力画像データ及び投影状態と、Ｓ２０２で生成した投影画像データとを取得する。さらに、取得した投影状態に基づいて、入力画像データが表す画像のサイズに対する画像投影装置２が投影する画像のサイズの拡大率Ｅを算出する。ここで拡大率は、画像を拡大する際の倍率である。算出した拡大率Ｅに基づいて、投影画像データが表す画像の解像度及び入力画像データが表す画像の解像度を変換する。解像度を変換した後に、入力画像データが表す画像に対する投影画像データが表す画像の鮮鋭度の低下度合いを算出する。算出された鮮鋭度の低下度合いは第２生成部に送られる。以下に、Ｓ２０３の詳細な処理について、図５（ａ）に示すフローチャートを用いて説明する。
【００２３】
Ｓ２０３１において、入力画像データ、投影画像データ、投影状態を取得する。Ｓ２０３２において、取得した投影状態（Ｄ及びθ）と、入力画像データが表す画像のサイズと投影画像５０２のサイズとが等倍となる投影状態（投影距離Ｄ０及び画角θ０）とを基に、以下に示す式（１）を用いて拡大率Ｅを算出する。
【００２４】
Ｅ＝Ｄ／Ｄ０＋θ／θ０・・・式（１）
尚、上述した等倍となる投影状態（Ｄ０及びθ０）は、以下の方法により予め決定し、算出部１０６に保持させておく。予め画像サイズが既知の入力画像データを基に生成した投影画像データを投影し、投影された投影画像５０２の画像サイズが入力した入力画像データが表す画像のサイズと一致する投影状態を探索することによって決定する。尚、画像投影装置２が備える投射レンズや液晶パネルの特性により計算式を構築し、当該計算式を用いて算出しても良い。尚、Ｓ２０３１において、投影状態として投影距離Ｄのみを取得し、Ｓ２０３２において、投影距離ＤからＤ０を除算することによって拡大率Ｅを算出してもよい。
【００２５】
Ｓ２０３３において、Ｓ２０３２で算出した拡大率Ｅと、画像形成装置３で形成する画像の解像度Ｒｆとに基づいて、入力画像データが表す画像の解像度及び投影画像データが表す画像の解像度を変換する。投影画像データが表す画像の解像度変換は、まず、拡大率Ｅと解像度Ｒｆ、画像投影装置２で投影する画像の解像度Ｒｐを基に以下の式（２）を用いて、投影画像データの変倍率Ｆｐを算出する。
【００２６】
Ｆｐ＝Ｒｆ／（Ｒｐ／Ｅ）・・・式（２）
算出した変倍率Ｆｐを基に、投影画像データの各画素をＦｐ個に解像度変換する。この解像度変換には、公知の最近傍法を用いる。投影画像データの変倍率Ｆｐ＝３の場合における、投影画像データが表す画像の解像度変換の例を図１１（ａ）に示す。最近傍法を用いるため、変換前の画素値を複製する処理となり、投影された投影画像５０２を模した画像を表す投影画像データに変換することができる。尚、解像度の変換には、最近傍法ではなくバイキュービック法など他の方法でも良い。
【００２７】
同様に、入力画像データが表す画像の解像度変換は、まず、拡大率Ｅと解像度Ｒｆ、入力画像データが表す画像の解像度Ｒｉｎを基に以下の式（３）を用いて、入力画像データの変倍率Ｆｉｎを算出する。
【００２８】
Ｆｉｎ＝Ｒｆ／（Ｒｉｎ／Ｅ）・・・式（３）
算出した変倍率Ｆｉｎを基に、入力画像データの各画素をＦｉｎ個に解像度変換する。この解像度変換には、公知のバイキュービック法を用いる。入力画像データの変倍率Ｆｉｎ＝１．５の場合における、入力画像データが表す画像の解像度変換の例を図１１（ｂ）に示す。変換前の近傍画素値を基に補間処理することで解像度を変換するバイキュービック法を用いることで、形成画像５０１を模した画像を表す形成画像データを生成するための入力画像データに変換することが可能となる。尚、上述した解像度Ｒｆ及びＲｐは、ユーザによる入力によって取得するか、もしくは画像投影装置２又は画像形成装置３と画像処理装置１とを接続することで直接取得する。解像度Ｒｆ及びＲｐはどちらも各デバイスが出力できる最高解像度であることが望ましい。
【００２９】
Ｓ２０３４において、Ｓ２０３３で解像度変換された画像を表す入力画像データの画素値と投影画像データの画素値とを減算処理し、減算処理して得た差分を鮮鋭度の低下度合いとする。鮮鋭度の低下度合いは、入力画像データや投影画像データと同様に、各８ビットのＲＧＢ値を記録した３チャンネルのカラー画像データとして算出される。減算処理は、各画像の各画素について、Ｒ、Ｇ、Ｂの各チャンネルで独立に行う。入力画像データのＲチャンネルの画素値をＩ＿Ｒｘ，ｙ（ｘは水平方向の画素位置、ｙは垂直方向の画素位置）、投影画像データのＲプレーンの画素値をＰ＿Ｒｘ，ｙとする。さらに、鮮鋭度の低下度合いのＲプレーンの画素値をＱ＿Ｒｘ，ｙとし、以下の式（４）より算出する。
【００３０】
Ｑ＿Ｒｘ，ｙ＝（Ｉ＿Ｒｘ，ｙ−Ｐ＿Ｒｘ，ｙ）・・・式（４）
図１２に、入力画像データと投影画像データから鮮鋭度の低下度合いを算出する例を模式的に示す。Ｇ、Ｂプレーンについては同様の処理のため、説明を省略する。上記の計算はＲチャンネルにおいて、画素毎に算出された後に、Ｇ、Ｂと順次処理される。Ｉ＿Ｒｘ，ｙ、Ｐ＿Ｒｘ，ｙは０〜２５５までを表す８ビットデータであるため、上記の計算で出力されるＱ＿Ｒｘ，ｙは−２５５〜＋２５５を表す９ビットデータとなる。尚、上記に順次処理する例を示したが、上記の一例に限定されない。例えば、各チャンネルでの計算を並列処理しても良い。算出した鮮鋭度の低下度合い（各画素に各９ビットのＲＧＢ値が記録された３チャンネルのカラー画像データ）を第２生成部１０７に送る。
【００３１】
Ｓ２０４において、第２生成部１０７は、Ｓ２０３で算出された鮮鋭度の低下度合いに基づいて、Ｓ２０３３において解像度変換された入力画像データが表す画像の鮮鋭度を強調する。鮮鋭度の強調は、解像度変換された入力画像データの画素値と鮮鋭度の低下度合いを表す画像データの画素値とを加算処理することで実現する。画像投影装置２が投影画像５０２を投影することによって鮮鋭度が低下した分を、投影画像５０２と重畳する形成画像５０１の鮮鋭度を強調することで、重畳画像の鮮鋭度の低下を抑制できる。加算処理は、Ｓ２０３４の減算処理と同様に、各画像の各画素について、Ｒ、Ｇ、Ｂの各チャンネルで独立に行う。入力画像データのＲチャンネルの画素値をＩ＿Ｒｘ，ｙ（ｘは水平方向の画素位置、ｙは垂直方向の画素位置）、鮮鋭度の低下度合いのＲチャンネルの画素値をＱ＿Ｒｘ，ｙとする。さらに、加算処理後の入力画像データのＲチャンネルの画素値をＩ＿Ｒ’ｘ，ｙとし、以下の式（５）より算出する。
【００３２】
Ｉ＿Ｒ’ｘ，ｙ＝Ｉ＿Ｒｘ，ｙ＋Ｑ＿Ｒｘ，ｙ・・・式（５）
図１３に、入力画像データと鮮鋭度の低下度合いを表す画像データとに基づいて、鮮鋭度が強調された画像を表す入力画像データを算出する例を模式的に示す。計算の結果、Ｉ＿Ｒｘ，ｙが０未満となる場合は０、２５６以上の場合は２５５にクリッピング処理することで、鮮鋭度が強調された画像を表す入力画像データは０〜２５５までを表す８ビットデータとなる。Ｇ、Ｂチャンネルについても同様の処理のため、説明を省略する。上記の計算はＲチャンネルにおいて、画素毎に算出された後に、Ｇ、Ｂと順次処理されるが、並列処理としても良い。
【００３３】
さらに、鮮鋭度が強調された画像を表す入力画像データに基づいて、予め保持する第２色変換ＬＵＴ１０８を参照し、形成画像データを生成する。参照される第２色変換ＬＵＴ１０８を図７に示す。図７に示す通り、入力画像データの画素ごとに記録されている信号値（ＲＧＢ値）と形成画像データの各画素に記録される信号値（ＲＧＢ値）との対応関係を保持している。上述した第２色変換ＬＵＴ１０８は、形成画像データに記録された入力信号値が既知のチャートを基に記録媒体上に画像を形成し、形成された画像の色を測定することで予め作成しておく。生成する形成画像データは、入力画像データと同様に、各画素に各８ビットのＲＧＢ値が記録された３チャンネルのカラー画像データである。生成した形成画像データは第２出力端子１１０を介して、画像形成装置３に送られる。以上で、投影画像データと形成画像データを生成する一連の処理が完了する。
【００３４】
上記に説明した処理制御を行うことで、再現対象の画像に対する投影画像５０２の鮮鋭度の低下を、形成画像５０１の鮮鋭度を強調することで補うことができる。その結果、画像形成装置３によって形成されたプリント物（形成画像５０１）の上に投影装置２によって投影された投影画像５０２を重畳した重畳画像における鮮鋭度の低下を抑制することができる。
【００３５】
＜変形例＞
尚、本実施例では、投影状態に応じて入力画像データ及び投影画像データに解像度の変換処理を施し、入力画像データと投影画像データとに基づいて、再現対象の画像に対する画像投影装置２が投影する画像の鮮鋭度の低下度合いを算出する例を示した。しかし、鮮鋭度の低下度合いの算出方法は上記の一例に限定されない。例えば、画像形成装置３で形成する画像の解像度Ｒｆと画像投影装置２で投影する画像の解像度Ｒｐとを基にした演算処理によって、再現対象の画像に対する投影画像５０２の鮮鋭度の低下度合いを算出しても良い。上記の鮮鋭度の低下度合いの算出処理における、Ｓ２０３の詳細な処理について、図１５に示すフローチャートを用いて説明する。
【００３６】
Ｓ２０３１及びＳ２０３２は、上述した実施例１と同様のため説明を省略する。Ｓ２０３５において、Ｓ２０３２で算出した拡大率Ｅと画像形成装置３が形成する画像の解像度Ｒｆとに基づいて、入力画像データのみを解像度変換する。入力画像データに対する解像度変換は、上述した実施例１と同様のため説明を省略する。
【００３７】
Ｓ２０３６において、上述したＳ２０３３と同様に、式（２）を用いて変倍率Ｆｐを算出し、算出した変倍率Ｆｐに基づくマトリクスサイズのハイパスフィルタを生成し、フィルタ処理する。図１６に変倍率Ｆｐが３、５、９の場合に適用するハイパスフィルタの例を示す。図１６に示す通り、Ｆｐ×Ｆｐのマトリクスを持つハイパスフィルタを生成し、Ｓ２０３５において解像度変換を施した入力画像データに対しフィルタ処理し、処理結果を鮮鋭度の低下度合いとする。
【００３８】
まず、入力画像データが表す画像を画像形成装置３で形成する画像の解像度に変換することで、再現対象の画像の鮮鋭度のうち画像形成装置３で再現できる画像の鮮鋭度を抽出する。次に、上記で抽出した鮮鋭度に対し変倍率Ｆｐに基づくハイパスフィルタを用いたフィルタ処理を行うことで、画像投影装置２で表現する際に失われる鮮鋭度を算出する。一連の処理を実行することで、再現対象の画像の鮮鋭度のうち、画像形成装置３で再現でき、かつ、画像投影装置２で再現できない鮮鋭度を、上述した鮮鋭度の低下度合いとして算出することができる。
【００３９】
また、上述した変形例では、ハイパスフィルタを生成し、生成したハイパスフィルタを用いてフィルタ処理を行ったが、予め複数種類のフィルタを保持しておいてもよい。この場合、予め保持しておいた複数種類のフィルタから、上述した変倍率や、変倍率に基づいて算出可能な鮮鋭度が低下する周波数帯域に応じてフィルタ処理用のフィルタを取得する。
【００４０】
また、本実施例では、画像投影装置２を１台用いる構成例を示したが、画像投影装置２を２台以上用いる構成であっても良い。例えば、図１０に示すように、ｎ台の画像投影装置２ａ〜２ｃと１台の画像形成装置３とを用い、ｎ台の画像投影装置２よりｎ枚の投影画像を同位置に重ねて投影する重畳画像表現システム（スタックプロジェクション）を構築しても良い。画像投影装置２を２台以上用いることで２枚以上の投影画像を形成画像の上に重畳し、重畳画像で表現可能な輝度レンジをさらに高輝度側に拡大することが可能となる。
【００４１】
また、例えば、図９に示すように、４台の画像投影装置２ａ〜２ｄと１台の画像形成装置３を用い、入力画像データを２×２に分割処理し、分割処理された入力画像データを基に生成した投影画像データを各画像投影装置２ａ〜２ｄより投影する。以上の構成により、形成画像に対し２×２の投影画像を重畳する重畳画像表現システム（マルチプロジェクション）を構築しても良い。各画像投影装置２ａ〜２ｄが入力画像データが表す画像の各領域を再現することによって、１台の画像投影装置２が投影する投影画像より高解像度な投影画像又はより大きなサイズの投影画像を重畳することが可能となる。
【００４２】
また、本実施例では、投影画像データが表す画像の解像度を形成画像５０１の解像度に一致させ、解像度変換を施した投影画像データと入力画像データとに基づいて、鮮鋭度の低下度合いを算出する例を述べた。しかし、鮮鋭度の低下度合いの算出に用いる投影画像データの生成方法は上記の一例に限定されない。投影画像５０２における鮮鋭度の低下度合いを算出するための画像処理装置１の機能構成を図１７に示す。図１７に示すように、画像処理装置１は、投影画像５０２を撮像する撮像装置６と撮像装置６からデータを取得するための第３入力端子１１２とを備える。撮像装置６によって投影画像５０２を撮像して得られた画像データを、鮮鋭度の低下度合いを算出するために用いる投影画像データとしても良い。上述したように、実際の投影画像５０２を撮像して得た投影画像データを用いることで、画像投影装置２の経年劣化による投影画像データと投影画像５０２との関係の変化にも対応することが可能となる。
【００４３】
また、本実施例では、投影状態として投影距離を取得し、投影距離に基づいて拡大率Ｅを算出し、鮮鋭度の低下度合いを算出する例について述べた。しかし、投影状態は上記の一例に限定されない。例えば、画像投影装置２から投影された画像の光軸と形成画像５０１とがなす角φによる投影画像５０２の台形化を抑制するために、予め投影画像５０２に公知の台形歪み補正（キーストーン補正）を施す場合がある。上記の場合には、なす角φによって台形歪み補正が施された投影画像５０２に基づいて、鮮鋭度の低下度合いを算出する必要がある。以下に、投影状態であるφを考慮した投影画像データの生成を行う例を示す。
【００４４】
まず、投影状態として上述したなす角φを第１生成部１０４で取得する。さらに、入力画像データを台形画像に変形するための公知のアフィン変換パラメータ（台形歪み補正係数）をφ毎に保持し、取得したφに応じたアフィン変換パラメータを用いて入力画像データを台形の画像を表す画像データに変換する。アフィン変換パラメータは例えば、φに応じて入力画像データの画素位置毎に、水平方向の移動量、垂直方向の移動量、水平方向の変倍率、垂直方向の変倍率を備える。尚、台形の画像データに変換する際の解像度変換には公知のバイキュービック法を用いる。その後、台形の画像を表す画像データに対し、上記アフィン変換パラメータを用いて逆変換することで、入力画像データと同じ矩形に戻す。逆変換する際は、公知の最近傍法を用いる。逆変換の際に、近傍の画素を複製する最近傍法を用いることで、台形の画像を表す画像データに変換する際に失われる鮮鋭度を想定した投影画像データを生成することが可能となる。さらに、逆変換した入力画像データに基づいて、第１色変換ＬＵＴ１０５を参照し、投影画像データを生成する。投影状態であるφを考慮した投影画像データを生成後の処理は同一のため、説明を省略する。尚、上記は形成画像５０１と投影画像５０２の光軸とのなす角φに応じた入力画像データの変形を補正する例について述べたが、上記の一例に限定されない。例えば、液晶パネルと投影レンズとのなす角によって発生する歪みや、投影レンズの屈折が中央部より周辺部にかけて理想状態よりも離れることで発生する投影レンズの歪みを補正する場合もある。これらの場合もそれぞれの補正に応じたアフィン変換パラメータを保持し、上述の台形歪み補正と同様の変換処理を行っても良い。
【００４５】
また、投影画像５０２の中心部に比べ、周辺部において発生する光量低下によって画像の明るさが低下することがある。例えば、上記の投影画像５０２の位置毎の光量ばらつきを補正するために、予め入力画像データに補正処理を施す場合がある。上記の場合には、補正処理が施された入力画像データに基づいて鮮鋭度の低下度合いを算出する必要がある。以下に、投影状態であるα及びβを考慮した投影画像データの生成を行う例を示す。
【００４６】
まず、投影状態として投影画像５０２の画素位置毎に、光量低下量αと画像全体の光量を調整する係数βとを第１生成部１０４で取得する。取得したαｘ，ｙ及びβｘ，ｙと入力画像データのＲチャンネルの画素値Ｉ＿Ｒｘ，ｙ（ｘは水平方向の画素位置、ｙは垂直方向の画素位置）と以下の式（６）とを基に、補正後の入力画像データの画素値Ｉ＿Ｒ’ｘ，ｙを算出する。
【００４７】
Ｉ＿Ｒ’ｘ，ｙ＝（Ｉ＿Ｒｘ，ｙ＋αｘ，ｙ）×βｘ，ｙ・・・式（６）
上記の投影画像５０２の画素位置毎の光量低下量αと画像全体の光量を調整する係数βとは、信号値が既知の入力画像データを基づいて画像を投影し、投影した画像を測定することで予め決定しておく。補正処理した入力画像データに基づいて、第１色変換ＬＵＴ１０５を参照し、投影画像データを生成する。投影状態であるα及びβを考慮した投影画像データを生成後の処理は同一のため、説明を省略する。
【００４８】
また、本実施例では、入力画像データの鮮鋭度の強調を、入力画像データの画素値と鮮鋭度の低下度合いを表す画像データの画素値とを加算処理することによって行ったが、鮮鋭度の強調処理は上記一例には限定されない。例えば、鮮鋭度の低下度合いの値に応じた補正値を別途保持しておき、この補正値を入力画像データの画素値に加算しても良い。また、鮮鋭度の低下度合いに応じたガンマ（γ）値を予め保持しておき、保持しておいたγ値を用いた公知のγ補正処理によって入力画像データの鮮鋭度を強調してもよい。また、画像の微細部を強調する強調度合いの異なる公知のエッジ強調フィルタを複数保持しておき、鮮鋭度の低下度合いに応じてエッジ強調フィルタを使い分けてもよい。
【００４９】
また、本実施例では、入力画像データに基づいて投影画像データの生成を行った後、形成画像データの生成を行ったが、本実施例の処理は上記一例には限定されない。例えば、予め入力画像データに基づいて投影画像データを生成しておき、ＨＤＤ１４１２などに記憶させておく。入力画像データと、予め生成しておいた投影画像データと、を取得し、入力画像データと投影画像データとに基づいて形成画像データを生成する。
【００５０】
［実施例２］
実施例１では、投影画像データと入力画像データとから算出した鮮鋭度の低下度合いに基づいて、入力画像データが表す画像の鮮鋭度を強調し、形成画像データを生成する例について述べた。しかし、形成画像５０１で表現可能な輝度レンジは照明４によって決定される環境光に応じて変化する。すなわち、形成画像５０１は照射される光を反射することで記録された画像を表現する画像である。そのため、照明光が少ない（暗い）場合には形成画像５０１で表現可能な輝度レンジは狭く、逆に照明光が多い（明るい）場合には形成画像５０１で表現可能な輝度レンジは広くなる傾向がある。そこで、本実施例においては、上記に示すように環境光に応じて変化する形成画像５０１の輝度レンジを考慮し、鮮鋭度を強調する処理の強調度合いを制御する。その結果、環境光によって鮮鋭度の低下を抑制する効果が変動してしまうことを低減させることが可能となる。上記の処理を実現する例について実施例１と異なる部分を主に説明する。
【００５１】
＜画像処理装置１の機能構成＞
画像処理装置１の機能構成を図８に示す。第２生成部１０７は、第４出力端子１１１を介して、環境光情報を取得する。環境光情報は、重畳画像に照射される環境光の強度を表す４ビットデータである。環境光情報は、ユーザによる入力、もしくは照明４と画像処理装置１を接続することで直接取得する。尚、環境光情報の取得は上記の一例に限定されない。例えば、予め想定される重畳画像の観察シーン（屋外晴天、屋外曇天、室内スポットライト照明、室内オフィス照明など）の光の強度情報をそれぞれ保持し、ユーザが最も近いと判断して入力した条件の光の強度情報を取得しても良い。上記以外の構成は実施例１と同様のため、説明を省略する。
【００５２】
＜画像処理装置１の処理内容＞
実施例２における処理内容として、実施例１と異なるＳ２０４について記載する。Ｓ２０４において、第４入力端子１１１より取得した環境光情報に基づいて、Ｓ２０３で算出された鮮鋭度の低下度合いを補正し、補正した鮮鋭度の低下度合いによって入力画像データが表す画像の鮮鋭度を強調する。さらに、鮮鋭度が強調された画像を表す入力画像データに基づいて、実施例１と同様に予め保持する第２色変換ＬＵＴ１０８を参照し、形成画像データを生成する。強調処理については、解像度変換が施された入力画像データの画素値に対し、環境光情報に応じた補正係数で補正した鮮鋭度の低下成分を加算処理することで実現する。上述した通り、形成画像５０１は照射される光を反射することで記録された画像を表現する画像である。そのため、環境光が少ない場合には形成画像５０１で表現可能な輝度レンジは狭く、逆に環境光が多い場合には形成画像５０１で表現可能な輝度レンジは広くなる傾向がある。よって、環境光が多い場合に比べ環境光が少ない場合は、投影画像５０２が表現しきれず形成画像５０１のみが表現している鮮鋭度成分をより強調する補正を施すことで、環境光の変化による鮮鋭度の低下を抑制する効果の変動を低減させることができる。以下に詳細な処理内容について述べる。
【００５３】
まず、予め保持する環境光情報と補正係数との対応関係を保持するＬＵＴ１１３を参照し、環境光情報より補正係数Ｚを決定する。ＬＵＴ１１３の一例を図６に示す。ＬＵＴ１１３は、予め環境光を変えた観察環境毎に、形成画像５０１で表現可能な輝度レンジを測定し、輝度レンジの比率に応じて決定する。加算処理はＳ２０３３と同様に、各画像の各画素について、Ｒ、Ｇ、Ｂの各チャンネルで独立に行う。入力画像データのＲプレーンの画素値をＩ＿Ｒｘ，ｙ（ｘは水平方向の画素位置、ｙは垂直方向の画素位置）、鮮鋭度の低下度合いのＲプレーンの画素値をＱ＿Ｒｘ，ｙ、強調処理後の入力画像データのＲプレーンの画素値をＩ＿Ｒ’ｘ，ｙとする。さらに、補正係数Ｚを用い、以下の式（７）より算出する。
【００５４】
Ｉ＿Ｒ’ｘ，ｙ＝Ｉ＿Ｒｘ，ｙ＋（Ｑ＿Ｒｘ，ｙ）×Ｚ・・・式（７）
以上、説明した通り、環境光に応じて入力画像データに対する強調処理の強調度合いを制御することで、環境光による鮮鋭度の低下を抑制する効果の変動を低減させることができる。
【００５５】
＜変形例＞
尚、本実施例では、環境光情報と補正係数との対応関係を保持する変換ＬＵＴ１１３を保持する例を示したが上記の一例に限定されない。例えば、環境光情報と補正係数との対応関係を予測する計算式を構築し、上記計算式を用いて入力された環境光情報に応じて補正係数を算出しても良い。
【００５６】
また、本実施例では、環境光情報として１つのデータを用いる例を示したが、上記の一例に限定されない。例えば、形成画像５０１の領域毎の環境光情報を基に、入力画像データと同様の二次元の環境光情報を取得し、入力画像データの領域（画素）毎に環境光情報に応じた強調処理の強調度合いを制御しても良い。
【００５７】
［実施例３］
実施例１では、投影画像データと入力画像データとから算出した鮮鋭度の低下度合いに基づいて、入力画像データが表す画像の鮮鋭度を強調し、形成画像データを生成する例について述べた。上述した通り、投影画像の解像度Ｒｐは、画像の拡大率に応じて解像度が変化する。そのため、例えば、入力画像を縮小して表示する場合（拡大率Ｅが１を下回る場合）は、形成画像の解像度Ｒｆよりも投影画像の解像度Ｒｐが高くなる場合がある。そこで本実施例では、入力画像と拡大率Ｅとに基づいて形成画像で発生する鮮鋭度の低下度合いを予測し、予測した鮮鋭度の低下度合いに基づいて投影画像の鮮鋭度を強調する。上記の処理を実現する例について実施例１と異なる部分を主に説明する。尚、本実施例では、拡大率Ｅが１を下回るため、拡大率Ｅを縮小率Ｓと呼ぶ。ここで縮小率は、画像を縮小する際の倍率である。
【００５８】
＜画像処理装置１の機能構成＞
画像処理装置１の機能構成を図２０に示す。本実施例における画像処理装置１の構成においては、画像処理装置１は第２出力端子１１０を介して画像投影装置２と接続され、画像処理装置１は第１出力端子１０９を介して画像形成装置３と接続されている。第１生成部１０４は、入力画像データに基づいて、第１色変換ＬＵＴ１０５を参照し、画像形成装置３に入力する画像データ（形成画像データ）を生成する。算出部１０６は、入力画像データと形成画像データとを取得し、投影状態に応じて入力画像データが表す画像の解像度及び形成画像データが表す画像の解像度を変換する。さらに、解像度が変換された画像を表す入力画像データ及び形成画像データに基づいて、入力画像データが表す画像に対する形成画像データが表す画像の鮮鋭度の低下度合いを算出する。第２生成部１０７は、入力画像データと鮮鋭度の低下度合いとに基づいて、入力画像データが表す画像の鮮鋭度を強調する。さらに、鮮鋭度が強調された画像を表す入力画像データに基づいて、第２色変換ＬＵＴ１０８を参照し、画像投影装置３に入力する画像データ（投影画像データ）を生成する。第１生成部１０４で生成された形成画像データは、第１出力端子１０９を介して、画像形成装置３に出力され、第２生成部１０７で生成された投影画像データは、第２出力端子１１０を介して、画像投影装置２に出力される。
【００５９】
＜画像処理装置１の処理内容＞
次に、上述した機能構成を備えた画像処理装置１の処理内容について、図２（ｂ）のフローチャートを用いて説明する。Ｓ２０１は実施例１と同様のため説明を省略し、Ｓ２０２’とＳ２０３’とＳ２０４’とを説明する。
【００６０】
Ｓ２０２’において、第１生成部１０５は、画像形成装置３が出力する画像の画素数に基づいて、取得部１０３で取得した入力画像データが表す画像の解像度を変換する。解像度の変換には公知のバイキュービック法を用いるが、バイリニア法など他の解像度変換方法を用いても良い。さらに、解像度を変換した画像を表す入力画像データに基づいて、予め保持する第１色変換ＬＵＴ１０５を参照し、形成画像データを生成する。参照される第１色変換ＬＵＴ１０５は実施例１における第２色変換ＬＵＴ１０８と同一のため説明を省略する。Ｓ２０３’において、算出部１０６は、Ｓ２０１で取得した入力画像データ及び投影状態と、Ｓ２０２’で生成した形成画像データとを取得する。さらに、取得した投影状態に基づいて、入力画像データが表す画像のサイズに対する画像投影装置２が投影する画像のサイズの縮小率Ｓを算出する。算出した縮小率Ｓに基づいて、形成画像データが表す画像の解像度及び入力画像データが表す画像の解像度を変換する。解像度を変換した後に、入力画像データが表す画像に対する投影画像データが表す画像の鮮鋭度の低下度合いを算出する。算出された鮮鋭度の低下度合いは第２生成部１０７に送られる。Ｓ２０４’において、第２生成部１０７は、Ｓ２０３’で算出された鮮鋭度の低下度合いに基づいて、Ｓ２０３３’において解像度変換された入力画像データが表す画像の鮮鋭度を強調する。鮮鋭度の強調は実施例１と同様に加算処理によって行う。さらに、鮮鋭度が強調された画像を表す入力画像データに基づいて、予め保持する第２色変換ＬＵＴ１０８を参照し、投影画像データを生成する。参照される第２色変換ＬＵＴ１０８は実施例１における第１色変換ＬＵＴ１０５と同一のため説明を省略する。
【００６１】
以下に、Ｓ２０３’の詳細な処理について、図５（ｂ）に示すフローチャートを用いて説明する。Ｓ２０３１’において、算出部１０６は、実施例１と同様に、入力画像データ、投影画像データ、投影状態を取得する。Ｓ２０３２’において、算出部１０６は、取得した投影状態（Ｄ及びθ）と、入力画像データが表す画像のサイズと投影画像のサイズとが等倍となる投影状態（投影距離Ｄ０及び画角θ０）とを基に、以下に示す式（８）を用いて縮小率Ｓを算出する。
Ｓ＝Ｄ／Ｄ０＋θ／θ０・・・式（８）
Ｓ２０３３’において、算出部１０６は、Ｓ２０３２’で算出した縮小率Ｓと、画像投影装置２で投影する画像の解像度Ｒｐとに基づいて、入力画像データが表す画像の解像度及び形成画像データが表す画像の解像度を変換する。形成画像データが表す画像の解像度変換は、縮小率Ｓと解像度Ｒｐ、画像形成装置３が形成する画像の解像度Ｒｆを基に以下の式（９）を用いて、形成画像データの変倍率Ｆｆを算出する。
Ｆｆ＝（Ｒｐ／Ｓ）／Ｒｆ・・・式（９）
算出した変倍率Ｆｆを基に、形成画像データの各画素をＦｆ個に解像度変換する。この解像度変換には、公知の最近傍法を用いる。尚、解像度の変換には、最近傍法ではなくバイキュービック法など他の方法でも良い。同様に、入力画像データが表す画像の解像度変換は、まず、縮小率Ｓと解像度Ｒｐ、入力画像データが表す画像の解像度Ｒｉｎを基に以下の式（１０）を用いて、入力画像データの変倍率Ｆｉｎを算出する。
Ｆｉｎ＝（Ｒｉｎ／Ｅ）／Ｒｐ・・・式（１０）
算出した変倍率Ｆｉｎを基に、入力画像データの各画素をＦｉｎ個に解像度変換する。この解像度変換には、公知のバイキュービック法を用いる。尚、上述した解像度Ｒｆ及びＲｐは、ユーザによる入力によって取得するか、もしくは画像投影装置２又は画像形成装置３と画像処理装置１とを接続することで直接取得する。解像度Ｒｆ及びＲｐはどちらも各デバイスが出力できる最高解像度であることが望ましい。
【００６２】
Ｓ２０３４’において、算出部１０６は、Ｓ２０３３’で解像度変換された画像を表す入力画像データの画素値と形成画像データの画素値とを減算処理し、減算処理して得た差分を鮮鋭度の低下度合いとする。鮮鋭度の低下度合いを算出し、入力画像の鮮鋭度を強調した画像を生成する方法は実施例１と同様のため説明を省略する。
【００６３】
上記に説明した処理制御を行うことによって、再現対象の画像に対する形成画像の鮮鋭度の低下（微細部のコントラストの低下）を、投影画像の鮮鋭度を強調することで補うことができる。その結果、画像形成装置３によって形成された形成画像の上に画像投影装置２によって投影された投影画像を重畳した重畳画像における鮮鋭度の低下を抑制することができる。
【００６４】
＜変形例＞
尚、本実施例では、画像投影装置２による投影画像と画像形成装置３による形成画像との重畳画像で発生する鮮鋭度の低下を抑制する例を述べた。しかしながら、重畳画像を生成するための装置の組み合わせは上記一例に限定されない。表現可能な解像度が異なる２つの画像出力装置により出力された画像を重畳した重畳画像を生成する場合に、表現可能な解像度が低い装置の出力画像で発生する鮮鋭度の低下を、より解像度が高い装置の出力画像で補えれば、どのような組み合わせであってもよい。例えば、図２１に示すように、表現可能な解像度が異なる複数の画像投影装置を用いて、表現可能な解像度が高い第２画像投影装置２ｂの投影画像によって、より解像度の低い第１画像投影装置２ａによる投影画像の鮮鋭度の低下を補ってもよい。
【００６５】
また、上述した実施例では、画像を出力する装置として、画像を投影する画像投影装置と記録媒体上に画像を形成する画像形成装置とを用いる例を述べたが、画像投影装置及び画像形成装置以外の画像出力装置にも上述した処理を適用可能である。装置の組み合わせは、重畳画像を生成可能な２つ以上の画像出力装置の組み合わせであればよい。例えば、液晶ディスプレイや有機ＥＬディスプレイなどの画像表示装置を用いても良い。画像表示装置を用いた重畳画像の生成の例としては、画像形成装置によってＯＨＰシートなどの光を透過する記録媒体上に画像を形成し、画像が形成されたＯＨＰシートを画像表示装置の上に乗せる。このように、一方が画像形成装置が形成する形成画像であり、他方が画像表示装置が表示する表示画像である場合の画像の重畳についても上述した処理を適用することができる。
【００６６】
［実施例４］
上述した実施例では、重畳画像の画像サイズに応じて表現可能な解像度が低くなる画像出力装置の出力画像において発生する鮮鋭度の低下を、より表現可能な解像度が高い画像出力装置の出力画像で補う例を示した。しかし、重畳画像の鮮鋭度の低下は、重畳画像のサイズに応じた鮮鋭度の低下に限定されない。画像の鮮鋭度の低下は、画像出力装置の出力特性にも応じて生じる。例えば、画像形成装置によって形成される画像は、色材（インク）の着弾位置ずれ、色材が記録媒体に定着する際の滲み（メカニカルドットゲイン）、光学的暈け（オプティカルドットゲイン）等により、入力画像に比べての鮮鋭度が低下することが知られている。本実施例では、重畳画像のサイズに応じた鮮鋭度の低下に加えて、画像出力装置の出力特性に応じた鮮鋭度の低下も抑制する例を説明する。本実施例では、予め画像形成装置３の出力特性（形成画像の鮮鋭度の特性）を測定し、測定された特性と周波数空間上で逆特性となるフィルタ（以下、補償フィルタと呼ぶ）を作成しておく。予め作成しておいたフィルタを入力画像データに畳み込み処理を行う。畳み込み処理を行った入力画像データを基に、実施例３における処理を実行することによって、重畳画像のサイズに応じた鮮鋭度の低下に加えて、画像出力装置の出力特性に応じた鮮鋭度の低下も抑制する。上記の処理を実現する例について実施例３と異なる部分を主に説明する。
【００６７】
＜画像処理装置１の機能構成と処理内容＞
実施例４における画像処理装置１の機能構成を図２２に示す。実施例３の構成に加え、画像形成装置３の出力特性に対して逆特性となる補償フィルタ１１３を予め備える。処理フローは、Ｓ２０２’以外は実施例３と同様のため説明を省略し、実施例３と異なるＳ２０２’について説明する。Ｓ２０２’において、第１生成部１０５は、画像形成装置３の出力する画像の画素数に基づいて、取得部１０３で取得した入力画像データが表す画像の解像度を変換する。さらに、解像度を変換した入力画像データに対し、予め備える画像形成装置３の出力特性に応じた補償フィルタを畳み込み処理する。以下で予め作成しておく補償フィルタの作成方法を説明する。
【００６８】
＜補償フィルタの作成方法＞
補償フィルタは、図２３に示すような周波数が異なる複数の正弦波パターン画像と均一パターン画像とを含むチャートを記録媒体上に印字し、印字したチャートを測定することによって作成する。以下に、補償フィルタの作成方法の詳細を述べる。
【００６９】
まず、公知の画像取得装置（スキャナ、カメラ、顕微鏡等）を用い、出力されたチャートの反射率分布を取得する。取得した反射率分布を用い、以下の式（１１）により画像形成装置３の出力特性である周波数応答値ｆｉ（ｕ）を算出する。ｕは正弦波の周波数であり、Ｍａｘ（ｕ）とＭｉｎ（ｕ）とは、それぞれ、周波数ｕに応じて変化する画像の最大反射率、最小反射率である。さらに、式（１１）において、ＷｈｉｔｅとＢｌａｃｋとは、それぞれ、均一パターンの反射率とする。
ｆｉ（ｕ）＝ＭＴＦ（ｕ）＝Ｃ（ｕ）／Ｃ’・・・式（１１）
Ｃ（ｕ）＝（Ｍａｘ（ｕ）−Ｍｉｎ（ｕ））／（Ｍａｘ（ｕ）＋Ｍｉｎ（ｕ））
Ｃ’＝（Ｗｈｉｔｅ−Ｂｌａｃｋ）／（Ｗｈｉｔｅ＋Ｂｌａｃｋ）
次に、取得した周波数応答値ｆｉ（ｕ）と以下の式（１２）とを用いて、補償フィルタの周波数特性Ｒｘを算出する。
Ｒｘ（ｕ）＝１／ｆｉ（ｕ）・・・式（１２）
上記のＲｘに対して公知の逆フーリエ変換を行い、逆フーリエ変換によって算出されたフィルタを補償フィルタとして用いる。尚、上記の補償フィルタを用いて高周波成分までを補償すると、ノイズの発生や明るさの変動が起こる。そこで、公知の視覚特性上で感度が低い４Ｃｙｃｌｅ／ｍｍ以上は、補償する強度（強調度合い）を４Ｃｙｃｌｅ／ｍｍ未満よりも下げることが望ましい。
【００７０】
上記に説明した処理制御を行うことによって、形成画像を形成する際の出力特性に応じて発生する鮮鋭度の低下を補うための入力画像データを生成することが可能となる。その結果、重畳画像のサイズに応じた鮮鋭度の低下に加えて、画像出力装置の出力特性に応じた鮮鋭度の低下も抑制することができる。
【００７１】
＜変形例＞
尚、本実施例では画像形成装置３によって形成される画像の出力特性（色材の着弾位置ずれや滲み、光学的暈け等）による鮮鋭度の低下を予め予測し、入力画像を強調処理する例を示した。しかしながら、出力特性に応じた鮮鋭度低下が発生する装置は画像形成装置３に限定されない。画像投影装置２においても投影レンズの光学的暈けによって鮮鋭度が低下する。また、ディスプレイなどの画像表示装置においても、液晶パネルによって光学的暈けが発生し、鮮鋭度が低下する。これら画像出力装置の出力特性に応じた鮮鋭度低下についても本実施例の処理を適用できる。尚、本実施例では複数備える装置のうちいずれか１つの装置に対し、出力特性に応じた補償を加える例を示したが、重畳画像の生成に用いる各装置の出力特性に応じた補償処理を行う構成が望ましい。
【００７２】
また、本実施例では予め画像形成装置３によって形成される画像の出力特性と逆特性となる１つのフィルタを保持し、入力画像の鮮鋭度を強調処理する例を示した。しかしながら、上記の出力特性は、画像の印字条件（記録媒体、インクの種類、パス数、キャリッジ速度、走査方向、ハーフトーン処理）によって変化する。そのため、上記の印字条件に応じた複数の逆特性フィルタを保持し、印字条件に応じて、切り替え処理するのが望ましい。また、複数の逆特性フィルタを保持せずに、１つの逆特性フィルタと印字条件ごとのフィルタ補正係数とを備え、印字条件に応じてフィルタ補正係数を切り替えることで複数の逆特性フィルタを生成しても良い。
【００７３】
また、本実施例では入力画像データに対し、逆特性フィルタによる鮮鋭度の強調処理を行ったが、逆特性フィルタを含めた画像処理の手順は上記の例に限定されない。例えば、実施例１の処理によって、各画像出力装置に出力する出力画像データを生成した後に、各画像出力装置の出力特性に基づく逆特性フィルタ処理を施しても良い。
【００７４】
また、本実施例では式（１１）を用いて出力特性を算出する例を述べたが、出力特性の算出方法は上記の例に限定されない。式（１１）は、正弦波の周波数ｕに応じて出力画像の平均明度が変化するような場合、明部に対して暗部での応答値が過大となる。そのため、出力画像の平均明度が変化するような場合には、以下の式（１３）を用いる。
ｆｉ（ｕ）＝ＭＴＦ（ｕ）＝（Ｍａｘ（ｕ）−Ｍｉｎ（ｕ））／（Ｗｈｉｔｅ−Ｂｌａｃｋ）・・・式（１３）
尚、Ｍａｘ（ｕ）、Ｍｉｎ（ｕ）、Ｗｈｉｔｅ、Ｂｌａｃｋは反射率として記述したが、輝度や濃度、デバイスのＲＧＢ値を用いてもよい。また、出力画像の出力特性を取得するためのチャートは図２３の例に限定されない。周波数毎の応答性を算出可能であれば、正弦波パターンの代わりに矩形波パターンを用いてもよい。このとき、矩形波パターンに対して式（１１）を適用することにより算出されるＣＴＦ値を周波数特性ｆｉ（ｕ）として用いる。もしくは、ＣＴＦ値を周波数特性とせずに、公知のコルトマン補正式を用いてＭＴＦ値に変換してもよい。
【００７５】
また、本実施例では予め逆特性フィルタを生成し、保持する例を述べたが、チャートの反射率分布をユーザが入力するための入力部を設け、入力された反射率分布に応じて逆特性フィルタを生成しても良い。
【００７６】
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７７】
１  画像処理装置
１０３  取得部
１０４  第１生成部
１０７  第２生成部
【図１】
2018093472.tif 000003
【図２】
2018093472.tif 000004
【図３】
2018093472.tif 000005
【図４】
2018093472.tif 000006
【図５】
2018093472.tif 000007
【図６】
2018093472.tif 000008
【図７】
2018093472.tif 000009
【図８】
2018093472.tif 000010
【図９】
2018093472.tif 000011
【図１０】
2018093472.tif 000012
【図１１】
2018093472.tif 000013
【図１２】
2018093472.tif 000014
【図１３】
2018093472.tif 000015
【図１４】
2018093472.tif 000016
【図１５】
2018093472.tif 000017
【図１６】
2018093472.tif 000018
【図１７】
2018093472.tif 000019
【図１８】
2018093472.tif 000020
【図１９】
2018093472.tif 000021
【図２０】
2018093472.tif 000022
【図２１】
2018093472.tif 000023
【図２２】
2018093472.tif 000024
【図２３】
2018093472.tif 000025