(57)【要約】      （修正有）【課題】印刷物の立体感強調処理において、表現可能な被写体形状の条件を、より拡張する。【解決手段】本発明は、印刷データと、印刷物に重畳させる投影用の画像データを生成する画像処理装置であって、色情報及び立体形状情報を取得する入力情報取得手段と、色情報に基づいて、有色色材の印刷データを生成する有色色材印刷データ生成手段と、被写体の面法線ベクトルを、方位角を示す第１の成分と、仰角を示す第２の成分に分解する分解手段と、第１の成分に応じて、反射角度を決定する反射角度決定手段と、反射角度に基づいて、無色色材の印刷データを生成する無色色材印刷データ生成手段と、第２の成分に応じて、反射強度を決定する反射強度決定手段と、反射強度に基づいて、投影用の画像データを生成する投影画像データ生成手段を備える。無色色材により印刷物に溝を形成することで、異方性反射特性を有するように、反射角度を決定する。【選択図】図１
2019106601.tif 000002
【特許請求の範囲】
【請求項１】
入力情報から、印刷物を形成するための印刷データと、前記印刷物に重畳させる投影用の画像データとを生成する画像処理装置であって、
前記入力情報から、被写体の色情報及び立体形状情報を取得する入力情報取得手段と、
前記色情報に基づいて、有色色材の印刷データを生成する有色色材印刷データ生成手段と、
前記立体形状情報に基づいて、前記被写体の所定の領域における面法線ベクトルを、方位角を示す第１の成分と、仰角を示す第２の成分に分解する分解手段と、
前記第１の成分に応じて、前記被写体における表面反射光の反射角度を決定する反射角度決定手段と、
前記反射角度に基づいて、無色色材の印刷データを生成する無色色材印刷データ生成手段と、
前記第２の成分に応じて、前記被写体における表面反射光の反射強度を決定する反射強度決定手段と、
前記反射強度に基づいて、投影用の画像データを生成する投影画像データ生成手段と、
を備え、
前記反射角度決定手段は、前記無色色材により前記印刷物に溝を形成することで、前記印刷物が異方性反射特性を有するように、前記反射角度を決定することを特徴とする画像処理装置。
【請求項２】
前記分解手段は、前記印刷物に形成した溝により、前記異方性反射特性を表現可能な最小単位以上で、前記所定の領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記投影画像データ生成手段は、前記投影用の画像データとして、グレイ画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記投影画像データ生成手段は、前記投影用の画像データとして、前記印刷物を形成するインクの特性に応じたカラー画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記インクの特性は、前記インクの屈折率、前記インクの膜厚のうち、少なくともいずれかを含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記入力情報取得手段は、観察者が前記印刷物を観察する観察角度をさらに取得し、
前記分解手段は、前記観察角度に応じて、前記第１の成分と前記第２の成分に分解することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記入力情報取得手段は、前記観察者が前記印刷物を観察する角度範囲をさらに取得し、
前記反射角度決定手段は、前記角度範囲のうち、前記第１の成分に対応する範囲において、前記反射角度の差が大きくなるように、前記反射角度を決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記入力情報取得手段は、前記観察者が前記印刷物を観察する角度範囲をさらに取得し、
前記反射強度決定手段は、前記角度範囲のうち、前記第２の成分に対応する範囲において、前記反射強度の差が大きくなるように、前記反射強度を決定することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記入力情報は、反射角度毎の強度を示す反射特性を含むことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。 
【請求項１０】
前記無色色材印刷データ生成手段は、前記溝の高さ、前記溝の幅、前記溝の周期、前記所定の領域内において前記溝を形成させる画素の割合のうち、少なくともいずれかを決定することで、前記無色色材の印刷データを生成することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
入力情報から、印刷物を形成するための印刷データと、前記印刷物に重畳させる投影用の画像データとを生成する画像処理装置における画像処理方法であって、
前記入力情報から、被写体の色情報及び立体形状情報を取得する入力情報取得ステップと、
前記色情報に基づいて、有色色材の印刷データを生成する有色色材印刷データ生成ステップと、
前記立体形状情報に基づいて、前記被写体の所定の領域における面法線ベクトルを、方位角を示す第１の成分と、仰角を示す第２の成分に分解する分解ステップと、
前記第１の成分に応じて、前記被写体における表面反射光の反射角度を決定する反射角度決定ステップと、
前記反射角度に基づいて、無色色材の印刷データを生成する無色色材印刷データ生成ステップと、
前記第２の成分に応じて、前記被写体における表面反射光の反射強度を決定する反射強度決定ステップと、
前記反射強度に基づいて、投影用の画像データを生成する投影画像データ生成ステップと、
を含み、
前記反射角度決定ステップは、前記無色色材により前記印刷物に溝を形成することで、前記印刷物が異方性反射特性を有するように、前記反射角度を決定することを特徴とする画像処理方法。
【請求項１２】
コンピュータを請求項１から１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１３】
入力情報から、印刷物を形成するための印刷データと、前記印刷物に重畳させる投影用の画像データとを生成する画像処理装置と、
前記印刷データに基づいて、前記印刷物を形成する画像形成装置と、
前記投影用の画像データに基づいて、前記印刷物に投影画像を投影する画像投影装置と
を備え、
前記画像処理装置は、
前記入力情報から、被写体の色情報及び立体形状情報を取得する入力情報取得手段と、
前記色情報に基づいて、有色色材の印刷データを生成する有色色材印刷データ生成手段と、
前記立体形状情報に基づいて、前記被写体の所定の領域における面法線ベクトルを、方位角を示す第１の成分と、仰角を示す第２の成分に分解する分解手段と、
前記第１の成分に応じて、前記被写体における表面反射光の反射角度を決定する反射角度決定手段と、
前記反射角度に基づいて、無色色材の印刷データを生成する無色色材印刷データ生成手段と、
前記第２の成分に応じて、前記被写体における表面反射光の反射強度を決定する反射強度決定手段と、
前記反射強度に基づいて、投影用の画像データを生成する投影画像データ生成手段と、
を備え、
前記反射角度決定手段は、前記無色色材により前記印刷物に溝を形成することで、前記印刷物が異方性反射特性を有するように、前記反射角度を決定することを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、印刷物に記録されている被写体の立体感を強調するための技術に関する。
【背景技術】
【０００２】
従来、撮影時のライティングや被写体の向きによって、画像に含まれる陰影やハイライトを調整することで、印刷物に記録されている被写体の立体感を強調することが行われている。
【０００３】
但し、撮影方法を工夫することにより生成された印刷物は、陰影やハイライトが特定の条件で固定されている。そのため、このような印刷物では、実際に被写体を観察する場合と異なり、照明条件や観察方向によって陰影やハイライトが変化しない。即ち、立体感を強調させる上で、照明条件や観察方向が限定的であった。
【０００４】
そこで、このような課題に対応するため、照明条件や観察方向による陰影やハイライトの変化を、印刷物に写り込む照明像である光沢によって表現することで、立体感の強調を視覚させる照明条件や観察方向を拡張する技術が提案されている（特許文献１）。
【０００５】
この特許文献１の技術では、具体的には、光沢（正反射光）の反射角度を制御する画像形成手法として、印刷物の表面に透明な溝を形成し、その溝の傾きによって光沢の反射角度を制御している。さらに、ＣＧ画像や３Ｄスキャナ等によって取得可能な被写体の面法線ベクトルの情報に基づいて反射角度を制御し、陰影やハイライトの変化を被写体の形状に即したものとすることで、より自然な立体感の強調を実現している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１２４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
但し、特許文献１に開示された技術では、面法線ベクトルを法線投影面に投影したベクトル（投影ベクトル）より算出される仰角成分にのみ基づいて、溝の傾きを決定している。即ち、面法線ベクトルという３次元情報を投影ベクトルの仰角成分という１次元情報に簡略化し、その簡略化した情報に基づいて、陰影やハイライトの変化を表現している。そのため、面法線ベクトルを構成する仰角成分が略同一な被写体では、少なくとも方位角成分の違いを表現することができなかった。
【０００８】
本発明は、前記従来の問題に鑑みてなされたものであって、面法線ベクトルを、方位角成分と仰角成分の２成分に分離し、各々の成分における正反射光の反射角度と強度を制御することで、被写体の立体形状を構成する２成分の違いを表現することを目的とする。即ち、本発明は、正反射光の反射角度だけではなく強度をも制御することで、正反射光による印刷物の立体感強調処理において、表現可能な被写体形状の条件を、より拡張することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、入力情報から、印刷物を形成するための印刷データと、前記印刷物に重畳させる投影用の画像データとを生成する画像処理装置であって、前記入力情報から、被写体の色情報及び立体形状情報を取得する入力情報取得手段と、前記色情報に基づいて、有色色材の印刷データを生成する有色色材印刷データ生成手段と、前記立体形状情報に基づいて、前記被写体の所定の領域における面法線ベクトルを、方位角を示す第１の成分と、仰角を示す第２の成分に分解する分解手段と、前記第１の成分に応じて、前記被写体における表面反射光の反射角度を決定する反射角度決定手段と、前記反射角度に基づいて、無色色材の印刷データを生成する無色色材印刷データ生成手段と、前記第２の成分に応じて、前記被写体における表面反射光の反射強度を決定する反射強度決定手段と、前記反射強度に基づいて、投影用の画像データを生成する投影画像データ生成手段と、を備え、前記反射角度決定手段は、前記無色色材により前記印刷物に溝を形成することで、前記印刷物が異方性反射特性を有するように、前記反射角度を決定することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、正反射光による印刷物の立体感強調処理において表現可能な被写体形状の条件を、より拡張することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１に係る画像処理装置の機能構成を示すブロック図である。
【図２】立体形状情報の基準となる座標軸及び射影面を示した模式図である。
【図３】傾き情報に応じた記録パターンのＬＵＴを示す図である。
【図４】記録ヘッドの構成を示す図である。
【図５】画像処理装置における画像処理の手順を示すフローチャートである。
【図６】画像の観察環境を示す模式図である。
【図７】反射特性を模式的に示した図である。
【図８】記録媒体に形成した溝の方向と反射光との関係を示す模式図である。
【図９】印刷物の観察方向による射影面の違いを示した模式図である。
【図１０】実施形態２に係る画像処理装置の機能構成を示すブロック図である。
【図１１】実施形態３に係る画像処理装置の機能構成を示すブロック図である。
【図１２】システム（情報処理装置）の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施の形態に関して、添付図面を参照しながら、詳細に説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。また、以下の実施形態において、同一の構成を有するものについては、同じ符号を付して説明する。
【００１３】
［実施形態１］
（本発明の概要）
はじめに、本発明の実施形態を説明する前に、本発明の概要と本発明に関連する基本原理について、簡単に説明する。
【００１４】
本実施形態に係る画像処理装置では、入力情報（即ち、被写体の色情報と立体形状情報とを示す面法線データ）に基づいて、画素毎に記録するインクの量（ドット数）を示す印刷データを生成する。そして、その印刷データに基づいてカラーインクを記録し、さらに、カラーインクが記録された画像上の特定の画素のみに無色のクリアインクを記録することで印刷物の表面に透明な溝を形成させ、印刷物の表面で反射する正反射光を制御する。
【００１５】
なお、ここで、画素とは、階調表現が可能な最小単位のことであり、複数ビットの色情報の処理対象となる最小単位である。また、本実施形態において、印刷物を作製する上で、４種類のカラーインクと、機能性インクとして無色のクリアインクを用いる。これらのインクに関して、本実施形態では、色毎にＣｙａｎ、Ｍａｇｅｎｔａ、Ｙｅｌｌｏｗ、Ｂｌａｃｋ、Ｃｌｅａｒ等、英語表記、又は、シアン、マゼンタ、イエロー、ブラック、クリア等、片仮名表記で示す。加えて、インクの色、又は、そのデータをＣ、Ｍ、Ｙ、Ｋ、ＣＬ等、英大文字で示すものとする。即ち、Ｃはシアン色又はそのデータを、Ｍはマゼンタ色又はそのデータを、Ｙはイエロー色又はそのデータを、Ｋはブラック色又はそのデータを、ＣＬは透明色又はそのデータを、各々、示すものとする。
【００１６】
その他、印刷物を作製する上で用いるインクの数は、必ずしもこれに限定されない。したがって、少なくとも１種類以上のカラーインクとクリアインクを用いることができればよい。また、クリアインクに関して、記録媒体上で表現可能な濃度に影響を与えなければ、僅かな色や濁りがあってもよい。
【００１７】
（正反射を溝によって制御する基本原理）
本実施形態では、所定の微小領域（複数の画素の集合体）毎に透明な溝を形成する。そして、その形成する溝の方向と高さによって、印刷物の表面反射光を制御する。具体的には、溝の方向によって表面反射光の方位角を、また、表面反射光の強度によって仰角を、擬似的に表現することで、方位角と仰角の双方を表現する。
【００１８】
先ず、溝の方向によって、表面反射光の方位角を制御する原理について説明する。図８は、記録媒体に形成した溝と反射光との関係を示す模式図である。図８（ａ）は、記録媒体８０１の表面をｘｙ平面とし、そのｘｙ平面に対し垂直な軸をｚ軸とする座標系において、記録媒体８０１表面に、ｘ軸に平行な方向の溝８０２を形成した印刷物を示している。
【００１９】
図８（ｂ）は、記録媒体８０１表面に形成した溝に対し平行な方向（ｘ軸方向）から照射された光を観察者８０３が観察する様子を示した、印刷物のｘｚ断面の模式図である。図８（ｂ）において、溝の高さは略同一であるため、表面の形状は平滑となる。そのため、正反射光の方向は一様に揃い、観察される正反射光の光量は多くなる。即ち、観察者にとって明るく見える。また、図８（ｂ）では、正反射光が観察される範囲が狭く、鋭いピークを持つ。
【００２０】
図８（ｃ）は、記録媒体８０１表面に形成した溝に対し垂直な方向（ｙ軸方向）から照射された光を観察者８０３が観察する様子を示した、印刷物のｙｚ断面の模式図である。図８（ｃ）において、記録媒体８０１表面に形成した溝により、記録媒体８０１表面の形状には、凹凸が生じる。そのため、表面反射光の方向が不揃いとなり、観察される反射光の光量は少なくなる。即ち、観察者にとって暗く見える。また、図８（ｃ）では、正反射光が観察される範囲が広く、ブロードな特性を持つ。
【００２１】
このように、記録媒体８０１表面に形成した溝に対し平行な観察方向で最も強い反射光が観察されるようにすることで、観察者に、反射光の方位角が溝に平行な方向であるかのように知覚させることができる。即ち、反射光の方位角を、疑似的に制御することができる。そして、この形成する溝の方向を微細な領域毎に変更することで、表面反射光の方位角の表現が可能となる。なお、入力情報に応じて、方向の異なる溝を形成する方法については後述する。
【００２２】
次に、溝の高さによって、表面反射光の強度を制御する原理について説明する。図８（ｃ）、（ｄ）、及び（ｅ）は、記録媒体８０１に形成した溝の高さと表面反射光の反射強度の関係を示す模式図である。図８（ｄ）及び（ｅ）は、図８（ｃ）と同様に、形成した溝に対して垂直な方向（ｙ軸方向）から照射された光を観察者８０３が観察する様子を示した、印刷物のｙｚ断面の模式図である。
【００２３】
図８（ｄ）では、図８（ｃ）に比べ、形成した溝の高さが低く、表面が比較的平滑であるため、反射方向のバラツキが軽減され、観察される反射光の光量は多くなる。他方、図８（ｅ）では、図８（ｃ）に比べ、形成した溝の高さが高く、表面平滑性が低いため、反射方向のバラツキが大きく、観察される反射光の光量は少なくなる。また、図８（ｅ）では、反射光の一部が記録媒体８０１に入射し、拡散されることによっても、観察される反射光の光量は少なくなる可能性がある。
【００２４】
このように、形成した溝の高さが高いと表面反射光の反射強度が少なくなる（即ち、溝の高さを高くすると、表面反射光の反射強度を少なくすることができる）。なお、入力情報に応じて、高さが異なる溝を形成する方法については後述する。また、表面反射光の強度によって、仰角を擬似的に表現する原理についても後述する。
【００２５】
さらに、溝の幅によって、表面反射光の強度を制御する原理について説明する。図８（ｃ）、（ｆ）、及び（ｇ）は、記録媒体８０１に形成した溝の幅と表面反射光の反射強度の関係を示す模式図である。図８（ｆ）及び（ｇ）は、図８（ｃ）と同様に、形成した溝に対して垂直な方向（ｙ軸方向）から照射された光を観察者８０３が観察する様子を示した、印刷物のｙｚ断面の模式図である。
【００２６】
図８（ｆ）では、図８（ｃ）に比べ、形成した溝の幅が広く、そのため、記録媒体８０１に形成した溝により反射角度が異なり、また、記録媒体８０１に入射される光量も少ないことから、観察者８０３に観察される反射光の光量は少なくなる。他方、図８（ｇ）では、形成した溝の幅が狭く、そのため、図８（ｇ）に示されるように、記録媒体８０１に入射される光量も多いことから、観察者８０３に観察される反射光の光量は多くなる。このように、形成した溝の幅が狭いと表面反射光の反射強度が少なくなる（即ち、溝の幅を狭くすると、表面反射光の反射強度を少なくすることができる）。
【００２７】
その他、形成した溝の周期によっても、表面反射光の反射強度を制御することができる。例えば、図８（ｅ）に示されるような溝を、高い周期で形成させると（即ち、溝と溝の間隔を狭めて溝を形成させると）、その分、表面反射光の反射強度を少なくすることができる。また、逆に、低い周期で形成させると、その分、表面反射光の反射強度を多くすることができる。
【００２８】
なお、本実施形態では、以上の内容（即ち、記録媒体に形成した溝と反射光との関係）を踏まえ、立体形状情報を第１の成分と第２の成分とに分解し、その分解した成分毎に、正反射光の反射角度、反射強度を独立に制御する。より詳細には、第１の成分に基づいて反射角度を制御し、観察位置による陰影やハイライトの変化を表現する。また、第２の成分と仮想的な光源とに基づいて投影画像で反射強度を制御し、正反射光によってＣＧ（Computer Graphics）分野におけるシェーディング効果を表現する。
【００２９】
（画像処理装置の構成）
本実施形態に係る画像処理装置の機能構成について、図１を用いて説明する。図１は、本実施形態に係る画像処理装置１の機能構成を示すブロック図である。図１に示されるように、画像処理装置１は、有色色材と無色色材を搭載したプリンタとして機能する画像形成装置２と、プロジェクタとして機能する画像投影装置３に接続される。
【００３０】
なお、本実施形態では、有色色材としてインクジェット用のカラーインクを、無色色材としてインクジェット用のクリアインクを用いる。また、画像処理装置１と画像形成装置２、画像処理装置１と画像投影装置３は、各々、信号値を転送するＵＳＢ等のケーブルやＨＤＭＩ等のディスプレイケーブルによって接続される。ここで、補足として、ＵＳＢはUniversal Serial Bus、ＨＤＭＩはHigh-Definition Multimedia Interfaceの略である。
【００３１】
画像処理装置１は、例えば、一般的なパーソナルコンピュータにインストールされたソフトウェアによって実現される。なお、その場合、以下に説明する画像処理装置１の各機能は、パーソナルコンピュータが所定のプログラムを実行することにより実現される。
【００３２】
画像処理装置１は、その機能として、入力情報取得部１０３、色情報バッファ１０４、立体形状情報バッファ１０５、有色色材印刷データ生成部１０６、分解部１０７を備える。また、画像処理装置１は、反射角度決定部１０８、無色色材印刷データ生成部１０９、無色色材の記録パターンＬＵＴ（Lookup table）１１０、反射強度決定部１１１、投影画像生成部１１２を備える。画像処理装置１は、さらに、入出力用の端子として、色情報入力端子１０１、立体情報入力端子１０２、有色色材印刷データ出力端子１１３、無色色材印刷データ出力端子１１４、投影画像出力端子１１５を備える。
【００３３】
入力情報取得部１０３は、色情報入力端子１０１より入力された印刷対象の色情報を色情報バッファ１０４に、立体情報入力端子１０２より入力された印刷対象の立体形状情報を立体形状情報バッファ１０５に、各々、格納する。なお、色情報は、１２００ｄｐｉ単位の画素毎にＲＧＢ各８ビットのデータを有する、３色の情報を持つカラー画像とする。
【００３４】
有色色材印刷データ生成部１０６は、色情報バッファ１０４より色情報ＲＧＢを取得し、色情報ＲＧＢと有色色材量の関係を保持するＬＵＴ（不図示）を用いて、色情報ＲＧＢを有色色材量に変換する。有色色材印刷データ生成部１０６は、さらに、有色色材量から有色色材印刷データを生成する。なお、ここで、有色色材印刷データとは、画素毎に有色インクドットを記録するか否かを示す１２００ｄｐｉの２値データである。また、印刷データの解像度は、１２００ｄｐｉに限定されず、後述する画像形成装置２で記録可能な解像度であればよい。
【００３５】
分解部１０７は、立体形状情報バッファ１０５より面法線ベクトルｘｙｚを取得し、面法線ベクトルｘｙｚを方位角θ（第１の成分）、仰角φ（第２の成分）の２成分に分解する。ここで、図２（図２（ｂ））を用いて、方位角θと仰角φについて説明する。図２（ｂ）は、ある領域の面法線ベクトルＳ（ｘ，ｙ，ｚ）と方位角θ、仰角φとの関係を模式的に示した図である。
【００３６】
方位角θは、面法線ベクトル２０２ａをＸＹ平面に射影し、射影したベクトル２０２ｂとＹ軸とが成す角の角度である。なお、本実施形態では、原点よりＹ軸の正となる方向を方位角０°とし、原点よりＸ軸の正となる方向を方位角９０°、原点よりＸ軸の負となる方向を方位角−９０°とする。即ち、方位角θは、±１８０°の範囲を取り得る。
【００３７】
仰角φは、面法線ベクトル２０２ａとＺ軸とが成す角の角度である。なお、本実施形態では、Ｚ軸と平行となる角度を仰角０°とし、Ｚ軸に対し垂直であって、かつ射影面に平行となる角度を仰角９０°とする。即ち、仰角φは０°〜９０°の範囲を取り得る。分解部１０７は、分解した方位角θを第１の成分として反射角度決定部１０８に、仰角φを第２の成分として反射強度決定部１１１に各々、送信する。
【００３８】
反射角度決定部１０８は、分解部１０７より送信された第１の成分（方位角θ）に基づいて、所定の微小領域毎に、印刷物表面に形成する溝の傾きを、傾き情報として決定する。このように、第１の成分である方位角θに基づいて、印刷物表面に形成する溝の傾きを決定することで、立体物に見受けられるような観察方位による陰影やハイライトの変化（異方性反射特性）を表現することが可能となる。
【００３９】
なお、傾き情報に関して、そのデータビット数は、後述する無色色材の記録パターンで保持するパターン数以上の表現が可能であればよく、本実施形態では、８種類の記録パターンを保持しているため、４ビットに設定される。反射角度決定部１０８は、決定した傾き情報を、無色色材印刷データ生成部１０９に送信する。
【００４０】
無色色材印刷データ生成部１０９は、画素毎に、記録する無色色材（クリアインク）の記録量を設定した無色色材印刷データを生成する。具体的には、無色色材印刷データ生成部１０９は、傾き情報を受信すると、クリアインクの記録パターンＬＵＴ１１０を用いて、その傾き情報に対応する記録パターンを微小領域毎に選択する。
【００４１】
記録パターンＬＵＴ１１０は、微少領域内の画素毎にクリアインクを記録するか否かを示すドットパターンのことである。図３に、記録パターンＬＵＴ１１０を例示する。図３（ａ）〜（ｈ）に示されるように、本実施形態では、記録パターンＬＵＴ１１０として、８つのドットパターンを保持する。なお、図３において、黒塗りの部分が、クリアインクを記録する画素として示される。また、溝の高さ情報によって、クリアインクの記録対象とする画素に、クリアインクを記録するドット数（記録量）を決定する。無色色材印刷データ生成部１０９は、生成した無色色材印刷データを、無色色材印刷データ出力端子１１４より画像形成装置２に出力する。
【００４２】
反射強度決定部１１１は、分解部１０７より送信された第２の成分と仮想的な点光源との角度差に基づいて、微小領域毎の正反射光の反射強度を決定する。即ち、反射強度決定部１１１は、印刷物２１に重畳させる投影画像３１の強度を、強度情報として決定する。このように、仰角φと仮想的な点光源との角度差に基づいて反射強度（強度情報）を決定することで、ＣＧで用いるシェーディング効果を正反射光によって表現することができる。なお、強度情報に関して、そのデータビット数は、画像投影装置３が表現可能なパターン数以上の表現が可能であればよく、本実施形態では、８ビットに設定される。反射強度決定部１１１は、決定した強度情報を、投影画像生成部１１２に送信する。
【００４３】
投影画像生成部１１２は、投影画像データ生成手段の一例であり、強度情報から画像投影装置３で投影するための投影画像データを生成する。なお、投影画像データは、投影領域（印刷物）と同一サイズとなる解像度毎の強度を８ビットデータとして保持するグレイ画像とする。投影画像生成部１１２は、生成したグレイ画像を、投影画像出力端子１１５より画像投影装置３に出力する。
【００４４】
（立体形状情報の概要）
立体形状情報は、１５０ｄｐｉ単位（１２００ｄｐｉ単位での８×８画素）の微小領域毎の面法線ベクトルを示すデータを用いる。具体的には、被写体と対応する微小領域毎の面法線ベクトルｘｙｚ各８ビットのデータを有する、３色の情報を有するカラー画像とする。
【００４５】
次に、図２（ａ）を用いて、立体的形状情報（面法線ベクトルｘｙｚ）の基準となる座標軸、射影面について説明する。図２（ａ）に示されるように、本実施形態では、撮像装置２０１の光軸中心２０１ａをＺ軸、光軸中心２０１ａのパン方向をＸ軸、光軸中心２０１ａのチルト方向をＹ軸とする座標軸を用いる。また、光軸中心２０１ａと被写体２０２の交点を原点とし、光軸中心２０１ａに対し垂直であって、かつ原点を通るＸＹ平面を射影面２０３とする。
【００４６】
このような座標系において、本実施形態では、所謂カメラ座標系の面法線ベクトルｘｙｚを立体形状情報として用いる。面法線ベクトルのｘ成分は、原点を１２８とし、Ｘ軸の正となる方向の最大値を２５５（撮影画像右端）、Ｘ軸の負となる方向の最小値を０（撮影画像左端）とする８ビットデータとする。同様に、面法線ベクトルのｙ成分は、原点を１２８とし、Ｙ軸の正となる方向の最大値を２５５（撮影画像上端）、Ｙ軸の負となる方向となる最小値を０（撮影画像下端）とする８ビットデータとする。また、面法線ベクトルのｚ成分は、原点を最小値０、ｚ軸の正となる方向（撮影装置がある方向）を最大値２５５とする８ビットデータとする。即ち、光軸中心２０１ａに対し正対する面の場合、面法線ｘｙｚ＝（１２８，１２８，２５５）となる。
【００４７】
なお、微小領域のサイズは、必ずしも１５０ｄｐｉに限定されず、記録媒体に形成した溝において、異方性反射特性を表現可能な最小単位以上であればよい。また、溝を形成可能な最小単位（異方性反射特性を表現可能な最小単位）は、印刷物を形成する記録媒体とクリアインクとの組み合わせのチャート画像を予め印刷し、表面反射光の反射角度を測定、又は目視で確認することにより決定する。
【００４８】
（画像形成装置の構成）
本実施形態において、画像形成装置２は、インクジェット記録方式の画像形成装置とし、記録媒体に対して相対的に縦横に移動する記録ヘッド１１２１を備える。画像形成装置２は、画像処理装置１において生成された有色色材印刷データと無色色材印刷データに基づいて、インクドットを記録媒体上に記録する。
【００４９】
図４は、記録ヘッド１１２１の構成を示す図である。記録ヘッド１１２１は、図４に示されるように、複数の記録素子（ノズル）を備え、本実施形態では、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）、クリア（ＣＬ）の５色のインクを搭載している。画像形成装置２は、各色材の印刷データを取得し、記録ヘッド１１２１に搭載されるインクの中から、印刷データに対応するインクを選択する。
【００５０】
なお、記録ヘッド１１２１に関して、図４では、記録媒体の搬送方向に、複数のノズルが一列に配置された構成として示しているが、ノズルの数及び配置は、図４に示す例に必ずしも限定されない。したがって、例えば、同一色のノズルにおいて吐出量が異なるようにノズルを備えるようにノズル列を構成してもよいし、また、同一色のノズルを複数列、備えるようにしてもよい。加えて、複数のノズルがジグザグに配置されているような構成にしてもよい。その他、図４では、インク色の配置順序をヘッド移動方向に対して一列に配置する構成としているが、記録媒体の搬送方向に一列に配置する構成としてもよい。
【００５１】
また、本実施形態では、記録媒体上で記録ヘッド１１２１により複数回の記録走査を行うことで画像を形成させるマルチパス記録方式、又は記録ヘッドの往路走査と復路走査のいずれにおいても記録動作を行う、所謂双方向印刷方式を用いる。この場合、画像形成装置２は、例えば、複数回の記録走査うち、前半の記録走査で有色色材印刷データに対応する画像を、後半の記録走査で無色色材印刷データに対応する画像を形成することで、有色インクの画像の上に無色の溝を形成する。その他、有色インクと、無色インクで記録ヘッドを分け、搬送方向上流に有色インクの記録ヘッドを、下流側に無色インクの記録ヘッドを備えるように構成させてもよい。
【００５２】
（画像投影装置の構成）
本実施形態において、画像投影装置３は、投射光学部（不図示）を有するプロジェクタとする。投射光学部は、光源であるランプと、入力された投影用画像データに基づいて液晶パネルを駆動させる液晶駆動装置と、投射レンズとを備える。ランプから照射された光は光学系により各液晶パネルに導かれ、各液晶パネルに導かれた光は、各液晶パネルで輝度変調されて、さらに、投射レンズにより画像形成装置２により形成された印刷物２１上に表示画像として投影される。
【００５３】
（画像処理のフローチャート）
次に、図５を用いて、画像処理装置１における画像処理について説明する。図５は、画像処理装置１における画像処理の手順を示すフローチャートである。
【００５４】
入力情報取得部１０３は、色情報入力端子１０１より入力された印刷対象の色情報、また、立体情報入力端子１０２より入力された立体形状情報を取得すると（Ｓ５０１）、各々を、色情報バッファ１０４、立体形状情報バッファ１０５に格納する。
【００５５】
有色色材印刷データ生成部１０６は、色情報バッファ１０４に格納されている色情報ＲＧＢを取得し、色情報ＲＧＢと有色色材量の関係を保持するＬＵＴ（不図示）を用いて、色情報ＲＧＢを有色色材毎の色材量Ａi（ｉ＝Ｃ，Ｍ，Ｙ，Ｋ）に変換する。さらに、その有色色材量に対して、ディザ法や誤差拡散法等のハーフトーニング手法を用いることで、画素単位に区切った記録位置に有色インクドットを記録するか否かを示す、１２００ｄｐｉかつ２値データである有色色材印刷データを生成する（Ｓ５０２）。なお、色材量Ａiの算出方法（変換方法）は、必ずしも上述の方法に限定されない。したがって、例えば、色情報に含まれるＲＧＢ値による濃度と各色材ＣＭＹＫの濃度との関係を保持し、色情報から色材量を計算によって算出してもよい。
【００５６】
分解部１０７は、立体形状情報バッファ１０５より立体形状情報（面法線ベクトルｘｙｚ）を取得し、面法線ベクトルｘｙｚを方位角θと仰角φの２成分に分解する（Ｓ５０３）。以下、先ず、面法線ベクトルのｘｙを用いて、方位角θを決定する例について説明する。
【００５７】
本実施形態では、下式（１）を用いて面法線ベクトルのｘｙからＹ軸の正方向を０°とする方位角θを算出する。
【００５８】
【数１】
2019106601.tif 000003
【００５９】
ここで、ｓｉｇｎ（ｘ’）はｘ’の符号を返す関数であり、ｘ’≧０で１を返し、ｘ’＜０で−１を返す。また、｜ｘ’ｙ’｜は、射影した面法線ベクトルｘｙの長さである。なお、上式（１）ｂにおいて、｜ｘ’ｙ’｜が０となる場合（即ち、対応する面法線ベクトルｘｙが方向を有しない場合）に、θ＝２（即ち、溝の方向を１８０°）としたが、必ずしもこれに限定されない。したがって、例えば、方向性を有しない円や矩形の溝を形成してもよい。
【００６０】
方位角θは、−２から＋２の値をとる。さらに、下式（２）によって、所定の微小領域毎に、方位角θを８ビットのデータである第１の成分Ｎに変換する。分解部１０７は、その変換した第１の成分Ｎを反射角度決定部１０８に送信する。
Ｎ=（θ+２）／４×２５５  ・・・（２）
【００６１】
次に、面法線ベクトルのｘｙｚを用いて、仰角φを決定する例について説明する。仰角φは、以下の式（３）により算出される。
【００６２】
【数２】
2019106601.tif 000004
【００６３】
ここで、｜ｘ’ｙ’ｚ｜は、面法線ベクトルのｘｙｚの長さである。また、仰角φは０から＋１の値をとる。さらに、下式（４）によって、所定の微小領域毎に、仰角φを８ビットのデータである第２の成分Ｍに変換する。分解部１０７は、その変換した第２の成分Ｍを反射強度決定部１１１に送信する。
Ｍ=（１−φ）×２５５  ・・・（４）
【００６４】
反射角度決定部１０８は、第１の成分Ｎと方向情報との対応関係が設定された下式（５）を用いて、第１の成分Ｎを方向情報Ｉに量子化処理する（即ち、反射方向を決定する）（Ｓ５０４）。
【００６５】
【数３】
2019106601.tif 000005
【００６６】
なお、上式（５）では、無色色材の記録パターンで保持する溝の傾きによって制御可能な表面反射光の角度を類推し、その類推した表面反射光の角度と最も近い方位角とを対応付けるように、対応関係を設定している。
【００６７】
無色色材印刷データ生成部１０９は、傾き情報Ｉに基づいて、無色色材印刷データを生成する（Ｓ５０５）。無色色材印刷データ生成部１０９は、先ず、無色色材の記録パターンとの関係を示す記録パターンＬＵＴ１１０を用いて、傾き情報Ｉを画素単位の無色色材のドットパターンに変換する。無色色材印刷データ生成部１０９は、次に、その変換した無色色材のドットパターンにおいて、記録位置と判定された画素に対して、クリアインクの高さに関する情報Ｈをすべての画素に、均一になるように付加する。
【００６８】
なお、ここで、クリアインクの高さに関する情報Ｈとは、画像形成装置２において同一画素に重ねて記録可能なクリアインクのドット数を示している。例えば、クリアインクの高さに関する情報Ｈが３の場合、同一画素にクリアインクが３ドット記録される。
【００６９】
無色色材印刷データ生成部１０９は生成した無色色材の印刷データを、また、有色色材印刷データ生成部１０６は生成した有色色材印刷データを、画像形成装置２に出力する（Ｓ５０６）。なお、画像形成装置２は、画像処理装置１から送信されたデータ（有色色材印刷データ及び無色色材の印刷データ）に基づいて、記録ヘッドより色材を吐出することで、記録媒体上に画像を形成する。
【００７０】
反射強度決定部１１１は、第２の成分Ｍに対応する仰角φと予め設定する仮想的な光源との角度差をｄとして、下式（６）を用いて、強度Ｖを決定する（Ｓ５０７）。なお、角度差ｄは、撮像装置２０１の光軸中心２０１ａを０（即ち、角度差なし）とし、射影面と平行な面を最大値２５５として設定される。また、本実施形態では、撮像装置２０１の光軸中心２０１ａを仮想的な光源の位置とし、ｄ＝０として強度Ｖを算出する。
Ｖ＝｜Ｍ-ｄ｜・・・（６）
【００７１】
投影画像生成部１１２は、ステップＳ５０７で決定された強度情報（強度Ｖ）を取得すると、強度情報と投影画像の強度情報の関係を保持するＬＵＴ（不図示）を用いて、投影画像データに変換する（即ち、投影画像データを生成する）（Ｓ５０８）。
【００７２】
なお、この投影画像データに変換するためのＬＵＴは、予め投影画像データに含まれる信号値を変えたチャートを投影し、投影画像に含まれる信号値毎の輝度を分光放射輝度計等の測定器で測定することにより作成される。
【００７３】
また、本実施形態では、投影画像データに関して、領域と同一サイズとなる解像度毎の強度を８ビットデータとして保持するグレイ画像を用いる。加えて、投影画像データは、印刷物２１上に形成される画像と投影画像３１が等倍率となるように画像投影装置３が調整されているため、３００ｄｐｉのデータであるとする。その他、補足として、より好適には、画像投影装置３によって投影される画像の投影倍率に応じて、第１の成分による領域のサイズと投影画像データのサイズが一致するように、公知の解像度変換処理を施す変倍処理部を具備させてもよい。
【００７４】
投影画像生成部１１２は、画像投影装置３に生成した投影画像データを出力する（Ｓ５０９）。画像投影装置３は、入力された投影画像データに基づいて、画像を投影する。具体的には、画像投影装置３は、投影画像データの各画素に対応する液晶パネルを記録されているデータに基づいて動作させ、液晶パネルを透過する光の強度を変調する。そして、その変調した光を投影レンズによって、印刷物２１上に重畳投影する。
【００７５】
以上、説明したように、処理を実行することで、被写体の立体的形状情報を２成分に分解し、第１の成分に基づいて光沢の反射角度、第２の成分に基づいて光沢の反射強度を制御する。これら第１の成分と第２の成分に基づいて処理を実行することで、正反射光による印刷物の立体感強調処理において表現可能な被写体形状の条件をより拡張することができる。
【００７６】
（観察環境）
本実施形態では、上述のように、画像形成装置２から出力された印刷物２１と、画像投影装置３から出力された投影画像３１を重畳することにより、１つの重畳画像を生成する。即ち、本実施形態において、重畳画像は、画像形成装置２により形成された印刷物上に、画像投影装置３により投影された投影画像を重畳した画像として示される。
【００７７】
ここで、補足として、図６に、生成した重畳画像の観察環境をその一例として示す。図６において、画像形成装置２から出力された印刷物６０１は観測者６０４の正面に配置されているものとし、また、投影部６０２から投影された投影画像６０３は印刷物６０１の全体に重畳されているものとする。
【００７８】
観測者６０４は、投影画像６０３を光源として、印刷物６０１で反射した光を視認する。図６において、実線矢印は、注目画素６０５で反射した注目画素正反射光６０６を示し、破線矢印は、印刷物６０１の上部及び下部の各々で反射した正反射光を示す。
【００７９】
なお、観察環境において、投影部６０２は、注目画素正反射光６０６が観測者６０４に視認されるように配置される。具体的には、印刷物の法線と注目画素６０５への入射光とが成す角度θ1と、印刷物の法線と観測者の注目角度とがなす角度θ2が、θ1＝θ2の関係になるように、投影部６０２を配置する。また、注目画素６０５は、印刷物６０１の中央部としてもよいし、印刷物６０１内でユーザが最も注目させたい領域の中心でもよい。
【００８０】
その他、クリアインク、立体形状情報と色の相関性、クリアインクの記録パターンの決定方法、入力情報の形式、投影画像データのカラー画像化、装置の構成に関して、以下、説明を簡単に補足する。
【００８１】
（クリアインク）
本実施形態では、上述のように、溝を形成する例として、カラーインクの表面にクリアインクを吐出することで溝を形成する例を説明したが、画素毎に記録するインク量の違いによって、印刷物表面の溝を制御することができればよい。また、クリアインクを打つ順序（クリアインクを吐出する順序）も必ずしも上述の順序に限定されず、クリアインクの一部又はすべてがカラーインクの下地となっていればよい。
【００８２】
（立体形状情報と色の相関性）
本実施形態では、被写体に関する立体感強調処理において、上述のように、同一の被写体における立体形状情報と色情報を取得する例を説明したが、立体形状情報を取得する被写体と色情報を取得する被写体は、必ずしも同一である必要はない。したがって、例えば、印刷物の装飾性を向上させるために、色情報を取得する被写体とは異なるテクスチャより立体形状情報を取得してもよい。
【００８３】
（クリアインクの記録パターンの決定方法）
本実施形態では、上述のように、ＬＵＴに傾きの異なるクリアインクの記録パターンを保持させ、傾き情報Ｉからクリアインクの記録パターンを決定する方法について説明した。しかしながら、クリアインクの記録パターンを決定する方法については、必ずしもこれに限定されない。したがって、例えば、図３（ａ）に示す方位角０°に対応するクリアインクの記録パターンを１つ保持し、その他の傾きに対応する記録パターンを、傾き情報Ｉに応じた公知のアフィン変換によって、その保持した記録パターンを回転処理させて生成してもよい。加えて、クリアインクの記録パターンとして、クリアインクを記録するドット数により溝の高さ、また、クリアインクの記録の仕方により、溝の幅、溝の周期、所定の微小領域内において溝を形成させる画素の割合も適切に設定することができる。
【００８４】
（入力情報の形式）
本実施形態では、上述のように、色情報と立体形状情報を個別に取得する例を説明したが、色情報と立体形状情報を取得する方法は必ずしもこれに限定されない。即ち、色情報と立体形状情報を取得するにあたり、情報として色情報と立体形状情報を含んでいればよく、例えば、ある入射角度からの光に対する反射角度毎の強度を示す反射特性を入力情報とすることもできる。
【００８５】
以下、図７を用いて、説明を補足する。図７は、反射特性を模式的に示した図であり、より詳細には、被写体７０３に対して、入射光７０１を照射したときの反射角度毎の強度の違いである反射特性７０２を、２次元図で模式的に示したものである。図７において、例えば、反射特性７０２において、角度毎に略同一となっている強度を拡散光７０２２とし、拡散光７０２２を色情報として用いる。さらに、入射光７０１のベクトルと、最も反射強度が高くなっている正反射光７０２１のベクトルを加算することで、公知のハーフベクトルを算出し、その算出したハーフベクトルを立体形状情報である面法線ベクトル７０４として用いてもよい。
【００８６】
（投影画像データのカラー画像化）
本実施形態では、投影画像データにより輝度を変調する例として、解像度毎の強度を８ビットデータとして保持するグレイ画像を用いたが、投影画像データの形式は必ずしもこれに限定されない。したがって、例えば、表面に堆積（形成）されたインクの屈折率の分光分析や表面に形成するインク層の膜厚等のインク特性によって発生する正反射光の色付きを抑制するために、投影画像をカラー画像にしてもよい。
【００８７】
なお、この場合、画像投影装置３にランプからの光をＲ、Ｇ、Ｂの３色に分解する光学系を具備させ、それぞれの光に対応する液晶パネルによって輝度を変調する。さらに、入力情報と領域単位で発生する正反射光の色付きの関係を保持させ、この関係に基づいて、印刷物２１に投影画像３１を重畳させた際に、正反射光が無彩色化するように投影画像データを補正する。
【００８８】
（装置の構成）
本実施形態では、画像処理装置１の処理に、印刷データ及び投影画像データを生成する処理のすべてを含ませるように説明したが、必ずしもこれに限定されない。したがって、例えば、一般的なパーソナルコンピュータにインストールされたプリンタドライバやプロジェクタドライバによって、印刷データや投影画像データを生成する処理を実行するようにしてもよい。その場合、上述の有色色材印刷データ生成部１０６、無色色材印刷データ生成部１０９、投影画像生成部１１２における各処理は、コンピュータが所定のプログラムを実行することにより実現される。また、本実施形態に関して、それとは逆に、画像処理装置１、画像形成装置２、及び画像投影装置３を一体に構成した画像表示装置に適用することもできる。
【００８９】
［実施形態２］
上述の実施形態（実施形態１）では、入力情報取得部１０３によって色情報と立体形状情報を取得する例について説明した。そこで、本実施形態では、色情報と立体形状情報に加え、印刷物２１を観察する観察者情報を取得し、観察者情報に応じた処理を実行する。
（観察角度を考慮することによる効果）
本実施形態では、立体形状情報を方位角と仰角の２成分に分解するときのＸＹＺ座標の軸の取り方を、観察角度に基づいて図２（ｃ）のように変更し、ＸＹ座標から成る射影面を変更する。
【００９０】
ここで、観察角度を考慮することによる課題に関して、図９を用いて説明する。図９は、印刷物の観察方向による射影面の違いを説明するための模式図であり、図９（ａ）と（ｂ）では、同じ印刷物９０２を、観察者が異なる観察角度から観察する様子を示している。
【００９１】
例えば、印刷物９０２を正面から観察する場合（図９（ａ））、撮像装置の光軸中心と観察者の視線９０１ａが一致する。そのため、撮影時と観察時において形状が示す方位角θに差分がない。しかしながら、印刷物９０２を下から仰ぎ見るような場合（図９（ｂ））、撮像装置の光軸中心と観察者の視線９０１ｂが一致せず、撮影時と観察時で形状が示す方位角θが異なるため、観察時の光沢に違和感を持つことがあった。そこで、本実施形態では、観察者の観察角度を取得し、ユーザの意図する観察角度に最適化した印刷物を生成し、観察角度による違和感を低減させる。
【００９２】
（画像処理装置の構成）
図１０は、本実施形態（実施形態２）に係る画像処理装置１の機能構成を示すブロック図である。なお、本実施形態に係る画像処理装置１は、観察者情報入力端子１１６と、観察者情報バッファ１１７をさらに備える点で、実施形態１と異なる。
【００９３】
また、これに関連して、入力情報取得部１０３は、観察者情報入力端子１１６より入力された、観察者が印刷物を観察するときの観察角度と観察方位角度範囲（以下、単に角度範囲という）を観察者情報として、観察者情報バッファ１１７に格納する。なお、観察角度は、撮像装置２０１の光軸中心２０１ａと観察者の視線とのＸＹＺ座標における差分値ΔｘΔｙΔｚであり、各々、８ビットのデータとして示される。
【００９４】
（画像処理のフローチャート）
次に、図５を用いて、画像処理装置１における画像処理について説明する。なお、ここでは、実施形態１との処理の違いに着目して説明する。即ち、実施形態１におけるステップＳ５０３の処理で、入力として観察角度が加わる以外、その他の処理は同様であることから、ここでは、その説明を省略する。
【００９５】
ステップＳ５０３において、分解部１０７は、先ず、立体形状情報バッファ１０５に格納されている立体形状情報（面法線ベクトルｘｙｚ）と、観察者情報バッファ１１７に格納されている観察角度αβγを取得する。分解部１０７は、次に、観察角度αβγに基づいて立体形状情報ｘｙｚを補正し、その補正した立体形状情報ｘtｙtｚtを方位角θと仰角φの二成分に分解する。なお、観察角度αβγに基づく立体形状情報ｘｙｚの補正は、下式（７）によって行われる。また、ここで、Ａ（−α,−β,−γ）は、角度−α,−β,−γだけｘｙｚを回転させる回転行列である。
【００９６】
【数４】
2019106601.tif 000006
【００９７】
分解部１０７は、立体形状情報を補正すると、その補正した立体形状情報に基づいて、ステップＳ５０３に関する、以降の処理を同様に実行する。なお、以降の処理は、実施形態１と同様であることから、ここでは、その説明を省略する。
【００９８】
ステップＳ５０４において、反射角度決定部１０８は、観察者情報バッファ１１７に格納されている角度範囲のうち、第１の成分Ｎに対応するＮMaxＮMinを取得する。そして、取得したＮMaxＮMinに基づいて、第１の成分Ｎを補正し、その補正した第１の成分Ｎt及び第１の成分Ｎと傾き情報Ｉとの対応関係に基づいて、補正した第１の成分Ｎtを傾き情報Ｉに量子化する。反射角度決定部１０８は、先ず、下式（８）により、ＮMaxＮMinに基づいて第１の成分Ｎを補正する。
【００９９】
【数５】
2019106601.tif 000007
【０１００】
反射角度決定部１０８は、第１の成分Ｎを補正すると、次に、その補正した第１の成分Ｎtに基づいて、ステップＳ５０４に関する、以降の処理を同様に実行する。なお、以降の処理は、実施形態１と同様であることから、ここでは、その説明を省略する。
【０１０１】
以上、説明したように、観察者の観察位置に応じて被写体の立体形状情報の射影条件を変更し、その上で、第１の成分と第２の成分に分解する。さらに、第１の成分に基づいて光沢の反射角度、第２の成分に基づいて光沢の反射強度を制御する。そして、このように、観察者の観察位置に基づいて立体形状を変更し、第１の成分と第２の成分の２成分に分解することで、観察位置に従って、表面反射光による印刷物の立体感強調処理をより最適化することができる。
【０１０２】
（観察条件）
次に、入力された角度範囲内で光沢の差が最大となるように、第１の成分Ｎと形成させる溝の方向との対応関係、第２の成分Ｍと投影強度との対応関係を変更することで、観察者が観察する角度範囲内で立体感の強調度合いを最大化することを考える。
【０１０３】
以下、立体感の強調度合いを最大化する上で、第１の成分Ｎと第２の成分Ｍを補正する処理に関して、ステップＳ５０４、Ｓ５０７を用いて説明する。なお、角度範囲は、観察者の視線を原点とし、方位角θの範囲を示すＮMaxＮMinと仰角φの範囲を示すＭMaxＭMinの４つの８ビットデータである。また、ＮMaxＮMinは−２〜＋２の範囲を、ＭMaxＭMinは０〜１の範囲を取り得る。
【０１０４】
ステップＳ５０４において、反射角度決定部１０８は、観察者情報バッファ１１７に格納されている角度範囲のうち、第１の成分Ｎに対応するＮMaxＮMinを取得する。そして、取得したＮMaxＮMinに基づいて、第１の成分Ｎを補正し、その補正した第１の成分Ｎt及び第１の成分Ｎと方向情報Ｉとの対応関係に基づいて、補正した第１の成分Ｎtを方向情報Ｉに量子化する。反射角度決定部１０８は、先ず、下式（９）により、ＮMaxＮMinに基づいて第１の成分Ｎを補正する。
Ｎt＝(Ｎ−２)×(ＮMin−ＮMax)／４＋ＮMin・・・（９）
【０１０５】
反射角度決定部１０８は、第１の成分Ｎを補正すると、次に、その補正した第１の成分Ｎtに基づいて、ステップＳ５０４に関する、以降の処理を同様に実行する。なお、以降の処理は、実施形態１と同様であることから、ここでは、その説明を省略する。
【０１０６】
また、ステップＳ５０７において、観察者情報バッファ１１７に格納されている角度範囲のうち、第２の成分Ｍに対応するＭMaxＭMinを取得する。そして、その取得したＭMaxＭMinに基づいて、第２の成分Ｍを補正し、その補正した第２の成分Ｍtを高さ情報Ｈに量子化する。反射強度決定部１１１は、先ず、下式（１０）により、ＭMaxＭMinに基づいて第２の成分Ｍを補正する。
Ｍt＝Ｍ×(ＭMin−ＭMax)＋ＭMin・・・（１０）
【０１０７】
Ｓ５０４と同様に、第２の成分Ｍを補正し、補正したＭtに基づいて以降の処理を行う。以降の処理は実施形態１と同様のため説明を省略する。反射強度決定部１１１は、第２の成分Ｍを補正すると、次に、その補正した第２の成分Ｍtに基づいて、ステップＳ５０７に関する、以降の処理を同様に実行する。なお、以降の処理は、実施形態１と同様であることから、ここでは、その説明を省略する。
【０１０８】
なお、上記の例では、入力された角度範囲内で光沢の差による立体感強調を最大化する処理の例を述べたが、角度範囲の使用方法は上記の例に限定されない。したがって、例えば、角度範囲を光沢による制御を行うか否かを判定するために用い、クリアインクの消費量を低下させるために、角度範囲で指定された範囲以外の角度において、溝を形成しないようにしてもよい。
【０１０９】
［実施形態３］
上述のように、実施形態１では、入力情報取得部１０３により色情報と立体形状情報を取得する例について、また、実施形態２では、入力情報取得部１０３により色情報と立体形状情報に加え、観察者情報を取得する例について説明した。
【０１１０】
しかしながら、撮影時の照明条件における光沢が色情報に含まれている場合、撮影時の照明条件と異なる照明条件で印刷物を観察すると、印刷物上に撮影時と観察時の２種類の光沢が存在することになり、観察者が違和感を持つ可能性がある。
【０１１１】
そこで、本実施形態では、撮影時に取得した色情報から被写体の拡散光情報のみを抽出し、さらに、その拡散光情報に基づいて有色色材印刷データを生成することで、印刷物上の画像から撮影時の光沢を除去する。これにより、撮影時の光沢と観察時の光沢が混在することで生じる、観察者に知覚される違和感を抑制する。以下、具体的な処理について説明する。
【０１１２】
（画像処理装置の構成）
図１１は、本実施形態（実施形態３）に係る画像処理装置１の機能構成を示すブロック図である。本実施形態に係る画像処理装置１は、拡散光情報抽出部１１８を備える点で、実施形態１と異なる。また、これに関連して、拡散光情報抽出部１１８は、抽出した拡散光情報を、色情報バッファ１０４に格納する。
【０１１３】
（画像処理のフローチャート）
次に、図５を用いて、画像処理装置１における画像処理について説明する。なお、ここでは、実施形態１との処理の違いに着目して説明する。即ち、実施形態１におけるステップＳ５０１の処理で、拡散光情報抽出部１１８に対応する処理が関係すること以外、その他の処理は同様であることから、ここでは、その説明を省略する。
【０１１４】
ステップＳ５０１において、拡散光情報抽出部１１８は、入力情報取得部１０３により取得された色情報に対して、公知の二色性反射モデルを用いて拡散光情報を抽出する。拡散光情報抽出部１１８は、拡散光情報を抽出すると、その抽出した拡散光情報を色情報バッファ１０４に格納する。以下、公知の二色性反射モデルを用いて拡散光情報を抽出する処理について詳細に説明する。
【０１１５】
（二色性反射モデルの概要）
ここでは、二色性反射モデルの概要と、二色性反射モデルにより色情報から拡散光情報を抽出する処理について説明する。二色性反射モデルとは、反射光が表面反射光と拡散光との線形和で示すことができるという考え方に基づくモデルである。
【０１１６】
色情報の画像の画素を、略同一の色相と彩度を有する画素群に分類し、その分類した画素群の中で、強度が所定の閾値よりも高い画素群と低い画素群に再分類する。さらに、その再分類した画素群の中で、強度が高い画素を表面反射光情報と拡散光情報を含む画素群、強度が低い画素を拡散光情報のみを含む画素群とし、上記２種類の画素群の中から彩度が近い画素間の差分値を表面反射光とする。そして、強度が高い画素の強度成分を強度が低い画素の強度成分に置き換えることで、色情報から拡散光情報のみを抽出する。
【０１１７】
（二色性反射モデルによる拡散光情報の抽出処理）
次に、図５（図５（ｂ））のフローチャートを用いて、画像処理装置１における色情報から拡散光情報を抽出する処理の手順について説明する。拡散光情報抽出部１１８は、入力情報取得部１０３により取得された色情報を、ＲＧＢから色相（Ｈ）、彩度（Ｓ）、強度（Ｉ）を示す公知のＨＳＩ空間に変換する（Ｓ５０２１）。拡散光情報抽出部１１８は、ＨＳＩ空間に変換すると、全画素に関して、色相（Ｈ）毎に彩度（Ｓ）と強度（Ｉ）を分類する（Ｓ５０２２）。例えば、色相（Ｈ）を均等な１２領域に分類する。
【０１１８】
拡散光情報抽出部１１８は、次に、色相（Ｈ）毎に、強度（Ｉ）が予め設定された所定の閾値以上となる画素Ｊと、所定の閾値未満となる画素Ｋに分類する（Ｓ５０２３）。そして、拡散光情報抽出部１１８は、所定の閾値以上となる画素Ｊｉが存在する場合に、その画素Ｊｉと彩度（Ｓ）が最も近い画素ＫｉをＫの中から探索し、画素Ｊｉの強度成分をＫｉの強度成分に置き換える（Ｓ５０２４）。即ち、所定の閾値以上となる画素Ｊｉと彩度（Ｓ）が最も近い画素Ｋｉの差分である光沢を除去することで、色情報から拡散光情報のみを抽出する。
【０１１９】
拡散光情報抽出部１１８は、ＨＳＩ色空間からＲＧＢに逆変換する（即ち、ステップＳ５０２１と逆の変換処理を施す）（Ｓ５０２５）。拡散光情報抽出部１１８は、色情報バッファ１０４に逆変換したＲＧＢを格納する。なお、画像処理装置１は、その補正した色情報に基づいて、以降の処理を実行する。また、以降の処理は、実施形態１と同様であることから、ここでは、その説明を省略する。
【０１２０】
以上、説明したように、印刷物上の画像から撮影時の光沢を除去することで、撮影時の光沢と観察時の光沢の混在を防ぐ。そして、このように、混在を防ぐことで、観察者に知覚される違和感を低減することができる。
【０１２１】
（拡散光情報の抽出）
なお、本実施形態では、色情報であるＲＧＢ画像データに対して、公知の二色性反射モデルを用いて拡散光情報を抽出したが、拡散光情報の取得（抽出）方法は必ずしもこれに限定されない。したがって、例えば、撮影時に偏光フィルタを用いて偏光状態が異なる複数の色画像群を取得し、表面反射光と拡散光情報の偏光状態の違いに基づいて、拡散光情報を生成してもよい。また、複数の撮影角度から撮影した画像群に基づいて、拡散光情報を生成してもよい。
【０１２２】
［その他の実施形態］
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様を採ることが可能である。具体的には、図１２に示すような複数の機器（例えば、情報処理装置、インタフェース機器、画像形成装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用してもよい。即ち、例えば、各種のユニット（ＣＰＵ、ＲＯＭ、ＲＡＭ等）を含む構成により、システムを構成してもよい。
【０１２３】
また、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接或いは遠隔から供給し、そのシステム又は装置のコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、上述の実施形態において、図示したフローチャートに対応したプログラムである。
【０１２４】
従って、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も、本発明の範囲に含まれる。
【０１２５】
その場合、そのコンピュータプログラムはプログラムの機能を有していればよく、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１２６】
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）等である。
【０１２７】
プログラムの供給方法としては、以下に示す方法も可能である。即ち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの（又は、圧縮され、自動インストール機能を含むファイル）をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の範囲に含まれる。
【０１２８】
加えて、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。即ち、そのユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにソフトウェアをインストールすることができる。
【０１２９】
また、コンピュータが、読み出したプログラムを実行することによって、上述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部または全部を行い、その処理によっても上述した実施形態の機能が実現され得る。
【０１３０】
その他、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、上述した実施形態の機能が実現される。即ち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行うことが可能である。
【符号の説明】
【０１３１】
１  画像処理装置
１０３  入力情報取得部
１０６  有色色材印刷データ生成部
１０７  分解部
１０８  反射角度決定部
１０９  無色色材印刷データ生成部
１１１  反射強度決定部
１１２  投影画像生成部
【図１】
2019106601.tif 000008
【図２】
2019106601.tif 000009
【図３】
2019106601.tif 000010
【図４】
2019106601.tif 000011
【図５】
2019106601.tif 000012
【図６】
2019106601.tif 000013
【図７】
2019106601.tif 000014
【図８】
2019106601.tif 000015
【図９】
2019106601.tif 000016
【図１０】
2019106601.tif 000017
【図１１】
2019106601.tif 000018
【図１２】
2019106601.tif 000019