(57)【要約】  【課題】入力画像の分光特性を推定することにより、被写体の忠実な色再現を実現する。  【解決手段】３次元の色信号を有する入力画像データの各画素の分光特性を推定する色変換方法であって、入力画像と略同一の分光特性を有する参照画像データを取得し、参照画像データから入力画像データの色信号に対応した被写体の分光特性を決定する。決定したデータに基づき入力画像の各画素の色信号を分光特性に変換し、各画素の分光特性を記憶した入力画像データを生成する。【選択図】  図２
2011015298.tif 000002
【特許請求の範囲】
【請求項１】
３次元の色情報を有する入力画像データから分光特性を有する画像データへ変換する色変換方法であって、
前記入力画像データを取得する入力画像取得工程と、
前記入力画像データにおける被写体と略同一の分光特性を有する被写体を撮影したＮ次元（Ｎ＞３）の色情報を有する参照画像データを取得する参照画像取得工程と、
前記入力画像データの撮影条件情報を取得する撮影条件取得工程と、
前記参照画像データから各画素の前記分光特性を取得する分光特性取得工程と、
前記撮影条件情報および前記分光特性に基づいて前記参照画像データの各画素に対応する３次元の色情報を算出する算出工程と、
前記入力画像データの３次元の色情報と前記参照画像データの分光特性とを対応づける色変換決定工程と
を有することを特徴とする色変換方法。
【請求項２】
３次元の色情報を有する入力画像データの被写体を任意の印刷環境において分光的に再現する色変換プロファイルを生成する色変換方法であって、
３次元の色情報を有する入力画像データを取得する入力画像取得工程と、
前記入力画像データにおける被写体と同一の分光特性を有する被写体を撮影したＮ次元（Ｎ＞３）の色情報を有する参照画像データを取得する参照画像取得工程と、
前記入力画像データの撮影条件情報を取得する撮影条件取得工程と、
前記参照画像データから各画素の前記分光特性を取得する分光特性取得工程と、
前記撮影条件情報および前記分光特性に基づいて前記参照画像データの各画素に対応する３次元の色情報を算出する算出工程と、
前記入力画像データの３次元の色情報と前記参照画像データの分光特性とを対応づける色変換決定工程と
前記分光特性を前記印刷環境において再現可能な色剤量に変換する色変換決定工程と
を有することを特徴とする色変換方法。
【請求項３】
前記色変換決定工程は、
前記印刷環境における任意の色剤量の組み合わせに対応する分光特性を推定する分光特性推定工程と、
前記分光特性推定工程における逆関数を用いて任意の分光特性を再現する色剤量の組み合わせを求める色剤量最適化工程と
を有することを特徴とする請求項２に記載の色変換方法。
【請求項４】
既存の色変換プロファイルを取得する色変換プロファイル取得工程を更に有し、
前記色変換決定工程は、
前記３次元の色情報のうち分光データから変換した３次元の色情報に含まれる色情報に対しては前記分光データに基づいて色剤量を決定し、
前記分光データから変換した３次元の色情報に含まれない色情報に対しては前記既存の色変換プロファイルから取得した色剤量を決定する
ことを特徴とする請求項２または３に記載の色変換方法。
【請求項５】
前記分光特性取得工程は、
前記参照画像データと同一の撮影条件にて撮影され、Ｎ次元の色情報を有するチャート画像を取得するチャート画像取得工程と、
前記チャート画像の分光特性を取得するチャート分光特性取得工程と、
前記チャート画像のＮ次元の色情報に対応する分光特性を決定するチャート分光特性決定工程と、
前記参照画像データのＮ次元の色情報に対応する分光特性を決定する参照画像分光特性決定工程と
を有することを特徴とする請求項１乃至４のいずれか一項に記載の色変換方法。
【請求項６】
前記撮影条件情報は、撮影時の環境光情報および撮影機器の入射光に対する色変換特性情報を含むことを特徴とする請求項１乃至５のいずれか一項に記載の色変換方法。
【請求項７】
前記色変換決定工程は、前記３次元の色情報のうち前記参照画像データから変換した３次元の色情報に含まれない色情報に対しては前記入力画像データの撮影条件下において当該３次元の色情報に対応する分光特性を決定する分光特性補完工程を更に有し、
前記３次元の色情報のうち前記参照画像データから変換した３次元の色情報に含まれる色情報に対しては分光データに基づいた分光特性を決定することを特徴とする請求項１乃至６のいずれか一項に記載の色変換方法。
【請求項８】
前記分光特性補完工程は、
前記入力画像データと同一の撮影条件で撮影され、３次元の色情報を有するチャート画像を取得するチャート画像取得工程と、
前記チャートの３次元の色情報に対応する分光特性を決定するチャート分光特性決定工程と、
前記入力画像データの３次元の色情報に対応する分光特性を決定する入力画像分光特性決定工程と
を有することを特徴とする請求項７に記載の色変換方法。
【請求項９】
前記分光特性補完工程は、３次元の色情報を分光特性に変換する既存の色変換プロファイルを取得し、
前記既存の色変換プロファイルから取得した分光特性と該３次元の色情報とを対応づけることを特徴とする請求項７または８に記載の色変換方法。
【請求項１０】
３次元の色情報を有する入力画像データから分光特性を有する画像データへ変換する画像処理装置であって、
前記入力画像データを取得する入力画像取得手段と、
前記入力画像データにおける被写体と略同一の分光特性を有する被写体を撮影したＮ次元（Ｎ＞３）の色情報を有する参照画像データを取得する参照画像取得手段と、
前記入力画像データの撮影条件情報を取得する撮影条件取得手段と、
前記参照画像データから各画素の前記分光特性を取得する分光特性取得手段と、
前記撮影条件情報および前記分光特性に基づいて前記参照画像データの各画素に対応する３次元の色情報を算出する算出手段と、
前記入力画像データの３次元の色情報と前記参照画像データの分光特性とを対応づける色変換決定手段と
を有することを特徴とする画像処理装置。
【請求項１１】
コンピュータを、
入力画像データを取得する入力画像取得手段と、
前記入力画像データにおける被写体と略同一の分光特性を有する被写体を撮影したＮ次元（Ｎ＞３）の色情報を有する参照画像データを取得する参照画像取得手段と、
前記入力画像データの撮影条件情報を取得する撮影条件取得手段と、
前記参照画像データから各画素の前記分光特性を取得する分光特性取得手段と、
前記撮影条件情報および前記分光特性に基づいて前記参照画像データの各画素に対応する３次元の色情報を算出する算出手段と、
前記入力画像データの３次元の色情報と前記参照画像データの分光特性とを対応づける色変換決定手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやカラープリンタ等の画像入出力機器に好適な色変換方法、プログラム及び装置に関する。
【背景技術】
【０００２】
一般に、ある被写体をカラープリンタ等で正確に再現する場合にはまず、被写体をデジタルカメラ等で撮影して画像を取得する。そしてＣＲＴやＬＣＤ等のディスプレイ上で、オペレータが所望の印刷結果が得られるように画像を調色する。さらに、実際にカラープリンタによる印刷を行い、その印刷結果を見てから再びディスプレイ上で調色を行うという人手による試行錯誤の繰り返しにより調色が行われている。例えば、ディスプレイ上の画像と印刷結果の色を一致させるためには、色見本や出力画像を画面に表示して指定された色が出力画像上で滑らかになるように出力画像に反映して色調整を行うという方法がある（特許文献１参照）。また、別の方法として、測色器を用い、目標色である色見本を測色し、その測色値に最も近い出力色、つまり目標色との色差が最小となる出力色を出力していた。ここで、人間の視覚特性がＸＹＺの三刺激値を有することから、画像の調色や色差の算出は３次元の色空間情報を元に行われるのが一般的である。ディスプレイ上での画像の操作はＲＧＢの３次元情報を用いることが一般的であり、特にｓＲＧＢを用いることが多い。また、色差はＣＩＥ−Ｌａｂ等の色空間上における２点の距離で表現されることが多い。
【０００３】
一方、画像中の色を分光的に再現するために、各画素の分光反射率を記憶し使用する手法も用いられている。例として、主成分分析を用いて分光反射率を圧縮し記憶しておくという方法が提案されている（特許文献２参照）。
【０００４】
また、画像入力装置から得られた分光反射率を色空間上の画像情報と付加情報に分離して記憶し、出力時に色空間上の画像信号と付加情報から分光反射率を再現する手法も提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３３３０３２号公報
【特許文献２】特開２００１−１３４７５５号公報
【特許文献３】特開２００４−０６４５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、デジタルカメラ等により入力される色は一般にＲＧＢの３蛍光体の加法混色に基づいているのに対し、印刷装置から出力される色はシアン、マゼンタ、イエロー、ブラックの４色インクを中心とした減法混色からなっている。このため、被写体の色と、ディスプレイに表示された調色結果と、実際の印刷結果とは、ＸＹＺなど三刺激値は一致していても分光反射率が異なっているという場合がある。例えば、特許文献１による手法では、条件等色によりカラーマッチングを行っているため、調色を行った環境とは異なる環境、例えば異なる照明光源下で印刷物を観察する場合には色再現精度が低下してしまうという問題があった。また、色見本と出力色との色差を最小にする方法においても、三刺激値は一致させることができたとしても、分光反射率は異なっているため、異なる照明光源下で色見本と出力色との色の見え方が大きく異なったものとなってしまうという問題があった。
【０００７】
また、特許文献２や特許文献３のように各画素の分光反射率を記憶する手法では、入力画像として全画素の分光反射率を記録した分光画像が必要であり、通常のＲＧＢ画像などと比較し撮影にかかる工数や機器のコストが大きくなるという問題があった。特に被写体が重要度の高い文化財であるなど、被写体への露光等によるダメージを抑制する必要がある場合、撮影工数の大きい高解像度な分光画像の取得は困難である。
【０００８】
本発明は上述した問題を解決するためになされたものであり、入力画像の分光分布特性を推定して、これを出力画像で忠実に再現することを可能とし、異なる観察環境下においても、被写体の忠実な色再現を実現する画像を得ることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明における色変換方法は以下の構成を備える。３次元の色情報を有する入力画像データから分光特性を有する画像データへ変換する色変換方法であって、
前記入力画像データを取得する入力画像取得工程と、
前記入力画像データにおける被写体と略同一の分光特性を有する被写体を撮影したＮ次元（Ｎ＞３）の色情報を有する参照画像データを取得する参照画像取得工程と、
前記入力画像データの撮影条件情報を取得する撮影条件取得工程と、
前記参照画像データから各画素の前記分光特性を取得する分光特性取得工程と、
前記撮影条件情報および前記分光特性に基づいて前記参照画像データの各画素に対応する３次元の色情報を算出する算出工程と、
前記入力画像データの３次元の色情報と前記参照画像データの分光特性とを対応づける色変換決定工程とを有する。
【発明の効果】
【００１０】
本発明によれば、入力画像の各画素の分光特性を推定することが可能となり、撮影等による直接的な分光画像の取得が困難な状況においても高画素の分光画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】第一の実施形態に係る色変換システムの構成例を示すブロック図である。
【図２】第一の実施形態に係る色変換処理のフローチャートである。
【図３】第二の実施形態に係る色変換システムの構成例を示すブロック図である。
【図４】第二の実施形態に係る色変換処理のフローチャートである。
【図５】本実施形態に係る３ＤＬＵＴの概念図である。
【発明を実施するための形態】
【００１２】
以下、本発明にかかる実施形態の画像処理を、図面を参照して詳細に説明する。尚、以下の実施形態は本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１３】
＜第一の実施形態＞
図１は本実施形態による色変換システムの構成を示したブロック図である。本実施形態による色変換システムは、大きく分けて５つの装置から構成される。入力装置群であるＲＧＢ画像入力装置１０１、マルチバンド画像入力装置１０２、分光特性測定装置１０３、色変換を実施する色変換部１０４、そして、分光画像を出力する分光画像出力装置１０５を備える。
【００１４】
ＲＧＢ画像入力装置１０１は一般的なデジタルカメラ等、被写体のＲＧＢ画像を取得可能な入力装置である。またマルチバンド画像入力装置１０２はマルチスペクトルカメラ等、被写体の分光特性を取得するための入力装置である。ＲＧＢ画像入力装置１０１やその他の一般のカメラは３種類のフィルタ（ＲＧＢフィルタ）を用いて撮影を行うが、マルチバンド画像入力装置１０２は複数のフィルタにて撮影を行い、Ｎ次元（Ｎ＞３）の色情報を取得する。ここでは、６〜８枚のフィルタを備えたマルチバンドカメラであり、取得した６〜８次元の色情報から被写体の各画素に対応する分光特性を推定することができる。分光特性の推定方法の詳細については図２を用いて後述する。
【００１５】
本実施形態における出力分光画像の解像度あるいは構図等はＲＧＢ画像入力装置１０１により取得された入力画像に依存するため、ＲＧＢ画像入力装置１０１は極力高品質の画像を短時間で撮影可能であることが望ましい。ここでの高品質とは、高解像度であることや色むらやフィルタごとの色ずれ、ピントのずれ等が抑えられていることを指す。特に、マルチバンド画像入力装置１０２より高品質の画像を取得できることが望ましい。
【００１６】
分光特性測定装置１０３は、一定以上の面積を有する色票等の分光特性を直接測定することができる測定装置である。なお分光特性とは、色情報を波長ごとに光の反射率の分布で表したものを指す。ここでは人間の可視領域である３８０ｎｍから７８０ｎｍまでを１０ｎｍ間隔で各波長の輝度あるいは反射率を記憶した４１次元のデータを分光特性と呼び、特に輝度データを記憶したものを分光輝度、反射率を記憶したものを分光反射率と呼ぶ。
【００１７】
ある物体の分光輝度と分光反射率は環境光の分光輝度情報を用いて相互に変換が可能であるため、以後の実施形態において特に区別の必要がない場合は分光特性と記載する。色変換部１０４は、ＲＧＢ画像入力装置１０１により取得されたＲＧＢ画像の各画素の分光特性を推定し、同一解像度の分光画像を出力する。分光画像出力装置１０５は多原色ディスプレイや分光色再現の可能な多色プリンタ等、各画素の分光特性を有する画像を入力し、任意の方法で色再現を行う出力装置である。
【００１８】
以下、色変換部１０４の詳細について説明する。色変換部１０４において、ＲＧＢ画像入力部１１０は、ＲＧＢ画像入力装置１０１により撮影されたＲＧＢ画像（以下、入力画像）を取得する。これにより入力画像取得を行う。またＲＧＢ画像撮影条件入力部１１１は、入力画像を撮影した際の撮影条件情報を取得する。本実施形態における撮影条件とは環境光情報および撮影機器の入射光に対する色変換特性情報を指し、撮影時の被写体の分光特性をＲＧＢに変換するプロファイルに相当する。ここでは入力画像撮影時の環境光情報およびＲＧＢ画像入力装置１０１の色変換特性を取得する。これにより、撮影条件取得を行う。ただし、ＲＧＢ画像撮影条件入力部１１１で取得する情報は上述のものに限らず、後述の参照画像分光特性→ＲＧＢ変換部１１７において任意の分光特性を入力画像撮影条件下でのＲＧＢ値に変換するために十分な情報であればよい。また、撮影条件情報をＲＧＢ画像データに内包し、ＲＧＢ画像入力部１１０で入力画像データと撮影条件情報を同時に取得することも好適である。
【００１９】
参照画像入力部１１２は、マルチバンド画像入力装置１０２により撮影されたマルチバンド画像（以下、参照画像）を取得する。この参照画像は入力画像と略同一の被写体を撮影したものを使用する。被写体が略同一であれば解像度や構図については差異があってもよく、また参照画像に複数の画像を使用してもよい。ここでいう略同一の被写体とは入力画像の被写体と同じ分光特性を有する物体であればよい。例として入力画像の被写体がりんごである場合、参照画像の被写体として別のりんごや多数のりんご、りんごの皮等を使用した場合も本発明の範疇に含まれる。これにより参照画像取得を行う。マルチバンドチャート画像入力部１１３は、所定の色票群を参照画像と同一の撮影条件で撮影したマルチバンドチャート画像データを取得する。ここでは色票群としてカラー１８色、モノクロ６色の計２４色の色票を備えたカラーチャートを使用するが、後述のマルチバンド→分光特性変換部１１５で使用するために十分な情報を取得することができれば他の形態の色票群を使用してもよい。また、参照画像入力部１１２およびマルチバンドチャート画像入力部１１３は、参照画像の撮影条件情報も同時に取得する。
【００２０】
またチャート分光特性入力部１１４は、分光特性測定装置１０３により測定された色票群の分光特性データを取得する。無論、色票の分光反射率が他の手法により測定されている場合や、カタログデータ等から分光反射率を取得可能な場合はその値を使用してもよい。これにより、チャート分光特性取得を行う。マルチバンド→分光特性変換部１１５は、参照画像の撮影条件情報より色票群のマルチバンド画像データと分光特性とを対応づけ、マルチバンドデータを分光特性に変換する変換式を生成する。これにより、チャート分光特性決定及び、参照画像分光特性決定を行う。参照画像分光特性推定部１１６はマルチバンド→分光特性変換部１１５にて生成した変換式を参照画像データに適用し、各画素の分光特性を有する参照画像を生成する。なお、ここで用いる変換式はどのようなものに基づいても良いが、本実施形態においてはＷｉｅｎｅｒ推定に基づく変換式を用いることとする。Ｗｉｅｎｅｒ推定に関しては既知であるため、ここでの説明は省略する。なお、上記のチャート画像を用いたマルチバンド→分光特性変換の流れは一例であり、参照画像の分光特性取得が可能であれば他の手法を用いた場合においても本発明は適用可能である。例えば、マルチバンド画像入力装置１０２が被写体の分光特性を取得可能な場合、各画素の分光特性データを有する参照画像を参照画像入力部１１２で入力してもよい。その場合、マルチバンドチャート画像入力部１１３、マルチバンド→分光特性変換部１１５、参照画像分光特性推定部１１６は省略可能である。
【００２１】
参照画像分光特性→ＲＧＢ変換部１１７は参照画像における全ての画素について、分光特性と入力画像の撮影条件情報から、入力条件と同一の撮影条件で参照画像の被写体を撮影した場合のＲＧＢ値を推定する。これにより参照画像の各画素に対応する３次元の色情報を算出する。なお、推定方法は既知の方法を用いてよく、例えば特許文献３の中で用いられている推定方法などが該当する。ＲＧＢ→分光特性３ＤＬＵＴ生成部１１８は入力画像のＲＧＢ値を分光特性に変換する３次元ルックアップテーブル（３ＤＬＵＴ）形式の色変換プロファイルを生成する。なお、３ＤＬＵＴについては、図５を用いて後述する。ここでは３ＤＬＵＴの各格子点について、入力ＲＧＢ値と同一あるいは近いＲＧＢ値を有する画素を参照画像から取得し、各画素の分光特性から重回帰分析を用いて格子点のＲＧＢデータに対応する分光特性を決定する。無論、他の統計的手法や推定方法を用いて格子点のＲＧＢデータに対応する分光特性を決定してもよい。これにより、３次元の色情報に分光特性を対応付ける色変換決定を行う。
【００２２】
３ＤＬＵＴ上のある格子点において参照画像に近いＲＧＢ値を有する画素が十分に存在しない場合、該当する格子点については後述するＲＧＢ→分光特性３ＤＬＵＴ補完部１２１でその分光特性の決定を行う。ＲＧＢチャート画像入力部１１９は、マルチバンドチャート画像入力部１１３およびチャート分光特性入力部１１４で使用したものと同一の色票群を入力画像と同一の撮影条件で撮影したＲＧＢ画像データを取得する。後述のＲＧＢ→分光特性変換部１２０で使用するために十分な情報を取得することができれば他の形態の色票群を使用してもよい。その場合にはチャート分光特性入力部１１４において、ＲＧＢチャート画像入力部１１９で使用する色票群の分光特性を併せて取得する必要がある。また、ＲＧＢチャート画像入力部１１９は、入力画像の撮影条件情報も同時に取得する。これにより、チャート画像取得を行う。
【００２３】
ＲＧＢ→分光特性変換部１２０は、入力画像の撮影条件情報より色票群のＲＧＢ画像データと分光特性とを対応づけ、ＲＧＢデータを分光特性に変換する変換式を生成する。この変換式に基づくことにより、チャート分光特性決定及び、入力画像分光特性決定を行う。なお、ここで用いる変換式はどのようなものに基づいても良いが、本実施形態においてはマルチバンド→分光特性変換部１１５と同様に、Ｗｉｅｎｅｒ推定に基づく変換式を用いることとする。ＲＧＢ→分光特性３ＤＬＵＴ補完部１２１は変換式を３ＤＬＵＴのうちＲＧＢ→分光特性３ＤＬＵＴ生成部１１８で分光特性を決定できなかった格子点に対して適用し、ＲＧＢ値に対応する分光特性を決定する。このＬＵＴを適用することによって、分光特性補完を行う。
【００２４】
ＲＧＢ→分光特性変換部１２０による分光特性の推定は、フィルタの数の違いなどから、マルチバンド→分光特性変換部１１５と比較して分光特性の推定精度が相対的に低下する。しかしながら参照画像と入力画像の被写体が略同一であることから、参照画像より分光特性を推定できないＲＧＢ値は入力画像内で使用されている確率は低い。よって、相対的に推定精度の低い分光特性を用いたとしても出力画像の分光特性再現精度への影響は低く抑えることが可能である。これにより、入力画像分光特性決定を行う。
【００２５】
入力画像分光特性生成部１２２は、ＲＧＢ→分光特性３ＤＬＵＴ生成部１１８およびＲＧＢ→分光特性３ＤＬＵＴ補完部１２１で生成された３ＤＬＵＴをＲＧＢの入力画像に対して適用し、各画素の分光特性情報を有する入力画像を生成する。分光画像出力部１２３は入力画像分光特性生成部１２２で生成された分光入力画像の出力を行う。出力形式は各画素の分光特性を再現可能であればよく、各種の圧縮方法を使用してもよいし、ＲＧＢ入力画像と３ＤＬＵＴを別個に保存し必要時に各画素の分光特性を算出してもよい。いずれの場合についても本発明の範疇である。
【００２６】
＜処理の流れ＞
次に、本実施形態における色処理の手順について説明する。図２は、図１に示した色変換システムによって行われる色処理を示したフローチャートである。まず、処理が開始されると、Ｓ２０１では、参照画像入力部１１２により、マルチバンド画像入力装置１０２で撮影された画像を取得する。ここで入力された画像は各画素について６〜８次元のマルチバンドデータを有する。
【００２７】
次に、Ｓ２０２では、参照画像分光特性推定部１１６において、参照画像の各画素のマルチバンドデータから分光特性の推定を行う。マルチバンドデータから分光特性への変換方法（変換式）は、マルチバンドチャート画像入力部１１３およびチャート分光特性入力部１１４が取得したデータに基づいて、マルチバンド→分光特性変換部１１５によって決定される。これにより、各画素の分光特性を取得する。Ｓ２０３では、参照画像分光特性→ＲＧＢ変換部１１７において、参照画像の各画素の分光特性から、入力画像撮影条件下における参照画像のＲＧＢ値が算出される。このとき、算出に必要な入力画像の撮影条件がＲＧＢ画像撮影条件入力部１１１によって取得される。Ｓ２０４では、ＲＧＢ→分光特性３ＤＬＵＴ生成部１１８およびＲＧＢ→分光特性３ＤＬＵＴ補完部１２１において、入力画像撮影条件下での任意のＲＧＢ値を分光特性に変換する３ＤＬＵＴを生成する。なお、３ＤＬＵＴを生成する前に３ＤＬＵＴを生成するために必要なＲＧＢチャート画像がＲＧＢチャート画像入力部１１９から取得され、Ｓ２０２にて取得したチャート分光特性と併せてＲＧＢ→分光特性変換部１２０にて処理される。この処理により、ＲＧＢ→分光特性変換部１２０は変換式を生成し、ＲＧＢ→分光特性３ＤＬＵＴ補完部１２１へ渡す。
【００２８】
Ｓ２０５では、ＲＧＢ画像入力部１１０において変換対象となる入力画像の取得を行う。Ｓ２０６では、入力画像分光特性生成部１２２において、Ｓ２０４にて生成した３ＤＬＵＴを入力画像に適用し、各画素について分光特性データを有する入力画像を生成する。最後にＳ２０７では、各画素について分光特性データを有する入力画像を、分光画像出力装置１０５に出力し入力画像の分光色再現を行う。
【００２９】
以上、本実施形態によれば被写体を撮影したＲＧＢ画像の各画素の分光特性を推定し、被写体の分光特性を忠実に再現することが可能となる。これにより被写体の分光色再現にかかるユーザの工数を低減することが可能となり、また被写体の高品質な分光撮影が困難な場合においても高品質な画像の分光色再現を行うことが可能となる。
【００３０】
＜第二の実施形態＞
図３は本実施形態に係る色変換システムの構成の例を示したブロック図である。本実施形態による色変換システムは大きく分けて、入力装置群であるＲＧＢ画像入力装置３０１、マルチバンド画像入力装置３０２、分光特性測定装置３０３、色変換を実施する色変換部３０４、画像を出力する画像印刷装置３０５の５つから構成される。ＲＧＢ画像入力装置３０１、マルチバンド画像入力装置３０２、分光特性測定装置３０３は第一の実施形態において使用したＲＧＢ画像入力装置１０１、マルチバンド画像入力装置１０２、分光特性測定装置１０３と同等のものであるため、ここでの説明は割愛する。色変換部３０４は、ＲＧＢ画像入力装置３０１により取得されたＲＧＢ画像の各画素の分光特性を推定し、推定した分光特性を画像印刷装置３０５によって再現可能な色変換データを出力する。ここでいう色変換データとは、画像の各画素について、画像印刷装置３０５で使用する各色剤の量を記憶したデータである。
【００３１】
画像印刷装置３０５はカラー出力が可能な印刷環境としての出力装置である。尚、本実施形態では画像印刷装置３０５としてカラーインクジェットプリンタを用い、画像形成時のインク打込み量によって分光特性を制御する構成を説明するが、画像印刷装置３０５としては各種のカラープリンタを適用することが可能である。例えばレーザー方式のカラープリンタであれば、各色のトナーの混色における割合を制御することによって本発明を形成することができる。本実施形態における画像印刷装置３０５は、通常使用されるシアンＣ、マゼンタＭ、イエローＹ、ブラックＢｋの４色に加え、レッドＲ、グリーンＧ、ブルーＢの特色３色を搭載し計７色の色剤を使用可能である。通常のカラープリンタはＣ、Ｍ、Ｙ、Ｂｋの４色の色剤による混色によって視覚的な色の再現を行うが、本発明においては出力印刷物の分光特性の制御を目的としているため、画像印刷装置３０５はより多くの色剤を搭載していることが望ましい。無論、分光特性を調整可能であれば画像印刷装置３０５が使用する色剤の数は本発明を形成する上で重要ではなく、Ｃ、Ｍ、Ｙ、Ｂｋの４色のみを使用する場合においても本発明を適用可能である。
【００３２】
以下、色変換部３０４の詳細について説明する。色変換部３０４において、ＲＧＢ画像入力部３１０からＲＧＢ→分光特性３ＤＬＵＴ生成部３１８は、第一の実施形態において使用したＲＧＢ画像入力部１１０からＲＧＢ→分光特性３ＤＬＵＴ生成部１１８と同等のものである。プリンタ分光特性入力部３１９は、分光特性測定装置３０３を用いて予め画像印刷装置３０５によって出力した所定のパッチ画像の分光データを取得する。なお、パッチ画像の分光特性に対応する当該プリンタにおける色剤量データはパッチ画像出力時に使用したデータを保持し、分光特性が入力された際に対応付ける。これにより、当該プリンタが出力する色剤量と実際に出力した際の分光特性との対応付けが可能となる。
【００３３】
プリンタモデル３２０は、プリンタ分光特性入力部３１９で取得されたパッチ画像の分光データを元に、画像印刷装置３０５が任意の色剤量の組み合わせを出力した時の分光特性を推定する。本実施形態において、推定にはノイゲバウアー（Ｎｅｕｇｅｂａｕｅｒ）の式を用いる。なお、ノイゲバウアーの式において、色剤量の入力に対し、分光特性を出力として推定可能である。また通常のノイゲバウアーの式に替え、色剤量空間を多数のセルに細分化したセル化ノイゲバウアーの式を用い、推定精度を向上させることも好適である。無論、他の色推定手法によってプリンタモデルを構築した場合においても本発明の範疇であることは言うまでもない。これにより分光特性推定を行う。
【００３４】
プリンタモデル反転部３２１は、プリンタモデル３２０にて推定した分光特性を入力として画像印刷装置３０５で再現可能な色剤量の最適な組み合わせを推定する。この色剤量の推定はニュートンの反復法（逆関数）によりプリンタモデル３２０を繰り返し実行し、所望の解に収束させることで行われる。プリンタモデルの反転手法はニュートンの反復法に限らず、種々の最適化手法、探索手法が適用可能である。例えばシンプレックス法や粒子群最適化手法などを用いてもよく、いずれの場合においても本発明を適用可能である。これにより色剤量最適化を行う。
【００３５】
ＲＧＢ→色剤量３ＤＬＵＴ生成部３２２は、ＲＧＢ→分光特性３ＤＬＵＴ生成部３１８にて生成したＲＧＢ→分光特性３ＤＬＵＴに基づいて、各格子点の分光特性に対応する画像印刷装置３０５にて再現可能な色剤量の組み合わせを、プリンタモデル反転部３２１を用いて推定する。そして、入力画像のＲＧＢ値を各色の色剤量に変換する３ＤＬＵＴ形式の色変換プロファイル（以下、色変換３ＤＬＵＴと呼ぶ）を生成する。３ＤＬＵＴ上のある格子点において目標とする分光特性を十分に再現する色剤量の組み合わせが見つからない場合、該当する格子点については後述するＲＧＢ→色剤量３ＤＬＵＴ補完部３２５でその分光特性の決定を行う。
【００３６】
色変換プロファイルデータベース部３２３は、画像印刷装置３０５で測色的な色再現を行う際に使用する既存のＲＧＢ→色剤量色変換プロファイルを格納した記憶装置である。色変換プロファイル取得部３２４は、色変換プロファイルデータベース部３２３から出力条件に見合ったＲＧＢ→色剤量変換プロファイルを選択し取得する。ＲＧＢ→色剤量３ＤＬＵＴ補完部３２５は色変換３ＤＬＵＴのうち、ＲＧＢ→色剤量３ＤＬＵＴ生成部３２２で各色の色剤量を決定できなかった格子点に対して色変換プロファイル取得部３２４から取得したＲＧＢ→色剤量変換プロファイルを適用する。そして、ＲＧＢ値に対応する各色の色剤量を決定する。これにより決定されていなかった格子点の色剤量データを補完することとなる。なお、ここではデータベースとして複数の色変換プロファイルを保持しているが、例えば、画像変換の際にファイル形式で外部から入力しても良いことは言うまでも無い。
【００３７】
入力画像色変換実行部３２６はＲＧＢ→色剤量３ＤＬＵＴ生成部３２２及び、ＲＧＢ→色剤量３ＤＬＵＴ補完部３２５で生成された色変換３ＤＬＵＴを入力画像に対して適用し、入力画像の色変換データを生成する。これにより、色変換を行う。出力形式は各画素における各色の色剤量を再現可能であればよく、各種の圧縮方法を使用してもよいし、ＲＧＢ入力画像と色変換３ＤＬＵＴを別個に保存し必要時に各画素における各色の色剤量を算出してもよい。いずれの場合についても本発明の範疇である。また、第一の実施形態において述べたＲＧＢ→分光特性３ＤＬＵＴ補完部１２１を第二の実施形態におけるＲＧＢ→分光特性３ＤＬＵＴ生成部３１８とＲＧＢ→色剤量３ＤＬＵＴ生成部３２２との間に配置する構成も考えられる。その場合には色変換プロファイルデータベース部３２３、色変換プロファイル取得部３２４、ＲＧＢ→色剤量３ＤＬＵＴ補完部３２５における処理は省略可能となる。
【００３８】
＜処理の流れ＞
次に、本実施形態における色処理の手順について説明する。図４は、図３に示した色変換システムによって行われる色処理を示したフローチャートである。Ｓ４０１からＳ４０３までの処理は、第一の実施形態で示したＳ２０１からＳ２０４までと同等の処理を行う。まず、処理が開始されると、Ｓ４０１では、参照画像入力部３１２により、マルチバンド画像入力装置３０２で撮影された画像を取得する。ここで入力された画像は各画素について６〜８次元のマルチバンドデータを有する。次に、Ｓ４０２では、参照画像分光特性推定部３１６において、参照画像の各画素のマルチバンドデータから分光特性の推定を行う。マルチバンドデータから分光特性への変換方法は、マルチバンドチャート画像入力部３１３およびチャート分光特性入力部３１４が取得したデータに基づいて、マルチバンド→分光特性変換部３１５によって決定される。これにより、各画素の分光特性を取得する。Ｓ４０３では、参照画像分光特性→ＲＧＢ変換部３１７において、参照画像の各画素の分光特性から、入力画像撮影条件下における参照画像のＲＧＢ値が算出される。
【００３９】
Ｓ４０４では、ＲＧＢ→分光特性３ＤＬＵＴ生成部３１８において、入力画像撮影条件下での任意のＲＧＢ値を分光特性に変換する３ＤＬＵＴを生成する。なお、図４に図示した構成に第一の実施形態と同等のＲＧＢチャート画像入力部１１９、ＲＧＢ→分光特性変換部１２０、ＲＧＢ→分光特性３ＤＬＵＴ補完部１２１を加え、Ｓ２０４と同等の処理を行ってもよい。Ｓ４０５では、プリンタ分光特性入力部３１９で取得されたパッチ画像の分光データを元にプリンタモデル３２０の構築を行う。
【００４０】
Ｓ４０６では、ＲＧＢ→色剤量３ＤＬＵＴ生成部３２２およびＲＧＢ→色剤量３ＤＬＵＴ補完部３２５において、任意のＲＧＢ値を画像印刷装置３０５で使用する色剤量に変換する色変換３ＤＬＵＴを生成する。なお、Ｓ４０４にて生成したＲＧＢ→分光特性３ＤＬＵＴに基づき、Ｓ４０５にて構築したプリンタモデル３２０とプリンタモデル反転部３２１との処理を繰り返すことによって、ＲＧＢ→色剤量３ＤＬＵＴ生成部３２２にて生成する３ＤＬＵＴに適切な推定値を求める。さらに色変換プロファイル取得部３２４は、色変換プロファイルデータベース部３２３から色変換プロファイルを取得する。そして、生成したＲＧＢ→色剤量３ＤＬＵＴの格子点のうち、未決定の格子点に対し、色剤量をＲＧＢ→色剤量３ＤＬＵＴ補完部３２５にて適用して補完する。
【００４１】
Ｓ４０７では、ＲＧＢ画像入力部３１０において入力画像の取得を行う。Ｓ４０８では、入力画像色変換実行部３２６において、Ｓ４０６において生成した色変換３ＤＬＵＴを入力画像に適用する。そして、各画素について画像印刷装置３０５で使用する各色の色剤量を記憶した色変換データを生成する。最後にＳ４０９では、色変換データを画像印刷装置３０５に出力し、入力画像を分光的に再現した印刷物を出力する。
【００４２】
なお、Ｓ４０５およびＳ４０９における画像印刷装置３０５を用いた出力では、使用する用紙等の出力条件は極力統一することが望ましい。両者の出力条件に差異が生じた場合、Ｓ４０６における分光特性の推定精度が低下するためである。出力条件の変更を行う場合はＳ４０５以降の全ての作業を新たな出力条件で実行することが望ましい。また色変換プロファイルデータベース部３２３から供給される色変換プロファイルについてもＳ４０５およびＳ４０９における出力条件に相当するプロファイルを供給することが望ましい。
【００４３】
＜３ＤＬＵＴについて＞
本発明にて用いる３ＤＬＵＴについて図５を用いて説明する。図５（ａ）は、第一の実施形態におけるＲ，Ｇ，Ｂそれぞれの入力値に対し、分光特性を対応付けたＬＵＴである。標準的にはＲ，Ｇ，Ｂそれぞれの入力値は０〜２５５のいずれかの値であり、ＬＵＴにおける３つの軸はそれぞれ０、１６、３２・・・２５５の１７の格子点を有する。すなわち、ＬＵＴは４９１３（＝１７×１７×１７）点の格子点を有し、それぞれ出力データ（分光特性）を保持している。なお、分光特性を入力から取得できない格子点に対しては、周りの格子点が有する分光特性の値から生成することも可能である。なお、分光特性データは、分光反射率Ｒｅｆと波長λの対応した値を有する。また、先に述べたように、本実施形態において、波長λは人間の可視領域である３８０ｎｍから７８０ｎｍまでを１０ｎｍ間隔で記憶した４１次元のデータとなる。
【００４４】
図５（ｂ）は第二の実施形態における第一の実施形態がＲＧＢと分光特性との値の対応であるのに対し、ＲＧＢと当該画像印刷装置（プリンタ等）における出力のための色剤量とが対応付けられる。第二の実施形態においてもぞれぞれの格子点において、出力する色剤量の値が保持されている。なお、本実施形態においては、各格子点は７つの色剤量（Ｒ，Ｇ，Ｂ，Ｃ，Ｍ，Ｙ，Ｂｋ）の値を有することとなる。
【００４５】
以上、本実施形態によれば被写体を撮影したＲＧＢ画像の各画素の分光特性を推定し、出力を行う画像出力装置に対応した被写体の分光特性を印刷物上に忠実に再現することが可能となる。これにより被写体の分光色再現にかかる工数を低減することが可能となり、また被写体の高品質な分光撮影が困難な場合においても高品質な画像の分光色再現を行うことが可能となる。
【００４６】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011015298.tif 000003
【図２】
2011015298.tif 000004
【図３】
2011015298.tif 000005
【図４】
2011015298.tif 000006
【図５】
2011015298.tif 000007