(57)【要約】【課題】マルチバンド画像の重要な領域のみを分光反射率で記録しマルチバンド画像のデータ量を削減し、またマルチバンド画像の他の色空間信号への変換を分光反射率を用いて行い変換処理を高精度に行う。【解決手段】分光推定部１１２はマルチバンド画像の各画素の分光データを推定する。環境光情報取得部１１３は撮影時の環境光の分光データを取得する。分光反射率算出部１１４は推定した分光データと環境光の分光データとに基づきマルチバンド画像の分光反射率を算出する。特定領域抽出部１１５はマルチバンド画像の特定領域を抽出する。この構成において画像処理装置１００は、マルチバンド画像の特定領域を分光反射率で記録し、残りの領域を複数チャンネルの色信号に変換して記録し、またマルチバンド画像を異なる色空間の色信号に変換する際、特定領域を分光反射率を用いて変換し、残りの領域を複数チャンネルの色信号を用いて変換する。【選択図】  図１
2010055192.tif 000002
【特許請求の範囲】
【請求項１】
複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得手段と、
前記取得したマルチバンド画像の各画素の分光データを推定する分光推定手段と、
撮影時の環境光の分光データを取得する環境光分光データ取得手段と、
前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率算出手段と、
前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出手段と、
前記取得したマルチバンド画像の特定領域を分光反射率で記録し、残りの領域を複数チャンネルの色信号に変換して記録する画像記録手段と、
前記マルチバンド画像を異なる色空間の色信号に変換する際、前記特定領域は分光反射率を用いて変換し、前記残りの領域は複数チャンネルの色信号を用いて変換する色空間変換手段とを有することを特徴とする画像処理装置。
【請求項２】
前記色空間変換手段で変換した色信号を出力装置へ出力する出力手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力装置の分光特性情報を取得する出力装置分光特性情報取得手段を有し、
前記色空間変換手段は、前記出力装置の分光特性情報を参照して、前記マルチバンド画像を異なる色空間の色信号に変換することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力装置の分光特性情報は、前記出力装置の出力した物理的な色を測色することで取得することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記色空間変換手段は、前記取得したマルチバンド画像の特定領域の分光反射率と、前記出力装置の分光特性情報に含まれる分光反射率との一致度を算出し、この一致度に基づき、前記マルチバンド画像を異なる色空間の色信号に変換することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記特定領域抽出手段は、予め記録した特定被写体の分光反射率を用いて、前記マルチバンド画像における特定被写体を前記特定領域として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記特定被写体は、当該画像処理装置の撮影設定に応じて決定されることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記特定領域抽出手段は、顔検出機能を有し、検出した顔領域を前記特定領域として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記特定領域抽出手段は、合焦位置情報を基に前記特定領域を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置における画像処理方法であって、
複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得ステップと、
前記取得したマルチバンド画像の各画素の分光データを推定する分光推定ステップと、
撮影時の環境光の分光データを取得する環境光分光データ取得ステップと、
前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率算出ステップと、
前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出ステップと、
前記取得したマルチバンド画像の特定領域を分光反射率で記録し、残りの領域を複数チャンネルの色信号に変換して記録する画像記録ステップと、
前記マルチバンド画像を異なる色空間の色信号に変換する際、前記特定領域は分光反射率を用いて変換し、前記残りの領域は複数チャンネルの色信号を用いて変換する色空間変換ステップとを有することを特徴とする画像処理方法。
【請求項１１】
画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得ステップと、
前記取得したマルチバンド画像の各画素の分光データを推定する分光推定ステップと、
撮影時の環境光の分光データを取得する環境光分光データ取得ステップと、
前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率算出ステップと、
前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出ステップと、
前記取得したマルチバンド画像の特定領域を分光反射率で記録し、残りの領域を複数チャンネルの色信号に変換して記録する画像記録ステップと、
前記マルチバンド画像を異なる色空間の色信号に変換する際、前記特定領域は分光反射率を用いて変換し、前記残りの領域は複数チャンネルの色信号を用いて変換する色空間変換ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチバンド画像を記録する画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
透過率波長域が異なる複数のフィルタを用いて被写体を撮像することにより、被写体のスペクトル画像（マルチバンド画像あるいは分光画像）を取得することができるマルチバンド画像撮像装置（マルチバンドカメラ）が近年実用化され始めている。
【０００３】
マルチバンドカメラは一般的なＲＧＢの３チャンネルのデジタルスチルカメラと比較して多くの情報量を取得することができ、被写体の分光データを精度良く推定できる。そのため、後段のホワイトバランス処理や異なるデバイスへのカラーマッチング処理を高精度に行えるというメリットがある。
【０００４】
しかしながらマルチバンドカメラには、データ量が増大するため処理速度の低下、メモリの圧迫といったデメリットもある。例えば６チャンネルのマルチバンドカメラを考えた場合、一般的な３チャンネルのデジタルスチルカメラの２倍のデータ量を保持する必要がある。更には、各画素において推定した分光データの形式で画像データを保持する場合、分光データを３６グリッドで格納するとしたらデジタルスチルカメラの１３倍のデータ量となり、実用的なサイズでなくなってしまうという問題もある。
【０００５】
そこで、分光データを効率よく保持する方法として特許文献１では、画像全体を分光データで保持するのではなく、縮小画像もしくは一部画像を分光データで保持し、併せてＲＧＢの全体画像を保持するという方法を提案している。また特許文献２では、分光画像の分光反射率データを用いて画像中の人間の肌などの特定物体識別を行い、特定物体であるか否かを１もしくは０で対応させた特定物体識別結果情報を生成して、ＲＧＢ画像と併せて保持するという方法を提案している。
【０００６】
【特許文献１】特開２００５−７８１７１号公報
【特許文献２】特開２００５−３９４０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら特許文献１では縮小画像を生成する際、撮影者にとって重要である領域も、重要でない領域も区別することなく分光データで保持してしまうため、分光データで保持したい重要である領域が意図していたよりも低い解像度となってしまうことがある。また縮小画像の他に一部画像を分光データで保持する方法が述べられているが、一部を切り出す方法の具体的方法については述べられていない。
【０００８】
また特許文献２では、ＣＭＹＫ色空間への色信号変換を行う際、特定物体識別結果情報に基づき変換時に参照するルックアップテーブルを切り替えることで変換精度の向上や記憶色再現の対応を図っているが、分光データそのものを使用した変換ではない。そのため、色空間変換処理の精度は十分とは言えず、またメタメリズム（条件等色）の問題は依然として残ることになる。
【０００９】
本発明は係る実情に鑑みて、第一の目的として、マルチバンド撮影によるマルチバンド画像において重要な領域のみを特定領域として分光反射率で記録することで、マルチバンド画像のデータ量を削減することを目的とする。また、第二の目的として、マルチバンド画像の他の色空間信号への変換を分光反射率を用いて行うことで、マルチバンド画像の色空間変換処理を高精度かつ高速に行うことを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得手段と、前記取得したマルチバンド画像の各画素の分光データを推定する分光推定手段と、撮影時の環境光の分光データを取得する環境光分光データ取得手段と、前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率を算出する分光反射率算出手段と、前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出手段と、前記取得したマルチバンド画像の特定領域を分光反射率で記録し、残りの領域を複数チャンネルの色信号に変換して記録する画像記録手段と、前記マルチバンド画像を異なる色空間の色信号に変換する際、前記特定領域は分光反射率を用いて変換し、前記残りの領域は複数チャンネルの色信号を用いて変換する色空間変換手段とを有することを特徴とする。
本発明の画像処理方法は、画像処理装置における画像処理方法であって、複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得ステップと、前記取得したマルチバンド画像の各画素の分光データを推定する分光推定ステップと、撮影時の環境光の分光データを取得する環境光分光データ取得ステップと、前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率を算出する分光反射率算出ステップと、前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出ステップと、前記取得したマルチバンド画像の特定領域を分光反射率で記録し、残りの領域を複数チャンネルの色信号に変換して記録する画像記録ステップと、前記マルチバンド画像を異なる色空間の色信号に変換する際、前記特定領域は分光反射率を用いて変換し、前記残りの領域は複数チャンネルの色信号を用いて変換する色空間変換ステップとを有することを特徴とする。
本発明のプログラムは、画像処理装置の制御をコンピュータに実行させるためのプログラムであって、複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得ステップと、前記取得したマルチバンド画像の各画素の分光データを推定する分光推定ステップと、撮影時の環境光の分光データを取得する環境光分光データ取得ステップと、前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率を算出する分光反射率算出ステップと、前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出ステップと、前記取得したマルチバンド画像の特定領域を分光反射率で記録し、残りの領域を複数チャンネルの色信号に変換して記録する画像記録ステップと、前記マルチバンド画像を異なる色空間の色信号に変換する際、前記特定領域は分光反射率を用いて変換し、前記残りの領域は複数チャンネルの色信号を用いて変換する色空間変換ステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、マルチバンド撮影によるマルチバンド画像に対して重要である特定領域のみを分光反射率で記録し、残りの領域を複数チャンネルの色信号で記録することで、マルチバンド画像の記録容量を小さく抑えることが可能となる。また記録容量が小さく抑えられるため、色空間変換処理も高速に行うことが可能となる。さらに色空間変換処理において変換後の色信号値を決定する際、特定領域では分光反射率を用いて決定するため、高精度な変換が可能となり、かつメタメリズムが低減した画像を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明に係るマルチバンド画像処理装置、典型的にはマルチバンドカメラに関する好適な実施の形態について添付図面を参照して詳細に説明する。図１は本実施の形態に係るマルチバンド画像処理装置（以下、単に画像処理装置と称する）の構成を示すブロック図である。
【００１３】
＜装置構成＞
図１に示す画像処理装置１００おいて、レンズ１０１、マルチバンドのフィルタ１０２を透過した光信号は撮像素子１０３で結像し、Ａ／Ｄ変換部１０４でデジタル信号に変換される。Ａ／Ｄ変換部１０４で変換されたデジタル信号は、マルチバンドデータとしてマルチバンド画像生成部１１１に出力される。
【００１４】
ここで図２及び図３を用いて、マルチバンドのフィルタ１０２の構成について説明する。図２は本実施の形態で使用するフィルタ１０２に係るマルチバンドの分光透過率特性を示した図である。本実施の形態ではフィルタ１０２を、図２に示すａ〜ｆの６バンドの分光透過率特性を有するフィルタとして構成する。なお、使用するバンド数や分光透過率特性の種類に関してはこれに限るものではない。図３は、フィルタ１０２のイメージを示した図である。本実施の形態では撮像素子１０３を単板式の撮像素子としており、フィルタ１０２が有する各バンドに対応するフィルタは撮像素子１０３上に、所定パターンに準じて配置される。これにより、撮像素子１０３はマルチバンドデータを出力可能となる。このように単板式の撮像素子１０３にフィルタ１０２を配置した場合は、１回の撮影で全てのバンドのデータを取得できるメリットがある。
【００１５】
図１に戻り、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０５は、画像処理装置１００全体の処理を中央演算処理装置である。メモリ１０６は読み書き可能なメモリであり、バス１０７を介してＣＰＵ１０５と接続される。なお、バス１０７は、画像処理装置１００を構成する各部を接続する。
【００１６】
ＬＣＤ１０８は画像やメニュー表示等を表示し、ファインダ１０９はＬＣＤ１０８の電子ファインダ機能を使用することなしに、画角等を確認可能とするものである。ユーザ１５０は、ＬＣＤ１０８やファインダ１０９から得られる情報を基に、インタフェース１１０を介して、画像処理装置１００に制御指示を与えることができる。
【００１７】
マルチバンド画像生成部１１１は、Ａ/Ｄ変換部１０４で変換されたマルチバンドデータからマルチバンド画像を生成する。なお、単板式の撮像素子１０３を用いた場合のマルチバンドデータでは、各画素には１チャンネルのデータしか存在しない。そのため、残りのチャンネルは近隣画素から補間演算する等して生成する。補間演算の詳細な方法については従来から多数提案されているため詳細の説明は省略する。なお、撮像素子１０３及びマルチバンド画像生成部１１１が相まって、本発明でいうマルチバンド画像取得手段の一構成例に対応する。
【００１８】
分光推定部１１２は、マルチバンド画像生成部１１１で生成されたマルチバンド画像から被写体の分光を推定する。ここで分光推定処理について図４を用いて説明する。図４において、推定分光データ（分光データ）４０１は、フィルタ１０２が有するａ〜ｆに対応するフィルタを介して出力されたデータから推定される被写体の分光データを示している。分光データ４０１は、ａ〜ｆのそれぞれのデータの中心の波長の点４０２〜４０７を３次スプライン補間等で結ぶことで推定することが可能である。なお、分光推定処理についてはこの方法に限るものではなく、例えば一般的に知られている重回帰分析による分光推定方法等を用いても構わない。分光推定部１１２は、推定した被写体の分光データを分光反射率算出部１１４に出力する。なお、分光推定部１１２は、本発明でいう分光推定手段の一構成例に対応する。
【００１９】
図１に戻り、環境光情報取得部１１３は、マルチバンド画像生成部１１１が生成したマルチバンド画像に基づき、分光反射率算出部１１４が使用する環境光分光データ（環境情報）を取得する。ここで、環境光情報取得部１１３の詳細構成について図５を用いて説明する。
【００２０】
図５に示すように環境光情報取得部１１３は、環境光分光データ算出部５０１、物体分光反射率データベース５０２、補助光源分光データデータベース５０３及び環境光分光データデータベース５０４を有する。環境光分光データ算出部５０１は、入力されたマルチバンド画像に基づき、５０２〜５０４のデータベースを参照することで環境光の分光データを取得する。下記において、本実施の形態において利用する環境光の分光データの取得方法を説明する。なお、環境光情報取得部１１３は、本発明でいう環境光分光データ取得手段の一構成例に対応する。
【００２１】
まず、環境光の分光データの取得方法として、分光反射率が既知の物体を撮影する方法について説明する。この方法では、物体分光反射率データベース５０２に、例えば反射率１８％グレーの均一輝度面の分光反射率やマクベスチャートの分光反射率等を予め格納しておく。
次に、フィルタ１０２や撮像素子１０３によるマルチバンド撮影で、反射率１８％グレーの均一輝度面やマクベスチャートを撮影し、マルチバンド画像を生成する。
そして、環境光分光データ算出部５０１により、撮影した物体に応じた分光反射率を物体分光反射率データベース５０２から参照し取得して、これにより先のマルチバンド画像を除算することで、環境光の分光データを取得する。
【００２２】
次に、環境光の分光データの取得方法として、分光エネルギーが既知である補助光源を用いる方法について説明する。この方法では、まず、フィルタ１０２や撮像素子１０３により補助光源を用いずにマルチバンド撮影し、マルチバンド画像生成部１１１によりマルチバンド画像を生成する。
次に、補助光源を用いて、上記同様のマルチバンド撮影及びマルチバンド画像の生成を行う。
そして環境光分光データ算出部５０１により、先述した補助光源の有無による２種類のマルチバンド画像の差分データを算出し、それを補助光源分光データデータベース５０３より参照した補助光源の分光データで除算することにより環境光の分光データを取得する。
【００２３】
最後に、環境光の分光データの取得方法として、環境光分光データデータベース５０４に予め記録されている環境光の分光データを使用する方法について説明する。この方法では、環境光分光データデータベース５０４に、一般的な環境光、例えば、太陽光、日陰、くもり、白熱電球、白色蛍光灯等の分光データを格納しておく。
次に、撮像装置設定５０５から撮影時のホワイトバランス設定を取得する。
そして、環境光分光データ算出部５０１により、撮像装置設定５０５に設定されているホワイトバランス設定に基づき、環境光分光データデータベース５０４を参照し、参照する環境光の分光データを選択する。例えば、撮像装置設定５０５でホワイトバランス設定で太陽光と設定されている場合は、環境光分光データデータベース５０４から太陽光の分光データを選択し参照する。
【００２４】
図１に戻り、分光反射率算出部１１４は、分光推定部１１２で推定された分光データと環境光情報取得部１１３で取得した環境光の分光データとを用いることで、被写体の分光反射率を算出する。マルチバンド画像の各画素の分光データは、[被写体の分光反射率]×[環境光の分光データ]で求めることが可能である。よって、各画素の分光データを環境光の分光データで除算することにより、各画素での分光反射率を求めることが可能となる。なお、分光反射率算出部１１４は、本発明でいう分光反射率算出手段の一構成例に対応する。
【００２５】
特定領域抽出部１１５は、分光反射率算出部１１４で得られたマルチバンド画像の分光反射率等に基づき、マルチバンド画像における特定領域を抽出する。特定領域抽出部１１５の処理の詳細は後述する。
【００２６】
記録媒体１１６は分光反射率算出部１１４を介して生成された分光反射率等の情報を含む画像を記録する。記録の際は、特定領域抽出部１１５で抽出した特定領域については、分光反射率で記録し、特定領域でない領域はＲＧＢ値に変換してから記録するようにする。
【００２７】
なお、マルチバンド画像生成部１１１、分光推定部１１２、環境光情報取得部１１３、分光反射率算出部１１４、特定領域抽出部１１５は、バス１０７を介して相互に接続し、またＣＰＵ１０５やメモリ１０６とも接続する。これら各処理部による制御及びデータの読み書き等の処理は、ＣＰＵ１０５やメモリ１０６により実現される。
【００２８】
＜動作説明＞
次に、上述のような構成を有する本実施の形態に係る画像処理装置１００の動作について、図６に示すフローチャートを用いて説明する。
【００２９】
まずステップＳ６０１においてマルチバンド撮影が行われ、撮像素子１０３により光信号を得る。次にステップＳ６０２において撮像素子１０３からのアナログの光信号を、Ａ／Ｄ変換部１０４によりデジタル信号（マルチバンドデータ）に変換する。
【００３０】
次にステップＳ６０３においてＡ／Ｄ変換部１０４からのマルチバンドデータに基づき、マルチバンド画像生成部１１１によりマルチバンド画像を生成する。次にステップＳ６０４においてマルチバンド画像生成部１１１からのマルチバンド画像に基づき、当該画像における被写体の分光データを推定する。
【００３１】
次にステップＳ６０５においてＡ／Ｄ変換部１０４からのマルチバンド画像等に基づき、環境光情報取得部１１３により環境光の分光データ（環境情報）を取得する。
【００３２】
次にステップＳ６０６において、分光推定部１１２で推定された分光データと環境光情報取得部１１３で取得した環境光の分光データとを用いて、被写体の分光反射率を算出する。
【００３３】
次にステップＳ６０７において、特定領域抽出部１１５により、マルチバンド画像における所定の特定領域の抽出を行う。特定領域抽出処理の詳細は後述する。
【００３４】
次にステップＳ６０８において、マルチバンド画像における特定領域と、その他の領域とを判別する。そして特定領域と判別した場合はステップＳ６０９において、これら領域についてはそのまま分光反射率を記録する。一方、その他の領域と判別した場合はステップＳ６１０において、各画素における分光反射率をＲＧＢ値（色信号）に変換し、その後ステップＳ６０９において、ＲＧＢ値を記録する。さらに、先述した環境光情報取得部１１３で取得した環境光の分光データについても、分光反射率及びＲＧＢ値と併せて記録するようにする。
【００３５】
以上の処理を経ることで、特定領域は分光反射率で、またそれ以外の領域はＲＧＢ値でマルチバンド画像を記録することが可能となる。
【００３６】
＜特定領域抽出＞
図６のステップＳ６０７に係る特定領域抽出処理について図７を用いて説明する。図７（ａ）においてまず、特定領域抽出部１１５の詳細構成を示す。
【００３７】
特定領域抽出部１１５は、分光反射率算出部１１４で得られた分光反射率等に基づき、特定領域を抽出する特定領域抽出手段である。本図に示すように特定領域抽出部１１５は、特定分光被写体領域抽出部７０１、顔領域抽出部７０２、合焦領域抽出部７０３及び特定被写体分光反射率データベース７０４を有する。本実施の形態においては、特定領域の抽出方法として、（１）特定分光被写体領域を特定領域とした抽出方法、（２）顔領域を特定領域とした抽出方法、（３）合焦位置領域を特定領域とした抽出方法の３つの方法を採用する。なお、特定領域の抽出方法は、これらの方法に限るものではない。以下、上記（１）〜（３）の各方法について説明する。
【００３８】
（１）特定分光被写体領域抽出
この方法は、予め特定被写体分光反射率データベース７０４に特定被写体の分光反射率を格納しておき、入力されたマルチバンド画像の各画素毎の分光反射率と比較・判別する方法である。特定被写体分光反射率データベース７０４に格納している特定被写体としては、幾つか考えられるが例えば、植物の緑、青空の青、人の肌等が対象となる。特定被写体分光反射率データベース７０４を参照する際には、撮像装置設定７０５に設定されている撮影モード、風景、ポートレートといった設定（撮影設定）に基づき、適切な分光反射率をデータベースから参照するようにする。例えば、撮影モードがポートレートであれば、人の肌の分光反射率を参照するように決定する。入力されたマルチバンド画像の各画素毎の分光反射率と特定被写体分光反射率データベース７０４から参照した分光反射率とを比較する方法としては幾つか考えられるが例えば、波長毎のＲＭＳ誤差（ＲＭＳ Ｅｒｒｏｒ）を利用する方法が一般的である。
【００３９】
ＲＭＳ誤差の算出方法としては、例えば図８のように２つの分光反射率Ｒ1（８０１；実線）、Ｒ2（８０２；点線）のＲＭＳ誤差を算出する場合、任意の波長における各々の相対感度から減算にて誤差８０３を得るようにする。そして、この誤差を３８０ｎｍ〜７８０ｎｍまで１ｎｍ刻みで積分するようにする。積分について数式で表すと、下記の式（１）のようになる。
【００４０】
【数１】
2010055192.tif 000003
【００４１】
そして、このＲＭＳ誤差が、ある閾値以下であれば、入力されたマルチバンド画像の各画素の分光反射率は特定被写体の分光反射率と一致しているとみなすようにすれば、該画素は特定領域であると判別することができる。
このように、分光反射率を用いることで被写体が何であるかを高精度に特定することが可能となる。ここで人の肌の場合、人種差や個人差、また同一人物であっても部位によって分光反射率は異なるため誤認識の可能性がある。しかし、人の肌であれば、ある程度の傾向はあるため、閾値を制御してある程度一致していれば特定被写体であると判別しても、特定領域としての有効性はあると考えられる。
【００４２】
（２）顔領域抽出
この方法は、画像処理装置１００に搭載されている顔検出機能によって出力される領域を特定領域として判別する方法である。顔検出の方法については従来から様々な方法が開発されているため詳細の説明は省略するが、例えば、目、鼻、口といった顔を構成する部位の輝度ヒストグラムや色分布情報を用いて各部位を検出し顔領域を推定する方法がある。また、予め平均的な顔画像のテンプレートを持っていて、それと比較することによって顔識別するテンプレートマッチングによる検出方法等も有効である。この方法では、以上のようにして検出された顔領域を特定領域であると判別する。
【００４３】
（３）合焦位置領域抽出
この方法は、画像処理装置１００に搭載されているフォーカシング機能によって出力される領域を特定領域として判別する方法である。図９はファインダ１０９の構成を示した図である。図９において、ファインダ枠９０１は、分光反射率を求めた画像のサイズとほぼ同じ範囲を表しているとする。ファインダ枠９０１内に複数配置された枠９０２、９０３、９０４等は測距枠を表し、自動又はユーザ指定された枠で合焦位置となるようにフォーカシング制御が行われるようになるものである。なお、測距枠の数は図９に示した個数に限るものではない。ここで枠９０３を選択し、フォーカシング制御の結果、合焦位置となった枠９０３の位置が取得できたとする。この場合、合焦した位置の枠９０３を用いて画像内を領域分割するようにする。分割する方法としては幾つか考えられるが例えば、図１０のように分割する。そして枠９０３に対応する図１０の領域１００１が特定領域であると判別するようにする。また、枠９０４を選択した場合には、領域１００２が特定領域であると判別する。この方法では、以上のようにして合焦位置情報を基に特定領域であると判別する。
【００４４】
次に特定領域抽出部１１５による特定領域の抽出の処理の流れを図７（ｂ）に示すフローチャートを用いて説明する。
【００４５】
まずステップＳ７０１において画像処理装置１００は、特定領域の抽出方法として、特定分光被写体領域抽出、顔領域抽出、及び合焦位置領域抽出のうちのいずれが設定されているかを確認する。
【００４６】
次にステップＳ７０２、Ｓ７０４において、設定された抽出方法を判別する。ここで特定分光被写体領域抽出と判別された場合はステップＳ７０２を介してステップＳ７０３に進み、特定分光被写体領域抽出部７０１により処理を行う。また、顔領域抽出と判別された場合はステップＳ７０２、Ｓ７０４を介してステップＳ７０５に進み、顔領域抽出部７０２により処理を行う。また、合焦位置領域抽出と判別された場合はステップＳ７０２、Ｓ７０４を介してステップＳ７０６に進み、合焦領域抽出部７０３により処理を行う。そして、ステップＳ７０３、Ｓ７０５、Ｓ７０６の処理を終えたらばステップＳ７０９に進み、抽出した領域を保持するためにバス１０７上に領域に係る情報を出力し、処理を終了する。
【００４７】
＜画像記録処理＞
上述のステップＳ６０８〜Ｓ６１０では、マルチバンド画像における特定領域とその他の領域とを判別し、特定領域の場合は分光反射率で記録し、その他の領域の場合は各画素における分光反射率をＲＧＢ値（色信号）に変換しＲＧＢ値を記録することを説明した。
【００４８】
ここで分光反射率からＲＧＢ値に変換するには、３刺激値ＸＹＺを経由して変換するのが一般的である。具体的には分光反射率データＲから３刺激値ＸＹＺへの変換方法は、普通、等色関数ｘt（λ）、ｙt（λ）、ｚｔ（λ）を用いて次式（２）〜（４）により求める。
【００４９】
【数２】
2010055192.tif 000004
【００５０】
ここでｋは、下式（５）とする。また、積分∫ｖｉｓは可視波長域で取るものとする。
【００５１】
【数３】
2010055192.tif 000005
【００５２】
そして３刺激値ＸＹＺからＲＧＢ値への変換は、一般的には３×３マトリクス（ａ１１〜ａ３３）を用いて次式（６）により求める。
【００５３】
【数４】
2010055192.tif 000006
【００５４】
以上の処理を経ることで、特定領域は分光反射率で、またそれ以外の領域はＲＧＢ値でマルチバンド撮影画像を記録することが可能となる。さらに、先述した環境光情報取得部１１３で取得した環境光の分光データについても、分光反射率及びＲＧＢ値と併せて記録される。なお、ここで説明した処理は、本発明でいう画像記録手段の一処理例に対応する。
【００５５】
（色空間変換）
次に、上述したようなマルチバンド画像処理を行う画像処理装置１００によって生成された、特定領域の分光反射率とその他の領域に係るＲＧＢ値とを含む画像データ（以下では、マルチバンド部分的分光画像）を測色的忠実に画像出力する処理について説明する。係る処理では、マルチバンド部分的分光画像信号を出力機器に応じた信号値に変換、即ち色空間変換を行う必要がある。図１１に、色空間変換処理の流れを説明するフローチャートを示す。なお、以下では、画像処理装置１００がＣＰＵ１０５により色空間変換処理を行う場合を説明するが、画像処理装置１００からマルチバンド部分的分光画像を読み出す他の装置が係る処理を行っても構わない。
【００５６】
まずステップＳ１１０１においてＣＰＵ１０５は、記録媒体１１６に記録されたマルチバンド部分的分光画像を読み出す。画像処理装置１００以外の装置が処理を行う場合は、記録媒体１１６から読み出してもよいし、記録媒体１１６からデータを記録した他の記録媒体から読み出してもよい。記録媒体は、ＨＤＤ（ハードディスクドライブ）やデータ読取装置を介した不揮発性のメモリなどで構成される。
【００５７】
次にステップＳ１１０２においてＣＰＵ１０５は、マルチバンド部分的分光画像のデータ構成を判別する。マルチバンド部分的分光画像は画像内の場所によって、分光反射率もしくは３バンドデータ（ＲＧＢ値）となっている。ここで、分光反射率でなるデータ部分（画素）についてはステップＳ１１０３に進み処理を行い、３バンドデータでなるデータ部分（画素）についてはステップＳ１１０５に進み処理を行う。
【００５８】
ステップＳ１１０３においては、ＣＰＵ１０５は、出力装置分光特性情報を取得し、続いてステップＳ１１０４において、取得した出力装置分光特性情報に基づいて出力信号値計算を行う。なお、出力装置分光特性情報は、詳細は後述するがデータ出力を行う出力装置の分光特性についての情報である。ステップＳ１１０４の出力信号値計算の詳細については図１２、１３を用いて後述する。
【００５９】
その後ステップＳ１１０８においてＣＰＵ１０５は、ステップＳ１１０４で計算した出力信号値を出力装置へ出力する。なお、ここで出力される出力信号値は、出力装置が一般的なインクジェットプリンタであればＲＧＢに、複写機などのレーザープリンタであればＣＭＹＫ等である。
【００６０】
一方、ステップＳ１１０５においては、ＣＰＵ１０５は、３バンドデータを現像処理し、続いてステップＳ１１０６において、デバイス非依存色空間変換処理を行う。デバイス非依存色空間変換処理では具体的には、３バンドデータをデバイス非依存色信号である「ＸＹＺ」もしくは「Ｌ＊ａ＊ｂ＊」等に変換する。
【００６１】
その後ステップＳ１１０７においてＣＰＵ１０５は、出力装置に応じたデバイス依存色空間変換処理を行う。デバイス依存色空間変換処理は具体的には、出力装置が複写機、典型的にはレーザープリンタ等のＣＭＹＫ出力装置であればＣＭＹＫに、一般的なインクジェットプリンタ等のＲＧＢ出力装置であればＲＧＢに変換する。そして、ステップＳ１１０８においてステップＳ１１０７で処理されたデバイス依存色信号を出力装置へ出力する。
【００６２】
（出力信号値計算）
次に、ステップＳ１１０４における出力信号値計算の詳細について述べる。画像処理装置１００による出力信号値計算では、入力された分光反射率を、より正確に再現するための出力装置のデバイス依存色信号に変換する。ここでは出力装置として一般的なＣＭＹＫプリンタを例に説明する。
【００６３】
上記変換を行うためには、予め出力装置であるＣＭＹＫプリンタの出力装置分光特性情報を把握しておく必要がある。出力装置分光特性情報は、出力装置が物理的に出力した色についての分光反射率などを含む情報である。
【００６４】
まず、出力装置の出力装置分光特性情報取得処理を説明する。図１２は、係る方法を説明するためのフローチャートである。
【００６５】
まずステップＳ１２０１においては、出力装置がＣＭＹＫの網点パーセントのあらゆる組み合わせのカラーパッチを出力する。そしてステップＳ１２０２において画像処理装置１００は、このカラーパッチを測色し分光データを取得しておく。ここで仮にＣＭＹＫ各色が８ｂｉｔデータであるとすると、その組み合わせは２５５4＝４,２２８,２５０,６２５通りとなりこれらを全て出力し、測色するのは現実的でない。そこで、２５５階調のうち離散的に８点をピックアップすることで、８4＝４０９６通りと大幅に数を削減することができる。
【００６６】
また、ＣＭＹＫの場合、ＫはＣＭＹとは異なり独立した色調を持つため、ＣＭＹＫを同等に組み合わせると似通った色の組み合わせが多数発生し効率が悪くなる。この解決策の１つとして、ＩＴ８．７／３規格に則った９２８色や、ＥＣＩ２００２規格に則った１４４０色が一般的に提供されており、これらを用いても構わない。但し、この場合は不足した色に関しては、ステップＳ１２０３において画像処理装置１００は補間計算をするなどして補う。補間方法については、一般的な線形補間であっても、滑らかさを重視したＢスプライン補間であっても構わない。具体的な補間方法については公知であるためここでは説明は省略する。
【００６７】
以上のようにして、ステップＳ１２０１〜Ｓ１２０３の処理をすることで、画像処理装置１００は、例えば８×８×８×８のＣＭＹＫと分光データの関係を保持したＬＵＴ（ルックアップテーブル）を生成することが可能となる。そしてステップＳ１２０４において、分光データ（分光反射率）のＬＴＵを記録する。なお、分光反射率は、環境光の分光データを用いて算出する。また、この記録時には、測色時に測定照明の分光放射輝度データを除いたものを記録しておくようにする。また、測色の方法については、一般的なタングステン光による０°照明４５°受光方式や一般的な４５°照明０°のスペクトル分析の可能な分光測色計等を用いて行う。
【００６８】
続いて、以上のように生成された出力装置分光特性情報を用いての出力信号値計算を説明する。出力信号値計算は具体的には、出力装置のデバイス依存色信号へ変換することである。図１３は係る処理の流れを説明するためのフローチャートである。
【００６９】
まずステップＳ１３０１において画像処理装置１００のＣＰＵ１０５は、マルチバンド部分的分光画像の先頭画素から読出し、続いてステップＳ１３０２において注目画素（読み出した画素）が分光データ（分光反射率）を保持しているか否かを判断する。ここで注目画素が分光データを保持していなければステップＳ１３０９に進む。ステップＳ１３０９では、図１１のステップＳ１１０５以降の処理がなされる。また、注目画素が分光データを保持していればステップＳ１３０３に進み、出力装置の分光特性情報を読み出し、ステップＳ１３０４に進む。
【００７０】
ステップＳ１３０４〜Ｓ１３０６においてＣＰＵ１０５は、マルチバンド部分的分光画像の注目画素の分光反射率と、出力装置の分光特性情報を比較し、一致度を計算する。具体的には、例えば出力装置の分光特性情報が８×８×８×８個のＬＵＴであれば、まず先頭の組合わせであるＣＭＹＫ＝０，０，０，０％をｉ番目とし、最終の組み合わせであるＣＭＹＫ＝１００，１００，１００，１００％をｎ番目とする。そして、注目画素の分光反射率とｉ番目の出力装置分光特性情報との一致度を計算する。一致度を計算する方法としては幾つか考えられるが、一致度は分光反射率の一致度となるため、特定分光被写体領域抽出処理（図８）でも述べたＲＭＳ誤差を利用するのが一般的である。
【００７１】
そしてステップＳ１３０５においては、計算した一致度が予め設定しておく閾値εを上回れば、採用組の候補として保持する。このとき、保持されたＣＭＹＫの組は離散的なＬＵＴから選択することになるため、入力画素の分光データを再現するには必ずしも最適であるとは限らない。そこで、ステップＳ１３０７においてＣＰＵ１０５は補間計算を行い、最適なＣＭＹＫの組を補間により算出する。補間方法としては幾つか考えられるが例えば四面体補間であれば、一致度の条件を満たすＣＭＹＫの組を４組用いて線形補間処理を行う。従って４組見つかるまで全てのＣＭＹＫの組を調べていくことになる。
【００７２】
以上のように処理することで、注目画素の分光特性を再現できる最適なＣＭＹＫの組を算出することが可能となる。なお、ここで算出されたＣＭＹＫの信号はデバイス依存色信号である。
【００７３】
ここで、図１１でも述べた分光データを保持していない画素に対しての処理（ステップＳ１１０５〜Ｓ１１０７）の詳細についても説明する。この場合まず、分光データを保持していない画素に対して現像処理（ステップＳ１１０５）が施される。現像処理の具体的な方法としては、幾つか考えられるが一般的には、デモザイク、ガンマ補正、彩度補正、色相補正、エッジ強調といった画像補正が行われる。これらの処理は公知であるため説明は省略する。
【００７４】
次にステップＳ１１０６のデバイス非依存色空間変換では、入力色信号（マルチバンド部分的分光画像のＲＧＢ値）がｓＲＧＢやＡｄｏｂｅＲＧＢ等の色空間であれば、公知の定義式を用いて変換を行う。もしくは、ＩＣＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｌｏｒ Ｃｏｎｓｏｒｔｉｕｍ）に基づいたＩＣＣカラープロファイルによる変換を用いても構わない。そしてステップＳ１１０７のデバイス依存色空間変換ではデバイス非依存色空間変換と同様に逆方向の変換を行うようにする。なお、図１１〜１３を用いて説明した色空間変換処理は、本発明でいう色空間変換手段の一処理例に対応する。
【００７５】
以上、本発明の実施の形態を説明した。即ち、本実施の形態では、マルチバンド撮影によるマルチバンド画像の特定領域のみを分光反射率で記録し、残りの領域をＲＧＢ値で記録するようにした。これによりマルチバンド画像の記録容量を小さく抑えることが可能となる。またマルチバンド画像の記録容量を小さく抑えることができるため、色空間変換処理を高速化することが可能となる。また、出力装置の色空間へ色信号を変換して出力する際、特定領域内は分光反射率を用いて変換することによりメタメリズムを低減した高精度なカラーマッチングが可能となる。
【００７６】
なお、本実施の形態では、フィルタ１０２を複数のバンドのフィルタを含む構成とし、撮像素子１０３上に配置する構成としたが、図１４に示すような構成であっても構わない。即ち、複数のバンドのフィルタを円周上に均等に配置し、回転させることによりフィルタが切り替わるようにしたターレット（マルチバンドターレットと呼ぶ）として構成してもよい。図１５を参照して、マルチバンドターレットの使用方法を説明する。
【００７７】
図１５において、１５０１は被写体、１５０２はマルチバンドターレット、１０１はレンズ、１０３はＣＣＤやＣＭＯＳセンサーといった撮像素子、１５０３は被写体に照明する環境光である。ここで、レンズ１０１は被写体の像がマルチバンドターレット１５０２のうち１つのフィルタを通して撮像素子１０３に結像するように配置される。そして、レンズ１０１の前に配置されたマルチバンドターレット１５０２は撮影するたびに回転し、レンズ１０１前のマルチバンドターレット１５０２上のフィルタが入れ替わるように制御される。この制御を６回繰り返すことで、ａ〜ｆの６つの分光のデータを持つ画像が出力され、マルチバンドデータが得られることになる。なお、このようなマルチバンドターレット１５０２を用いた場合は、撮影画像の各画素が６チャンネルになるように撮影した６チャンネル画像それぞれについて同位置に配置されている画素データを同一の画素の異なるチャンネルとして扱うようにする。また、この構成においても、バンドの数を６とし、撮影画像の各画素が６チャンネルとなるようにているが、これよりも多い又は少ない複数チャンネルとしても構わない。
【００７８】
また、上述したマルチバンド部分的分光画像を測色的忠実に画像出力する処理は、次のような方法によって達成される。すなわち、前述したマルチバンド画像の色空間変換の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００７９】
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態で使用するフィルタに係るマルチバンドの分光透過率特性を示した図である。
【図３】本発明の実施の形態で使用するフィルタのイメージを示した図である。
【図４】本発明の実施の形態に係る画像処理装置による分光推定処理について説明する図である。
【図５】本発明の実施の形態に係る画像処理装置が有する環境光情報取得部の詳細構成を説明する図である。
【図６】本発明の実施の形態に係る画像処理装置の動作を説明するフローチャートである。
【図７】本発明の実施の形態に係る画像処理装置による特定領域抽出処理について説明する図である。
【図８】本発明の実施の形態に係る画像処理装置による特定領域抽出処理において生じる誤差について説明する図である。
【図９】本発明の実施の形態に係る画像処理装置が有するファインダの構成を示した図である。
【図１０】本発明の実施の形態に係る画像処理装置による特定領域抽出処理を説明する図である。
【図１１】本発明の実施の形態に係る画像処理装置による色空間変換処理を説明するフローチャートである。
【図１２】本発明の実施の形態に係る画像処理装置による出力装置分光特性情報取得処理を説明するフローチャートである。
【図１３】本発明の実施の形態に係る画像処理装置による色空間変換処理における、分光反射率に基づく色空間変換処理を説明するフローチャートである。
【図１４】本発明の実施の形態で使用するフィルタの変形例を示した図である。
【図１５】変形例に係るフィルタの使用方法を説明する図である。
【符号の説明】
【００８１】
１００  画像処理装置
１０２  フィルタ
１０３  撮像素子
１０５  ＣＰＵ
１０６  メモリ
１１１  マルチバンド画像生成部
１１２  分光推定部
１１３  環境光情報取得部
１１４  分光反射率算出部
１１５  特定領域抽出部
１１６  記録媒体
【図１】
2010055192.tif 000007
【図２】
2010055192.tif 000008
【図３】
2010055192.tif 000009
【図４】
2010055192.tif 000010
【図５】
2010055192.tif 000011
【図６】
2010055192.tif 000012
【図７】
2010055192.tif 000013
【図８】
2010055192.tif 000014
【図９】
2010055192.tif 000015
【図１０】
2010055192.tif 000016
【図１１】
2010055192.tif 000017
【図１２】
2010055192.tif 000018
【図１３】
2010055192.tif 000019
【図１４】
2010055192.tif 000020
【図１５】
2010055192.tif 000021