(57)【特許請求の範囲】
【請求項１】
カメラを有した第１撮影手段、及びカメラと前記カメラが撮影可能な色の一部の波長を透過するカラーフィルタとを有する第２撮影手段により撮影された複数のマルチバンド画像データの各バンドの画素値が飽和しているか否かを画素毎に判定する判定手段と、
画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合に、前記複数のマルチバンド画像データの各バンドの当該画素の画素値のうち、前記判定手段により飽和していないと判定されたバンドの当該画素の画素値、撮影時の照明光のスペクトル、前記飽和していないと判定されたバンドの組み合わせに対応する撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像データの各々の当該画素の分光反射率を推定する推定手段と、
画素毎に、前記推定手段により推定された当該画素の分光反射率と、前記撮影時の照明光のスペクトルと、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する分光感度とを用いて撮影シミュレーションを行なうことにより、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する当該画素の新たな画素値を生成する生成手段と、
被写体の画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合には、前記生成手段により生成された当該画素の新たな画素値を用いて、被写体の当該画素の色再現処理を行ない、前記判定手段により当該画素の全てのバンドの画素値が飽和していないと判定された場合には、前記複数のマルチバンド画像データの当該画素の画素値を用いて前記色再現処理を行なう色再現処理手段と、
を備えた画像処理装置。
【請求項２】
カメラを有した第１撮影手段、及びカメラと前記カメラが撮影可能な色の一部の波長を透過するカラーフィルタとを有する第２撮影手段により撮影された複数のマルチバンド画像データの各バンドの画素値が飽和しているか否かを画素毎に判定する判定手段と、
画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合に、前記複数のマルチバンド画像データの各バンドの当該画素の画素値のうち、前記判定手段により飽和していないと判定されたバンドの当該画素の画素値、撮影時の照明光のスペクトル、前記飽和していないと判定されたバンドの組み合わせに対応する撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像データの各々の当該画素の分光反射率を推定する推定手段と、
画素毎に、前記推定手段により推定された当該画素の分光反射率と、前記撮影時の照明光のスペクトルと、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する分光感度とを用いて撮影シミュレーションを行なうことにより、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する当該画素の新たな画素値を生成する生成手段と、
画素毎に、前記複数のマルチバンド画像データの当該画素の画素値の中で最小の画素値と、前記生成手段により生成された当該画素の新たな画素値のうち前記最小の画素値のバンドに対応する画素値とが一致するように、前記生成手段により生成された各バンドに対応する当該画素の新たな画素値を調整する調整手段と、
被写体の画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合には、前記調整手段により調整された当該画素の新たな画素値を用いて、被写体の当該画素の色再現処理を行ない、前記判定手段により当該画素の全てのバンドの画素値が飽和していないと判定された場合には、前記複数のマルチバンド画像データの当該画素の画素値を用いて前記色再現処理を行なう色再現処理手段と、
を備えた画像処理装置。
【請求項３】
カメラを有する第１撮影手段、及びカメラと前記カメラが撮影可能な色の一部の波長を透過するカラーフィルタとを有する第２撮影手段により撮影された複数のマルチバンド画像データのうち、前記第１撮影手段により撮影されたマルチバンド画像データの各バンドの画素値が飽和しているか否かを画素毎に判定する判定手段と、
被写体の画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合には、前記第２撮影手段により撮影されたマルチバンド画像データの画素値のみを用いて、当該画素の色再現処理を行ない、前記判定手段により当該画素の全てのバンドの画素値が飽和していないと判定された場合には、前記複数のマルチバンド画像データの画素値を用いて当該画素の色再現処理を行なう色再現処理手段と、
を備えた画像処理装置。
【請求項４】
判定手段と、推定手段と、生成手段と、色再現処理手段とを含む画像処理装置における画像処理方法であって、
前記判定手段は、カメラを有する第１撮影手段、及びカメラと前記カメラが撮影可能な色の一部の波長を透過するカラーフィルタとを有する第２撮影手段により撮影された複数のマルチバンド画像データの各バンドの画素値が飽和しているか否かを画素毎に判定し、
前記推定手段は、画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合に、前記複数のマルチバンド画像データの各バンドの当該画素の画素値のうち、前記判定手段により飽和していないと判定されたバンドの当該画素の画素値、撮影時の照明光のスペクトル、前記飽和していないと判定されたバンドの組み合わせに対応する撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像データの各々の当該画素の分光反射率を推定し、
前記生成手段は、画素毎に、前記推定手段により推定された当該画素の分光反射率と、前記撮影時の照明光のスペクトルと、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する分光感度とを用いて撮影シミュレーションを行なうことにより、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する当該画素の新たな画素値を生成し、
前記色再現処理手段は、被写体の画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合には、前記生成手段により生成された当該画素の新たな画素値を用いて、被写体の当該画素の色再現処理を行ない、前記判定手段により当該画素の全てのバンドの画素値が飽和していないと判定された場合には、前記複数のマルチバンド画像データの当該画素の画素値を用いて前記色再現処理を行なう
画像処理方法。
【請求項５】
判定手段と、推定手段と、生成手段と、調整手段と、色再現処理手段とを含む画像処理装置における画像処理方法であって、
前記判定手段は、カメラを有する第１撮影手段、及びカメラと前記カメラが撮影可能な色の一部の波長を透過するカラーフィルタとを有する第２撮影手段により撮影された複数のマルチバンド画像データの各バンドの画素値が飽和しているか否かを画素毎に判定し、
前記推定手段は、画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合に、前記複数のマルチバンド画像データの各バンドの当該画素の画素値のうち、前記判定手段により飽和していないと判定されたバンドの当該画素の画素値、撮影時の照明光のスペクトル、前記飽和していないと判定されたバンドの組み合わせに対応する撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像データの各々の当該画素の分光反射率を推定し、
前記生成手段は、画素毎に、前記推定手段により推定された当該画素の分光反射率と、前記撮影時の照明光のスペクトルと、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する分光感度とを用いて撮影シミュレーションを行なうことにより、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する当該画素の新たな画素値を生成し、
前記調整手段は、画素毎に、前記複数のマルチバンド画像データの当該画素の画素値の中で最小の画素値と、前記生成手段により生成された当該画素の新たな画素値のうち前記最小の画素値のバンドに対応する画素値とが一致するように、前記生成手段により生成された各バンドに対応する当該画素の新たな画素値を調整し、
前記色再現処理手段は、被写体の画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合には、前記調整手段により調整された当該画素の新たな画素値を用いて、被写体の当該画素の色再現処理を行ない、前記判定手段により当該画素の全てのバンドの画素値が飽和していないと判定された場合には、前記複数のマルチバンド画像データの当該画素の画素値を用いて前記色再現処理を行なう
画像処理方法。
【請求項６】
判定手段と、色再現処理手段とを含む画像処理装置における画像処理方法であって、
前記判定手段は、カメラを有する第１撮影手段、及びカメラと前記カメラが撮影可能な色の一部の波長を透過するカラーフィルタとを有する第２撮影手段により撮影された複数のマルチバンド画像データのうち、前記第１撮影手段により撮影されたマルチバンド画像データの各バンドの画素値が飽和しているか否かを画素毎に判定し、
前記色再現処理手段は、被写体の画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合には、前記第２撮影手段により撮影されたマルチバンド画像データの画素値のみを用いて、当該画素の色再現処理を行ない、前記判定手段により当該画素の全てのバンドの画素値が飽和していないと判定された場合には、前記複数のマルチバンド画像データの画素値を用いて当該画素の色再現処理を行なう
画像処理方法。
【請求項７】
コンピュータを、請求項１〜請求項３のいずれか１項記載の画像処理装置を構成する各手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに係り、特に、マルチバンド画像を用いて色再現処理を行なう画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
非特許文献１や非特許文献２に示されるような、ＲＧＢ（３バンド）デジタルカメラとデジタルカメラが持つ本来のR（赤）、G（緑）、B（青）の各色に対応するフィルタの透過波長の一部のみを透過するカラーフィルタを組み合わせて４バンド以上のマルチバンド画像を撮影し、得られたマルチバンド画像からＲＧＢ画像等を生成する技術が知られている。
【０００３】
非特許文献１及び非特許文献２においては、例えば、図１２及び図１３に示すように、ＲＧＢカメラ５０１ａを有する画像入力部５０１により３バンド画像１を得ると共に、ＲＧＢカメラ５０２ａ及びカラーフィルタ５０２ｂを組み合わせた画像入力部５０２により３バンド画像２を取得し、さらに位置ずれ補正処理部５０４においてフィルタの厚みなどに起因する２枚の３バンド画像（３バンド画像１、および３バンド画像２）間での画像のずれを補正することにより、６バンド画像を得て、従来の画像処理装置５０３の色再現処理部５０３ａにより、上記得られた全てのバンドの画像を用いて色再現演算を行ない、その結果からＲＧＢ画像を生成している（図１４を参照）。なお非特許文献１では使用するカメラは１台で、カラーフィルタを脱着し時分割で２枚の３バンド画像を得ている。また非特許文献２では、２台のカメラを使用しており同時に２枚の３バンド画像の撮影が可能であり、図１３のような構成になっている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】橋本勝、"６バンド分光画像による浮世絵のアーカイブと高精度色再現"、人文科学とシンポジウム（じんもんこん）2008, pp.305-310, Dec., 2008
【非特許文献２】土田勝、川西隆仁、大和淳司、伊藤康一、青木孝文、” 色再現を目的としたステレオ式ワンショット６バンド撮影システム”、画像の認識・理解シンポジウム（MIRU）2010, デモセッション, No. DS-1, pp. 1310-1311, July 2010
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１及び２記載の手法では、例えば、６バンド画像の場合、その中のある１バンド以上の画素値（デジタル信号値）が飽和（8bit画像の場合、画素値=255）していると、色再現演算処理の結果得られるＲＧＢ画像上で対応する点に偽色が生じてしまう。これはカメラのセンサのダイナミックレンジの限界により、本来得られるはずのデジタル信号値よりも小さな値が出力され、その結果を色再現演算に使用していることが原因である。６バンド以外のマルチバンド画像でも同様の問題が生じ得る。
【０００６】
本発明は、上記の問題を解決するためになされたもので、センサのダイナミックレンジの限界に起因するデジタル信号値（画素値）の飽和が原因の色や分光反射率の推定精度の低下が抑制でき、従来手法よりも色再現結果の精度が向上する画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、カメラを有した第１撮影手段、及びカメラと前記カメラが撮影可能な色の一部の波長を透過するカラーフィルタとを有する第２撮影手段により撮影された複数のマルチバンド画像データの各バンドの画素値が飽和しているか否かを画素毎に判定する判定手段と、被写体の画素毎に、前記複数のマルチバンド画像データの各バンドの該画素の画素値のうち、前記判定手段により飽和してないと判定されたバンドの該画素の画素値を用いて、該画素の色再現処理を行なう色再現処理手段と、を備えている。
【０００８】
なお、色再現処理は、被写体の色（例えば、スペクトル、分光反射率、色、ＲＧＢ/多原色画素値等）を計算（推定）し、計算した値を画素値とする色再現結果画像(例えば、スペクトル画像、分光反射率画像、ＲＧＢ画像等々）を生成する処理をいう。色再現処理に用いられる手法は特に限定されず、例えば、ウィナー推定法であってもよいし、主成分分析に基づく手法、重回帰推定法であってもよい。特異値分解法を用いることで重回帰分析法もベクトル・行列演算として扱うことが可能である。
【０００９】
このように、本発明では、飽和していない画素値を用いて色再現処理を行なうようにしたため、画素値の飽和が原因で推定精度が低下することを抑制でき、従来手法よりも色再現結果の精度が向上する。
【００１０】
なお、画素毎に、前記判定手段により飽和していないと判定された該画素の画素値のバンドの組み合わせに対応する撮影手段の分光感度と、撮影時の照明光のスペクトルと、被写体の統計的性質を示す情報とに基づいて、前記複数のマルチバンド画像の各々の該画素の分光反射率推定行列を計算する行列計算手段を更に備え、前記色再現処理手段は、被写体の画素毎に、前記複数のマルチバンド画像データの各バンドの該画素の画素値のうち、前記判定手段により飽和していないと判定されたバンドの該画素の画素値と、前記行列計算手段により計算された該画素の分光反射率推定行列とを用いて、前記色再現処理を行なうようにしてもよい。
【００１１】
また、画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合に、前記複数のマルチバンド画像データの各バンドの該画素の画素値のうち、前記判定手段により飽和していないと判定されたバンドの該画素の画素値、撮影時の照明光のスペクトル、前記飽和していないと判定されたバンドの組み合わせに対応する撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像の各々の該画素の分光反射率を推定する推定手段と、画素毎に、前記推定手段により推定された該画素の分光反射率と、前記撮影照明光スペクトルと、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する分光感度とを用いて撮影シミュレーションを行なうことにより、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する該画素の新たな画素値を生成する生成手段と、を更に備え、前記色再現処理手段は、画素毎に、前記判定手段により該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合には、前記生成手段により生成された該画素の新たな画素値を用いて、被写体の該画素の色再現処理を行ない、前記判定手段により該画素の全てのバンドの画素値が飽和していないと判定された場合には、前記複数のマルチバンド画像データの該画素の画素値を用いて前記色再現処理を行なうようにしてもよい。これにより、飽和しない画素値を用いて撮影時に画素値が飽和した画素の値を補間することができ、従来手法よりも色再現結果の精度が向上する。
【００１２】
また、画素毎に、前記判定手段により当該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合に、前記複数のマルチバンド画像データの各バンドの該画素の画素値のうち、前記判定手段により飽和していないと判定されたバンドの該画素の画素値、撮影時の照明光のスペクトル、前記飽和していないと判定されたバンドの組み合わせに対応する撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像の各々の該画素の分光反射率を推定する推定手段と、画素毎に、前記推定手段により推定された該画素の分光反射率と、前記撮影照明光スペクトルと、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する分光感度とを用いて撮影シミュレーションを行なうことにより、前記第１撮影手段及び前記第２撮影手段の各バンドに対応する該画素の新たな画素値を生成する生成手段と、画素毎に、前記複数のマルチバンド画像データの該画素の画素値の中で最小の画素値と、前記生成手段により生成された該画素の新たな画素値のうち前記最小の画素値のバンドに対応する画素値とが一致するように、前記生成手段により生成された各バンドに対応する該画素の新たな画素値を調整する調整手段と、を更に備え、前記色再現処理手段は、画素毎に、前記判定手段により該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合には、前記調整手段により調整された該画素の新たな画素値を用いて、被写体の該画素の色再現処理を行ない、前記判定手段により該画素の全てのバンドの画素値が飽和していないと判定された場合には、前記複数のマルチバンド画像データの該画素の画素値を用いて前記色再現処理を行なうようにしてもよい。
【００１３】
これにより、飽和しない画素値を用いて撮影時に画素値が飽和した画素の値を補間することができ、従来手法よりも色再現結果の精度が向上する。また、生成手段により生成した新たな画素値を、複数のマルチバンド画像データの画素値の中で最小の画素値と、該新たな画素値のうち該最小の画素値のバンドに対応する画素値とが一致するよう調整するようにしたため、画像の見た目の連続性を確保することができる。
【００１４】
また、本発明の画像処理装置を、カメラを有する第１撮影手段、及びカメラと前記カメラが撮影可能な色の一部の波長を透過するカラーフィルタとを有する第２撮影手段により撮影された複数のマルチバンド画像データのうち、前記第１撮影手段により撮影されたマルチバンド画像データの各バンドの画素値が飽和しているか否かを画素毎に判定する判定手段と、被写体の画素毎に、前記判定手段により該画素の少なくとも１つのバンドの画素値が飽和していると判定された場合には、前記第２撮影手段により撮影されたマルチバンド画像データの画素値のみを用いて、該画素の色再現処理を行ない、前記判定手段により該画素の全てのバンドの画素値が飽和していないと判定された場合には、前記複数のマルチバンド画像データの画素値を用いて該画素の色再現処理を行なう色再現処理手段と、を備えて構成してもよい。
【００１５】
第２撮影手段で撮影されたマルチバンド画像の画素値は、第１撮影手段で撮影されたマルチバンド画像の画素値に比べて飽和する可能性が低いため、第１撮影手段で撮影されたマルチバンド画像の画素値の少なくとも１つの画素値が飽和していた場合には、第２撮影手段で撮影されたマルチバンド画像の画素値を用いて色再現処理を行なうようにしている。これによっても、従来手法よりも色再現結果の精度が向上する。
【００１６】
本発明の画像処理方法は、判定手段と、色再現処理手段とを含む画像処理装置における画像処理方法であって、前記判定手段は、カメラを有する第１撮影手段、及びカメラと前記カメラが撮影可能な色の一部の波長を透過するカラーフィルタとを有する第２撮影手段により撮影された複数のマルチバンド画像データの各バンドの画素値が飽和しているか否かを画素毎に判定し、前記色再現処理手段は、被写体の画素毎に、前記複数のマルチバンド画像データの各バンドの該画素の画素値のうち、前記判定手段により飽和してないと判定されたバンドの該画素の画素値を用いて、該画素の色再現処理を行なうものである。
【００１７】
また、本発明の画像処理プログラムは、コンピュータを、請求項１〜請求項５のいずれか１項記載の画像処理装置を構成する各手段として機能させるための画像処理プログラムである。
【発明の効果】
【００１８】
以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、飽和していないバンドの画素値を用いて色再現処理を行なうため、センサのダイナミックレンジの限界に起因する画素値の飽和が原因の色や分光反射率の推定精度の低下が抑制でき、従来手法よりも色再現結果の精度が向上する、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施の形態に係る画像処理装置の構成を示す概略図である。
【図２】第１の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図３】第２の実施の形態に係る画像処理装置の構成を示す概略図である。
【図４】第２の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図５】第３の実施の形態に係る画像処理装置の構成を示す概略図である。
【図６】第３の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図７】第４の実施の形態に係る画像処理装置の構成を示す概略図である。
【図８】第４の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図９】第５の実施の形態に係る画像処理装置の構成を示す概略図である。
【図１０】第５の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図１１】マルチバンド画像を入力する画像入力装置の一例を示す図である。
【図１２】マルチバンド画像を入力する画像入力装置の一例と、カラーフィルタの透過波長の一例、及びカラーフィルタにより得られるバンドの一例を示す図である。
【図１３】従来の画像処理装置の構成を示す概略図である。
【図１４】分光撮影の原理イメージを示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２１】
［第１の実施の形態］
【００２２】
第１の実施の形態に係る画像処理装置１０を説明するに際し、まず、被写体の色再現処理において従来より用いられる手法の一例として、ウィナー推定を用いてマルチバンド画像から画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する手法について説明する（非特許文献３「Masaru Tsuchida, KeijiYano, Hiromi T. Tanaka,“Development of a High-definition and Multispectral Image Capturing System for Digital Archiving of Early Modern Tapestries of Kyoto GionFestival” 2010  International Conference on Pattern Recognition」参照）。なお、色再現処理で用いられる手法は、ウィナー推定法のみに限定されるものではない。
【００２３】
撮影時の照明光スペクトル（以下、撮影照明光スペクトル）をＥ（λ）、及び被写体の分光反射率をｆ（λ）とすると、観察される反射光スペクトルＩ（λ）は、下記（１）式のように表される。
【００２４】
【数１】
0005836878.tif 000002
【００２５】
ここでλは波長を示す。この式を基に、Ｎ−バンド画像の画素毎に分光反射率を推定する。カメラの分光感度を、行列Ｓ＝［Ｓ１（λ），Ｓ２（λ），・・・ＳＮ（λ）］Ｔ、及び対角成分が撮影照明光スペクトルである対角行列を行列Ｗとすると、（１）式は下記（２）式のように書き改められる。
【００２６】
【数２】
0005836878.tif 000003
【００２７】
推定する分光反射率ｆ＾は、下記（３）式で示されるＮ−バンドカメラで得られた信号値から、ウィナー推定法により、下記（４）式のように求められる。
【００２８】
【数３】
0005836878.tif 000004
【００２９】
ここで、行列Ｍはウィナー推定行列（分光反射率推定行列）であり、行列Ｈから求められる。行列Ｒは被写体の統計的性質から求められた先見情報である。行列Ｒとしては、例えば、教師データの相関行列、共分散行列などを用いることができる。また、教師データの主成分ベクトルの相関・共分散行列を用いてもよい。更に、汎用性を持たせるため、マルコフモデルを仮定した下記（５）式を用いてもよい。
【００３０】
【数４】
0005836878.tif 000005
【００３１】
上記のようにウィナー推定法を用いて画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。なお、分光反射率画像から、例えば、ＲＧＢ画像を生成する場合には、例えば、上記生成した分光反射率画像に対して、予め定めた撮影照明光スペクトル及び予め定めたカメラの分光感度を掛け合わせて、ＲＧＢ画像を生成すればよい。具体的には、予め定めた撮影照明光スペクトルと各画素に対応する推定された分光反射率の各波長の値を掛け合わせ、更に各画素に対応する予め定めたカメラの分光感度を掛け合わせる。各画素について計算された波長毎の値からＲ値、Ｇ値、及びＢ値を計算し、各画素の画素値を計算したＲＧＢ値とするＲＧＢ画像を生成する。
【００３２】
次に、第１の実施の形態に係る画像処理装置について説明する。
【００３３】
第１の実施の形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する画像処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。また処理を高速化するためにＧＰＵ（Graphics Processing Unit）を備えていても良い。このコンピュータは、機能的には、図１に示すように、画素値飽和検出部１４、分光反射率推定行列記憶部１５、及び色再現処理部１６を含んだ構成で表すことができる。なお、画素値飽和検出部１４が本発明の判定手段の一例であり、色再現処理部１６が本発明の色再現処理手段の一例である。
【００３４】
画像処理装置１０には、画像入力部１１で撮影されて得られたＲＧＢ（３バンド）画像１と、画像入力部１２で撮影されて得られた３バンド画像２が入力される。画像入力部１１は、ＲＧＢカメラ１１ａを有しており、画像入力部１２は、ＲＧＢカメラ１２ａを有している。ＲＧＢカメラ１１ａ及びＲＧＢカメラ１２ａは、共にＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor )等のセンサ及びＲＧＢ各色のフィルタを備えたデジタルカメラである。画像入力部１２は、ＲＧＢカメラ１２ａの他、該ＲＧＢカメラ１２ａが有する本来のＲ、Ｇ、Ｂの各色に対応するフィルタの透過波長の一部のみを透過するカラーフィルタ１２ｂを備えている。画像入力部１１及び画像入力部１２により、６つのバンドの各々のデジタル信号値が、６バンド画像の画素値として得られる。以下では、マルチバンド画像の一例として６バンド画像を例に挙げて説明するが、マルチバンド画像を６バンド画像に限定するものではない。
【００３５】
画像処理装置１０の画素値飽和検出部１４は、画素毎に、画像入力部１１から入力された３バンド画像１のデータ、及び画像入力部１２から入力された３バンド画像２のデータの各バンドの画素値が飽和していない（例えば、8bitの場合は2^8-1=255未満、16bitの場合は2^16-1=65535未満。ただし余裕を持たせるため、飽和していると判定する画素値の閾値は前述の値より低くてもよい）か否かを判定し、画素毎に、飽和していないと判定したバンドの画素値と、そのバンド情報とを出力する。
【００３６】
例えば、３バンド画像１の各バンドと、３バンド画像２の各バンドの計６つのバンドを順に１番目から６番目のバンドとした場合において、４番目のバンドの画素値が飽和していると判定されたときには、１，２，３，５，６番目のバンドの画素値と、該５つのバンドに関する情報が出力される。
【００３７】
分光反射率推定行列記憶部１５には、画像入力部１１及び画像入力部１２で用いられる各バンドのあらゆる組み合わせに関する分光反射率推定行列が予め記憶されている。分光反射率推定行列記憶部１５に記憶されている分光反射率推定行列は、上記説明した手法により計算しておき、分光反射率推定行列記憶部１５に予め記憶しておくものとする。
【００３８】
分光反射率推定行列記憶部１５には、画素値飽和検出部１４から、飽和していないと判定された画素値のバンドに関する情報が、色再現処理に使用可能なバンドに関する情報として入力される。分光反射率推定行列記憶部１５は、該バンドに関する情報を基に、予め記憶されている分光反射率推定行列から、色再現処理に使用可能なバンドの組み合わせに対応する分光反射率推定行列を選択して出力する。
【００３９】
例えば、１，２，３，５，６番目のバンドに関する情報が入力された場合には、予め記憶されている分光反射率推定行列から、１，２，３，５，６番目のバンドに相当する画像入力部の分光感度データを利用して作成した、５バンド入力に対応した分光反射率推定行列が選択され出力される。
【００４０】
色再現処理部１６には、画素値飽和検出部１４から、３バンド画像１及び３バンド画像２の画素値のうち、飽和していないと判定されたバンドの画素値が入力されると共に、分光反射率推定行列記憶部１５で選択された分光反射率推定行列が入力される。また、図示は省略するが、色再現処理部１６は、色再現パラメータ（再現したい照明環境での撮影照明光スペクトルや表示デバイスの特性）も入力される。色再現処理部１６は、入力された飽和していない画素値、分光反射率推定行列、及び色再現パラメータを用いて、色再現処理を行なう。具体的には、被写体の色（例えば、スペクトル、分光反射率、色、ＲＧＢ/多原色画素値等）をウィナー推定法等により計算することにより、計算した値を画素値とする色再現結果画像(例えば、スペクトル画像、分光反射率画像、ＲＧＢ画像等々）を生成して出力する。図１では、色再現結果画像としてＲＧＢ画像を生成して出力する例を示した。なお、ここでは、ウィナー推定法を用いて色再現処理を行なう例について説明したが、ウィナー推定法以外の手法（例えば、主成分分析に基づく手法や重回帰推定法等）を用いて色再現処理を行なうようにしてもよい。この様な概念に基づき分光反射率を推定する方法であれば、ウィナー推定法に限らなくても良い。
【００４１】
次に、第１の実施の形態に係る画像処理装置１０の作用について説明する。まず、画像入力部１１及び画像入力部１２により、３バンド画像１及び３バンド画像２が撮影された後、画像処理装置１０によって、図２に示す画像処理ルーチンが実行される。なお、以下の処理は、画像の画素毎に実施される。
【００４２】
ステップ１００において、画像入力部１１で撮影された３バンド画像１及び画像入力部１２で撮影された３バンド画像２の同一座標の画素値を取得する。
【００４３】
ステップ１０２において、取得した各バンドの画素値について、画素値が飽和しているか否かを前述したように判定し、画素値が飽和していないバンドの画素値のみを抽出する。
【００４４】
ステップ１０４において、予め記憶されている分光反射率推定行列の中から、画素値が飽和していないバンドの組み合わせに対応する分光反射率推定行列を選択する。
【００４５】
ステップ１０６において、上記飽和していないバンドの画素値と、上記選択した分光反射率推定行列と、所定の色再現パラメータとを用いて、ウィナー推定法等により当該画素の色再現処理を行なう。
【００４６】
以上説明したように、第１の実施の形態の画像処理装置によれば、飽和していると判定した画素値を用いずに色再現処理を行なうため、センサのダイナミックレンジの限界に起因するデジタル信号値（画素値）の飽和が原因の色や分光反射率の推定精度の低下が抑制でき、従来手法よりも色再現結果の精度が向上する。
【００４７】
［第２の実施の形態］
【００４８】
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。
【００４９】
第２の実施の形態の画像処理装置２０を構成するコンピュータは、機能的には、図３に示すように、画素値飽和検出部１４、分光感度記憶部２２、分光反射率推定行列計算部２４、及び色再現処理部１６を含んだ構成で表すことができる。なお、分光反射率推定行列計算部２４が本発明の行列計算手段の一例である。
【００５０】
画像入力部１１及び画像入力部１２の各バンドの分光感度を予め計測しておき、分光感度記憶部２２に記憶しておくものとする。
【００５１】
分光感度記憶部２２には、画素値飽和検出部１４から出力された、画素値が飽和していないと判定されたバンドに関する情報が、使用可能なバンドに関する情報として入力される。分光感度記憶部２２は、当該バンドに関する情報に基づいて、記憶されている画像入力部１１及び画像入力部１２の全てのバンドの分光感度データから、色再現処理に使用するバンドの組み合わせに対応した画像入力部の分光感度を選択して出力する。
【００５２】
分光反射率推定行列計算部２４は、分光感度記憶部２２で選択された分光感度と、撮影照明光スペクトルと、被写体の統計的性質を示す統計情報（例えば、教師データから得られた相関行列や共分散行列。なお、第１の実施の形態で説明したように、統計情報として、前述したように、マルコフ性などの特定のモデルを仮定した場合には教師データは使用しない）とが入力され、これら情報を用いて、ウィナー推定法等に基づき、分光反射率推定行列を計算し、出力する。色再現処理部１６は、分光反射率推定行列計算部２４で計算された分光反射率推定行列と、画素値飽和検出部１４で抽出された画素値と、色再現パラメータとを用いて色再現処理を行なう。
【００５３】
次に、図４を参照して、第２の実施の形態の画像処理装置２０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。なお、以下の処理は、画像の画素毎に実施される。
【００５４】
ステップ１００において、３バンド画像１及び３バンド画像２の同一座標の画素値を取得し、ステップ１０２において、各バンドについて、当該画素の画素値が飽和しているか否かを判定し、飽和していないバンドの画素値のみを抽出する。
【００５５】
ステップ１０３において、予め記憶されている分光感度の中から、飽和していない画素値のバンドの組み合わせに対応する画像入力部の分光感度を選択する。
【００５６】
ステップ１０５において、上記選択した分光感度と、撮影照明光スペクトルと、被写体の統計情報とを用いて当該画素の分光反射率推定行列を計算する。
【００５７】
ステップ１０７において、上記飽和していないバンドの画素値と、上記計算した分光反射率推定行列と、所定の色再現パラメータとを用いて、ウィナー推定法等により当該画素の色再現処理を行なう。
【００５８】
以上説明したように、第２の実施の形態の画像処理装置によっても、飽和していると判定した画素値を用いずに色再現処理を行なうため、センサのダイナミックレンジの限界に起因するデジタル信号値（画素値）の飽和が原因の色や分光反射率の推定精度の低下が抑制でき、従来手法よりも色再現結果の精度が向上する。
【００５９】
［第３の実施の形態］
【００６０】
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。
【００６１】
第２の実施の形態の画像処理装置３０を構成するコンピュータは、機能的には、図３に示すように、画素値飽和検出部３２、分光反射率推定行列記憶部３４、及び色再現処理部１６を含んだ構成で表すことができる。
【００６２】
画素値飽和検出部３２には、画像入力部１１で得られた３バンド画像１のデータが入力される。画素値飽和検出部３２は、画素毎に、入力された３バンド画像１の各バンドの画素値が飽和しているか否かを判定する。
【００６３】
画素値飽和検出部３２は、画素毎に、３バンド画像１の全てのバンドの当該画素の画素値が飽和していないと判定した場合には、３バンド画像１の当該画素の画素値を出力すると共に、当該画素の色再現処理に使用可能なバンドに関する情報として、３バンド画像１及び３バンド画像２の各々のバンドに関するバンド情報を出力する。画素値飽和検出部３２は、３バンド画像１の少なくとも１つのバンドの当該画素の画素値が飽和していると判定した場合には、当該画素の色再現処理に使用可能なバンドに関する情報として、３バンド画像２のバンドに関するバンド情報を出力する。すなわち、第３の実施の形態の画素値飽和検出部３２は、３バンド画像１についてのみ飽和の判定を行ない、３バンド画像２については飽和の判定を行なわない。
【００６４】
分光反射率推定行列記憶部３４には、画像入力部１１及び画像入力部１２の各バンドの分光感度を用いて計算された分光反射率推定行列と、画像入力部１２のバンドのみの分光感度を用いて計算された分光反射率推定行列が予め記憶されている。
【００６５】
分光反射率推定行列記憶部３４は、色再現処理に使用可能なバンドに関する情報が画素値飽和検出部３２から入力されると、該バンドに関する情報を基に、予め記憶されている分光反射率推定行列から、色再現処理に使用可能なバンドの組み合わせに対応する分光反射率推定行列を選択して出力する。
【００６６】
色再現処理部１６には、画像入力部１２から３バンド画像２のデータが入力される。また、画素毎に、画素値飽和検出部３２において、３バンド画像１の全てのバンドの当該画素の画素値が飽和していないと判定された場合には、３バンド画像１のデータも入力される。更にまた、色再現処理部１６には、分光反射率推定行列記憶部３４で選択された当該画素の分光反射率推定行列が入力されると共に、別途色再現パラメータも入力される。色再現処理部１６は、入力された各情報を用いて、第１の実施の形態と同様に当該画素の色再現処理を行なう。
【００６７】
次に、図６を参照して、第３の実施の形態の画像処理装置３０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。なお、以下の処理は、画像の画素毎に実施される。
【００６８】
ステップ１００において、３バンド画像１及び３バンド画像２の同一座標の画素値を取得する。
【００６９】
ステップ１２０において、取得した３バンド画像１及び３バンド画像２のうち、３バンド画像１の画素値（すなわち、カラーフィルタの無い画像入力部１１で得られた３バンド画像の画素値）のみ飽和を判定する。
【００７０】
ステップ１２２において、３バンド画像１の当該画素の少なくとも１つのバンドの画素値が飽和していると判定した場合には、ステップ１２４において、予め記憶されている分光反射率推定行列の中から、画像入力部１２の各バンドの分光感度のみを用いて計算された分光反射率推定行列を選択する。
【００７１】
ステップ１２６において、３バンド画像２の当該画素の画素値と、上記選択した分光反射率推定行列と、所定の色再現パラメータとを用いて、ウィナー推定法等により当該画素の色再現処理を行なう。すなわち、ここでは、３バンド画像１の画素値は色再現処理には用いられない。
【００７２】
一方、ステップ１２２において、３バンド画像１の当該画素の全てバンドの画素値が飽和していないと判定した場合には、ステップ１２８において、予め記憶されている分光反射率推定行列の中から、画像入力部１１及び画像入力部１２の各バンドの分光感度を用いて計算された分光反射率推定行列を選択する。
【００７３】
ステップ１３０において、３バンド画像１及び３バンド画像２の各々の当該画素の画素値と、上記選択した分光反射率推定行列と、所定の色再現パラメータとを用いて、ウィナー推定法等により当該画素の色再現処理を行なう。すなわち、ここでは、３バンド画像１及び３バンド画像２の双方の画素値を用いて色再現処理が行なわれる。
【００７４】
デジタルカメラが持つ本来のR（赤）、G（緑）、B（青）の各色に対応するフィルタの透過波長の一部のみを透過するカラーフィルタ１２ｂを組み合わせてマルチバンド画像（本例では６バンド画像）を撮影する場合、カラーフィルタ１２ｂを設けて撮影した３バンド画像２の方が、カラーフィルタ１２ｂを設けずに撮影した３バンド画像１より一般には暗い画像になる。つまり、３バンド画像１でセンサの飽和が起こった場合でも、３バンド画像２ではセンサの飽和が起こらない可能性が高い。従って、３バンド画像１でセンサの飽和が起こった場合には、その画素に関しては３バンド画像２の画素値のみを用いて色再現演算を行なう。この方法の利点は、第１の実施の形態と比べ、予め計算し記憶する分光反射率推定行列が２つで済むという点である。
【００７５】
なお、上記例では、２つの分光反射率推定行列を予め記憶しておき、色再現処理に用いる例について説明したが、例えば、第２の実施の形態において説明したように、分光感度記憶部及び分光反射率推定行列計算部を設け、画素値飽和検出部３２の判断結果から分光反射率推定行列を計算して、色再現処理に用いるようにしてもよい。
【００７６】
以上説明したように、第３の実施の形態の画像処理装置によっても、飽和していると判定した画素値を用いずに色再現処理を行なうため、センサのダイナミックレンジの限界に起因するデジタル信号値（画素値）の飽和が原因の色や分光反射率の推定精度の低下が抑制でき、従来手法よりも色再現結果の精度が向上する。
【００７７】
［第４の実施の形態］
【００７８】
次に、第４の実施の形態について説明する。なお、第４の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０及び第２の実施の形態の画像処理装置２０と同様の構成については、同一符号を付して詳細な説明を省略する。
【００７９】
第４の実施の形態の画像処理装置４０を構成するコンピュータは、機能的には、図７に示すように、画素値飽和検出部１４、撮影条件記憶部４２、分光反射率推定行列計算部２４、分光反射率推定部４４、飽和画素値補間処理部４５、及び色再現処理部１６を含んだ構成で表すことができる。なお、分光反射率推定部４４及び飽和画素値補間処理部４５が本発明の生成手段の一例である。
【００８０】
画素値飽和検出部１４は、第１の実施の形態と同様に、画素毎に、画像入力部１１及び画像入力部１２から入力された３バンド画像１及び３バンド画像２の同一座標の画素値の各々が、飽和しているか否かを判定する。当該画素の全ての画素値が飽和していない場合には、各画素値がそのまま色再現処理部１６へ入力される。
【００８１】
また、画素値飽和検出部１４は、画素毎に、３バンド画像１及び３バンド画像２の同一座標の画素値のうち、少なくとも１つのバンドの画素値が飽和していると判定した場合には、飽和していないバンドの画素値と、飽和していないバンドに関する情報を出力する。
【００８２】
撮影条件記憶部４２には、予め計測された画像入力部１１及び画像入力部１２の各バンドの分光感度及び撮影時の撮影照明光スペクトルのデータが記憶されている。撮影条件記憶部４２は、画素値飽和検出部１４から入力された飽和していないバンドに関する情報に基づいて、記憶されている画像入力部の分光感度のうち、飽和していないバンドの組み合わせに対応した分光感度のデータを読み出して出力する。また、撮影条件記憶部４２は、撮影照明光スペクトルのデータも読み出して出力する。
【００８３】
分光反射率推定行列計算部２４には、撮影条件記憶部４２から、飽和していないバンドの組み合わせに対応した画像入力部の分光感度のデータ及び影撮影照明光スペクトルのデータが入力される。分光反射率推定行列計算部２４は、画素毎に、該分光感度及び撮影照明光スペクトルのデータを用いて、第２の実施の形態で説明したように、当該画素の分光反射率推定行列を計算して出力する。
【００８４】
分光反射率推定部４４には、画素毎に、画素値飽和検出部１４から、３バンド画像１及び３バンド画像２の同一座標の画素値のうち少なくとも１つのバンドの画素値が飽和していると判定した場合における飽和していないバンドの画素値が入力される。また、分光反射率推定部４４には、画素毎に、分光反射率推定行列計算部２４で計算された分光反射率推定行列も入力される。分光反射率推定部４４は、画素毎に、該取得した飽和していないバンドの画素値と、分光反射率推定行列とを行列演算により掛け合わせ、当該画素の分光反射率を推定（計算）して出力する。
【００８５】
飽和画素値補間処理部４５には、画素毎に、分光反射率推定部４４により推定された当該画素の分光反射率が入力されると共に、撮影条件記憶部４２から、画像入力部１１及び画像入力部１２で使用された全てのバンドの組み合わせに対応する画像入力部の分光感度と、撮影照明光スペクトルとが入力される。飽和画素値補間処理部４５は、画素毎に、分光反射率推定部４４で推定された当該画素の分光反射率に撮影照明光スペクトルを掛け合わせて当該画素の観察光スペクトルを計算し、更に当該画素の観察光スペクトルに各画像入力部１１、１２の分光感度を掛け合わせることで、３バンド画像１及び３バンド画像２に対応した当該画素の新たな画素値（６バンド）を生成する。なお、分光反射率に撮影照明光スペクトルを掛け合わせて観察光スペクトルを計算し、該観察光スペクトルに画像入力部の分光感度を掛け合わせることを撮影シミュレーションという。
【００８６】
色再現処理部１６には、画素毎に、３バンド画像１及び３バンド画像２の同一座標の画素値の全て或いは、飽和画素値補間処理部４５で生成された新たな画素値が入力される。色再現処理部１６は、画素毎に、入力された当該画素の画素値と、全てのバンドの画素値を用いる場合の分光反射率推定行列（すなわち、６バンド入力に対応する分光反射率推定行列）と、色再現パラメータとを用いて当該画素の色再現処理を行なう。
【００８７】
次に、図８を参照して、第４の実施の形態の画像処理装置４０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。なお、以下の処理は、画像の画素毎に実施される。
【００８８】
ステップ１００において、３バンド画像１及び３バンド画像２の同一座標の画素値を取得する。ステップ１０２において、当該画素について取得した各バンドの画素値の少なくとも１つが飽和しているか否かを判定する。ステップ１４０において、取得した全てのバンドの当該画素の画素値が飽和していないと判定した場合には、ステップ１４２において、３バンド画像１及び３バンド画像２の当該画素の全てのバンドの画素値と、全てのバンドの画素値を用いる場合の分光反射率推定行列と、所定の色再現パラメータとを用いて、ウィナー推定法等により当該画素の色再現処理を行なう。
【００８９】
一方、ステップ１４０において、当該画素について取得した各バンドの画素値の少なくとも１つが飽和していると判定した場合には、ステップ１４４において、予め記憶されている分光感度のうち、画素値が飽和していないバンドの組み合わせに対応した分光感度のデータを取得すると共に、撮影照明光スペクトルのデータを取得し、これらを用いて、当該画素の分光反射率推定行列を計算する。
【００９０】
ステップ１４６において、上記飽和していないバンドの画素値と、上記計算した分光反射率推定行列とを用いて、当該画素の分光反射率を計算（推定）する。
【００９１】
ステップ１４８において、上記計算した分光反射率と、予め記憶されている全ての画像入力部のバンドに対応した分光感度と、撮影照明光スペクトルとを用いて撮影シミュレーションを行ない、３バンド画像１及び３バンド画像２に対応した当該画素の新たな画素値（６バンド）を生成する。
【００９２】
ステップ１５０において、上記生成した新たな画素値と、全てのバンドの画素値を用いる場合の分光反射率推定行列と、色再現パラメータとを用いて当該画素の色再現処理を行なう。なお、全てのバンドの画素値を用いる場合の分光反射率推定行列は、予め計算して、不図示の記憶部に記憶しておいてもよいし、色再現処理部１６が色再現処理を実施する都度計算して求めてもよい。
【００９３】
このように、本実施の形態では、３バンド画像１及び３バンド画像２の同一座標の画素値のうち少なくとも１バンドの画素値が飽和している場合には、飽和していないバンドの画素値のみを用いて分光反射率の推定を行ない、推定された分光反射率に撮影照明スペクトルを掛けて観察光スペクトルを計算し、更に画像入力部１１及び画像入力部１２の全てのバンドの分光感度を用いて撮影シミュレーションを行ない、新たな６バンドの画素値を生成し、オリジナルの信号値と置き換えるようにしている。その後、色再現処理を行なうことで色再現結果が出力される。なお、画素値を補間して生成された新たな画像はモニタやメモリ上、ファイルとして出力可能である。
【００９４】
以上説明したように、少なくとも１バンドの画素値が飽和している場合には、飽和していない画素値を用いて、飽和しているバンドの画素値を含む全ての画素値を新たに生成して色再現処理に使用するようにしたため、センサのダイナミックレンジの限界に起因するデジタル信号値（画素値）の飽和が原因の色や分光反射率の推定精度の低下が抑制でき、従来手法よりも色再現結果の精度が向上する。
【００９５】
［第５の実施の形態］
【００９６】
次に、第５の実施の形態について説明する。なお、第５の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。
【００９７】
第５の実施の形態の画像処理装置５０を構成するコンピュータは、機能的には、図９に示すように、画素値飽和検出部５１、撮影条件記憶部５２、飽和画素値補間処理部５４、及び色再現処理部１６を含んだ構成で表すことができる。なお、飽和画素値補間処理部５４が本発明の生成手段及び調整手段の一例である。
【００９８】
本実施の形態では、画像処理装置５０の前段に位置ずれ補正処理部５５が設けられている。位置ずれ補正処理部５５は、フィルタの厚みなどに起因する２枚の３バンド画像間での画像のずれを補正する。位置ずれ補正処理部５５は、対応点探索部及び画像変形処理部を備えている（図示省略）。対応点探索部には、画像入力部１１により撮影された３バンド画像１、及び画像入力部１２により撮影された３バンド画像２が入力される。対応点探索部は、２枚の３バンド画像（３バンド画像１、及び３バンド画像２）間での相関値に基づいた対応点の探索及び検出（例えば、位相限定相関法を用いる）を行なって、検出された対応点の数、及び３バンド画像１、２における対応点の座標およびズレ幅を、対応点情報として出力する。画像変形処理部には、３バンド画像２と、対応点探索部から出力された対応点情報とが入力される。画像変形処理部は、対応点探索部で得られた対応点情報を元に画像変形パラメータ（射影変換の場合には水平/垂直方向のずれ量、回転角度、倍率。スプライン補完等の非線形手法に基づく場合には、そのモデルパラメータ）を算出し、それらを仮定した変形モデル（射影変換や非線形変換）に適用して、３バンド画像２に対して変形処理を施す。なお、画像変形における手法は、ここでは特に限定しない。画像変形処理部は、３バンド画像２に対して変形処理を施して得られた３バンド画像２’を出力する。なお、第１〜第４の実施の形態においても、位置ずれ補正処理部５５を設けることができる。
【００９９】
画素値飽和検出部５１には、画像入力部１１で撮影された３バンド画像１と、位置ずれ補正処理部５５で変形処理して得られた３バンド画像２’とが入力される。画素値飽和検出部５１は、画素毎に、３バンド画像１及び３バンド画像２’の同一座標の画素値の各々が、飽和しているか否かを判定する。全てのバンドの画素値が飽和していない場合には、当該画素の各画素値がそのまま色再現処理部１６へ入力される。
【０１００】
また、画素値飽和検出部５１は、３バンド画像１及び３バンド画像２’の同一座標の画素値のうち、少なくとも１つのバンドの画素値が飽和していると判定した場合には、飽和していないバンドの画素値を出力する。
【０１０１】
撮影条件記憶部５２には、予め計測された画像入力部１１及び画像入力部１２の各バンドの分光感度及び撮影時の撮影照明光スペクトルのデータが記憶されている。撮影条件記憶部５２は、画素値飽和検出部５１の判定結果に拘わらず、画像入力部の全てのバンドに対応した分光感度のデータ及び撮影照明光スペクトルのデータを読み出して出力する。なお、全バンドの分光感度及び撮影時の撮影照明光スペクトルを掛け合わせて算出された６バンドの信号値を出力するようにしてもよい。また撮影照明光スペクトルをファイルで選択できるようにし撮影条件記憶部５２に入力しても良い。その際、任意の物体の反射光スペクトルを照明光スペクトルとみなして選択することも可能である。このことにより、反射光が照明光色に等しくない被写体（例えば金）に対しても対応が可能となる。
【０１０２】
飽和画素値補間処理部５４には、画素毎に、画素値飽和検出部５１で、３バンド画像１及び３バンド画像２’の同一座標の画素値のうち、少なくとも１つのバンドの画素値が飽和していると判定されたときの、飽和していないバンドの画素値が入力されると共に、撮影条件記憶部５２から全てのバンドに対応した分光感度のデータ及び撮影照明光スペクトルが入力される。飽和画素値補間処理部５４は、画素毎に、入力された情報に基づいて撮影シミュレーション（第４の実施の形態参照）を実行して新たに６バンドの画素値を生成し、更に、３バンド画像１及び３バンド画像２’の当該画素の飽和していないバンドの画素値の中で最小の値を取るバンドの画素値と、先に撮影シミュレーションで算出した当該画素の画素値のうちの同一バンドの画素値とが一致するように、撮影シミュレーションで算出された各バンドの画素値に対し係数を掛けて強度レベルを調整し、照明光色に対応した６バンド画素値を出力する。
【０１０３】
色再現処理部１６には、画素毎に、３バンド画像１及び３バンド画像２’の同一座標の画素値の全て或いは、飽和画素値補間処理部５４で生成された新たな画素値が入力される。色再現処理部１６は、画素毎に、入力された画素値と、全てのバンドの画素値を用いる場合の分光反射率推定行列と、色再現パラメータとを用いて当該画素の色再現処理を行なう。
【０１０４】
次に、図１０を参照して、第５の実施の形態の画像処理装置５０で実行される画像処理ルーチンについて説明する。なお、第４の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。なお、以下の処理は、画像の画素毎に実施される。
【０１０５】
ステップ１００において、３バンド画像１及び３バンド画像２’の同一座標の画素値を取得する。ステップ１０２において、当該画素について取得した各バンドの画素値の少なくとも１つが飽和しているか否かを判定する。ステップ１４０において、当該画素について取得した全てのバンドの画素値が飽和していないと判定した場合には、ステップ１４２において、３バンド画像１及び３バンド画像２’の全ての画素値と、全てのバンドの画素値を用いる場合の分光反射率推定行列と、所定の色再現パラメータとを用いて、ウィナー推定法等により当該画素の色再現処理を行なう。
【０１０６】
一方、ステップ１４０において、当該画素について取得した各バンドの画素値の少なくとも１つが飽和していると判定した場合には、当該画素には、鏡面反射光が記録されているとみなし、ステップ１５２において、飽和していないバンドの画素値、分光感度、及び撮影照明光スペクトルを用いて撮影シミュレーションを行ない、当該画素の新たな６バンド画素値を計算する。本処理は、第４の実施の形態において、ステップ１４４〜ステップ１４８で説明した処理と同様に行なえばよいため、ここでは詳細な説明を省略する。
【０１０７】
ステップ１５４において、画像の見た目の連続性を確保するため、３バンド画像１及び３バンド画像２’の飽和していないバンドの画素値の中で最小の値を取るバンドの画素値と、先に撮影シミュレーションで算出された画素値の同一バンドの画素値とが一致するように、撮影シミュレーションで算出された各バンドの画素値に対し係数を掛け、撮影シミュレーションで生成した６バンドの画素値を調整する。なお、調整のために用いられる係数は、ここでは、撮影画像から得られた画素値を撮影シミュレーションで算出された画素値で割った値とする。
【０１０８】
ステップ１５６において、上記生成して調整された新たな画素値と、全てのバンドの画素値を用いる場合の分光反射率推定行列と、色再現パラメータとを用いて当該画素の色再現処理を行なう。なお、全てのバンドの画素値を用いる場合の分光反射率推定行列は、予め計算して、不図示の記憶部に記憶しておいてもよいし、色再現処理部１６が色再現処理を実施する都度計算して求めてもよい。
【０１０９】
このように、本実施の形態では、３バンド画像１及び３バンド画像２’の同一座標の画素値のうち少なくとも１バンドの画素値が飽和している場合には、飽和していないバンドの画素値、撮影照明スペクトル、全てのバンドの分光感度を用いて撮影シミュレーションを行ない、新たな６バンドの画素値を生成した後、係数を掛けて調整して色再現処理に用いるようにしたため、第４の実施の形態と同様に、センサのダイナミックレンジの限界に起因するデジタル信号値（画素値）の飽和が原因の色や分光反射率の推定精度の低下が抑制でき、従来手法よりも色再現結果の精度が向上する。また、係数により調整した画素値を色再現処理に用いることにより、画像の見た目の連続性が確保される。
【０１１０】
なお、本実施の形態では、撮影条件記憶部５２に、カメラの分光感度と撮影照明光スペクトルを格納しておき、飽和画素値補間処理部５４において、その都度、撮影シミュレーションを計算するようにしたが、予め撮影シミュレーションを行った結果（６バンドの画素値）を記憶しておき、これを読み出して、飽和画素値補間処理部５４において該画素値に係数を掛ける処理のみを行なうようにしてもよい。
【０１１１】
以上説明したように、第１〜第５の実施の形態では、既存のＲＧＢ（デジタル）カメラと、各色に対応するフィルタの透過波長の一部のみを透過するカラーフィルタを組み合わせたマルチバンド画像撮影法の特徴を利用して、飽和していないバンドの画素値を有効活用し、色再現処理の精度を向上させるようにしている。
【０１１２】
これまでは、飽和した画素値も飽和していない画素値と同様の処理を行っていたことが偽色の発生原因であった。しかしながら、上記説明したように、飽和していない画素値のみを利用して色再現処理を行なうことで偽色の発生を抑制でき、また、第４、第５の実施の形態で説明したように、飽和していない画素値のみを利用して分光反射率推定行列や分光反射率を推定し、推定された分光反射率と画像入力部１１，１２の分光感度を利用して撮影シミュレーションを行なうことで、撮影時にデジタル信号値が飽和した画素の値を補間或いは置換することができる。
【０１１３】
なお、上記第１〜第５の実施の形態では、２つの３バンド画像（計６バンド画像）が画像処理装置に入力される例について説明したが、マルチバンド画像であれば、これに限定されないのはもちろんである。
【０１１４】
また、上記第１〜第５の実施の形態では、マルチバンド画像を入力する画像入力装置として、ＲＧＢカメラ１１ａを有する画像入力部１１と、ＲＧＢカメラ１２ａ及びカラーフィルタ１２ｂを有する画像入力部１２とを例に挙げて説明したが、これに限定されない。例えば、図１１に示すように、ＲＧＢカメラと、単色カラーフィルタを備えた単色（白黒）カメラを複数台組み合わせた多眼式カメラシステムにも適用可能である。例えば、「カラーカメラ」、「カラーカメラとカラーフィルタ」、「単色カメラと単色カラーフィルタ」各１式の画像入力部が３つある構成でも良い。また「カラーカメラ」１式、複数の「単色カメラと単色カラーフィルタ」から構成されていても良い。
【０１１５】
また、上記では、画素値が飽和しているチャンネル（バンド）は使用しない、としたが、画素値がある規定された閾値以上のチャンネル（バンド）は飽和していると判定して使用しない、としてもよい。
【０１１６】
また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１１７】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１１８】
１０、２０、３０、４０、５０       画像処理装置
１１、１２    画像入力部
１４   画素値飽和検出部
１５   分光反射率推定行列記憶部
１６   色再現処理部
２２   分光感度記憶部
２４   分光反射率推定行列計算部
３２   画素値飽和検出部
３４   分光反射率推定行列記憶部
４２   撮影条件記憶部
４４   分光反射率推定部
４５   飽和画素値補間処理部
５１   画素値飽和検出部
５２   撮影条件記憶部
５４   飽和画素値補間処理部
【図１】
0005836878.tif 000006
【図２】
0005836878.tif 000007
【図３】
0005836878.tif 000008
【図４】
0005836878.tif 000009
【図５】
0005836878.tif 000010
【図６】
0005836878.tif 000011
【図７】
0005836878.tif 000012
【図８】
0005836878.tif 000013
【図９】
0005836878.tif 000014
【図１０】
0005836878.tif 000015
【図１３】
0005836878.tif 000016
【図１１】
0005836878.tif 000017
【図１２】
0005836878.tif 000018
【図１４】
0005836878.tif 000019