(57)【要約】【課題】  被写体の分光画像データを処理する際に、被写体の状況によらずに一定の分光反射率を持つ領域を精度よく判定できるようにする。【解決手段】  被写体の分光画像データを処理する画像処理装置１００において、分光画像データの各画素における分光データを輝度に関して正規化するスペクトル正規化部１２１と、スペクトル正規化部１２１で正規化された分光データであって、各画素のうちの基準画素の分光データと領域判定対象の画素の分光データとの間の誤差量を算出する誤差量算出部１２２１と、誤差量算出部１２２１で算出された誤差量に基づいて、分光画像データの被写体における領域判定対象の画素の所属領域を判定する領域判定部１２２２を備える。【選択図】  図１
2010055546.tif 000002
【特許請求の範囲】
【請求項１】
被写体の分光画像データを処理する画像処理装置であって、
前記分光画像データの各画素における分光データを輝度に関して正規化する正規化手段と、
前記正規化手段で正規化された分光データであって、前記各画素のうちの基準画素の分光データと領域判定対象の画素の分光データとの間の誤差量を算出する誤差量算出手段と、
前記誤差量算出手段で算出された誤差量に基づいて、前記分光画像データの前記被写体における前記領域判定対象の画素の所属領域を判定する領域判定手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記領域判定手段は、前記誤差量が所定の閾値よりも小さい場合に前記領域判定対象の画素の所属領域が前記基準画素の所属領域と同一の領域であると判定し、前記誤差量が前記所定の閾値よりも小さくない場合に前記領域判定対象の画素の所属領域が前記基準画素の所属領域と異なる領域であると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記誤差量算出手段は、前記誤差量の算出に加えて、前記基準画素の分光データと前記領域判定対象の画素の分光データとの差分の符号を判定するものであり、
前記領域判定手段は、前記各画素について所属領域の判定を行う際に、前記符号が異符号になった否かに応じて前記所定の閾値を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記被写体の撮影の際の光源に係る光源データを記憶する光源データ記憶手段と、
前記光源データを用いて、前記領域判定手段で判定された各所属領域を統合する領域統合手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記光源データは、前記光源に係る分光放射輝度データであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
被写体の分光画像データを処理する画像処理方法であって、
前記分光画像データの各画素における分光データを輝度に関して正規化する正規化ステップと、
前記正規化ステップで正規化された分光データであって、前記各画素のうちの基準画素の分光データと領域判定対象の画素の分光データとの間の誤差量を算出する誤差量算出ステップと、
前記誤差量算出ステップで算出された誤差量に基づいて、前記分光画像データの前記被写体における前記領域判定対象の画素の所属領域を判定する領域判定ステップと
を有することを特徴とする画像処理方法。
【請求項７】
被写体の分光画像データを処理する画像処理方法をコンピュータに実行させるためのプログラムであって、
前記分光画像データの各画素における分光データを輝度に関して正規化する正規化ステップと、
前記正規化ステップで正規化された分光データであって、前記各画素のうちの基準画素の分光データと領域判定対象の画素の分光データとの間の誤差量を算出する誤差量算出ステップと、
前記誤差量算出ステップで算出された誤差量に基づいて、前記分光画像データの前記被写体における前記領域判定対象の画素の所属領域を判定する領域判定ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の分光画像データを処理する画像処理装置及び画像処理方法、並びに、当該画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
被写体を分光分布もしくは分光反射率に係る画像として記録することは、例えば、透過波長域の異なる多種類のフィルタを通して被写体を撮影するマルチバンドカメラを用いることで可能である（例えば、下記の特許文献１参照）。
【０００３】
更に、このようにして得られた被写体の分光分布もしくは分光反射率の分光データに基づいて、被写体（被写体画像）の領域分割、例えば人間の肌に係る領域を分割する方法も知られている（例えば、下記の特許文献２参照）。この方法によれば、例えば、ＲＧＢなどの三原色情報に基づいて領域分割を行う場合に同色とみなされて分割が不可能な場合においても、精度良く領域分割を行うことが可能となると言う利点がある。そして、被写体の領域分割が精度良く行われれば、色処理やノイズ処理などの画像処理を領域ごとに最適化して行うことが可能となる。
【０００４】
【特許文献１】特開２００７−２７８９５０号公報
【特許文献２】特開２００５−３９４０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来から知られている方法を用いた、分光データに基づく画像内の領域分割では、対象となる被写体は、単一照明光源により均一に照明されていなければならなかった。
【０００６】
例えば、領域分割対象の被写体の立体的形状により、当該被写体上に明暗が生じた場合や、その日向と日影においては、得られる分光データの特性形状が異なる。このため、従来では、本来、一定の分光反射率を持つ領域であっても、これらを同一の分光データとみなして、同一領域として分割することが困難であった。
【０００７】
更に、分光放射輝度の異なる複数の照明光源で被写体が照明される場合、それぞれの照明光源のみが有効な被写体の領域においても同様に、同一領域として分割することが困難であった。
【０００８】
本発明は、このような問題点に鑑みてなされたものであり、被写体の分光画像データを処理する際に、被写体の状況によらずに一定の分光反射率を持つ領域を精度よく判定できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、被写体の分光画像データを処理する画像処理装置であって、  前記分光画像データの各画素における分光データを輝度に関して正規化する正規化手段と、前記正規化手段で正規化された分光データであって、前記各画素のうちの基準画素の分光データと領域判定対象の画素の分光データとの間の誤差量を算出する誤差量算出手段と、前記誤差量算出手段で算出された誤差量に基づいて、前記分光画像データの前記被写体における前記領域判定対象の画素の所属領域を判定する領域判定手段とを有する。
【００１０】
本発明の画像処理方法は、被写体の分光画像データを処理する画像処理方法であって、  前記分光画像データの各画素における分光データを輝度に関して正規化する正規化ステップと、前記正規化ステップで正規化された分光データであって、前記各画素のうちの基準画素の分光データと領域判定対象の画素の分光データとの間の誤差量を算出する誤差量算出ステップと、前記誤差量算出ステップで算出された誤差量に基づいて、前記分光画像データの前記被写体における前記領域判定対象の画素の所属領域を判定する領域判定ステップとを有する。
【００１１】
本発明のプログラムは、被写体の分光画像データを処理する画像処理方法をコンピュータに実行させるためのプログラムであって、前記分光画像データの各画素における分光データを輝度に関して正規化する正規化ステップと、前記正規化ステップで正規化された分光データであって、前記各画素のうちの基準画素の分光データと領域判定対象の画素の分光データとの間の誤差量を算出する誤差量算出ステップと、前記誤差量算出ステップで算出された誤差量に基づいて、前記分光画像データの前記被写体における前記領域判定対象の画素の所属領域を判定する領域判定ステップとをコンピュータに実行させるためのものである。
【発明の効果】
【００１２】
本発明によれば、被写体の分光画像データを処理する際に、被写体の状況によらずに一定の分光反射率を持つ領域を精度よく判定することができる。これにより、分光画像データを適切に領域分割処理することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明を実施するための最良の形態について、添付図面を参照して説明する。
例えば、本発明に係る画像処理装置は、デジタルカメラもしくはデジタルビデオカメラに組み込まれ、或いは、これらのカメラが出力する画像データを入力するコンピュータ内のソフトウェアとして実現する形態が好適である。
【００１４】
図１は、本発明の実施形態に係る画像処理装置の内部構成の一例を示す模式図である。
図１に示すように、画像処理装置１００は、画像メモリ１１０と、分光画像データ処理部１２０と、画像・領域メモリ１３０と、光源データＤＢ（光源データ・データベース）１４０と、領域統合部１５０を有して構成されている。
【００１５】
画像メモリ１１０は、後述する、静止画もしくは動画を対象としたマルチバンドカメラによる出力画像データ（被写体の分光画像データ）を記憶するメモリである。
【００１６】
分光画像データ処理部１２０は、画像メモリ１１０に記憶された分光画像データの処理を行うものであり、スペクトル正規化部１２１と、領域分割部１２２を有して構成されている。
【００１７】
スペクトル正規化部１２１は、分光画像データの各画素における分光データのスペクトルを輝度に関して正規化する処理を行う。領域分割部１２２は、スペクトル正規化部１２１で正規化処理がなされた分光画像データの領域分割処理を行うものであり、誤差量算出部１２２１と、領域判定部１２２２を有して構成されている。誤差量算出部１２２１は、スペクトル正規化部１２１でスペクトルが正規化された分光データであって、分光画像データの各画素のうちの基準画素の分光データと領域判定対象の画素の分光データとの間の誤差量を算出する処理を行う。領域判定部１２２２は、誤差量算出部１２２１で算出された誤差量に基づいて、分光画像データの被写体における領域判定対象の画素の所属領域を判定する処理を行う。
【００１８】
画像・領域メモリ１３０は、領域分割部１２２が出力する各画素の所属領域情報を画像データ（分光画像データ）とともに記憶するメモリである。
【００１９】
光源データＤＢ１４０は、被写体の撮影の際の照明光源に係る光源データ（例えば、分光放射輝度データ）を記憶する光源データ記憶手段を構成する。領域統合部１５０は、光源データＤＢ１４０に記憶されている光源データを用いて、領域判定部１２２２で判定された各所属領域を統合する処理を行う。
【００２０】
図２は、本発明の実施形態に係る画像処理装置を含む画像処理システムの一例を示す模式図である。
図２に示す画像処理システムは、図１に示す画像処理装置１００と、画像処理装置１００と通信可能に接続されたマルチバンドカメラ２００を有して構成されている。具体的に、図２には、マルチバンドカメラ２００の内部構成の一例が示されており、このマルチバンドカメラ２００は、図２に示す画像処理システムにおいて、分光画像データの取得を行う装置の一例として構成されている。
【００２１】
図２に示すように、マルチバンドカメラ２００は、撮像部２１０と、カラーフィルタ設定部２２０と、マルチバンド画像データ記憶部２３０と、分光画像変換部２４０を有して構成されている。
【００２２】
撮像部２１０は、マルチバンドカラーフィルタ２１１、レンズ２１２及び撮像素子２１３を有して構成され、カラーフィルタ設定部２２０で設定されたマルチバンドカラーフィルタ２１１を用いて被写体の撮影（撮像）を行う。この際、カラーフィルタ数によって決まるバンド数は、本実施形態では６バンドを用いている。
【００２３】
マルチバンドカラーフィルタ２１１は、回転あるいは移動が自在な６つの異なる分光透過特性を持つカラーフィルタを有して構成され、被写体からマルチバンドカメラ２００に入射する光を任意のカラーフィルタで透過させる。レンズ２１２は、マルチバンドカラーフィルタ２１１を介して入射した入射光を撮像素子２１３に結像させるものである。撮像素子２１３は、被写体からの光を電気信号（画像信号）に変換するものであり、ＣＣＤあるいはＣＭＯＳからなるものである。
【００２４】
なお、撮像部２１０は、６バンドのカラーフィルタを単板の撮像素子２１３上に形成してワンショットで画像を形成したり、３バンドのカラーフィルタを２板の撮像素子２１３上に形成して画像を形成したりする形態であっても良い。これらの場合は、静止画のみならず動画を撮影することも可能である。
【００２５】
カラーフィルタ設定部２２０は、マルチバンドカラーフィルタ２１１を制御して、当該マルチバンドカラーフィルタ２１１に入射する光を透過させるカラーフィルタを設定する。
【００２６】
マルチバンド画像データ記憶部２３０は、撮像素子２１３によって撮影されたマルチバンド画像データを読み込んで記憶する。
【００２７】
分光画像変換部２４０は、マルチバンド画像データ記憶部２３０に記憶されているマルチバンド画像データを分光画像データに変換するものである。この分光画像変換部２４０は、分光推定部２４１、推定行列記憶部２４２、及び、分光画像データ記憶部２４３を有して構成されている。
【００２８】
分光推定部２４１は、マルチバンド画像データ記憶部２３０に記憶されているマルチバンド画像データから分光反射率に係る分光データを推定する分光推定を行い、推定した分光データに基づいて分光画像データを生成する。推定行列記憶部２４２は、分光推定部２４１で分光推定を行う際に必要となる推定行列を記憶している。分光画像データ記憶部２４３は、分光推定部２４１で生成された分光画像データを記憶する。
【００２９】
分光推定部２４１で行う分光推定には、既知の推定、例えばＷｉｅｎｎｅｒ推定を用いることができる。このとき、推定行列は、カラーフィルタのバンド数である６次元から分光データの次元数、例えば３８０ｎｍから７３０ｎｍまでのスペクトル情報を１０ｎｍごとに記録する３６次元に変換する。このようにして取得された分光画像データに基づいて、本発明の実施形態に係る画像処理装置１００は、画像内の領域分割を行う。
【００３０】
図３は、図１に示すスペクトル正規化部１２１の動作を説明するための模式図である。
図３において、縦軸は相対的な分光輝度を示し、横軸は波長（ｎｍ）を示している。各グラフ３０１〜３０３は、スペクトル強度を表すことになる。また、図３において、グラフ３０１及び３０２は、分光画像データに係る同じ被写体上の画素の分光データを示す。これらは、分光反射率は等しいが、被写体の形状や照明条件により、グラフ３０１は強く照明の当たった領域、グラフ３０２はグラフ３０１に比較して弱い照明が当たった領域である。これらの領域は、分光データに基づいて分光画像データの領域分割を行う際、同一領域と判定されるべきものであるが、このように照明の強弱により、異なる特性形状を示す。グラフ３０３は、スペクトル正規化部１２１において、グラフ３０１及び３０２を正規化した分光データである。図３に示すグラフ３０３では、スペクトル強度のピーク値が１となるように正規化をしているが、正規化方法そのものは他の方法も適用可能である。このように、正規化を経ない場合は等しい分光データを示さないグラフ３０１及び３０２は、スペクトルの正規化により等しい分光データのグラフ３０３を示すことになる。
【００３１】
次に、図１に示す領域分割部１２２において行われる動作について説明する。
図４は、図１に示す領域分割部１２２において行われる動作の一例を示すフローチャートである。
【００３２】
まず、ステップＳ１０１において、領域分割部１２２は、その分光データを用いて領域判定を行う画素を示すピクセル番号ｉを１に設定し（即ち、最初の画素に設定し）、領域分割処理を開始する。
【００３３】
続いて、ステップＳ１０２において、領域分割部１２２は、分光画像データの基準画素を示す基準ピクセル番号ｐを１に設定し（即ち、最初の画素に設定し）、分割領域を示す領域番号ｎを１に設定する。
【００３４】
なお、以下に示す処理において、分光画像データの最初の画素では、領域判定の画素と基準画素が同じものとなって自己同士の比較となるので、後述するステップＳ１０３の算出において誤差は生じない。そして、後述するステップＳ１０５及びＳ１０７において、当該最初の画素は第１の領域（ｎ＝１）と判定されて、その後、領域判定対象の全画素の判定処理が終了していないのでステップＳ１０８からステップＳ１０９に進む。そして、ステップＳ１０９において、領域判定対象の画素が第２の画素（即ち、ピクセル番号ｉが２）に設定される。
【００３５】
続いて、ステップＳ１０３において、領域分割部１２２（誤差量算出部１２２１）は、領域判定対象の画素（ピクセル番号ｉの画素）の分光データと、処理済の画素（基準ピクセル番号ｐの基準画素）の分光データとの間の誤差量である誤差面積を算出する。この際、誤差面積は、例えば、以下の（１）式に示すＲＭＳを用いて算出することができる。
【００３６】
【数１】
2010055546.tif 000003
【００３７】
ＲＭＳは、処理済の画素（基準ピクセル番号ｐの基準画素）における分光データをＲref（λ）とし、領域判定対象の画素（ピクセル番号ｉの画素）における分光データをＲSam（λ）とすると、（１）式のように表される。ここで、（１）式のＮはサンプリング数であり、可視光領域３８０ｎｍから７３０ｎｍを１０ｎｍごとにサンプリングしたとすると、Ｎ＝３６となる。このとき、ステップＳ１０３において、同時に、領域分割部１２２（誤差量算出部１２２１）は、（１）式の差分の符号、即ち、基準ピクセル番号ｐの基準画素の分光データと領域判定対象のピクセル番号ｉの画素の分光データとの差分の符号の判定も行う。
【００３８】
ＲＭＳによる誤差量（誤差面積）の大小は、分光データの特性形状の一致度を示す。したがって、誤差量が十分に小さい場合には、比較した画素同士は同じ領域に属すると判定することができる。また、等しい誤差量の場合は、差分の符号が一定である方が分光データの特性形状は良く一致すると判断できるため、この符号も領域の判定に用いることができる。
【００３９】
図５は、図４のステップＳ１０３における誤差面積の算出処理を説明するための模式図である。ここで、図５（ａ）は、（１）式で示す分光データのＲＭＳによる誤差面積が大きい場合を示し、図５（ｂ）は、（１）式で示す分光データのＲＭＳによる誤差面積が小さい場合を示している。図５（ａ）及び図５（ｂ）の縦軸は分光輝度を示し、横軸は波長（ｎｍ）を示している。
【００４０】
図５において、「判定対象分光データ」は、領域判定対象の画素（ピクセル番号ｉの画素）における分光データ（即ち、（１）式のＲSam（λ））を示している。また、「基準分光データ」は、処理済の画素（基準ピクセル番号ｐの基準画素）における分光データ（（１）式のＲref（λ））を示している。また、図５において、「誤差面積」として示す部分は、（１）式で示されるＲＭＳに相当する。
【００４１】
ここで、再び、図４の説明に戻る。
ステップＳ１０３の処理が終了すると、続いて、ステップＳ１０４において、領域分割部１２２（例えば領域判定部１２２２）は、ステップＳ１０３で判定された誤差（差分）の符号が異符号となったか否かを判断する。
【００４２】
ステップＳ１０４の判断の結果、ステップＳ１０３で判定された誤差の符号が異符号でない場合には（Ｓ１０４／ＮＯ）、ステップＳ１０５に進む。
【００４３】
ステップＳ１０５に進むと、領域分割部１２２（例えば領域判定部１２２２）は、ステップＳ１０３で算出した誤差面積と予め設定されている第１の閾値Ｔｈ１とを比較して、誤差面積が第１の閾値Ｔｈ１よりも小さい（未満）か否かを判断する。
【００４４】
ステップＳ１０５の判断の結果、誤差面積が第１の閾値Ｔｈ１よりも小さい場合には（Ｓ１０５／ＹＥＳ）、ステップＳ１０７に進む。一方、ステップＳ１０５の判断の結果、誤差面積が第１の閾値Ｔｈ１よりも小さくない（即ち、誤差面積が第１の閾値Ｔｈ１以上である）場合には（Ｓ１０５／ＮＯ）、ステップＳ１１０に進む。
【００４５】
また、ステップＳ１０４の判断の結果、ステップＳ１０３で判定された誤差の符号が異符号である場合には（Ｓ１０４／ＹＥＳ）、ステップＳ１０６に進む。
【００４６】
ステップＳ１０６に進むと、領域分割部１２２（例えば領域判定部１２２２）は、ステップＳ１０３で算出した誤差面積と予め設定されている第２の閾値Ｔｈ２とを比較して、誤差面積が第２の閾値Ｔｈ２よりも小さい（未満）か否かを判断する。
【００４７】
ここで、ステップＳ１０５及びステップＳ１０６は、ステップＳ１０３で算出した誤差面積を、それぞれ、第１の閾値Ｔｈ１及び第２の閾値Ｔｈ２と比較して、領域判定対象の画素が基準画素に対して同領域か否かを判定するものである。この際、誤差符号の反転がない場合のステップＳ１０５における第１の閾値Ｔｈ１は、誤差符号の反転がある場合のステップＳ１０６における第２の閾値Ｔｈ２よりも大きく設定することが可能である。
【００４８】
ステップＳ１０６の判断の結果、誤差面積が第２の閾値Ｔｈ２よりも小さい場合には（Ｓ１０６／ＹＥＳ）、ステップＳ１０７に進む。一方、ステップＳ１０６の判断の結果、誤差面積が第２の閾値Ｔｈ２よりも小さくない（即ち、誤差面積が第２の閾値Ｔｈ２以上である）場合には（Ｓ１０６／ＮＯ）、ステップＳ１１０に進む。
【００４９】
ステップＳ１０７に進むと、領域分割部１２２（領域判定部１２２２）は、領域判定対象のピクセル番号ｉの画素における所属領域が、基準ピクセル番号ｐの基準画素における所属領域と同一領域であると判定する。そして、領域分割部１２２（領域判定部１２２２）は、領域判定対象のピクセル番号ｉの画素に対して、所属領域情報として領域番号ｎを付与する。
【００５０】
続いて、ステップＳ１０８において、領域分割部１２２は、分光画像データの領域判定対象の全画素（ｉ）における処理が終了したか否かを判断する。
【００５１】
ステップＳ１０８の判断の結果、領域判定対象の全画素（ｉ）については処理が終了していない場合には（Ｓ１０８／ＮＯ）、ステップＳ１０９に進む。
【００５２】
ステップＳ１０９に進むと、領域分割部１２２は、領域判定対象の画素を示すピクセル番号ｉに１を加えて、領域判定対象の画素を次の画素に変更する。その後、変更後の領域判定対象の画素をピクセル番号ｉとして、ステップＳ１０２以降の処理を再度行う。
【００５３】
一方、ステップＳ１０８の判断の結果、領域判定対象の全画素（ｉ）における処理が終了した場合には（Ｓ１０８／ＹＥＳ）、図４に示すフローチャートにおける処理を終了する。
【００５４】
また、ステップＳ１０５又はＳ１０６で誤差面積が所定の閾値よりも小さくないと判断されると、ステップＳ１１０に進む。ステップＳ１１０に進むと、領域分割部１２２（領域判定部１２２２）は、領域判定対象のピクセル番号ｉの画素における所属領域が、基準ピクセル番号ｐの基準画素における所属領域と異なる領域であると判定する。
【００５５】
続いて、ステップＳ１１１において、領域分割部１２２は、領域判定対象のピクセル番号ｉの画素に対する比較処理が全基準画素（ｐ）に対して行われたか否かを判断する。
【００５６】
ステップＳ１１１の判断の結果、領域判定対象のピクセル番号ｉの画素に対する比較処理が全基準画素（ｐ）に対しては行われていない場合には（Ｓ１１１／ＮＯ）、ステップＳ１１２に進む。
【００５７】
ステップＳ１１２に進むと、領域分割部１２２は、基準画素を示す基準ピクセル番号ｐに１を加えて、基準画素を次の基準画素に変更する。その後、変更後の基準画素を基準ピクセル番号ｐとして、ステップＳ１０３以降の処理を再度行う。
【００５８】
一方、ステップＳ１１１の判断の結果、領域判定対象のピクセル番号ｉの画素に対する比較処理が全基準画素（ｐ）に対して行われた場合には（Ｓ１１１／ＹＥＳ）、ステップＳ１１３に進む。
【００５９】
ステップＳ１１３に進むと、領域分割部１２２は、領域判定対象のピクセル番号ｉの画素がこれまでの領域番号（ｎ）の全てに属さないので、当該画素に対して所属領域情報として領域番号ｎ＋１を付与し、当該画素を異種領域に設定する。その後、ｎ＝ｎ＋１として、以降の処理を行う。
【００６０】
続いて、ステップＳ１１４において、領域分割部１２２は、分光画像データの領域判定対象の全画素（ｉ）における処理が終了したか否かを判断する。
【００６１】
ステップＳ１１４の判断の結果、領域判定対象の全画素（ｉ）については処理が終了していない場合には（Ｓ１１４／ＮＯ）、ステップＳ１１５に進む。
【００６２】
ステップＳ１１５に進むと、領域分割部１２２は、領域判定対象の画素を示すピクセル番号ｉに１を加えて、領域判定対象の画素を次の画素に変更する。その後、変更後の領域判定対象の画素をピクセル番号ｉとして、ステップＳ１０２以降の処理を再度行う。
【００６３】
一方、ステップＳ１１４の判断の結果、領域判定対象の全画素（ｉ）における処理が終了した場合には（Ｓ１１４／ＹＥＳ）、図４に示すフローチャートにおける処理を終了する。
【００６４】
その後、画像・領域メモリ１３０には、領域分割部１２２が出力する、分光画像データの各画素の所属領域情報が分光画像データとともに記憶される。
【００６５】
次に、図１に示す領域統合部１５０において行われる動作について説明する。
図６は、図１に示す領域統合部１５０において行われる動作の一例を示すフローチャートである。
【００６６】
この図６に示す処理は、図１の領域分割部１２２によって分割された各領域の分光データを、図１の光源データＤＢ１４０に格納されている照明光源に係る分光データにより正規化した上で比較し、差が少ない領域同士を同じ領域として再統合する処理である。
【００６７】
まず、ステップＳ２０１において、領域統合部１５０は、基準領域を示す基準領域番号ｎを１に設定し、比較領域を示す比較領域番号ｍを２に設定する。更に、ステップＳ２０１において、領域統合部１５０は、基準領域番号ｎの基準領域の正規化を行うための基準光源データを示す基準光源番号ｏを１に設定し、比較領域番号ｍの比較領域の正規化を行うための比較光源データを示す比較光源番号ｑを２に設定する。
【００６８】
続いて、ステップＳ２０２において、領域統合部１５０は、ステップＳ２０１で設定した基準光源番号ｏ及び比較光源番号ｑにおける照明光源の分光データ（光源データ）を、光源データＤＢ１４０から読み出す。
【００６９】
続いて、ステップＳ２０３において、領域統合部１５０は、ステップＳ２０１で設定した基準領域番号ｎ及び比較領域番号ｍにおける各領域の画素の分光データを、画像・領域メモリ１３０から読み出す。
【００７０】
続いて、ステップＳ２０４において、領域統合部１５０は、ステップＳ２０３で読み出した基準領域番号ｎの基準領域の分光データを、ステップＳ２０２で読み出した基準光源番号ｏの照明光源の分光データ（分光データ）で除算して、除算値ｓを算出する。更に、領域統合部１５０は、ステップＳ２０３で読み出した比較領域番号ｍの比較領域の分光データを、ステップＳ２０２で読み出した比較光源番号ｑの照明光源の分光データ（分光データ）で除算して、除算値ｔを算出する。この除算値ｓ及び除算値ｔは、領域分割部１２２によって分割された各領域の分光データを、光源データＤＢ１４０に格納されている照明光源に係る分光データ（分光データ）を用いて正規化ものとなる。
【００７１】
続いて、ステップＳ２０５において、領域統合部１５０は、除算値ｓに係る分光データと、除算値ｓに係る分光データとの間の誤差量である誤差面積を算出する。この誤差面積の算出処理の詳細な処理については、上述した図４のステップＳ１０３における詳細な処理を適用することができる。
【００７２】
続いて、ステップＳ２０６において、領域統合部１５０は、ステップＳ２０５で算出した誤差面積と予め設定されている第３の閾値Ｔｈ３とを比較して、誤差面積が第３の閾値Ｔｈ３よりも小さい（未満）か否かを判断する。
【００７３】
ステップＳ２０６の判断の結果、誤差面積が第３の閾値Ｔｈ３よりも小さい場合には（Ｓ２０６／ＹＥＳ）、ステップＳ２０７に進む。
【００７４】
ステップＳ２０７に進むと、領域統合部１５０は、領域番号ｍの領域と領域番号ｎの領域が同一領域であると判定し、当該領域の統合処理を行う。
【００７５】
一方、ステップＳ２０６の判断の結果、誤差面積が第３の閾値Ｔｈ３よりも小さくない場合には（Ｓ２０６／ＮＯ）、ステップＳ２０８に進む。
【００７６】
ステップＳ２０８に進むと、領域統合部１５０は、領域番号ｍの領域と領域番号ｎの領域とは異なる領域であると判定し、統合処理は行わない。
【００７７】
ステップＳ２０７又はＳ２０８の処理が終了すると、ステップＳ２０９に進む。
ステップＳ２０９に進むと、領域統合部１５０は、全比較領域（ｍ）における処理が終了したか否かを判断する。
【００７８】
ステップＳ２０９の判断の結果、全比較領域（ｍ）については処理が終了していない場合には（Ｓ２０９／ＮＯ）、ステップＳ２１０に進む。
【００７９】
ステップＳ２１０に進むと、領域統合部１５０は、比較領域を示す比較領域番号ｍに１を加えて、比較領域を次の比較領域に変更する。その後、変更後の比較領域を比較領域番号ｍとして、ステップＳ２０３以降の処理を再度行う。
【００８０】
一方、ステップＳ２０９の判断の結果、全比較領域（ｍ）における処理が終了した場合には（Ｓ２０９／ＹＥＳ）、ステップＳ２１１に進む。
【００８１】
ステップＳ２１１に進むと、領域統合部１５０は、全基準領域（ｎ）における処理が終了したか否かを判断する。
【００８２】
ステップＳ２１１の判断の結果、全基準領域（ｎ）については処理が終了していない場合には（Ｓ２１１／ＮＯ）、ステップＳ２１２に進む。
【００８３】
ステップＳ２１２に進むと、領域統合部１５０は、基準領域を示す基準領域番号ｎに１を加えて、基準領域を次の基準領域に変更する。その後、変更後の基準領域を基準領域番号ｎとして、ステップＳ２０３以降の処理を再度行う。
【００８４】
一方、ステップＳ２１１の判断の結果、全基準領域（ｎ）における処理が終了した場合には（Ｓ２１１／ＹＥＳ）、ステップＳ２１３に進む。
【００８５】
ステップＳ２１３に進むと、領域統合部１５０は、全比較光源データ（ｑ）における処理が終了したか否かを判断する。
【００８６】
ステップＳ２１３の判断の結果、全比較光源データ（ｑ）については処理が終了していない場合には（Ｓ２１３／ＮＯ）、ステップＳ２１４に進む。
【００８７】
ステップＳ２１４に進むと、領域統合部１５０は、比較光源データを示す比較光源番号ｑに１を加えて、比較光源データを次の比較光源データに変更する。その後、変更後の比較光源データを比較光源番号ｑとして、ステップＳ２０２以降の処理を再度行う。
【００８８】
一方、ステップＳ２１３の判断の結果、全比較光源データ（ｑ）における処理が終了した場合には（Ｓ２１３／ＹＥＳ）、ステップＳ２１５に進む。
【００８９】
ステップＳ２１５に進むと、領域統合部１５０は、全基準光源データ（ｏ）における処理が終了したか否かを判断する。
【００９０】
ステップＳ２１５の判断の結果、全基準光源データ（ｏ）については処理が終了していない場合には（Ｓ２１５／ＮＯ）、ステップＳ２１６に進む。
【００９１】
ステップＳ２１６に進むと、領域統合部１５０は、基準光源データを示す基準光源番号ｏに１を加えて、基準光源データを次の基準光源データに変更する。その後、変更後の基準光源データを基準光源番号ｏとして、ステップＳ２０２以降の処理を再度行う。
【００９２】
一方、ステップＳ２１５の判断の結果、全基準光源データ（ｏ）における処理が終了した場合には（Ｓ２１５／ＹＥＳ）、図６に示すフローチャートにおける処理を終了する。
【００９３】
なお、上述した画像処理装置１００の各構成部による処理は、静止画及び動画のいずれの分光画像データにおいても適用可能である。
【００９４】
図７は、本発明の実施形態に係る画像処理装置による、画像内の被写体の領域分割結果の一例を示す模式図である。ここで、本実施形態において、被写体とは、人物のみならず、その背景も含み、領域分割部１２２で領域判定の対象となり得るものの総称である。
【００９５】
図７には、日中の海岸に人物７１０が立っているシーンの画像である。晴天下においては、被写体の同一部分、例えば人物７１０の肌７１１のハイライト部分とシャドウ部分や、砂浜の日向７２０と日影７３０の部分は、明暗が大きく異なるばかりでなく、日向部分は太陽光、日影部分は天空光が主要な照明光源となる。したがって、単純な被写体画像の分光データに基づく領域分割の処理では、例えば肌７１１のハイライト部分とシャドウ部分や、砂浜の日向７２０と日影７３０の部分では、同一領域として処理されない。これに対して、本実施形態では、上述したように、被写体の明暗や照明光源に係る分光データの影響を取り除いて領域分割処理を行うので、これらの部分を同一領域として領域分割処理をすることができる。
【００９６】
即ち、本発明によれば、被写体の分光画像データを処理する際に、被写体の状況によらずに一定の分光反射率を持つ領域を精度よく判定することができる。これにより、分光画像データを適切に領域分割処理することが可能となる。
【００９７】
（本発明の他の実施形態）
前述した画像処理装置１００を構成する図１の各構成部（各手段）、並びに、画像処理装置１００による画像処理方法を示す図４及び図６の各ステップは、コンピュータのＣＰＵがＲＡＭやＲＯＭなどに記憶されたプログラムを実行することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００９８】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【００９９】
なお、本発明は、前述した実施形態に係る画像処理装置１００の機能を実現するソフトウェアのプログラム（実施形態では図４及び図６に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給するものを含む。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１００】
したがって、本発明の実施形態に係る画像処理装置１００の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の実施形態に係る画像処理装置１００の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１０２】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１０３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１０４】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の実施形態に係る画像処理装置１００の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０７】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１０８】
なお、前述した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【０１０９】
【図１】本発明の実施形態に係る画像処理装置の内部構成の一例を示す模式図である。
【図２】本発明の実施形態に係る画像処理装置を含む画像処理システムの一例を示す模式図である。
【図３】図１に示すスペクトル正規化部の動作を説明するための模式図である。
【図４】図１に示す領域分割部において行われる動作の一例を示すフローチャートである。
【図５】図４のステップＳ１０３における誤差面積の算出処理を説明するための模式図である。
【図６】図１に示す領域統合部において行われる動作の一例を示すフローチャートである。
【図７】本発明の実施形態に係る画像処理装置による、画像内の被写体の領域分割結果の一例を示す模式図である。
【符号の説明】
【０１１０】
１００  画像処理装置
１１０  画像メモリ
１２０  分光画像データ処理部
１２１  スペクトル正規化部
１２２  領域分割部
１２２１  誤差量算出部
１２２２  領域判定部
１３０  画像・領域メモリ
１４０  光源データＤＢ（光源データ・データベース）
１５０  領域統合部
【図１】
2010055546.tif 000004
【図２】
2010055546.tif 000005
【図３】
2010055546.tif 000006
【図４】
2010055546.tif 000007
【図５】
2010055546.tif 000008
【図６】
2010055546.tif 000009
【図７】
2010055546.tif 000010