(57)【要約】【課題】飽和したバンドが存在する場合であっても良好な分光データを得ることができる画像処理装置及び画像処理方法等を提供する。【解決手段】画像処理装置には、対象画素の画素値が飽和しているか否か判定する飽和判定手段（画素値判定部３）と、対象画素の画素値が飽和している場合に、対象画素から所定の範囲内で飽和していない未飽和画素を探索する探索手段（画素値補正部６）と、未飽和画素の画素値を用いて対象画素の画素値の補正を行う補正手段（画素値補正部６）と、が設けられている。【選択図】図２
2012028911.tif 000002
【特許請求の範囲】
【請求項１】
対象画素の画素値が飽和しているか否か判定する飽和判定手段と、
前記対象画素の画素値が飽和している場合に、前記対象画素から所定の範囲内で飽和していない未飽和画素を探索する探索手段と、
前記未飽和画素の画素値を用いて前記対象画素の画素値の補正を行う補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記探索手段は、前記対象画素の周辺のある領域が未飽和画素で満たされていない場合に、当該領域が前記所定の範囲内にあるか判定する領域判定手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域判定手段は、前記領域内の画素と前記対象画素との間の類似性を判定する類似性判定手段を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記類似性判定手段は、前記領域内の画素と前記対象画素との間の分光データのバンドの類似性を判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
対象画素の画素値が飽和しているか否か判定する飽和判定ステップと、
前記対象画素の画素値が飽和している場合に、前記対象画素から所定の範囲内で飽和していない未飽和画素を探索する探索ステップと、
前記未飽和画素の画素値を用いて前記対象画素の画素値の補正を行う補正ステップと、
を有することを特徴とする画像処理方法。
【請求項６】
コンピュータに、
対象画素の画素値が飽和しているか否か判定する飽和判定ステップと、
前記対象画素の画素値が飽和している場合に、前記対象画素から所定の範囲内で飽和していない未飽和画素を探索する探索ステップと、
前記未飽和画素の画素値を用いて前記対象画素の画素値の補正を行う補正ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ及びデジタルビデオカメラ等における白飛び及び黒潰れの補正に好適な画像処理装置及び画像処理方法等に関する。
【背景技術】
【０００２】
透過波長域の異なる多種類のフィルタを通して撮影するマルチバンドカメラを用いて、被写体を分光分布又は分光反射率の画像として記録することが可能である（例えば、特許文献１参照）。
【０００３】
更に、このようにして得られた被写体の分光分布又は分光反射率データに基いて、被写体例えば人間の肌の領域分割を行う方法も知られている（例えば、特許文献２参照）。ＲＧＢ等の三原色情報に基づいて領域分割を行う場合、同色とみなされ分割が不可能な場合においても、精度よく分割可能となる。
【０００４】
このため、分光データを正しく取得することが重要である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２７８９５０号公報
【特許文献２】特開２００５−３９４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
但し、撮影した分光分布又は分光反射率の画素データにおいて、白飛び（飽和）したバンドが存在している場合、正しい分光データが取得することができない。このため、撮影する際には常に露光を制御し、飽和しないようにすることが重要である。しかしながら、このような制御を行った場合でも、撮影した分光画像に飽和したバンドが存在すると、その画像データは使用できないものとなってしまう。
【０００７】
本発明は、飽和したバンドが存在する場合であっても良好な分光データを得ることができる画像処理装置及び画像処理方法等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、対象画素の画素値が飽和しているか否か判定する飽和判定手段と、前記対象画素の画素値が飽和している場合に、前記対象画素から所定の範囲内で飽和していない未飽和画素を探索する探索手段と、前記未飽和画素の画素値を用いて前記対象画素の画素値の補正を行う補正手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画素値の補正を適切に行うことが可能であるため、良好な分光データを得ることができる。
【図面の簡単な説明】
【００１０】
【図１】マルチバンドカメラの構成を示す図である。
【図２】分光画像補正部の構成を示す図である。
【図３】スペクトル正規化部の動作を示す図である。
【図４】画素値補正部の動作を示すフローチャートである。
【図５】飽和している画素及びその周辺の画素との関係を示す図である。
【図６】飽和した画素値の推定過程を示す図である。
【図７】分光データの波長と分光エネルギとの関係を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。図１は、本発明の実施形態に係るマルチバンドカメラ（画像処理装置）の構成を示す図である。
このマルチバンドカメラ１０１には、撮像部１０２が設けられている。撮像部１０２には、マルチバンドカラーフィルタ１０３、レンズ１０５及び撮像素子１０４が設けられている。マルチバンドカメラ１０１には、更に、カラーフィルタ設定部１０６、マルチバンド画像データ記憶部１０７及び分光画像変換部１０８が設けられている。
【００１２】
マルチバンドカラーフィルタ１０３は、例えば、回転又は移動が可能な６つの異なる分光透過特性をもつカラーフィルタを備え、被写体から撮像素子１０４に入射する光を任意のカラーフィルタで透過させる。従って、本実施形態では、カラーフィルタの数によって決まるバンド数は６バンドである。
レンズ１０５はマルチバンドカラーフィルタ１０３を透過した入射光を撮像素子１０４に結像させる。
撮像素子１０４は、例えばＣＣＤ又はＣＭＯＳからなり、被写体からの入射光を電気信号に変換する。但し、撮像素子デバイスは限定されない。
カラーフィルタ設定部１０６は、マルチバンドカラーフィルタ１０３を制御する。
マルチバンド画像データ記憶部１０７は、撮像素子１０４によって撮影されたマルチバンド画像データを読み込んで記憶する。
【００１３】
分光画像変換部１０８には、分光推定部１０９、推定行列記憶部１１０、分光画像補正部２、及び分光画像データ記憶部１１１が設けられている。
分光推定部１０９は、マルチバンド画像データ記憶部１０７に記憶されているマルチバンド画像データから、推定行列を用いて分光データ（分光反射率）を推定する。つまり、分光推定部１０９は、分光推定を行う。分光推定としては、例えば既知のＷｉｅｎｎｅｒ推定が行われる。このとき、推定行列はカラーフィルタのバンド数である６次元から分光データの次元数、例えば３８０ｎｍから７３０ｎｍのスペクトル情報を１０ｎｍ毎に記録する３６次元に変換する。
推定行列記憶部１１０は、分光推定部１０９が分光推定を行う際に使用する推定行列を記憶している。
分光画像補正部２は、画像内の領域分割を行って分光推定後の分光データ（分光反射率）の補正を行う。分光画像補正部２の詳細については後述する。
分光画像データ記憶部１１１は、分光画像補正部２による補正後の分光データ（分光反射率）を記憶する。
このような分光画像変換部１０８は、マルチバンド画像データ記憶部１０７に記憶されている画像データから各画素の分光反射率を推定し、補正する。
【００１４】
次に、分光画像補正部２の構成について説明する。図２は、分光画像補正部２の構成を示す図である。
分光画像補正部２には、画素値判定部３、周辺情報取得部４、スペクトル正規化部５、画素値補正部６、及び分光データ補正部７が設けられている。
画素値判定部３は、どの画素が飽和しているかを判別する。
周辺情報取得部４は、飽和している各画素の周辺に位置する画素値を周辺情報として取得する。
スペクトル正規化部５は、飽和している各画素の分光画素データ（画素値）をスペクトル正規化してスペクトル正規化データを生成する。
画素値補正部６は、スペクトル正規化部５により生成されたスペクトル正規化データを用いて、飽和した画素の分光画素データ（画素値）を補正する。
分光データ補正部７は、画素値補正部６により補正された画素値を用いて分光データを補正する。
【００１５】
このように構成された分光画像補正部２では、先ず、画素値判定部３が飽和判定手段として、画素（対象画素）が飽和しているか判別し、飽和していなければ、当該画素の分光データをそのまま分光画像データ記憶部１１１に記憶させる。一方、画素が飽和している場合には、周辺情報取得部４が当該画素の周辺情報、例えば対象画素から所定の範囲内にある周辺画素に関する情報を取得する。次いで、スペクトル正規化部５が、当該画素の分光データ、即ち分光画素データ（画素値）のスペクトル正規化を行う。
【００１６】
図３は、スペクトル正規化部５の動作を示す図である。図３の横軸は波長を示し、縦軸は相対的な分光輝度を示している。そして、図３中の各グラフ（グラフＡ、グラフＢ、及びグラフＣ）はスペクトル強度を表している。また、図３中のグラフＡ及びグラフＢは同じ被写体から得られた分光データを示す。従って、これらの分光反射率は互いに等しい。但し、これらの間では照明条件が異なっており、グラフＡは、強く照明の当たった場合の分光データを示し、グラフＢはグラフＡに比較して弱い照明が当たった場合の分光データを示している。グラフＡ及びグラフＢは同じ被写体から得られた分光データを示しているため、分光データに基づく領域分割の際には同一領域と判定されるべきものであるが、グラフＡ及びグラフＢを比較すると分かるように、照明の強弱によってグラフの形状が相違する。
これに対し、本実施形態では、スペクトル正規化部５がスペクトル正規化を行う。即ち、グラフＡが得られた場合にも、グラフＢが得られた場合にもスペクトル正規化を行う。この結果、いずれの場合にもグラフＣが得られる。従って、照明の強弱に拘わらず同一形状のグラフが得られ、同一領域であると認識することが可能となる。
なお、図３に示す例では、スペクトル強度のピーク値が１となるように正規化されているが、正規化の方法は特に限定されない。
【００１７】
スペクトル正規化部５によるスペクトル正規化後には、画素値補正部６が当該画素の分光画素データを補正する。図４は、画素値補正部６の動作を示すフローチャートである。
先ず、ステップＳ１において、画素値補正部６は、飽和している各画素のアドレス情報を取得し、処理を開始する。
次いで、ステップＳ２において、画素値補正部６は、飽和している画素の一つについて、周辺情報取得部４により取得された当該画素の周辺の画素値を用いて、周辺が飽和しているかを判別する。そして、周辺が飽和していればステップＳ３に移行し、飽和していなければステップＳ７に移行する。
ステップＳ３では、画素値補正部６は、予め定められた量だけ探索範囲を広げる。
次いで、ステップＳ４において、画素値補正部６は、広げた後の探索範囲に属する領域内に、飽和している画素があるかを判別する。つまり、画素値補正部６は、この領域が未飽和画素で満たされているかを判別する。そして、飽和している画素が存在していればステップＳ５に移行し、存在しなければステップＳ７に移行する。つまり、画素値補正部６は、探索手段として、飽和している画素から所定の範囲内で飽和していない未飽和画素を探索する。
ステップＳ５では、画素値補正部６は、ステップＳ３で広げた探索範囲の大きさが所定の閾値以上となっているかを判別する。つまり、画素値補正部６は領域判定手段として、ステップＳ３で広げた後の探索範囲に属する領域が未飽和画素で満たされていない場合に、当該領域が所定の範囲内にあるか判定する。この際に、画素値補正部６は類似性判定手段として、飽和している画素と未飽和画素との間の位置に関する類似性の判定を行う。閾値としては、例えば探索範囲を広げる前の最初の画素からの距離を用いる。そして、探索範囲の大きさが閾値以上となっていればステップ６に移行し、閾値未満であればステップＳ３に戻り、再度、探索範囲を広げる。
ステップＳ６では、飽和している画素の画素値の推定に有効な画素が周囲に存在しないと判断し、他の飽和している画素を補正の対象とすると決定する。
本実施例では、類似性判定に画素間の距離を用いているが、周辺画素のテクスチャ情報を用いても良い。空間周波数を用いた類似性判定処理について、説明する。
画像全体を縦横８画素で構成されるブロックに分ける。ブロック毎にＤＣＴ（離散コサイン変換）を用いた空間周波数変換処理を行う。対象画像となる飽和画素を含むブロックと、ある閾値以下の距離にある近傍のブロックとの周波数成分の分布の比較を行う。
横軸に周波数成分、縦軸に度数をとったヒストグラムの差分をとり、差分の値の出現が一様である場合には、類似性が高いと判断し、差分値の出現が特定の周波数成分に現れる場合には、類似性が低いと判断する。
高周波成分が多く出現した場合には、飽和画素の周辺において、領域が分割のエッジ成分が検出されたことになり、領域の類似性が低くなる。
画像ファイルがＪＰＥＧなどの画像圧縮形式である場合には、空間周波数変換処理について新たに変換処理を行わず、予めＤＣＴ変換されているブロックの周波数成分情報を用いても良い。
ブロックサイズに関しても、縦横８画素として説明したが、大きさは限定されるものではない。
また、空間周波数変換については、ＤＣＴを用いて説明したが、ＦＦＴなどのその他の処理を用いても良く、変換手法に限定されるものではない。
【００１８】
ステップＳ７では、画素値補正部６は、スペクトル正規化部５により生成されたスペクトル正規化データを取得する。そして、飽和している画素のスペクトル正規化データ及び飽和していない画素のスペクトル正規化データデータからスペクトル比率を求め、飽和していないバンドから飽和しているバンドの画素値を推定する。
その後、ステップＳ８において、画素値補正部６は、ステップＳ７の推定結果に基づいて画素値を分光画素データに反映する。
【００１９】
ステップＳ８の後、及びステップＳ６の後には、ステップＳ９において、画素値補正部６は、他に飽和している画素が残っているかを判別する。そして、残っていればステップＳ２に戻って飽和している画素の他の一つについての判別を行い、残っていなければステップＳ１０において処理を終了する。
【００２０】
ここで、飽和している画素及びその周辺の画素との関係について説明する。図５は、飽和している画素及びその周辺の画素との関係を示す図である。図５に示すように、飽和している１又は複数の画素からなる飽和領域１１の周囲には、飽和しておらず反射率が飽和領域１１と等しい複数の画素からなる等反射率領域１２が存在することがある。更に、等反射率領域１２の周囲には、飽和しておらず反射率が飽和領域１１とは異なる異反射率領域１３が存在することがある。本実施形態では、ステップＳ２〜Ｓ４の処理において、等反射率領域１２の探索を行っている。また、ステップＳ５の処理においては、探索範囲が異反射率領域１３にまで及んでいるか否かの判別を行っている。なお、ステップＳ５において、周波数分解を行い、周波数成分の値の相似性を求め、高周波数成分が現れた場合は、エッジ成分があって探索範囲が異反射率領域１３にまで及んでいると判別してもよい。また、飽和していないバンドの分光画素データを用いたクラスタリングの結果に応じて、探索範囲が異反射率領域１３にまで及んでいるか判別してもよい。
図６に、飽和した画素値の推定過程を示す。図６（ａ）はある画素の画素値を示している。図６（ｂ）は図６（ａ）の画素の周辺の画素から取得した画素値の分布を示している。図６（ｃ）は補正後の画素値を示している。図６（ａ）に示すように、この画素ではバンド３及びバンド５にて飽和が発生している。このような画素に対し、図６（ｂ）の各バンドの比率を求め、図６（ａ）のバンド３及びバンド５を除く各バンド（バンド１、２、４、及び６）に図６（ｂ）で得られた比率を乗算することで、バンド３及びバンド５の飽和した画素値を推定することができる。この結果、図６（ｃ）に示す補正結果が得られる。バンドの比率の求め方については、飽和バンドを除いた、他の未飽和バンドの値を飽和画素と未飽和画素との差分をとり、各バンドの差分値が一様である場合は、類似性が高く、その差分値を飽和画素に対し、加算する。各バンドの差分値が不均一の場合には、類似性が低いと判断し、差分値が一様になる画素をある閾値以下の距離の近傍の画素を検索する。探索範囲内に差分値が一様にならない場合には、探索を終了し、補間処理を終了する。
【００２１】
分光データ補正部７は、画素値補正部６によるこのような補正の結果に基づいて分光データを補正する。
図７は、分光データの波長と分光エネルギとの関係を示す図である。飽和した画素が存在しない場合、図７（ａ）に示すように、波長と共に分光エネルギが上昇し、分光エネルギが一定となる分光データが得られる。これに対し、飽和した画素が存在する場合には、図７（ｂ）に示すように、分光データは、分光エネルギが一旦低下するようなものとなる。本実施形態によれば、図７（ｂ）に示すような分光データを図７（ａ）に示す分光データに補正することができる。
【００２２】
なお、撮像部１０２は、６バンドのカラーフィルタを単板の撮像素子上に形成し、ワンショットで画像を形成するように構成されていてもよく、３バンドのカラーフィルタが形成された２板の撮像素子の画像を用いるように構成されていてもよい。これらの場合は、動画を撮影することも可能である。
本実施形態は、例えば、デジタルカメラ又はデジタルビデオカメラに組み込むことができる。また、デジタルカメラ又はデジタルビデオカメラから出力された画像データが入力されるコンピュータ内のソフトウェアとして実施することもできる。つまり、本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【符号の説明】
【００２３】
２：分光画像補正部  ３：画素値判定部  ４：周辺情報取得部  ５：スペクトル正規化部  ６：画素値補正部  ７：分光データ補正部  １０９：分光推定部  １１１：分光画像データ記憶部
【図１】
2012028911.tif 000003
【図２】
2012028911.tif 000004
【図３】
2012028911.tif 000005
【図４】
2012028911.tif 000006
【図５】
2012028911.tif 000007
【図６】
2012028911.tif 000008
【図７】
2012028911.tif 000009