(57)【要約】【課題】映像信号に含まれるノイズ、補間処理にともなう偽色、被写体の動きブレなど推定精度に影響を与える要因を局所領域単位に検証し、映像信号を補正することで高精度な分光特性の推定を可能とする撮像システムを提供することである。【解決手段】カラー撮像系からの映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う撮像システムにおいて、上記カラー撮像系における所定の分光特性を時系列的に変化させ複数の撮像を行わせるよう制御する制御手段と、上記複数の映像信号に関する信頼性を検証する検証手段と、上記信頼性に基づき上記複数の映像信号に対して補正処理を行う補正手段と、上記補正処理がなされた複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う推定手段と、を備えたものである。【選択図】図１
2008005246.tif 000002
【特許請求の範囲】
【請求項１】
カラー撮像系からの映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う撮像システムにおいて、
上記カラー撮像系における所定の分光特性を時系列的に変化させ複数の撮像を行わせるよう制御する制御手段と、
上記複数の撮像から得られた複数の映像信号に関する信頼性を検証する検証手段と、
上記信頼性に基づき上記複数の映像信号に対して補正処理を行う補正手段と、
上記補正処理がなされた複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う推定手段と
を備えたことを特徴とする撮像システム。
【請求項２】
分光特性が異なる複数のカラー撮像系からの複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う撮像システムにおいて、
上記複数の映像信号に関する信頼性を検証する検証手段と、
上記信頼性に基づき上記複数の映像信号に対して補正処理を行う補正手段と、
上記補正処理がなされた複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う推定手段と
を備えたことを特徴とする撮像システム。
【請求項３】
上記制御手段は、
分光特性が既知の照明手段と、
上記照明手段の動作を制御する照明制御手段と
を備えたことを特徴とする請求項１に記載の撮像システム。
【請求項４】
上記制御手段は、
分光特性が既知のフィルタ手段と、
上記フィルタ手段を上記カラー撮像系の光路内に組み入れる動作を制御するフィルタ制御手段と
を備えたことを特徴とする請求項１に記載の撮像システム。
【請求項５】
上記検証手段は、
上記複数の映像信号から所定の領域単位でノイズ量を算出するノイズ量算出手段と、
上記複数の映像信号から所定の領域単位でエッジ量を算出するエッジ量算出手段と、
上記複数の映像信号から所定の領域単位で色相に関する情報を算出する色相情報算出手段と、
上記複数の映像信号から所定の領域単位で被写体の動き量を算出する動き量算出手段と
の少なくとも１つ以上を備えたことを特徴とする請求項１又は２に記載の撮像システム。
【請求項６】
上記検証手段は、
上記ノイズ量または上記エッジ量または上記色相に関する情報または上記動き量の少なくとも１つ以上に基づき上記複数の映像信号に関する信頼性を算出する信頼性算出手段  を更に備えたことを特徴とする請求項５に記載の撮像システム。
【請求項７】
上記補正手段は、
周波数特性の異なる複数の平滑化フィルタを記録するフィルタ記録手段と、
上記信頼性に基づき上記平滑化フィルタを選択するフィルタ選択手段と、
上記選択された平滑化フィルタを用いて上記複数の映像信号に対して平滑化処理を行う平滑化処理手段と
備えたことを特徴とする請求項１又は２に記載の撮像システム。
【請求項８】
上記補正手段は、
上記複数の映像信号から注目領域を包含する所定サイズの局所領域を抽出する抽出手段と、
上記信頼性に基づき上記局所領域から上記注目領域に類似する領域を選択する領域選択手段と、
上記選択された領域に対して所定の平滑化処理を行う平滑化処理手段と
を備えたことを特徴とする請求項１又は２に記載の撮像システム。
【請求項９】
上記補正手段は、
上記信頼性に基づき縮小率を選択する縮小率選択手段と、
上記縮小率を用いて上記複数の映像信号に対して縮小処理を行う縮小処理手段と
を備えたことを特徴とする請求項１又は２に記載の撮像システム。
【請求項１０】
上記推定手段は、
上記カラー撮像系に関する分光特性を記録する分光特性記録手段と、
上記複数の映像信号間の差分処理を行う差分処理手段と、
上記差分処理された映像信号および上記カラー撮像系に関する分光特性に基づき被写体の分光特性に関する重み係数を算出する被写体重み係数算出手段と
を備えたことを特徴とする請求項１又は２に記載の撮像システム。
【請求項１１】
上記推定手段は、
被写体の分光特性の推定に用いる所定数の基底ベクトルを記録する被写体基底ベクトル記録手段と、
上記被写体の基底ベクトルおよび上記被写体の分光特性に関する重み係数に基づき被写体の分光特性を算出する被写体分光特性算出手段と
を更に備えたことを特徴とする請求項１０に記載の撮像システム。
【請求項１２】
上記推定手段は、
上記映像信号および上記被写体の分光特性に関する重み係数および上記カラー撮像系に関する分光特性に基づき照明光の分光特性に関する重み係数を算出する照明光重み係数算出手段
を更に備えたことを特徴とする請求項１０に記載の撮像システム。
【請求項１３】
上記推定手段は、
照明光の分光特性の推定に用いる所定数の基底ベクトルを記録する照明光基底ベクトル記録手段と、
上記照明光の基底ベクトルおよび上記照明光の分光特性に関する重み係数に基づき照明光の分光特性を算出する照明光分光特性算出手段と
を更に備えたことを特徴とする請求項１２に記載の撮像システム。
【請求項１４】
上記推定手段は、
上記縮小処理された映像信号に基づき被写体または照明光に関する分光特性を推定した後に推定された分光特性を上記カラー撮像系からの映像信号と同一サイズになるよう拡大処理を行う拡大処理手段
を備えたことを特徴とする請求項９に記載の撮像システム。
【請求項１５】
上記推定された被写体または照明光に関する分光特性に基づき上記複数の映像信号の少なくとも１つに関して色処理を行う色処理手段
を更に備えたことを特徴とする請求項１又は２に記載の撮像システム。
【請求項１６】
上記色処理手段は、
上記カラー撮像系に関する分光特性を記録する分光特性記録手段と、
所定の照明光の分光特性を記録する照明光記録手段と、
上記カラー撮像系に関する分光特性および上記照明光の分光特性および上記推定された被写体に関する分光特性に基づき上記照明光における上記映像信号の再現色を算出する再現色算出手段と
を備えたことを特徴とする請求項１５に記載の撮像システム。
【請求項１７】
上記色処理手段は、
上記再現色算出手段で算出された映像信号と上記カラー撮像系からの映像信号を所定の割合で混合する混合手段
を更に備えたことを特徴とする請求項１６に記載の撮像システム。
【請求項１８】
上記色処理手段は、
上記推定された被写体に関する分光特性に対して所定の係数を乗算する輝度調整手段と、
上記推定された被写体に関する分光特性に対して所定の波長範囲内を波長方向に平行移動させる色相調整手段と、
上記推定された被写体に関する分光特性に対して曲率を変化させる彩度調整手段と
の少なくとも１つ以上を有することを特徴とする請求項１５に記載の撮像システム。
【請求項１９】
上記カラー撮像系としてＲ(赤)，Ｇ(緑)，Ｂ(青)Bayer型原色フィルタを前面に配置した単板撮像素子、またはCy(シアン)，Mg(マゼンタ)，Ye(イエロー)，Ｇ(緑)色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる
ことを特徴とする請求項１又は２に記載の撮像システム。
【請求項２０】
カラー撮像系からの映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う撮像のためのプログラムであって、
上記カラー撮像系における所定の分光特性を時系列的に変化させ複数の撮像を行わせるよう制御する機能と、
上記複数の撮像から得られた複数の映像信号に関する信頼性を検証する機能と、
上記信頼性に基づき上記複数の映像信号に対して補正処理を行う機能と、
上記補正処理がなされた複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う機能と
をコンピュータに実行させることを特徴とする撮像プログラム。
【請求項２１】
分光特性が異なる複数のカラー撮像系からの複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う撮像のためのプログラムであって、
上記複数の撮像から得られた複数の映像信号に関する信頼性を検証する機能と、
上記信頼性に基づき上記複数の映像信号に対して補正処理を行う機能と、
上記補正処理がなされた複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う機能と
をコンピュータに実行させることを特徴とする撮像プログラム。
【請求項２２】
上記検証する機能は、
上記複数の映像信号から所定の領域単位でノイズ量を算出する機能と、
上記複数の映像信号から所定の領域単位でエッジ量を算出する機能と、
上記複数の映像信号から所定の領域単位で色相に関する情報を算出する機能と、
上記複数の映像信号から所定の領域単位で動き量を算出する機能と
の少なくとも１つ以上を備えたことを特徴とする請求項２０又は２１に記載の撮像プログラム。
【請求項２３】
上記検証する機能は、
上記ノイズ量または上記エッジ量または上記色相に関する情報または上記動き量の少なくとも１つ以上に基づき上記複数の映像信号に関する信頼性を算出する機能
を更に備えたことを特徴とする請求項２２に記載の撮像プログラム。
【請求項２４】
上記補正処理を行う機能は、
周波数特性の異なる複数の平滑化フィルタを記録する機能と、
上記信頼性に基づき上記平滑化フィルタを選択する機能と、
上記選択された平滑化フィルタを用いて上記複数の映像信号に対して平滑化処理を行う機能と
を備えたことを特徴とする請求項２０又は２１に記載の撮像プログラム。
【請求項２５】
上記補正処理を行う機能は、
上記複数の映像信号から注目領域を包含する所定サイズの局所領域を抽出する機能と、
上記信頼性に基づき上記局所領域から上記注目領域に類似する領域を選択する機能と、
上記選択された領域に対して所定の平滑化処理を行う機能と
を備えたことを特徴とする請求項２０又は２１に記載の撮像プログラム。
【請求項２６】
上記補正処理を行う機能は、
上記信頼性に基づき縮小率を選択する機能と、
上記縮小率を用いて上記複数の映像信号に対して縮小処理を行う機能と
を備えたことを特徴とする請求項２０又は２１に記載の撮像プログラム。
【請求項２７】
上記推定された被写体または照明光に関する未知の分光特性に基づき上記複数の映像信号の少なくとも１つに関して色処理を行う機能
を更に備えたことを特徴とする請求項２０又は２１に記載の撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体または照明光に関する分光特性の推定を行う撮像システムに係わり、特に映像信号に含まれるノイズ、補間処理にともなう偽色、被写体の動きブレなどの発生に起因する推定誤差の発生を防止し、高精度な分光特性の推定を可能とする撮像システムに関する。
【背景技術】
【０００２】
被写体または照明光に関する未知の分光特性の推定を行う従来技術としては、外部照明の有無，光路中へのフィルタの挿入，分光特性の異なる撮像素子などを利用して撮影時の分光特性が異なる複数の映像信号を取得し、これらの映像信号から分光特性を近似的に算出する手法がある。例えば、特開2001-78202号公報ではストロボ発光の有無や光路中へのフィルタの挿入により撮影時の分光特性が異なる２種類の映像信号を取得し、推定すべき分光特性を少数の基底関数の線形結合でモデル化し、上記２種類の映像信号から上記基底関数に対する重み係数を算出することで推定する例が開示されている。これにより、撮影時の照明光に依存せずに被写体の反射光の分光特性（以下単に被写体の分光特性という）を得ることができ、任意の照明条件下での映像信号を生成することができる。また、特開2004-186879号公報では分光特性が異なる２種類の画素を用いて撮影時の分光特性が異なる2種類の映像信号を取得し、撮影時の照明光の光源の種類を推定する例が開示されている。これにより、複数光源下の撮影においても良好なホワイトバランス処理が可能となる。さらに、特開2005-311581号公報では分光特性が既知の色票などを事前に撮影することで任意の照明条件下での被写体の分光特性を推定する例が開示されている。これにより、多様な色処理が可能となる。
【特許文献１】特開２００１−７８２０２号公報
【特許文献２】特開２００４−１８６８７９号公報
【特許文献３】特開２００５−３１１５８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記撮影時の分光特性が異なる複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う方法は、撮像系に関するシステムマトリックスの逆行列や特異値分解による疑似逆行列を利用している。逆行列や疑似逆行列を利用する方法は、映像信号に含まれるノイズに影響されやすく、推定される分光特性の精度が不安定になる課題がある。  
また、現在の撮像系において主流となっている単板撮像系においてはフルカラー化するのに補間処理が必要となるが、補間処理においてはエッジ部などの高周波領域に偽色と呼ばれるアーティファクトが発生する。このような偽色に基づき分光特性の推定を行った場合は、本来の分光特性とはかけ離れた推定が行われるという課題がある。
【０００４】
また、外部照明やフィルタを用いて時系列的に分光特性が異なる複数の映像信号を取得する方法においては、人間などの主要被写体に動きブレが発生する。このような動きブレが発生した領域では、分光特性の推定精度が大幅に低下するという課題がある。  
しかしながら、上記特開2001-78202号公報，特開2004-186879号公報，特開2005-311581号公報などの従来の手法においては、分光特性の推定に影響を及ぼす要因を除去し、安定的かつ適切な精度で分光特性を推定するという課題に対応することができない。
【０００５】
本発明は上記問題点に着目し、映像信号に含まれるノイズ、補間処理にともなう偽色、被写体の動きブレなど推定精度に影響を与える要因を局所領域単位に検証し、映像信号を補正することで高精度な分光特性の推定を可能とする撮像システムを提供することを目的とする。また、推定された分光特性に基づき多様な色処理を可能とする撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、カラー撮像系からの映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う撮像システムにおいて、上記カラー撮像系における所定の分光特性を時系列的に変化させ複数の撮像を行わせるよう制御する制御手段と、上記複数の撮像から得られた複数の映像信号に関する信頼性を検証する検証手段と、上記信頼性に基づき上記複数の映像信号に対して補正処理を行う補正手段と、上記補正処理がなされた複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う推定手段と、を備えたことを特徴とする。
【０００７】
本発明の第１の態様によれば、映像信号の信頼性に基づいて映像信号を補正したうえで、被写体または照明光に関する未知の分光特性の推定を行うので、高精度な分光特性の推定を可能とする撮像システムを提供することができる。また、時系列的に分光特性が異なる複数の映像信号を取得するため、従来の撮像システムとの親和性、互換性が高く、低コスト化が可能となる。
【０００８】
本発明の第２の態様は、分光特性が異なる複数のカラー撮像系からの複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う撮像システムにおいて、上記複数の映像信号に関する信頼性を検証する検証手段と、上記信頼性に基づき上記複数の映像信号に対して補正処理を行う補正手段と、上記補正処理がなされた複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う推定手段と、を備えたことを特徴とする。
【０００９】
本発明の第２の態様によれば、一回の撮影で分光特性が異なる複数のカラー撮像系からの複数の映像信号を取得し、映像信号の信頼性に基づいて映像信号を補正したうえで、被写体または照明光に関する未知の分光特性の推定を行うので、高精度な分光特性の推定を可能とする撮像システムを提供することができる。また、分光特性が異なる複数のカラー撮像系から一回の撮影で分光特性が異なる複数の映像信号を取得するため、動体に関しても高精度な分光特性の推定が可能となる。
【００１０】
本発明の第３の態様は、本発明の第１の態様において、上記制御手段は、分光特性が既知の照明手段と、上記照明手段の動作を制御する照明制御手段と、を備えたことを特徴とする。
【００１１】
この発明の態様によれば、分光特性が既知の照明手段（例えばストロボ）による発光の有無により分光特性が異なる複数の映像信号を取得することが可能となるので、その発光制御は、信頼性が高く、従来の撮像システムとの親和性、互換性が高く、低コストで容易に実現できる利点がある。
【００１２】
本発明の第４の態様は、本発明の第１の態様において、上記制御手段は、分光特性が既知のフィルタ手段と、上記フィルタ手段を上記カラー撮像系の光路内に組み入れる動作を制御するフィルタ制御手段と、を備えたことを特徴とする。
【００１３】
この発明の態様によれば、分光特性が既知のフィルタ手段（例えば液晶フィルタ）の制御により、分光特性が異なる複数の映像信号を取得するので、信頼性が高く、安定的に分光特性が異なる複数の映像信号を取得でき、高速に、動きブレの少ない映像信号を取得することができる。
【００１４】
本発明の第５の態様は、本発明の第１又は第２の態様において、上記検証手段は、上記複数の映像信号から所定の領域単位でノイズ量を算出するノイズ量算出手段と、上記複数の映像信号から所定の領域単位でエッジ量を算出するエッジ量算出手段と、上記複数の映像信号から所定の領域単位で色相に関する情報を算出する色相情報算出手段と、上記複数の映像信号から所定の領域単位で被写体の動き量を算出する動き量算出手段との少なくとも１つ以上を備えたことを特徴とする。
【００１５】
この発明の態様によれば、映像信号に含まれるノイズ、補間処理にともなう偽色、被写体の動きブレなど分光特性の推定精度に影響を与える要因を所定の領域単位で検証することができ、適切な精度保証が可能となる。
【００１６】
本発明の第６の態様は、本発明の第５の態様において、上記検証手段は、上記ノイズ量または上記エッジ量または上記色相に関する情報または上記動き量の少なくとも１つ以上に基づき上記複数の映像信号に関する信頼性を算出する信頼性算出手段と、を更に備えたことを特徴とする。
【００１７】
この発明の態様によれば、映像信号に含まれるノイズ、補間処理にともなう偽色、被写体の動きブレなど分光特性の推定精度に影響を与える要因の少なくとも1つ以上に基づき信頼性を算出するため、精度検証を適切に行うことができ、分光特性推定の精度を適切な範囲内とすることが保証可能となり、信頼性の高いシステムを実現できる。
【００１８】
本発明の第７の態様は、本発明の第１又は第２の態様において、上記補正手段は、周波数特性の異なる複数の平滑化フィルタを記録するフィルタ記録手段と、上記信頼性に基づき上記平滑化フィルタを選択するフィルタ選択手段と、上記選択された平滑化フィルタを用いて上記複数の映像信号に対して平滑化処理を行う平滑化処理手段と、備えたことを特徴とする。
【００１９】
この発明の態様によれば、信頼性に基づき平滑化フィルタを選択して平滑化処理を行うため、分光特性の推定精度に影響を及ぼす要因のみを排除することができ、適切な精度での分光特性推定が可能となり、信頼性の高いシステムを実現できる。
【００２０】
本発明の第８の態様は、本発明の第１又は第２の態様において、上記補正手段は、上記複数の映像信号から注目領域を包含する所定サイズの局所領域を抽出する抽出手段と、上記信頼性に基づき上記局所領域から上記注目領域に類似する領域を選択する領域選択手段と、上記選択された領域に対して所定の平滑化処理を行う平滑化処理手段と、を備えたことを特徴とする。
【００２１】
この発明の態様によれば、局所領域単位で信頼性に基づき類似する領域を選択し、選択された領域内で平滑化処理を行うため、分光特性の推定精度に影響を及ぼす要因のみを排除することができ、適切な精度での分光特性推定が可能となり、信頼性の高いシステムを実現できる。
【００２２】
本発明の第９の態様は、本発明の第１又は第２の態様において、上記補正手段は、上記信頼性に基づき縮小率を選択する縮小率選択手段と、上記縮小率を用いて上記複数の映像信号に対して縮小処理を行う縮小処理手段と、を備えたことを特徴とする。
【００２３】
この発明の態様によれば、信頼性に基づき縮小率を選択し、選択された縮小率を用いて複数の映像信号に対して縮小率処理を行うため、分光特性の推定精度に影響を及ぼす要因のみを排除することができ、適切な精度での分光特性推定が可能となり、信頼性の高いシステムを実現できる。また、以後の処理を高速に実行することが可能となる。
【００２４】
本発明の第１０の態様は、本発明の第１又は第２の態様において、上記推定手段は、上記カラー撮像系に関する分光特性を記録する分光特性記録手段と、上記複数の映像信号間の差分処理を行う差分処理手段と、上記差分処理された映像信号および上記カラー撮像系に関する分光特性に基づき被写体の分光特性に関する重み係数を算出する被写体重み係数算出手段と、を備えたことを特徴とする。
【００２５】
この発明の態様によれば、差分処理された映像信号およびカラー撮像系に関する分光特性に基づき被写体の分光特性に関する重み係数を算出するため、従来のカラー撮像系を用いて被写体の分光特性の推定が可能となる。また、重み係数は容量が少ないため、保存や転送時に有利である。
【００２６】
本発明の第１１の態様は、本発明の第１０の態様において、上記推定手段は、被写体の分光特性の推定に用いる所定数の基底ベクトルを記録する被写体基底ベクトル記録手段と、上記被写体の基底ベクトルおよび上記被写体の分光特性に関する重み係数に基づき被写体の分光特性を算出する被写体分光特性算出手段と、を更に備えたことを特徴とする。
【００２７】
この発明の態様によれば、基底ベクトルおよび重み係数に基づき被写体の分光特性を算出するため、従来のカラー撮像系を用いて被写体の分光特性の推定が可能となる。また、被写体の分光特性を求めるため、後段の色処理や他の用途への利用が容易となる。
【００２８】
本発明の第１２の態様は、本発明の第１０の態様において、上記推定手段は、上記映像信号および上記被写体の分光特性に関する重み係数および上記カラー撮像系に関する分光特性に基づき照明光の分光特性に関する重み係数を算出する照明光重み係数算出手段を更に備えたことを特徴とする。
【００２９】
この発明の態様によれば、映像信号および被写体の分光特性に関する重み係数およびカラー撮像系に関する分光特性に基づき照明光の未知の分光特性に関する重み係数を算出するため、従来のカラー撮像系を用いて照明光の分光特性の推定が可能となる。また、重み係数は容量が少ないため、保存や転送時に有利である。
【００３０】
本発明の第１３の態様は、本発明の第１２の態様において、上記推定手段は、照明光の分光特性の推定に用いる所定数の基底ベクトルを記録する照明光基底ベクトル記録手段と、上記照明光の基底ベクトルおよび上記照明光の分光特性に関する重み係数に基づき照明光の分光特性を算出する照明光分光特性算出手段と、を更に備えたことを特徴とする。
【００３１】
この発明の態様によれば、基底ベクトルおよび重み係数に基づき照明光の分光特性を算出するため、従来のカラー撮像系を用いて照明光の分光特性の推定が可能となる。また、照明光の分光特性を求めるため、後段の色処理や他の用途への利用が容易となる。
【００３２】
本発明の第１４の態様は、本発明の第９の態様において、上記推定手段は、上記縮小処理された映像信号に基づき被写体または照明光に関する分光特性を推定した後に推定された分光特性を上記カラー撮像系からの映像信号と同一サイズになるよう拡大処理を行う拡大処理手段を備えたことを特徴とする。
【００３３】
この発明の態様によれば、縮小処理された映像信号に基づき推定された被写体または照明光に関する分光特性を本来の映像信号と同一サイズになるよう拡大処理を行うため、後段の処理に関して従来の撮像システムとの親和性、互換性が高い撮像システムを提供できる。
【００３４】
本発明の第１５の態様は、本発明の第１又は第２の態様において、上記推定された被写体または照明光に関する分光特性に基づき上記複数の映像信号の少なくとも１つに関して色処理を行う色処理手段を更に備えたことを特徴とする。
【００３５】
この発明の態様によれば、推定された被写体または照明光に関する分光特性に基づき映像信号の色処理を行うため、処理の自由度が向上し、多様な色処理が可能となる。
【００３６】
本発明の第１６の態様は、本発明の第１５の態様において、上記色処理手段は、上記カラー撮像系に関する分光特性を記録する分光特性記録手段と、所定の照明光の分光特性を記録する照明光記録手段と、上記カラー撮像系に関する分光特性および上記照明光の分光特性および上記推定された被写体に関する分光特性に基づき上記照明光における上記映像信号の再現色を算出する再現色算出手段と、を備えたことを特徴とする。
【００３７】
この発明の態様によれば、カラー撮像系に関する分光特性および照明光の分光特性および推定された被写体に関する分光特性に基づき、所定の照明光における映像信号の再現色を算出するため、撮影時の照明光に影響されずに任意の照明光下での再現色を算出でき、高精度なホワイトバランス処理が実現できる。また、自由な絵作り処理への利用も可能となる。
【００３８】
本発明の第１７の態様は、本発明の第１６の態様において、上記色処理手段は、上記再現色算出手段で算出された映像信号と上記カラー撮像系からの映像信号を所定の割合で混合する混合手段を更に備えたことを特徴とする。
【００３９】
この発明の態様によれば、所定の照明光における映像信号の再現色と撮影時の照明下での本来の原信号とを混合させるため、主観的に好ましいホワイトバランス処理が実現できる。また、混合の割合を調整することで自由な絵作り処理への利用も可能となる。
【００４０】
本発明の第１８の態様は、本発明の第１５の態様において、色処理手段は、上記推定された被写体に関する分光特性に対して所定の係数を乗算する輝度調整手段と、上記推定された被写体に関する分光特性に対して所定の波長範囲内を波長方向に平行移動させる色相調整手段と、上記推定された被写体に関する分光特性に対して曲率を変化させる彩度調整手段と、の少なくとも１つ以上を有することを特徴とする。
【００４１】
この発明の態様によれば、推定された被写体に関する分光特性に基づき、輝度調整，色相調整，彩度調整の少なくとも1つを実施するため、高精度な調整が可能となる。
【００４２】
本発明の第１９の態様は、本発明の第１又は２の態様において、上記カラー撮像系としてＲ(赤)，Ｇ(緑)，Ｂ(青)Bayer型原色フィルタを前面に配置した単板撮像素子、またはCy(シアン)，Mg(マゼンタ)，Ye(イエロー)，Ｇ(緑)色差線順次型補色フィルタを前面に配置した単板撮像素子を用いることを特徴とする。
【００４３】
この発明の態様によれば、Bayer型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子を用いるため、従来の撮影系との親和性が高く、多くの撮像システムヘの適用が可能となる。
【００４４】
本発明の第２０の態様は、カラー撮像系からの映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う撮像処理のためのプログラムであって、上記カラー撮像系における所定の分光特性を時系列的に変化させ複数の撮像を行わせるよう制御する機能と、上記複数の撮像から得られた複数の映像信号に関する信頼性を検証する機能と、上記信頼性に基づき上記複数の映像信号に対して補正処理を行う機能と、上記補正処理がなされた複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う機能と、をコンピュータに実行させることを特徴とする。
【００４５】
本発明の第２１の態様は、分光特性が異なる複数のカラー撮像系からの複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う撮像処理のためのプログラムであって、上記複数の映像信号に関する信頼性を検証する機能と、上記信頼性に基づき上記複数の映像信号に対して補正処理を行う機能と、上記補正処理がなされた複数の映像信号に基づき被写体または照明光に関する未知の分光特性の推定を行う機能と、をコンピュータに実行させることを特徴とする。
【００４６】
本発明の第２２の態様は、本発明の第２０又は２１の態様において、上記検証する機能は、上記複数の映像信号から所定の領域単位でノイズ量を算出する機能と、上記複数の映像信号から所定の領域単位でエッジ量を算出する機能と、上記複数の映像信号から所定の領域単位で色相に関する情報を算出する機能と、上記複数の映像信号から所定の領域単位で動き量を算出する機能との少なくとも１つ以上を備えたことを特徴とする。
【００４７】
本発明の第２３の態様は、本発明の第２２の態様において、上記検証する機能は、上記ノイズ量または上記エッジ量または上記色相に関する情報または上記動き量の少なくとも１つ以上に基づき上記複数の映像信号に関する信頼性を算出する機能を更に備えたことを特徴とする。
【００４８】
本発明の第２４の態様は、本発明の第２０又は２１の態様において、上記補正処理を行う機能は、周波数特性の異なる複数の平滑化フィルタを記録する機能と、上記信頼性に基づき上記平滑化フィルタを選択する機能と、上記選択された平滑化フィルタを用いて上記複数の映像信号に対して平滑化処理を行う機能と、を備えたことを特徴とする。
【００４９】
本発明の第２５の態様は、本発明の第２０又は２１の態様において、上記補正処理を行う機能は、上記複数の映像信号から注目領域を包含する所定サイズの局所領域を抽出する機能と、上記信頼性に基づき上記局所領域から上記注目領域に類似する領域を選択する機能と、上記選択された領域に対して所定の平滑化処理を行う機能と、を備えたことを特徴とする。
【００５０】
本発明の第２６の態様は、本発明の第２０又は２１の態様において、上記補正処理を行う機能は、上記信頼性に基づき縮小率を選択する機能と、上記縮小率を用いて上記複数の映像信号に対して縮小処理を行う機能と、を備えたことを特徴とする。
【００５１】
本発明の第２７の態様は、本発明の第２０又は２１の態様において、上記推定された被写体または照明光に関する未知の分光特性に基づき上記複数の映像信号の少なくとも１つに関して色処理を行う機能、を更に備えたことを特徴とする。
【発明の効果】
【００５２】
本発明によれば、映像信号の信頼性に基づいて映像信号を補正したうえで、被写体または照明光に関する未知の分光特性の推定を行うので、高精度な分光特性の推定を可能とする撮像システムを提供することができる。
【発明を実施するための最良の形態】
【００５３】
発明の実施の形態について図面を参照して説明する。  
［第１の実施形態］
図１乃至図１２は本発明の第１の実施形態に係り、図１は本発明の第１の実施形態の撮像システムの構成図、図２は局所領域に関する説明図、図３は検証部の構成図、図４は補正部の構成図、図５は信号の分離合成に関する説明図、図６は平滑化フィルタに関する説明図、図７は平滑化フィルタの選択に関する説明図、図８は推定部の構成図、図９は別構成の推定部の構成図、図１０は色処理部の構成図、図１１は第１の実施形態の別形態の構成図、図１２は第１の実施形態の信号処理のフローチャートを示している。
【００５４】
[構成]
図１は、本発明の実施形態の構成図である。レンズ系100，絞り101，CCD102を介して撮影された映像信号は、利得制御増幅器（以下、Gainと略記）104にて増幅され、A/D変換器（以下、A/Dと略記）105にてデジタル信号へ変換される。A/D105からの信号は、バッファ106を介して抽出部111へ転送される。バッファ106は、プリホワイトバランス部（以下、PreWB部と略記）107，測光評価部108，合焦点検出部109ヘも接続されている。測光評価部108は絞り101，CCD102，Gain104へ、合焦点検出部109はオートフォーカスモータ（以下、AFモータと略記）110へ接続されている。抽出部111は、検証部112，補正部113，色処理部115へ接続されている。検証部112は補正部113へ、補正部113は推定部114へ、推定部114は色処理部115および出力部117へ接続されている。色処理部115は、信号処理部116を介して出力部117へ接続されている。マイクロコンピュータなどの制御部118は、Gain104，A/D105，PreWB部107，測光評価部108，合焦点検出部109，抽出部111，検証部112，補正部113，推定部114，色処理部115，信号処理部116，出力部117と双方向に接続されている。また、電源スイッチ，シャッターボタン，撮影時の各種モードの切り替えなどの設定を行うためのインターフェースを備えた外部I/F部119も制御部118に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサ103からの信号は制御部118へ接続されている。また、レンズ系100の近傍に配置された照明手段としてのストロボ120は制御部118と双方向に接続されている。
【００５５】
[作用]
次に、信号の流れに沿って作用を説明する。  
外部I/F部119を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100，絞り101，CCD102を介して撮影された信号は、アナログ信号として出力される。  
なお、本実施形態においては、撮像系にベイヤー（以下、Bayerと略記）型原色フィルタを前面に配置した単板ＣＣＤを想定している。図２(a)は、Bayer型原色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、赤(R)，青(B)フィルタが1画素ずつ、緑(Gr，Gb)フィルタが2画素配置される。なお、緑フィルタは同一なものであるが、本例では処理の便宜上これをGr，Gbと区別するものとする。
【００５６】
バッファ106内の信号は、PreWB部107，測光評価部108，合焦点検出部109へ転送される。PreWB部107では所定輝度レベルの信号を色信号ごとに積算することで簡易ホワイトバランス係数を算出する。上記係数はGain104へ転送され、色信号ごとに異なるゲインを設定することで簡易ホワイトバランス処理が行われる。測光評価部108では、設定されたISO感度，手ぶれ限界のシャッター速度などを加味し、信号中の輝度レベルを求めて適正露光となるよう絞り101やCCD102の電子シャッター速度やGain104の増幅率などを制御する。また、合焦点検出部109では信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。次に、外部I/F部119を介してシャッターボタンを全押しにすることにより１目目の本撮影が行われ、映像信号はプリ撮像と同様にバッファ106へ転送される。１回目の本撮影は、PreWB部107にて求められた簡易ホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部118へ転送される。次に、制御部118は上記露光条件および合焦条件に基づきストロボ120の発光量を定め、ストロボ120を発光させた2回目の本撮影が行われる。制御部118及びストロボ120は、カラー撮像系における所定の分光特性を時系列的に変化させ複数の撮像を行わせるよう制御する制御手段を構成している。上記２回目の本撮影の映像信号は、１回目の本撮影の映像信号と同様にバッファ106へ転送される。バッファ106には、１回目と２回目の映像信号が保存されることになる。バッファ106内の映像信号は抽出部111へ転送される。
【００５７】
抽出部111は、制御部118の制御に基づき、図２(a)に示されるような2×2画素からなる注目領域を中心とする10×10画素サイズの局所領域を順次抽出する。10×10画素サイズの局所領域は、2×2画素サイズの81個の領域からなり、１つの2×2画素サイズの注目領域と、80個の2×2画素サイズの近傍領域とからなる。上記局所領域は1回目の本撮影の映像信号と２回目の本撮影の映像信号から同位置にて抽出されるため、局所領域は2つ存在することになる。また、注目領域を2×2画素としているため、局所領域は水平，垂直方向に8画素ずつオーバーラップしながら抽出されることになる。
【００５８】
検証部112は、制御部118の制御に基づき、抽出部111から上記2つの局所領域を読み込み、分光特性推定における信頼性を検証し、信頼性の結果を補正部113へ転送する。補正部113は、制御部118の制御に基づき、抽出部111から上記2つの局所領域を、検証部112から信頼性の結果を読み込み、上記２つの注目領域に関して補正処理を行う。補正された2つの注目領域は推定部114へ転送される。
【００５９】
推定部114は、制御部118の制御に基づき、補正部113から補正された2つの注目領域を読み込み、被写体または照明光に関する分光特性を推定する。推定された分光特性は、色処理部115へ転送される。なお、必要に応じて推定された分光特性を出力部117へ転送し、別途保存することも可能である。色処理部115は、制御部118の制御に基づき、推定部114から推定された分光特性を、抽出部111から1回目の本撮影に関する注目領域を読み込み、所定の色処理を行う。本実施形態においては、昼光光源への変換処理に基づくホワイトバランス処理を想定する。色処理がなされた注目領域は順次信号処理部116へ転送される。上記抽出部111，検証部112，補正部113，推定部114，色処理部115の処理は、制御部118の制御に基づき局所領域単位で同期して行われる。信号処理部116では、公知のエッジ強調処理や圧縮処理などが行われ、出力部117へ転送される。出力部117は、メモリカードなどの記録媒体に映像信号を記録保存する。
【００６０】
図３は検証部112の構成の一例を示すもので、輝度色差分離部200，バッファ201，ノイズ量算出手段としてのノイズ算出部202，エッジ量算出手段としてのエッジ算出部203，色相情報算出手段としての色相算出部204，動き量算出手段としての動き算出部205，バッファ206，信頼性算出部207からなる。抽出部111は、輝度色差分離部200を介してバッファ201へ接続している。バッファ201は、ノイズ算出部202，エッジ算出部203，色相算出部204，動き算出部205へ接続している。ノイズ算出部202，エッジ算出部203，色相算出部204，動き算出部205は、バッファ206へ接続している。バッファ206は、信頼性算出部207を介して補正部113へ接続している。制御部118は、輝度色差分離部200，ノイズ算出部202，エッジ算出部203，色相算出部204，動き算出部205，信頼性算出部207と双方向に接続されている。輝度色差分離部200は、制御部118の制御に基づき、抽出部111から２つの局所領域を読み込み、輝度信号と色差信号へ分離する。輝度信号と色差信号へ分離は2×2画素の注目領域および2×2画素の近傍領域単位で行われる。
【００６１】
図２(a)は、本実施形態における局所領域内の注目領域および近傍領域の構成を示す。本実施形態における10×10画素サイズの局所領域においては、２×２画素(R４４，Gr５４，Gb４５，B５５)の１つの注目領域を想定し、2×2画素でその１つの注目領域を包含し、かつ1行1列ずつオーバーラップするよう配置された計80個の近傍領域を想定する。注目領域における輝度信号Ｙと色差信号Cb，Crは(1)式で算出される。
【００６２】
Y＝(Gr５４＋Gb４５)/2
Cb＝B５５−(Gr５４＋Gb４５)/2                                (1)
Cr＝R４４−(Gr５４＋Gb４５)/2
近傍領域においても同様に算出される。図２(b)に示されるように、1つの局所領域から81点の輝度信号Ｙと色差信号Cb，Crが算出されることになる。２つの局所領域から算出された輝度信号と色差信号はバッファ201へ転送される。
【００６３】
ノイズ算出部202は、制御部118の制御に基づき、バッファ201から輝度信号を、制御部118から撮影時のISO感度，簡易ホワイトバランス係数，露光条件，温度センサ103からの温度情報を読み込み、注目領域におけるノイズ量を算出する。ノイズ量の算出に関しては、例えば特開2006-23959号公報に開示されている方法により実現される。上記ノイズ量は2つの局所領域ごとに独立して求められる。ノイズ算出部202は、算出された2つのノイズ量から、ノイズ量の大きい方を選択してバッファ206へ転送する。
【００６４】
エッジ算出部203は、制御部118の制御に基づき、バッファ201から輝度信号を読み込み、注目領域におけるエッジ量を算出する。エッジ量は、例えば注目領域を中心とする3×3の領域に例えば２次微分フィルタリングである公知のラプラシアン処理を行うなどで算出される。上記エッジ量は２つの局所領域ごとに独立して求められる。エッジ算出部203は、算出された2つのエッジ量から、エッジ量の大きい方を選択してバッファ206へ転送する。
【００６５】
色相算出部204は、制御部118の制御に基づき、バッファ201から色差信号を読み込み、局所領域における色相信号の標準偏差を算出する。色相信号Hは、(2)式に基づき算出される。  
H＝tan-1(Cb/Cr)                                  (2)
一つの局所領域内で81点の色相信号が算出され、これから色相信号の標準偏差が算出される。上記色相信号の標準偏差は2つの局所領域ごとに独立して求められる。色相算出部204は、算出された2つの標準偏差から、標準偏差の大きい方を選択してバッファ206へ転送する。
【００６６】
動き算出部205は、制御部118の制御に基づき、バッファ201から輝度信号を読み.込み、注目領域における動き量を算出ずる。動き量は、１回目の本撮影で得られた局所領域から注目領域を中心とする3×3の領域を抽出し、2回目の本撮影で得られた局所領域内で公知のブロックマッチング処理を行うことで得られる。動き算出部205は、算出された動き量をバッファ206へ転送する。上記処理が完了後、バッファ206にはノイズ量Ｎ，エッジ量Ｅ，色相信号の標準偏差HD，動き量Ｍが存在することになる。なお、ノイズ，エッジ，色相の標準偏差，動き量の算出方法は、上記の方法に限定されるものではない。
【００６７】
信頼性算出部207は、制御部118の制御に基づき、バッファ206内のノイズ量Ｎ，エッジ量E，色相信号の標準偏差HD，動き量Ｍを読み込む。その後、(3)式に基づき注目領域に対する信頼性Rを算出する。
【００６８】
R＝k１・N＋k２E＋k３・HD＋k４・M                        (3)
(3)式において、k１，k２，k３，k４は所定の正の定数項である。信頼性Rは、0以上の正の数となり、ノイズ量N，エッジ量E，色相信号の標準偏差HD，動き量Mが大きいほど大きな値をとる。ノイズ量N，エッジ量E，色相信号の標準偏差HD，動き量Mが大きいほど分光特性の推定の精度が低下するため、上記信頼性Rは分光特性の推定における信頼性を表すことになる。すなわち、(3)式の信頼性Rを求めることは、映像信号に関する信頼性を検証することと等価となる。算出された信頼性Rは、補正部113へ転送される。なお、上記例では信頼性Rをノイズ量N，エッジ量E，色相信号の標準偏差HD，動き量Mの4項目から算出していたが、このような構成に限定される必要はない。精度は低下するが、項目数を減らして処理速度を高速化する構成も可能であるし、他の項目を追加することで精度を向上させる構成も可能である。
【００６９】
図４は補正部113の構成の一例を示すもので、フィルタ選択部300，フィルタ記録手段としてのフィルタ用ROM301，信号分離部302，バッファ303，平滑化処理手段としての平滑化部304，バッファ305，信号合成部306からなる。抽出部111は、信号分離部302，バッファ303，平滑化部304，バッファ305，信号合成部306を介して推定部114へ接続している。検出部112およびフィルタ用ROM301はフィルタ選択部300へ、フィルタ選択部300は平滑化部304へ接続している。制御部118は、フィルタ選択部300，信号分離部302，平滑化部304，信号合成部306と双方向に接続されている。信号分離部302は、制御部118の制御に基づき、抽出部111から2つの局所領域を読み込み、撮像系の色信号ごとに信号を分離する。本実施形態では、撮像系としてBayer型原色フィルタを前面に配置した単板ＣＣＤを、局所領域として10×10画素サイズを想定している。
【００７０】
図５(a)は上記10×10の局所領域を、図５(b)は5×5のR，Gr，Gb，Bの４種類の色信号へ分離した状態を示す。2つの局所領域から分離された色信号はバッファ303へ転送される。フィルタ選択部300は、制御部118の制御に基づき、検証部112から信頼性Rを読み込み、信頼性Ｒに基づきフィルタ用ROM301から平滑化処理に用いるフィルタ係数を選択して読み出す。
【００７１】
図６はフィルタ用ROM301に記録されている5×5のフィルタ係数の一例を示す。  
図６は、タイプType1〜Type4までの4種類のフィルタ係数を示しており、各係数は128倍されている。Type1は高周波成分を残存し、Type4へと順次高周波成分を抑制する周波数特性となっている。フィルタ選択部300は、例えば図７に示される信頼性Ｒとフィルタの種類Type間の関係に基づき、フィルタの種類Typeを選択する。信頼性Rは分光特性の推定に影響を与える度合いが大きいほど大きな値をとる。つまり、信頼性Rの値は一般的に言う信頼性が高いほど小さい値となり信頼性が低いほど大きい値となっている。また、フィルタの種類は信頼性Rが大きいほど高周波成分を抑制する周波数特性が選択される。すなわち、分光特性の推定に影響を与える度合いが大きいほど高周波成分が抑制されるようになっている。選択されたフィルタ係数は、平滑化部304へ転送される。平滑化部304は、制御部118の制御に基づき、バッファ303から分離された色信号、本実施形態ではR，Gr，Gb，Bの4種類の色信号を順次読み込む。なお、色信号は2つの局所領域から得られるため、全体として8つ色信号を読み込むことになる。読み込まれた色信号は、フィルタ選択部300からのフィルタ係数に基づき平滑化処理がなされ、注目領域に対する平滑化信号が得られる。平滑化後の信号はバッファ305へ転送される。バッファ305には、2つの局所領域内にある2つの注目領域の平滑化された信号が存在することになる。信号合成部306は、制御部118の制御に基づき、平滑化処理がなされた注目領域に対する信号を読み込む。これを撮像系、本実施形態ではBayer型原色フィルタの配置に合成する。図５(c)は合成された2×2の注目領域を示す。上記合成処理は、２つの局所領域に対して独立に行われ、2つの注目領域が合成される。合成された2つの注目領域は推定部114へ転送される。
【００７２】
図８は推定部114の構成の一例を示すもので、差分処理部400，バッファ401，被写体重み係数算出部402，分光特性記録手段としての分光特性用ROM403，バッファ404からなる。補正部113は、差分処理部400，バッファ401，被写体重み係数算出部402，バッファ404を介して色処理部115および出力部117へ接続している。分光特性用ROM403は、被写体重み係数算出部402へ接続している。制御部118は、差分処理部400，被写体重み係数算出部402と双方向に接続されている。差分処理部400は、制御部118の制御に基づき、補正部113から補正処理がなされた２つの注目領域を読み込む。以後、１回目の撮影時の外部環境による照明光で撮影された注目領域のRGB三信号をCLＲ，CLＧ，CLＢで表記する。なお、CLＧはGrとGbの平均とする。また、２回目の撮影時の外部環境による照明光とストロボ光がミックスされて撮影された注目領域のRGB三信号をCLSＲ，CLSＧ，CLSＢで表記する。差分処理部400は、2回目の撮影による注目領域から1回目の撮影による注目領域の差分を行うことでストロボ光のみで撮影した場合に相当するRGB三信号をCSＲ，CSＧ，CSＢを得る。
【００７３】
CSＲ＝CLSＲ−CLＲ
CSＧ＝CLSＧ−CLＧ                                          (4)
CSＢ＝CLSＢ−CLＢ
算出されたストロボ光のみのRGB三信号CSＲ，CSＧ，CSＢはバッファ401へ転送される。分光特性用ROM403は、撮像系の分光特性に関する情報が記録されている。被写体の分光特性を推定するためには、撮像系、本実施形態ではBayer型原色フィルタを用いた撮像系の分光感度特性SＲ(λ)，SＧ(λ)，SＢ(λ)およびストロボ光の分光放射率特性IS(λ)および被写体の分光反射率特性O(λ)を近似するための三種類の基底関数O１(λ)，O２(λ)，O３(λ)が必要となる。ここで、λ=380〜780nmの可視域を意味する。被写体の分光反射率特性O(λ)は三種類の基底関数O１(λ)，O２(λ)，O３(λ)に対する重み係数o１，o２，o３を用いて(5)式に示すように近似できる。
【００７４】
O(λ)＝o１・O１(λ)＋o２・O２(λ)＋o３・O３(λ)                (5)
上記重み係数o１，o２，o３は(6)式により算出される。
【００７５】
［数１］
2008005246.tif 000003
分光特性用ROM403は、(6)式に示される撮像系のシステムマトリックスの逆行列Sys−１を記録している。被写体重み係数算出部402は、制御部118の制御に基づき、バッファ401からストロボ光のみのRGB三信号CSＲ，CSＧ，CSＢを、分光特性用ROM403からシステムマトリックスの逆行列Sys−１を読み込み、(6)式に基づき基底関数O１(λ)，O２(λ)，O３(λ)に対する重み係数o１，o２，o３を算出する。算出された3種類の重み係数は色処理部115へ転送される。また、必要に応じて出力部117へも転送することができる。なお、上記推定部114の構成では、被写体の分光特性として被写体の分光反射率特性を近似する基底関数に対する重み係数のみを算出していたが、このような構成に限定される必要はない。例えば、(5)式に示すように実際の分光反射率特性O(λ)を算出する構成も可能である。
【００７６】
図９は推定部114の別構成の一例を示すもので、図８に示す推定部114に被写体分光特性算出部405，被写体基底ベクトル記録手段としての被写体基底ベクトル用ROM406を追加した構成になっている。基本構成は図８と同等であり、同一の構成要素には同一の名称と符号を付している。以下、異なる部分のみ説明する。
【００７７】
図９において、被写体重み係数算出部402および被写体基底ベクトル用ROM406は、被写体分光特性算出部405へ接続している。被写体分光特性算出部405はバッファ404へ接続している。制御部118は、被写体分光特性算出部405と双方向に接続されている。図８に示す推定部114と同様に、被写体重み係数算出部402は基底関数O１(λ)，O２(λ)，O３(λ)に対する重み係数o１，o２，o３を算出する。算出された3種類の重み係数は、被写体分光特性算出部405へ転送される。被写体基底ベクトル用ROM406は、被写体の分光反射率特性O(λ)を近似するための三種類の基底関数O１(λ)，O２(λ)，O３(λ)を記録しており、上記基底関数を被写体分光特性算出部405へ転送する。被写体分光特性算出部405は、制御部118の制御に基づき、被写体重み係数算出部402から重み係数o１，o２，o３を、被写体基底ベクトル用ROM406から基底関数O１(λ)，O２(λ)，O３(λ)を読み込み、(5)式に基づき被写体の分光反射率特性O(λ)を算出する。算出された被写体の分光反射率特性O(λ)は、バッファ404へ転送される。上記構成により、被写体の分光反射率特性を算出することができる。
【００７８】
図１０は色処理部115の構成の一例を示すもので、再現色算出部500，分光特性記録手段としての分光特性用ROM501，照明光記録手段としての照明光用ROM502，混合部503からなる。推定部114，分光特性用ROM501，照明光用ROM502は、再現色算出部500へ接続している。再現色算出部500および抽出部111は、混合部503へ接続している。混合部503は、信号処理部116へ接続している。制御部118は、再現色算出部500，混合部503と双方向に接続されている。被写体の分光特性に基づき任意の光源下での再現色を得るには、撮像系、本実施形態では、Bayer型原色フィルタを用いた撮像系の分光感度特性SＲ(λ)，SＧ(λ)，SＢ(λ)および任意の光源の分光放射率特性IA(λ)および被写体の分光反射率特性O(λ)を近似するための三種類の基底関数O１(λ)，O２(λ)，O３(λ)と重み係数o１，o２，o３が必要となる。任意の光源下での再現色CAＲ，CAＧ，CAＢは、(7)式で得られる。
【００７９】
［数２］
2008005246.tif 000004
分光特性用ROM501は撮像系の分光感度特性SＲ(λ)，SＧ(λ)，SＢ(λ)および被写体の分光反射率特性O(λ)を近似するための三種類の基底関数O１(λ)，O２(λ)，O３(λ)が、照明光用ROM502は光源の分光放射率特性IA(λ)が記録されている。なお、本実施形態においては、光源の分光放射率特性IA(λ)として例えばCIEのD65光源などの昼光を想定する。このように、撮影時の照明光に依存せずに、昼光の光源下での再現色を求めることは、ホワイトバランス処理を行っていることと等価になる。再現色算出部500は、制御部118の制御に基づき、推定部114から重み係数o１，o２，o３を、分光特性用ROM501から分光感度特性SＲ(λ)，SＧ(λ)，SＢ(λ)および基底関数O１(λ)，O２(λ)，O３(λ)を、照明光用ROM502から光源の分光放射率特性IA(λ)を読み込み、(7)式に基づき再現色CAＲ，CAＧ，CAＢを算出する。算出された３種類の再現色は混合部503へ転送される。混合部503は制御部118の制御に基づき、抽出部111から図２(a)に示される１回目の本撮影に関する注目領域R44，Gr54，Gb45，B55を、再現色算出部500から再現色CAＲ，CAＧ，CAＢを読み込み、所定の混合割合k(k=0〜1)に基づき両者を混合する。
【００８０】
CAＲ'＝k・R44＋(1-k)・CAＲ
CAＧ'＝k・(Gr54＋Gb45)/2＋(1-k)・CAＧ                        (8)
CAＢ'＝k・B55＋(1-k)・CAＢ
これは、例えば夕日などの状況下で、完全なホワイトバランス処理が行われるよりも本撮影での光源の影響を残存させたほうが主観的に好ましい画像が得られるためである。混合割合kは、PreWB部107からの簡易ホワイトバランス係数に基づき自動的に設定する構成や外部I/F部119を介して手動で設定する構成などが可能である。混合処理がなされた再現色CAＲ'，CAＧ'，CAＢ'は、信号処理部116へ転送される。
【００８１】
なお、上記色処理部115の構成では、再現色を得るために(7)式に示される積分演算を毎回行っていたが、このような構成に限定される必要はない。例えば、(7)式を変形して、撮像系のシステムマトリックスSysに基づき算出することも可能である。
【００８２】
［数３］
2008005246.tif 000005
この場合、分光特性用ROM501，照明光用ROM502を一つに統合し、(9)式に示される撮像系のシステムマトリックスSysを記録する構成が可能となる。
【００８３】
上記構成により、映像信号に含まれるノイズ、補間処理にともなう偽色、被写体の動きブレなど推定精度に影響を与える要因から信頼性を求め、信頼性に基づき選択した平滑化フィルタを用いて映像信号を補正した後に分光特性の推定を行う。このため、分光特性の推定精度を適切な範囲内とすることが保証可能となる。また、時系列的に分光特性が異なる複数の映像信号を取得するためストロボを使用しているが、従来の撮像システムとの親和性、互換性が高く、低コスト化が可能となる。また、推定すべき分光特性を少数の基底関数の線形結合でモデル化し、上記基底関数に関する重み係数を算出するため、従来のカラー撮像系を用いて被写体の分光特性の推定が可能となる。また、重み係数は容量が少ないため、保存や転送時に有利である。さらに、被写体の分光特性を求めるため、後段の色処理や他の用途への利用が容易となる。推定された分光特性を用いて、撮影時の照明光に影響されずに任意の照明光下での再現色を算出するため、高精度なホワイトバランス処理が実現できる。また、撮影時の照明下での再現色を混合させるため、主観的に好ましいホワイトバランス処理が実現できる。
【００８４】
なお、上記実施形態では、撮像系にBayer型原色フィルタを前面に配置した単板ＣＣＤを、局所領域として10×10画素サイズを想定したが、このような構成に限定される必要はない。例えば、色差線順次型補色フィルタや二板，三板CCDにも適用可能である。また、局所領域サイズを小さくすることで処理速度を高速化する構成や、局所領域サイズを大きくすることで検証精度を向上する構成も可能である。
【００８５】
図２(c)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)，マゼンタ(Mg)，イエロー(Ye)，緑(G)が1画素ずつ配置される。ただし、ＭとＧの位置はラインごとに反転している。また、局所領域のサイズを8×8画素とし、注目領域はG33，Mg43，Ye34，Cy44で構成される。この場合、近傍領域は図２(d)に示されるように計48となる。また、注目領域における輝度信号Ｙと色差信号Cb，Crは(10)式で算出される。
【００８６】
Y＝G33＋Mg43＋Ye34＋Cy44
Cb＝(Mg43＋Cy44)−(G33＋Ye34)                        (10)
Cr＝(Mg43＋Ye34)−(G33＋Cy44)
また、上記実施形態では、レンズ系100，絞り101，CCD102，温度センサ103，Gain104，A/D105，PreWB部107，測光評価部108，合焦点検出部109，AFモータ110，ストロボ120からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１１に示されるように、別体の撮像部で撮像された2枚の映像信号を未処理の生データ（以下、Rawデータ）形態で、さらに撮像条件や撮像系に関する分光特性などの付随情報をへッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。
【００８７】
図１１は、図１に示す構成からレンズ系100，絞り101，CCD102，温度センサ103，Gain104，A/D105，PreWB部107，測光評価部108，合焦点検出部109，AFモータ110，ストロボ120を省略し、入力部600，へッダ情報解析部601を追加した形態となっている。基本構成は図１と同等であり、同一の構成要素には同一の名称と符号を付している。以下、異なる部分のみ説明する。
【００８８】
図１１において、入力部600は、バッファ106およびへッダ情報解析部601へ接続している。制御部118は、入力部600，へッダ情報解析部601と双方向に接続している。マウス，キーボードなどの外部l/F部119を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびへッダ情報が入力部600から読み込まれる。入力部600からの信号はバッファ106へ、へッダ情報はへッダ情報解析部601へ転送される。へッダ情報解析部601は、へッダ情報から撮影時の情報を抽出して制御部118へ転送する。以後の処理は、図１と同等である。
【００８９】
さらに、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。  
例えば、CCD102からの2種類の映像信号を未処理のままのRawデータとして、制御部118からの撮像条件や撮像系に関する分光特性などをへッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００９０】
図１２(a)は、本発明の第１の実施形態における信号処理のソフトウェア処理に関するフローチャートを示す。ステップＳ1にて、2種類の映像信号と撮像条件や撮像系に関する分光特性などのへッダ情報を読み込む。ステップＳ2にて、2種類の映像信号から図２(a)に示される注目領域を包含する局所領域を順次抽出する。ステップＳ3にて、別途説明するように信頼性を算出する。ステップＳ4にて、別途説明するように信頼性に基づき映像信号を補正する。ステップＳ5にて、別途説明するように分光特性を推定する。ステップＳ6にて、別途説明するように推定された分光特性に基づき色処理を行う。ステップＳ7にて、全局所領域の抽出が完了したかを判断し、完了していない場合はステップＳ2へ、完了した場合はステップＳ8へ分岐する。ステップＳ8にて、公知のエッジ強調処理や圧縮処理などが行われる。ステップＳ9にて、処理後の信号が出力され終了する。
【００９１】
図１２(b)は、上記ステップＳ3における信頼性検証に関するフローチャートである。ステップＳ20にて、局所領域から(1)式に基づぎ図２(b)に示される輝度信号と色差信号を算出する。ステップＳ21にて、輝度信号に基づき注目領域に関するノイズ量を算出ずる。ノイズ量は2つの局所領域ごとに独立して求められ、ノイズ量の大きい方が選択される。ステップＳ22にて、輝度信号に基づき注目領域に関するエッジ量を算出する。エッジ量は２つの局所領域ごとに独立して求められ、エッジ量の大きい方が選択される。ステップＳ23にて、色差信号に基づき局所領域における色相信号の標準偏差を算出する。なお、色相信号は(2)式により算出される。色相信号の標準偏差は2つの局所領域ごとに独立して求められ、標準偏差の大きい方が選択される。ステップＳ24にて、輝度信号に基づき注目領域に関する動き量が算出される。ステップＳ25にて、上記ノイズ量，エッジ量，色相信号の標準偏差，動き量に基づき、(3)式から注目領域に対する信頼性を算出する。
【００９２】
図１２(c)は、上記ステップＳ4における映像信号補正に関するフローチャートである。ステップＳ30にて、局所領域内の信号を図５(b)に示されるように各色信号へ分離する。ステップＳ31にて、信頼性に基づき図７に示される関係から平滑化処理に用いるフィルタを選択する。ステップＳ32にて、選択されたフィルタに基づき図６に示されるようなフィルタ係数を読み込む。ステップＳ33にて、読み込まれたフィルタ係数に基づき各色信号ごとに平滑化処理を行う。ステップＳ34にて、平滑化処理がなされた各色信号から図５(c)に示されるように注目領域へ合成する。
【００９３】
図１２(d)は、上記ステップＳ5における分光特性推定に関するフローチャートである。ステップＳ40にて、２つの注目領域間で(4)式に示される差分処理が行われる。ステップＳ41にて、(6)式に示される撮像系のシステムマトリックスの逆行列Sys−１を読み込む。ステップＳ42にて、(6)式に基づき被写体の分光反射率特性を近似する基底関数に対する重み係数を算出する。  
図１２(e)は、上記ステップＳ6における色処理に関するフローチャートである。ステップＳ50にて、撮像系の分光感度特性および被写体の分光反射率特性を近似するための三種類の基底関数を読み込む。ステップＳ51にて、光源の分光放射率特性を読み込む。ステップＳ52にて、(7)式に基づき再現色を算出する。ステップＳ53にて、(8)式に基づき原信号との混合を行う。
【００９４】
［第２の実施形態］
図１３乃至図１８は本発明の第２の実施形態に係り、図１３は第２の実施形態の撮像システムの構成図、図１４は局所領域に関する説明図、図１５は検証部の構成図、図１６は補正部の構成図、図１７は推定部の構成図、図１８は第２の実施形態の信号処理のフローチャートを示している。
【００９５】
[構成]
図１３は、本発明の第２の実施形態の構成図である。本実施形態は、図１に示す第１の実施形態に、液晶フィルタ700，補間部701，バッファ702，拡大処理手段としての拡大部706が追加され、検証部112が検証部703へ、補正部113が補正部704へ、推定部114が推定部705へ置換され、ストロボ120が削除された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみを説明する。
【００９６】
レンズ系100，絞り101，液晶フィルタ700，CCD102を介して撮影された映像信号は、Gain104にて増幅され、A/D105にてデジタル信号へ変換され、バッファ106へ転送される。バッファ106は、PreWB部107，測光評価部108，合焦点検出部109，補間部701へ接続されている。補間部701は、バッファ702を介して抽出部111へ接続されている。抽出部111は、検証部703，補正部704，色処理部115へ接続されている。検証部703は補正部704へ、補正部704は推定部705へ、推定部705は拡大部706へ接続されている。拡大部706は、色処理部115および出力部117へ接続されている。制御部118は、液晶フィルタ700，補間部701，検証部703，補正部704，推定部705，拡大部706と双方向に接続されている。  
制御部118及び液晶フィルタ700は、カラー撮像系における所定の分光特性を時系列的に変化させ複数の撮像を行わせるよう制御する制御手段を構成している。
【００９７】
[作用]
基本的に第１の実施形態と同等であり、異なる部分のみ説明する。図１３において、信号の流れに沿って説明する。  
外部I/F部119を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100，絞り101，液晶フィルタ700を介して撮影された映像信号は、Gain104，A/D105を介してバッファ106へ転送される。この時点での液晶フィルタ700は開いており、通常の撮影が行われる。PreWB部107，測光評価部108，合焦点検出部109にて第１の実施形態と同様に、本嫌影のための撮影条件が設定される。
【００９８】
次に、外部I/F部119を介してシャッターボタンを全押しにすることにより１回目の本撮影が行われる。１回目の本撮影においても、液晶フィルタ700は開いて（オンして）おり、通常の撮影が行われる。次に、制御部118は液晶フィルタ700を閉じる（オフする）ように制御し、２回目の本撮影が行われる。液晶フィルタ700は中性灰色ではなく、可視域において偏りのある着色された（例えばストロボの発光のスペクトルと類似した）フィルタであることを想定する。１目目および2回目の映像信号は、バッファ106へ転送される。
【００９９】
補間部701は、制御部118の制御に基づき、１回目および2回目の映像信号に対して公知に補間処理を行い、RGB三信号が全て揃った三板の信号を生成する。補間部701では図１４(a)に示すような三板の映像信号を作成する。補間部701で生成された2つの三板の映像信号は、バッファ702へ転送される。抽出部111は、制御部118の制御に基づき、図１４(a)に示されるような1×1画素の注目領域を中心とする5×5画素サイズの局所領域をRGB三信号ごとに順次抽出する。なお、上記局所領域は1回目の本撮影の映像信号と2回目の本撮影の映像信号から同位置にて抽出されるため、局所領域は2つ存在することになる。
【０１００】
検証部703は、制御部118の制御に基づき、抽出部111から上記2つの局所領域を読み込み、分光特性推定における信頼性を検証する。上記抽出部111，検証部112の処理は、制御部118の制御に基づき局所領域単位で同期して行われる。全ての局所領域にて信頼性の検証が完了した後、検証部112は映像信号全体に関する信頼性の結果を補正部704へ転送する。補正部704は、制御部118の制御に基づき、抽出部111から上記2つの映像信号を、検証部703から信頼性の結果を読み込み、上記2つの映像信号に関して補正処理を行う。なお、本実施形態においては、上記補正処理として縮小処理を想定する。補正された2つの映像信号は推定部705へ転送される。
【０１０１】
推定部705は、制御部118の制御に基づき、補正部704から補正された2つの映像信号を読み込み、被写体または照明光に関する分光特性を推定する。推定された分光特性は、拡大部706へ転送される。拡大部706は、制御部118の制御に基づき、推定された分光特性を撮像素子からの本来のサイズへと拡大処理する。拡大処理された分光特性は、色処理部115へ転送される。なお、必要に応じて推定された分光特性を出力部117へ転送し、別途図示しない記録媒体に保存することも可能である。
【０１０２】
図１５は検証部703の構成の一例を示すもので、第１の実施形態の図３に示される検証部112の輝度色差分離部200を輝度色差分離部800へ、信頼性算出部207を信頼性算出部801へ置換し、エッジ算出部203，色相算出部204，動き算出部205が削除された構成になっている。基本構成は図３に示される検証部112と同等であり、同一の構成要素には同一の名称と符号を付している。以下、異なる部分のみ説明する。
【０１０３】
図１５において、抽出部111は、輝度色差分離部800を介してバッファ201へ接続している。バッファ201は、ノイズ算出部202，バッファ206を介して信頼性算出部801へ接続している。信頼性算出部801は、補正部704へ接続している。制御部118は、輝度色差分離部800，信頼性算出部801と双方向に接続されている。輝度色差分離部800は、制御部118の制御に基づき、抽出部111から２つの局所領域を読み込み、輝度信号と色差信号へ分離する。輝度信号と色差信号へ分離は5×5画素のRGB3つの局所領域から行われる。
【０１０４】
図１４(a)は、本実施形態におけるRGB三信号からなる局所領域内の1×1画素の注目領域および1×1画素の近傍領域の構成を示す。本実施形態において、注目領域はR22，G22，B22を、近傍領域は注目領域を包含する各画素で計24を想定する。注目領域における輝度信号Ｙと色差信号Cb，Crは(11)式で算出される。
【０１０５】
Y＝G22
Cb＝B22−G22                                            (11)
Cr＝R22−G22
近傍領域においても同様に算出される。図１４(b)に示されるように、１つの局所領域から25点の輝度信号Ｙと色差信号Cb，Crが算出されることになる。2つの局所領域から算出された輝度信号と色差信号はバッファ201へ転送される。ノイズ算出部202は、制御部118の制御に基づき、バッファ201から輝度信号を、制御部118から撮影時のISO感度，簡易ホワイトバランス係数，露光条件，温度センサ103からの温度情報を読み込み、注目領域におけるノイズ量を算出する。上記ノイズ量は2つの局所領域ごとに独立して求められる。ノイズ算出部202は、算出された２つのノイズ量から、ノイズ量の大きい方を選択してバッファ206へ転送する。上記過程は、制御部118の制御に基づき全ての局所領域で行われ、バッファ206上には全ての局所領域のノイズ量が記録されることになる。全ての局所領域でのノイズ量の算出が完了した後、信頼性算出部801は、制御部118の制御に基づき、バッファ206からノイズ量を読み込みその平均値NAVを算出する。算出された平均値NAVは、補正部704へ転送される。
【０１０６】
図１６は補正部704の構成の一例を示すもので、縮小率選択部900，縮小処理部901，バッファ902からなる。検証部703は、縮小率選択部900へ接続している。縮小率選択部900および抽出部111は、縮小処理部901へ接続している。縮小処理部901は、バッファ902を介して推定部705へ接続している。制御部118は、縮小率選択部900，縮小処理部901と双方向に接続されている。縮小率選択部900は、制御部118の制御に基づき、検証部703から信頼性としてノイズ量の平均値NAVを読み込む。その後、算出された平均値NＡＶから(12)式に基づき、映像信号に対する縮小率Rateを算出する。(12)式に縮小率を求めるための一例を示す。
【０１０７】
Rate＝a・NAV2＋b・NAV＋c                                  (12)
ここで、a，b，cは所定の定数項である。(12)式では、縮小率Rateは、ノイズ量が大きいほど大きな値を取るように設定される。このようにノイ量に基づいて縮小率Rateを設定するのが実用的であるが、縮小率Rateは必ずしも(12)式に限定されるものではない。すなわち、エッジ量，色相，動き量を加味して、縮小率Rateを決めてもよい。算出された縮小率Rateは、縮小処理部901へ転送される。縮小処理部901は、制御部118の制御に基づき、縮小率選択部900から縮小率Rateを、抽出部111から２つの映像信号を順次読み込む。読み込まれた2つの映像信号は、縮小率Rateに基づき縮小処理がなされ、バッファ902へ転送される。バッファ902上の縮小された２つの映像信号は、必要に応じて推定部705へ転送される。
【０１０８】
図１７は推定部705の構成の一例を示すもので、第１の実施形態の図８に示される推定部114に照明光重み係数算出部1000が追加された構成になっている。基本構成は図８に示される推定部114と同等であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。
【０１０９】
図１７において、補正部704は、差分処理部400および照明光重み係数算出部1000へ接続している。分光特性用ROM403は、被写体重み係数算出部402および照明光重み係数算出部1000へ接続している。照明光重み係数算出部1000は、バッファ404へ接続している。バッファ404は、拡大部706へ接続している。制御部118は、照明光重み係数算出部1000と双方向に接続されている。差分処理部400は、制御部118の制御に基づき、補正部704から縮小処理がなされた2つの映像信号を読み込む。その後、１回目の撮影による縮小処理がなされた映像信号から２回目の撮影による縮小処理がなされた映像信号の差分を行うことで、液晶フィルタ700の透過光のみで撮影した場合に相当するRGB三信号CSＲ，CSＧ，CSＢを得る。差分処理されたRGB三信号CSＲ，CSＧ，CSＢはバッファ401へ転送される.分光特性用ROM403は、撮像系の分光特性に関する情報が記録されている。分光特性としては、撮像系の分光感度特性SＲ(λ)，SＧ(λ)，SＢ(λ)、被写体の分光反射率特性O(λ)を近似するための三種類の基底関数O１(λ)，O２(λ)，O３(λ)、後述する照明光重み係数算出部1000で使用する照明光の分光放射率特性I(λ)を近似するための三種類の基底関数I１(λ)，I２(λ)，I３(λ)、(6)式に示される撮像系のシステムマトリックスの逆行列Sys−１が記録されている。なお、上記(6)式のシステムマトリックスにおけるストロボ光の分光放射率特性IS(λ)の特性は、本実施形態では液晶フィルタ700の分光透過特性に置換されたものとする。被写体重み係数算出部402は、制御部118の制御に基づき、バッファ401から差分処理されたRGB三信号CSＲ，CSＧ，CSＢを画素単位で、分光特性用ROM403からシステムマトリックスの逆行列Sys−１を読み込み、(6)式に基づき基底関数に対する重み係数o１，o２，o３を算出する。縮小処理された映像信号の全画素に関して上記重み係数が算出され、バッファ404へ転送される。一方、照明光重み係数算出部1000は、照明光の分光特性1(λ)を推定する処理を行う。照明光の分光放射率特性I(λ)は三種類の基底関数I１(λ)，I２(λ)，I３(λ)に対する重み係数i１，i２，i３を用いて(13)式に示すように近似できる。
【０１１０】
I(λ)＝i１・I１(λ)＋i２・I２(λ)＋i３・I３(λ)                  (13)
上記重み係数i１，i２，i３は(14)式により算出される。
【０１１１】
［数４］
2008005246.tif 000006
照明光重み係数算出部1000は、制御部118の制御に基づき、補正部704から縮小処理がなされた１回目の映像信号CLＲ，CLＧ，CLＢを読み込む。１回目の映像信号は、液晶フィルタ700は開いた状態の外部環境による照明光で撮影された映像信号である。また、被写体重み係数算出部402から重み係数o１，o２，o３を、分光特性用ROM403から撮像系の分光感度特性SＲ(λ)，SＧ(λ)，SＢ(λ)および被写体用の基底関数O１(λ)，O２(λ)，O３(λ)および照明光用の基底関数I１(λ)，I２(λ)，I３(λ)を読み込む。その後、(14)式に基づき基底関数に対する重み係数i１，i２，i３を算出する。縮小処理された映像信号の全面素に関して上記重み係数が算出され、バッファ404へ転送される。バッファ404内の重み係数は拡大部706へ転送され、本来の映像信号の画素数と同サイズになるよう拡大処理がなされる。
【０１１２】
上記構成により、映像信号に含まれるノイズに基づき信頼性を求め、信頼性に基づき選択した縮小率を選択して、縮小率処理した後に分光特性の推定を行う。このため、分光特性の推定精度を適切な範囲内とすることが保証可能となる。また、縮小した信号に基づき分光特性の推定を行うため、処理を高速に実行することが可能となる。推定された分光特性は、本来の映像信号と同一サイズに拡大されるため、後段の処理に関して従来の撮像システムとの親和性、互換性が高く、低コスト化が可能となる。さらに、時系列的に分光特性が異なる複数の映像信号を取得するため光路内の液晶フィルタを利用しており、被写体までの距離や外部照明の強度などに影響されずに安定的に映像信号を取得することができる。また、液晶フィルタのオン・オフは高速に行えるため、動体に関しても動きブレの少ない映像信号を取得することができる。また、推定すべき分光特性を少数の基底関数の線形結合でモデル化し、上記基底関数に関する重み係数を算出するため、従来のカラー撮像系を用いて被写体の分光特性の推定が可能となる。また、重み係数は容量が少ないため、保存や転送時に有利である。
【０１１３】
なお、上記実施形態では、撮像素子としてBayer型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、色差線順次型補色フィルタを用いることも可能であるし、二板，三板撮像素子の利用も可能である。また、別体の撮像部で撮像された2枚の映像信号を未処理のRawデータ形態で、さらに撮像条件や撮像系に関する分光特性などの付随情報をへッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。
【０１１４】
さらに、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの2種類の映像信号を未処理のままのRawデータとして、制御部118からの撮像条件や撮像系に関する分光特性などをへッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０１１５】
図１８(a)は、本発明の第２の実施形態における信号処理のソフトウェア処理に関するフローチャートを示す。なお、図１２(a)に示す第１の実施形態における信号処理のフローチャートと同一な処理ステップＳに関しては、同一な符号を割り当てている。ステップＳ1にて、2種類の映像信号と撮像条件や撮像系に関する分光特性などのへッダ情報を読み込む。ステップＳ60にて、補間処理を行い三板の映像信号を生成する。ステップＳ2にて、２種類の映像信号から図１４(a)に示される注目領域を包含する局所領域を順次抽出する。ステップＳ61にて注目領域に関するノイズ量を算出する。ステップＳ62にて、全局所領域の抽出が完了したかを判断し、完了していない場合はステップＳ2へ、完了した場合はステップＳ63へ分岐する。ステップＳ63にて、信頼性としてノイズ量の平均値を算出する。ステップＳ64にて、信頼性に基づき(12)式に示される縮小率を求め、２種類の映像信号の縮小処理を行う。ステップＳ65にて、別途説明するように分光特性を推定する。ステップＳ66にて、推定された分光特性を本来の映像信号と同サイズになるよう拡大処理する。ステップＳ6にて、図１２(e)に示されるように推定された分光特性に基づき色処理を行う。ステップＳ8にて、公知のエッジ強調処理や圧縮処理などが行われる。ステップＳ9にて、処理後の信号が出力され終了する。
【０１１６】
図１８(b)は、上記ステップＳ65における分光特性推定に関するフローチャートである。なお、図１２(d)に示す第１の実施形態における分光特性推定のフローチャートと同一な処理ステップＳに関しては、同一な符号を割り当てている。ステップＳ40にて、2つの縮小処理された映像信号間で差分処理が行われる。ステップＳ41にて、撮像系の分光感度特性、被写体用の基底関数、照明光用の基底関数、(6)式に示される撮像系のシステムマトリックスの逆行列を読み込む。ステップＳ42にて、(6)式に基づき被写体の分光反射率特性を近似する基底関数に対する重み係数を算出する。ステップＳ70にて、(14)式に基づき照明光の分光反射率特性を近似する基底関数に対する重み係数を算出する。
【０１１７】
［第３の実施形態］
図１９乃至図２５は本発明の第３の実施形態に係り、図１９は第３の実施形態の撮影構成図、図２０は検証部の構成図、図２１はラベル付与に関する説明図、図２２は補正部の構成図、図２３は推定部の構成図、図２４は色処理部の構成図、図２５は第３の実施形態の信号処理のフローチャートを示している。
【０１１８】
[構成]
図１９は本発明の第３の実施形態の構成図である。本実施形態は、図１に示す第１の実施形態に、補間部1102，バッファ1103が追加され、CCD102がCCD1 1100およびCCD2 1101へ、検証部112が検証部1104へ、補正部113が補正部1105へ、推定部114が推定部1106へ、色処理部115が色処理部1107へ置換され、ストロボ120が削除された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成要素には同一の名称と符号を付している。以下、異なる部分のみを説明する。
【０１１９】
レンズ系100，絞り101を介して入射された光束は、プリズム系により2方向に分岐されCCD1 1100およびCCD2 1101へ到達する。CCD1 1100およびCCD2 1101による映像信号は、Gain104にて増幅され、A/D105にてデジタル信号へ変換され、バッファ106へ転送される。バッファ106は、PreWB部107，測光評価部108，合焦点検出部109，補間部1102へ接続されている。補間部1102は、バッファ1103を介して抽出部111へ接続されている。抽出部111は、検証部1104および補正部1105へ接続されている。検証部1104は補正部1105へ、補正部1105は推定部1106へ接続されている。推定部1106は、色処理部1107および出力部117へ接続されている。色処理部1107は、信号処理部116へ接続されている。制御部118は、CCD1 1100，CCD2 1101，補間部1102，検証部1104，補正部1105，推定部1106，色処理部1107と双方向に接続されている。さらに、CCD2 1101の近傍に配置された温度センサ103からの信号は制御部118へ接続されている。
【０１２０】
[作用]
基本的に第１の実施形態と同等であり、異なる部分のみ説明する。図１９において、信号の流れに沿って説明する。  
外部I/F部119を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100，絞り101を介して入射された光束は、プリズム系により2方向に分岐されCCD1 1100およびCCD2 1101にて映像信号が生成される。本実施形態においては、CCD1 1100およびCCD2 1101にともBayer型原色フィルタを前面に配置した単板ＣＣＤを想定するが、両者の分光感度特性は異なるものとする。これは、図２(a)に示す赤(R)，青(B)，緑(Gr，Gb)フィルタの分光透過特性を異ならしても良いし、CCD2 1101の前面のみにさらに着色されたフィルタを設置しても良い。本実施形態においては、CCD1 1100を通常の分光感度特性を有し、CCD2 1101を異なる分光感度特性を有するものと想定する。２つのCCDからの映像信号は、Gain104，A/D105を介してバッファ106へ転送される。PreWB部107，測光評価部108，合焦点検出部109にて、第１の実施形態と同様に、CCD1 1100からの映像信号に基づき本撮影のための撮影条件が設定される。
【０１２１】
次に、外部I/F部119を介してシャッターボタンを全押しにすることにより本撮影が行われる。本実施形態においては、１回の本撮影にてCCD1 1100およびCCD2 1101から2つの映像信号が得られることになるが、説明の便宜上CCD1 1100からの映像信号を1回目の映像信号、CCD2 1101から映像信号を2回目の映像信号と称することとする。補間部1102は、制御部118の制御に基づき、１回目および2回目の映像信号に対して公知に補間処理を行い、RGB三信号が全て揃った三板の信号を生成する。補間部701では図１４(a)に示すような三板の映像信号を生成する。補間部1102で生成された2つの三板の映像信号は、バッファ1103へ転送される。抽出部111は、制御部118の制御に基づき、第２の実施形態における図１４(a)に示されるような1×1画素の注目領域を中心とする5×5画素サイズの局所領域をRGB三信号ごとに順次抽出する。なお、上記局所領域は１回目の映像信号と２目目の映像信号から同位置にて抽出されるため、局所領域は２つ存在することになる。
【０１２２】
検証部1104は、制御部118の制御に基づき、抽出部111から上記２つの局所領域を読み込み、分光特性推定における信頼性を検証する。このとき、検証部1104は、図１４と同様に映像信号を輝度信号と色差信号とに分離し、その後にノイズを算出するほかに色相を算出することで、ノイズと色相の2つを併せて信頼性を算出する。信頼性の結果は、補正部1105へ転送される。補正部1105は、制御部118の制御に基づき、抽出部111から上記２つの局所領域を、検証部1104から信頼性の結果を読み込み、上記２つの注目領域に関して補正処理を行う。
【０１２３】
補正された２つの注目領域は推定部1106へ転送される。推定部1106は、制御部118の制御に基づき、補正部1105から補正された2つの注目領域を読み込み、被写体または照明光に関する分光特性を推定する。推定された分光特性は、色処理部1107へ転送される。なお、必要に応じて推定された分光特性を出力部117へ転送し、別途図示しない記録媒体に保存することも可能である。色処理部1107は、制御部118の制御に基づき、推定部1106から推定された分光特性を読み込み、所定の色処理を行う。本実施形態においては、輝度，色相，彩度処理を組み合わせたに色処理を想定する。色処理がなされた注目領域は順次信号処理部116へ転送される。上記抽出部111，検証部1104，補正部1105，推定部1106，色処理部1107の処理は、制御部118の制御に基づき局所領域単位で同期して行われる。
【０１２４】
図２０は検証部1104の構成の一例を示すもので、第１の実施形態の図３に示される検証部112にラベル付与部1202を追加し、輝度色差分離部200を輝度色差分離部1200へ、信頼性算出部207を信頼性算出部1201へ置換し、エッジ算出部203，動き算出部205を削除した構成になっている。基本構成は図３に示される検証部112と同等であり、同一の構成要素には同一の名称と符号を付している。以下、異なる部分のみ説明する。
【０１２５】
図２０において、抽出部111は、輝度色差分離部1200を介してバッファ201へ接続している。バッファ201は、ノイズ算出部202および色相算出部204へ接続している。ノイズ算出部202および色相算出部204は、バッファ206へ接続している。バッファ206は、信頼性算出部1201，ラベル付与部1202を介して補正部1105へ接続している。制御部118は、輝度色差分離部1200，信頼性算出部1201，ラベル付与部1202と双方向に接続されている。輝度色差分離部1200は、制御部118の制御に基づき、抽出部111から２つの局所領域を読み込み、輝度信号と色差信号へ分離する。これは、第２の実施形態における図１４(a)および(b)に示される。注目領域R22，G22，B22における輝度信号Ｙと色差信号Cb，Crは(11)式で算出される。2つの局所領域から算出された輝度信号と色差信号はバッファ201へ転送される。ノイズ算出部202は、制御部118の制御に基づき、バッファ201から輝度信号を、制御部118から撮影時のISO感度，簡易ホワイトバランス係数，露光条件，温度センサ103からの温度情報を読み込み画素ごとにノイズ量を算出する。上記ノイズ量は２つの局所領域ごとに独立して求められる。ノイズ算出部202は、算出された2つの局所領域間のノイズ量を画素単位で比較し、ノイズ量の大きい方を選択してバッファ206へ転送する。色相算出部204は、制御部118の制御に基づき、バッファ201から色差信号を読み込み、(2)式に基づき画素ごとの色相信号を算出する。上記色相信号は１目目の映像信号の局所領域に対してのみ求められる。色相算出部204は、算出された色相信号をバッファ206へ転送する.信頼性算出部1201は、制御部118の制御に基づき、バッファ206内のノイズ量Nijおよび色相信号Hij(i=0〜4,j=0〜4)を読み込む。その後、注目領域に対応するノイズ量N22からノイズ量に関する許容範囲NAを設定する。
【０１２６】
NA＝N22±ΔN                                        (15)
ここで、ΔNは所定のノイズ量である。このノイズ量に関する許容範囲NA内にノイズ量がある画素をノイズに関する類似領域として抽出する。また、注目領域に対応する色相信号H２２から色相信号に関する許容範囲HAを設定する。
【０１２７】
HA＝H22±△H                                        (16)
ここで、△Hは所定の色相量である。この色相信号に関する許容範囲HA内に色相信号がある画素を色相に関する類似領域として抽出する。本実施形態では、上記第１の実施形態におけるノイズの平均値NAVなどのような信頼性に関する数値を直接求めてはいない。(15)，(16)式に示される信頼性に関する許容範囲を設定し、この範囲内に属するかにより信頼性を検証する構成となっている。上記抽出されたノイズに関する類似領域およびを色相に関する類似領域はラベル付与部1202へ転送される。ラベル付与部1202は、制御部118の制御に基づき、信頼性算出部1201からのノイズに関する類似領域およびを色相に関する類似領域に関してアンド(AND)処理を行う。この結果に基づき、ノイズおよび色相の両者で類似領域と判断された画素を注目領域と類似する領域として、例えば1のラベルを付与する。一方、ノイズおよび色相のどちらの類似領域にも属さない画素、およびどちらか一方のみ類似領域に属する画素は注目領域と類似しない領域として、例えば0のラベルを付与する。なお、注目領域は必ず1のレベルが付与されることになる。上記ラベル情報は、補正部1105へ転送される。
【０１２８】
図２１は、上記ラベル付与に関する説明図である。図２１(a)は、一例として(A)暗緑，(B)白，(C)明緑の3つの領域からなる入力画像を示す。図２１(b)は、ノイズ量の分布とノイズに関する類似領域の抽出結果を示す。ノイズは輝度レベルにより発生する量が異なるため、(B)白と(C)明緑は同レベルのノイズ量となるが、(A)暗緑は異なるノイズ量となる。ノイズは暗い方が多く(目立ち)、ノイズの分布を出すと、明るい緑と白の部分はノイズ的には余り区別がない。このため、注目領域に対応するノイズ量N22が属する(B)白と(C)明緑の領域が類似領域として抽出されることになる。図２１(c)は、色相信号の分布と色相に関する類似領域の抽出結果を示す。(A)暗緑および(B)白は中性灰色系の色相になり、(C)明緑は線系の色相となる。暗い緑は黒に近く、黒に近いと色の成分は余りないということなので、色相的には白と同様のものとなる。このため、注目領域に対応する色相信号H22が属する(A)暗緑と(B)白の領域が類似領域として抽出されることになる。図２１(d)は、図２１(b)に示されるノイズに関する類似領域と図２１(c)に示される色相に関する類似領域間でAND処理を行い両者の類似領域に共通に含まれる領域にラベル1を、それ以外の領域にラベル0を付与した結果を示している。結果として、注目領域が属する(B)白にラベル1が付与されることになる。注目画素H22を含むラベル１が付与された領域を、次段の補正部1105で分離し、上記分離した領域に関して平均を算出する。ラベル１が付与された部分に相当する領域の画素信号を平均化し注目領域に対する補正値とすることによって、後段の推定部1106の推定におけるノイズの影響を減らすことができる。つまり、補正部1105で推定に悪い影響を与える注目画素を補正してから、推定部1106で推定を行うことになる。
【０１２９】
図２２は補正部1105の構成の一例を示すもので、第１の実施形態の図４に示される補正部113に領域選択部1300を追加し、平滑化部304を平滑化処理手段としての平均算出部1301に置換し、信号分離部302，信号合成部306を削除した構成になっている。基本構成は図４に示される補正部113と同等であり、同一の構成要素には同一の名称と符号を付している。以下、異なる部分のみ説明する。
【０１３０】
図２２において、抽出部111は、バッファ303，平均算出部1301，バッファ305を介して推定部1106へ接続している。検証部1104は領域選択部1300へ、領域選択部1300は平均算出部1301へ接続している。制御部118は、領域選択部1300，平均算出部1301と双方向に接続されている。制御部118の制御に基づき、抽出部111から図１４(a)に示されるような5×5画素サイズのRGB三信号からなる局所領域がバッファ303へ転送される。上記局所領域は、１回目および2回目の映像信号に対して２つ存在する。領域選択部1300は、制御部118の制御に基づき、検証部1104からラベル情報を読み込む。なお、上記ラベル情報は２つの局所領域およびRGB三信号に対して共通に用いられる。検証部1104は、ラベル情報、本実施形態においては１のラベルが付与された画素を選択するよう平均算出部1301へ選択情報を転送する。平均算出部1301は、制御部118の制御に基づき、バッファ303から局所領域を読み込む。この時に、領域選択部1300からの選択情報に基づき注目領域と類似する類似領域のみを読み込む。読み込まれた類似領域に関して加算平均処理がなされ、その平均値が注目領域に対する補正値としてバッファ305へ転送される。上記補正値は2つの局所領域のRGB三信号に関して算出される。バッファ305内の補正された注目領域は、必要に応じて推定部1106へ転送される。
【０１３１】
補正部1105にて補正処理が終わった後には、第１の実施形態で説明したように被写体の分光特性を算出し、加えて第２の実施形態で説明したように照明光の分光特性を算出する。被写体の分光特性及び照明光の分光特性の全ての分光特性が得られた後、色処理部1107ではその得られた分光特性を用いて色々な調整（例えば、輝度調整，色相調整，彩度調整）を自在に行えるようにしている。
【０１３２】
図２３は推定部1106の構成の一例を示すもので、第１の実施形態の図８に示される推定部114に被写体分光特性算出部1400，被写体基底ベクトル用ROM1401，照明光重み係数算出部1402，照明光分光特性算出部1403，照明光基底ベクトル記録手段としての照明光基底ベクトル用ROM1404が追加された構成になっている。基本構成は図８に示される推定部114と同等であり、同一の構成要素には同一の名称と符号を付している。以下、異なる部分のみ説明する。
【０１３３】
図２３において、補正部1105は、差分処理部400および照明光重み係数算出部1402へ接続している。分光特性用ROM403は、被写体重み係数算出部402および照明光重み係数算出部1402へ接続している。被写体重み係数算出部402は、被写体分光特性算出部1400および照明光重み係数算出部1402へ接続している。被写体分光特性算出部1400は、バッファ404へ接続している。照明光重み係数算出部1402は、照明光分光特性算出部1403を介してバッファ404へ接続している。バッファ404は、色処理部1107および出力部117へ接続している。被写体基底ベクトル用ROM1401は被写体分光特性算出部1400へ、照明光基底ベクトル用ROM1404は照明光分光特性算出部1403へ接続している。制御部118は、被写体分光特性算出部1400，照明光重み係数算出部1402，照明光分光特性算出部1403と双方向に接続されている。
【０１３４】
差分処理部400は、制御部118の制御に基づき、補正部1105から補正処理がなされたRGB三信号からなる２つの注目領域を読み込む。本実施形態においては、通常の分光感度特性を有するCCD1 1100からの映像信号を１回目の映像信号、異なる分光感度特性を有するCCD2 1101からの映像信号を２回目の映像信号と想定している。差分処理部400は、１回目の映像信号から得られた注目領域と２回目の映像信号から得られた注目領域間で、R，G，Bの信号ごとに差分処理を行う。これによりCCD1 1100とCCD2 1101の分光感度特性の差異による分光感度特性で撮影された場合に相当するRGB三信号CSＲ，CSＧ，CSＢを得る。算出されたRGB三信号CSＲ，CSＧ，CSＢはバッファ401へ転送される。
【０１３５】
分光特性用ROM403は、撮像系の分光特性に関する情報が記録されている。分光特性としては、撮像系の分光感度特性SＲ(λ)，SＧ(λ)，SＢ(λ)、被写体の分光反射率特性O(λ)を近似するための三種類の基底関数O１(λ)，O２(λ)，O３(λ)、照明光の分光放射率特性I(λ)を近似するための三種類の基底関数I１(λ)，I２(λ)，1３(λ)、(6)式に示される撮像系のシステムマトリックスの逆行列Sys−１が記録されている。なお、上記(6)式のシステムマトリックスにおけるストロボ光の分光放射率特性IS(λ)の特性は、本実施形態ではCCD1 1100とCCD2 1101の分光感度特性の差異による分光感度特性に置換されているものとする。
【０１３６】
被写体重み係数算出部402は、制御部118の制御に基づき、バッファ401から差分処理されたRGB三信号CSＲ，CSＧ，CSＢを、分光特性用ROM403からシステムマトリックスの逆行列Sys−１を読み込み、(6)式に基づき基底関数に対する重み係数o１，o２，o３を算出する。算出された上記重み係数は、被写体分光特性算出部1400および照明光重み係数算出部1402へ転送される。被写体基底ベクトル用ROM1401は、被写体の分光反射率特性O(λ)を近似するための三種類の基底関数O１(λ)，O２(λ)，O３(λ)を記録しており、上記基底関数を被写体分光特性算出部1400へ転送する。被写体分光特性算出部1400は、制御部118の制御に基づき、被写体重み係数算出部402から重み係数o１，o２，o３を、被写体基底ベクトル用ROM1401から基底関数O１(λ)，O２(λ)，O３(λ)を読み込み、(5)式に基づき被写体の分光反射率特性O(λ)を算出する。算出された被写体の分光反射率特性O(λ)は、バッファ404へ転送される。
【０１３７】
一方、照明光重み係数算出部1402は、制御部118の制御に基づき、補正部1105から1回目の映像信号CLＲ，CLＧ，CLＢを読み込む。１回目の映像信号は、通常の分光感度特性を有するCCD1 1100により撮影された映像信号である。また、被写体重み係数算出部402から重み係数o１，o２，o３を、分光特性用ROM403から撮像系の分光感度特性SＲ(λ)，SＧ(λ)，SＢ(λ)および被写体用の基底関数O１(λ)，O２(λ)，O３(λ)および照明光用の基底関数I１(λ)，I２(λ)，I３(λ)を読み込む。その後、(14)式に基づき基底関数に対する重み係数i１，i２，i３を算出する。算出された上記重み係数は、照明光分光特性算出部1403へ転送される。照明光基底ベクトル用ROM1404は、照明光の分光放射率特性I(λ)を近似するための三種類の基底関数I１(λ)，I２(λ)，I３(λ)を記録しており、上記基点関数を照明光分光特性算出部1403へ転送する。
【０１３８】
照明光分光特性算出部1403は、制御部118の制御に基づき、照明光重み係数算出部1402から重み係数i１，i２，i３を、照明光基底ベクトル用ROM1404から基底関数I１(λ)，I２(λ)，1３(λ)を読み込み、(13)式に基づき被写体の照明光の分光放射率特性I(λ)を算出する。算出された照明光の分光放射率特性I(λ)は、バッファ404へ転送される。バッファ404内の被写体の分光反射率特性O(λ)および照明光の分光放射率特性I(λ)は色処理部1107へ転送される。また、必要に応じて出力部117へも転送することができる。なお、上記推定部1106の構成では、説明の便宜上処理に必要な分光特性を分光特性用ROM403，被写体基底ベクトル用ROM1401，照明光基底ベクトル用ROM1404の三カ所に分離し、一部の情報を重複して記録していたが、これを一つのROMにまとめる構成も可能である。
【０１３９】
図２４は色処理部1107の構成の一例を示すもので、第１の実施形態の図１０に示される色処理部115に輝度調整部1500，色相調整部1501，彩度調整部1502が追加され、混合部503が削除された構成になっている。基本構成は図１０に示される色処理部115と同等であり、同一の構成要素には同一の名称と符号を付している。以下、異なる部分のみ説明する。
【０１４０】
図２４において、推定部1106は、輝度調整部1500，色相調整部1501，彩度調整部1502を介して再現色算出部500へ接続している。再現色算出部500は、信号処理部116へ接続している。制御部118は、輝度調整部1500，色相調整部1501，彩度調整部1502と双方向に接続されている。
【０１４１】
輝度調整部1500は、制御部118の制御に基づき、推定部1106から被写体の分光反射率特性O(λ)を読み込み、これに所定の係数kＬ(kＬは0以上の実数)を乗算する。これにより、輝度レベルの調整が可能となる。なお、分光反射率特性O(λ)が上限の1.0を超えた場合には、1.0へ置換される。輝度レベルの調整が行われた分光反射率特性O(λ)は、色相調整部1501へ転送される。
【０１４２】
色相調整部1501は、制御部118の制御に基づき、輝度調整部1500から輝度レベルの調整が行われた分光反射率特性O(λ)を読み込む。上記分光反射率特性O(λ)に対して、所定の色相範囲内、例えば肌色に相当する色相範囲内を波長方向にkc(kcは正負の実数)だけ平行移動する。これにより、所定の色相範囲を任意の色相へ近づけることが可能となる。また、色相の連続性を確保するため、調整する色相範囲の両端に調整範囲を設け、この調整範囲を圧縮、伸張することで色相の連続性を確保する。上記の色相の調整は、複数の色相域で行うことができる。色相の調整が行われた分光反射率特性O(λ)は、彩度調整部1502へ転送される。
【０１４３】
彩度調整部1502は、制御部118の制御に基づき、色相調整部1501から色相の調整の調整が行われた分光反射率特性O(λ)を読み込む。上記分光反射率特性O(λ)に対して、その曲事を鮮鋭化または平滑化することで彩度の調整を行う。鮮鋭化または平滑化処理は、公知の波形成形処理を用いて実行される。曲率を鮮鋭化させることは彩度を上げることを、平滑化させることは彩度を下げることを意味する。上記彩度の調整は、全色相域に対して行うことも、特定の色相域のみ行うことも可能である。彩度の調整が行われた分光反射率特性O(λ)は、再現色算出部500へ転送される。
【０１４４】
再現色算出部500は、第１の実施形態と同様に、(7)式に基づき任意の光源下での再現色CAＲ，CAＧ，CAＢを算出する。なお、(7)式における被写体の分光反射率特性を示すΣoiOi(λ)は、彩度調整部1502からの輝度，色相，彩度の調整が完了した被写体の分光反射率特性O(λ)に置換されたものとする。算出された再現色CAＲ，CAＧ，CAＢは、信号処理部116転送される。なお、上記色処理部1107の構成では、被写体の分光反射率特性O(λ)のみを用いており、照明光の分光放射率特性I(λ)は使用していない構成となっているが、このような構成に限定される必要はない。例えば、第１の実施形態と同様に照明光用ROM502に記録されている光源の分光放射率特性IA(λ)と推定された照明光の分光放射率特性I(λ)を混合することで、主観的に好ましい画像が得る構成も可能である。
【０１４５】
上記構成により、映像信号に含まれるノイズ，色相に基づき信頼性を求め、信頼性に基づき選択した類似領域を平均化処理した後に分光特性の推定を行う。このため、分光特性の推定精度を適切な範囲内とすることが保証可能となる。また、分光特性が異なる複数のカラー撮像系を用いて一度の撮影で分光特性が異なる複数の映像信号を取得するため、動体に関しても高精度な分光特性の推定が可能となる。また、推定すべき分光特性を少数の基底関数の線形結合でモデル化し、上記基底関数に関する重み係数を算出するため、従来のカラー撮像系を用いて被写体の分光特性の推定が可能となる。また、重み係数は容量が少ないため、保存や転送時に有利である。さらに、被写体および照明光の分光特性を求めるため、後段の色処理や他の用途への利用が容易となる。また、推定された分光特性を用いて輝度調整，色相調整，彩度調整を行うため、高精度な調整が可能となる。
【０１４６】
なお、上記実施形態では、撮像素子としてBayer型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、色差線順次型補色フィルタを用いることも可能である。また、別体の撮像部で撮像された2枚の映像信号を未処理のRawデータ形態で、さらに撮像条件や撮像系に関する分光特性などの付随情報をへッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。
【０１４７】
さらに、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD1 1100およびCCD2 1101からの2種類の映像信号を未処理のままのRawデータとして、制御部118からの撮像条件や撮像系に関する分光特性などをへッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０１４８】
図２５(a)は、本発明の第３の実施形態における信号処理のソフトウェア処理に関するフローチャートを示す。なお、図１２(a)に示す第１の実施形態における信号処理のフローチャートと同一な処理ステップＳに関しては、同一な符号を割り当てている。ステップＳ1にて、2種類の映像信号と撮像条件や撮像系に関する分光特性などのへッダ情報を読み込む。ステップＳ80にて、補間処理を行い三板の映像信号を生成する。ステップＳ2にて、2種類の映像信号から図１４(a)に示される注目領域を包含する局所領域を順次抽出する。ステップＳ81にて、別途説明するように信頼性を算出する。ステップＳ82にて、別途説明するように信頼性に基づき映像信号を補正する。ステップＳ83にて、別途説明するように分光特性を推定する。ステップＳ84にて、別途説明するように推定された分光特性に基づき色処理を行う。ステップＳ7にて、全局所領域の抽出が完了したかを判断し、完了していない場合はステップＳ2へ、完了した場合はステップＳ8へ分岐する。ステップＳ8にて、公知のエッジ強調処理や圧縮処理などが行われる。ステップＳ9にて、処理後の信号が出力され終了する。
【０１４９】
図２５(b)は、上記ステップＳ81における信頼性検証に関するフローチャートである。なお、図１２(b)に示す第１の実施形態における信頼性検証のフローチャートと同一な処理ステップＳに関しては、同一な符号を割り当てている。ステップＳ90にて、局所領域から(11)式に基づき図１４(b)に示される輝度信号と色差信号を算出する。ステップＳ21にて、図２１(b)に示されるように輝度信号に基づき局所領域に関するノイズ量を画素単位で算出する。ノイズ量は2つの局所領域ごとに独立して求められ、ノイズ量の大きい方が選択される。ステップＳ23にて、図２１(c)に示されるように色差信号に基づき1回目の映像信号の局所領域に関する色相信号を画素単位で算出する。なお、色相信号は(2)式により算出される。ステップＳ91にて、(15)式に基づきノイズに関する類似領域を、(16)式に基づき色相に関する類似領域を算出し、それらをAND処理することで信頼性の高い類似領域を求める。ステップＳ92にて、上記類似領域に基づき図２１(d)に示されるようにラベルを付与する。
【０１５０】
図２５(c)は、上記ステップＳ82における映像信号補正に関するフローチャートである。ステップＳ100にて、ラベルに基づき類似領域を選択する。ステップＳ101にて、選択された類似領域の平均値を算出する。  
図２５(d)は、上記ステップＳ83における分光特性推定に関するフローチャートである。なお、図１２(d)に示す第１の実施形態における分光特性推定のフローチャートと同一な処理ステップに関しては、同一な符号を割り当てている。ステップＳ40にて、２つの注目領域間で差分処理が行われる。ステップＳ41にて、撮像系の分光感度特性、被写体の分光反射率特性を近似するための三種類の基底関数、照明光の分光放射率特性を近似するための三種類の基底関数、(6)式に示される撮像系のシステムマトリックスの逆行列を読み込む。ステップＳ42にて、(6)式に基づき被写体の分光反射率特性を近似する基底関数に対する重み係数を算出する。ステップＳ110にて、(5)式に基づき被写体の分光反射率特性を算出する。ステップＳ111にて、(14)式に基づき照明光の分光放射率特性を近似する基底関数に対する重み係数を算出する。ステップＳ112にて、(13)式に基づき被写体の照明光の分光放射率特性を算出する。
【０１５１】
図２５(e)は、上記ステップＳ84における色処理に関するフローチャートである。なお、図１２(e)に示す第１の実施形態における色処理のフローチャートと同一な処理ステップＳに関しては、同一な符号を割り当てている。ステップＳ120にて、被写体の分光反射率特性に所定の係数を乗算することで、輝度レベルの調整を行う。ステップＳ121にて、輝度レベルの調整がなされた被写体の分光反射率特性に対して、所定の色相範囲内を波長方向に平行移動することで、所定の色キ目範囲の調整を行う。ステップＳ122にて、色相の調整が行われた分光反射率特性に対して、その曲率を鮮鋭化または平滑化することで彩度の調整を行う。ステップＳ50にて、撮像系の分光感度特性および被写体の分光反射率特性を近似するための三種類の基底関数を読み込む。ステップＳ51にて、光源の分光放射率特性を読み込む。ステップＳ52にて、(7)式に基づき再現色を算出する。
【産業上の利用可能性】
【０１５２】
本発明は、分光特性の測定及び推定が必要なデジタルカメラ等の撮像システムに広く利用することが可能である。
【図面の簡単な説明】
【０１５３】
【図１】本発明の第１の実施形態の撮像システムの構成図。
【図２】局所領域に関する説明図。
【図３】図１における検証部の構成図。
【図４】図１における補正部の構成図。
【図５】信号の分離合成に関する説明図。
【図６】平滑化フィルタに関する説明図。
【図７】平滑化フィルタの選択に関する説明図。
【図８】図１における推定部の構成図。
【図９】図１における別構成の推定部の構成図。
【図１０】図１における色処理部の構成図。
【図１１】本発明の第１の実施形態の別形態の撮像システムの構成図。
【図１２】本発明の第１の実施形態の信号処理のフローチャート。
【図１３】本発明の第２の実施形態の撮像システムの構成図。
【図１４】局所領域に関する説明図。
【図１５】図１３における検証部の構成図。
【図１６】図１３における補正部の構成図。
【図１７】図１３における推定部の構成図。
【図１８】本発明の第２の実施形態の信号処理のフローチャート。
【図１９】本発明の第３の実施形態の撮像システムの構成図。
【図２０】図１９における検証部の構成図。
【図２１】ラベル付与に関する説明図。
【図２２】図１９における補正部の構成図。
【図２３】図１９における推定部の構成図。
【図２４】図１９における色処理部の構成図。
【図２５】本発明の第３の実施形態の信号処理のフローチャート。
【符号の説明】
【０１５４】
１１１…抽出部（抽出手段）
１１２，７０３，１１０４…検証部（検証手段）
１１３，７０４，１１０５…補正部（補正手段）
１１４，７０５，１１０６…推定部（補正手段）
１１５，１１０７…色処理部（色処理手段）
１１８…制御部（照明制御手段、フィルタ制御手段）
１２０…ストロボ（照明手段）
２０２…ノイズ算出部（ノイズ量算出手段）
２０３…エッジ算出部（エッジ量算出手段）
２０４…色相算出部（色相情報算出手段）
２０５…動き算出部（動き量算出手段）
２０７，８０１，１２０１…信頼性算出部（信頼性算出手段）
３００…フィルタ選択部（フィルタ選択手段）
３０１…フィルタ用ＲＯＭ（フィルタ記録手段）
３０４…平滑化部（平滑化処理手段）
４００…差分処理部（差分処理手段）
４０２…被写体重み係数算出部（被写体重み係数算出手段）
４０３，５０１…分光特性用ＲＯＭ（分光特性記録手段）
４０５…被写体分光特性算出部（被写体分光特性算出手段）
４０６…被写体基底ベクトル用ＲＯＭ（被写体基底ベクトル記録手段）
５００…再現色算出部（再現色算出手段）
５０２…照明光用ＲＯＭ（照明光記録手段）
５０３…混合部（混合手段）
７００…液晶フィルタ（フィルタ手段）
７０６…拡大部（拡大処理手段）
９００…縮小率選択部（縮小率選択手段）
９０１…縮小処理部（縮小処理手段）
１０００，１４０２…照明光重み係数算出部（照明光重み係数算出手段）
１３００…領域選択部（領域選択手段）
１３０１…平均算出部（平滑化処理手段）
１４０３…照明光分光特性算出部（照明光分光特性算出手段）
１４０４…照明光基底ベクトル用ＲＯＭ（照明光基底ベクトル記録手段）
１５００…輝度調整部（輝度調整手段）
１５０１…色相調整部（色相調整手段）
１５０２…彩度調整部（彩度調整手段）
【図１】
2008005246.tif 000007
【図２】
2008005246.tif 000008
【図３】
2008005246.tif 000009
【図４】
2008005246.tif 000010
【図５】
2008005246.tif 000011
【図６】
2008005246.tif 000012
【図７】
2008005246.tif 000013
【図８】
2008005246.tif 000014
【図９】
2008005246.tif 000015
【図１０】
2008005246.tif 000016
【図１１】
2008005246.tif 000017
【図１２】
2008005246.tif 000018
【図１３】
2008005246.tif 000019
【図１４】
2008005246.tif 000020
【図１５】
2008005246.tif 000021
【図１６】
2008005246.tif 000022
【図１７】
2008005246.tif 000023
【図１８】
2008005246.tif 000024
【図１９】
2008005246.tif 000025
【図２０】
2008005246.tif 000026
【図２１】
2008005246.tif 000027
【図２２】
2008005246.tif 000028
【図２３】
2008005246.tif 000029
【図２４】
2008005246.tif 000030
【図２５】
2008005246.tif 000031