(57)【要約】【課題】被写体に応じた高品位な画像を撮影可能な映像信号処理装置と映像信号処理方法、および映像信号処理プログラムの提供。【解決手段】ＣＣＤ１０２を介して撮影された映像信号は、Ａ／Ｄ１０４を経てバッファ１０５へ転送され、バッファ１０５内の映像信号は、測光評価部１０６、距離情報算出部１０８、信号処理部１１０へ転送される。距離情報算出部１０８で撮像装置と被写体までの距離情報を算出し、レンズ制御部１０７、補正係数算出部１１２へ転送する。補正係数算出部１１２では、距離情報算出部１０８を介して得られる撮像装置と被写体間の距離情報に基づき補正係数を算出する。変換部１１１では、局所領域のヒストグラムと補正係数算出部１１２にて算出された補正係数を用いて階調変換曲線を設定し、映像信号に対して階調変換処理を行う。【選択図】    図１
2007329619.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から得られた撮影対象の映像信号に対し階調変換処理を行う映像信号処理装置において、
前記撮影対象と前記撮影手段との距離情報を取得する距離情報取得手段と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行う階調変換手段とを有することを特徴とする映像信号処理装置。
【請求項２】
前記階調変換手段は、前記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記距離情報に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、前記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段とを更に有することを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記階調変換手段は、前記距離情報に対し所定の階調変換曲線を記憶する階調変換曲線記憶手段を更に有することを特徴とする請求項１に記載の映像信号処理装置。
【請求項４】
前記距離情報を用いて前記映像信号の注日画素に対する補正係数を算出する補正係数算出手段と、前記注目画素に対し前記補正係数を用いて階調変換処理を行う階調変換手段とを有することを特徴とする請求項１に記載の映像信号処理装置。
【請求項５】
前記映像信号の輝度分布を算出する輝度分布算出手段と、前記距離情報取得手段で取得した距離情報と、前記輝度分布算出手段で算出した輝度分布とに基づいて撮影状況の推定を行う撮影状況推定手段と、前記距離情報および前記撮影状況の情報を用いて前記映像信号の注日画素に対する補正係数を算出する補正係数算出手段と、前記注目画素に対し前記補正係数を用いて階調変換処理を行う階調変換手段とを有することを特徴とする請求項１に記載の映像信号処理装置。
【請求項６】
前記階調変換手段は、前記注日画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記補正係数と前記ヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段とを更に有することを特徴とする請求項４に記載の映像信号処理装置。
【請求項７】
前記階調変換手段は、前記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、前記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段とを更に有することを特徴とする請求項４に記載の映像信号処理装置。
【請求項８】
前記階調変換手段は、輝度に対し所定の階調変換曲線を記憶する階調変換曲線記憶手段と、前記補正係数に基づき上記階調変換曲線を変更する階調曲線変更手段とを更に有することを特徴とする請求項４に記載の映像信号処理装置。
【請求項９】
撮像手段により撮像対象の映像信号を取得する段階と、前記撮影対象と前記撮影手段との距離情報を取得する段階と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行う段階と、からなることを特徴とする映像信号処理方法。
【請求項１０】
撮像手段により撮像対象の映像信号を取得する段階と、前記撮影対象と前記撮影手段との距離情報を取得する段階と、前記距離情報を用いて前記映像信号の注目画素に対する補正係数を算出する段階と、前記注目画素に対し前記補正係数を用いて適応的に階調変換処理を行う段階と、からなることを特徴とする映像信号処理方法。
【請求項１１】
コンピュータに、撮影時の未処理の映像信号を読み込ませる手順と、撮影対象と撮影手段との距離情報を取得させる手順と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行わせる手順と、を実行させることを特徴とする映像信号処理プログラム。
【請求項１２】
コンピュータに、撮影時の未処理の映像信号を読み込ませる手順と、信号処理された前記映像信号により距離情報を算出する手順と、前記距離情報に基づき補正係数を算出する手順と、前記信号処理された前記映像信号により注目画素を中心とする局所領域を順次抽出する手順と、前記抽出した領域のヒストグラムを作成する手順と、前記補正係数に基づき前記ヒストグラムに対してクリッピング処理を行う手順と、前記クリッピング処理後のヒストグラムを累積，正規化することで階調変換曲線を生成する手順と、前記階調変換曲線に基づき注目画素に対して階調変換処理を行う手順と、を実行させることを特徴とする映像信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に対する信号処理を行う映像信号処理装置と映像信号処理方法、および映像信号処理プログラムに係わり、特に、映像信号に対する階調変換処理を行う映像信号処理装置と映像信号処理方法、および映像信号処理プログラムに関するものである。
【背景技術】
【０００２】
一般的なデジタルカメラやビデオカメラ等の電子カメラ（映像信号処理装置）において、デジタル信号処理での階調飛びなどのまるめ誤差による画質劣化を防止するために、入力および処理系における信号の階調ビット幅を出カ信号の階調ｂｉｔ幅より広く設定する場合がある。この場合、出カ系の階調ビット幅に合致するように入力系の信号に対して階調変換を行う必要がある。
【０００３】
従来は、標準的なシーンに対する固定的な階調変換により処理が行われていた。また、固定的に階調変換を行わずに、映像信号を複数の領域に分割し、各領域ごとに独立に階調変換を行う手法も提案されている。例えば、特許文献１ではテクスチャ情報に基づき映像信号を複数の領域に分割し、分割した各領域に対して適応的に階調変換を行う例が開示されている。
【０００４】
また、特許文献２には、被写体までの距離情報を用いて主要被写体領域を検出し、検出した領域に重点を置いて撮影時の露光量を制御する例が開示されている。特許文献２に示されている方法では、測距した情報を基に主要被写体領域を抽出し、抽出した領域に重点を置いて露光量の制御を行っているため、主要被写体に応じた適切な露光が行える。
【０００５】
【特許文献１】特開２００１−１１８０６２号公報
【特許文献２】特開平５―６８２０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来技術では、映像信号全体に対して平均的に階調の圧縮を行うか、またはγ変換などの固定的な階調変換を行っていた。この場合、逆光などの標準的なシーンとは異なる場合に主要被写体が適切な階調とならず、主観的に好ましい画像にならないという課題がある。
【０００７】
特許文献１に示される方法では、領域ごとに独立に階調変換を行うために、逆光のような明暗比の大きいシーンでも好ましい画像が得られるが、個々の階調変換に制限が設けられていない。そのため、極端な階調変換が行われる場合があり、ノイズ成分の増加や色再現の破綻、階調飛びによる画質劣化などの副作用の発生が新たな課題となる。さらに、画像中で手前と奥に存在する領域が同様のヒストグラム分布を持つ場合にも同じ階調変換処理が行われるため、コントラスト感の欠落した平坦な画像となってしまうという問題があった。
【０００８】
特許文献２に示される方法では、主要被写体と背景の明暗の比が大きいシーンでは、背景に対しては適切な露光が行われないため、極喘に明るくなったり暗くなったりするという課題がある。また、上記方法では、距離の最も近い領域を主要被写体の領域であるとしているが、主要被写体として撮影したい物体の手前に他の物体が存在する場合、その手前の物体に適切な露光量で撮影を行ってしまうため、主要被写体に応じた適切な階調の高品位な画像を得ることができないという問題があった。
【０００９】
本発明は、上記問題点に鑑み、映像信号に対して、被写体に応じた高品位な階調変換を行なう映像信号処理装置と映像信号処理方法、および映像信号処理プログラムの提供を目的とする。
【課題を解決するための手段】
【００１０】
（１）上記目的を達成するために、本発明の映像信号処理装置は、撮像手段から得られた撮像対象の映像信号に対し．階調変換処理を行う映像信号処理装置において、前記撮影対象と前記撮影手段との距離情報を取得する距離情報取得手段と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行う階調変換手段とを有することを特徴とする。
【００１１】
（１）の発明に関する実施形態は、図１〜図７に示される第１の実施形態および図８〜図１３に示される第２の実施形態が対応する。（１）の発明の構成である距離情報取得手段は、図１、図８に示される距離情報算出部１０８が該当し、階調変換手段は、図１、図２、図５、図７に示される変換部１１１が該当する。この発明の好ましい適用例は、図１、図８に示される距離情報算出部１０８にて被写体との距離を求め、変換部１１１にて各注目画素に対して距離情報を用いて階調変換処理を行う映像信号処理装置である。
【００１２】
（１）の発明は、入力映像信号の注目画素ごとに距離情報を基に独立に階調変換処理を行う。このような構成としているので、明暗比の小さなシーンに対しても主観的に好ましい映像信号が得られる。
【００１３】
（２）の発明は、（１）の発明において、前記階調変換手段は、前記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記距離情報に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、前記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段とを更に有することを特徴とする。
【００１４】
（２）の発明に関する実施の形態は、図１〜図７に示される第１の実施形態、および図８〜図１３に示される第２の実施形態が対応する。（２）の発明の構成であるヒストグラム算出手段は、図２のヒストグラム作成部２０３が該当し、クリッピング手段は、図２のクリッピング部２０４が該当する。また、階調変換曲線設定手段は、図２の階調曲線作成部２０６が該当する。この発明の好ましい適用例は、ヒストグラム作成部２０３にて注目画素および近傍領域のヒストグラムを算出し、クリッピング２０４にて上記ヒストグラムのクリンプ処理を行い、階調曲線作成部２０６にて上記クリップ処理後のヒストグラムに基づき階調変換曲線の設定を行う映像信号処理装置である。
【００１５】
（２）の発明は、注目画素および近傍領域のヒストグラムを作成し、クリッピング処理を行った後に階調変換曲線を設定する。このような構成としているので、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻などの副作用を抑制できる。さらに、階調変換曲線の設定と制限の設定を一体化することで低コストの装置構成が可能となる。
【００１６】
（３）の発明は、（１）の発明において、前記階調変換手段は、前記距離情報に対し所定の階調変換曲線を記憶する階調変換曲線記憶手段、を更に有することを特徴とする。（３）の発明に関する実施形態は、図１〜図７に示される第１の実施形態、および図８〜図１３に示される第２の実施形態が対応する。（３）の発明の構成である階調変換記憶手段は、図７の階調変換曲線ＲＯＭ２０８が該当する。この発明の好ましい適用例は、図７に示されている階調変換曲線ＲＯＭ２０８にて距離に対する所定の標準的な階調変換曲線を読み込み、読み込んだ階調変換曲線を用いて階調変換処理を行う映像信号処理装置である。
【００１７】
（３）の発明は、距離に対する標準的な階調変換曲線を設定し、入力映像信号の注目画素ごとに距離情報を基に独立に階調変換処理を行う。このような構成としているので、距離に対応する標準的な階調変換曲線を固定的に設定することにより、高速な処理が可能となる。
【００１８】
（４）の発明は、（１）の発明において、前記距離情報を用いて前記映像信号の注日画素に対する補正係数を算出する補正係数算出手段と、前記注目画素に対し前記補正係数を用いて階調変換処理を行う階調変換手段とを有することを特徴とする。
【００１９】
（４）の発明に関する実施の形態は、図１〜図７に示される第１の実施形態が対応する。（４）の発明の構成である距離情報取得手段は、図１に示される距離情報算出部１０８が該当し、構成補正係数算出手段は、図１、図２、図５に示される補正係数算出部１１２が該当する。また、階調変換手段は、図１、図２、図５、図７に示される変換部１１１が該当する。この発明の好ましい適用例は、距離情報算出部１０８にて被写体との距離を求め、補正係数算出部１１２にて階調変換処理に関する補正係数を算出し、変換部１１１にて各注目画素に対して補正係数を用いて階調変換処理を行う映像信号処理装置である。
【００２０】
（４）の発明は、入力映像信号の注目画素ごとに距離情報を基に階調変換を制限するための補正係数を算出し、この補正係数を用いて独立に階調変換処理を行う。このような構成としているので、明暗比の小さなシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻などの副作用を抑制できる。さらに、階調変換処理と階調変換に対する制限設定を一体化することで低コストの装置構成が可能となる。
【００２１】
（５）の発明は、（１）の発明において、前記映像信号の輝度分布を算出する輝度分布算出手段と、前記距離情報取得手段で取得した距離情報と、前記輝度分布算出手段で算出した輝度分布とに基づいて撮影状況の推定を行う撮影状況推定手段と、前記距離情報および前記撮影状況の情報を用いて前記映像信号の注日画素に対する補正係数を算出する補正係数算出手段と、前記注目画素に対し前記補正係数を用いて階調変換処理を行う階調変換手段と、を有することを特徴とする。
【００２２】
（５）の発明に関する実施形態は、図８〜図１３に示される第２の実施形態が対応する。（５）の発明の構成である距離情報取得手段は、図７に示される距離情報算出部１０８が該当し、輝度分布算出手段は、図８に示される測光評価部１０６が該当する。また、撮影状況推定手段は、図８、図９に示される撮影状況推定部１１７が該当し、補正係数算出手段は、図８、図９に示される補正係数算出部１１２が該当する。さらに、階調変換手段は、図８に示される変換部１１１が該当する。この発明の好ましい適用例である映像信号処理装置は、距離情報算出部１０８にて被写体との距離を求め、測光評価部１０６にて映像信号の輝度分布を算出する。また、撮影状況推定部１１７にてレンズ制御部１０７で取得した距離情報と上記測光評価部１０６で算出した輝度分布に基づいて撮影状況の判定を行い、楠正係数算出部１１２にて上記距離情報と上記撮影状況の情報を用いて階調変換処理に関する補正係数を算出する。さらに、変換部１１１にて各注日画素に対して補正係数を用いて階稠変換処理を行う。
【００２３】
（５）の発明は、入力信号の注目画素ごとに距離情報と撮影状況の情報を基に階調変換を制限するための補正係数を算出し、この補正係数を用いて独立に階調変換処理を行う。このような構成としているので、撮影シーンごとに階調変換を制限するための補正係数の算出が可能となり、より高品位な映像信号が得られる。
【００２４】
（６）の発明は、（４）の発明において、前記階調変換手段は、前記注日画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記補正係数と上記ヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段と、を更に有することを特徴とする。
【００２５】
（６）の発明に関する実施形態は、図１〜図７に示される第１の実施形態、および図８〜図１３に示される第２の実施形態が対応する。（６）の発明の構成であるヒストグラム算出手段は、図２のヒストグラム作成部２０３が該当し、クリッピング手段は、図２のクリッピング部２０４が該当する。また、階調変換曲線設定手段は、図２の階調曲線作成部２０６が該当する。この発明の好ましい適用例は、ヒストグラム作成部２０３にて注目画素および近傍領域のヒストグラムを算出し、階調曲線作成部２０６にて補正係数算出部１１０で算出した補正係数と上記ヒストグラムに基づき階調変換曲線の設定を行う映像信号処理装置である。
【００２６】
（６）の発明は、注日画素、および近傍領域のヒストグラムと補正係数に基づき階調変換曲線を設定する。このような構成としているので、明暗比の大きいシーンに対しても高品位な映像信号が得られる。
【００２７】
（７）の発明は、（４）の発明において、前記階調変換手段は、前記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、前記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、上記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段と、を更に有することを特徴とする。（７）の発明は、図１〜図７に示される第１の実施形態、および図８〜図１３に示される第２の実施形態が対応する。（７）の発明の構成であるヒストグラム算出手段は、図２のヒストグラム作成部２０３が該当し、クリッピング手段は、図２のクリッピング部２０４が該当する。また、階調変換曲線設定手段は、図２の階調曲線作成部２０６が該当する。この発明の好ましい適用例は、ヒストグラム作成部２０３にて注目画素および近傍領域のヒストグラムを算出し、クリッピング２０４にて補正係数算出部１１２で算出した補正係数を用いて上記ヒストグラムのクリンプ処理を行い、階調曲線作成部２０６にて上記クリップ処理後のヒストグラムに基づき階調変換曲線の設定を行う映像信号処理装置である。
【００２８】
（７）の発明は、注目画素および近傍領域のヒストグラムを作成し、補正係数に基づきクリッピング処理を行った後に階調変換曲線を設定する。このような構成としているので、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻などの副作用を抑制できる。さらに、階調変換曲線の設定と制限の設定を一体化することで低コストの装置構成が可能となる。
【００２９】
（８）の発明は、（４）の発明において、前記階調変換手段は、輝度に対し所定の階調変換曲線を記憶する階調変換曲線記憶手段と、前記補正係数に基づき上記階調変換曲線を変更する階調曲線変更手段と、を更に有することを特徴とする。（８）の発明に関する実施形態は、図１〜図７に示される第１の実施形態、および図８〜図１３に示される第２の実施形態が対応する。（８）の発明の構成である階調変換記憶手段は、図５の階調変換曲線ＲＯＭ２０８が該当し、階調曲線変更手段は、図５の階調曲線変更部２０９が該当する。この発明の好ましい適用例は、階調変換曲線ＲＯＭ２０８にて輝度に対する所定の標準的な階調変換曲線を読み込み、階調曲線変更部２０９にて補正係数算出部１１２で算出した補正係数を用いて上記階調変換曲線の変換を行う映像信号処理装置である。
【００３０】
（８）の発明は、輝度に対する標準的な階調変換曲線を設定し、補正係数に基づき階調変換曲線の変更を行う。このような構成としているので、標準的な階調変換曲線を固定的に設定することにより、高速な処理が可能となる。
【００３１】
（９）上記目的を達成するために、本発明の映像信号処理方法は、撮像手段により撮像対象の映像信号を取得する段階と、前記撮影対象と前記撮影手段との距離情報を取得する段階と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行う段階と、からなることを特徴とする。
【００３２】
（９）の発明の適用例をその構成と共に説明する。（９）の発明は、図１〜図７に示されている第１の実施形態、図８〜図１３に示されている第２の実施形態が対応する。（９）の発明の構成である「撮像手段により撮像対象の映像信号を取得する段階」は、図１、図８に示されているＣＣＤ１０２による撮影が該当する。「前記撮影対象と前記撮影手段との距離情報を取得する段階」は、図１、図８の距離情報算出部１０８の処理が該当する。「前記距離情報を用いて前記映像信号の注目画素に対し前記補正係数を用いて適応的に階調変換処理を行う段階」は、図１、図８の変換部１１１の処理が該当する。（９）の発明の好ましい適用例は、前記のように図１、図８に示されている撮像装置（映像信号処理装置）における画像処理方法である。しかしながら、（９）の発明は、図１、図８に示されている構成の撮像装置における映像信号処理方法には限定されず、前記各段階の処理を行う構成を備えた映像信号処理装置であれば、適用可能である。
【００３３】
（９）の発明は、撮影手段により撮影対象の映像信号の取得、前記撮影対象と前記撮影手段との距離情報の取得、前記距離情報を用いて前記映像信号の注目画素に対し階調変換処理を行う処理、を一連の工程で行っているので、適切な階調でノイズの増加や色再現の破綻などの副作用の少ない、被写体に応じた高品位な画像を生成することができる。
【００３４】
（１０）本発明の映像信号処理方法は、撮像手段により撮像対象の映像信号を取得する段階と、前記撮影対象と前記撮影手段との距離情報を取得する段階と、前記距離情報を用いて前記映像信号の注目画素に対する補正係数を算出する段階と、前記注目画素に対し前記補正係数を用いて適応的に階調変換処理を行う段階と、からなることを特徴とする。
【００３５】
（１０）の発明の適用例をその構成と共に説明する。（１０）の発明は、図１〜図７に示されている第１の実施形態、図８〜図１３に示されている第２の実施形態が対応する。（１０）の発明の構成である「撮像手段により撮像対象の映像信号を取得する段階」は、図１、図８に示されているＣＣＤ１０２による撮影が該当する。「前記撮影対象と前記撮影手段との距離情報を取得する段階」は、図１、図８の距離情報算出部１０８の処理が該当する。「前記距離情報を用いて前記映像信号の注目画素に対する補正係数を算出する段階」は、図１、図８の補正係数算出部１１２の処理が該当する。「前記注目画素に対し前記補正係数を用いて適応的に階調変換処理を行う段階」は、図１、図８の変換部１１１の処理が該当する。（１０）の発明の好ましい適用例は、前記のように図１、図８に示されている撮像装置（映像信号処理装置）における画像処理方法である。しかしながら、（１０）の発明は、図１、図８に示されている構成の撮像装置における映像信号処理方法には限定されず、前記各段階の処理を行う構成を備えた映像信号処理装置であれば、適用可能である。
【００３６】
（１０）の発明は、撮影手段により撮影対象の映像信号の取得、前記撮影対象と前記撮影手段との距離情報の取得、前記距離情報を用いて前記映像信号の注目画素に対する補正係数の算出、前記注目画素に対し前記補正係数を用いて適応的に階調変換処理を行う処理、を一連の工程で行っているので、適切な階調でノイズの増加や色再現の破綻などの副作用の少ない、被写体に応じた高品位な画像を生成することができる。
【００３７】
（１１）上記目的を達成するために、本発明の映像信号処理プログラムは、コンピュータに、撮影時の未処理の映像信号を読み込ませる手順と、撮影対象と撮影手段との距離情報を取得させる手順と、前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行わせる手順と、を実行させることを特徴とする。
【００３８】
（１１）の発明の適用例をその構成と共に説明する。（１１）の発明は、図１〜図７に示されている第１の実施形態、図８〜図１３に示されている第２の実施形態が対応する。（１０）の発明の構成である「撮影時の未処理の映像信号を読み込ませる手順」は、コンピュータに、図２に記載されているＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１５からの撮影時の情報をヘッダ情報として出力した映像信号を読み込ませる処理に相当する。「撮影対象と撮影手段との距離情報を取得させる手順」は、図１、図８の距離情報算出部１０８の処理をコンピュータが処理することに該当する。「前記距離情報を用いて前記映像信号の注目画素に対して階調変換処理を行わせる手順」は、図１、図８の変換部１１１の処理をコンピュータが処理することに該当する。
【００３９】
（１２）本発明の映像信号処理プログラムは、コンピュータに、撮影時の未処理の映像信号を読み込ませる手順と、信号処理された前記映像信号により距離情報を算出する手順と、前記距離情報に基づき補正係数を算出する手順と、前記信号処理された前記映像信号により注目画素を中心とする局所領域を順次抽出する手順と、前記抽出した領域のヒストグラムを作成する手順と、前記補正係数に基づき前記ヒストグラムに対してクリッピング処理を行う手順と、前記クリッピング処理後のヒストグラムを累積，正規化することで階調変換曲線を生成する手順と、前記階調変換曲線に基づき注目画素に対して階調変換処理を行う手順と、
を実行させることを特徴とする。
【００４０】
（１２）の発明の適用例をその構成と共に説明する。（１２）の発明は、図６に示されている第１の実施形態、図１３に示されている第２の実施形態が対応する。（１２）の発明の構成は、図６、図１３の各Ｓｔｅｐと対応している。すなわち、「撮影時の未処理の映像信号を読み込ませる手順」は、Ｓｔｅｐ１、「信号処理された映像信号により距離情報を算出する手順する手順」は、Ｓｔｅｐ５、「前記距離情報に基づき補正係数を算出する手順」は、Ｓｔｅｐ６、「前記信号処理された映像信号により注目画素を中心とする局所領域を順次抽出する手順」は、Ｓｔｅｐ３、「前記抽出した領域のヒストグラムを作成する手順」は、Ｓｔｅｐ４、「前記補正係数に基づき前記ヒストグラムに対してクリッピング処理を行う手順」は、Ｓｔｅｐ７、「前記クリッピング処理後のヒストグラムを累積，正規化することで階調変換曲線を生成する手順」は、Ｓｔｅｐ８、「前記階調変換曲線に基づき注目画素に対して階調変換処理を行う手順」は、Ｓｔｅｐ９、にそれぞれ対応する。
【００４１】
（１１）、（１２）の発明の映像信号処理プログラムによれば、ノイズの増加や色再現の破綻などの副作用の少ない、被写体に応じた高品位な画像が得られる。
【発明の効果】
【００４２】
本発明によれば、映像信号に対して、副作用の少ない、被写体に応じた高品位な階調変換を行なう映像信号処理装置と映像信号処理方法、および映像信号処理プログラムを得ることができる。
【発明を実施するための最良の形態】
【００４３】
以下、本発明の第１の実施形態について図を参照して説明する。第１の実施形態は、図１〜図７に示されている。図１は第１の実施形態の構成図、図２は変換部１１１の構成図、図３はクリップ処理の説明図、図４は線形補間の説明図、図５は変換部１１１の第２の構成図、図６は第１の実施形態における階調変換処理のフローチャート、図７は変換部１１１の第３の構成図である。
【００４４】
第１の実施形態の構成を図１により説明する。レンズ系１００、絞り１０１、ＣＣＤ１０２を介して撮影された映像は、Ａ／Ｄ変換器１０４（以下、本発明の明細書、図面では単にＡ／Ｄ１０４と表記することがある）にてデジタル信号に変換される。Ａ／Ｄ１０４からの映像信号は、バッファ１０５を介して測光評価部１０６、距離情報算出部１０８、信号処理部１１０へ転送される。測光評価部１０６は、絞り１０１、ＣＣＤ１０２に接続されており、距離情報算出部１０８は、レンズ制御部１０７、補正係数算出部１１２に接続されている。レンズ制御部１０７はＡＦモータ１０３に接続されており、赤外線センサ１０９は距離情報算出部１０８に接続されている。補正係数算出部１１２は、変換部１１１に接続されており、信号処理部１１０は変換部１１１に接続されている。変換部１１１は圧縮部１１３に接続されており、圧縮部１１３は出カ部１１４に接続されている。マイクロコンピュータなどの制御部１１５は、Ａ／Ｄ１０４、測光評価部１０６、レンズ制御部１０７、距離情報算出部１０８、赤外線センサ１０９、信号処理部１１０、変換部１１１、補正係数算出部１１２、圧縮部１１３、出力部１１４と双方向に接続されている。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部１／Ｆ部１１６も、制御部１１５と双方向に接続されている。
【００４５】
次に、第１の実施形態について図１に示す信号の流れに沿って説明する。外部１／Ｆ部１１６を介して、ＩＳＯ感度、シャッター速度などの撮影条件のパラメータを設定した後に、シャンターボタンを半押しにすることでプリ撮影モードに入る。レンズ系１００、絞り１０１、ＣＣＤ１０２を介して撮影された映像信号は、Ａ／Ｄ１０４にてデジタル信号に変換されてバッファ１０５へ転送される。ここで、本実施形態においては、デジタル化された映像信号の階調幅を例えば１２ビットとする。バッファ１０５内の映像信号は、測光評価部１０６、距離情報算出部１０８、信号処理部１１０へ転送される。測光評価部１０６では、映像信号中の輝度レベルを求めて、適正露光となるよう絞り１０１やＣＣＤ１０２の電子シャッター速度などを制御する。距離情報算出部１０８では、外部赤外線センサ１０９を用いて撮像装置と被写体までの距離を示す距離情報を算出する。あるいは、映像信号のコントラスト情報を検出し、画像中の距離情報を得たい位置においてコントラストが最大となるようにＡＦモータ１０３を制御することで合焦画像を取得する。当該合焦画像が得られるときのレンズ位置（あるいはＡＦモータの制御情報）から距離情報を算出する。算出された距離情報は、レンズ制御部１０７、補正係数算出部１１２へ転送される。
【００４６】
次に、外部１／Ｆ部１１６を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。木撮影は、測光評価部１０６にて求められた露光条件と、レンズ制御部１０７によって求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部１１５ヘ転送される。バッファ１０５内の映像信号は、信号処理部１１０へ転送される。信号処理部１１０は、制御部１１５の制御に基づきバッファ１０５上の単板状態の映像信号を読み込み、公知の補間処理、ホワイトバランス処理、強調処理などが行われた三板状態の信号を生成し、変換部１１１へ転送する。補正係数算出部１１２では、距離情報算出部１０８を介して得られる撮像装置と被写体間の距離を示す距離情報に基づいて、階調変換曲線の物性に変化を与えるための補正係数を算出する。例えば、距離に対して階調変換曲線の傾斜が単調に抑制されるように補正係数を算出する。なお、本実施形態においては、距離情報算出剖１０８で得られる距離情報は映像信号中の複数点であるとする。外部赤外線センサ１０９を用いて画像上の複数領域に対応する位置での距離情報を算出したり、画素あるいは複数画素を包含する複数領域に対応する位置での映像信号のコントラストから距離情報を算出したりすることで、複数点の距離情報を取得する。変換部１１１では、局所領域のヒストグラム、および補正係数算出部１１２にて算出された補正係数を用いて階調変換曲線を設定し、映像信号に対して階調変換処理を行う。階調変換処理後の映像信号は、圧縮部１１３へ転送される。圧縮部１１３では、変換部１１１を介して得られた映像信号に対して、公知のＪＰＥＧなどの圧縮処理を行い、圧縮処理後の映像信号は出力部１１４へ転送される。出力部１１４では、圧縮した信号をメモリカードなどへ記録、保存する。
【００４７】
図２は変換部１１１の構成の一例を示すものである。図２において、変換部１１１は、バッファ２００、局所領域抽出部２０１、代表点抽出部２０２、ヒストグラム作成部２０３、クリッピング部２０４、累積正規化部２０５、階調曲線作成部２０６、階調変換部２０７からなる。信号処理部１０８は、バッファ２００に接続されており、バッファ２００および代表点抽出部２０２は局所領域抽出部２０１に接続されている。局所領域抽出部２０１は、ヒストグラム作成部２０３に接続されており、ヒストグラム作成部２０３、および補正係数算出部１１２はクリッピング部２０４に接続されている。
【００４８】
クリッピング部２０４は、累積正規化部２０５に接続されており、累積正規化部２０５は階調曲線作成部２０６に接続されている。階調曲線作成部２０６は、階調変換部２０７に接続されており、階調変換部２０７は圧縮部１１３に接続されている。制御部１１５は、局所領域抽出部２０１、代表点抽出部２０２、ヒストグラム作成部２０３、クリッピング部２０４、累積正規化部２０５階調曲線作成部２０６、階調変換部２０７と双方向に接続されている。
【００４９】
信号処理部１１０から転送される映像信号は、バッファ２００に保存される。代表点抽出部２０２は、制御部１１５を介して、距離情報算出部１０８にて被写体との距離情報が得られている映像信号の代表点を一点、あるいは複数点抽出する。局所領域抽出部２０１は、代表点抽出部２０２にて抽出された代表点の画素を中心とした所定のサイズの矩形領域、例えば本例では１６×１６画素単位の局所領域を抽出する。ヒストグラム作成部２０３では、局所領域抽出部２０１で抽出された局所領域ごとにヒストグラムを作成し、作成したヒストグラムの情報をクリッピング部２０４へ転送する。クリッピング部２０４は、処理対象の代表点の距離情報を用いて補正係数算出部１１２にて得られた補正係数に基づいて、ヒストグラム作成部２０３で作成したヒストグラムに対してクリップ処理を行う。
【００５０】
図３はクリップ処理の説明図である。図３（ａ）は、ヒストグラム作成部２０３からのオリジナルのヒストグラムと、縦軸の頻度に対するクリップ値を示している。第３図（ｂ）は、クリップ処理によりクリップ値以上の頻度をクリップ値に置換したヒストグラムを示す。第３図（ｃ）は、オリジナルのヒストグラムとクリップ処理後のヒストグラムを累積、正規化して得られた階調変換曲線を示す。クリップ処理によりヒストグラムの頻度を抑制し、その結果、階調変換曲線の傾斜が抑制される。クリップ処理におけるクリップ値を低めに設定すると、信号に対するゲインを低くすると共に、局所領域におけるコントラストをあまり変えない。これに対して、クリップ処理におけるクリップ値を高めに設定すると、信号に対するゲインを高くすると共に、局所領域におけるコントラストを高める効果がある。本実施例では、クリップＣは（１）式で算出する。
【００５１】
【数１】
2007329619.tif 000003
【００５２】
ここで、Ｗは所定の重み係数を、Ｎは局所領域内の総画素数を表す。ｋ（ｄ）は補正係数算出部１１２から得られた距離ｄに関する補正係数を表す。補正係数ｋ（ｄ）は、距離情報で示される距離ｄに関して単調減少となる形が望ましく、例えば、（２）式の関数で表される。
【００５３】
【数２】
2007329619.tif 000004
【００５４】
ここで、ｃｏｎｓｔは所定の定数を表す。（２）式に示されているように、撮像装置から被写体までの距離が近い程、階調変換曲線を生成するためのクリップ値を高く設定し、階調変換処理によってコントラストが高くなるようにする。クリップ処理されたヒストグラムは、累積正規化部２０５に転送される。累積正規化部２０５は、ヒストグラムを累積することで累積ヒストグラムを作成し、これを階調幅に合わせて正規化することで階調変換曲線を生成する。
【００５５】
本実施形態では、映像信号の階調幅を１２ビットとするため、上記階調変換曲線は１２ビット入力１２ビット出カとなる。上記階調変換曲線は、階調曲線作成部２０６に転送される。階調曲線作成部２０６では、累積正規化部２０５で得られた複数点における階調変換曲線をもとに、映像信号の全画素における階調変換曲線を算出する。距離情報の得られていない画素位置がある場合には、階調変換曲線の算出は、例えば図４に示す線形補間処理にて行う。本実施形態では注目画素（ｘ、ｙ）の階調変換曲線ｆ（ｘ、ｙ）を、周囲の４点の画素を用いて（３）式で算出する。
【００５６】
【数３】
2007329619.tif 000005
【００５７】
（３）式の計算は、図４のＡ点とＢ点の値を、最初にそれぞれの左右の値を用いて線形補間することにより求め、さらに求めたＡ，Ｂの点を縦方向に線形補間する。同様に、同図のＣ点とＤ点の値を、それぞれ上下の値を用いて線形補間することにより求め、さらにＣ，Ｄ点の横方向に線形補間して、画素（ｘ、ｙ）の階調変換曲線ｆ（ｘ、ｙ）を算出する。算出された上記階調変換曲線は、階調変換部２０７へ転送される。階調変換部２０７は、階調曲線作成部２０６から転送される階調変換曲線に基づき、バッファ２００上の注目画素を階調変換処理する。その後、出力時の階調幅（本実施例では８ビットと仮定）に適合するように除算処理を行う。８ビットの映像信号は圧縮部１１３へ転送される。なお、上記例では局所領域のヒストグラムに基づく階調変換曲線を算出しているが、このような構成に限定される必要はない。
【００５８】
例えば、図５に示されるように、予め設定した階調変換曲線を用いる構成も可能である。図５は、図２に示す変換部１１１の構成において、局所領域抽出部２０１、ヒストグラム作成部２０３、クリッピング部２０４、累積正規化部２０５を省略し、階調変換曲線ＲＯＭ２０８および階調曲線変更部２０９を追加した構成になっている。基本構成は、第２図に示す変換部と同等であり、同一の構成には同一の名称と番号を付している。以下、異なる部分のみ説明する。
【００５９】
階調変換曲線ＲＯＭ２０８は、階調曲線変更部２０９へ接続されている。補正係数算出部１１２は、階調曲線変更部２０９へ接続されており、階調曲線変更部２０９は階調曲線作成部２０６に接続されている。階調曲線変更部２０９は、補正係数算出部１１２の補正係数に基づき、階調変換曲線ＲＯＭ２０８から読み込まれる階調変換曲線を補正する。例えば、入力輝度値ｉ（ｉ＝０〜１）に対する階調変換曲線がγ（ｉ）で与えられていれば、補正された階調変換曲線γ′（ｉ）は（４）式で表される。
【００６０】
【数４】
2007329619.tif 000006
【００６１】
階調変換曲線ＲＯＭ２０８には、予め輝度値と階調変換曲線との間の関係を記録する。ここでは、例えば、距離ｄに関する補正係数ｋ（ｄ）は、距離ｄの大きさに応じて補正係数ｋ（ｄ）の値が大きくなるよう設定することが望ましい。このように、標準的な階調変換曲線を予め設定しておくことにより、処理速度を高速化することができる。上記補正された階調変換曲線は、階調変換作成部２０６へ転送される。以後の処理は、図２で説明した処理と同等である。
【００６２】
上記図５の構成により、被写体までの距離に応じた適応的な階調変換曲線を得ることができる。このような適応的な階調変換曲線により、距離に応じて適切な階調特性を有し、奥行き感のある主観的に好ましい画像が得られる。階調変換処理は従来と同一構成で、補正処理を追加する形態となるため、従来の装置との親和性が高く実装が容易となる。階調変換曲線はヒストグラムに基づき設定されるため、多様なシーンに対して適応的に階調変換処理を行うことが可能となり、明暗比の大きなシーンに対しても高品位な映像信号を得ることができる。また、領域ごとに独立に階調特性に対する制限を設定することにより、ノイズ成分の増加や色再現の破綻などの副作用を抑制できる。さらに、標準的な階調変換曲線を固定的に設定することにより、高速な処理が可能となる。
【００６３】
なお、上記構成例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。映像信号処理を所定の段階を経て実施する構成、すなわち、映像信号処理方法として構成することができる。さらに、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１５からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。図６は、本発明にかかる第１の実施形態における階調変換処理のソフトウェア処理に関するフローチャートを示す。Ｓｔｅｐ１にて、未処理の映像信号と撮像条件などの付隨情報を含むヘッダ情報を読み込む。Ｓｔｅｐ２にて、公知の補間処理，ホワイトバランス処理，強調処理などを行う。Ｓｔｅｐ２にて信号処理された映像信号は、一方でＳｔｅｐ５にて、距離情報を算出し、Ｓｔｅｐ６で上記距離情報に基づき補正係数を算出する。また、Ｓｔｅｐ２にて信号処理された映像信号は、他方でＳｔｅｐ３にて、代表点を中心とする局所領域を順次抽出する。次に、Ｓｔｅｐ４にて、抽出した局所領域のヒストグラムを作成する。
【００６４】
Ｓｔｅｐ７にて、Ｓｔｅｐ６からの補正係数に基づきＳｔｅｐ４で得られたヒストグラムに対してクリッピング処理を行う。Ｓｔｅｐ８にて、クリッピング処理後のヒストグラムを累積，正規化することで階調変換曲線を生成する。Ｓｔｅｐ３〜Ｓｔｅｐ８の処理は、距離情報を算出できる代表点すべてに対して行う。
Ｓｔｅｐ９にて、Ｓｔｅｐ８からの階調変換曲線に基づき注目画素に対して階調変換処理を行う。Ｓｔｅｐ１０にて、全注目画素が完了したか否かを判断し、全注目画素が完了していない場合はＳｔｅｐ９へ移行し、全注目画素が完了した場合はＳｔｅｐ１１へ移行する。Ｓｔｅｐ１１にて、公知のＪＰＥＧなどの圧縮処理を行う。Ｓｔｅｐ１２にて、処理後の信号が出力されプログラムを終了する。
【００６５】
また、上記図５の構成例では、被写体までの距離情報に基づき各画素に対する補正係数を算出し、算出した補正係数を用いて階調変換曲線を設定していたが、これに限定されるものではない。補正係数を介さずに、距離情報を用いて直接階調変換曲線を設定する構成も可能である。例えば、距離情報の値に対応した階調変換曲線を予め設定しておき、各画素ごとに距離情報に対応する階調変換曲線を選択し、選択した階調変換曲線を用いて階調変換処理を行う方法が考えられる。
【００６６】
図７は、上記処理を行うための変換部１１１の構成の一例を示すものである。図７の構成では、図５に示す構成から、補正係数算出部１１２、階調曲線変更部２０９を省略し、階調曲線設定部２１０を追加した形態となっている。基本構成は図５に示す変換部１１１と同等であり、同一の構成には同一の名称と番号を付している。以下、図５に示す構成と異なる部分のみ説明する。
【００６７】
図７において、階調変換曲線ＲＯＭ２０８は、階調曲線設定部２１０に接続されている。階調曲線設定部２１０は階調曲線作成部２０６に接続されており、制御部１１５は階調曲線設定部２１０へ接続されている。階調変換曲線ＲＯＭ２０８には、予め距離情報と階調変換曲線との間の関係を記億する。階調曲線設定部２１０は、階調変換曲線ＲＯＭ２０８より制御部１１５からの距離情報に応じた階調変換曲線を読み込む。
【００６８】
以後の処理は、図５と同等である。なお、本例のように、階調変換曲線ＲＯＭ２０８に距離情報に応じた階調変換曲線を保存する構成に限定されるものではない。例えば、階調変換曲線ＲＯＭ２０８に、距離情報と輝度情報に対応する階調変換後の出力信号値の関係をテーブルとして予め保存しておき、注目画素の距離情報と輝度情報に基づき、テーブルを参照して階調変換処理を行うことも可能である。
【００６９】
図８〜図１３は、本発明の第２実施形態を示している。図８は第２の実施形態の構成図、図９は撮影状況推定部１１７の構成図、図１０は評価測光用の分割パターンの説明図、図１１は撮影シーンの分類パターンの説明図、図１２は分類パターンに対する階調曲線設定の特性図、図１３は第２の実施形態における階調変換処理のフローチャートである。
【００７０】
本発明の第２の実施形態の構成を、図８により説明する。本実施形態は、第１の実施形態において、撮影推定状況部１１７を追加した構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を付している。以下、第１の実施形態とは異なる部分のみ説明する。測光評価部１０６、レンズ制御部１０７は撮影状況推定部１１７に接続されている。撮影状況推定部１１７は、補正係数算出部１１２に接続されており、制御部１１５は、撮影状況推定部１１７と双方向に接続されている。
【００７１】
次に、第２の実施形態について、図８に示す信号の流れに沿って説明する。第２実施形態は、基本的には第１の実施形態と同等であり、異なる部分のみ説明する。信号処理部１１０にて、公知の補間処理、ホワイトバランス処理、強調処理などが行われた三板状態の映像信号は、変換部１１１へ転送される。撮影状況推定部１１７では、測光評価部１０６にて求められた露光条件、レンズ制御部１０７にて求められた合焦条件に基づき、風景、ポートレート、逆光などの撮影状況を推定し、推定した撮影状況を補正係数算出部１１２へ転送する。
【００７２】
補正係数算出部１１２では、距離情報算出部１０８で得られる被写体までの距離情報と、上記撮影状況推定部１１７からの撮影状況に関する情報に基づき補正係数を算出する。変換部１１１では、局所領域のヒストグラム、および補正係数算出部１１２にて算出された補正係数を用いて階調変換曲線を設定し、映像信号に対して階調変換処理を行う。階調変換処理後の映像信号は、圧縮部１１３へ転送される。
【００７３】
図９は撮影状況推定部１１７の構成の一例を示すものであり、撮影状況推定部１１７は、被写体分布推定部３００、合焦位置推定部３０１、統合部３０２からなる。測光評価部１０６およびレンズ制御部１０７からの情報が、被写体分布推定部３００および合焦位置推定部３０１へ転送される。被写体分布推定部３００、合焦位置推定部３０１は統合部３０２へ接続されており、統合部３０２は補正係数算出部１１２に接続されている。合焦位置推定部３０１では、制御部１１５を介して距離情報算出部１０８から距離情報を得る。合焦位置での距離情報に基づき、被写体を、例えば風景（５ｍ以上）、ポートレート（ｌｍ〜５ｍ）の２種類に分類し、この分類結果を合焦情報として統合部３０２へ転送する。
【００７４】
一方、被写体分布推定部３００は、制御部１１５を介して測光評価に関する情報を得る。図１０は、測光評価用の分割パターンの一例を示す説明図であり、１３個の領域に分割し、各領域ごとに輝度値（ａi、ｉ＝１〜１３）を得る。被写体分布推定部３０１は、各領域の輝度値ａｉから、測光情報として例えば（５）式のパラメータを算出する。これにより輝度分布を算出する。
【００７５】
【数５】
2007329619.tif 000007
【００７６】
Ｓは中心領域と端領域の差の絶対値を求めるものであり、例えばポートレート撮影時に、暗所でストロボを焚いて撮影した場合にはＳの値が正の大きな値となり、逆光の環境で撮影した場合には、Ｓの値が負の大きな値となる。被写体分布推定部３００では、上記のような測光情報を算出し統合部３０２に転送する。統合部３０２は、合焦および測光情報に基づき撮影状況を推定する。
【００７７】
図１１は、合焦および測光情報から４種類の撮影状況を推定する場合を示す説明図である。図１１の例では、３種類のポートレート（Ｔｙｐｅ１〜Ｔｙｐｅ３）と、風景（Ｔｙｐｅ４）に分類されている。合焦情報からポートレートに分類された場合には、測光情報のパラメータＳを所定の閾値ｔｈと比較することで、標準シーン（Ｔｙｐｅ１）と、暗所ストロボシーン（Ｔｙｐｅ２）と、逆光シーン（Ｔｙｐｅ３）に分類できる。結合部３０２は、上記撮影状況を補正係数算出部１１２へ転送する。
【００７８】
図１２は、図１１に示す４種類の撮影状況に対応する、補正係数算出部１１２における補正係数の算出方法を示す説明図である。例えば、Ｔｙｐｅｌに分別された場合は、被写体までの距離の近い画素ほどゲインを大きく上げ、距離の遠い画素ほどゲインをほぼ変化させないように補正係数を算出する。具体的には、（２）式より距離に応じたクリップ値を設定し、代表点画素近傍領域より生成したヒストグラムのクリップ処理を行う、もしくは距離に応じて最適な処理を行う階調変換曲線を選択する。Ｔｙｐｅ２に分別された場合は、距離の近い画素の輝度が全体的に高くなり、距離の遠い画素の輝度が全体的に低くなるので、距離の近い画素ほどゲインを下げ、距離の遠い画素ほどゲインを大きく上げるよう、補正係数を算出する。具体的には、（２）式の定数ｃｏｎｓｔに距離ｄを積算してクリップ値を設定し、ヒストグラムのクリップ処理を行う、もしくは距離に応じた最適な階調変換曲線を選択する。
【００７９】
撮影状況がＴｙｐｅ３に分別された場合は、距離の近い画素ほど輝度が全体的に低くなるのに対して、距離の遠い画素ほど輝度が全体的に高くなるので、距離の近い画素ほどゲインを高くし、距離の遠い画素ほどゲインが低くなるよう、補正係数、もしくは階調変換曲線を選択する。Ｔｙｐｅ４の場合は、主要被写体が距離の遠い場所に存在するので、距離の遠い画素ほどゲインを大きく上げるよう補正係数、もしくは階調変換曲線を選択する。
【００８０】
上記構成により、被写体までの距離と撮影状況に関する情報に基づいた適応的な階調変換曲線を得ることができる。撮影時に撮影シーンを推定し補正係数を求めるため、撮影シーンごとに階調変換処理を制御することが可能となり、被写体に応じた主観的に好ましい画像が得られる。なお、上記構成例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。映像信号処理を所定の段階を経て実施する構成、すなわち、映像信号処理方法として構成することができる。さらに、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１５からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００８１】
図１３は、本発明の第２の実施形態における階調変換処理のソフトウェア処理に関するフローチャートを示す。なお、図６に示す第１の実施形態における階調変換処理のフローチャートと同一の処理ステップに関しては、同一のＳｔｅｐ数を付している。Ｓｔｅｐ１にて、未処理の映像信号と撮像条件などの付随情報を含むヘッダ情報を読み込む。Ｓｔｅｐ２にて、公知の補間処理，ホワイトバランス処理，強調処理などを行う。Ｓｔｅｐ２にて信号処理された映像信号は、一方でＳｔｅｐ５にて、距離情報を算出し、この距離情報に基づいて上述のように合焦情報を得る。例えば風景、ポートレートの２種類に合焦位置の推定を行う。Ｓｔｅｐ１３にて、測光評価に基づき、例えば逆光や暗所でストロボなどに応じて変化する輝度分布を算出する。Ｓｔｅｐ１４にて、上記合焦位置および撮影環境を統合し、例えば図１１に示す４種類のタイプに撮影状況を分類する。Ｓｔｅｐ６で、推定されたシーンのタイプに基づき補正係数を算出する。
【００８２】
また、Ｓｔｅｐ２にて信号処理された映像信号は、他方でＳｔｅｐ３にて、注目画素を中心とする局所領域を順次抽出する。次に、Ｓｔｅｐ４にて、抽出した領域のヒストグラムを作成する。Ｓｔｅｐ７にて、Ｓｔｅｐ６からの補正係数に基づきＳｔｅｐ４で得られたヒストグラムに対してクリッピング処理を行う。Ｓｔｅｐ８にて、クリッピング処理後のヒストグラムを累積、正規化することで階調変換曲線を生成する。これまでの処理は、距離情報を算出できる代表点すべてに対して行う。Ｓｔｅｐ９にて、Ｓｔｅｐ８からの階調変換曲線に基づき注目画素に対して階調変換処理を行う。Ｓｔｅｐ１０で、全注目画素が完了したか否かを判断し、全注目画素が完了していない場合はＳｔｅｐ３へ移行し、全注目画素が完了した場合はＳｔｅｐ１１へ移行する。Ｓｔｅｐ１１にて、公知のＪＰＥＧなどの圧縮処理を行う。Ｓｔｅｐ１２にて、処理後の信号が出力されプログラムを終了する。
【００８３】
上記構成例では、合焦および測光情報に基づいて自動的に撮影状況の推定を行っていたが、これに限定されることはなく、手動により撮影状況を指定する構成も可能である。
【産業上の利用可能性】
【００８４】
以上説明したように、本発明によれば、被写体に応じた高品位な階調変換を行なう映像信号処理装置と映像信号処理方法、および映像信号処理プログラムを提供することができる。このような映像信号処理装置は、特に撮像装置に好適に適用される。
【図面の簡単な説明】
【００８５】
【図１】第１の実施形態の構成図である。
【図２】クリップ処理の説明図である。
【図３】線形補間の説明図である。
【図４】第１の実施形態における変換部１１１の第２の構成図である。
【図５】第１の実施形態における変換部１１１の構成図である。
【図６】第１の実施形態における階調変換処理のフローチャートである。
【図７】変換部１１１の第３の構成図である。
【図８】第２の実施形態における構成図である。
【図９】撮影状況推定部１１７の構成図である。
【図１０】評価測光用の分割パターンの説明図である。
【図１１】撮影シーンの分類パターンの説明図である。
【図１２】分類パターンに対する階調曲線設定の特性図である。
【図１３】第２の実施形態における階調変換処理のフローチャートである。
【符号の説明】
【００８６】
１００・・・レンズ系、１０２・・・ＣＣＤ、１０６・・・測光評価部、１０７・・・レンズ制御部、１０８・・・距離情報算出部、１１１・・・変換部、１１２・・・補正係数算出部、１１７・・・撮影状況推定部、２０３・・・ヒストグラム作成部、２０４・・・クリッピング部、２０６・・・階調曲線作成部、２０８・・・階調変換曲線ＲＯＭ、２０９・・・階調曲線変更部、３００・・・合焦点位置推定部、３０１・・・被写体分布推定部
【図１】
2007329619.tif 000008
【図２】
2007329619.tif 000009
【図３】
2007329619.tif 000010
【図４】
2007329619.tif 000011
【図５】
2007329619.tif 000012
【図６】
2007329619.tif 000013
【図７】
2007329619.tif 000014
【図８】
2007329619.tif 000015
【図９】
2007329619.tif 000016
【図１０】
2007329619.tif 000017
【図１１】
2007329619.tif 000018
【図１２】
2007329619.tif 000019
【図１３】
2007329619.tif 000020