(57)【要約】【課題】白飛びや黒つぶれなどを低減して画質を改善するとともに、画質改善の程度を制御できる映像信号処理装置並びにプログラム及び方法を提供することを目的とする。【解決手段】映像信号に対して階調変換を施す階調変換部１０６と、階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する特定領域検出部１０７と、画素毎または所定の領域毎に、被写体までの距離情報と階調情報とが対応付けられた過去の映像信号が格納された過去データ保存部１１０と、距離情報に基づいて特定領域に対応する過去の映像信号の領域を検出し、該領域の階調情報を示す過去階調情報を過去データ保存部１１０から抽出し、過去階調情報を用いて現映像信号の特定領域の階調幅を補正する階調補正部１０８とを有することを特徴とする映像信号処理装置を採用する。【選択図】図１
2009302960.tif 000002
【特許請求の範囲】
【請求項１】
映像信号に対して階調変換を施す階調変換部と、
階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出部と、
画素毎または所定の領域毎に、被写体までの距離情報と階調情報とが対応付けられた過去の映像信号が格納された記憶部と、
前記距離情報に基づいて前記特定領域に対応する過去の映像信号の領域を検出し、該領域の階調情報を示す過去階調情報を前記記憶部から抽出する過去階調情報抽出部と、
前記過去階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正部と
を有することを特徴とする映像信号処理装置。
【請求項２】
映像信号に対して階調変換を施す階調変換部と、
階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出部と、
前記現映像信号から前記特定領域の周辺領域を検出し、該周辺領域の階調情報を示す周辺階調情報を抽出する周辺階調情報抽出部と、
前記周辺階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正部と
を有することを特徴とする映像信号処理装置。
【請求項３】
前記領域検出部によって検出された前記特定領域の周辺領域を検出し、該周辺領域の階調情報を示す周辺階調情報を前記現映像信号から抽出する周辺階調情報抽出部を有し、
前記階調補正部が、前記過去階調情報および前記周辺階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正することを特徴とする請求項１に記載の映像信号処理装置。
【請求項４】
前記過去階調情報抽出部は、
前記記憶部に格納された階調補正後の過去の映像信号から、前記過去階調情報を抽出することを特徴とする請求項１または請求項３に記載の映像信号処理装置。
【請求項５】
前記過去階調情報抽出部は、
前記現映像信号の前記特定領域に対応する過去の映像信号の領域の輝度信号を前記記憶部から抽出する輝度信号抽出部を有し、
前記階調補正部は、
前記輝度信号を用いて前記現映像信号の前記特定領域の階調幅を補正することを特徴とする請求項１および請求項３から請求項４のいずれかに記載の映像信号処理装置。
【請求項６】
前記過去階調情報抽出部は、
前記現映像信号の前記特定領域に対応する過去の映像信号の領域の色信号を前記記憶部から抽出する色信号抽出部を有し、
前記階調補正部は、
前記色信号および前記輝度信号を用いて前記現映像信号の前記特定領域の階調幅を補正することを特徴とする請求項５に記載の映像信号処理装置。
【請求項７】
前記記憶部には、画素毎または所定の領域毎に、被写体までの距離情報と階調情報とが対応付けられた階調補正前または階調補正後の過去の映像信号が格納されており、
前記色信号抽出部は、
前記記憶部に格納されている階調補正前または階調補正後の過去の映像信号から、階調変換前の前記現映像信号における前記特定領域と同じ色信号を有する領域の輝度信号を色信号毎に抽出し、
前記階調補正部は、
前記色信号抽出部により抽出された輝度信号を用いて、色信号毎に前記現映像信号の前記特定領域の階調幅を補正することを特徴とする請求項６に記載の映像信号処理装置。
【請求項８】
前記階調補正部は、
過去の映像信号のヒストグラムに基づいて、色信号毎に前記現映像信号の前記特定領域の輝度信号のヒストグラムを補正するヒストグラム補正部を有し、
該ヒストグラム補正部が、
前記ヒストグラムの累積処理を行って、前記現映像信号の前記特定領域の階調幅を補正することを特徴とする請求項７に記載の映像信号処理装置。
【請求項９】
前記階調補正部によって補正された現映像信号と補正前の現映像信号とを合成する映像信号合成部を有する請求項１から請求項８のいずれかに記載の映像信号処理装置。
【請求項１０】
前記周辺階調情報抽出部は、
前記現映像信号の前記特定領域の周辺領域を検出する周辺検出部と、
前記周辺検出部により検出された前記周辺領域から輝度信号を抽出する周辺輝度信号抽出部とを有し、
前記階調補正部は、
前記周辺領域の輝度信号を用いて前記現映像信号の前記特定領域の階調幅を補正することを特徴とする請求項２または請求項３に記載の映像信号処理装置。
【請求項１１】
前記周辺階調情報抽出部は、
前記周辺検出部により検出された前記周辺領域から色信号を抽出する周辺色信号抽出部を有し、
前記階調補正部は、
前記周辺領域の色信号および輝度信号を用いて前記現映像信号の前記特定領域の階調幅を補正することを特徴とする請求項１０に記載の映像信号処理装置。
【請求項１２】
前記周辺色信号抽出部は、
前記現映像信号から前記特定領域と同じ色信号を有する周辺領域の輝度信号を色信号毎に抽出し、
前記階調補正部は、
前記周辺色信号抽出部により抽出された前記周辺領域の輝度信号を用いて、色信号毎に前記現映像信号の前記特定領域の階調幅を補正することを特徴とする請求項１１に記載の映像信号処理装置。
【請求項１３】
前記階調補正部によって前記過去階調情報を用いて補正された現映像信号と前記周辺階調情報を用いて補正された現映像信号とを合成する合成部を有する請求項３に記載の映像信号処理装置。
【請求項１４】
前記領域検出部は、
階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する画素が占める面積、および該画素のカウント数の少なくとも一つを用いて前記特定領域を検出することを特徴とする請求項１から請求項１３のいずれかに記載の映像信号処理装置。
【請求項１５】
前記領域検出部は、
階調変換後の現映像信号のガンマ特性を示す曲線の傾きが所定値以下となる領域を特定領域として検出する請求項１から請求項１４のいずれかに記載の映像信号処理装置。
【請求項１６】
映像信号に対して階調変換を施す階調変換処理と、
階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出処理と、
画素毎または所定の領域毎に、被写体までの距離情報と階調情報とが対応付けられた過去の映像信号から、前記距離情報に基づいて前記特定領域に対応する過去の映像信号の領域を検出し、該領域の階調情報を示す過去階調情報を抽出する過去階調情報抽出処理と、
前記過去階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正処理と
をコンピュータに実行させることを特徴とする映像信号処理プログラム。
【請求項１７】
映像信号に対して階調変換を施す階調変換処理と、
階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出処理と、
前記現映像信号から前記特定領域の周辺領域を検出し、該周辺領域の階調情報を示す周辺階調情報を抽出する周辺階調情報抽出処理と、
前記周辺階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正処理と
をコンピュータに実行させることを特徴とする映像信号処理プログラム。
【請求項１８】
請求項１または請求項２に記載の映像信号処理装置を有することを特徴とする電子機器。
【請求項１９】
映像信号に対して階調変換を施す階調変換工程と、
階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出工程と、
画素毎または所定の領域毎に、被写体までの距離情報と階調情報とが対応付けられた過去の映像信号から、前記距離情報に基づいて前記特定領域に対応する過去の映像信号の領域を検出し、該領域の階調情報を示す過去階調情報を抽出する過去階調情報抽出工程と、
前記過去階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正工程と
を含むことを特徴とする映像信号処理方法。
【請求項２０】
映像信号に対して階調変換を施す階調変換工程と、
階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出工程と、
前記現映像信号から前記特定領域の周辺領域を検出し、該周辺領域の階調情報を示す周辺階調情報を抽出する周辺階調情報抽出工程と、
前記周辺階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正工程と
を含むことを特徴とする映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に対して階調変換処理を施す映像信号処理装置並びにプログラム及び方法に関するものである。
【背景技術】
【０００２】
階調変換処理においては、変換に伴い、階調幅が伸張または圧縮される輝度域が発生する。圧縮される輝度域においては、その画像のコントラストが低下し、特に高輝度部の白飛びや低輝度部の黒つぶれなどの画質上の問題が発生する。
【０００３】
上記問題に対して、基準となる階調変換曲線及び基準外の階調変換曲線に基づき、得られた映像信号を輝度信号と色差信号とに分離し、輝度信号と色差信号とを圧縮する技術が開示されている（例えば、特許文献１参照）。また、露光量の異なる複数枚の画像を合成することによって、階調幅のより広い広ダイナミックレンジの信号を生成する技術が開示されている（例えば、特許文献２参照）。
【特許文献１】特開２００５−１９１７１１号公報
【特許文献２】特開２００１−２３８１２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示されている技術によれば、複数の階調変換曲線に基づき、映像信号を輝度信号と色差信号とに分離して圧縮するため、階調の不連続性が発生してしまう可能性がある。また、特許文献２に開示されている技術によれば、露光量の異なる複数枚の画像を合成するために、露光量を調整して複数回の撮像を行わなければならず、時系列の映像信号への適用は困難であるという不都合がある。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、白飛びや黒つぶれなどを低減して画質を改善するとともに、画質改善の程度を制御できる映像信号処理装置並びにプログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様は、映像信号に対して階調変換を施す階調変換部と、階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出部と、画素毎または所定の領域毎に、被写体までの距離情報と階調情報とが対応付けられた過去の映像信号が格納された記憶部と、前記距離情報に基づいて前記特定領域に対応する過去の映像信号の領域を検出し、該領域の階調情報を示す過去階調情報を前記記憶部から抽出する過去階調情報抽出部と、前記過去階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正部とを有することを特徴とする映像信号処理装置である。
【０００７】
この態様によれば、領域検出部により、階調変換後の現映像信号から、例えば、白とびになる特定領域が検出されるとともに、過去階調情報抽出部により、被写体までの距離情報と階調情報とが対応付けられた過去の映像信号が格納された記憶部から特定領域に対応する過去の映像信号の領域の階調情報が抽出され、該領域の階調情報を用いて現映像信号の特定領域の階調幅が階調補正部により補正される。
これにより、白とびになっている現映像信号の特定領域は、同じ距離情報をもつ過去の映像信号の領域の階調情報を用いて階調幅が補正されるので、照明との距離関係によって対象物の明るさへの影響が大きいシーンを撮像する場合にも、遠近感を保ちながら高画質な映像信号を得ることが可能となる。
【０００８】
本発明の第２の態様は、映像信号に対して階調変換を施す階調変換部と、階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出部と、前記現映像信号から前記特定領域の周辺領域を検出し、該周辺領域の階調情報を示す周辺階調情報を抽出する周辺階調情報抽出部と、前記周辺階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正部とを有することを特徴とする映像信号処理装置である。
【０００９】
この態様によれば、領域検出部により階調変換後の現映像信号から、例えば、白とびになる特定領域が抽出されるとともに、周辺階調情報抽出部により現映像信号の特定領域の周辺領域の階調情報が抽出され、該周辺領域の階調情報を用いて現映像信号の特定領域の階調幅が階調補正部により補正される。
これにより、白とびになっている現映像信号の特定領域は、周辺領域の階調情報を用いて階調幅が補正されるので、照明との距離関係によって対象物の明るさへの影響が大きいシーンを撮像する場合にも、遠近感を保ちながら高画質な映像信号を得ることが可能となる。
【００１０】
本発明の第３の態様は、映像信号に対して階調変換を施す階調変換処理と、階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出処理と、画素毎または所定の領域毎に、被写体までの距離情報と階調情報とが対応付けられた過去の映像信号から、前記距離情報に基づいて前記特定領域に対応する過去の映像信号の領域を検出し、該領域の階調情報を示す過去階調情報を抽出する過去階調情報抽出処理と、前記過去階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正処理とをコンピュータに実行させることを特徴とする映像信号処理プログラムである。
【００１１】
本発明の第４の態様は、映像信号に対して階調変換を施す階調変換処理と、階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出処理と、前記現映像信号から前記特定領域の周辺領域を検出し、該周辺領域の階調情報を示す周辺階調情報を抽出する周辺階調情報抽出処理と、前記周辺階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正処理とをコンピュータに実行させることを特徴とする映像信号処理プログラムである。
【００１２】
本発明の第５の態様は、映像信号に対して階調変換を施す階調変換工程と、階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出工程と、画素毎または所定の領域毎に、被写体までの距離情報と階調情報とが対応付けられた過去の映像信号から、前記距離情報に基づいて前記特定領域に対応する過去の映像信号の領域を検出し、該領域の階調情報を示す過去階調情報を抽出する過去階調情報抽出工程と、前記過去階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正工程とを含むことを特徴とする映像信号処理方法である。
【００１３】
本発明の第６の態様は、映像信号に対して階調変換を施す階調変換工程と、階調変換後の現映像信号から、既定の第一の閾値以上或は既定の第二の閾値以下の輝度を有する特定領域を検出する領域検出工程と、前記現映像信号から前記特定領域の周辺領域を検出し、該周辺領域の階調情報を示す周辺階調情報を抽出する周辺階調情報抽出工程と、前記周辺階調情報を用いて前記現映像信号の前記特定領域の階調幅を補正する階調補正工程とを含むことを特徴とする映像信号処理方法である。
【発明の効果】
【００１４】
本発明によれば、高画質な映像信号を提供できる。
【発明を実施するための最良の形態】
【００１５】
［第１の実施形態］
以下に、本発明の第１の実施形態に係る映像信号処理装置について、図面を参照して説明する。なお、本実施形態に係る映像信号処理装置は、デジタルカメラやデジタルビデオカメラなどの電子機器に搭載される。この機器は、正しく作動するために電流または電磁界に依存する機器である。
図１は、本実施形態に係る映像信号処理装置の構成図である。
本実施形態に係る映像信号処理装置は、レンズ系１００、絞り１０１、ＣＣＤ１０２、Ｇａｉｎ１０３、Ａ／Ｄ１０４、バッファー部１０５、階調変換部（階調変換部）１０６、特定領域検出部（領域検出部）１０７、階調補正部（階調補正部）１０８、出力部１０９、過去データ保存部（記憶部）１１０、赤外線センサー１１１、距離情報取得部１１２、制御部１１３、外部Ｉ／Ｆ部１１４、及びＲＯＭ１１５を備えている。
【００１６】
レンズ系１００は、絞り１０１、ＣＣＤ１０２、Ｇａｉｎ１０３、Ａ／Ｄ１０４、バッファー部１０５の順に接続されている。バッファー部１０５は、階調変換部１０６及び階調補正部１０８へ接続している。階調変換部１０６は、特定領域検出部１０７及び階調補正部１０８を介して出力部１０９へ接続している。特定領域検出部１０７は、出力部１０９へ接続している。赤外線センサー１１１は、距離情報取得部１１２及び過去データ保存部１１０を介して階調補正部１０８へ接続している。出力部１０９は、過去データ保存部１１０へ接続している。ＲＯＭ１１５は、階調変換部１０６、特定領域検出部１０７、階調補正部１０８及び距離情報取得部１１２へ接続している。制御部１１３は、Ｇａｉｎ１０３、Ａ／Ｄ１０４、バッファー部１０５、階調変換部１０６、特定領域検出部１０７、階調補正部１０８、出力部１０９、過去データ保存部１１０、赤外線センサー１１１、距離情報取得部１１２、ＲＯＭ１１５及び外部Ｉ／Ｆ部１１４と双方向に接続している。
【００１７】
上記構成を有する映像信号処理装置における映像信号の流れを説明する。
外部Ｉ／Ｆ部１１４を介して動画撮像ボタン（図示略）が押されると、レンズ系１００、絞り１０１、ＣＣＤ１０２及びＧａｉｎ１０３を介して時系列的に撮影された映像信号が、公知の相関二重サンプリングによりアナログ信号として、所定の時間間隔で連続的に出力される。ここでは、時間間隔は１／３０秒であると想定する。また、ＣＣＤ１０２は、ＲＧＢ原色フィルタを前面に配置した三板ＣＣＤと想定する。なお、以降では、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号を１フレームと表記する。
【００１８】
上記アナログ信号は、Ｇａｉｎ１０３にて所定量増幅され、Ａ／Ｄ１０４にてデジタル信号へ変換されてバッファー部１０５へ転送される。バッファー部１０５は、１フレームの映像信号を記録可能であり、撮影に伴い順次上書きされることになる。なお、本実施形態においては、上記映像信号がＲ，Ｇ，Ｂの各原色フィルタをそれぞれの前に配置して構成される三板ＣＣＤと想定しているが、単板や二板のＣＣＤでも対応可能である。
【００１９】
階調変換部１０６は、制御部１１３の制御に基づき、バッファー部１０５から転送されてきた映像信号に対し、ＲＯＭ１１５から出力部１０９にあたる表示装置に適したγ特性データを抽出して階調変換処理を行う。ここでは、図２に示されているように、通常の階調変換処理を行うこととして説明する。そして、制御部１１３の制御により、処理後の映像信号を特定領域検出部１０７へ転送する。
【００２０】
特定領域検出部１０７は、制御部１１３の制御に基づき、転送されてきた映像信号に白とびや黒つぶれなどの、既定の第一の閾値以上或いは既定の第二の閾値以下の輝度を有する特定領域があるか否かを検出する。ここで、本実施形態では、白とびのみを検出することとして説明する。特定領域検出部１０７では、特定領域が検出されなかった場合には、映像信号を出力部１０９へ転送する。一方、特定領域が検出された場合には、制御部１１３の制御に基づいて、特定領域に関する情報及び映像信号を階調補正部１０８へ転送する。なお、特定領域は、輝度が既定の第一の閾値以上或は既定の第二の閾値以下の画素が占める面積、または該画素のカウント数を用いて検出することとしてもよく、画素の面積とカウント数の両方を組み合わせて検出することとしてもよい。なお、特定領域を検出する際の具体的な方法については後述する。
【００２１】
距離情報取得部１１２は、フレームごとに赤外線センサー１１１から現映像信号を取得した際の被写体までの距離を示す距離情報を測定し、測定した距離情報を過去データ保存部１１０へ転送する。過去データ保存部１１０には、距離情報と階調情報とが対応付けられた階調補正後の過去の映像信号が格納されている。特定領域が存在する場合、過去データ保存部１１０は、制御部１１３の制御に基づき、過去の映像信号、現映像信号及び過去の映像信号の距離情報を階調補正部１０８へ転送する。なお、距離情報を取得する際の具体的な方法については後述する。
【００２２】
階調補正部１０８は、制御部１１３の制御に基づき、特定領域検出部１０７から転送されてきた現映像信号中の特定領域と該特定領域に対応する過去データ保存部１１０に保存された過去の映像信号中の領域とを比較する。そして、現映像信号中の特定領域と同じ距離及び同じ色味を持つ過去の映像信号中の領域を検出し、該領域の階調情報を用いて現映像信号中の特定領域の階調幅を補正する。すなわち、階調補正部１０８は、距離情報に基づいて特定領域に対応する過去の映像信号の領域を検出し、該領域の階調情報を示す過去階調情報を過去データ保存部１１０から抽出し、この過去階調情報を用いて現映像信号の特定領域の階調幅を補正する。なお、過去階調情報を抽出する際の具体的な方法および特定領域の階調幅を補正する際の具体的な方法については後述する。
ここで、特定領域以外の部分の映像信号は補正しない。そして、補正された特定領域の映像信号と特定領域以外の映像信号とを合成して出力部１０９へ転送する。ここで、前述した同じ距離とは、まったく等しい距離でなくてもよい、例えば、現映像信号における距離と過去映像信号における距離との差が所定範囲内であれば、同じ距離を持つという意味を指す。この所定範囲は、事前に設定してＲＯＭ１１５に保存してもよいし、ユーザが設定してもよい。
【００２３】
以下に、特定領域を検出する際の具体的な方法について説明する。
図３は、特定領域検出１０７の構成の一例を示す。
図３に示すように、階調変換部１０６は、輝度信号変換部３０１、特定輝度域検出部３０２を介して、階調補正部１０８及び出力部１０９へ接続している。ＲＯＭ１１５が、特定輝度域検出部３０２へ接続している。制御部１１３は、輝度信号変換部３０１、特定輝度域検出部３０２と双方向に接続している。
【００２４】
本実施形態においては、輝度信号変換部３０１が、以下に示す（１）式により、ＲＧＢ映像信号から画素ごとに画素値を算出する。
Ｋｉｊ＝Ａ１×Ｒｉｊ＋Ａ２×Ｇｉｊ＋Ａ３×Ｂｉｊ・・・（１）
上記の（１）式において、Ｋｉｊは画素値、Ａ１，Ａ２，Ａ３は定数、ＲｉｊはＲ信号、ＧｉｊはＧ信号、ＢｉｊはＢ信号、ｉ，ｊは映像信号の座標値を示している。
【００２５】
図４は、特定輝度域検出部３０２の構成の一例を示す。
図４に示すように、輝度信号変換部３０１は、γ特性データ抽出部３０２１、高輝度域閾値検出部３０２２、高輝度域判断部３０２３を介して、階調補正部１０８及び出力部１０９へ接続している。ＲＯＭ１１５が、γ特性データ抽出部３０２１、高輝度域閾値検出部３０２２及び高輝度域判断部３０２３へ接続している。制御部１１３は、γ特性データ抽出部３０２１、高輝度域閾値検出部３０２２、高輝度域判断部３０２３と双方向に接続している。
【００２６】
ここで、本実施形態に係る映像信号処理装置は、階調処理する前に白とびではない領域が、ガンマ特性データを用いて階調変換した後に白とびになってしまう現象を改善することを目的としている。その白とびが発生する原因は、図２（ａ）に示されているように、高輝度部の階調特性に対応するγ特性データを表わした曲線の曲線変化がほぼ水平となり、その部分に対応する映像信号の濃淡変化が階調変換後になくなり、白とびになってしまうことである。そこで、高輝度部の映像信号の階調特性を改善するために、まず、高輝度領域を識別するための閾値を検出する必要がある。
【００２７】
特定輝度域検出部３０２は、所定の閾値に基づいて、バッファー部１０５から転送されてきた映像信号に対して、高輝度映像信号が存在するか否かを判断する。算出された画素値が前記閾値より大きい場合、該当する画素が高輝度映像信号であると判断する。さらに、全画像において、高輝度映像信号と判断された画素数が所定値より多い場合、当該画像は高輝度信号が存在すると判断する。高輝度信号が存在する場合には、その判断結果と映像信号を階調補正部１０８へ転送する。一方、高輝度信号が存在しない場合には、映像信号を出力部１０９へ転送する。
【００２８】
なお、前記閾値は、ユーザが外部Ｉ／Ｆ部１１４を通じて自由に設定可能にしてもよいし、ＲＯＭ１１５に用意した複数の閾値の一つをユーザが外部Ｉ／Ｆ部１１４を通じて指定する方式をとってもよい。閾値を自動指定する場合には、ＲＯＭ１１５からγ特性データを抽出し、そのγ特性データに基づいて閾値を算出する。ここでは、複数種類のγ特性データがＲＯＭ１１５に保存されており、このγ特性データに基づいて閾値が自動指定されるとして説明する。
【００２９】
閾値を自動指定する場合には、例えば、８ビットの映像信号から８ビット映像信号に階調変換処理する場合、γ特性データは２５５点があり、入力レベルが２５５点、出力レベルが２５５点である。昇順で、以下の（２）式に示すように、２５５点のγ特性データに対応する傾きΔＨが、白とびと認定する角度より小さい点がはじめて出た場合、その点に対応する入力値を閾値（図２のＳＴｈ）と設定する。ここで、白とびと認定する角度はＲＯＭ１１５に保存されている。
ΔＨ＝ｔａｎ−１（（Ｈ２５５ｏ−Ｈｘｏ）／（２５５−Ｈｘｉ）・・・（２）
ここで、Ｈ２５５ｏは最大入力レベル２５５に対応する出力レベル、Ｈｘｏはｘ番目入力レベルに対応する出力レベル、Ｈｘｉはｘ番目入力レベルを示している。
【００３０】
なお、γ特性データに対応する上記の各入力レベルと出力レベルから構成された傾きΔＨの情報を前もってＲＯＭ１１５に保存してもよい。閾値を自動指定するときに、昇順でＲＯＭ１１５から各傾きΔＨ情報を読みこんで白とびと認定する角度より小さい傾きがはじめて出た場合、その傾きΔＨに対応する入力値を閾値と設定する。
また、異なる表示装置に対応するγ特性データに対応する閾値を、前もってＲＯＭ１１５に保存し、映像信号を処理する時に所定の表示装置に対応するγ特性データに対応する閾値を抽出する構成も可能である。
【００３１】
ここで、特定領域を検出する際の処理についての変形例を以下に説明する。
白とび及び黒つぶれが同時に存在する場合、例えば、図２（ｂ）に示されているように、高輝度部の階調特性及び低輝度部の階調特性に対応するγ特性データの曲線変化がほぼ水平となり、その部分に対応する映像信号の濃淡変化が階調変換後になくなり、高輝度部の映像信号が白とびに、低輝度部の映像信号が黒つぶれになってしまう。したがって、高輝度部及び低輝度部の映像信号の階調特性を改善するために、まず、高輝度領域及び低輝度領域を識別するための高輝度領域及び低輝度領域の閾値を検出する必要がある。高輝度領域の閾値の算出は前述の実施形態と同じだが、低輝度領域の閾値は、以下に示す（３）式により算出される。
ΔＬ＝ｔａｎ−１（Ｌｘｏ／Ｌｘｉ）・・・（３）
ここで、Ｌｘｏはｘ番目の入力レベルに対応する出力レベル、Ｌｘｉはｘ番目の入力レベルを示している。
【００３２】
図４において、γ特性データ抽出部３０２１では、ＲＯＭ１１５からγ特性データを抽出し、高輝度域閾値検出部３０２２へ転送する。高輝度域閾値検出部３０２２では、ＲＯＭ１１５から白とびと認定する角度データを抽出し、（２）式に示されるように閾値（ＳＴ）を検出し、検出された閾値と映像信号を高輝度域判断部３０２３へ転送する。高輝度域判断部３０２３は、転送されてきた閾値に基づいて、全映像信号に対し、高輝度映像信号をカウントする。高輝度判断部３０２３は、全画像の高輝度映像信号のカウント数がＲＯＭ１１５から読み出した所定の閾値より多い場合には、当該画像は高輝度信号が存在すると判断し、少ない場合には、当該画像は高輝度信号が存在しないと判断する。高輝度判断部３０２３は、制御部１１３の制御に基づき、高輝度信号が存在しない場合、映像信号を出力部１０９へ転送する。高輝度判断部３０２３は、高輝度信号が存在する場合、高輝度信号情報及び映像信号を階調補正部１０８へ転送する。
【００３３】
以下に、距離情報を取得する際の具体的な方法について説明する。
図５は、距離情報取得部１１２の構成の一例を示しており、距離情報取得部１１２は領域分割部２０１及び距離測定部２０２から構成されている。階調変換部１０６は、領域分割部２０１、距離測定部２０２を介して過去データ保存部１１０へ接続している。赤外線センサー１１１は、距離測定部２０２へ接続している。ＲＯＭ１１５は、領域分割部２０１へ接続している。制御部１１３は、領域分割部２０１及び距離測定部２０２と双方向に接続している。
【００３４】
図５において、領域分割部２０１は、階調変換部１０６から転送されてきた映像信号に対し、フレームごとに所定サイズ、例えば３×３の画素ブロックで領域分割処理を行い、分割された映像信号（以下、「分割映像信号」という。）を距離測定部２０２へ転送する。距離測定部２０２は、領域分割部２０１から転送されてきた各分割映像信号に対し、距離測定センサー１１１を用いて距離情報を測定する。そして、距離測定部２０２は、制御部１１３の制御に基づき、各分割映像信号の距離情報、すなわち領域ごとの距離情報を過去データ保存部１１０へ転送する。
【００３５】
ここで、領域分割処理においては、画素ごとに、距離情報を測定することが可能であるが、図６（ａ）に示されているように、Ｍ×Ｎ（Ｍ、Ｎ＞＝２）の領域で映像を分割し、各領域の距離情報を測定することも可能である。この場合、画素毎に各領域の距離情報を測定し、測定した画素ごとの距離情報を平均化して領域毎の距離情報を算出する。ここでは、精密さが必要となる医療用内視鏡の映像信号も想定しているため、画素毎に距離情報を測定する。なお、図６（ｂ）に示されているように、ＡＦで合焦された領域とそれ以外の領域で分割することも可能である。この場合、合焦位置を決定することによりコントラストが最大になるように設定した距離情報を算出する。そして、制御部１１３の制御により、距離情報を過去データ保存部１１０へ転送する。本実施形態においては、過去データ保存部１１０は、現映像信号の距離情報、及び過去の映像信号の距離情報を記録可能で撮影に伴い順次に上書きされることになる。
【００３６】
以下に、過去階調情報を抽出する際の具体的な方法および特定領域の階調幅を補正する際の具体的な方法について説明する。
図７は、階調補正部１０８の構成の一例を示しており、階調補正部１０８は対応領域抽出部（過去階調情報抽出部）４０１及び対象領域補正部４０２から構成されている。バッファー部１０５、特定領域検出部１０７及び過去データ保存部１１０は、対応領域検出部４０１へ接続している。対応領域検出部４０１は、対象領域補正部４０２を介して出力部１０９へ接続している。ＲＯＭ１１５は、対象領域補正部４０２へ接続している。制御部１１３は、対応領域抽出部４０１及び対象領域補正部４０２と双方向に接続している。
【００３７】
対応領域抽出４０１は、制御部１１３の制御に基づき、特定領域検出部１０７から転送されてきた特定領域の映像信号に対して、過去データ保存部１１０から転送されてきた過去の映像信号から同じ距離を持つ映像信号を抽出する。また、対応領域抽出４０１は、バッファー部１０５から転送されてきた階調変換処理前の映像信号から特定領域と同じ領域の映像信号も抽出する。抽出した２種類の映像信号及び階調変換処理後の映像信号を対象領域補正部４０２へ転送する。対象領域補正部４０２は、同じ距離を持つ過去の映像信号情報を用いて現映像信号の特定領域に対して階調補正処理を行い、階調補正処理後の映像信号を出力部１０９へ転送する。
【００３８】
図８は、対応領域抽出部４０１の構成の一例を示しており、対応領域抽出部４０１は、等距離検出部４０１１及び類似色抽出部（輝度信号抽出部、色信号抽出部）４０１２から構成されている。特定領域検出部１０７及び過去データ保存部１１０は、等距離検出部４０１１、類似色抽出部４０１２を介して対象領域補正部４０２へ接続している。バッファー部１０５は、類似色抽出部４０１２へ接続している。制御部１１３は、等距離検出部４０１１及び類似色抽出部４０１２と双方向に接続している。
【００３９】
等距離検出部４０１１は、特定領域検出部１０７から転送されてきた映像信号及び特定領域に関する情報に基づき、特定領域と同じ距離を持ち、白とびになっていない過去の映像信号を抽出する。そして、制御部１１３の制御に基づき、特定領域に関する情報、抽出した映像信号に関する情報及び映像信号を類似色抽出部４０１２へ転送する。
【００４０】
類似色抽出部４０１２は、制御部１１３の制御により、まず等距離検出部４０１１から転送されてきた特定領域に関する情報に基づいて、以下の（４）式に示すように、画素ごとにバッファー１０５から転送されてきた階調変換する前の現映像信号が、階調変換処理後に白とびになっている特定領域の色差信号を算出する。次に、特定領域と同じ距離を持ち、白とびになっていない過去の映像信号の画素毎の色差信号を算出する。それと同時に、（１）式を用いて、特定領域の階調変換前の輝度信号及び対応する同じ距離を持つ過去の映像信号の輝度信号をも算出する。
Ｃｒｉｊ＝ｂ１×Ｒｉｊ＋ｂ２×Ｇｉｊ＋ｂ３×Ｂｉｊ
Ｃｂｉｊ＝ｂ４×Ｒｉｊ＋ｂ５×Ｇｉｊ＋ｂ６×Ｂｉｊ・・・（４）
ここで、Ｃｂｉｊ、Ｃｒｉｊは画素色差値、ｂ１〜ｂ６は定数、ＲｉｊはＲ信号、ＧｉｊはＧ信号、ＢｉｊはＢ信号、ｉ、ｊは映像信号の座標値を示している。
【００４１】
本実施形態では、図９に示されているように、類似色抽出部４０１２は、色空間を均等に６つの色分割領域に分割し、階調変換処理後に白とびになっている特定領域に対して、画素ごとに（４）式に算出された色差信号がどの色分割領域に入っているのかを判定する。同様に、特定領域と同じ距離を持ち、白とびになっていない過去の映像信号に対しても判定を行う。具体的には、以下に示す（５）式、（６）式を用いて、どの色分割領域に属するかを判定する。
Ａｎｇｌｅｉｊ＝ａｒｃｔｇ（Ｃｂｉｊ／Ｃｒｉｊ）・・・（５）
ここで、ａｒｃｔｇは、アークタンジェントを返す関数である。
Ｔ１＜Ａｎｇｌｅｉｊ＜Ｔ２・・・（６）
ここで、Ｔ１、Ｔ２は、ある色分割領域の角度閾値である。
【００４２】
そして、類似色抽出部４０１２は、制御部１１３の制御に基づき、色分割領域の所属に関する情報、特定領域の輝度及び色差信号、映像信号を対象領域補正部４０２へ転送する。
以上のように、類似色抽出部４０１２は、過去データ保存部１１０に格納されている階調補正後の過去の映像信号から、階調変換前の現映像信号における特定領域と同じ色差信号を有する領域の輝度信号を色信号毎に抽出する。なお、本実施形態では、Ｃｒ、Ｃｂ色空間において領域分割する構成になっているが、他の色空間、例えばＬａｂ表色系空間などにおいて、領域分割する構成にしてもよい。
【００４３】
図１０は、対象領域補正部４０２の構成の一例を示しており、対象領域補正部４０２は、対象ヒストグラム検出部４０２１、過去ヒストグラム検出部４０２２、ヒストグラム補正部（ヒストグラム補正部）４０２３及び画像合成部（映像信号合成部）４０２４から構成されている。対応領域抽出部４０１は、対象ヒストグラム検出部４０２１、過去ヒストグラム検出部４０２２及び画像合成部４０２４へ接続している。対象ヒストグラム検出部４０２１及び過去ヒストグラム検出部４０２２は、ヒストグラム補正部４０２３及び画像合成部４０２４を介して出力部１０９へ接続している。ＲＯＭ１１５は、画像合成部４０２４へ接続している。制御部１１３は、対象ヒストグラム検出部４０２１、過去ヒストグラム検出部４０２２、ヒストグラム補正部４０２３及び画像合成部４０２４と双方向に接続している。
【００４４】
対象ヒストグラム検出部４０２１は、対象領域検出部４０１から転送されてきた色分割領域の所属に関する情報を用いて、各色分割領域において特定領域の色差信号が存在するか否かを検証する。色差信号が存在すれば、特定領域の階調変換処理前の輝度信号のヒストグラムを形成する。そして、形成した輝度ヒストグラムの情報、及び対応する色差信号をヒストグラム補正部４０２３へ転送する。
【００４５】
過去ヒストグラム検出部４０２２は、制御部１１３の制御に基づき、色差信号が同じ色分割領域にある特定領域に対応し、かつ同じ距離を持つ過去の映像信号の輝度ヒストグラムを形成する。そして、形成した輝度ヒストグラムの情報、及び対応する色差信号をヒストグラム補正部４０２３へ転送する。
【００４６】
ヒストグラム補正部４０２３は、制御部１１３の制御に基づき、対象ヒストグラム検出部４０２１から転送されてきた特定領域に対応する階調変換処理前の輝度信号に対し、過去ヒストグラム検出部４０２２から転送されてきた特定領域に対応する過去の映像信号の輝度ヒストグラム情報を用いて、例えば、イコライゼーション処理等の公知のヒストグラムの累積処理を行って、ヒストグラムの分布を均一化させる。各色分割領域において、特定領域の画素数と同じ距離を持つ過去の映像信号の画素数とが合わない場合、以下に示す（７）式を用いて、補正倍率を算出する。
Ｎｋ＝Ｓｋ／Ｏｋ・・・（７）
ここで、Ｎｋは補正倍率、Ｓｋは特定領域の画素数、Ｏｋは過去の映像信号の画素数、Ｋは色分割領域の番号を示している。
【００４７】
次に、累積処理を行う際、上記の補正倍率を用いて、過去の映像信号の輝度ヒストグラムの輝度値と累積数とを画素ごとに乗算する。この乗算処理した後の過去の映像信号の輝度ヒストグラムに基づき公知の累積処理を行う。すべての色分割領域での輝度ヒストグラム累積処理が完了後、特定領域において、階調変換処理前の色差信号と累積処理後の輝度信号に対して、画素ごとに下記の（８）式を用いてＲＧＢ映像信号へ変換する。そして、制御部１１３の制御に基づき、変換後のＲＧＢ映像信号を画像合成部４０２４へ転送する。
Ｒｉｊ＝Ｑ１×Ｋｉｊ＋Ｑ２×Ｃｒｉｊ＋Ｑ３×Ｃｂｉｊ
Ｇｉｊ＝Ｑ４×Ｋｉｊ＋Ｑ５×Ｃｒｉｊ＋Ｑ６×Ｃｂｉｊ・・・（８）
Ｂｉｊ＝Ｑ７×Ｋｉｊ＋Ｑ８×Ｃｒｉｊ＋Ｑ９×Ｃｂｉｊ
ここで、Ｑ１からＱ９は定数を示している。
【００４８】
画像合成部４０２４は、制御部１１３の制御に基づき、ヒストグラム補正部４０２３から転送されてきた補正後の特定領域の映像信号を用いて、対応領域抽出４０１からの階調変換処理後の特定領域の映像信号と合成処理を行う。単純に、階調補正後の特定領域を階調補正前の特定領域と入れ替えることも可能だが、映像信号の連続性を保つため、階調補正後の映像信号と白とびになっている特定領域の映像信号を所定の比率で合成してもよい。そして、画像合成部４０２４は、合成処理後の映像信号を出力部１０９へ転送する。
【００４９】
以上のように、本実施形態に係る映像信号処理装置によれば、画素ごとに特定領域の階調変換する前の色差信号を算出し、どの色分割領域に所属するかを判定する。また、同じ距離を持ち、同じ色分割領域に属する過去の映像信号の輝度ヒストグラムに基づき、現映像信号の特定領域の輝度ヒストグラムの累積処理を行う。このように、色分割領域ごとで階調補正することで、特定領域の白とびを改善すると同時に、異なる色分割領域の情報を誤用することを防ぐことができる。また、距離情報を用いることで、例えば、照明との距離関係で対象物の明るさに多大に影響を与える内視鏡などの分野において、遠近感を保ちながら高画質な映像信号が得られる。
【００５０】
なお、本実施形態では、色空間が均等に６つの色分割領域に分割されていたが、このような構成に限定される必要はない。さらに高画質な映像信号を得るために、色空間を均等に１２分割などすることも可能である。また、必要に応じて、重要視されている色領域をこまめに分割し、その他の色領域を大きく分割する構成も可能である。例えば、内視鏡分野においては、黄色と赤色が重要な色領域とされているため、黄色と赤色領域においてはそれぞれ均等に６分割した色分割領域をさらに２分割、４分割などにし、他の色領域は均等に６分割したままの構成にしてもよい。
また、過去データ保存部１１０に階調補正後の過去の映像信号を複数格納し、複数の過去の映像信号から過去階調情報を抽出することとしてもよい。なお、過去データ保存部１１０に格納する過去の映像信号は、階調補正前の映像信号であってもよい。
【００５１】
また、以上説明した本実施形態における映像信号処理は、ハードウェアにより実現しているが、このような構成に限定される必要がない。例えば、ＣＣＤ１０２からの信号を未処理のままのロー（ＲＡＷ）データとしてメモリカードなどの記録媒体に記録するとともに、制御部１１３からの撮影時の情報（ＩＳＯ感度やホワイトバランス係数など）及び距離情報取得部１１２からの距離情報をヘッダ情報として記録媒体に記録しておき、別途のソフトウェアである映像信号処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、コンピュータへの各種情報の転送は、記録媒体を介して行うに限らず、通信回線などを介して行うようにしても構わない。
【００５２】
図１１は、本実施形態における映像信号処理プログラムによる処理を示すフローチャートである。
この処理を開始すると、まず、Ｓｔｅｐ１にて、映像信号、距離情報や上記ヘッダ情報などを読み込むとともに、予め備えている階調特性データなどの情報も読み込んで、Ｓｔｅｐ２へ進む。この処理は、撮像装置である映像信号処理装置において、被写体を撮影した映像信号を取得する処理に相当している。
次に、Ｓｔｅｐ２にて、備えている階調特性データに基づき、映像信号に対して階調変換処理を行い、Ｓｔｅｐ３へ進む。
続いて、Ｓｔｅｐ３にて、映像信号における高輝度映像信号の検出を行い、Ｓｔｅｐ４へ進む。
【００５３】
次に、Ｓｔｅｐ４にて、Ｓｔｅｐ３の検出結果に基づき、映像信号に高輝度映像信号が存在するか否かを判定する。ここで、高輝度映像信号が存在すると判定された場合には、Ｓｔｅｐ５にて、高輝度映像信号に対応する距離情報を抽出し、Ｓｔｅｐ６へ進む。そして、Ｓｔｅｐ６にて、距離情報に基づき、過去の映像信号から現映像信号中の高輝度映像信号に対応する領域の映像信号を抽出し、階調補正処理を行い、Ｓｔｅｐ７及びＳｔｅｐ８へ進む。これに対して、高輝度映像信号が存在しないと判定された場合には、階調補正処理を行う必要はないものと判断して、Ｓｔｅｐ７及びＳｔｅｐ８へ進む。
【００５４】
次に、Ｓｔｅｐ７にて、映像信号を出力して、表示装置に表示、あるいは、メモリカードなどに保存してから、この処理を終了する。Ｓｔｅｐ７の処理と同時に、Ｓｔｅｐ８にて、次のフレームの階調補正処理用に、階調補正処理後の映像信号を過去映像信号としてメモリに保存する。
【００５５】
次に、図１１のＳｔｅｐ３における特定領域を検出する際（高輝度映像信号の検出処理）の詳細な処理について、図１２に示すフローチャートを用いて説明する。この図１２に示す処理は、特定輝度域検出部３０２において行われる処理に対応するものとなっている。
この処理を開始すると、まず、Ｓｔｅｐ１０１にて、所定の表示装置に対応するγ特性データを抽出し、Ｓｔｅｐ１０２へ進む。
【００５６】
Ｓｔｅｐ１０２にて、図２および（２）式に示されているように、γ特性データに対応する傾きΔＨが、白とびと認定する所定の角度より小さい点がはじめて出た場合、その点に対応する入力値を閾値（図２のＳＴｈ）と設定し、Ｓｔｅｐ１０３へ進む。
続いて、Ｓｔｅｐ１０３にて、画像に含まれる全画素の輝度値を高輝度閾値と比較して、高輝度閾値よりも輝度値が大きい画素（高輝度映像信号と判定される画素）の数をカウントし、Ｓｔｅｐ１０４へ進む。
【００５７】
そして、Ｓｔｅｐ１０４にて、高輝度映像信号のカウント数を所定の閾値と比較して、所定の閾値より多い場合には、画像に高輝度信号が存在すると判断する。これに対して、高輝度映像信号のカウント数が所定の閾値より少ない場合には、画像には高輝度信号が存在しないと判断して、前述のように階調補正処理を行わない。このＳｔｅｐ１０４の処理が完了したら、その後は図１１に示した処理へ復帰する。
【００５８】
次に、図１１のＳｔｅｐ６における階調補正処理の詳細な処理について、図１３に示すフローチャートを用いて説明する。この図１３に示す処理は、階調補正部１０８において行われる処理に対応するものとなっている。
この処理を開始すると、まず、Ｓｔｅｐ２０１にて、距離情報に基づき、高輝度映像信号領域に対応する過去の映像信号中の領域を抽出し、Ｓｔｅｐ２０２へ進む。
次に、Ｓｔｅｐ２０２にて、過去の映像信号に基づき、高輝度映像信号の階調を補正する。このＳｔｅｐ２０２の処理が完了したら、その後は図１１に示した処理へ復帰する。
【００５９】
次に、図１３のＳｔｅｐ２０１における対応領域抽出処理の詳細な処理について、図１４に示すフローチャートを用いて説明する。この図１４に示す処理は、対応領域抽出部４０１において行われる処理に対応するものとなっている。
この処理を開始すると、まず、Ｓｔｅｐ２１１にて、距離情報に基づき、高輝度映像信号に対応し、同じ距離を持つ白とびになっていない過去の映像信号を抽出し、Ｓｔｅｐ２１２へ進む。
【００６０】
次に、Ｓｔｅｐ２１２にて、まず、（４）式に基づいて、高輝度映像信号の階調変換する前の映像信号の色差信号を算出する。次に、特定領域と同じ距離を持ち、白とびになっていない過去の映像信号の画素毎の色差信号を算出する。それと同時に、（１）式を用いて、特定領域の階調変換前の輝度信号及び対応する同じ距離を持つ過去の映像信号の輝度信号をも算出する。そして、図９に示されているように、色空間を均等に６つの色分割領域に分割し、階調変換する前の現映像信号が階調変化処理後に白とびになっている特定領域に対して、画素ごとに（４）式に算出された色差信号が、どの色分割領域に入っているのかを検証する。同様に、特定領域と同じ距離を持ち白とびになっていない過去の映像信号に対しても色差検証処理を行う。そして、（５）式、（６）式を用いて、どの色分割領域に属するかを判定する。このＳｔｅｐ２１２の処理が完了したら、その後は図１３の示した処理へ復帰する。
【００６１】
次に、図１３のＳｔｅｐ２０２における対象領域補正処理の詳細な処理について、図１５に示すフローチャートを用いて説明する。この図１５に示す処理は、対象領域補正部４０２において行われる処理に対応するものとなっている。
この処理を開始すると、まず、Ｓｔｅｐ２２１にて、各色分割領域において、高輝度領域の色差信号が存在するか否かを検証する。色差信号が存在すれば、高輝度領域の階調変換処理前の輝度信号のヒストグラムを形成し、Ｓｔｅｐ２２３へ進む。それと同時に、Ｓｔｅｐ２２２にて、映像信号の色差信号が同じ色分割領域にある高輝度領域に対応し、かつ同じ距離を持つ過去の映像信号の輝度ヒストグラムを形成し、Ｓｔｅｐ２２３へ進む。
【００６２】
次に、Ｓｔｅｐ２２３にて、各色分割領域内にある高輝度領域に対応する階調変換処理前の輝度信号に対して、同じ色分割領域にある過去の映像信号の輝度ヒストグラム情報を用いて公知のヒストグラムの累積処理を行い、輝度信号のヒストグラムを補正する。次に、（８）式に基づいて、補正後の輝度信号及び色差信号を用いてＲＧＢ信号へ変換し、Ｓｔｅｐ２２４へ進む。
【００６３】
最後に、Ｓｔｅｐ２２４にて、高輝度領域においては、階調補正後の映像信号と階調変換処理後の映像信号の合成処理を行う。高輝度領域以外の領域においては、階調変換処理後の映像信号を用いる。このＳｔｅｐ２２４の処理が完了したら、その後は図１３の示した処理へ復帰する。
【００６４】
〔第２の実施形態〕
次に、本発明の第２の実施形態について以下に説明する。
基本的な構成は第１の実施形態と同様であり、第１の実施形態と共通する点については説明を省略し、異なる部分について主に説明する。また、第１の実施形態と同一の機能の部分には同一の番号を付し、説明を省略する。
本実施形態に係る動画像撮像処理装置において、まず、図１６に示される階調補正部１０８における信号の流れを説明する。
【００６５】
図１６は、階調補正部１０８の構成の一例を示しており、階調補正部１０８は対応領域抽出部（周辺階調情報抽出部）４１１及び対象領域補正部４１２から構成されている。バッファー部１０５、特定領域検出部１０７及び過去データ保存部１１０は、対応領域抽出部４１１へ接続している。対応領域抽出部４１１は、対象領域補正部４１２を介して出力部１０９へ接続している。ＲＯＭ１１５は、対象領域補正部４１２へ接続している。制御部１１３は、対応領域抽出部４１１及び対象領域補正部４１２と双方向に接続している。
【００６６】
図１６において、対応領域抽出部４１１は、制御部１１３の制御に基づき、特定領域検出部１０７から転送されてきた特定領域の映像信号に対して、過去データ保存部１１０から転送されてきた過去の映像信号から同じ距離を持つ映像信号を抽出する。また、バッファー部１０５から転送されてきた階調変換処理前の現映像信号から特定領域の周辺領域の映像信号も抽出する。そして、抽出した２種類の映像信号及び階調補正処理後の映像信号を対象領域補正部４１２へ転送する。
対象領域補正部４１２は、同じ距離を持つ過去の映像信号情報を用いて特定領域に対して階調補正処理を行う。階調補正処理後の映像信号を出力部１０９へ転送する。
【００６７】
図１７は、対応領域抽出部４１１の構成の一例を示しており、対応領域抽出部４１１は等距離検出部４０１１、類似色抽出部４０１２、近隣検出部（周辺検出部）４０１３及び近隣類似色抽出部（周辺輝度信号抽出部，周辺色信号抽出部）４０１４から構成されている。特定領域検出部１０７は、等距離検出部４０１１及び近隣検出部４０１３へ接続している。等距離検出部４０１１は、類似色抽出部４０１２を介して対象領域補正部４１２へ接続している。近隣検出部４０１３は、近隣類似色抽出部４０１４を介して対象領域補正部４１２へ接続している。バッファー部１０５は、類似色抽出部４０１２及び近隣類似色抽出部４０１４へ接続している。過去データ保存部１１０は、等距離検出部４０１１及び類似色抽出部４０１２へ接続している。制御部１１３は、等距離検出部４０１１、類似色抽出部４０１２、近隣検出部４０１３及び近隣類似色抽出部４０１４と双方向に接続している。
【００６８】
図１７において、等距離検出部４０１１及び類似色抽出部４０１２での処理は図８と同じであるため、ここで説明を省略する。
近隣検出部４０１３は、制御部１１３の制御に基づき、特定領域検出１０７からの特定領域の映像信号及び階調変換後の映像信号を用いて、特定領域の周辺領域を近隣領域として検出する。具体的には、図１８に示されているように、特定領域に対して、上下左右に所定の幅で均等に領域を拡張し、特定領域と拡張領域の間の部分を近隣領域とする。この近隣領域に対応する領域の階調情報を示す周辺階調情報を検出し、特定領域の映像信号及び階調変換処理後の映像信号と一緒に近隣類似色抽出部４０１４へ転送する。
【００６９】
近隣類似色抽出部４０１４は、制御部１１３の制御により近隣検出部４０１３から転送されてきた特定領域に関する情報および（４）式に基づいて、画素ごとにバッファー１０５から転送されてきた階調変換する前の現映像信号が階調変換処理後に白とびになっている特定領域の色差信号を算出する。また、同様に近隣領域の映像信号から画素ごとの色差信号を算出する。それと同時に、（１）式を用いて、特定領域の階調変換前の輝度信号及び近隣領域の映像信号の輝度信号をも算出する。つまり、近隣類似色抽出部４０１４は、近隣検出部４０１３により検出された近隣領域から色差信号を抽出するとともに、現映像信号から特定領域と同じ色差信号を有する近隣領域の輝度信号を色信号毎に抽出する。
本実施形態では、図９に示されているように、色空間を均等に６つの色分割領域に分割し、階調変換する前の現映像信号が階調変換処理後に白とびになっている特定領域に対して、画素ごとに（４）式に算出された色差信号がどの色分割領域に入っているのかを検証する。また、近隣領域の映像信号に対しても同様の検証を行う。（５）式、（６）式を用いてどの色分割領域に属するかを判定する。
【００７０】
そして、近隣類似色抽出部４０１４は、制御部１１３の制御に基づき、色分割領域の所属に関する情報、特定領域の輝度及び色差信号、近隣領域の輝度及び色差信号、階調変換処理後の映像信号を対象領域補正部４１２へ転送する。
なお、本実施形態では、Ｃｒ、Ｃｂ色空間において領域分割する構成になっているが、他の色空間、例えばＬａｂ表色系空間などにおいて、領域分割する構成にしてもよい。
【００７１】
図１９は、対象領域補正部４１２の構成の一例を示しており、対象領域補正部４１２は、対象ヒストグラム検出部４０２１、過去ヒストグラム検出部４０２２、ヒストグラム４０２３、画像合成部（合成部）４１２４、近隣ヒストグラム検出部４０２５及び近隣ヒストグラム補正部４０２８から構成されている。
【００７２】
類似色抽出部４０１２は、対象ヒストグラム検出部４０２１、過去ヒストグラム検出部４０２２及び画像合成部４１２４へ接続している。対象ヒストグラム検出部４０１２は、近隣ヒストグラム補正部４０２６へ接続している。対象ヒストグラム検出部４０２１及び過去ヒストグラム検出部４０２２は、ヒストグラム４０２３及び画像合成部４１２４を介して出力部１０９へ接続している。ＲＯＭ１１５は、画像合成部４１２４へ接続している。近隣類似色抽出部４０１４は、近隣ヒストグラム検出部４０２５及び近隣ヒストグラム補正部４０２６を介して画像合成部４１２４へ接続している。制御部１１３は、対象ヒストグラム検出部４０２１、過去ヒストグラム検出部４０２２、ヒストグラム４０２３画像合成部４１２４、近隣ヒストグラム検出部４０２５及び近隣ヒストグラム補正部４０２８と双方向に接続している。
【００７３】
ここで、対象領域ヒストグラム検出部４０２１、過去ヒストグラム検出部４０２２及びヒストグラム４０２３での処理は、第１の実施形態の処理と同じであるため、説明を省略する。
近隣ヒストグラム検出部４０２５は、制御部１１３の制御に基づき近隣類似色抽出部４０１４からの色分割領域の所属に関する情報を用いて、近隣領域の各色分割領域での輝度ヒストグラムを形成する。そして、形成したヒストグラム情報を、近隣類似色抽出４０１４からの各映像信号及び色分割領域の所属に関する情報などと一緒に近隣ヒストグラム補正部４０２６へ転送する。
【００７４】
近隣ヒストグラム補正部４０２６は、制御部１１３の制御に基づき、対象ヒストグラム検出部４０２１から転送されてきた特定領域に対応する階調変換処理前の輝度信号に対し、近隣ヒストグラム検出部４０２５から転送されてきた近隣領域の輝度ヒストグラム情報を用いて、公知のヒストグラムの累積処理を行う。各色分割領域において、特定領域部分の画素数と近隣領域部分の映像信号の画素数とが合わない場合、（７）式を用いて、補正倍率を算出する。
【００７５】
次に、累積処理を行う際、上記の補正倍率を用いて、近隣領域の輝度ヒストグラムの輝度値と累積数とを画素ごとに乗算する。この乗算処理した後の近隣領域の映像信号の輝度ヒストグラムに基づき公知の累積処理を行う。すべての色分割領域での輝度ヒストグラム累積処理が完了後、特定領域の累積処理後の輝度信号に対して、画素ごとに（８）式を用いてＲＧＢ映像信号へ変換する。そして、制御部１１３の制御に基づき、変換後のＲＧＢ映像信号を画像合成部４１２４へ転送する。
【００７６】
画像合成部４１２４は、制御部１１３の制御に基づき、特定領域に対してヒストグラム４０２３からの過去の映像信号で補正した映像信号と、近隣ヒストグラム補正部４０２６からの近隣領域映像信号で補正した映像信号を用いて、所定の比率で合成処理を行う。合成比率に関しては、両方の映像信号の合成率は合わせて１００％になるのは基本だが、一方の映像信号を１００％、もう一方の映像信号を０％という設定も可能である。特定領域以外の領域においては、階調変換処理後の映像信号を用いる。合成処理後の映像信号を出力部１０９へ転送する。
【００７７】
距離情報に基づき、過去の映像信号を用いて特定領域を補正する場合、同じ距離を持つ過去の映像信号が十分ではない可能性がある。また、はじめから白とびになっている領域がある場合、過去の映像信号がないため、階調補正できないことも考えられる。一方で、近隣領域映像信号を用いて、特定領域の階調を補正する場合、近隣領域の映像信号が十分ではない、あるいは、近隣領域に色にじみが含まれているなどの可能性がある。これに対して、本実施形態に係る映像信号処理装置によれば、距離情報に基づき過去の映像信号で補正した映像信号と近隣領域の映像信号で補正した映像信号とを合成することで、高画質な階調補正映像信号が得られる。
【００７８】
以上説明した本実施形態における映像信号処理は、ハードウェアにより実現しているが、このような構成に限定される必要がない。ここで、本実施形態例における映像信号処理プログラムによる処理を示すフローチャート、特定領域を検出する際（高輝度映像信号の検出処理）の詳細を示すフローチャート、及び階調補正処理の詳細を示すフローチャートは第１の実施形態のものと同じのため、ここでは説明省略し、異なる部分を主に説明する。
【００７９】
図２０は、図１３のＳｔｅｐ２０１における対応領域抽出処理の詳細を示すフローチャートである。この図２０に示す処理は、図１６の対応領域抽出部４１１において行われる処理に対応するものとなっている。等距離検出処理及び類似色抽出処理は第１の実施形態の図１４に示されている処理内容と同じであるため、この２つの部分の処理内容の説明を省略し、近隣検出処理及び近隣類似色抽出処理について説明する。
【００８０】
この処理を開始すると、まず、Ｓｔｅｐ２３１にて、高輝度映像信号領域の近隣領域を検出し、Ｓｔｅｐ２３２へ進む。
次に、Ｓｔｅｐ２３２にて、（４）式に基づいて、高輝度映像信号の階調変換する前の映像信号の色差信号を算出する。次に、近隣領域の映像信号から画素ごとの色差信号も同様に算出する。それと同時に、（１）式を用いて、特定領域の階調変換前の輝度信号及び近隣領域の映像信号の輝度信号をも算出する。図９に示されているように、色空間を均等に６つの色分割領域に分割し、階調変換する前の現映像信号が階調変化処理後に白とびになっている特定領域に対して、画素ごとに（４）式に算出された色差信号がどの色分割領域に入っているのかを検証する。また、近隣領域の映像信号に対しても同様の検証を行う。（５）式、（６）式を用いてどの色分割領域に属するかを判定する。このＳｔｅｐ２３２の処理が完了したら、その後は図１３の示した処理へ復帰する。
【００８１】
図２１は、図１３のＳｔｅｐ２０２における対象領域補正処理の詳細を示すフローチャートである。この図２１に示す処理は、図１６の対象領域補正部４１２において行われる処理に対応するものとなっている。対象ヒストグラム検出処理及びヒストグラム補正処理は図１５に示されている処理内容と同じであるため、この２つの部分の処理内容の説明を省略する。
【００８２】
この処理を開始すると、まず、Ｓｔｅｐ２４１にて、各色分割領域において、高輝度領域の色差信号が存在するか否かを検証する。色差信号が存在すれば、高輝度領域部分に対応する近隣領域の輝度ヒストグラムを形成し、Ｓｔｅｐ２４２へ進む。
【００８３】
次に、Ｓｔｅｐ２４２にて、特定領域に対応する階調変換処理前の輝度信号に対し、近隣領域の輝度ヒストグラム情報を用いて公知のヒストグラムの累積処理を行う。各色分割領域において、特定領域の画素数と近隣領域の映像信号の画素数とが合わない場合、（７）式を用いて、補正倍率を算出する。次に、累積処理を行う際、上記の補正倍率を用いて、近隣領域の輝度ヒストグラムの輝度値と累積数とを画素ごとに乗算する。この乗算処理した後の近隣領域の映像信号の輝度ヒストグラムに基づき公知の累積処理を行う。すべての色分割領域での輝度ヒストグラム累積処理が完了後、特定領域の累積処理後の輝度信号に対して、画素ごとに（８）式を用いてＲＧＢ映像信号へ変換し、Ｓｔｅｐ２４４へ進む。
【００８４】
最後に、Ｓｔｅｐ２２４にて、高輝度領域においては、階調補正後の映像信号と階調変換処理後の映像信号の合成処理を行う。高輝度領域以外の領域においては、階調変換処理後の映像信号を用いる。このＳｔｅｐ２２４の処理が完了したら、その後は図１３の示した処理へ復帰する。
【００８５】
以上、本発明の各実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、前述の各実施形態では、過去データ保存部１１０に格納された階調補正後の過去の映像信号は一つの例を示したが、これに限られず、変形例として、複数であってもよい。
【図面の簡単な説明】
【００８６】
【図１】第１の実施形態に係る動画撮像装置の機能ブロック図である。
【図２】γ特性データを示すグラフであって、（ａ）は本実施形態のγ特性データを示すグラフ、（ｂ）は変形例のγ特性データを示すグラフである。
【図３】図１の特定領域検出部の機能ブロック図である。
【図４】図３の特定輝度域検出部の機能ブロック図である。
【図５】図１の距離情報取得部の機能ブロック図である。
【図６】距離測定用の映像分割方法を説明する図であって、（ａ）は本実施形態の分割方法を説明する図、（ｂ）は変形例の分割方法を説明する図である。
【図７】図１の階調補正部の機能ブロック図である。
【図８】図７の対応領域抽出部の機能ブロック図である。
【図９】色領域分割の方法を説明する図である。
【図１０】図７の対象領域補正部の機能ブロック図である。
【図１１】第１の実施形態に係る映像信号処理プログラムのフローチャートである。
【図１２】図１１の高輝度映像信号の検出処理のフローチャートである。
【図１３】図１１の階調補正処理のフローチャートである。
【図１４】図１３の対応領域処理のフローチャートである。
【図１５】図１３の対象領域補正処理のフローチャートである。
【図１６】第２の実施形態に係る階調補正部の機能ブロック図である。
【図１７】図１６の対応領域抽出部の機能ブロック図である。
【図１８】近隣領域検出の方法を説明する図である。
【図１９】図１６の対象領域補正部の機能ブロック図である。
【図２０】第２の実施形態に係る対応領域処理のフローチャートである。
【図２１】第２の実施形態に係る対象領域補正処理のフローチャートである。
【符号の説明】
【００８７】
１０６  階調変換部
１０７  特定領域検出部
１０８  階調補正部
１０９  出力部
１１０  過去データ保存部
１１１  赤外線センサー
１１２  距離情報取得部
１１３  制御部
２０１  領域分割部
２０２  距離測定部
３０１  輝度信号変換部
３０２  特定輝度域検出部
４０１  対応領域抽出部
４０２  対象領域補正部
４１１  対応領域抽出部
４１２  対象領域補正部
４０１１  等距離検出部
４０１２  類似色抽出部
４０１３  近隣検出部
４０１４  近隣類似色抽出部
４０２１  対象ヒストグラム検出部
４０２２  過去ヒストグラム検出部
４０２３  ヒストグラム補正部
４０２４  画像合成部
４０２５  近隣ヒストグラム検出部
４０２６  近隣ヒストグラム補正部
４１２４  画像合成部
【図１】
2009302960.tif 000003
【図２】
2009302960.tif 000004
【図３】
2009302960.tif 000005
【図４】
2009302960.tif 000006
【図５】
2009302960.tif 000007
【図６】
2009302960.tif 000008
【図７】
2009302960.tif 000009
【図８】
2009302960.tif 000010
【図９】
2009302960.tif 000011
【図１０】
2009302960.tif 000012
【図１１】
2009302960.tif 000013
【図１２】
2009302960.tif 000014
【図１３】
2009302960.tif 000015
【図１４】
2009302960.tif 000016
【図１５】
2009302960.tif 000017
【図１６】
2009302960.tif 000018
【図１７】
2009302960.tif 000019
【図１８】
2009302960.tif 000020
【図１９】
2009302960.tif 000021
【図２０】
2009302960.tif 000022
【図２１】
2009302960.tif 000023