(57)【要約】【課題】階調補正を向上させた撮像システムを提供する。【解決手段】第１の映像信号を取得した時の第１の露出条件とは異なる第２の露出条件を設定し、第２の映像信号を取得する。第１の映像信号を第１の輝度信号と第１の色差信号とに分離し、第２の映像信号を第２の輝度信号と第２の色差信号とに分離する。そして、第１の映像信号の第１の色差信号と第２の映像信号の第２の色差信号とに基づいて、第１の映像信号の中で黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変更曲線を作成し、第１の映像信号に対して階調補正を行う。【選択図】図１
2010187350.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を階調変換し、出力する撮像システムであって、
前記映像信号を取得する撮像部と、
第１の映像信号を取得した時の第１の露出条件とは異なる第２の露出条件を設定する露出条件設定部と、
前記第１の映像信号を第１の輝度信号と第１の色差信号とに分離し、前記第２の露出条件によって取得された第２の映像信号を第２の輝度信号と第２の色差信号とに分離する分離部と、
前記第１の色差信号と前記第２の色差信号とに基づいて、前記第１の映像信号または前記第２の映像信号中の黒い領域を示す信号値の増幅率よりも、前記黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定する階調変換曲線設定部と、
前記階調変換曲線に基づいて、前記第１の映像信号または前記第２の映像信号の階調補正を行う階調補正部と、を備えることを特徴とする撮像システム。
【請求項２】
前記第１の色差信号あるいは前記第２の色差信号に基づいて、補正領域を選択する補正領域選択部を備え、
前記階調補正部は、前記補正領域に対して、前記階調変換曲線に基づいて、前記第１の映像信号または前記第２の映像信号の階調補正を行うことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記第１の色差信号から算出する彩度と前記第２の色差信号から算出する彩度とに基づいて、階調補正のための補正係数を算出する補正係数算出部を備え、
前記階調変換曲線設定部は、前記補正係数に基づいて、前記階調変換曲線を設定することを特徴とする請求項１または２に記載の撮像システム。
【請求項４】
前記第１の映像信号と前記第２の映像信号との位置合わせを行う第１の位置合わせ部を備え、
前記補正係数算出部は、前記第１の映像信号と前記第２の映像信号とを用いて位置合わせが行われた後に、前記第１の色差信号から算出する彩度と前記第２の色差信号から算出する彩度とに基づいて、前記補正係数を算出することを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記第１の輝度信号と前記第２の輝度信号との位置合わせを行う第２の位置合わせ部を備え、
前記補正係数算出部は、前記第１の輝度信号と前記第２の輝度信号とを用いて位置合わせが行われた後に、前記第１の色差信号から算出する彩度と前記第２の色差信号から算出する彩度とに基づいて、前記補正係数を算出することを特徴とする請求項３に記載の撮像システム。
【請求項６】
前記補正係数算出部は、前記第１の色差信号から算出する彩度と前記第２の色差信号から算出する彩度との比、もしくは差に基づいて、前記補正係数を算出することを特徴とする請求項３から５のいずれか一つに記載の撮像システム。
【請求項７】
被写体の輝度を検出する光強度検出部を備え、
前記露出条件設定部は、
前記光強度検出部によって検出された、前記第１の露出条件における前記第１の映像信号の輝度をヒストグラムとして算出するヒストグラム算出部と、
前記ヒストグラムにおいて、前記輝度が第１所定値以下である前記第１の映像信号の信号値の累積値を算出する累積値算出部と、
前記累積値が、第２所定値以下となるように露出値を算出し、前記第２の露出条件を設定する露出値算出部と、を備えることを特徴とする請求項１から６のいずれか一つに記載の撮像システム。
【請求項８】
前記補正領域選択部は、前記第１の色差信号から算出する彩度または前記第２の色差信号から算出する彩度が、第３所定値以下である領域を前記補正領域とすることを特徴とする請求項２に記載の撮像システム。
【請求項９】
請求項１から８のいずれか一つに記載の撮像システムを備えることを特徴とする電子機器。
【請求項１０】
映像信号を階調変換する映像信号処理プログラムであって、
コンピュータに、
第１の露出条件により撮影された第１の映像信号を取得する第１の取得手順と、
前記第１の露出条件とは異なる第２の露出条件により撮影された第２の映像信号を取得する第２の取得手順と、
前記第１の映像信号を第１の輝度信号と第１の色差信号とに分離し、前記第２の映像信号を第２の輝度信号と第２の色差信号とに分離する分離手順と、
前記第１の色差信号と前記第２の色差信号とに基づいて、前記第１の映像信号または前記第２の映像信号中の黒い領域を示す信号値の増幅率よりも、前記黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定する階調変換曲線設定手順と、
前記階調変換曲線に基づいて、前記第１の映像信号または前記第２の映像信号の階調補正を行う階調補正手順と、を実行させることを特徴とする映像信号処理プログラム。
【請求項１１】
前記コンピュータに、
前記第１の色差信号あるいは前記第２の色差信号に基づいて、補正領域を選択する補正領域選択手順を実行させ、
前記階調補正手順は、前記補正領域に対して、前記階調変換曲線に基づいて、前記第１の映像信号または前記第２の映像信号の階調補正を行うことを特徴とする請求項１０に記載の映像信号処理プログラム。
【請求項１２】
前記コンピュータに、
前記第１の色差信号から算出する彩度と前記第２の色差信号から算出する彩度とに基づいて、階調補正のための補正係数を算出する補正係数算出手順を備え、
前記階調変換曲線設定手順は、前記補正係数に基づいて、前記階調変換曲線を設定することを特徴とする請求項１０または１１に記載の映像信号処理プログラム。
【請求項１３】
前記コンピュータに、
前記第１の映像信号と前記第２の映像信号との位置合わせを行う第１の位置合わせ手順を実行させ、
前記補正係数算出手順は、前記第１の映像信号と前記第２の映像信号とを用いて位置合わせが行われた後に、前記第１の色差信号と前記第２の色差信号とに基づいて、前記補正係数を算出することを特徴とする請求項１２に記載の映像信号処理プログラム。
【請求項１４】
前記コンピュータに、
前記第１の輝度信号と前記第２の輝度信号との位置合わせを行う第２の位置合わせ手順を実行させ、
前記補正係数算出手順は、前記第１の輝度信号と前記第２の輝度信号とを用いて位置合わせが行われた後に、前記第１の色差信号と前記第２の色差信号とに基づいて、前記補正係数を算出することを特徴とする請求項１２に記載の映像信号処理プログラム。
【請求項１５】
前記補正係数算出手順は、前記第１の色差信号から算出する彩度と前記第２の色差信号から算出する彩度との比もしくは差に基づいて、前記補正係数を算出することを特徴とする請求項１２から１４のいずれか一つに記載の映像信号処理プログラム。
【請求項１６】
前記補正領域選択手段は、前記第１の色差信号から算出する彩度または前記第２の色差信号から算出する彩度が、第３所定値以下である領域を前記補正領域とすることを特徴とする請求項１１に記載の映像信号処理プログラム。
【請求項１７】
映像信号を階調変換し、出力する撮像方法であって、
前記映像信号を取得し、
第１の映像信号を取得した時の第１の露出条件とは異なる第２の露出条件を設定し、
前記第１の映像信号を第１の輝度信号と第１の色差信号とに分離し、前記第２の露出条件によって取得された第２の映像信号を第２の輝度信号と第２の色差信号とに分離し、
前記第１の色差信号と前記第２の色差信号とに基づいて、階調補正のための補正係数を算出し、
前記第１の色差信号と前記第２の色差信号とに基づいて、前記第１の映像信号または前記第２の映像信号中の黒い領域を示す信号値の増幅率よりも、前記黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定し、
前記階調変換曲線に基づいて、前記第１の映像信号または前記第２の映像信号の階調補正を行う、ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像システム、映像処理信号プログラム、および撮像方法に関するものである。
【背景技術】
【０００２】
現在、デジタルスチルカメラやビデオカメラ等の撮像系の信号処理において、映像信号を階調変換するという処理がしばしば行われる。階調変換処理の一つの方法として、映像信号の輝度成分や色差成分により補正量を算出し、階調変換する方法がある。
【０００３】
例えば、特許文献１では、入力された映像信号から対象領域を検出し、対象領域と非対象領域のそれぞれにおいて、輝度成分や色差成分の頻度に基づいて補正テーブルを作成し階調変換を行うことで、対象領域と非対象領域のそれぞれを適切に階調変換することを可能としている。
【特許文献１】特開２００７−１２４６０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の発明では、映像信号内に色差信号成分を含む暗い領域と色差信号成分をほとんど含まない黒い領域とがあった場合、撮像系の信号処理や暗部のノイズ等の影響により、黒い領域と暗い領域との色差成分に差が生じない可能性があるため、両領域において同様の階調補正が行われてしまう。そのため、黒い領域に対しては黒が浮いてしまいメリハリのない映像となってしまう。黒い領域とは、黒色を示す領域、さらには黒色に近い色を示す領域を含む領域である。また、暗い領域とは、本来黒色または黒色に近い色を示す領域とは異なる色を示す領域である。暗い領域は、例えば陰などにより暗くなり、本来の色を示していない領域である。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、露出を変更した複数の映像信号の色差成分に基づいて暗い領域および黒い領域を区別して階調補正を行うことで、映像信号に対して最適な階調補正を行うことが可能な撮像システムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明のある態様は、映像信号を階調変換し、出力する撮像システムであって、映像信号を取得する撮像部と、 第１の映像信号を取得した時の第１の露出条件とは異なる第２の露出条件を設定する露出条件設定部と、第１の映像信号を第１の輝度信号と第１の色差信号とに分離し、第２の露出条件によって取得された第２の映像信号を第２の輝度信号と第２の色差信号とに分離する分離部と、第１の色差信号と第２の色差信号とに基づいて、第１の映像信号または第２の映像信号中の黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定する階調変換曲線設定部と、階調変換曲線に基づいて、第１の映像信号または第２の映像信号の階調補正を行う階調補正部と、を備える。
【０００７】
本発明の別の態様は、映像信号を階調変換する映像信号処理プログラムであって、コンピュータに、第１の露出条件により撮影された第１の映像信号を取得する第１の取得手順と、第１の露出条件とは異なる第２の露出条件により撮影された第２の映像信号を取得する第２の取得手順と、第１の映像信号を第１の輝度信号と第１の色差信号とに分離し、第２の映像信号を第２の輝度信号と第２の色差信号とに分離する分離手順と、第１の色差信号と第２の色差信号とに基づいて、第１の映像信号または第２の映像信号中の黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定する階調変換曲線設定手順と、階調変換曲線に基づいて、第１の映像信号または第２の映像信号の階調補正を行う階調補正手順と、を実行させる。
【０００８】
本発明のさらに別の態様は、映像信号を階調変換し、出力する撮像方法であって、映像信号を取得し、 第１の映像信号を取得した時の第１の露出条件とは異なる第２の露出条件を設定し、第１の映像信号を第１の輝度信号と第１の色差信号とに分離し、第２の露出条件によって取得された第２の映像信号を第２の輝度信号と第２の色差信号とに分離し、第１の色差信号と第２の色差信号とに基づいて、階調補正のための補正係数を算出し、第１の色差信号と第２の色差信号とに基づいて、第１の映像信号または第２の映像信号中の黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定し、階調変換曲線に基づいて、第１の映像信号または前記第２の映像信号の階調補正を行う。
【０００９】
これらの態様によれば、第１の映像信号と第２の映像信号とにおける色差信号に基づいて、黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定することで、映像信号中の暗い領域と黒い領域とを正確に区別することができ、最適な階調変換を行うことができる。
【発明の効果】
【００１０】
本発明によると、階調変換を向上させることができる。
【発明を実施するための最良の形態】
【００１１】
本発明の第１実施形態の構成について図１を用いて説明する。図１は、第１実施形態の撮像システムのブロック図である。
【００１２】
第１実施形態の撮像システムは、レンズ系１００と、絞り１０１と、カラーフィルタ１０２と、ＣＣＤ１０３（撮像部）と、ＡＥセンサ（光強度検出部）１０４と、Ａ／Ｄ１０５と、バッファ１０６と、露出制御部（露出条件設定部）１０７と、信号処理部１０８と、色差信号分離部（分離部）１０９と、補正係数算出部１１０と、補正部１１１と、圧縮部１１２と、出力部１１３と、制御部１１４と、外部Ｉ／Ｆ部１１５と、を備える。
【００１３】
露出制御部１０７は絞り１０１と、ＣＣＤ１０３と、ＡＥセンサ１０４と接続している。信号処理部１０８は色差信号分離部１０９と、補正係数算出部１１０と、補正部１１１と接続している。色差信号分離部１０９は、補正係数算出部１１０へ接続している。補正係数算出部１１０は補正部１１１へ接続している。補正部１１１は圧縮部１１２へ接続している。マイクロコンピュータなどの制御部１１４は露出制御部１０７と、信号処理部１０８と、色差信号分離部１０９と、補正係数算出部１１０と、補正部１１１および圧縮部１１２と双方向に接続している。さらに外部Ｉ／Ｆ部１１５も制御部１１４と双方向に接続している。
【００１４】
レンズ系１００は、複数のレンズによって構成される。絞り１０１は、単位時間当たりにＣＣＤ１０３の受光面へ到達する光量を調整する。
【００１５】
ＣＣＤ１０３は、ＲＧＢ原色系の単板ＣＣＤである。ＣＣＤ１０３よりも被写体側にカラーフィルタ１０２が配置される。また、本実施形態では、電子シャッタのシャッタ速度を制御することで、電荷蓄積時間（露光時間）を制御するが、メカニカルシャッタを用いて露光時間を制御してもよい。
【００１６】
レンズ系１００、絞り１０１、カラーフィルタ１０２、ＣＣＤ１０３は、光軸に沿って配置される。
【００１７】
Ａ／Ｄ１０５は、ＣＣＤ１０３を介して撮影したアナログの映像信号をデジタルの映像信号に変換する。デジタルの映像信号はバッファ１０６に転送される。また、バッファ１０６内の映像信号は、信号処理部１０８に転送される。
【００１８】
露出制御部１０７について、図２を用いて説明する。図２は、露出制御部１０７のブロック図である。
【００１９】
露出制御部１０７は、ヒストグラム算出部２００と、露出算出部（累積値算出部、露出値算出部）２０１と、パラメータ制御部２０２と、を備える。ヒストグラム算出部２００は露出算出部２０１へ接続し、露出算出部２０１はパラメータ制御部２０２へ接続している。ＡＥセンサ１０４はヒストグラム算出部２００へ接続している。制御部１１４はヒストグラム算出部２００、露出算出部２０１およびパラメータ制御部２０２と双方向に接続する。パラメータ制御部２０２は絞り１０１およびＣＣＤ１０３へ接続している。
【００２０】
ヒストグラム算出部２００は、撮影時にＡＥセンサ１０４によって検出した輝度値のヒストグラムを算出する。ヒストグラム算出部２００によって算出したヒストグラムは、例えば図３（ａ）のようになる。
【００２１】
露出算出部２０１は、ヒストグラム算出部２００によって算出したヒストグラムから映像信号の輝度値の平均値Ｍ1を算出する。そして、第１の映像信号の露出値ＥＶ1ISOを式（１）により算出する。
【００２２】
【数１】
2010187350.tif 000003
【００２３】
なお、第１の映像信号を取得した時の絞り値をＦ1、露光時間をＴ1、ＩＳＯ感度をＩＳＯとする。また、ｂｉｔは映像信号をデジタル信号に変換する際のビット精度である。ｉおよびｐは映像信号をＥＶ値に変換するための係数である。以下、絞り値Ｆ1、露光時間Ｔ1とした第１の露出条件によって得られた映像信号を第１の映像信号とする。
【００２４】
また、露出算出部２０１は、ヒストグラムに基づいて、輝度値が所定の閾値（第１所定値）ｔ以下となる画素数の頻度を積算値Ａ１として積算する。閾値ｔは予め設定される値である。
【００２５】
そして、積算値Ａ１が所定値（第２所定値）以上である場合には、平均値をΔｍだけ輝度値が大きくなるように移動させる。所定値は予め設定される値である。本実施形態では、積算値Ａ１が所定値よりも大きい場合には、撮像した映像が、黒い領域を多く含んでいる、もしくは暗い領域が多いと判定する。図３（ａ）におけるヒストグラムをΔｍだけ移動させたヒストグラムが図３（ｂ）である。Δｍは、閾値ｔ以下となる画素数の頻度の積算値Ａ２が所定値よりも小さくなるように設定される。
【００２６】
Δｍ移動させた場合に、露出値ＥＶ1ISOとなる絞り値Ｆ2、露光時間Ｔ2の関係は、式（２）のように表すことができる。
【００２７】
【数２】
2010187350.tif 000004
【００２８】
式（２）を変形させると、式（３）のように表すことができる。
【００２９】
【数３】
2010187350.tif 000005
【００３０】
式（３）の露出値ＥＶ2ISOは、積算値Ａ２が所定値以下となり、輝度値の平均値がＭ1であり、絞り値がＦ2であり、露出時間がＴ2となるような露出値である。露出値ＥＶ2ISOは露出値ＥＶ1ISOよりも小さい値である。そのため、同じ被写体を撮影した場合でも、式（１）の条件により撮影を行って得られた映像よりも、式（３）の条件により撮影を行って得られた映像の方が、明るい映像となる。
【００３１】
露出算出部２０１は、式（３）に基づいて、露出値ＥＶ2ISOにおける絞り値Ｆ2と露光時間Ｔ2とを算出する。
【００３２】
パラメータ制御部２０２は、露出算出部２０１によって算出した絞り値Ｆ2および露光時間Ｔ2となるように、絞り１０１の絞り値およびＣＣＤ１０３のシャッタ速度を制御する。
【００３３】
上記するように、露出制御部１０７によって、第１の映像信号に対して、絞りＦ2および露光時間Ｔ2となるように第２の露出条件を設定し、絞り１０１の絞り値およびＣＣＤ１０３のシャッタ速度を制御して撮影された映像信号を取得する。以下、第２の露出条件により得られた映像信号を、第２の映像信号とする。また、第１の映像信号、および第２の映像信号を区別しない映像信号について説明する場合には、映像信号と記載する。
【００３４】
信号処理部１０８は、制御部１１４の制御に基づき、バッファ１０６上の単板状態の映像信号を読み込む。そして、公知の補間処理（デモザイキング処理）、ホワイトバランス処理などを行い、各画素においてＲＧＢのフルカラーの映像信号を生成する。生成された映像信号のうち第１の映像信号は、色差信号分離部１０９、補正係数算出部１１０および補正部１１１へ転送される。また、第２の映像信号は、色差信号分離部１０９、補正係数算出部１１０へ転送される。
【００３５】
色差信号分離部１０９は、信号処理部１０８から転送された映像信号を輝度信号と色差信号に分離する。分離は例えば、以下に示す式（４）のような計算を行う。
【００３６】
【数４】
2010187350.tif 000006
【００３７】
ここで、ＲＧＢは映像信号のＲＧＢ値を表し、Ｙは輝度信号、Ｃｂ、Ｃｒは色差信号を表す。色差信号分離部１０９において得られた色差信号は補正係数算出部１１０へ転送される。
【００３８】
補正係数算出部１１０について、図４を用いて説明する。図４は補正係数算出部１１０のブロック図である。
【００３９】
補正係数算出部１１０は、フレームメモリ３０１と、移動量算出部３０２と、係数算出部（第１の位置合わせ部）３０４と、フレームメモリ３０３と、を備える。フレームメモリ３０１は移動量算出部３０２へ接続している。移動量算出部３０２およびフレームメモリ３０３は係数算出部３０４へ接続している。信号処理部１０８はフレームメモリ３０１へ接続している。色差信号分離部１０９はフレームメモリ３０３へ接続している。制御部１１４は移動量算出部３０２および係数算出部３０４と双方向に接続している。係数算出部３０４は補正部１１１に接続している。
【００４０】
フレームメモリ３０１は、信号処理部１０８から転送される映像信号を蓄積する。
【００４１】
フレームメモリ３０３は、色差信号分離部１０９から転送される色差信号を蓄積する。
【００４２】
移動量算出部３０２は、フレームメモリ３０１に蓄積された第１の映像信号と第２の映像信号を抽出する。そして、第１の映像信号に対する第２の映像信号の移動量を算出する。移動量の算出方法としては、公知の動きベクトルやブロックマッチングなどを用いる。
【００４３】
係数算出部３０４は、フレームメモリ３０３から色差信号を抽出する。そして、移動量算出部３０２によって算出した移動量に基づいて、第１の色差信号に対する第２の色差信号の座標変換を行い、位置合わせを行う。例えばカメラを正位置とした場合の横方向をｘ方向とし、縦方向をｙ方向とした場合に、ｘ軸方向にａ、ｙ軸方向にｂの移動量が算出されたとする。この場合には、第２の色差信号はｘ軸方向に−ａ、ｙ軸方向に−ｂだけ平行移動する。これによって、第１の色差信号と第２の色差信号との位置合わせが行われる。なお、平行移動の他にも、回転や拡大、縮小などの座標変換処理が可能である。
【００４４】
係数算出部３０４は、位置合わせを行った後に、対応する画素ごとに補正係数αを算出する。補正係数αは、例えば式（５）に示すように、第１の色差信号から算出される彩度Ｓ1と、第２の色差信号から算出される彩度Ｓ2と、の比として算出される。
【００４５】
【数５】
2010187350.tif 000007
【００４６】
ここで、ｋは規格化係数であり、Ｃr1およびＣb1は第１の色差信号であり、Ｃr2およびＣb2は第２の色差信号である。ただし、露出値ＥＶ1ISOが露出値ＥＶ2ISOよりも大きい値であると仮定している。
【００４７】
また、補正係数αは、式（６）に示すように、第１の色差信号から算出される彩度Ｓ1と第２の色差信号から算出される彩度Ｓ2との差から算出してもよい。
【００４８】
【数６】
2010187350.tif 000008
【００４９】
係数算出部３０４によって算出された補正係数αは、補正部１１１へ転送される。
【００５０】
補正部１１１について、図５を用いて説明する。図５は、補正部１１１のブロック図である。
【００５１】
補正部１１１は、階調変換曲線作成部（階調変換曲線設定部）４０１と、変換曲線適用部（階調補正部）４０３と、を備える。階調変換曲線作成部４０１は変換曲線適用部４０３へ接続している。補正係数算出部１１０は階調変換曲線作成部４０１へ接続している。信号処理部１０８は変換曲線適用部４０３へ接続している。制御部１１４は階調変換曲線作成部４０１および変換曲線適用部４０３と双方向に接続している。変換曲線適用部４０３は圧縮部１１２へ接続している。
【００５２】
階調変換曲線作成部４０１は、補正係数算出部１１０により転送された補正係数αを用いて、階調変換曲線を作成する。階調変換曲線は、例えば式（７）を用いて作成される。ｘは階調補正前の信号値、ｙは階調補正後の信号値である。
【００５３】
【数７】
2010187350.tif 000009
【００５４】
ここでｘは８ビットの信号としているため、階調変換曲線を規格化するための係数として２５５を用いている。
【００５５】
変換曲線適用部４０３は、式（７）に示される階調変換を用いて、信号処理部１０８により転送された第１の映像信号のＲＧＢ値について、それぞれ階調補正を行う。
【００５６】
第１の映像信号の彩度Ｓ1と、第２の映像信号の彩度Ｓ2と、がほぼ等しい場合は、補正係数αは、式（５）により略１となる。そのため、式（７）に示す階調変換曲線を用いた階調補正の前後で信号値はほとんど変わらない。つまり露出により彩度が変化しない黒い領域は、階調補正による入力信号値の増幅率が小さく、階調補正が行われても入力信号値と出力信号値がほぼ等しくなる。
【００５７】
一方、第１の映像信号の彩度Ｓ1と、第２の映像信号の彩度Ｓ2と、に差がある場合は、補正係数αは、式（５）により１以上となる。そのため、式（６）により、階調補正後の信号値ｙは、階調補正前の信号値ｘよりも大きくなり、暗い領域の信号値は増幅される。つまり、露出条件により彩度が変化する暗い領域は、階調補正による入力信号値の増幅率が大きく、階調補正により入力信号値は増幅されて出力される。階調補正された第１の映像信号は、圧縮部１１２に転送される。
【００５８】
圧縮部１１２は、変換曲線適用部４０３から転送された階調補正後の第１の映像信号に対して、公知のＪＰＥＧ等の圧縮処理を行い、出力部１１３へ転送する。
【００５９】
出力部１１３は、メモリカードなどへ圧縮信号を記録保存あるいは外部表示ディスプレイに階調補正後の第１の映像信号を表示する。
【００６０】
外部Ｉ／Ｆ１１５は、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備える。
【００６１】
本実施形態ではハードウェアによる処理を前提としているが、このような構成に限定される必要はない。例えば、ＣＣＤ１０３からの映像信号を映像信号サイズ、撮影条件（露出、焦点距離）などのヘッダ情報を付加したＲａｗデータとして出力し、別途ソフトウェアにて処理する構成も可能である。ソフトウェアによって処理を行う場合には、例えば制御部１１４に含まれるＣＰＵがメモリに記憶された制御プログラムに基づいて演算処理を実行することにより、信号処理部１０８などが機能する。
【００６２】
ソフトウェアによって処理を行う場合について、図６のフローチャートを用いて説明する。
【００６３】
ステップＳ１では、ヘッダ情報を読み出す。
【００６４】
ステップＳ２では、第１の映像信号を取得し、バッファ１０６に記憶させる。また、第２の映像信号を取得すると第２の映像信号をバッファ１０６に記憶させる。
【００６５】
信号処理部１０８に相当するステップＳ３では、ＲＧＢのフルカラーの映像信号を作成する。
【００６６】
色差信号分離部１０９に相当するステップＳ４では、第１の映像信号を第１の輝度信号と第１の色差信号とに分離する。また、第２の映像信号を第２の輝度信号と第２の色差信号とに分離する。
【００６７】
補正係数算出部１１０に相当するステップＳ５では、第１の色差信号と第２の色差信号とに基づいて、補正係数αを算出する。
【００６８】
補正部１１１に相当するステップＳ６では、補正係数αに基づいて、階調変換曲線を算出し、階調変換曲線を用いて第１の映像信号に対して階調補正を行う。
【００６９】
本実施形態では、第１の映像信号に対して階調補正を行ったが、第２の映像信号に対して階調補正を行ってもよい。
【００７０】
また、露出条件として、絞り値、シャッタ速度を設定し、露出を制御したが、これに限られることはなく、ＩＳＯ感度、ストロボなどを調整して、露出を制御してもよい。また、第２の露出条件を、第１の露出条件に対して、例えば絞り値を所定値だけ広げる、シャッタ速度を所定値だけ遅くする、など決められた値だけ変更することで、設定しても良い。
【００７１】
本発明の第１実施形態の効果について説明する。
【００７２】
第１の露出条件による撮影で得られた第１の映像信号を第１の輝度信号と第１の色差信号とに分離する。また、第１の露出条件とは異なる第２の露出条件による撮影で得られた第２の映像信号を第２の輝度信号と第２の色差信号とに分離する。第１の色差信号と第２の色差信号とに基づいて、黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定する。そして、階調変換曲線に基づいて、第１の映像信号を階調補正する。これによって、第１の映像中の黒い領域と暗い領域とを区別して、階調補正を行うことができ、メリハリのある階調補正を行うことができる。
【００７３】
第１の色差信号から算出する彩度Ｓ1と第２の色差信号から算出する彩度Ｓ2とに基づいて、補正係数αを算出し、補正係数αに基づいて、階調変換曲線を設定する。露出条件によって変化する彩度に基づいて、階調変換曲線を設定することで、第１の映像中の黒い領域と暗い領域とを区別して、階調補正を行うことができる。
【００７４】
また、第１の色差信号と第２の色差信号とに基づいて、第１の映像信号に対する第２の映像信号の移動量を算出する。そして、算出した移動量に基づいて、第１の色差信号と第２の色差信号との位置合わせを行い、位置合わせを行った画素毎に補正係数αを算出する。これによって、例えば手ブレ、被写体ブレなどが生じた場合でも、画素毎に正確な補正係数αを算出することができる。そのため、第１の映像信号の階調補正を正確に行うことができる。
【００７５】
また、第１の露出条件によって撮像を行い、ＡＥセンサ１０４によって検出した第１の映像信号のヒストグラムを算出する。ヒストグラムにおいて、輝度値が所定の閾値ｔ以下となる画素数の頻度を積算値Ａ１として積算する。そして、積算値Ａ１が所定値以上である場合には、第１の露出条件による露出値ＥＶ1ISOよりも小さい露出値ＥＶ2ISOとなる第２の露出条件を設定する。そして、第２の露出条件によって、第２の映像信号を取得する。このようにして取得した第２の映像信号と第１の映像信号とに基づいて、階調補正を行うことで、第１の映像画像中の暗い領域と黒い領域とを正確に区別した階調補正を行うことができる。
【００７６】
次に本発明の第２実施形態について図７を用いて説明する。図７は、第２実施形態の撮像システムのブロック図である。
【００７７】
第２実施形態は、さらに補正領域選択部１０００を備える。第１実施形態と同一の構成については、同じ符号を付している。以下においては、第１実施形態と異なる箇所について説明する。補正領域選択部１０００は、補正係数算出部１２０へ接続している。
【００７８】
補正領域選択部１０００は、色差信号分離部１０９によって分離した第１の色差信号が転送される。そして、第１の色差信号から算出される彩度Ｓ1が、式（８）を満たす場合には、その領域を補正領域であると判定する。つまり、補正領域選択部１０００は、彩度Ｓ1が小さい領域を補正領域として選択する。
【００７９】
【数８】
2010187350.tif 000010
【００８０】
Ｔｈは、予め設定される値（第３所定値）である。彩度Ｓ1が式（８）を満たす領域は、彩度が低いグレー、すなわち暗い領域や黒い領域を含む領域である。補正領域選択部１０００によって選択された補正領域に関する情報は、補正係数算出部１２０へ転送される。
【００８１】
なお、第２実施形態では、第１の色差信号から算出される彩度Ｓ1が式（８）を満たすかどうか判定して、補正領域を選択したが、第２の色差信号から彩度Ｓ2を算出し、式（８）を満たすかどうか判定してもよい。
【００８２】
補正係数算出部１２０は、図８に示すように補正領域に関する情報が係数算出部３０５に転送される点が第１実施形態とは異なっている。係数算出部３０５は、補正係数αを算出する際に、補正領域選択部１０００によって選択された補正領域に対して、補正係数αを算出する。
【００８３】
これによって、補正部１１１は、補正領域選択部１０００によって選択された補正領域のみに階調補正を行う。そのため、階調補正を行う領域を少なくすることができ、高速な処理を行うことができる。
【００８４】
補正領域選択部１０００は、ハードウェアによる処理を前提としているが、第１実施形態と同様にソフトウェアによって処理する構成とすることも可能である。
【００８５】
第２実施形態における処理を、ソフトウェアによって行う場合について、図９のフローチャートを用いて説明する。
【００８６】
ステップＳ１１では、ヘッダ情報を読み出す。
【００８７】
ステップＳ１２では、第１の映像信号を取得し、バッファ１０６に記憶させる。また、第２の映像信号を取得すると第２の映像信号をバッファ１０６に記憶させる。
【００８８】
信号処理部１０８に相当するステップＳ１３では、ＲＧＢのフルカラーの映像信号を作成する。
【００８９】
色差信号分離部１０９に相当するステップＳ１４では、第１の映像信号を第１の輝度信号と第１の色差信号とに分離する。また、第２の映像信号を第２の輝度信号と第２の色差信号とに分離する。
【００９０】
補正領域選択部１０００に相当するステップＳ１５では、第１の色差信号から算出する彩度Ｓ1に基づいて、補正領域を選択する。
【００９１】
補正係数算出部１２０に相当するステップＳ１６では、第１の色差信号と第２の色差信号とに基づいて、選択された補正領域に対して補正係数αを算出する。
【００９２】
補正部１１１に相当するステップＳ１７では、補正係数αに基づいて、階調変換曲線を算出し、階調変換曲線を用いて第１の映像信号に対して階調補正を行う。
【００９３】
本発明の第２実施形態の効果について説明する。
【００９４】
第１の色差信号から算出する彩度Ｓ1が暗い領域であると判定される領域を補正領域として選択し、その補正領域に対してのみ補正係数αを算出する。これによって、選択された補正領域のみに階調補正を行い、高速な処理を行うことができる。
【００９５】
次に本発明の第３実施形態について図１０を用いて説明する。図１０は、第３実施形態の撮像システムのブロック図である。
【００９６】
第３実施形態は、第１実施形態とは、信号処理部１３０と、色差信号分離部１３１と、補正係数算出部１３２と、が異なっている。第１実施形態と同一の構成については、同じ符号を付している。以下においては、第１実施形態と異なる箇所について説明する。
【００９７】
信号処理部１３０は、映像信号を生成する。生成された映像信号のうち第１の映像信号は、色差信号分離部１３１および補正部１１１へ転送される。また、第２の映像信号は、色差信号分離部１３１へ転送される。
【００９８】
色差信号分離部１３１は、信号処理部１０８から転送された映像信号を輝度信号と色差信号に分離する。分離された輝度信号と色差信号とは、補正係数算出部１３２に転送される。
【００９９】
補正係数算出部１３２について、図１１を用いて説明する。図１１は補正係数算出部１３２のブロック図である。補正係数算出部１３２は、フレームメモリ５０１と、移動量算出部（第２の位置合わせ部）５０２と、フレームメモリ５０３と、係数算出部５０４と、を備える。フレームメモリ５０１は移動量算出部５０２へ接続している。移動量算出部５０２およびフレームメモリ５０３は係数算出部５０４へ接続している。色差信号分離部１０９は、フレームメモリ５０１およびフレームメモリ５０３へ接続している。係数算出部５０４は補正部１１１へ接続している。制御部１１４は移動量算出部５０２および係数算出部５０４と双方向に接続している。
【０１００】
フレームメモリ５０１は、色差信号分離部１０９から転送される輝度信号を蓄積する。
【０１０１】
フレームメモリ５０３は、色差信号分離部１０９から転送される色差信号を蓄積する。
【０１０２】
移動量算出部５０２は、フレームメモリ５０１から第１の輝度信号および第２の輝度信号を抽出し、第１の輝度信号に対する第２の輝度信号の移動量を算出する。移動量の算出方法は公知の動きベクトルやブロックマッチングなどを用いる。
【０１０３】
係数算出部５０４は、フレームメモリ５０３から第１の色差信号と第２の色差信号とを抽出し、移動量算出部５０２によって算出した移動量に基づいて、第１の色差信号に対する第２の色差信号の位置合わせを行う。
【０１０４】
係数算出部５０４は、位置合わせを行った後に、対応する画素ごとに補正係数αを算出する。
【０１０５】
なお、第１実施形態と同様に、ソフトウェアによって処理する構成とすることも可能である。ソフトウェアによって処理する際には、第１実施形態の図６で示すフローチャートと同様の処理を行う。
【０１０６】
本発明の第３実施形態の効果について説明する。
【０１０７】
輝度信号を用いて移動量を算出し、位置合わせを行うことで、人間の視覚特性に適した位置合わせを行うことができる。そのため、理想的な補正係数αを算出することができ、暗い領域と黒い領域とを人間の視覚特性に合わせて、階調補正を行うことができる。
【０１０８】
次に本発明の第４実施形態について図１２を用いて説明する。図１２は、第４実施形態の撮像システムのブロック図である。
【０１０９】
第４実施形態は、第２実施形態とは、信号処理部１４０と、色差信号分離部１４１と、補正係数算出部１４２と、が異なっている。第２実施形態と同一の構成については、同じ符号を付している。以下においては、第２実施形態と異なる箇所について説明する。
【０１１０】
信号処理部１４０は、映像信号を生成する。生成された映像信号のうち第１の映像信号は、色差信号分離部１４１および補正部１１１へ転送される。また、第２の映像信号は、色差信号分離部１４１へ転送される。
【０１１１】
色差信号分離部１４１は、信号処理部１４０から転送された映像信号を輝度信号と色差信号に分離する。分離された輝度信号と色差信号とは、補正係数算出部１４２に転送される。また、分離された第１の色差信号は、補正領域選択部１０００へ転送される。
【０１１２】
補正係数算出部１４２について、図１３を用いて説明する。図１３は補正係数算出部１４２のブロック図である。
【０１１３】
補正係数算出部１４２は、フレームメモリ５０１と、移動量算出部５０２と、フレームメモリ５０３と、係数算出部５０５と、を備える。第４実施形態の補正係数算出部１４２は、第３実施形態の補正係数算出部１３２と比較すると、係数算出部５０５が異なっている。第３実施形態の同一の構成については、同じ符号を付している。以下においては、第３実施形態と異なる構成について説明する。
【０１１４】
係数算出部５０５は、フレームメモリ５０３から第１の色差信号と第２の色差信号とを抽出し、移動量算出部５０２によって算出した移動量に基づいて、第１の色差信号に対する第２の色差信号の位置合わせを行う。
【０１１５】
係数算出部５０５は、位置合わせを行った後に、補正領域選択部１０００によって選択された領域に対して、対応する画素ごとに補正係数αを算出する。算出された補正係数αは、補正部１１１に転送される。
【０１１６】
なお、第２実施形態と同様に、ソフトウェアによって処理する構成とすることも可能である。ソフトウェアによって処理する際には、第２実施形態の図９で示すフローチャートと同様の処理を行う。
【０１１７】
本発明の第４実施形態の効果について説明する。
【０１１８】
輝度信号を用いて位置合わせを行うため、人間の視覚特性に適した位置合わせを行うことができ、理想的な補正係数αの算出が可能となる。第１の色差信号の彩度Ｓ1が暗い領域であると判定される領域を補正領域として選択し、その補正領域に対してのみ補正係数αを算出する。これによって、選択された補正領域のみに階調補正を行い、高速な処理を行うことができる。
【０１１９】
次に本発明の第５実施形態について図１４を用いて説明する。図１４は、第５実施形態の補正部６００のブロック図である。
【０１２０】
第５実施形態は、第１実施形態とは、補正部６００が異なっている。第１実施形態と同一の構成については、同じ符号を付している。ここでは、補正部６００について説明する。
【０１２１】
補正部６００は、ＬＵＴ（ルックアップテーブル）６０１と、変換曲線適用部６０２と、を備える。ＬＵＴ６０１は、補正係数算出部１１０と変換曲線適用部６０２へ接続している。
【０１２２】
ＬＵＴ６０１は、補正係数算出部１１０によって算出された補正係数αに基づいて、階調変換曲線を設定する。ＬＵＴ６０１は、様々な補正係数αに対応する階調変換曲線を複数記憶している。階調変換曲線は、第１実施形態と同様の効果を得ることができる階調変換特性を有している。ＬＵＴ６０１では、補正係数αが１に近い場合、階調変換特性は入力信号値に対して出力信号値があまり変化しないものが選択され、補正係数αが１より大きい場合、階調変換特性は暗い領域の入力信号値に対して出力信号値が増幅されるものが選択される。
【０１２３】
第５実施形態の効果について説明する。
【０１２４】
ＬＵＴ６０１によって、補正係数αに基づいて、階調変換曲線を選択することで、第１実施形態と同様の効果を得ることができる。
【０１２５】
なお、第５実施形態を第２実施形態から第４実施形態の撮像システムに適用してもよい。
【０１２６】
また、上記した実施形態における処理は、撮像システム以外の装置、例えばパーソナルコンピュータなどによって実行されてもよい。この場合には、制御プログラムが例えばＲＯＭなどの記憶媒体に記憶されており、ＣＰＵが制御プログラムに基づいて、演算処理を実行することにより、色差信号分離部などとして機能する。
【０１２７】
本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。
【図面の簡単な説明】
【０１２８】
【図１】本発明の第１実施形態の撮像システムにおけるブロック図である。
【図２】第１実施形態の露出制御部のブロック図である。
【図３】ヒストグラム算出部によって算出したヒストグラムの例を示す図である。
【図４】第１実施形態の補正係数算出部のブロック図である。
【図５】第１実施形態の補正部のブロック図である。
【図６】第１実施形態の処理をソフトウェアによって行う場合のフローチャートである。
【図７】本発明の第２実施形態の撮像システムにおけるブロック図である。
【図８】第２実施形態の補正係数算出部のブロック図である。
【図９】第２実施形態の処理をソフトウェアによって行う場合のフローチャートである。
【図１０】本発明の第３実施形態の撮像システムにおけるブロック図である。
【図１１】第３実施形態の補正係数算出部のブロック図である。
【図１２】本発明の第４実施形態の撮像システムにおけるブロック図である。
【図１３】第４実施形態の補正係数算出部のブロック図である。
【図１４】本発明の第５実施形態の補正部のブロック図である。
【符号の説明】
【０１２９】
１０１  絞り
１０３  ＣＣＤ（撮像部）
１０４  ＡＥセンサ（光強度検出部）
１０７  露出制御部（露出条件設定部）
１０８、１３０、１４０  信号処理部
１０９、１３１、１４１  色差信号分離部（分離部）
１１０、１２０、１３２、１４２  補正係数算出部
１１１、６００  補正部
１１４  制御部
２００  ヒストグラム算出部
２０１  露出算出部（累積値算出部、露出値算出部）
２０２  パラメータ制御部
３０２、５０２  移動量算出部
３０４、３０５、５０４、５０５  係数算出部（第１の位置合わせ部、第２の位置合わせ部）
４０１  階調変換曲線作成部（階調変換曲線設定部）
４０３、６０２  変換曲線適用部（階調補正部）
６０１  ＬＵＴ部
１０００  補正領域選択部
【図１】
2010187350.tif 000011
【図２】
2010187350.tif 000012
【図３】
2010187350.tif 000013
【図４】
2010187350.tif 000014
【図５】
2010187350.tif 000015
【図６】
2010187350.tif 000016
【図７】
2010187350.tif 000017
【図８】
2010187350.tif 000018
【図９】
2010187350.tif 000019
【図１０】
2010187350.tif 000020
【図１１】
2010187350.tif 000021
【図１２】
2010187350.tif 000022
【図１３】
2010187350.tif 000023
【図１４】
2010187350.tif 000024