(57)【要約】【課題】画像信号に対する階調変換処理を、被写体のダイナミックレンジに応じてより適切に行うことができる画像信号処理装置等を提供する。【解決手段】被写体の輝度を測定してその輝度範囲の広さを取得するＡＥセンサ１０５と、輝度を測定した被写体が写された画像の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出部１１１と、ＡＥセンサ１０５により取得された輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも階調変換特性算出部１１１により算出された階調変換特性に近付くように階調変換特性を補正する補正部１１２と、補正された階調変換特性を用いて画像信号を階調変換する階調変換部１１３と、を備えた画像信号処理装置。【選択図】図１
2009253834.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を階調変換し得る画像信号処理装置であって、
被写体の輝度を測定して該被写体の輝度範囲の広さを取得する輝度範囲取得部と、
前記被写体が写された画像の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出部と、
上記輝度範囲取得部により取得された輝度範囲の広さに基づいて、該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出部により算出された階調変換特性に近付くように、該階調変換特性を補正する補正部と、
上記補正部により補正された階調変換特性を用いて上記画像信号を階調変換する階調変換部と、
を具備したことを特徴とする画像信号処理装置。
【請求項２】
上記補正部は、
基準階調変換特性を設定する基準階調変換特性設定部と、
上記取得された被写体の輝度範囲の広さが、相対的に小さい場合には上記階調変換特性算出部により算出された階調変換特性に近付き、相対的に大きい場合には上記基準階調変換特性に近付くように、上記階調変換特性と上記基準階調変換特性とを重み付け加算平均することにより補正された階調変換特性を算出する重付加算平均部と、
を有して構成されたものであることを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
上記基準階調変換特性は、入力画素値と出力画素値とがリニアな関係にある階調変換特性であることを特徴とする請求項２に記載の画像信号処理装置。
【請求項４】
上記補正部は、上記取得された被写体の輝度範囲の広さが所定の閾値以上である場合に上記階調変換部による階調変換処理を停止する停止部を有して構成され、
上記取得された被写体の輝度範囲の広さが所定の閾値未満である場合にのみ、上記階調変換特性算出部により算出された階調変換特性に基づく上記階調変換部による階調変換処理を許容するものであることを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
上記階調変換特性算出部は、
上記画像信号からヒストグラムを算出するヒストグラム算出部と、
上記ヒストグラムに対してクリップ処理を行うクリップ部と、
上記クリップ処理が行われたヒストグラムの累積値を算出することにより上記階調変換特性を算出する累積値算出部と、
を有して構成されたものであることを特徴とする請求項１から請求項４の何れか一項に記載の画像信号処理装置。
【請求項６】
上記画像信号の特徴量を抽出する特徴量抽出部をさらに具備し、
上記補正部は、上記輝度範囲の広さに加えて上記特徴量に基づいて、上記階調変換特性を補正するものである、
ことを特徴とする請求項１から請求項５の何れか一項に記載の画像信号処理装置。
【請求項７】
上記特徴量抽出部は、
上記画像信号における特徴領域を抽出する領域抽出部と、
上記特徴領域の面積を上記特徴量として算出する面積算出部と、
を有して構成されたものであることを特徴とする請求項６に記載の画像信号処理装置。
【請求項８】
上記特徴量抽出部は、画素値の範囲を設定する範囲設定部をさらに有して構成され、
上記領域抽出部は、上記範囲設定部により設定された範囲内の画素値を有する画素が占める領域であって空間的に連続なものを上記特徴領域として抽出するものであることを特徴とする請求項７に記載の画像信号処理装置。
【請求項９】
上記補正部は、
基準階調変換特性を設定する基準階調変換特性設定部と、
上記取得された被写体の輝度範囲の広さが、相対的に小さい場合には上記階調変換特性算出部により算出された階調変換特性に近付き、相対的に大きい場合には上記基準階調変換特性に近付くように、かつ、上記特徴領域の面積が、相対的に大きい場合には上記階調変換特性算出部により算出された階調変換特性に近付き、相対的に小さい場合には上記基準階調変換特性に近付くように、上記階調変換特性と上記基準階調変換特性とを重み付け加算平均することにより補正された階調変換特性を算出する重付加算平均部と、
を有して構成されたものであることを特徴とする請求項７または請求項８に記載の画像信号処理装置。
【請求項１０】
画像信号を階調変換し得る撮像システムであって、
被写体を撮像して画像信号を出力する撮像部と、
上記撮像部により撮像する被写体の輝度を測定して該被写体の輝度範囲の広さを取得する輝度範囲取得部と、
前記被写体が写された画像の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出部と、
上記輝度範囲取得部により取得された輝度範囲の広さに基づいて、該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出部により算出された階調変換特性に近付くように、該階調変換特性を補正する補正部と、
上記補正部により補正された階調変換特性を用いて上記画像信号を階調変換する階調変換部と、
を具備したことを特徴とする撮像システム。
【請求項１１】
コンピュータに画像信号を階調変換させるための画像信号処理プログラムであって、コンピュータに、
画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出ステップと、
撮像時に取得されている被写体の輝度範囲の広さに基づいて、該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出ステップにより算出された階調変換特性に近付くように、該階調変換特性を補正する補正ステップと、
上記補正ステップにより補正された階調変換特性を用いて上記画像信号を階調変換する階調変換ステップと、
を実行させるための画像信号処理プログラム。
【請求項１２】
画像信号を階調変換するための画像信号処理方法であって、
画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出ステップと、
撮像時に取得されている被写体の輝度範囲の広さに基づいて、該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出ステップにより算出された階調変換特性に近付くように、該階調変換特性を補正する補正ステップと、
上記補正ステップにより補正された階調変換特性を用いて上記画像信号を階調変換する階調変換ステップと、
を含むことを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を階調変換し得る画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法に関する。
【背景技術】
【０００２】
現在のデジタルスチルカメラやビデオカメラなどでは、取得した映像信号に対して、表示系の特性や人間の視覚特性を考慮した階調変換処理が行われている。
【０００３】
さらに、画像信号に対して適用する階調変換特性を決定するに当たっては、画像信号自体の情報等を用いて、基本となる階調変換特性を修正する技術も開発されている。
【０００４】
例えば、特開２００４-２８２２８２号公報には、イメージセンサから得られた画像データに基づいてダイナミックレンジの圧縮カーブを修正する技術が記載されている。
【０００５】
また、特開２００３-１７９８０９号公報には、固体撮像素子から得られた画像の輝度分布の状態に基づいて、輝度分布の補正が必要であるか否かを判断する技術が記載されている。
【０００６】
そして、上述したような階調変換処理を画像信号に対して行うことにより、画像中の白飛びや黒つぶれをある程度改善することが可能となっている。
【特許文献１】特開２００４-２８２２８２号公報
【特許文献２】特開２００３-１７９８０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、被写体のダイナミックレンジが撮像装置のダイナミックレンジと大きく異なるときには、階調変換処理を行ったとしても画質を十分に改善することは困難であるどころか、場合によってはかえって画質を劣化させてしまうことになりかねない。
【０００８】
また、人物等の主要被写体が存在する画像信号に対して同一の階調変換処理を行う場合であっても、その主要被写体の状態に応じて画質の改善効果が異なる場合がある。
【０００９】
本発明は上記事情に鑑みてなされたものであり、画像信号に対する階調変換処理を、被写体のダイナミックレンジに応じてより適切に行うことができる画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明の第１の態様に係る画像信号処理装置は、画像信号を階調変換し得る画像信号処理装置であって、被写体の輝度を測定して該被写体の輝度範囲の広さを取得する輝度範囲取得部と、前記被写体が写された画像の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出部と、上記輝度範囲取得部により取得された輝度範囲の広さに基づいて該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出部により算出された階調変換特性に近付くように該階調変換特性を補正する補正部と、上記補正部により補正された階調変換特性を用いて上記画像信号を階調変換する階調変換部と、を具備したものである。
【００１１】
また、本発明の第２の態様に係る撮像システムは、画像信号を階調変換し得る撮像システムであって、被写体を撮像して画像信号を出力する撮像部と、上記撮像部により撮像する被写体の輝度を測定して該被写体の輝度範囲の広さを取得する輝度範囲取得部と、前記被写体が写された画像の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出部と、上記輝度範囲取得部により取得された輝度範囲の広さに基づいて該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出部により算出された階調変換特性に近付くように該階調変換特性を補正する補正部と、上記補正部により補正された階調変換特性を用いて上記画像信号を階調変換する階調変換部と、を具備したものである。
【００１２】
さらに、本発明の第３の態様に係る画像信号処理プログラムは、コンピュータに画像信号を階調変換させるための画像信号処理プログラムであって、コンピュータに、画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出ステップと、撮像時に取得されている被写体の輝度範囲の広さに基づいて該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出ステップにより算出された階調変換特性に近付くように該階調変換特性を補正する補正ステップと、上記補正ステップにより補正された階調変換特性を用いて上記画像信号を階調変換する階調変換ステップと、を実行させるためのプログラムである。
【００１３】
そして、本発明の第４の態様に係る画像信号処理方法は、画像信号を階調変換するための画像信号処理方法であって、画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出ステップと、撮像時に取得されている被写体の輝度範囲の広さに基づいて該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出ステップにより算出された階調変換特性に近付くように該階調変換特性を補正する補正ステップと、上記補正ステップにより補正された階調変換特性を用いて上記画像信号を階調変換する階調変換ステップと、を含む方法である。
【発明の効果】
【００１４】
本発明の画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法によれば、画像信号に対する階調変換処理を、被写体のダイナミックレンジに応じてより適切に行うことが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施の形態を説明する。
【００１６】
［実施形態１］
図１から図１１は本発明の実施形態１を示したものであり、図１は画像信号処理装置が適用される撮像システムの構成を示すブロック図、図２は補正部の構成を示すブロック図、図３は補正前の階調変換特性を示す線図、図４は基準階調変換特性を示す線図、図５は補正後の階調変換特性を示す線図、図６は画像を閾値と比較して得られる画素の領域を示す図、図７は図６の画素領域にオープニング処理を施し構造要素以上の領域である特徴領域のみを残した様子を示す図、図８はクリップ処理前のヒストグラムおよびクリップ値を示す線図、図９はクリップ処理後のヒストグラムを示す線図、図１０は図８と図９のヒストグラムをそれぞれ累積して算出した階調変換特性の様子を示す線図、図１１は画像信号処理プログラムによる処理の流れを示すフローチャートである。
【００１７】
図１に示すように、この撮像システムは、例えばデジタルカメラ等として構成されていて、レンズ系１００と、絞り１０１と、ＡＦモータ１０２と、カラーフィルタ１０３と、ＣＣＤ１０４と、ＡＥセンサ１０５と、Ａ／Ｄ変換部１０６と、バッファ１０７と、撮影制御部１０８と、信号処理部１０９と、特徴量抽出部１１０と、階調変換特性算出部１１１と、補正部１１２と、階調変換部１１３と、圧縮部１１４と、出力部１１５と、制御部１１６と、外部Ｉ／Ｆ部１１７と、を備えている。ここで、ＡＥセンサ１０５と、階調変換特性算出部１１１と、補正部１１２と、階調変換部１１３と、を含んだユニットを画像信号処理装置と適宜呼ぶ。
【００１８】
レンズ系１００は、被写体光像をＣＣＤ１０４の撮像面上に結像するものである。
【００１９】
絞り１０１は、レンズ系１００からの光束の通過範囲を規定することにより、ＣＣＤ１０４の撮像面上に結像される被写体光像の明るさを調節する（撮像面への入射光量を調節する）ものである。
【００２０】
ＡＦモータ１０２は、レンズ系１００を駆動してオートフォーカスを行うための駆動源である。
【００２１】
カラーフィルタ１０３は、例えばベイヤー配列のＲＧＢ原色系カラーフィルタとして構成されたものである（すなわち、本実施形態では単板カラーＣＣＤを想定している）。
【００２２】
ＣＣＤ１０４は、結像された被写体光像を光電変換して、アナログの画像信号として出力するものである。このＣＣＤ１０４は、露光時間を調節することにより、撮像面への入射光量を調節することができるように構成されている。なお、レンズ系１００、絞り１０１、ＡＦモータ１０２、カラーフィルタ１０３、ＣＣＤ１０４、Ａ／Ｄ変換部１０６は、撮像部を構成している。
【００２３】
このＣＣＤ１０４は、Ａ／Ｄ変換部１０６、バッファ１０７、信号処理部１０９、階調変換部１１３、圧縮部１１４を順に介して、出力部１１５へ接続されている。バッファ１０７は、撮影制御部１０８へ接続されている。撮影制御部１０８は、絞り１０１、ＡＦモータ１０２、およびＣＣＤ１０４へ接続されている。ＡＥセンサ１０５は、撮影制御部１０８へ接続されている。信号処理部１０９は、特徴量抽出部１１０および階調変換特性算出部１１１へも接続されている。特徴量抽出部１１０および階調変換特性算出部１１１は、補正部１１２へ接続されている。補正部１１２は、階調変換部１１３へ接続されている。
【００２４】
制御部１１６は、撮影制御部１０８、信号処理部１０９、特徴量抽出部１１０、階調変換特性算出部１１１、補正部１１２、階調変換部１１３、圧縮部１１４、外部Ｉ／Ｆ部１１７と双方向に接続されていて、これらを制御するようになっている。ここに、制御部１１６は、マイクロコンピュータなどを含んで構成されたものである。
【００２５】
また、外部Ｉ／Ｆ部１１７は、この画像信号処理装置の電源をオン／オフするための電源スイッチ、撮像動作を指示入力するための２段式押圧ボタンでなるシャッタボタン、撮影時に各種のモード（シャッタ速度や絞り値等の露出条件、あるいはＩＳＯ感度等を含む）を切り替えるためのモード切替スイッチ等を備えたインタフェースである。
【００２６】
さらに、ＡＥセンサ１０５は、被写体の輝度を測定して、被写体の輝度範囲の広さの情報を取得し出力する輝度範囲取得部である。このＡＥセンサにより測定可能な被写体の輝度範囲の広さは、ＣＣＤ１０４により撮像する画像のダイナミックレンジの広さよりも十分に大きいものとする。
【００２７】
次に、この図１に示したような構成の画像信号処理装置の作用について、信号の流れに沿って説明する。
【００２８】
外部Ｉ／Ｆ部１１７を介してＩＳＯ感度や露出などの撮影条件が設定された後に、外部Ｉ／Ｆ部１１７のシャッタボタンが半押しにされると、この画像信号処理装置がプリ撮影モードに入る。
【００２９】
すると、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影された画像信号は、Ａ／Ｄ変換部１０６によってデジタル信号へ変換されて、バッファ１０７へ転送され一時的に記憶される。
【００３０】
このバッファ１０７内の画像信号は、撮影制御部１０８へ転送される。
【００３１】
撮影制御部１０８は、画像信号中のＡＦエリア内のコントラスト情報を検出して、このコントラスト情報が最大となるようにＡＦモータ１０２を制御する。そして、コントラスト情報が最大となるように制御が行われたら、撮影制御部１０８は、ＡＦモータ１０２の駆動状態に基づいて合焦した被写体までの距離情報（合焦条件の情報）を取得し、合焦が行われた旨を示す合焦信号と取得した距離情報とを制御部１１６へ送信する。なお、ここではコントラストＡＦ（いわゆる山登りＡＦ）により合焦を行っているが、もちろんこれに限るものではなく、例えば赤外発光ダイオードや赤外線センサ等を用いて主要被写体までの距離を測定し、測定した距離に応じてＡＦモータ１０２を制御して合焦を行うようにしても構わない。
【００３２】
撮影制御部１０８は、さらに、ＡＥセンサ１０５から取得される被写体の輝度範囲の広さに基づいて、ＣＣＤ１０４に到達する入射光量を調整するために絞り１０１を制御したり、あるいはＣＣＤ１０４の電子シャッタ速度を制御したりする。そして、撮影制御部１０８は、制御に用いた露出条件の情報を制御部１１６へ送信する。
【００３３】
このようなプリ撮影モードの動作が行われたところで、次に、外部Ｉ／Ｆ部１１７のシャッタボタンが全押しにされると、この画像信号処理装置が本撮影モードに入って、以下に説明するような本撮影の動作が行われる。
【００３４】
この本撮影時には、撮影制御部１０８によって求められた撮影時の情報（合焦条件および露出条件の情報）が制御部１１６へ転送されている。そして、本撮影は、これらの撮影時の情報を用いて制御部１１６がこの画像信号処理装置を制御することにより行われる。
【００３５】
この本撮影により取得された画像信号は、Ａ／Ｄ変換部１０６によってデジタル信号に変換されて、バッファ１０７へ転送され格納される。
【００３６】
このバッファ１０７内の画像信号は、信号処理部１０９へ転送される。
【００３７】
信号処理部１０９は、制御部１１６の制御に基づいて、バッファ１０７から単板状態の画像信号を読み込んで、公知の補間処理やホワイトバランス処理などを行うことにより、各画素についてＲＧＢの３原色の信号が揃った三板状態の画像信号を生成する。
【００３８】
なお、信号処理部１０９は、生成した三板状態の画像信号をそのまま出力しても構わないが、さらに、次の数式１に示すように、ＲＧＢ信号をＹＣｂＣｒ信号に変換してから出力しても良い。  
［数１］
2009253834.tif 000003
【００３９】
こうして信号処理部１０９により処理された画像信号は、特徴量抽出部１１０と階調変換特性算出部１１１と階調変換部１１３とへ転送される。
【００４０】
特徴量抽出部１１０は、信号処理部１０９から転送されてきた画像信号に対して特徴量の抽出を行い、抽出した特徴量を補正部１１２へ選択する。この特徴量抽出部１１０による特徴量の抽出について、図６および図７を参照して説明する。
【００４１】
特徴量抽出部１１０は、まず、画像信号に対して画素値の範囲、具体例としては肌色や緑色等の特定色の範囲を設定して（範囲設定部）、画素値がこの設定した範囲内となる画素により構成される空間的に連続な領域を例えば図６に示すように抽出する（領域抽出部）。
【００４２】
次に、特徴量抽出部１１０は、図７に示すようにオープニング処理を行うことにより、予め定められた構造要素よりも小さな領域を取り除く。
【００４３】
そして、特徴量抽出部１１０は、オープニング処理後に残った各領域（特徴領域と言うことにする）の面積を算出して（面積算出部）、算出した面積に関する情報を特徴量として補正部１１２へ転送する。ここに、特徴量抽出部１１０が特徴量として転送する面積に関する情報は、抽出された領域が複数である場合には、これら複数の領域の面積を加算したものであっても良いし、あるいは複数の領域の内の最も面積が大きい領域の面積であっても構わない。
【００４４】
なお、特徴量抽出部１１０による領域の抽出方法は、上述した例に限るものではなく、例えば特徴量抽出部１１０を顔領域抽出部および面積算出部を含むように構成して、この顔領域抽出部により公知の顔検出技術を用いて特徴領域としての顔領域を抽出し、抽出した顔領域の面積を面積算出部により算出する方法であっても構わない。
【００４５】
一方、階調変換特性算出部１１１は、信号処理部１０９から転送されてきた画像信号に対する階調変換特性を算出する。この階調変換特性算出部１１１は、階調変換特性を算出する際に、所定の階調変換特性を用いるようにしても良いし、あるいは転送されてきた画像信号から直接算出された階調変換特性を用いるようにしても構わない。
【００４６】
この階調変換特性算出部１１１によるヒストグラムに基づいた階調変換特性の算出について、図８〜図１０を参照して説明する。
【００４７】
階調変換特性算出部１１１は、まず、信号処理部１０９から転送されてきた画像信号に基づいて、ヒストグラムを算出する（ヒストグラム算出部）。このヒストグラムは、例えば図８に示すようなものであったとする。続いて、階調変換特性算出部１１１は、このヒストグラムを、図８に示すクリップ値でクリップ処理する（クリップ部）。すると、クリップ処理後のヒストグラムは、図９に示すようになる。そして、階調変換特性算出部１１１は、図８に示したクリップ処理前のヒストグラムを累積処理して図１０の実線に示すような階調変換特性を算出するか、または、図９に示したクリップ処理後のヒストグラムを累積処理して図１０の点線に示すような階調変換特性を算出する（累積値算出部）。ここに、階調変換特性算出部１１１は、図１０の点線に示す階調変換特性、または図１０の実線に示す階調変換特性の何れかを算出して、算出した階調変換特性を補正部１１２へ転送するようになっている。
【００４８】
次に、図２を参照して、補正部１１２の構成の一例について説明する。
【００４９】
この補正部１１２は、ＲＯＭ２００と、基準階調変換特性設定部２０１と、重付加算平均部２０２と、を備えている。
【００５０】
ＲＯＭ２００は、基準階調変換特性設定部２０１に接続されている。基準階調変換特性設定部２０１、特徴量抽出部１１０、および階調変換特性算出部１１１は、重付加算平均部２０２に接続されている。重付加算平均部２０２は、階調変換部１１３に接続されている。制御部１１６は、重付加算平均部２０２と双方向に接続されていて、これを制御するようになっている。
【００５１】
ＲＯＭ２００は、基準となる階調変換特性（例えば、図４に示すような基準階調変換特性。ここに、図４に示す基準階調変換特性は、入力と出力とがリニアに同じ関係（入力輝度値のビット幅と出力輝度値のビット幅が同じである場合には、出力輝度値＝入力輝度）となる階調変換特性である。）を不揮発に記憶するものである。ここに、基準階調変換特性は、被写体の輝度範囲の広さが大きいときに目標となる階調変換特性のことである。あるいは、基準階調変換特性は、被写体の輝度範囲の広さが大きい極限に至ったときの階調変換特性である、ということもできる。
【００５２】
基準階調変換特性設定部２０１は、ＲＯＭ２００から基準となる階調変換特性を読み込んで、読み込んだ階調変換特性を重付加算平均部２０２へ転送する。
【００５３】
一方、階調変換特性算出部１１１からは、例えば図３に示すような階調変換特性が重付加算平均部２０２へ転送される。
【００５４】
重付加算平均部２０２は、これら図３に示すような階調変換特性と図４に示すような基準階調変換特性とを用いて、図５の点線に示すような補正された階調変換特性を、例えば次の数式２に示すように算出する。  
［数２］
2009253834.tif 000004
ここに、Ｔ’（ｉ）は補正された階調変換特性、Ｔ（ｉ）は階調変換特性算出部１１１から転送されてきた階調変換特性（図３参照）、Ｂ（ｉ）は基準階調変換特性（図４参照）、をそれぞれ表している。
【００５５】
また、数式２の右辺に現れるαは０≦α≦１を満たす重み付け係数であり、特徴量抽出部１１０から転送されてきた領域の面積Ｓと、制御部１１６を介してＡＥセンサ１０５から転送されてきた被写体の輝度範囲の広さΔＥＶと、に基づいて、例えば次の数式３に示すように算出される。  
［数３］
2009253834.tif 000005
ここに、ａは所定の係数を表している。
【００５６】
数式２および数式３を見れば分かるように、被写体の輝度範囲の広さΔＥＶが大きい場合には重み付け係数αが小さくなるために補正される階調変換特性Ｔ’（ｉ）は基準階調変換特性Ｂ（ｉ）に近くなり、また、特徴量抽出部１１０により抽出された領域の面積Ｓが大きい場合には重み付け係数αが１に近付くために補正される階調変換特性Ｔ’（ｉ）は階調変換特性算出部１１１から転送されてきた階調変換特性Ｔ（ｉ）に近くなる。
【００５７】
すなわち、被写体の輝度範囲の広さΔＥＶが大きい場合には、信号処理部１０９から転送されてきた画像信号には黒つぶれや白飛びが多いと推定することができるために、入力と出力とを大きく変化させる階調変換処理をもし行うと、暗部のノイズを増幅してしまうなどの副作用が大きくなると考えられる。従って、この場合には、入力に対する出力の変化が大きくない階調変換特性を適用するのが好ましく、基準階調変換特性Ｂ（ｉ）に近い階調変換特性Ｔ’（ｉ）が上述したように算出され、後段の階調変換部１１３において適用されることになる。
【００５８】
一方、被写体の輝度範囲の広さΔＥＶが小さい場合には、信号処理部１０９から転送されてきた画像信号には黒つぶれや白飛びが比較的少ない（あるいはない）と推定することができるために、入力に対する出力の変化が大きい階調変換を行ったとしても問題はない。そこで、階調変換特性算出部１１１から転送されてきた階調変換特性Ｔ（ｉ）に近い階調変換特性Ｔ’（ｉ）を後段の階調変換部１１３において適用することにより、画質改善の大きな効果を得るようにしている。
【００５９】
また、画像信号から抽出された特徴領域の面積Ｓが大きい場合には、この特徴領域がヒストグラムの累積によって得られる階調変換特性に大きく寄与していると考えられる。従って、この特徴領域の階調を良好に保つためには、ヒストグラムの累積によって得られた階調変換特性をある程度保持していることが望ましい。そこで、補正された階調変換特性Ｔ’（ｉ）が、階調変換特性算出部１１１から転送されてきた階調変換特性Ｔ（ｉ）に近づくようにしている。
【００６０】
一方、画像信号から抽出された特徴領域の面積Ｓが小さい場合には、この特徴領域はヒストグラムの累積によって得られる階調変換特性にはあまり寄与していないと考えられる。従って、ヒストグラムの累積によって得られた階調変換特性を特に保持する必要はなく、補正された階調変換特性Ｔ’（ｉ）として、被写体の輝度範囲の広さΔＥＶに応じた適宜のものが算出されることになる。
【００６１】
なお、数式３に現れる係数ａは、特徴量抽出部１１０がどのような領域を抽出するかに応じて値を異ならせても構わない。例えば、特徴量抽出部１１０が抽出する領域が顔領域である場合には、領域の面積Ｓの寄与を大きくするためにこの係数ａの値を大きくすることなどが考えられる。
【００６２】
このように補正部１１２によって補正された階調変換特性Ｔ’（ｉ）は、階調変換部１１３へ転送される。
【００６３】
階調変換部１１３は、信号処理部１０９から転送されてきた画像信号に対して、補正部１１２から転送されてきた階調変換特性Ｔ’（ｉ）を用いて階調変換処理を行う。また、階調変換部１１３は、ディスプレイ等の表示系を考慮したガンマ変換も行うようになっている。こうして階調変換部１１３により階調変換処理された画像信号は、圧縮部１１４へ転送される。
【００６４】
圧縮部１１４は、階調変換部１１３から転送されてきた画像信号に対して公知のＪＰＥＧ等の圧縮処理を行い、圧縮された画像信号を出力部１１５へ転送する。
【００６５】
出力部１１５は、圧縮部１１４から転送されてきた圧縮された画像信号を、メモリカード等の記録媒体へ記録して保存する。あるいは、出力部１１５は、外部表示ディスプレイ等に表示するために、非圧縮の画像信号を表示用の映像信号に変換して出力しても良い。
【００６６】
なお、上述では、ハードウェアによる処理を前提としていたが、これに限定される必要はない。例えば、Ａ／Ｄ変換部１０６を介して得られるＣＣＤ１０４からの画像信号（露出条件が異なる複数枚の画像信号）を未処理のままのＲａｗデータとして、このＲａｗデータに各画像信号に係る絞り値や露光時間、ＩＳＯ感度情報、ＡＥセンサ１０５からの被写体の輝度範囲の広さの情報、映像信号サイズなどの情報をヘッダ情報として付加して出力する。そして、このデータをコンピュータに入力して、別途のソフトウェアである画像信号処理プログラムをコンピュータに実行させて処理することも可能である。なお、さらにあるいは、撮像システム、画像信号処理装置または画像信号処理プログラムに限らず、同様の処理を行う画像信号処理方法であっても構わない。
【００６７】
図１１を参照して、画像信号処理プログラムによる処理の流れについて説明する。この図１１に示す処理の流れは、図１における処理の流れにほぼ対応するものとなっているために、図１に示す構成における対応する部分を適宜記載して、詳細な流れの説明を省略する。
【００６８】
この処理を開始すると、まず、ヘッダ情報を読み込むとともに（ステップＳ１）、画像信号を入力する（ステップＳ２）。
【００６９】
次に、信号処理部１０９に相当する所定の信号処理を行う（ステップＳ３）。
【００７０】
続いて、階調変換特性算出部１１１に相当する階調変換特性の算出処理を行う一方で（ステップＳ４）、特徴量抽出部１１０に相当する画像信号から特徴領域を抽出する処理も行う（ステップＳ５）。
【００７１】
そして、補正部１１２に相当する階調変換特性の補正処理を行い（ステップＳ６）、階調変換部１１３に相当する階調変換処理を行う（ステップＳ７）。
【００７２】
その後、全ての注目画素に対する処理が終了したか否かを判定して（ステップＳ８）、終了していないと判定した場合にはステップＳ７の処理へ戻り、一方、終了したと判定した場合にはこの画像信号処理プログラムによる処理を終了する。
【００７３】
このような実施形態１によれば、被写体のダイナミックレンジを測定して、測定結果に応じて階調変換特性を補正するようにしたために、被写体のダイナミックレンジに応じた適応的な階調変換処理を行うことができ、より高品位な映像信号を得ることが可能となる。
【００７４】
そして、被写体のダイナミックレンジの測定を、撮像素子よりもダイナミックレンジの広いＡＥセンサ１０５を用いて行うようにしたために、より正確な推定を行うことが可能となる。
【００７５】
さらに、画像信号に含まれる特徴量（上述においては例えば特定色の領域の面積）に応じて階調変換特性の補正量を異ならせるようにしたために、画像中に例えば顔領域等の特徴的な領域が含まれている場合に、この特徴的な領域の階調をなるべく保持した階調変換を行うことが可能となる。
【００７６】
［実施形態２］
図１２、図１３は本発明の実施形態２を示したものであり、図１２は画像信号処理装置が適用される撮像システムの構成を示すブロック図、図１３は画像信号処理プログラムによる処理の流れを示すフローチャートである。
【００７７】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００７８】
本実施形態の画像信号処理装置は、上述した実施形態１の図１に示したような画像信号処理装置における、補正部１１２を停止部１０００（この停止部１０００も広い意味での補正部の一種である）に置換した構成になっている。そして、特徴量抽出部１１０および階調変換特性算出部１１１は、停止部１０００に接続されている。停止部１０００は、階調変換部１１３に接続されている。また、制御部１１６は、停止部１０００とも双方向に接続されていて、これを制御するようになっている。
【００７９】
次に、本実施形態の画像信号処理装置の作用の内の、上述した実施形態１の画像信号処理装置の作用と異なる部分について、図１２における信号の流れに沿って説明する。
【００８０】
ＡＥセンサ１０５によって取得された被写体の輝度範囲の広さΔＥＶ、特徴量抽出部１１０によって抽出された特徴領域の面積Ｓ、および階調変換特性算出部１１１によって算出された階調変換特性Ｔ（ｉ）は、停止部１０００へ転送される。
【００８１】
停止部１０００は、転送されてきたΔＥＶ，Ｓを用いて、次の数式４に示すようなβを算出する。  
［数４］
2009253834.tif 000006
ここに、ｂは所定の係数を表している。
【００８２】
そして、停止部１０００は、算出したβに基づいて、階調変換特性Ｔ（ｉ）に基づく階調変換処理を行うか否かを判定する。すなわち、停止部１０００は、算出したβを閾値ｔｈと比較して、β≦ｔｈである場合（これは、面積Ｓを固定して考えると、取得された被写体の輝度範囲の広さが所定の閾値以上である場合になる。）には階調変換処理を停止すると判定し、β＞ｔｈである場合（同様に、面積Ｓを固定して考えると、取得された被写体の輝度範囲の広さが所定の閾値未満である場合になる。）には階調変換特性Ｔ（ｉ）に基づく階調変換処理を実行すると判定して、この判定結果を示す情報を階調変換部１１３へ転送するとともに、判定結果が階調変換処理を実行する結果である場合には階調変換特性Ｔ（ｉ）も階調変換部１１３へ転送する。
【００８３】
なお、ここでは、停止部１０００は、階調変換処理を行うか否かを判定するに当たって数式４に示したように算出されるβを用いたが、このβを用いる代わりに、上述した実施形態１の数式３に示したようなαを用いても良い。この場合にも、停止部１０００は、αを適宜の閾値と比較して判定を行うことになる。
【００８４】
階調変換部１１３は、停止部から転送されてきた判定結果が階調変換を行うものである場合には、階調変換特性Ｔ（ｉ）を用いて、信号処理部１０９から転送されてきた画像信号に対して階調変換処理を行う。一方、階調変換部１１３は、停止部から転送されてきた判定結果が階調変換を行わないものである場合には、信号処理部１０９から転送されてきた画像信号に対する階調変換処理は行わない。ただし、判定結果が何れである場合にも、階調変換部１１３は、ディスプレイ等の表示系を考慮したガンマ変換等は行う。
【００８５】
なお、上述では、ハードウェアによる処理を前提としていたが、これに限定される必要はなく、上述した実施形態１と同様に、画像信号処理プログラムをコンピュータに実行させて処理することも可能であるし、同様の処理を行う画像信号処理方法であっても構わない。
【００８６】
図１３を参照して、画像信号処理プログラムによる処理の流れについて説明する。この図１３に示す処理の流れは、図１２における処理の流れにほぼ対応するものとなっているために、図１２に示す構成における対応する部分を適宜記載して、詳細な流れの説明を省略する。また、実施形態１の図１１に示した処理と同様である部分についても説明を省略する。
【００８７】
ステップＳ５の処理が行われたところで（なお、ステップＳ４の処理はこの時点で既に行われている必要はなく、後段のステップＳ７を行う前に終了していれば足りる）、停止部１０００に相当する、階調変換処理を停止するか否かの判定処理を行う（ステップＳ２０）。
【００８８】
そして、この判定処理において、階調変換処理を行うと判定した場合には、ステップＳ４によって算出された階調変換特性Ｔ（ｉ）を用いた階調変換部１１３に相当するステップＳ７の階調変換処理を、ステップＳ８において全ての注目画素に対する処理が終了したと判定されるまで行い、一方、階調変換処理を行わないと判定した場合には、これらステップＳ７およびステップＳ８の処理をスキップしてそのまま終了する。その他の処理は図１１と同様である。
【００８９】
このような実施形態２によれば、被写体のダイナミックレンジを測定して、測定結果に応じて階調変換を行うか否かを決定するようにしたために、階調変換処理を行っても画像信号に対する画質の改善効果をほとんど得られないと推定される場合に、階調変換処理を省略することができるために、処理の高速化を図ることが可能となる。
【００９０】
さらに、画像信号に含まれる特徴量に基づいて階調変換を行うか否かを判定するようにしたために、特徴量に応じた適切な判定を行うことが可能となる。
【００９１】
その他、この実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏することができる。
【００９２】
なお、階調変換特性算出部１１１は、階調変換特性を画像のヒストグラムに基づいて算出するために、画像が全く異なる画像であっても、ヒストグラムが同じであれば同じ階調変換特性が算出されることになる。従って、別途の不揮発性メモリ等を設けて、この不揮発性メモリにヒストグラムと階調変換特性とを対応付けて記憶させておけば、画像のヒストグラムが同一であるときには、階調変換特性を新たに算出することなく、既に記憶されている階調変換特性を検索して出力すれば足りる。
【００９３】
また、輝度範囲の広さとヒストグラムと階調変換特性とを対応付けて不揮発性メモリに記憶させておけば、既に記憶されている階調変換特性と同一の輝度範囲の広さおよびヒストグラムの画像信号の処理を行う際に、補正部１１２による補正も省略することが可能となる場合もあり得る（例えば、特徴量による補正を省略する場合など）。
【００９４】
さらに、輝度範囲の広さと特徴量とヒストグラムと階調変換特性とを対応付けて不揮発性メモリに記憶させておけば、既に記憶されている階調変換特性と同一の輝度範囲の広さ、特徴量、およびヒストグラムの画像信号の処理を行う際に、補正部１１２による補正も省略することが可能となる。
【００９５】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【図面の簡単な説明】
【００９６】
【図１】本発明の実施形態１における画像信号処理装置が適用される撮像システムの構成を示すブロック図。
【図２】上記実施形態１における補正部の構成を示すブロック図。
【図３】上記実施形態１における補正前の階調変換特性を示す線図。
【図４】上記実施形態１における基準階調変換特性を示す線図。
【図５】上記実施形態１における補正後の階調変換特性を示す線図。
【図６】上記実施形態１において、画像を閾値と比較して得られる画素の領域を示す図。
【図７】上記実施形態１において、図６の画素領域にオープニング処理を施し構造要素以上の領域である特徴領域のみを残した様子を示す図。
【図８】上記実施形態１において、クリップ処理前のヒストグラムおよびクリップ値を示す線図。
【図９】上記実施形態１におけるクリップ処理後のヒストグラムを示す線図。
【図１０】上記実施形態１において、図８と図９のヒストグラムをそれぞれ累積して算出した階調変換特性の様子を示す線図。
【図１１】上記実施形態１における画像信号処理プログラムによる処理の流れを示すフローチャート。
【図１２】本発明の実施形態２における画像信号処理装置が適用される撮像システムの構成を示すブロック図。
【図１３】上記実施形態２における画像信号処理プログラムによる処理の流れを示すフローチャート。
【符号の説明】
【００９７】
１００…レンズ系（撮像部）
１０１…絞り（撮像部）
１０２…ＡＦモータ（撮像部）
１０３…カラーフィルタ（撮像部）
１０４…ＣＣＤ（撮像部）
１０５…ＡＥセンサ（輝度範囲取得部）
１０６…Ａ／Ｄ変換部（撮像部）
１０７…バッファ
１０８…撮影制御部
１０９…信号処理部
１１０…特徴量抽出部
１１１…階調変換特性算出部
１１２…補正部
１１３…階調変換部
１１４…圧縮部
１１５…出力部
１１６…制御部
１１７…外部Ｉ／Ｆ部
２００…ＲＯＭ
２０１…基準階調変換特性設定部
２０２…重付加算平均部
１０００…停止部
【図１】
2009253834.tif 000007
【図２】
2009253834.tif 000008
【図３】
2009253834.tif 000009
【図４】
2009253834.tif 000010
【図５】
2009253834.tif 000011
【図６】
2009253834.tif 000012
【図７】
2009253834.tif 000013
【図８】
2009253834.tif 000014
【図９】
2009253834.tif 000015
【図１０】
2009253834.tif 000016
【図１１】
2009253834.tif 000017
【図１２】
2009253834.tif 000018
【図１３】
2009253834.tif 000019