(57)【特許請求の範囲】
【請求項１】
撮像素子からの映像信号に対して階調変換処理と組み合わせた露光量制御を行うカメラシステムにおいて、
本撮像に先立ち異なる露光量で複数回のプリ撮像を行うように制御するプリ撮像制御手段と、
上記プリ撮像により得られた各映像信号に係る信号に対して階調変換処理に用いる変換特性を算出する変換特性算出手段と、
上記プリ撮像により得られた各映像信号に係る信号と、上記プリ撮像に用いた露光量と、上記変換特性と、に基づき、本撮像の露光量を決定する露光制御手段と、
上記露光量に基づき本撮像を行うように制御する本撮像制御手段と、
上記本撮像により得られた映像信号に係る信号に関して階調変換処理に用いる変換特性を算出し階調変換処理を行う階調変換手段と、
を具備し、
上記変換特性算出手段は、
上記映像信号に係る信号を所定の縮小率で変換することにより縮小信号を求める縮小手段と、
上記縮小信号を複数の領域に分割する分割手段と、
上記領域毎に輝度分布情報に基づき階調変換曲線を算出する階調変換曲線算出手段と、
上記縮小信号における注目画素の信号値を複数の領域に各係る複数の階調変換曲線に基づきそれぞれ階調変換し、階調変換後の複数の信号値から補間演算を行うことにより該注目画素の階調変換処理後の信号値を算出する補間算出手段と、
上記縮小信号と上記階調変換処理後の信号値とに基づき階調変換処理に用いる変換特性を算出するゲイン算出手段と、
上記階調変換処理に用いる変換特性を所定の拡大率で変換する拡大手段と、
を有するものであることを特徴とするカメラシステム。
【請求項２】
上記撮像素子は、モノクロ撮像素子であって、
上記映像信号に係る信号は、上記映像信号自体であることを特徴とする請求項１に記載のカメラシステム。
【請求項３】
上記撮像素子は、カラー撮像素子であって、
上記プリ撮像により得られた各映像信号から、輝度信号を上記映像信号に係る信号として抽出する第１のＹ／Ｃ分離手段と、
上記本撮像により得られた映像信号から、輝度信号を上記映像信号に係る信号として抽出する第２のＹ／Ｃ分離手段と、
をさらに具備したことを特徴とする請求項１に記載のカメラシステム。
【請求項４】
上記プリ撮像制御手段は、上記撮像素子のダイナミックレンジに基づき露光量の変化量を設定するものであることを特徴とする請求項１に記載のカメラシステム。
【請求項５】
上記露光制御手段は、
上記映像信号に係る信号と、上記プリ撮像に用いた露光量と、上記変換特性と、に基づき、暗部の無効画素数と露光量との間の関係を推定する暗部無効画素推定手段と、
上記映像信号に係る信号と、上記プリ撮像に用いた露光量と、上記変換特性と、に基づき、明部の無効画素数と露光量との間の関係を推定する明部無効画素推定手段と、
上記暗部の無効画素数と露光量との間の関係と、上記明部の無効画素数と露光量との間の関係と、に基づき、本撮像の露光量を算出する露光量算出手段と、
を有するものであることを特徴とする請求項１に記載のカメラシステム。
【請求項６】
上記暗部無効画素推定手段は、
上記映像信号に係る信号から画素単位または所定領域単位にノイズ量を推定するノイズ推定手段と、
上記変換特性に基づき、上記ノイズ量と、上記映像信号に係る信号と、を補正するゲイン補正手段と、
上記補正されたノイズ量に基づきノイズ範囲を設定するノイズ範囲設定手段と、
上記補正された映像信号に係る信号が上記ノイズ範囲に属する割合を暗部無効率として算出する暗部無効率算出手段と、
上記プリ撮像に用いた露光量と上記暗部無効率との関係を所定の関数に近似する関数近似手段と、
を有するものであることを特徴とする請求項５に記載のカメラシステム。
【請求項７】
上記明部無効画素推定手段は、
上記映像信号に係る信号に対する所定の閾値を設定する閾値設定手段と、
上記変換特性に基づき上記映像信号に係る信号を補正するゲイン補正手段と、
上記補正された映像信号に係る信号が上記閾値を上回る割合を明部無効率として算出する明部無効率算出手段と、
上記プリ撮像に用いた露光量と上記明部無効率との関係を所定の関数に近似する関数近似手段と、
を有するものであることを特徴とする請求項５に記載のカメラシステム。
【請求項８】
上記関数近似手段は、上記所定の関数として１次関数式または２次関数式を用いるものであることを特徴とする請求項６または請求項７に記載のカメラシステム。
【請求項９】
上記露光量算出手段は、上記暗部の無効画素数と上記明部の無効画素数とが等しくなる露光量を探索する探索手段を有するものであることを特徴とする請求項５に記載のカメラシステム。
【請求項１０】
上記露光量算出手段は、上記暗部の無効画素数と露光量との間の関係と、上記明部の無効画素数と露光量との間の関係と、の少なくとも一方に補正を行う画質調整手段をさらに有するものであることを特徴とする請求項９に記載のカメラシステム。
【請求項１１】
上記画質調整手段は、上記プリ撮像に用いた露光量からのＩＳＯ感度情報に基づき、上記暗部の無効画素数と露光量との間の関係を補正する高感度域調整手段を有するものであることを特徴とする請求項１０に記載のカメラシステム。
【請求項１２】
上記画質調整手段は、上記映像信号に係る信号からの高輝度域の面積情報に基づき、上記明部の無効画素数と露光量との間の関係を補正する高輝度域調整手段を有するものであることを特徴とする請求項１０に記載のカメラシステム。
【請求項１３】
上記画質調整手段は、
上記プリ撮像時の合焦情報と測光情報とに基づき撮影状況を推定する撮影状況推定手段と、
上記撮影状況に基づき、上記暗部の無効画素数と露光量との間の関係と、上記明部の無効画素数と露光量との間の関係と、の少なくとも一方を補正する撮影状況調整手段と、
を有するものであることを特徴とする請求項１０に記載のカメラシステム。
【請求項１４】
上記画質調整手段は、
ユーザーの調整値を入力するためのインタフェース手段と、
上記ユーザーの調整値に基づき、上記暗部の無効画素数と露光量との間の関係と、上記明部の無効画素数と露光量との間の関係と、の少なくとも一方に補正を行う手動調整手段と、
を有するものであることを特徴とする請求項１０に記載のカメラシステム。
【請求項１５】
上記階調変換手段は、
上記映像信号に係る信号を所定の縮小率で変換することにより縮小信号を求める縮小手段と、
上記縮小信号を複数の領域に分割する分割手段と、
上記領域毎に輝度分布情報に基づき階調変換曲線を算出する階調変換曲線算出手段と、
上記縮小信号における注目画素の信号値を複数の領域に各係る複数の階調変換曲線に基づきそれぞれ階調変換し、階調変換後の複数の信号値から補間演算を行うことにより該注目画素の階調変換処理後の信号値を算出する補間算出手段と、
上記縮小信号と上記階調変換処理後の信号値とに基づき階調変換処理に用いる変換特性を算出するゲイン算出手段と、
上記階調変換処理に用いる変換特性を所定の拡大率で変換する拡大手段と、
上記変換特性に基づき上記映像信号に係る信号に対して階調変換処理を行う変換処理手段と、
を有するものであることを特徴とする請求項１に記載のカメラシステム。
【請求項１６】
上記階調変換曲線算出手段は、上記輝度分布情報として累積ヒストグラムを用いるものであることを特徴とする請求項１または請求項１５に記載のカメラシステム。
【請求項１７】
上記カラー撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特徴とする請求項３に記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子からの映像信号に対して階調変換処理と組み合わせた露光量制御を行うカメラシステムに関する。
【背景技術】
【０００２】
従来のカメラシステムにおける露光量制御としては、中央部重点測光，評価測光，分割測光などによる測光結果に基づくものがある。
【０００３】
例えば、特開２００１−５４０１４号公報には、分割測光と階調変換特性の変更とを組み合わせる技術が記載されている。これにより、主要被写体に関して適正露光が得られ、かつ良好な階調表現の映像信号が得られるものとなっている。
【０００４】
一方、局所領域毎に異なる階調変換処理を行う技術、一般にスペースバリアントな階調変換処理と呼ばれる技術がある。このような技術としては、例えば、特許３４６５２２６号に係る公報に記載されたものが挙げられる。該公報には、テクスチャ情報に基づいて映像信号を複数の領域に分割し、領域毎にヒストグラムに基づき階調変換曲線を求めて階調変換処理を行う技術が記載されている。これにより、主要被写体のみならず、背景部に関しても適切な露光となるように変換処理されるために、高品位な映像信号を得ることができる。
【０００５】
また、異なる露光量の撮像を複数回組み合わせることにより、広ダイナミックレンジの被写体情報をそのまま取り込む技術がある。このようなものの一例として、特開２００２−２２３３８７号公報には、複数回の異なる露光量の撮影条件を本撮像に先立つプリ撮像の情報に基づいて制御する技術が記載されている。これにより、多様なダイナミックレンジの被写体に対して適切な露光条件を設定することができ、被写体情報を無駄なく取り込むことが可能となっている。
【０００６】
さらに、特開２００５−１７５７１８号公報には、輝度信号と色差信号とに関するノイズ量を動的に推定して、高品位なノイズ低減処理を行う技術が記載されている。
【特許文献１】特開２００１−５４０１４号公報
【特許文献２】特許３４６５２２６号
【特許文献３】特開２００２−２２３３８７号公報
【特許文献４】特開２００５−１７５７１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記特開２００１−５４０１４号公報に記載されたものでは、主要被写体に関しては適正露光かつ良好な階調表現が可能となるが、その他の背景部に関しては主要被写体に従属する形で制御されるために、適切な制御が行われる保証がないという課題がある。
【０００８】
また、上記特許３４６５２２６号に記載のものでは、撮像時に有効に取り込まれた領域に関しては階調変換処理により良好な映像信号が得られるが、明部の白飛びや暗部の黒つぶれなどの撮像時に取り込まれなかった領域に関しては補正することができないという課題がある。
【０００９】
さらに、上記特開２００２−２２３３８７号公報に記載のものでは、被写体のダイナミックレンジに適した撮像が行われるが、後段の階調変換処理および暗部のノイズの影響を考慮した最適な露光量制御が行われていないという課題がある。
【００１０】
そして、特開２００５−１７５７１８号公報に記載のものでは、ノイズ低減処理と、階調変換処理および露光量の制御とが独立しているために、相互を最適に活用することができないという課題がある。
【００１１】
本発明は上記事情に鑑みてなされたものであり、主要被写体のみならず背景部も含めた全体のダイナミックレンジを適切に取り込んで、シーンの有するダイナミックレンジを有効に活用した高品位な映像信号を得ることができるカメラシステムを提供することを目的としている。
【００１２】
また、本発明は、明部の白飛びや暗部のノイズの影響を考慮した主観的に好ましい映像信号を得ることができるカメラシステムを提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明によるカメラシステムは、撮像素子からの映像信号に対して階調変換処理と組み合わせた露光量制御を行うカメラシステムにおいて、本撮像に先立ち異なる露光量で複数回のプリ撮像を行うように制御するプリ撮像制御手段と、上記プリ撮像により得られた各映像信号に係る信号に対して階調変換処理に用いる変換特性を算出する変換特性算出手段と、上記プリ撮像により得られた各映像信号に係る信号と上記プリ撮像に用いた露光量と上記変換特性とに基づき本撮像の露光量を決定する露光制御手段と、上記露光量に基づき本撮像を行うように制御する本撮像制御手段と、上記本撮像により得られた映像信号に係る信号に関して階調変換処理に用いる変換特性を算出し階調変換処理を行う階調変換手段と、を具備し、上記変換特性算出手段は、上記映像信号に係る信号を所定の縮小率で変換することにより縮小信号を求める縮小手段と、上記縮小信号を複数の領域に分割する分割手段と、上記領域毎に輝度分布情報に基づき階調変換曲線を算出する階調変換曲線算出手段と、上記縮小信号における注目画素の信号値を複数の領域に各係る複数の階調変換曲線に基づきそれぞれ階調変換し、階調変換後の複数の信号値から補間演算を行うことにより該注目画素の階調変換処理後の信号値を算出する補間算出手段と、上記縮小信号と上記階調変換処理後の信号値とに基づき階調変換処理に用いる変換特性を算出するゲイン算出手段と、上記階調変換処理に用いる変換特性を所定の拡大率で変換する拡大手段と、を有するものである。
【発明の効果】
【００１４】
本発明のカメラシステムによれば、主要被写体のみならず背景部も含めた全体のダイナミックレンジを適切に取り込んで、シーンの有するダイナミックレンジを有効に活用した高品位な映像信号を得ることができる。
【００１５】
また、本発明のカメラシステムによれば、明部の白飛びや暗部のノイズの影響を考慮した主観的に好ましい映像信号を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態を説明する。
【００１７】
［実施形態１］
図１から図１０は本発明の実施形態１を示したものであり、図１はカメラシステムの構成を示すブロック図、図２はプリ撮像モードにおける３種類の露光量を示す線図、図３は変換特性算出部の構成を示すブロック図、図４は変換特性算出部の分割部における縮小信号の領域への分割を示す図、図５は注目画素と近傍４領域の各中心との間の距離ｄ1〜ｄ4を示す図、図６は露光制御部の構成を示すブロック図、図７は露光量に対する明部の無効率および暗部の無効率と適正露光量とを示す線図、図８は高感度域調整部によるＩＳＯ感度に基づく暗部無効率の補正の様子を示す線図、図９は高輝度域調整部による高輝度域の面積比に基づく明部無効率の補正の様子を示す線図、図１０はノイズ推定部の構成を示すブロック図である。
【００１８】
まず、図１を参照して、このカメラシステムの構成について説明する。
【００１９】
このカメラシステムは、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、増幅部１０３と、Ａ／Ｄ変換部１０４と、バッファ１０５と、変換特性算出部１０６と、露光制御部１０７と、合焦点検出部１０８と、ＡＦモータ１０９と、階調変換部１１０と、信号処理部１１１と、出力部１１２と、制御部１１３と、外部Ｉ／Ｆ部１１４と、温度センサ１１５と、を含んでいる。
【００２０】
レンズ系１００は、被写体の光学像をＣＣＤ１０２の撮像面へ結像するためのものである。
【００２１】
絞り１０１は、レンズ系１００により結像される被写体光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面に結像される光学像の明るさを変更するためのものである。
【００２２】
ＣＣＤ１０２は、結像される光学像を光電変換して、アナログの映像信号として出力するための撮像素子である。なお、本実施形態においては、ＣＣＤ１０２として、白黒用単板ＣＣＤ（モノクロ撮像素子）を想定している。また、撮像素子も、ＣＣＤに限るものではなく、ＣＭＯＳやその他の撮像素子を用いてももちろん構わない。
【００２３】
温度センサ１１５は、このＣＣＤ１０２の近傍に配置されていて、該ＣＣＤ１０２の温度を実質的に計測して、制御部１１３へ出力するものである。
【００２４】
増幅部１０３は、ＣＣＤ１０２から出力される映像信号を増幅するためのものである。この増幅部１０３による増幅量は、制御部１１３の制御に基づき、露光制御部１０７により設定されるようになっている。
【００２５】
Ａ／Ｄ変換部１０４は、制御部１１３の制御に基づき、ＣＣＤ１０２から出力され増幅部１０３により増幅されたアナログの映像信号を、デジタルの映像信号に変換するためのものである。
【００２６】
バッファ１０５は、Ａ／Ｄ変換部１０４から出力されたデジタルの映像信号を一時的に記憶するためのものである。
【００２７】
変換特性算出部１０６は、制御部１１３の制御に基づき、プリ撮像モード時および本撮像モード時にバッファ１０５から映像信号を順次読み込んで、スペースバリアントな階調変換処理に使用される変換特性を算出し、プリ撮像モード時には露光制御部１０７へ、本撮像モード時には階調変換部１１０へ、それぞれ転送する変換特性算出手段であり、階調変換手段の一部を兼ねたものである。
【００２８】
露光制御部１０７は、制御部１１３の制御に基づき、バッファ１０５から複数種類の露光量に対する映像信号を、変換特性算出部１０６から該複数種類の露光量に対する変換特性を、順次読み込んで、本撮像における露光量を算出する露光制御手段である。露光制御部１０７は、算出した露光量に基づいて、絞り１０１の絞り値やＣＣＤ１０２の電子シャッタ速度や増幅部１０３の増幅率などを制御するようになっている。
【００２９】
合焦点検出部１０８は、プリ撮像モード時に、制御部１１３の制御に基づき、バッファ１０５に記憶されている映像信号中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１０９を制御することにより、合焦信号を得るようにするものである。
【００３０】
ＡＦモータ１０９は、合焦点検出部１０８に制御されて、レンズ系１００に含まれるＡＦレンズを駆動するための駆動源である。
【００３１】
階調変換部１１０は、制御部１１３の制御に基づき、バッファ１０５から本撮像の映像信号を、変換特性算出部１０６から変換特性を、それぞれ読み込んで、映像信号に対するスペースバリアントな階調変換処理を行う階調変換手段，変換処理手段である。
【００３２】
信号処理部１１１は、制御部１１３の制御に基づき、階調変換部１１０から出力される階調変換処理後の映像信号に対して公知のエッジ強調処理や圧縮処理などを行い、処理後の信号を出力部１１２へ転送するものである。
【００３３】
出力部１１２は、信号処理部１１１から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存するものである。
【００３４】
制御部１１３は、例えばマイクロコンピュータなどにより構成されていて、増幅部１０３、Ａ／Ｄ変換部１０４、変換特性算出部１０６、露光制御部１０７、合焦点検出部１０８、階調変換部１１０、信号処理部１１１、出力部１１２、外部Ｉ／Ｆ部１１４と双方向に接続されており、これらを含むこのカメラシステム全体を制御するための制御手段である。この制御部１１３は、本撮像制御手段，プリ撮像制御手段，暗部無効画素推定手段，明部無効画素推定手段，露光量算出手段，閾値設定手段，ノイズ量推定手段，画質調整手段，高輝度域調整手段，高感度域調整手段，撮影状況推定手段，手動調整手段を兼ねたものとなっている。また、この制御部１１３には、温度センサ１１５からの信号が入力されるようになっている。
【００３５】
外部Ｉ／Ｆ部１１４は、このカメラシステムに対するユーザからの入力等を行うための露光量算出手段，画質調整手段，インタフェース手段であり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。ユーザは、この外部Ｉ／Ｆ部１１４を介して、２段式のシャッタボタンの１段目の押圧によるプリ撮像の開始入力、該シャッタボタンの２段目の押圧による本撮像の開始入力を行うことができるようになっている。さらに、ユーザは、この外部Ｉ／Ｆ部１１４を介して、ＩＳＯ感度などの撮影条件を設定することができるようになっている。そして、この外部Ｉ／Ｆ部１１４は、入力された情報を、制御部１１３へ出力するようになっている。
【００３６】
次に、図１に示したようなカメラシステムの作用を、映像信号の流れに沿って説明する。
【００３７】
ユーザは、撮影を行う前に、外部Ｉ／Ｆ部１１４を介してＩＳＯ感度などの撮影条件を予め設定する。
【００３８】
その後、ユーザが、外部Ｉ／Ｆ部１１４の２段式スイッチでなるシャッタボタンを半押しすると、このカメラシステムがプリ撮像モードに入る。
【００３９】
すると、レンズ系１００および絞り１０１を介して結像される被写体像が、ＣＣＤ１０２により光電変換され、アナログの映像信号として出力される。
【００４０】
このプリ撮像モードにおいては、制御部１１３の制御に基づき、露光制御部１０７が、絞り１０１を所定の絞り値に、ＣＣＤ１０２の電子シャッタ速度を所定の速度に、それぞれ設定するようになっており、この条件下で撮像が行われる。
【００４１】
このような条件下で撮像されＣＣＤ１０２から出力されたアナログの映像信号は、増幅部１０３によって、ユーザにより設定されたＩＳＯ感度に対応する所定の増幅量で増幅される。
【００４２】
この増幅部１０３により増幅された映像信号は、Ａ／Ｄ変換部１０４によりデジタルの映像信号に変換されて、バッファ１０５へ転送され記憶される。
【００４３】
このバッファ１０５内に記憶された映像信号は、まず、合焦点検出部１０８へ転送される。
【００４４】
合焦点検出部１０８は、映像信号に基づき、上述したようにエッジ強度を検出し、このエッジ強度が最大となるようにＡＦモータ１０９を制御して、合焦信号を得る。
【００４５】
合焦処理が完了した後に、露光制御部１０７は、制御部１１３の制御に基づき、複数種類の異なる露光量を設定する。そして、設定された各露光量に基づいて、複数枚のプリ撮像が行われるようになっている。
【００４６】
ここに、本実施形態においては、３種類の露光量による撮影を想定している。図２を参照して、プリ撮像モードにおける３種類の露光量について説明する。
【００４７】
図２に示す３種類の露光量は、各々、４ＥＶ（Exposure Value）の間隔となるように設定されている。
【００４８】
これは、例えば絞り値を一定とする場合に、シャッタ速度を１／１５，１／２５０，１／４０００秒にそれぞれ設定することにより、実現することが可能である。
【００４９】
なお、この図２に示す例では、３種類の露光量を用いているが、これに限定されるものではない。例えば、２種類の露光量を用いて処理を高速化するように構成することも可能であるし、４種類の露光量を用いて処理を高精度化するように構成することも可能である。
【００５０】
また、この図２に示す例では、露光量の変化量を４ＥＶとしているが、これに限るものではなく、使用する撮像素子のダイナミックレンジ幅、本実施形態においてはＣＣＤ１０２のダイナミックレンジ幅、に合わせて、露光量の変化量を設定すれば良い。
【００５１】
さらには、露光量の変化量を、使用する撮像素子のダイナミックレンジ幅に合わせて設定することに限定されるものでもない。例えば、取り込まれるダイナミックレンジが重複するように設定して、精度を向上するように構成することが可能である。あるいは、取り込まれるダイナミックレンジに所定の間隔があるように設定して、少ない撮影回数で大きなダイナミックレンジに対応することができるように構成することも可能である。
【００５２】
上述したような複数種類の露光量により撮像された映像信号は、バッファ１０５へ転送される。ここに、本実施形態においては、図２に示したような３種類の露光量による映像信号が、バッファ１０５に記録されることになる。
【００５３】
変換特性算出部１０６は、制御部１１３の制御に基づき、バッファ１０５から３種類の露光量に対する映像信号を順次読み込んで、スペースバリアントな階調変換処理に使用される変換特性をそれぞれ算出する。変換特性算出部１０６は、このプリ撮像においては、算出した３種類の階調変換特性を露光制御部１０７へ転送する。
【００５４】
露光制御部１０７は、制御部１１３の制御に基づき、バッファ１０５から３種類の露光量に対する映像信号を、変換特性算出部１０６から３種類の露光量に対する変換特性を、順次読み込んで、本撮像における露光量を算出する。
【００５５】
こうして、焦点調節が行われ、さらに露光量が算出されたところで、ユーザが、外部Ｉ／Ｆ部１１４の２段式スイッチでなるシャッタボタンを全押しすると、このカメラシステムが本撮像モードに入る。
【００５６】
すると、プリ撮像と同様にして、映像信号がバッファ１０５へ転送される。この本撮像は、露光制御部１０７によって求められた露光量と、合焦点検出部１０８によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１３へ転送される。
【００５７】
変換特性算出部１０６は、制御部１１３の制御に基づき、バッファ１０５から本撮像の映像信号を読み込んで、スペースバリアントな階調変換処理に使用される変換特性を算出する。変換特性算出部１０６は、この本撮像においては、算出した階調変換特性を階調変換部１１０へ転送する。
【００５８】
階調変換部１１０は、制御部１１３の制御に基づき、バッファ１０５から本撮像の映像信号を、変換特性算出部１０６から変換特性を、それぞれ読み込んで、映像信号に対するスペースバリアントな階調変換処理を行う。そして、階調変換部１１０は、階調変換処理した映像信号を、信号処理部１１１へ転送する。
【００５９】
信号処理部１１１は、階調変換部１１０からの階調変換処理された映像信号に対して、上述したように、公知のエッジ強調処理や圧縮処理などを行い、処理後の信号を出力部１１２へ転送する。
【００６０】
出力部１１２は、信号処理部１１１から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。
【００６１】
次に、図３を参照して、変換特性算出部１０６の構成の一例について説明する。
【００６２】
この変換特性算出部１０６は、縮小手段たる縮小部２００と、バッファ２０１と、分割手段たる分割部２０２と、階調変換曲線算出手段たる階調変換曲線算出部２０３と、バッファ２０４と、補間算出手段たる抽出部２０５と、補間算出手段たる距離算出部２０６と、補間算出手段たる補間算出部２０７と、バッファ２０８と、ゲイン算出手段たるゲイン算出部２０９と、バッファ２１０と、拡大手段たる拡大部２１１と、バッファ２１２と、を含んでいる。
【００６３】
バッファ１０５は、縮小部２００を介してバッファ２０１へ接続されている。バッファ２０１は、分割部２０２，抽出部２０５，ゲイン算出部２０９へそれぞれ接続されている。分割部２０２は、階調変換曲線算出部２０３およびバッファ２０４を介して、補間算出部２０７へ接続されている。抽出部２０５は、距離算出部２０６を介して、補間算出部２０７へ接続されている。補間算出部２０７は、バッファ２０８，ゲイン算出部２０９，バッファ２１０を介して、拡大部２１１へ接続されている。拡大部２１１は、バッファ２１２を介して、露光制御部１０７と階調変換部１１０とへそれぞれ接続されている。
【００６４】
また、制御部１１３は、縮小部２００，分割部２０２，階調変換曲線算出部２０３，抽出部２０５，距離算出部２０６，補間算出部２０７，ゲイン算出部２０９，拡大部２１１と双方向に接続されていて、これらを制御するようになっている。
【００６５】
続いて、このような変換特性算出部１０６の作用について説明する。
【００６６】
縮小部２００は、制御部１１３の制御に基づき、バッファ１０５から映像信号を読み込んで、これを所定の縮小率により変換し、所定サイズの縮小信号を生成する。ここに、本実施形態においては、縮小部２００は、例えばサムネイル画像と同一の１６０×１２０画素サイズの縮小信号へ変換するものとする。
【００６７】
縮小部２００からの縮小信号は、バッファ２０１へ転送されて記憶される。
【００６８】
分割部２０２は、制御部１１３の制御に基づき、バッファ２０１から上記縮小信号を読み込んで、これを所定サイズの領域、例えば２０×１５画素サイズの領域に重複なく分割する。従って、この例においては、縮小信号は、縦８×横８の合計６４個の領域に分割されることになる。図４は、このような、縮小信号の領域への分割の様子を示している。そして、分割部２０２は、分割した領域を、階調変換曲線算出部２０３へ順次転送する。
【００６９】
階調変換曲線算出部２０３は、分割部２０２から転送される上記領域に対して、累積ヒストグラムを算出することにより、階調変換処理に用いる階調変換曲線を算出する。階調変換曲線算出部２０３は、領域毎に算出した階調変換曲線を、バッファ２０４へ順次転送する。
【００７０】
階調変換曲線算出部２０３による全ての領域に関する階調変換曲線の算出処理が完了した後に、抽出部２０５は、制御部１１３の制御に基づき、バッファ２０１内の縮小信号から、１画素単位で注目画素の信号を抽出し、抽出した注目画素の画素値および座標値を、距離算出部２０６へ順次転送する。
【００７１】
距離算出部２０６は、抽出部２０５で抽出された注目画素に関して、該注目画素の近傍に位置する４つの領域を算出し、さらに、該注目画素と４つの領域との間の距離を算出する。
【００７２】
図５を参照して、注目画素と、注目画素の近傍に位置する４つの領域と、の配置について説明する。
【００７３】
ここに、注目画素と領域との間の距離は、注目画素の位置と、領域の中心位置と、の間の距離として算出されるようになっている。
【００７４】
以下では、注目画素の画素値をＰij（ｉ，ｊは、縮小信号における注目画素のｘ，ｙ座標）により、算出された注目画素と近傍の４領域との間の距離をｄk（ｋ＝１〜４）により、近傍の４領域の階調変換曲線をＴk（）により、それぞれ表すことにする。
【００７５】
距離算出部２０６は、算出した距離ｄkと、注目画素Ｐij（以下、注目画素の画素値Ｐijを、単に注目画素Ｐijという。）と、を補間算出部２０７へ転送する。
【００７６】
補間算出部２０７は、制御部１１３の制御に基づき、距離算出部２０６から距離ｄkおよび注目画素Ｐijを、バッファ２０４から対応する近傍４領域の階調変換曲線Ｔk（）を、それぞれ読み込んで、次の数式１に示すような補間演算によって、階調変換処理後の注目画素Ｐ’ijを算出する。  
［数１］
0004628937.tif 000002
【００７７】
ここに、数式１に示す補間演算は、注目画素Ｐijを各領域の階調変換曲線Ｔk（）によりそれぞれ階調変換し、さらに階調変換後の各画素値の、注目画素と各領域の中心との距離に反比例する平均をとったもの、となっている。
【００７８】
補間算出部２０７は、算出した階調変換処理後の注目画素Ｐ’ijを、バッファ２０８へ順次転送する。
【００７９】
バッファ２０１に記憶されている縮小信号の全画素に関して上述したような処理が完了したら、ゲイン算出部２０９は、制御部１１３の制御に基づき、バッファ２０１から縮小された映像信号の注目画素Ｐijを、バッファ２０８から階調変換処理後の映像信号の注目画素Ｐ’ijを、それぞれ読み込む。
【００８０】
そして、ゲイン算出部２０９は、階調変換処理に用いる変換特性Ｔijを、次の数式２に示すような演算によって算出する。  
［数２］
0004628937.tif 000003
【００８１】
ゲイン算出部２０９は、算出した変換特性Ｔijを、バッファ２１０へ順次転送する。
【００８２】
拡大部２１１は、制御部１１３の制御に基づき、バッファ２１０上の変換特性Ｔijに対して、入力時の映像信号と同サイズとなるように拡大処理を行う。
【００８３】
これ以降は、拡大処理された変換特性を、Ｔmn（ｍ，ｎは、映像信号におけるｘ，ｙ座標）により表すことにする。
【００８４】
拡大部２１１は、拡大処理した変換特性Ｔmnを、バッファ２１２へ転送する。
【００８５】
こうしてバッファ２１２内に記憶された変換特性Ｔmnは、必要に応じて、露光制御部１０７または階調変換部１１０へ転送される。
【００８６】
次に、図６を参照して、露光制御部１０７の構成の一例について説明する。
【００８７】
この露光制御部１０７は、抽出部３００と、暗部無効画素推定手段でありノイズ量推定手段たるノイズ推定部３０１と、暗部無効画素推定手段，明部無効画素推定手段，ゲイン補正手段を兼ねたゲイン補正部３０２と、暗部無効画素推定手段でありノイズ範囲設定手段たるノイズ範囲設定部３０３と、暗部無効画素推定手段であり暗部無効率算出手段たる暗部無効画素判定部３０４と、バッファ３０５と、暗部無効画素推定手段であり暗部無効率算出手段たる暗部無効率算出部３０６と、暗部無効画素推定手段であり関数近似手段たる関数近似部３０７と、露光量算出手段，高感度域調整手段，画質調整手段を兼ねた高感度域調整部３０８と、明部無効画素推定手段であり閾値設定手段たる閾値設定部３０９と、明部無効画素推定手段であり明部無効率算出手段たる明部無効画素判定部３１０と、バッファ３１１と、明部無効画素推定手段であり明部無効率算出手段たる明部無効率算出部３１２と、明部無効画素推定手段であり関数近似手段たる関数近似部３１３と、露光量算出手段，高輝度域調整手段，画質調整手段を兼ねた高輝度域調整部３１４と、露光量算出手段であり探索手段たる露光量算出部３１５と、を含んでいる。
【００８８】
バッファ１０５は、抽出部３００を介して、ノイズ推定部３０１とゲイン補正部３０２とへそれぞれ接続されている。変換特性算出部１０６とノイズ推定部３０１とは、ゲイン補正部３０２へそれぞれ接続されている。ゲイン補正部３０２は、ノイズ範囲設定部３０３，暗部無効画素判定部３０４，明部無効画素判定部３１０，高輝度域調整部３１４へそれぞれ接続されている。ノイズ範囲設定部３０３は、暗部無効画素判定部３０４へ接続されている。暗部無効画素判定部３０４は、バッファ３０５，暗部無効率算出部３０６，関数近似部３０７，高感度域調整部３０８を介して、露光量算出部３１５へ接続されている。閾値設定部３０９は、明部無効画素判定部３１０へ接続されている。明部無効画素判定部３１０は、バッファ３１１，明部無効率算出部３１２，関数近似部３１３，高輝度域調整部３１４を介して、露光量算出部３１５へ接続されている。露光量算出部３１５は、絞り１０１，ＣＣＤ１０２，増幅部１０３へそれぞれ接続されている。
【００８９】
また、制御部１１３は、抽出部３００，ノイズ推定部３０１，ゲイン補正部３０２，ノイズ範囲設定部３０３，暗部無効画素判定部３０４，暗部無効率算出部３０６，関数近似部３０７，高感度域調整部３０８，閾値設定部３０９，明部無効画素判定部３１０，明部無効率算出部３１２，関数近似部３１３，高輝度域調整部３１４，露光量算出部３１５と双方向に接続されていて、これらを制御するようになっている。
【００９０】
続いて、このような露光制御部１０７の作用について説明する。
【００９１】
制御部１１３は、外部Ｉ／Ｆ部１１４を介してプリ撮像モードになったと判定された場合に、露光量算出部３１５を制御して、絞り１０１を所定の絞り値に、ＣＣＤ１０２を所定の電子シャッタ速度に、増幅部１０３を設定されたＩＳＯ感度に対応する所定の増幅量に、それぞれ設定させる。
【００９２】
次に、制御部１１３は、上述したように合焦点検出部１０８による合焦処理が完了した後に、露光量算出部３１５を制御して、複数種類の異なる露光量を設定させる。本実施形態においては、上述したように、図２に示したような３種類の露光量による撮影を想定しているために、露光量算出部３１５が設定する露光量もこれら３種類の露光量となる。
【００９３】
具体的には、絞り１０１を所定の絞り値に、増幅部１０３を設定されたＩＳＯ感度に対応する所定の増幅量に、ＣＣＤ１０２の電子シャッタ速度を上述したように１／１５，１／２５０，１／４０００秒に、それぞれ設定することにより、３種類の露光量を実現することができる。
【００９４】
これら３種類の露光量によるプリ撮像が完了して、バッファ１０５に３種類の映像信号が転送された後に、抽出部３００は、制御部１１３の制御に基づき、バッファ１０５から図２に示したような第１露光量に対応する映像信号を、１画素単位で注目画素の信号として抽出し、ゲイン補正部３０２へ転送する。また、抽出部３００は、注目画素を包含する所定サイズの領域の抽出も同時に行い、この領域をノイズ推定部３０１へ転送する。
【００９５】
これ以降は、注目画素の画素値をＰmn（ｍ，ｎは、映像信号におけるｘ，ｙ座標）により表すことにする。
【００９６】
ノイズ推定部３０１は、特開２００５−１７５７１８号公報に開示されているように、制御部１１３の制御に基づき、抽出部３００から注目画素Ｐmn（以下、注目画素の画素値Ｐmnを、単に注目画素Ｐmnという。）を包含する所定サイズの領域の平均値ＡＶmnを算出し、この平均値ＡＶmnに基づき注目画素Ｐmnに関するノイズ量Ｎmnを画素単位で推定する。そして、ノイズ推定部３０１は、算出した平均値ＡＶmnおよびノイズ量Ｎmnをゲイン補正部３０２へ転送する。
【００９７】
ゲイン補正部３０２は、制御部１１３の制御に基づき、変換特性算出部１０６から図２に示したような第１露光量に対応する映像信号の変換特性Ｔmnを読み込む。
【００９８】
その後に、ゲイン補正部３０２は、次の数式３に示すように、ノイズ推定部３０１から転送されるノイズ量Ｎmnに変換特性算出部１０６から転送される変換特性Ｔmnを乗算することにより、階調変換処理がなされた後のノイズ量Ｎ’mnを算出する。  
［数３］
Ｎ’mn＝Ｔmn・Ｎmn
【００９９】
さらに、ゲイン補正部３０２は、次の数式４に示すように、抽出部３００から転送される注目画素Ｐmnに変換特性算出部１０６から転送される変換特性Ｔmnを乗算することにより、階調変換処理がなされた後の注目画素Ｐ’mnを算出する。  
［数４］
Ｐ’mn＝Ｔmn・Ｐmn
【０１００】
ゲイン補正部３０２は、上記階調変換処理がなされた後のノイズ量Ｎ’mnと上記平均値ＡＶmnとをノイズ範囲設定部３０３へ、階調変換処理がなされた後の映像信号Ｐ’mnを暗部無効画素判定部３０４と明部無効画素判定部３１０と高輝度域調整部３１４とへ、それぞれ転送する。
【０１０１】
ノイズ範囲設定部３０３は、制御部１１３の制御に基づき、ゲイン補正部３０２から転送されるノイズ量Ｎ’mnと平均値ＡＶmnとに基づき、ノイズに属する範囲として、次の数式５に示すような上限Ｕmnと下限Ｌmnとを算出する。  
［数５］
Ｕmn＝ＡＶmn＋Ｎ’mn／２
Ｌmn＝ＡＶmn−Ｎ’mn／２
【０１０２】
そして、ノイズ範囲設定部３０３は、算出した上限Ｕmnと下限Ｌmnとを、暗部無効画素判定部３０４へ転送する。
【０１０３】
暗部無効画素判定部３０４は、制御部１１３の制御に基づき、ゲイン補正部３０２から転送される注目画素Ｐ’mnと、ノイズ範囲設定部３０３から転送されるノイズに関する上限Ｕmnおよび下限Ｌmnと、を用いて、注目画素Ｐ’mnがノイズ範囲に含まれるか否かを判定する。ここに、注目画素Ｐ’mnがノイズ範囲に含まれると判定されるのは、次の数式６に示すような条件を満たす場合である。  
［数６］
Ｕmn≧Ｐ’mn≧Ｌmn
【０１０４】
一方、暗部無効画素判定部３０４は、注目画素Ｐ’mnが数式６に示すような条件を満たさない場合には、ノイズ範囲に含まれないと判定する。
【０１０５】
そして、暗部無効画素判定部３０４は、上記判定の結果を、ラベル情報としてバッファ３０５へ出力する。具体的な例としては、暗部無効画素判定部３０４は、ノイズに含まれる場合にはラベルとして１を、ノイズに含まれない場合はラベルとして０を、それぞれ出力する。
【０１０６】
また、明部無効画素判定部３１０は、制御部１１３の制御に基づき、ゲイン補正部３０２から転送される注目画素Ｐ’mnと、閾値設定部３０９からの閾値Ｔｈと、を用いて、注目画素Ｐ’mnが白飛びしている可能性が高いか否かを判定する。ここに、上記閾値Ｔｈは、カメラシステムが定める基準白色に基づき設定されていて、例えば、映像信号の階調レベルが１２ビット（ダイナミックレンジ：０〜４０９５）である場合には、３８００などの値が用いられる。
【０１０７】
すなわち、明部無効画素判定部３１０は、次の数式７の条件が満たされる場合には、注目画素Ｐ’mnが白飛びしていると判定し、満たされない場合には、白飛びしていないと判定するようになっている。  
［数７］
Ｐ’mn≧Ｔｈ
【０１０８】
そして、明部無効画素判定部３１０は、上記判定の結果を、ラベル情報としてバッファ３１１へ転送する。具体的な例としては、明部無効画素判定部３１０は、白飛びしている場合にはラベルとして１を、白飛びしていない場合にはラベルとして０を、それぞれ出力する。
【０１０９】
上記暗部無効画素判定部３０４における判定処理と明部無効画素判定部３１０における判定処理とは、図２に示したような第２露光量に対応する映像信号と第３露光量に対応する映像信号とに対してもそれぞれ同様に行われ、バッファ３０５とバッファ３１１とには、３種類の露光量に対応する映像信号のラベル情報が転送される。
【０１１０】
暗部無効率算出部３０６は、制御部１１３の制御に基づき、バッファ３０５から注目画素Ｐ’mnがノイズに含まれるか否かのラベル情報を読み込んで、映像信号全体に対するノイズに含まれる画素の比率を算出する。
【０１１１】
暗部無効率算出部３０６は、上記比率を、３種類の露光量に対応する映像信号毎に算出し、暗部無効率として関数近似部３０７へ転送する。
【０１１２】
関数近似部３０７は、制御部１１３の制御に基づき、暗部無効率算出部３０６からの３種類の暗部無効率と３種類の露光量（ＥＶ）とから、両者の関係を暗部無効率の２次関数式Ｒdとして次の数式８に示すように関数化する。  
［数８］
Ｒd＝αＥＶ2＋βＥＶ＋γ
ここに、α，β，γは定数項である。
【０１１３】
関数近似部３０７は、数式８に示したような関数式を、高感度域調整部３０８へ転送する。
【０１１４】
一方、明部無効率算出部３１２は、制御部１１３の制御に基づき、バッファ３１１から注目画素Ｐ’mnが白飛びしている否かのラベル情報を読み込んで、映像信号全体に対する白飛びしている画素の比率を算出する。
【０１１５】
明部無効率算出部３１２は、上記比率を、３種類の露光量に対応する映像信号毎に算出し、明部無効率として関数近似部３１３へ転送する。
【０１１６】
関数近似部３１３は、制御部１１３の制御に基づき、明部無効率算出部３１２からの３種類の明部無効率と３種類の露光量（ＥＶ）とから、両者の関係を明部無効率の２次関数式Ｒbとして次の数式９に示すように関数化する。  
［数９］
Ｒb＝δＥＶ2＋εＥＶ＋ζ
ここに、δ，ε，ζは定数項である。
【０１１７】
関数近似部３１３は、数式９に示したような関数式を、高輝度域調整部３１４へ転送する。
【０１１８】
図７は、数式８に示したような暗部無効率の２次関数式Ｒdと、数式９に示したような明部無効率の２次関数式Ｒbと、の一例を示している。
【０１１９】
露光量がアンダーである場合（ＥＶが小さい場合）には、暗部無効率が高く、明部無効率は低くなる。これに対して、露光量がオーバーである場合（ＥＶが大きい場合）には、暗部無効率が低く、明部無効率は高くなる。
【０１２０】
プリ撮像時に設定した３種類の露光量が、被写体のダイナミックレンジをカバーすることができる場合には、暗部無効率の２次関数式Ｒdと明部無効率の２次関数式Ｒbとは図７に示すような線図上で交差する（交点をもつ）ことになる。
【０１２１】
そして、この交点に対応する露光量が、暗部で無効となる画素数と明部で無効となる画素数とのバランスがとれた適正露光量ＥＶrとなる。
【０１２２】
ただし、暗部と明部とのバランスは、撮影時の状況によりそのウェイトが変化する。例えば、暗部のノイズによる影響は、高ＩＳＯ感度になるほど顕著となり、主観的に問題となる。また、明部の白飛びによる影響は、空などの高輝度域の面積が広くなるほど顕著となり、主観的に問題となる。
【０１２３】
これに対応するために、高感度域調整部３０８は上記ＩＳＯ感度に対する補正を、高輝度域調整部３１４は上記高輝度域の面積に対する補正を、それぞれ行うようになっている。
【０１２４】
高感度域調整部３０８は、関数近似部３０７からの暗部無効率の２次関数式Ｒdを、制御部１１３から転送される撮影時のＩＳＯ感度に基づき図８に示すように補正する。
【０１２５】
高感度域調整部３０８は、具体例として、この図８に示すように、ＩＳＯ感度１００を基準として、ＩＳＯ感度が２００，４００と高ＩＳＯ感度化するに従い、２次関数式Ｒdを所定量ずつ上方へシフトさせていく処理を行う。
【０１２６】
この補正により、明部無効率の２次関数式Ｒbとの交点、すなわち適正露光量は、露光量がオーバーになる方向へと変化していくために、暗部のノイズの影響を低減することができる。
【０１２７】
一方、高輝度域調整部３１４は、関数近似部３１３からの明部無効率の２次関数式Ｒbを、ゲイン補正部３０２からの階調変換処理がなされた後の映像信号に基づき補正する。高輝度域調整部３１４は、この補正を、ゲイン補正部３０２からの映像信号に含まれる高輝度域の面積に基づいて行うようになっている。ここに高輝度域とは、例えば信号の階調レベルが１２ビット（ダイナミックレンジ：０〜４０９５）である場合には、２８００などの所定の閾値以上の画素を意味している。
【０１２８】
図９は、このような高輝度域の面積比に基づく明部無効率の２次関数式Ｒbの補正の様子を示している。
【０１２９】
高輝度域調整部３１４は、具体例として、この図９に示すように、高輝度域の面積が映像信号中に含まれる比率が３０％である場合を基準として、比率が５０％，７０％と上昇するのに従って、２次関数式Ｒbを所定量ずつ上方へシフトさせていく処理を行う。
【０１３０】
この補正により、暗部無効率の２次関数式Ｒdとの交点、すなわち適正露光量は、露光量がアンダーになる方向へと変化していくために、明部の白飛びの影響を低減することができる。
【０１３１】
高感度域調整部３０８によって補正された暗部無効率の２次関数式Ｒdと、高輝度域調整部３１４によって補正された明部無効率の２次関数式Ｒbとは、露光量算出部３１５へ転送される。
【０１３２】
露光量算出部３１５は、制御部１１３の制御に基づき、高感度域調整部３０８からの２次関数式Ｒdと、高輝度域調整部３１４からの２次関数式Ｒbと、の交点の露光量ＥＶを算出し、算出した露光量ＥＶを適正露光量ＥＶrとする。
【０１３３】
制御部１１３は、外部Ｉ／Ｆ部１１４を介して本撮像モードになったと判定された場合に、露光量算出部３１５を制御して、上記適正露光量ＥＶrに基づき、絞り１０１の絞り値とＣＣＤ１０２の電子シャッタ速度とを設定させる。
【０１３４】
次に、図１０を参照して、露光制御部１０７内のノイズ推定部３０１の構成の一例について説明する。
【０１３５】
このノイズ推定部３０１は、ゲイン算出部４００と、標準値付与部４０１と、ルックアップテーブル部４０２と、平均算出部４０３と、を含んでいる。
【０１３６】
抽出部３００は、平均算出部４０３へ接続されている。平均算出部４０３，ゲイン算出部４００，標準値付与部４０１は、ルックアップテーブル部４０２へそれぞれ接続されている。ルックアップテーブル部４０２は、ゲイン補正部３０２へ接続されている。
【０１３７】
また、制御部１１３は、ゲイン算出部４００，標準値付与部４０１，ルックアップテーブル部４０２，平均算出部４０３と双方向に接続されていて、これらを制御するようになっている。
【０１３８】
続いて、このようなノイズ推定部３０１の作用について説明する。
【０１３９】
抽出部３００は、バッファ１０５から３種類の露光量に対応する映像信号の注目画素Ｐmnを包含する所定サイズの領域を順次読み込んで、平均算出部４０３へ転送する。
【０１４０】
平均算出部４０３は、制御部１１３の制御に基づき、注目画素Ｐmnを包含する所定サイズの領域の平均値ＡＶmnを算出し、算出した平均値ＡＶmnをルックアップテーブル部４０２へ転送する。
【０１４１】
一方、ゲイン算出部４００は、制御部１１３から転送されるＩＳＯ感度と露光条件に関する情報とに基づいて、増幅部１０３における増幅量を求め、ルックアップテーブル部４０２へ転送する。
【０１４２】
また、制御部１１３は、温度センサ１１５からＣＣＤ１０２の温度情報を取得して、取得した温度情報をルックアップテーブル部４０２へ転送する。
【０１４３】
ルックアップテーブル部４０２は、平均算出部４０３からの平均値ＡＶmnと、ゲイン算出部４００からのゲインの情報と、制御部１１３からの温度情報と、に基づいて、ノイズ量Ｎmnを出力する。
【０１４４】
ここに、ルックアップテーブル部４０２は、温度，信号値レベル，ゲインと、ノイズ量と、の間の関係を記録したルックアップテーブルであり、例えば特開２００５−１７５７１８号公報に記載されたような手段により構築されたものである。
【０１４５】
ルックアップテーブル部４０２は、算出したノイズ量Ｎmnと平均値ＡＶmnとを、ゲイン補正部３０２へ転送する。
【０１４６】
なお、標準値付与部４０１は、温度とゲインとの少なくとも一方のパラメータを取得することができない場合に、該パラメータに対する標準値を与える機能を受け持っている。
【０１４７】
このような実施形態１によれば、画面全体のダイナミックレンジを適切に取り込むことが可能となり、スペースバリアントな階調変換処理と組み合わせることにより、主要被写体のみならず背景部も含めた全体のダイナミックレンジを有効に活用した高品位な映像信号を得ることができる。
【０１４８】
また、階調変換曲線の算出を、映像信号を縮小した信号に対して行うようにしているために、処理を高速化することができる。
【０１４９】
さらに、階調変換曲線を補間演算により画素単位に変換しているために、領域間の連続性が維持された高品位な映像信号を得ることができる。
【０１５０】
そして、露光量の設定においては、階調変換処理およびノイズ特性を含めた暗部の無効画素の推移と、階調変換処理および基準白色を含めた明部の無効画素の推移と、を関数式によりモデル化しているために、高精度な露光量の制御と自動的な設定とが可能となり、カメラシステムの操作性を向上することができる。
【０１５１】
加えて、上記関数式をＩＳＯ感度情報や高輝度域の面積情報に基づいて補正するようにしているために、主観的に好ましい映像信号を得ることができる。
【０１５２】
なお、上述では、ノイズ量の推定を画素単位で行うようにしているが、このような構成に限定される必要はない。例えば、所定サイズのブロック領域単位でノイズ量を推定するように構成することも可能である。この場合には、ブロック領域の平均値を用いてルックアップテーブル部４０２からノイズ量を取得することになり、このノイズ量をブロック領域内の全画素に共通に使用する。このような構成を採用すれば、ノイズ量推定の処理を間引くことが可能となるために、処理を高速化することが可能となる。
【０１５３】
また、上述では、変換特性算出部１０６を、プリ撮像時の変換特性算出手段として用いるとともに、本撮像時の階調変換手段の一部としても兼用しているが、もちろんこれに限らず、プリ撮像時用と本撮像時用とにそれぞれ独立に設けるようにしても構わない。
【０１５４】
［実施形態２］
図１１から図１９は本発明の実施形態２を示したものであり、図１１はカメラシステムの構成を示すブロック図、図１２はベイヤー（Ｂａｙｅｒ）型原色フィルタの構成を示す図、図１３は色差線順次型補色フィルタの構成を示す図、図１４は露光制御部の構成を示すブロック図、図１５は露光量に対する明部の無効率および暗部の無効率と適正露光量とを示す線図、図１６は分割測光における１３のエリアａ1〜ａ13を示す図、図１７は撮影状況の推定と画質調整との関係を示す図表、図１８は露光量調整にスライダーバーを用いる外部Ｉ／Ｆ部の構成例を示す図、図１９は露光量調整にプッシュボタンを用いる外部Ｉ／Ｆ部の構成例を示す図である。
【０１５５】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１５６】
図１１を参照して、本実施形態のカメラシステムの構成について説明する。
【０１５７】
この図１１に示すカメラシステムは、上述した実施形態１の図１に示したカメラシステムを一部変更したものとなっている。すなわち、このカメラシステムは、図１に示したカメラシステムに、プレホワイトバランス部５０１と、第１のＹ／Ｃ分離手段であり第２のＹ／Ｃ分離手段たるＹ／Ｃ分離部５０３と、彩度強調部５０４と、Ｙ／Ｃ合成部５０５と、を追加し、ＣＣＤ１０２をカラー撮像素子たるカラーＣＣＤ５００に、露光制御部１０７を露光制御手段たる露光制御部５０２に、それぞれ置換した構成になっている。その他の基本的な構成は実施形態１と同様であって、同一の構成には同一の名称と符号を付している。
【０１５８】
以下では、主として異なる部分のみを説明する。
【０１５９】
レンズ系１００，絞り１０１，カラーＣＣＤ５００を介して撮影されたカラー映像信号は、増幅部１０３へ転送されるようになっている。
【０１６０】
バッファ１０５は、プレホワイトバランス部５０１とＹ／Ｃ分離部５０３と合焦点検出部１０８とへそれぞれ接続されている。プレホワイトバランス部５０１は、増幅部１０３へ接続されている。露光制御部５０２は、絞り１０１とカラーＣＣＤ５００と増幅部１０３とへそれぞれ接続されている。Ｙ／Ｃ分離部５０３は、変換特性算出部１０６と階調変換部１１０と露光制御部５０２と彩度強調部５０４とへそれぞれ接続されている。変換特性算出部１０６は、露光制御部５０２と階調変換部１１０とへそれぞれ接続されている。階調変換部１１０と彩度強調部５０４とは、Ｙ／Ｃ合成部５０５へそれぞれ接続されている。Ｙ／Ｃ合成部５０５は、信号処理部１１１へ接続されている。
【０１６１】
また、制御部１１３は、プレホワイトバランス部５０１，露光制御部５０２，Ｙ／Ｃ分離部５０３，彩度強調部５０４，Ｙ／Ｃ合成部５０５とも双方向に接続されていて、これらも制御するようになっている。
【０１６２】
さらに、カラーＣＣＤ５００の近傍に配置された温度センサ１１５からの信号は、制御部１１３へ接続されている。
【０１６３】
次に、この図１１に示したようなカメラシステムの作用について、映像信号の流れに沿って説明する。この実施形態２のカメラシステムの作用は、基本的に上述した実施形態１と同様であるために、主として異なる部分についてのみ説明する。
【０１６４】
ユーザが、外部Ｉ／Ｆ部１１４の２段式スイッチでなるシャッタボタンを半押しすると、このカメラシステムがプリ撮像モードに入る。
【０１６５】
すると、レンズ系１００および絞り１０１を介して結像される被写体像が、カラーＣＣＤ５００により光電変換され、アナログのカラー映像信号として出力される。
【０１６６】
このアナログのカラー映像信号は、増幅部１０３によってＩＳＯ感度や後述するようなホワイトバランスを考慮した増幅が行われた後に、Ａ／Ｄ変換部１０４によりデジタルのカラー映像信号に変換されて、バッファ１０５に記憶される。
【０１６７】
なお、本実施形態においては、カラーＣＣＤ５００として、ベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した単板撮像素子を想定している。また、撮像素子としては、ＣＣＤに限るものではなく、ＣＭＯＳやその他の撮像素子を用いても構わないことは、上述した実施形態１と同様である。
【０１６８】
ここで、図１２を参照して、ベイヤー（Ｂａｙｅｒ）型の色フィルタの構成について説明する。
【０１６９】
図１２に示すようなベイヤー（Ｂａｙｅｒ）型の原色フィルタは、２×２画素を基本単位として、この基本単位内の対角する画素位置に赤（Ｒ），青（Ｂ）フィルタが１つずつ、残りの対角する画素位置に緑（Ｇ）フィルタがそれぞれ、配置されたものとなっている。
【０１７０】
続いて、バッファ１０５内の映像信号は、合焦点検出部１０８と、プレホワイトバランス部５０１と、へそれぞれ転送される。
【０１７１】
これらの内のプレホワイトバランス部５０１は、バッファ１０５に記憶されている映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する（つまり、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部５０１は、算出した係数を増幅部１０３へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。
【０１７２】
そして、プレホワイトバランス部５０１によるホワイトバランス処理と、合焦点検出部１０８による合焦処理と、が完了した後に、露光制御部５０２は、制御部１１３の制御に基づき、複数種類の異なる露光量を設定する。そして、設定された各露光量に基づいて、複数枚のプリ撮像が行われる。ここで、本実施形態においては、２種類の露光量によるプリ撮像を想定している。
【０１７３】
これら複数種類の露光量により撮像された映像信号は、上述したようにして、バッファ１０５へ転送される。
【０１７４】
このバッファ１０５内に記憶されているカラー映像信号は、Ｙ／Ｃ分離部５０３へ転送される。
【０１７５】
Ｙ／Ｃ分離部５０３は、制御部１１３の制御に基づき、公知の補間処理によりＲ，Ｇ，Ｂの三板からなるカラー映像信号を生成する。さらに、Ｙ／Ｃ分離部５０３は、制御部１１３の制御に基づき、三板のカラー映像信号を、次の数式１０に示すように、輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ分離する。  
［数１０］
Ｙ ＝  ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝  ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
【０１７６】
そして、Ｙ／Ｃ分離部５０３は、このように算出した内の輝度信号Ｙを、変換特性算出部１０６と露光制御部５０２とへそれぞれ転送する。
【０１７７】
変換特性算出部１０６は、制御部１１３の制御に基づき、Ｙ／Ｃ分離部５０３から２種類の露光量に対する輝度信号Ｙを順次読み込んで、スペースバリアントな階調変換処理に使用される変換特性を算出する。変換特性算出部１０６は、このプリ撮像においては、算出した変換特性を露光制御部５０２へ転送する。
【０１７８】
露光制御部５０２は、制御部１１３の制御に基づき、Ｙ／Ｃ分離部５０３から２種類の露光量に対する輝度信号を、変換特性算出部１０６から２種類の露光量に対する変換特性を、順次読み込んで、本撮像における露光量を算出する。
【０１７９】
こうして焦点調節および簡易ホワイトバランス調節が行われ、さらに露光量が算出されたところで、ユーザが、外部Ｉ／Ｆ部１１４の２段式スイッチでなるシャッタボタンを全押しすると、このカメラシステムが本撮像モードに入る。
【０１８０】
すると、プリ撮像と同様にして、カラー映像信号がバッファ１０５へ転送される。この本撮像は、露光制御部５０２によって求められた露光量と、合焦点検出部１０８によって求められた合焦条件と、プレホワイトバランス部５０１によって求められたホワイトバランス係数と、に基づいて行われており、これらの撮影時の条件が制御部１１３へ転送される。
【０１８１】
Ｙ／Ｃ分離部５０３は、制御部１１３の制御に基づき、プリ撮像のときと同様に、本撮像のカラー映像信号に公知の補間処理を行って、さらに上述した数式１０に基づいて輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを算出する。
【０１８２】
Ｙ／Ｃ分離部５０３は、算出した内の、輝度信号を変換特性算出部１０６と階調変換部１１０とへ、色差信号を彩度強調部５０４へ、それぞれ転送する。
【０１８３】
変換特性算出部１０６は、制御部１１３の制御に基づき、Ｙ／Ｃ分離部５０３から本撮像の輝度信号を読み込んで、スペースバリアントな階調変換処理に使用される変換特性を算出する。変換特性算出部１０６は、この本撮像においては、算出した階調変換特性を階調変換部１１０へ転送する。
【０１８４】
階調変換部１１０は、制御部１１３の制御に基づき、Ｙ／Ｃ分離部５０３から本撮像の輝度信号Ｙを、変換特性算出部１０６から変換特性を、それぞれ読み込んで、輝度信号に対するスペースバリアントな階調変換処理を行う。そして、階調変換部１１０は、階調変換処理した輝度信号Ｙ’を、Ｙ／Ｃ合成部５０５へ転送する。
【０１８５】
彩度強調部５０４は、制御部１１３の制御に基づき、Ｙ／Ｃ分離部５０３から本撮像の色差信号Ｃｂ，Ｃｒを読み込んで、公知の彩度強調処理を行う。彩度強調部５０４は、彩度強調処理を行った色差信号Ｃｂ’，Ｃｒ’を、Ｙ／Ｃ合成部５０５へ転送する。
【０１８６】
Ｙ／Ｃ合成部５０５は、制御部１１３の制御に基づき、階調変換部１１０から階調変換処理がなされた輝度信号Ｙ’を、彩度強調部５０４から彩度強調処理がなされた色差信号Ｃｂ’，Ｃｒ’を、それぞれ読み込んで、次の数式１１に基づきＲＧＢ信号（Ｒ’Ｇ’Ｂ’信号）に変換し、信号処理部１１１へ転送する。  
［数１１］
Ｒ’＝Ｙ’＋１．４０２００Ｃｒ’
Ｇ’＝Ｙ’−０．３４４１４Ｃｂ’−０．７１４１４Ｃｒ’
Ｂ’＝Ｙ’＋１．７７２００Ｃｂ’
【０１８７】
信号処理部１１１は、Ｙ／Ｃ合成部５０５からのＲ’Ｇ’Ｂ’信号に対して、公知のエッジ強調処理や圧縮処理などを行い、処理後の信号を出力部１１２へ転送する。
【０１８８】
出力部１１２は、信号処理部１１１から出力されるカラー映像信号を、メモリカードなどの記録媒体へ記録して保存する。
【０１８９】
次に、図１４を参照して、露光制御部５０２の構成の一例について説明する。
【０１９０】
この図１４に示す露光制御部５０２は、上述した実施形態１の図６に示した露光制御部１０７を一部変更したものとなっている。すなわち、この露光制御部５０２は、図６の露光制御部１０７に、露光量算出手段，画質調整手段，撮影状況推定手段を兼ねた合焦位置推定部６００と、露光量算出手段，画質調整手段，撮影状況推定手段を兼ねた被写体分布推定部６０１と、露光量算出手段，画質調整手段，撮影状況推定手段を兼ねた夜景推定部６０２と、露光量算出手段，画質調整手段，撮影状況推定手段を兼ねた統合部６０３と、露光量算出手段，画質調整手段，撮影状況調整手段を兼ねた撮影状況調整部６０４と、露光量算出手段，画質調整手段，撮影状況推定手段を兼ねた測光評価部６０７と、を追加するとともに、高感度域調整部３０８を露光量算出手段，画質調整手段，撮影状況調整手段，手動調整手段を兼ねた暗部無効率調整部６０５に、高輝度域調整部３１４を露光量算出手段，画質調整手段，撮影状況調整手段，手動調整手段を兼ねた明部無効率調整部６０６に、それぞれ置換したものとなっている。露光制御部５０２におけるその他の基本的な構成は、図６の露光制御部１０７と同様であるために、同一の構成には同一の名称と符号を付して適宜説明を省略し、以下では主として異なる部分のみを説明する。
【０１９１】
抽出部３００は、ノイズ推定部３０１，ゲイン補正部３０２，測光評価部６０７へそれぞれ接続されている。ゲイン補正部３０２は、ノイズ範囲設定部３０３，暗部無効画素判定部３０４，明部無効画素判定部３１０へそれぞれ接続されている。合焦位置推定部６００，被写体分布推定部６０１，夜景推定部６０２は、統合部６０３へそれぞれ接続されている。統合部６０３は、撮影状況調整部６０４へ接続されている。撮影状況調整部６０４と関数近似部３０７とは、暗部無効率調整部６０５へそれぞれ接続されている。撮影状況調整部６０４と関数近似部３１３とは、明部無効率調整部６０６へそれぞれ接続されている。暗部無効率調整部６０５と明部無効率調整部６０６とは、露光量算出部３１５へそれぞれ接続されている。
【０１９２】
また、制御部１１３は、合焦位置推定部６００，被写体分布推定部６０１，夜景推定部６０２，統合部６０３，撮影状況調整部６０４，暗部無効率調整部６０５，明部無効率調整部６０６，測光評価部６０７とも双方向に接続されていて、これらも制御するようになっている。
【０１９３】
次に、このような露光制御部５０２の作用について説明する。
【０１９４】
制御部１１３は、外部Ｉ／Ｆ部１１４を介してプリ撮像モードになったと判定された場合に、上述した実施形態１の場合と同様に、露光量算出部３１５を制御して、絞り１０１を所定の絞り値に、カラーＣＣＤ５００を所定の電子シャッタ速度に、増幅部１０３を設定されたＩＳＯ感度に対応する所定の増幅量に、それぞれ設定させる。
【０１９５】
次に、制御部１１３は、上述したように合焦点検出部１０８による合焦処理とプレホワイトバランス部５０１によるホワイトバランス処理とが完了した後に、露光量算出部３１５を制御して、複数種類の異なる露光量を設定させる。本実施形態においては、上述したように、２種類の露光量による撮影を想定している。
【０１９６】
具体的には、絞り１０１を所定の絞り値に、増幅部１０３を設定されたＩＳＯ感度に対応する所定の増幅量に、カラーＣＣＤ５００の電子シャッタ速度を１／３０，１／２００秒に、それぞれ設定することにより、２種類の露光量を実現することができる。
【０１９７】
これら２種類の露光量により得られた映像信号に係る輝度信号に関して、関数近似部３０７は、暗部無効率算出部３０６からの２種類の暗部無効率と２種類の露光量（ＥＶ）とから、両者の関係を暗部無効率の１次関数式Ｒdとして、次の数式１２に示すように関数化する。  
［数１２］
Ｒd＝ηＥＶ＋θ
ここに、η，θは定数項である。
【０１９８】
関数近似部３０７は、数式１２に示したような関数式を、暗部無効率調整部６０５へ転送する。
【０１９９】
また、関数近似部３１３は、制御部１１３の制御に基づき、上述した２種類の露光量により得られた映像信号に係る輝度信号に関して、明部無効率算出部３１２からの２種類の明部無効率と２種類の露光量（ＥＶ）とから、両者の関係を明部無効率の１次関数式Ｒbとして、次の数式１３に示すように関数化する。  
［数１３］
Ｒb＝ιＥＶ＋κ
ここに、ι，κは定数項である。
【０２００】
関数近似部３１３は、数式１３に示したような関数式を、明部無効率調整部６０６へ転送する。
【０２０１】
図１５は、数式１２に示したような暗部無効率の１次関数式Ｒdと、数式１３に示したような明部無効率の１次関数式Ｒbと、の一例を示している。
【０２０２】
そして、上述と同様に、２つの１次関数の交点に対応する露光量が、暗部で無効となる画素数と明部で無効となる画素数とのバランスがとれた適正露光量ＥＶrとなる。
【０２０３】
ただし、上述と同様に、暗部と明部とのバランスは、撮影時の状況によりそのウェイトが変化する。そこで、本実施形態においては、撮影時の状況を推定することにより、暗部と明部とのバランスを自動的に補正するようになっている。
【０２０４】
すなわち、まず、合焦位置推定部６００は、制御部１１３を介して、合焦点検出部１０８の合焦距離の情報を取得する。そして、合焦位置推定部６００は、取得した合焦距離に基づいて、例えば、風景（５ｍ以上），ポートレート（１ｍ〜５ｍ），クローズアップ（１ｍ以下）の３種類に分類し、ＡＦ情報として統合部６０３へ転送する。
【０２０５】
一方、測光評価部６０７は、抽出部３００から本撮影時の輝度信号Ｙを読み込み、測光評価に関する情報を算出する。
【０２０６】
ここで、図１６を参照して、測光評価用の分割パターンの一例について説明する。
【０２０７】
この図１６に示す例においては、測光評価部６０７は、測光領域を１３個の領域に分割して、各領域毎の輝度値（ａi，ｉ＝１〜１３）と、画面全体の平均輝度値と、を算出するようになっている。そして、測光評価部６０７は、算出した領域毎の輝度値ａiと画面全体の平均輝度値とを制御部１１３へ転送する。
【０２０８】
被写体分布推定部６０１は、制御部１１３を介して測光評価に関する情報として輝度値ａiを取得する。その後、被写体分布推定部６０１は、各領域の輝度値ａiに基づき、以下のパラメータＳ1〜Ｓ3を、数式１４〜数式１６に示すようにそれぞれ算出する。  
［数１４］
Ｓ1＝｜ａ2−ａ3｜
［数１５］
Ｓ2＝ｍａｘ（｜ａ4−ａ6｜，｜ａ4−ａ7｜）
［数１６］
Ｓ3＝ｍａｘ（ａ10，ａ11）−（Σａi）／１３
ここに、数式１４および数式１５の右辺における記号｜｜は絶対値を、数式１５および数式１６の右辺における記号ｍａｘ（）は括弧内の数の内の最大値を返す関数を、それぞれ示している。また、数式１６の右辺におけるΣは全てのｉ（つまりｉ＝１〜１３）についての総和を表し、数式１６の右辺の第２項は全ての測光領域についての平均輝度レベル（画面全体の平均輝度レベル）を表している。
【０２０９】
こうして、パラメータＳ1は最中央部の左右の輝度差を、Ｓ2は内周部の上側中央と上側左右の何れかとの輝度差の大きい方を、Ｓ3は外周部の上側左右何れか大きい方と画面全体の平均輝度との差を、それぞれ意味するものとなっている。
【０２１０】
被写体分布推定部６０１は、このようにして算出した３つのパラメータＳ1，Ｓ2，Ｓ3を、ＡＥ情報として統合部６０３へ転送する。
【０２１１】
さらに、夜景推定部６０２は、制御部１１３を介して測光評価に関する情報を取得する。そして、夜景推定部６０２は、画面全体の平均輝度レベルが所定の閾値以下である場合には、夜景撮影であると推定し、それ以外の場合には夜景撮影でないと推定する。
【０２１２】
夜景推定部６０２は、このようにして推定した結果を、夜景撮影情報として統合部６０３へ転送する。
【０２１３】
統合部６０３は、合焦位置推定部６００からのＡＦ情報と、被写体分布推定部６０１からのＡＥ情報と、夜景推定部６０２からの夜景撮影情報と、に基づいて、撮影時の状況を図１７に示すように推定する。
【０２１４】
すなわち、統合部６０３は、まず、夜景推定部６０２からの情報が夜景撮影であると推定されたものである場合には、撮影時の状況を夜景として確定する。
【０２１５】
また、統合部６０３は、夜景推定部６０２からの情報が夜景撮影以外であると推定されたものである場合には、さらに、上記ＡＦ情報とＡＥ情報とを用いて、撮影時の状況を推定する。
【０２１６】
まず、ＡＦ情報が風景である場合には、さらに、ＡＥ情報のパラメータＳ3を第１の所定値Ｔｈ1と比較する。このパラメータＳ3は、画面上部と画面全体の平均値との差を求めるものであるために、風景撮影時に背景上部に空がない場合には値が小さくなり、空がある場合には値が大きくなる。従って、パラメータＳ3が第１の所定値Ｔｈ1よりも大きい場合には上部に空のある風景撮影、以下である場合には上部に空のないまたは空の少ない風景撮影であると推定する。
【０２１７】
次に、ＡＦ情報がポートレートである場合には、さらに、ＡＥ情報のパラメータＳ2を第２の所定値Ｔｈ2と比較する。このパラメータＳ2は、中心部上部とその左右との差の大きい方を選択するものであるために、ポートレート撮影時に複数の人物を撮影する場合には値が小さくなり、一人の人物を撮影する場合には値が大きくなる。従って、パラメータＳ2が第２の所定値Ｔｈ2よりも大きい場合には一人の人物撮影、以下である場合には複数人の人物撮影であると推定する。
【０２１８】
そして、ＡＦ情報がクローズアップである場合には、さらに、ＡＥ情報のパラメータＳ1を第３の所定値Ｔｈ3と比較する。このパラメータＳ1は、中心領域の左右の差を求めるものであるために、クローズアップ撮影時に単一の物体を撮影している場合には値が小さくなり、複数の物体を撮影している場合には値が大きくなる。従って、パラメータＳ1が第３の所定値Ｔｈ3よりも大きい場合には単一の物体のクローズアップ撮影、以下である場合には複数の物体のクローズアップ撮影であると推定する。
【０２１９】
統合部６０３は、このように推定した撮影状況を、撮影状況調整部６０４へ転送する。
【０２２０】
撮影状況調整部６０４は、統合部６０３からの撮影状況に基づき、関数近似部３０７からの暗部無効率の１次関数式Ｒdと、関数近似部３１３からの明部無効率の１次関数式Ｒbと、の一方を、図１７の最右欄に示すように補正する。
【０２２１】
例えば、上部に空のある風景撮影では、白飛びを重視して、明部無効率の１次関数式Ｒbを＋２０％上方へシフトさせる。この補正により、適正露光量はアンダーになる方向へと変化していくために、明部の白飛びの影響を低減することができる。
【０２２２】
また、夜景撮影では、ノイズを重視して、暗部無効率の１次関数式Ｒdを＋３０％上方へシフトさせる。この補正により、適正露光量はオーバーになる方向へと変化していくために、暗部のノイズの影響を低減することができる。
【０２２３】
このような実施形態２によれば、画面全体のダイナミックレンジを適切に取り込むことが可能となり、スペースバリアントな階調変換処理と組み合わせることにより、主要被写体のみならず背景部も含めた全体のダイナミックレンジを有効に活用した高品位な映像信号を得ることができる。
【０２２４】
また、スペースバリアントな階調変換処理をカラー映像信号に対して適用することができるために、従来のカメラシステムとの互換性が向上して、多様な撮像系に利用することが可能となる。
【０２２５】
さらに、撮影状況に適合して暗部と明部との何れを重視するかを調整するようにしているために、主観的に好ましい映像信号を得ることができる。
【０２２６】
そして、階調の調整が自動的に行われるために、カメラシステムの操作性を向上することができる。
【０２２７】
なお、上述では、カラー撮像素子としてベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した単板ＣＣＤを想定していたが、このような構成の撮像素子に限定される必要はない。例えば、図１３に示すような色差線順次型補色フィルタを前面に配置した単板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。
【０２２８】
ここに、図１３に示す色差線順次方式の補色フィルタは、２×２画素を基本単位として、シアン（Ｃｙ）およびイエロー（Ｙｅ）が２×２画素の同一ラインに、マゼンタ（Ｍｇ）および緑（Ｇ）が２×２画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼンタ（Ｍｇ），緑（Ｇ）の位置は、ライン毎に反転するように構成されている。
【０２２９】
さらに、上述では、撮影状況を自動的に推定して、暗部と明部との何れを重視するかを調整するようにしていたが、このような構成に限定されるものでもない。例えば、ユーザーが、マニュアルで、暗部ノイズと明部の白飛びとの何れをどのくらいの程度重要視するかを調整することができるように構成することも可能である。
【０２３０】
図１８を参照して、暗部と明部との重視をマニュアルにより調整することができるようにした外部Ｉ／Ｆ部１１４の具体的な構成の一例について説明する。
【０２３１】
カメラシステムにおける例えばカメラ本体の背面側には、図１８に示すように、液晶７００と、液晶オン／オフスイッチ７０１と、数値キー７０２と、選択キー７０３と、確定スイッチ７０４と、が外部Ｉ／Ｆ部１１４の一部として配置されている。
【０２３２】
液晶７００は、撮影しようとする被写体のモニタ表示や、撮影後の画像の確認表示、カメラシステムの各種設定に係るメニュー表示等を行うことが可能な表示デバイスである。
【０２３３】
液晶オン／オフスイッチ７０１は、この液晶７００の表示をオンとオフとに切り換えるための操作スイッチであり、押圧する毎にオンとオフとが切り替わるトグルスイッチとなっている。
【０２３４】
数値キー７０２は、カメラシステムに対して数値を入力するためのテンキースイッチである。
【０２３５】
選択キー７０３は、メニュー表示された各項目の移動や、後述するようなスライダーバーの移動を行うための十字方向に操作可能な操作部材である。
【０２３６】
確定スイッチ７０４は、数値キー７０２により入力された数値や、選択キー７０３により移動されあるいは選択された項目を、確定するためのスイッチである。
【０２３７】
次に、この図１８に示したような外部Ｉ／Ｆ部１１４の作用について説明する。
【０２３８】
ユーザーは、選択キー７０３と確定スイッチ７０４とを用いて、ＡＥの制御に関するメニューを表示することができるようになっている。
【０２３９】
そして、ユーザは、操作を行うことにより、図１８に示すような、暗部と明部との何れを重視するかを調整するためのスライダーバーを表示させる。
【０２４０】
続いて、ユーザーは、選択キー７０３の左，右を押圧する操作を行うことにより、スライダーバーを左または右へ移動させて、暗部と明部とのバランスが所望の状態になるように選択する。
【０２４１】
その後、ユーザーは、確定スイッチ７０４を押圧することにより、選択した暗部と明部とのバランスを確定する。
【０２４２】
このようにして外部Ｉ／Ｆ部１１４により設定されたバランス情報は、制御部１１３を介して露光制御部５０２へ転送され、該露光制御部５０２により補正が行われる。
【０２４３】
次に、図１９を参照して、暗部と明部との重視をマニュアルにより調整することができるようにした外部Ｉ／Ｆ部１１４の具体的な構成の他の例について説明する。
【０２４４】
この図１９に示す外部Ｉ／Ｆ部１１４は、ワンボタン形式により、暗部と明部との重視を簡単に調整することができるように構成したものである。
【０２４５】
この外部Ｉ／Ｆ部１１４は、図１８に示したような構成に、暗部を重視するための入力を行う暗部調整スイッチ７０５と、明部を重視するための入力を行うための明部調整スイッチ７０６と、を追加したものとなっている。
【０２４６】
次に、この図１９に示したような外部Ｉ／Ｆ部１１４の作用について説明する。
【０２４７】
ユーザーは、暗部を重視したい場合には暗部調整スイッチ７０５を１回押し、明部を重視したい場合は明部調整スイッチ７０６を１回押す。
【０２４８】
このようにして外部Ｉ／Ｆ部１１４から入力された情報は、制御部１１３を介して露光制御部５０２へ転送され、該露光制御部５０２により所定量だけの補正が行われる。
【０２４９】
なお、ここでは、暗部調整スイッチ７０５または明部調整スイッチ７０６を１回だけ押して簡易的に調整するようにしているが、何れかのスイッチを１回押すと液晶７００に図１８に示したようなスライダーバーが（例えば重畳表示により）表示され、暗部調整スイッチ７０５を１回押す毎にスライダーバーが暗部を重視する方向へ所定量だけ移動し、明部調整スイッチ７０６を１回押す毎にスライダーバーが明部を重視する方向へ所定量だけ移動するように構成しても良い。そして、確定は、確定スイッチ７０４を押圧して行うだけでなく、さらに、暗部調整スイッチ７０５または明部調整スイッチ７０６を操作後に所定時間が経過すると自動的に確定するようにしても構わない。また、確定スイッチ７０４の操作または所定時間の経過により確定がなされた場合には、図１８に示したようなスライダーバーが液晶７００の表示から自動的に消えるようにするとさらに良い。このような構成を採用すれば、操作が簡便でありながら、詳細な調整が可能となる利点がある。
【０２５０】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０２５１】
［付記］
以上詳述したような本発明の上記実施形態によれば、以下のごとき構成を得ることができる。
【０２５２】
［付記１］
撮像素子からの映像信号に対して階調変換処理と組み合わせた露光量制御を行うカメラシステムにおいて、
本撮像に先立ち異なる露光量で複数回のプリ撮像を行うように制御するプリ撮像制御手段と、
上記プリ撮像により得られた各映像信号に係る信号に対して階調変換処理に用いる変換特性を算出する変換特性算出手段と、
上記プリ撮像により得られた各映像信号に係る信号と、上記プリ撮像に用いた露光量と、上記変換特性と、に基づき、本撮像の露光量を決定する露光制御手段と、
上記露光量に基づき本撮像を行うように制御する本撮像制御手段と、
上記本撮像により得られた映像信号に係る信号に関して階調変換処理に用いる変換特性を算出し階調変換処理を行う階調変換手段と、
を具備したことを特徴とするカメラシステム。
【０２５３】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。プリ撮像制御手段は図１または図１１に示した制御部１１３が、変換特性算出手段は図１，図３または図１１に示した変換特性算出部１０６が、露光制御手段は図１，図６に示した露光制御部１０７または図１１，図１４に示した露光制御部５０２が、本撮像制御手段は図１または図１１に示した制御部１１３が、階調変換手段は図１または図１１に示した変換特性算出部１０６，階調変換部１１０が、それぞれ該当する。
【０２５４】
この発明の好ましい適用例は、制御部１１３によって本撮像に先立ち異なる露光量で複数回のプリ撮像を行うように制御し、変換特性算出部１０６によってプリ撮像により得られた各映像信号に係る信号に対して階調変換処理に用いる変換特性を算出し、露光制御部１０７または露光制御部５０２によってプリ撮像により得られた各映像信号に係る信号とプリ撮像に用いた露光量と変換特性とに基づき本撮像の露光量を決定し、制御部１１３によって本撮像の露光量に基づき本撮像を行うように制御し、変換特性算出部１０６，階調変換部１１０によって本撮像により得られた映像信号に関して階調変換処理を行うカメラシステムである。
【０２５５】
（作用）
本撮像に先立ち異なる露光量で複数回のプリ撮像を行い、プリ撮像により得られた各映像信号に係る信号に対して階調変換処理に用いる変換特性を算出し、各映像信号に係る信号と露光量と変換特性とに基づき本撮像の露光量を決定し、決定された露光量に基づき本撮像を行い、本撮像により得られた映像信号に係る信号に関して階調変換処理を行う。
【０２５６】
（効果）
プリ撮像を行って階調変換処理に用いる変換特性に基づき有効なダイナミックレンジを最大化する露光条件を求めるようにしているために、画面全体のダイナミックレンジを適切に取り込むことが可能となり、高品位な映像信号を得ることができる。
【０２５７】
［付記２］
上記撮像素子は、モノクロ撮像素子であって、
上記映像信号に係る信号は、上記映像信号自体であることを特徴とする付記１に記載の
カメラシステム。
【０２５８】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１が対応する。プリ撮像制御手段は図１に示した制御部１１３が、変換特性算出手段は図１，図３に示した変換特性算出部１０６が、露光制御手段は図１，図６に示した露光制御部１０７が、本撮像制御手段は図１に示した制御部１１３が、階調変換手段は図１に示した変換特性算出部１０６，階調変換部１１０が、それぞれ該当する。
【０２５９】
この発明の好ましい適用例は、制御部１１３によって本撮像に先立ち異なる露光量で複数回のプリ撮像を行うように制御し、変換特性算出部１０６によってプリ撮像により得られた各映像信号に対して階調変換処理に用いる変換特性を算出し、露光制御部１０７によってプリ撮像により得られた各映像信号とプリ撮像に用いた露光量と変換特性とに基づき本撮像の露光量を決定し、制御部１１３によって本撮像の露光量に基づき本撮像を行うように制御し、変換特性算出部１０６，階調変換部１１０によって本撮像により得られた映像信号に関して階調変換処理を行うカメラシステムである。
【０２６０】
（作用）
本撮像に先立ち異なる露光量で複数回のプリ撮像を行い、プリ撮像により得られた各映像信号に対して階調変換処理に用いる変換特性を算出し、各映像信号と露光量と変換特性とに基づき本撮像の露光量を決定し、決定された露光量に基づき本撮像を行い、本撮像により得られた映像信号に関して階調変換処理を行う。
【０２６１】
（効果）
プリ撮像を行って階調変換処理に用いる変換特性に基づき有効なダイナミックレンジを最大化する露光条件を求めるようにしているために、画面全体のダイナミックレンジを適切に取り込むことが可能となり、高品位な映像信号を得ることができる。
【０２６２】
［付記３］
上記撮像素子は、カラー撮像素子であって、
上記プリ撮像により得られた各映像信号から、輝度信号を上記映像信号に係る信号として抽出する第１のＹ／Ｃ分離手段と、
上記本撮像により得られた映像信号から、輝度信号を上記映像信号に係る信号として抽出する第２のＹ／Ｃ分離手段と、
をさらに具備したことを特徴とする付記１に記載のカメラシステム。
【０２６３】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１１〜図１９に示した実施形態２が対応する。プリ撮像制御手段は図１１に示した制御部１１３が、第１のＹ／Ｃ分離手段は図１１に示したＹ／Ｃ分離部５０３が、変換特性算出手段は図１１に示した変換特性算出部１０６が、露光制御手段は図１１，図１４に示した露光制御部５０２が、本撮像制御手段は図１１に示した制御部１１３が、第２のＹ／Ｃ分離手段は図１１に示したＹ／Ｃ分離部５０３が、階調変換手段は図１１に示した変換特性算出部１０６，階調変換部１１０が、それぞれ該当する。
【０２６４】
この発明の好ましい適用例は、制御部１１３によって本撮像に先立ち異なる露光量で複数回のプリ撮像を行うように制御し、Ｙ／Ｃ分離部５０３によってプリ撮像により得られた各映像信号から輝度信号を抽出し、変換特性算出部１０６によって各輝度信号に対して階調変換処理に用いる変換特性を算出し、露光制御部１０７によってプリ撮像により得られた各輝度信号とプリ撮像に用いた露光量と変換特性とに基づき本撮像の露光量を決定し、制御部１１３によって本撮像の露光量に基づき本撮像を行うように制御し、Ｙ／Ｃ分離部５０３によって本撮像により得られた映像信号から輝度信号を抽出し、変換特性算出部１０６，階調変換部１１０によって本撮像により得られた輝度信号に関して階調変換処理を行うカメラシステムである。
【０２６５】
（作用）
本撮像に先立ち異なる露光量で複数回のプリ撮像を行い、プリ撮像により得られた各映像信号に対して輝度信号を抽出し、階調変換処理に用いる変換特性を算出し、各輝度信号と露光量と変換特性とに基づき本撮像の露光量を決定し、決定された露光量に基づき本撮像を行い、本撮像により得られた映像信号に対して輝度信号を抽出し、抽出した輝度信号に関して階調変換処理を行う。
【０２６６】
（効果）
プリ撮像を行って階調変換処理に用いる変換特性に基づき有効なダイナミックレンジを最大化する露光条件を求めるようにしているために、画面全体のダイナミックレンジを適切に取り込むことが可能となり、高品位な映像信号を得ることができる。また、カラー映像信号に対して適用することができるために、従来のカメラシステムとの互換性が向上し、多様な撮像系に利用することができる。
【０２６７】
［付記４］
上記プリ撮像制御手段は、上記撮像素子のダイナミックレンジに基づき露光量の変化量を設定するものであることを特徴とする付記１に記載のカメラシステム。
【０２６８】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。露光量の変化量は図２に示される。
【０２６９】
この発明の好ましい適用例は、プリ撮像時の露光量の変化量を、図２に示したように撮像素子のダイナミックレンジに基づき設定するカメラシステムである。
【０２７０】
（作用）
プリ撮像時の露光量の変化量を、撮像素子のダイナミックレンジに基づき設定する。
【０２７１】
（効果）
プリ撮像時における信号間の重複が少なくなって、少ないプリ撮像枚数で広いダイナミックレンジをカバーすることができるために、露光量を決定するまでの処理速度を高速化することができる。
【０２７２】
［付記５］
上記変換特性算出手段は、
上記映像信号に係る信号を所定の縮小率で変換することにより縮小信号を求める縮小手段と、
上記縮小信号を複数の領域に分割する分割手段と、
上記領域毎に輝度分布情報に基づき階調変換曲線を算出する階調変換曲線算出手段と、
上記縮小信号における注目画素の信号値を複数の領域に各係る複数の階調変換曲線に基づきそれぞれ階調変換し、階調変換後の複数の信号値から補間演算を行うことにより該注目画素の階調変換処理後の信号値を算出する補間算出手段と、
上記縮小信号と上記階調変換処理後の信号値とに基づき階調変換処理に用いる変換特性を算出するゲイン算出手段と、
上記階調変換処理に用いる変換特性を所定の拡大率で変換する拡大手段と、
を有するものであることを特徴とする付記１に記載のカメラシステム。
【０２７３】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。縮小手段は図３に示した縮小部２００が、分割手段は図３に示した分割部２０２が、階調変換曲線算出手段は図３に示した階調変換曲線算出部２０３が、補間算出手段は図３に示した抽出部２０５，距離算出部２０６，補間算出部２０７が、ゲイン算出手段は図３に示したゲイン算出部２０９が、拡大手段は図３に示した拡大部２１１が、それぞれ該当する。
【０２７４】
この発明の好ましい適用例は、縮小部２００によって映像信号に係る信号を所定の縮小率で縮小し、分割部２０２によって縮小信号を複数の領域に分割し、階調変換曲線算出部２０３によって領域毎に輝度分布情報に基づき階調変換曲線を算出し、抽出部２０５，距離算出部２０６，補間算出部２０７によって縮小信号における注目画素の信号値を複数の領域に各係る複数の階調変換曲線に基づきそれぞれ階調変換するとともに階調変換後の複数の信号値から補間演算を行うことにより該注目画素の階調変換処理後の信号値を算出し、ゲイン算出部２０９によって縮小信号と階調変換処理後の信号値とに基づき階調変換処理に用いる変換特性を算出し、拡大部２１１によって階調変換処理に用いる変換特性を所定の拡大率で拡大するカメラシステムである。
【０２７５】
（作用）
縮小された信号を複数の領域に分割し、領域毎に階調変換曲線を算出し、縮小信号における注目画素の信号値を複数の領域に各係る複数の階調変換曲線に基づきそれぞれ階調変換し、階調変換後の複数の信号値から補間演算を行うことにより該注目画素の階調変換処理後の信号値を算出し、階調変換処理前後の信号値から階調変換処理による変換特性を算出し、これを拡大することにより本来の信号に対する変換特性を算出する。
【０２７６】
（効果）
プリ撮像により得られた映像信号に係る信号に対して本撮像と同一のスペースバリアントな階調変換特性を求めるようにしているために、本撮像の露光量設定の精度を向上することができる。また、階調変換特性の算出を、映像信号に係る信号を縮小した信号に対して行うようにしているために、処理を高速化することができる。
【０２７７】
［付記６］
上記露光制御手段は、
上記映像信号に係る信号と、上記プリ撮像に用いた露光量と、上記変換特性と、に基づき、暗部の無効画素数と露光量との間の関係を推定する暗部無効画素推定手段と、
上記映像信号に係る信号と、上記プリ撮像に用いた露光量と、上記変換特性と、に基づき、明部の無効画素数と露光量との間の関係を推定する明部無効画素推定手段と、
上記暗部の無効画素数と露光量との間の関係と、上記明部の無効画素数と露光量との間の関係と、に基づき、本撮像の露光量を算出する露光量算出手段と、
を有するものであることを特徴とする付記１に記載のカメラシステム。
【０２７８】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。暗部無効画素推定手段は図６，図１４に示した制御部１１３，ノイズ推定部３０１，ゲイン補正部３０２，ノイズ範囲設定部３０３，暗部無効画素判定部３０４，暗部無効率算出部３０６，関数近似部３０７が、明部無効画素推定手段は図６，図１４に示した制御部１１３，ゲイン補正部３０２，閾値設定部３０９，明部無効画素判定部３１０，明部無効率算出部３１２，関数近似部３１３が、露光量算出手段は図６に示した制御部１１３，高感度域調整部３０８，高輝度域調整部３１４，露光量算出部３１５および図１４に示した制御部１１３，合焦位置推定部６００，被写体分布推定部６０１，夜景推定部６０２，統合部６０３，撮影状況調整部６０４，暗部無効率調整部６０５，明部無効率調整部６０６，測光評価部６０７，露光量算出部３１５および図１，図１１，図１８，図１９に示した外部Ｉ／Ｆ部１１４が、それぞれ該当する。
【０２７９】
この発明の好ましい適用例は、制御部１１３，ノイズ推定部３０１，ゲイン補正部３０２，ノイズ範囲設定部３０３，暗部無効画素判定部３０４，暗部無効率算出部３０６，関数近似部３０７によって映像信号に係る信号とプリ撮像に用いた露光量と階調変換処理に用いる変換特性とに基づき暗部の無効画素数と露光量との間の関係を推定し、制御部１１３，ゲイン補正部３０２，閾値設定部３０９，明部無効画素判定部３１０，明部無効率算出部３１２，関数近似部３１３によって映像信号に係る信号とプリ撮像に用いた露光量と階調変換処理に用いる変換特性とに基づき明部の無効画素数と露光量との間の関係を推定し、制御部１１３，高感度域調整部３０８，高輝度域調整部３１４，露光量算出部３１５，合焦位置推定部６００，被写体分布推定部６０１，夜景推定部６０２，統合部６０３，撮影状況調整部６０４，暗部無効率調整部６０５，明部無効率調整部６０６，測光評価部６０７，外部Ｉ／Ｆ部１１４によって暗部の無効画素数と露光量との間の関係と明部の無効画素数と露光量との間の関係とに基づき本撮像の露光量を算出するカメラシステムである。
【０２８０】
（作用）
露光量に対する暗部の無効画素数と、露光量に対する明部の無効画素数と、をそれぞれ関数としてモデル化し、両者のモデルに基づき暗部および明部において無効となる画素数が最小化されるように本撮像の露光量を設定する。
【０２８１】
（効果）
明部および暗部において無効となる画素数を最小化するように露光量が設定されるために、画面全体のダイナミックレンジを有効に活用した主観的に好ましい映像信号を得ることができる。また、露光量の設定が自動的に行われるために、操作性の良いカメラシステムとなる。
【０２８２】
［付記７］
上記暗部無効画素推定手段は、
上記映像信号に係る信号から画素単位または所定領域単位にノイズ量を推定するノイズ推定手段と、
上記変換特性に基づき、上記ノイズ量と、上記映像信号に係る信号と、を補正するゲイン補正手段と、
上記補正されたノイズ量に基づきノイズ範囲を設定するノイズ範囲設定手段と、
上記補正された映像信号に係る信号が上記ノイズ範囲に属する割合を暗部無効率として算出する暗部無効率算出手段と、
上記プリ撮像に用いた露光量と上記暗部無効率との関係を所定の関数に近似する関数近似手段と、
を有するものであることを特徴とする付記６に記載のカメラシステム。
【０２８３】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。ノイズ量推定手段は図６，図１０，図１４に示した制御部１１３，ノイズ推定部３０１が、ゲイン補正手段は図６，図１４に示したゲイン補正部３０２が、ノイズ範囲設定手段は図６，図１４に示したノイズ範囲設定部３０３が、暗部無効率算出手段は図６，図１４に示した暗部無効画素判定部３０４，暗部無効率算出部３０６が、関数近似手段は図６，図１４に示した関数近似部３０７が、それぞれ該当する。
【０２８４】
この発明の好ましい適用例は、制御部１１３，ノイズ推定部３０１によって映像信号に係る信号のノイズ量を推定し、ゲイン補正部３０２によって階調変換処理に用いる変換特性に基づきノイズ量と映像信号に係る信号とを補正し、ノイズ範囲設定部３０３によって補正されたノイズ量に基づきノイズ範囲を設定し、暗部無効画素判定部３０４，暗部無効率算出部３０６によって補正された映像信号に係る信号がノイズ範囲に属する割合を暗部無効率として算出し、関数近似部３０７によってプリ撮像に用いた露光量と暗部無効率との間の関係を所定の関数に近似するカメラシステムである。
【０２８５】
（作用）
スペースバリアントな階調変換処理とノイズ特性とを考慮して、露光量に対する暗部の無効画素数を関数としてモデル化する。
【０２８６】
（効果）
階調変換処理とノイズ特性とを考慮して暗部の無効画素の推移をモデル化するようにしているために、本撮像の露光量の算出精度が向上して、高品位な映像信号を得ることができる。
【０２８７】
［付記８］
上記明部無効画素推定手段は、
上記映像信号に係る信号に対する所定の閾値を設定する閾値設定手段と、
上記変換特性に基づき上記映像信号に係る信号を補正するゲイン補正手段と、
上記補正された映像信号に係る信号が上記閾値を上回る割合を明部無効率として算出する明部無効率算出手段と、
上記プリ撮像に用いた露光量と上記明部無効率との関係を所定の関数に近似する関数近似手段と、
を有するものであることを特徴とする付記６に記載のカメラシステム。
【０２８８】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。閾値設定手段は図６，図１４に示した制御部１１３，閾値設定部３０９が、ゲイン補正手段は図６，図１４に示したゲイン補正部３０２が、明部無効率算出手段は図６，図１４に示した明部無効画素判定部３１０，明部無効率算出部３１２が、関数近似手段は図６，図１４に示した関数近似部３１３が、それぞれ該当する。
【０２８９】
この発明の好ましい適用例は、制御部１１３，閾値設定部３０９によって映像信号に係る信号に対する所定の閾値を設定し、ゲイン補正部３０２によって階調変換処理に用いる変換特性に基づき映像信号に係る信号を補正し、明部無効画素判定部３１０，明部無効率算出部３１２によって補正された映像信号に係る信号が上記閾値を上回る割合を明部無効率として算出し、関数近似部３１３によってプリ撮像に用いた露光量と明部無効率との間の関係を所定の関数に近似するカメラシステムである。
【０２９０】
（作用）
スペースバリアントな階調変換処理と基準白色に相当する閾値とを考慮して、露光量に対する明部の無効画素数を関数としてモデル化する。
【０２９１】
（効果）
階調変換処理と基準白色とを考慮して明部の無効画素の推移をモデル化するようにしているために、本撮像の露光量の算出精度が向上して、高品位な映像信号を得ることができる。
【０２９２】
［付記９］
上記関数近似手段は、上記所定の関数として１次関数式または２次関数式を用いるものであることを特徴とする付記７または付記８に記載のカメラシステム。
【０２９３】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。１次関数式は図１５に、２次関数式は図７に、それぞれ示されたようなものである。
【０２９４】
この発明の好ましい適用例は、図１５に示した１次関数式または図７に示した２次関数式を用いて、露光量に対する暗部の無効画素数、または露光量に対する明部の無効画素数をモデル化するカメラシステムである。
【０２９５】
（作用）
露光量に対する暗部の無効画素数または露光量に対する明部の無効画素数を、１次関数式または２次関数式を用いてモデル化する。
【０２９６】
（効果）
１次関数式を用いる場合には、プリ撮像に要する撮影枚数が少なくて済み、処理速度を高速化することができる。また、２次関数式を用いる場合には、モデルの精度を向上することができて、露光量の制御を高精度に行うことが可能となる。
【０２９７】
［付記１０］
上記露光量算出手段は、上記暗部の無効画素数と上記明部の無効画素数とが等しくなる露光量を探索する探索手段を有するものであることを特徴とする付記６に記載のカメラシステム。
【０２９８】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。探索手段は、図６，図１４に示した露光量算出部３１５が該当する。
【０２９９】
この発明の好ましい適用例は、露光量算出部３１５によって暗部の無効画素数と明部の無効画素数とが等しくなる露光量を探索するカメラシステムである。
【０３００】
（作用）
暗部の無効画素数と明部の無効画素数とが、均等となるように本撮像の露光量を設定する。
【０３０１】
（効果）
暗部と明部とのバランスが良い撮像を行うことが可能となり、画面全体のダイナミックレンジを適切に取り込むことができる。
【０３０２】
［付記１１］
上記露光量算出手段は、上記暗部の無効画素数と露光量との間の関係と、上記明部の無効画素数と露光量との間の関係と、の少なくとも一方に補正を行う画質調整手段をさらに有するものであることを特徴とする付記１０に記載のカメラシステム。
【０３０３】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。画質調整手段は、図６に示した制御部１１３，高感度域調整部３０８，高輝度域調整部３１４および図１４に示した制御部１１３，合焦位置推定部６００，被写体分布推定部６０１，夜景推定部６０２，統合部６０３，撮影状況調整部６０４，暗部無効率調整部６０５，明部無効率調整部６０６，測光評価部６０７および図１１，図１８，図１９に示した外部Ｉ／Ｆ部１１４が該当する。
【０３０４】
この発明の好ましい適用例は、制御部１１３，高感度域調整部３０８，高輝度域調整部３１４，合焦位置推定部６００，被写体分布推定部６０１，夜景推定部６０２，統合部６０３，撮影状況調整部６０４，暗部無効率調整部６０５，明部無効率調整部６０６，測光評価部６０７，外部Ｉ／Ｆ部１１４によって、暗部の無効画素数と露光量との間の関係と、明部の無効画素数と露光量との間の関係と、の少なくとも一方に補正を行うカメラシステムである。
【０３０５】
（作用）
露光量に対する暗部の無効画素数の関係と、露光量に対する明部の無効画素数の関係と、の少なくとも一方に補正を行う。
【０３０６】
（効果）
暗部と明部との何れを重視するかを調整することができるようになり、撮影に対する自由度が向上する。
【０３０７】
［付記１２］
上記画質調整手段は、上記プリ撮像に用いた露光量からのＩＳＯ感度情報に基づき、上記暗部の無効画素数と露光量との間の関係を補正する高感度域調整手段を有するものであることを特徴とする付記１１に記載のカメラシステム。
【０３０８】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１が対応する。高感度域調整手段は、図６に示した制御部１１３，高感度域調整部３０８が該当する。
【０３０９】
この発明の好ましい適用例は、制御部１１３，高感度域調整部３０８によってプリ撮像に用いたＩＳＯ感度情報に基づき暗部の無効画素数と露光量との間の関係を補正するカメラシステムである。
【０３１０】
（作用）
ＩＳＯ感度情報に基づき、暗部の無効画素数と露光量との間の関係を補正する。
【０３１１】
（効果）
ＩＳＯ感度情報に基づき暗部の無効画素数と露光量との間の関係を補正するようにしたために、高ＩＳＯ感度での撮影に伴うノイズの影響を低減することができて、主観的に好ましい映像信号を得ることができる。また、上記補正は自動的に行われるために、カメラシステムの操作性を向上することができる。
【０３１２】
［付記１３］
上記画質調整手段は、上記映像信号に係る信号からの高輝度域の面積情報に基づき、上記明部の無効画素数と露光量との間の関係を補正する高輝度域調整手段を有するものであることを特徴とする付記１１に記載のカメラシステム。
【０３１３】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１が対応する。高輝度域調整手段は図６に示した制御部１１３，高輝度域調整部３１４が該当する。
【０３１４】
この発明の好ましい適用例は、制御部１１３，高輝度域調整部３１４によって映像信号に係る信号からの高輝度域の面積情報に基づき明部の無効画素数と露光量との間の関係を補正するカメラシステムである。
【０３１５】
（作用）
高輝度域の面積情報に基づき、明部の無効画素数と露光量との間の関係を補正する。
【０３１６】
（効果）
高輝度域の面積情報に基づき明部の無効画素数と露光量との間の関係を補正するようにしたために、高輝度域での白飛びの影響を低減することができて、主観的に好ましい映像信号を得ることができる。また、上記補正は自動的に行われるために、カメラシステムの操作性を向上することができる。
【０３１７】
［付記１４］
上記画質調整手段は、
上記プリ撮像時の合焦情報と測光情報とに基づき撮影状況を推定する撮影状況推定手段と、
上記撮影状況に基づき、上記暗部の無効画素数と露光量との間の関係と、上記明部の無効画素数と露光量との間の関係と、の少なくとも一方を補正する撮影状況調整手段と、
を有するものであることを特徴とする付記１１に記載のカメラシステム。
【０３１８】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１１〜図１９に示した実施形態２が対応する。撮影状況推定手段は図１４に示した制御部１１３，合焦位置推定部６００，被写体分布推定部６０１，夜景推定部６０２，統合部６０３，測光評価部６０７が、撮影状況調整手段は図１４に示した撮影状況調整部６０４，暗部無効率調整部６０５，明部無効率調整部６０６が、それぞれ該当する。
【０３１９】
この発明の好ましい適用例は、制御部１１３，合焦位置推定部６００，被写体分布推定部６０１，夜景推定部６０２，統合部６０３，測光評価部６０７によってプリ撮像時の合焦情報と測光情報とに基づき撮影状況を推定し、撮影状況調整部６０４，暗部無効率調整部６０５，明部無効率調整部６０６によって、撮影状況に基づき、暗部の無効画素数と露光量との間の関係と、明部の無効画素数と露光量との間の関係と、の少なくとも一方を補正するカメラシステムである。
【０３２０】
（作用）
合焦情報と測光情報とに基づき統合的な撮影状況を推定して、推定した撮影状況から露光量に対する暗部の無効画素数の関係と露光量に対する明部の無効画素数の関係との少なくとも一方に補正を行う。
【０３２１】
（効果）
撮影状況に適合して暗部と明部との何れを重視するかを調整するようにしたために、画面全体のダイナミックレンジを有効に活用した高品位な映像信号を得ることができる。また、調整が自動的に行われるために、カメラシステムの操作性を向上することができる。
【０３２２】
［付記１５］
上記画質調整手段は、
ユーザーの調整値を入力するためのインタフェース手段と、
上記ユーザーの調整値に基づき、上記暗部の無効画素数と露光量との間の関係と、上記明部の無効画素数と露光量との間の関係と、の少なくとも一方に補正を行う手動調整手段と、
を有するものであることを特徴とする付記１１に記載のカメラシステム。
【０３２３】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１１〜図１９に示した実施形態２が対応する。インタフェース手段は図１１，図１８，図１９に示した外部Ｉ／Ｆ部１１４が、手動調整手段は図１４に示した制御部１１３，暗部無効率調整部６０５，明部無効率調整部６０６が、それぞれ該当する。
【０３２４】
この発明の好ましい適用例は、外部Ｉ／Ｆ部１１４によってユーザーの調整値を入力し、制御部１１３，暗部無効率調整部６０５，明部無効率調整部６０６によって調整値に基づき露光量に対する暗部の無効画素数の関係と露光量に対する明部の無効画素数の関係との少なくとも一方に補正を行うカメラシステムである。
【０３２５】
（作用）
ユーザーの調整値に基づき露光量に対する暗部の無効画素数の関係と露光量に対する明部の無効画素数の関係との少なくとも一方に補正を行う。
【０３２６】
（効果）
ユーザーの調整値に基づき暗部と明部との何れを重視するかを調整するようにしたために、ユーザーの意図を反映した主観的に好ましい映像信号を得ることができる。
【０３２７】
［付記１６］
上記階調変換手段は、
上記映像信号に係る信号を所定の縮小率で変換することにより縮小信号を求める縮小手段と、
上記縮小信号を複数の領域に分割する分割手段と、
上記領域毎に輝度分布情報に基づき階調変換曲線を算出する階調変換曲線算出手段と、
上記縮小信号における注目画素の信号値を複数の領域に各係る複数の階調変換曲線に基づきそれぞれ階調変換し、階調変換後の複数の信号値から補間演算を行うことにより該注目画素の階調変換処理後の信号値を算出する補間算出手段と、
上記縮小信号と上記階調変換処理後の信号値とに基づき階調変換処理に用いる変換特性を算出するゲイン算出手段と、
上記階調変換処理に用いる変換特性を所定の拡大率で変換する拡大手段と、
上記変換特性に基づき上記映像信号に係る信号に対して階調変換処理を行う変換処理手段と、
を有するものであることを特徴とする付記１に記載のカメラシステム。
【０３２８】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。縮小手段は図３に示した縮小部２００が、分割手段は図３に示した分割部２０２が、階調変換曲線算出手段は図３に示した階調変換曲線算出部２０３が、補間算出手段は図３に示した抽出部２０５，距離算出部２０６，補間算出部２０７が、拡大手段は図３に示した拡大部２１１が、ゲイン算出手段は図３に示したゲイン算出部２０９が、変換処理手段は図１，図１１に示した階調変換部１１０が、それぞれ該当する。
【０３２９】
この発明の好ましい適用例は、縮小部２００によって映像信号に係る信号を所定の縮小率で縮小し、分割部２０２によって縮小信号を複数の領域に分割し、階調変換曲線算出部２０３によって領域毎に輝度分布情報に基づき階調変換曲線を算出し、抽出部２０５，距離算出部２０６，補間算出部２０７によって縮小信号における注目画素の信号値を複数の領域に各係る複数の階調変換曲線に基づきそれぞれ階調変換するとともに階調変換後の複数の信号値から補間演算を行うことにより該注目画素の階調変換処理後の信号値を算出し、ゲイン算出部２０９によって縮小信号と階調変換処理後の信号値とに基づき階調変換処理に用いる変換特性を算出し、拡大部２１１によって階調変換処理に用いる変換特性を所定の拡大率で拡大し、階調変換部１１０によって映像信号に係る信号に対して階調変換処理を行うカメラシステムである。
【０３３０】
（作用）
信号を縮小して複数の領域に分割し、領域毎に階調変換曲線を算出し、領域単位の階調変換曲線を用いて階調変換を行いさらに補間演算を行うことにより階調変換処理後の信号値を画素単位で算出し、階調変換処理前後の信号値から階調変換処理による変換特性を算出し、これを拡大することにより本来の信号に対する変換特性を算出して、階調変換処理を行う。
【０３３１】
（効果）
スペースバリアントな階調変換処理が行われるために、主要被写体のみならず背景部も含めた全体のダイナミックレンジを有効に活用した高品位な映像信号を得ることができる。また、階調変換曲線の算出を、映像信号に係る信号を縮小した信号に対して行うようにしているために、処理を高速化することができる。さらに、階調変換曲線を補間演算により画素単位に変換しているために、領域間の連続性が維持された高品位な映像信号を得ることができる。
【０３３２】
［付記１７］
上記階調変換曲線算出手段は、上記輝度分布情報として累積ヒストグラムを用いるものであることを特徴とする付記５または付記１６に記載のカメラシステム。
【０３３３】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１〜図１０に示した実施形態１および図１１〜図１９に示した実施形態２が対応する。累積ヒストグラムは、図３に示した階調変換曲線算出部２０３によって算出される。
【０３３４】
この発明の好ましい適用例は、階調変換曲線算出部２０３において輝度分布情報として累積ヒストグラムを用いるカメラシステムである。
【０３３５】
（作用）
階調変換曲線の算出を、累積ヒストグラムを用いて行う。
【０３３６】
（効果）
累積ヒストグラムに基づき階調変換曲線を算出するために、暗部から明部におけるシーンの有するダイナミックレンジを有効に活用した高品位な映像信号を得ることができる。
【０３３７】
［付記１８］
上記カラー撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特徴とする付記３に記載のカメラシステム。
【０３３８】
（対応する発明の実施形態と好ましい適用例）
この発明に関する実施形態は、図１１〜図１９に示した実施形態２が対応する。ベイヤー型原色フィルタは図１２に、色差線順次型補色フィルタは図１３に、それぞれ示したようなものである。
【０３３９】
この発明の好ましい適用例は、図１２に示したベイヤー（Ｂａｙｅｒ）型原色フィルタ、または図１３に示した色差線順次型補色フィルタを単板撮像素子の前面に配置したカメラシステムである。
【０３４０】
（作用）
ベイヤー（Ｂａｙｅｒ）型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる。
【０３４１】
（効果）
従来の撮影部との親和性が高く、多くのカメラシステムへの適用が可能となる。
【産業上の利用可能性】
【０３４２】
本発明は、撮像素子からの映像信号に対して階調変換処理と組み合わせた露光量制御を行うカメラシステムに好適に利用することができる。
【図面の簡単な説明】
【０３４３】
【図１】本発明の実施形態１におけるカメラシステムの構成を示すブロック図。
【図２】上記実施形態１において、プリ撮像モードにおける３種類の露光量を示す線図。
【図３】上記実施形態１における変換特性算出部の構成を示すブロック図。
【図４】上記実施形態１において、変換特性算出部の分割部における縮小信号の領域への分割を示す図。
【図５】上記実施形態１において、注目画素と近傍４領域の各中心との間の距離ｄ1〜ｄ4を示す図。
【図６】上記実施形態１における露光制御部の構成を示すブロック図。
【図７】上記実施形態１において、露光量に対する明部の無効率および暗部の無効率と適正露光量とを示す線図。
【図８】上記実施形態１において、高感度域調整部によるＩＳＯ感度に基づく暗部無効率の補正の様子を示す線図。
【図９】上記実施形態１において、高輝度域調整部による高輝度域の面積比に基づく明部無効率の補正の様子を示す線図。
【図１０】上記実施形態１におけるノイズ推定部の構成を示すブロック図。
【図１１】本発明の実施形態２におけるカメラシステムの構成を示すブロック図。
【図１２】上記実施形態２におけるベイヤー（Ｂａｙｅｒ）型原色フィルタの構成を示す図。
【図１３】上記実施形態２における色差線順次型補色フィルタの構成を示す図。
【図１４】上記実施形態２における露光制御部の構成を示すブロック図。
【図１５】上記実施形態２において、露光量に対する明部の無効率および暗部の無効率と適正露光量とを示す線図。
【図１６】上記実施形態２において、分割測光における１３のエリアａ1〜ａ13を示す図。
【図１７】上記実施形態２において、撮影状況の推定と画質調整との関係を示す図表。
【図１８】上記実施形態２において、露光量調整にスライダーバーを用いる外部Ｉ／Ｆ部の構成例を示す図。
【図１９】上記実施形態２において、露光量調整にプッシュボタンを用いる外部Ｉ／Ｆ部の構成例を示す図。
【符号の説明】
【０３４４】
１００…レンズ系
１０１…絞り
１０２…ＣＣＤ（モノクロ撮像素子）
１０３…増幅部
１０４…Ａ／Ｄ変換部
１０５…バッファ
１０６…変換特性算出部（階調変換手段，変換特性算出手段）
１０７…露光制御部（露光制御手段）
１０８…合焦点検出部
１０９…ＡＦモータ
１１０…階調変換部（階調変換手段，変換処理手段）
１１１…信号処理部
１１２…出力部
１１３…制御部（本撮像制御手段，プリ撮像制御手段，暗部無効画素推定手段，明部無効画素推定手段，露光量算出手段，閾値設定手段，ノイズ量推定手段，画質調整手段，高輝度域調整手段，高感度域調整手段，撮影状況推定手段，手動調整手段）
１１４…外部Ｉ／Ｆ部（露光量算出手段，画質調整手段，インタフェース手段）
１１５…温度センサ
２００…縮小部（縮小手段）
２０１…バッファ
２０２…分割部（分割手段）
２０３…階調変換曲線算出部（階調変換曲線算出手段）
２０４…バッファ
２０５…抽出部（補間算出手段）
２０６…距離算出部（補間算出手段）
２０７…補間算出部（補間算出手段）
２０８…バッファ
２０９…ゲイン算出部（ゲイン算出手段）
２１０…バッファ
２１１…拡大部（拡大手段）
２１２…バッファ
３００…抽出部
３０１…ノイズ推定部（暗部無効画素推定手段，ノイズ量推定手段）
３０２…ゲイン補正部（暗部無効画素推定手段，明部無効画素推定手段，ゲイン補正手段）
３０３…ノイズ範囲設定部（暗部無効画素推定手段，ノイズ範囲設定手段）
３０４…暗部無効画素判定部（暗部無効画素推定手段，暗部無効率算出手段）
３０５…バッファ
３０６…暗部無効率算出部（暗部無効画素推定手段，暗部無効率算出手段）
３０７…関数近似部（暗部無効画素推定手段，関数近似手段）
３０８…高感度域調整部（露光量算出手段，高感度域調整手段，画質調整手段）
３０９…閾値設定部（明部無効画素推定手段，閾値設定手段）
３１０…明部無効画素判定部（明部無効画素推定手段，明部無効率算出手段）
３１１…バッファ
３１２…明部無効率算出部（明部無効画素推定手段，明部無効率算出手段）
３１３…関数近似部（明部無効画素推定手段，関数近似手段）
３１４…高輝度域調整部（露光量算出手段，高輝度域調整手段，画質調整手段）
３１５…露光量算出部（露光量算出手段，探索手段）
４００…ゲイン算出部
４０１…標準値付与部
４０２…ルックアップテーブル部
４０３…平均算出部
５００…カラーＣＣＤ（カラー撮像素子）
５０１…プレホワイトバランス部
５０２…露光制御部（露光制御手段）
５０３…Ｙ／Ｃ分離部（第１のＹ／Ｃ分離手段，第２のＹ／Ｃ分離手段）
５０４…彩度強調部
５０５…Ｙ／Ｃ合成部
６００…合焦位置推定部（露光量算出手段，画質調整手段，撮影状況推定手段）
６０１…被写体分布推定部（露光量算出手段，画質調整手段，撮影状況推定手段）
６０２…夜景推定部（露光量算出手段，画質調整手段，撮影状況推定手段）
６０３…統合部（露光量算出手段，画質調整手段，撮影状況推定手段）
６０４…撮影状況調整部（露光量算出手段，画質調整手段，撮影状況調整手段）
６０５…暗部無効率調整部（露光量算出手段，画質調整手段，撮影状況調整手段，手動調整手段）
６０６…明部無効率調整部（露光量算出手段，画質調整手段，撮影状況調整手段，手動調整手段）
６０７…測光評価部（露光量算出手段，画質調整手段，撮影状況推定手段）
７００…液晶
７０１…液晶オン／オフスイッチ
７０２…数値キー
７０３…選択キー
７０４…確定スイッチ
７０５…暗部調整スイッチ
７０６…明部調整スイッチ
【図１】
0004628937.tif 000004
【図２】
0004628937.tif 000005
【図３】
0004628937.tif 000006
【図４】
0004628937.tif 000007
【図５】
0004628937.tif 000008
【図６】
0004628937.tif 000009
【図７】
0004628937.tif 000010
【図８】
0004628937.tif 000011
【図９】
0004628937.tif 000012
【図１０】
0004628937.tif 000013
【図１１】
0004628937.tif 000014
【図１２】
0004628937.tif 000015
【図１３】
0004628937.tif 000016
【図１４】
0004628937.tif 000017
【図１５】
0004628937.tif 000018
【図１６】
0004628937.tif 000019
【図１７】
0004628937.tif 000020
【図１８】
0004628937.tif 000021
【図１９】
0004628937.tif 000022