(57)【要約】【課題】重要被写体の画質劣化を抑制しつつ、ダイナミックレンジを拡大することが可能な画像信号処理装置及び画像信号処理方法。【解決手段】撮像部１１は、基準読み出し電圧Ｖｍに基づき、異なる露光時間により撮像された第１、第２の画像信号ＳＨ，ＳＬ＋ＳＨを生成する。合成回路３１は、撮像部により生成された前記第１、第２の画像信号を合成する。検出部３３は、合成回路から出力される合成された画像信号より重要被写体の輝度情報を検出する。制御部３４は、検出部により検出された重要被写体の輝度情報に基づき、撮像部の前記基準読み出し電圧を制御し、第１のニーポイントを決定する。【選択図】図１
2010219624.tif 000002
【特許請求の範囲】
【請求項１】
基準読み出し電圧に基づき、異なる露光時間により撮像された第１、第２の画像信号を生成する撮像部と、
前記撮像部により生成された前記第１、第２の画像信号を合成する合成回路と、
前記合成回路から出力される合成された画像信号より重要被写体の輝度情報を検出する検出部と、
前記検出部により検出された重要被写体の輝度情報に基づき、前記撮像部の前記基準読み出し電圧を制御し、第１のニーポイントを決定する制御部と
を具備することを特徴とする画像信号処理装置。
【請求項２】
前記制御部は、前記基準読み出し電圧を制御し、前記第１のニーポイントを前記重要被写体の輝度情報より高く設定することを特徴とする請求項１記載の画像信号処理装置。
【請求項３】
前記制御部は、拡張ビット数を最大に設定して前記基準読み出し電圧値を決定し、前記輝度情報のヒスグラムの累積値から最適な拡張ビット数を決定することを特徴とする請求項１記載の画像信号処理装置。
【請求項４】
前記合成回路から出力される合成された画像信号のダイナミックレンジを圧縮する圧縮部をさらに具備し、
前記圧縮部は、前記検出部から出力される前記輝度情報に基づき第２のニーポイントを決定することを特徴とする請求項１記載の画像信号処理装置。
【請求項５】
基準読み出し電圧に基づき、異なる露光時間により撮像された第１、第２の画像信号を生成し、
前記生成された前記第１、第２の画像信号を合成し、
前記合成された画像信号より重要被写体の輝度情報を検出し、
前記検出された重要被写体の輝度情報に基づき、前記基準読み出し電圧を制御し、第１のニーポイントを決定することを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラ等に適用される画像信号処理装置に係わり、ダイナミックレンジの拡大機能を有する画像信号処理装置及び画像信号処理方法に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラに適用される例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのダイナミックレンジを拡大する装置が開発されている（例えば特許文献１、特許文献２参照）。
【０００３】
特許文献１には、露光設定モードでの撮像の際に、長時間露光画像信号と短時間露光画像信号から生成された合成画像について、輝度情報、例えば輝度ヒストグラム（頻度分布）を分析し、その結果から短時間露光画像信号の露光を制御する技術が開示されている。
【０００４】
一方、特許文献２には、フォトダイオードによる２重露光蓄積動作と分割読み出し、及び分割読み出し信号の線形合成が示されている。すなわち、１水平走査期間に露光時間の長い信号と短い信号を別々にアナログ／デジタル信号変換して出力し、この出力された２つのデジタル信号を加算することにより、画質の低下を抑制してダイナミックレンジを拡大する技術が開示されている。
【０００５】
ところで、上記従来の技術は、長時間露光画像信号と短時間露光画像信号の品質について考慮されていない。信号対雑音比（ＳＮＲ）及び量子化誤差は、長時間露光画像信号のほうが相対的に良く、例えば人間の顔のような重要被写体は長時間露光画像信号に含まれるように制御されることが望ましい。しかし、従来このような制御は行われていない。
【０００６】
また、画像信号を表示する表示装置のダイナミックレンジは比較的に狭い。このため、撮像部において、ダイナミックレンジが拡張された画像信号を表示装置にて表示する場合、ダイナミックレンジを狭める必要がある。そこで、ダイナミックレンジの圧縮技術、例えば高輝度ニー(knee)圧縮などを用いて、拡張されたダイナミックレンジが圧縮される。この場合においても、顔のような重要被写体の輝度レベルに基づき、ニーポイントが最適化されることが望ましいが、従来このような制御が考慮されていなかった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２７１３６８号公報
【特許文献２】特開２００７−１２４４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、重要被写体の画質劣化を抑制しつつ、ダイナミックレンジを拡大することが可能な画像信号処理装置及び画像信号処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００９】
本発明の画像信号処理装置の態様は、基準読み出し電圧に基づき、異なる露光時間により撮像された第１、第２の画像信号を生成する撮像部と、前記撮像部により生成された前記第１、第２の画像信号を合成する合成回路と、前記合成回路から出力される合成された画像信号より重要被写体の輝度情報を検出する検出部と、前記検出部により検出された重要被写体の輝度情報に基づき、前記撮像部の前記基準読み出し電圧を制御し、第１のニーポイントを決定する制御部とを具備することを特徴とする。
【００１０】
本発明の画像信号処理方法の態様は、基準読み出し電圧に基づき、異なる露光時間により撮像された第１、第２の画像信号を生成し、前記生成された前記第１、第２の画像信号を合成し、前記合成された画像信号より重要被写体の輝度情報を検出し、前記検出された重要被写体の輝度情報に基づき、前記基準読み出し電圧を制御し、第１のニーポイントを決定することを特徴とする。
【発明の効果】
【００１１】
本発明は、重要被写体の画質劣化を抑制しつつ、ダイナミックレンジを拡大することが可能な画像信号処理装置及び画像信号処理方法を提供する。
【図面の簡単な説明】
【００１２】
【図１】本発明の画像信号処理装置の第１の実施形態を示す構成図。
【図２】図１に示す装置の２重露光動作の一例を示す図。
【図３】図３（ａ）（ｂ）（ｃ）は、異なる照度における２重露光動作の例を示す図。
【図４】異なる照度における２重露光動作の例を示す図。
【図５】図１に示す線形合成回路の一例を示す図。
【図６】中間読み出し電圧とダイナミックレンジ拡張モードの関係を示す図。
【図７】第１の実施形態の動作を示すフローチャート。
【図８】第１の実施形態の変形例に係る動作を示すフローチャート。
【図９】図８に示す変形例の動作を説明するために示す図。
【図１０】本発明に係る画像信号処理装置の第２の実施形態を示す構成図。
【図１１】図１０の一部の構成を示す構成図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１４】
（第１の実施形態）
図１は、この発明の第１の実施形態に係る画像信号処理装置を示すものであり、例えば増幅型ＣＭＯＳイメージセンサの構成を示している。先ず、図１を参照して画像信号処理装置の概略構成について説明する。
【００１５】
センサコア部１１は、画素部１２、カラム型ノイズキャンセル回路としてのＣＤＳ１３、カラム型アナログデジタル変換器（ＡＤＣ）１４、ラッチ回路１５、２つのラインメモリ（ＭＳＴＳ，ＭＳＴＬ）２８−１，２８−２などを有している。
【００１６】
画素部１２は、レンズ１７を介して入射された光を光電変換し、入射光量に応じた電荷を生成する。この画素部１２には、複数のセル（画素）が図示せぬ半導体基板上にマトリクス状に配置されている。１つのセルＰＣは、４つのトランジスタ（Ｔａ，Ｔｂ，Ｔｃ，Ｔｄ）とフォトダイオード（ＰＤ）により構成されている。各セルにはパルス信号ＡＤＲＥＳｎ，ＲＥＳＥＴｎ，ＲＥＡＤｎがそれぞれ供給されている。各セルＰＣのトランジスタＴｂは、垂直信号線ＶＬＩＮに接続されている。ソースフォロワ回路用の負荷トランジスタＴＬＭの電流通路の一端は垂直信号線ＶＬＩＮに接続され、他端は接地されている。
【００１７】
上記画素部１２で発生した信号電荷に対応するアナログ信号は、ＣＤＳ１３を介してＡＤＣ１４に供給され、デジタル信号に変換されてラッチ回路１５にラッチされる。このラッチ回路１５にラッチされたデジタル信号は、ラインメモリ（ＭＳＴＳ，ＭＳＴＬ）２８−１，２８−２を介して順次転送される。ラインメモリ（ＭＳＴＳ，ＭＳＴＬ）２８−１，２８−２から読み出された例えば１０ビットのデジタル信号ＳＨ、ＳＬ＋ＳＨは、線形合成回路３１に供給され、この線形合成回路３１で合成処理される。
【００１８】
また、画素部１２に隣接して、パルスセレクタ回路（セレクタ）２２、信号読み出し用の垂直レジスタ（ＶＲレジスタ）２０、蓄積時間制御用の垂直レジスタ（ＥＳレジスタ、長い蓄積時間制御用レジスタ）２１、及び蓄積時間制御用の垂直レジスタ（ＷＤレジスタ、短い蓄積時間制御用レジスタ）２７が配置されている。
【００１９】
タイミングジェネレータ（ＴＧ）１９は、後述する制御部３４から供給される制御信号ＣＯＮＴやコマンドＣＭＤに応じてパルス信号Ｓ１〜Ｓ４，ＲＥＡＤ，ＲＥＳＥＴ／ＡＤＲＥＳ／ＲＥＡＤ，ＶＲＲ，ＥＳＲ，ＷＤＲを生成する。
【００２０】
パルス信号Ｓ１〜Ｓ４はＣＤＳ回路１３に供給される。パルス信号ＲＥＡＤ（後述する中間読み出し信号Ｖｍを含む）はパルス振幅制御回路２９に供給される。このパルス振幅制御回路２９によってパルス信号ＲＥＡＤの振幅が制御されることにより３値のパルス信号ＶＲＥＡＤが生成され、セレクタ２２に供給される。パルス信号ＲＥＳＥＴ／ＡＤＲＥＳ／ＲＥＡＤもパルスセレクタ回路２２に供給される。パルス信号ＶＲＲはＶＲレジスタ２０に供給され、パルス信号ＥＳＲはＥＳレジスタ２１に供給され、パルス信号ＷＤＲはＷＤレジスタ２７に供給される。レジスタ２０，２１，２７により画素部１２の垂直ラインが選択され、パルスセレクタ回路２２を介してパルス信号ＲＥＳＥＴ／ＡＤＲＥＳ／ＲＥＡＤ（図１ではＲＥＳＥＴｎ，ＡＤＲＥＳｎ，ＲＥＡＤｎで代表的に示す）が画素部１２へ供給される。
【００２１】
セルＰＣにおいて、行選択トランジスタＴａ、増幅トランジスタＴｂの電流通路は、電源ＶＤＤと垂直信号線ＶＬＩＮ間に直列接続される。トランジスタＴａのゲートにはパルス信号（アドレスパルス）ＡＤＲＥＳｎが供給される。リセットトランジスタＴｃの電流通路は、電源ＶＤＤとトランジスタＴｂのゲート（検出部ＦＤ）との間に接続され、そのゲートにパルス信号（リセットパルス）ＲＥＳＥＴｎが供給される。また、読み出しトランジスタＴｄの電流通路の一端は、検出部ＦＤに接続され、そのゲートにパルス信号（読み出しパルス）ＲＥＡＤｎが供給される。トランジスタＴｄの電流通路の他端にフォトダイオードＰＤのカソードが接続され、このフォトダイオードＰＤのアノードは接地されている。さらに、画素部１２には、バイアス発生回路（バイアス１）２３からバイアス電圧ＶＶＬが印加される。このバイアス電圧ＶＶＬは、負荷トランジスタＴＬＭのゲートに供給される。
【００２２】
ＶＲＥＦ発生回路２４は、メインクロック信号ＭＣＫに応答して、ＡＤ変換（ＡＤＣ）用の基準波形を生成する。ＶＲＥＦ発生回路２４は、１水平走査期間に２回のＡＤ変換を実行するため、三角波ＶＲＥＦＴＬとＶＲＥＦＴＳを発生してＡＤＣ１４に供給する。
【００２３】
上記構成において、例えば垂直信号線ＶＬＩＮのｎラインの信号を読み出すためには、パルス信号ＡＤＲＥＳｎを“Ｈ”レベルにすることで増幅用トランジスタＴｂと負荷用トランジスタＴＬＭを動作させる。フォトダイオードＰＤで光電変換して得た信号電荷を一定期間蓄積し、読み出しを行う前に検出部ＦＤにおける暗電流などのノイズ信号を除去するために、パルス信号ＲＥＳＥＴｎを“Ｈ”レベルに設定してトランジスタＴｃをオンして検出部ＦＤをＶＤＤ電圧＝２．８Ｖにセットする。これによって、垂直信号線ＶＬＩＮには基準となる検出部ＦＤに信号がない状態の電圧（リセットレベル）が出力される。この垂直信号線ＶＬＩＮのリセットレベルに対応した量の電荷がＣＤＳ１３を介してＡＤＣ１４に供給される。
【００２４】
次に、パルス信号（読み出しパルス）ＲＥＡＤｎを“Ｈ”レベルにして読み出しトランジスタＴｄをオンさせ、フォトダイオードＰＤで生成して蓄積した信号電荷を検出部ＦＤに読み出す。これによって、垂直信号線ＶＬＩＮには、検出部ＦＤの電圧（信号＋リセット）レベルが読み出される。この垂直信号線ＶＬＩＮの信号＋リセットレベルに対応する電荷は、ＣＤＳ１３により相関２重サンプリング（correlated double sampling）処理されてノイズがキャンセルされ、ＡＤＣ１４に供給される。ＣＤＳ１３とＡＤＣ１４の間でＡＧＣ（auto gain control）処理を行っても良い。
【００２５】
その後、ＶＲＥＦ発生回路２４から出力される基準波形のレベルを増加させる（三角波ＶＲＥＦを低レベルから高レベルに変化させる）ことで、ＡＤＣ１４によりアナログ信号がデジタル信号に変換される。ＡＤ変換動作は、ＶＲＥＦ発生回路２４から供給される三角波ＶＲＥＦＴＬとＶＲＥＦＴＳに応じて１水平走査期間に２回実行される。三角波は、例えば１０ビット（０〜１０２３レベル）である。三角波ＶＲＥＦＴＬとＶＲＥＦＴＳに応じたＡＤＣ１４の出力データはラッチ回路１５で順次保持され、ラインメモリＭＳＴＳ，ＭＳＴＬへ転送される。すなわち、図１に示すＷＤＲ（wide dynamic range）センサは２重露光蓄積動作がなされるため、長時間露光信号であるＳＬ信号（センサ出力はＳＬ＋ＳＨ信号）と、短時間露光信号であるＳＨ信号が検出され、タイミングを合わせるためにラインメモリＭＳＴＳ，ＭＳＴＬによって遅延調整がなされる。
【００２６】
ラインメモリＭＳＴＳに保持された信号ＳＨ、及びラインメモリＭＳＴＬに保持された信号ＳＬ＋ＳＨは、線形合成回路３１に供給される。この線形合成回路３１において合成された信号ＳＦは画像信号処理回路３２に供給される。画像信号処理回路３２は、入力信号に対して、一般的な各種信号処理、例えばシェーディング補正、ノイズ除去、デモザイキングなどが行われ、ベイヤー形式の信号ＳＦからＲＧＢ形式の信号ＳＦ_ＲＧＢに変換される。画像信号処理回路３２の一方の出力信号はＡＥ検波部３３に供給され、他方の出力信号はダイナミックレンジ圧縮部（Ｄレンジ圧縮部）３５、出力部３６に順次供給される。
【００２７】
前記ＡＥ検波部３３は、例えば周知のＹＵＶ変換部３３ａ及び顔検知部３３ｂを有している。信号ＳＦ_ＲＢＧは、ＹＵＶ変換部３３ａにより、輝度信号（Ｙ）と青色成分の色差信号（Ｕ）及び赤色成分の色差信号（Ｖ）に変換される。顔検知部３３ｂは、輝度信号に対して周知の顔検知処理を行ない、検知した重要被写体としての顔部分の輝度情報を出力する。この輝度情報は制御部３４に供給される。
【００２８】
制御部３４は、例えばマイクロプロセッサにより構成され、例えば自動露光（ＡＥ）制御機能、及び中間読み出し電圧（Ｖｍ）の決定機能を有している。すなわち、制御部３４は、供給された顔の輝度情報に基づき目標輝度値、例えば６５０ＬＳＢとなるように露光制御を行う。また、露光制御が収束し、顔部分の輝度値が決定した場合、顔部分が信号ＳＬとなるようなニーポイントを求め、このニーポイントからＶｍ値を決定する。制御部３４は、コマンドＣＭＤ、露光制御のための制御信号ＣＯＮＴ、及び決定されたＶｍ値を出力する。コマンドＣＭＤ、制御信号ＣＯＮＴ、及びＶｍ値はタイミングジェネレータ（ＴＧ）１９に供給される。タイミングジェネレータ１９は、コマンドＣＭＤ、制御信号ＣＯＮＴ、及びＶｍ値に基づき、前述した各種パルス信号を生成する。
【００２９】
図２は、上記画像信号処理装置の２重露光蓄積動作を示している。図２を参照して２重露光蓄積動作について概略的に説明する。この動作は、照度が高いハイライトの場合、照度が中間のミドルライトの場合、照度が低いローライトの場合に分けられる。ここでは、代表的なハイライトの場合の動作について説明する。
【００３０】
先ず、時刻ｔ０において、リセットパルスを解除して露光(光電変換)が開始される。ハイライトの場合、設定した中間読み出し電圧(Ｖｍ値)よりも大きい量の電荷がフォトダイオードに蓄積されている。このため、時刻ｔ１において、中間読み出し電圧(Ｖｍ値)よりも大きい量の電荷分が部分転送され、排出される。
【００３１】
続いて、時刻ｔ１からｔ２までの短時間（ＴＨ）に再度チャージ(短時間露光)される。この後、Ｖｍ値以上の電荷分についてのみ部分転送され、信号ＳＨとして検出される。
【００３２】
続いて、時刻ｔ３において、先に検出した信号ＳＨ分の電荷の上に時刻ｔ３において残った電荷が完全に転送されて上積みされ、信号ＳＬ＋ＳＨとして検出される。
【００３３】
つまり、センサ出力としては、短時間露光信号である信号ＳＨと、長時間露光信号と短時間露光信号の和である信号ＳＬ＋ＳＨの２つの信号が得られる。
【００３４】
図３（ａ）（ｂ）（ｃ）は、それぞれハイライト、ミドルライト、ローライトでの信号蓄積の様子を示している。図３を参照して、最終的に得たい長時間露光信号と短時間露光信号との線形合成画像信号である信号ＳＦの算出方法について説明する。
【００３５】
図３(ｃ)に示すように、ローライトの場合、露光時間内において、一度もＶｍ値以上に電荷が蓄積されない。このため、最終的な合成画像信号ＳＦは、信号ＳＬそのものとなる。
【００３６】
図３（ｂ）に示すように、ミドルライトの場合、時刻ｔ１において、蓄積電荷がＶｍ値以上とならなかったため、排出が行われない。したがって、合成画像信号ＳＦは、信号ＳＬ＋ＳＨとなる。
【００３７】
図３（ａ）に示すように、ハイライトの場合、信号ＳＦは信号ＳＨと形状的に合同である。このため、露光比率であるＧ＝ＴＬ／ＴＨ（ＴＬ：長時間、ＴＨ：短時間）を信号ＳＨに乗ずることで得ることができる。すなわち、信号ＳＦは次式（１）により求めることができる。
【００３８】
ＳＦ＝Ｇ×ＳＨ                        （１）
図４は、以上の結果から線形合成回路３１により得ることができる信号ＳＦを示している。すなわち、線形合成回路３１は、信号ＳＨに、短時間、長時間露光比率であるＧ＝ＴＬ／ＴＨを乗じた信号と、信号ＳＬ＋ＳＨとを比較し、大きい方の信号が信号ＳＦとして選択する。このため、線形合成回路３１は、１０ビットの信号ＳＨ、信号ＳＬ＋ＳＨから１２〜１４ビットにダイナミックレンジが拡大された信号ＳＦを出力する。
【００３９】
図５は、線形合成回路３１の一例を示している。信号ＳＨは、乗算器３１ａに供給されるとともに、加算器３１ｂの一方入力端に供給される。信号ＳＬ＋ＳＨは加算器３１ｂの他方入力端に供給される。乗算器３１ａは信号ＳＨをＧ倍する。このＧの値は制御部３４により後述する拡大率のモードＷＤＲ×４、×８、×１６に応じて設定される。乗算器３１ａの出力信号及び加算器３１ｂの出力信号はセレクタ３１ｄに供給されると共に比較器３１ｃに供給される。比較器３１ｃは、乗算器３１ａの出力信号と加算器３１ｂの出力信号を比較し、比較結果により、セレクタ３１ｄを制御する。セレクタ３１ｄは、比較器３１ｃの出力信号に応じて、乗算器３１ａ又は加算器３１ｂの出力信号のうち大きい方の信号を選択する。
【００４０】
図６は、中間読み出し電圧Ｖｍとダイナミックレンジの拡大モードの関係を示している。前述したように、信号ＳＬと信号ＳＬ＋ＳＨをそれぞれＡＤＣ１４によって１０ビットでサンプリングした場合、Ｖｍ値を５１２ＬＳＢになるように設定して、露光比率ＴＬ:ＴＨ＝８:１にすると、最大ビット数は１２ビットとなり、ダイナミックレンジが４倍（ＷＤＲ×４）に拡大する。同様の条件で、露光比率を１６:１、３２:１とすると、図６に示すように、最大ビット数は１３ビット、１４ビットとなり、ダイナミックレンジがそれぞれ８倍（ＷＤＲ×８）、１６倍（ＷＤＲ×１６）に拡大する。
【００４１】
図６に示すように、ダイナミックレンジの拡大率は、露光比率Ｇだけでなく、Ｖｍ値にも依存する。拡大率を所定のビット数に抑え、ダイナミックレンジを最大とするには、Ｖｍ＝５１２ＬＳＢに設定することが望ましいことが図６から分かる。図６に示すＶｎ値は、実際のセンサでのニーポイント(光量対データ量を示すグラフにおいて、折れ曲がりが発生するポイント)である。図４からも分かるように、ニーポイントはＶｍ値よりも若干高い値である。Ｖｍ値とニーポイントＶｎ値の関係は、次式（２）で示す通りであり、図６に示すＶｎ値は次式から求められている。
【００４２】
Ｖｍ＝Ｖｎ／（ＴＬ／(ＴＬ−ＴＨ)）              （２）
以降、これらの拡大率のモードをＷＤＲ×４モード(１２ビットモード)、ＷＤＲ×８モード(１３ビットモード)、ＷＤＲ×１６モード(１４ビットモード)として説明する。しかし、本実施形態はこれら拡大率に限定されるものでない。
【００４３】
さて、従来、Ｖｍ値を拡大率の観点から５１２ＬＳＢに設定することが望ましいとされていた。しかし、従来は、長時間露光信号(信号ＳＬ)と短時間露光時間信号(信号ＳＨ)の品質について考慮されていなかった。すなわち、ＳＮＲ、量子化誤差に関して、信号ＳＬのほうが信号ＳＨより相対的に品質が良く、例えば人間の顔のような重要被写体は、信号ＳＬに含まれるように制御されることが望ましい。図６に示すように、Ｖｍ＝５１２ＬＳＢの場合、Ｖｎ＝５８５ＬＳＢとなる。このため、仮に顔の輝度が６００ＬＳＢ付近となった場合、重要被写体としての顔は、信号ＳＨ側となり、顔の画質は劣化したものとなる。
【００４４】
一般的に、顔の輝度は６５０ＬＳＢ付近であることが、画像的に適しているという基準もある。本実施形態においては、このニーポイントを決定するＶｍ値を、自動露光（ＡＥ）制御における重要被写体の輝度情報からフィードバックして決定する。
【００４５】
図７は、本実施形態の動作の一例を示している。先ず、図１において、制御部３４は、例えば仮にＷＤＲ×４モード、及び仮のＶｍ値を設定し、センサコア部１１はＷＤＲ×４モード、及びＶｍ値に基づく画像信号を出力する。センサコア部１１から出力される信号ＳＨ、及び信号ＳＬ＋ＳＨは、線形合成回路３１に供給され合成される。線形合成回路３１から出力される信号ＳＦは、信号処理回路３２に供給される。信号処理回路３２は信号ＳＦに対して、例えばシェーディング補正、ノイズ除去、デモザイキングなどを施してベイヤー形式の信号ＳＦからＲＧＢ形式の信号ＳＦ_ＲＧＢに変換する。信号処理回路３２から出力された信号ＳＦ_ＲＧＢはＡＥ検波部３３に供給される。ＡＥ検波部３３では、信号ＳＦ_ＲＧＢがＹＵＶ変換され、輝度信号(Ｙ信号)が生成され、この輝度信号を用いて顔検出処理が行われる（Ｓ１１）。但し、検波の初期段階において、極端な高輝度又は極端な低輝度の場合、顔を検出することが困難である。このため、先ず、露光制御により輝度が適正化される。
【００４６】
すなわち、ＡＥ検波部３３から出力される検出した輝度情報は制御部３４に供給される。制御部３４では、供給された輝度情報に基づき、重要被写体としての顔の目標輝度値、例えば６５０ＬＳＢとなるように露光制御が行われる（ＳＴ１２、ＳＴ１３）。つまり、制御部３４は、ＡＥ検波部３３から供給される輝度情報に基づき制御信号を生成し、タイミングジェネレータ１９に供給する。タイミングジェネレータ１９は、制御信号に応じて各種パルス信号を生成し、センサコア部１１に供給する。センサコア部１１から読み出された信号ＳＨ、ＳＬ＋ＳＨは線形合成回路３１、画像信号処理回路３２、ＡＥ検波部３３、制御部３４のループで処理される。
【００４７】
このようにして、ＡＥ制御が行われた結果、重要被写体としての顔の輝度情報が例えば６００ＬＳＢに収束した場合、制御部３４において輝度情報が再度ＲＧＢに変換される。このＲＧＢが例えばＲ：Ｇ：Ｂ＝４００：６００：５００ＬＳＢである場合、これらの最大値Ｇ＝６００ＬＳＢが求められる。Ｇ＝６００ＬＳＢの場合、ニーポイントＶｎ値は図６より、Ｖｎ＝６５８となる。Ｖｎが決まると、式（２）を用いてＶｍ値が演算される。したがって、この場合、Ｖｍ＝５７６と決定される。すなわち、ＡＥ制御が収束して、顔部分の輝度値が決定すると、制御部３４は顔部分が信号ＳＬになるようなＶｍ値を決定する。このＶｍ値は、タイミングジェネレータ１９を経由してセンサコア部１１に供給される。
【００４８】
このようにＡＥ制御と連動してＶｍ値を決定することにより、顔のような重要被写体の画質を劣化させることなく、ダイナミックレンジが拡大した画像を撮影することができる。
【００４９】
尚、この場合、信号ＳＨの圧縮率がＶｍ＝５１２ＬＳＢ時よりも高くなる。このため、信号ＳＨ側の階調が相対的に失われる結果となる。これはニーポイントの位置によって、信号ＳＬ側を重点とするか、信号ＳＨ側を重点とするかのトレードオフの関係となっていることを示している。本実施形態は、このトレードオフの関係を、輝度情報から撮影シーン、すなわち、重要被写体としての顔に応じて最適化していると言い換えることができる。
【００５０】
また、同様に重要被写体としての顔がある程度暗くても、高輝度部分の階調特性を改善したい撮影シーン、例えば室内から窓の外の風景を撮りたいが、室内の人の顔も写したい場合、顔の目標輝度値を５２０ＬＳＢまで下げ、連動してＶｍ値を４４８ＬＳＢまで下げる。このようにすることにより、顔部分を信号ＳＬ側に含めて、信号ＳＨの圧縮率を緩和して階調特性を改善することができる。勿論、Ｖｍ値をさらに下げて、信号ＳＨ側の階調特性を改善させることも可能である。
【００５１】
上記一連の動作は、本実施形態が例えばデジタルカメラに適用された場合、シャッターが半押された状態やプレビュー動作中において実行される。
【００５２】
次いでシャッター動作後、重要被写体の画質を劣化することなく、ダイナミックレンジを拡大した画像の信号ＳＦ_ＲＧＢは、図１に示す画像信号処理回路３２において、例えばホワイトバランス、リニアマトリックス等の信号処理が施され、ダイナミックレンジ圧縮部３５に供給される。ダイナミックレンジ圧縮部３５は、上記のようにダイナミックレンジが拡大された信号ＳＦ_ＲＧＢを、図示せぬ表示装置に対応した狭いダイナミックレンジに圧縮する。すなわち、ダイナミックレンジ圧縮部３５は、信号ＳＦ_ＲＧＢを例えばｓＲＧＢ形式である８ビットに圧縮処理する。この圧縮処理は、例えば高輝度ニー圧縮回路や、Ｒｅｔｉｎｅｘ処理回路などを適用することができる。ここでは、量子化誤差も考慮してダイナミックレンジ圧縮部３５により信号ＳＦ_ＲＧＢを１０ビットに圧縮し、出力部３６に供給する。出力部３６は、圧縮された信号をガンマ処理し、１０ビットからｓＲＧＢ形式８ビットとして出力する。
【００５３】
上記第１の実施形態によれば、重要被写体としての顔の輝度情報に基づきＡＥ制御を行い、ＡＥ制御が収束した状態において、センサの中間読み出し電圧値Ｖｍ値を決定している。このため、センサ内のニーポイントをＶｍ値よりも高く設定することにより、重要被写体としての顔の画質を向上することができる。
【００５４】
尚、ＡＥ制御の精度が高く、より高精度に目標輝度レベルに収束する場合、第１の実施形態のように、フィードバック制御を行わなくてもよい。この場合、ＡＥ制御前に正確なＶｍ値が予想できるため、仮Ｖｍ値の代わりに予想Ｖｍ値を設定し、フィードフォワード制御することも可能である。
【００５５】
（変形例）
上記第１の実施形態において、Ｖｍ＝４４８ＬＳＢを適用した撮影シーンについて述べた。この場合、拡大率が４倍を超えるため、ＷＤＲ×１４ビットモードでは飽和する可能性がある。
【００５６】
そこで、図８を参照してＷＤＲモードを最適化する方法について説明する。
【００５７】
この場合、先ず、ＷＤＲモードが最大に設定される。ここでは、ＷＤＲ×１６モードを最大とし、Ｖｍ＝５１２ＬＳＢとして最大１４ビットまでダイナミックレンジが拡大される。ダイナミックレンジが拡大された画像から、第１の実施形態と同様にして、重要被写体としての顔の輝度情報に基づきＡＥ制御が行われる（Ｓ２１〜Ｓ２３）。
【００５８】
ＡＥ制御が収束した後、制御部３４において、ＷＤＲ×１６モードにおける最適Ｖｍ値が決定される（Ｓ２４）。
【００５９】
次に、図９（ａ）に示すように、Ｖｍ値が変更された後の輝度のヒストグラムが算出される（Ｓ２５）。この算出された輝度のヒストグラムが累積される（Ｓ２６）。この累積ヒストグラムと予め定められたＷＤＲモードの選定基準、例えば９５％からデータが一定値以上飽和しない最適なＷＤＲモードが決定される（Ｓ２７）。図９（ｂ）に示す例の場合、ＷＤＲ×４モードが最適なＷＤＲモードとして決定される。すなわち、ＳＮＲ、圧縮率（階調特性）の観点から、ＷＤＲモードは、ＷＤＲ×４モードのように、小さいほうが好ましい。このため、データが一定値以上飽和しなければ、小さいほうのＷＤＲモードが選択される。
【００６０】
上記変形例によれば、重要被写体としての顔の輝度情報に基づき、Ｖｍ値を決定した後、輝度情報の累積ヒストグラムからＷＤＲモードを最適化している。このため、高輝度側の白トビを防ぐ一方、高輝度側のコントラスト圧縮を最低限に抑えることができ、ワイドダイナミックレンジ画像において高画質化を達成することができる。
【００６１】
（第２の実施形態）
図１０、図１１は、第２の実施形態を示すものであり、第１の実施形態と同一部分には同一符号を付し異なる部分についてのみ説明する。
【００６２】
第１の実施形態において説明したように、ダイナミックレンジが拡張された画像も表示装置において表示される場合、ビットマップ（ＢＭＰ）ファイルなどの狭いレンジ、例えばｓＲＧＢ８ビットとされる。このため、ダイナミックレンジが拡大された画像を効果的に圧縮する必要がある。
【００６３】
第２の実施形態は、ダイナミックレンジの圧縮にも、重要被写体としての顔の輝度情報を利用する。すなわち、図１０に示すように、ＡＥ検波部３８から出力される顔の輝度情報は、ダイナミックレンジ圧縮部３５にも供給される。
【００６４】
図１１は、ダイナミックレンジ圧縮部３５の一例を示しているが、これに限定されるものではない。このダイナミックレンジ圧縮部３５は、ＲＧＢ信号をＹＵＶ信号に変換する変換部３５ａと、変換部３５ａから供給される輝度信号をニー圧縮する圧縮部３５ｂと、圧縮部３５ｂ及び乗算器３５ｃ、３５ｄから供給された輝度信号Ｙ及びＵ信号、Ｖ信号をＲＧＢ信号に変換する変換部３５ｅと、変換部３５ｅの出力信号を１０ビットに飽和処理する飽和処理部３５ｆとを有している。
【００６５】
データ圧縮もデータ拡張と同様にニーポイントの位置が重要である。このため、第２の実施形態は、ＡＥ検波部３８から出力される顔の輝度情報が、ニー圧縮する圧縮部３５ｂに供給され、圧縮部３５ｂは、重要被写体としての顔の輝度情報に基づきニーポイントを決定して輝度信号を圧縮する。したがって、顔の信号の線形性を確保しつつ、ハイライト部の階調悪化を最低限に圧縮することにより、高画質なダイナミックレンジ画像を生成することができる。
【００６６】
尚、第２の実施形態は、輝度信号の固定ニー圧縮について説明したが、Ｒｅｔｉｎｅｘ処理回路などの網膜の性質を利用したダイナミックレンジ圧縮に適用することも可能である。この場合、照明光の圧縮時にニー圧縮を行う。このため、このニー圧縮に第２の実施形態を適用し、照明光に基づきニーポイントを決定して照明光を圧縮することも可能である。
【００６７】
その他、本発明は、上記各実施形態に限定されるものではなく、発明の要旨を変えない範囲において種々変形実施可能なことは勿論である。
【符号の説明】
【００６８】
１１…センサコア部、３１…線形合成部、３３…ＡＥ検波部、３４…制御部、３５…ダイナミックレンジ圧縮部、Ｖｍ…中間読み出し電圧。
【図１】
2010219624.tif 000003
【図２】
2010219624.tif 000004
【図３】
2010219624.tif 000005
【図４】
2010219624.tif 000006
【図５】
2010219624.tif 000007
【図６】
2010219624.tif 000008
【図７】
2010219624.tif 000009
【図８】
2010219624.tif 000010
【図９】
2010219624.tif 000011
【図１０】
2010219624.tif 000012
【図１１】
2010219624.tif 000013