(57)【要約】【課題】簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行う。【解決手段】比較部は、入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、入力画像を撮像する際に光を蓄積する長時間蓄積および短時間蓄積のうちの、長時間蓄積を行ったときの飽和レベルを基準とした比較を行う。また、トーンカーブ生成部は、その比較結果に基づいて、入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成する。そして、輝度階調圧縮処理部は、トーンカーブ生成部により生成されたトーンカーブに従って、入力画像の輝度階調の圧縮処理を行う。本技術は、例えば、撮像装置に適用できる。【選択図】図１
2015139082.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、
前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、
前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部と
を備える画像処理装置。
【請求項２】
前記比較部は、前記入力画像の輝度信号の最大値と、前記所定の時間蓄積の飽和レベルを基準とした第１の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の最大値が前記第１の基準値以下である場合、前記入力画像の輝度信号の最大値を前記第１の基準値に置き換えて前記トーンカーブを生成する
請求項１に記載の画像処理装置。
【請求項３】
前記比較部は、前記入力画像の輝度信号の平均値と、前記所定の時間蓄積の飽和レベルを基準とした第２の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の平均値が前記第２の基準値以下である場合、直線的な前記トーンカーブを生成する
請求項１に記載の画像処理装置。
【請求項４】
前記比較部は、前記入力画像の輝度信号の最大値および平均値の差分と、前記所定の時間蓄積の飽和レベルを基準とした第３の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の最大値および平均値の差分が前記第３の基準値以下という結果である場合、直線的な前記トーンカーブを生成する
請求項１に記載の画像処理装置。
【請求項５】
前記比較部は、前記入力画像を撮像する際に光が長時間蓄積および短時間蓄積により蓄積されるとき、前記長時間蓄積を行ったときの飽和レベルを基準とした比較を行う
請求項１に記載の画像処理装置。
【請求項６】
前記比較部は、前記入力画像を撮像する際に光が長時間蓄積および短時間蓄積により蓄積されるとき、前記短時間蓄積を行ったときの飽和レベルを基準とした比較を行う
請求項１に記載の画像処理装置。
【請求項７】
前記比較部は、前記入力画像の輝度信号の平均値と、前記所定の時間蓄積の飽和レベルを基準とした第４の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の平均値が前記第４の基準値以下という結果である場合、前記入力画像の輝度信号の平均値以下の出力を抑え込むような前記トーンカーブを生成する
請求項１に記載の画像処理装置。
【請求項８】
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行い、
比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成し、
生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う
ステップを含む画像処理方法。
【請求項９】
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行い、
比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成し、
生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う
ステップを含む画像処理をコンピュータに実行させるプログラム。
【請求項１０】
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、
前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、
前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部と
を有する画像処理装置を備える電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、プログラム、および電子機器に関し、特に、簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行うことができるようにした画像処理装置、画像処理方法、プログラム、および電子機器に関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラやデジタルビデオカメラなどの撮像機能を備えた電子機器においては、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子が使用されている。
【０００３】
このような固体撮像素子を用いる撮像装置は、例えば、光学フィルムを用いる撮像装置と比較してダイナミックレンジが狭くなる。そのため、固体撮像素子を用いる撮像装置では、逆光時の撮像などにおいて、明るい部分の階調が失われる白とび（オーバーエクスポージャ）や、暗い部分の階調が失われる黒つぶれ（アンダーエクスポージャ）などが発生し易かった。これに対し、近年、固体撮像素子の進歩（低ノイズ化）やブラケット露光の合成技術により、光学フィルム写真に匹敵するような広ダイナミックレンジの輝度階調を有するRAW画像信号が得られるようになってきた。
【０００４】
一方、撮像された動画像や静止画像を保存するファイルフォーマット（例えば、JPEG（Joint Photographic Experts Group）、MPEG（Moving Picture Experts Group）など）、一般のCRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などの表示装置、または、プリンタでは、現在も表現可能な輝度階調には制限がある。つまり、表示装置で表現可能な画像のダイナミックレンジが狭い。従って、光学フィルム写真に匹敵するような広ダイナミックレンジの輝度階調を有する画像のRAW画像信号（以下、広ダイナミックレンジ画像と称する）を取得しても、それを保存したり表現したり（表示や印刷等）できなかった。なお、RAW画像信号は、いわゆるイメージャの出力信号である。
【０００５】
そこで、広ダイナミックレンジ画像の輝度階調を圧縮してダイナミックレンジを狭め、表示装置等の従来の機器が表現可能な画像（以下、狭ダイナミックレンジ画像と称する）に変換するダイナミックレンジ圧縮処理技術が必要となる。
【０００６】
例えば、特許文献１には、広ダイナミックレンジ画像の輝度のヒストグラムに基づいて階調再配分を適応的に決定する技術が開示されている。この技術では、広ダイナミックレンジ画像の階調を、ヒストグラム化するなどして、よりダイナミックレンジの狭い表示装置等の階調に合わせて再配分することで狭ダイナミックレンジの画像を生成する。また、ヒストグラムのピーク近辺の輝度値ができるだけ多くの階調に配分される階調変換曲線を決定することによって、重要な被写体のコントラスト低下を抑制する。この技術のように、入力画像の輝度に対して、出力の輝度が一律に定まる手法をグローバルな階調圧縮法と呼ぶ。
【０００７】
しかしながら、グローバルな階調圧縮法では、階調変換曲線の微分値が小さい輝度（階調レンジが削られる輝度）での輝度変化が小さくなり、小振幅のコントラスト感や被写体の立体感（以降、これらをまとめてテクスチャ感、またはディテール感と称することにする）が喪失した見栄えの悪い画像となる問題がある。
【０００８】
そこで、グローバルな階調圧縮法における見栄えの問題を解決した階調圧縮技術として、ローカルな階調圧縮法がある。これは、ダイナミックレンジの大きい画像は、一般には被写体自体のコントラストよりも、むしろコントラストの強い照明によって発生するという知見を用いて、照明の成分のみを階調圧縮してダイナミックレンジを狭める手法である。
この手法は、入力画像の輝度に対して出力の輝度が一律に定まるものではなく、輝度の入出力の関係が画素ごとに変化するため、グローバルな階調圧縮法に対してローカルな階調圧縮法と呼ばれている。
【０００９】
例えば、特許文献２には、ローカルな階調圧縮法を用いるものとして、画像を一旦グローバルな階調圧縮法により階調圧縮してから照明以外の成分を補償する技術が開示されている。この技術では、一般に照明の分布はエッジ部分以外では空間的になだらかであるという特性を使って、ローパスフィルタで画像を帯域分割し、低周波側の画像成分を照明成分として扱っている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平９−３３１４６９号公報
【特許文献２】特開２００４−２２１６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、上述したような従来の階調圧縮法では、階調変換曲線が適切に設定されない場合には、入力信号レベルの最大値が飽和レベルに張り付くことがあり、ダイナミックレンジが狭くなったような見栄えの悪い画像が出力される。このため、階調圧縮を行うことによって、画質が劣化することになっていた。
【００１２】
本開示は、このような状況に鑑みてなされたものであり、簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行うことができるようにするものである。
【課題を解決するための手段】
【００１３】
本開示の一側面の画像処理装置は、入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部とを備える。
【００１４】
本開示の一側面の画像処理方法またはプログラムは、入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行い、比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成し、生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行うステップを含む。
【００１５】
本開示の一側面の電子機器は、入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部とを有する画像処理装置を備える。
【００１６】
本開示の一側面においては、入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較が行われ、その比較結果に基づいて、入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブが生成され、生成されたトーンカーブに従って、入力画像の輝度階調の圧縮処理が行われる。
【発明の効果】
【００１７】
本開示の一側面によれば、簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】従来の輝度階調圧縮に用いられるトーンカーブを説明する図である。
【図３】長時間蓄積の飽和レベルを基準とした判定に基づいて生成されるトーンカーブを説明する図である。
【図４】従来の輝度階調圧縮に用いられるトーンカーブを説明する図である。
【図５】暗いシーンに用いる直線的なトーンカーブを説明する図である。
【図６】従来の輝度階調圧縮に用いられるトーンカーブを説明する図である。
【図７】一面が白いシーンに用いる直線的なトーンカーブを説明する図である。
【図８】判定部により行われる判定について説明するフローチャートである。
【図９】短時間蓄積の飽和レベルを基準とした判定に基づいて生成されるトーンカーブを説明する図である。
【図１０】従来の輝度階調圧縮に用いられるトーンカーブを説明する図である。
【図１１】暗いシーンに用いる直線的なトーンカーブを説明する図である。
【図１２】従来の輝度階調圧縮に用いられるトーンカーブを説明する図である。
【図１３】一面が白いシーンに用いる直線的なトーンカーブを説明する図である。
【図１４】判定部により行われる判定について説明するフローチャートである。
【図１５】さらに暗いシーンに用いるトーンカーブを説明する図である。
【図１６】撮像装置の構成例を示すブロック図である。
【図１７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２０】
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００２１】
図１に示すように、画像処理装置１１は、輝度信号生成部１２、対数変換部１３、グローバル輝度生成部１４、抽出部１５、判定部１６、トーンカーブ生成部１７、グローバル輝度階調圧縮処理部１８、輝度階調圧縮処理部１９、および逆対数変換部２０を備えて構成される。
【００２２】
輝度信号生成部１２には、例えば、図示しない固体撮像素子により撮像された画像が入力され、輝度信号生成部１２は、その画像（以下、入力画像と称する）を構成する画像信号から輝度信号Ｌを生成し、対数変換部１３および抽出部１５に供給する。
【００２３】
対数変換部１３は、輝度信号生成部１２から供給される入力画像の輝度信号Ｌに対して対数変換を行って対数輝度値logＬを求め、グローバル輝度生成部１４および輝度階調圧縮処理部１９に供給する。
【００２４】
グローバル輝度生成部１４は、所定の周波数以下の成分を遮断するローパスフィルタ（LPF：Low Pass Filter）であり、対数変換部１３から供給される対数輝度値logＬにローパスフィルタを施す。これにより、グローバル輝度生成部１４は、帯域分割された低周波側の画像成分をグローバル対数輝度値logＧＬとして生成し、グローバル対数輝度値logＧＬをグローバル輝度階調圧縮処理部１８および輝度階調圧縮処理部１９に供給する。
【００２５】
抽出部１５は、輝度信号生成部１２から供給される入力画像の輝度信号Ｌから、最小値min、最大値max、および平均値aveを抽出して、それらを判定部１６に供給する。
【００２６】
判定部１６は、入力画像の輝度信号Ｌの最大値maxおよび平均値aveのいずれかを用いた判定を行う。例えば、判定部１６は、入力画像の輝度信号Ｌの最大値maxおよび平均値aveのいずれか、または、それらの平均値と、複数の蓄積時間で入力画像を撮像する際に光を蓄積する長時間蓄積の飽和レベルまたは短時間蓄積の飽和レベルを基準とした値とを比較し、その比較結果に基づいた判定を行う。なお、判定部１６が行う判定については、図８および図１４のフローチャートを参照して後述する。
【００２７】
トーンカーブ生成部１７は、判定部１６において行われる判定に従って、入力画像の輝度信号を階調圧縮するのに用いるトーンカーブを生成し、グローバル輝度階調圧縮処理部１８に供給する。
【００２８】
グローバル輝度階調圧縮処理部１８は、トーンカーブ生成部１７により生成されたトーンカーブを用いて、グローバル輝度生成部１４から供給されるグローバル対数輝度値logＧＬを階調圧縮する。そして、グローバル輝度階調圧縮処理部１８は、階調圧縮を行った結果得られるグローバル対数輝度階調圧縮値logＧＬＴＣを、輝度階調圧縮処理部１９に供給する。
【００２９】
輝度階調圧縮処理部１９は、次の式（１）および式（２）に従い、外部から供給される増幅率Gainを用いて、グローバル輝度階調圧縮処理部１８から供給されるグローバル対数輝度階調圧縮値logＧＬＴＣを階調圧縮する輝度階調圧縮処理を行う。そして、グローバル輝度階調圧縮処理部１８は、輝度階調圧縮処理により求めた対数輝度階調圧縮値logＬＴＣを、逆対数変換部２０に供給する。
【００３０】
【数１】
2015139082.tif 000003
【００３１】
逆対数変換部２０は、輝度階調圧縮処理部１９から供給される対数輝度階調圧縮値logＬＴＣを逆対数変換して、輝度階調圧縮値ＬＴＣを出力する。
【００３２】
このように構成される画像処理装置１１では、判定部１６による判定結果に従ってトーンカーブを生成することにより、例えば、入力画像の輝度信号Ｌの最大値maxが飽和レベルに張り付くようなことを回避することができる。これにより、階調圧縮を行うことによりダイナミックレンジが狭くなったような見栄えの悪い画像となることが回避され、そのような画質の劣化が発生することを防止することができる。
【００３３】
ここで、図２を参照して、従来の輝度階調圧縮に用いられるトーンカーブ（階調変換曲線）について説明する。
【００３４】
一般的に、入力画像の輝度信号Ｌの最小値minに対応して出力ノイズ値cp_out_noiseが設定され、入力画像の輝度信号Ｌの最大値maxに対応して出力飽和値cp_out_satが設定される。さらに、入力画像の輝度信号Ｌの平均値aveに対応して出力中央値cp_out_midが設定されることにより、図２に示すような３点を通過するトーンカーブが生成され、このトーンカーブを用いて輝度階調圧縮が行われる。
【００３５】
例えば、出力ノイズ値cp_out_noiseを高く設定し過ぎるとノイズが強調されてしまうため、出力ノイズ値cp_out_noiseは、ノイズが目立たない程度の低いレベルに設定される。また、出力レンジを有効に使用するために、従来、出力飽和値cp_out_satが飽和レベルに設定される。そして、出力中央値cp_out_midを適切なレベルに設定することで、そのシーンに対してのトーンカーブを生成することができる。
【００３６】
ところで、出力飽和値cp_out_satが飽和レベルに設定されたトーンカーブでは、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタで収まってしまうシーンにおいて、入力画像の輝度信号Ｌの最大値maxが飽和レベルに張り付くことになる。このため、輝度階調圧縮が行われる結果、ダイナミックレンジが狭くなったように見栄えが悪い画像となる。例えば、図２には、入力画像の輝度信号Ｌの最小値minおよび最大値maxが長時間蓄積のみに収まっている例が示されている。
【００３７】
ここで、長時間蓄積とは、HDR（High Dynamic Range：ハイダイナミックレンジ）合成を行うために画像を撮像する際における長時間蓄積および短時間蓄積のうちの、長時間蓄積のことである。即ち、HDR合成では、画像を撮像する際に、長時間蓄積および短時間蓄積の異なる時間で光を蓄積し、長時間蓄積による画像と短時間蓄積による画像とを合成（ブレンド）することで、ダイナミックレンジの広い画像が合成される。そして、画像処理装置１１では、HDR合成する画像を撮像した際に、入力画像の輝度信号Ｌの最小値minおよび最大値maxが長時間蓄積のみに収まっている場合、長時間蓄積を基準とした判定が行われる。
【００３８】
そこで、図１の画像処理装置１１では、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタに収まるシーンにおいて、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することが可能な輝度階調圧縮が行われる。例えば、画像処理装置１１では、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の飽和レベルを基準とした一定レベル以下である場合、入力画像の輝度信号Ｌの最大値maxが、その一定レベルに置き換えられてトーンカーブが生成される。
【００３９】
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの最大値maxと、長時間蓄積の飽和レベルの0.8倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の飽和レベルの0.8倍以下であると判定した場合、入力画像の輝度信号Ｌの最大値maxが、長時間蓄積の0.8倍に置き換えられてトーンカーブが生成される。
【００４０】
図３には、入力画像の輝度信号Ｌの最大値maxが、長時間蓄積の0.8倍に置き換えられて生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、入力画像の輝度信号Ｌの最大値maxが飽和レベルに張り付いてしまうことを回避することができる。これにより、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタに収まるシーンであっても、輝度階調圧縮を行った結果、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
【００４１】
なお、判定部１６は、長時間蓄積の飽和レベルを基準とした判定を行えばよく、例えば、長時間蓄積の飽和レベルの一定の比率（上述の例では、0.8倍）を基準値とした判定、または、長時間蓄積の飽和レベルの一定のオフセットを基準値とした判定を行うことができる。また、判定部１６は、長時間蓄積の飽和レベルの一定の比率およびオフセットより求めた値を基準値とした判定を行ってもよい。
【００４２】
ところで、図４に示すように、従来の階調圧縮法では、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンでは、出力中央値cp_out_midの出力レベルを持ち上げるようなトーンカーブが階調圧縮に用いられていた。そのため、暗い入力信号を持ち上げるような階調圧縮が行われる結果、ノイズが目立つ画像となっていた。
【００４３】
そこで、図１の画像処理装置１１では、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンにおいて、ノイズが目立つ画像となることを回避することが可能な輝度階調圧縮が行われる。例えば、画像処理装置１１では、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルを基準とした一定レベル以下である場合、リニア出力を行うこと、即ち、直線的なトーンカーブが生成される。
【００４４】
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの平均値aveと、長時間蓄積の飽和レベルの0.2倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルの0.2倍以下であると判定した場合、直線的なトーンカーブが生成される。
【００４５】
図５には、入力画像の輝度信号Ｌの最大値maxと最小値minとを直線的に結ぶように生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、暗い入力信号を持ち上げるような階調圧縮が行われることを回避することができる。これにより、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンであっても、輝度階調圧縮を行った結果、ノイズが目立つ画像となることを回避することができる。
【００４６】
なお、判定部１６は、長時間蓄積の飽和レベルを基準とした判定を行えばよく、例えば、長時間蓄積の飽和レベルの一定の比率（上述の例では、0.2倍）を基準値とした判定、または、長時間蓄積の飽和レベルの一定のオフセットを基準値とした判定を行うことができる。また、判定部１６は、長時間蓄積の飽和レベルの一定の比率およびオフセットより求めた値を基準値とした判定を行ってもよい。
【００４７】
ところで、図６に示すように、従来の階調圧縮法では、白壁を撮像したような入力画像の一面が白いシーンでは、レンズシェーディングなど、例えば、白壁に発生している明暗のコントラストがトーンカーブにより強調されることになる。このため、輝度階調圧縮が行われる結果、レンズシェーディングなどが強調された画質の劣化した画像となる。
【００４８】
そこで、図１の画像処理装置１１では、白壁を撮像したような入力画像の一面が白いシーンにおいて、レンズシェーディングなどが強調された画質の劣化した画像となることを回避することが可能な輝度階調圧縮が行われる。例えば、画像処理装置１１では、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分が長時間蓄積の飽和レベルを基準とした一定レベル以下である場合、リニア出力を行うこと、即ち、直線的なトーンカーブが生成される。
【００４９】
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分と、長時間蓄積の飽和レベルの0.2倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分が長時間蓄積の飽和レベルの0.2倍以下であると判定した場合、直線的なトーンカーブが生成される。
【００５０】
図７には、入力画像の輝度信号Ｌの最大値maxを長時間蓄積の飽和レベルの一定の比率（例えば、0.8倍）に置き換えた値と最小値minとを直線的に結ぶように生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、レンズシェーディングなどが強調されるような階調圧縮が行われることを回避することができる。これにより、白壁を撮像したような入力画像の一面が白いシーンであっても、輝度階調圧縮を行った結果、画質の劣化した画像となることを回避することができる。
【００５１】
次に、図８のフローチャートを参照して、判定部１６により行われる判定について説明する。
【００５２】
例えば、抽出部１５から判定部１６に、入力画像の輝度信号Ｌの最小値min、入力画像の輝度信号Ｌの最大値max、および入力画像の輝度信号Ｌの平均値aveが供給されると処理が開始される。
【００５３】
ステップＳ１１において、判定部１６は、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルの0.2倍以下であるか否かを判定する。
【００５４】
ステップＳ１１において、判定部１６が、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルの0.2倍以下であると判定した場合、処理はステップＳ１２に進む。ステップＳ１２において、判定部１６は、リニア出力を行うことをトーンカーブ生成部１７に指示するとともに、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveをトーンカーブ生成部１７に供給する。これに従い、トーンカーブ生成部１７は、入力画像の輝度信号Ｌの最大値maxと最小値minとを直線的に結ぶような直線的なトーンカーブを生成し、グローバル輝度階調圧縮処理部１８に供給する。これにより、例えば、図５を参照して上述したように、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンに対して輝度階調圧縮を行っても、ノイズが目立つ画像となることを回避することができる。
【００５５】
一方、ステップＳ１１において、判定部１６が、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルの0.2倍以下でない（0.2倍より大である）と判定した場合、処理はステップＳ１３に進む。
【００５６】
ステップＳ１３において、判定部１６は、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が長時間蓄積の飽和レベルの0.2倍以下であるか否かを判定する。
【００５７】
ステップＳ１３において、判定部１６が、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が長時間蓄積の飽和レベルの0.2倍以下であると判定した場合、処理はステップＳ１２に進み、上述した処理が行われる。これにより、例えば、図７を参照して上述したように、白壁を撮像したような入力画像の一面が白いシーンに対して輝度階調圧縮を行っても、レンズシェーディングが強調されるような画質の劣化した画像となることを回避することができる。
【００５８】
一方、ステップＳ１３において、判定部１６が、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が長時間蓄積の飽和レベルの0.2倍以下でない（0.2倍より大である）と判定した場合、処理はステップＳ１４に進む。
【００５９】
ステップＳ１４において、判定部１６は、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の飽和レベルの0.8倍以下であるか否かを判定する。
【００６０】
ステップＳ１４において、判定部１６が、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の飽和レベルの0.8倍以下であると判定した場合、処理はステップＳ１５に進む。ステップＳ１５において、判定部１６は、入力画像の輝度信号Ｌの最大値maxを長時間蓄積の飽和レベルの0.8倍に置き換えてトーンカーブ生成部１７に供給するとともに、入力画像の輝度信号Ｌの最小値minおよび平均値aveをトーンカーブ生成部１７に供給する。
【００６１】
ステップＳ１５の処理後、処理はステップＳ１６に進み、トーンカーブ生成部１７はトーンカーブを生成する。この場合、トーンカーブ生成部１７は、図３を参照して上述したように、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の0.8倍に置き換えられたトーンカーブを生成する。これにより、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタ（長時間蓄積のみ）に収まるシーンに対して輝度階調圧縮を行っても、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
【００６２】
一方、ステップＳ１４において、判定部１６が、入力画像の輝度信号Ｌの最大値maxが長時間蓄積の飽和レベルの0.8倍以下ででない（0.8倍より大である）と判定した場合、処理はステップＳ１６に進む。この場合、判定部１６は、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveをトーンカーブ生成部１７に供給し、トーンカーブ生成部１７は、通常の処理と同様にトーンカーブを生成する。
【００６３】
ステップＳ１２またはＳ１６の処理後、処理はステップＳ１７に進む。ステップＳ１７において、グローバル輝度階調圧縮処理部１８は、トーンカーブ生成部１７により生成されたトーンカーブを用いて、グローバル輝度生成部１４から供給されるグローバル対数輝度値logＧＬの輝度階調の圧縮処理を行い、処理は終了される。
【００６４】
以上のように、画像処理装置１１は、長時間蓄積を基準にした判定に従って生成されたトーンカーブを用いることで、簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行うことができる。
【００６５】
即ち、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveが、すべて長時間蓄積のみに収まってしまって、実質的にワイドダイナミックレンジでないようなシーンに対して、入力画像の輝度信号Ｌの最大値maxを長時間蓄積の0.8倍に置き換えて生成されたトーンカーブを用いる。これにより、単独の時間で光を蓄積して撮像した画像（通常の画像）と同程度のダイナミックレンジをもつ画像として階調圧縮することができ、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
【００６６】
また、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの平均値aveが長時間蓄積の飽和レベルの0.2倍以下となるような、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンに対して、直線的なトーンカーブを用いる。これにより、暗い入力信号を持ち上げるような階調圧縮が行われることを回避することができ、暗いシーンでのノイズを抑制することができる。
【００６７】
さらに、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの最大値maxと輝度信号Ｌの平均値aveとの差分が長時間蓄積の飽和レベルの0.2倍以下であるような入力画像の一面が白いシーンに対して、直線的なトーンカーブを用いる。これにより、レンズシェーディングなどが強調されるような画質の劣化した画像となることを回避することができる。
【００６８】
ここで、上述した実施の形態では、入力画像の輝度信号Ｌの最小値minおよび最大値maxが長時間蓄積のみに収まってしまうシーンに対する処理について説明している。これに対し、例えば、入力画像の輝度信号Ｌの最小値minおよび最大値maxが短時間蓄積のみに収まっているシーンに対しても同様の処理を行うことができる。つまり、画像処理装置１１は、長時間蓄積を基準にした判定に従ってトーンカーブを生成するだけでなく、短時間蓄積を基準にした判定に従ってトーンカーブを生成してもよい。
【００６９】
即ち、例えば、入力画像の輝度信号Ｌの最小値minおよび最大値maxが短時間蓄積のみに収まってしまうシーンにおいても、入力画像の輝度信号Ｌの最大値maxが飽和レベルに張り付くことになる。このため、図２を参照して上述した例と同様に、輝度階調圧縮が行われる結果、ダイナミックレンジが狭くなったように見栄えが悪い画像となる。
【００７０】
そこで、図１の画像処理装置１１では、例えば、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の飽和レベルを基準とした一定レベル以下である場合、入力画像の輝度信号Ｌの最大値maxが、その一定レベルに置き換えられてトーンカーブが生成される。
【００７１】
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの最大値maxと、短時間蓄積の飽和レベルの0.9倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の飽和レベルの0.9倍以下であると判定した場合、入力画像の輝度信号Ｌの最大値maxが、短時間蓄積の0.9倍に置き換えられてトーンカーブが生成される。
【００７２】
図９には、入力画像の輝度信号Ｌの最大値maxが、短時間蓄積の0.9倍に置き換えられて生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、入力画像の輝度信号Ｌの最大値maxが飽和レベルに張り付いてしまうことを回避することができる。これにより、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタに収まるシーンであっても、輝度階調圧縮を行った結果、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
【００７３】
なお、判定部１６は、短時間蓄積の飽和レベルを基準とした判定を行えばよく、例えば、短時間蓄積の飽和レベルの一定の比率（上述の例では、0.9倍）を基準値とした判定、または、短時間蓄積の飽和レベルの一定のオフセットを基準値とした判定を行うことができる。また、判定部１６は、短時間蓄積の飽和レベルの一定の比率およびオフセットより求めた値を基準値とした判定を行ってもよい。
【００７４】
ところで、図１０に示すように、従来の階調圧縮法では、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンでは、出力中央値cp_out_midの出力レベルを持ち上げるようなトーンカーブが階調圧縮に用いられていた。そのため、暗い入力信号を持ち上げるような階調圧縮が行われる結果、ノイズが目立つ画像となっていた。
【００７５】
そこで、図１の画像処理装置１１では、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンにおいて、ノイズが目立つ画像となることを回避することが可能な輝度階調圧縮が行われる。例えば、画像処理装置１１では、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルを基準とした一定レベル以下である場合、リニア出力を行うこと、即ち、直線的なトーンカーブが生成される。
【００７６】
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの平均値aveと、短時間蓄積の飽和レベルの0.1倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルの0.1倍以下であると判定した場合、直線的なトーンカーブが生成される。
【００７７】
図１１には、入力画像の輝度信号Ｌの最大値maxと最小値minとを直線的に結ぶように生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、暗い入力信号を持ち上げるような階調圧縮が行われることを回避することができる。これにより、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンであっても、輝度階調圧縮を行った結果、ノイズが目立つ画像となることを回避することができる。
【００７８】
なお、判定部１６は、短時間蓄積の飽和レベルを基準とした判定を行えばよく、例えば、短時間蓄積の飽和レベルの一定の比率（上述の例では、0.1倍）を基準値とした判定、または、短時間蓄積の飽和レベルの一定のオフセットを基準値とした判定を行うことができる。また、判定部１６は、短時間蓄積の飽和レベルの一定の比率およびオフセットより求めた値を基準値とした判定を行ってもよい。
【００７９】
ところで、図１２に示すように、従来の階調圧縮法では、白壁を撮像したような入力画像の一面が白いシーンでは、レンズシェーディングなど、例えば、白壁に発生している明暗のコントラストがトーンカーブにより強調されることになる。このため、輝度階調圧縮が行われる結果、レンズシェーディングなどが強調された画質の劣化した画像となる。
【００８０】
そこで、図１の画像処理装置１１では、白壁を撮像したような入力画像の一面が白いシーンにおいて、レンズシェーディングなどが強調された画質の劣化した画像となることを回避することが可能な輝度階調圧縮が行われる。例えば、画像処理装置１１では、入力画像の輝度信号Ｌの最大値maxと輝度信号Ｌの平均値aveとの差分が短時間蓄積の飽和レベルを基準とした一定レベル以下である場合、リニア出力を行うこと、即ち、直線的なトーンカーブが生成される。
【００８１】
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分と、短時間蓄積の飽和レベルの0.1倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分が短時間蓄積の飽和レベルの0.1倍以下であると判定した場合、直線的なトーンカーブが生成される。
【００８２】
図１３には、入力画像の輝度信号Ｌの最大値maxを短時間蓄積の飽和レベルの一定の比率（例えば、0.9倍）に置き換えた値と最小値minとを直線的に結ぶように生成されたトーンカーブが示されている。そして、そのトーンカーブを用いてグローバル輝度階調圧縮処理部１８が輝度階調圧縮を行うことで、レンズシェーディングなどが強調されるような階調圧縮が行われることを回避することができる。これにより、白壁を撮像したような入力画像の一面が白いシーンであっても、輝度階調圧縮を行った結果、画質の劣化した画像となることを回避することができる。
【００８３】
次に、図１４のフローチャートを参照して、判定部１６により行われる判定について説明する。
【００８４】
例えば、抽出部１５から判定部１６に、入力画像の輝度信号Ｌの最小値min、入力画像の輝度信号Ｌの最大値max、および入力画像の輝度信号Ｌの平均値aveが供給されると処理が開始される。
【００８５】
ステップＳ２１において、判定部１６は、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルの0.1倍以下であるか否かを判定する。
【００８６】
ステップＳ２１において、判定部１６が、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルの0.1倍以下であると判定した場合、処理はステップＳ２２に進む。ステップＳ２２において、判定部１６は、リニア出力を行うことトーンカーブ生成部１７に指示するとともに、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveをトーンカーブ生成部１７に供給する。これに従い、トーンカーブ生成部１７は、入力画像の輝度信号Ｌの最大値maxと最小値minとを直線的に結ぶような直線的なトーンカーブを生成し、グローバル輝度階調圧縮処理部１８に供給する。これにより、例えば、図９を参照して上述したように、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンに対して輝度階調圧縮を行っても、ノイズが目立つ画像となることを回避することができる。
【００８７】
一方、ステップＳ２１において、判定部１６が、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルの0.1倍以下でない（0.1倍より大である）と判定した場合、処理はステップＳ２３に進む。
【００８８】
ステップＳ２３において、判定部１６は、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が短時間蓄積の飽和レベルの0.1倍以下であるか否かを判定する。
【００８９】
ステップＳ２３において、判定部１６が、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が短時間蓄積の飽和レベルの0.1倍以下であると判定した場合、処理はステップＳ２２に進み、上述した処理が行われる。これにより、例えば、図７を参照して上述したように、白壁を撮像したような入力画像の一面が白いシーンに対して輝度階調圧縮を行っても、レンズシェーディングが強調されるような画質の劣化した画像となることを回避することができる。
【００９０】
一方、ステップＳ２３において、判定部１６が、入力画像の輝度信号Ｌの平均値aveと最大値maxとの差分が短時間蓄積の飽和レベルの0.1倍以下でない（0.1倍より大である）と判定した場合、処理はステップＳ２４に進む。
【００９１】
ステップＳ２４において、判定部１６は、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の飽和レベルの0.9倍以下であるか否かを判定する。
【００９２】
ステップＳ２４において、判定部１６が、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の飽和レベルの0.9倍以下であると判定した場合、処理はステップＳ２５に進む。ステップＳ２５において、判定部１６は、入力画像の輝度信号Ｌの最大値maxを短時間蓄積の飽和レベルの0.9倍に置き換えてトーンカーブ生成部１７に供給するとともに、入力画像の輝度信号Ｌの最小値minおよび平均値aveをトーンカーブ生成部１７に供給する。
【００９３】
ステップＳ２５の処理後、処理はステップＳ２６に進み、トーンカーブ生成部１７はトーンカーブを生成する。この場合、トーンカーブ生成部１７は、図９を参照して上述したように、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の0.9倍に置き換えられたトーンカーブを生成する。これにより、入力画像の輝度信号Ｌの最小値minおよび最大値maxが単一シャッタ（短時間蓄積のみ）に収まるシーンに対して輝度階調圧縮を行っても、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
【００９４】
一方、ステップＳ２４において、判定部１６が、入力画像の輝度信号Ｌの最大値maxが短時間蓄積の飽和レベルの0.9倍以下ででない（0.9倍より大である）と判定した場合、処理はステップＳ２６に進む。この場合、判定部１６は、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveをトーンカーブ生成部１７に供給し、トーンカーブ生成部１７は、通常の処理と同様にトーンカーブを生成する。
【００９５】
ステップＳ２２またはＳ２６の処理後、処理はステップＳ２７に進む。ステップＳ２７において、グローバル輝度階調圧縮処理部１８は、トーンカーブ生成部１７により生成されたトーンカーブを用いて、グローバル輝度生成部１４から供給されるグローバル対数輝度値logＧＬの輝度階調の圧縮処理を行い、処理は終了される。
【００９６】
以上のように、画像処理装置１１では、短時間蓄積を基準にした判定に従って生成されたトーンカーブを用いることで、簡単な構成で、画質の劣化を抑制することが可能な階調圧縮を行うことができる。
【００９７】
即ち、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの最小値min、最大値max、および平均値aveが、すべて短時間蓄積のみに収まってしまって、実質的にワイドダイナミックレンジでないようなシーンに対して、入力画像の輝度信号Ｌの最大値maxを短時間蓄積の0.9倍に置き換えて生成されたトーンカーブを用いる。これにより、単独の時間で光を蓄積して撮像した画像（通常の画像）と同程度のダイナミックレンジをもつ画像として階調圧縮することができ、ダイナミックレンジが狭くなったような見栄えの悪い画像となることを回避することができる。
【００９８】
また、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの平均値aveが短時間蓄積の飽和レベルの0.1倍以下となるような、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンに対して、直線的なトーンカーブを用いる。これにより、暗い入力信号を持ち上げるような階調圧縮が行われることを回避することができ、暗いシーンでのノイズを抑制することができる。
【００９９】
さらに、例えば、画像処理装置１１は、入力画像の輝度信号Ｌの最大値maxと輝度信号Ｌの平均値aveとの差分が短時間蓄積の飽和レベルの0.1倍以下であるような入力画像の一面が白いシーンに対して、直線的なトーンカーブを用いる。これにより、レンズシェーディングなどが強調されるような画質の劣化した画像となることを回避することができる。
【０１００】
なお、上述した実施の形態では、例えば、入力画像の輝度信号Ｌの平均値aveが一定レベルより低くなる暗いシーンに対し、トーンカーブ生成部１７が、入力画像の輝度信号Ｌの最大値maxと最小値minとを直線的に結ぶようなトーンカーブを生成する例について説明したが、完全な直線としなくてもよい。
【０１０１】
例えば、図１５に示すように、画像処理装置１１では、入力画像の輝度信号Ｌの平均値aveが一定レベルよりさらに低くなる暗いシーンにおいて、ノイズを抑制する処理が行われる。例えば、入力画像の輝度信号Ｌの平均値aveが一定レベル以下である場合、入力画像の輝度信号Ｌの平均値ave以下では、出力ノイズ値cp_out_noiseが出力されるとともに、入力画像の輝度信号Ｌの平均値ave以上において入力画像の輝度信号Ｌの最大値maxに向かって直線的なトーンカーブが生成される。即ち、入力画像の輝度信号Ｌの平均値ave以下において出力が抑え込まれたトーンカーブが生成される。
【０１０２】
具体的には、画像処理装置１１において、判定部１６は、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分と、長時間蓄積の飽和レベルの0.1倍とを比較する。そして、判定部１６が、入力画像の輝度信号Ｌの最大値maxおよび輝度信号Ｌの平均値aveの差分が長時間蓄積の飽和レベルの0.1倍以下であると判定した場合、入力画像の輝度信号Ｌの平均値ave以下において出力が抑え込まれたトーンカーブが生成される。これにより、例えば、図５を参照して説明した直線的なトーンカーブを用いる場合よりも、より暗いシーンにおいてノイズを抑制した画像を出力することができる。
【０１０３】
なお、判定部１６は、長時間蓄積の飽和レベルを基準とした判定を行えばよく、例えば、長時間蓄積の飽和レベルの一定の比率（上述の例では、0.1倍）を基準値とした判定、または、長時間蓄積の飽和レベルの一定のオフセットを基準値とした判定を行うことができる。また、判定部１６は、長時間蓄積の飽和レベルの一定の比率およびオフセットより求めた値を基準値とした判定を行ってもよい。
【０１０４】
なお、上述したような実施の形態の画像処理装置１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
【０１０５】
図１６は、画像処理装置１１が適用される電子機器である撮像装置の構成例を示すブロック図である。
【０１０６】
図１６に示すように、撮像装置１０１は、モジュール１０２およびカメラ信号処理部１０３を備えて構成されており、太陽光や蛍光灯などの光源の下にある被写体Ｚを撮像し、可視光カラー画像を出力する。
【０１０７】
モジュール１０２は、撮像レンズ１１１、赤外線カットフィルタ１１２、色フィルタ群１１３、画素アレイ部１１４、カラム処理部１１５、および駆動制御部１１６を備えて構成される。
【０１０８】
撮像レンズ１１１は、画像情報を取り込むために、被写体Ｚからの光を撮像装置１０１の内部に導光して結像させる。色フィルタ群１１３は、例えば、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）の色フィルタがベイヤ配列で配置されており、それぞれの色を透過する。画素アレイ部１１４には、複数の画素がアレイ状に配置されており、それぞれの画素において被写体Ｚからの光を受光し、その光量に応じたレベルの画素信号を出力する。
【０１０９】
カラム処理部１１５は、画素アレイ部１１４から出力される画素信号に対してCDS(Correlated Double Sampling)処理やＡＤ（Analog Digital）変換処理などを施す。駆動制御部１１６は、例えば、カメラ信号処理部１０３が備えるカメラ制御部１２２の制御に従って、画素アレイ部１１４およびカラム処理部１１５を駆動する。そして、カラム処理部１１５から出力された撮像データは、カメラ信号処理部１０３が備える撮像信号処理部１２１に供給される。
【０１１０】
カメラ信号処理部１０３は、撮像信号処理部１２１およびカメラ制御部１２２を備えて構成され、撮像信号処理部１２１は、信号分離部１３１、色信号処理部１３２、輝度信号処理部１３３、およびエンコーダ部１３４を備えて構成される。
【０１１１】
信号分離部１３１は、色フィルタ群１１３において原色フィルタ以外のものが使用されているときにカラム処理部１１５から供給されるデジタル撮像信号を、赤色信号Ｒ、緑色信号Ｇ、および青色信号Ｂの原色信号に分離する原色分離機能を備える。色信号処理部１３２は、信号分離部１３１によって分離された赤色信号Ｒ、緑色信号Ｇ、および青色信号Ｂに基づいて、色信号Ｃに関しての信号処理を行う。
【０１１２】
輝度信号処理部１３３は、信号分離部１３１によって分離された赤色信号Ｒ、緑色信号Ｇ、および青色信号Ｂに基づいて、輝度信号Ｙに関しての信号処理を行う。即ち、輝度信号処理部１３３は、図１の画像処理装置１１の機能を備え、上述したような輝度階調圧縮処理を行う。エンコーダ部１３４は、色信号処理部１３２から出力される色信号Ｃ、および、輝度信号処理部１３３から出力される輝度信号Ｙに基づいて、映像信号ＶＤを生成して出力する。
【０１１３】
カメラ制御部１２２は、撮像装置１０１の全体を制御する主制御部としての機能を有し、ROM（Read Only Memory）１４１，RAM（Random Access Memory）１４２、通信I/F（Interface）１４３、メモリ読出部１４４、マイクロプロセッサ１４５を備えて構成される。
【０１１４】
ROM１４１は、読み出し専用の記憶部であり、カメラ制御部１２２の制御プログラムなどが格納されている。また、カメラ制御部１２２によって、各種の制御パルスをオン／オフするタイミングを設定するためのプログラムが格納されている。
【０１１５】
RAM１４２は、随時書き込みおよび読み出しが可能であるとともに揮発性の記憶部の一例であり、カメラ制御部１２２が各種処理を行なうためのデータなどが格納される。ここで、揮発性の記憶部とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、"不揮発性の記憶部"とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を"不揮発性"を呈するように構成するものであってもよい。
【０１１６】
通信I/F１４３は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。
【０１１７】
メモリ読出部１４４は、メモリカード１０４から読み出したデータをRAM１４２に格納（インストール）する。
【０１１８】
メモリカード１０４は、カメラ制御部１２２に挿脱可能に構成され、例えば、マイクロプロセッサ１４５にソフトウエア処理をさせるためのプログラムデータを登録するなどのために利用される。また、メモリカード１０４は、輝度信号処理部１３３からの輝度系信号に基づく測光データＤＬの収束範囲や露光制御処理（電子シャッタ制御を含む）のための各種の制御パルスのオン／オフタイミングなど、様々な設定値などのデータを登録するなどのために利用される。
【０１１９】
マイクロプロセッサ１４５は、コンピュータが行う演算および制御の機能を超小型の集積回路に集約されたCPU（Central Processing Unit）を代表例とする電子計算機の中枢をなす。
【０１２０】
なお、撮像装置１０１におけるカメラ制御部１２２としては、マイクロプロセッサ１４５には、露光制御用のプログラムも組み込まれて、露光条件を制御する露光条件制御部としても機能するようになっている。ここで、電子計算機の中枢をなすマイクロプロセッサ１４５を、露光条件を制御する露光条件制御部として機能させるための露光制御用のプログラムとしては、輝度信号処理部１３３からの輝度系信号に基づく測光データＤＬの計算（たとえば所定サイズおよび所定位置の測光エリアの平均値の計算）と、その計算結果に基づく輝度レベル判定（中間レベルよりも高いか低いか）などのためのものを含む。
【０１２１】
なお、このような撮像装置１０１は、駆動制御部１１６およびカラム処理部１１５を、画素アレイ部１１４と別体にしてモジュール状のもので示しているが、これらが画素アレイ部１１４と同一の半導体基板上に一体的に形成されたワンチップものを利用してもよい。
【０１２２】
また、図１６では、画素アレイ部１１４や駆動制御部１１６、カラム処理部１１５、カメラ信号処理部１０３の他に、撮像レンズ１１１、あるいは赤外線カットフィルタ１１２などの光学系をも含む状態で、撮像装置１０１を示しており、この態様は、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態とする場合に好適である。
【０１２３】
ここで、固体撮像装置におけるモジュールとの関係においては、図示のように、画素アレイ部１１４（撮像部）と、ＡＤ変換機能や差分（ＣＤＳ）処理機能を具備したカラム処理部１１５などの画素アレイ部１１４側と密接に関連した信号処理部（カラム処理部１１５の後段のカメラ信号処理部は除く）が纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置を提供するようにし、そのモジュール状の形態で提供された固体撮像装置の後段に、残りの信号処理部であるカメラ信号処理部１０３を設けて撮像装置１０１の全体を構成するようにしてもよい。
【０１２４】
または、図示を割愛するが、画素アレイ部１１４と撮像レンズ１１１などの光学系とが纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置を提供するようにし、そのモジュール状の形態で提供された固体撮像装置に加えて、カメラ信号処理部１０３をもモジュール内に設けて、撮像装置１０１の全体を構成するようにしてもよい。
【０１２５】
また、固体撮像装置におけるモジュールの形態として、カメラ信号処理部１０３を含めてもよく、この場合には、事実上、固体撮像装置と撮像装置１０１とが同一のものと見なすこともできる。
【０１２６】
このような撮像装置１０１は、「撮像」を行なうための、たとえば、カメラや撮像機能を有する携帯機器として提供される。なお、「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出なども含むものである。このような構成の撮像装置１０１においては、前述した図１の画像処理装置１１の全ての機能を包含して構成されており、画像処理装置１１の基本的な構成および動作と同様とすることができる。
【０１２７】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１２８】
また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【０１２９】
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１３０】
コンピュータにおいて、CPU２０１，ROM２０２，RAM２０３は、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１３１】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３２】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１３３】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１３４】
なお、本技術は以下のような構成も取ることができる。
（１）
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、
前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、
前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部と
を備える画像処理装置。
（２）
前記比較部は、前記入力画像の輝度信号の最大値と、前記所定の時間蓄積の飽和レベルを基準とした第１の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の最大値が前記第１の基準値以下である場合、前記入力画像の輝度信号の最大値を前記第１の基準値に置き換えて前記トーンカーブを生成する
上記（１）に記載の画像処理装置。
（３）
前記比較部は、前記入力画像の輝度信号の平均値と、前記所定の時間蓄積の飽和レベルを基準とした第２の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の平均値が前記第２の基準値以下である場合、直線的な前記トーンカーブを生成する
上記（１）または（２）に記載の画像処理装置。
（４）
前記比較部は、前記入力画像の輝度信号の最大値および平均値の差分と、前記所定の時間蓄積の飽和レベルを基準とした第３の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の最大値および平均値の差分が前記第３の基準値以下という結果である場合、直線的な前記トーンカーブを生成する
上記（１）から（３）までのいずれかに記載の画像処理装置。
（５）
前記比較部は、前記入力画像を撮像する際に光が長時間蓄積および短時間蓄積により蓄積されるとき、前記長時間蓄積を行ったときの飽和レベルを基準とした比較を行う
上記（１）から（４）までのいずれかに記載の画像処理装置。
（６）
前記比較部は、前記入力画像を撮像する際に光が長時間蓄積および短時間蓄積により蓄積されるとき、前記短時間蓄積を行ったときの飽和レベルを基準とした比較を行う
上記（１）から（４）までのいずれかに記載の画像処理装置。
（７）
前記比較部は、前記入力画像の輝度信号の平均値と、前記所定の時間蓄積の飽和レベルを基準とした第４の基準値とを比較し、
前記トーンカーブ生成部は、前記入力画像の輝度信号の平均値が前記第４の基準値以下という結果である場合、前記入力画像の輝度信号の平均値以下の出力を抑え込むような前記トーンカーブを生成する
上記（１）から（６）までのいずれかに記載の画像処理装置。
（８）
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行い、
比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成し、
生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う
ステップを含む画像処理方法。
（９）
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行い、
比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成し、
生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う
ステップを含む画像処理をコンピュータに実行させるプログラム。
（１０）
入力画像の輝度信号の最大値および平均値のいずれかを少なくとも用いて、前記入力画像を撮像する際に光を蓄積する複数の時間のうちの、所定の時間蓄積を行ったときの飽和レベルを基準とした比較を行う比較部と、
前記比較部による比較結果に基づいて、前記入力画像の輝度階調の圧縮処理を行うのに用いるトーンカーブを生成するトーンカーブ生成部と、
前記トーンカーブ生成部により生成された前記トーンカーブに従って、前記入力画像の輝度階調の圧縮処理を行う輝度階調圧縮処理部と
を有する画像処理装置を備える電子機器。
【０１３５】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１３６】
１１  画像処理装置，  １２  輝度信号生成部，  １３  対数変換部，  １４  グローバル輝度生成部，  １５  抽出部，  １６  判定部，  １７  トーンカーブ生成部，  １８  グローバル輝度階調圧縮処理部，  １９  輝度階調圧縮処理部，  ２０  逆対数変換部
【図１】
2015139082.tif 000004
【図２】
2015139082.tif 000005
【図３】
2015139082.tif 000006
【図４】
2015139082.tif 000007
【図５】
2015139082.tif 000008
【図６】
2015139082.tif 000009
【図７】
2015139082.tif 000010
【図８】
2015139082.tif 000011
【図９】
2015139082.tif 000012
【図１０】
2015139082.tif 000013
【図１１】
2015139082.tif 000014
【図１２】
2015139082.tif 000015
【図１３】
2015139082.tif 000016
【図１４】
2015139082.tif 000017
【図１５】
2015139082.tif 000018
【図１６】
2015139082.tif 000019
【図１７】
2015139082.tif 000020