(57)【要約】【課題】逆光シーンにおける撮影の際に、ノイズ増加を抑えつつ、人物と背景の双方の階調が自然な画像を得ることができる撮像装置を提供すること。【解決手段】逆光シーンにおいて、人物の顔と背景の露出のバランスを考慮して画面内の平均の輝度に基づいて撮像素子１０３の露出制御を行うとともに、この露出制御による顔の露出量の不足分を照明部１１５によるフラッシュ光の照射と画像処理部１０８における画像処理によって補う。この際、ノイズの影響を考慮して画像処理部１０８における補正量には補正限界値を設け、この補正限界値を超える補正はフラッシュ光の照射によって補う。【選択図】図１
2010283593.tif 000002
【特許請求の範囲】
【請求項１】
撮像により画像データを得る撮像部と、
上記画像データにおける人物被写体を検出する人物検出部と、
上記人物被写体を照明するために発光する照明部と、
上記画像データにおける人物被写体の輝度と背景の輝度とを検出する測光部と、
上記人物被写体の輝度と背景の輝度とから撮影シーンが逆光シーンであるか否かを検出する逆光判定部と、
上記逆光判定部により撮影シーンが逆光シーンであると判定された場合に、上記測光部で得られた背景の輝度から、背景が白とびせず、且つ上記人物被写体が可能な限り明るくなる露出量で上記撮像部による撮像を実行させつつ、該撮像を実行させた場合の上記人物被写体の露出量の不足量に対応した発光量で上記照明部を発光させるように制御する制御部と、
上記制御部による制御の結果、上記撮像部から得られた画像データにおける上記人物被写体の露出量の不足量を画像処理によって補正する画像処理部と、
を具備することを特徴とする撮像装置。
【請求項２】
上記画像処理部は、上記画像処理による補正量の限界値を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記補正量の限界値は、少なくとも上記背景の輝度に対して異なる値を有することを特徴とする請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、逆光シーンでの撮影に特に好適な撮像装置に関する。
【背景技術】
【０００２】
従来、逆光シーンにおける撮影では主要被写体である人物が黒くつぶれてしまう問題があった。この問題を解決するために例えば特許文献１においては、高速シャッタを用いることで画面全体の露出を抑えつつ且つフラッシュ発光を行って人物の露出を上げるようにして、逆光時における人物の黒つぶれを防止している。また、特許文献２においては、顔領域と背景領域との明るさの差に応じて露出補正やフラッシュ発光を行うことにより逆光時における人物の黒つぶれを防止している。さらに、特許文献３においては、画面内の領域毎に最適なコントラストに制御することで、画面内の暗部（逆光の場合には人物部）と明部（逆光の場合には背景部）の何れも見えやすい画像なるように画像処理で修正するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１８５６３号公報
【特許文献２】特開２００６−３１１３１１号公報
【特許文献３】特表２００４−５３０３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の手法では、背景を白とびさせず且つノイズを増やさずに人物の露出を適正にできる効果がある一方で、フラッシュ発光によって人工的なライティングを与えるため、人物の顔の立体感が損なわれる等の階調の不自然さが発生するおそれがある。また、特許文献２の手法では、顔領域の階調を自然なものとすることができる一方で、顔領域と背景領域との明るさの差が大きすぎる場合には顔領域の露出を適正なものとしたときに背景領域が白とびしてしまうおそれがある。さらに、特許文献３の手法では、画面内の明部（背景部）と暗部（人物部）との階調をそれぞれ自然なものとすることが可能である一方で、画像処理による修正量が大きくなるとノイズも増加してしまう。
【０００５】
本発明は、上記の事情に鑑みてなされたもので、逆光シーンの撮影の際に、ノイズ増加を抑えつつ、人物と背景の双方の階調が自然な画像を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像により画像データを得る撮像部と、上記画像データにおける人物被写体を検出する人物検出部と、上記人物被写体を照明するために発光する照明部と、上記画像データにおける人物被写体の輝度と背景の輝度とを検出する測光部と、上記人物被写体の輝度と背景の輝度とから撮影シーンが逆光シーンであるか否かを検出する逆光判定部と、上記逆光判定部により撮影シーンが逆光シーンであると判定された場合に、上記測光部で得られた背景の輝度から、背景が白とびせず、且つ上記人物被写体が可能な限り明るくなる露出量で上記撮像部による撮像を実行させつつ、該撮像を実行させた場合の上記人物被写体の露出量の不足量に対応した発光量で上記照明部を発光させるように制御する制御部と、上記制御部による制御の結果、上記撮像部から得られた画像データにおける上記人物被写体の露出量の不足量を画像処理によって補正する画像処理部とを具備する。
【発明の効果】
【０００７】
本発明によれば、逆光シーンにおける撮影の際に、ノイズ増加を抑えつつ、人物と背景の双方の階調が自然な画像を得ることができる撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。
【図２】日中の逆光シーンの例を示した図である。
【図３】図３（ａ）は日中の逆光シーンにおいて顔を優先した露出制御を行った場合の輝度ヒストグラムの例を示した図であり、図３（ｂ）は日中の逆光シーンにおいて背景を優先した露出制御を行った場合の輝度ヒストグラムの例を示した図である。
【図４】日中の逆光シーンにおいて顔と背景のバランスを考慮した露出制御を行った場合の輝度ヒストグラムの例を示した図である。
【図５】日中の逆光シーンにおける照明部によるフラッシュ光の発光による露出量の補正について示す図である。
【図６】日中の逆光シーンにおける画像処理部における露出量の補正について示す図である。
【図７】夜景の逆光シーンの例を示した図である。
【図８】図８（ａ）は夜景の逆光シーンにおいて顔を優先した露出制御を行った場合の輝度ヒストグラムの例を示した図であり、図８（ｂ）は夜景の逆光シーンにおいて背景を優先した露出制御を行った場合の輝度ヒストグラムの例を示した図である。
【図９】夜景の逆光シーンにおいて顔と背景のバランスを考慮した露出制御を行った場合の輝度ヒストグラムの例を示した図である。
【図１０】夜景の逆光シーンにおける照明部によるフラッシュ光の発光による露出量の補正について示す図である。
【図１１】夜景の逆光シーンにおける画像処理部における露出量の補正について示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。図１において、レンズ１０１は、図示しない被写体の光学像を撮像素子１０３に集光させる。このレンズ１０１は、マイクロコンピュータ１１２の制御に従って、光軸の方向に沿って駆動可能に構成されている。レンズ１０１を光軸方向に沿って駆動させることでレンズ１０１の焦点位置を調整する。絞り１０２は、レンズ１０１の近傍に設けられている。この絞り１０２は、レンズ１０１から撮像素子１０３への光の入射量を調節する。この絞り１０２はマイクロコンピュータ１１２の制御に従って開閉される。
【００１０】
撮像素子１０３は、フォトダイオード等の光電変換素子からなる画素が２次元に配された受光面を有し、この受光面により、レンズ１０１により集光された光を電気信号（画像信号）に変換する。撮像回路１０４は、撮像素子１０３からの画像信号に対して相関二重サンプリング（ＣＤＳ）処理やゲイン制御（ＡＧＣ）処理等の種々のアナログ処理を施す。アナログ/デジタル（Ａ/Ｄ）変換部１０５は、撮像回路１０４においてアナログ処理された画像信号をデジタルの画像信号（以降、画像データという）に変換する。
【００１１】
バス１０６は、撮像装置の内部で発生した各種データを撮像装置内の各ブロックに転送するための転送路である。フレームメモリ１０７は、Ａ/Ｄ変換部１０５において得られた画像データや、画像処理部１０８、圧縮伸長処理部１０９において処理された画像データ等の各種データを一時的に記憶する。
【００１２】
画像処理部１０８は、ホワイトバランス補正処理回路（画像データの色バランスを補正する回路）、ノイズ低減処理回路（画像データ中のノイズを低減する処理回路）、階調補正回路（画像データの階調特性を補正する回路）等の各種の画像処理回路を有し、フレームメモリ１０７に格納された画像データに対して各種の画像処理を施す。
【００１３】
圧縮伸長処理部１０９は、画像データの記録時には、画像処理部１０８において処理された画像データを例えばＪＰＥＧ方式に従って圧縮する。さらに、圧縮伸長処理部１０９は、画像データの再生時には、記録媒体１１０に記録された圧縮済みの画像データを伸長することも行う。記録媒体１１０は、例えば撮像装置に着脱可能なメモリカードからなる記録媒体であり、圧縮伸長処理部１０９において圧縮された画像データ等が記録される。表示部１１１は、例えば液晶ディスプレイであり、各種の画像を表示する。
【００１４】
マイクロコンピュータ１１２は、絞り１０２の開放量の制御と撮像素子１０３の露出時間の制御を行うとともに照明部１１５の発光動作を制御する制御部としての機能を有する他、レンズ１０１の駆動制御、表示部１１１の動作制御等の、撮像装置本体の各種シーケンスを統括的に制御する。また、本実施形態におけるマイクロコンピュータ１１２は測光部としての機能、逆光判定部としての機能の機能も有する。
【００１５】
操作部１１３は、ユーザが図１に示す撮像装置を操作するための各種の操作部材である。この操作部１１３としては、撮像装置による撮影実行を指示するためのレリーズボタン等が含まれる。例えば、レリーズボタンが半押しされた場合にマイクロコンピュータ１１２はＡＥ制御及びＡＦ制御を行う。また、レリーズボタンが全押しされた場合にマイクロコンピュータ１１２は撮影動作を行う。
【００１６】
Ｆｌａｓｈメモリ１１４は、撮像装置の動作に必要な各種パラメータを記憶している。また、Ｆｌａｓｈメモリ１１４は、マイクロコンピュータ１１２にて実行する各種プログラムも記憶している。
【００１７】
照明部１１５は、キセノン管等の発光管と該発光管を発光させるための発光回路とを有し、被写体を照明するために発光する。この照明部１１５の発光量はマイクロコンピュータ１１２によって算出される。
【００１８】
人物検出部としての機能を有する顔検出部１１６は、撮像素子１０３を介して得られる画像データから、撮影時の主要被写体である人物の顔領域を検出する。なお、顔の検出は、例えば顔の特徴を示す部分（目や鼻、口等）を画像データ中から検出することで行う。
【００１９】
次に、本発明の一実施形態に係る撮像装置の一連の撮影動作について説明する。なお、以下の説明においては逆光シーンにおける撮影動作について特に説明する。逆光シーンにおける撮影動作以外は従来の撮像装置と同様である。したがって、本実施形態では説明を省略する。
【００２０】
レリーズボタンが半押しされる前には、表示部１１１にスルー画表示がなされる。このスルー画表示においては、撮像素子１０３を連続動作させることによって得られる各フレームの画像データに基づく動画像が表示部１１１に表示される。このスルー画表示によりユーザは被写体の構図等を確認できる。また、このスルー画表示の際、撮像素子１０３を連続動作させることによって得られる画像データ中の顔領域が顔検出部１１６によって検出される。
【００２１】
レリーズボタンが半押しされた後、マイクロコンピュータ１１２により、主要被写体（ここでは顔）に自動的にピントを合わせるためのオートフォーカス（ＡＦ）制御、撮影シーンに適した絞り、露光時間、撮影感度を自動的に算出するためのオートエクスポージャー（ＡＥ）制御が実行される。
【００２２】
ここで、本実施形態においては、ＡＥ制御時に逆光シーンであるか否かを判定し、逆光シーン時には逆光シーン以外とは異なる露出制御を行う。逆光シーンであるか否かの判定はマイクロコンピュータ１１２において行われる。即ち、マイクロコンピュータ１１２は、人物の輝度データと背景の輝度データを比較して人物よりも背景のほうが明るい場合に撮影シーンが逆光であると判定する。
【００２３】
図２は、日中の逆光シーンの例を示す。本実施形態における日中の逆光シーンは、例えば、日中下で太陽２０１を背景として人物２０２を撮影するようなシーンである。このような日中の逆光シーンにおいて、人物２０２の顔の露出量が基準露出値（例えば、輝度値１２８に対応した値）となるように撮像素子１０３の露出量を制御した場合、撮像素子１０３を介して得られる画像データの明るさは、図３（ａ）の輝度ヒストグラムで示すものとなる。この場合、顔の露出量は基準露出値となるが、顔よりも明るい背景がＡ/Ｄ変換部１０５のダイナミックレンジ内に収まらずに白とびしてしまう。また、背景の露出量が基準露出値となるように撮像素子１０３の露出量を制御した場合、撮像素子１０３を介して得られる画像データの明るさは、図３（ｂ）の輝度ヒストグラムで示すものとなる。この場合、背景の露出量は基準露出値となるが、人物２０２の顔や服が黒くつぶれてしまう。
【００２４】
本実施形態では、図４に示すように、顔の明るさと背景の明るさのバランスを重視して、輝度データの平均が基準露出値に合うように撮像素子１０３の露出制御を行う。このような露出制御を行う場合の基準露出値に対する顔の露出量の不足分（図４に示す顔アンダー量）については露出制御以外の手段で補う。この露出制御以外の手段とは、人物２０２への照明部１１５のフラッシュ光の発光と画像処理部１０８における画像処理である。
【００２５】
画像データから算出される輝度データの平均に基づいて露出制御を行うことにより、図４の輝度ヒストグラムで示すようにして、顔と背景の露出がある程度のバランスを保った状態で撮影を行うことができる。ただし、この場合であっても顔領域と背景領域の明るさの差が大きすぎる場合には顔が黒くつぶれてしまう。本実施形態では、露出制御によって得られる顔の露出量が所定の下限露出値（例えば基準露出値−２.０ＥＶ）を下回らないように撮像素子１０３の露出量を算出することで可能な限り顔を明るくする。
【００２６】
図５は、日中の逆光シーンにおける照明部１１５によるフラッシュ光の発光による露出量の補正について示す。撮影時に撮像素子１０３の露出制御とともにフラッシュ光を照射することにより、図５（ａ）に示すように、背景の露出量を変えずに人物２０２の露出量のみを変えることが可能である。図５（ｂ）は、顔アンダー量と照明部１１５の発光量との関係を示す図である。なお、図５（ｂ）に示す顔アンダー量と発光量との対応データは例えばテーブルとしてＦｌａｓｈメモリ１１４に記憶されているものである。図５（ｂ）に示すように、本実施形態におけるフラッシュ光の補正は、顔アンダー量が基準露出値−０.５ＥＶを超えた場合に行う。なお、図５（ｂ）には顔アンダー量が−２.０ＥＶ以後も示している。しかしながら、上述したように、顔アンダー量は−２.０ＥＶよりも大きくならないので、フラッシュの発光量も顔アンダー量が基準露出値−２.０ＥＶまでの範囲内となる。また、詳細は後述するが、画像処理の補正量は＋１.０ＥＶであるので、フラッシュ光の発光による補正量は＋１.０ＥＶまでとなる。
【００２７】
図６は、日中の逆光シーンにおける画像処理部１０８における露出量の補正について示す。画像処理における露出量の補正は、画像データを複数の領域に分け、各領域における階調カーブのγを補正することにより行う。階調カーブのγを大きくすることにより領域内の低輝度部（人物等）を明るく補正する。これにより、図６（ａ）に示すようにして背景の輝度は保持したまま人物等の暗い部分のみを明るく補正して、画面全体として見た目に近い自然な階調の画像データを得る。顔アンダー量と画像処理補正量との関係を図６（ｂ）に示す。なお、図６（ｂ）に示す顔アンダー量と画像処理補正量との対応データは例えばテーブルとしてＦｌａｓｈメモリ１１４に記憶されている。図６（ｂ）に示すように、本実施形態における画像処理の補正量は顔アンダー量によらずに＋１.０ＥＶとする。通常、画像処理による補正では、低輝度部分を明るくする補正に伴ってノイズが大きくなる。このため、画像処理部１０８による補正は＋１.０ＥＶを補正限界値とし、この補正限界値以上の補正はフラッシュ光の発光によって補う。
【００２８】
以上のようにして撮影動作及び画像処理を行うことにより、日中の逆光シーンにおいてノイズを抑制しつつ、人物の顔と背景の階調を自然とした画像を得る。
【００２９】
図７は、夜景の逆光シーンの例を示す。本実施形態における夜景の逆光シーンは、例えば、夜景下で何らかの光源３０１を背景として人物３０２を撮影するようなシーンである。この夜景シーンではシーンが全体的に暗いため、人物３０２の顔の露出量がある目標露出値（例えば、輝度値１２８に対応した値）となるように撮像素子１０３の露出量を制御した場合には図８（ａ）で示すように画面全体の明るさが基準露出値よりも大きくなってしまい、夜景としては不適切な画像となる。また、背景の露出量が基準露出値（夜景に対応した値で日中よりも小さい、例えば輝度値６４に対応した値）となるように撮像素子１０３の露出量を制御した場合には、図８（ｂ）に示すように人物３０２の顔や服が黒くつぶれてしまう。
【００３０】
本実施形態では、図９に示すように、顔の明るさと背景の明るさのバランスを重視して、輝度データの平均が基準露出値に合うように撮像素子１０３の露出制御を行う。そして、このような露出制御を行う場合の顔の目標露出値に対する顔の露出量の不足分（図９に示す顔アンダー量）については露出制御以外の手段で補う。なお、日中においては顔の露出値が下限露出値を下回らないように露出制御を行うが、夜景の場合にはそのような制限はしない。これは夜景シーン全体としての暗さを保つためである。
【００３１】
図９は、夜景の逆光シーンにおける照明部１１５によるフラッシュ光の発光による露出量の補正について示す。フラッシュ光の照射により、図９（ａ）に示すように、背景の露出量を変えずに人物３０２の露出のみを変える。図９（ｂ）は、夜景の逆光シーンにおける顔アンダー量と照明部１１５の発光量との関係を示す。夜景時においては画面全体が低輝度であり、画像処理を用いた補正によるノイズの影響が日中の逆光シーンに比べて大きい。したがって、後述する画像処理の補正量は＋０.３ＥＶとする。フラッシュ光の発光による補正量は＋１.７ＥＶまでとなる。また、日中時においては顔アンダー量が−０.５を超えてからフラッシュ発光を行っているが、夜景の場合にはそのような制限はしない。このように、夜景の逆光シーンにおいては、フラッシュ光の発光による補正量を日中の逆光シーンに比べて大きくすることで、背景の暗さを保ちつつ、人物のみを明るくする。
【００３２】
図１０は、画像処理部１０８における露出量の補正について示す。画像処理部１０８における画像処理により、図１０（ａ）に示すようにして画面全体の階調が整えられる。図１０（ｂ）は、夜景の逆光シーンにおける顔アンダー量と画像処理補正量との関係を示す。図１０（ｂ）に示すように、画像処理の補正量は顔アンダー量によらずに＋０.３ＥＶとする。夜景の場合には、日中の場合よりもノイズの影響が大きいため、画像処理部１０８による補正は、日中の場合よりも小さい＋０.３ＥＶを補正限界値とすることでノイズをさらに抑制する。
【００３３】
以上のようにして撮影動作及び画像処理を行うことにより、夜景の逆光シーンにおいてノイズを抑制しつつ、また背景については夜景に対応した暗い状態としたまま、顔のみを明るくする。
【００３４】
以上説明したように、本実施形態では、輝度データの平均に基づく露出制御を行うことで人物と背景の双方を自然な階調としつつ、逆光によってアンダーとなっている顔の露出量の不足分をある程度補正する。そして、露出制御だけを用いた場合の露出量の不足分についてはフラッシュ光の照射と画像処理を用いることで補正する。さらに、ノイズの影響を考慮して画像処理による補正量に制限をかけ、この制限による露出量の不足分をフラッシュ光の照射によって補正する。これにより、画像処理による補正量及びフラッシュ光の発光量も必要最小限として、逆光シーンの撮影において、ノイズを抑制しつつ、人物と背景の双方の階調が自然な画像を得ることができる。
【００３５】
また、本実施形態では、日中の逆光シーンと夜景の逆光シーンとでは、フラッシュ光の発光による補正量と顔アンダー量との関係、画像処理による補正量と顔アンダー量との関係を異ならせることで、それぞれのシーンに適した階調の画像を得ることが可能である。
【００３６】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、照明部１１５は本撮像装置に対して着脱自在に構成しても良い。また、人物被写体が複数存在する場合には１人の主要な被写体に対して露出補正をしても良いし、複数人の主要な被写体に対して露出補正をしても良い。さらに、基準露出値は輝度の分布に応じて設定しても良い。
【符号の説明】
【００３７】
１０１…レンズ、１０３…撮像素子、１０４…撮像回路、１０５…アナログ/デジタル（Ａ/Ｄ）変換部、１０６…バス、１０７…フレームメモリ、１０８…画像処理部、１０９…圧縮伸長処理部、１１０…記録媒体、１１１…表示部、１１２…マイクロコンピュータ、１１３…操作部、１１４…Ｆｌａｓｈメモリ、１１５…照明部、１１６…顔検出部
【図１】
2010283593.tif 000003
【図２】
2010283593.tif 000004
【図３】
2010283593.tif 000005
【図４】
2010283593.tif 000006
【図５】
2010283593.tif 000007
【図６】
2010283593.tif 000008
【図７】
2010283593.tif 000009
【図８】
2010283593.tif 000010
【図９】
2010283593.tif 000011
【図１０】
2010283593.tif 000012
【図１１】
2010283593.tif 000013