(57)【要約】【課題】ローリングシャッタ方式の撮像装置において、他者のフラッシュ発光による露光ムラを精度よく検出可能にする。【解決手段】ローリングシャッタ方式の撮像装置において、まず、ＣＭＯＳセンサの奇数ラインから露光／読出しを行い、その後、偶数ラインの露光／読出しを行う（ステップＳ１２〜Ｓ２０）。このようにして先に奇数ラインの情報を読み出し、後で偶数ラインの情報を読み出された各ラインの情報を、ライン位置順に並び替えて１フレームの画像にする（ステップＳ２２）。これにより、隣接する奇数／偶数ラインの露光開始タイミングが大きくずれ、他者のフラッシュ発光等に起因する露光ムラが１フレームの画像に発生する場合には、その露光ムラは周期的な縞模様になるため、露光ムラを精度よく検出することができる（ステップＳ２４）。【選択図】  図２
2011015222.tif 000002
【特許請求の範囲】
【請求項１】
複数ラインの受光領域を有する撮像素子に対し、各ライン毎に露光開始タイミングをずらして露光を開始させるとともに、所定の露光時間が経過したラインから順次ライン上の情報を読み出すローリングシャッタ方式の撮像装置において、
前記撮像素子の全ラインの露光開始タイミングがそれぞれ異なり、かつ周期的に隣接するラインの露光開始タイミングが大きくずれるように読出しラインを制御して各ラインの情報を読み出す読出制御手段と、
前記読出制御手段により順次読み出された各ラインの情報をライン位置順に並び替えて１フレームの画像を取得する画像取得手段と、
前記取得した１フレームの画像中に含まれる他者のフラッシュ発光に起因する露光ムラの有無を検出する露光ムラ検出手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記読出制御手段は、前記撮像素子の奇数ライン及び偶数ラインのうちの奇数ラインの情報を先又は後に読み出し、偶数ラインの情報を後又は先に読み出すことにより、隣接する奇数ラインと偶数ラインの露光開始タイミングを大きくずらすことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記読出制御手段は、前記撮像素子の（３ｎ−２）ライン（ｎ＝１、２、３…）、（３ｎ−１）ライン、及び３ｎラインのうちの（３ｎ−２）ライン及び３ｎラインの情報を先又は後に読み出し、（３ｎ−１）ラインの情報を後又は先に読み出すことにより、前記（３ｎ−１）ラインとその前後の（３ｎ−２）ライン及び３ｎラインの露光開始タイミングを大きくずらすことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記露光ムラ検出手段は、前記露光開始タイミングが大きくずれて読み出された１ライン又はＮライン（Ｎ：２以上の整数）毎のラインの平均輝度を算出し、この平均輝度の変化に基づいて露光ムラを検出することを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記露光ムラ検出手段は、前記算出した平均輝度の変化が、前記１ライン又はＮライン毎のラインの間隔に対応する周期を有する場合に露光ムラが発生していると判断することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記露光ムラ検出手段は、前記露光開始タイミングが大きくずれるように読み出された近接するラインの情報を比較し、ライン全域にわたってほぼ一定の輝度差がある場合に露光ムラが発生していると判断することを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項７】
前記露光ムラ検出手段によって露光ムラが検出されると、露光ムラを示す警告を発する露光ムラ警告手段を備えたことを特徴とする請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記露光ムラ検出手段によって露光ムラが検出されると、周期的な露光ムラとして現れる高輝度側のラインの情報を、該高輝度側のラインに近接する低輝度側のラインの情報に基づいて補正する露光ムラ補正手段を備えたことを特徴とする請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記露光ムラ補正手段は、前記高輝度側のラインの情報と該高輝度側のラインに近接する低輝度側のラインの情報との１ラインにおける平均輝度差を算出し、前記高輝度側のラインの情報から前記算出した平均輝度差を減算することにより該前記高輝度側のラインの情報を補正することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記ラインの情報はＲ、Ｇ、Ｂの各画素の値であり、
前記露光ムラ補正手段は、前記算出した平均輝度差をフラッシュ光の色温度に対応するＲ、Ｇ、Ｂの割合に振り分け、前記高輝度側のラインのＲ、Ｇ、Ｂの各画素の値から前記振り分けたＲ、Ｇ、Ｂの値をそれぞれ減算することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
複数ラインの受光領域を有する撮像素子に対し、各ライン毎に露光開始タイミングをずらして露光を開始させるとともに、所定の露光時間が経過したラインから順次ライン上の情報を読み出すローリングシャッタ方式の撮像制御方法において、
前記撮像素子の全ラインの露光開始タイミングがそれぞれ異なり、かつ周期的に隣接するラインの露光開始タイミングが大きくずれるように読出しラインを制御して各ラインの情報を読み出す工程と、
前記順次読み出された各ラインの情報をライン位置順に並び替えて１フレームの画像を取得する工程と、
前記取得した１フレームの画像中に含まれる他者のフラッシュ発光に起因する露光ムラの有無を検出する工程と、
を含むことを特徴とする撮像制御方法。
【請求項１２】
前記露光ムラが検出されると、露光ムラを示す警告を発する工程を含むことを特徴とする請求項１１に記載の撮像制御方法。
【請求項１３】
前記露光ムラが検出されると、周期的な露光ムラとして現れる高輝度側のラインの情報を、該高輝度側のラインに近接する低輝度側のラインの情報に基づいて補正する工程を含むことを特徴とする請求項１１又は１２に記載の撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像制御方法に係り、特にローリングシャッタ方式の撮像装置に適用される技術に関する。
【背景技術】
【０００２】
フォーカルプレーンシャッタ搭載のカメラにおいて、フラッシュ発光と露光タイミングを合わせることで面内露光ムラを回避するようにした撮像装置が提案されている（特許文献１）。
【０００３】
また、ＣＭＯＳセンサを用いた撮像装置における読出し方式は、上方から順次リセット、順次読み出しを行う、ローリングシャッタ方式となる事が知られている。
【０００４】
このローリングシャッタ方式は、図２６に示すように各ライン毎に露光タイミングに時間差があるという特徴があるため、図２７に示すように一部のラインの露光期間中にフラッシュのような発光期間の短い強い光が入射すると、その一部のラインの領域が他のラインの領域よりも明るくなり、図２８に示すように面内露光ムラが生じるといった問題がある。
【０００５】
また、ローリングシャッタ方式は、各ライン毎に露光タイミングに時間差があるため、動く被写体の場合には、被写体の画像が歪むという問題がある。
【０００６】
特許文献１には、フォーカルプレーンシャッタ搭載のカメラにおいて、後幕の走行速度を変化させることにより、フラッシュ装置による疑似的なフラット発光を可能にし、高速秒時でフラッシュ撮影を行う際に露光ムラの発生しないカメラシステムが提案されている。
【０００７】
特許文献２には、グローバルシャッタのための機構がなくても、動く被写体の画像を歪ませることなく撮像することができる撮像装置が提案されている。
【０００８】
この特許文献２に記載の撮像装置は、１画面分の画素信号の読み出しが終了してから次の１画面分の画素信号の読み出しが開始されるまでの期間に、画素信号の読み出しを全く行わない空白期間を設け、この空白期間内の一定期間にわたって発光ダイオードを点灯させている。上記発光ダイオードからの発光が撮影補助光となり、これにより動く被写体の画像を歪ませることなく撮像できるようにし、また、上記空白期間内で発光させることで、撮影補助光による露光ムラが生じないようにしている。
【０００９】
また、特許文献３には、測距用の補助光照射中、ライブビュー表示を更新しないようにし、これによりライブビュー表示画面が白飛びしないようにしたカメラが提案されている。
【００１０】
更に、特許文献４には、測距用の補助光照射中、擬似的な白飛び画像を表示することで、補助光照射中であることをユーザに視覚的に認識させるカメラが提案されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００６−６４９７４号公報
【特許文献２】特開２００８−２５２１９５号公報
【特許文献３】特開２００７−６０９７号公報
【特許文献４】特開２００７−４９３６３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１及び２に記載の発明は、撮像装置自体に設けられたフラッシュ装置からフラッシュを発光する場合における露光ムラを軽減するための技術である。撮像装置自体に設けられたフラッシュ装置であれば、発光タイミングを制御することも可能であるが、他人が所有するカメラのフラッシュ光の発光タイミングを制御することはできない。
【００１３】
また、特許文献３及び４に記載の発明は、測距用の補助光照射によるライブビュー表示画面の白飛びに関する発明であり、本画像の撮影時に入射する補助光（フラッシュ）の入射に対する発明ではない。
【００１４】
従って、例えば結婚式や記者会見などの多くのカメラが同時にフラッシュを発光させるシーンにおいて、ローリングシャッタ方式の撮像装置により撮影を行う場合には、他人が所有するカメラが発光したフラッシュ光によって画面内に露光ムラが生じるが、この問題を特許文献１〜４に記載の発明では解決することができない。
【００１５】
また、シャッタレリーズ動作に正確に同期した画像を記録したいという要求がある。
【００１６】
本発明はこのような事情に鑑みてなされたもので、ローリングシャッタ方式で撮像を行う場合に、他者のフラッシュ発光があるシーンでも、シャッタレリーズ動作に同期した露光ムラのない画像の撮像を行うことができる撮像装置及び撮像制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
前記目的を達成するために請求項１に係る発明は、複数ラインの受光領域を有する撮像素子に対し、各ライン毎に露光開始タイミングをずらして露光を開始させるとともに、所定の露光時間が経過したラインから順次ライン上の情報を読み出すローリングシャッタ方式の撮像装置において、前記撮像素子の全ラインの露光開始タイミングがそれぞれ異なり、かつ周期的に隣接するラインの露光開始タイミングが大きくずれるように読出しラインを制御して各ラインの情報を読み出す読出制御手段と、前記読出制御手段により順次読み出された各ラインの情報をライン位置順に並び替えて１フレームの画像を取得する画像取得手段と、前記取得した１フレームの画像中に含まれる他者のフラッシュ発光に起因する露光ムラの有無を検出する露光ムラ検出手段と、を備えたことを特徴としている。
【００１８】
即ち、請求項１に係る発明によれば、周期的に隣接するラインの露光開始タイミングが大きくずれるように読出しラインを制御して各ラインの情報を読み出すようにしたため、他者のフラッシュ発光等に起因する露光ムラが１フレームの画像に発生する場合には、その露光ムラは周期的な縞模様になる。これにより、例えば、被写体の輝度分布が１フレーム内の上下で異なる場合を露光ムラと誤判定することがなくなり、他者のフラッシュ発光等に起因する露光ムラを精度よく検出することができる。
【００１９】
また、動く被写体を撮像した場合に、第１ラインから最終ラインまで順番に露光開始タイミングをずらして露光を行う場合に比べて、動く被写体の画像の歪みを緩和させる効果がある。
【００２０】
請求項２に示すように請求項１に記載の撮像装置において、前記読出制御手段は、前記撮像素子の奇数ライン及び偶数ラインのうちの奇数ラインの情報を先又は後に読み出し、偶数ラインの情報を後又は先に読み出すことにより、隣接する奇数ラインと偶数ラインの露光開始タイミングを大きくずらすことを特徴としている。
【００２１】
請求項３に示すように請求項１に記載の撮像装置において、前記読出制御手段は、前記撮像素子の（３ｎ−２）ライン（ｎ＝１、２、３…）、（３ｎ−１）ライン、及び３ｎラインのうちの（３ｎ−２）ライン及び３ｎラインの情報を先又は後に読み出し、（３ｎ−１）ラインの情報を後又は先に読み出すことにより、前記（３ｎ−１）ラインとその前後の（３ｎ−２）ライン及び３ｎラインの露光開始タイミングを大きくずらすことを特徴としている。
【００２２】
請求項４に示すように請求項１から３のいずれかに記載の撮像装置において、前記露光ムラ検出手段は、前記露光開始タイミングが大きくずれて読み出された１ライン又はＮライン（Ｎ：２以上の整数）毎のラインの平均輝度を算出し、この平均輝度の変化に基づいて露光ムラを検出することを特徴としている。
【００２３】
請求項５に示すように請求項４に記載の撮像装置において、前記露光ムラ検出手段は、前記算出した平均輝度の変化が、前記１ライン又はＮライン毎のラインの間隔に対応する周期を有する場合に露光ムラが発生していると判断することを特徴としている。
【００２４】
請求項６に示すように請求項１から３のいずれかに記載の撮像装置において、前記露光ムラ検出手段は、前記露光開始タイミングが大きくずれるように読み出された近接するラインの情報を比較し、ライン全域にわたってほぼ一定の輝度差がある場合に露光ムラが発生していると判断することを特徴としている。
【００２５】
露光開始タイミングが大きくずれるように読み出された近接するラインの情報のうち、一方のラインのみに他者のフラッシュ発光等が入射した場合には、一方のラインの情報は、近接する他方のラインの情報に比べてライン全域にわたって輝度が大きくなるが、撮影シーンにより近接するラインの情報に輝度差が生じる場合には、ライン全域にわたってほぼ一定の輝度差が生じることはなく、輝度差の正負や大きさがランダムになる。これらのライン全域にわたる輝度差の相違により他者のフラッシュ発光等の入射に起因する露光ムラを精度よく検出することができる。
【００２６】
請求項７に示すように請求項１から６のいずれかに記載の撮像装置において、前記露光ムラ検出手段によって露光ムラが検出されると、露光ムラを示す警告を発する露光ムラ警告手段を備えたことを特徴としている。この警告により再撮像が喚起され、撮影者は再撮像を行うことで露光ムラのない画像の撮像を行うことができる。
【００２７】
請求項８に示すように請求項１から７のいずれかに記載の撮像装置において、前記露光ムラ検出手段によって露光ムラが検出されると、周期的な露光ムラとして現れる高輝度側のラインの情報を、該高輝度側のラインに近接する低輝度側のラインの情報に基づいて補正する露光ムラ補正手段を備えたことを特徴としている。
【００２８】
請求項９に示すように請求項８に記載の撮像装置において、前記露光ムラ補正手段は、前記高輝度側のラインの情報と該高輝度側のラインに近接する低輝度側のラインの情報との１ラインにおける平均輝度差を算出し、前記高輝度側のラインの情報から前記算出した平均輝度差を減算することにより該前記高輝度側のラインの情報を補正することを特徴としている。
【００２９】
請求項１０に示すように請求項９に記載の撮像装置において、前記ラインの情報はＲ、Ｇ、Ｂの各画素の値であり、前記露光ムラ補正手段は、前記算出した平均輝度差をフラッシュ光の色温度に対応するＲ、Ｇ、Ｂの割合に振り分け、前記高輝度側のラインのＲ、Ｇ、Ｂの各画素の値から前記振り分けたＲ、Ｇ、Ｂの値をそれぞれ減算することを特徴としている。
【００３０】
請求項１１に係る発明は、複数ラインの受光領域を有する撮像素子に対し、各ライン毎に露光開始タイミングをずらして露光を開始させるとともに、所定の露光時間が経過したラインから順次ライン上の情報を読み出すローリングシャッタ方式の撮像制御方法において、前記撮像素子の全ラインの露光開始タイミングがそれぞれ異なり、かつ周期的に隣接するラインの露光開始タイミングが大きくずれるように読出しラインを制御して各ラインの情報を読み出す工程と、前記順次読み出された各ラインの情報をライン位置順に並び替えて１フレームの画像を取得する工程と、前記取得した１フレームの画像中に含まれる他者のフラッシュ発光に起因する露光ムラの有無を検出する工程と、を含むことを特徴としている。
【００３１】
請求項１２に示すように請求項１１に記載の撮像制御方法において、前記露光ムラが検出されると、露光ムラを示す警告を発する工程を含むことを特徴としている。
【００３２】
請求項１３に示すように請求項１１又は１２に記載の撮像制御方法において、前記露光ムラが検出されると、周期的な露光ムラとして現れる高輝度側のラインの情報を、該高輝度側のラインに近接する低輝度側のラインの情報に基づいて補正する工程を含むことを特徴としている。
【発明の効果】
【００３３】
本発明によれば、ローリングシャッタ方式で撮像を行う場合に、他者のフラッシュ発光があるシーンでも、シャッタレリーズ動作に同期した露光ムラのない画像の撮像を行うことができる。
【００３４】
特に、ローリングシャッタ方式での撮像時に、撮像素子の全ラインの露光開始タイミングがそれぞれ異なり、かつ周期的に隣接するラインの露光開始タイミングが大きくずれるように読出しラインを制御して各ラインの情報を読み出すようにしたため、他者のフラッシュ発光等に起因する露光ムラが１フレームの画像に発生する場合には、その露光ムラが周期的な縞模様になることから、他者のフラッシュ発光等に起因する露光ムラを精度よく検出することができる。また、動く被写体の画像の歪みを緩和させる効果がある。更に、上記露光ムラが検出された場合には、近接するライン間で露光ムラに対応する高輝度側のラインの情報と正常なラインの情報とが存在するため、高輝度側のラインの情報を近接する正常なラインの情報に基づいて補正することができる。
【図面の簡単な説明】
【００３５】
【図１】図１は本発明に係る撮像装置の内部構成を示すブロック図である。
【図２】図２は本発明に係る撮像制御方法の第１実施形態を示すフローチャートである。
【図３】図３は本発明に係る露光／読出しラインの制御を説明するために用いたタイミングチャートである。
【図４】図４は他者のカメラのフラッシュ発光により露光ムラが発生した本画像の画像イメージを示す図である。
【図５】図５は他者のカメラのフラッシュ光による面内露光ムラが周期的に変化する様子を示す図である。
【図６】図６（Ａ）及び（Ｂ）は露光開始タイミングが大きくずれるように読出しラインを制御する他の例を示す図である。
【図７】図７（Ａ）は露光開始タイミングが大きくずれるように読出しラインを制御する更に他の例を示す図であり、同図（Ｂ）は縞模様の面内露光ムラが発生する様子を示す図である。
【図８】図８は露光ムラの他の検出例を説明するために用いたフローチャートである。
【図９】図９は露光ムラの他の検出例を説明するために用いた概念図である。
【図１０】図１０は本発明に係る撮像制御方法の第３実施形態を示すフローチャートである。
【図１１】図１１は本発明に係る撮像制御方法の第４実施形態を示すフローチャートである。
【図１２】図１２は露光ムラの補正時に色ずれが発生しないように補正する方法を説明するために用いた図である。
【図１３】図１３は本発明に係る撮像制御方法の第５実施形態を示すフローチャートである。
【図１４】図１４は露光ムラの補正時に色ずれが発生しないように補正する様子を表したグラフである。
【図１５】図１５は短時間の光量変化が有る場合における撮影画像の露光を示す図である。
【図１６】図１６は本発明の原理を説明するために用いた図である。
【図１７】図１７は本発明の第６実施形態における撮像装置の要部機能ブロック図である。
【図１８】図１８は本発明の第６実施形態における撮像制御処理を示すフローチャートである。
【図１９】図１９はスルー画像取得処理の一例を示す概略フローチャートである。
【図２０】図２０はスルー画像取得処理の他の例を示す概略フローチャートである。
【図２１】図２１は他者のカメラのフラッシュ光が発光されたシーンを示す図である。
【図２２】図２２は図２１に示すシーンにおける露光ムラを説明するための図である。
【図２３】図２３は本発明の第７実施形態における撮像装置の要部機能ブロック図である。
【図２４】図２４は本発明の第７実施形態における撮像制御処理を示すフローチャートである。
【図２５】図２（Ａ）は撮影画像およびスルー画像の一例を示す説明図、同図（Ｂ）はエリア分けの一例を示す説明図、同図（Ｃ）は差分画像の一例を示す説明図である。
【図２６】図２６はローリングシャッタ方式の従来の露光／読出しタイミングを示すタイミングチャートである。
【図２７】図２７はローリングシャッタ方式の従来の露光／読出しタイミングを示すタイミングチャートであり、他者のカメラのフラッシュ光が入射した状態を示す図である。
【図２８】図２８は従来の露光ムラが発生した本画像の画像イメージを示す図である。
【発明を実施するための形態】
【００３６】
以下、添付図面に従って本発明に係る撮像装置及び撮像制御方法の実施の形態について説明する。
【００３７】
［撮像装置］
図１は本発明に係る撮像装置の内部構成を示すブロック図である。
【００３８】
同図に示すように、撮像装置（デジタルカメラ）１は、主として中央処理装置（ＣＰＵ）１０、操作部１２、フラッシュ発光部２０、レンズユニット２２、ＣＭＯＳセンサ２６、タイミングジェネレータ（ＴＧ）２８、ＡＧＣ回路３０、Ａ／Ｄ変換器３２、画像信号処理回路３４、圧縮伸張処理回路３６、ＬＣＤドライバ３８、液晶ディスプレイ（ＬＣＤ）４０、ＡＥ／ＷＢ検出回路４２、ＡＦ検出回路４３、メモリカード４４、及びメディアコントローラ４６から構成されている。
【００３９】
ＣＰＵ１０は、操作部１２から入力される操作信号に基づき所定の制御プログラムに従ってデジタルカメラ１の全体を統括制御する。ＣＰＵ１０に接続されたＲＯＭ１６には、デジタルカメラ１を動作させるための制御プログラムや各種設定情報が書き込まれており、ＣＰＵ１０はこのプログラムに従って各部を制御する。
【００４０】
操作部１２は、シャッタレリーズボタン、電源／モードスイッチ、モードダイヤル、ズームキー、十字キー、メニュー／ＯＫキー、ＢＡＣＫキー等で構成される。
【００４１】
シャッタレリーズボタンは、半押し操作時（Ｓ１オン時）に自動露出制御（ＡＥ制御）、自動焦点制御（ＡＦ制御）等の各種撮影準備処理を指示し、この状態でシャッタレリーズボタンが更に押し込まれる全押し操作時（Ｓ２オン時）に本撮像の処理を指示する。
【００４２】
電源／モードスイッチは、デジタルカメラ１の電源のオン／オフを切り替える際に操作される。
【００４３】
モードダイヤルは、デジタルカメラ１の動作モードを切り替える際に操作される。動作モードとしては、撮影を１回だけ行う静止画（単写）撮影モード、複数回の撮影を連続して行う連写撮影モード、撮影により得られた画像をＬＣＤ４０に再生表示する再生モードなどがある。
【００４４】
ズームキーは、ズームレンズを変倍する際に操作される。
【００４５】
十字キーは、ＬＣＤ４０に表示されたメニュー画面内のカーソルが移動させる。
【００４６】
メニュー／ＯＫキーは、ＬＣＤ４０にメニュー画面を表示する際や選択内容を決定する際などに操作される。メニュー／ＯＫキー、十字キー等の操作により、種々の撮影シーン（屋内、人物、夜景など）から所望とする撮影シーンが設定可能となっている。撮影シーン機能は、設定された撮影シーンに応じて、種々の撮影条件を自動的に設定する機能である。ＣＰＵ１０は、設定された撮影シーンに応じて、露出値、撮影感度、ホワイトバランスの制御パラメータ、フラッシュ発光の有無などの撮影条件を、当該撮影シーンに好適な値に自動的に設定する。尚、撮影シーンの設定は、ＣＰＵ１０が自動的に撮影シーンを判断し、最適な撮影シーンに設定する（自動シーン認識）機能により行なわれてもよい。
【００４７】
ＢＡＣＫキーは、ＬＣＤ４０に表示されたメニュー画面を戻す際に操作される。ＲＡＭ１４は、ＣＰＵ１０による演算作業領域、及び画像データの一時記憶領域として利用される。ＲＯＭ１６は、ＣＰＵ１０が実行する制御プログラム及び制御に必要な各種データやデジタルカメラ１の動作に関する各種設定情報などが格納されている。ＶＲＡＭ１８は、スルー画像の表示用の画像データ等を一時記憶する。
【００４８】
フラッシュ発光部２０は、撮影を実行する際に被写体輝度に応じてフラッシュを照射する。
【００４９】
レンズユニット２２は、主として、ズーム機構及びフォーカス機構と、絞りとで構成される。ズーム機構は、ズーム操作キーの操作に応答して、撮影レンズ２２ａを移動させてズーミングを行う。フォーカス機構は、撮影レンズ２２ａに組み込まれたフォーカスレンズを移動させてピント合せを行う。絞り装置２２ｂは、絞り開度を調節することで、ＣＭＯＳ型イメージセンサ２６（以下、ＣＭＯＳセンサ２６という）に入射する被写体光の光量を調節する。絞り装置２２ｂは、モータ２３を介してＣＰＵ１０により動作制御される。
【００５０】
ＣＭＯＳセンサ２６は、多数のフォトセンサがマトリクス状に配列された複数ラインの受光面を有しており、受光面に結像された被写体像は、各フォトセンサによって、その入射光量に応じた量の信号電荷に変換される。
【００５１】
各フォトセンサに蓄積された電荷は、フォトセンタ別のアンプにより電圧信号に変換され、タイミングジェネレータ（ＴＧ）２８から入力されるタイミング信号によってアナログの画像信号として出力される。
【００５２】
具体的には、ＣＭＯＳセンサ２６は、ＴＧ２８から垂直走査回路を介して加えられる垂直走査信号により、読み出しラインが順次選択される。選択された１ライン分の信号は、ＣＤＳ回路に読み出され、ここでＴＧ２８から入力されるタイミング信号に基づいて保持されノイズ除去が行われる。ＣＤＳ回路に保持された１ライン分の信号は、水平走査回路を介して加えられる水平走査信号により順次出力ラインに読み出される。
【００５３】
垂直走査回路により選択されたラインは、信号転送後に順次リセット信号が加えられてフォトセンサの電荷がリセットされ、その後、再度電荷の蓄積を開始する。
【００５４】
ＣＭＯＳセンサ２６の先頭のラインから最終のラインまで垂直走査回路により走査すると、再び先頭のラインに戻り、これにより１フレーム周期としたローリングシャッタが構成されている。また、各ラインの読出しタイミングとリセットタイミングとを適宜設定することにより、フォトセンサがリセットされてから読み出されるまでの時間（シャッタスピード）を設定することができる。
【００５５】
尚、後述する本発明の第１の実施形態では、ＣＭＯＳセンサ２６における読出しラインの走査は、図２６に示したように先頭のラインから最終のラインまで上から順番に走査しておらず、図２に示すように全ラインのうちの奇数ラインを先に走査し、続いて偶数ラインを走査するようにしている。これにより、隣接する奇数ラインと偶数ラインの読出しタイミングを大きくずらし、露光開始タイミングも大きくずらすようにしている。
【００５６】
ＡＧＣ（Automatic Gain Control）回路３０は、ＣＭＯＳセンサ２６から出力された画像信号に対して、ＣＰＵ１０によって設定される撮像感度に応じたゲインで画像信号を増幅してＡ／Ｄ変換器３２に出力する。
【００５７】
Ａ／Ｄ変換器３２は、ＡＧＣ回路３０から出力されたアナログ信号を、例えば１２ビットのデジタル信号に変換して出力する。Ａ／Ｄ変換器３２から出力されたデジタル信号は画像信号処理回路３４に送られる。
【００５８】
画像信号処理回路３４は、同時化回路（単板ＣＭＯＳセンサのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路（ＹＣ回路）等を含み、ＣＰＵ１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。
【００５９】
圧縮伸張処理回路３６は、ＣＰＵ１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。
【００６０】
ＬＣＤドライバ３８は、画像信号処理回路３４で生成され、ＶＲＡＭ１８に保持された画像信号に対し所定の信号処理を施し、画像表示用の信号を生成し、これを一定のタイミングでＬＣＤ４０に出力する。
【００６１】
ＬＣＤ４０は、カラー表示が可能な液晶ディスプレイで構成されており、再生モード時に撮影済み画像を表示するための画像表示器として利用されるとともに、各種設定操作を行なう際のユーザインターフェースとして利用される。また、撮影モード時には、スルー画像が表示されて、画角確認用の電子ファインダとして利用される。
【００６２】
ＡＥ／ＷＢ検出回路４２は、ＡＥ制御に必要な物理量として、１画面を複数のエリア（例えば１６×１６）に分割し、分割したエリア（以下、「測光分割エリア」という）ごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。算出された値は画像信号処理回路３４に出力され、画像信号処理回路３４内のホワイトバランス補正回路で用いられる。
【００６３】
ＡＦ検出回路４３は、通常、所定のＡＦエリア（例えば、画面中央部）内の信号の高周波成分の絶対値を積算した、ＡＦエリア内の画像のコントラストを示す積算値（ＡＦ評価値）を算出するが、本実施例では、上記測光分割エリアと同様に複数のエリアのＡＦ評価値を算出している。ＣＰＵ１０は、ＡＦ検出回路４３により算出されたＡＦ評価値を取り込み、ＡＦエリアのＡＦ評価値が最大になるようにフォーカス機構を介して撮影レンズ２２ａに組み込まれたフォーカスレンズを移動させてピント合せを行う。
【００６４】
メディアコントローラ４６は、メディアスロットに装填されたフラッシュメモリ等の不揮発性のメモリカード４４に対してデータの読み／書きを制御する。
【００６５】
以上のように構成されたデジタルカメラ１の作用について説明する。
【００６６】
［第１実施形態（露光ムラの検出）］
図２は本発明に係る撮像制御方法の第１実施形態を示すフローチャートであり、主として本画像の撮像開始から露光ムラの検出までの手順に関して示している。
【００６７】
シャッタレリーズボタンが全押し（Ｓ２オン）され、ＣＰＵ１０に対して記録用の撮像が指示されると、ＣＰＵ１０により絞り装置２２ｂ及び電子シャッタが制御され、本撮像用の露光制御が行われるとともに、ＣＭＯＳセンサ２６から画像信号のローリング読み出しが行われる（ステップＳ１０〜Ｓ２０）。
【００６８】
ここで、図３に示すように本撮像用の露光制御は、ＣＭＯＳセンサ２６の全ラインのうちの奇数ライン（２ｎ−１）（ｎ＝１、２、３…）を順次リセットすることにより露光開始タイミングをずらしながら露光を開始させ（ステップＳ１２）、続いて、偶数ライン（２ｎ）（ｎ＝１、２、３…）を順次リセットすることにより露光開始タイミングをずらしながら露光を開始させる（ステップＳ１４）。
【００６９】
次に、先頭のライン（１番目のライン）の露光開始から所定の露光時間が経過したか否かを判別し（ステップＳ１６）、所定の露光時間が経過すると（「Ｙｅｓ」の場合）、ＣＭＯＳセンサ２６の奇数ライン（２ｎ−１）の情報（画素毎に電荷蓄積した電荷量に相当する電圧信号）を１ラインずつ順次読み出し（ステップＳ１８）、続いて、偶数ライン（２ｎ）の情報を１ラインずつ順次読み出す（ステップＳ２０）。尚、各ラインの情報の読出しタイミングも露光開始タイミングと同様にずれており、これにより各ラインにおける露光時間は、それぞれ所定の露光時間（一定）になるようにしている。
【００７０】
ＣＭＯＳセンサ２６の全てのラインの情報の読出しが終了すると、ＣＰＵ１０は、読み出した各ラインの情報を、ライン位置順（先頭のラインから最後のラインの順）に並び替えて１フレームの画像（本画像）にする（ステップＳ２２）。
【００７１】
尚、各ラインの情報の並び替えは、全てのラインの読出しが終了した後に一括して行うようにしてもよいし、ＣＭＯＳセンサ２６から１ラインずつ読み出してＲＡＭ１４に一時的に格納する際に、その格納位置を制御することで行うようにしてもよい。
【００７２】
ＣＰＵ１０は、上記のようにして取得した本画像から、本画像の撮像時に他者のフラッシュ発光等に起因する露光ムラの有無を検出する（ステップＳ２４）。
【００７３】
次に、本画像に生じる露光ムラの有無の検出方法について説明する。
【００７４】
図３（Ｂ）は本撮像中の時刻ｔ１にフラッシュ光が入射した場合に関して示しており、図４は上記フラッシュ光により露光ムラが発生した本画像の画像イメージを示す図である。
【００７５】
図３（Ｂ）に示す例では、本画像の露光期間中における奇数ラインのみにフラッシュ光が入射しているため、図４に示すように本画像の奇数ラインの輝度が偶数ラインの輝度よりも高くなり、本画像には１ライン毎に明暗を繰り返す縞模様の露光ムラが生じる。
【００７６】
本発明では、上記のような縞模様の輝度差が本画像に発生している場合に、他者のフラッシュ発光等に起因する露光ムラが発生していると判断する。
【００７７】
例えば、本画像の各ラインの情報（ＲＧＢ信号の同時化、及びＹＣ処理後の輝度情報）からライン毎の平均輝度を求めると、図５（Ａ）に示すように奇数ライン(Odd)と偶数ライン(Even)の平均輝度は、明暗を繰り返すようになる。従って、この平均輝度の変化に基づいて露光ムラを検出することができる。
【００７８】
尚、上記の実施形態では、１ライン毎に（奇数ラインと偶数ラインとで）露光開始タイミングが大きく（１フレーム中の最初の露光開始タイミングから最後の露光開始タイミングまでの時間差の約２分の１）ずれるように読出しライン（リセットによる露光開始ライン）を制御するようにしたが、これに限らず、Ｎライン（Ｎ：２以上の整数）毎に隣接するラインの露光開始タイミングが大きくずれるように読出しラインを制御するようにしてもよい。
【００７９】
例えば、５ライン毎に露光開始タイミングが大きくずれるように読出しラインを制御し、そのときの本画像の露光期間中にフラッシュ光が入射すると、図５（Ｂ）に示すように５ライン毎に明暗を繰り返すようになる。従って、この平均輝度の変化に基づいて露光ムラを検出することができる。
【００８０】
複数ライン毎に時間差を設けて露光と読出しを行う方法では、奇数／偶数ラインで時間差を設ける方式よりも分解能は劣るが、演算エリアを少なくすることが可能であり、演算能力が低いシステムへの対応がしやすく、また、演算能力が同じならば、演算時間を短縮することができるというメリットがある。
【００８１】
また、上記縞模様の露光ムラは、露光開始タイミングが大きくずれているライン数（１ライン又はＮライン毎のラインの間隔）に対応する周期をもつため、ＣＰＵ１０は、この露光ムラの周期を求め、その周期から露光ムラの発生の有無を判断することにより、より精度の高い露光ムラの判断を行うことができる。
【００８２】
尚、本画像の露光期間中の他者のフラッシュ光の入射タイミングによっては、画面全体に縞模様の露光ムラが発生する場合に限らず、例えば、画面上部のみ又は画面下部のみに縞模様の露光ムラが発生する場合があるが、この場合でも露光ムラを良好に検出することができる。また、全ラインに他者のフラッシュ光が入射する場合には、露光ムラは発生しないが、露光オーバーになる可能性がある。
【００８３】
図６（Ａ）及び（Ｂ）は露光開始タイミングが大きくずれるように読出しラインを制御する他の例を示す図である。
【００８４】
図６（Ａ）及び（Ｂ）に示す例では、４ライン毎に隣接するラインの露光開始タイミングが大きくずれるように読出しラインを制御するようにしている。また、４ライン間の露光開始タイミングも図２０に示す一般の露光開始タイミングのずれ量よりも大きくずれている。
【００８５】
図７（Ａ）は露光開始タイミングが大きくずれるように読出しラインを制御する更に他の例を示す図である。
【００８６】
図７（Ａ）に示す例では、ＣＭＯＳセンサ２６の（３ｎ−２）ライン（ｎ＝１、２、３…）、（３ｎ−１）ライン、及び３ｎラインのうちの（３ｎ−２）ライン及び３ｎラインの情報を先に読み出し、（３ｎ−１）ラインの情報を後に読み出すことにより、（３ｎ−１）ラインとその前後の（３ｎ−２）ライン及び３ｎラインの露光開始タイミングを大きくずらすようにしている。
【００８７】
図７（Ａ）に示す本画像の露光期間中の時刻ｔ1に他者のフラッシュ光が入射すると、ＣＭＯＳセンサ２６の全ラインのうちの（３ｎ−２）ライン及び３ｎラインの輝度が、３ｎ−１）ラインの輝度よりも大きくなり、図７（Ｂ）に示すような縞模様の露光ムラが発生する。
【００８８】
尚、ラインの読出し順序は、図７（Ａ）に示したように、（３ｎ−２）ラインと３ｎラインの情報を先に読み出し、（３ｎ−１）ラインの情報を後で読み出す場合に限らず、（３ｎ−１）ラインの情報を先に読み出し、（３ｎ−２）ラインと３ｎラインの情報を後で読み出すようにしてもよい。但し、前者の方が、隣接するラインの露光開始タイミングを大きくずらすことができる利点がある。
【００８９】
図８及び図９は露光ムラの他の検出例を示す図である。
【００９０】
図８に示すように、前述したように露光及び読出により本画像を取得する（ステップＳ３０）。続いて、図９に示すように、本画像の近接するライン（（３ｎ−２）ラインと（３ｎ−１）ライン、及び（３ｎ−１）ラインと３ｎライン）の各画素毎の画像信号の差分を求め（ステップＳ３２）、更に隣接する差分同士を比較する（ステップＳ３４）。
【００９１】
この比較結果からライン全域にわたってほぼ一定の差分（輝度差）があるか否かを判別し（ステップＳ３６）、ライン全域にわたってほぼ一定の輝度差がある場合（「Ｙｅｓ」の場合）、露光ムラが発生していると判断する（ステップＳ３８）。
【００９２】
［第２実施形態（露光ムラの警告）］
上記ステップＳ２４の処理により、本画像に露光ムラが発生したと判別されると、ＣＰＵ１０は、露光ムラの警告を発する。
【００９３】
この露光ムラの警告は、例えば、デジタルカメラ１の背面のＬＣＤ４０に撮影した画像を表示するとともに、そのＬＣＤ４０の画面に「露光ムラ発生！」等のメッセージを表示する。
【００９４】
撮影者は、上記露光ムラの警告が発せられると、実際に露光ムラが発生しているか否かをＬＣＤ４０の画面上で確認し、露光ムラの検出が誤検出の場合又は露光ムラが許容できる場合には記録指示を行い、露光ムラが許容できない場合には画像の記録処理をキャンセルするキャンセル指示を行う。記録指示は、操作部１２のメニュー／ＯＫキーを押すことにより行うことができ、キャンセル指示は、操作部１２のＢＡＣＫキーを押すことにより行うことができる。これらのキー操作方法は、ＬＣＤ４０の画面に表示される。
【００９５】
ステップＳ２４において、本画像に露光ムラが発生していないと判別された場合、及び記録指示が行われた場合には、ＲＡＭ１４に一時的に保持されている撮像した画像の圧縮処理、メモリカード４４への記録等の記録処理が行われる。
【００９６】
上記露光ムラの警告により撮影者は撮り直すことができ、これにより露光ムラのない画像又は露光ムラが許容できる画像のみを記録することができる。
【００９７】
尚、この実施の形態では、露光ムラが警告されたときに、画像の記録／キャンセルを撮影者が選択できるようになっているが、これに限らず、無条件に記録してもよい。
【００９８】
［第３実施形態（露光ムラの補正）］
図１０は本発明に係る撮像制御方法の第３実施形態を示すフローチャートであり、特に図３に示した奇数／偶数ラインで時間差を設けて露光・読出しを行って得た本画像から露光ムラが検出された場合に、その本画像の露光ムラを除去する方法に関して示している。
【００９９】
まず、ＣＰＵ１０は、本画像の処理するラインの初期値として、ｎ＝１を設定する（ステップＳ４０）。
【０１００】
続いて、（２ｎ−１）ライン（奇数ライン）の画素の平均輝度と、２ｎライン（偶数ライン）の画素の平均輝度とを算出し（ステップＳ４２）、これらの平均輝度の差分演算を行う（ステップＳ４４）。
【０１０１】
次に、上記奇数／偶数ラインのうちの高輝度側のラインの画素からステップＳ４４で算出した差分値を減算する（ステップＳ４６）。これにより、他者のカメラのフラッシュ発光により高輝度となっている輝度側ラインの画素の輝度補正を行うようにしている。
【０１０２】
次に、本画像の最終ラインまでの全てのラインの画素の補正が終了したか否かを判別し（ステップＳ４８）、終了していない場合には、ｎを１だけインクリメントし（ステップＳ５０）、ステップＳ４２に遷移させ、次の奇数／偶数ライン間での画素の補正を行う。
【０１０３】
このように近接したライン間の画素の平均輝度差により高輝度側の画素の輝度を補正することにより、面内露光ムラを良好の補正することができる。
【０１０４】
［第４実施形態（露光ムラの補正）］
図１１は本発明に係る撮像制御方法の第４実施形態を示すフローチャートであり、特に図７に示した（３ｎ−１）ラインと、その前後のライン（（３ｎ−２）ラインと３ｎライン）で時間差を設けて露光・読出しを行って得た本画像から露光ムラが検出された場合に、その本画像の露光ムラを除去する方法に関して示している。
【０１０５】
まず、ＣＰＵ１０は、本画像の処理するラインの初期値として、ｎ＝１を設定する（ステップＳ６０）。
【０１０６】
続いて、（３ｎ−１）ラインと（３ｎ−２）ラインの各画素の輝度差のライン全域の平均（輝度差平均）と、（３ｎ−１）ラインと３ｎラインの各画素の輝度差のライン全域の平均（輝度差平均）とを算出する（ステップＳ６２）。これらの輝度差平均の算出は、図８のステップＳ３２で、本画像の近接するライン（（３ｎ−２）ラインと（３ｎ−１）ライン、及び（３ｎ−１）ラインと３ｎライン）の各画素毎の画像信号の差分を求めているため、その差分のライン全域の平均を求めることにより算出することができる。
【０１０７】
次に、（３ｎ−１）ラインの画素の平均輝度が、隣接ライン（（３ｎ−２）ラインと３ｎライン）の画素の平均輝度よりも大きいか否かを比較し（ステップＳ６４）、大きい場合（「Ｙｅｓ」の場合）には、（３ｎ−１）ラインの各画素からステップＳ６２で算出した輝度差平均を減算し（ステップＳ６６）、一方、小さい場合（「Ｎｏ」の場合）には、隣接ラインの各画素からステップＳ６２で算出した輝度差平均を減算する（ステップＳ６８）。これにより、他者のカメラのフラッシュ発光により高輝度となっている（３ｎ−１）ラインの画素、又は（３ｎ−１）ラインの隣接ラインの画素の輝度補正を行うようにしている。
【０１０８】
次に、本画像の最終ラインまでの全てのラインの画素の補正が終了したか否かを判別し（ステップＳ７０）、終了していない場合には、ｎを１だけインクリメントし（ステップＳ７２）、ステップＳ６２に遷移させ、次の連続する３つのライン間での画素の補正を行う。
【０１０９】
このように近接したライン間の画素の平均輝度差により高輝度側の画素の輝度を補正することにより、面内露光ムラを良好の補正することができる。
【０１１０】
尚、第３実施形態及び第４実施形態による露光ムラの補正によれば、前半に読み出すラインと後半に読み出すラインが必ず隣接するため、露光ムラを正確に補正することができ、複数ラインずつラインを飛ばして走査する場合や、３：１若しくはそれ以上の比率で読出し順序を分ける方式に対して有利である。
【０１１１】
［第５実施形態（露光ムラの補正）］
図１２（Ａ）は他機フラッシュによる露光ムラが画面中央部に帯状（かつ縞模様）に発生している様子を表したものである。
【０１１２】
この画像の露光ムラに対して、図１１に示した実施形態のように単純に平均輝度差を引き算した後、ＲＧＢ変換すると、環境光とフラッシュ光の色温度が異なっている場合、図１２（Ｂ）に示すように露光ムラ発生領域とそれ以外の領域とで色ずれが生じる。
【０１１３】
図１３は本発明に係る撮像制御方法の第５実施形態を示すフローチャートである。尚、この第５実施形態は、図１１に示した第４実施形態の変形の実施形態であるため、図１１に示したフローチャートの処理と共通する処理には同一のステップ番号を付し、その詳細な説明は省略する。
【０１１４】
第５実施形態では、ステップＳ６２で輝度差平均を算出した後、ステップＳ８０において、その算出した輝度差平均の値をＲＧＢの値に変換する。その際に、フラッシュ光の色温度は５０００〜６０００Ｋに相当するため、その色温度に対応するＲＧＢの割合（Ｒ：Ｇ：Ｂ＝0.7：１：0.8）に変換を行う。
【０１１５】
その後、輝度補正を行うステップＳ８２、８４では、輝度差平均値をＲＧＢ変換したそれぞれの情報を高輝度側の画素から引き算することにより露光ムラを補正する。
【０１１６】
その結果、フラッシュ光の色成分に対応した輝度補正が行われることになり、図１２（Ｃ）に示すように露光ムラ発生領域とそれ以外の領域とで色ずれのない画像が得られる。
【０１１７】
図１４は補正演算の様子をグラフで表したものである。グラフの斜線部分と網点部分の和が、露光ムラ部分における「取得輝度」である。前述した輝度差平均値を、Ｒ：Ｇ：Ｂ＝0.7：１：0.8の割合に変換した「補正量」が斜線部分に相当する。この取得輝度から斜線部分の値をそれぞれ減算した網点部分の値が、フラッシュ光の色味を取り除いた「補正後の輝度」を表している。
【０１１８】
このように輝度補正の際に、フラッシュ光の色成分に相当するＲＧＢバランスで輝度補正を行うことにより、色ずれを起こさない輝度補正が可能となる。
【０１１９】
［第６実施形態］
次に、本発明の第６実施形態の原理について説明する。
【０１２０】
図１５に示すように、各ライン毎に露光開始タイミングをずらして露光を開始させるとともに、所定の露光時間が経過したラインから順次ライン上の情報を読み出すローリングシャッタ方式の撮像を行う際に、複数ラインの露光期間中にフラッシュ光の発光が無かったラインと露光期間中にフラッシュ光の発光が有ったラインとに分かれることにより、画像２４３は正常輝度部分２４１と高輝度部分２４２とに分かれる。
【０１２１】
そこで、本発明の第６実施形態では、図１６に示すように、シャッタレリーズ動作に同期した記録対象の本画像２５０（以下「撮影画像」という）と、撮影画像の前または後にて露光した複数フレームのスルー画像のうち露光ムラが無い画像２５３（以下「基準画像」という）とを比較し、その輝度差に基づいて露光ムラを検出するとともに、輝度差画像２５４に基づいて撮影画像２５０の輝度差部分２５２を補正することで、シャッタレリーズ動作に同期し、且つ、ローリングシャッタに因る露光ムラが無い撮影画像２５５を取得する。
【０１２２】
尚、本明細書にて「スルー画像」は、撮影画像の前または後にて露光した画像である。撮影者は、シャッタレリーズ動作前に、ＬＣＤ４０などの表示デバイスにライブビュー表示されるスルー画像を見ることで、撮影範囲や焦点状態や主要被写体の様子などを確認することができる。
【０１２３】
次に第６実施形態における撮像装置及び撮像制御方法について説明する。
【０１２４】
図１７は第１実施形態における撮像装置２００ａ（図１のデジタルカメラ１）の要部機能ブロック図である。
【０１２５】
撮像制御部２０１は、ＣＭＯＳセンサ２６を制御して、ＣＭＯＳセンサ２６から読み出した複数ラインの情報からなる１フレームの画像であってシャッタレリーズ動作に同期した記録対象の撮影画像（本画像）と、撮影画像の前又は後にて露光した複数フレームのスルー画像とを取得する。
【０１２６】
一時記憶部２０２は、ＣＭＯＳセンサ２６から取得されたスルー画像及び撮影画像を、一時的に記憶する。本例では、図１のＲＡＭ１４によって一時記憶部２０２が構成されている。
【０１２７】
輝度算出部２０３は、スルー画像及び撮影画像の輝度を算出する。本例では、図１の画像信号処理回路３４によって輝度算出部２０３が構成されており、ＣＭＯＳセンサ２６により得られるＲＧＢ信号から輝度データ（Ｙデータ）を生成する。
【０１２８】
コントラスト算出部２０４は、スルー画像のコントラストを示すＡＦ評価値を算出する。本例では、図１のＡＦ検出回路４３によってコントラスト算出部２０４が構成されている。
【０１２９】
ＡＥ制御部２０５は、図１のＡＥ／ＷＢ検出回路４２によって検出された測光分割エリアごとの画像信号の積算値に基づいて平均値測光、中央重点測光等の測光を行い、その測光値（被写体輝度）によりＡＥ（自動露光）制御を行う。
【０１３０】
ＡＦ制御部２０６は、コントラスト算出部２０４によって算出されたＡＦ評価値に基づいて、ＡＦ（自動焦点）制御を行う。
【０１３１】
基準画像取得部２１１は、一時記憶部２０２に一時記憶されている複数フレームのスルー画像から、露光ムラが無い基準画像を取得する。基準画像取得の具体例は、後述する。
【０１３２】
輝度差算出部２１２は、撮影画像とスルー画像の基準画像との輝度差を算出する。算出された輝度差が所定の閾値（他者のカメラのフラッシュ光の入射による輝度増加を判定できる閾値）を超えているか否かにより、撮影画像にフラッシュ光による高輝度部分（露光ムラ）が生じていると判断できる。
【０１３３】
本例では、輝度算出部２０３により生成された、撮影画像の輝度データ及びスルー画像の基準画像の輝度データから、撮影画像と基準画像との輝度差を示す輝度差画像を生成する。
【０１３４】
変化エリア特定部２１３は、前記輝度差画像から輝度変化エリア（高輝度部分）を特定する。この場合、例えば、測光分割エリア単位で輝度変化エリアと特定する。
【０１３５】
画像補正部２１４は、撮影画像における輝度変化エリアの輝度を基準画像の対応するエリアの輝度との差分により補正する。
【０１３６】
記録制御部２１５は、補正された撮影画像をメモリカード４４に記録する。
【０１３７】
図１８は、第６実施形態における撮像制御処理の流れの一例を示すフローチャートである。本処理は、ＣＰＵ１０によりプログラムに従い実行される。
【０１３８】
ステップＳ１０２にて、スルー画像の取得を行う。ここで、撮像制御部２０１は、ＣＭＯＳセンサ２６を制御して複数フレームからなるスルー画像を取得し、一時記憶部２０２に一時記憶させる。また、基準画像取得部２１１は、一時記憶部２０２に記憶されているスルー画像から、露光ムラが無い基準画像を取得する。
【０１３９】
ステップＳ１０４にて、シャッタレリーズボタンが半押し（Ｓ１オン）であるか否かを判定する。シャッタレリーズボタンが半押し（Ｓ１オン）である場合にはステップＳ１０６に進み、半押しでない場合にはステップＳ１０２に戻る。
【０１４０】
ステップＳ１０６にて、ＡＥ制御を行う。ここで、ＡＥ制御部２０５は、図１のＡＥ／ＷＢ検出回路４２によって検出されたＡＥ評価値を取得し、適正な露光量を得るための露出設定を行う。本例では、感度、絞り値、シャッタ速度、及び、フラッシュ発光の要否を、設定する。
【０１４１】
ステップＳ１０８にて、ＡＦ制御を行う。ここで、ＡＦ制御部２０６は、コントラスト算出部２０４によって算出されたＡＦ評価値を取得し、そのＡＦ評価値が極大となるフォーカスレンズの位置をサーチして、被写体への焦点合わせを行う。
【０１４２】
ステップＳ１１０にて、シャッタレリーズボタンが全押し（Ｓ２オン）であるか否かを判定する。シャッタレリーズボタンが全押し（Ｓ２オン）である場合にはステップＳ１１２に進み、全押しでない場合にはステップＳ１０４に戻る。
【０１４３】
ステップＳ１１２にて、撮影画像の取得を行う。ここで、撮像制御部２０１は、ＣＭＯＳセンサ２６を制御して１フレーム分の撮影画像を取得し、一時記憶部２０２に一時記憶させる。
【０１４４】
ステップＳ１１４にて、輝度差算出部２１２は、スルー画像の基準画像の輝度と撮影画像の輝度とを比較する。基準画像は、ステップＳ１０２にて取得した露光ムラが無い画像である。
【０１４５】
例えば、図１６に示したように、撮影画像２５０と基準画像２５３とに基づいて、両画像の輝度の差分を示す輝度差画像２５４を作成する。具体的には、輝度算出部２０３を構成する画像信号処理回路３４により撮影画像及びスルー画像の輝度データがフレームごとに取得され、輝度差算出部２１２にて撮影画像とスルー画像の基準画像との輝度データの差分を示す輝度差画像２５４が生成される。
【０１４６】
ステップＳ１１６にて、基準画像と撮影画像との輝度変化の有無を判定する。輝度変化有りの場合、すなわち撮影画像中に輝度差部分が有る場合には、ステップＳ１１８に進む。輝度変化無し場合にはステップＳ１２２に進む。
【０１４７】
ステップＳ１１８にて、変化エリア特定部２１３は、撮影画像のうちで基準画像に対し輝度差を有する輝度変化エリア（補正対象エリア）を特定する。
【０１４８】
続いて、ステップＳ１２０にて、画像補正部２１４は、撮影画像における輝度変化エリアの輝度を、基準画像の対応するエリアの輝度との差分により補正する。
【０１４９】
このようにして輝度変化エリアから輝度差が取り除かれた記録対象の撮影画像が構成される。
【０１５０】
ステップＳ１２２にて、記録制御部２１５は、補正された撮影画像をメモリカード４４に記録する。記録の際、撮影画像のフォーマットは必要に応じて適宜変換される。
【０１５１】
次に、スルー画像の信頼性を高めるためのスルー画像取得処理について説明する。
【０１５２】
図１９は、スルー画像取得処理の一例を示す概略フローチャートである。
【０１５３】
ステップＳ１３１にて、スルー画像の第ｎフレーム（以下「スルー画像１」という）を一時記憶部２０２に記憶する。ｎの初期値は「１」である。ステップＳ１３２にて、スルー画像の第ｎ＋１フレーム（以下「スルー画像２」という）を一時記憶部２０２に記憶する。ステップＳ１３３にて、スルー画像１と２との輝度差が閾値以下であるか否かを判定する。スルー画像１と２との輝度差が閾値以下である場合には、ステップＳ１３４にて、スルー画像１を基準画像として採用する。スルー画像１と２との輝度差が閾値を越える場合には、ステップＳ１３５にて、スルー画像の第ｎ＋２フレーム（以下「スルー画像３」という）を一時記憶部２０２に記憶する。ステップＳ１３６にて、スルー画像２とスルー画像３との輝度差が閾値以下であるか否かを判定する。スルー画像２と３との輝度差が閾値以下である場合には、ステップＳ１３７にて、スルー画像２を基準画像として選択する。スルー画像２と３との輝度差が閾値を越える場合には、ステップＳ１３８にて、スルー画像１と２と３の輝度の平均値を算出して、１フレームの合成スルー画像を作成し、合成スルー画像を基準画像として採用して一時記憶部２０２に記憶する。算出した輝度の平均値は、基準画像の輝度として一時記憶部２０２に記憶し、撮影画像と基準画像との輝度差算出に用いる。
【０１５４】
図２０は、スルー画像取得処理の他の例を示す概略フローチャートである。
【０１５５】
ステップＳ１４１にて、スルー画像の第ｎフレーム（スルー画像１）を一時記憶部２０２に記憶する。ｎの初期値は「１」である。ステップＳ１４２にて、スルー画像の第ｎ＋１フレーム（スルー画像２）を一時記憶部２０２に記憶する。ステップＳ１４３にて、スルー画像の第ｎ＋２フレーム（スルー画像３）を一時記憶部２０２に記憶する。ステップＳ１４４にて、スルー画像１と２と３の輝度の平均値を算出して、１フレームの合成スルー画像を作成し、その合成スルー画像を基準画像として採用して、一時記憶部２０２に記憶する。
【０１５６】
１フレームの合成スルー画像は、例えば、互いに隣接する複数フレーム（本例ではスルー画像１、２、３）間の輝度平均値を、１フレームの合成元画像（例えばスルー画像３）に対し設定することで、容易に生成できる。連続的に生成した複数フレームの合成スルー画像を、ＬＣＤ４０に連続的に表示することで、ユーザに対し露光ムラの無いスルー画像を提示することができる。
【０１５７】
例えば、ＣＭＯＳセンサ２６から出力されたＲＧＢ信号を、画像信号処理回路３４によって、輝度データ（Ｙデータ）及び色差データ（Ｃｒ、Ｃｂデータ）に変換し、各画素ごとに複数フレーム間の輝度の平均値を算出する。このようにして得られた各画素ごとの輝度の平均値から成る新たな輝度データ（Ｙデータ）と、色差データ（Ｃｒ、Ｃｂデータ）とにより、合成スルー画像が構成される。
【０１５８】
次に、第７実施形態における撮像装置及び撮像制御方法について説明する。
【０１５９】
図２１に示すように、他者のカメラのフラッシュ光が主要被写体の近傍で発光された場合、ローリングシャッタ方式特有の露光ムラが、撮影画像にて単純な上下分離となって現われないことがある。例えば、図２２に示すように、撮影画像２６０にて、近距離の主要被写体部分２６１に露光ムラが現われ、遠距離の壁部分２６２には露光ムラが現われない。
【０１６０】
図２１のシーンにて、壁は他者のカメラから遠く離れていたためフラッシュ光の影響が薄かった。このように、ローリングシャッタ方式に因る露光ムラは、発光部から近距離ほど影響が大きく、発光部から遠距離ほど影響が小さい。また、主要被写体は撮影者本人から近距離である確率が高く、撮影者本人の周辺又は後ろから他者のカメラのフラッシュ光が発光される場合が問題となる。そこで、本実施形態では、撮影画像を二次元状に複数の分割エリアに分割し、被写体距離が小さい近距離の分割エリアほど補正の重みを上げて、被写体距離が大きい遠距離の分割エリアほど補正の重みを下げる。
【０１６１】
図２３は、第７実施形態における撮像装置２００ｂ（図１のデジタルカメラ１）の要部ブロック図である。尚、図１７に示した第１実施形態の撮像装置２００ａと同じ構成要素には同じ符号を付してある。以下では、第６実施形態と異なる事項のみ説明する。
【０１６２】
本例では、図２５（Ｂ）に示すように、水平方向Ｘ及び垂直方向Ｙの二次元にて撮影画像を複数の分割エリアに分割する。分割エリアの数は特に限定されないが、前述したように測光分割エリア（１６×１６の分割エリア）にすることで、各エリア毎の分割測光値を輝度補正にそのまま利用することができる。
【０１６３】
被写体距離検出部２２１は、各分割エリア毎に被写体距離を検出する。本例の被写体距離検出部２２１は、オートフォーカス時におけるフォーカスレンズ位置及びＡＦ評価値に基づいて、各分割エリア毎に被写体距離を検出する。オートフォーカス時、ＡＦ制御部２０６は、フォーカスレンズを最短撮影距離に合焦するフォーカスレンズ位置から無限遠に合焦するフォーカスレンズ位置までフォーカスレンズを移動させる。ＡＦ評価値は、コントラスト算出部２０４により、分割エリア毎に算出される。ＡＦ制御部２０６は、オートフォーカス時、各分割エリア毎にコントラストが最大になるフォーカスレンズ位置を検出する。被写体距離検出部２２１は、ＡＦ制御部２０６にて検出された各分割エリア毎のコントラスト最大となるフォーカスレンズ位置に基づいて、各分割エリア毎の被写体距離を算出する。
【０１６４】
尚、各分割エリア毎の被写体距離検出の態様は、前述のように画像のコントラストにより検出する場合に限定されない。例えば、被写体距離を直接的に検出するハードウェアセンサ（例えば距離画像センサ）を用いてもよい。
【０１６５】
エリア分類部２２２は、分割エリア毎の被写体距離に基づいて、二次元にて分割した分割エリアを、輝度差の補正を行う補正実施エリアと、輝度差の補正を行わない補正非実施エリアとに分類する。分割エリア毎の輝度差（撮影画像と基準画像との輝度差）の大小に基づいてエリア分けを実施してもよい。本実施形態の画像補正部２１４は、補正実施エリアのみ輝度差の補正を実施する。
【０１６６】
補正係数算出部２２３は、分割エリア毎に被写体距離に基づいて輝度差に掛ける補正係数を算出する。
【０１６７】
図２４は第７実施形態における撮像制御処理の流れの一例を示すフローチャートである。本処理は、ＣＰＵ１０によりプログラムに従い実行される。
【０１６８】
ステップＳ１５２〜Ｓ１６６は、第６実施形態における図１８のステップＳ１０２〜Ｓ１１６と同様であるため、その説明は省略する。
【０１６９】
但し、本例では、ステップＳ１５８のＡＦ制御時に、被写体距離検出部２２１により、各分割エリア毎の被写体距離を検出する。
【０１７０】
図２５（Ａ）に示すように撮影画像２７１とスルー画像の基準画像２７２とで輝度変化が有る場合、ステップＳ１６８にて、エリア分類部２２２により、各分割エリア毎の被写体距離に基づいて分割エリアのエリア分けを行う。
【０１７１】
本例では、各分割エリアの被写体距離を遠近判別用の閾値と比較して、図２５（Ｂ）に示すように、被写体距離が閾値以下である近距離の分割エリア２７６を補正実施エリアに分類し、被写体距離が閾値よりも大きい遠距離の分割エリア２７７を補正非実施エリアに分類する。少なくとも無限遠距離と判断される分割エリアは、露光ムラの発生確率が極めて低いので、補正非実施エリアに分類する。無限遠距離と判断される被写体にフラッシュ光が届くことは無いからである。補正実施エリアを２以上のグループに分類してもよい。
【０１７２】
ステップＳ１７０にて、エリア分類部２２２により、輝度変化の大きいエリアを特定する。
【０１７３】
本例では、各分割エリア毎の輝度差（撮影画像とスルー画像の基準画像との輝度差）にも基づいてエリア分けを行う。
【０１７４】
例えば、ステップＳ１６８及びステップＳ１７０の処理にて、被写体距離が遠近判別用の閾値以下であって、且つ、輝度差が輝度差大小判別用の閾値を超える分割エリアを補正実施エリアに分類する一方で、被写体距離が遠近判別用の閾値よりも大きいか、または、輝度差が輝度差大小判別用の閾値以下である分割エリアを補正非実施エリアに分類する。
【０１７５】
ステップＳ１７２にて、補正係数算出部２２３により、分割エリア毎に、被写体距離に基づいて、補正の重みを示す補正係数を算出する。即ち、輝度差に掛ける各分割エリア毎の補正係数を、各分割エリア毎の被写体距離に基づいて算出する。
【０１７６】
本例では、被写体距離が特定範囲内である分割エリアを最重要とし、被写体距離が大きい分割エリアほど補正係数を小さくしていく。例えば、被写体距離に反比例する補正係数を割り振る。つまり、輝度差が同じであれば、被写体距離が大きい分割エリアほど、補正係数が小さくなる。画像補正部２１４は、補正係数が小さいほど輝度差に対する補正量を小さくする。本例の場合、輝度差×補正係数が補正量である。
【０１７７】
ステップＳ１７４にて、画像補正部２１４により、撮影画像の輝度差を補正する。
【０１７８】
本例では、エリア分類部２２２により決定された補正実施エリアのみ補正を実施する。また、補正係数算出部２２３により算出された補正係数が小さい分割エリアほど補正量を小さくして補正を行う。
【０１７９】
図２５（Ｃ）は、撮影画像２７１とスルー画像の基準画像２７２との輝度差画像２７８を示す。この輝度差画像２７８は、補正係数で重み付けされている。つまり、補正実施エリア内の各画素値（各画素ごとの輝度差を示す）に対し、補正係数が掛けられている。補正非実施エリアの補正係数は０に設定されている。
【０１８０】
撮影画像の補正実施エリアにて、ステップＳ１７２で重み付けされた輝度差の分だけ、撮影画像の輝度が減算されることで、露光ムラの無い撮影画像が得られる。
【０１８１】
ステップＳ１７６は、第６実施形態におけるステップＳ１２４と、同様である。
【０１８２】
尚、被写体距離に基づく重み付けとして、補正係数を変える場合を例に説明したが、本発明はこのような場合に特に限定されない。
【０１８３】
例えば、エリア分類部２２２により、補正の有無を判定するための分割エリア毎の閾値を、被写体距離に応じて変えるようにしてもよい。
【０１８４】
被写体距離に基づいて補正の優先度又は重みを付ける態様についてまとめると、次の通りである。
【０１８５】
第１に、エリア分類部２２２は、被写体距離が遠近判別用の閾値よりも大きい分割エリアを、補正非実施エリアと判別する。無限遠距離と判断された分割エリアのみを補正非実施エリアと判別してもよい。画像補正部２１４は、補正非実施エリアにおける輝度の補正を行わない。
【０１８６】
第２に、補正係数算出部２２３は、被写体距離が大きい分割エリアほど、輝度差に対して小さな補正係数を算出する。画像補正部２１４は、補正係数が小さい分割エリアほど補正量を小さくする。例えば、輝度差と補正係数との積を、撮影画像の補正実施エリアにおける輝度の補正量とする。
【０１８７】
第３に、エリア分類部２２２は、被写体距離が大きい分割エリアほど、輝度差大小判別用の閾値を大きくし、輝度差（撮影画像と基準画像との輝度差）が輝度差大小判別用の閾値以下である分割エリアを、補正非実施エリアと判別する。画像補正部２１４は、補正非実施エリアにおける輝度の補正を行わない。
【０１８８】
これら第１から第３の態様は、それぞれ単独で実施しても組み合わせて実施してもよいことは、言うまでもない。
【０１８９】
本実施形態では、近距離から発光する外光に因る輝度変化の発生確率が高い近距離エリアを重点的に補正することで、近距離にある確立が高い主要被写体の露光ムラを確実に低減することができる。その一方で、遠距離エリアに予期せぬ物体が入り込んで輝度差が生じても補正しない。つまり、分割エリア毎の被写体距離により重み付けを行うことで、過補正を防止して的確に補正することができる。
【０１９０】
以上、撮像装置としてデジタルカメラを例に説明したが、本発明は、カメラ付き携帯電話など各種の撮像装置に適用できる。
【０１９１】
［その他］
他者のフラッシュ発光等に起因する面内露光ムラであって、露光ムラが縞模様になるような各ラインの露光／読出しの制御は、この実施形態に限定されず、種々の態様が考えられ、要は最初のラインから最後のラインまで順番に露光／読出しをずらすのではなく、周期的に隣接するライン間で露光／読出しに大きな時間差が生じるように制御するものであれば、如何なる制御でもよい。
【０１９２】
また、このような露光／読出しにより生成される画像は、最初のラインから最後のラインまで順番に露光／読出しをずらす従来方式に比べて、動く被写体の画像の歪み（ローリング歪み）が緩和されるという効果がある。
【０１９３】
露光ムラが検出された場合の警告は、ＬＣＤ４０による警告表示に限らず、音声による警告や音声と文字とを併用した警告でもよい。
【０１９４】
また、本発明は自らフラッシュ発光して撮像する場合にも適用できる。この場合には、全てのラインの露光期間中に均等にフラッシュ光が入射するように１フレームの露光期間とフラッシュの発光タイミングを制御する必要がある。
【０１９５】
本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１９６】
１…撮像装置（デジタルカメラ）、１０…ＣＰＵ、１２…操作部、１４…ＲＡＭ、１６…ＲＯＭ、２０…フラッシュ発光部、２２…レンズユニット、２６…ＣＭＯＳセンサ、２８…タイミングジェネレータ（ＴＧ）、３２…Ａ／Ｄ変換器、３４…画像信号処理回路、３６…圧縮伸張処理回路、４０…液晶ディスプレイ（ＬＣＤ）、４２…ＡＥ／ＷＢ検出回路、４３…ＡＦ検出回路、４４…メモリカード
【図１】
2011015222.tif 000003
【図２】
2011015222.tif 000004
【図３】
2011015222.tif 000005
【図４】
2011015222.tif 000006
【図５】
2011015222.tif 000007
【図６】
2011015222.tif 000008
【図７】
2011015222.tif 000009
【図８】
2011015222.tif 000010
【図９】
2011015222.tif 000011
【図１０】
2011015222.tif 000012
【図１１】
2011015222.tif 000013
【図１２】
2011015222.tif 000014
【図１３】
2011015222.tif 000015
【図１４】
2011015222.tif 000016
【図１５】
2011015222.tif 000017
【図１６】
2011015222.tif 000018
【図１７】
2011015222.tif 000019
【図１８】
2011015222.tif 000020
【図１９】
2011015222.tif 000021
【図２０】
2011015222.tif 000022
【図２１】
2011015222.tif 000023
【図２２】
2011015222.tif 000024
【図２３】
2011015222.tif 000025
【図２４】
2011015222.tif 000026
【図２５】
2011015222.tif 000027
【図２６】
2011015222.tif 000028
【図２７】
2011015222.tif 000029
【図２８】
2011015222.tif 000030