(57)【要約】【課題】  フラッシュ撮影した場合に、フラッシュ装置のハード要因、撮影環境、ノイズやＳ／Ｎ比などの画質劣化要因に左右されずに、適切な明るさの画像を得ること。【解決手段】  入射する光を光電変換して蓄積した電荷を、画像信号として出力する撮像素子（８）と、閃光を発光するフラッシュ（１８）と、前記フラッシュが、１回、閃光している間に、複数回、前記撮像素子に電荷の蓄積及び画像信号の出力を連続して繰り返すように制御する撮像素子駆動部（１４）と、前記撮像素子から出力された複数回分の画像信号を記憶する記憶装置（２２）と、前記記憶装置に記憶された複数回分の画像信号から、加算することにより目標の輝度の画像信号となる画像信号を選択する選択手段（１６、１７）と、前記選択手段により選択された画像信号を加算するデジタル信号処理部（１１）とを有する。【選択図】  図１
2009118263.tif 000002
【特許請求の範囲】
【請求項１】
入射する光を光電変換して蓄積した電荷を、画像信号として出力する撮像手段と、
閃光を発光する閃光手段と、
前記閃光手段が、１回、閃光している間に、複数回、前記撮像手段に電荷の蓄積及び画像信号の出力を連続して繰り返すように制御する制御手段と、
前記撮像手段から出力された複数回分の画像信号を記憶する記憶手段と、
前記記憶手段に記憶された複数回分の画像信号から、加算することにより目標の輝度の画像信号となる画像信号を選択する選択手段と、
前記選択手段により選択された画像信号を加算する加算手段と
を有することを特徴とする撮像装置。
【請求項２】
前記選択手段は、前記加算する画像信号として、同じ画像信号を複数回、加算するように選択することが可能であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択手段は、前記撮像手段から出力された順に画像信号を選択し、前記加算手段は、前記選択手段により画像信号が選択される度に加算を行い、前記加算手段により加算して得られた画像信号が前記目標の輝度に達した場合に、前記選択手段は画像信号の選択を停止することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記選択手段は、前記複数回分の画像信号の内、白飛びが発生している画像信号を選択の対象から外すことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記目標の輝度を入力する操作手段を更に有し、
前記選択手段は、前記操作手段を介してユーザ入力された前記目標の輝度となるように画像信号を選択することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
ユーザ入力により加算する画像信号を選択するための操作手段を更に有し、
前記加算手段は、前記操作手段により選択された画像信号を加算することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
前記制御手段は、前記閃光手段の発光直前に、電荷の蓄積及び画像信号の出力を行うように前記撮像手段を制御し、
前記加算手段は、前記閃光手段の発光直前に得られた画像データを、前記加算した画像信号から差し引く
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
入射する光を光電変換して蓄積した電荷を、画像信号として出力する撮像手段と、閃光を発光する閃光手段とを有する撮像装置の制御方法であって、
前記閃光手段が、１回、閃光している間に、複数回、前記撮像手段に電荷の蓄積及び画像信号の出力を連続して繰り返す撮像工程と、
前記撮像工程で出力された複数回分の画像信号を記憶する記憶工程と、
前記記憶工程で記憶された複数回分の画像信号から、加算することにより目標の輝度の画像信号となる画像信号を選択する選択工程と、
前記選択工程で選択された画像信号を加算する加算工程と
を有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びその制御方法に関し、更に詳しくは、フラッシュ撮影を行う撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来の撮像装置において、フラッシュ撮影を行う際に、撮像する被写体の明るさを適正にするため、被写体からのフラッシュ光の反射光量を測光し、適正露出に達した瞬間にフラッシュ光の発光を停止するフラッシュ発光制御方法がある。このように制御することで適正な明るさの画像を生成することができる。
【０００３】
また、撮像する被写体に対する適切なフラッシュ光の発光量を決定するために、本発光の直前に予備発光を行うフラッシュ発光制御方法が知られている。この方法では、予備発光時に撮像素子から得られた被写体の輝度データと、予備発光直前に得られた輝度データとを比較して、フラッシュ光の本発光量を算出して発光させる。
【０００４】
後者は、前者に比べ、被写体からの反射光量を測定する測光センサ、フラッシュ発光停止回路などが必要がなく、また、ＣＭＯＳセンサ等の撮像素子から得られる輝度データによりフラッシュ光の発光量を制御することができる。このように、安定したフラッシュ撮影が可能であるため、多くの撮像装置で使用されている。
【０００５】
しかしながら、本発光の直前に予備発光を行うことで、被写体に対する適切な発光量を決定するフラッシュ発光制御方法では、以下の問題があった。即ち、予備発光の際に被写体に照射されるフラッシュ光が支配的な場合には有効であるが、予備発光時に撮像素子から得られる輝度データにより発光量を制御するため、予備発光時の周囲の環境（撮影環境）による影響を大きく受けてしまう。例えば、フラッシュ光以外の蛍光灯などの光源が撮像範囲内に写り込んでいる場合、その光源の輝度データも取り込まれてしまう。そのため、撮像素子から得られる予備発光時の輝度データの値が本来適正となるべき値よりも大きくなり、物体が近距離に存在すると誤認識してしまい、フラッシュ光の本発光量が低く算出され、十分な明るさが得られないことがある。
【０００６】
そこで、周囲の環境による影響を低減するため、以下のフラッシュ発光制御方法が提案されている。この方法では、先ず、撮像素子に蓄積された電荷（画像信号）を、予備発光直前に読み出す。そして、予備発光を行って読み出した画像信号から、予備発光直前に読み出した画像信号を引くことにより、予備発光が行われている間に蓄積された被写体からの反射光量に対応する画像信号のみを得る。この反射光量に対応する画像信号用いて、本発光量を算出する（例えば、特許文献１参照）。
【０００７】
一方、上記の問題に加え、撮像装置の小型化により、フラッシュ装置のガイドナンバー（ＧＮ）が小さくなる傾向がある。それに伴い発光量が小さくなるため、予備発光で被写体から反射される光量も低くなる。結果として算出した、本発光量を発光することができず、光量不足になることがある。そこで、被写体の明るさが適正であることを示す輝度目標値を設定し、フラッシュ撮影後、光量不足と判断された場合にゲイン調整回路によりゲインをかけることで、不足分の明るさを補う制御方法が提案されている（例えば、特許文献２参照）。この方法によれば、被写体の明るさを補正するだけではなく、画像間の明るさのばらつきも抑えることができる。
【０００８】
【特許文献１】特開２００６−２６１７３４号公報
【特許文献２】特開２００６−２６２１７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載された方法でも、撮影環境下に存在する光源の影響を完全に取り除くことは困難である。また、キセノン管などフラッシュ装置の固体差により、発光量にばらつきがあるため、生成される画像の明るさにおいても、ばらつきが生じてしまう。
【００１０】
一方、特許文献２に記載された方法では、光量が足りないほど、ゲインをより高く設定するため、よりノイズが増加し、Ｓ／Ｎ比が通常のフラッシュ撮影時に比べて落ちてしまう。
【００１１】
上記のように、従来の方法では、フラッシュ装置のハード要因、撮影環境、ノイズやＳ／Ｎ比などの画質劣化要因に左右されずにフラッシュ撮影時の明るさを適正にすることは困難であった。
【課題を解決するための手段】
【００１２】
本発明は上記問題点を鑑みてなされたものであり、本発明の撮像装置は、入射する光を光電変換して蓄積した電荷を、画像信号として出力する撮像手段と、閃光を発光する閃光手段と、前記閃光手段が、１回、閃光している間に、複数回、前記撮像手段に電荷の蓄積及び画像信号の出力を連続して繰り返すように制御する制御手段と、前記撮像手段から出力された複数回分の画像信号を記憶する記憶手段と、前記記憶手段に記憶された複数回分の画像信号から、加算することにより目標の輝度の画像信号となる画像信号を選択する選択手段と、前記選択手段により選択された画像信号を加算する加算手段とを有する。
【００１３】
また、入射する光を光電変換して蓄積した電荷を、画像信号として出力する撮像手段と、閃光を発光する閃光手段とを有する撮像装置の本発明の制御方法は、前記閃光手段が、１回、閃光している間に、複数回、前記撮像手段に電荷の蓄積及び画像信号の出力を連続して繰り返す撮像工程と、前記撮像工程で出力された複数回分の画像信号を記憶する記憶工程と、前記記憶工程で記憶された複数回分の画像信号から、加算することにより目標の輝度の画像信号となる画像信号を選択する選択工程と、前記選択工程で選択された画像信号を加算する加算工程とを有する。
【発明の効果】
【００１４】
本発明によれば、フラッシュ撮影した場合に、フラッシュ装置のハード要因、撮影環境、ノイズやＳ／Ｎ比などの画質劣化要因に左右されずに、適切な明るさの画像を得ることができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１６】
図１は、本発明の実施の形態に係る撮像装置１００の概略構成の一例を示すブロック図である。図１において、１は、撮像装置１００外部から入射した光を撮像装置１００内部に導くレンズである。通常、レンズ１は複数のレンズの組み合わせにより構成されるが、図１では簡略的に１枚のレンズで表している。２は入射光量を調整する絞り、３は絞り２を駆動させる絞り駆動モータ、４は絞り２の駆動状態を検出する絞り状態検出部である。
【００１７】
５はＮＤフィルター、６はＮＤフィルター５を駆動させるＮＤフィルター駆動モータ、７はＮＤフィルター５の駆動状態を検出するＮＤフィルター駆動検出部である。なお、本実施の形態ではＮＤフィルター５を有する構成を示すが、ＮＤフィルター５を含まない構成であってもよい。
【００１８】
８は、入射光を光電変換して得られた電荷を蓄積し、蓄積した電荷を出力することにより被写体の撮像を行う、複数の画素から成る撮像素子である。本実施の形態の撮像素子８は、１回のフラッシュ発光中に複数回、電荷蓄積及び出力を連続して行う高速読み出しが可能なＣＭＯＳセンサ等の撮像素子で構成されている。なお、撮像素子８はＣＭＯＳセンサに限るものではなく、高速読み出しが可能であれば、他の種類の撮像素子であっても構わない。また、撮像素子８には、行方向または列方向の何れかの方向に複数画素を接続した読み出しラインを、列方向または行方向に複数並べて構成されており、各読み出しラインを介して各画素の電荷（画像信号）が画像データとして読み出されるようになっている。
【００１９】
９は、撮像素子８の各画素に蓄えられた電荷（画像信号）に基づく画像データをサンプリング及び増幅するためのＣＤＳ（相関二重サンプリング）／ＡＧＣ（自動利得調整）回路である。１０は、ＣＤＳ／ＡＧＣ回路９から出力される画像データをデジタル信号に変換するＡ／Ｄ変換器、１１は、Ａ／Ｄ変換器１０から出力されたデジタル画像データに対して種々の信号処理を行うデジタル信号処理部である。本実施の形態では、デジタル信号処理部１１が後述する画像データの加算処理を行う機能を有する。
【００２０】
１２は、本実施の形態の撮像装置１００における動作を統括的に制御するマイクロコンピュータであり、例えば、デジタル信号処理部１１からの輝度・色等の情報を受けて、各種の演算処理を行うための制御信号を出力する。１３は、マイクロコンピュータ１２による制御に基づき、絞り駆動モータ３へ電力の供給を行う絞り機構駆動部である。１４は、マイクロコンピュータ１２による制御に基づき、撮像素子８を駆動するための駆動パルス等を供給する撮像素子駆動部である。１５は、マイクロコンピュータ１２による制御に基づき、ＮＤフィルター駆動モータ６へ電力の供給を行うＮＤフィルター機構駆動部である。
【００２１】
１６は、マイクロコンピュータ１２から送られるデジタルの画像データに基づいて輝度データを検波する輝度情報検波部、１７は、輝度情報検波部１６で検波した輝度データに対して演算処理を行う輝度情報演算部である。
【００２２】
１８は、被写体に対して閃光を発するフラッシュ（閃光手段）、１９は、フラッシュ１８による閃光の発光を制御するフラッシュ発光制御部である。２０は、マイクロコンピュータ１２から送られる演算された輝度データの結果を用いて、フラッシュ１８の発光量やその発光タイミング等を演算処理するフラッシュ発光演算部である。
【００２３】
２１は、撮像装置１００で撮像された画像データを記録する記録媒体、２２は、撮像素子８から複数回の高速読み出しで出力された画像信号を一時的に記憶可能な記憶容量を有する記憶装置である。
【００２４】
また、２３は、撮影準備及び撮影を指示するシャッターボタンを含む操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。シャッターボタンの第１ストローク（例えば半押し）により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の撮影準備が指示される。また、シャッターボタンの第２ストローク（例えば全押し）により、一連の撮影処理の動作開始が指示される。
【００２５】
次に、本実施の形態における撮像装置１００の撮影処理方法について、図２を参照して説明する。
【００２６】
まず、ステップＳ１０１において、操作部２３のシャッターボタン操作により、撮影準備が指示されたかどうかを判断する。撮影準備が指示されると、ステップＳ１０２に進み、公知の方法を用いて、焦点調節、測光、ホワイトバランス制御を行う。そして、ステップＳ１０３で、ステップＳ１０２における測光結果に基づいて、フラッシュが必要であるかどうかを判断する。フラッシュが必要でなければステップＳ１０５へ進み、必要と判断された場合には、ステップＳ１０４でフラッシュ１８を充電する。
【００２７】
そして、ステップＳ１０５において、操作部２３のシャッターボタン操作により撮影が指示されるまで待ち、撮影が指示されると、ステップＳ１０６においてフラッシュ撮影を行うかどうかを確認する。フラッシュ撮影を行わない場合には、ステップＳ１１０に進んで、公知の方法によりフラッシュ１８を使用せずに通常の撮影を行い、ステップＳ１１１において、撮影して得られた画像データを記録媒体２１に記録し、撮影処理を終了する。
【００２８】
一方、フラッシュ撮影を行うと判断された場合には、ステップＳ１０７において、マイクロコンピュータ１２は、撮像素子駆動部１４を制御して撮像素子８の駆動パルスを高速に設定し、読み出し速度を高速にする。本実施の形態における高速な読み出し速度とは、具体的には、１回のフラッシュ発光中に複数回の電荷蓄積及び読み出しを連続的に行うことのできる速度のことである。
【００２９】
続いて、ステップＳ１０８において、フラッシュ発光制御部１９は、フラッシュ１８が最大発光量で発光するように制御を行う。同時に撮像素子駆動部１４は撮像素子８を制御し、１回のフラッシュ発光中に撮像素子８を高速駆動し、画像信号を複数回、連続して読み出す。このように高速撮影により読み出した複数回分の画像信号は、ＣＤＳ／ＡＧＣ回路９でサンプリング及び増幅され、Ａ／Ｄ変換器１０によりデジタルの画像データに変換されて、デジタル信号処理部１１へ送られる。デジタル信号処理部１１では、Ａ／Ｄ変換器１０から出力された画像データに対して種々の信号処理を行ってから、画像データを記憶装置２２に一時的に蓄積する。これにより、複数画像分の画像データが記憶装置２２に蓄積される。
【００３０】
その後、ステップＳ１０９において、マイクロコンピュータ１２は記憶装置２２に蓄積された各画像データの輝度データを輝度情報検波部１６により検波する。更に、マイクロコンピュータ１２は、輝度情報演算部１７により演算した輝度データの値を基に、記憶装置２２上に蓄積されている複数画像分の画像データから、加算処理に使用する画像データの組み合わせを選択する。なお、ここで行われる組み合わせの選択方法については、詳細に後述する。そして、選択された画像データをデジタル信号処理部１１で加算処理することで最終画像データを生成し、この生成された画像データをステップＳ１１１において記録媒体２１に記録して、撮影処理を終了する。
【００３１】
次に、ステップＳ１０９で行われる画像データの選択方法について、図３及び図４を参照して説明する。
【００３２】
上述したように、フラッシュ１８を使用して撮影を行う際、撮像素子駆動部１４からの駆動パルスを高速に設定することで、１回のフラッシュ発光中に複数回の撮像素子８の電荷蓄積及び読み出しを可能にする。ここでは一例として、駆動パルスを高速にした場合に撮像素子８の１回の撮影に要する露光時間を１/６００秒とし、１回のフラッシュ発光にかかる時間を１／６０秒とする。この場合、図３に示すように、１回のフラッシュ発光中に、１０枚分の画像の画像データを得ることができる。
【００３３】
１０枚分の画像の画像データそれぞれの輝度は、図３に示すようにフラッシュ１８の発光量が時間と共に変化するため、画像データ毎にそれぞれ異なる。
【００３４】
そこで、図４（ｂ）に示すように、最終的に出力する画像の明るさの目標となる輝度目標値を予め設定しておき、その輝度目標値と輝度データとを比較する。そして、記憶装置２２上に蓄積された画像データの中から、マイクロコンピュータ１２は画像データの輝度値を輝度情報検波部１６により解析し、得られた輝度値を用いて輝度情報演算部１７により輝度目標値に達する画像データの組み合わせを選択する。図４（ａ）に示す例では、１、３、７枚目の画像データを選択した場合を示している。この組み合わせの画像データをデジタル信号処理部１１により加算処理することで、目標とした輝度値の最終画像を生成する。
【００３５】
また、記憶装置２２には撮像した複数画像分の画像データが蓄積されているため、撮影後に、ユーザが好みの明るさの画像を生成するように、例えば、操作部２３を用いてマニュアルによるユーザ入力で加算する画像データを選択するように構成してもよい。また、ユーザが好みの目標輝度値を設定することができるように構成してもよい。
【００３６】
なお、フラッシュ１８は最大発光量で発光を行うため、図４（ａ）のような輝度値を有する複数枚の画像の画像データの中から、加算処理に使用する画像データを選択することで輝度目標値に近い輝度を有する画像を生成することが可能である。
【００３７】
しかし、フラッシュのＧＮが小さい場合等には、最大発光量で発光を行っても明るさが不足することがある。この場合、記憶装置２２上に蓄積されたすべての画像データを加算しても、輝度目標値に達しない。また、異なる画像データを加算した場合に、輝度目標値の画像データを得ることができないこともある。そのような場合には、図５に示すように、同じ画像データを複数回加算することで、記憶装置２２上に存在しない輝度値の画像データを生成することが可能である。
【００３８】
上記の通り本実施の形態によれば、フラッシュ撮影を行う際に、常に最大発光量でフラッシュ１８を発光させ、その間に高速撮影された複数枚分の画像データを選択的に加算して、目標とする輝度の画像データを得る。これにより、予備発光を用いた場合に生じていた、撮影環境によるフラッシュの発光量算出の誤差に影響を避けることができると共に、ＧＮが小さいフラッシュ装置においても適正な明るさの画像を得ることが可能となる。また、本実施の形態では、加算処理により明るさを大きくするため、従来のフラッシュ撮影時のように画像を明るくするためにゲインを上げる必要がないため、ノイズを軽減することができる。
【００３９】
なお、上記のように加算する画像データを選択してから加算する他に、撮影した順に加算してもよい。その場合、輝度情報演算部１７により、輝度情報検波部１６で検波された輝度データと、予め設定されている輝度目標値との差分を算出し、その差分がなくなるまで、デジタル信号処理部１１は記憶装置２２上に蓄積されている画像データを加算していく。
【００４０】
また、本実施の形態では、フラッシュ１８を常に最大発光量で発光するため、近距離に存在する被写体が白飛びしてしまう可能性がある。この問題に対しては、撮像した画像データを輝度情報検波部１６、輝度情報演算部１７により解析し、白飛びが発生している画像データを使用しない、すなわち、加算処理の対象から外すことで、白飛びを抑えることができる。
【００４１】
なお、本実施形態においては、最大発光量にてフラッシュ１８を発光させているが、これに限られるわけではない。外付けストロボなど、発光量が大きなフラッシュを用いて十分な発光量が見込まれるときには、必ずしも最大発光量にて撮影を行う必要はない。
【００４２】
また、本実施の形態では、分かりやすく表現するために、図１では各構成要素が全て独立した回路により構成された場合を示しているが、全ての構成またはその一部をマイクロコンピュータ１２内に構成するようにした形態であってもよい。
【００４３】
＜変形例＞
上述した方法では、加算処理によりフラッシュ撮影時のノイズが増幅される場合がある。そのため、図６に示すように、フラッシュ発光直前に画像データを読み出し、フラッシュ発光中の撮像した画像データとの差分を取ることで固定ノイズを軽減することが可能である。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施の形態における撮像装置の概略構成の一例を示すブロック図である。
【図２】本発明の実施の形態における撮像装置の撮影処理を示すフローチャートである。
【図３】本発明の実施の形態におけるフラッシュ光の時間変化と、高速読み出しの時間的な対応を示す図である。
【図４】本発明の実施の形態における複数画像分の画像データから、輝度目標値となるように加算処理を行うための画像データの組み合わせの選択例を示す図である。
【図５】本発明の実施の形態における複数画像分の画像データから、輝度目標値となるように加算処理を行うための画像データの別の組み合わせの選択例を示す図である。
【図６】本発明の変形例における、複数画像分の画像データから、輝度目標値となるように加算処理を行うための組み合わせの選択例を示す図である。
【符号の説明】
【００４５】
１：レンズ
２：絞り
３：絞り駆動モータ
４：絞り状態検出部
５：ＮＤフィルター
６：ＮＤフィルター駆動モータ
７：ＮＤフィルター駆動検出部
８：撮像素子
９：ＣＤＳ／ＡＧＣ回路
１０：Ａ／Ｄ変換器
１１：デジタル信号処理部
１２：マイクロコンピュータ
１３：絞り機構駆動部
１４：撮像素子駆動部
１５：ＮＤフィルター機構駆動部
１６：輝度情報検波部
１７：輝度情報演算部
１８：フラッシュ
１９：フラッシュ発光制御部
２０：フラッシュ発光演算部
２１：記録媒体
２２：記憶装置
２３：操作部
１００：撮像装置
【図１】
2009118263.tif 000003
【図２】
2009118263.tif 000004
【図３】
2009118263.tif 000005
【図４】
2009118263.tif 000006
【図５】
2009118263.tif 000007
【図６】
2009118263.tif 000008