(57)【要約】【課題】本発明は、暗い背景と主要被写体との双方が良好に表現された画像を取得することができ、しかも手ブレや被写体ブレの影響を受けにくい撮像方法及び撮像装置を提供することを目的とする。【解決手段】本発明の撮像方法は、連続した複数の撮影（Ｓ４，Ｓ５）を行い、それらの撮影で取得した画像を合成する撮像方法であって、前記複数の撮影の１つ（Ｓ４）は、定常光撮影を行って得られた画像信号に対して画素加算処理を施すものであり、前記複数の撮影の他の１つ（Ｓ５）は、ストロボ光撮影を行って画像信号を得るか、或いは、ストロボ光撮影を行って得られた画像信号に対し前記定常光撮影よりも少ない画素加算数の画素加算処理を施すものであり、前記２回の撮影で取得した画像を同一画素数に変換してから前記合成を行う（Ｓ６）ことを特徴とする。【選択図】      図２
2007049374.tif 000002
【特許請求の範囲】
【請求項１】
連続した複数の撮影を行い、それらの撮影で取得した画像を合成する撮像方法であって、
前記複数の撮影の１つは、定常光撮影を行って得られた画像信号に対して画素加算処理を施すものであり、
前記複数の撮影の他の１つは、ストロボ光撮影を行って画像信号を得るか、或いは、ストロボ光撮影を行って得られた画像信号に対し前記定常光撮影よりも少ない画素加算数の画素加算処理を施すものであり、
前記２回の撮影で取得した画像を同一画素数に変換してから前記合成を行う
ことを特徴とする撮像方法。
【請求項２】
請求項１に記載の撮像方法において、
前記定常光撮影は、主要被写体と背景のうち、背景により適正な露出を得るようにする
ことを特徴とする撮像方法。
【請求項３】
請求項１又は請求項２の何れか一項に記載の撮像方法において、
前記定常光撮影で取得した画像に対しボケフィルタ処理を施してから前記合成を行う
ことを特徴とする撮像方法。
【請求項４】
請求項３に記載の撮像方法において、
前記ボケフィルタ処理のボケ量を、撮影距離に応じた値に設定する
ことを特徴とする撮像方法。
【請求項５】
請求項３又は請求項４に記載の撮像方法において、
前記ボケフィルタ処理のボケ量を、焦点距離に応じた値に設定する
ことを特徴とする撮像方法。
【請求項６】
請求項１〜請求項５の何れか一項に記載の撮像方法において、
前記合成では、前記定常光撮影で取得した画像の輝度と、前記ストロボ光撮影で取得した画像の輝度とを画素毎に比較し、輝度の高い方の画素を選択した集合を合成画像とする
ことを特徴とする撮像方法。
【請求項７】
請求項１〜請求項６の何れか一項に記載の撮像方法を実行する制御手段を備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カメラなどの撮像装置、及びそれに適用可能な撮像方法に関する。
【背景技術】
【０００２】
夜景を背景にして人物などの主要被写体を撮影する技術の１つに、所謂スローシンクロ撮影があるが、ストロボ光で照明された主要被写体と、ストロボ光の届かない背景とでは適正なホワイトバランスゲインが異なるため、良好な色再現をすることが難しい。
近年、その問題を克服する技術として、２画面合成の技術が提案された（特許文献１など参照）。２画面合成の技術は、１回のレリーズ操作で定常光撮影とストロボ光撮影とを連続して行い、それらの撮影で別々に取得した２つの画像を合成するものである。
【０００３】
因みに、特許文献１では、定常光撮影で取得した画像（背景に露出の合った画像）から主要被写体の存在領域を抽出し、その領域を黒く塗りつぶしてから、その画像をストロボ光撮影で取得した画像（主要被写体に露出の合った画像）と合成している。
【特許文献１】特開２００３−８７６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、この２画面合成の技術においても、少なくとも定常光撮影では暗い背景に露出を合わせる必要があるため、スローシンクロ撮影と同様に、シャッタ秒時が長くなる傾向にある。このため、手ブレや被写体ブレの影響を受け易い。また、仮に、シャッタ秒時を短縮するためゲインアップをしたならば、ノイズが増加して画質が大きく損なわれる。
そこで本発明は、暗い背景と主要被写体との双方が良好に表現された画像を取得することができ、しかも手ブレや被写体ブレの影響を受けにくい撮像方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像方法は、連続した複数の撮影を行い、それらの撮影で取得した画像を合成する撮像方法であって、前記複数の撮影の１つは、定常光撮影を行って得られた画像信号に対して画素加算処理を施すものであり、前記複数の撮影の他の１つは、ストロボ光撮影を行って画像信号を得るか、或いは、ストロボ光撮影を行って得られた画像信号に対し前記定常光撮影よりも少ない画素加算数の画素加算処理を施すものであり、前記２回の撮影で取得した画像を同一画素数に変換してから前記合成を行うことを特徴とする。
【０００６】
なお、前記定常光撮影は、主要被写体と背景のうち、背景により適正な露出を得るようにするものであることが望ましい。
また、前記定常光撮影で取得した画像に対しボケフィルタ処理を施してから前記合成を行うことが望ましい。
また、前記ボケフィルタ処理のボケ量を、撮影距離に応じた値に設定してもよい。
【０００７】
また、前記ボケフィルタ処理のボケ量を、焦点距離に応じた値に設定してもよい。
また、前記合成では、前記定常光撮影で取得した画像の輝度と、前記ストロボ光撮影で取得した画像の輝度とを画素毎に比較し、輝度の高い方の画素を選択した集合を合成画像とすることが望ましい。
また、本発明の撮像装置は、本発明の何れかの撮像方法を実行する制御手段を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、暗い背景と主要被写体との双方が良好に表現された画像を取得することができ、しかも、手ブレや被写体ブレの影響を受けにくい撮像方法及び撮像装置が実現する。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。本実施形態は電子スチルカメラの実施形態である。
先ず、本実施形態の電子スチルカメラの構成を説明する。
図１は、電子スチルカメラの構成図である。図１に示すとおり、電子スチルカメラには、撮影レンズ１１、撮像素子１２、撮像素子制御回路１４、一時メモリ１５、保存メモリ（メモリカードなど）１６、表示素子１７、閃光発光装置（ストロボ）１８、レリーズ釦１９、設定釦２０、レンズ駆動機構２３、レンズ位置検出器（エンコーダなど）２２、手ブレ補正機構２１、カメラ制御回路１３などが備えられる。なお、手ブレ補正機構２１は省略可能であるが、本実施形態では手ブレの影響をより小さく抑えるために、これを搭載した場合を説明する。
【００１０】
この電子スチルカメラにおいて、撮影レンズ１１は、被写界からの光束を取り込み、撮像素子１２上に被写体像を形成する。撮像素子１２は、撮像素子制御回路１４から与えられる信号に応じて、その被写体像の画像信号を生成し、その画像信号は、撮像素子制御回路１４によって読み出される。この撮像素子１２の前面には、取得した画像上にモアレやジャギー（以下、単に「画像の乱れ」という。）が生じるのを防ぐために、被写体像のパターンに含まれる特定の空間周波数成分をカットする光学ローパスフィルタが配置されている。その光学ローパスフィルタのカットオフ周波数は、撮像素子１２の画素ピッチに適合する値に予め設定されている。
【００１１】
撮像素子制御回路１４は、「高速読み出しモード」、「高解像読み出しモード」、「画素加算処理モード（高感度読み出しモード）」の各モードで撮像素子１２から画像信号を読み出すことができる。このうち「高速読み出しモード」は、表示素子１７へ表示すべき粗い画像を取得するためのモードであり、「高解像読み出しモード」は、保存メモリ１６へ保存すべき詳細な画像を取得するためのモードである。
【００１２】
また、「画素加算処理モード」は、互いに隣接する複数画素（以下、縦横２画素ずつの４画素とする）の画素出力を加算し、加算値を１単位として読み出すモードである。この画素加算処理モードによると、実質的な撮影感度を、高解像読み出しモードによる撮影感度の４倍に向上させることができる。また、画素加算処理モードによって取得される画像のサイズ（画素数）は、高解像読み出しモードで取得される画像のサイズ（画素数）の１／４倍になる。
【００１３】
ここで、電子スチルカメラのユーザは、設定釦２０の操作により、保存メモリ１６へ保存すべき画像のサイズを予め設定することができる。ユーザが設定した画像サイズの情報は、電子スチルカメラ内の何れかのメモリに記憶される。また、ユーザは、設定釦２０の操作により、電子スチルカメラのモードを、「撮影モード」、「再生モード」などの各モードの間で切り替えることもできる。特に、本実施形態では、「撮影モード」の１種として「夜景・人物撮影モード」が用意されている。この「夜景・人物撮影モード」は、２画面合成の技術が適用されるモードである（詳細は後述）。
【００１４】
電子スチルカメラが撮影モードに設定されているとき、カメラ制御回路１３は、高速読み出しモードで撮像素子１２を連続的に駆動し、連続的に取得される粗い画像を表示素子１７へ順次表示する。このとき、表示素子１７には被写界の様子がリアルタイムで表示される。
この状態でユーザがレリーズ釦１９を半押しすると、カメラ制御回路１３は、連続的に取得される粗い画像に基づき、合焦制御などの各種制御を行う。
【００１５】
因みに、合焦制御は、粗い画像から抽出された評価値（コントラスト評価値）に応じてレンズ駆動機構２３に対し指示を与え、撮影レンズ１１内の特定のレンズ群を移動させるものである。その撮影レンズ１１の状態は、レンズ位置検出器２２を介してカメラ制御回路１３が検出可能である。なお、本実施形態では、撮影レンズ１１をズームレンズ（焦点距離が可変のレンズ）とし、撮影レンズ１１の撮影距離と焦点距離との双方が検出可能であるとする。なお、ここでいう「撮影距離」は、撮影レンズ１１に関し撮像素子１２と共役関係にある被写体までの距離のことを指す。
【００１６】
続いて、ユーザがレリーズ釦１９を全押しすると、カメラ制御回路１３は、高解像読み出しモードで撮像素子１２を駆動し、取得された詳細な画像を保存メモリ１６へ格納する。
次に、夜景・人物撮影モードにおける電子スチルカメラの動作を説明する。
図２は、夜景・人物撮影モードに設定中の電子スチルカメラの動作フローチャートである。図２に示すように、レリーズ釦１９が半押しされると（ステップＳ１ＹＥＳ）、露光制御、合焦制御、撮像素子１２のゲイン制御、撮影レンズ１１の手ブレ補正（手ブレ補正機構２１による）などが行われ（ステップＳ２）、続いてレリーズ釦１９が全押しされると（ステップＳ３ＹＥＳ）、第１撮影（ステップＳ４）、第２撮影（ステップＳ５）、及び合成（ステップＳ６）が順に行われる。
【００１７】
第１撮影（ステップＳ４）では、カメラ制御回路１３は、閃光発光装置１８によるストロボ光の発光を禁止し、画素加算処理モードで撮影を行う。この第１撮影は定常光撮影なので、ホワイトバランスゲインは、定常光に対する適正値に設定される。また、定常光撮影ではシャッタ秒時が長くなる傾向にあるので、この第１撮影では、手ブレ補正機構２１による手ブレ補正動作が続行されると共に、撮像素子１２のゲインアップ、カメラ制御回路１３によるノイズリダクション処理も行われる。そして、この第１撮影で取得された画像（第１画像）は、一時メモリ１５へ格納される。
【００１８】
第２撮影（ステップＳ５）では、カメラ制御回路１３は、閃光発光装置１８に指示を与え、適当な強度のストロボ光を発光し、高解像読み出しモードで撮影を行う。この第２撮影はストロボ光撮影なので、ホワイトバランスゲインは、ストロボ光に対する適正値に設定される。そして、この第２撮影で取得された画像（第２画像）は、第１画像と共に一時メモリ１５へ格納される。
【００１９】
なお、第２撮影の終了時、又は、第１撮影と第２撮影中の何れかのタイミングで、カメラ制御回路１３は、撮影レンズ１１の撮影距離及び焦点距離を検出する。これら撮影距離及び焦点距離の情報は、後述するボケフィルタ処理にて用いられる。
ここで、第１画像及び第２画像の特徴を説明する。第１画像及び第２画像の例を、図３（ａ）に示した。
【００２０】
（第１画像）
・第１撮影では画素加算処理が行われたので、第１画像のサイズは小さくなる。
・第１撮影は定常光撮影であったので、夜景等を背景とした人物撮影時には第１画像の露出は背景に対する適正露出となっている。よって、背景は適正な明るさとなるが、主要被写体は暗くなる。
・第１撮影のホワイトバランスゲインは定常光に対する適正値であったので、背景の色再現は良好である。
・第１撮影は高感度撮影であったので、シャッタ秒時が短縮され、第１画像に対する手ブレの影響は抑えられている（ＩＳＯ感度を１００相当から４００相当へ向上させたのと同等の改善が期待できる。）。
・第１撮影では手ブレ補正、撮像素子１２のゲインアップ、ノイズリダクション処理が行われたので、第１画像に対する手ブレの影響はより確実に抑えられている（これらの効果まで含めると、ＩＳＯ感度を１００相当から６４００相当へ向上させたのと同等の改善が期待できる。）。
【００２１】
（第２画像）
・第２撮影では画素加算処理が行われていないので、第２画像のサイズは大きい。
・第２撮影はストロボ光撮影であったので、第２画像の露出は、ストロボ光によって照明された主要被写体に対する適正露出となっている。よって、主要被写体は適正な明るさとなるが、ストロボ光の到達しない背景は真っ暗になる。
・第２撮影のホワイトバランスゲインはストロボ光に対する適正値であったので、主要被写体の色再現は良好である。
・第２撮影はストロボ光撮影であったので、シャッタ秒時が短くなり、第２画像に対する手ブレの影響は殆ど無い。
【００２２】
続いて行われる合成（図２ステップＳ６）では、先ず、カメラ制御回路１３は、図３（ｂ）に示すように、第１画像に対し画素補間処理を施し、その第１画像の縦横のサイズ（画素数）を第２画像の縦横のサイズ（画素数）と一致させると共に、その第１画像に対し適当なボケ量のボケフィルタ処理を施す。
ここで、第１画像に対しボケフィルタ処理を施す理由は、次のとおりである。すなわち、第１に、第１撮影では、画素加算処理が行われたので、被写体像のサンプリングピッチが撮像素子１２の画素ピッチとは異なる。この場合、撮像素子１２の前面に設けられた光学ローパスフィルタでは、第１画像の乱れを抑えられない可能性がある。第２に、第１撮影では、撮像素子１２のゲインアップが行われたので、第１画像にノイズが発生している可能性もある。
【００２３】
次に、カメラ制御回路１３は、図３（ｃ）に示すように、ボケフィルタ処理後の第１画像の輝度と、第２画像の輝度とを画素毎に比較し、輝度の高い方の画素を選択してできる集合を、合成画像とする。
ここで、第１画像には主要被写体が暗く写っており、第２画像には背景が真っ暗に写っているので、この合成画像は、あたかも、第１画像中の背景と、第２画像中の主要被写体とを繋ぎ合わせたような画像となる。したがって、この合成画像では、背景の明るさと色とが良好に表現されると共に、主要被写体の明るさと色とが良好に表現される。
【００２４】
さらに、カメラ制御回路１３は、ユーザが予め設定した画像サイズの情報を読み出し、合成画像のサイズを、ユーザが予め設定した画像サイズへと変換し、その変換後の合成画像を保存メモリ１６へ格納する。
次に、本実施形態の合成（比較合成）の効果を説明する。図４（ａ）は単純な加算合成を説明する図であり、図４（ｂ）は本実施形態の比較合成を説明する図である。図４（ａ），（ｂ）では、第１画像、第２画像、合成画像を、或る同一ラインの輝度分布によって表現した。
【００２５】
図４（ａ）に示すように、単純な加算合成では、第１画像の輝度と第２画像の輝度とが加算されるだけである。したがって、それら２画像中に同じ被写体が異なる明るさで写っていた場合、合成画像中の被写体の輝度分布は、両者の輝度分布の和となるので、実際の被写体の輝度分布から離れてしまう可能性がある。単純な加算合成でこの問題を避けようとすると、第１画像から被写体の領域を抽出し、黒く塗りつぶしてから加算する必要がある（特許文献１を参照）。
【００２６】
一方、図４（ｂ）に示すように、本実施形態の比較合成では、第１画像の輝度と第２画像の輝度との高い方の輝度のみが採用される。したがって、それら２画像中に同じ被写体が異なる明るさで写っていたとしても、合成画像中の被写体の輝度分布は、明るい方の輝度分布となるので、実際の被写体の輝度分布から離れる心配は無い。しかも、比較合成は、複雑な演算を伴わないので、演算負荷が少ない。
【００２７】
次に、第１画像に施すべきボケフィルタ処理のボケ量を詳細に説明する。
第１画像に施すべきボケフィルタ処理のボケ量は、撮影距離や焦点距離に適した値に設定されることが望ましい。なぜなら、第１画像中の背景に適したボケ量は、撮影距離や焦点距離によって異なるからである。具体的には、撮影距離が１ｍ以内の近距離である場合や、焦点距離が長い（望遠側である）場合には、背景がボケていても不自然ではなく、むしろ或る程度ボケていた方が奥行きを感じられるので、そのボケ量は大きめの値に設定されることが望ましい。
【００２８】
一方、撮影距離が３ｍ程度の中距離である場合や、焦点距離が短い（広角側である）場合には、背景も重要な被写体となる可能性が高く、背景も或る程度シャープに表現された方が好ましいので、ボケ量は大き過ぎない適度な値に設定されることが望ましい。
このような撮影距離及び焦点距離と、最適なボケ量との関係をグラフにすると、図５（ａ），（ｂ）のとおりになる。図５（ａ）は、撮影距離と最適なボケ量との関係を示すグラフであり、図５（ｂ）は、焦点距離と最適なボケ量との関係を示すグラフである。各グラフには、ボケ量の大きさのイメージも一緒に示した。
【００２９】
そこで、本実施形態のカメラ制御回路１３は、ボケフィルタ処理のボケ量を可変とし、そのボケ量を、撮影距離と焦点距離との双方に応じた値に設定する。因みに、ボケ量の可変ステップは、細かく採る必要は無いので、撮影距離方向（無限遠方から最短撮影距離まで）に数〜十数ステップ、焦点距離方向（広角側から望遠側まで）に数〜十数ステップあればよい。
【００３０】
また、ボケ量の設定を高速に行うため、予め、撮影距離及び焦点距離の組み合わせと、その組み合わせに最適なボケ量の値とを互いに対応付けて記憶したルックアップテーブルが用意されてもよい。そのルックアップテーブルの概念を、図５（ｃ）に示した。
その場合、カメラ制御回路１３は、検出した撮影距離及び焦点距離に応じてそのルックアップテーブルを参照すれば、ボケフィルタ処理のボケ量の値を即座に最適値に設定することができる。
【００３１】
そして、以上の設定によれば、第１画像の乱れを抑制するのに必要十分な強度のボケフィルタ処理を実施することができる。このボケフィルタ処理は、同時に、第１画像に生じたノイズを目立たなくすることもできる。
以下、本実施形態の夜景・人物撮影モードの効果を説明する。
・第１撮影は、定常光撮影かつ高感度撮影であったので、手ブレや被写体ブレの影響を受けることなく、暗い背景を良好な明るさで表現した第１画像を取得することができる。
・第２撮影は、ストロボ光撮影かつ通常感度撮影であったので、手ブレや被写体ブレの影響を受けることなく、主要被写体を良好な明るさ、かつ高精細に表現した第２画像を取得することができる。
・第１撮影の撮影感度は、主に、画素加算処理によって向上されたので、撮像素子１２のゲインアップのみによって向上された場合と比較すると、第１画像に発生するノイズは少ない。
・第１画像に対しボケフィルタ処理を施すので、画素加算処理による第１画像の乱れを抑制することができ、さらには、ゲインアップによるノイズを目立たなくすることも可能である（言い換えると、画質を保ちつつゲインを高く設定し、第１画像中の背景が露出不足となる可能性を低減できる。）。
・第１画像と第２画像との合成に比較合成を採用するので、演算負荷が少ないにも拘わらず、背景と主要被写体との双方が良好に表現され、しかも見た目に自然な合成画像を取得することができる。
【００３２】
（実施形態の変形例）
なお、本実施形態では、画素加算処理の加算数は、縦横２画素ずつであったが、縦横４画素ずつ、縦２画素のみ、横２画素のみなど、他の加算数に変更してもよい。何れの場合も、上述した第１画像に対するサイズ拡大処理の縦横の拡大倍率は、画素加算処理の加算方向及び加算数に応じて設定される。
【００３３】
また、本実施形態では、画素加算処理が第１撮影でのみ行われたが、第１撮影と第２撮影との双方で行われてもよい。例えば、撮影距離が比較的長く、主要被写体にストロボ光が届きにくい場合には、第２画像中の主要被写体の露出が不足する可能性があるので、第２撮影における画素加算処理が有効となる。但し、その場合であっても、第１撮影の加算数は、第２撮影の加算数より多く設定される。
【００３４】
また、その場合、サイズ拡大処理及びボケフィルタ処理は、第１画像と第２画像との双方にそれぞれ施される。但し、第２画像は、主要被写体を高精細に表現する必要があるので、演算によるボケフィルタ処理では、ボケ量が過多になってしまう可能性が高い。そこで、少なくとも、第２画像に対するボケフィルタ処理は、「光学的なボケフィルタ処理」とされることが望ましい。ここで言う「光学的なボケフィルタ処理」は、撮影時、撮像素子１２上に形成される被写体像に対し光学ローパスフィルタをかけることを意味する。その場合、撮像素子１２の前面に設けられる光学ローパスフィルタを、予め、カットオフ周波数が可変の光学ローパスフィルタ（可変ローパスフィルタ）としておくと共に、そのカットオフ周波数を、第２撮影に先立ち調整すればよい。なお、言うまでもないが、第２画像の乱れ、又は、第２画像のボケ量過多を許容するのであれば、可変ローパスフィルタを使用する必要は無い。
【００３５】
また、本実施形態では、撮影の順が、第１撮影、第２撮影の順であったが、逆であってもよい。但し、ストロボ光の発光が最初の撮影で行われると、ストロボ光の発光により、ユーザが撮影終了と誤認識し、電子スチルカメラを動かしてしまう恐れがあるので、第１撮影、第２撮影の順が好ましい。
また、本実施形態では、閃光発光装置を内蔵したコンパクトタイプの電子スチルカメラの例を示したが、閃光発光装置を内蔵していないタイプや、一眼レフタイプの電子スチルカメラにも本発明は適用可能である。
【００３６】
また、本実施形態のカメラ制御回路１３は、レンズ位置検出器２２の出力から撮影距離を検出したが、他の方法で撮影距離を検出してもよい。例えば、電子スチルカメラに測距装置が備えられている場合、その測距装置の出力から撮影距離を検出してもよい。
また、本実施形態は、電子スチルカメラの実施形態であるが、ビデオカメラにも本発明は適用可能である。例えば、ビデオカメラにおけるスチル画像の取得機能の１種として、本実施形態の夜景・人物撮影モードを搭載してもよい。
【図面の簡単な説明】
【００３７】
【図１】本実施形態の電子スチルカメラの構成図である。
【図２】夜景・人物撮影モード中の電子スチルカメラの動作フローチャートである。
【図３】第１画像及び第２画像の例、及び、それらの合成の手順を説明する図である。
【図４】本実施形態の比較合成の効果を説明する図である。
【図５】ボケフィルタ処理のボケ量を説明する図である。
【符号の説明】
【００３８】
１１…撮影レンズ，１２…撮像素子，１４…撮像素子駆動回路，１５…一時メモリ，１６…保存メモリ，１７…表示素子，１８…閃光発光装置，１９…レリーズ釦，２０…設定釦，２３…レンズ駆動機構，２２…レンズ位置検出器，２１…手ブレ補正機構，１３…カメラ制御回路
【図１】
2007049374.tif 000003
【図２】
2007049374.tif 000004
【図３】
2007049374.tif 000005
【図４】
2007049374.tif 000006
【図５】
2007049374.tif 000007