(57)【要約】【課題】連写と画素加算により画像を明るくするとともに、その画像内に存在する動く被写体も撮影する際に、比較的簡単な処理で適切な画像を得ることができる撮像装置と撮像方法、及び、プログラムを提供する。【解決手段】デジタルカメラ１は、撮像部１５と、発光部２０と、ＣＰＵ１０と、を備える。ＣＰＵ１０は、発光部２０による発光無しに撮像部１５を駆動させて連続的に撮像させ、これによって得られた複数の画像を画素加算するように制御する第１の制御機能と、第１の制御機能による撮像に前後して、発光部２０による発光時に撮像部１５を駆動させて撮像させた画像を取得するよう制御する第２の制御機能と、撮像部１５によって撮像された画像に含まれる被写体の動く度合いを検出する検出機能と、検出機能による検出結果に基づいて、第１の制御機能による制御により生成された画像と第２の制御機能による制御により取得された画像を合成するか、又は、第２の制御機能によって取得された画像を保存するか、を選択する選択機能と、を実現する。【選択図】図１
2015035779.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
発光手段と、
前記発光手段による発光無しに前記撮像手段を駆動させて連続的に撮像させ、これによって得られた複数の画像を画素加算するように制御する第１の制御手段と、
前記第１の制御手段による撮像に前後して、前記発光手段による発光時に前記撮像手段を駆動させて撮像させた画像を取得するよう制御する第２の制御手段と、
前記撮像手段によって撮像された画像に含まれる被写体の動く度合いを検出する検出手段と、
前記検出手段による検出結果に基づいて、前記第１の制御手段による制御により生成された画像と前記第２の制御手段による制御により取得された画像を合成し保存するか、又は、前記第２の制御手段によって取得された画像を保存するか、を選択する選択手段と、を備える、
ことを特徴とする撮像装置。
【請求項２】
前記検出手段は、前記第１の制御手段による制御に先立ち撮像された複数の画像に基づいて、前記被写体の動く度合いを検出する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、前記第１の制御手段による制御により撮像された複数の画像に基づいて、前記被写体の動く度合いを検出する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記検出手段は、前記第１の制御手段による制御と前記第２の制御手段による制御とにより撮像された複数の画像に基づいて、前記被写体の動く度合いを検出する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記被写体として顔領域を検出する顔検出手段を更に含み、
前記検出手段はこの顔検出手段によって検出された顔領域が動く度合いを検出する、
ことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記顔検出手段は前記顔領域を複数検出し、
前記検出手段は、顔領域が複数検出された場合には、それらの顔領域の間隔が所定の間隔より広い場合に、顔が動く度合いが大きいものとして検出し、
前記選択手段は、前記第２の制御手段によって取得された画像を保存するよう制御する、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記選択手段は、前記検出手段が前記顔検出手段によって検出された顔領域が所定の大きさ以上であると検出した場合に、前記第２の制御手段によって取得された画像を保存するよう制御する、
ことを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
前記検出手段は、前記顔検出手段によって検出された顔領域を有する被写体の年齢を推定し、年齢が所定以下の場合には、顔が動く度合いが大きいものとして検出し、
前記選択手段は、前記第２の制御手段によって取得された画像を保存するよう制御する、
ことを特徴とする請求項５又は６に記載の撮像装置。
【請求項９】
発光無しに連続的に撮像し、これによって得られた複数の画像を画素加算するように制御する第１の制御ステップと、
前記第１の制御ステップの実行に前後して、発光時に撮像した画像を取得するよう制御する第２の制御ステップと、
撮像された画像に含まれる被写体の動く度合いを検出する検出ステップと、
前記検出ステップによる検出結果に基づいて、前記第１の制御ステップにおいて生成された画像と前記第２の制御ステップにおいて取得された画像を合成し保存するか、又は、前記第２の制御ステップにおいて取得された画像を保存するか、を選択する選択ステップと、を有する、
ことを特徴とする撮像方法。
【請求項１０】
コンピュータに、
発光無しに連続的に撮像し、これによって得られた複数の画像を画素加算するように制御する第１の制御処理と、
前記第１の制御処理の実行に前後して、発光時に撮像した画像を取得するよう制御する第２の制御処理と、
撮像された画像に含まれる被写体の動く度合いを検出する検出処理と、
前記検出処理による検出結果に基づいて、前記第１の制御処理において生成された画像と前記第２の制御処理において取得された画像を合成し保存するか、又は、前記第２の制御処理において取得された画像を保存するか、を選択する選択処理と、を実行させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及び、プログラムに関する。
【背景技術】
【０００２】
夜景を背景とし、動く被写体として人物をきれいに撮影したいという要望がある。このような要望に応えるため、フラッシュを発光させずに撮像して得た複数の画像と、フラッシュを発光させて撮像して得た画像を合成する方法が提案されている。
【０００３】
この合成方法では、一般に、遠景の夜景の画像と近景の動く被写体（人物）の画像とを合成することになるため、被写体が動いてしまうと画像の位置合わせが容易ではないという問題がある。
【０００４】
そこで、特許文献１に記載の撮像装置は、（１）フラッシュを発光させずに撮像した複数の画像のうち、基準となる画像と他の各画像との間のズレ量を算出し、（２）算出したズレ量が所定の閾値より大きいか否かを判別し、（３）算出したズレ量が所定の閾値より小さいと判別した場合、フラッシュを発光させずに撮像した複数の画像と、フラッシュを発光させて撮像した画像と、を合成した画像を記憶し、（４）算出したズレ量が所定の閾値より大きいと判別した場合、フラッシュを発光させて撮像した画像を記憶する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１０９８３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の撮像方法では、複数の画像間のズレ量を算出し、算出したズレ量と閾値との大小を判別する必要があり、処理負荷が大きい。
また、この撮像方法の場合、撮影の開始から終了までに一定の時間がかかり被写体である人物が動いてしまうことがある。この場合、人物の動き自体は小さいため、画像間のズレが小さいと判断され、全画像が合成されてしまう可能性がある。しかし、動きのある部分が人物の顔などの重要箇所の場合、ぼけた画像となってしまう。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、連写と画素加算により画像を明るくするとともに、その画像内に存在する動く被写体も撮影する際に、比較的簡単な処理で適切な画像を得ることができる撮像装置と撮像方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る撮像装置は、
撮像手段と、
発光手段と、
前記発光手段による発光無しに前記撮像手段を駆動させて連続的に撮像させ、これによって得られた複数の画像を画素加算するように制御する第１の制御手段と、
前記第１の制御手段による撮像に前後して、前記発光手段による発光時に前記撮像手段を駆動させて撮像させた画像を取得するよう制御する第２の制御手段と、
前記撮像手段によって撮像された画像に含まれる被写体の動く度合いを検出する検出手段と、
前記検出手段による検出結果に基づいて、前記第１の制御手段による制御により生成された画像と前記第２の制御手段による制御により取得された画像を合成し保存するか、又は、前記第２の制御手段によって取得された画像を保存するか、を選択する選択手段と、を備える、
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、連写と画素加算により画像を明るくするとともに、その画像内に存在する動く被写体も撮影する際に、比較的簡単な処理で適切な画像を得ることができる撮像装置と撮像方法、及び、プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係るデジタルカメラの構成を示すブロック図である。
【図２】第１の実施形態に係るデジタルカメラの動作を説明するためのフローチャートである。
【図３】第１の実施形態に係るデジタルカメラが行う撮像処理を説明するための図である。
【図４】（Ａ）−（Ｃ）は、いずれも、第１の実施形態に係るデジタルカメラが判別の対象とするシーンを例示する図である。（Ａ）は、被写体が広い間隔をあけて立っているシーンを例示する。（Ｂ）は、被写体の間隔が狭い間隔をあけて立っているシーンを例示する。（Ｃ）は、被写体がデジタルカメラから遠い位置に立っているシーンを例示する。
【図５】第１の実施形態の変形例に係るデジタルカメラの動作を説明するためのフローチャートである。
【図６】第２の実施形態に係るデジタルカメラの動作を説明するためのフローチャートである。
【図７】第２の実施形態の変形例に係るデジタルカメラの動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態に係る撮像装置と撮像方法を、デジタルカメラを例に説明する。
【００１２】
デジタルカメラ１は、図１に示すように、ＣＰＵ１０と、ＲＯＭ１１と、ＲＡＭ１２と、電源部１３と、レンズ部１４と、撮像部１５と、画像処理部１６と、記憶部１７と、表示部１８と、操作部１９と、発光部２０と、これらの各部を相互に接続するシステムバスＳＢと、を備える。
【００１３】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０は、後述するＲＯＭ１１およびＲＡＭ１２に記憶された制御プログラムを実行することによりデジタルカメラ１全体を制御すると共に、後述する第１の制御機能、第２の制御機能、検出機能、選択機能等を実現する。これらの機能の詳細については、後に図２のフローチャートに示す動作を説明する箇所で説明する。
【００１４】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１は、デジタルカメラ１全体の制御に必要なオペレーティングシステム、ＣＰＵ１０が実行する撮像制御プログラムや画像合成プログラムなどの各種プログラム、各種固定データなどを固定的に記憶する。
【００１５】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２は、画像やデータ、プログラムなどを一時的に記憶する。ＲＡＭ１２は、ＣＰＵ１０が各種処理を実行する際のワークメモリとしても機能する。
【００１６】
電源部１３は、デジタルカメラ１の各部へ動作電力を供給する。電源部１３は、例えば、充電池を備える。
【００１７】
レンズ部１４は、被写体の光像を取りこむ。レンズ部１４は、例えば、ズームレンズやフォーカスレンズなどの複数の光学レンズからなるレンズ群と、レンズ群を駆動するモータと、光量を調節する絞りと、絞りを駆動するアクチュエータと、から構成される。
【００１８】
撮像部１５は、レンズ部１４を介して被写体を撮像し、画像データをＲＡＭ１２へ供給する。撮像部１５は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサと、ＣＭＯＳセンサから出力されたアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換部と、を備える。
【００１９】
画像処理部１６は、ＲＯＭ１１やＲＡＭ１２、記憶部１７などから画像データまたは画像データファイルを取得し、適宜処理を施す。画像処理部１６は、処理を施した画像データまたは画像データファイル、画像を処理して得られた画像の属性情報などを、ＣＰＵ１０や記憶部１７、表示部１８などへ適宜供給する。
【００２０】
画像処理部１６は、動体領域検出機能と、顔画像検出機能と、顔画像計数機能と、顔画像間距離測定機能と、顔画像サイズ測定機能と、顔画像年齢推定機能と、を有する。
【００２１】
画像処理部１６は、顔画像検出機能により、ＲＡＭ１２が記憶している撮像画像を取得し、該撮像画像に含まれる顔画像を検出し、顔画像を検出した旨、または顔画像を検出しなかった旨をＣＰＵ１０へ通知する。
【００２２】
画像処理部１６は、顔画像計数機能により、顔画像検出機能によって検出した顔画像の数を計数し、計数した顔画像の数をＣＰＵ１０へ通知する。
【００２３】
画像処理部１６は、顔画像間距離測定機能により、顔画像検出機能によって検出した複数の顔画像について、隣接する顔画像間の距離を計測し、測定した各顔画像間の距離（例えば、最大値、平均値）をＣＰＵ１０へ通知する。
【００２４】
画像処理部１６は、顔画像サイズ測定機能により、顔画像検出機能によって検出した各顔画像の大きさ（縦サイズ×横サイズ）を計測し、測定した各顔画像の大きさをＣＰＵ１０へ通知する。
【００２５】
画像処理部１６は、顔画像年齢推定機能により、顔画像検出機能によって検出した顔画像に基づいて、各顔画像の被写体の年齢を推定し、推定した各顔画像の被写体の年齢をＣＰＵ１０へ通知する。
【００２６】
画像処理部１６は、ＲＡＭ１２に一時的に記憶された画像データから画像データファイルを作成し、作成した画像データファイルを記憶部１７へ供給する。
【００２７】
画像処理部１６は、ＲＡＭ１２に一時的に記憶された複数の画像データを読み出し、各画像データの相対的に同一位置の画素の画像データを加算平均して合成画像を生成する。また、画像処理部１６は、生成した合成画像の画像データファイルを作成し、作成した画像データファイルを記憶部１７へ供給することもできる。
【００２８】
画像処理部１６は、ＲＡＭ１２に一時的に記憶された画像データを表示部１８へ供給してライブビュー画像として表示させる。
【００２９】
画像処理部１６は、記憶部１７から画像データファイルを読み出し、伸張処理を施して画像データを作成し、作成した画像データを表示部１８へ供給する。
【００３０】
記憶部１７は、画像処理部１６から供給された画像データファイルを記憶する。記憶部１７は、例えば、デジタルカメラ１に着脱可能なメモリカードと、デジタルカメラ１とメモリカードとの間のデータのやり取りを媒介するメモリカードコネクタと、を備える。
【００３１】
表示部１８は、ＣＰＵ１０の制御に従って、画像処理部１６や記憶部１７から供給された画像データに基づいて、画像を表示する。表示部１８は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）と、バックライトと、ディスプレイコントローラと、を備える。
【００３２】
操作部１９は、ユーザの操作にしたがって指示入力を受け付ける。操作部１９は、例えば、電源キーやシャッターキー、撮影モードキーなどの操作キーを備える。
【００３３】
発光部２０は、ＣＰＵ１０の制御にしたがってフラッシュ光を発する。発光部２０は、例えば、発光素子（例えば、キセノン管や白色高輝度ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）など）と、発光素子を駆動する駆動回路（例えば、キセノン管の発光用コンデンサおよび該発光用コンデンサの充電回路、白色高輝度ＬＥＤの駆動回路など）と、を備える。
【００３４】
次に、デジタルカメラ１の動作について、図２のフローチャートを用いて説明する。
なお、デジタルカメラ１は、他の一般のデジタルカメラと同様の様々な動作モードを有するが、以下では、本実施形態に特徴的な、夜景を背景に撮影される被写体として人物を撮影する動作を中心に説明する。
夜景を背景に人物を撮影したい場合、ユーザは、操作部１８を操作して、「夜景と人物」モードを選択する。
この操作応答して、ＣＰＵ１０は、撮像部１５と画像処理部１６とを起動し、ライブビュー画像の表示を指示する。この指示に応答し、撮像部１５は、一定周期で、撮像画像（画像データ）をＲＡＭ１２に格納し、画像処理部１６は、ＲＡＭ１２に記憶された撮像画像を表示部１９に提供してライブ画像として表示させる。
【００３５】
このような状態において、ユーザが、操作部１８が備えるシャッターキーを押下すると、ＣＰＵ１０は、図２に示す処理を開始する。
【００３６】
まず、ＣＰＵ１０は、画像処理部１６に指示し、ＲＡＭ１２に格納されているライブビュー画像から周囲の明るさを判別させる（ステップＳ１）。
【００３７】
ＣＰＵ１０は、ステップＳ１で画像処理部１６が判別した周囲の明るさが、所定値以下の明るさか否かを、例えば、全画素のうちの予め選択された複数画素の輝度の平均値が基準値を以上であるか否かにより判別する（ステップＳ２）。
ＣＰＵ１０は、周囲の明るさが所定値以下の明るさではない、即ち、明るいと判別すると（ステップＳ２；Ｎｏ）、撮像部１５を制御して、発光部２０が発光していない状態で撮像させる（ステップＳ１５）。ＣＰＵ１０は、画像処理部１６を制御して撮像部１５が撮像した画像を画像データファイルに変換させる（ステップＳ１０）。ＣＰＵ１０は、画像処理部１６が作成した画像データファイルを記憶部１７に記憶させ、今回の処理を終了する。
【００３８】
一方、ＣＰＵ１０は、ステップＳ２において周囲の明るさが所定値以下の明るさである、即ち、暗いと判別すると（ステップＳ２；Ｙｅｓ）、ＣＰＵ１０は、検出機能により、画像処理部１６に指示し、ライブビュー画像に対して顔画像検出処理を行わせる（ステップＳ３）。なお、顔画像の検出手法自体は、既知の任意の手法を採用できる。
【００３９】
ＣＰＵ１０は、選択機能により、画像処理部１６から顔画像を検出したか否かを示す情報を取得し、この情報にもとづいて、顔画像が検出されたか否かを判別する（ステップＳ４）。被写体が人間であれば、撮像中に動く可能性があるので、顔を検出することにより、被写体に人間が含まれているか否かを判別するものである。
【００４０】
ＣＰＵ１０は、顔画像を検出しなかったと判別すると（ステップＳ４；Ｎｏ）、第１の制御機能により、発光部２０を発光させることなく、撮像部１５を制御して、複数の画像を連写させ（ステップＳ１３）、画像処理部１６を制御して、撮像部１５が連写した複数の画像を画素加算することにより合成画像を生成させる（ステップＳ１４）。ＣＰＵ１０は、選択機能により、画像処理部１６を制御して、ステップＳ１４で生成した合成画像の画像データファイルを作成させる（ステップＳ１０）、作成した画像データファイルを記憶部１７に記憶させ、今回の処理を終了する。
【００４１】
ステップＳ４において、ＣＰＵ１０は、顔画像が検出されたと判別すると（ステップＳ４；Ｙｅｓ）、選択機能により、画像処理部１６を制御し、検出した顔画像を計数させ、この顔画像の数を示す情報を取得し、検出された顔画像が所定数以上か否かを判別する（ステップＳ５）。被写体が大勢の人間であれば、撮像中に動く可能性は高い。つまり動く度合いが高いものとして検出される。そこで、被写体が大勢の人間か否かを、画像に含まれる顔画像の数が所定の数以上か否かにより判別するものである。なお、所定数は、例えば、被写体である人物の人数と撮影中の人物の動きの量との相関を実験などにより求め、人物の数が、それ以上の場合に、撮影中の動きがあまり起きない程度の値に設定される。ただし、これに限定されるものではなく、適宜の手法により適当な値に設定すればよい。
【００４２】
顔画像の数が所定数以上ではないと判別すると（ステップＳ５；Ｎｏ）、ＣＰＵ１０は、第１の制御機能および第２の制御機能により、図３に例示する一連の撮像・合成処理を実行する。
即ち、ＣＰＵ１０が第１の制御機能により、撮像部１５を制御して、発光部２０を発光させない状態で複数（図３では、露光時間１／８秒で、６枚）の画像を連写させ、順次ＲＡＭ１２に格納させる。その後、ＣＰＵ１０が第２の制御機能により、発光部２０を制御して予備発光させると共に撮像部１５を制御して撮影を行わせ、得られた画像に基づいて露光・焦点などを調整した上で、更に発光部２０を発光させた状態で撮像部１５に撮影を行わせ、撮影画像をＲＡＭ１２に格納させる（ステップＳ８）。即ち、図３に例示する一連の撮像処理を実行する。
【００４３】
次に、ＣＰＵ１０は、選択機能により、画像処理部１６を制御して、発光部２０を発光させない状態で連写した複数の画像を画素加算して合成画像を生成させ、更に、生成した合成画像と、発光部２０を発光させた状態で撮影した画像と、を合成して合成画像を生成させる（ステップＳ９）。ＣＰＵ１０は、選択機能により、画像処理部１６を制御して合成画像を画像データファイルに変換させ（ステップＳ１０）、作成した画像データファイルを記憶部１７に記憶させ、今回の処理を終了する。
【００４４】
ＣＰＵ１０は、ステップＳ５において、検出された顔画像が所定の数以上であると判別すると（ステップＳ５；Ｙｅｓ）、選択機能により、画像処理部１６を制御して、隣接する顔画像の間隔の最大値を測定させる。ＣＰＵ１０は、選択機能により、画像処理部１６からの情報にもとづいて、所定の距離以上の間隔をあけた顔画像が含まれているか否かを判別する（ステップＳ６）。なお、所定の距離は、例えば、被写体である人物の顔の間隔と撮影中の人物の動きの量との相関を実験などにより求め、顔の間隔が、それ以上の場合に、撮影中の動きが起きやすくなる程度の値に設定される。ただし、これに限定されるものではなく、適宜の手法により適当な値に設定すればよい。
【００４５】
そこで、ＣＰＵ１０は、所定の距離以上の間隔をあけた顔画像が含まれていると判別すると（ステップＳ６；Ｙｅｓ）、第１の制御機能により、発光部２０を発光させない状態で複数の画像を連写させ、続いて、第２の制御機能により、発光部２０を制御して予備発光させて露光調整等を行わせ、更に発光部２０を制御して発光させた状態で撮像部１５を制御して撮影を行わせる（ステップＳ１１）。即ち、図３に示す一連の撮像処理を実行させる。
【００４６】
ただし、ＣＰＵ１０は、選択機能により、発光部２０を発光させた状態で撮影した画像のみを選択し（ステップＳ１２）、画像処理部１６を制御してこの画像を画像データファイルに変換させ（ステップＳ１０）、記憶部１７に記憶させる。即ち、図３に示す一連の撮像処理の間に、被写体に含まれる人物が動いた可能性がある、つまり、被写体の動く度合いが高いものとして検出されるため、ＣＰＵ１０は、非発光で撮影した画像を捨て、ストロボ発光により撮影した画像単体から画像データファイルを画像処理装置１６に生成させ、記憶部１７に記憶させ、処理を終了する。
【００４７】
一方、ステップＳ６で、所定の距離以上の間隔をあけた顔画像が含まれていないと判別すると（ステップＳ６；Ｎｏ）、ＣＰＵ１０は、選択機能により、画像処理部１６を制御して各顔画像の大きさを測定させ、この測定結果にもとづいて、所定の大きさよりも大きい顔画像が含まれているか否かを判別する（ステップＳ７）。顔画像の大きさは、例えば、顔の縦サイズ（例えば、画素数）×横サイズ（顔の外輪に接する四角形の面積）とすることができる。或いは、顔の長径と短径を求めて、楕円の面積としてもよい。或いは、縦サイズ又は横サイズで表しても良い。
【００４８】
一方、ステップＳ７で、所定の大きさよりも大きい顔画像が含まれていないと判別した場合（ステップＳ７；Ｎｏ）、前述したステップＳ８、Ｓ９、Ｓ１０の処理により、発光部２０を発光させない状態で撮影した複数の画像と、発光部２０を発光させた状態で撮影した画像とを合成して、画像データファイルを合成させ、記憶部１７に記憶させ、今回の処理を終了する。
【００４９】
一方、ステップ７において、所定の大きさ以上の顔画像を含むと判別すると（ステップＳ７；Ｙｅｓ）、ＣＰＵ１０は、選択機能により、前述のステップＳ１１、Ｓ１２、Ｓ１０の処理により、発光部２０を発光させない状態で複数の画像を連写させ、発光部２０を発光させた状態で撮影を行わせ（ステップＳ１１）、発光部２０を発光させた状態で撮影した画像のみを選択し（ステップＳ１２）、画像処理部１６を制御してこの画像を画像データファイルに変換させ（ステップＳ１０）、記憶部１７に記憶させ、今回の処理を終了する。
【００５０】
上述した動作を図４に示す３つのシーンを例に具体的に説明する。
図４（Ａ）〜（Ｃ）の何れの画像も、背景が夜景であり、ステップＳ２では、所定値以下の明るさである（ステップＳ２；Ｙｅｓ）と判別され、ステップＳ４では、顔画像が含まれている（ステップＳ４；Ｙｅｓ）と判別される。
【００５１】
何れの画像も顔画像が３つ含まれている。このため、例えば、ステップＳ５で所定数を３とすれば、所定数以上の顔画像が含まれている（ステップＳ５；Ｙｅｓ）と判別される。
【００５２】
続いて、ステップＳ６において、顔画像の間隔の最大値が所定の距離以上か否かが判別される。図４（Ａ）に示すシーンでは、被写体の顔が広い間隔をあけて立っている。このような場合、各被写体が身動きする物理的余地が大きく、及び／又は、集合写真撮影などの身動きが許されない状況ではなく、被写体が撮像中に動く可能性は高い。つまり動く度合いが高いものとして検出される。これに対し図４（Ｂ）、（Ｃ）に示すシーンでは、各被写体が身動きする物理的余地が小さく、及び／又は、集合写真撮影などの身動きが許されない状況に近く、被写体が撮像中に動く可能性は低い。つまり動く度合いが低いものとして検出される。このため、この例では、ステップＳ６で、図４（Ａ）については、顔の間隔が所定の距離以上（ステップＳ６；Ｙｅｓ）と判別され、図４（Ｂ）、（Ｃ）については、顔の間隔が所定の距離未満（ステップＳ６；Ｎｏ）であると判別されたとする。
さらに、図４（Ｂ）に示すシーンでは、相対的に被写体の顔が大きく、図４（Ｃ）に示すシーンでは、相対的に被写体の顔が小さい。このため、ここでは、図４（Ｂ）では、被写体の顔画像が基準サイズよりも大きく、図４（Ｃ）では、被写体の顔画像が基準サイズよりも小さいと、判別されたとする。
【００５３】
この場合、図４（Ａ）のシーンでは、被写体である人物の間隔が大きいため、顔が動く確率が高く、つまり動く度合いが高いものとして検出されるので、ステップＳ１０−Ｓ１２の処理が実行され、ストロボを発光させて撮影した画像が記憶部１７に記憶される。
【００５４】
また、図４（Ｂ）のシーンの場合では、被写体である人物の間隔が小さいため、顔が動く確率は高くないが、顔画像が大きいため、顔が動くと、合成画像がぼやけた画像となってしまう可能性がある。このため、ステップＳ１０−Ｓ１２の処理が実行され、ストロボを発光させて撮影した画像が記憶部１７に記憶される。
【００５５】
また、図４（Ｃ）のシーンの場合では、顔画像が比較的小さいため、仮に顔が動いたとしても、合成画像のボケが小さい。このため、ステップＳ８−Ｓ１０の処理が実行され、ストロボ非発光で撮影された複数枚の画像とストロボを発光させて撮影した画像が合成され、記憶部１７に記憶される。
【００５６】
以上説明したように、本実施形態に係るデジタルカメラ１は、撮影した画像から、夜景を背景に撮影される、動く可能性が高い被写体、即ち、人間を、顔領域を検出することによって検出し、顔領域の数、間隔、大きさに基づいて、顔領域の動く度合いを検出し、フラッシュを発光させずに撮像した複数の画像とフラッシュを発光させて撮像した画像との合成画像を記憶するか、フラッシュを発光させて撮像した画像のみを記憶するか、を選択する。従って、本実施形態に係るデジタルカメラ１は、複数の画像間のズレ量の算出、および算出したズレ量と所定の閾値との大小の判別といった大きな処理負荷がかかる処理を行うことなく、ぼけの少ない適切な画像を、簡易に選択し記憶することができる。
【００５７】
また、ライブビュー画像を対象として画像領域の検出処理を行うことで、撮像装置にかかる処理負荷を軽減できる。
【００５８】
なお、検出対象となる画像領域は、被写体が人間であることを認識できる領域であれば顔画像領域以外でもよい。例えば、目や手などの人体の一部分を検出することによって被写体が人間であり、したがって撮像中に動く可能性が高いことを認識してもよい。
【００５９】
なお、顔画像領域を検出対象とした場合、検出した顔画像に対して顔画像年齢推定処理を行い、推定された顔画像の被写体の年齢が所定の年齢以下か否かを判別し、この判別結果にもとづいて画像合成を行うか否かを選択してもよい。
被写体が子供であれば、撮像中に動く可能性が高い。被写体が子供か否かは、顔画像から推定された年齢が所定の基準年齢以下か否かを判別することによって判別できる。
例えば、図２において、ステップＳ４とＳ５の間に、「子供検出処理」を配置し、子供を検出した場合には、ステップＳ１１に進み、検出しない場合には、ステップＳ５に進むように処理してもよい。また、ステップＳ５及びステップＳ７、とステップＳ８との間、「子供検出処理」を配置し、子供を検出した場合には、ステップＳ１１に進み、検出しない場合には、ステップＳ８に進むように処理してもよい。
【００６０】
なお、本実施形態においては、ライブビュー画像を用いて、実際の撮影に先立って顔画像領域の検出、数、間隔、大きさの判別などを行った。しかし、顔画像の検出、各種判別に使用される画像の種類は、これに限定されない。例えば、図３に示す一連の撮像処理を行って、その後、撮像後の画像を使用して顔画像の検出、各種判別を行い、最適の画像を保存するように構成してもよい。
【００６１】
この場合、ユーザが「夜景と人物モード」を選択し、さらにシャッターキーを押すと、ＣＰＵ１０は、図５に示す処理を開始し、第１の制御機能により、発光部２０を発光させない状態で複数回連写させ、その後、第２の制御機能により、発光部２０を予備発光させた上で撮像部１５に撮影を行わせ、更に発光部２０を発光させた状態で撮像部１５に撮影を行わせる（ステップＳ２１）。
次に、ＣＰＵ１０は、検出機能により、撮像により得た画像の１枚を取得し、図２を参照して前述したステップＳ３〜Ｓ７、Ｓ９、Ｓ１０、Ｓ１２、Ｓ１４等と同等の処理を行う。
これにより、第１の実施形態と同様に、夜景を背景に撮影される、動く可能性が高い被写体、即ち、人間を、顔領域を検出することによって検出し、顔画像領域の数、間隔、大きさに基づいて、動く度合いが低いものとしてフラッシュを発光させずに撮像した複数の画像とフラッシュを発光させて撮像した画像との合成画像を記憶するか、動く度合いが高いものとしてフラッシュを発光させて撮像した画像のみを記憶するか、を選択することができる。
なお、この例では、実際に撮影した画像から顔画像検出、数・間隔・大きさの判別等を行ったが、一連の撮像後、ライブビュー画像を用いて、顔画像の検出・判別等をおこなってもよい。
【００６２】
（第２の実施形態）
第１の実施形態では、夜景を背景に撮影される、夜景を背景に撮影される被写体が撮像中に動く可能性がある人間であることを示し、且つ、注目領域であるため、動いた場合、合成するとぼける領域として顔領域に注目して検出し、この顔領域の数、間隔、大きさ、年齢の等に基づいて、実際に動きがあるかどうかに関わらず、最終的に生成する画像を決定した。
しかしながら、この発明は、これに限定されず、夜景を背景に撮影される被写体が撮影中に実際に動いたかを判別し、この判別の結果にもとづいて、最終的に選択・生成する画像を決定してもよい。
以下、このような処理を行い、夜景を背景に撮影される被写体が動いたか否かを判別し、この判別の結果にもとづいて最終的に選択・生成する画像を決定する、第２の実施形態に係る撮像装置を説明する。
【００６３】
本実施形態に係るデジタルカメラ１は、ハードウエア的には、第１の実施形態に係るデジタルカメラ１と同様に、図１に示す構成を備える。しかしながら、ＣＰＵ１０と画像処理部１６の機能及び動作が第１の実施形態のものと異なる。
以下、この差異点を中心に説明する。
【００６４】
画像処理部１６は、動体領域検出機能を有する。画像処理部１６は、動体領域検出機能により、ＲＡＭ１２が一時的に記憶している複数の画像を読み出し、該画像に含まれる動体領域を、例えば動きベクトルを検出することによって、検出する。画像処理部１６は、動体領域検出機能により、動体領域を検出した旨、または動体領域を検出しなかった旨をＣＰＵ１０へ通知する。
【００６５】
一方、ＣＰＵ１０は、ユーザが「夜景と人物モード」を選択し、シャッターキーを押下すると、図６のフローチャートに示す処理を開始する。なお、図６において、図２と同一処理には、同一符号を付す。
【００６６】
まず、ＣＰＵ１０は、ライブビュー画像を用いて撮影環境判断処理を行い（ステップＳ１）、周囲の明るさが、所定値以下であるか否かを判別する（ステップＳ２）。ＣＰＵ１０は、周囲の明るさが所定値以下の明るさではないと判別すると（ステップＳ２；Ｎｏ）、発光部２０を発光させず、撮像部１５に撮像させ（ステップＳ１５）、画像データファイルを生成し、記憶部１７に記憶させる（ステップＳ１０）。
【００６７】
一方、ステップＳ２において周囲の明るさが所定値以下の明るさであると判別すると（ステップＳ２；Ｙｅｓ）、ＣＰＵ１０は、検出機能により、画像処理部１６に複数のライブビュー画像を対象として動体領域検出処理を行わせる（ステップＳ３１）。
【００６８】
ＣＰＵ１０は、選択機能により、画像処理部１６から動体領域検出処理の結果を取得し、この結果にもとづいて、動体領域が検出されたか否かを判別する（ステップＳ３２）。
【００６９】
動体領域が検出されたと判別すると（ステップＳ３２；Ｙｅｓ）、ＣＰＵ１０は、第１の制御機能および第２の制御機能により、図３に示す一連の撮像処理を行う（ステップＳ１１）。ただし、ＣＰＵ１０は、選択機能により、発光部２０を発光させた状態で撮影した画像のみを選択し（ステップＳ１２）、画像処理部１６に選択した画像を画像データファイルに変換させ（ステップＳ１０）、記憶部１７に記憶させる。
【００７０】
一方、動体領域が検出されなかったと判別されると（ステップＳ３２；Ｎｏ）、ＣＰＵ１０は、第１の制御機能および第２の制御機能により、図３に示す一連の撮像処理を行い（ステップＳ８）、選択機能によって、得られた複数の画像を合成し（ステップＳ９）、合成画像を画像データファイルに変換させ（ステップＳ１０）、記憶部１７に記憶させる。
【００７１】
以上、本実施形態に係るデジタルカメラ２によれば、第１の実施形態に係るデジタルカメラ１と同様に、ズレ量の算出等の処理負担の重い演算を行うことなく、不鮮明な画像が合成され記憶されてしまうのを防ぐことができる。
【００７２】
なお、図７に示すように、シャッタキー押下後、図３に示す一連の撮像処理を行い（ステップＳ４１）、その後、複数の撮像画像又は複数のライブビュー画像の動きベクトルを検出して、処理を行うことにより、動体領域の有無を判別してもよい。
【００７３】
なお、この発明は、上記の実施形態に限定されず、種々の変形及び応用が可能である。
例えば、図３に例示した一連の処理では、発光を伴わない撮像を複数回行った後、発光を伴う撮像を行ったが、発光を伴う撮像を行った後、発光を伴わない撮像を複数回行ってもよい。
【００７４】
第１の実施形態では、夜景と被写体とを重ねて撮像する方法として、被写体である人物の顔画像の数が所定数よりも多く、且つ、顔画像の間隔が所定の間隔よりも小さい場合に、顔画像の大きさを判別し、基準より大きい場合には、第２の制御機能により撮像した画像を保存した。しかし、顔画像の数が所定数よりも多く、且つ、顔画像の間隔が所定の間隔よりも小さい場合には、動きが小さいと予想されるため、顔画像の大きさに関わらず、第１の制御機能により撮像した画像と第２の制御機能により撮像した画像との合成画像を保存するようにしてもよい。
【００７５】
また、顔画像が所定の大きさよりも小さい場合には、画像のなかの被写体の重み（注目度）が小さいと考えられる。また、合成してもぶれは目立たないと考えられる。従って、顔画像が基準より小さい場合には、他の条件にかかわらず、第１の制御機能により撮像した画像と第２の制御機能により撮像した画像との合成画像を保存するようにしてもよい。
【００７６】
第１の実施形態では、顔画像の数の判別、顔画像の間隔の判別、顔画像の大きさの判別、の順番で判別を行ったが、判別の順番と重みとはこれに限定されない。例えば、顔画像の大きさの判別、顔画像の数の判別、顔画像の間隔の判別、の順番で判別を行ってもよい。  例えば、顔画像の数の判別結果と、顔画像の間隔の判別結果と、顔画像の大きさの判別結果と、にそれぞれ所定の点数を付与し、点数の合計が所定の閾値よりも大きいか否かを判別することにより、第１の制御機能により撮像した画像と第２の制御機能により撮像した画像との合成画像を保存するか否かを決定してもよい。この場合、各判別結果に付与する点数を適宜設定することにより、各判別の重要度を任意に設定することができる。
【００７７】
夜景を背景とする被写体を撮像する際に、第１の実施形態では被写体を人物とし、第２の実施形態では被写体を動きのあるものとし、被写体の検出結果（顔の数、間隔、大きさ、年齢、被写体の動きの有無など）に応じて、第１の制御機能により撮像した画像と第２の制御機能により撮像した画像との合成画像と、第２の制御機能により撮像した画像との何れかを保存するかを切り換えた。しかし、被写体の検出結果としては、これらに限定されず、他の基準を採用してもよい。例えば、被写体は、人間以外の動植物、車両等の移動体等でもよく、顔以外の識別可能な特徴部等でもよい。また、被写体の動きの方向や量を検出結果として採用してもよい。
【００７８】
なお、本発明に係る撮像装置は、デジタルカメラに限らず、発光手段と撮像手段を備える電子機器であれば実現可能である。例えば、本発明に係る撮像装置は、コンピュータや携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｃｅ）などによって実現することができる。この場合、例えば、本発明に係る撮像装置の動作を実行させるためのコンピュータプログラムを、コンピュータや携帯電話機、ＰＤＡなどが読み取り可能な記録媒体（例えば、メモリカードやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等）に格納して配布し、上記コンピュータプログラムをコンピュータや携帯電話機、ＰＤＡなどにインストールすることにより、本発明に係る撮像装置を実現してもよい。
【００７９】
また、上記コンピュータプログラムを、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置（例えば、ディスク装置等）に格納しておき、コンピュータや携帯電話機、ＰＤＡなどがこのプログラムをダウンロードすることによって本発明に係る撮像装置を実現してもよい。
【００８０】
また、本発明に係る撮像装置の機能を、オペレーティングシステムとアプリケーションプログラムの協働により実現する場合には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００８１】
なお、上記コンピュータプログラムを搬送波に重畳し、通信ネットワークを介して配信することも可能である。
【００８２】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。
【００８３】
（付記１）
撮像手段と、
発光手段と、
前記発光手段による発光無しに前記撮像手段を駆動させて連続的に撮像させ、これによって得られた複数の画像を画素加算するように制御する第１の制御手段と、
前記第１の制御手段による撮像に前後して、前記発光手段による発光時に前記撮像手段を駆動させて撮像させた画像を取得するよう制御する第２の制御手段と、
前記撮像手段によって撮像された画像に含まれる被写体の動く度合いを検出する検出手段と、
前記検出手段による検出結果に基づいて、前記第１の制御手段による制御により生成された画像と前記第２の制御手段による制御により取得された画像を合成し保存するか、又は、前記第２の制御手段によって取得された画像を保存するか、を選択する選択手段と、を備える、
ことを特徴とする撮像装置。
【００８４】
（付記２）
前記検出手段は、前記第１の制御手段による制御に先立ち撮像された複数の画像に基づいて、前記被写体の動く度合いを検出する、
ことを特徴とする付記１に記載の撮像装置。
【００８５】
（付記３）
前記検出手段は、前記第１の制御手段による制御により撮像された複数の画像に基づいて、前記被写体の動く度合いを検出する、
ことを特徴とする付記１に記載の撮像装置。
【００８６】
（付記４）
前記検出手段は、前記第１の制御手段による制御と前記第２の制御手段による制御とにより撮像された複数の画像に基づいて、前記被写体の動く度合いを検出する、
ことを特徴とする付記１に記載の撮像装置。
【００８７】
（付記５）
前記被写体として顔領域を検出する顔検出手段を更に含み、
前記検出手段はこの顔検出手段によって検出された顔領域が動く度合いを検出する、
ことを特徴とする付記１乃至４の何れか１つに記載の撮像装置。
【００８８】
（付記６）
前記顔検出手段は前記顔領域を複数検出し、
前記検出手段は、顔領域が複数検出された場合には、それらの顔領域の間隔が所定の間隔より広い場合に、顔が動く度合いが大きいものとして検出し、
前記選択手段は、前記第２の制御手段によって取得された画像を保存するよう制御する、
ことを特徴とする付記５に記載の撮像装置。
【００８９】
（付記７）
前記選択手段は、前記検出手段が前記顔検出手段によって検出された顔領域が所定の大きさ以上であると検出した場合に、前記第２の制御手段によって取得された画像を保存するよう制御する、
ことを特徴とする付記５又は６に記載の撮像装置。
【００９０】
（付記８）
前記検出手段は、前記顔検出手段によって検出された顔領域を有する被写体の年齢を推定し、年齢が所定以下の場合には、顔が動く度合いが大きいものとして検出し、
前記選択手段は、前記第２の制御手段によって取得された画像を保存するよう制御する、
ことを特徴とする付記５又は６に記載の撮像装置。
【００９１】
（付記９）
発光無しに連続的に撮像し、これによって得られた複数の画像を画素加算するように制御する第１の制御ステップと、
前記第１の制御ステップの実行に前後して、発光時に撮像した画像を取得するよう制御する第２の制御ステップと、
撮像された画像に含まれる被写体の動く度合いを検出する検出ステップと、
前記検出ステップによる検出結果に基づいて、前記第１の制御ステップにおいて生成された画像と前記第２の制御ステップにおいて取得された画像を合成し保存するか、又は、前記第２の制御ステップにおいて取得された画像を保存するか、を選択する選択ステップと、を有する、
ことを特徴とする撮像方法。
【００９２】
（付記１０）
コンピュータに、
発光無しに連続的に撮像し、これによって得られた複数の画像を画素加算するように制御する第１の制御処理と、
前記第１の制御処理の実行に前後して、発光時に撮像した画像を取得するよう制御する第２の制御処理と、
撮像された画像に含まれる被写体の動く度合いを検出する検出処理と、
前記検出処理による検出結果に基づいて、前記第１の制御処理において生成された画像と前記第２の制御処理において取得された画像を合成し保存するか、又は、前記第２の制御処理において取得された画像を保存するか、を選択する選択処理と、を実行させる、
ことを特徴とするプログラム。
【符号の説明】
【００９３】
１…デジタルカメラ、１０…ＣＰＵ、１１…ＲＯＭ、１２…ＲＡＭ、１３…電源部、１４…レンズ部、１５…撮像部、１６…画像処理部、１７…記憶部、１８…表示部、１９…操作部、２０…発光部、ＳＢ…システムバス
【図１】
2015035779.tif 000003
【図２】
2015035779.tif 000004
【図３】
2015035779.tif 000005
【図４】
2015035779.tif 000006
【図５】
2015035779.tif 000007
【図６】
2015035779.tif 000008
【図７】
2015035779.tif 000009