(57)【特許請求の範囲】
【請求項１】
光学系の光軸に平行な方向においてユーザが当該撮像装置を構える位置を変化させているときに被写体を複数回撮像することにより互いに異なる画像を表す画像データを複数取得する取得手段と、
前記取得手段により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出手段と、
前記抽出手段により抽出された特定の被写体像がそれぞれ重なり合うように前記取得手段により取得された複数の画像データが表す画像を変倍し、変倍した画像を表す画像データを合成することにより合成画像を表す合成画像データを得る合成手段と、
を備える撮像装置。
【請求項２】
ユーザが当該撮像装置を構える位置の変化に関する情報を検出する検出手段と、
前記検出手段により検出された情報に基づいて、ユーザが当該撮像装置を構える位置が変化したか否かを判定する判定手段と、をさらに備え、
前記取得手段は、
前記判定手段によりユーザが当該撮像装置を構える位置が変化したと判定されたときに撮像した画像を表す画像データを取得する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記抽出手段は、
前記取得手段により取得された複数の画像データが表す画像に対し、所定の画像処理を施すことにより、前記特性の被写体像を抽出する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記抽出手段は、
ユーザの操作入力情報に基づいて、前記取得手段により取得された複数の画像データが表す画像に含まれる特定の被写体像を抽出する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
光学系の光軸に平行な方向においてユーザが当該撮像装置を構える位置を変化させているときに被写体を複数回撮像することにより互いに異なる画像を表す画像データを複数取得する取得工程と、
前記取得工程により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出工程と、
前記抽出工程により抽出された特定の被写体像がそれぞれ重なり合うように前記取得手段により取得された複数の画像データが表す画像を変倍し、変倍した画像を表す画像データを合成することにより合成画像を表す合成画像データを得る合成工程と、
を含む撮像方法。
【請求項６】
コンピュータを、
光学系の光軸に平行な方向においてユーザが当該撮像装置を構える位置を変化させているときに被写体を複数回撮像することにより互いに異なる画像を表す画像データを複数取得する取得手段、
前記取得手段により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出手段、
前記抽出手段により抽出された特定の被写体像がそれぞれ重なり合うように前記取得手段により取得された複数の画像データが表す画像を変倍し、変倍した画像を表す画像データを合成することにより合成画像を表す合成画像データを得る合成手段、
として機能させるプログラム。
【請求項７】
ズームレンズを含む光学系と、
前記ズームレンズを前記光学系の光軸方向に駆動する駆動手段と、
前記駆動手段に前記ズームレンズを駆動させる駆動制御手段と、
前記ズームレンズが駆動される度に新たな撮像をして被写体を複数回撮像することにより互いに異なる画像を表す画像データを複数取得する取得手段と、
前記取得手段により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出手段と、
前記抽出手段により抽出された特定の被写体像を基準として前記複数の画像データが表す画像を合成することにより合成画像を表す合成画像データを得る合成手段と、
を備えることを特徴とする撮像装置。
【請求項８】
ズームレンズを含む光学系を備える撮像装置の撮像方法であって、
前記ズームレンズを、前記光学系の光軸方向に駆動させる駆動制御工程と、
前記ズームレンズが駆動される度に新たな撮像をして被写体を複数回撮像することにより互いに異なる画像を表す画像データを複数取得する取得工程と、
前記取得工程により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出工程と、
前記抽出工程により抽出された特定の被写体像を基準として前記複数の画像データが表す画像を合成することにより合成画像を表す合成画像データを得る合成工程と、
を含む、ことを特徴とする撮像方法。
【請求項９】
被写体を撮像して画像データを取得する取得手段と、
ズームレンズを含む光学系と、
前記ズームレンズを前記光学系の光軸方向に駆動する駆動手段と、
を備える撮像装置のコンピュータを、
前記駆動手段に、前記ズームレンズを駆動させる駆動制御手段、
前記ズームレンズが駆動される度に新たな撮像をさせて被写体を複数回撮像させることにより互いに異なる画像を表す画像データを複数取得させる取得手段、
前記取得手段により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出手段、
前記抽出手段により抽出された特定の被写体像を基準として前記複数の画像データが表す画像を合成することにより合成画像を表す合成画像データを得る合成手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、該撮像装置を用いた撮像方法、及び該撮像装置による撮像を実現するためのプログラムに関する。
【背景技術】
【０００２】
写真撮影の技法の１つに、被写界深度を浅くしてフォーカスの合う範囲を狭くし、フォーカスがあっている被写体像以外の背景をぼかして撮影するという方法がある。被写界深度が浅い写真を撮影するには、カメラの絞りを開放し、焦点距離を長くする必要がある。一般に、撮像レンズが大口径であり、絞りとシャッタ速度との組み合わせを種々選択することができる一眼レフカメラでは、この技法を用いて写真を撮影することが可能である。
【０００３】
これに対して、現在普及しているコンパクトサイズのデジタルカメラや撮影機能を有するカメラ付き携帯電話では、その小型化のために、口径の小さい、かつ、焦点距離が非常に短い撮像レンズが採用されているため、被写界深度が非常に深くなっている。このため、これらの機器では、上記技法を用いて、背景をぼかした写真（言い換えると、ボケ味のある写真）を撮影することが困難となっている。
【０００４】
そこで、撮像レンズが小径であっても、視差のある複数の画像を撮像し、それらの画像を合成して、あたかも大口径レンズによるボケ味をもつ画像を擬似的に生成する方法が開示されている（例えば、特許文献１参照）。
【特許文献１】特開２００３−１８９１７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の方法の場合、視差のある画像を撮影するために、複数の撮影レンズと撮像素子を備える複雑な構成の撮像部が必要になり、一般的なコンパクトサイズのカメラには適用が困難であるという問題があった。
【０００６】
本発明は、複雑な構成の撮像部を備えることなく、背景をぼかした画像を取得することができる撮像装置、撮像方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の第１の観点に係る撮像装置は、光学系の光軸に平行な方向においてユーザが当該撮像装置を構える位置を変化させているときに被写体を複数回撮像することにより互いに異なる画像を表す画像データを複数取得する取得手段と、前記取得手段により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出手段と、前記抽出手段により抽出された特定の被写体像がそれぞれ重なり合うように前記取得手段により取得された複数の画像データが表す画像を変倍し、変倍した画像を表す画像データを合成することにより合成画像を表す合成画像データを得る合成手段と、を備える。
【０００８】
また、本発明の第２の観点に係る撮像方法は、光学系の光軸に平行な方向においてユーザが当該撮像装置を構える位置を変化させているときに被写体を複数回撮像することにより互いに異なる画像を表す画像データを複数取得する取得工程と、前記取得工程により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出工程と、前記抽出工程により抽出された特定の被写体像がそれぞれ重なり合うように前記取得手段により取得された複数の画像データが表す画像を変倍し、変倍した画像を表す画像データを合成することにより合成画像を表す合成画像データを得る合成工程と、を含む。
【０００９】
また、本発明の第３の観点に係るプログラムは、コンピュータを、光学系の光軸に平行な方向においてユーザが当該撮像装置を構える位置を変化させているときに被写体を複数回撮像することにより互いに異なる画像を表す画像データを複数取得する取得手段、前記取得手段により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出手段、前記抽出手段により抽出された特定の被写体像がそれぞれ重なり合うように前記取得手段により取得された複数の画像データが表す画像を変倍し、変倍した画像を表す画像データを合成することにより合成画像を表す合成画像データを得る合成手段、として機能させる。
【００１０】
また、本発明の第４の観点に係る撮像装置は、ズームレンズを含む光学系と、前記ズームレンズを前記光学系の光軸方向に駆動する駆動手段と、前記駆動手段に前記ズームレンズを駆動させる駆動制御手段と、前記ズームレンズが駆動される度に新たな撮像をして被写体を複数回撮像することにより互いに異なる画像を表す画像データを複数取得する取得手段と、前記取得手段により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出手段と、前記抽出手段により抽出された特定の被写体像を基準として前記複数の画像データが表す画像を合成することにより合成画像を表す合成画像データを得る合成手段と、を備える。
【００１１】
また、本発明の第５の観点に係る撮像方法は、ズームレンズを含む光学系を備える撮像装置の撮像方法であって、前記ズームレンズを、前記光学系の光軸方向に駆動させる駆動制御工程と、前記ズームレンズが駆動される度に新たな撮像をして被写体を複数回撮像することにより互いに異なる画像を表す画像データを複数取得する取得工程と、前記取得工程により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出工程と、前記抽出工程により抽出された特定の被写体像を基準として前記複数の画像データが表す画像を合成することにより合成画像を表す合成画像データを得る合成工程と、を含む。
【００１２】
また、本発明の第６の観点に係るプログラムは、被写体を撮像して画像データを取得する取得手段と、ズームレンズを含む光学系と、前記ズームレンズを前記光学系の光軸方向に駆動する駆動手段と、を備える撮像装置のコンピュータを、前記駆動手段に、前記ズームレンズを駆動させる駆動制御手段、前記ズームレンズが駆動される度に新たな撮像をさせて被写体を複数回撮像させることにより互いに異なる画像を表す画像データを複数取得させる取得手段、前記取得手段により取得された複数の画像データが表す画像の各々に含まれる特定の被写体像を抽出する抽出手段、前記抽出手段により抽出された特定の被写体像を基準として前記複数の画像データが表す画像を合成することにより合成画像を表す合成画像データを得る合成手段、として機能させる。
【発明の効果】
【００１３】
本発明によれば、複雑な構成の撮像部を備えることなく、背景をぼかした画像を取得することができる撮像装置、撮像方法及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
次に、本発明の一実施形態について図面を参照して詳細に説明する。
【００１５】
図１には、本実施形態に係る撮像装置としてのデジタルスチルカメラ（以下、「デジタルカメラ」と略述する。）１の機能ブロック図が示されている。図１に示されるように、デジタルカメラ１は、撮像部１０と、駆動部１１と、ワークメモリ１２と、記憶部１３と、表示部１４と、操作部１５と、検出手段としてのセンサ部１６と、制御部２０と、内部バス２１とを備えている。撮像部１０と、駆動部１１と、ワークメモリ１２と、記憶部１３と、表示部１４と、操作部１５と、センサ部１６と、制御部２０とは、内部バス２１を介してそれぞれ接続されている。
【００１６】
撮像部１０は、被写体を撮像して、その画像データを取得する。撮像部１０は、光学系１０Ａと、撮像素子１０Ｂと、信号処理部１０Ｃとを備えている。
【００１７】
光学系１０Ａは、レンズ群、絞り機構などを備えている。被写体からの光は、光学系１０Ａを介して入射される。撮像素子１０Ｂは、光学系１０Ａの光軸後方に設けられたイメージセンサである。光学系１０Ａのレンズ群（フォーカスレンズやズームレンズ）を介して入射した光束は、その絞り機構を介して、撮像素子１０Ｂの受光面（撮像面）に達する。撮像素子１０Ｂとしては、例えば、ＣＣＤ（電荷結合素子）や、ＣＭＯＳ（相補型金属酸化物半導体）センサが用いられる。撮像素子１０Ｂは、光学系１０Ａを介して入射される光を受光面に形成された複数の画素で受光し、複数の画素各々で受光した光の強度に応じた電気信号を出力する。
【００１８】
光学系１０Ａのレンズ群及び絞り機構は、駆動部１１によって駆動される。すなわち、駆動部１１は、レンズ群の位置をその光軸方向に調整可能であり、絞り機構の開口量（絞り量）を調整可能である。この駆動部１１の駆動により、ズーム機能が実現され、オートフォーカスや自動露出調整が実現される。なお、絞り機構は、デジタルカメラ１のシャッタ機構を兼ねていてもよい。
【００１９】
信号処理部１０Ｃは、撮像素子１０Ｂから出力された電気信号を画像データに変換する。信号処理部１０Ｃでは、入力された電気信号に対して、色分離やゲイン調整、ホワイトバランスなどの各種処理が行われ、処理された電気信号は、Ａ／Ｄ変換され、輝度信号及び色差信号に変換される。この変換により生成された画像データは、内部バス２１を介して、ワークメモリ１２に格納される。
【００２０】
ワークメモリ１２は、撮像部１０から送られる画像データを一時的に記憶するメモリである。ワークメモリ１２は、少なくともＮ（Ｎは自然数）枚分の画像データを同時に記憶することができる容量を有している。ワークメモリ１２としては、例えば、ＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）が用いられる。
【００２１】
記憶部１３は、デジタルカメラ１で取得された最終的な画像データを所定のファイル形式で記憶する。このような記憶部１３は、リムーバブルな記録媒体に画像データを記録するものであってもよい。
【００２２】
表示部１４は、例えばカラー液晶表示装置などから構成される表示装置である。表示部１４には、撮像部１０を介して得られた画像データに基づく画像や、撮影により取得された画像データに基づく画像、デジタルカメラ１の各種設定情報、各種操作のガイダンス情報などが表示される。表示部１４は、タッチパネルであってもよい。
【００２３】
操作部１５は、デジタルカメラ１の筐体の外面などに設けられた各種操作ボタンを有している。操作部１５は、それら操作ボタンがユーザによって操作されると、その操作内容に応じた信号を、内部バス２１を介して制御部２０に出力する。このような操作ボタンには、例えば、シャッタボタンがある。シャッタボタンは、２段階の押下、すなわち半押しと全押しが可能となっている。このシャッタボタンが半押しされると、操作部１５から合焦指示信号が出力され、デジタルカメラ１では、オートフォーカス、自動露出調整が行われる。また、シャッタボタンが全押しされると、操作部１５から撮像指示信号が出力され、撮像部１０による撮像が行われる。
【００２４】
センサ部１６は、不図示の加速度センサ、ジャイロセンサ（角速度センサ）などを備えている。加速度センサは、デジタルカメラ１の位置変化により生じる加速度を検出しており、ジャイロセンサは、デジタルカメラ１の姿勢変化により生じる角速度を検出している。各種センサの検出信号（すなわち検出された加速度及び角速度に関する情報）は、内部バス２１を介して制御部２０に出力されている。
【００２５】
制御部２０は、図示していないＣＰＵ（セントラル・プロセッシング・ユニット）、ＲＯＭ（リード・オンリ・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）等から構成されている。制御部２０は、デジタルカメラ１全体の動作を統括制御するための各種プログラムや各種データを有している。制御部２０は、それらのプログラムを実行し、操作部１５から入力される操作信号など（表示部１４がタッチパネルである場合には、そのタッチパネルの信号も含む）や、センサ部１６から入力される検出信号に基づいて、撮像部１０、駆動部１１などを制御する。
【００２６】
次に、本実施形態に係るデジタルカメラ１の動作について説明する。まず、通常の撮影を行う際のデジタルカメラ１の動作について説明する。通常の撮影では、操作部１５において、シャッタキーが１回全押しされると、制御部２０の制御の下、撮像部１０の撮像により、１枚の画像データが撮像結果として取得され、記憶部１３に格納される。
【００２７】
本実施形態に係るデジタルカメラ１では、このような通常の撮影の他に、特定の被写体像のみをはっきりと写し、その他の部分を背景としてぼかして撮影することが可能である。このように、背景をぼかして撮影する際に実行される処理を、以下では、「背景ぼかし撮像処理」と呼ぶこととする。通常の撮影を行う通常撮像処理と背景ぼかし撮像処理との間の切替は、操作部１５のボタン操作によって可能となっている。背景ぼかし撮像処理を実行すれば、例えば、一眼レフカメラなどを用いて被写界深度を浅くして撮られた写真と同じような画像が得られるようになる。以下では、この背景ぼかし撮像処理について説明する。
【００２８】
この背景ぼかし撮像処理は、例えば、ユーザが、デジタルカメラ１を手に持った状態、すなわち手持ちで撮影する場合に行われる。また、このような撮影を行う場合には、「壁に貼り付けた絵」や「大画面のスクリーン」のような平面的なものではなく、デジタルカメラ１の手前側にメイン被写体が存在し、その奥に背景が広がる、奥行きのあるものが撮像対象となるのが一般的である。以下では、適宜、図２に示されるように、デジタルカメラ１に近い順に被写体５１、５２、５３が並んでいる光景を撮影する場合を例にとって背景ぼかし撮像処理を説明する。デジタルカメラ１に最も近い被写体５１は人物である。なお、以下で説明される図５〜図９では、説明を簡単にするために、撮像の結果得られる画像データ内における被写体５１〜５３の像も、５１〜５３の符号を付して説明を行う。
【００２９】
図３、図４には、制御部２０で行われる背景ぼかし撮像処理のフローチャートが示されている。まず、ステップ２０１では、制御部２０は、操作部１５のシャッタボタンが半押しされるまで待つ。操作部１５のシャッタボタンが半押しされると、合焦指示信号が、操作部１５から、内部バス２１を介して、制御部２０に送られる。制御部２０は、その合焦指示信号が入力されるまで、ステップ２０１を繰り返す。
【００３０】
シャッタボタンが半押しされ、合焦指示信号が入力されると、ステップ２０１の判定が肯定され、制御部２０は、ステップ２０３に進む。ステップ２０３では、制御部２０は、駆動部１１を駆動させ、オートフォーカス及び自動露出調整を行う。
【００３１】
オートフォーカス（ＡＦ）は、コントラスト検出方式で行われる。コントラスト検出方式は、撮像視野内の所定の領域（いわゆるＡＦ枠内の領域、ＡＦエリアともいう）のコントラスト成分（高周波成分）が最大となるレンズ位置を合焦位置とする方式である。
【００３２】
より具体的には、制御部２０は、駆動部１１により光学系１０Ａのフォーカスレンズをその光軸方向に移動させる。そして、制御部２０は、撮像部１０に対し、フォーカスレンズが移動する間、撮像素子１０Ｂでの撮像により各レンズ位置での画像データを取得する。そして、制御部２０は、各画像データにおけるＡＦ枠内の領域のコントラスト成分（高周波成分）の大小を示す評価値を算出する。さらに、制御部２０は、その評価値が最も大きくなるレンズ位置に駆動部１１の駆動により、光学系１０Ａのフォーカスレンズを移動させる。これにより、ＡＦ枠内の被写体にピントが合った状態となる。
【００３３】
また、自動露出調整については、例えば、撮像素子１０Ｂに結像された被写体像の輝度の分散範囲が最大になるように駆動部１１により絞り機構を制御することにより行われる。
【００３４】
オートフォーカスの対象となるＡＦ枠は、通常、撮像視野の中央付近に設定されているが、ユーザの操作により、ＡＦ枠の位置を左右上下に変更することができるようになっていてもよい。さらには、例えば表示部１２がタッチパネルである場合には、そのタッチパネル等の操作により、ユーザが、撮像視野内の任意の領域をＡＦ枠として設定できるようにしてもよい。
【００３５】
また、撮像視野内において、コントラストが最大となっている領域を自動的に検出し、検出された領域をＡＦ枠として設定した状態で、さらにオートフォーカスを行うようにしてもよい。また、人間の顔のテンプレート画像との相関性演算により撮像視野内の人間の顔を検出し、ＡＦ枠の位置が人間の顔の位置となるように自動的に調整できるようになっていてもよい。
【００３６】
なお、図５は、図２に示される撮像対象について、オートフォーカスやユーザの操作により、手前の被写体５１にＡＦ枠Ｗを設定した場合の例である。制御部２０は、上述のようにして決定された撮像視野内のＡＦ枠の位置情報を、内部のＲＡＭに保持しておく。
【００３７】
図３に戻り、次のステップ２０５では、制御部２０は、操作部１５のシャッタボタンが全押しされるまで待つ。操作部１５のシャッタボタンが全押しされると、撮像指示信号が、操作部１５から、内部バス２１を介して、制御部２０に送られる。制御部２０は、撮像指示信号が入力されるまで、ステップ２０５を繰り返す。
【００３８】
シャッタボタンが全押しされ撮像指示信号が入力されると、制御部２０は、ステップ２０７に進む。ステップ２０７では、制御部２０は、内部変数ｎの値を１に初期化する。この内部変数ｎは、背景ぼかし撮像処理における現時点で取得されている画像データの取得枚数を示す変数であり、制御部２０のＲＡＭ内に保持されている。
【００３９】
次のステップ２０９では、制御部２０は、撮像部１０に１回目の撮像を行わせる。この撮像により、撮像部１０において１枚の画像データが取得される。ここで取得された画像データが、基準画像となる。次のステップ２１０では、制御部２０は、この画像データを、内部バス２１を介してワークメモリ１３に格納する。
【００４０】
次のステップ２１１では、制御部２０は、撮像部１０に２回目の撮像を行わせる。このように、本実施形態に係る背景ぼかし撮像処理では、１回のシャッタボタンの押下により複数回の撮像を行う、いわゆる連写撮影が行われる。
【００４１】
次のステップ２１３では、制御部２０は、センサ部１６の加速度センサからの検出信号に基づいて、デジタルカメラ１に生じている加速度が第１の所定の値以上であるか否かを撮像が行われる度に検出する。制御部２０は、この判断が否定されればステップ２１１に戻り、肯定されればステップ２１５に進む。
【００４２】
すなわち、２回目の撮像時において加速度が小さい場合には、２回目の撮像時の撮像位置、すなわち２回目の撮像時においてユーザがデジタルカメラ１を構えていた位置が、１回目の撮像時においてユーザがデジタルカメラ１を構えていた位置（撮像位置）からほとんど変化していないと考えられる。特に、加速度が０である場合には、１回目の撮像と２回目の撮像の間にかけてデジタルカメラ１は静止していたと考えられる。この場合、２回目の撮像により得られる画像は、基準画像（１枚目の画像）と比べて被写体像の相対位置の変化のない画像となるため、基準画像と２回目の撮像で得られた画像とを合成しても背景が完全に重なってしまい、背景がぼけた画像を得ることができない。このため、ステップ２１３の判断は否定され、制御部２０は、ステップ２１１に戻り、改めて撮像部１０に撮像を行わせる。このように、デジタルカメラ１に生じた加速度が第１の所定の値以下である限り、ステップ２１３の判断は否定されたままとなり、ステップ２１１の撮像とステップ２１３の判断が繰り返される。しかしながら、本実施形態では、ユーザがデジタルカメラ１を手に持っているため、加速度が０であるという場合は、むしろまれであると考えられる。
【００４３】
撮影時の加速度が第１の所定の値以上であり、ステップ２１３での判断が肯定されると制御部２０はステップ２１５に進む。ステップ２１５では、制御部２０は、デジタルカメラ１に生じた加速度が、第２の所定値以下であるか否かを判定する。第２の所定の値は、第１の所定の値よりも大きく設定される。制御部２０は、この判定が否定されればステップ２１１に戻り、肯定されればステップ２１７に進む。撮影時の加速度が第２の所定値を上回るということは、デジタルカメラ１の撮像位置が前回の撮像時に比べて大幅に変わってしまっていることを示している。撮像位置が大幅に変化してしまうと、撮像視野内の光景も大幅に変化し、他の画像データと合成して背景がぼけた画像を生成するのに適当な画像データが得られない可能性が高い。そこで、ここでは、撮影時の加速度が第２の所定値以下であるか否かを判定し、加速度が大きすぎる場合にはその画像データを、合成対象としないようにしているのである。
【００４４】
このように、撮像時の加速度が第１の所定値以上であり、かつ、第２の所定値以下である場合にのみ、制御部２０は、ステップ２１７に進む。ステップ２１７では、制御部２０は、撮像部１０の撮像により得られた画像データを、内部バス２１を介してワークメモリ１２に格納する。次のステップ２１９では、制御部２０は、内部変数ｎの値を１だけインクリメントする。次のステップ２２１では、制御部２０は、内部変数ｎの値がＮとなったか否かを判断する。ここでの判断が否定されると、ステップ２１１に戻る。
【００４５】
以降、内部変数ｎの値がＮとなるまで、ステップ２１１〜２２１が繰り返される。これにより、撮像時の加速度が第１の所定値以上であり、かつ、第２の所定値以下である場合に撮像されたＮ枚の画像データが取得され、ワークメモリ１２に格納される。
【００４６】
例えば、ステップ２０９、ステップ２１１の撮像により、基準画像（１回目の撮像により得られた１枚目の画像）として図６（Ａ）の画像が得られ、２枚目の画像（２回目の撮像により得られた画像）として図６（Ｂ）のような画像が得られ、３枚目の画像（３回目の撮像により得られた画像）として図６（Ｃ）のような画像が得られたとする。２枚目の画像は、１回目の撮像時からユーザがデジタルカメラ１を構える位置（撮像位置）が、光学系１０Ａのレンズ群の光軸に直交する平面において右に動いた場合の画像である。３枚目の画像は、１回目の撮像時から、ユーザがデジタルカメラ１を構える位置（撮像位置）が、前記平面において左に動いた場合の画像である。図６（Ａ）〜図６（Ｃ）に示されるように、各回の撮像時において撮像位置が変化すると、撮像視野内の被写体５１、５２、５３の像の相対的な位置関係が変化して、それぞれ異なる画像が得られるようになる。
【００４７】
撮像視野内の被写体５１、５２、５３の像の相対的な位置関係は、デジタルカメラ１と各被写体５１、５２、５３との距離に応じて変化する。デジタルカメラ１に近い被写体５１は、デジタルカメラ１の撮像位置が左右に変化すると、撮像視野内におけるその像の位置の変化は大きくなる。これに対し、デジタルカメラ１から遠い被写体５２、５３は、デジタルカメラ１の撮像位置が左右に変化しても、撮像視野内におけるその像の位置の変化は相対的に小さくなる。
【００４８】
図３に戻り、内部変数ｎの値がＮとなり、ステップ２２１の判断が肯定されると、制御部２０は、図４のステップ３０１に進む。ステップ３０１では、制御部２０は、ワークメモリ１２に記録された各画像データにおいて、オートフォーカスの対象となったＡＦ領域Ｗ（図５参照）を中心とするメイン被写体像領域を特定する。ここで、メイン被写体像領域とは、背景ぼかし撮像処理において、後述する各画像データの重ね合わせの基準となる特徴部分を有する被写体像が存在する領域をいう。
【００４９】
本実施形態に係るデジタルカメラ１では、オートフォーカスの方法として、コントラスト検出方式が採用されているため、撮像画像の中でフォーカスが合っている領域は、その画像の中で、コントラストが大きい部分であると推定される。そこで、ここでは、画像データ内においてコントラストが大きくなっている領域を、メイン被写体像領域として特定する。
【００５０】
コントラストが大きい部分とは、隣接する画素の間の輝度値の変化が大きく、画像データのフィールド内において高い空間周波数成分を含む部分であると考えられる。高い空間周波数成分を含む領域は、近傍の画素同士の輝度値を比較することにより検出することができる。例えば、制御部２０は、ステップ２０３（図３参照）において設定されたＡＦ領域の位置を中心とする、画像データＦ内から適当な大きさの領域を設定し、領域内の各画素の輝度値の平均値を算出する。そして、制御部２０は、領域内の各画素の輝度値とその平均値との差分絶対値和又は差分二乗和を計算する。さらに、制御部２０は、画像データ内で、ＡＦ領域Ｗを中心としてその領域の大きさ又は位置を変化させ、その都度、上述したような計算を行い、その計算値（すなわち領域Ｆ内の各画素の輝度値の差分絶対値和又は差分二乗和）が最大となる領域をメイン被写体像領域として特定する。例えば、図７では、メイン被写体像領域として領域Ａ（すなわち被写体５１の像の領域）が特定されている。
【００５１】
このような処理により、例えば、図６（Ａ）〜図６（Ｃ）に示される各画像データに対して、被写体５１の像が存在する領域が、メイン被写体像領域として特定される。なお、制御部２０は、上記ステップ２０３のオートフォーカスによって設定されたＡＦ領域Ｗを、そのままメイン被写体像領域としてもよい。
【００５２】
図４に戻り、次のステップ３０３では、制御部２０は、各画像データにおけるメイン被写体像領域の特徴部分を抽出し、その画像データ内の位置をＲＡＭに保持する。ここで、特徴部分とは、メイン被写体像領域の中で他の部分と識別可能な特定の部分のことである。例えば、周囲に比べて「色の変化」や「輝度の変化」が大きい部分が特徴部分となる。図８に示されるように、メイン被写体が人の顔である場合には、その人の目の部分Ｂ１、Ｂ２や口の部分Ｂ３を特徴部分として抽出することができる。
【００５３】
このような特徴部分の抽出は、１枚目の画像（基準画像）から行われる。まず、上記ステップ３０１において、基準画像において特定されたメイン被写体像領域の中から「輝度の変化」が特に大きい部分が抽出される。例えば、図８の被写体５１の像であれば、肌の部分に対して「輝度の変化」が大きい、目の部分Ｂ１、Ｂ２や口の部分Ｂ３が抽出されるようになる。
【００５４】
本実施形態では、制御部２０は、基準画像から、目の部分Ｂ１、Ｂ２や口の部分Ｂ３の画像を、テンプレート画像として抽出する。そして、制御部２０は、２回目の撮像以降に取得された画像データのメイン被写体像領域内で、このテンプレート画像を走査させ、画像データとテンプレート画像との相関演算を行い、最も相関性（一致度）が高い部分を、その画像データにおける対応する特徴部分の位置として抽出する。以上の処理により、２枚目以降の画像データに対する特徴部分の追跡が行われ、各画像データ内での特徴部分の位置が明らかとなる。Ｎ枚の画像データにおける特徴部分の位置は、制御部２０のＲＡＭ内に保持される。
【００５５】
なお、メイン被写体が人の顔である場合には、その目、鼻、口に限らず、顔面にできたほくろ等も特徴部分となる。また、メイン被写体が、花であれば、その花びらのエッジ等が特徴部分となる。
【００５６】
図４に戻り、次のステップ３０５では、制御部２０は、各画像データにおけるメイン被写体像領域以外の領域にローパスフィルタ処理を施す。これにより、メイン被写体像領域以外の領域におけるカットオフ周波数以下の空間周波数成分が低減され、メイン被写体以外の被写体の像をさらにボケさせることができるようになる。
【００５７】
次のステップ３０７では、制御部２０は、抽出された特徴部分を基準として、すなわち各特徴部分の位置を一致させた状態で、各画像データを合成し、合成画像データを生成する。より具体的には、制御部２０は、各画像データの特徴部分が完全に重なり合うように、画像データ間の位置、回転及びスケールを調整し、特徴部分の位置を一致させた状態でＮ枚の画像データの合成を行なう。この場合、合成画像における各画素の輝度値については、各画像データにおける、対応する各画素の輝度値の平均値とすればよい。または、制御部２０は、いわゆるミディアムフィルタ処理を行って合成画像の各画素の輝度値を得るようにしてもよい。また、画像データの回転等により、重ね合わせる画像データの各画素の位置が一致しない場合には、各画素の輝度値の補間演算が行われ、その補間演算により求められた輝度値によって、重ね合わせが行われる。
【００５８】
例えば、図６（Ａ）、図６（Ｂ）、図６（Ｃ）のような画像データが得られ、特徴部分として目の部分Ｂ１、Ｂ２、口の部分Ｂ３が抽出されている場合には、目の部分Ｂ１、Ｂ２及び口の部分Ｂ３を一致させた状態で、各画像データが重ね合わせられる。このようにすれば、図９に示されるような合成画像が得られるようになる。図９に示されるように、被写体５１の像の特徴部分である目の部分Ｂ１、Ｂ２、口の部分Ｂ３を一致させた状態で画像の重ね合わせが行われるので、被写体５１の像は、完全に一致した状態で合成されるが、他の被写体５２、５３の像は、ずれた状態で重ね合わせられる。この結果、被写体５１の像ははっきりと写ったままとなり、他の被写体５２、５３の像は、二重三重にぶれた状態となる。
【００５９】
デジタルカメラ１を持つ手の運動方向に規則性はなく、デジタルカメラ１は、上下左右にランダムに移動する。したがって、短時間の連写により得られた画像間でも、その撮像位置はランダムに異なるようになる。したがって、画像を合成していくにつれて、被写体５１以外の被写体５２、５３の像は、ランダムにずれて合成されるようになり、その像は平均化されてボケていくようになる。この合成の結果、合成画像は、被写体５１だけにフォーカスが合い、他の部分は背景としてボケたような、被写界深度を浅くして撮影された画像と同等の画像となる。
【００６０】
図４に戻り、次のステップ３０９では、制御部２０は、生成された合成画像データを表示部１４に表示させるとともに、記憶部１３に記憶する。ステップ３０９実行後は、制御部２０は、背景ぼかし撮像処理を終了する。
【００６１】
これまでの説明から明らかなように、制御部２０におけるステップ２０１〜２２１の処理が取得手段、取得工程、取得手順に対応し、ステップ３０１、３０３の処理が抽出手段、抽出工程、抽出手順に対応し、ステップ３０７の処理が、合成手段、合成工程、合成手順に対応する。また、ステップ２１３、２１５の処理が判定手段に対応し、ステップ３０５の処理が、フィルタ処理手段に対応する。
【００６２】
以上詳細に説明したように、本実施形態に係るデジタルカメラ１によれば、ステップ２０１〜２２１の処理を実行することにより、各撮像時において、ユーザがデジタルカメラ１を構える位置（撮像位置）がそれぞれ異なるＮ枚の画像データが取得される。換言すれば、被写体５１、５２、５３のそれぞれの位置とデジタルカメラ１の位置との距離がそれぞれ異なるＮ枚の画像データが取得される。そして、取得されたＮ枚の画像データを、ステップ３０１〜３０７の処理を実行して、特定の被写体像の特徴部分を基準として合成する。撮像位置がそれぞれ異なる画像データの間には、撮像位置の相違により生じる物の視覚像や方向の差異、すなわち視差が生じている。したがって、画像データ内の特定の被写体像の特徴部分を基準として、画像データを重ね合わせると、他の部分にある被写体像は、位置ずれした状態で合成されるようになり、フォーカスが合っていないのに近い状態像となる。すなわち、合成された画像は、特定の被写体像がはっきりと写り、その他の部分がボケた画像となる。この結果、撮像レンズが小径であっても、複雑な構成の撮像部を備えることなく、背景のボケた画像が得られるようになる。
【００６３】
また、上記実施形態では、加速度センサを有するセンサ部１６をさらに備え、制御部２０は、センサ部１６の加速度センサからの加速度に基づいて、撮像位置が変化したか否かを判定し、撮像位置が変化したと判定されたときに撮像された撮像結果が取得されるようにした。このようにすれば、撮像位置がそれぞれ異なるＮ枚の画像データを確実に取得することが可能となる。
【００６４】
また、上記実施形態では、センサ部１６の加速度センサによって検出された加速度が、所定レベルを超えたときに撮像された画像データを取得しないようにした。このようにすれば、撮像視野内の光景が全く異なる画像データを画像合成に用いないようにすることができるので、取得される合成画像データを良好なものとすることができる。
【００６５】
上記実施形態では、背景ぼかし撮像処理に用いるセンサを加速度センサとしたが、他のセンサ、例えば、ジャイロセンサ等を用いて、撮像位置が異なることを検出するようにしてもよい。撮像位置が異なることを検出することができるセンサであれば、位置センサや速度センサなど、他のセンサを用いることも可能である。
【００６６】
また、上記実施形態は、主として、光学系１０Ａのレンズ群の光軸に直交する平面において撮像位置が変化した場合を対象とした。別の実施形態として、主として前後方向（光学系１０Ａのレンズ群の光軸方向）にデジタルカメラ１をずらしながら撮像した連写画像について背景ぼかし撮像処理を行うこともできる。すなわち、本実施形態は、主として、撮像レンズの光軸方向に撮像位置が変化した場合を対象とする。
【００６７】
この場合、撮像視野内の被写体の像の大きさの拡大率または縮小率は、デジタルカメラ１と各被写体との距離に応じて変化する。デジタルカメラ１の撮像位置が光軸方向の前に変化すると、すなわち、デジタルカメラ１の位置と被写体の位置とが近づき、デジタルカメラ１に近い被写体ほど撮像視野内におけるその像が大きくなる。これに対し、デジタルカメラ１から遠い被写体は、デジタルカメラ１と被写体の距離が変化しても、撮像視野内におけるその像の大きさの変化は相対的に小さい。
【００６８】
そこで、本実施形態では、制御部２０は、撮像された複数の画像データについて、メイン被写体像領域の大きさが一致するように拡大または縮小してメイン被写体像領域の大きさを合わせて、連写された複数の画像データを合成する。メイン被写体像領域の大きさを合わせるために画像データを拡大または縮小する以外の処理は、撮像レンズの光軸に直交する方向（左右）に撮像位置が変化する場合の実施形態と同一である。
【００６９】
合成画像データの生成に用いる複数の画像データは、ズームレンズを光軸方向に駆動しながら連写することによって得ることができる。すなわち、制御部２０が、撮像部１０に１回の撮像を行わせる度に、駆動部１１によってズームレンズを駆動させてズームレンズの位置を１回変化させる。そして、ズームレンズの１回の駆動が完了した後、撮像部１０に次回の撮像を行わせる。これを繰り返すことによって、合成画像データの生成に用いる複数の画像データを得ることができる。なお、ズームレンズを光軸方向に一定の速度で駆動できる場合には、加速度センサからの加速度に基づいて、撮像位置が変化したか否かを判定して撮像を行う必要はない。
【００７０】
一方、デジタルカメラ１はユーザの手持ちによりランダムに動くものであり、前後方向にも動いてもよいのは勿論である。すなわち、光学系１０Ａのレンズ群の光軸方向に撮像位置が変化する複数の画像データを手ぶれによっても得ることができる。例えば、上記したステップ２０９、ステップ２１１の撮像により、３枚の画像、つまり１回目の撮像で得た１枚目の画像、２回目の撮像で得た２枚目の画像、３回目の撮像で得た３枚目の画像が得られたとする。２枚目の画像は、１回目の撮像時から撮像位置が光学系１０Ａのレンズ群の光軸方向において前に動いた場合の画像であり、３枚目の画像は、１回目の撮像時から撮像位置が前記光軸方向において後ろに動いた場合の画像である。この場合でも、各回の撮像時において撮像位置が変化すると、撮像視野内の複数の被写体のそれぞれの位置とデジタルカメラ１の位置との距離が変化するため、１〜３枚目の画像間で画像における複数の被写体像の相対的な位置関係が変化して、１〜３枚目の画像が互いに異なる画像となる。この場合、通常光軸に直交する平面においても撮像位置は変化している。このため、制御部２０は、メイン被写体像領域の大きさを合わせるために画像データを拡大または縮小するだけではなく、各画像データの特徴部分が完全に重なり合うように、画像データ間の位置及び回転を調整し、特徴部分の位置を一致させた状態で画像データの合成を行なう必要がある。
【００７１】
また、上記各実施形態では、各画像データにおけるメイン被写体像領域以外の領域に対してローパスフィルタ処理を施した。これにより、背景として処理される領域に含まれる高い空間周波数成分を確実に低減することができるようになる。この結果、合成する画像データが少なくても、背景を十分にぼかすことができるようになるので、取得する画像データの枚数を減らすことも可能となる。
【００７２】
また、上記各実施形態では、周囲に比べて「色の変化」や「輝度の変化」が大きい部分を、特徴部分として抽出したが、単に、メイン被写体像領域全体を特徴部分とするようにしてもよい。この場合、図８に示される例では、被写体５１の像全体、すなわち人物の顔全体が特徴部分となる。
【００７３】
また、顔全体を特徴部分とする場合には、顔のテンプレート画像を用いてその特徴部分を抽出するようにしてもよい。例えば、一般的な人間の顔のテンプレート画像を、予め記憶部１３などに記憶しておき、各画像データにおいて、このテンプレート画像との一致度が高い部分を特徴部分として抽出するようにしてもよい。
【００７４】
また、単に、最もフォーカスの合っている部分を、特徴部分として抽出するようにしてもよいし、複数枚の画像データを比較した場合における、メイン被写体像領域の中で、移動量が最も大きい又は小さい部分を、特徴部分として抽出するようにしてもよい。
【００７５】
なお、上記各実施形態では、画像データ中において、オートフォーカスされたＡＦ領域Ｗを中心として、各画素の輝度値の平均値に対する差分絶対値和又は差分二乗和が大きい領域をメイン被写体像領域として特定したが、メイン被写体像領域の特定方法はこれには限られない。特定の画素（例えば左上隅の画素）の輝度値との差分絶対値和又は差分二乗和を用いてメイン被写体像領域を特定するようにしてもよい。また、分散値や標準偏差値を用いてもよいし、単に、領域内における最高輝度値と最低輝度値の幅が大きい領域をメイン被写体像領域として特定するようにしてもよい。また、画像に対して２次元フーリエ変換を行い、高い空間周波数成分を含む領域を、メイン被写体像領域として抽出するようにしてもよい。
【００７６】
なお、上記各実施形態では、ステップ３０１において、オートフォーカスで焦点の合った被写体の像を、特定の被写体の像であるとして特定したが、表示部１４をタッチパネルとし、表示部１４に基準画像を表示させ、タッチパネル等を用いてユーザが特定の被写体の像を選択できるようにしてもよい。すなわち、ユーザの操作入力情報に基づいて、画像データに含まれる被写体像の中から、メイン被写体像を特定し、特定されたメイン被写体像の特徴部分を抽出するようにしてもよい。
【００７７】
一般に、メイン被写体は、デジタルカメラ１に最も近い被写体であることが多い。したがって、デジタルカメラ１に最も近い被写体の像を検出し、その被写体の像をメイン被写体像として特定することも可能である。一般に、デジタルカメラ１が、その撮像面に対して平行移動している場合には、デジタルカメラ１に近い被写体の像ほど撮像視野内で移動量は大きくなる。これに対して、デジタルカメラ１がパン方向に回転（鉛直軸回りに回転）している場合には、デジタルカメラ１に近い被写体の像ほど撮像視野内での移動量は小さくなり、デジタルカメラ１から遠い被写体の像は撮像視野内での移動量が大きくなる。このような性質を利用して、デジタルカメラ１に最も近い被写体の像を特定することが可能である。
【００７８】
デジタルカメラ１に最も近い被写体像を特定するためには、取得された複数枚の画像データと、センサ部１０における加速度センサやジャイロセンサからの検出信号が必要となる。すなわち、制御部２０が、センサ部１６における加速度センサやジャイロセンサからの検出情報に基づいて、デジタルカメラ１が平行移動しているか、パン方向に回転しているかを判定する。そして、デジタルカメラ１が平行移動しているときは、複数枚の画像データの中で、その位置の変化が最大であった被写体像をメイン被写体像として特定し、回転移動しているときは、複数枚の画像データの中で、その位置の変化が最小であった被写体像をメイン被写体像として特定する。
【００７９】
また、上記各実施形態では、Ｎ枚の画像データを取得した後に、画像データの合成を行ったが、画像データが１枚取得される毎に、すでに取得された画像データと合成するようにしてもよい。しかしながら、上記各実施形態のように、Ｎ枚の画像データを一旦記憶してから、画像データの合成を行うようにすれば、後から条件を変えて画像データを合成し直すことも可能となる。また、それぞれ条件を変えて合成された複数枚の合成画像を表示部１４で表示し、表示部１４で表示された複数の合成画像の中から、ユーザが１枚の合成画像を選び出すことも可能となるので、有利である。
【００８０】
また、上記各実施形態では、オートフォーカスの方式をコントラスト検出方式としたが、本発明はこれには限られず、位相差検出方式や、アクティブ方式であってもよい。また、マニュアルでフォーカス合わせを行うカメラにも、本発明を適用することができるのは勿論である。
【００８１】
なお、上記各実施形態に係る撮像装置は、デジタルカメラであったが、カメラ付き携帯電話やカメラ付きゲーム機など、小型な電子カメラを内蔵する機器であれば、本発明を適用することができるのは勿論である。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施形態に係る撮像装置の構成を示すブロック図である。
【図２】背景ぼかし撮像処理を行う撮影対象の一例を示す図である。
【図３】制御部の背景ぼかし撮像処理のフローチャート（その１）である。
【図４】制御部の背景ぼかし撮像処理のフローチャート（その２）である。
【図５】フォーカスの合った被写体像の一例である。
【図６】図６（Ａ）〜図６（Ｃ）は、取得される画像データの一例である。
【図７】メイン被写体像を探索する方法の一例である。
【図８】メイン被写体像領域の一例である。
【図９】合成された画像の一例を示す図である。
【符号の説明】
【００８３】
１  デジタルカメラ
１０  撮像部
１０Ａ  光学系
１０Ｂ  撮像素子
１０Ｃ  信号処理部
１１  駆動部
１２  ワークメモリ
１３  記憶部
１４  表示部
１５  操作部
１６  センサ部
２０  制御部
２１  内部バス
５１、５２、５３  被写体
Ａ  メイン被写体像領域
Ｂ１、Ｂ２  目の部分
Ｂ３  口の部分
Ｗ  ＡＦ領域
【図１】
0004497211.tif 000002
【図２】
0004497211.tif 000003
【図３】
0004497211.tif 000004
【図４】
0004497211.tif 000005
【図５】
0004497211.tif 000006
【図６】
0004497211.tif 000007
【図７】
0004497211.tif 000008
【図８】
0004497211.tif 000009
【図９】
0004497211.tif 000010