(57)【要約】【課題】合焦画像と非合焦画像を撮影し、位置合わせを行って両者を合成することで、ソフトフォーカス撮影と同等の効果を得られることが可能な撮像装置および撮像方法を提供すること。【解決手段】撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、前記被写体の合焦位置を検出する撮像部と、合焦位置の検出時に撮像素子から順次出力される被写体の画像を記憶するメモリ１３４と、合焦位置に対する所望の非焦点度を予め所定数設定しておく効果設定部１５８と、合焦位置の画像と効果設定部１５８で設定された各非焦点度に対応する画像とをメモリ１３４から読み出した後、合焦位置の画像を含む複数の画像を位置合わせして合成する画像合成部１１８と、を含むことを特徴とする、撮像装置が提供される。【選択図】図１
2008098836.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、前記撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、前記被写体の合焦位置を検出する撮像部と；
前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像を記憶する画像記憶部と；
前記合焦位置に対する所望の非焦点度を予め所定数設定しておく効果設定部と；
前記合焦位置の画像と前記効果設定部で設定された各前記非焦点度に対応する画像とを前記画像記憶部から読み出した後、前記合焦位置の画像を含む複数の前記画像を位置合わせして合成する画像合成部と；
を含むことを特徴とする、撮像装置。
【請求項２】
前記画像記憶部は、前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像を全画素分の画像データとして記憶しておくことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記画像記憶部は、前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像のうち、前記合焦位置の画像のみ全画素分の画像データとして記憶しておく一方、前記合焦位置の画像以外の画像を所定の画素間引きした画像データとして記憶しておくことを特徴とする、請求項１に記載の撮像装置。
【請求項４】
前記撮像部は、前記撮像素子の結像面上で複数の合焦検知位置を設定しておき、前記合焦位置の検出時に各前記合焦検知位置から得られる合焦レベルを分析し、
前記画像合成部は、前記撮像部による前記合焦レベルの分析結果に基づいて、前記合焦位置に対する遠近方向を選択し、選択した方向で撮影された前記被写体の画像のうち前記効果設定部により設定された各前記非焦点度に対応する画像を、前記画像記憶部から読み出すことを特徴とする、請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、前記撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、前記被写体の合焦位置を検出する撮像ステップと；
前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像を記憶する画像記憶ステップと；
前記合焦位置に対する所望の非焦点度を予め所定数設定しておき、前記合焦位置の画像と当該設定された各前記非焦点度に対応する画像とを前記画像記憶ステップで記憶しておいた複数の前記画像の中から読み出した後、前記合焦位置の画像を含む複数の前記画像を位置合わせして合成する画像合成ステップと；
を含むことを特徴とする、撮像方法。
【請求項６】
前記画像記憶ステップでは、前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像を全画素分の画像データとして記憶しておくことを特徴とする、請求項５に記載の撮像方法。
【請求項７】
前記画像記憶ステップでは、前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像のうち、前記合焦位置の画像のみ全画素分の画像データとして記憶しておく一方、前記合焦位置の画像以外の画像を所定の画素間引きした画像データとして記憶しておくことを特徴とする、請求項５に記載の撮像方法。
【請求項８】
前記撮像ステップでは、前記撮像素子の結像面上で複数の合焦検知位置を設定しておき、前記合焦位置の検出時に各前記合焦検知位置から得られる合焦レベルを分析し、
前記画像合成ステップでは、前記撮像ステップによる前記合焦レベルの分析結果に基づいて、前記合焦位置に対する遠近方向を選択し、選択した方向で撮影された前記被写体の画像のうち前記効果設定部により設定された各前記非焦点度に対応する画像を、前記画像記憶ステップで記憶しておいた複数の前記画像の中から読み出すことを特徴とする、請求項５〜７のいずれかに記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関する。
【背景技術】
【０００２】
写真の撮影技法の一つにソフトフォーカス撮影がある。ソフトフォーカス撮影は、通常に撮影した場合よりも、写真全体を明るく、また輪郭をやわらかく撮影するものである。従来においては、ソフトフォーカス撮影を実施するために、レンズにソフトフィルタを装着したり、レンズの表面にワセリンを塗ったりする方法があった。
【０００３】
しかし、レンズにフィルタを装着する方法では、レンズの交換ができない撮像装置においてはフィルタの装着が出来ず、レンズにワセリンを塗る方法では、レンズの口径が小さい小型の撮像装置の場合には、良好なソフトフォーカス効果が得られない問題があった。
【０００４】
そこで、この問題を解決するために、撮影した画像を加工したり合成したりすることで、ソフトフォーカス撮影と同等の効果を得られるようにする技術が開示されている（特許文献１〜３参照）。
【０００５】
【特許文献１】特開２００３−１９８９２２号公報
【特許文献２】特開２００３−００８９６６号公報
【特許文献３】特開２００４−１０２９０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に示した方法は、撮影した画像を意図的にぼかしてソフトフォーカス撮影と同等の効果を得られるようにしている。しかし、特許文献１に示した方法では、画像を意図的にぼかして効果的なソフトフォーカスを得るには大規模なデジタルフィルタ回路が必要となる問題があった。
【０００７】
また、特許文献２に示した方法は、フォーカス位置を変更して合焦画像と非合焦画像を撮影して両者を合成することでソフトフォーカス撮影と同等の効果を得られるようにしているが、特許文献２に示した方法では、両者の位置のずれは考慮されておらず、撮影時にカメラや被写体がぶれてしまった場合には画像にぶれが出る問題があった。
【０００８】
また、特許文献３に示した方法は、撮影した画像を輝度信号と色信号に分けて、輝度信号に対して画像処理を行うことでソフトフォーカス撮影と同等の効果を得られるようにしているが、特許文献３に示した方法では、処理が複雑となり、専用の処理経路を設計する必要があるために、撮像装置の開発には非効率である問題があった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、合焦画像と非合焦画像を撮影し、位置合わせを行って両者を合成することで、ソフトフォーカス撮影と同等の効果を得られることが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、被写体の合焦位置を検出する撮像部と、合焦位置の検出時に撮像素子から順次出力される被写体の画像を記憶する画像記憶部と、合焦位置に対する所望の非焦点度を予め所定数設定しておく効果設定部と、合焦位置の画像と効果設定部で設定された各非焦点度に対応する画像とを画像記憶部から読み出した後、合焦位置の画像を含む複数の画像を位置合わせして合成する画像合成部と、を含むことを特徴とする、撮像装置が提供される。
【００１１】
かかる構成によれば、撮像部は撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、被写体の合焦位置を検出し、画像記憶部は合焦位置の検出時に撮像素子から順次出力される被写体の画像を記憶し、効果設定部は合焦位置に対する所望の非焦点度を予め所定数設定しておき、画像合成部は合焦位置の画像と効果設定部で設定された各非焦点度に対応する画像とを画像記憶部から読み出した後、合焦位置の画像を含む複数の画像を位置合わせして合成する。その結果、ソフトフォーカス撮影と同等の効果を有する画像を撮影することができる。
【００１２】
画像記憶部は、合焦位置の検出時に撮像素子から順次出力される被写体の画像を全画素分の画像データとして記憶しておいてもよい。その結果、像素子から順次出力される被写体の画像を全画素分の画像データとして記憶した場合において、ソフトフォーカス撮影と同等の効果を有する画像を撮影することができる。
【００１３】
画像記憶部は、合焦位置の検出時に撮像素子から順次出力される被写体の画像のうち、合焦位置の画像のみ全画素分の画像データとして記憶しておく一方、合焦位置の画像以外の画像を所定の画素間引きした画像データとして記憶しておいてもよい。その結果、全画素分の画像データと所定の画像間引きした画像データとを合成することで、画像全体がソフトフォーカス効果を有する画像を撮影することができる。
【００１４】
撮像部は、撮像素子の結像面上で複数の合焦検知位置を設定しておき、合焦位置の検出時に各合焦検知位置から得られる合焦レベルを分析し、画像合成部は、撮像部による合焦レベルの分析結果に基づいて、合焦位置に対する遠近方向を選択し、選択した方向で撮影された被写体の画像のうち効果設定部により設定された各非焦点度に対応する画像を、画像記憶部から読み出してもよい。その結果、合焦画像を撮影する際に主被写体に対して合焦することができる。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、被写体の合焦位置を検出する撮像ステップと、合焦位置の検出時に撮像素子から順次出力される被写体の画像を記憶する画像記憶ステップと、合焦位置に対する所望の非焦点度を予め所定数設定しておき、合焦位置の画像と当該設定された各非焦点度に対応する画像とを画像記憶ステップで記憶しておいた複数の画像の中から読み出した後、合焦位置の画像を含む複数の画像を位置合わせして合成する画像合成ステップと、を含むことを特徴とする、撮像方法が提供される。
【００１６】
かかる方法によれば、撮像ステップは撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、被写体の合焦位置を検出し、画像記憶ステップは合焦位置の検出時に撮像素子から順次出力される被写体の画像を記憶し、画像合成ステップは合焦位置に対する所望の非焦点度を予め所定数設定しておき、合焦位置の画像と当該設定された各非焦点度に対応する画像とを画像記憶ステップで記憶しておいた複数の画像の中から読み出した後、合焦位置の画像を含む複数の画像を位置合わせして合成する。その結果、ソフトフォーカス撮影と同等の効果を有する画像を撮影することができる。
【００１７】
画像記憶ステップでは、合焦位置の検出時に撮像素子から順次出力される被写体の画像を全画素分の画像データとして記憶してもよい。その結果、像素子から順次出力される被写体の画像を全画素分の画像データとして記憶した場合において、ソフトフォーカス撮影と同等の効果を有する画像を撮影することができる。
【００１８】
画像記憶ステップでは、合焦位置の検出時に撮像素子から順次出力される被写体の画像のうち、合焦位置の画像のみ全画素分の画像データとして記憶しておく一方、合焦位置の画像以外の画像を所定の画素間引きした画像データとして記憶してもよい。その結果、全画素分の画像データと所定の画像間引きした画像データとを合成することで、画像全体がソフトフォーカス効果を有する画像を撮影することができる。
【００１９】
撮像ステップでは、撮像素子の結像面上で複数の合焦検知位置を設定しておき、合焦位置の検出時に各合焦検知位置から得られる合焦レベルを分析し、画像合成ステップでは、撮像ステップによる合焦レベルの分析結果に基づいて、合焦位置に対する遠近方向を選択し、選択した方向で撮影された被写体の画像のうち効果設定部により設定された各非焦点度に対応する画像を、画像記憶ステップで記憶しておいた複数の画像の中から読み出してもよい。その結果、合焦画像を撮影する際に主被写体に対して合焦することができる。
【発明の効果】
【００２０】
以上説明したように本発明によれば、合焦画像と非合焦画像を撮影し、位置合わせを行って両者を合成することで、ソフトフォーカス撮影と同等の効果を得られることが可能な、新規かつ改良された撮像装置および撮像方法を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
（第１の実施形態）
まず、本発明の第１の実施形態にかかる撮像装置および撮像方法について説明する。
図１は、本発明の第１の実施形態にかかる撮像装置の構成について説明する説明図である。以下、図１を用いて本発明の第１の実施形態にかかる撮像装置の構成について説明する。
【００２３】
図１に示したように、本発明の第１の実施形態にかかる撮像装置は、図１に示したように、本発明の第１の実施形態に係る撮像装置１００は、ズームレンズ１０２と、絞り１０４と、フォーカスレンズ１０６と、駆動装置１０２ａ、１０４ａ、１０６ａと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子１０８と、アンプ一体型のＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路１１０と、Ａ／Ｄ変換器１１２と、画像入力コントローラ１１４と、画像信号処理部１１６と、画像合成部１１８と、圧縮処理部１２０と、ＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）１２１と、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）ドライバ１２２と、ＬＣＤ１２４と、タイミングジェネレータ１２６と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２８と、操作部１３２と、シャッタボタン１３３と、メモリ１３４と、ＶＲＡＭ（Ｖｉｄｅｏ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３６と、メディアコントローラ１３８と、記録メディア１４０と、モータドライバ１４２ａ、１４２ｂ、１４２ｃと、フラッシュ１４４と、を含んで構成される。
【００２４】
ズームレンズ１０２は、駆動装置１０２ａによって光軸方向に前後して移動させることで焦点距離が連続的に変化するレンズであり、被写体の大きさを変化して撮影する。絞り１０４は、画像を撮影する際に、駆動装置１０４ａによって、ＣＭＯＳ素子１０８に入ってくる光量の調節を行う。フォーカスレンズ１０６は、駆動装置１０６ａによって光軸方向に前後して移動させることで被写体のピントを調節するものである。
【００２５】
本実施形態においては、ズームレンズ１０２およびフォーカスレンズ１０６は１枚のみ示しているが、ズームレンズ１０２の枚数は２枚以上であってもよく、フォーカスレンズ１０６の枚数も２枚以上であってもよい。
【００２６】
ＣＭＯＳ素子１０８は、ズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６から入射された光を電気信号に変換するための素子である。本実施形態においては電子シャッタによって入射光を制御して、電気信号を取り出す時間を調節しているが、メカシャッタを用いて入射光を制御して、電気信号を取り出す時間を調節してもよい。本実施形態においては、ズームレンズ１０２、絞り１０４、フォーカスレンズ１０６およびＣＣＤ素子１１０で撮像部を構成する。なお、撮像部の組はこれに限られず、ズームレンズ１０２や絞り１０４を含まない構成であってもよい。
【００２７】
本実施形態ではＣＭＯＳ素子１０８を用いているが、本発明は係る例に限定されず、ＣＭＯＳ素子１０８の代わりにＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）素子を用いてもよく、またその他のイメージセンサを用いてもよい。
【００２８】
ＣＤＳ回路１１０は、ＣＭＯＳ素子１０８から出力された電気信号の雑音を除去する、サンプリング回路の一種であるＣＤＳ回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではＣＤＳ回路とアンプとが一体となった回路を用いて撮像装置１００を構成しているが、ＣＤＳ回路とアンプとを別々の回路で構成してもよい。
【００２９】
Ａ／Ｄ変換器１１２は、ＣＭＯＳ素子１０８で生成された電気信号をデジタル信号に変換して、画像の生データを生成するものである。
【００３０】
画像入力コントローラ１１４は、Ａ／Ｄ変換器で生成された画像の生データのメモリ１３４への入力を制御するものである。
【００３１】
画像信号処理部１１６は、ＣＭＯＳ素子１０８から出力された電気信号や、画像合成部１１８で合成した画像に対して、光量のゲイン補正やホワイトバランスの調整を行うものである。画像信号処理部１１６は撮影した画像の露光データを取得する。露光データには合焦評価値（ＡＦ評価値）やＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ；自動露光）評価値を含んでおり、画像信号処理部１１６において合焦評価値やＡＥ評価値の算出を行う。
【００３２】
画像合成部１１８は、撮影した複数の画像データの合成を行うものである。画像合成部の形態として、画像の合成を行う回路であってもよく、画像の合成を行うためのコンピュータプログラムであってもよい。
【００３３】
圧縮処理部１２０は、画像合成部１１８で合成した画像を、適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）形式やＪＰＥＧ２０００形式に変換してもよい。
【００３４】
ＯＳＤ１２１は、撮像装置１００の設定画面をＬＣＤ１２４に表示させる機能である。ＬＣＤ１２４は、撮影操作を行う前のライブビュー表示や、撮像装置１００の各種設定画面や、撮影した画像の表示等を行う。画像データや撮像装置１００の各種情報のＬＣＤ１２４への表示は、ＬＣＤドライバ１２２を介して行われる。
【００３５】
タイミングジェネレータ１２６は、ＣＭＯＳ素子１０８にタイミング信号を入力する。タイミングジェネレータ１２６からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ１２６からのタイミング信号によりＣＭＯＳ素子１０８の駆動が制御され、ＣＭＯＳ素子１０８が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。
【００３６】
ＣＰＵ１２８は、ＣＭＯＳ素子１０８やＣＤＳ回路１１０などに対して信号系の命令を行ったり、操作部１３２の操作に対する操作系の命令を行ったりする。本実施形態においては、ＣＰＵを１つだけ含んでいるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うようにしてもよい。
【００３７】
操作部１３２は、撮像装置１００の操作を行ったり、撮影時の各種の設定を行ったりするための部材が配置されている。操作部１３２に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択およびソフトフォーカス効果の設定を行う十字キーおよび選択ボタン等が配置される。シャッタボタン１３３は、撮影操作を行うためのものであり、半押し状態で被写体を合焦し、全押し状態で被写体の撮像を行う。
【００３８】
メモリ１３４は、画像記憶部の一例であり、撮影した画像や画像合成部１１８で合成した画像を一時的に記憶するものである。メモリ１３４は、複数の画像を記憶できるだけの記憶容量を有している。メモリ１３４への画像の読み書きは画像入力コントローラ１１４によって制御される。
【００３９】
ＶＲＡＭ１３６は、ＬＣＤ１２４に表示する内容を保持するものであり、ＬＣＤ１２４の解像度や最大発色数はＶＲＡＭ１３６の容量に依存する。
【００４０】
記録メディア１４０は、画像記録部の一例であり、撮影した画像や画像合成部１１８で合成した画像を記録するものである。記録メディア１４０への入出力は、メディアコントローラ１３８によって制御される。記録メディア１４０には、フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。
【００４１】
モータドライバ１４２ａ、１４２ｂ、１４２ｃはズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６を動作させる駆動装置１０２ａ、１０４ａ、１０６ａの制御を行う。モータドライバ１４２ａ、１４２ｂ、１４２ｃを介してズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６を動作させることで、被写体の大きさや光の量、ピントの調節を行う。
【００４２】
フラッシュ１４４は、夜間の屋外や暗い場所での撮影時に被写体を明るく照らすためのものである。フラッシュ撮影を行う際に、ＣＰＵ１２８から発光命令がフラッシュ装置１４４に行われ、ＣＰＵ１２８からの発光命令によってフラッシュ１４４を発光させて、フラッシュ１４４が発光した光によって被写体が明るく照らされる。
【００４３】
以上、図１を用いて本発明の第１の実施形態にかかる撮像装置について説明した。次に、本発明の第１の実施形態にかかる撮像装置のＣＰＵの構成について説明する。
【００４４】
図２は、本発明の第１の実施形態にかかるＣＰＵの構成について説明する説明図である。以下、図２を用いて本発明の第１の実施形態にかかるＣＰＵの構成について説明する。
【００４５】
図２に示したように、本発明の第１の実施形態にかかるＣＰＵ１２８は、合焦位置検出部１５２と、適正ＡＥ算出部１５４と、拡大縮小処理部１５６と、効果設定部１５８と、合成比率設定部１６０と、を含んで構成される。
【００４６】
合焦位置検出部１５２は、被写体の撮影を行う際に、被写体に合焦するためのフォーカスレンズ１０６の位置を検出するものである。
【００４７】
適正ＡＥ算出部１５４は、被写体の撮影を行う際に、撮像装置１００で自動露光を行い、ＥＶ（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ）値を取得する。取得したＥＶ値に基づいて、適正な露光時間およびシャッタ速度の組が決まる。ＥＶ値は、絞り値がＦ１、シャッタ速度が１秒の時に適切な露出が得られる光量をＥＶ＝０とし、絞り値やシャッタ速度を変化させることでＥＶ値が変化する。ＥＶ値は、Ｆを絞り値、Ｔをシャッタ速度として、ＥＶ＝ｌｏｇ２（Ｆ２／Ｔ）で求めることができる。従って、同じ絞り値ではシャッタ速度が高速になればなる程、ＥＶ値が上昇し、同じシャッタ速度では絞り値を大きくすればする程、ＥＶ値が上昇する。
【００４８】
拡大縮小処理部１５６は、被写体の撮影を行って取得した画像データの拡大や縮小を行うものである。
【００４９】
効果設定部１５８は、ソフトフォーカス効果の効果度の設定を行うものである。効果度は、本発明の非焦点度の一例であり、ソフトフォーカス効果の効果度は、操作部１３２で入力された効果度に応じて設定されてもよい。
【００５０】
合成比率設定部１６０は、合焦画像と、合焦画像に合成する画像との合成比率の設定を行うものである。合成比率設定部１６０で設定されたソフトフォーカス効果の効果度に応じて、合焦画像と合成する画像の合成比率やフォーカスレンズ１０６の移動量の設定が行われる。
【００５１】
以上、図２を用いて本発明の第１の実施形態にかかるＣＰＵの構成について説明した。次に、本発明の第１の実施形態にかかる撮影方法について説明する。
【００５２】
ここで、本発明の第１の実施形態においては、非合焦画像として、被写体の合焦位置を検出するオートフォーカス処理中に取得した画像を用いることとする。
【００５３】
図３は、本発明の第１の実施形態にかかるオートフォーカス処理について説明する説明図である。本実施形態においては、近距離で合焦する位置から遠距離で合焦する位置へ向けてフォーカスレンズ１０６を移動させる。そして、フォーカスレンズ１０６を移動させている間、複数回に渡って画像データを取得（サンプリング）し、それぞれの画像データのコントラスト情報を算出する。サンプリングは、等間隔で行われることが望ましい。コントラスト情報は、例えばラプラシアンフィルタの２次微分を用いて得ることができる。本発明の第１の実施形態においては、コントラスト情報を等間隔で１５回取得している。取得した画像データは、メモリ１３４に順次保存する。
【００５４】
フォーカスレンズ１０６を移動させてコントラスト情報を取得すると、合焦位置検出部１５２は、取得したコントラスト情報のピーク位置を検出する。そして、合焦位置検出部１５２は、検出したコントラスト情報のピーク位置を合焦位置と判断し、そのコントラスト情報のピーク位置にフォーカスレンズ１０６を移動させる。そして、その状態で撮影処理を実行することで、被写体に合焦した合焦画像を得ることができる。図３に示した本発明の第１の実施形態にかかるオートフォーカス処理においては、コントラスト情報のピークが１２番目にサンプリングした位置に存在するため、１２番目にサンプリングした場所にフォーカスレンズ１０６を移動させることで、被写体に合焦した画像を撮影することができる。
【００５５】
一方、被写体に合焦していない非合焦画像は、合焦位置を検出する際に取得した画像データを使用する。合焦位置を検出する際に取得した画像データは、コントラスト情報がピークの位置で取得したデータ以外は被写体に合焦していない非合焦画像となっている。従って、合焦位置を検出する際に取得した画像データを使用することで、合焦画像の撮影時に非合焦画像も同時に得ることができる。
【００５６】
非合焦画像は、コントラスト情報がピークの位置から近距離側の位置で取得した画像データを用いてもよく、コントラスト情報がピークの位置から遠距離側の位置で取得した画像データを用いてもよい。近距離側と遠距離側のどちらの画像データを使用するかは、予め定めていてもよく、取得したコントラスト情報の結果によって決定してもよい。
【００５７】
また、非合焦画像として使用する画像データは、ソフトフォーカス撮影の効果度（以下「ソフト効果」とも称する）のレベルに応じて決定してもよい。例えば、図３に示した例において、ソフト効果を「大」「中」「小」の３種類に定め、非合焦として近距離側の画像データを使用した場合には、ソフト効果が「小」の場合は、非合焦画像として１１番目の画像データを用い、ソフト効果が「中」の場合は、非合焦画像として１０番目の画像データを用い、ソフト効果が「大」の場合は、非合焦画像として９番目の画像データを用いることができる。一方、ソフト効果を「大」「中」「小」の３種類に定め、非合焦として遠距離側の画像データを使用した場合には、ソフト効果が「小」の場合は、非合焦画像として１３番目の画像データを用い、ソフト効果が「中」の場合は、非合焦画像として１４番目の画像データを用い、ソフト効果が「大」の場合は、非合焦画像として１５番目の画像データを用いることができる。なお、ソフト効果のレベルと非合焦画像として使用する画像データの組み合わせはこれに限られない。
【００５８】
なお、画像を合成する際には、そのまま合成すると画像の明度がオーバーしてしまうため、所定の割合で明度を落として合成することが望ましい。
【００５９】
以下、本発明の第１の実施形態にかかる撮像方法についてより詳細に説明する。
【００６０】
図４は、本発明の第１の実施形態にかかる撮像方法について説明する流れ図である。以下、図４を用いて本発明の第１の実施形態にかかる撮像方法について説明する。
【００６１】
本発明の第１の実施形態にかかる撮像方法では、最初に、撮像装置１００の操作部１３３を操作して、ソフトフォーカス撮影におけるソフト効果レベルを設定する（ステップＳ１１０）。第１の実施形態にかかる撮像方法においては、ソフト効果レベルを「弱」「弱め」「強め」「強」の４種類の中から選択することができる。操作部１３３の操作で決定されたソフト効果レベルは、効果設定部１５８によって設定される。
【００６２】
ソフト効果レベルを入力すると、次に非合焦画像を得るためのデフォーカスコントロール手段を決定する（ステップＳ１１２）。本発明の第１の実施形態においては、デフォーカスコントロール手段は、（イ）ソフト効果レベルに応じて合焦画像を得られるフォーカスレンズ１０６の位置からの距離を変更するデフォーカス量コントロールと、（ロ）ソフト効果レベルに応じて合焦画像と非合焦画像の合成比率を変更するデフォーカス比率コントロールの２種類を選択することができる。デフォーカス量コントロールとデフォーカス比率コントロールのどちらを選択するかは、あらかじめ定めていてもよく、撮影動作を行う度に設定してもよい。
【００６３】
まず、デフォーカス量コントロールを選択した場合の流れについて説明する。ステップＳ１１２において、デフォーカスコントロール手段としてデフォーカス量コントロールを選択すると、ステップＳ１１０で設定したソフト効果レベルに基づく非合焦画像選択位置を合成比率設定部１６０で設定する（ステップＳ１１４）。
【００６４】
表１は、本発明の第１の実施形態にかかる、ソフト効果レベルと非合焦画像選択位置との関係を示す表である。非合焦画像選択位置は、合焦画像の取得位置からどの程度離れた位置の画像を選択するかを示している。なお、効果レベルと非合焦画像選択位置との関係は、表１の例に限られない。
【表１】
2008098836.tif 000003
【００６５】
非合焦画像選択位置を決定すると、次にシャッタボタン１３３が押されているかどうかの判断を行う（ステップＳ１１６）。シャッタボタン１３３が押されていなければ、シャッタボタン１３３が押されているかどうかの判断処理を繰り返し行い、シャッタボタン１３３が押されていれば次の処理に移る。
【００６６】
シャッタボタン１３３が押されていると判断すれば、次に被写体に合焦するためのフォーカシング処理を行う（ステップＳ１１８）。フォーカシング処理は、上述したようなオートフォーカス処理によって行う。すなわち、フォーカシング処理はフォーカスレンズ１０６を近距離で合焦する位置から遠距離で合焦する位置へ向けて移動させて、コントラスト情報のピーク位置を求めることによって行う。そして、フォーカスレンズ１０６を移動させながら、所定の位置で合焦状態を検出するために画像データを取得（サンプリング）する。取得した画像データは、メモリ１３４に一時的に保存（バッファリング）する（ステップＳ１２０）。
【００６７】
フォーカスレンズ１０６を移動させてサンプリングを行うと、取得した画像データを用いてコントラスト情報のピークの位置を合焦位置として検出する（ステップＳ１２２）。本実施形態においては、コントラスト情報のピークの位置は合焦位置検出部１５２が行う。コントラスト情報のピークの位置を算出すると、ピークの位置に対応する画像データを取得した場所にフォーカスレンズ１０６を移動させて、ＣＭＯＳ素子１０８に光を入射することによって、被写体に合焦した合焦画像を撮影する（ステップＳ１２４）。この際の露光量は、適正な露光量の半分の量とする。撮影した合焦画像はメモリ１３４に一時的に記憶する。
【００６８】
合焦画像の撮影が完了すると、続いて非合焦画像を取得する。非合焦画像は、合焦位置を算出する際にサンプリングを行ってメモリ１３４に一時的に保存した画像データを使用する。本発明の第１の実施形態においては、まずメモリ１３４に一時的に保存した画像データの中から、合焦位置から遠近どちら側の画像データを使用するかを決定し、メモリ１３４に一時的に保存した画像データから、上記ステップＳ１１０で決定した効果レベルに対応するものを選択する（ステップＳ１２６）。
【００６９】
ここで、合焦位置から遠近どちら側の画像データを使用するかの決定は、例えば、画像全体がよりぼけて表示される方向を選択することによって行ってもよい。具体的には、合焦位置を検出する際に、複数のコントラスト情報の中から１つを選択して主被写体の合焦位置を検出する場合において、その他のコントラスト情報のピークから遠ざかる方向の画像データを使用してもよい。
【００７０】
画像データの選択が終わると、選択した画像データの露光量を１／２倍する（ステップＳ１２８）。画像データをそのまま合成すると画像の明度がオーバーしてしまうからである。
【００７１】
以上、図４に示した本発明の第１の実施形態にかかる撮像方法について説明する流れ図において、ステップＳ１１２でデフォーカス量コントロールを選択した場合の処理の流れについて説明した。次に、図４に示した本発明の第１の実施形態にかかる撮像方法について説明する流れ図において、ステップＳ１１２でデフォーカス比率コントロールを選択した場合の処理の流れについて説明する。
【００７２】
上記ステップＳ１１２でデフォーカス比率コントロールを選択した場合は、最初にステップＳ１１０で決定した効果レベルに対応する、合焦画像と非合焦画像の選択比率を、合成比率設定部１６０で設定する（ステップＳ１３２）。表２は、デフォーカス比率コントロールの場合の、効果レベルと画像の選択比率の一例を示す説明図である。なお、効果レベルと画像の選択比率は表２の例に限られない。
【表２】
2008098836.tif 000004
【００７３】
合焦画像と非合焦画像の選択比率を決定すると、ＣＰＵ１２８でシャッタボタン１３３が押されているかどうかの判断を行う（ステップＳ１３４）。シャッタボタン１３３が押されていなければ、シャッタボタン１３３が押されているかどうかの判断処理を繰り返し行い、シャッタボタン１３３が押されていれば次の処理に移る。
【００７４】
シャッタボタン１３３が押されたら、次に被写体に合焦するためのフォーカシング処理を行う（ステップＳ１３６）。フォーカシング処理は、ステップＳ１１２でデフォーカス量コントロールを選択した場合のフォーカシング処理（ステップＳ１１８）と同様であるため、詳細な説明は割愛する。フォーカシング処理によって取得した画像データは、メモリ１３４に一時的に保存する（ステップＳ１３８）。
【００７５】
フォーカスレンズ１０６を移動させてサンプリングを行うと、デフォーカス量コントロールを選択した場合と同様に、取得した画像データを用いてコントラスト情報のピークの位置を合焦位置として検出し（ステップＳ１４０）、フォーカスレンズ１０６を移動させて、ＣＭＯＳ素子１０８に光を入射することによって、被写体に合焦した合焦画像を撮影する（ステップＳ１４２）。そして、撮影した合焦画像の露光量をｍ／８倍の量にする（ステップＳ１４４）。撮影した合焦画像はメモリ１３４に一時的に記憶する。
【００７６】
合焦画像の撮影が完了すると、続いて非合焦画像を取得する。本発明の第１の実施形態においては、非合焦画像は、デフォーカス量コントロールを選択した場合と同様に、合焦位置から遠近どちら側の画像データを使用するかを決定し、メモリ１３４に保存した画像データから、上記ステップＳ１１０で決定した効果レベルに対応するものを選択する（ステップＳ１４６）。
【００７７】
画像データの選択が終わると、選択した画像データの露光量をｎ／８倍する（ステップＳ１４８）。画像データをそのまま合成すると画像の明度がオーバーしてしまうからである。
【００７８】
以上、ステップＳ１１２でデフォーカス比率コントロールを選択した場合の処理の流れについて説明した。
【００７９】
このように、合焦画像と非合焦画像を撮影および取得すると、合焦画像と非合焦画像を合成して、ソフトフォーカス効果を有する画像を得る（ステップＳ１５０）。画像を合成する際には、画像合成部１１８において、２枚の画像間の位置ずれを補正し、２枚の画像が一致するように合成を行う。２枚の画像間の位置ずれを補正して合成する方法として、例えば画像のエッジや特徴点を抽出して、それらの座標が一致するように合成する方法がある。
【００８０】
図５は、本発明の第１の実施形態にかかる合成画像の例を示す説明図である。図５の（ａ）は合焦画像のみの例を示し、図５の（ｂ）は合焦画像と非合焦画像を１：１で合成した場合の例を示し、図５の（ｃ）は合焦画像と非合焦画像をｍ：ｎ（ｍ＞ｎ）の比率で合成した場合の例を示す。図５の（ｃ）は、図５の（ｂ）より合焦画像の割合が多いため、図５の（ｂ）に比べてはっきりとした画像となる。このように、合焦画像と非合焦画像の合成比率を変化させることで、ソフトフォーカス効果の度合いを変えることができる。
【００８１】
なお、本実施形態においては、ステップＳ１１２でデフォーカス比率コントロールを選択した際に、最初に合焦画像と非合焦画像の選択比率を決定していたが、本発明はかかる例に限定されないことは言うまでもない。
【００８２】
また、本実施形態においては撮像素子としてＣＭＯＳ素子１０８を用いているが、ＣＭＯＳ素子の替わりにＣＣＤ素子を用いてもよく、ＣＭＯＳ素子の替わりにＣＣＤ素子を用いた場合に、非合焦画像として合焦位置で取得した画像データを拡大したものを用いてもよい。ＣＣＤ素子は画像データの読み出しに時間がかかるため、画素を間引いて画像データを取得することが多い。この際に、画素を間引いて取得した画像データを拡大縮小処理部１５６で拡大することで、非合焦画像のようなぼけた状態の画像を得ることができる。このように取得した画像データを非合焦画像として合焦画像と合成することで、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる。
【００８３】
図６は、本発明の第１の実施形態にかかる合成画像の別の例を示す説明図である。図６の（ａ）は、撮像素子中の全画素のデータを読み出す全画素読み出しモードでの合焦画像の例を示し、図６の（ｂ）は撮像素子中のデータを、画素を間引いて読み出す間引きモードでの合焦画像を拡大した例を示す。図６の（ｂ）に示したように、間引きモードで読み出した画像データを拡大すると、合焦画像であっても、非合焦画像のように全体がぼんやりした画像となる。そして、図６の（ａ）の画像と図６の（ｂ）の画像とを、位置合わせを行って合成することで、図６の（ｃ）の画像に示したように、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる。
【００８４】
合成して得られた画像は、圧縮処理部１２０で適切な形式の画像データに圧縮する圧縮処理が行われ、ＬＣＤドライバ１２２を通じてＬＣＤ１２４に表示されるようにしてもよい。また、圧縮処理が施された画像は、メディアコントローラ１３８を通じて記録メディア１４０に保存されるようにしてもよい。
【００８５】
なお、上記の撮像方法はコンピュータプログラムによって実行されてもよい。ＣＰＵ１２８が、撮像装置１００の内部に記録されたコンピュータプログラムを呼び出すことによって、上記の撮像方法を実行してもよい。
【００８６】
以上説明したように、本発明の第１の実施形態によれば、合焦画像と非合焦画像を、位置合わせを行って合成することにより、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる。そして、非合焦画像はオートフォーカス処理を行う際に取得する画像データを使用することで、ソフト効果レベルに対応した任意の非合焦画像を得ることができ、また合焦画像の撮影を行った後に非合焦画像の撮影を行った場合に比べ、合成画像を得るまでの時間を短縮することができる。
【００８７】
（第２の実施形態）
本発明の第１の実施形態においては、オートフォーカス処理中の画像を非合焦画像として使用して、合焦画像と非合焦画像とを位置合わせを行って合成することで、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる撮像装置および撮像方法について説明した。本発明の第２の実施形態においては、１回のシャッタボタンの操作で、合焦画像を撮影した後にフォーカスレンズを移動させて非合焦画像を撮影し、合焦画像と非合焦画像とを位置合わせを行って合成することで、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる撮像装置および撮像方法について説明する。
【００８８】
なお、本発明の第２の実施形態にかかる撮像装置は、本発明の第１の実施形態にかかる撮像装置と同一の構成を有するため、詳細な説明は割愛する。ここでは、本発明の第２の実施形態にかかる撮像方法について詳細に説明する。
【００８９】
本発明の第２の実施形態においては、画面上の複数の箇所に合焦位置を検出するための合焦状態検知部を有する、マルチＡＦを使用する場合について説明する。そして、本発明の第２の実施形態においては、画面上の４箇所に合焦状態検知部（ＡＦ領域）を設けて、合焦位置を検出するマルチＡＦを使用する場合について説明する。図７は、本発明の第２の実施形態にかかるマルチＡＦによる撮影距離とコントラストの関係の一例を示す説明図である。
【００９０】
図７に示したように、画面上の４箇所で合焦状態検知部を用いて合焦位置を検出する合焦状態検知部をマルチＡＦを使用するため、撮影距離とコントラストとの関係は符号２０２ａ、２０２ｂ、２０２ｃおよび２０２ｄで示したように４種類得られる。この４種類の撮影距離とコントラストとの関係を用いて合焦位置を算出する。
【００９１】
マルチＡＦの場合には、最も近距離側でコントラストのピークを検出したＡＦ領域に含まれる被写体を主被写体とするのが一般的である（近距離優先）。図７に示した関係では、符号２０２ｄに示したコントラストはピークを検出することができず、符号２０２ｃに示したコントラストが撮像装置に最も近い位置でピークを示しているため、符号２０２ｃに示したコントラストを有するＡＦ領域に含まれる被写体を主被写体として認定する。
【００９２】
ソフトフォーカス効果を有する画像は、全体が均一にぼけて写っている必要がある。本発明の第２の実施形態においては、フォーカスレンズを移動させて非合焦画像を撮影するが、フォーカスレンズを移動させた結果、主被写体以外の被写体にピントが合ってしまうと、ソフトフォーカス効果を有する画像としては適切ではない。そのため、ソフトフォーカス効果を有する画像を得るために、画像全体が均一にぼける方向にフォーカスレンズを移動させたほうが望ましい。
【００９３】
図７に示した撮影距離とコントラストとの関係においては、コントラストのピークの位置を挟んだ前後の所定の距離が、主被写体として判定できる距離である。所定の距離Ｌ１とＬ２は、例えば以下の数式１および数式２で求めることができる。
【数１】
2008098836.tif 000005
【００９４】
ここで、δは許容錯乱半径を、Ｄは撮像装置１００の撮像面から合焦被写体までの撮影距離を、ｆはフォーカスレンズの焦点距離を、Ｆは絞り値（Ｆナンバー）をそれぞれ示す。そして、Ｌ１を前方被写界深度、Ｌ２は後方被写界深度という。また、本実施形態においては、撮像素子（本実施形態においてはＣＭＯＳ素子）の画素間ピッチをｄとした場合に、δの値はδ＝２ｄとする。つまり、ピントが合って見える範囲はＤ−Ｌ１〜Ｄ＋Ｌ２の間である。
【００９５】
フォーカスレンズを移動させすぎても、合焦画像と非合焦画像との合成時に支障が生じる。フォーカスレンズを移動させすぎて撮影したぼけ量の大きい画像はエッジも不鮮明になるため、合焦画像との位置合わせが困難になるからである。従って、フォーカスレンズの移動量には予め制限を持たせておくことが望ましい。本発明の第２の実施形態においては、この制限量を１５Ｆδとする。もちろん制限量はかかる例に限られない。
【００９６】
次に、本発明の第２の実施形態にかかる撮像方法について、より詳細に説明する。
【００９７】
図８は、本発明の第２の実施形態にかかる撮像方法について説明する流れ図である。以下、図８を用いて本発明の第２の実施形態にかかる撮像方法について、より詳細に説明する。
【００９８】
本発明の第２の実施形態にかかる撮像方法では、最初に、本発明の第２の実施形態にかかる撮像方法と同様に、撮像装置１００の操作部１３３を操作して、ソフトフォーカス撮影におけるソフト効果レベルを設定する（ステップＳ２１０）。第２の実施形態にかかる撮像方法においては、例えば、ソフト効果レベルを「弱」「弱め」「強め」「強」の４種類の中から選択することができる。もちろん、ソフト効果レベルの組み合わせはこの例に限られない。操作部１３３の操作で決定されたソフト効果レベルは、効果設定部１５８によって設定される。
【００９９】
ソフト効果レベルを入力すると、次に非合焦画像を得るためのデフォーカスコントロール手段を決定する（ステップＳ２１２）。本発明の第２の実施形態においては、デフォーカスコントロール手段は、（イ）ソフト効果レベルに応じて合焦画像を得られるフォーカスレンズ１０６の位置からの距離を変更するデフォーカス量コントロールと、（ロ）ソフト効果レベルに応じて合焦画像と非合焦画像の合成比率を変更するデフォーカス比率コントロールの２種類を選択することができる。デフォーカス量コントロールとデフォーカス比率コントロールのどちらを選択するかは、撮影動作の前にあらかじめ定めていてもよく、撮影動作を行う度に設定してもよい。
【０１００】
まず、（イ）のデフォーカス量コントロールを選択した場合の流れについて説明する。ステップＳ２１２において、デフォーカスコントロール手段としてデフォーカス量コントロールを選択すると、ステップＳ２１０で設定したソフト効果レベルに基づくフォーカスレンズ１０６の移動量を合成比率設定部１６０で設定する（ステップＳ２１４）。
【０１０１】
表３は、本発明の第２の実施形態にかかる、ソフト効果レベルとフォーカスレンズ１０６の移動量との関係を示す表である。ステップ２１０で設定したソフト効果レベルに基づいて、表３の条件に合致するようにフォーカスレンズ１０６を移動させる。
【表３】
2008098836.tif 000006
【０１０２】
フォーカスレンズ１０６の移動量を設定すると、次にＣＰＵ１２８でシャッタボタン１３３が押されているかどうかの判断を行う（ステップＳ２１６）。シャッタボタン１３３が押されていなければ、シャッタボタン１３３が押されているかどうかの判断処理を繰り返し行い、シャッタボタン１３３が押されていれば次の処理に移る。
【０１０３】
シャッタボタン１３３が押されていると判断すれば、次に被写体に合焦するためのフォーカシング処理を行う（ステップＳ２１８）。フォーカシング処理は、第１の実施形態と同様に、フォーカスレンズ１０６を近距離で合焦する位置から遠距離で合焦する位置へ向けて移動させながらサンプリングすることによって行う。そして、フォーカシング処理によってサンプリングした画像のコントラストの、最も撮像装置１００に近い位置に存在するピークを検出することによって、被写体の合焦位置を検出する（ステップＳ２２０）。本発明の第２の実施形態においても、第１の実施形態同様に、コントラスト情報のピーク位置の検出は合焦位置検出部１５２が行う。
【０１０４】
コントラスト情報のピークの位置を検出すると、ピークの位置に対応する画像データを取得した場所にフォーカスレンズ１０６を移動させて、ＣＭＯＳ素子１０８に光を入射することによって、被写体に合焦した合焦画像を撮影する（ステップＳ２２２）。この際の露光量は、適正な露光量の半分の量とする。撮影した合焦画像はメモリ１３４に一時的に記憶する。
【０１０５】
合焦画像の撮影が完了すると、続いて非合焦画像の撮影を行う。非合焦画像の撮影の際には、まず、フォーカスレンズ１０６を被写体に近い側と遠い側のどちらに移動させればソフトフォーカス効果を得られる画像となるかどうかを判断し、フォーカスレンズ１０６の移動方向を決定する（ステップＳ２２４）。フォーカスレンズ１０６の移動方向を決定すると、ステップＳ２１４で決定したフォーカスレンズ１０６の移動量に従ってフォーカスレンズを移動させる（ステップＳ２２６）。
【０１０６】
フォーカスレンズ１０６の移動が終わると、非合焦画像の撮影を行う（ステップＳ２２８）。非合焦画像は、メモリ１３４に一時的に保存する。この際の露光量は、適正な露光量の半分の量とすることが望ましい。通常の露光量で撮影を行って合焦画像と合成すると画像の明度がオーバーしてしまうからである。
【０１０７】
以上、ステップＳ２１２で（イ）のデフォーカス量コントロールを選択した場合の処理の流れについて説明した。次に、ステップＳ２１２で（ロ）のデフォーカス比率コントロールを選択した場合の処理の流れについて説明する。
【０１０８】
ステップＳ２１２で（ロ）のデフォーカス比率コントロールを選択した場合は、最初にステップＳ２１０で決定した効果レベルに対応する、合焦画像と非合焦画像の合成比率を、合成比率設定部１６０で設定する（ステップＳ２３２）。表４は、デフォーカス比率コントロールの場合の、効果レベルと画像の合成比率の一例を示す説明図である。なお、効果レベルと画像の合成比率は表４の例に限られない。
【表４】
2008098836.tif 000007
【０１０９】
合焦画像と非合焦画像の合成比率を設定すると、ＣＰＵ１２８でシャッタボタン１３３が押されているかどうかの判断を行う（ステップＳ２３４）。シャッタボタン１３３が押されていなければ、シャッタボタン１３３が押されているかどうかの判断処理を繰り返し行い、シャッタボタン１３３が押されていれば次の処理に移る。
【０１１０】
シャッタボタン１３３が押されたら、次に被写体に合焦するためのフォーカシング処理を行う（ステップＳ２３６）。フォーカシング処理は、ステップＳ２１２でデフォーカス量コントロールを選択した場合のフォーカシング処理（ステップＳ２１８）と同様であるため、詳細な説明は割愛する。そして、フォーカシング処理によってサンプリングした画像のコントラストの、最も撮像装置１００に近い位置に存在するピークを検出することによって、被写体の合焦位置を算出する（ステップＳ２３８）。本発明の第２の実施形態においては、コントラスト情報のピークの検出は合焦位置検出部１５２が行う。
【０１１１】
コントラスト情報のピークの位置を算出すると、ピークの位置に対応する画像データを取得した場所にフォーカスレンズ１０６を移動させて、被写体に合焦した合焦画像を撮影する（ステップＳ２４０）。撮影した合焦画像は、画像の露光量をｍ／８倍し（ステップＳ２４２）、メモリ１３４に一時的に記憶する。画像の露光量をｍ／８倍するのは、画像の合成を行った際に画像の明度がオーバーしないようにするためである。
【０１１２】
合焦画像の撮影が完了すると、続いて非合焦画像を撮影する。本発明の第２の実施形態においても、非合焦画像は、デフォーカス量コントロールを選択した場合と同様に、まずフォーカスレンズ１０６を被写体に近い側と遠い側のどちらに移動させればソフトフォーカス効果を得られる画像となるかどうかを判断し、フォーカスレンズ１０６の移動方向を決定する（ステップＳ２４４）。フォーカスレンズ１０６の移動方向を決定すると、決定した方向にフォーカスレンズを移動させて、非合焦画像の撮影を行う（ステップＳ２４６）。撮影した非合焦画像は、画像の露光量をｎ／８倍し（ステップＳ２４８）、メモリ１３４に一時的に記憶する。画像の露光量をｎ／８倍するのは、画像の合成を行った際に画像の明度がオーバーしないようにするためである。
【０１１３】
以上、ステップＳ１１２でデフォーカス比率コントロールを選択した場合の処理の流れについて説明した。
【０１１４】
このように、合焦画像と非合焦画像との撮影が完了すると、メモリ１３４に一時的に記憶した合焦画像と非合焦画像を合成して、ソフトフォーカス効果を有する画像を得る（ステップＳ２５０）。画像を合成する際には、画像合成部１１８において、２枚の画像間の位置ずれを補正し、２枚の画像が一致するように合成を行う。２枚の画像間の位置ずれを補正して合成する方法として、例えば画像のエッジや特徴点を抽出して、それらの座標が一致するように合成する方法がある。
【０１１５】
なお、本実施形態においては、合焦画像の露光量をｍ／８倍し、さらに非合焦画像の露光量をｎ／８倍することで、合焦画像と非合焦画像とを合成した際に画像の明度がオーバーしないようにしているが、本発明はかかる例に限られない。例えば、自動露光を行って算出されたシャッタ速度よりも短い時間で複数枚の画像の撮影を行い、複数枚の画像を被写体が一致するように合成するようにしてもよい。
【０１１６】
撮像装置を用いて撮影した画像のぶれを抑える方法として、手ぶれを起こしにくい高速のシャッタ速度で複数枚撮影し、撮影した画像を被写体が一致するように合成する電子的補正方法がある。電子的補正方法では、例えば自動露光によって得られたシャッタ速度よりも短いシャッタ速度で画像を複数枚撮影し、その画像を被写体が一致するように合成することで、ぶれを抑えた画像を得ることができる。
【０１１７】
以下に電子的補正方法の一例を示す。自動露光を行い、適正ＡＥ算出部１５４での算出の結果、絞り値がＦ２．８、シャッタ速度が１／８秒に設定された場合、シャッタ速度が１／８秒では、三脚を用いずに手持ちで撮影を行うと、撮影画像の手ぶれを抑えるのは困難である。従って、例えばシャッタ速度を１／６４秒にして８枚を撮影し、撮影した画像を被写体が一致するように合成することで、シャッタ速度が１／８秒で撮影した場合の画像と同等の明度を得つつ、撮影画像の手ぶれを抑えた画像を撮影することができる。
【０１１８】
そこで、１／６４秒のシャッタ速度で撮影した画像の比率を、ソフト効果レベルによって変更することで、異なるソフトフォーカス効果を有する画像を撮影することができる。例えば、本実施形態に示した例では、ソフト効果レベルを「弱」に設定した場合においては、１／６４秒のシャッタ速度で合焦画像を５枚、非合焦画像を３枚撮影し、撮影した合焦画像を非合焦画像とを合成する。同様に、ソフト効果レベルを「弱め」に設定した場合においては、１／６４秒のシャッタ速度で合焦画像を４枚、非合焦画像を４枚撮影し、ソフト効果レベルを「強め」に設定した場合においては、１／６４秒のシャッタ速度で合焦画像を３枚、非合焦画像を５枚撮影し、ソフト効果レベルを「強」に設定した場合においては、１／６４秒のシャッタ速度で合焦画像を２枚、非合焦画像を６枚撮影する。このように、合焦画像と非合焦画像の撮影枚数の組を変化させることで、様々なソフトフォーカス効果を有する画像を撮影することができる、
【０１１９】
合成して得られた画像は、圧縮処理部１２０で適切な形式の画像データに圧縮する圧縮処理が行われ、ＬＣＤドライバ１２２を通じてＬＣＤ１２４に表示されるようにしてもよい。また、圧縮処理が施された画像は、メディアコントローラ１３８を通じて記録メディア１４０に保存されるようにしてもよい。
【０１２０】
なお、上記の撮像方法はコンピュータプログラムによって実行されてもよい。ＣＰＵ１２８が、撮像装置１００の内部に記録されたコンピュータプログラムを呼び出すことによって、上記の撮像方法を実行してもよい。
【０１２１】
以上説明したように、本発明の第２の実施形態によれば、１回のシャッタボタンの操作で合焦画像と非合焦画像とを撮影し、合焦画像と非合焦画像を、位置合わせを行って合成することにより、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる。そして、非合焦画像は画像全体がぼける方向にフォーカスレンズを移動させて撮影を行うことで、画像全体がぼんやりとした、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる。
【０１２２】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１２３】
例えば、上記実施形態では、合焦画像と非合焦画像の２枚を合成してソフトフォーカス効果を有する画像を生成したが、本発明はかかる例に限定されず、３枚以上の画像を合成してもよい。例えば、非合焦画像を２種類用意して、合焦画像と２種類の非合焦画像の３枚を合成してソフトフォーカス効果を有する画像を生成してもよい。合成する画像の枚数を増やすことで、ソフトフォーカス効果をより高めることができる。
【０１２４】
また、本発明の第１の実施形態では、スキャニングを行う際にメモリ１３４にスキャニングを行った画像を順次記憶させていたが、ピーク位置よりも遠い位置でスキャニングして得られ、画像の合成に使用しない画像は破棄するようにしてもよい。画像の合成に使用しない画像を破棄することで、メモリ１３４の使用量を節約することができる。
【図面の簡単な説明】
【０１２５】
【図１】本発明の第１の実施形態にかかる撮像装置の構成について説明する説明図である。
【図２】本発明の第１の実施形態にかかるＣＰＵの構成について説明する説明図である。
【図３】本発明の第１の実施形態にかかるオートフォーカス処理について説明する説明図である。
【図４】本発明の第１の実施形態にかかる撮像方法について説明する流れ図である。
【図５】本発明の第１の実施形態にかかる合成画像の例を示す説明図である。
【図６】本発明の第１の実施形態にかかる合成画像の別の例を示す説明図である。
【図７】本発明の第２の実施形態にかかるマルチＡＦによる撮影距離とコントラストの関係の一例を示す説明図である。
【図８】本発明の第２の実施形態にかかる撮像方法について説明する流れ図である。
【符号の説明】
【０１２６】
１００    撮像装置
１０６    フォーカスレンズ
１０８    ＣＭＯＳ素子
１１８    画像合成部
１２８    ＣＰＵ
１３４    メモリ
１５２    合焦位置検出部
１５４    適正ＡＥ算出部
１５６    拡大縮小処理部
１５８    効果設定部
１６０    合成比率設定部
【図１】
2008098836.tif 000008
【図２】
2008098836.tif 000009
【図３】
2008098836.tif 000010
【図４】
2008098836.tif 000011
【図７】
2008098836.tif 000012
【図８】
2008098836.tif 000013
【図５】
2008098836.tif 000014
【図６】
2008098836.tif 000015