(57)【特許請求の範囲】
【請求項１】
手ブレに起因する像ブレ量を評価する像ブレ評価手段と、
撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する画像取得手段と、
前記複数の画像の各領域でのコントラストに基づいて前記各領域に対する前記被写体までの距離情報を検出した距離マップを作成する距離マップ作成手段と、
前記距離マップにノイズを除去するフィルタを施すフィルタ除去手段とを備え、
前記フィルタの大きさは、像ブレ量の大きさが相対的に大きいと評価される場合には相対的に大きく、相対的に小さいと評価される場合には相対的に小さく設定される
ことを特徴とする撮像装置。
【請求項２】
手ブレ補正機構を更に備え、前記像ブレ評価手段が、少なくとも手ブレ量または前記手ブレ補正機構の駆動量の何れかに基づいて前記像ブレ量の大きさを評価することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記領域が、前記複数の画像の各々を１画素以上から構成される複数のブロックに分割した領域であり、前記複数の画像における前記各ブロックのコントラストに基づいて前記被写体までの距離情報を検出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記複数の画像の輪郭成分を抽出する輪郭成分抽出手段を備え、前記各領域におけるコントラストの高低が前記各領域内における前記輪郭成分に基づいて評価され、前記各領域における前記距離情報が、前記各領域において前記複数の画像のうち前記コントラストが最も高い画像を特定することで得られることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記各領域における前記輪郭成分の総和により、前記各領域のコントラストの高低が評価されることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記複数の画像が、測光スイッチまたはレリーズスイッチの操作後に撮影されるスルー画像であることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記被写体の同一の画像を更に主画像として撮影する主画像撮影手段と、前記主画像に前記フィルタを施した後の距離マップに基づく画像処理を施す画像処理手段とを備えることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記画像処理にぼかし処理が含まれることを特徴とする請求項７に記載の撮像装置。
【請求項９】
手ブレに起因する像ブレ量を評価し、
撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得し、
前記複数の画像の各領域でのコントラストに基づいて前記各領域に対する前記被写体までの距離情報を検出した距離マップを作成し、
前記距離マップにノイズ除去用のフィルタを施し、
前記フィルタの大きさは、像ブレ量の大きさが相対的に大きいと評価される場合には相対的に大きく、相対的に小さいと評価される場合には相対的に小さく設定される
ことを特徴とする距離情報取得方法。
【請求項１０】
撮像レンズ駆動手段を備えた撮像装置の制御に用いられるプログラムであって、
手ブレに起因する像ブレ量を評価する手順と、
撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する手順と、
前記複数の画像の各領域でのコントラストに基づいて前記各領域に対する前記被写体までの距離情報を検出した距離マップを作成する手順と、
前記距離マップにノイズ除去用のフィルタを施す手順と、
前記像ブレ量が相対的に大きいと評価される場合には前記フィルタの大きさを相対的に大きく、前記像ブレ量が相対的に小さいと評価される場合には前記フィルタの大きさを相対的に小さく設定する手順と
を前記撮像装置に実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズ系を通して電子的に画像の撮影を行う撮像装置に関する。
【背景技術】
【０００２】
例えば写真撮影では、被写界深度によるボケ効果を利用して、合焦した主要被写体以外の遠景の背景や前景をぼかす表現手法がしばしば用いられる。しかし、被写界深度は焦点距離が短くなるほど深くなるため、焦点距離の短いレンズを採用する必要がある撮像面の大きさが小さい撮像素子を用いたコンパクトデジタルカメラなどではボケ効果を得難い。
【０００３】
このような問題に対し、撮影画像を合焦領域と非合焦領域に分別し、非合焦領域の画像にぼかし処理を施すことで擬似的なボケ効果を与える手法が提案されている。この手法では、撮影された画像を複数の領域に分割し、それぞれの領域の空間周波数から合焦領域と非合焦領域を判別している。すなわち合焦領域は一般にコントラストが高いことから、空間周波数が高い領域を合焦領域、低い領域を非合焦領域として判別している（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４０５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画像の空間周波数は被写体のテクスチャにも依存し、１枚の画像内において空間周波数が高いことが必ずしも合焦領域であることを意味しない。例えば、森林や瓦屋根などの画像は、もともと空間周波数が高く、逆に人の肌などは、合焦されていても非合焦領域に比べ空間周波数が高いとは限らない。したがって、例えばより適正なボケ効果を演出するには、画像内の各領域において被写体までの距離を把握し、これに基づきぼかし処理を施すことが望まれる。
【０００６】
本発明は、撮影画像内の各領域に対する被写体までの距離を正確に把握することを課題としている。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、手ブレに起因する像ブレ量を評価する像ブレ評価手段と、撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する画像取得手段と、複数の画像の各領域でのコントラストに基づいて各領域に対する被写体までの距離情報を検出した距離マップを作成する距離マップ作成手段と、距離マップにノイズを除去するフィルタを施すフィルタ除去手段とを備え、フィルタの大きさは、像ブレ量の大きさが相対的に大きいと評価される場合には相対的に大きく、相対的に小さいと評価される場合には相対的に小さく設定されることを特徴としている。
【０００８】
撮像装置は、手ブレ補正機構を更に備えることが好ましく、像ブレ評価手段は、少なくとも手ブレ量または手ブレ補正機構の駆動量の何れかに基づいて像ブレ量の大きさを評価する。上記領域は、複数の画像の各々を１画素以上から構成される複数のブロックに分割した領域であることが好ましく、被写体までの距離情報は、複数の画像における各ブロックのコントラストに基づいて検出される。
【０００９】
また上記複数の画像の輪郭成分を抽出する輪郭成分抽出手段を備えることが好ましく、各領域におけるコントラストの高低が各領域内における輪郭成分に基づいて評価され、各領域における距離情報が、各領域において上記複数の画像のうちコントラストが最も高い画像を特定することで得られる。各領域のコントラストの高低は、各領域における輪郭成分の総和により評価されることが好ましい。
【００１０】
上記複数の画像は、測光スイッチまたはレリーズスイッチの操作後に撮影されるスルー画像であることが好ましい。また撮像装置は、被写体の同一の画像を更に主画像として撮影する主画像撮影手段と、主画像にフィルタを施した後の距離マップに基づく画像処理を施す画像処理手段とを備えることが好ましく、この画像処理には、例えばぼかし処理が含まれる。
【００１１】
本発明の距離情報取得方法は、手ブレに起因する像ブレ量を評価し、撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得し、複数の画像の各領域でのコントラストに基づいて各領域に対する被写体までの距離情報を検出した距離マップを作成し、距離マップにノイズ除去用のフィルタを施し、フィルタの大きさは、像ブレ量の大きさが相対的に大きいと評価される場合には相対的に大きく、相対的に小さいと評価される場合には相対的に小さく設定されることを特徴としている。
【００１２】
本発明のコンピュータプログラムは、撮像レンズ駆動手段を備えた撮像装置の制御に用いられるプログラムであって、手ブレに起因する像ブレ量を評価する手順と、撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する手順と、複数の画像の各領域でのコントラストに基づいて各領域に対する被写体までの距離情報を検出した距離マップを作成する手順と、距離マップにノイズ除去用のフィルタを施す手順と、像ブレ量が相対的に大きいと評価される場合にはフィルタの大きさを相対的に大きく、像ブレ量が相対的に小さいと評価される場合にはフィルタの大きさを相対的に小さく設定する手順とを撮像装置に実行させることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、撮影画像内の各領域に対する被写体までの正確に距離を把握することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態であるデジタルカメラの概略的な構成を示すブロック図である。
【図２】ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。
【図３】距離マップ作成処理のフローチャートの前半部である。
【図４】距離マップ作成処理のフローチャートの後半部である。
【図５】コントラストマップ作成までの内容を模式的に説明する図である。
【図６】複数のスルー画像に対するコントラストマップにおいて、コントラスト値をスキャンする方法を示す図である。
【図７】複数のスルー画像に付されたコントラストマップ番号とコントラスト値の関係の一例を示すグラフである。
【図８】距離マップの一例を示す図である。
【図９】第１実施形態のマスク作成処理のフローチャートである。
【図１０】近距離にある人物が主要被写体とされたときの各ブロックのぼかし具合を示す図である。
【図１１】中距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。
【図１２】遠距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。
【図１３】距離マップの模式図と、その一部拡大図である。
【図１４】擬似輪郭成分が発生したブロックのコントラスト値の分布を例示するグラフである。
【図１５】手ブレによる擬似輪郭成分（ノイズ）が小さいときの距離マップの模式図である。
【図１６】ブロックの大きさを拡大したことにより偽のピークが消滅したコントラスト値の分布を例示するグラフである。
【図１７】第１実施形態の変形例において、ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。
【図１８】第２実施形態における主要被写体までの距離と近距離モード、遠距離モードの関係を示す図である。
【図１９】近距離モードにおける距離とぼけ具合を示すグラフである。
【図２０】遠距離モードにおける距離とぼけ具合を示すグラフである。
【図２１】近距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。
【図２２】近距離モードにおける画像の一例である。
【図２３】遠距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。
【図２４】遠距離モードにおける画像の一例である。
【図２５】第２実施形態のマスク作成処理のフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の第１実施形態であるデジタルカメラの概略的な構成を示すブロック図である。なおデジタルカメラは、例えばコンパクトカメラや携帯電話など小型電子機器に搭載されるカメラユニットを含むものであるが、第１実施形態では、コンパクトカメラを例に説明を行う。
【００１６】
デジタルカメラ１０において、被写体像は撮影レンズ１１を介して撮像素子１２において撮像される。撮像素子１２の駆動は、撮像素子ドライバ１３により制御され、撮像素子ドライバ１３は制御部１４からの指令に基づき制御される。また、撮像素子１２で取得された画像は、制御部１４へ送られ各種デジタル画像処理が施されるとともに、例えば画像メモリ１５に一時的に保持され、ユーザの決定にしたがって例えば記録媒体１６に保存される。また、撮像素子１２で取得された画像、あるいは画像メモリ１５、記録媒体１６に保持された画像は、例えばＬＣＤなどのモニタ１７に表示可能である。
【００１７】
撮影レンズ１１はレンズ駆動部１８によって駆動され、絞り１９は絞り駆動部２０によって駆動される。ＡＦ処理にはコントラスト方式が採用され、制御部１４は撮像素子１２で撮影された画像のコントラストを参照してレンズ駆動部１８を制御するとともに、測光値に基づき絞り駆動部２０を制御する。
【００１８】
また、デジタルカメラ１０は、防振ユニット（手ブレ補正機構）２２を備える。手ブレ補正機構として本実施形態ではイメージセンサシフト方式が用いられるが、レンズシフト方式など他の方式であってもよい。防振ユニット２２は、従来周知のように手ブレ量を検知するセンサを備え、手ブレを相殺するように撮像素子１２を動かして撮像面における像のブレ（以下像ブレ）の発生を低減／防止する。防振ユニット２２の駆動は制御部１４によって制御され、防振ユニット２２における駆動量、例えば手ブレ量や撮像素子１２のシフト量、当初のブロックＭ×Ｎの大きさ等に基づき、後述する擬似輪郭成分発生の評価値が、防振駆動実績として制御部１４に送られる。なお、手ブレ補正は、撮像素子の駆動とは独立して制御され、その駆動はフレームレートより充分に速い。
【００１９】
なお、デジタルカメラ１０には、制御部１４に接続された、レリーズスイッチや測光スイッチ、あるいは各種機能の選択／設定のためのダイヤルスイッチや４方向スイッチなど様々なスイッチを含むスイッチ群２１が設けられる。
【００２０】
次に図１および図２のフローチャートを参照して第１実施形態のぼかし処理について説明する。図２のフローチャートは、ぼかし処理モードが設定されているときに制御部１４で繰り返し実行される割り込み処理である。なお、ぼかし処理モードの設定は、ユーザの所定のスイッチ操作により行われる。
【００２１】
ステップＳ１００では、例えばレリーズボタン（図示せず）が半押しされ測光スイッチＳ１がオンされた否かが判定される。測光スイッチＳ１がオンされていない場合、すなわちレリーズボタンが半押しされていない場合、この割り込み処理は直ちに終了し、他の処理が実行された後再び繰り返し実行される。ステップＳ１００において測光スイッチＳ１がオンされたと判定されると、ステップＳ１０２において、レンズ駆動部１８により撮影レンズ１１を移動して、ピントを近距離から遠距離（例えば無限遠）までの間の複数の位置（Ｎｐ箇所）に合わせ（例えば所定ステップでレンズを移動）、各位置において１枚ずつ取得されるＮｐ枚のスルー画像を画像メモリ１５に記憶する。なお、ステップＳ１０２の処理は、高速に行われ、この間に取得されるＮｐ枚の画像は、合焦位置が各々異なるのみで、同一被写体を同―位置、同―方向から同一画角で撮影した画像とみなせる。
【００２２】
ステップＳ１０４では、従来周知のコントラスト方式のＡＦ処理により、撮影レンズ１１がレンズ駆動部１８により合焦位置へと移動される。その後ステップＳ１０６において、測光スイッチＳ１がオンされた状態か否か、すなわちレリーズボタン（図示せず）の半押しが維持されているか否かが判定される。維持されていなければ、この割り込み処理は終了し、他の処理が実行された後再び繰り返し実行される。
【００２３】
測光スイッチＳ１のオン状態が維持されていれば、ステップＳ１０８においてレリーズスイッチＳ２がオンされているか否かが判定され、オンされていなければステップＳ１０６に戻り同様の判定が繰り返される。一方、レリーズスイッチＳ２がオンされていれば、ステップＳ１１０において、撮像素子１２を用いた主画像の撮影、すなわち本来の記録を目的とした画像撮影が行われ、ステップＳ１１２において撮影された主画像のＲＡＷデータに対し現像処理が施される。なお、ステップＳ１１０において撮影される主画像もステップＳ１０２で取得されたＮｐ枚の画像と略同―位置、同―方向から同一被写体を同一画角で撮影した画像とみなせる。
【００２４】
ステップＳ１１４では、ステップＳ１０２において画像メモリ１５に記憶されたスルー画像を用いた距離マップ作成処理が実行される。距離マップは主画像（あるいはスルー画像）の各領域（ブロック）の被写体までの距離情報を対応付けたマップデータであり、距離マップ作成処理の詳細については後述する。
【００２５】
ステップＳ１１６では、ステップＳ１１４において作成された距離マップに基づいて、主画像の主要被写体以外の領域に対するぼかし処理を行うためのマスクを作成するマスク作成処理（後述）が実行される。ステップＳ１１８では、マスク処理が施された主画像に対しぼかし処理が施され、新たに主画像が合成される（後述）。ステップＳ１２０では合成された主画像が記録媒体１６に記録され、ぼかし処理モードにおけるこの割り込み処理は終了する。
【００２６】
なお、主画像にぼかし処理を施さずに対応する距離マップとともに記録媒体１６に保存し、後でぼかし処理やその他の画像処理を距離マップに基づいて行える構成とすることも可能である。この場合、主画像および距離マップのデータは別々のファイルとして保存されてもよいし、一体的なファイルとして保存されてもよい。また、別々のファイルとするときには、両ファイルの対応関係をファイル名で対応付けたり、ヘッダファイルなどに対応を記録したりしてもよい。
【００２７】
図３、図４は、図２のステップＳ１１４で実行される距離マップ作成処理のフローチャートであり、図５〜図８は、図３、図４で行われる処理の内容を説明する図である。以下図３〜図８を参照して第１実施形態の距離マップ作成処理について説明する。
【００２８】
距離マップ作成処理では、まずステップＳ２００において、図２のステップＳ１０２で画像メモリ１５に記憶された各スルー画像に対しハイパスフィルタや微分フィルタなどの輪郭抽出処理を施し輪郭成分を抽出する。ここで図５（ａ）は、輪郭抽出前のスルー画像の一例であり、図５（ｂ）は図５（ａ）の画像に対して輪郭抽出処理を施した画像の一例である。
【００２９】
ステップＳ２０２では、図５（ｃ）に例示されるように、輪郭成分が抽出された画像（図５（ｂ））をＭ×Ｎブロック（領域）に分割する。Ｎは例えば縦方向のブロック数であり、スルー画像の縦方向の画素数以下の値である。またＭは例えば横方向のブロック数であり、スルー画像の横方向の画素数以下の値である。なお、第１実施形態におけるブロックには１画素のみからなるものも含まれる。
【００３０】
ステップＳ２０４では、ブロック毎に輪郭成分の総和が計算される。すなわち、輪郭成分が抽出された画像（図５（ｂ））において、各ブロック内の画素値の総和がそのブロックのコントラスト値（コントラストの高低を評価する値）として計算される。ステップＳ２０６では、Ｍ×Ｎサイズのバッファメモリ（図示せず）にブロック毎に算出されたコントラスト値がコントラストマップ（コントラストの高低評価のマップ）としてスルー画像毎に保持される。図５（ｄ）は、図５（ｃ）のブロックに対応するコントラストマップの一例を模式的に示すもので、明るいブロックほど、そのブロックのコントラスト値が高いことを示している。
【００３１】
次にステップＳ２０８において、画像メモリ１５にストック（記憶）されたＮｐ枚のスルー画像全てに対して上記処理がなされたか否かが判定される。全てのスルー画像に対して上記処理が終了していない場合には、ステップＳ２００に戻りストックされたスルー画像のうちまだ処理されていない画像に対し上記処理（ステップＳ２００〜Ｓ２０６）が施される。
【００３２】
一方ステップＳ２０８において、画像メモリ１５にストックされたＮｐ枚のスルー画像全てに対しステップＳ２００〜Ｓ２０６の処理が施されたと判定されると、処理はステップＳ２１０に移り、バッファメモリには、図５（ｅ）に示されるようにＮｐ枚のコントラストマップが保持される。
【００３３】
距離マップは、図６に模式的に示されるように、ステップＳ２００〜Ｓ２０８において作成されたＮｐ枚のコントラストマップをブロック毎に参照して作成される。まず、ステップＳ２１０では距離マップ保存用のＭ×Ｎブロック分の配列がメモリに確保される。ステップＳ２１２では、Ｍ×Ｎ個のブロックのうち処理対象となるブロック（注目ブロック）の初期位置が設定される。
【００３４】
例えば、Ｎｐ枚の各コントラストマップにおけるＭ×Ｎ個のブロックに対して、図６左上を基点としてｉ行、ｊ列のブロックを（ｉ，ｊ）で参照するとき、処理はｉ＝１、ｊ＝１から開始される。なお、以下の処理において、注目ブロックは、まず同一行において左から右へ移動され、その後次の行へ移動され、順次同様の移動が繰り返される。
【００３５】
ステップＳ２１４では、Ｎｐ枚のコントラストマップにおいて注目ブロック（ｉ，ｊ）のコントラスト値がスキャンされ、ステップＳ２１６においてそのコントラスト値が最大となるコントラストマップの番号が算出される。例えば、コントラストマップが２３枚（Ｎｐ＝２３）のときに、注目ブロック（ｉ，ｊ）のコントラスト値がコントラストマップ番号に対し図７のように変化するとき、コントラスト値が最大となるコントラストマップ番号２０が検出される。
【００３６】
ステップＳ２１８では、ステップＳ２１６で検出されたコントラストマップの番号が、ステップＳ２１０において確保された距離マップの対応ブロックの配列に記録される。ステップＳ２２０では、Ｍ×Ｎのブロック全てに対し上記処理が終了したか否か、すなわち距離マップの全てのＭ×Ｎブロックに対しコントラストマップ番号が検出・記録されたか否かが判断される。終了していない場合には、ステップＳ２２２において次の注目ブロックへの移動が行われステップＳ２１４以下の処理が繰り返される。
【００３７】
一方、ステップＳ２２０において全てのＭ×Ｎブロックの全てに対してコントラストマップ番号が検出・記録されたと判断される場合には、距離マップの作成は終了し、処理はステップＳ２２４へと移る。このとき、距離マップの各ブロックに対応する配列には、図８に例示されるように、各ブロックにおいて最もコントラスト値が高いコントラストマップの番号が記録される。すなわち、そのブロックにおいて最も合焦されたと考えられるレンズ位置に対応し、これはそのブロックにおける被写体までの距離に対応する。図８の例では、コントラストマップ番号が大きいほど距離が大きく、図５（ａ）との対応では、コントラストマップ番号が８のブロックが主要被写体である人物に対応し、コントラストマップ番号２０のブロックが遠景となる背景、コントラストマップ番号が１３のブロックがその中間にある被写体、例えば主要被写体の直ぐ後ろにある木に対応する。
【００３８】
ステップＳ２２４では、防振ユニット２２からの駆動実績値が取得されるとともに防振駆動実績（評価値）が所定の閾値を下回るか否かが判定される。すなわち、像ブレ量が小さく、後述する擬似輪郭成分の発生が小さいと考えられる場合には、ステップＳ２２６において、３×３ブロックの大きさのメディアンフィルタが設定される。一方、ステップＳ２２４において、像ブレが大きく、これにより発生する擬似輪郭成分が大きいと考えられる場合には、ステップＳ２２８において、５×５ブロックの大きさのメディアンフィルタが設定される。すなわち、像ブレが大きい（擬似輪郭成分が大きい）と評価されるときには、メディアンフィルタの領域が拡大される。
【００３９】
ステップＳ２３０では、ステップＳ２２６またはステップＳ２２８の何れかで選択された３×３ブロック、あるいは５×５ブロックの大きさのメディアンフィルタをステップＳ２１４〜Ｓ２２２で作成された距離マップデータに施す。すなわち、ステップＳ２３０では、手ブレに基づいて距離マップに混入する擬似輪郭成分（ノイズ）を距離マップから除去し、これにより本実施形態の距離マップ作成処理（ステップＳ１１４）は終了する。
【００４０】
次に図９のフローチャートおよび図１０〜図１２を参照して、図２のステップＳ１１６において実行される第１実施形態のマスク作成処理について説明する。
【００４１】
マスク作成処理が開始されるとステップＳ３００において主要被写体の選択が行われる。主要被写体の選択は、例えば画像撮影時におけるＡＦ処理でのフォーカスポイント、撮影された画像内でユーザが適当な入力デバイスを用いて選択した位置、顔検出処理において顔として認識された位置などに基づいて決定される。例えば、主要被写体に対応するとされた位置が含まれるブロックのコントラストマップ番号（距離）の前後所定の範囲内のコントラストマップ番号（距離）に対応するブロックが主要被写体とされる。
【００４２】
ステップＳ３０２では、主要被写体として認識されたブロックにぼかし処理が施されないようにマップを作成し、図２のステップＳ１１０で撮影された主画像に対しマスク処理を施し、このマスク処理は終了する。なお、スルー画像の各ブロックの主画像への対応は、両画像の画素数の対応から直ちに求められる。
【００４３】
図１０は、例えば図８における番号８に対応するブロック（人物）が主要被写体とされたときのマスク処理の例である。また、図１１は、図８における中間領域に対応するコントラストマップ番号１３のブロックが主要被写体とされたとき、図１２は、図８における遠景に対応するコントラストマップ番号２０に対応するブロックが主要被写体とされたときのマスク処理の例である。
【００４４】
なお、第１実施形態ではマスク処理に例えばαブレンドの手法が用いられ、図１０〜図１２では、明るい色のブロックほど弱いぼかしが掛けられ、暗い色のブロックほど強いぼかし処理が掛けられる。
【００４５】
次に図１３〜図１６を参照して、防振駆動実績と距離マップに施されるメディアンフィルタの関係について、すなわち、防振駆動実績と閾値との比較により、フィルタの大きさを変更する理由について説明する。
【００４６】
図１３は、距離マップＤＭの模式図であり、被写体までの距離が近いほど明るいブロックとして、遠ざかるほど暗いブロックとして示される。また、図１３には、距離マップＤＭの左上４×４ブロックが拡大して示される。
【００４７】
例えば図２のステップＳ１０２における連続するスルー画像の保存の際、最初のフレーム（またはフィールド）撮影において図１３の拡大図中央２×２ブロック内にある円形の被写体像Ｓ１が、手ブレにより続く３フレーム（またはフィールド）の撮影において、像Ｓ２、Ｓ３、Ｓ４に順次移動した場合、すなわち像ブレが発生した場合を想定する。このとき、第１フレームでは中央の４ブロック（２，２）、（２，３）、（３，２）、（３，３）に像Ｓ１のエッジが含まれ、第１フレームに対応するコントラストマップにおけるこれらのブロックのコントラスト値が高くなる。
【００４８】
一方、第２フレームでは、像ブレにより像Ｓ２のエッジが中央の３ブロック（２，２）、（２，３）、（３，３）の他、周辺５ブロック（２，１）、（３，１）、（４，１）、（４，２）、（４，３）にも位置し、第２フレームに対応するコントラストマップでは、これらのブロックにおいてもコントラスト値が高くなる。同様に第３フレームに対応するコントラストマップでは、中央のブロック（２，２）、（２，３）、（３，２）、（３，３）の他、周辺の４ブロック（２，４）、（３，４）、（４，２）、（４，３）においてもコントラスト値が高くなり、第４フレームに対応するコントラストマップでは、中央のブロック（２，２）、（３，２）、（３，３）の他、周辺の５ブロック（１，２）、（１，３）、（１，４）、（２，４）、（３，４）においてもコントラスト値が高くなる。
【００４９】
このようにステップＳ１０２のスルー画像保存の際に、被写体のエッジ部分が像ブレにより周辺ブロックへ繰り返し移動すると、像ブレがなければ本来そのコントラストマップ（フレーム）においてコントラスト値が低いはずのブロックにおいてコントラスト値が高くなることがある（擬似輪郭成分の発生）。例えば、図１３の例では、周辺２０ブロック（１，１）〜（１，４）、（２，１）、（２，４）、（３，１）、（３，４）、（４，１）〜（４，４）において擬似輪郭成分が発生し、コントラスト値が本来の値よりも高くなる可能性がある。
【００５０】
図１４は、擬似輪郭成分が発生したブロックのコントラスト値の分布を例示するもので、横軸は被写体までの距離（コントラストマップ番号）、縦軸はコントラスト値である。例えば図１４のグラフにおいて、距離Ｌ１がそのブロックに含まれる被写体までの距離であるとすると、そのブロックにおけるコントラスト値は通常距離Ｌ１において最大のピーク値を取る。しかし、距離Ｌ２を合焦位置とするレンズ位置（コントラストマップ番号）で撮影されるフレームにおいて、本来別のブロックに含まれるべき被写体像のエッジ部がそのブロックに含まれると、そのフレーム前後においてそのブロックのコントラスト値が高くなり、距離Ｌ２においてピークが発生する。
【００５１】
距離Ｌ２に発生するピークは、状況によっては距離Ｌ１にある本来のピークよりも大きくなる可能性があり、そのような場合、図４のステップＳ２１６で検出されるコントラスト値が最大になるコントラストマップの番号が、本来あるべき距離Ｌ１に対応する番号ではなく、距離Ｌ２に対応する番号となり、距離マップにおけるそのブロックの距離情報が誤った値となる。なお、図１３の距離マップＤＭでは、拡大図における中央４ブロックの周囲２０ブロック（１，１）〜（１，４）、（２，１）、（２，４）、（３，１）、（３，４）、（４，１）〜（４，４）に擬似輪郭成分が発生し、本来遠景であるべきこの２０ブロックの距離情報に誤りが発生し、近景のブロックと判定された場合を示している。
【００５２】
したがって、このような誤った距離情報を含む距離マップを用いて図９のマスク作成処理を施すと、誤ったマスクが作成され、不自然なぼかし処理が行われる可能性がある。そこで本実施形態では、手ブレにより距離マップデータに生じるノイズを距離マップに例えばメディアンフィルタを施すことで抑制する。このとき手ブレによって発生する像ブレ量あるいは擬似輪郭成分の大きさは、手ブレの大きさに応じて大きくなる。したがって、本実施形態では、防振駆動実績値を参照し、像ブレ量あるいは擬似輪郭成分の大きさに応じたフィルタ（メディアンフィルタ）処理を施す。
【００５３】
図１５は、手ブレがあまり大きくなく、すなわち防振駆動実績値が相対的に小さい場合に距離マップＤＭに発生するノイズの分布を模式的に示す図であり、ブロックＮ１、Ｎ２が手ブレによりコントラストマップ番号が誤っている。このような場合、ノイズが含まれるブロックは、１ブロック程度の大きさで距離マップ上において分散して発生するので、３×３ブロック程度の大きさのメディアンフィルタを距離マップに施すことによりノイズを十分に抑制できる。
【００５４】
一方、手ブレが大きく、すなわち防振駆動実績値が相対的に大きい場合には、距離マップＤＭに発生するノイズの分布は、例えば図１３に示されるように、ノイズを含むブロックが隣接して発生し、これら同士が連結して大きな擬似輪郭成分を含む領域が発生する。このように、擬似輪郭成分を含む領域がフィルタの大きさと同程度あるいはそれよりも大きくなると、距離マップにおけるフィルタによる手ブレに起因するノイズ除去は困難となる。
【００５５】
このため、本実施形態では、防振駆動実績が相対的に大きい場合、フィルタの大きさを例えば３×３ブロックから例えば５×５ブロックへと拡大する。これにより、図１３のようにノイズを含むブロックが連接して一塊をなす場合においても、これらの塊がフィルタ領域に含まれ、距離マップデータからノイズが除去される。これにより図１４のグラフで示された距離Ｌ２における偽のピークは、図１６に示されるように消滅し、ピークは本来の距離Ｌ１のみとなる。
【００５６】
以上のように、像ブレにより発生する擬似輪郭成分が大きく、距離情報信号に誤りが発生する可能性が高いときには、メディアンフィルタの大きさを大きくすることで、像ブレに起因する各ブロックの輪郭成分への影響を低減し、各ブロックに対する距離情報の精度を高めることができる。
【００５７】
以上のように、第１実施形態によれば、被写界深度によるぼけが十分に得られない状況においても、主要被写体以外の領域に適切にぼかし処理を施すことができる。また、本実施形態では輪郭抽出処理を用いることで、コントラストの評価をより容易かつ正確に行うことができ、更に画像を複数のブロック（１画素のみのブロックは除く）に分割することで処理速度を向上させることができる。また、本実施形態では像ブレに基づきノイズフィルタの大きさを制御することにより、各ブロックにおいて発生するノイズが除去される。
【００５８】
また、本実施形態では距離マップを作成するための複数の画像にスルー画像を利用しているため通常の撮影シーケンスの中でぼかし処理を施すことが可能となる。これにより、別途距離マップ用の複数の画像を撮影する場合などに比べ、ユーザはぼかし処理に煩わされることがなく、処理速度も向上する。
【００５９】
なお、本実施形態ではコンパクトカメラを例に説明を行ったが、携帯電話に搭載されたカメラユニットでの処理の流れを変形例として図１７に例示する。ここで図１７は第１実施形態の図２のフローチャートに対応し、この変形例が構成上第１実施形態と大きく異なるのは、測光スイッチＳ１がなく、レリーズボタンの全押し、すなわちレリーズスイッチＳ２がオンされて初めて測光処理、オートフォーカス処理、および主画像の撮影が開始される。したがって、図２のステップＳ１０６、Ｓ１０８に対応するステップがなく、Ｓ１００のステップが、ステップＳ４００に示されるように、レリーズスイッチＳ２がオンされたか否かの判定に置き換えられる。なお、ステップＳ４０２、Ｓ４０４の内容は、ステップＳ１０２、Ｓ１０４に対応し、ステップＳ４０６〜ステップＳ４１６の内容は、ステップＳ１１０〜ステップＳ１２０に対応する。
【００６０】
以上のように携帯電話などに搭載されたカメラユニットなどのように、レリーズボタンの全押しにより測光スイッチがオンされる場合にも、第１実施形態と同様の効果が得られる。
【００６１】
次に図１８〜図２５を参照して第２実施形態のデジタルカメラについて説明する。第２実施形態のデジタルカメラは、マスク処理方法（図２のステップＳ１１６）が主要被写体の距離に応じて制御される点を除けば、第１実施形態のデジタルカメラと同じである。したがって以下の説明では、第１実施形態と異なる点（ステップＳ１１６）ついてのみ説明を行う。
【００６２】
被写界深度は、被写体までの距離が離れるほど大きくなり、ＡＦ駆動における１ステップ（最小駆動量）での深度の分解能は距離が離れるほど小さくなる。したがって、第２実施形態では、主要被写体までの距離に応じてぼかし処理の手法を変更する。例えば本実施形態では、主要被写体までの距離が比較的近いときには深度の微妙な違いを再現するぼかし処理を行い（近距離モード）、主要被写体までの距離が比較的遠いときには主要被写体の背景側のみにぼかし処理を施し主要被写体と背景の対比を強調する（遠距離モード）。
【００６３】
図１８は、横軸に被写体までの距離、縦軸に各距離に対応するブロックの度数を示すヒストグラムの一例である。本実施形態では、主要被写体が所定の距離Ｄｏよりも近距離にあるか否かにより、上記近距離モード、遠距離モードの選択が行われる。すなわち主要被写体とされた被写体までの距離がＤｏ以下の場合、近距離モードが選択され、それ以外では遠距離モードが選択される。
【００６４】
なお、被写界深度はＦ値によっても変化するので、距離Ｄｏが、Ｆ値により変更される構成としてもよい。例えば、被写界深度はＦ値が小さくなるほど浅くなるので、Ｆ値が小さいほど距離Ｄｏを大きく設定し、Ｆ値が大きいほど距離Ｄｏを小さく設定する構成としてもよい。
【００６５】
図１９は、近距離モードにおけるぼかし処理の変化（近距離モード用マスク濃度算出カーブ）を例示するグラフである。近距離モードでは、主要被写体に対応する距離のブロックに対してはぼかし処理を行わず（あるいはぼかし処理を最小とし）、その前景、背景に対応するブロックでは、そのブロックの被写体までの距離が主要被写体の距離Ｄｏから離れるにしたがって徐々にぼかし処理が強められる。例えば前景では距離Ｄｆ、背景では距離Ｄｂでぼかし処理が最大（１００％）となるように距離Ｄｏから漸次ぼかし処理の強度が増大される。
【００６６】
図２０は、遠距離モードにおけるぼかし処理の変化（遠距離モード用マスク濃度算出カーブ）を例示するグラフである。遠距離モードでは、前述したように主要被写体の背景のみにぼかし処理を施し、主要被写体と背景の対比を強調するため、主要被写体までの距離Ｄｏを境にステップ状にぼかし処理が掛けられる。すなわち距離Ｄｏまでの距離に対応するブロックにぼかし処理は施されず、距離Ｄｏよりも遠方の距離に対応するブロックには最大のぼかし処理（１００％）が施される。
【００６７】
なお、本実施形態では、図１のスイッチ群２１に含まれる方向スイッチや電子ダイヤルスイッチなどを用いて、各モードのマスク濃度算出カーブの制御が可能とされる。例えば近距離モードでは、被写界深度の制御が可能であり、例えば図１９のＤｆ、Ｄｂの位置がＡＦ駆動における例えば１ステップ単位で変更可能である。また、遠距離モードでは例えばぼかし処理の強度が可変とされる。
【００６８】
図２１は、近距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は深度の距離による分解能の変化の程度を模式的に示す。また図２２は、近距離モードにおける画像の一例であり、主要被写体が人物Ｓ０とすると、その前後にいる人物Ｓ１〜Ｓ３にはそれぞれ人物Ｓ０からの距離に応じて異なる強度のぼかし処理が施される。すなわち本実施形態では、主要被写体から前後に離れるほど強いぼかし処理が施され、深度の微妙な差が強調され、もとの画像よりも立体感を増すことができる。
【００６９】
一方、図２３は、遠距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は図２１と同様に深度の距離による分解能の変化の程度を模式的に示す。また図２４は、遠距離モードにおける画像の一例であり、主要被写体となる人物Ｓ０と同距離、およびそれよりも手間にあるブロックに対してはぼかし処理を施さず、人物Ｓ０よりも遠景にあるブロックに、均一な強いぼかし処理を施される。これにより、人物Ｓ０のみがクリアになり、それ以外の背景はぼけた画像となる。
【００７０】
図２５は、上述した第２実施形態のマスク作成処理のフローチャートであり、図２のステップＳ１１６の内容に対応する。このフローチャートを参照して第２実施形態のマスク作成処理の流れについて説明する。
【００７１】
ステップＳ５００では、第１実施形態における図９、ステップＳ３００と同様に主要被写体の選択が行われ、ステップＳ５０２において、主要被写体が含まれるブロックのコントラストマップ番号（距離）が取得される。ステップＳ５０４では、主要被写体の距離情報（コントラストマップ番号）から主要被写体が近距離にあるか否かが判断される。例えば、主要被写体のコントラストマップ番号や距離が所定値以下であるか否かが判定される。
【００７２】
ステップＳ５０４において主要被写体が近距離にあると判定されると、ステップＳ５０６において図１９に示される近距離モード用のマスク濃度算出カーブが選択され、ステップＳ５０８において注目ブロックの主要被写体からの距離（差分）が計算される。
【００７３】
一方、ステップＳ５０４において主要被写体が近距離にはない（遠距離にある）と判定されると、ステップＳ５１６において図２０に示される遠距離用のマスク濃度算出カーブが選択され、ステップＳ５０８において注目ブロックの主要被写体からの距離（差分）が計算される。
【００７４】
ステップＳ５１０では、ステップＳ５０８において算出された現注目ブロックの差分値と、ステップＳ５０６またはＳ５１６で選択されたマスク濃度算出カーブとの照合が行われ、注目ブロックに対応するマスク濃度が特定されるとともに、ステップＳ５１２においてその濃度が対応するマスク用配列に記録される。
【００７５】
ステップＳ５１４ではＭ×Ｎブロック全てに対し上記処理、すなわちマスク濃度が特定されたか否かが判定され、終了していれば本マスク作成処理は終了し、そうでなければステップＳ５１８において注目ブロックを次のブロックに移動し、ステップＳ５０８以下の処理を繰り返す。なお、注目ブロックの移動は、図４、図６を用いて説明した注目ブロックの移動方法と同じである。
【００７６】
以上のように、第２実施形態によれば、主被写体の距離に応じてぼかし処理が制御され、より適切なぼかし処理が可能となる。
【００７７】
なお、本実施形態では、距離情報を取得するためにスルー画像を用いたが、短時間の間に複数の合焦位置で撮影される一連の画像であればよくスルー画像に限定されるものではない。また、本実施形態では、距離情報としてコントラストマップ番号を用いた例で説明を行ったが、距離情報に対応する変数であればこれに限定されるものではなく、１対１であれば実際の距離と比例関係にある必要もない。また、ぼかし処理も本実施形態に限定さえるものではない。
【００７８】
本発明は特にコンパクトなカメラにおいてその効果が顕著であるが、コンパクトなカメラに限定されるものではなく、例えば通常のデジタル一眼レフカメラに適用することもできる。
【００７９】
また、本実施形態では各領域（ブロック）でのコントラストの評価を容易かつ正確にするために輪郭抽出を行ったが、画像を撮影したレンズ位置での各領域の合焦度合いを評価できるのであれば輪郭抽出を行わずにコントラストの評価を行ってもよい。
【００８０】
また、本実施形態のマスク作成処理、合成、保存処理（Ｓ１１６〜Ｓ１２０、Ｓ４１２〜Ｓ４１６）などは、例えばパソコン等、デジタルカメラ以外の機器において行うことも可能であり、その場合には、デジタルカメラにおいて作成された上記距離マップ（距離情報）、あるいは代替的手段により得られた被写体までの距離情報を用いて処理される。このような場合、例えば、パソコン等には、記録媒体や外部から入力される画像データに対し記録媒体や外部から入力される距離情報に基づいて画像処理（ぼかし処理）施し、その結果を例えば記録媒体に保存、あるいは外部へ出力するプログラムとして提供される。
【００８１】
なお、本実施形態では被写体までの距離情報に基づいてぼかし処理を施したが、距離情報を用いて他の画像処理を施す構成であってもよい。例えば、画像を水彩画風、イラスト風にする処理や、画像にキャラクタ（図形や文字、絵柄なども含む）を追加する処理などにも利用できる。水彩画処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて色合いや濃淡を制御し、および／または、主要被写体までの距離に応じて色合いや濃淡の制御方法を変更することが考えられる。また、イラスト処理では、被写体までの距離あるいは主要被写体からの距離に応じて例えば濃淡を制御し、および／または、主要被写体までの距離に応じて濃淡制御の方法を変更することが考えられる。キャラクタを追加する処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて追加するエリアの広さやキャラクタの大きさの制御を行い、および／または主要被写体までの距離に応じてエリアの広さやキャラクタの大きさの制御方法を変更することが考えられる。
【００８２】
また、距離マップ作成までの処理を、レンズ駆動機構と撮像素子を備えた撮像装置を制御するコンピュータプログラムとして提供することもできる。
【００８３】
本実施形態の撮像装置（デジタルカメラ）は、手ブレ補正機構を備えたが、補正機構は設けずに、例えば手ブレを検出するセンサのみを設け、検出される手ブレ量を像ブレ量の評価、あるいはコントラストマップに発生する擬似輪郭成分の大きさの評価に用いてもよい。また、本実施形態ではメディアンフィルタの大きさを大小２種類用意したが、フィルタの大きさは大中小など３種類以上であってもよく、フィルタの種類もメディアンフィルタに限定されるものではなく、ノイズを除去できるものであれば平滑化処理などを利用するものでもよい。
【符号の説明】
【００８４】
１０  デジタルカメラ
１１  撮影レンズ
１２  撮像素子
１３  撮像素子ドライバ
１４  制御部
１５  画像メモリ
１６  記録媒体
１７  モニタ
１８  レンズ駆動部
１９  絞り
２０  絞り駆動部
２１  スイッチ群
２２  防振ユニット
【図１】
0005831033.tif 000002
【図２】
0005831033.tif 000003
【図３】
0005831033.tif 000004
【図４】
0005831033.tif 000005
【図６】
0005831033.tif 000006
【図７】
0005831033.tif 000007
【図８】
0005831033.tif 000008
【図９】
0005831033.tif 000009
【図１０】
0005831033.tif 000010
【図１１】
0005831033.tif 000011
【図１２】
0005831033.tif 000012
【図１３】
0005831033.tif 000013
【図１４】
0005831033.tif 000014
【図１５】
0005831033.tif 000015
【図１６】
0005831033.tif 000016
【図１７】
0005831033.tif 000017
【図１８】
0005831033.tif 000018
【図１９】
0005831033.tif 000019
【図２０】
0005831033.tif 000020
【図２１】
0005831033.tif 000021
【図２２】
0005831033.tif 000022
【図２３】
0005831033.tif 000023
【図２４】
0005831033.tif 000024
【図２５】
0005831033.tif 000025
【図５】
0005831033.tif 000026