(57)【要約】【課題】  高速連写撮影等の特殊な撮影をしなくとも、単一の画像から画像内の距離情報を精度良く取得する。【解決手段】  単一の画像に対して、度合いの異なる平滑化処理を施した処理済み画像を複数生成する画像生成手段と、単一の画像と処理済み画像との差分を算出し、差分が生じる領域を抽出する領域抽出手段と、平滑化処理時の処理情報及び前記単一の画像を撮像したときの撮像情報を用いて、領域抽出手段によって抽出された領域における距離情報を取得する距離情報取得手段と、を備えたことを特徴とする。【選択図】    図２
2009232348.tif 000002
【特許請求の範囲】
【請求項１】
単一の画像に対して、度合いの異なる平滑化処理を施した処理済み画像を複数生成する画像生成手段と、
前記単一の画像と前記処理済み画像との差分を算出し、差分が生じる領域を抽出する領域抽出手段と、
前記平滑化処理時の処理情報及び前記単一の画像を撮像したときの撮像情報を用いて、前記領域抽出手段によって抽出された領域における距離情報を取得する距離情報取得手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記画像生成手段は、前記単一の画像を複数分割することで得られる評価領域毎に前記平滑化処理を施し、
前記領域抽出手段は、前記平滑化処理前の評価領域と該平滑化処理後の評価領域との差分を評価領域毎に算出することで、前記差分が生じる領域を抽出することを特徴とする撮像装置。
【請求項３】
請求項１又は２記載の撮像装置において、
前記単一の画像に対してフィルタ処理を実行するフィルタ処理手段を、さらに備え、
前記フィルタ処理手段は、前記距離情報に基づいたフィルタ処理を、対応する領域毎に実行することを特徴とする撮像装置。
【請求項４】
請求項１又は２記載の撮像装置において、
被写体光を取り込む撮像光学系と、
前記撮像光学系を、該撮像光学系の光軸方向に沿って駆動制御する駆動制御手段と、を備え、
前記駆動制御手段は、前記距離情報に基づいて前記撮像光学系の駆動制御を行うことを特徴とする撮像装置。
【請求項５】
単一の画像に対して度合いの異なる平滑化処理を施した処理済み画像を複数生成する画像生成工程と、
前記単一の画像と前記処理済み画像との差分を算出し、差分が生じる領域を抽出する領域抽出工程と、
前記平滑化処理時の処理情報及び前記単一の画像を撮像したときの撮像情報を用いて、前記領域抽出工程によって抽出された領域における距離情報を取得する距離情報取得工程と、
を備えたことを特徴とする距離情報取得方法。
【請求項６】
請求項５記載の距離情報取得方法において、
前記画像生成工程は、前記単一の画像を複数分割することで得られる評価領域毎に前記周波数処理を施し、
前記領域抽出工程は、前記平滑化処理前の評価領域と該平滑化処理後の評価領域との差分を評価領域毎に算出することで、前記差分が生じる領域を抽出することを特徴とする距離情報取得方法。
【請求項７】
請求項５又は６記載の距離情報取得方法により取得された距離情報に基づいて、抽出された領域毎に異なるフィルタ処理を、前記単一の画像に対して実行することを特徴とする画像処理方法。
【請求項８】
請求項５又は６記載の距離情報取得方法により取得された距離情報に基づいて、被写体光を取り込む撮像光学系を駆動制御することを特徴とする光学系の駆動制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定された被写体までの距離を画像取得時に反映させる撮像装置、距離情報取得方法、画像処理方法及び光学系の駆動制御方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において撮影を行う際の焦点調節としては、撮像装置内に取り込まれた画像信号から画像の鮮鋭度を示す焦点評価値を算出し、この焦点評価値が最大となるように焦点調節用のレンズ（所謂、フォーカスレンズ）を移動させることが一般的である。また、この他に、ＣＣＤやＣＭＯＳなどの撮像素子の撮像面上に距離計測用のセンサを離散的に配置し、これら距離計測用のセンサからの出力値に基づいて、フォーカスレンズを移動させ焦点調節を行うことも一般的に行われている。
【０００３】
このような撮像装置において画像内の距離情報を取得する方法としては、画像内における主要被写体が占めるサイズ（ピクセル数）から距離を判別する方法や、異なる絞り状態となる複数の光学系を利用した撮影を同時に行い、取得された画像における各画素のコントラスト比を比較した結果に基づいてボケ具合を検出し、画像内における距離情報を得る方法が提案されている（特許文献１参照）。
【特許文献１】特開２００２−１０１２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１においては、撮影された画像の距離に応じたボケ具合を検出できるものの、絞り値の異なる画像を同時に撮像するための撮像光学系が複数必要となる。仮に、単一の一眼光学系の撮像装置において、絞り値を変えながら高速連写撮影を行うことができたとしても、被写体の位置が変わらない程度の高度な高速連写撮影を行う必要があり、また、このような高速連写撮影を行うための特殊な撮像機能を撮像装置に搭載する必要がある。このため、単一の一眼光学系の撮像装置で取得される１つの画像からは、画像内の距離情報を取得することが難しいのが現状である。
【課題を解決するための手段】
【０００５】
本発明は、上述した課題を解決するために発明されたものであり、高速連写撮影等の特殊な撮影をしなくとも、単一の画像から画像内の距離情報を精度良く取得することができるようにした撮像装置、距離情報取得方法、画像処理方法及び光学系の駆動制御方法を提供することを目的とする。
【０００６】
第１の発明の撮像装置は、単一の画像に対して、度合いの異なる平滑化処理を施した処理済み画像を複数生成する画像生成手段と、前記単一の画像と前記処理済み画像との差分を算出し、差分が生じる領域を抽出する領域抽出手段と、前記平滑化処理時の処理情報及び前記単一の画像を撮像したときの撮像情報を用いて、前記領域抽出手段によって抽出された領域における距離情報を取得する距離情報取得手段と、を備えたことを特徴とする。
【０００７】
第２の発明は、第１の発明において、前記画像生成手段は、前記単一の画像を複数分割することで得られる評価領域毎に前記平滑化処理を施し、前記領域抽出手段は、前記平滑化処理前の評価領域と該平滑化処理後の評価領域との差分を評価領域毎に算出することで、前記差分が生じる領域を抽出することを特徴とする。
【０００８】
第３の発明は、第１又は第２の発明において、前記単一の画像に対してフィルタ処理を実行するフィルタ処理手段を、さらに備え、前記フィルタ処理手段は、前記距離情報に基づいたフィルタ処理を、対応する領域毎に実行することを特徴とする。
【０００９】
第４の発明は、第１又は第２の発明において、被写体光を取り込む撮像光学系と、前記撮像光学系を、該撮像光学系の光軸方向に沿って駆動制御する駆動制御手段と、を備え、前記駆動制御手段は、前記距離情報に基づいて前記撮像光学系の駆動制御を行うことを特徴とする。
【００１０】
第５の発明の距離情報取得方法は、単一の画像に対して度合いの異なる平滑化処理を施した処理済み画像を複数生成する画像生成工程と、前記単一の画像と前記処理済み画像との差分を算出し、差分が生じる領域を抽出する領域抽出工程と、前記平滑化処理時の処理情報及び前記単一の画像を撮像したときの撮像情報を用いて、前記領域抽出工程によって抽出された領域における距離情報を取得する距離情報取得工程と、を備えたことを特徴とする。
【００１１】
第６の発明は、第５の発明において、前記画像生成工程は、前記単一の画像を複数分割することで得られる評価領域毎に前記周波数処理を施し、前記領域抽出工程は、前記平滑化処理前の評価領域と該平滑化処理後の評価領域との差分を評価領域毎に算出することで、前記差分が生じる領域を抽出することを特徴とする。
【００１２】
第７の発明の画像処理方法は、第５又は第６の発明の距離情報取得方法により取得された距離情報に基づいて、抽出された領域毎に異なるフィルタ処理を実行することを特徴とする。
【００１３】
第８の発明の光学系の駆動制御方法は、第５又は第６の発明の距離情報取得方法により取得された距離情報に基づいて、被写体光を取り込む撮像光学系を駆動制御することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、単一の画像と撮像情報とを用いるだけで、容易に画像内の距離情報を取得することができる。また、取得された画像内の距離情報を用いることで、撮像時の撮像光学系の調整を高精度に調整することができる。また、距離情報に併せた画像処理を行うことで、距離情報に基づいた自然な画像を取得することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明を用いたデジタルカメラの電気的構成を示す機能ブロック図である。
【００１６】
図１は、デジタルカメラ１０の一例を示す機能ブロック図である。デジタルカメラ１０は、周知のように、撮像光学系１５を透過した被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号を画像データとして取得する。
【００１７】
撮像光学系１５は、撮像レンズ２０と、ズームレンズやフォーカスレンズなどを含むレンズ群２１とを備えている。なお、レンズ群２１は複数のレンズから構成されるが、図１においては、１枚のレンズとしている。レンズ群２１に含まれるズームレンズは、選択された撮像倍率となるように光軸Ｌに沿って移動する。また、フォーカスレンズは被写体画像の焦点調節の際に光軸Ｌに沿って微小移動する。なお、このレンズ群２１は、レンズ駆動機構２２によって駆動制御される。
【００１８】
撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などが用いられ、受光した光量に応じた信号電荷を蓄積し、蓄積した信号電荷をＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）回路３０に出力する。この撮像素子１６の駆動制御はドライバ３１によって駆動制御される。なお、撮像素子１６によって蓄積された信号電荷を、以下では、アナログ画像信号と称して説明する。
【００１９】
このＡＦＥ回路３０は、図示しないＡＧＣ回路やＣＤＳ回路を含んで構成される。ＡＦＥ回路３０は、入力されたアナログ画像信号に対してゲインコントロール、雑音除去などのアナログ処理を施す。
【００２０】
ＤＦＥ（Ｄｉｇｉｔａｌ  Ｆｒｏｎｔ  Ｅｎｄ）回路３２は、ＡＦＥ回路３０によってアナログ処理が施されたアナログ画像信号をデジタル画像信号に変換する。変換されたデジタル画像信号は１コマ毎にまとめられ、デジタル画像データ（以下、画像データと称する）としてバッファメモリ３３に記憶される。なお、ＡＦＥ回路３０、ドライバ３１及びＤＦＥ回路３２は、それぞれタイミングジェネレータ（ＴＧ）３４における作動タイミングに基づいて制御される。また、符号３５はバスであり、このバス３５を介してデジタルカメラ１０の各部が電気的に接続される。
【００２１】
画像処理部４０は、バッファメモリ３３に記憶された画像データに対して、輪郭補償、ガンマ補正、ホワイトバランス補正などの画像処理を施す。画像処理部４０はフィルタ処理部４１を備えており、上述した画像処理の際に、フィルタ処理部４１におけるフィルタ処理も実施される。なお、このフィルタ処理４１は、画像データに付帯された距離情報に基づいて実行される。
【００２２】
これら画像処理が施された画像データは例えばＪＰＥＧ方式などの記憶方式に圧縮するためのフォーマット処理が施された後、再度バッファメモリ３３に記憶される。その後、バッファメモリ３３に記憶された画像データは、所定の圧縮方式に対応する圧縮率を用いて圧縮処理される。例えばデジタルカメラ１０に設けられたＬＣＤ４２にスルー画像を表示する場合には、画像処理後の画像データに対して、ＬＣＤ４２の解像度に合わせた圧縮率を用いて圧縮処理を実行し、表示制御部４３に出力する。
【００２３】
一方、画像データを記憶する場合には、上述した記憶方式に対応した圧縮率を用いて圧縮処理が施された後、内蔵メモリ４５に記憶される。この内蔵メモリ４５に格納された画像データは、メディアコントローラ４６を介して、メモリカードや光学ディスクなどの記憶媒体４７に書き込まれる。なお、画像記憶用に合わせた圧縮率としては、予めデジタルカメラ１０において設定される画像記憶用の解像度に合わせた圧縮率の他、予めユーザが操作部５４を操作することにより設定した解像度に合わせた圧縮率が挙げられる。
【００２４】
測距センサ５０は、例えばレリーズボタン５５が操作されたときに作動し、被写体までの距離を検出する。測光センサ５１は、例えばレリーズボタン５５が操作されたときに作動し、被写体の明るさ（輝度）を検出する。
【００２５】
ストロボ装置５２は、測光センサ５１の出力信号から得られる被写体輝度が所定値以下となる場合に、被写体に向けてストロボ光を照射する。なお、このストロボ装置５２は、ストロボ制御部５３により作動制御される。
【００２６】
操作部５４は、例えば撮像時のモード選択や、撮像時の設定を変更する場合に操作される。また、レリーズボタン５５は、撮像する際に操作されるボタンである。このレリーズボタン５５を操作すると、被写体までの測距処理、ＡＥ処理、ＡＦ処理などが実行された後、撮像処理が実行される。
【００２７】
ＣＰＵ６０は、デジタルカメラ１０の各部を統括的に制御する。このＣＰＵ６０は、内蔵メモリ４５に格納された制御プログラム６６を実行することで、ＡＥ処理部６１、ＡＦ処理部６２の他、領域抽出部６３及び距離情報取得部６４としての機能を有している。
【００２８】
ＡＥ処理部６１は、測光センサ５１の出力信号から得られる被写体輝度に基づいて、絞り値、シャッタ速度（電子シャッタの場合には、撮像素子１６における電荷蓄積時間）、及び撮像素子１６の制御感度値などの露出条件を求める。なお、絞り値、シャッタ速度及び撮像素子１６の制御感度値を求める方法については、周知であることから、ここではその詳細については省略する。
【００２９】
ＡＦ処理部６２は、入力される画像信号からＡＦ制御に必要な物理量を算出する。例えば入力された画像信号から、画像の鮮鋭度を示す焦点評価値を算出する。この算出される焦点評価値が最大となるようにレンズ駆動機構２２を介してフォーカスレンズの移動を制御する。
【００３０】
領域抽出部６３は、単一の画像データから、複数の異なる周波数成分の帯域のそれぞれに含まれる周波数成分を有する領域を帯域毎に抽出する。以下、図２及び図３を用いて、特定の周波数成分が含まれる領域を抽出する方法について説明する。以下では、領域を抽出する処理に用いられる画像を元画像Ｐ０と称して説明する。
【００３１】
まず、元画像Ｐ０に対して、例えば２つの異なるボカシ量を用いたボカシ処理を行い、２つの画像を生成する。以下では、ボカシ量が小さいボカシ処理にて生成される画像を第１画像、ボカシ量が大きいボカシ処理にて生成される画像を第２画像と称して説明する。なお、本実施形態では、２つの異なるボカシ量を用いて元画像Ｐ０にボカシ処理を施す場合について説明するが、ボカシ処理に用いるボカシ量は２種類に限定されるものではなく、３種類以上のボカシ量を用いてもよい。
【００３２】
図３（ｂ）は、図３（ａ）における画像内のＡ−Ａ’間の画素に注目した場合における画素強度について示す。図３（ｂ）においては、元画像Ｐ０の画素強度を実線で、第１画像Ｐ１の画素強度を点線で、第２画像Ｐ２の画素強度を二点鎖線で示している。エッジ抽出処理を行った場合に点Ｂ、Ｃがエッジとして抽出されるような画像を元画像Ｐ０とした場合、第１画像Ｐ１は、元画像Ｐ０におけるエッジＢ、Ｃの近傍（Ｄ−Ｄ’間、Ｅ−Ｅ’間）の画像強度が曲線状に変化する。同様にして、第２画像Ｐ２も、エッジＢ、Ｃの近傍（Ｆ−Ｆ’間、Ｇ−Ｇ’間）の画像強度が曲線状に変化する。また、第２画像Ｐ２においては、画像強度が曲線状に変化する画素の領域が、第１画像Ｐ１よりも広くなる。
【００３３】
図３（ｃ）は、元画像Ｐ０における画素強度と第１画像Ｐ１における画素強度との差分（図中実線）、及び元画像Ｐ０における画素強度と第２画像Ｐ２における画素強度との差分（図中点線）をそれぞれ示している。なお、図３（ｃ）においては、算出される差分を絶対値で示している。図３（ｃ）に示すように、元画像Ｐ０における画素強度と第１画像Ｐ１における画素強度との差分が元画像Ｐ０のエッジＢ、Ｃの近傍で生じ、エッジＢ，Ｃにて、その差分が最大となる。同様にして、元画像Ｐ０における画素強度と第２画像Ｐ２における画素強度との差分においても、元画像のエッジＢ、Ｃの近傍で画素強度の差分が生じ、エッジＢ，Ｃにて差分が最大となる。上述したように、第２画像Ｐ２においては、画素強度が曲線状に変化する範囲が第１画像Ｐ１の範囲よりも広いことから、元画像Ｐ０における画素強度と第２画像Ｐ２における画素強度との差分が生じる範囲は、元画像Ｐ０における画素強度と第１画像Ｐ１における画素強度との差分が生じる範囲よりも広くなる。
【００３４】
上述したように、第１画像Ｐ１は、元画像Ｐ０に対してボカシ量が小さいボカシ処理が施された画像であることから、元画像Ｐ０の画素強度と第１画像Ｐ１の画素強度との差分が生じる領域は、高周波数帯域の周波数成分を有する領域（図２中に示す領域７１）と判定できる。つまり、元画像Ｐ０の画素強度と第１画像Ｐ１の画素強度との差分が生じる領域を抽出することで、エッジ情報（以下、第１エッジ情報）を取得することができる。
【００３５】
また、第２画像Ｐ２は、元画像Ｐ０に対してボカシ量が大きいボカシ処理が施された画像であることから、元画像Ｐ０の画素強度と第２画像Ｐ１の画素強度との差分が生じる領域は、高周波数帯域、及び該高周波数帯域未満の所定の周波数帯域の周波数成分を有する領域（図２中に示す領域７２）と判定される。これにより、元画像Ｐ０と第２画像Ｐ２との差分が生じる領域を抽出することで、第１エッジ情報とは異なるエッジ情報（以下、第２エッジ情報）を取得することができる。なお、元画像Ｐ０に対して行われるボカシ処理におけるボカシ量と、差分により抽出される領域に含まれる周波数成分の帯域とは、予め実験等の結果により予め対応付けされているものとする。
【００３６】
距離情報取得部６４は、領域抽出部６３より取得された第１エッジ情報及び第２エッジ情報を用いて、画像内における距離情報を取得する。第１エッジ情報は、高周波数帯域の周波数成分を有する領域を示す情報であり、また、第２エッジ情報は、高周波数帯域、及び該高周波数帯域未満の所定の周波数帯域の周波数成分を有する領域を示す情報である。
【００３７】
図２に示すように、第１エッジ情報から高周波数帯域の周波数成分を有する領域が領域７１となり、第２エッジ情報から高周波数帯域、及び該高周波数帯域未満の所定の周波数帯域の周波数成分を有する領域が領域７２となる場合、領域７１から領域７２を除した領域（図２中斜線のハッチングで示す領域）７３が高周波数帯域の周波数成分未満の所定の周波数帯域の周波数成分を有する領域となる。なお、領域７１及び領域７３を除く領域は、それ以外の周波数帯域の周波数成分を有する領域となる。これにより、第１エッジ情報及び第２エッジ情報を用いることで、画像を周波数成分の帯域毎に分割することができる。
【００３８】
まず、距離情報取得部６４は、撮像時の絞り値Ｆを用いてデフォーカス量Δを算出する。なお、デフォーカス量Δは、Δ＝σ×Ｆ（σ：散乱円の径、Ｆ：絞り値）用いて算出される。
【００３９】
また、距離情報取得部６４は、撮像レンズ２０の繰り出し量ａと、撮像時の焦点距離ｆから、主要被写体までの距離（被写体距離）Ｌを（１）式を用いて算出する。
【００４０】
【数１】
2009232348.tif 000003
【００４１】
距離情報取得部６４は、内蔵メモリ４５に格納された距離テーブルデータ６７を参照して、算出されたデフォーカス量Δと被写体距離Ｌとに対応付けられた被写体深度ｘを読み出す。なお、上述した（１）式により被写体距離Ｌが算出されていることから、対象となる領域は、被写体距離Ｌに対して±ｘの範囲内にあると推定される。つまり、被写体距離Ｌと、被写体深度±ｘとを加算したものが、対象となる領域の距離となる。このようにして、対象となる領域に対する距離が取得されていく。なお、算出された距離は、それぞれ対象となる領域と対応付けられた距離情報として画像データに付帯される。
【００４２】
上述した距離テーブルデータ６７は、被写体深度ｘに対して、被写体距離及びデフォーカス量が対応付けられたテーブルデータからなる。図４に示すように、被写体距離をＬ、焦点距離をｆ、デフォーカス量をΔとした場合、焦点が合わない（ぼけた）位置における被写体深度ｘは（２）式で表される。
【００４３】
【数２】
2009232348.tif 000004
【００４４】
この（２）式を用いて、被写体距離Ｌとデフォーカス量Δとを変化させたときの被写体深度ｘを算出していき、被写体距離Ｌ、デフォーカス量Δに、算出された被写体深度ｘを、それぞれ対応付けることで、距離テーブルデータ６７が生成される。なお、この距離テーブルデータ６７は、予め作成されて、内蔵メモリ４５に格納される。
【００４５】
次に、画像データを用いて距離情報を取得する処理の流れについて、図５のフローチャートに基づいて説明する。ステップＳ１０１は、撮像を行う処理である。撮像時の処理については周知であることから、ここでは、その詳細を省略する。この撮像により取得される画像データには、露出条件や、焦点距離などの撮像条件が撮像情報として付帯される。
【００４６】
ステップＳ１０２は、取得された画像データから第１エッジ情報を取得する処理である。このステップＳ１０２の処理は、領域抽出部６３にて実行される。この領域抽出部６３は、画像データを元画像データとしたボカシ量の小さいボカシ処理を行った後、得られた画像データと元画像データとの差分が生じる領域を抽出することで、第１エッジ情報を取得する。
【００４７】
ステップＳ１０３は、取得された画像データから第２エッジ情報を取得する処理である。このステップＳ１０３の処理は、ステップＳ１０２の処理と同様に、領域抽出部６３にて実行される。領域抽出部６３は、ステップＳ１０２で用いたボカシ量よりも大きいボカシ量を用いてボカシ処理を行った後、得られた画像データと元画像データとの差分が生じる領域を抽出することで、第２エッジ情報を取得する。
【００４８】
ステップＳ１０４は、撮像情報と、取得された第１エッジ情報及び第２エッジ情報とを用いて、画像内の距離情報を取得する処理である。このステップＳ１０４の処理は、距離情報取得部６４にて実行される。上述したように、第１エッジ情報は、高周波数帯域の周波数成分を有する領域を示すものであり、第２エッジ情報は、高周波数帯域、及び該高周波数帯域未満の所定の周波数帯域の周波数成分を有する領域を示すものである。これらエッジ情報を用いて、元画像データにおける高周波数帯域の周波数成分を有する領域（図２中符号符号７１）、該高周波数帯域未満となる所定の周波数帯域の周波数成分を有する領域（図２中符号７３）、及びそれ以外の周波数帯域の周波数成分を有する領域（図２中符号７４）に分割する。
【００４９】
画像内の領域を周波数成分の帯域毎に分割した後、距離情報取得部６４は、画像の元になる画像データに付帯された撮像情報から絞り値Ｆを読み出して、デフォーカス量Δを算出する。また、距離情報取得部６４は、撮像情報から撮像レンズ２０の繰り出し量ａ、焦点距離ｆを読み出し、被写体距離Ｌを算出する。
【００５０】
デフォーカス量Δと被写体距離Ｌがそれぞれ算出されると、距離情報取得部６４は、距離テーブルデータ６７を読み出して、算出されたデフォーカス量Δと被写体距離Ｌとのそれぞれに対応付けられた被写体深度ｘを読み出す。読み出された被写体深度ｘと被写体距離Ｌとの和を求めることで、対象となる領域の距離が取得され、対象となる領域と求めた距離とを対応付けることによって距離情報が生成される。このようにして、領域毎の距離情報が生成されていき、画像データに付帯される。なお、領域７４についてはエッジ情報がないことから距離情報を生成することができないが、このような領域に対しては、例えばシーンやモード毎に設定された距離を用いて距離情報を生成すればよい。これにより、画像内における距離情報を、複数の画像を用いなくとも、容易に求めることができる。
【００５１】
なお、画像データに付帯される距離情報は、例えば、フィルタ処理部４１におけるフィルタ処理の際に用いられる。つまり、距離情報は、領域と該領域における距離とが対応付けられた情報からなることから、距離に応じたフィルタ処理を該当する領域毎に行う。なお、このフィルタ処理としては、ボカシ処理の他に、エッジ強調処理等が挙げられる。これにより、例えば主要被写体となる領域と、背景となる領域とのそれぞれに異なるフィルタ処理を行うことが可能となり、現実の被写界の奥行き方向を反映した自然なボケを持つ画像を取得することができる。また、主要被写体に対してはボカシ量を小さく、背景となる領域には、ボカシ量を大きくすることで、主要被写体を強調した画像を容易に生成することも可能である。
【００５２】
本実施形態では、画像全体に対して、異なる２つのボカシ量を用いたボカシ処理を行った後にエッジ情報を取得しているが、これに限定される必要はなく、画像を複数の領域（以下、評価領域）に分割し、評価領域毎にエッジ情報を取得するようにしてもよい。画像を複数の評価領域に分割することで、上述したボカシ処理や、エッジ情報を取得する処理の処理時間を短縮することができる。なお、距離情報を取得する際には、異なる周波数成分の帯域毎に領域を取得することから、評価領域は小さい程よいものとする。
【００５３】
本実施形態では、取得された距離情報に基づいて、フィルタ処理を行う実施形態としているが、これに限定される必要はなく、取得される距離情報を、例えば撮像光学系の駆動制御に用いることも可能である。まず、ＣＰＵ６０は、レリーズボタン５５が押されたときに得られる画像データから距離情報を取得する。その後、取得された距離情報と、撮像条件とから、ユーザの所望する被写体にピントが合うときの撮像レンズ２０の繰り出し量をガウスの公式を用いて算出する。この算出された撮像レンズ２０の繰り出し量と、現在の撮像レンズ２０の繰り出し量との差を撮像レンズ２０の補正量として求め、この補正量に基づいて撮像レンズ２０の位置調整を行って再度撮像を行う。これにより、ＡＦセンサを離散して配置しないデジタルカメラであっても、ユーザが所望する主要被写体に焦点が合う画像を容易に、且つ高精度に取得することができる。
【００５４】
本実施形態では、フィルタ処理をデジタルカメラに設けられたフィルタ処理部で実行しているが、これに限定されるものではなく、例えばデジタルカメラにより画像内の距離情報が付帯された画像データを画像処理装置等に取り込んだ後、該画像処理装置においてフィルタ処理を施すことも可能である。
【００５５】
本実施形態では、元画像と第２画像との差分に基づいて抽出される領域から、元画像と第１画像との差分に基づいて抽出される領域を除すことで、画像を周波数帯域毎に分割しているが、これに限定する必要はない。例えば、元画像と第１画像とから求められる領域と、元画像と第２画像とから求められる領域とを加算していくことも可能である。この場合、図６に示すように、例えば元画像と第１画像の差分が生じる領域７５に対して値「１」を付し、差分が生じない領域７６に対して値「０」を付す。同様にして、元画像と第２画像との差分が生じる領域７７に対して値「１」を付し、差分が生じない領域７８に対して値「０」を付す。これらを加算すると、元画像と第１画像の差分が生じる領域７５は、元画像と第２画像との差分が生じる領域７７の一部が重複することから、加算後の領域７５に付される値は「２」となる。なお、領域７７のうち、領域７５と重複しない領域７９は領域７６と重複するが、領域７６に付された値は「０」であるから、領域７９に付される値は「１」のままである。さらに、領域７８は、領域７６の一部と重複するが、領域７８と、領域７６とに付された値がそれぞれ「０」となることから、領域７８の値に付される値は「０」のままである。このようにして領域毎に付された値に対応する距離をそれぞれ求め、領域に付される値と、距離とをまとめることで画像内の距離情報を取得することができる。
【００５６】
本実施形態では、デジタルカメラについて説明しているが、これに限定されるものではなく、例えば画像処理装置に適用することも可能である。図７に示すように、画像処理装置９０を、領域抽出部９１、距離情報取得部９２、画像処理部９３から構成する。なお、領域抽出部９１及び距離情報取得部９２の機能は、上述した領域抽出部６３、及び距離情報取得部６４の機能と同一であることから、ここでは省略する。この画像処理装置９０に画像データ９５が入力されると、領域抽出部９１によりエッジ情報が取得された後、距離テーブルデータ９６を用いて、画像内の距離情報が取得される。なお、画像処理部９３では、取得された距離情報に基づいて、画像データに対するボカシ処理や、エッジ強調処理などを実行する。これにより、画像処理済みの画像データ９５’を得ることが可能となる。
【図面の簡単な説明】
【００５７】
【図１】本発明を用いたデジタルカメラの電気的構成を示す機能ブロック図である。
【図２】画像内の距離情報を取得する際の流れを示す模式図である。
【図３】（ａ）画像内の画素強度の測定位置、（ｂ）測定位置における、元画像、第１画像及び第２画像の画素強度、（ｃ）元画像の画素強度と第１画像の画素強度との差分、及び元画像の画素強度と第２画像の画素強度との差分を示す図である。
【図４】撮像時の位置関係を示す概要図である。
【図５】距離情報を取得する流れを示すフローチャートである。
【図６】第１エッジ情報と第２エッジ情報とから得られる領域を加算処理する場合の模式図である。
【図７】画像データから距離情報を取得する画像処理装置の構成の概略図である。
【符号の説明】
【００５８】
１０…デジタルカメラ、６０…ＣＰＵ、６３，９１…領域抽出部、６７，９６…距離テーブルデータ、６４，９２…距離情報取得部、４１…フィルタ処理部、９０…画像処理装置
【図１】
2009232348.tif 000005
【図２】
2009232348.tif 000006
【図３】
2009232348.tif 000007
【図４】
2009232348.tif 000008
【図５】
2009232348.tif 000009
【図６】
2009232348.tif 000010
【図７】
2009232348.tif 000011