(57)【特許請求の範囲】
【請求項１】
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、画像中の被写体の距離情報を算出する画像処理装置であって、
画像特徴量に基づいて略等距離と推定される任意形状の領域に前記画像を分割する領域分割手段と、
前記領域分割手段によって分割された各任意形状の領域を距離情報算出のための処理対象領域として処理対象領域ごとにひとつの距離情報を算出し、算出された距離情報を当該処理対象領域内の各画素の距離情報とする距離算出手段と、
を備える画像処理装置。
【請求項２】
前記複数枚の画像は、第１画像と第２画像とを含み、
前記距離算出手段は、前記第１画像の処理対象領域ごとのデータと前記第２画像の処理対象領域ごとのデータとに基づいて、前記ひとつの距離情報を算出する、
請求項１に記載の画像処理装置。
【請求項３】
前記領域分割手段は、
前記画像を所定形状の領域で分割し、
分割領域ごとに、当該分割領域とその周囲の画素について画像特徴量を算出し、画像特徴量の類似度に基づいて周囲の画素のうち当該分割領域に含まれる画素を決定し、
分割領域の変化量を表す判定値が所定の閾値以下となるまで、前記分割領域ごとの処理を繰り返す、
請求項１または２に記載の画像処理装置。
【請求項４】
前記画像特徴量は、画素間距離、色空間上の距離、空間周波数、エッジ、輝度値のうち少なくとも一つ以上である、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記領域分割手段は、複数の画像特徴量から評価値を算出し、該評価値に基づいて領域分割を行う、
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記領域分割手段は、前記複数枚の画像のうちいずれか一枚の画像に基づいて領域分割を行う、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記領域分割手段は、前記複数枚の画像のうち少なくとも二枚の画像を用いて焦点合成された画像に基づいて領域分割を行う、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項８】
前記領域分割手段は、前記複数枚の画像のうちの第１の画像に基づいた領域分割の結果と、第２の画像に基づいた領域分割の結果から、最終的な領域分割の結果を得る、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項９】
前記領域分割手段は、画素数、焦点距離、フォーカス位置、撮影シーン設定の少なくとも一つを用いて分割数を決定する、
請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記領域分割手段は、ユーザが指定した分割数に分割する、
請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１１】
前記被写体の距離情報は、前記被写体の距離または前記被写体の距離依存値である、
請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
撮像手段と、請求項１から１１のいずれか１項に記載の画像処理装置を備える撮像装置であって、
前記画像処理装置は、前記撮像手段を用いて異なる撮影パラメータで撮影されたぼけの異なる複数枚の画像に基づいて、画像中の被写体までの距離情報を算出する、
撮像装置。
【請求項１３】
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、画像中の被写体の距離情報を算出する距離計測方法であって、
画像特徴量に基づいて略等距離と推定される任意形状の領域に前記画像を分割する領域分割ステップと、
前記領域分割された各任意形状の領域を距離情報算出のための処理対象領域として処理対象領域ごとにひとつの距離情報を算出し、算出された距離情報を当該処理対象領域内の各画素の距離情報とする距離算出ステップと、
を含む距離計測方法。
【請求項１４】
異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、画像中の被写体の距離情報を算出させるプログラムであって、
コンピュータに、
画像特徴量に基づいて略等距離と推定される任意形状の領域に前記画像を分割する領域分割ステップと、
前記領域分割された各任意形状の領域を距離情報算出のための処理対象領域として処理対象領域ごとにひとつの距離情報を算出し、算出された距離情報を当該処理対象領域内の各画素の距離情報とする距離算出ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報を用いて画像中の被写体までの距離を計測する技術に関する。
【背景技術】
【０００２】
従来、撮像装置によって取得された画像から撮影シーンの距離を取得する手法としてDepth from Defocus（DFD）方式が提案されている。DFD方式では撮像光学系の撮影パラメータを制御することでぼけの異なる複数の画像を取得し、この複数の取得画像において互いのぼけの相関値を画素単位で算出する。距離算出にあたり１画素だけ利用した場合、ぼけの広がりが分かりにくかったりノイズにより不安定となったりするため、周辺画素を含めて相関値を算出する。最終的に撮像光学系により生じるぼけと被写体距離の関係を用いて、算出したぼけの相関値から被写体までの距離を算出する。DFD方式は１つの撮像系によ
って距離を算出することが可能で、さらには全画素に対して距離を算出可能であるため距離マップを算出可能といった利点を有する。
【０００３】
しかしながら、距離算出画素を多くすると処理時間が膨大となるといった問題があった。また、距離算出画素の周辺領域を用いて距離算出した場合、距離算出に用いる周辺領域中に複数の距離が混在していると精度が低下するといった問題があった。
【０００４】
このような問題を鑑み、特許文献１では入力画像を分割し領域の重要度に応じて測距点の密度を変化させることで冗長な測距点を減らしている。これにより、処理時間の増加を抑制している。この際、顔認識機能を利用して重要度を求めて領域分割を行っている。
【０００５】
また、特許文献１に記載されている顔認識機能等以外の領域分割方法の例として非特許文献１がある。非特許文献１では、分割領域ごとに中心点を設定し中心点からの画素距離および色空間上での距離をパラメータとして注目画素が周辺のどの領域の中心点に近いかを判定して領域分割を行っている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１１７５９３号公報
【非特許文献】
【０００７】
【非特許文献１】R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Susstrunk, "SLIC Superpixels", EPFL Technical Report no. 149300, June 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら特許文献１では、領域分割して重要度に応じて測距点数を変えることで処理量の増加を防いでいるが、全画素の距離マップを算出する場合は測距点数が画素数分必要であり処理量を抑制できない。また、領域の重要度に応じて測距点数を変えているが、この領域の形状は矩形であるため、矩形領域に距離の異なる物体が含まれる場合には測距精度が劣化するといった課題がある。
【０００９】
上記のような問題を考慮して、本発明は、画像中に距離が異なる被写体が存在している場合であっても精度よく距離計測が可能であり、かつ、処理量の少ない距離計測技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様は、異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、画像中の被写体の距離情報を算出する画像処理装置であって、
画像特徴量に基づいて略等距離と推定される任意形状の領域に前記画像を分割する領域分割手段と、
前記領域分割手段によって分割された各任意形状の領域を距離情報算出のための処理対象領域として処理対象領域ごとにひとつの距離情報を算出し、算出された距離情報を当該処理対象領域内の各画素の距離情報とする距離算出手段と、
を備える画像処理装置である。
【００１１】
本発明の第２の態様は、異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、画像中の被写体の距離情報を算出する距離計測方法であって、
画像特徴量に基づいて略等距離と推定される任意形状の領域に前記画像を分割する領域分割ステップと、
前記領域分割された各任意形状の領域を距離情報算出のための処理対象領域として処理対象領域ごとにひとつの距離情報を算出し、算出された距離情報を当該処理対象領域内の各画素の距離情報とする距離算出ステップと、
を含む距離計測方法である。
【００１２】
本発明の第３の態様は、異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、画像中の被写体の距離情報を算出させるプログラムであって、
コンピュータに、
画像特徴量に基づいて略等距離と推定される任意形状の領域に前記画像を分割する領域分割ステップと、
前記領域分割された各任意形状の領域を距離情報算出のための処理対象領域として処理対象領域ごとにひとつの距離情報を算出し、算出された距離情報を当該処理対象領域内の各画素の距離情報とする距離算出ステップと、
を実行させるプログラムである。
【発明の効果】
【００１３】
本発明によれば、画像中に距離が異なる被写体が存在している場合であっても精度よく距離計測が可能であり、また、少ない処理量で距離計測が可能である。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１の実施形態に係る距離計測処理の概要を示すフローチャートである。
【図３】第１の実施形態における領域分割処理のフローチャートである。
【図４】ＤＦＤ方式の原理を表す幾何光学の図である。
【図５】第１の実施形態における距離算出処理のフローチャートである。
【図６】第２の実施形態に係る撮像装置の構成を示すブロック図である。
【図７】第２の実施形態における領域分割処理フローチャートである。
【図８】第３の実施形態に係る撮像装置の構成を示すブロック図である。
【図９】第３の実施形態における領域分割処理のフローチャートである。
【発明を実施するための形態】
【００１５】
＜第１の実施形態＞
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
【００１６】
本発明の第１の実施形態は、距離計測装置（画像処理装置）１１０を含む撮像装置１００である。距離計測装置１１０は、撮像装置１００によって撮影された複数枚（例えば、
２枚）の画像を取得し、これらの画像から画像中の複数の位置において被写体までの距離を算出する装置である。
【００１７】
図１に、第１の実施形態にかかる撮像装置１００の構成を示す。撮像装置１００は、撮像光学系１０１、撮像素子１０２、信号処理部１０３、バッファ１０４、撮影制御部１０５、距離計測装置１１０から構成される。さらに、距離計測装置１１０は、領域分割部１１１、距離算出部１１２、メモリ１１３から構成されている。
【００１８】
信号処理部１０３、撮影制御部１０５、および距離計測装置１１０の各部は、専用の半導体集積回路によって実現されてもよい。また、ＤＳＰ（Digital Signal Processor）やＭＰＵ（Micro Processor Unit）とソフトウェアプログラムによって実現されてもよい。さらには、これらの組合せによって実現されてもよい。
【００１９】
以下、本発明にかかる撮像装置の構成について詳細に説明する。
撮像光学系１０１は、複数のレンズから構成され入射する光を撮像素子１０２上に結像させる通常の撮影用レンズである。撮像光学系１０１は単焦点レンズでも良いしズームレンズでも良く、本発明ではこれを規定しない。
【００２０】
撮像素子１０２は、単板式でも良いし三板式でも良く、単板式の場合カラーフィルタはベイヤー配列のＲＧＢカラーフィルタや補色フィルタでも良い。
【００２１】
信号処理部１０３は、撮像素子上に結像した像を取り込みＡＤ変換やノイズ除去、デモザイク、輝度信号変換、収差補正、像倍率補正、位置合わせ処理などの信号処理を行う。信号処理後の画像は、バッファ１０４に蓄積される。ここでこれらの信号処理は全てを行わなくとも良く、距離計測に用いる画像に必要な処理を選択して行っても良い。よってバッファ１０４に蓄積する画像は、デモザイク前の画像でも良いし、デモザイク後のＲＧＢ画像でも良い。更にはＹＵＶ画像でも良い。ただし、撮像光学系１０１によるぼけ方が変化しないような信号処理であるのが良く、特に距離情報算出に影響を及ぼすノイズや複数画像の位置ずれを補正した画像にするのが良い。また撮影した画像を通常の撮像装置で出力する画像の生成に用いることができるように別途通常の信号処理を行った画像を不図示のメモリ等に保存しても良い。
【００２２】
撮影制御部１０５は、距離計測装置１１０による距離計測に必要な複数枚の画像を撮影するための制御を行うものである。撮影制御部１０５は、１枚目の画像を撮影した後、撮影パラメータを変更して２枚目の撮影を行い１枚目の画像と同様に信号処理をしてバッファ１０４に２枚目の画像を蓄積する制御を行う。更に必要に応じて３枚目以降の複数枚の撮影も行う。変更する撮影パラメータは、撮像光学系１０１のフォーカス位置（焦点位置）、撮像光学系１０１の絞りの開口サイズ、又は、撮像光学系１０１の焦点距離等である。
【００２３】
バッファ１０４は、距離計測装置１１０による距離計測に必要な枚数の画像データを一時的に蓄積可能なメモリである。バッファ１０４に蓄積された画像は距離計測装置１１０によって距離算出に利用される。
【００２４】
距離計測装置１１０は、バッファ１０４に蓄積された少なくとも１枚の画像に基づいて、略等距離と推定される任意形状の領域に画像を分割し、分割されたそれぞれの領域に対してＤＦＤ法を用いた距離算出処理を適用する。距離計測装置１１０の各部の詳細について以下で説明する。
【００２５】
領域分割部１１１は、撮影された入力画像を略等距離と推定される領域に領域分割する
。なお、被写体までの距離は分からないので、ある仮定のもとに分割を行うことになる。その仮定とは、同じ被写体を他の被写体と区別し、更に同じ被写体を被写体内の画像特徴の違いにより任意形状の微小領域に分割すれば、その微小領域はほぼ等距離にある可能性が高いというものである。すなわち、領域分割部１１１は微小領域（例えば１画素）ごとに画像特徴量を算出し、類似する画像特徴量を有する微小領域の集まりを１つの領域とする。このように微小領域の集合として領域が決定されるので、略等距離領域の形状は矩形形状などのあらかじめ定められた形状とはならず、任意の形状の領域として領域分割を行うことができる。
【００２６】
なお略等距離領域の大きさが小さいほど、その領域の中に異なる距離の被写体が含まれる確率を下げることができる。したがって、高精度な距離分解能が必要な場合は、同一被写体内をより細かな領域に分割する必要がある。分割サイズを変えることで必要な距離算出精度を満たすように分割することが可能である。領域分割部１１１による画像分割処理の詳細については後ほど詳しく説明する。
【００２７】
距離算出部１１２は、撮影パラメータを変えて撮影された複数枚の画像に基づいて領域分割部１１１から出力される分割領域ごとに被写体距離を算出する。具体的には、領域分割部１１１によって設定された分割領域を処理対象領域として、ＤＦＤ法を用いてその処理対象領域に対する被写体距離を算出する。分割領域は、被写体までの距離がほぼ等距離と推定される領域として決定されているので、算出された距離は分割領域内の全ての画素についての被写体距離であるとみなすことができる。
【００２８】
メモリ１１３には、距離算出部１１２によって算出された画像中の被写体までの距離が格納される。
【００２９】
以下、本実施形態にかかる撮像装置１００が行う処理の流れについて説明する。図２は、撮像装置１００が行う処理の大まかな流れを示すフローチャートである。まず、撮影制御部１０５が撮影条件を変えて、ぼけの異なる複数枚の画像を撮影し、バッファ１０４に格納する（Ｓ１０）。
【００３０】
撮影パラメータを変えて撮像が行われバッファ１０４に画像が蓄積されると、その複数枚の画像が距離計測装置１１０に送られ距離算出が開始される。以下、本実施形態では２枚撮影の場合を例に説明を行う。撮影された２画像をＩ１、Ｉ２とする。
【００３１】
距離算出処理が開始されると、距離計測装置１１０の画像取得部（不図示）が画像Ｉ１、Ｉ２をバッファ１０４から取得する（Ｓ１１）。そして、領域分割部１１１は、いずれか１枚の画像に基づいて、画像を略等距離と推定される任意形状の領域に分割する（Ｓ１２）。この領域分割処理では、各画素の画像特徴量に基づいて、画像特徴量の類似度が所定以上の画素同士を１つの領域となるように分割が行われる。
【００３２】
領域分割部１１１が行う領域分割処理Ｓ１２の詳しい動作について図３のフローチャートを用いて説明する。
【００３３】
領域分割部１１１には、バッファ１０４に保存された撮影画像の中の一つの画像Ｉ１が入力される。撮影パラメータを変えて撮影した複数枚の画像のうちどの画像を用いるかは、変更した撮影パラメータに応じて次のようにして定めることが好適である。すなわち、撮影パラメータとして開口サイズを変えて複数枚撮影した場合は、最もパンフォーカスな画像（画像中のほぼ全画素についてピントがほぼ合っている画像）を入力することが好適である。一方、撮影パラメータとしてフォーカス位置を変えて複数撮影した場合は、ＡＦで合わせた所望のフォーカス位置の画像を入力することが好適である。
【００３４】
なお、撮影画像のいずれかではなく、撮影された複数枚の画像のうち少なくとも二枚の画像を合成して得られる一枚の画像に基づいて領域分割を行ってもよい。好適な合成処理として、焦点合成処理が挙げられる。焦点合成とは、複数枚の画像からフォーカスの合った領域を抽出してパンフォーカスの画像（ほぼ全ての領域でピントの合っている画像）を合成する処理である。焦点合成処理は深度合成処理とも称される。
【００３５】
初期領域分割ステップＳ１２１は、入力された画像をおおよその領域に分割する処理ステップである。簡単には、入力画像の画素数等に応じて予め決められた領域分割数の所定形状（例えば矩形形状）によって入力画像Ｉを等間隔に分割する。なお、入力画像の各画素に対応付けて、その画素がどの領域に属するかを表すラベル（番号）を記憶する。このラベル情報を含むデータを以下では、ラベル画像Ｌと称する。
【００３６】
初期領域に分割されたラベル画像Ｌの各ラベルに対応する入力画像Ｉ１の領域に対し、以降の処理Ｓ１２２〜Ｓ１２５を適用し略等距離領域が同じラベルになるようにラベル画像を更新していく。
【００３７】
領域選択ステップＳ１２２において領域分割部１１１は、初期領域分割ステップＳ１２１で分割されたラベル画像Ｌから個別のラベル領域を選択する。このときラベル領域だけでなくその周囲の領域（周辺領域）も選択する。周辺領域は隣接するラベル領域を含む領域とするのが良く、固定サイズの矩形であってもよいし、固定サイズの任意形状であってもよい。また固定サイズである必要はなく、たとえばラベル領域の大きさに応じてサイズを変えてもよい。領域分割部１１１は、この選択されたラベル領域に対応する領域を入力画像Ｉ１から抽出する。抽出された画像を、領域画像Ｒと称する。
【００３８】
特徴量算出ステップＳ１２３において領域分割部１１１は、領域画像Ｒにおいておよそ同じ距離の画素を選択するために必要な画像の特徴量を算出する。特徴量としては、画素間距離、色空間上の距離、空間周波数、エッジ、輝度値等のうち少なくとも一つを用いる。これらの特徴量が距離と関連することを以下に説明する。
【００３９】
画素間距離は、ある大きさを持つ被写体において、一般に微小領域を考えればおよそ同じ距離と近似できるため特徴量として利用可能である。ある画素に対する画素間距離は、その画素とラベル領域の中心または重心との間の距離として求めることができる。
【００４０】
色空間上の距離は、同じ被写体では似た色である可能性が高いため等距離検出の特徴量として利用可能である。ある画素に対する色空間上の距離は、その画素とラベル領域の中心または重心との間の色空間上の距離として求めることができる。
【００４１】
空間周波数は、同じ被写体は似た空間周波数を持つ可能性が高く、さらには同じ距離にあれば更に同じ空間周波数である可能性が高いため等距離検出の特徴量として利用可能である。
【００４２】
エッジは、異なる物体であれば異なる距離にある可能性が高く、距離変化は物体の境界で明確に異なる可能性が高いため、距離変化検出の特徴量として利用可能である。
【００４３】
輝度値は、同じ物体中の近い画素間距離では似たような輝度値を持つことが考えられる。また輝度値に急激な変化のあるところでは異なる距離である可能性が高く、エッジと同様と考えられる。
【００４４】
ただし、以上のように挙げた特徴量のいずれか１つのみに基づいて領域分割処理を行っ
てもよいが、その場合は必ずしも等距離領域を正しく判定できない可能性がある。例えば、画素間距離や色空間上の距離は近い場合が必ずしも同じ距離とは限らない。また、空間周波数や輝度値も近い値の場合が同じ距離とは限らないし、エッジがあるから距離が異なるとも限らない。したがって、これら複数の特徴量のいずれか２つ以上を組み合わせることが好ましい。これにより互いに不足情報を補い合い、より正確な等距離領域の判定が可能となる。
【００４５】
なお、算出した複数の特徴量を組み合わせて判定する場合は、本実施形態では複数の特徴量を統合して一つの評価値を算出する。統合方法は、それぞれの特徴量ごとに重みづけをして和をとるのが良い。各特徴量に対する加重量は、各特徴量がどのくらい距離に依存するかによって異なる量となる。理想的には各加重量は、画像中の被写体の距離がどの特徴量と関係が強いかによって変えるのが良いが、この関係を判断するのは困難であるとともに計算量を要する処理となる。したがって、処理の簡便化を考えると画像中の被写体によらず固定の加重量を使うのが好適である。
【００４６】
評価値判定ステップＳ１２４において領域分割部１１１は、特徴量算出ステップＳ１２３で算出した評価値を比較し、領域画像Ｒの中のどの画素が当該ラベルの領域に含まれるかを判定し、ラベル画像Ｌを更新する。具体的には、ラベル領域の周囲の画素のうち、その評価値がラベル領域の評価値と所定以上の類似度を有する画素を、当該ラベル領域に含まれるものとして判定する。なお、評価値は画像特徴量の加重和として求められているので、評価値を類似度とみなすことができ、同様の評価値を有する周囲の画素がラベル領域に含まれるものとして判定することができる。
【００４７】
ラベル領域の評価値とは、ラベル領域における１点（例えば、中心や重心またはその他のあらかじめ定められた点）の評価値を採用してもよいし、ラベル領域の一部または全体の評価値の平均を採用してもよい。
【００４８】
ステップＳ１２５において領域分割部１１１は、全てのラベル領域に対して上記の処理を行ったかを判定する。全てのラベル領域に対して処理が終了していない場合は、再び領域選択ステップＳ１２２に戻り、次のラベル領域に対して処理を行う。全ラベル領域に対して処理が終了した場合は、次の繰り返し判定ステップＳ１２６に処理を移行する。
【００４９】
繰り返し判定ステップＳ１２６は、上記ステップＳ１２２〜Ｓ１２５の処理を繰り返し実行するか否かを判定する。繰り返し判定の方法として、予め指定された回数だけ処理を繰り返し実行したか否かを判定する方法を挙げることができる。また別の方法として、更新されたラベル画像Ｌの変化量等を判定値として導入し、判定値が閾値以下となったか否かを判定する方法を挙げることができる。例えば、判定値として各分割領域の重心位置を求め、全重心位置の変化が閾値（例えば１画素）以下になるまで繰り返してもよい。あるいは、全重心位置の変化の和を判定値として、この和が閾値以下になるまで繰り返してもよい。
【００５０】
なお、上記の説明では１画素単位で領域分割を行っているが、複数画素単位（例えば２×２画素など）で領域分割を行ってもよい。また、画像分割処理自体には、領域成長法、分割統合法、クラスタリング法など既存の任意の具体的な手法を採用することができる。更に、領域分割は縮小した画像に対して行い、得られたラベル画像を拡大して利用しても良い。この場合、空間解像度は劣化するが高速な領域分割が可能となる。
【００５１】
ラベル画像Ｌの変化量が収束した結果の最終的なラベル画像Ｌに対応する入力画像Ｉ１は、複数の距離が混在するような領域分割になることは稀である。すなわち、最終的なラベル画像Ｌにおける各分割領域は、略等距離な領域から構成される。
【００５２】
図２のフローチャートの説明に戻る。領域分割処理Ｓ１２が終了すると、領域分割部１１１は、生成された最終的なラベル画像Ｌを距離算出部１１２に出力する。
【００５３】
距離算出部１１２は、撮影パラメータを変えて撮影された画像Ｉ１、Ｉ２および領域分割部１１１から出力されるラベル画像Ｌ、撮影パラメータを用いて距離を算出する（Ｓ１３）。本発明ではＤＦＤ法を用いた距離算出を行う。ＤＦＤ法の具体的な方法として、本実施形態では周波数空間上でのＤＦＤ法を用いる場合を例に説明する。
【００５４】
ここで公知のＤＦＤ法による距離算出の原理を、図４を用いて説明する。
【００５５】
距離計測対象物体Ｏまでの距離Ｄｏは、物体Ｏが像面側で結像する位置Ｄｉが分かれば、レンズの公式から数式１によって距離を求めることができる。ここで焦点距離をＦＬとした。
【数１】
0005932476.tif 000002
【００５６】
しかし数式１によって距離を求めることができるのは撮像面上に結像した物体に限定される。ＤＦＤ法では撮像面に結像しない物体の距離も計測することを目的とし、撮像面上に投影された物体のぼけの大きさ（錯乱円）から物体の結像位置を求め、これを数式１に代入することで距離を算出する。ここで錯乱円が撮像面と結像位置に比例することを利用して結像位置を求める。
【００５７】
いま、距離Ｄ１にある物体が撮像面位置ｄ１に投影された場合を考える。このとき像ｉ１はぼけて拡がる。この時の点像分布関数（Point Spread Function）をＰＳＦ１とし、
シーンをｓとすると像ｉ１は、点像分布関数ＰＳＦ１とシーンｓの畳み込みで表される。
【数２】
0005932476.tif 000003
ここでＰＳＦを、錯乱円をパラメータとしてモデル化し、像ｉ１からＰＳＦを推定できれば錯乱円が算出可能となる。更にはこの錯乱円から結像位置を求めることができ、数式１から距離を算出することができる。
【００５８】
しかしながら数式２ではシーンｓが分からないのでこのままでは錯乱円を正しく求めることはできない。そこで、異なる撮像面位置ｄ２で撮影を行う。この時の像をｉ２とする。
【００５９】
ここでシーンｓのフーリエ変換をＳとし、一枚目の撮影画像のＰＳＦ１をフーリエ変換した光学伝達関数（Optical Transfer Function）をＯＴＦ１、二枚目の撮影画像のＯＴ
ＦをＯＴＦ２とする。そうすると、撮影された画像はそれぞれＯＴＦ１×Ｓ、ＯＴＦ２×Ｓと表される。この二画像の比をとると
【数３】
0005932476.tif 000004
となり、シーンに依存しないＯＴＦの比ＯＴＦｒが算出される。数式１と図４の幾何学的関係から物体Ｏの錯乱円を算出することができ、距離を算出することができる。
【００６０】
以下、距離算出部１０７が行う距離算出処理の詳しい動作について図５のフローチャートを用いて説明する。
【００６１】
領域分割が終わるとラベル画像Ｌとバッファ１０４に蓄積された２枚の撮影画像Ｉ１、Ｉ２および撮影パラメータが距離算出部１１２に送られ距離算出処理が開始される。なお、撮影パラメータは撮影制御部１０５から渡される。
【００６２】
距離算出部１１２は、以下のステップＳ１３１〜Ｓ１３４の処理を、ラベル画像のラベル番号順に行う。
【００６３】
領域選択ステップＳ１３１では、ラベルが与えられるとそのラベルに対応する領域を撮影画像Ｉ１、Ｉ２から抽出する。抽出された等距離領域画像をＲ１、Ｒ２とする。
【００６４】
距離依存値算出ステップＳ１３２では、等距離領域画像Ｒ１，Ｒ２をフーリエ変換などで周波数空間の画像に変換し空間周波数画像Ｆ１、Ｆ２を得る。この空間周波数画像Ｆ１、Ｆ２からＤＦＤ法によって距離依存値を算出する。ここでフーリエ変換する際、等距離領域画像は任意形状をしているため等距離領域画像が収まる正方画像を準備しその中に等距離領域画像を代入する。正方画像はフーリエ変換の高速化のため２の累乗の大きさにするのが良い。なお正方画像に代入する際、選択された任意形状以外の領域は０で埋める。
【００６５】
距離補正ステップＳ１３３では、距離依存値算出ステップＳ１３２によって算出された距離依存値および撮影パラメータから距離依存値を補正し被写体までの距離を算出する。
【００６６】
距離補正ステップＳ１３３では予め用意された補正テーブルを用いて距離の補正を行う。補正テーブルには撮影パラメータが与えられた場合のＯＴＦｒ値およびそのＯＴＦｒ値に対応する距離が格納されている。撮影パラメータおよび距離依存値ＯＴＦｒが入力されると、距離補正ステップＳ１３３は補正テーブルから対応する距離を選択して出力する。ここで撮影パラメータは撮影時の焦点距離およびフォーカス位置の情報である。
【００６７】
補正テーブルは、ＤＦＤ方式によって出力される距離依存値が異なるため、方式に合わせて用意する必要がある。また補正テーブルは関数で保持しても良いし、予め計算されたルックアップテーブルとして保持しても良い。
【００６８】
以上の処理により、一つの等距離領域の距離が求められ、距離画像中の当該ラベルに対応した領域に算出した距離を代入する。
【００６９】
ステップＳ１３４では、ラベル番号がラベル画像の最大ラベル数に達したかを判定する。達していない場合は再び領域選択ステップＳ１３１に戻り同様の処理を繰り返し、全ての略等距離分割領域に対して処理が終わると、最終的に算出された距離画像はメモリ１１３に格納される。
【００７０】
本実施形態では、周波数空間に変換した画像に対するＤＦＤ処理による測距を例に説明してきたが、一般にＤＦＤ法は、撮影パラメータを変えた複数枚の画像からそのぼけの変化を抽出して距離を求める手法であり、複数の方法が存在する。本発明は、ＤＦＤの方式を限定するものではなく、ＤＦＤ法の精度および処理速度を向上させるもので、様々なＤＦＤ法に対して適用することが可能である。
【００７１】
以上より、本実施形態にかかる撮像装置では、ＤＦＤ方式による距離情報取得において撮影画像の特徴を抽出して略等距離と推定される領域に分割し、等距離領域ごとにＤＦＤ処理を行い当該領域に対し一つの距離を算出する。これにより、少ない測距点数で全画素
に対する距離算出を行うこと可能となる。
【００７２】
また、等距離領域の形状を矩形などのあらかじめ定められた距離に限定せず、領域選択処理により、画像特徴量に基づいて等距離と推定される画素からなる任意の形状の領域として選択している。矩形などのあらかじめ定められた領域を採用する場合には、被写体の境界が分割領域の形状と一致してないところでは一つの領域に複数の距離の被写体が混在することが避けられない。これに対して本実施形態では任意形状で分割を行っているので、より確実に等距離の画素からなる領域を選択することができる。これにより、被写体の境界における距離算出精度および距離画像の画素方向の空間的な分解能を向上することが可能となる。
【００７３】
＜第２の実施形態＞
本実施形態にかかる撮像装置の構成は図６に示すように第１の実施形態と同様であるが、領域分割の方法および距離算出方法が異なる。具体的には領域分割部２１１および距離算出部２１２の動作が異なる。
【００７４】
以下に、第１の実施形態と動作の異なる領域分割部２１１および距離算出部２１２の動作に関して詳細に述べる。
【００７５】
領域分割部２１１は、第１の実施形態とは異なり、撮影した複数の画像を用いて領域分割を行う。本実施例では２画像撮影の場合を例に説明する。領域分割部２１１が行う領域分割処理のフローチャートを図７に示す。
【００７６】
初期領域分割ステップＳ２２１、領域選択ステップＳ２２２、特徴量抽出ステップＳ２２３および評価値判定ステップＳ２２４は、第１の実施形態と同様の処理を行うが、２つの入力画像Ｉ１、Ｉ２のそれぞれに対してこれらの処理を行うという点で異なる。したがって、評価値判定ステップＳ２２４においては、入力画像Ｉ１（第１の画像）から略等距離と推定される領域に分割されたラベル領域と、入力画像Ｉ２（第２の画像）から略等距離と推定される領域に分割されたラベル領域が得られる。
【００７７】
評価値判定ステップＳ２２４で得られる２つのラベル領域は、互いに異なる領域になっている可能性がある。これは、撮影パラメータを変えたことにより、同じ領域でも一方はよりフォーカスがあった領域、もう一方よりぼけた領域となっておりぼけが異なっているためである。フォーカスの合った画像の選択領域画像はエッジがシャープでありエッジで領域分割されている可能性が高く、もう一方の選択領域画像はぼけて境界があいまいでより大きな領域になっている可能性がある。
【００７８】
距離算出にＤＦＤ法を用いるため、エッジで閉じた領域ではエッジ付近のぼけ方が分からなくなる。そのため領域比較ステップＳ２２５は、ラベル領域の大きさの違いを比較し、大きさが異なる場合は２つの領域を考慮して新たなラベル領域を生成しラベル画像を更新する。このとき２つのラベル領域が大きく異なる場合は中間の大きさに設定するのが妥当である。また一画素程度の微小な違いの場合は広い領域の方を選択するのが良い。
【００７９】
以降のステップＳ２２６−Ｓ２２７は、第１の実施形態と同様の処理である。領域分割部２１１は、最終的に２画像Ｉ１、Ｉ２から求められた略等距離領域の分割を表すラベル画像Ｌを出力する。
【００８０】
距離算出部２１２は、領域分割部２１１で算出されたラベル画像Ｌおよび撮影した２画像Ｉ１、Ｉ２から距離依存値を算出する。距離算出部２１２が行う距離算出処理のフローチャートは、図５に示した第１の実施形態の距離算出部１１２の処理と同様である。
【００８１】
本実施形態では、撮影した複数枚画像を用いて略等距領域に分割することにより、特に被写体の境界領域においてＤＦＤ法による距離算出に必要なぼけ情報を残しつつ分割することが可能となる。これにより被写体の境界領域でより安定した距離算出が可能となる。
【００８２】
＜第３の実施形態＞
本実施形態の構成は図８に示すように第１および第２の実施形態とほぼ同様であるが、ユーザーインターフェース（ＵＩ）から撮影制御し、撮影パラメータを用いて領域分割を行う点が異なる。具体的にはＵＩ３０６が追加されている点と領域分割部３１１の動作が異なる。
【００８３】
以下に、第１および第２の実施形態と動作の異なる領域分割部３１１の動作に関して詳細に述べる。第１および第２の実施形態では、撮像素子の画総数等をもとに予め決められた分割数になるように分割を行ったが、本実施形態では撮影パラメータから適応的に分割数を決める。領域分割部３１１が行う領域分割処理のフローチャートを図９に示す。初期領域分割ステップの前に分割数決定ステップが追加された構成となっている。なお、図９に示したフローチャートは第１の実施形態を基にしているが、第２の実施形態のフローに変更を加えてものとしてもよい。
【００８４】
分割数決定ステップＳ３２１において領域分割部３１１は、ユーザがＵＩ３０６で指定した撮影条件の情報を撮影パラメータとして撮影制御部１０５から受け取る。ここでユーザが指定した撮影条件の情報とは、焦点距離、フォーカス位置や撮影シーン設定情報である。領域分割部３１１は、これらの情報をもとに分割数を算出する。
【００８５】
例えば、ポートレートシーン設定で焦点距離が長くフォーカス位置がカメラに近い場合は、顔のアップ撮影と推定され、顔以外は遠くにあると予想される。この場合、顔の中で目や鼻の凹凸といった距離の違いを算出したい。よって細かく分割することで小さな距離変化に対応した領域分割を行う。
【００８６】
一方、風景撮影設定で焦点距離が短くフォーカス位置が遠い場合は、遠くにある山なみなどの風景を撮影していると推定される。このような場合は、細かい距離変化よりも木や山が大まかにどの距離にあるかが必要となるため、分割数を少なく設定し大きい領域に分割する。
【００８７】
以上の例のように撮影条件の情報から分割数を推定可能であるが、必ずしも撮影条件から予想されるシーンと実際の撮影シーンが一致しない場合がある。そのような場合に備え、ユーザがＵＩから入力を行うことで分割数を設定・修正できるようにするのが好適である。すなわち、ユーザが指定した分割数で領域分割を行うようにすることが好ましい。
【００８８】
ユーザによる分割数の指定は、ユーザから直接数字の入力を受け取るようにしてもよい。この場合、領域分割部は入力されて分割数で領域分割を行う。
【００８９】
ただし数値による入力では、分割数と分割速度および分割結果との対応がユーザにとって分かりにくいとも考えられる。そこで、距離算出の精度を優先する設定や、速度を優先する設定を用意しユーザに選択させるようにしてもよい。この場合、各設定に対応して分割数をあらかじめ決定しておく。領域分割部は、ユーザが指定した設定に対応する分割数で領域分割を行う。なお、用意する設定の数は２つに限られずいくつであっても構わない。
【００９０】
分割数決定ステップＳ３２１以降のステップは、第１および第２の実施形態と同様であ
る。
【００９１】
本実施形態では、撮影条件から領域分割数を適応的に決定することで、距離算出精度および処理速度の最適なバランスで距離計測が可能となる。また、ユーザ指定によっても距離算出精度や処理速度を簡単に変更することが可能となる。
【００９２】
＜第４の実施形態＞
上記第１〜第３の実施形態では、周波数空間上でのＤＦＤ法を用いた例を説明したが、本発明では実空間上でのＤＦＤ法を用いることもできる。本実施形態では、距離計測装置が実空間上でのＤＦＤ法を用いる場合を説明する。
【００９３】
領域選択部によって選択されたあるラベル領域に対応する入力画像の選択領域をＲ１、Ｒ２とすると、その正規化相互相関ＮＣＣは
【数４】
0005932476.tif 000005
により算出することができる。この結果を距離依存値として出力する。距離依存値から被写体までの距離を求める処理については、第１の実施形態で説明した処理を同様である。
【００９４】
第１〜第３の実施形態ではフーリエ変換するために正方画像を生成して任意形状を代入したが、本実施形態では正方画像にする必要はない。本実施形態ではこのように任意形状のままＤＦＤ法による距離算出が可能であり、処理時間およびメモリ量の削減を図ることができる。本実施形態による距離依存値の算出方法は、上記第１〜第３の実施形態のいずれとも組み合わせることができる。
【００９５】
＜変形例＞
上記の説明では、距離計測装置（画像処理装置）が撮像装置に組み込まれている場合を例に説明したが、この構成は必須ではない。異なる撮影パラメータで撮影されたぼけの異なる複数枚の画像を取得することができれば、距離計測装置は、どのように構成されてもよい。たとえば、撮像装置を有するコンピュータに組み込まれて、撮像装置が撮影した画像を取得して、それに基づいて距離算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに組み込まれて、ネットワークを介して複数枚の画像を取得し、それに基づいて距離算出を行うようにしてもよい。
【符号の説明】
【００９６】
１１０，２１０，３１０  距離計測装置（画像処理装置）
１１１，２１１，３１１  領域分割部
１１２，２１２，３１２  距離算出部
【図１】
0005932476.tif 000006
【図２】
0005932476.tif 000007
【図３】
0005932476.tif 000008
【図４】
0005932476.tif 000009
【図５】
0005932476.tif 000010
【図６】
0005932476.tif 000011
【図７】
0005932476.tif 000012
【図８】
0005932476.tif 000013
【図９】
0005932476.tif 000014