(57)【特許請求の範囲】
【請求項１】
被写体の画像の撮像において、第一の露光時間中に、第一の合焦範囲を有する前記被写体の第一の画像を撮像画像として撮像し、第二の露光時間中に、前記第一の合焦範囲とは異なる第二の合焦範囲を有する前記被写体の第二の画像を撮像画像として撮像する撮像部と、
前記撮像部の撮像素子もしくはフォーカスレンズの移動を制御し、前記第一の画像の前記第一の合焦範囲と前記第二の画像の前記第二の合焦範囲とを変化させる合焦範囲制御部と、
前記撮像部によって撮像された前記第一の画像と前記第二の画像のそれぞれの撮像画像について、
（ａ）前記撮像部のレンズによるぼけがない状態を推定した参照画像に、光学系のぼけの状態を表す点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を畳み込むことによって得られる画像と、当該撮像画像との差が最小となる前記点広がり関数に対応する距離を求め、または、
（ｂ）周波数領域上で、前記参照画像と前記点広がり関数との乗算によって得られる画像と、当該撮像画像との差が最小となる前記点広がり関数に対応する距離を求め、
前記第一の画像と前記第二の画像のそれぞれから求められた距離を統合することによって、前記撮像部から前記被写体までの距離を計測する距離計測部とを備え、
前記合焦範囲制御部が、前記第一の露光時間中に、前記撮像部の撮像素子もしくはフォーカスレンズを移動して、前記撮像部が撮像する前記被写体の画像の合焦位置を、第一の合焦位置から第二の合焦位置まで変化させることで、前記撮像部は、前記第一の露光時間中に、前記第一の合焦範囲を有する前記第一の画像を撮像し、
前記合焦範囲制御部が、前記第二の露光時間中に、前記撮像部の撮像素子もしくはフォーカスレンズを移動して、前記撮像部が撮像する前記被写体の画像の合焦位置を、第三の合焦位置から第四の合焦位置まで変化させることで、前記撮像部は、前記第二の露光時間中に、前記第二の合焦範囲を有する前記第二の画像を撮像する
画像処理装置。
【請求項２】
周波数領域上で、前記乗算を行う場合、参照画像Ｆ＾は、以下の（式１）によって表現され、
【数１】
0005869883.tif 000011
前記（式１）において、ｄは、前記点広がり関数に対応する距離であり、Ｆ１およびＦ２は、それぞれ前記第一の画像および第二の画像の周波数成分であり、Ｈ１およびＨ２は、それぞれ前記第一の画像および第二の画像の合焦範囲に対応するＰＳＦの周波数成分であり、Ｈ１＊およびＨ２＊は、それぞれ前記Ｈ１およびＨ２の共役複素数であり、εは、零除算を防ぐための値である
請求項１に記載の画像処理装置。
【請求項３】
前記合焦範囲制御部は、前記合焦位置を等速で変化させる
請求項１に記載の画像処理装置。
【請求項４】
前記撮像部は、更に、第三の露光時間中に、前記第一の合焦範囲及び前記第二の合焦範囲とは異なる第三の合焦範囲を有する第三の画像を撮像画像として撮像し、
前記距離計測部は、前記第一の画像と前記第二の画像と前記第三の画像のそれぞれから求められた距離を統合することによって、前記撮像部から被写体までの距離を計測する
請求項１に記載の画像処理装置。
【請求項５】
前記合焦範囲制御部は、前記撮像部の露光中に合焦位置を段階的に変化させることにより不連続な合焦範囲を得るよう制御を行う
請求項１に記載の画像処理装置。
【請求項６】
前記撮像部は、
前記被写体からの光路長がそれぞれ異なるように配置された２個の撮像素子と、
光線を２個に分割し、分割後の光線を前記２個の撮像素子のそれぞれに導くビームスプリッタとを備え、
前記合焦範囲制御部は、前記撮像部の露光中に合焦位置を等速で変化させる
請求項１に記載の画像処理装置。
【請求項７】
前記撮像部は、
２個の撮像素子と、
光線の光軸方向を変化させる光軸変化手段と、
前記光軸変化手段を駆動することにより、前記光軸方向を前記撮像素子のいずれか１つの方へ向ける駆動部とを備え、
前記合焦範囲制御部は、前記撮像部の露光中に合焦位置を等速で変化させ、
前記駆動部は、前記撮像部の露光中に前記光軸変化手段に前記光軸方向を変化させる
請求項１に記載の画像処理装置。
【請求項８】
前記撮像部によって撮像される、前記第一の画像および第二の画像のそれぞれが有する合焦範囲は重ならない
請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
さらに、
前記撮像部によって撮像される、前記第一の画像および第二の画像の平均画像から、前記レンズによるぼけがない状態を推定した参照画像を生成する参照画像生成部を備える
請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は特に単一の視点から撮像された複数枚の画像に基づいて、シーンの奥行きを計測する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
ある３次元シーンの奥行き、すなわち各被写体までの距離を非接触で計測するための様々な方法が提案されている。それらを大別すると、能動的手法と受動的手法とがある。能動的手法は、赤外線、超音波またはレーザーなどを被写体に照射し、反射波が戻ってくるまでの時間または反射波の角度などをもとに被写体までの距離を算出する手法である。受動的手法は、被写体の像に基づいて距離を算出する手法である。特にカメラを用いて被写体までの距離を計測する場合においては、赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。【０００３】
受動的手法にも多くの手法が提案されており、その一つとしてフォーカスの変化によって生じるぼけに基づいて距離を計測するＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ（以下ＤＦＤと表記）と呼ばれる手法が提案されている。ＤＦＤには、複数のカメラを必要としない、少数の画像から距離計測が可能である、などの特徴がある。【０００４】
ＤＦＤは画像のぼけを利用して距離を計測する手法であるが、撮像された画像に存在するぼけがレンズのフォーカスの変化によって生じたものなのか、あるいはレンズによるぼけがない状態を表す原画像が元々ぼけたテクスチャを有しているのかを、撮像された画像自身から判別することは非常に困難である、という課題が存在する。【０００５】
これに対し、特許文献１に記載の手法では、複数の撮像画像間の空間周波数スペクトルの比と、シーンの奥行きに対応するぼけの空間周波数スペクトルの比とを比較することで、原画像のスペクトル成分に依存しない距離計測を行っている。【０００６】
一方、特許文献２に記載の手法では、フォーカスを変えながら多数の画像を撮像し、それらの合焦部分のみを取り出すことで原画像に相当する参照画像を得ている。この参照画像に対して種々のぼけを畳み込んだ尺度空間（Ｓｃａｌｅ  Ｓｐａｃｅ）を構成して、尺度空間上で参照画像と撮像画像とを比較することで距離計測を行っている。つまり、参照画像のぼけの度合いと撮像画像のぼけの度合いとを比較することで距離計測を行っている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第２９６３９９０号公報
【特許文献２】米国特許出願公開第２００７／００１９８８３号明細書
【非特許文献】
【０００８】
【非特許文献１】Ｈ．Ｎａｇａｈａｒａ，Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，Ｃ．Ｚｈｏｕ，Ｓ．Ｋ．Ｎａｙｅｒ，“Ｆｌｅｘｉｂｌｅ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ”，Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＥＣＣＶ），Ｏｃｔ，２００８
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１に記載の手法では、計測を容易にするために光学系の開口部に特殊な構造のマスクを挿入し、ぼけの空間周波数スペクトルに周期的に零点が出現するなどの構造化を行っている。しかし、これによって入射光量が減少するという問題があり、これを補うためには撮像素子の感度を高くするか露光時間を長くするかのいずれかが必要になる。しかし前者は撮像画像のノイズの増大を、後者は被写体ぶれを招き、これらによって被写体のスペクトル成分が乱れ、距離計測の精度が低下する。【００１０】
一方、特許文献２に記載の手法では、絞りを大きく絞らない限り画像の被写界深度の幅が距離計測を行う範囲より格段に狭いため、参照画像を得るためには多数の画像を撮像する必要がある。これは少数の画像で距離計測が可能であるというＤＦＤのメリットを相殺している。加えて絞りを大きく絞ることで少ない枚数の画像から参照画像を得ることができるが、入射光量が低下するため特許文献１に記載の手法と同じ問題を抱えることになってしまう。【００１１】
本発明は上述の問題に鑑みてなされたものであって、少ない枚数の撮像画像から安定に距離計測が可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明のある局面に係る画像処理装置は、被写体の画像の撮像において、第一の露光時間中に、第一の合焦範囲を有する前記被写体の第一の画像を撮像画像として撮像し、第二の露光時間中に、前記第一の合焦範囲とは異なる第二の合焦範囲を有する前記被写体の第二の画像を撮像画像として撮像する撮像部と、前記撮像部の撮像素子もしくはフォーカスレンズの移動を制御し、前記第一の画像の前記第一の合焦範囲と前記第二の画像の前記第二の合焦範囲とを変化させる合焦範囲制御部と、前記撮像部によって撮像された前記第一の画像と前記第二の画像のそれぞれの撮像画像について、（ａ）前記撮像部のレンズによるぼけがない状態を推定した参照画像に、光学系のぼけの状態を表す点広がり関数を畳み込むことによって得られる画像と、当該撮像画像との差が最小となる前記点広がり関数に対応する距離を求め、または、（ｂ）周波数領域上で、前記参照画像と前記点広がり関数との乗算によって得られる画像と、当該撮像画像との差が最小となる前記点広がり関数に対応する距離を求め、前記第一の画像と前記第二の画像のそれぞれから求められた距離を統合することによって、前記撮像部から前記被写体までの距離を計測する距離計測部とを備え、前記合焦範囲制御部が、前記第一の露光時間中に、前記撮像部の撮像素子もしくはフォーカスレンズを移動して、前記撮像部が撮像する前記被写体の画像の合焦位置を、第一の合焦位置から第二の合焦位置まで変化させることで、前記撮像部は、前記第一の露光時間中に、前記第一の合焦範囲を有する前記第一の画像を撮像し、前記合焦範囲制御部が、前記第二の露光時間中に、前記撮像部の撮像素子もしくはフォーカスレンズを移動して、前記撮像部が撮像する前記被写体の画像の合焦位置を、第三の合焦位置から第四の合焦位置まで変化させることで、前記撮像部は、前記第二の露光時間中に、前記第二の合焦範囲を有する前記第二の画像を撮像する。
【００１３】
このような構成によると、光路上へのマスクの挿入や絞りを絞ることを必要とせず、光量の低下を招かないことから、少ない枚数の撮像画像から安定に距離計測を行うことが可能となる。【００１４】
また、前記合焦範囲制御部は、前記撮像部の露光中にフォーカス位置を略等速で変化させることにより被写界深度を拡張することを特徴としてもよい。【００１５】
このような構成によると、フォーカスを動かした分だけ被写界深度が拡張され、少ない枚数で広い範囲の距離計測を行うことができる。【００１６】
また、前記撮像部は、前記被写体から前記撮像部までの光路上に位置する、光線の波面を変調する波面変調素子、または、前記撮像部で撮像される前記画像の合焦範囲が略連続となるような複数の焦点を持つ多焦点レンズを含んでいても良い。【００１７】
このような構成によると、フォーカスを動かさずに同様の効果を得ることができる。【００１８】
また、前記合焦範囲制御部は、前記撮像部の露光中にフォーカス位置を段階的に変化させることにより不連続な合焦範囲を得るよう制御を行うことを特徴としてもよい。【００１９】
このような構成によると、不連続な合焦範囲を有する画像はぼけの変化のパターンが特殊となり、ＤＦＤアルゴリズムでより距離計測をしやすいぼけの形状を持たせることが可能となる。【００２０】
また、前記撮像部は、前記被写体から前記撮像部までの光路上に位置し、かつ前記撮像部で撮像される前記画像の合焦範囲が不連続となるような複数の焦点を持つ多焦点レンズを含むことを特徴としてもよい。【００２１】
このような構成によると、フォーカスを動かさずにＤＦＤアルゴリズムでより距離計測をしやすいぼけの形状を持たせることが可能となる。【００２２】
また、前記撮像部は、前記被写体からの光路長がそれぞれ異なるように配置されたｎ個の撮像素子と、光線をｎ個に分割し、分割後の光線を前記ｎ個の撮像素子のそれぞれに導くビームスプリッタとを備え、前記合焦範囲制御部は、前記撮像部の露光中にフォーカス位置を略等速で変化させることにより被写界深度を拡張することを特徴としてもよい。【００２３】
このような構成によると、合焦範囲が互いに異なるｎ枚の画像を同時に撮像することができ、処理全体にかかる時間を短縮することができる。また、各画像は被写界深度が連続的に拡張されているため、少ない枚数で広い範囲の距離計測を行うことができる。【００２４】
また、前記撮像部は、ｎ個の撮像素子と、光線の光軸方向を変化させる光軸変化手段と、前記光軸変化手段を駆動することにより、前記光軸方向を前記撮像素子のいずれか１つの方へ向けるための駆動部とを備え、前記合焦範囲制御部は、前記撮像部の露光中にフォーカス位置を略等速で変化させ、前記駆動部は、所定の時間変化パターンに従って、前記光軸変化手段に前記光軸方向を変化させることを特徴としてもよい。【００２５】
このような構成によると、合焦範囲が互いに異なるｎ枚の画像を同時に撮像することができ、処理全体にかかる時間を短縮することができる。また、各画像は不連続な合焦範囲を有するため、ＤＦＤアルゴリズムでより距離計測をしやすいぼけの形状を持たせることが可能となる。【００２６】
また、上述の画像処理装置は、さらに、前記撮像部によって撮像される、前記ｎ枚の画像の平均画像から参照画像を生成する参照画像生成部を備えていても良い。【００２７】
なお、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部が実行する処理をステップとする画像処理方法として実現することができる。また、画像処理方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読取可能な不揮発性の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００２８】
本発明によれば、合焦範囲制御部によって絞りを絞ることなく通常より合焦範囲の広い画像を得ることができるため、少ない枚数の画像から参照画像を得ることが可能となる。加えて、各画像が持つ合焦範囲が互いに略独立であることから、各画像を平均した画像は被写体までの距離に対してほぼ均一なぼけを有する。したがって、簡単な方法で精度の高い参照画像を得ることが可能となる。
【図面の簡単な説明】
【００２９】
【図１】図１は、本発明の実施の形態に係る画像処理装置の構成を示す図である。
【図２】図２は、フォーカスを変化させた際の集光の様子を模式的に示す図である。
【図３】図３は、３次位相板の形状を示す図である。
【図４】図４は、３次位相板による集光の様子を示す図である。
【図５】図５は、図１の画像処理装置の動作の流れを示すフローチャートである。
【図６】図６は、フォーカス位置を等速で変化させる様子を示すグラフである。
【図７】図７は、異なる特性の光学素子を切り替える機構を模式的に示す図である。
【図８】図８は、フォーカス位置を段階的に変化させる様子を示すグラフである。
【図９Ａ】図９Ａは、シーンのテクスチャを示す図である。
【図９Ｂ】図９Ｂは、シーンの被写体距離を示す図である。
【図１０Ａ】図１０Ａは、連続な合焦範囲を持つ２枚の画像から距離計測を行った結果を示す図である。
【図１０Ｂ】図１０Ｂは、不連続な合焦範囲を持つ２枚の画像から距離計測を行った結果を示す図である。
【図１１Ａ】図１１Ａは、変形例１における光路の例を模式的に示す図である。
【図１１Ｂ】図１１Ｂは、変形例１においてフォーカス位置を等速で変化させる様子を示すグラフである。
【図１２】図１２は、変形例１における光路の別の例を模式的に示す図である。
【図１３Ａ】図１３Ａは、変形例２における光路の例を模式的に示す図である。
【図１３Ｂ】図１３Ｂは、ミラーによって撮像素子１に光線が導かれる様子を模式的に示す図である。
【図１３Ｃ】図１３Ｃは、ミラーによって撮像素子２に光線が導かれる様子を模式的に示す図である。
【図１４】図１４は、変形例２においてフォーカス位置を等速で変化させる様子を示すグラフである。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態について、例を挙げて説明する。
【００３１】
図１は本発明の実施の形態に係る画像処理装置の構成を示す図である。画像処理装置１０は撮像部１１、合焦範囲制御部１２、参照画像生成部１３および距離計測部１４を備える。
【００３２】
撮像部１１は光線を集めるレンズが組み込まれた光学系であるレンズユニットと、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの撮像素子を含んで構成され、被写体の像を撮像して画像を出力する機能を有する。
【００３３】
合焦範囲制御部１２は撮像部１１が有するレンズユニットを制御し、撮像部１１によって撮像される画像の合焦位置を変化させ、被写界深度を拡張させる機能を有する。具体的にはレンズユニットに組み込まれたオートフォーカス機構を特定のパターンで動作させる、あるいは特定の光学素子を切り替えるなどによって制御を行う。参照画像生成部１３は合焦範囲制御部１２の作用によって異なる合焦位置および被写界深度を有する複数枚の画像から、レンズによるぼけがない状態を推定した参照画像を生成する。
【００３４】
距離計測部１４は、複数枚の画像のぼけの度合いから被写体までの距離を計測する。つまり、距離計測部１４は、撮像された異なる合焦位置および被写界深度を有する複数枚の画像および参照画像を用い、ＤＦＤの手法に基づいて距離計測を行う。
【００３５】
次に、撮像される画像の被写界深度を拡張する手法について説明する。
【００３６】
一般的な被写界深度の幅は以下のように定義される。まず、過焦点距離（Ｈｙｐｅｒｆｏｃａｌ  Ｄｉｓｔａｎｃｅ）について説明する。過焦点距離とは、その距離にフォーカスを合わせた場合、その距離から後側（レンズから遠い側）に無限遠までが合焦していると判断される距離のことで、レンズの焦点距離をｆ、レンズのＦナンバーをＦ、検知可能な最小のぼけを表す許容錯乱円の大きさをｃとした時、過焦点距離ｈは以下の式１で近似される。
【００３７】
【数１】
0005869883.tif 000002
【００３８】
距離ｓにフォーカスを合わせた際の被写界深度は、ｓより前側（レンズに近い側）の被写界深度をＤｎ、後側の被写界深度をＤｆとした時、以下の式２で表される。
【００３９】
【数２】
0005869883.tif 000003
【００４０】
以上の式より、焦点距離を固定した場合、被写界深度の幅は絞りによってのみ変更可能である。
【００４１】
これに対して、絞りを絞ることなく被写界深度の幅を広げる種々の手法が提案されており、被写界深度拡張（Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ、以下ＥＤｏＦと表記）と称される。以下、ＥＤｏＦの具体的な手法について説明する。
【００４２】
最も単純なＥＤｏＦ手法は、合焦位置を少しずつずらしながら複数の画像を撮像し、それらの画像から合焦している部分を抜き出して合成する手法であり、特許文献２においても用いられている。
【００４３】
これに対して、露光中にフォーカスを変化させることで、多数の画像を合成するのと同様の効果を実現する手法が、非特許文献１に開示されている。
【００４４】
図２はフォーカスを変化させた際の集光の様子を模式的に示す図である。図２のように、被写体位置ａ１に合焦する撮像素子の位置をｂ１、被写体位置ａ２に合焦する撮像素子の位置をｂ２とする。レンズの公式よりａ１とａ２の間の距離に対して合焦する撮像素子の位置は必ずｂ１とｂ２の間にある。したがって、露光中に撮像素子がｂ１からｂ２まで移動すると、ａ１に対しては始め合焦していたところから段々とぼけが大きくなり、画像にはこれらのぼけが積分されて重なって写る。一方、ａ２に対しては逆にぼけが大きかったところから段々と合焦していき、やはり画像にはこれらのぼけが重なって写る。
【００４５】
このことを数式を用いてさらに詳しく説明する。光学系のぼけの状態を表す点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ、以下ＰＳＦと表記）の形状が、以下の式３で表されるとする。
【００４６】
【数３】
0005869883.tif 000004
【００４７】
ただし、ｆは光学系の焦点距離、ａは光学系の開口部の直径、ｕは被写体までの距離（以下、「被写体距離」と言う。）、ｖはレンズの公式１／ｆ＝１／ｕ＋１／ｖで定まる像面位置、Δｖはｖからの像面の移動量、ｒはぼけの中心からの距離、ｇは定数をそれぞれ表す。
【００４８】
式３は像面の移動量Δｖの関数なので、Δｖが時刻ｔの関数Ｖ（ｔ）に従って時刻０からＴにわたって変化する場合、最終的に得られるＰＳＦは以下の式４のように定義できる。
【００４９】
【数４】
0005869883.tif 000005
【００５０】
ここで、Ｖ（ｔ）が等速運動、即ちＶ（ｔ）＝ｖ０＋ｓｔ（ｓは所定の定数）で表されるとすると、式４は以下の式５のように解ける。
【００５１】
【数５】
0005869883.tif 000006
【００５２】
ここで、ｅｒｆｃ（ｘ）は相補誤差関数（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｅｒｒｏｒ  Ｆｕｎｃｔｉｏｎ）である。ｕ＞＞ｆ、即ち被写体距離が光学系の焦点距離より十分大きいとすると、式５はｕによらず一定の値であると考えることができる。つまり被写体距離によらず一定のぼけを有する画像が得られることを意味する。像面位置の始点ｖ＋Ｖ（０）、および終点ｖ＋Ｖ（Ｔ）を変化させることで、ぼけが一定となる被写体距離の範囲を変化させることができる。
【００５３】
一方、特殊な光学素子を用いて被写界深度を拡張する手法も提案されている。例えば、光線の波面を変調する波面変調素子の一種である３次位相板（Ｃｕｂｉｃ  Ｐｈａｓｅ  Ｍａｓｋ）と呼ばれる光学素子は図３に示すような形状をしている。つまり、その形状はｚ＝α（ｘ3＋ｙ3）により表すことができる。ここで、αは３次位相板の形状を特定するための係数である。このような形状の光学素子を撮像部１１が含み、被写体から撮像部１１までの光路上、つまり光学系の絞り付近に組み込むと、図４のように光線の通過位置によって曲率が大きく異なるため、光線の到達位置が分散する。３次位相板は光線の分散の仕方が被写体距離に対してほぼ一定となる特性を有しており、これによって被写体距離によらずほぼ一定のぼけを有する画像が得られる。ぼけが一定となる被写体距離の範囲は位相板（波面変調素子）の形状によって変化する。
【００５４】
この他の光学素子の例として、屈折率が均一でない屈折率分布レンズ（Ｇｒａｄｉｅｎｔ  ｉｎｄｅｘ  ｌｅｎｓ）などを用いて合焦範囲が略連続となるよう構成された多焦点レンズなどが挙げられる。多焦点レンズも、撮像部１１が含み、被写体から撮像部１１までの光路上に配置される。
【００５５】
次に、参照画像を用いたＤＦＤの手法について説明する。
【００５６】
参照画像Ｒと撮像画像Ｉの間には、以下の式６で示す関係が成立する。
【００５７】
【数６】
0005869883.tif 000007
【００５８】
ここで、ｈは画像上の位置（ｘ，ｙ）におけるＰＳＦを、被写体距離ｄ（ｘ，ｙ）は位置（ｘ，ｙ）における被写体距離を表す。また、式中の＊は畳み込み演算を表す。例えば式３のように、ＰＳＦは被写体距離によって異なるため、異なる複数の距離にある被写体が存在する場合、画像の位置ごとに異なるＰＳＦが畳み込まれた画像が撮像画像として得られる。
【００５９】
ここで、被写体距離ｄ１、ｄ２、…、ｄｎに対応するＰＳＦをｈ（ｘ，ｙ，ｄ１）、ｈ（ｘ，ｙ，ｄ２）、…、ｈ（ｘ，ｙ，ｄｎ）とする。例えば参照画像Ｒ（ｘ，ｙ）に存在する被写体が距離ｄ１にある場合、撮像画像Ｉ（ｘ，ｙ）はＲ（ｘ，ｙ）にｈ（ｘ，ｙ，ｄ１）を畳み込んだものに等しく、Ｒ（ｘ，ｙ）に他の被写体距離に対応するＰＳＦを畳み込んだ場合には観測画像との差が生じる。よって、Ｒ（ｘ，ｙ）に各ＰＳＦを畳み込んだ画像と撮像画像の差を順に比較し、その差が最小となるＰＳＦに対応する距離を調べれば、被写体距離ｄ（ｘ，ｙ）を求めることができる。具体的には以下の式７によって求められる。
【００６０】
【数７】
0005869883.tif 000008
【００６１】
ここで、右辺は括弧内の値が最小となるときのｄの値である。
【００６２】
実際には撮像画像Ｉに含まれるノイズの影響を低減するため、画像をブロックに区切ってブロック内での誤差の総和を求め、誤差が最小となる距離をそのブロック全体の距離とするなどの処理を行うことで、より安定に距離計測を行うことができる。
【００６３】
次に、本発明の実施の形態に係る画像処理装置によって、被写界深度を拡張した２枚の画像から距離計測を行う処理の流れについて図５に基づいて説明する。なお、以下では被写界深度を拡張する手法として、露光時間中にフォーカスを変化させる方法を用いるものとして説明を行う。
【００６４】
まず、撮像部１１によって、それぞれ異なる合焦範囲を有する第１画像および第２画像を撮像する（ステップＳ１０１およびＳ１０２）。具体的には第１、第２画像の露光中に、合焦範囲制御部１２によってフォーカス位置を図６で示すように等速で移動させる。フォーカス位置の移動は、撮像素子を移動させることにより行っても良いし、レンズユニットに含まれるレンズ（フォーカスレンズ）の位置を移動させることにより行っても良い。このようにして撮像された第１画像は像面位置ｖ１からｖ３までに対応する範囲で、第２画像は像面位置ｖ３からｖ２までに対応する範囲で均一なぼけを有し、それ以外の範囲では距離に応じたぼけを有する。被写体距離に対して均一なぼけは参照画像の生成に、被写体距離に応じたぼけはＤＦＤによる距離計測にそれぞれ寄与する。
【００６５】
なお、ｖ３はｖ１とｖ２の間の任意の位置に設定することができるが、第１画像と第２画像の露光時間を一定にするため、ｖ３はｖ１とｖ２の中間に設定することが望ましい。
【００６６】
また、第１画像の露光中におけるフォーカスの移動速度と第２画像の露光中におけるフォーカスの移動速度は異なる値であってもよい。
【００６７】
次に、参照画像生成部１３は、第１、第２画像から参照画像を生成する（ステップＳ１０３）。式６より参照画像は撮像画像に対してＰＳＦを逆畳み込みすることで求められる。本来参照画像を正しく求めるためには被写体距離ｄ（ｘ，ｙ）が既知である必要があるが、第１、第２画像は被写界深度が拡張されているため、拡張された範囲の被写体距離に対してＰＳＦは一定である。
【００６８】
ここで、第１画像と第２画像の平均を取り、平均画像を生成する。平均画像は図６からも分かるようにｖ１からｖ２のすべての範囲にわたり被写界深度が拡張された画像となる。したがって、拡張された被写界深度に対応する１種類のＰＳＦを逆畳み込み演算に用いることで参照画像が得られる。
【００６９】
なお、第１画像と第２画像の露光時間またはフォーカスの移動速度が異なる場合は、被写体距離に対する重みが一定となるよう重み付け平均を取ることで同様に扱うことができる。
【００７０】
なお、逆畳み込みのアルゴリズムはウィーナーフィルタ（Ｗｉｅｎｅｒ  Ｆｉｌｔｅｒ）のような既知の手法を用いることができる。
【００７１】
最後に、距離計測部１４は、撮像された第１、第２画像とステップＳ１０３で生成された参照画像から、式７に従って被写体距離ｄ（ｘ，ｙ）を算出する（ステップＳ１０４）。式７より被写体距離ｄ（ｘ，ｙ）は第１画像を用いたものと第２画像を用いたものの２通りが算出されるため、これらを統合して一つの距離マップとする（ステップＳ１０５）。統合には各画像から算出される距離マップの単純平均を取るなどの手法を用いることができる。
【００７２】
なお、式６および式７をフーリエ変換し、周波数領域上での撮像画像と参照画像の比較を行うことで距離計測を行ってもよい。周波数領域では式６および式７における畳み込み演算が乗算に変換され、より高速に距離計測を行うことができる。
【００７３】
以上に示すように、被写界深度を拡張することで距離計測に用いる２枚の撮像画像それらだけから参照画像を生成できるため、少数の画像で高精度に距離計測を行うことができる。露光中のフォーカスの変化は標準的なオートフォーカス機構を流用することで実現可能なため、特殊な機構を必要とすることもない。
【００７４】
なお、上記説明では２枚の画像を用いる例を述べたが、撮像する画像は３枚以上であってもよい。この場合、各画像の合焦範囲は図６で示すｖ１とｖ２の間を等間隔に分割した範囲にすることで、２枚の場合と同じように扱うことが可能となる。この際参照画像も撮像したすべての画像の平均画像から算出する。
【００７５】
なお、本実施の形態では、参照画像を用いる方法を示したが、距離計測には参照画像を必ずしも使用する必要はなく、異なる合焦範囲を有するｎ枚（２≧ｎ）の画像のぼけ度合いから距離計測を行うことができる。
【００７６】
また、上記説明では露光中にフォーカス位置を制御することで被写界深度を拡張する例を述べたが、先述の３次位相板のような光学素子を用いて被写界深度を拡張してもよい。この場合、複数の異なる合焦範囲を得るためには複数の形状の光学素子が必要となる。よって、撮像部１１が有するレンズユニットに、図７で示すようにこれらの光学素子を回転によって切り替え可能な箇所を設ける。合焦範囲制御部１２はこれを切り替えることで各合焦範囲に対応する画像を得ることができる。
【００７７】
なお、上記説明において、撮像画像の合焦範囲は連続的に変化しているが、これは図８で示すように不連続であってもよい。図８は図６と同様に、露光中にフォーカス位置を変化させる様子を表す図であるが、像面位置はｖ１とｖ２の間で段階的に変化している。
【００７８】
ここで、不連続な合焦範囲を持つことの利点について述べる。位置（ｘ，ｙ）における正しい距離の値をＤ、正しくない距離の値をＤ’とする。式７より参照画像Ｒにｈ（ｘ，ｙ，Ｄ）とｈ（ｘ，ｙ，Ｄ’）をそれぞれ畳み込んだ結果が大きく異なるほど、正しい距離であるか否かの判定が容易になる。以下ではシミュレーションで検証する。
【００７９】
図９Ａのようなテクスチャを持ち、被写体距離が図９Ｂのような被写体までの距離の段階数が２０段の階段状のシーンを考える。被写体距離は図中暗いほど遠いものとする。つまり、図９Ａに示すテクスチャにおいて、下側の領域ほど撮像部１１に近い位置にあり、上側の領域ほど撮像部１１から遠い位置にあるとする。
【００８０】
次に、合焦範囲の記法について説明する。２０段の被写体距離の各段にフォーカスが合っているか否かを２０桁の数字で表現するものとする。例えば、［１，０，１，１，１，０，０，０，０，１，０，０，０，０，０，０，０，０，０，０］であれば遠い方から１、３、４、５、１０段目に合焦していることを表す。
【００８１】
まず、合焦範囲が［１，１，１，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０］と［０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，１，１，１］である、被写体の手前側と奥側にのみそれぞれフォーカスを合わせた２枚の画像から、ＤＦＤによって距離計測を行った結果を図１０Ａに示す。なお、この２枚の画像を足し合わせても被写体全体には合焦しないため、被写体距離ｄ（ｘ，ｙ）は以下の式８に従って算出しても良い。
【００８２】
【数８】
0005869883.tif 000009
【００８３】
ただし、Ｆ1、Ｆ2はそれぞれ１枚目、２枚目の画像の周波数成分、Ｈ1、Ｈ2はそれぞれ１枚目、２枚目の合焦範囲に対応するＰＳＦの周波数成分、Ｈ1*、Ｈ2*はそれぞれＨ1、Ｈ2の複素共役、εは零除算を防ぐための微小な値を表し、ｆ-1は逆フーリエ変換を表す。この場合、
【数９】
0005869883.tif 000010
は、参照画像Ｒに相当するものと考えてよい。
【００８４】
これに対し、合焦範囲が［１，０，０，０，１，０，０，０，１，０，０，０，０，０，０，０，０，０，０，０］と［０，０，０，０，０，０，０，０，０，０，０，１，０，０，０，１，０，０，０，１］である、不連続な合焦範囲を有する２枚の画像から、同じように距離計測を行った結果を図１０Ｂに示す。図１０Ａでは特にテクスチャが少ない右側で計測結果が図９Ｂから大きくかけ離れているが、図１０Ｂでは計測結果が図１０Ａに比べて改善されている。
【００８５】
不連続な合焦範囲を得る方法には図８のように露光中にフォーカスを段階的に変化させる方法や、不連続な合焦範囲を有する多焦点レンズのような光学素子を用いる方法が挙げられる。後者は例えば輪帯ごとに曲率が異なるフレネルレンズなどによって実現可能である。多焦点レンズは、撮像部１１が含み、被写体から撮像部１１までの光路上に配置される。
【００８６】
なお、上記説明ではＤＦＤに用いる画像を１枚ずつ撮像しているが、これを２枚同時に撮像することができれば撮像にかかる時間は半分になる。以下、変形例として説明する。
【００８７】
＜変形例１＞
変形例１において、撮像部１１は図１１Ａに示すようにレンズユニットと、２つの撮像素子（撮像素子１および２）と、光線を分割するためのビームスプリッタと、光路を曲げるためのミラーとを備える。２つの撮像素子は光路長が異なるように配置され、ビームスプリッタを介して両方の素子に光線が集光する。図１１Ａに示す構成ではΔｖだけ撮像素子２の光路長が長い。
【００８８】
このような光学系において、露光中にフォーカス位置を等速で変化させながら２つの撮像素子で同時に画像を撮像すると、図１１Ｂで示すように撮像素子１と撮像素子２で常にΔｖだけフォーカス位置がずれた画像が得られる。フォーカス位置の移動は、２つの撮像素子を同一の速度で等速移動させることにより行っても良いし、レンズユニットに含まれるレンズの位置を移動させることにより行っても良い。この際、Δｖをｖ１とｖ２の中間に設定することで、像面位置ｖ１からｖ２までの全体で均一にフォーカス位置をカバーした２枚の画像を撮像することができる。
【００８９】
なお、光路を曲げるための手段として、ミラーの代わりにプリズムを用いてもよい。または図１２のようにミラーやプリズムを持たない構成を取ってもよい。この場合も、フォーカス位置の移動は、２つの撮像素子を同一の速度で等速移動させることにより行っても良いし、レンズユニットに含まれるレンズの位置を移動させることにより行っても良い。
【００９０】
＜変形例２＞
変形例２において、撮像部１１は図１３Ａに示すようにレンズユニットと２つの撮像素子（撮像素子１および２）を備え、さらに光路の途中に光軸方向を変化させるための光軸変化手段と、光軸の向きを前記撮像素子のいずれか１つの方へ向けるための駆動部２１とを備える。２つの撮像素子は光路長が等しくなるように配置されている。光軸変化手段はガルバノミラーやＭＥＭＳミラーのような可動ミラーによって構成され、図１３Ｂおよび図１３Ｃで示すように２つの撮像素子のいずれか一方に光線を導く機能を有する。
【００９１】
このような光学系において、露光中にフォーカス位置を等速で変化させると同時に、光軸変化手段によって光線を撮像素子１と２に振り分ける。ある瞬間において光線は撮像素子１と２のどちらかにしか到達しないため、撮像素子１と２は図１４に示すように飛び飛びに露光し、それぞれ不連続な合焦範囲の画像となる。なお、この場合も、フォーカス位置の移動は、２つの撮像素子を同一の速度で等速移動させることにより行っても良いし、レンズユニットに含まれるレンズの位置を移動させることにより行っても良い。
【００９２】
なお、変形例２における光路は図１３Ａ〜図１３Ｃの形態に限らず、複数の撮像素子の光路長が一定である限り、任意の光路を取ることができる。また、露光パターンも同様に図１４の形態に限定されない。
【産業上の利用可能性】
【００９３】
本発明はレンズ系を有する撮像装置、特に単眼の撮像装置に適用可能である。
【符号の説明】
【００９４】
１０  画像処理装置
１１  撮像部
１２  合焦範囲制御部
１３  参照画像生成部
１４  距離計測部
【図１】
0005869883.tif 000012
【図２】
0005869883.tif 000013
【図３】
0005869883.tif 000014
【図４】
0005869883.tif 000015
【図５】
0005869883.tif 000016
【図６】
0005869883.tif 000017
【図７】
0005869883.tif 000018
【図８】
0005869883.tif 000019
【図９Ａ】
0005869883.tif 000020
【図９Ｂ】
0005869883.tif 000021
【図１０Ａ】
0005869883.tif 000022
【図１０Ｂ】
0005869883.tif 000023
【図１１Ａ】
0005869883.tif 000024
【図１１Ｂ】
0005869883.tif 000025
【図１２】
0005869883.tif 000026
【図１３Ａ】
0005869883.tif 000027
【図１３Ｂ】
0005869883.tif 000028
【図１３Ｃ】
0005869883.tif 000029
【図１４】
0005869883.tif 000030