(57)【要約】【課題】１台の撮像装置を用いて得られた１枚の入力画像から精度良くシーン内の距離情報を取得する。【解決手段】撮像装置１００は、被写体からの光を結像させる光学系２００と、該光学系により形成された光学像を光電変換する撮像素子３００とを有する。また、被写体上の各点からの光に、撮像素子上で複数のスポット像からなる光学像を形成させるとともに、被写体上の１点と撮像装置との間の距離である第１の距離が、光学系の合焦距離である第２の距離とは異なる場合に、該１点からの光に第１の距離に応じて間隔が変化する複数のスポット像を形成させるとともに、第１の距離が第２の距離よりも短い場合と長い場合とで複数のスポット像の離間方向を異ならせる光学素子２１０を併せて含む。【選択図】図１
2015175653.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を結像させる光学系と、該光学系により形成された光学像を光電変換する撮像素子とを有する撮像装置であって、
前記光学系は、前記被写体上の各点からの光により前記撮像素子上に複数のスポット像を形成する光学素子を含み、
前記光学素子は、前記被写体上の１点と前記撮像装置との距離である第１の距離が、前記光学系の合焦距離である第２の距離とは異なる場合に、前記１点からの光により前記第１の距離に応じて互いの間隔が変化する前記複数のスポット像を形成するとともに、前記第１の距離が前記第２の距離よりも短い場合と長い場合とで前記複数のスポット像の離間方向を異ならせることを特徴とする撮像装置。
【請求項２】
前記第１の距離が前記第２の距離よりも短い場合と長い場合における前記複数のスポット像の離間方向が、互いに直交する２つの方向であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記光学素子が生成する位相差をFringe Zernike多項式に展開したときの第５，６，１２，１３，２１，２２，３２および３３項の係数の絶対値の和が、該多項式の全項の係数の絶対値の和に占める割合が９０％以上であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像素子からの信号を用いて生成された入力画像を処理する信号処理部を有し、
該信号処理部は、前記入力画像から部分領域を切り出して、該部分領域における自己相関値の２次元配列を算出し、
該２次元配列に対して前記複数のスポット像の離間方向に平行な２つの方向に微分演算を行うことで２つの微分マップを算出し、
該２つの微分マップのそれぞれにおいて複数のピークを検出し、
該複数のピークのうち一対または複数対のピークの間隔を算出し、
該一対または複数対のピークの間隔から１つを選択して距離情報に変換する処理を行い、
該処理を前記部分領域の切り出し位置を変化させて繰り返すことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記信号処理部は、前記自己相関値の２次元配列のうち不要部分を除去するマスキング処理を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記信号処理部は、前記距離情報の２次元配列を算出した後にノイズ除去処理を行うことを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記撮像素子からの信号を用いて生成された入力画像を処理する信号処理部を有し、
該信号処理部は、前記入力画像から部分領域を切り出して、該部分領域における自己相関値の２次元配列を算出し、
該２次元配列に対して前記複数のスポット像の離間方向に平行で、かつ該部分領域の中心画素を通る２つの１次元配列を抽出し、
該２つの１次元配列のそれぞれに対して微分演算を行うことで前記１次元配列ごとに複数のピークを検出し、
前記１次元配列ごとの前記複数のピークのそれぞれから一対のピークを選択して前記１次元配列ごとの該一対のピークの間隔を算出し、
前記２つの１次元配列において算出した２つの前記間隔のうち１つを選択して距離情報に変換する処理を行い、
該処理を前記部分領域の切り出し位置を変化させて繰り返すことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置
【請求項８】
前記信号処理部は、前記入力画像または前記光学素子を含まない光学系により形成された光学像を光電変換した前記撮像素子からの信号を用いて生成した他の入力画像を複数の画像処理領域に分割し、前記各画像処理領域に対して前記距離情報に基づいた画像処理を行うことを特徴とする請求項４乃至７のいずれか１項に記載の撮像装置。
【請求項９】
被写体からの光を結像させる光学系と、該光学系により形成された光学像を光電変換する撮像素子とを用いて前記被写体までの距離情報を取得する距離情報取得方法であって、
前記被写体上の各点からの光に、前記撮像素子上で複数のスポット像からなる前記光学像を形成させ、
前記被写体上の１点と前記撮像装置との間の距離である第１の距離が、前記光学系の合焦距離である第２の距離とは異なる場合に、前記１点からの光に前記第１の距離に応じて間隔が変化する複数の前記スポット像を形成させるとともに、
前記第１の距離が前記第２の距離よりも短い場合と長い場合とで前記複数のスポット像の離間方向を異ならせる光学素子を用いることを特徴とする距離情報取得方法。
【請求項１０】
前記撮像素子からの信号を用いて生成された入力画像から部分領域を切り出して、該部分領域における自己相関値の２次元配列を算出し、
該２次元配列に対して前記複数のスポット像の離間方向に平行な２つの方向に微分演算を行うことで２つの微分マップを算出し、
該２つの微分マップのそれぞれにおいて複数のピークを検出し、
該複数のピークのうち一対または複数対のピークの間隔を算出し、
該一対または複数対のピークの間隔から１つを選択して距離情報に変換する処理を行い、
該処理を前記部分領域の切り出し位置を変化させて繰り返すことを特徴とする請求項９に記載の距離情報取得方法。
【請求項１１】
前記撮像素子からの信号を用いて生成された入力画像から部分領域を切り出して、該部分領域における自己相関値の２次元配列を算出し、
前記２次元配列に対して前記複数のスポット像の離間方向に平行で、かつ該部分領域の中心を通る２つの１次元配列を抽出し、
前記２つの１次元配列のそれぞれに対して微分演算を行うことで前記１次元配列ごとに複数のピークを検出し、
前記１次元配列ごとの前記複数のピークのそれぞれから一対のピークを選択して前記１次元配列ごとの該一対のピークの間隔を算出し、
前記２つの１次元配列において算出した２つの前記間隔のうち１つを選択して距離情報に変換する処理を行い、
該処理を前記部分領域の切り出し位置を変化させて繰り返すことを特徴とする請求項９に記載の距離情報取得方法。
【請求項１２】
請求項１０または１１に記載の距離情報取得方法を用いる撮像システムであって、
前記入力画像または前記光学素子を含まない光学系により形成された光学像を光電変換した前記撮像素子からの信号を用いて生成された他の入力画像を複数の画像処理領域に分割し、前記各画像処理領域に対して前記距離情報に基づいた画像処理を行うことを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像して得られた１枚の画像からシーン内の距離情報を計測する技術に関する。
【背景技術】
【０００２】
画像の取得と同時に距離情報等の付加的な情報を取得して画像処理に利用することで撮像システムの付加価値を高めるコンピュテーショナルイメージング技術が活発に研究されている。この分野において、広がりを持つシーンを撮像して得られた画像から、シーンの場所ごとの距離情報の集まり、すなわち距離分布を計測する技術が数多く提案されている。この距離分布の計測技術の応用先として、デジタルカメラにおける画像加工や顕微鏡画像の解析、監視カメラやＩＴＳ（Intelligent Transport Systems）等が挙げられる。これらの応用を実用化するには、撮像装置をコンパクトかつ低コストにすること、画像処理に要する時間を短縮することが必要である。そのためには、１台の撮像装置を用いて取得した１枚の画像から距離分布を計測する受動的な距離計測方法が理想的である。
【０００３】
特許文献１，２には反射板による２重像を用いる方法が開示されており、特許文献３には複数のスポット像からなる点像強度分布が、被写体までの距離に応じて回転する光学系を用いる方法が開示されている。また、非特許文献１には、複数の焦点位置を持つ格子焦点レンズを用いて画像を取得し、該画像に対するデコンボリューションによって、被写体までの距離を推定する方法が開示されている。さらに、従来用いられているステレオ視による距離計測方法のうち１眼の撮像装置を１台のみを使用してステレオ視を可能にする方法として、特許文献４には２つのくさび型プリズムを組み合わせて用いる方法が開示されている。また、同方法として、非特許文献２にはピラミッド型プリズムを用いる方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１８０５６２号公報
【特許文献２】特開２００９−２２３４０１号公報
【特許文献３】米国特許第７７０５９７０号明細書
【特許文献４】国際特許公開２０１００８００３０号公報
【非特許文献】
【０００５】
【非特許文献１】Anat Levin, Samuel W. Hasinoff,Paul Green, Fredo Durand, William T. Freeman, "4D Frequency Analysis of Computational Cameras for Depth of Field Extension" SIGGRAPH 2009
【非特許文献２】Yong Xiao, Kah Bin Lim，"A prism-based single-lens stereovision system:From trinocular to multi-ocular" Image and Vision Computing 25, 2007, p.1725-1736
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１，２に記載の方法では、計測できる距離範囲の全てを２重像の間隔（ずれ量）だけで同定しなければならないため、計測できる距離の分解能が２重像のずれ量の限界によって制限される。さらに、撮像装置の光学系の合焦位置に対する被写体の位置関係を判別する目的に対しても、２重像のずれ量と距離との関係に関する事前情報がなければ判別することができない。換言すると、得られた画像のみからデフォーカス方向を判別することができない。
【０００７】
また、特許文献３に記載の方法では、合焦位置に対する被写体の位置関係を事前情報がなくても判別することはできるが、計測できる距離の範囲は前記複数のスポット像間の距離によって制限される。さらに、前記複数のスポット像の回転角から距離を算出するため、被写体の距離が計測可能範囲を超えた場合に誤った距離を推定する可能性がある。
【０００８】
また、非特許文献１に記載の方法では、デコンボリューションの処理が重く、高速かつ高精度の距離計測が難しい。さらに、特許文献４や非特許文献２に記載の方法では、２つの視点が被写体を見込む角度の差が非常に小さいため、計測される距離の精度が原理上低くなる。
【０００９】
本発明は、これらの課題を鑑みてなされ、１台の撮像装置を用いて得られた１枚の入力画像から、重い処理を必要とすることなく、精度良くシーン内の距離情報を取得することができるようにした撮像装置、距離情報取得方法および撮像システムを提供する。
【課題を解決するための手段】
【００１０】
本発明の一側面としての撮像装置は、被写体からの光を結像させる光学系と、該光学系により形成された光学像を光電変換する撮像素子とを有する。
【００１１】
そして、被写体上の各点からの光に、撮像素子上で複数のスポット像からなる光学像を形成させるとともに、被写体上の１点と撮像装置との間の距離である第１の距離が、光学系の合焦距離である第２の距離とは異なる場合に、第１の距離に応じて、複数のスポット像の間隔を変化させるとともに、第１の距離が第２の距離よりも短い場合と長い場合とで、複数のスポット像の離間方向を異ならせる光学素子を、光学系内に含むことを特徴とする。
【００１２】
また、本発明の他の一側面としての距離情報取得方法は、被写体からの光を結像させる光学系と、該光学系により形成された光学像を光電変換する撮像素子とを用いて被写体までの距離情報を取得する。そして、被写体上の各点からの光に、撮像素子上で複数のスポット像からなる光学像を形成させるとともに、被写体上の１点と撮像装置との間の距離である第１の距離が、前記光学系の合焦距離である第２の距離とは異なる場合に、第１の距離に応じて、複数のスポット像の間隔を変化させるとともに、第１の距離が第２の距離よりも短い場合と長い場合とで、複数のスポット像の離間方向を異ならせる光学素子を、光学系内に含むことを特徴とする。
【００１３】
なお、上記距離情報取得方法により得られた距離情報に基づいて画像処理を行う撮像システムも、本発明の他の一側面を構成する。
【発明の効果】
【００１４】
本発明によれば、１台の撮像装置を用いて得られた１枚の入力画像から、重い処理を用いなくても精度良くシーン内の場所（被写体）ごとの距離情報を取得することができる。さらに、本発明によれば、撮像装置の合焦位置に対する被写体の相対的な位置関係に関する事前情報を必要とすることなく該位置関係を判別することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施例である撮像装置の構成を示すブロック図。
【図２】実施例における距離計測処理を示すフローチャート。
【図３】実施例における距離分解能を説明する図。
【図４】実施例１および実施例２における目標点像強度分布を示す図。
【図５】実施例１，２における重み関数を示す図。
【図６】実施例１において用いられる位相板を示す図。
【図７】実施例１における被写体と距離分布を示す図。
【図８】実施例１において位相板が作る点像強度分布を示す図。
【図９】実施例１におけるシミュレーション画像を示す図。
【図１０】図９に示した１つの部分領域から得られる１次元配列を示す図。
【図１１】図９に示した画像から実施例１の方法で算出された距離分布を示す図。
【図１２】実施例２において用いられる位相板を示す図。
【図１３】実施例３における目標点像強度分布を示す図。
【図１４】実施例３において用いられる位相板を示す図。
【図１５】実施例３において位相板が作る点像強度分布を示す図。
【図１６】実施例３における被写体と距離分布を示す図。
【図１７】実施例３におけるシミュレーション画像を示す図。
【図１８】図１７に示した画像から実施例３の方法で算出された距離分布を示す図。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例について図面を参照して説明する。
【００１７】
図１には、本発明の実施例である撮像装置（撮像システム）の構成を示している。撮像装置１００は、光学素子２１０を含む光学系２００と、撮像素子３００と、画像処理部（信号処理部）４００と、メモリ５００と、表示部６００と、制御部７００とを有する。
【００１８】
光学系２００は、シーン内の被写体からの光を結像させ、光学像を撮像素子３００上に形成する。光学素子２１０は光学系２００内に配置されている。ただし、光学素子２１０を光学系２００に対して挿抜可能とし、画像のみを取得する場合には光学素子２１０を光学系２００から抜いた状態で撮像し、距離情報を取得する場合には光学素子２１０を光学系２００内に挿入した状態で撮像するようにしてもよい。光学素子２１０の挿抜は、光学素子２１０が組み込まれたレンズモジュールをユーザが交換することで行ってもよいし、光学素子２１０をモータ等のアクチュエータにより挿抜する移動機構を撮像装置１００内に設けて行ってもよい。後者の場合には、制御部７００からの信号に従って移動機構が動作するようにしてもよい。また、撮像装置１００に、光学素子２１０を含まない光学系と、光学素子２１０を含む光学系２００とを設け、これらを選択して用いてもよい。
【００１９】
撮像素子３００は、ＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complementary Metal-oxide Semiconductor)センサにより構成される光電変換素子である。撮像素子３００は、光学系２００が形成した光学像を量子化された画像信号に変換して、該画像信号を画像処理部４００に伝送する。
【００２０】
画像処理部４００は、画像信号に対してγ補正、現像および圧縮等の従来の画像処理を行って入力画像を生成し、制御部７００からの信号に従って表示部６００に入力画像を表示したりメモリ５００に記憶させたりする。また、画像処理部４００は、入力画像に対して図２のフローチャートにより示す距離情報取得処理を行って、シーン内の距離情報を取得するとともに、該距離情報をメモリ５００に記憶する。
【００２１】
距離情報取得処理を含む撮像処理について図２のフローチャートを用いて説明する。ＣＰＵやＭＰＵ等のコンピュータにより構成される画像処理部４００が、コンピュータプログラムとしての距離情報取得プログラムに従って、この撮像処理を実行する。
【００２２】
ステップＳ１０１において、画像処理部４００は、光学素子２１０が光学系２００内に挿入された状態でシーンの撮像を行い、撮像素子３００から画像信号を取得する。その後、画像処理部４００は、画像信号に対して従来の画像処理を行ってもよい。
【００２３】
次に、ステップＳ１０２において、画像処理部４００は、画像信号から入力画像を生成し、該入力画像から１つの基準画素を選択する。さらに、画像処理部４００は、基準画素の位置を基準として所定範囲の部分領域（部分画像）を切り出し、該部分領域の自己相関値の２次元配列を算出する。ここで、２次元配列から既定の位置の複数の１次元配列を抽出してもよい。また、２次元配列または１次元配列に対して予め分かっている不要部分を除去するためのマスキング処理を行ってもよい。
【００２４】
次に、ステップＳ１０３において、画像処理部４００は、自己相関値の２次元配列または複数の１次元配列のそれぞれに対して微分演算を行い、配列ごとに２つ以上の複数のピーク（すなわち、略円形のスポット像）を検出する。言い換えれば、２次元配列に対して、複数のスポットの離間方向に平行な２つの方向に微分演算を行うことで、２つの微分マップを算出する。
【００２５】
次に、ステップＳ１０４において、画像処理部４００は、ステップＳ１０３にて配列ごとに得られた微分マップから一対の極値（ピーク値：以下、単にピークという）を選択し、該一対のピークの位置間の間隔（以下、ピーク間隔という）を算出する。なお、ステップＳ１０３において微分マップから複数の１次元配列のそれぞれから一対のピークを検出した場合には、これら複数対のピークの間隔から１つを選択する。
【００２６】
次に、ステップＳ１０５では、画像処理部４００は、こうして得られたピーク間隔を事前情報に基づいて距離情報に変換し、基準画素の位置における撮像装置１００から該基準画素に対応する被写体上の点（被写体点）までの距離を求める。
【００２７】
次に、ステップＳ１０６では、画像処理部４００は、上述した処理が行われる部分画像が入力画像における距離情報を求めるべき所定領域（以下、距離情報取得領域という）の全体にわたって設定されたか否かを判別する。そして、部分画像が距離情報取得領域の全体にわたって設定されるまで該処理を繰り返す（ステップＳ１０２に戻る）。このようにして距離情報取得領域内の各部分画像の基準画素の位置に距離情報を与えることにより、シーン内の場所（つまりは被写体）ごとの距離情報、すなわち距離分布を算出する。なお、基準画素を入力画像のうち距離情報取得領域の全画素としてもよいし、等間隔または不等間隔にて選択した画素としてもよい。また、得られた距離分布に対して、ノイズ除去、平滑化、エッジ強調、鮮鋭化等の画像処理を行ってもよい。
【００２８】
次に、ステップＳ１０７において、画像処理部４００は、得られた距離分布情報を用いて、入力画像の加工を行う。この加工は、光学素子２１０が光学系２００に挿入された状態で取得された入力画像の多重像を１重像に復元すると同時に、距離分布情報を反映した効果を復元された画像に与える処理を含む。例えば、人物写真の背景だけを従来の撮像で得られる画像よりもぼかして人物を強調する処理等が挙げられる。
【００２９】
なお、距離分布情報を用いた加工を、光学素子２１０を含まない状態の光学系２００を通した撮像により取得された他の入力画像に対して行ってもよい。この場合、光学素子２１０が光学系２００に挿入された状態での撮像と光学系２００から抜かれた状態での撮像を連続的に行い、前者の撮像により取得された入力画像から算出された距離分布情報を、後者の撮像により取得された他の入力画像の加工に反映してもよい。
【００３０】
ただし、この場合はシーン内の被写体が時間的に変化していないことが前提である。また、撮像装置１００が光学素子２１０を含む光学系２００と光学素子２１０を含まない光学系の２つを有する場合には、それぞれの光学系を通した撮像によって２つの入力画像を同時に取得してもよい。そして、光学素子２１０を含む光学系２００を用いた撮像により得られた入力画像から取得された距離分布情報を、光学素子２１０を含まない光学系を用いた撮像により得られた入力画像の加工に反映してもよい。この場合には、被写体が時間的に変化していても距離分布情報を正しく反映した画像加工が可能である。
なお、ステップＳ１０７は必須ではなく、シーンの距離分布情報をそのまま出力してもよい。
【００３１】
次に、光学素子２１０の設計方法について説明する。本実施例における光学素子２１０を含む光学系２００を用いると、被写体上の各点からの光が撮像素子３００（以下、像面という）上に形成する光学像、すなわち点像強度分布（Point Spread Function：以下、ＰＳＦという）は、複数のスポット像となる。また、被写体上の１点と撮像装置１００との距離である第１の距離が変化するに従い、複数のスポット像が直線上を移動し、スポット像の間隔が変化する。また、第１の距離が光学系２００の合焦距離である第２の距離よりも長い場合と短い場合とで、前記複数のスポット像の移動方向が異なる。例えば、第１の距離が第２の距離より長い場合は縦方向、短い場合は横方向の直線上を複数のスポット像が移動する、でも良い。もちろん、上記移動方向は一例であり、以下の設計方法により任意に設定できる。
【００３２】
光学系２００の合焦位置を基準とした光学系２００の光軸に沿った被写体の相対位置をｚとし、光軸に直交する像面の座標を（ｘ，ｙ）とし、前述したスポット像を形成させる目標点像強度分布をＰＳＦｔａｒｇｅｔ（ｘ，ｙ；ｚ）とする。また、設計する光学素子２１０が実際に形成する点像強度分布をＰＳＦ（ｘ，ｙ；ｚ）とする。この場合、光学素子２１０の設計は、以下の式（１）で示す評価関数Ｆを最小化する問題に置き換えることができる。
【００３３】
【数１】
2015175653.tif 000003
【００３４】
ただし、‖f（ｘ，ｙ）‖２は関数ｆのＬ２ノルムを表し、計算対象とする全ての（ｘ，ｙ）に対するｆ（ｘ，ｙ）の絶対値２乗和である。また、ｊは評価対象とするｚ座標の番号、ｗｊは前記ｚ座標ごとの重み係数、Φｊ（ｘ，ｙ）は点像強度分布に対する像面座標の重み関数である。ｚｊは最低２つ設定し、ｗｊは全てのｊに対して同じ値でもよいし、重視するｚ座標に対しては相対的に大きい値を設定するといった同一でない数値の集合でもよい。また、Φｊ（ｘ，ｙ）は全ての（ｘ，ｙ）またはｊに対して同じ値でもよいし、重視する（ｘ，ｙ）座標またはｊに対しては相対的に大きい値を設定するといった非一様な関数でもよい。
【００３５】
光学素子２１０の実際の点像強度分布が目標点像強度分布に近いほど評価関数Ｆの値は小さくなり、そのような光学素子２１０の透過率と位相の分布を非線形最適化手法等により探索する。なお、透過率を自由に設計すると光量の損失が発生し、撮像素子からの出力にノイズが占める割合が増えることで距離計測誤差が増大する。このため、透過率は光学系の瞳面において一様に１００%であると仮定し、以降では位相分布だけを制御する瞳フィルタ、すなわち位相板を光学素子２１０として設計する。なお、透過率を設計する場合も方法は全く同じである。
【００３６】
非線形最適化手法として、最急降下法等の勾配法を用いる場合には、評価関数Ｆの光学素子２１０の透過率と位相に関する解析的な偏微分を用いる必要がある。例えば、位相板の座標（ｆ，ｇ）における位相をφ（ｆ，ｇ）とし、点像振幅分布（Amplitude Point Spread Fuction：以下、ＡＳＦという）が以下の式（２）で、ＰＳＦが以下の式（３）で表されると仮定する。このとき、評価関数Ｆのφ（ｆ，ｇ）による解析的な偏微分は、式（４）で表すことができる。なお、λは波長、ＮＡは光学系の像側開口数、Ｍは結像倍率である。また、ｃｉｒｃ（ｒ）は、ｒが１以下ならば１を出力し、その他の場合は０を出力する関数である。さらに、ＦＴは２次元離散フーリエ変換、Ｒｅは実部を抽出する演算、＊は複素共役を表す。
【００３７】
【数２】
2015175653.tif 000004
【００３８】
【数３】
2015175653.tif 000005
【００３９】
【数４】
2015175653.tif 000006
【００４０】
また、φ（ｆ，ｇ）をＺｅｒｎｉｋｅ多項式等の直交関数系で展開してもよい。例えば、Fringe Zernike多項式の第ｎ項をＺｎ（ｆ，ｇ）とし、φ（ｆ，ｇ）のｎ次の展開係数をＣｎとするとき、φ（ｆ，ｇ）の代わりにＣｎを最適化の変数とすることができる。なお、ｎについては、ピストンの位相に対応する項を第１項とし、非点収差に対応する項を第５，６項とする。この方法を採ることにより、最適化の変数を少なくすることができるために、最適化の計算コストを低減することが可能となったり、φ（ｆ，ｇ）に関する制約条件（例えば対称性や複雑さ）を自動的に満たすように位相板を設計することが可能になったりする。Ｃｎを最適化の変数とした場合には、式（４）の代わりに以下の式（５）を用いてＣｎの値を更新する。
【００４１】
【数５】
2015175653.tif 000007
【００４２】
一方、非線形最適化手法としては、勾配法の他に、遺伝的アルゴリズムや焼きなまし法のような探索的手法を用いることもできる。
【００４３】
次に、計測される距離の分解能について説明する。以下の説明では、光学系２００の合焦位置に対する被写体の相対位置ｚの上限をｚＵ（正の値）とし、下限をｚＬ（負の値）とする。また、点像強度分布は２つのスポット像（以下、単にスポットという）からなるとし、スポットの間隔、すなわち２重スポット（２重像）のずれ量をｄとし、ｄがとり得る最小値と最大値をそれぞれｄｍｉｎとｄｍａｘとする。さらに、撮像素子３００の最小位置分解距離をｒとする。本実施例の方法で計測されるｚの最小分解距離ｒｚは、以下の式（６）で表すことができる。
【００４４】
【数６】
2015175653.tif 000008
【００４５】
式（６）において、分母に２が含まれる理由は、本実施例の方法ではｚが正の場合と負の場合とで２重スポットのずれ方向が異なるためである。図３（ａ）には、ｄとｚの関係を模式的に示す。グラフの直線の傾きが距離分解能に相当するが、本実施例の方法では前述したずれ方向の違いによってずれ量ｄとして同じ値が計測距離範囲中で２回現れる。こうして、特許文献２に開示された２重像のずれ量ｄのみから距離を計測する方法の半分の最小分解距離、つまりは２倍の距離分解能を得ることが可能になる。また、図３（ｂ）には、距離分解能を揃えた場合のｄとｚの関係を模式的に示す。この図から分かるように、本実施例の距離計測方法では、従来技術に比べて計測可能な距離ｚＵ−ｚＬが２倍になる。
【００４６】
このように、本実施例において説明した距離情報取得処理によれば、１台の撮像装置を用いて得られた１つの入力画像から、デコンボリューション等の重い処理を行わなくても精度良くシーン内の距離分布情報を取得することができる。また、該距離情報取得処理によれば、光学系の合焦位置に対する被写体の相対的な位置関係に関する事前情報を必要とすることなく、該位置関係を判別することができる。また、得られた距離分布情報を用いて入力画像に対する加工を行う撮像処理を行うことで、距離分布情報を反映した良好な画像加工を行うことができる。
【００４７】
以下、より具体的な実施例（シミュレーション例）について説明する。
【実施例１】
【００４８】
実施例１では、撮像装置１００はデジタルカメラである。光学系２００のＦナンバーを８とし、入力光の波長を５５０ｎｍとし、結像倍率を２０倍とし、図４に示す点像強度分布を目標として位相板を設計する。位相板の有効領域は円形であり、直径を４５等分する正方格子の交点をサンプリング点とする。式（１）におけるｚｊは、シーンの縮尺で−８００ｍｍ，−４００ｍｍ，０ｍｍ，４００ｍｍ，８００ｍｍの５つの値とする。また、ｗｊは各ｚｉに対して１，１，４，１，１とする。各ｚｉに対応するΦｊ（ｘ，ｙ）は、図５に示すように目標点像強度分布のスポットの中心から半径５．３６８μｍの円内では１を出力し、他の領域では２を出力する関数とする。この半径は像面の縮尺であり、一般にレイリーの解像力として知られている式から導いた値であるが、この値に限る必要はない。最適化手法は一般に知られている焼きなまし法を用いた以下の方法で位相板を設計する。
【００４９】
まず、位相板の初期値として全点の位相を０とする。次に、位相板のランダムに選んだ１点の位相に、平均が０ラジアンで標準偏差がπ／５ラジアンの正規乱数を加え、評価関数Ｆを式（１）に従って計算する。なお、ラジアン（radian）とは円周率に基づく位相の単位である。
【００５０】
次に、繰り返しの２回目以降の処理の場合には、前のステップでの評価関数Ｆの値から現時点での評価関数Ｆを減算したΔＦを計算し、以下の条件分岐処理を行う。ΔＦが１Ｅ−６（Ｅ−Ｘは×１０−Ｘを意味する）より大きい場合には前述の位相の変更を決定して、カウントを１つ増やす。それ以外の場合は、０以上１以下の一様乱数の値に対してｅｘｐ（ΔＦ／Ｔ）の方が大きいときには前述した位相の変更を決定しカウントを１つ増やし、それ以外では前述した位相の変更を元に戻す。ここで、一般に冷却スケジュールと呼ばれている繰り返し回数に対する温度パラメータＴの変化の規則は式（７）に従う。なお、ｋは前述したカウントの値を、Ｔ０はＴの初期値を、Ｎはカウントの最大値を、ＴＮは計算を打ち切る時点でのＴの値を表し、Ｔ０は１、Ｎは２００、ＴＮは１Ｅ−９とした。
【００５１】
【数７】
2015175653.tif 000009
【００５２】
また、前述したカウントが２０に達したときには、式（７）に従ってＴの変化を与える。位相板の位相を変更する上記の処理をＴがＴＮになるまで繰り返して得られた位相板の位相分布を、ラジアン単位で図６に示す。
【００５３】
次に、このようにして得られた位相板を用いて仮想的な被写体を撮像して得られた入力画像とそれに対する距離情報取得処理のシミュレーション例について説明する。ここでは、図７（ａ）に示す輝度分布と図７（ｂ）に示す距離分布を持つ被写体を仮定する。また、上述した位相板を用いた場合の各ｗｊに対する点像強度分布を図８に示す。図８の点像強度分布は、図４の目標点像強度分布とよく一致している。
【００５４】
図８の点像強度分布の各スポットが理想的、すなわちデルタ関数であると仮定して、図７（ａ）の被写体を上記位相板を用いて撮像して得られる入力画像のシミュレーション結果を図９に示す。このように、本実施例の位相板を用いると、距離に応じて重なり方が異なる２重像が得られる。
【００５５】
次に、この入力画像に対して上述した距離情報取得処理を行う。まず距離情報を取得する基準画素を入力画像内から１つ選択し、その基準画素を中心とする一辺が５１画素の正方形領域を部分領域（部分画像）とする。基準画素を水平方向または垂直方向に１画素ずつ移動させて部分領域を順次設定し、各部分領域について、以下の具体的方法で距離情報取得処理を行う。
【００５６】
まず、部分領域における画像の自己相関として、部分領域と同じ大きさの２次元配列を生成し、中心画素である基準画素を通る水平線上および垂直線上の画素の自己相関値を２つの１次元配列として抽出する。
【００５７】
次に、この２つの１次元配列にラプラシアン演算を行って絶対値をとり、距離情報に無関係な中心のピークを除去する。なお、ラプラシアン演算とは微分演算の１つである。また本実施例では、図１０に例として示すように、中心１１画素分を不要ピークとして除去して１次元配列を得る。図１０においては、座標の中心に対して対称な分布で、点像強度分布に対応する２つのピークが現れている。このピークの位置を検出し、ピーク位置間の間隔に所定の係数（例えば、０．０１）を乗じて得られた値を、部分領域の中心画素における距離とする。
【００５８】
図１１（ａ）には、この方法で得られた距離分布情報を示し、図１１（ｂ）には、図１１（ａ）に対してノイズ除去処理を行った結果を示す。ここでのノイズ除去処理は、３×３画素の中心を０とし、他を１とするカーネルを畳み込む処理である。また、本実施例では、単一波長でシミュレーションを行った場合を示しているが、太陽光やＬＥＤ光等の広域の波長分散を持つ光源を利用する場合にも同様の効果を得ることが可能である。
【００５９】
こうして得られた距離分布情報を、前述したように入力画像の加工に利用することができる。例えば、位相板を用いる撮像と同時に位相板を用いない撮像を行った場合には、後者の撮像により得られた入力画像を距離分布情報に基づいて部分領域（画像処理領域）に分割する。そして、部分領域ごとにその距離情報に応じて異なるぼけカーネルを畳み込む等の処理を行うことで、ぼけを強調した画像を生成することができる。また、位相板を用いた撮像により得られた画像に対して距離分布情報に基づいたデコンボリューション等の画像復元を行って、復元された画像から距離分布情報に基づいて前述したようにぼけを強調した画像を生成することもできる。
【実施例２】
【００６０】
次に、実施例２について説明する。本実施例では、実施例１とは異なる方法で位相板を設計する。最適化手法としては最急降下法を用い、以下の式（８）に基づいて、位相板の位相のFringe Zernike展開係数Ｃｎを最適化する。なお、ｋは繰り返し計算のステップ数を表し、Fringe Zernike多項式は第３６項までを考慮する。
【００６１】
【数８】
2015175653.tif 000010
【００６２】
また、本実施例では更新のステップ幅ｓは−５０で一定とし、微分項は式５を用いて算出する。
【００６３】
図１２（ａ）には、このようにして設計した位相板の位相を示し、図１２（ｂ）には位相のFringe Zernike多項式の第３６項までのフィッテイング係数（以下、単に係数という）を示す。点像強度分布の各スポットが距離に応じて移動する方向が０°および９０°である本実施例では、Fringe Zernike多項式の第５，１２，２１，３２項が支配的であることが分かる。本実施例では、第３６項までの係数の絶対値の和に対して第５，１２，２１，３２項の係数の絶対値の和が１００％を占める。なお、これら各項の多項式を４５°回転させるとそれぞれ第６，１３，２２，３３項の多項式に一致し、例えば第５および第６項の線形結合から第５項を４５°以外の角度で回転させた多項式を生成できる。
【００６４】
ここで、点像強度分布の各スポットが距離に応じて移動する方向は必ずしも０°および９０°の方向である必要はない。このことから、一般的な場合にはFringe Zernike多項式の第５，６，１２，１３，２１，２２，３２，３３項が支配的であることが予測できる。第５および６項は非点収差に対応する。このため、光学素子２１０としては、これが生成する位相差をFringe Zernike多項式に展開したときの第５，６，１２，１３，２１，２２，３２，３３項の係数の絶対値の和が全項の係数の絶対値の和に占める割合が９０％以上である位相分布を持つ位相板が好適である。
【実施例３】
【００６５】
次に、実施例３について説明する。図１の撮像装置１００が蛍光顕微鏡である場合も、上述した距離情報取得処理を行うことができる。光学系２００としての結像光学系は、プレパラート上の試料（被写体）の光学像を撮像素子３００上に形成する。一般に、細胞間の物質の輸送やコロイドの物性の研究等において、単一粒子の軌跡を動的に観察する目的で蛍光顕微鏡による観察が行われている。本実施例では、試料中の着目する微細構造物を予め蛍光色素で染色した上で励起光を照明し、試料からの蛍光光を撮像する場合を想定する。従来の蛍光顕微鏡では１回の撮像で２次元の粒子配置しか判別できないため、３次元的な粒子配置を動的に把握するためには１枚の画像から各粒子の深さ方向の位置情報も同時に判別できることが必要である。
【００６６】
図１に示した装置構成において、３次元的な粒子配置を算出するために、蛍光顕微鏡の光学系（結像光学系）２００内に光学素子２１０が挿入される。対物レンズの実効開口数を１．３、液浸屈折率を１．５、蛍光光の波長を５１５ｎｍ、結像倍率を１００倍とし、図１３に示す点像強度分布を目標点像強度分布として実施例１と同じ方法で位相板を設計する。
【００６７】
図１４には、得られた位相板の位相分布をラジアン単位で示す。また、合焦位置に対する光軸方向の相対位置が−０．８μｍ，−０．４μｍ，０μｍ，０．４μｍ，０．８μｍにある点物体が位相板を用いた場合に形成する点像強度分布の計算結果を図１５に示す。この結果は、図１３の目標点像強度分布とよく一致している。
【００６８】
次に、このようにして得られた位相板を用いて試料を撮像して得られる入力画像の例とそれに対する距離情報取得処理のシミュレーション例を示す。試料としては、図１６（ａ）に示すように、直径１μｍの４つの円板が３次元的に異なる位置に散在しているモデルを用いる。図１６（ｂ）に示すように、光学系２００の合焦位置に対する各円板の光軸方向での相対位置は−０．４μｍ，−０．２μｍ，０．２μｍ，０．４μｍである。
【００６９】
図１５の点像強度分布の各スポットが理想的、すなわちデルタ関数であると仮定して、図１６の試料を位相板を用いて撮像して得られる入力画像のシミュレーション結果を図１７に示す。また、この入力画像に基づいて実施例１と同じ方法で距離情報取得処理を行った結果を図１８に示す。円板の周辺の位置に原理上発生する誤情報を除いて円板の中心位置に着目すれば、図１６（ｂ）の真の距離に近い値が得られている。
【００７０】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００７１】
本発明は、デジタルカメラ、蛍光顕微鏡、監視カメラ、ＩＴＳ等のデジタル撮像装置に応用できる。
【符号の説明】
【００７２】
１００  撮像装置
２００  光学系
２１０  光学素子
３００  撮像素子
４００  画像処理部
【図１】
2015175653.tif 000011
【図２】
2015175653.tif 000012
【図３】
2015175653.tif 000013
【図４】
2015175653.tif 000014
【図５】
2015175653.tif 000015
【図６】
2015175653.tif 000016
【図７】
2015175653.tif 000017
【図８】
2015175653.tif 000018
【図９】
2015175653.tif 000019
【図１０】
2015175653.tif 000020
【図１１】
2015175653.tif 000021
【図１２】
2015175653.tif 000022
【図１３】
2015175653.tif 000023
【図１４】
2015175653.tif 000024
【図１５】
2015175653.tif 000025
【図１６】
2015175653.tif 000026
【図１７】
2015175653.tif 000027
【図１８】
2015175653.tif 000028