(57)【要約】【課題】被写体距離が大きく異なる場合でも、好適な距離推定を行い得る距離測定装置おの実現を課題とする。【解決手段】距離測定装置は、被写体からの物体光を入射させる撮像レンズ１と、撮像レンズ１を透過した物体光が入射するレンズアレイ２と、レンズアレイ２を通過した光を受光して、画像情報を出力する撮像素子５と、被写体までの距離推定を行なう演算装置６と、を有し、レンズアレイ２は、焦点距離を可変できるマイクロレンズ３を２次元配列してなり、撮像素子５は、マイクロレンズ３の個々に対応して複数の受光素子を有し、演算装置６は、画像情報に基づき距離推定を行なうものであることを特徴とする。【選択図】図１
2014016309.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの物体光を入射させる撮像レンズと、
この撮像レンズを透過した物体光が入射するレンズアレイと、
このレンズアレイを通過した光を受光して、画像情報を出力する撮像素子と、
前記被写体までの距離推定を行なう演算装置と、を有し、
前記レンズアレイは、焦点距離を可変できるマイクロレンズを２次元配列してなり、
前記撮像素子は、前記マイクロレンズの個々に対応して複数の受光素子を有し、
前記演算装置は、前記画像情報に基づき前記距離推定を行なうものであることを特徴とする距離測定装置。
【請求項２】
請求項１記載の距離測定装置において、
レンズアレイにおけるマイクロレンズの焦点距離を、個別に、もしくは複数のマイクロレンズのグループ単位で変更可能であることを特徴とする距離測定装置。
【請求項３】
請求項１または２記載の距離測定装置において、
レンズアレイにおけるマイクロレンズの焦点距離を、距離推定の結果に基づいて変化させることを特徴とする距離測定装置。
【請求項４】
請求項１〜３の任意の１に記載の距離測定装置において、
距離測定開始時には、レンズアレイに、焦点距離の異なるマイクロレンズが混在され、距離測定後、推定結果に応じて前記マイクロレンズの焦点距離を変化させることを特徴とする距離測定装置。
【請求項５】
請求項１〜４の任意の１に記載の距離測定装置において、
焦点距離を変化させることのできるマイクロレンズをエレクトロウェッティングレンズとしたことを特徴とする距離測定装置。
【請求項６】
請求項１〜５の任意の１に記載の距離測定装置において、
焦点距離に対応した距離推定を行う演算装置が、撮像素子の撮像画像に基づきマクロピクセル群の画像を介して、シフト量算出用の２次元画像を複数個抽出作成し、複数の２次元画像間のシフト量を算出する機能と、
シフト量と撮像距離との対応関係を、複数の焦点距離ごとに予め定めたルックアップテーブルを参照して、前記算出したシフト量により距離推定を行なう機能と、を有することを特徴とする距離測定装置。
【請求項７】
請求項１〜６の任意の１に記載の距離測定装置において、
焦点距離に対応した距離推定を行う演算装置が、撮像素子の撮像画像に基づきマクロピクセル群の画像を介して、シフト量算出用の２次元画像を複数個抽出作成し、複数の２次元画像間のシフト量を算出する機能と、
シフト量と撮像距離との対応関係を、複数の焦点距離ごとに予め定めた推定式を参照して、前記算出したシフト量により距離推定を行なう機能と、を有することを特徴とする距離測定装置。
【請求項８】
請求項１記載の距離測定装置を用いる距離測定方法であって、
各マイクロレンズに対応する複数の受光素子の出力によりマクロピクセルを得、このマクロピクセルとその周囲のマクロピクセルとにより構成されるマクロピクセル群から、シフト量算出用の２次元画像を複数個抽出作成する工程と、
抽出作成された複数の２次元画像のシフト量を、パターンマッチングにより算出する工程と、
マイクロレンズの焦点距離に応じて、予め定められたシフト量と撮像距離の関係に基づいて、撮像距離を推定する工程を、有することを特徴とする距離測定方法。
【請求項９】
請求項８記載の距離測定方法において、
マイクロレンズの焦点距離を所望の値に設定して、被写体の画像情報の取り込みを行なうことを特徴とする距離測定方法。
【請求項１０】
請求項８または９記載の距離測定方法において、
推定された被写体距離に基づき、マイクロレンズの焦点距離を変更して、被写体の画像情報の取り込みを再度行なうことを特徴とする距離測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、距離測定装置および距離測定方法に関する。
【背景技術】
【０００２】
通常のカメラ光学系にレンズアレイを組込んだ「プレノプティックカメラ」で取得したライトフィールド情報から被写体距離を推定することが知られている。  
即ち、特許文献１、非特許文献１には「プレノプティックカメラの構成により被写体距離を測定する装置」が開示されている。  
このような距離測定装置は、工業用ロボットの「ワークの距離の測定」などに利用される。
【０００３】
これ等の文献に記載の装置は、レンズアレイを構成するマイクロレンズが固定焦点距離であるため「好適な結果が得られる被写体距離の範囲」が十分に広いとは言いがたい。
【０００４】
非特許文献２には、レンズアレイを「焦点距離の異なるマイクロレンズ」で構成することにより、測定可能な被写体距離の範囲を拡大することが記載されている。
【０００５】
しかし、この場合も、レンズアレイを構成する個々のマイクロレンズの焦点距離は固定されているため、被写体距離の「測定範囲の拡大」には限度がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この発明は、被写体距離が大きく異なる場合でも、好適な距離推定を行い得る距離測定装置および距離測定方法の実現を課題とする。
【課題を解決するための手段】
【０００７】
この発明の距離測定装置は、被写体からの物体光を入射させる撮像レンズと、この撮像レンズを透過した物体光が入射するレンズアレイと、このレンズアレイを通過した光を受光して、画像情報を出力する撮像素子と、被写体までの距離推定を行なう演算装置と、を有し、レンズアレイは、焦点距離を可変できるマイクロレンズを２次元配列してなり、撮像素子は、マイクロレンズの個々に対応して複数の受光素子を有し、演算装置は、画像情報に基づき距離推定を行なうものであることを特徴とする。
【０００８】
この発明の距離測定方法は、上記距離測定装置を用いる距離測定方法であって、各マイクロレンズに対応する複数の受光素子の出力によりマクロピクセルを得、このマクロピクセルとその周囲のマクロピクセルとにより構成されるマクロピクセル群から、シフト量算出用の２次元画像を複数個抽出作成する工程と、抽出作成された複数の２次元画像のシフト量を、パターンマッチングにより算出する工程と、マイクロレンズの焦点距離に応じて、予め定められたシフト量と撮像距離の関係に基づいて、撮像距離を推定することを特徴とする。
【発明の効果】
【０００９】
この発明の距離測定装置・距離測定方法では、上記の如く、レンズアレイにおけるマイクロレンズの焦点距離を調整できる。  
従って、被写体距離が大きく異なる場合でも「被写体距離に適した焦点距離」を設定することにより好適な距離推定が可能である。
【図面の簡単な説明】
【００１０】
【図１】距離測定装置の実施の１形態を説明するための図である。
【図２】マクロピクセル群から２次元画像の抽出・形成を説明するための図である。
【図３】シフト量を有する２つの２次元画像を説明するための図である。
【図４】シフト量と被写体距離の関係を２例示す図である。
【図５】距離測定の工程を説明するための図である。
【図６】距離測定装置の実施の別形態を説明するための図である。
【図７】マクロピクセル群から２次元画像の抽出・形成を説明するための図である。
【図８】別の距離測定の工程を説明するための図である。
【図９】演算装置の構成の１例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態を説明する。  
図１は、距離測定装置の構成を示している。
【００１２】
図１において、符号１は「撮像レンズ」、符号２は「レンズアレイ」、符号３は「マイクロレンズ」、符号５は「撮像素子」、符号６は「演算装置」を示す。  
図のような構成により「プレノプティックカメラ」を構築できる。
【００１３】
距離測定の対象となる被写体（図示されず）は、図１において撮像レンズ１の左方にある。被写体からの物体光は、撮像レンズ１に入射する。  
撮像レンズ１を透過した物体光はレンズアレイ２に入射し、これを通過した光は、撮像素子５に入射する。  
レンズアレイ２は、撮像レンズ１に対して所定の位置、例えば、撮像レンズ１の像側焦点面位置に合致して配置される。  
この場合、撮像レンズ１に対して「無限遠物体の像」がレンズアレイ２の位置に結像することになる。
【００１４】
撮像素子５は、入射する光に応じて「画像情報」を出力する。  
演算装置６は、撮像素子５が出力する画像情報を得て、被写体の距離推定を行なう。
【００１５】
演算装置６は、演算部としてＣＰＵ等のマイクロコンピュータを有し、各種の演算や制御を行なう。
【００１６】
レンズアレイ２を構成するマイクロレンズ３は焦点距離を変化させることができる。  
焦点距離を変化させ得るレンズは、従来から種々のものが知られている。  
図１のレンズアレイ２に用いられるマイクロレンズ３は「印加電圧を変化させて焦点距離を変化させるエレクトロウェッティングレンズ」である。
【００１７】
エレクトロウェティングレンズは、これに印加する印加電圧を変化させることにより、レンズ面の曲率半径を変化させることができ、これにより焦点距離を変化させる。
【００１８】
図１（ａ）は、マイクロレンズ３の焦点距離が大きい場合であり、図１（ｂ）はマイクロレンズ３の曲率半径を小さくして「小さい焦点距離」を実現した場合を示している。
【００１９】
個々のマイクロレンズ３と撮像素子５との間は「遮光壁」で互いに遮断され、１個のマイクロレンズ３を通過した光は、符号４で示す受光領域に入射する。
【００２０】
個々のマイクロレンズ３に対応する受光領域４は、複数の受光素子を有している。  
以下、撮像素子５から出力される画像情報を「ライトフィールド画像」と呼ぶ。  
勿論、ライトフィールド画像は、実際の可視的な画像ではなく、撮像素子５の各受光素子から出力される「配列された電気信号の集合」である。
【００２１】
混同の恐れはないと思われるので、以下、撮像素子５における各受光素子を「画素」と称することにする。  
なお、「画素」は、受光素子から出力される「電気信号」を意味する場合もある。
【００２２】
以下、ライトフィールド画像に基づいて被写体距離の推定を行なうプロセスを、簡略化したモデルを用いて説明する。
【００２３】
説明の簡単のために、１個のマイクロレンズ３に対する受光領域４に、４個の画素が割り当てられ、縦横に「２×２画素」で正方形配列しているものとする。
【００２４】
このとき、１つの受光領域４を構成する「２×２画素」の個々の電気信号の「２×２配列」をマクロピクセルと呼ぶ。  
混同の恐れは無いと思われるので、受光領域４を構成するマクロピクセルを「マクロピクセル４」と呼ぶことにする。
【００２５】
マクロピクセル４は、マイクロレンズ３と同数個存在している。  
次には、マクロピクセル４の集合から「マクロピクセル群」を求め、マクロピクセル群から「シフト量算出用の２次元画像」を複数個抽出作成する。
【００２６】
図２の左図は「マイクロピクセル群」を説明図的に示している。  
マクロピクセル群ＭＰＧは、９個のマクロピクセルを「３×３配列」に正方形配列して構成される。図の太線で囲まれた「２×２画素」の部分がマクロピクセルである。
【００２７】
この図のマクロピクセル群ＭＰＧは、特定のマクロピクセルを中央にして、これを８個のマクロピクセルで囲繞して構成されている。
【００２８】
次に、マクロピクセル群ＭＰＧから「シフト量算出用の２次元画像」を複数個抽出作成する。この２次元画像は「各画素の電気信号の配列を再配列」して得られる。  
図２の右図は、再配列の例を示している。  
即ち、２次元画像４０Ａは、マクロピクセル群ＭＰＧを構成する９個のマイクロピクセルの「左上の画素」を、マイクロピクセルの配列に従って「再配列」して得られる。
【００２９】
図２上図における９本の矢印は「再配列における画素の配列規則」を表している。
【００３０】
この場合は、各マクロピクセルの左上の受光素子の電気信号を再配列している。  
同様に、２次元画像４０Ｂは、マクロピクセル群ＭＰＧを構成する９個のマイクロピクセルの「右上の画素」を、マイクロピクセルの配列に従って「再配列」して得られる。
【００３１】
図２下図における９本の矢印は「再配列における画素の配列規則」を表している。
【００３２】
このような２次元画像を、複数個作成する。  
例えば、図２に示す２次元画像４０Ａ、４０Ｂを得る。
【００３３】
図３は、上記再配列により得られた「２つの２次元画像」を説明図的に示している。
【００３４】
これ等の２次元画像では「人物」が前景に、「木」が背景にあるが、前景の人物に対しては「視度」が大きく、背景の木に対する視度は小さい。
【００３５】
従って、上記の如き再配列の際に、視度の大きい人物は「大きく」ずれ、視度の小さい木は「小さく」ずれることが、図３から見て取れる。
【００３６】
若干補足すると、上に説明した例では、２次元画像を構成する画素の数は９画素で「３×３配列」である。  
マクロピクセルがより多い画素（例えば１０×１０画素）からなる場合は、マクロピクセルから１画素ずつ抜き出して再配列してもよい。  
あるいはまた、複数画素（例えば２×２画素）の「総和あるいは平均値」を算出して再配列してもよい。  
「総和あるいは平均値を再配列」すると、信号に対するノイズの比（ＳＮ比）を大きくできる。  
図２では、簡単のために、マクロピクセル群の数が９個と非常に少なく、再構成した２次元画像４０Ａ、４０Ｂの画素数も９画素である。
【００３７】
これは説明の簡単のためであり、実際には、レンズアレイを構成するマイクロレンズの数を多くすることで、画像として意味のあるものとする。
【００３８】
次に「再配列により作成した複数の２次元画像から被写体距離を推定する方法」について説明する。  
「被写体距離推定」は、マクロピクセルの異なる位置から再配列して作成した複数の２次元画像間のシフト量に基づき算出する。
【００３９】
図３に示した２つの２次元画像は、上に説明したように、図２のマクロピクセル群ＭＰＧを構成する９個のマクロピクセルから再構成した２つの２次元画像である。  
この場合のシフトの方向は横方向であり、図２の、各マクロピクセルの「左上の画素の再配列」と「右上の画素の再配列」による２次元画像である。
【００４０】
なお「左上画素の再配列と左下画素の再配列」の場合であれば、縦方向にシフトがあり、左上画素の再配列と右下画素の再配列の場合であれば「斜め方向にシフト」がある。  
これら２次元画像間のシフト量を、ブロックマッチング等のパターンマッチングにより求めて「シフト量に対応する画素数」を求め。これを距離に換算する。
【００４１】
図３に示す２次元画像の説明では、上記の如く、説明を簡単化するためにマクロピクセルの画素数を極端に単純化し「２×２画素」とした。  
このため、図４に示す２次元画像は、上の説明に従えば、９画素ということになるが、勿論実際には「ずっと多い画素数」で構成されることになる。
【００４２】
パターンマッチングの方法（アルゴリズム）は、従来から種々のものが知られており、シフト量を求めるのに、これ等公知の方法を適宜利用することができる。  
１例として「テンプレートマッチング」による画像処理の場合を簡単に説明する。
【００４３】
この説明においては、図３に示す２次元画像の画素数を、例えば、５００×５００画素程度であるとする。
【００４４】
図３の、２枚の２次元画像をもとに、例えば「被写体としての人物」に対する被写体距離を距離推定する場合であれば、人物部分のシフト量を求めることになる。
【００４５】
この場合は、例えば、図４の左図の２次元画像の、人物の顔の部分に「Ｎ×Ｍ画素のテンプレート」を設定する。図４の右図の２次元画像は「対象画像」とする。
【００４６】
このとき、テンプレートの位置：(ｉ，ｊ)における画素値（電気信号の値）を「Ｔ(ｉ，ｊ)」とし、テンプレートと重ね合わせた対象画像の画素値を「Ｉ(ｉ，ｊ)」とする。
【００４７】
このとき、これら「Ｔ(ｉ，ｊ)およびＩ(ｉ，ｊ)」を用いて、以下の２式の何れかを計算する。この計算を、演算装置６が行なうことは言うまでも無い。
【００４８】
ＲＳＳＤ＝ΣΣ｛Ｉ(ｉ，ｊ)―Ｔ(ｉ，ｊ)｝２        （式１）
ＲＳＡＤ＝ΣΣ｜Ｉ(ｉ，ｊ)―Ｔ(ｉ，ｊ)｜         （式２）
これ等の式における「２重和」は、何れも「ｉにつき、ｉ＝０からＮ−１まで」、「ｊにつき，ｊ＝０からＭ−１まで」取られる。
【００４９】
テンプレートと対象画像が最も良く合致するとき、式１、式２の値は最小になる。  
式１または式２の値が最小となるときの「ｉ」の値から、前記「横方向のシフト量」が画素単位で求まる。  
このシフト量と被写体距離は、一般的に「反比例」の関係にあるが、その具体的な関係は、距離測定装置の具体的な仕様による。
【００５０】
具体的な仕様とは、撮像レンズ１の焦点距離や開口数、レンズアレイ２におけるマイクロレンズの配列密度や焦点距離（基準値）、撮像素子５の画素密度や画素数等である。
【００５１】
そして「シフト量と被写体距離の関係」は、上記具体的な仕様に基づいて、予め、実験的に求めて「ルックアップテーブル」や「推定式」として定めることができる。
【００５２】
この発明においては、マイクロレンズの焦点距離を変化させることが出来るので、変化させる複数の焦点距離ごとに、上記ルックアップテーブルもしくは推定式を求めておく。
【００５３】
例えば、マイクロレンズの焦点距離として、長い場合と短い場合を考え、その各々について求めた「シフト量と被写体距離との関係」を図４に示す。
【００５４】
図４において、曲線５０は「焦点距離の長いマイクロレンズのレンズアレイを用いて撮影したマクロピクセルで作成した２次元画像間のシフト量」と被写体距離の関係を示す。
【００５５】
曲線５１は「焦点距離の短いマイクロレンズのレンズアレイを用いて撮影したマクロピクセルで作成した２次元画像間のシフト量」と被写体距離の関係である。
【００５６】
「焦点距離の長いマイクロレンズのレンズアレイによるマクロピクセル」から作成した２次元画像間のシフト量から、実線５０により被写体距離を推定できる。  
また、「焦点距離の短いマイクロレンズのレンズアレイによるマクロピクセル」から作成した２次元画像間のシフト量から、点線５１により被写体距離を推定できる。
【００５７】
図４の曲線５１、５２とも、シフト量と被写体距離が「反比例」の関係にあることを示している。
【００５８】
従って、推定式は、被写体距離を「ｄ」、シフト量（画素数）を「Ｐ」として、一般に
ｄ＝Ｋ／Ｐ
の如きものとなる。  
Ｋは上記「反比例」における比例定数であり、焦点距離が長い場合に対して「Ｋ１」、短い場合に比して「Ｋ２」とすれば、推定式は、焦点距離が長い場合について、
ｄ＝Ｋ１／Ｐ                          （３）
焦点距離が短い場合について、
ｄ＝Ｋ２／Ｐ                          （４）
となる。
【００５９】
例えば、標準的な被写体距離が１０００ｍｍで、Ｋ１＝５０００、Ｋ２＝３０００とすれば、焦点距離が長い場合の推定式（３）に応じて、ｄとＰの関係として、  
ｄ＝１０００          Ｐ＝５  
ｄ＝１１１１          Ｐ＝４．５  
ｄ＝１２５０          Ｐ＝４  
ｄ＝１４２９          Ｐ＝３．５  
ｄ＝１６６７          Ｐ＝３    
等々が得られる。
【００６０】
また、焦点距離が短い場合の推定式（４）に応じて、ｄとＰの関係として、
ｄ＝１０００          Ｐ＝３  
ｄ＝１２００          Ｐ＝２．５  
ｄ＝１５００          Ｐ＝２  
ｄ＝２０００          Ｐ＝１．５  
ｄ＝３０００          Ｐ＝１    
等々が得られる。
【００６１】
従って、これ等の値を「焦点距離」により区分けしてルックアップテーブルに記憶させ、得られたシフト量：Ｐに応じて被写体距離：ｄを探すようにすることができる。
【００６２】
あるいは、焦点距離の大小により推定式（３）または（４）を選択し、得られたシフト量：Ｐに応じて被写体距離：ｄを算出することができる。
【００６３】
被写体距離の測定に際しての、マイクロレンズの焦点距離調整を行なう場合として、２つのパターンが考えられる。
【００６４】
第１は、測定したい被写体距離が予め「ある程度わかっている」場合である。  
この場合は測定者が「マイクロレンズの焦点距離」を、測定対象の被写体距離に合わせて調整して距離測定を行ない、その結果に応じて「より好適な焦点距離」を再設定する。
【００６５】
そして、距離測定を繰り返す。この工程は、必要に応じて繰り返すことができ、繰り返すごとに測定の精度が向上していく。
【００６６】
上記「焦点距離の再設定」は、測定者が行なっても良いが、推定された被写体距離をフィードバックして制御することにより、より好適な焦点距離に設定してもよい。
【００６７】
即ち、距離測定装置が、上記フィードバックによる焦点距離再設定の機能を有していることができる。
【００６８】
第２は、被写体距離が不明の場合であり、このときは複数の焦点距離のレンズアレイを設定して距離測定を行なう。その結果、被写体距離が判明する。
【００６９】
より高い空間分解能で測定を行なう場合には、測定された被写体距離をフィードバックし、その被写体距離に対応した焦点距離に調整して、測定を繰り返す。
【００７０】
この場合も、距離測定装置が「フィードバックによる焦点距離再設定の機能」を有していることができる。
【００７１】
第１の場合の処理の流れを、図５に示す。  
測定対象である被写体距離は、凡その値が知られている。
【００７２】
ステップ：Ｓ１で「エレクトロウェッティングレンズの焦点距離」を制御する。この制御により、上記「凡そ知られた被写体距離」に適した焦点距離が設定される。
【００７３】
ステップ：Ｓ２では、前述の如くして「ラインフィールド画像」を取得する。
【００７４】
ステップ：Ｓ３で、マクロピクセル群から「複数の２次元画像」を作成する。  
ステップ：Ｓ４で、「複数の２次元画像間のシフト量を算出」する。
【００７５】
ステップ：Ｓ５で、「算出されたシフト量に対応する被写体距離を推定」する。
【００７６】
その後、必要に応じて、焦点距離の再設定から被写体距離の推定までのプロセスを繰り返すことができる。
【００７７】
上記第２の場合について、以下に説明する。  
この場合、測定対象としての被写体距離は「予め知られてはいない」ので、以下のような方法で測定を行なう。  
レンズアレイ２を構成するマイクロレンズ３は、エレクトロウェッティングレンズで焦点距離を変化させることができるが、焦点距離変化はマイクロレンズ単位で可能である。
【００７８】
そこで、レンズアレイ２に「焦点距離の異なるマイクロレンズを混在」させる。  
簡単のために「長い焦点距離のマイクロレンズ」と「焦点距離の短いレンズ」を、市松模様状に配列混在させる場合を説明する。
【００７９】
図６（ａ）に示す状態は測定開始時の状態であり「焦点距離の短いマイクロレンズ３」と「焦点距離の長いマイクロレンズ８」が市松模様に配列している。  
図７は、焦点距離の短いマイクロレンズ３の直下にあるマクロピクセルを中心とした９個のマイクロピクセルの「３×３配列」のマクロピクセル群１０を示している。  
太線で囲まれているのがマクロピクセルであり、それぞれのマクロピクセルが「２×２」の受光素子から成る。  
「白色のマクロピクセル」は、焦点距離の短いマイクロレンズ３の直下のマクロピクセルである。  
「灰色のマクロピクセル」は、焦点距離の長いマイクロレンズ８の直下のマクロピクセルである。  
焦点距離の長・短にそれぞれ対応する被写体距離を推定するために、それぞれのマクロピクセルの画素の電気信号を再配列して、２つの２次元画像１１、１２を作成する。
【００８０】
再配列方法を図中の矢印で示す。各マクロピクセルの同じ位置（図６の場合は左上）の画素をマクロピクセルの配列に従って再配列する。  
「再配列すべき電気信号のない部分１３」は「周囲の電気信号の値から補間」して求めることができる。  
マクロピクセルの「左上以外の位置」の画素の再配列も同様であり、図７の場合にはマクロピクセルが２×２画素で構成されている。  
従って、焦点距離の短いマイクロレンズ直下のマクロピクセルと、焦点距離の長いマイクロレンズ直下のマクロピクセルから「それぞれ４つの２次元画像」を作成できる。
【００８１】
焦点距離の異なるマイクロレンズで撮影したマクロピクセルから作成した２次元画像から被写体距離を推定する方法は、上に説明したのと同様である。  
即ち、焦点距離に対応したシフト量と被写体距離の関係（推定式あるいはルックップテーブルとして予め求めておく）を用いて、焦点距離ごとの被写体距離を推定する。
【００８２】
上記のように焦点距離の異なるマイクロレンズを、同一レンズアレイに同時に存在させることで「１度の撮影で広い被写体距離に対して好適な測定が可能」である。
【００８３】
図８に処理の流れを示す。
【００８４】
ステップ：Ｓ２１で「複数の焦点距離を持つようにレンズアレイを設定」する。  
即ち、レンズアレイに、長い焦点距離持つマイクロレンズと短い焦点距離を持つマイクロレンズが２次元的に混在した配列を設定する。
【００８５】
ステップ：Ｓ２１で「ライトフィールド画像を取得」する。  
ステップ：Ｓ２３で「焦点距離の異なるマイクロレンズを通過した光線を受光するマクロピクセル群から、それぞれ２次元画像を作成」する。
【００８６】
この部分は、図７に即して説明したとおりである。
【００８７】
ステップ：Ｓ２４で「２次元画像に含まれるシフト量を算出」する。  
ステップ：Ｓ２５で「シフト量から適切なシフト−距離関係を用いて、被写体距離を推定」する。
【００８８】
ステップ：Ｓ２６で「被写体距離：ｄ」が求まる。
【００８９】
ステップ：Ｓ２７で「このように求まった被写体距離：ｄの、より高精度の測定に適した焦点距離を設定」する。
【００９０】
図６（ｂ）はこの状態を示し、レンズアレイ２のマイクロレンズ３は、全て同一の焦点距離に設定されている。
【００９１】
その後、再設定された焦点距離で「ライトフィールド画像」を取り込み、マクロピクセル群を求め、これから「２次元画像」を作成するのがステップ：Ｓ２８である。
【００９２】
ステップ：Ｓ２９で「２次元画像に含まれるシフト量を差出」する。  
ステップ：Ｓ３０で「シフト量に基づき被写体距離を推定」する。
【００９３】
このようにして、予め知られていない被写体距離に対しても適正な距離測定が可能となり、被写体距離が大きく異なる場合でも、好適な距離推定を行うことができる。
【００９４】
この場合の「焦点距離の再設定」も測定者が行なっても良いが、推定された被写体距離をフィードバックして制御することにより、より好適な焦点距離に自動設定してもよい。
【００９５】
図９は、演算装置の構成の１例を示すブロック図である。
【００９６】
撮像レンズ１からレンズアレイ２を介して、撮像素子５に取り込まれた画像は、電気信号として出力され、Ａ／Ｄ変換器５１でデジタルの画像データに変換される。
【００９７】
タイミング信号発生器５５は、ＣＰＵ５６の指示に基づき、撮像素子５、Ａ／Ｄ変換器５１を動作させるためのタイミング信号を発生させる。  
画像処理回路５３は、画像データを一時的に格納し、ノイズ除去などの前処理を画像データに施して、ライトフィールド画像とする。  
ＲＯＭ５９には「当該装置を距離測定装置として機能させるためのプログラム」が格納されている。  
ＣＰＵ５６はＲＯＭ５９に格納されたプログラムを「ＲＡＭ５７を作業領域」として実行することにより、当該装置を距離測定装置として機能させる。  
処理の完了したデータは、メモリ５８に記録される。操作部６０はスイッチ、レバーおよびタッチパネル等により構成されている。処理結果はＬＣＤ５２上に表示される。
【００９８】
ドライバ６１はＣＰＵ５６の指示に基づき、レンズアレイ２のマイクロレンズ３の焦点距離を変化させる。
【００９９】
各部における「信号のやりとり」はバス７０を介して行なわれる。
【符号の説明】
【０１００】
１      撮像レンズ  
２      レンズアレイ  
３      マイクロレンズ  
４      マクロピクセル  
５      撮像素子  
６      演算装置      
【先行技術文献】
【特許文献】
【０１０１】
【特許文献１】特開２００９−２２９１２５号公報
【非特許文献】
【０１０２】
【非特許文献１】Adelson and Wang「Single Lens Stereo with a Plenoptic Camera」、IEEE Transactions on pattern analysis and machine intelligence, vol. 14, No. 2, February 1992.
【非特許文献２】Christian Perwas and Lennart Wietzke「Single lens 3D-camera with extended depth-of-field」
【図１】
2014016309.tif 000003
【図２】
2014016309.tif 000004
【図３】
2014016309.tif 000005
【図４】
2014016309.tif 000006
【図５】
2014016309.tif 000007
【図６】
2014016309.tif 000008
【図７】
2014016309.tif 000009
【図８】
2014016309.tif 000010
【図９】
2014016309.tif 000011