(57)【特許請求の範囲】
【請求項１】
被写界深度拡張の対象となる拡張対象レンズ系と、
撮像手段と、
前記撮像手段のゲインを変調するゲイン変調手段と、
前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系と、物体側主点が前記第１のレンズ系の焦点距離に位置し、且つ、像側主点が前記第２のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系とを備えた深度拡張レンズ系と、
前記光学系の焦点距離制御と前記撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆の増減方向の第２のゲイン変調を行って一枚の第２の撮像画像を撮像する撮像制御部と、
前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する画像処理部と
を備えることを特徴とする被写界深度拡張システム。
【請求項２】
前記撮像手段を２つ備えるとともに、前記２つの撮像手段がそれぞれ個別の前記ゲイン変調手段に接続されており、前記深度拡張レンズ系と前記撮像手段との間にビーム分割手段を配置したことを特徴とする請求項１に記載の被写界深度拡張システム。
【請求項３】
被写界深度拡張の対象となる拡張対象レンズ系と撮像手段との間に、
前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系を配置するとともに、
物体側主点が前記第１のレンズ系の焦点距離の位置で、且つ、像側主点が前記第２のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、
前記撮像手段により前記光学系の焦点距離制御と前記撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆の増減方向の第２のゲイン変調を行って一枚の第２の撮像画像を撮像する工程と、
前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する工程と
を有する被写界深度拡張方法。
【請求項４】
前記第１の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる前記第１のゲイン変調を用いて撮像する工程であり、
前記第２の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる前記第２のゲイン変調で撮像する工程であることを特徴とする請求項３に記載の被写界深度拡張方法。
【請求項５】
前記被写界深度拡張画像を再構築する工程が、前記第１の撮像画像と前記第２の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
前記デコンボリューション処理する工程で用いるボケ回復関数が、単一のボケ回復関数であることを特徴とする請求項３または請求項４に記載の被写界深度拡張方法。
【請求項６】
前記被写界深度拡張画像を再構築する工程が、前記第１の撮像画像と前記第２の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
前記デコンボリューション処理する工程で用いるボケ回復関数が、前記距離画像をもとに被写体の物体距離に対応した距離依存性を有するボケ回復関数であることを特徴とする請求項３または請求項４に記載の被写界深度拡張方法。
【請求項７】
前記撮像手段として、第１の撮像手段と第２の撮像手段の２つの撮像手段を配置するとともに、前記第１の撮像手段を第１のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる前記第１のゲイン変調を行うと同時に、前記第２の撮像手段に第２のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる前記第２のゲイン変調を行い、１度の撮像工程において前記第１の撮像画像と前記第２の撮像画像を同時に取得することを特徴とする請求項３乃至請求項６のいずれか１項に記載の被写界深度拡張方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写界深度拡張システム及び被写界深度拡張方法に関するものであり、撮像装置を用いた撮像における被写界深度の拡張と、被写体までの距離の計測を可能にする技術に関する。
【背景技術】
【０００２】
撮像装置で撮像した画像内にある複数の物体全てにピントが合った画像を取得し、同時に画像内にある複数の物体までの距離がわかることは計測、ロボット制御或いは監視分野などさまざまな分野で有用である。
【０００３】
さまざまな距離にある物体全てにピントを合わせるためには、もっとも近い物体ともっとも遠い物体までの距離に比べて、被写界深度が十分に深い、即ち、被写体側におけるピントの合う範囲が広い必要がある。
【０００４】
しかし、被写界深度は使用するレンズと撮像素子の仕様によって原理的に決まってしまうため、特に高倍率が必要とされる工業分野において、しばしば必要な被写界深度が得られないといった状況が生じる。このような理由から、画像内にある物体までの距離を知ることができ、かつ通常の光学系より深い被写界深度を得ることが可能な技術が求められる。
【０００５】
図１７は、撮像装置から異なる距離にある複数の物体の撮像画像に関する概念的説明図であり、ここでは、撮像装置から異なる距離にある物体Ａ、物体Ｂ、物体Ｃを通常の光学系で撮像した場合の撮像画像を例として示している。
【０００６】
図に示すように被写界深度が各物体の近辺に合う程度の範囲である場合、物体Ｂの付近にピントを合わせて撮像すると、撮像画像ａ１のように物体Ｂのみにピントの合った画像が撮像される。なお、撮像画像の図において、ピントの合った状態を実線、ピントが合っていない状態を点線で示している。また、点線および実線が示すピント状態は点線上、実線上だけでなく、点線内部、実線内部の状態も表わすものとする。
【０００７】
一方、撮像装置から異なる距離にある複数の物体のそれぞれにピントを合わせて撮像する方法として、フォーカススタッキング法が知られている（例えば、特許文献１或いは非特許文献１参照）。これは、通常光学系より深い被写界深度をもつ画像、即ち、「被写界深度拡張像」と、画素ごとに物体までの距離を記録した画像、即ち、「距離画像」を取得する手法である。
【０００８】
図１８は、フォーカススタッキング法による画像処理の説明図であり、物体Ａ、物体Ｂ、物体Ｃのある位置にピント中心を移しながら複数枚の画像を取得する。この例では撮像画像は、ｂ１、ｂ２、ｂ３の３枚とする。
【０００９】
取得した３枚の画像から、ピントの合った画素を選択する画像処理を行うことで全体的にピントの合った、被写界深度拡張像Ｂ１を得ることができる。また、ピントの合った画素を３枚のうちどの画像から選択したかを記録しておくことで、距離画像Ｂ２を取得することができる。
【００１０】
この例における距離画像Ｂ２は、撮像装置に近いほど低い画素値で、即ち、暗く表現される。この例では物体位置が３種類しかないため、最低３か所のピント位置において合計３回の撮像を行うだけで良いが、一般的には多くのピント位置における撮像が必要となる。
【００１１】
或いは、１回の撮像で被写界深度拡張を行う手法も提案されている（例えば、非特許文献２参照）。図１９は、１回の撮像で被写界深度拡張を行う手法の説明図であり、撮像装置で１回の撮像を行う露光中に、ピント中心位置を物体Ａの位置から物体Ｃの位置まで走査して、撮像画像ｃ１を得る。
【００１２】
撮像画像ｃ１は物体位置によらずおよそ一定にぼけた画像が得られるため、それを画像処理することで全体にピントが合った被写界深度拡張像Ｃが得られる。なお、画像処理としては、通常、デコンボリューション処理を施すことになる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開平１０−２９０３８９号公報
【非特許文献】
【００１４】
【非特許文献１】Ｂ．Ｆｏｒｓｔｅｒ，Ｄ．Ｖａｎ Ｄｅ Ｖｉｌｌｅ，Ｊ．Ｂｅｒｅｎｔ，Ｄ．Ｓａｇｅ，Ｍ．Ｕｎｓｅｒ，  “Ｃｏｍｐｌｅｘ Ｗａｖｅｌｅｔｓ ｆｏｒ Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ−ｏｆ−Ｆｉｅｌｄ： Ａ Ｎｅｗ Ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ Ｆｕｓｉｏｎ ｏｆ Ｍｕｌｔｉｃｈａｎｎｅｌ Ｍｉｃｒｏｓｃｏｐｙ Ｉｍａｇｅｓ”，Ｍｉｃｒｏｓｃ．Ｒｅｓ．Ｔｅｃｈ．，６５（１−２），ｐｐ．３３−４２，Ｓｅｐｔｅｍｂｅｒ ２００４
【非特許文献２】Ｈ．Ｎａｇａｈａｒａ，Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，Ｃ．Ｚｈｏｕ，ａｎｄ Ｓ．Ｋ．Ｎａｙａｒ，“Ｆｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ”， Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＥＣＣＶ），Ｏｃｔ，２００８
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかし、フォーカススタッキング法の場合には、被写界深度拡張像Ｂ１と距離画像Ｂ２を得るためには複数の撮像が必要なため時間がかかるという問題がある。また、図１９に示した手法の場合には、距離画像を得ることができないという問題がある。
【００１６】
したがって、本発明は、高速に被写界深度を拡張するとともに、距離画像を得ることを可能にすることを目的とする。
【課題を解決するための手段】
【００１７】
開示する一観点からは、被写界深度拡張の対象となる拡張対象レンズ系と、撮像手段と、前記撮像手段のゲインを変調するゲイン変調手段と、前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系と、物体側主点が前記第１のレンズ系の焦点距離に位置し、且つ、像側主点が前記第２のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系とを備えた深度拡張レンズ系と、前記光学系の焦点距離制御と前記撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆の増減方向の第２のゲイン変調を行って一枚の第２の撮像画像を撮像する撮像制御部と、前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する画像処理部とを備えることを特徴とする被写界深度拡張システムが提供される。
【００１８】
また、開示する別の観点からは、被写界深度拡張の対象となる拡張対象レンズ系と撮像手段との間に、前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系を配置するとともに、物体側主点が前記第１のレンズ系の焦点距離の位置で、且つ、像側主点が前記第２のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、前記撮像手段により前記光学系の焦点距離制御と前記撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆の増減方向の第２のゲイン変調を行って一枚の第２の撮像画像を撮像する工程と、前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する工程とを有する被写界深度拡張方法が提供される。
【発明の効果】
【００１９】
開示の被写界深度拡張システム及び被写界深度拡張方法によれば、高速に被写界深度を拡張するとともに、距離画像を得ることが可能になる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態の被写界深度拡張方法のフローチャートである。
【図２】本発明の実施の形態の画像撮像工程の説明図である。
【図３】本発明の実施の形態の距離画像の構築工程の説明図である。
【図４】本発明の実施の形態の被写界深度拡張画像の再構築工程の説明図である。
【図５】本発明の実施例１の被写界深度拡張方法を実施するための被写界深度拡張システムの構成説明図である。
【図６】液体レンズの焦点距離の変動原理の説明図である。
【図７】距離画像の構築結果の説明図である。
【図８】被写界深度拡張像の再構築結果の説明図である。
【図９】ボケ量の物体位置依存性の説明図である。
【図１０】本発明の実施例２の被写界深度拡張方法のフローチャートである。
【図１１】ピント走査範囲の説明図である。
【図１２】ボケ回復関数ｈの概念的説明図である。
【図１３】積算ボケ回復関数テーブルの説明図である。
【図１４】ボケ回復関数のシミュレーション例の説明図である。
【図１５】ステップ３′ｂからステップ４ｂの詳細を示すフロー図である。
【図１６】デコンボリューション工程における各画像を示した説明図である。
【図１７】撮像装置から異なる距離にある複数の物体の撮像画像に関する概念的説明図である。
【図１８】フォーカススタッキング法による画像処理の説明図である。
【図１９】１回の撮像で被写界深度拡張を行う手法の説明図である。
【発明を実施するための形態】
【００２１】
ここで、図１乃至図４を参照して、本発明の実施の形態の被写界深度拡張方法を説明する。図１は、本発明の実施の形態の被写界深度拡張方法のフローチャートであり、図２乃至図４は、各工程における画像の説明図である。
【００２２】
まず、ステップ１（Ｓ１）として、図２（ａ）に示すように、第１の撮像手段により深度拡張レンズ系の焦点距離制御と第１の撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像ｄ１を取得する。具体的には、撮像のための露光中に、ピント中心位置を物体Ａの位置から物体Ｃの位置まで走査し、それと同時に撮像手段のゲインを弱ＧＬから強ＧＨに連続的に変調させて撮像画像ｄ１を取得する。
【００２３】
なお、図における点線の太さは撮像画像のぼけ具合を示し、点線が太いほどぼけが少ない状態を表している。撮像画像ｄ１に関して詳しい説明を以下で行う。撮像画像ｄ１における物体Ａに注目すると、物体Ａのピント状態が最も良い位置（ピント位置Ａ）でゲインが最も低く、ピント状態が最も悪い位置（ピント位置Ｃ）でゲインが最も高い。したがって、撮像画像ｄ１において物体Ａは大きくぼけた状態で撮像される。
【００２４】
次に、撮像画像ｄ１の物体Ｃに注目すると物体Ｃのピント状態が最も悪い位置（ピント位置Ａ）でゲインが最も低く、ピント状態が最も良い位置（ピント位置Ｃ）でゲインが最も高い。したがって、撮像画像ｄ１において物体Ｃは最もピントの合った状態で撮像される。
【００２５】
また、図２（ｂ）に示すように、第２の撮像手段により深度拡張レンズ系の焦点距離制御と第１のゲイン変調とは逆の増減方向の第２のゲイン変調とを同期して行い長時間露光により一枚の第２の撮像画像ｄ２を取得する。具体的には、撮像のための露光中に、ピント中心位置を物体Ａの位置から物体Ｃの位置まで走査し、それと同時に撮像手段のゲインを強ＧＨから弱ＧＬに連続的に変調させて撮像画像ｄ２を取得する。なお、撮像画像ｄ２は撮像画像ｄ１と反対に、物体Ａが最もピントが合い、物体Ｃが最もぼけた状態で撮像される。
【００２６】
この場合の第１のゲイン変調と第２のゲイン変調は図２に示すセンサゲインとピント位置との関係のように、線形変調することが望ましい。また、第１の撮像画像ｄ１と第２の撮像画像ｄ２は２つのイメージセンサ等の２つの撮像手段を用いるとともに、深度拡張レンズ系からの光をビーム分割手段で２分割して同時に取得することが望ましい。
【００２７】
次に、距離画像構築のために、ステップ２ａ（Ｓ２ａ）として、図３に示すように、撮像画像ｄ１からピント評価画像ν１を算出するとともに、撮像画像ｄ２からピント評価画像ν２を算出する。各ピント評価画像は各撮像画像の画素ごとに、ピントがどの程度合っているかを画像上にマップしたデータである。ピント評価値としては注目画素を中心とした分散値などを使用する。
【００２８】
例えば、画像の分散値はピントがぼけるほどピントの合ったときの元の分散値に対して値が小さくなる。したがって、図３に示すピント評価画像ν１、ν２においては、ピントが合っている画素ほど明るく、即ち、大きな値で表示される。
【００２９】
次に、ステップ３ａ（Ｓ３ａ）として、距離情報を算出する。ここで、ピント評価画像がどちらか一つだけしか得られない場合を考えると、ピント評価値から物体の距離を推定することは難しい。なぜなら、物体にピントが合った時の元の分散値、即ち、基準の分散値が画素毎に異なるからである。そこで、距離画像取得のため撮像時のゲイン変調方向が異なる２つのピント評価画像ν１、ν２を使用する。
【００３０】
具体的にはピント評価画像ν１とピント評価画像ν２の差分（ν２−ν１）をピント評価画像ν１とピント評価画像ν２の和（ν２＋ν１）で正規化することで距離情報を取得する。例えば、ピント評価画像ν１のピント評価値はカメラに近い物体ほど小さく、遠い物体ほど大きくなる。逆に、ピント評価画像ν２のピント評価値はカメラに近い物体ほど大きく、遠い物体ほど小さくなる。
【００３１】
したがって、ν１とν２の差分（ν２−ν１）をとった時の符号から物体のおおよその距離が判定できる。即ち、差分（ν２−ν１）が正の場合、物体は中心の物体Ｂよりカメラ寄りであり、差分（ν２−ν１）が負の場合、物体は中心の物体Ｂよりカメラから離れていることが分かる。また、差分（ν２−ν１）がゼロ付近の場合、物体は物体Ｂ付近にあることがわかる。
【００３２】
但し、差分のみの場合、先にも述べた分散値の基準値が画素毎に異なるため、物体がＢからどれだけ離れているかは正確に判定できない。しかし、ピント評価画像ν１とピント評価画像ν２の和（ν２＋ν１）で正規化することで、分散値の基準値補正が可能となり、物体の正確な位置が推定可能となる。
【００３３】
次に、ステップ４ａ（Ｓ４ａ）として、（ν２−ν１）／（ν２＋ν１）の値を画素毎に関数ｆとして、適当な変換を施すことでｆ｛（ν２−ν１）／（ν２＋ν１）｝によって距離画像変換を行う。即ち、ピント評価量の差をピント評価量の和で割った値は物体のカメラからの距離情報を持つので、適当な変換を施すことで距離画像を算出することができる。
【００３４】
なお、関数ｆとしては、例えば、単純な線形変換になる内挿法を用いて、
{（ｙｍａｘ−ｙｍｉｎ）（ｘ−ｘｍｉｎ）｝／（ｘｍａｘ−ｘｍｉｎ）＋ｙｍｉｎ
としても良い。但し、ｙｍａｘ，ｙｍｉｎはそれぞれのピント走査の最も遠い位置と近い位置であり、ｘｍａｘ，ｘｍｉｎはそれぞれｙｍａｘ，ｙｍｉｎにおける（ν２−ν１）／（ν２＋ν１）の値である。或いは、関数ｆとして、（ν２−ν１）／（ν２＋ν１）の値とピント位置に対応したルックアップテーブルを最初に実測で求めておいても良い。
【００３５】
最後に、ステップ５ａ（Ｓ５ａ）として、ｆ｛（ν２−ν１）／（ν２＋ν１）｝の計算結果に基づいて距離画像Ｄ２を構築する。このように、２種類のゲイン変調をピント走査の中間位置（物体Ｂの位置）を中心に対称となるようにしているので、物体Ｂの位置で（ν２−ν１）がゼロとなり、物体Ｂの位置を基準とした絶対的な位置推定が可能である。
【００３６】
一方、被写界深度拡張像を再構築するためには、図４に示すように、ステップ２ｂ（Ｓ２ｂ）として、撮像画像ｄ１と撮像画像ｄ２を平均して（ｄ１＋ｄ２）／２からなる中間画像ｄ３を得る。即ち、２種類のゲイン変調がピント走査の中間位置（物体Ｂの位置）を中心に対称となっている場合、撮像画像ｄ１と撮像画像ｄ２の平均をとることで、中間画像ｄ３は一定のゲインで撮像した場合と同等の画像を得ることができる。
【００３７】
次いで、ステップ３ｂ（Ｓ３ｂ）として、中間画像ｄ３に対してデコンボリューション処理を施す。このデコンボリューション処理においてはガウシアン関数などで近似したボケ関数で逆変換する。
【００３８】
最後に、ステップ４ｂ（Ｓ４ｂ）として、デコンボリューション処理の結果に基づいて被写界深度拡張像Ｄ１を再構築する。即ち、通常の撮像画像は実像にボケ関数が畳み込まれた画像となるので、撮像画像に対してボケ関数を逆操作すると実像が得られる。
【００３９】
このように、本発明の実施の形態においては、イメージセンサ等の撮像手段とゲイン変調回路を２組用意し、１回の撮像で撮像画像ｄ１および撮像画像ｄ２を得ることで、１回の撮像で距離画像Ｄ２および被写界深度拡張画像Ｄ１を得ることが可能となる。
【００４０】
なお、上記の実施の形態では、ピント走査を行いながらゲイン変調を行う例を示したが、ゲインの代わりに照明強度を変調しても良いし、色ごとに照明強度を変えてそれぞれ対応するセンサを用意するなどしても良い。
【００４１】
なお、ステップ３ｂ（Ｓ３ｂ）では、中間画像ｄ３に対して単一のボケ関数を用いてデコンボリューション処理を施している。これは、前述したようにピントを走査しながら長時間露光して得ることができる撮像画像ｃ１は物体位置によらずおよそ一定にぼけた画像が得られるという事実に基づいている。しかしながら厳密にはピント走査により蓄積されるぼけ量は物体距離に応じて異なっている。
【００４２】
そこで、より正確な被写界深度拡張画像Ｄ１を得るためには、単一のボケ関数ではなく、距離依存性を有するボケ関数を用いることが望ましい。このような距離依存性を有するボケ関数は、解析或いはシミュレーションにより求めることができる。
【実施例１】
【００４３】
次に、図５乃至図８を参照して、本発明の実施例１の被写界深度拡張方法を説明する。
図５は、本発明の実施例１の被写界深度拡張方法を実施するための被写界深度拡張システムの構成説明図であり、撮像部１０と、拡張対象レンズ系２０と、両者の間に介挿された深度拡張レンズ系３０を備えている。撮像部１０及び深度拡張レンズ系３０はタイミング制御回路４０に接続され、このタイミング制御回路４０は、ＰＣ或いはＣＰＵからなる制御部５０の指令により制御される。
【００４４】
撮像部１０はビームスプリッタ１１を備えており、ビームスプリッタ１１の光分割方向に面してそれぞれ一つのイメージセンサ１２１，１２２を設ける。イメージセンサ１２１，１２２はＣＣＤ型のイメージセンサでもＣＭＯＳ型のイメージセンサでも良い。また、イメージセンサ１２１，１２２はそれぞれゲイン変調回路４１１，４１２に接続されて露光時のゲインが制御される。
【００４５】
拡張対象レンズ系２０としては、テレセントリックレンズ、特に、両側テレセントリックレンズを用いることが望ましい。このテレセントリックレンズは、主光線がレンズの光軸に対して平行であるため、物体の位置が移動しても像の大きさが変わらないという特徴がある。また、立体的な検査対象物を検査する際に、視差による画像の歪がないという特長がある。
【００４６】
深度拡張レンズ系３０は、拡張対象レンズ系２０側に配置される第１のレンズ系３１と撮像部１０側に配置される第２のレンズ系３２と、外部信号により焦点距離を制御することが可能な液体レンズ３３とを備えている。この液体レンズ３３は、物体側主点が第１のレンズ系３１の焦点位置ｆ１になるように配置するとともに、像側主点が第２のレンズ系３２の焦点位置ｆ２になるように配置する。このような構成により、液体レンズ３３の焦点距離を変化させても、ピントがあった位置における倍率はｆ２／f１と一定となる。
【００４７】
この液体レンズ３３は、第１のレンズ系３１の絞りの位置に配置されるので、深度拡張レンズ系３０の開口部（アパーチャー）として機能することになり、深度拡張レンズ系３０の物体側がテレセントリックとなり、液体レンズ３３の焦点距離変化に対しても、またピント内外においても光学倍率が一定となる。
【００４８】
したがって、液体レンズ３３に液体レンズ駆動回路４２に接続して、印加する駆動電圧を変えることで、ピント内外を含めて光学倍率一定の状態で高速にピント位置の走査が可能となる。この液体レンズ３３に対して、液体レンズ駆動回路４２から駆動信号が送られて液体レンズ３３の焦点距離を制御する。それと同時に、タイミング制御回路４０に設けた同期制御部（図示は省略）の制御信号が撮像部１０にも送られて、液体レンズ３３の駆動と同期させてイメージセンサ１２１，１２２による露光を行う。
【００４９】
図６は、液体レンズの焦点距離の変動原理の説明図である。液体レンズ３３は、水層３４と油層３５との２層構造になっており、界面の状態を電圧で制御するものである。例えば、（１）の状態のように、油層３５が凸レンズ状になるように電圧を印加した場合には、ピント位置が最も遠くなる。逆に、（４）の状態のように、油層３５が凹レンズ状になるように電圧を印加した場合には、ピント位置が最も近くなる。このピント位置の変動は、液体レンズ３３の性能と第１のレンズ系３１の焦点距離にもよるが、１５ｍｍ程度の変動は可能である。
【００５０】
次に、図７及び図８を参照して、具体的な被写界深度拡張方法による結果を説明するが、手順は上記実施の形態で説明した手順と全く同様であるので、結果のみ図示する。図７は距離画像の構築結果の説明図であり、ゲインを弱から強に線形に変調して撮像画像ｄ１を取得するとともに、ゲインを強から弱に線形に変調して撮像画像ｄ２を取得する。
【００５１】
次いで、撮像画像ｄ１からピント評価画像ν１を算出するとともに、撮像画像ｄ２からピント評価画像ν２を算出する。次いで、ピント評価画像ν１とピント評価画像ν２の差分（ν２−ν１）をピント評価画像ν１とピント評価画像ν２の和（ν２＋ν１）を算出する。
【００５２】
次いで、（ν２−ν１）／（ν２＋ν１）の値を画素毎に関数ｆとして、適当な変換を施すことでｆ｛（ν２−ν１）／（ν２＋ν１）｝によって距離画像変換を行い、その計算結果に基づいて距離画像Ｄ２を構築する。この距離画像Ｄ２における値から、物体Ｂの位置を基準とした絶対的な位置推定が可能になる。
【００５３】
図８は、被写界深度拡張像の再構築結果の説明図であり、撮像画像ｄ１と撮像画像ｄ２を平均して（ｄ１＋ｄ２）／２からなる中間画像ｄ３を得る。次いで、中間画像ｄ３に対してデコンボリューション処理を施し、デコンボリューション処理の結果に基づいて被写界深度拡張像Ｄ１を再構築する。このような操作により全体的にピントの合った全体像が得られ、これを距離画像と合わせて評価すると、計測、ロボット制御或いは監視分野において有用な画像情報となる。
【実施例２】
【００５４】
次に、図９乃至図１５を参照して、本発明の実施例２の被写界深度拡張方法を説明するが、デコンボリューション工程に用いるボケ関数が異なるだけで、システム構成及び撮像方法自体は上記の実施例１と同様である。図９は、ボケ量の物体位置依存性の説明図であり、各物体位置Ａ、Ｂ、Ｃ位置に記載した楕円は各物体位置におけるボケの大きさを模式的に示したものである。
【００５５】
図９に示すように、物体位置Ａと物体位置Ｃの蓄積されるぼけ量を比較すると物体位置Ｃの方が大きいことがわかる。被写界深度拡張画像の精度をより高めるためには単一のボケ関数ではなく、距離依存性を有するボケ関数を用いる必要がある。
【００５６】
この際、前述のように距離画像Ｄ２は既に算出しているので、被写界深度拡張画像を算出する際に、それぞれの距離画像Ｄ２からそれぞれの物体距離に応じたボケ回復関数を複数使用することでデコンボリューションを行えば良い。
【００５７】
図１０は、本発明の実施例２の被写界深度拡張方法のフローチャートである。図１に示したフローチャートに距離依存性を有するボケ回復関数を求める前処理工程を加え、デコンボリューション工程において、中間画像を物体位置に応じたボケ回復関数Ｈｊを用いて被写界深度拡張画像を再構築する。
【００５８】
即ち、まず、ステップ１（Ｓ１）として、実施例１と全く同様に、第１の撮像手段により深度拡張レンズ系の焦点距離制御と第１の撮像手段の第１のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像ｄ１を取得する。また、第２の撮像手段により深度拡張レンズ系の焦点距離制御と第１のゲイン変調とは逆の増減方向の第２のゲイン変調とを同期して行い長時間露光により一枚の第２の撮像画像ｄ２を取得する。
【００５９】
次に、距離画像構築のために、ステップ２ａ（Ｓ２ａ）として、実施例１と同様に、撮像画像ｄ１からピント評価画像ν１を算出するとともに、撮像画像ｄ２からピント評価画像ν２を算出する。
【００６０】
次に、ステップ３ａ（Ｓ３ａ）として、距離情報を算出する。ここでは、ピント評価画像ν１とピント評価画像ν２の差分（ν２−ν１）をピント評価画像ν１とピント評価画像ν２の和（ν２＋ν１）で正規化することで距離情報を取得する。
【００６１】
次に、ステップ４ａ（Ｓ４ａ）として、（ν２−ν１）／（ν２＋ν１）の値を画素毎に関数ｆとして、適当な変換を施すことでｆ｛（ν２−ν１）／（ν２＋ν１）｝によって距離画像変換を行う。最後に、ステップ５ａ（Ｓ５ａ）として、ｆ｛（ν２−ν１）／（ν２＋ν１）｝の計算結果に基づいて距離画像Ｄ２を構築する。
【００６２】
一方、被写界深度拡張像を再構築するために、ステップ２ｂ（Ｓ２ｂ）として、撮像画像ｄ１と撮像画像ｄ２を平均して（ｄ１＋ｄ２）／２からなる中間画像ｄ３を得る。
【００６３】
また、実施例２において追加した前処理として、ステップ２ｃ（Ｓ２c）において、物体距離ごとにボケ回復関数を予め計算する。ここでは、シミュレーションにより物体距離ごとにボケ回復関数ｈを求める。
【００６４】
図１１は、ピント走査範囲の説明図であり、ここでは、走査範囲をＮ分割した場合を説明する。ｊ番目の範囲にある物体に関する積算ボケ回復関数Ｈｊを
Ｈｊ＝Σｈ（ｘｉ，ｘｊ）（但し、ｉ＝1〜Ｎまでの和）
として表わす。ここで、ｈ（ｘｉ，ｘｊ）は、ｘｉをピント位置、ｘｊを物体位置とした場合のぼけ回復関数である。
【００６５】
図１２は、ボケ回復関数ｈの概念的説明図であり、それぞれのピント位置に対して、それぞれのボケ関数が計算される。なお、ここでは、３つのピント動作範囲として説明する。
【００６６】
ステップ３ｃ（Ｓ３ｃ）として、積算ボケ回復関数を物体距離ごとにテーブル化する。図１３は、積算ボケ回復関数テーブルの説明図であり、物体位置（ｘｊ）がＡ、Ｂ，Ｃのボケ回復関数ＨＡ，ＨＢ，ＨＣは、それぞれ、
ＨＡ＝ｈ（Ａ，Ａ）＋ｈ（Ｂ，Ａ）＋ｈ（Ｃ，Ａ）
ＨＢ＝ｈ（Ａ，Ｂ）＋ｈ（Ｂ，Ｂ）＋ｈ（Ｃ，Ｂ）
ＨＣ＝ｈ（Ａ，Ｃ）＋ｈ（Ｂ，Ｃ）＋ｈ（Ｃ，Ｃ）
として、テーブル化される。
【００６７】
図１４は、ボケ回復関数のシミュレーション例の説明図である。左側は各ボケ回復関数ｈの光学パターンを示す図であり、中央の図は、積算ボケ回復関数Ｈの光学パターンを示す図であり、右側の図は、積算ボケ回復関数Ｈの中心線に沿った強度分布プロファイルである。なお、強度分布プロファイルは縦軸を対数スケールで示している。このシミュレーション例の場合には、ＡとＣについて明確な差は現れていないが、ＡとＢとの差或いはＣとＢとの差は強度分布プロファイルから明らかである。
【００６８】
次いで、ステップ３ｂ（Ｓ３ｂ）のデコンボリューション処理の前に、ステップ３′ｂ（Ｓ３′ｂ）として、各画素の距離に応じた積算ボケ回復関数Ｈｊの選択工程を加える。次いで、ステップ３ｂ（Ｓ３ｂ）において、中間画像ｄ３に対して積算ボケ回復関数Ｈｊを用いてデコンボリューション処理を施す。最後に、ステップ４ｂ（Ｓ４ｂ）として、デコンボリューション処理の結果に基づいて被写界深度拡張像Ｄ１を再構築する。
【００６９】
図１５は、ステップ３′ｂからステップ４ｂの詳細を示すフロー図であり、まず、距離画像Ｄ２を用いて物体距離に応じて画素ごとに番号１からＮに分類する。なお、１からＮは図１１のピント走査範囲分けに対応している。次いで、中間画像ｄ３をＮ個の積算ぼけ回復関数Ｈ１からＨＮでデコンボリューション処理し、それぞれの結果を中間画像ｄ４ｊに保存する。
【００７０】
次いで、先に分類した番号に応じて中間画像ｄ４の画素値を選択し、被写界深度拡張画像Ｄ１として統合する。例えば、ある画素の分類番号がｊのときには被写界深度拡張画像Ｄ１における同画素値として、中間画像ｄ４ｊの画素値を採用する。
【００７１】
図１６は、デコンボリューション工程における各画像を示した説明図であり、図に示すように、分類番号が１の左側画素については、中間画像ｄ４１を選択し、分類番号が２の中央の画素については中間画像ｄ４２を選択し、分類番号が３の右側の画素については中間画像ｄ４３を選択して、被写界深度拡張画像Ｄ１として統合する。
【００７２】
このように、本発明の実施例２においては、デコンボリューション工程において、物体位置毎にボケ回復関数を設定しているので、より鮮明な被写界深度拡張画像Ｄ１を得ることができる。
【００７３】
なお、上記の実施例１及び実施例２においては、深度拡張レンズ系においては液体レンズを用いているが、液体レンズの代わりに液体レンズと同様に外部信号により焦点距離を制御することが可能な液晶レンズを用いても良い。また、上記の実施例１においては２つのセンサを用いているが、１つのセンサを用いてゲインを変えて２回撮像するようにしても良い。
【００７４】
ここで、実施例１及び実施例２を含む本発明の実施の形態に関して、以下の付記を付す。
（付記１）
被写界深度拡張の対象となる拡張対象レンズ系と、
撮像手段と、
前記撮像画像のゲインを変調するゲイン変調手段と、
前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系と、物体側主点が前記第１のレンズ系の焦点距離に位置し、且つ、像側主点が前記第２のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系とを備えた深度拡張レンズ系と、
前記光学系の焦点距離制御と前記撮像手段のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆向きのゲイン変調を行って一枚の第２の撮像画像を撮像する撮像制御部と、
前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する画像処理部と
を備えることを特徴とする被写界深度拡張システム。
（付記２）
前記光学系が、液体レンズを備えていることを特徴とする付記１に記載の被写界深度拡張システム。
（付記３）
前記撮像手段を２つ備えるとともに、前記２つの撮像手段がそれぞれ個別の前記ゲイン変調手段に接続されており、前記深度拡張レンズ系と前記撮像手段との間にビーム分割手段を配置したことを特徴とする付記１または付記２に記載の被写界深度拡張システム。
（付記４）
被写界深度拡張の対象となる拡張対象レンズ系と撮像手段との間に、
前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系を配置するとともに、
物体側主点が前記第１のレンズ系の焦点距離の位置で、且つ、像側主点が前記第２のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、
前記撮像手段により前記光学系の焦点距離制御と前記撮像手段のゲイン変調とを同期して行い長時間露光により一枚の第１の撮像画像として撮像するとともに、前記第１のゲイン変調とは逆向きのゲイン変調を行って一枚の第２の撮像画像を撮像する工程と、
前記第１の撮像画像及び前記第２の撮像画像から距離画像を構築するとともに、前記第１の撮像画像及び前記第２の撮像画像と距離画像から被写界深度拡張画像を再構築する工程と
を有する被写界深度拡張方法。
（付記５）
前記第１の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる第１のゲイン変調を用いて撮像する工程であり、
前記第２の撮像画像の撮像工程が、ピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる第２のゲイン変調で撮像する工程であることを特徴とする付記４に記載の被写界深度拡張方法。
（付記６）
前記距離画像を構築する工程が、前記第１の撮像画像と前記第２の撮像画像から画素毎にピント評価値を求め、前記２つの撮像画像の同一画素におけるピント評価値の差分をピント評価値の和で正規化した値を基に、画像内にある物体の距離を算出する工程であることを特徴とする付記４または付記５に記載の被写界深度拡張方法。
（付記７）
前記被写界深度拡張画像を再構築する工程が、前記第１の撮像画像と前記第２の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
前記デコンボリューション処理する工程で用いるボケ回復関数が、単一のボケ回復関数であることを特徴とする付記４乃至付記６のいずれか１に記載の被写界深度拡張方法。
（付記８）
前記被写界深度拡張画像を再構築する工程が、前記第１の撮像画像と前記第２の撮像画像の平均をとって得られる中間画像をデコンボリューション処理する工程であり、
前記デコンボリューション処理する工程で用いるボケ回復関数が、前記距離画像をもとに被写体の物体距離に対応した距離依存性を有するボケ回復関数であることを特徴とする付記４乃至付記６のいずれか１に記載の被写界深度拡張方法。
（付記９）
前記撮像手段として、第１の撮像手段と第２の撮像手段の２つの撮像手段を配置するとともに、前記第１の撮像手段を第１のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、前記撮像手段のゲインを最小から最大に線形変化させる第１のゲイン変調を行うと同時に、前記第２の撮像手段に第２のゲイン変調手段によりピント走査の初期位置から最終位置に至る間に、ゲインを最大から最小に線形変化させる第２のゲイン変調を行い、１度の撮像工程において前記第１の撮像画像と前記第２の撮像画像を同時に取得することを特徴とする付記４乃至付記８のいずれか１に記載の被写界深度拡張方法。
【符号の説明】
【００７５】
１０  撮像部
１１  ビームスプリッタ
１２１，１２２  イメージセンサ
２０  拡張対象レンズ系
３０  深度拡張レンズ系
３１  第１のレンズ系
３２  第２のレンズ系
３３  液体レンズ
３４  水層
３５  油層
４０  タイミング制御回路
４１１，４１２  ゲイン変調回路
４２  液体レンズ駆動回路
５０  制御部
【図１】
0005900049.tif 000002
【図２】
0005900049.tif 000003
【図４】
0005900049.tif 000004
【図５】
0005900049.tif 000005
【図６】
0005900049.tif 000006
【図９】
0005900049.tif 000007
【図１０】
0005900049.tif 000008
【図１１】
0005900049.tif 000009
【図１２】
0005900049.tif 000010
【図１３】
0005900049.tif 000011
【図１５】
0005900049.tif 000012
【図１７】
0005900049.tif 000013
【図１９】
0005900049.tif 000014
【図３】
0005900049.tif 000015
【図７】
0005900049.tif 000016
【図８】
0005900049.tif 000017
【図１４】
0005900049.tif 000018
【図１６】
0005900049.tif 000019
【図１８】
0005900049.tif 000020