(57)【特許請求の範囲】
【請求項１】
被写界深度拡張の対象となる拡張対象レンズ系と、
撮像手段と、
前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系と、
物体側主点が前記第１のレンズ系の焦点距離に位置し、且つ、像側主点が前記第２のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系と、
前記光学系の焦点距離制御と撮像を同期して行い、前記深度拡張レンズ系のピント位置が連続的に変動している時間帯のみに連続露光により一枚の撮像画像として撮像する撮像制御部と、
前記撮像画像から被写界深度拡張画像を再構築する画像処理部と
を備えることを特徴とする実時間被写界深度拡張システム。
【請求項２】
前記光学系が、液体レンズを備えていることを特徴とする請求項１に記載の実時間被写界深度拡張システム。
【請求項３】
被写界深度拡張の対象となる拡張対象レンズ系と撮像手段との間に、
前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系を配置するとともに、
物体側主点が前記第１のレンズ系の焦点距離の位置で、且つ、像側主点が前記第２のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、  
前記撮像手段により前記光学系の焦点距離制御と撮像を同期して行い、前記深度拡張レンズ系のピント位置が連続的に変動している時間帯のみに連続露光により一枚の画像として撮像する工程と、
前記撮像画像から被写界深度拡張画像を再構築する工程と
を有する実時間被写界深度拡張方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実時間被写界深度拡張システム及び実時間被写界深度拡張方法に関するものであり、例えば、ＣＣＤカメラ等の撮像手段を用いてマシンビジョンシステム等に好適な倍率で被写界深度拡張画像を１フレームで取得するための手段に関するものである。
【背景技術】
【０００２】
工業分野において製品などを検査する際、ＣＣＤカメラやＣＭＯＳカメラで検査対象物を撮像し、その画像を元にして対象の検査を行うことが行われている。ここで、検査対象物の像を結像させるためのレンズにはピントの合う範囲が存在し、その範囲は一般的に被写界深度と呼ばれる。
【０００３】
凹凸が大きい検査対象物や、深さの異なる複数の検査対象物の検査を行う場合、被写界深度から外れた部分がボケてしまい、検査対象物の一部しか検査が行えないといった不都合が生じる。
【０００４】
光学的には同じレンズを使用して被写界深度を深くするためにはレンズのＦ値を上げれば良いが、Ｆ値を上げると暗くなり、また開口位置での光の回折により分解能が低下する場合がある。そのため、Ｆ値をそのままにして被写界深度を深くする方法が提案されている。
【０００５】
例えば、ソフト処理のみで行う方法としては深度合成法が知られている。これは、ピント位置が異なる深度の浅い複数の画像を撮像し、それら複数の画像からコントラスト情報を元に深度の深い１枚の画像を合成する方法である。
【０００６】
また、液晶レンズにより高速にピント位置を動かしながら、複数のピント位置画像を撮像し、それら複数画像から深度の深い１枚の画像を合成する方法も提案されている。この場合、液晶レンズにより高速なピント操作を行うことが可能である。
【０００７】
また、ＣＣＤセンサをピエゾアクチュエータで光軸方向に動かすことによるピント位置の移動中にＣＣＤセンサの露光を行って撮像した１枚の画像をデコンボリューション処理して深度の深い画像を得る方法も提案されている。この方式の場合、通常の露光時間で被写界深度を拡張できるため、明るさを犠牲にすることがない。
【０００８】
この方式では、撮像（露光）中の光学倍率変化は極力抑える必要がある。ＣＣＤセンサを動かす場合、ピント移動中の倍率変化を少なく抑えることができるとされている。ところで、ＣＣＤセンサを動かす方式の場合、被写界深度の拡張量ΔＺは光学倍率をＭ 、ＣＣＤセンサの移動量をΔｚとした場合、
ΔＺ＝Δｚ／Ｍ２
となる。したがって、通常の写真撮影で使用されるＭが小さい領域では、わずかのＣＣＤセンサの移動のみで大きな被写界深度拡張効果が得られる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−１０９６２５号公報
【非特許文献】
【００１０】
【非特許文献１】Ｈ. Ｎａｇａｈａｒａ, Ｓ. Ｋｕｔｈｉｒｕｍｍａｌ, Ｃ. Ｚｈｏｕ, ａｎｄ Ｓ．Ｋ．Ｎａｙar, “Ｆｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ” ，Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＥＣＣＶ）, Ｏｃｔ．, ２００８
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、上述の深度合成法の場合には、ピントの異なる画像を複数枚撮像する必要があることから、撮像に時間がかかるという問題がある。また、液晶レンズを用いる方法の場合には、実時間、例えば、ＣＣＤのフレームレート内で処理をするには、数十ミリ秒内に複数枚の画像を撮像する必要があり、１枚の画像に対する露光時間が短くなり画像が暗くなってしまうという問題がある。また、ピント移動の際に倍率変化が生ずるので、この倍率変化を撮像後の画像処理で補正する必要があるため、１フレームで被写界深度を拡張する方式に適用することができないという問題がある。
【００１２】
また、ＣＣＤセンサを移動させる方式の場合には、マシンビジョンでよく使用されるＭ＝１付近では、被写界深度拡張量ΔＺとＣＣＤセンサの移動量Δｚがほぼ同じとなる。例えば、Ｍ＝１,ＮＡ＝０．０２７のレンズの被写界深度はおよそ１．５ｍｍであり、数十ミリ秒で１．５ｍｍ以上の距離をピエゾステージで動かすのは困難である。このようにＣＣＤセンサを移動させた場合、マシンビジョンで必要な倍率での被写界深度を得ることが難しいという問題がある。
【００１３】
したがって、本発明は、マシンビジョンシステム等に好適な倍率で被写界深度拡張画像を１フレームで取得することを目的とする。
【課題を解決するための手段】
【００１４】
開示する一観点からは、被写界深度拡張の対象となる拡張対象レンズ系と、撮像手段と、前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像素子側に配置した第２のレンズ系を有する深度拡張レンズ系と、物体側主点が前記第１のレンズ系の焦点距離に位置し、且つ、像側主点が前記第２のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系と、前記光学系の焦点距離制御と撮像を同期して行い、前記深度拡張レンズ系のピント位置が連続的に変動している時間帯のみに連続露光により一枚の撮像画像として撮像する撮像制御部と、前記撮像画像から被写界深度拡張画像を再構築する画像処理部とを備えることを特徴とする実時間被写界深度拡張システムが提供される。
【００１５】
また、開示する別の観点からは、被写界深度拡張の対象となる拡張対象レンズ系と撮像素子との間に、前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像素子側に配置した第２のレンズ系を有する深度拡張レンズ系を配置するとともに、物体側主点が前記第１のレンズ系の焦点距離の位置で、且つ、像側主点が前記第２のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、前記撮像素子により前記光学系の焦点距離制御と撮像を同期して行い、前記深度拡張レンズ系のピント位置が連続的に変動している時間帯のみに連続露光により一枚の画像として撮像する工程と、前記撮像画像から被写界深度拡張画像を再構築する工程とを有する実時間被写界深度拡張方法が提供される。
【発明の効果】
【００１６】
開示の実時間被写界深度拡張システム及び実時間被写界深度拡張方法によれば、マシンビジョンシステム等に好適な倍率で被写界深度拡張画像を１フレームで取得することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態の実時間被写界深度拡張システムの構成説明図である。
【図２】光学系として液体レンズを用いた場合の焦点距離の変動原理の説明図である。
【図３】被写界深度拡張範囲の説明図である。
【図４】ピント位置と駆動電圧の相関と取得画像の説明図である。
【図５】本発明の実施例１の実時間被写界深度拡張システムの要部構成図である。
【図６】ピント位置と駆動電圧の相関の説明図である。
【図７】本発明の実施例１における露光タイミングの説明図である。
【発明を実施するための形態】
【００１８】
ここで、図１乃至図４を参照して、本発明の実施の形態の実時間被写界深度拡張システムを説明する。図１は、本発明の実施の形態の実時間被写界深度拡張システムの構成説明図であり、撮像素子１１を備えた撮像手段１０と拡張対象レンズ系２０と、両者の間に介挿された深度拡張レンズ系３０を備えている。
【００１９】
撮像手段１０は、画像回復処理部１２が接続されて、回復画像は画像表示部１３で表示される。撮像素子１１はＣＣＤ型の撮像素子でもＣＭＯＳ型の撮像素子でも良く、ＣＣＤ型の撮像素子を用いた撮像手段１０は、ＣＣＤカメラと呼ばれる。
【００２０】
拡張対象レンズ系２０としては、テレセントリックレンズ、特に、両側テレセントリックレンズを用いることが望ましい。このテレセントリックレンズは、主光線がレンズの光軸に対して平行であるため、物体の位置が移動しても像の大きさが変わらないという特徴がある。また、立体的な検査対象物を検査する際に、視差による画像の歪がないという特長がある。
【００２１】
深度拡張レンズ系３０は、拡張対象レンズ系２０側に配置される第１のレンズ系３１と撮像手段１０側に配置される第２のレンズ系３２と、光学系３３とを備えている。この光学系３３は、物体側主点Ｈ３が第１のレンズ系３１の焦点位置ｆ１になるように配置するとともに、像側主点Ｈ３′が第２のレンズ系３２の焦点位置ｆ２になるように配置する。このような構成により、光学系３３の焦点距離を変化させても、ピントがあった位置における倍率はｆ２／f１と一定となる。
【００２２】
この光学系３３は、第１のレンズ系３１の絞りの位置に配置されるとともに、外部信号により焦点距離を制御することが可能なレンズであり、例えば、液体レンズ或いは液晶レンズを用いる。このように、光学系３３を深度拡張レンズ系３０の開口部（アパーチャー）として機能させることによって、深度拡張レンズ系３０の物体側がテレセントリックとなり、光学系３３の焦点距離変化に対しても、またピント内外においても光学倍率が一定となる。
【００２３】
したがって、光学系３３に印加する駆動電圧を変えることで、ピント内外を含めて光学倍率一定の状態で高速にピント位置の走査が可能となる。
【００２４】
この光学系３３に対しては、光学系３３の特性データ１６を取得した同期制御部１４を介して光学系駆動部１５から駆動信号が送られて光学系３３の焦点距離を制御する。また、同期制御部１４の制御信号は撮像制御部１７にも送られて、光学系３３の駆動と同期した所定のタイミングで撮像素子１１の露光を制御する。
【００２５】
図２は、光学系として液体レンズを用いた場合の焦点距離の変動原理の説明図である。液体レンズ３４は、水層３５と油層３６との２層構造になっており、界面の状態を電圧で制御するものある。
【００２６】
例えば、（１）の状態のように、油層３６が凸レンズ状になるように電圧を印加した場合には、ピント位置が最も遠くなる。逆に、（４）の状態のように、油層３６が凹レンズ状になるように電圧を印加した場合には、ピント位置が最も近くなる。このピント位置の変動は、液体レンズ３４の性能と第１のレンズ系３１の焦点距離にもよるが、１５ｍｍ程度の変動は可能である。
【００２７】
図３は、被写界深度拡張範囲の説明図であり、光学系３３の焦点距離ｆ３を最大にした場合ｆ３ｍａｘと、最小にした場合ｆ３ｍｉｎとでは、ピント位置の変動Δｚは、
Δｚ＝ｆ１２（１／ｆ３ｍａｘ−１／ｆ３ｍｉｎ）
となる。ここで、拡張対象レンズ系２０の光学倍率をＭとすると、被写界深度拡張範囲ΔＺは、ΔＺ＝Δｚ／Ｍ２となる。
【００２８】
図４は、ピント位置と駆動電圧の相関と取得画像の説明図であり、図４（ａ）に示すように、駆動電圧を三角波状に周期的に変化させながら印加すると、多少のタイムラグΔｔをもってピント位置も同じように変化する。露光タイミングとしては、例えば、図に示すように、ピント位置が単調変化するタイミング、或いは、周期的波形の一周期分として、１フレームの画像を撮像する。
【００２９】
図４（ｂ）は、深度拡張レンズ系を用いない場合の１フレーム画像の概念的説明図であり、Ａ、Ｂ、Ｃという検査対象が深さ方向に配置されている場合で説明する。ここでは、Ａの位置にピントを合わせているので、Ｂ、Ｃの順で画像がボケることになる。図４（ｃ）は、本発明の深度拡張レンズ系を用いた場合の画像の概念的説明図であり、Ａ、Ｂ、Ｃのいずれも同じ程度にボケている。図４（ｄ）は、画像回復処理部で画像回復処理を行った画像の概念的説明図であり、Ａ、Ｂ、Ｃのいずれも明瞭な像、即ち、深い深度拡張画像が得られる。
【００３０】
このような、画像回復処理としては、例えば、デコンボリューション処理を行う。このデコンボリューション処理においてはガウシアン関数などで近似したボケ関数で逆変換する。
【００３１】
即ち、通常の撮像画像は実像とボケ関数を掛け合わせた画像となるので、撮像画像に対してボケ関数を逆操作すると実像が得られる。したがって、画像回復処理後に鮮明な画像を得るためには、撮像画像における各ピント位置におけるボケの程度が、図４（ｃ）に示したように同程度である必要がある。
【００３２】
上述のように、ピント位置が連続的に移動するタイミングで撮像素子１１の露光を行うことで、１フレームで均等にボケた画像が得られるので、デコンボリューション処理でボケを除去した画像は、各ピント位置で均等に鮮明な画像となる。なお、図４（ｂ）の画像に対してデコンボリューション処理を行っても各ピント位置で均等に鮮明な画像は得られない。
【００３３】
因みに、ｆ１＝３０ｍｍ、ｆ２＝２５ｍｍ、ｆ３＝−１５３ｍｍ〜８７ｍｍとしたところ、被写界深度の拡大量ΔＺはおよそ１７ｍｍとなる。したがって、拡張対象レンズ系２０の光学倍率Ｍが１倍、ＮＡ＝０．０２５であれば、Δｚは１７ｍｍの高速走査が可能である。これにより元の被写界深度（１．５ｍｍ）を１０倍に拡張することが可能である。なお、ｆ１が長いレンズ系に交換することでΔｚを１７ｍｍ以上にすることも可能である。
【実施例１】
【００３４】
以上を前提として、次に、図５乃至図７を参照して、本発明の実施例１の実時間被写界深度拡張システムを説明する。図５は、本発明の実施例１の実時間被写界深度拡張システムの要部構成図である。ここでは、光学系３３として、液体レンズ、例えば、ＡＲＣＴＩＣ４１６（Ｖａｒｉｏｐｔｉｃ社製商品型番）を用い、深度拡張レンズ系３０の各焦点距離をｆ１＝３０ｍｍ、ｆ２＝２５ｍｍ、ｆ３＝−１５３ｍｍ〜８７ｍｍとし、物体側がテレセントリックになるように設定した。なお、ＡＲＣＴＩＣ４１６（Ｖａｒｉｏｐｔｉｃ社製商品型番）は、レンズ開口径がφ＝２．３ｍｍで、保持部のサイズがφ＝７．７５ｍｍ×１.４ｍｍである。また、拡張対象レンズ系２０としては、両側テレセントリックレンズを用い、拡張対象レンズ系２０の設計上の像面が、ピント移動ΔＺの中間付近に位置するように拡張レンズ系の鏡筒長を設定した。
【００３５】
図６は、ピント位置と駆動電圧の相関の説明図であり、ここでは、ピント位置の変動を光学的に実測したものを概念的に示している。上記の図４（ａ）に示した相関とは異なり、駆動電圧の反転時に常にタイムラグｔ０，ｔ１，ｔ２・・・が発生していることが確認された。
【００３６】
図７（ａ）は、本発明の実施例１における露光タイミングの説明図であり、図６の特性データ１５を同期制御部１４で読み込んで、ピント位置が単調変化している期間Ｔ１，Ｔ２・・・のみ、撮像素子１１で連続露光を行って１フレームの画像を取得する。この場合、ピント位置が連続的に単調変化しているので、各ピント位置における像が均等にボケて、デコンボリューション処理により深い深度拡張画像が得られる。なお、デコンボリューション処理は、ボケ関数の逆関数を単純にボケ画像にかける方法のほかに、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法やＴｉｋｈｏｎｏｖ正則化法などの適用が可能であるが、特に、Ｌａｎｄｗｅｂｅｒ法が有効である。また、ボケ関数はガウシアン関数として実験的に最適な形を求めても良いし、光学シミュレーションにより最適な形を数値的に求めても良い。
【００３７】
図７（ｂ）は、避けるべき露光タイミングの説明図であり、ピント位置が変動しない時点にも露光を行った例である。この場合、ピント位置が変動しない時点、即ち、ピント位置が一定位置Ｃに留まった状態での露光時間が存在するので、Ｃの像が相対的に一番鮮明になり、デコンボリューション処理後の画像が均一に鮮明にはならない。
【００３８】
このように、本発明の実施例１においては、ピント位置が単調変化している間のみ露光しているので、フレームレートの高い被写界深度拡張画像が得られる。
【実施例２】
【００４４】
ここで、実施例１を含む本発明の実施の形態に関して、以下の付記を付す。
（付記１）  被写界深度拡張の対象となる拡張対象レンズ系と、撮像手段と、前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系と、物体側主点が前記第１のレンズ系の焦点距離に位置し、且つ、像側主点が前記第２のレンズ系の焦点位置に位置し、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系と、前記光学系の焦点距離制御と撮像を同期して行い、前記深度拡張レンズ系のピント位置が連続的に変動している時間帯のみに連続露光により一枚の撮像画像として撮像する撮像制御部と、前記撮像画像から被写界深度拡張画像を再構築する画像処理部とを備えることを特徴とする実時間被写界深度拡張システム。
（付記２）  前記光学系が、液体レンズを備えていることを特徴とする付記１に記載の実時間被写界深度拡張システム。
（付記３）  前記拡張対象レンズ系が、両側テレセントリックレンズであることを特徴とする付記１または付記２に記載の実時間被写界深度拡張システム。
（付記４）  前記画像処理部が、前記撮像画像に対してデコンボリューション処理を行う機能を有することを特徴とする付記１乃至付記３のいずれか１に記載の実時間被写界深度拡張システム。
（付記５）  被写界深度拡張の対象となる拡張対象レンズ系と撮像手段との間に、前記拡張対象レンズ系側に配置した第１のレンズ系と前記撮像手段側に配置した第２のレンズ系を有する深度拡張レンズ系を配置するとともに、物体側主点が前記第１のレンズ系の焦点距離の位置で、且つ、像側主点が前記第２のレンズ系の焦点位置の位置に、前記深度拡張レンズ系の開口部として機能するとともに、外部信号により焦点距離の制御可能な光学系を配置し、前記撮像手段により前記光学系の焦点距離制御と撮像を同期して行い、前記深度拡張レンズ系のピント位置が連続的に変動している時間帯のみに連続露光により一枚の画像として撮像する工程と、前記撮像画像から被写界深度拡張画像を再構築する工程とを有する実時間被写界深度拡張方法。
【符号の説明】
【００４５】
１０  撮像手段
１１  撮像素子
１２  画像回復処理部
１３  画像表示部
１４  同期制御部
１５  光学系駆動部
１６  光学系の特性データ
１７  撮像制御部
２０  拡張対象レンズ系
３０  深度拡張レンズ系
３１  第１のレンズ系
３２  第２のレンズ系
３３  光学系
３４  液体レンズ
３５  水層
３６  油層
【図１】
0005707792.tif 000002
【図２】
0005707792.tif 000003
【図３】
0005707792.tif 000004
【図４】
0005707792.tif 000005
【図５】
0005707792.tif 000006
【図６】
0005707792.tif 000007
【図７】
0005707792.tif 000008