(57)【要約】【課題】ステレオカメラの組み付け誤差や、ステレオカメラの像面位置の経時的な変化等によるステレオカメラの解像度の変化を防止する。【解決手段】ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）のデフォーカス量に応じた変化量を、収差のない理想光学系のデフォーカス量に応じたＭＴＦの変化量よりもそれぞれ低下させた第１光学系および第２光学系と、第１光学系と同じ光学特性を有する第２光学系と、第１光学系を使用して撮影された被写体の像を含む基準画像と、第２光学系を使用して撮影された被写体の像を含む比較画像と、から被写体の像の視差を算出する算出部と、を備える。【選択図】図１１
2015169740.tif 000002
【特許請求の範囲】
【請求項１】
ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）のデフォーカス量に応じた変化量を、収差のない理想光学系のデフォーカス量に応じたＭＴＦの変化量よりもそれぞれ低下させた第１光学系および第２光学系と、
前記第１光学系を使用して撮影された被写体の像を含む基準画像と、前記第２光学系を使用して撮影された前記被写体の像を含む比較画像と、から前記被写体の像の視差を算出する算出部と、
を備えるステレオカメラ。
【請求項２】
前記デフォーカス量に応じたＭＴＦの変化量は、前記光学系の回折限界の１／４の空間周波数の領域を対象にした
請求項１に記載のステレオカメラ。
【請求項３】
前記光学系は、少なくとも１つの非球面形状を有することにより、前記ＭＴＦの最大値を低下させ、かつ、前記デフォーカス量に応じたＭＴＦの変化量を低下させる
請求項１又は２に記載のステレオカメラ。
【請求項４】
前記非球面形状は、前記光学系の絞り、又は絞りの前後のレンズの面に有する
請求項１乃至３のいずれか１項に記載のステレオカメラ。
【請求項５】
前記非球面形状は、収差のない理想レンズに球面収差量を与えるための形状である
請求項３又は４に記載のステレオカメラ。
【請求項６】
前記基準画像のＭＴＦと、前記比較画像のＭＴＦと、を画像処理により復元する復元部
を更に備える請求項１乃至５のいずれか１項に記載のステレオカメラ。
【請求項７】
請求項１乃至６のいずれか１項に記載のステレオカメラの光学系。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はステレオカメラ及び光学系に関する。
【背景技術】
【０００２】
近年、一対のカメラ（ステレオカメラ）を用いた監視装置（例えば車載ステレオカメラ等）が注目されている。監視装置では、３次元計測技術の一つであるステレオ法が利用されている。ステレオ法では、一方のカメラにより撮像された被写体の像を含む基準画像と、もう一方のカメラにより撮像された同一の被写体の像を含む比較画像と、から被写体の像の視差を算出し、三角測量の原理を用いて被写体までの距離情報を算出する。このとき被写体の像の視差を算出するためには、基準画像中の画素ブロックと相関を有する比較画像の画素ブロックを特定する必要がある。そのため算出される距離情報の精度を高めるためには、２つのカメラはできるだけ同一の解像度を有していることが好ましい。
【０００３】
特許文献１には、互いに収差分布の異なる光学系に対して、片方の光学系の収差分布を基準として、もう片方の光学系の収差分布が同一となるように補正した画像を用いて視差を算出することにより、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合であっても、視差検出誤差を抑制することができる視差検出装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の技術では、ステレオカメラの組み付け誤差や、ステレオカメラの位置の経時的な変化等によって像面位置が変動すると、左右のカメラで解像度が異なったステレオカメラが構成されてしまい、視差の検出誤差が増加してしまうという問題があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、ステレオカメラの組み付け誤差や、ステレオカメラの像面位置の経時的な変化等によるステレオカメラの解像度の変化を防止することができるステレオカメラ及び光学系を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）のデフォーカス量に応じた変化量を、収差のない理想光学系のデフォーカス量に応じたＭＴＦの変化量よりもそれぞれ低下させた第１光学系および第２光学系と、前記第１光学系を使用して撮影された被写体の像を含む基準画像と、前記第２光学系を使用して撮影された前記被写体の像を含む比較画像と、から前記被写体の像の視差を算出する算出部と、を備える。
【発明の効果】
【０００７】
本発明によれば、ステレオカメラの組み付け誤差や、ステレオカメラの像面位置の経時的な変化等によるステレオカメラの解像度の変化を防止することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１はステレオ法による距離計測原理を説明するための図である。
【図２】図２は被写体の像の視差について説明するための図である。
【図３】図３は比較画像の被写体の像の位置、及び基準画像の被写体の像の位置を示す図である。
【図４】図４は対応点検索処理について説明するための図である。
【図５】図５は視差測定対象物の例を示す図である。
【図６】図６は第１光学系及び第２光学系のＭＴＦ差と、視差バラつきと、の関係を示す図である。
【図７】図７は第１光学系及び第２光学系のＭＴＦ差がないとき（同じようにデフォーカスしたとき）の、ＭＴＦ低下量と、視差バラつきと、の関係を示す図である。
【図８】図８は理想光学系のフォーカスずれに応じたＭＴＦ特性の変化を示す図である。
【図９】図９は理想光学系の回折限界の１／４の空間周波数の領域でのＭ−Ｄ曲線（ＭＴＦ−Ｄｅｆｏｃｕｓ曲線）を示す図である。
【図１０】図１０は図９の２つのＭ−Ｄ曲線をＭＴＦのピーク（最大値）で規格化したＭ−Ｄ曲線を示す図である。
【図１１】図１１は実施形態のステレオカメラの構成の例を示す図である。
【図１２】図１２は実施形態の第１光学系（第２光学系）の設計値（収差を与える前）の例を示す図である。
【図１３】図１３は図１２の設計値の第１光学系（第２光学系）の像面位置の変化に応じたＭＴＦ（ＯＴＦの絶対値）の変化を示す図である。
【図１４】図１４は非球面形状（波面変調面）の設計値の例を示す図である。
【図１５】図１５は図１２の設計値の第１光学系（第２光学系）の面６と面７との間に、図１４の設計値の波面変調面を導入した後の像面位置の変化に応じたＭＴＦ（ＯＴＦの絶対値）の変化を示す図である。
【図１６】図１６は実施形態のステレオカメラを車載ステレオカメラとして使用する例を示す図である。
【図１７】図１７は復元部による画像処理前後のＭＴＦ特性を示す図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、ステレオカメラ及び光学系の実施形態を詳細に説明する。
【００１０】
まず視差、及びステレオ法による距離計測原理について説明する。視差はステレオカメラが撮影した撮影画像を使用して算出する。図１はステレオ法による距離計測原理を説明するための図である。図１の例では、第１カメラ１（焦点距離ｆ、光学中心Ｏ０、撮像面Ｓ０）がＺ軸を光軸方向として配置されている。また第２カメラ２（焦点距離ｆ、光学中心Ｏ１、撮像面Ｓ１）がＺ軸を光軸方向として配置されている。第１カメラ１及び第２カメラ２はＸ軸に対して平行に、距離Ｂ（基線長）だけ離れた位置に配置される。
【００１１】
第１カメラ１の光学中心Ｏ０から光軸方向に距離ｄだけ離れた位置にある被写体Ａは、直線Ａ−Ｏ０と撮像面Ｓ０の交点であるＰ０に像を結ぶ。一方、第２カメラ２では、同じ被写体Ａが、撮像面Ｓ１上の位置Ｐ１に像を結ぶ。以下、撮像面Ｓ０から取得された撮影画像を「比較画像」という。また撮像面Ｓ１から取得された撮影画像を「基準画像」という。
【００１２】
ここで第２カメラ２の光学中心Ｏ１を通り、直線Ａ−Ｏ０と平行な直線と、撮像面Ｓ１との交点をＰ０’とする。またＰ０’とＰ１の距離をＤとする。距離Ｄは同じ被写体の像を２台のカメラで撮影した画像上での位置のずれ量（視差）を表す。三角形Ａ−Ｏ０−Ｏ１と三角形Ｏ１−Ｐ０’−Ｐ１とは相似である。そのためｄ＝Ｂ×ｆ／Ｄが成り立つ。すなわち基線長Ｂ、焦点距離ｆ及び視差Ｄから、被写体Ａまでの距離ｄを求めることができる。
【００１３】
以上が、ステレオ法による距離計測原理である。被写体の像の視差を算出するためには、基準画像中の画素ブロックと相関を有する比較画像の画素ブロックを特定する必要がある。次に、図２乃至図４を参照して、基準画像中の画素ブロックと相関を有する比較画像の画素ブロックを特定する方法について説明する。
【００１４】
図２は被写体の像の視差について説明するための図である。ある距離に被写体Ａがあった場合、第１カメラ１の第１光学系３を介して被写体Ａの像７が第１画像センサ５（比較画像）に投影される。同様に、第２カメラ２の第２光学系４を介して被写体Ａの像８が第２画像センサ６（基準画像）に投影される。
【００１５】
図３は比較画像の被写体Ａの像７の位置、及び基準画像の被写体Ａの像８の位置を示す図である。第１画像センサ５（比較画像）の被写体Ａの像７の座標は、第２画像センサ６（基準画像）の被写体Ａの像８の座標と異なる。視差を検出するためには、比較画像の各ピクセルと、基準画像の各ピクセルとの対応（相関）を正しく調べる必要がある。この処理は対応点探索と呼ばれる。
【００１６】
図４は対応点検索処理について説明するための図である。対応点検索処理では、まず基準画像に投影された被写体Ａの像８（基準点）の周囲に小さな計算領域９（ウィンドウ）を仮定する。次に、比較画像内に同じ大きさのウィンドウ１０をとり、ウィンドウ１０をずらしながら基準画像のウィンドウ９と比較することで対応点を検出する。このときの比較方法には様々なものがあるが、例えば最も基本的な手法としてＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）が知られている。ＳＳＤでは、各ピクセルの輝度値の差の２乗和を計算し、各ピクセルの輝度値の差の２乗和が探索範囲内で最小となる点を対応点として検出する。このとき、対応点検出分解能を高めるためにサブピクセルレベルの推定を行う。例えば等角直線フィッティングというサブピクセル推定方法では、１次線形補間により対応点が推定される。このようにして検出された対応点と、基準画像の基準点と、の差が視差Ｄとして算出される。このとき、基準画像の解像度と、比較画像の解像度とが異なる場合、サブピクセル推定方法の精度が低下してしまう。
【００１７】
次に、図５乃至図７を参照して、第１カメラ１の解像度（第１光学系３のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ））と、第２カメラ２の解像度（第２光学系４のＭＴＦ）と、が異なっている場合の視差検出誤差のシミュレーション結果について説明する。
【００１８】
図５は視差測定対象物の例を示す図である。図５は身長１８０ｃｍ、幅７０ｃｍの人物像を含む平面形状の視差測定対象物の例である。６０ｍ先に存在する当該測定対象物を第１光学系３及び第２光学系４を介して投影した場合の比較画像及び基準画像の視差検出誤差のシミュレーション結果について説明する。視差検出誤差のシミュレーションは、第１光学系３のレンズの歪み補正を比較画像に行い、第２光学系４のレンズの歪み補正を基準画像に行った後に行う。すなわち比較画像及び基準画像を理想化した画像（ピンホール画像）とした後に視差検出誤差のシミュレーションを行う。
【００１９】
このとき第１光学系３の設計値として、第１光学系３の理想状態の設計値から、わざと像面をデフォーカスした設計値を使用する。なお第２光学系４の設計値は理想状態の設計値を使用する。
【００２０】
図６は第１光学系３及び第２光学系４のＭＴＦ差と、視差バラつきσと、の関係を示す図である。第１光学系３及び第２光学系４のＭＴＦ差は、理想状態の第２光学系４のＭＴＦと、わざと像面がデフォーカスされた第１光学系３のＭＴＦと、の差である。図６からＭＴＦ差が大きくなる程、視差バラつきσが大きくなることが確認できる。つまりこれは上述したように基準画像の解像度と、比較画像の解像度とが異なる場合、視差検出誤差が増加していることにほかならない。
【００２１】
次に、第１カメラ１の解像度及び第２カメラ２の解像度が同時に同じ量だけ低下したとき（同じようにデフォーカスしたとき）の視差バラつきσの変化について説明する。図７は第１光学系３及び第２光学系４のＭＴＦ差がないとき（同じようにデフォーカスしたとき）の、ＭＴＦ低下量と、視差バラつきσと、の関係を示す図である。図７からＭＴＦが第１光学系３及び第２光学系４で同時に低下した場合では、ＭＴＦの低下量を増やしても、視差バラつきσがほとんど変化していないことが確認できる。
【００２２】
以上の結果から、視差検出誤差と解像度の関係は、片方のカメラの解像度が低下した場合では大きく変化するが、両眼のカメラの解像度の低下に関しては、解像度の低下量を増やしても視差検出誤差にほとんど変化が生じないことがわかる。以上の関係性から、ステレオカメラを構成する光学系は、ＭＴＦのピーク（最大値）を落とすことで、デフォーカスによるＭＴＦ変化の感度を下げることが望ましいことがわかる。これによりステレオカメラ３０の組み付け誤差や、ステレオカメラの像面位置の経時的な変化等によって、第１カメラ１又は第２カメラ２がデフォーカスされた状態になっても、比較画像の解像度と基準画像の解像度との差を小さくすることができる。
【００２３】
次に、ＭＴＦの最大値を低下させて、デフォーカス量に応じたＭＴＦの変化の感度を下げる光学系を設計する方法について説明する。
【００２４】
まず、収差が全く存在しない理想光学系（理想レンズ）のデフォーカス特性を考える。理想光学系の瞳座標は次式（１）により表すことができる。
【００２５】
【数１】
2015169740.tif 000003
【００２６】
ここで、理想光学系に収差の影響を考え、収差項Ｗ（Ｘ）と、振幅項Ａ（Ｘ）を導入すると、収差を含んだ瞳関数は次式（２）により表すことができる。
【００２７】
【数２】
2015169740.tif 000004
【００２８】
次に、次式（２）をホイヘンスの定理から算出されるＰＳＦ（Ｐｏｉｎｔ  ｓｐｒｅａｄ  ｆｕｎｃｔｉｏｎ：点像分布関数）ｈ（ｘ）の式（３）に代入すると、次式（４）が成り立つ。
【００２９】
【数３】
2015169740.tif 000005
【００３０】
【数４】
2015169740.tif 000006
ここで、次式（５）のように、座標系を２次元（ｘ，ｚ）から３次元（ｘ，ｙ，ｚ）に拡張し、Ｘ平面から、ｘ平面までの距離を考える。
【００３１】
【数５】
2015169740.tif 000007
ここで、Ｘ２＋Ｙ２＜＜Ｚ２とすると、次式（６）が成り立つ。
【００３２】
【数６】
2015169740.tif 000008
【００３３】
式（６）を式（４）に代入すると、次式（７）が得られる。
【００３４】
【数７】
2015169740.tif 000009
【００３５】
ここで、二次元フーリエ変換をＦＴで表すと、二次元フーリエ変換式は次式（８）により表すことができる。
【００３６】
【数８】
2015169740.tif 000010
【００３７】
ｋ／ｚにより位相項を正規化すると、式（７）及び式（８）から次式（９）を得る。
【００３８】
【数９】
2015169740.tif 000011
【００３９】
理想光学系では、被写体が合焦位置にある場合、収差は存在しないのでＰ（Ｘ，Ｙ）＝１となる。ここで被写体の位置が合焦位置よりΔｚずれた場合には、合焦位置までの影響は式ｘに含まれていることに注意し、被写体からのずれによる位相成分のずれを考慮すると、合焦点からのずれの距離分が位相として付加される。そのため、その瞳関数は次式（１０）により表すことができる。
【００４０】
【数１０】
2015169740.tif 000012
【００４１】
式（１０）を式（９）に代入すると、次式（１１）を得る。
【００４２】
【数１１】
2015169740.tif 000013
式（１１）がフォーカスずれの影響を考慮したＰＳＦを求める理論式となる。
【００４３】
図８は理想光学系のフォーカスずれに応じたＭＴＦ特性の変化を示す図である。図８（ａ）は、被写体の位置が合焦位置にある場合のＭＴＦ特性を示す。図８（ｂ）〜図８（ｅ）は、図８（ｂ）から図８（ｅ）の順に、デフォーカス量を増やした場合のＭＴＦ特性を示す。図８から、ある一定のデフォーカス量を与えてやると、理想光学系の回折限界から１／４程度の空間周波数でＭＴＦがゼロ点を通っていることが確認できる（図８（ｅ））。したがって理想光学系で回折限界となる空間周波数の１／４の領域において、ＭＴＦのピーク（最大値）を落として、デフォーカスによるＭＴＦ変化の感度を下げるようにする。
【００４４】
図９は理想光学系の回折限界の１／４の空間周波数の領域でのＭ−Ｄ曲線（ＭＴＦ−Ｄｅｆｏｃｕｓ曲線）を示す図である。Ｍ−Ｄ曲線４１は収差のない理想光学系のデフォーカス特性である。Δｚ＝０でピークを持ち、Δｚの変化とともにＭＴＦが低下していることが確認できる。
【００４５】
ここで理想光学系に球面収差の影響を加える。ゼルニケ多項式の球面収差瞳関数の位相項は次式（１２）で表すことができる。
【００４６】
【数１２】
2015169740.tif 000014
【００４７】
式（１２）を式（１１）に代入し、フォーカスずれによる影響と、球面収差の影響と、を合成すると、次式（１３）が得られる。
【００４８】
【数１３】
2015169740.tif 000015
【００４９】
ただし、ｐは球面収差量である。上述した理想光学系に所定の諸収差（本実施形態では球面収差）を与えることによって図９のＭ−Ｄ曲線４２が示すＭ−Ｄ特性が得られる。Ｍ−Ｄ曲線４２は理想光学系のＭ−Ｄ曲線４１に比べてＭＴＦのピークが落ち、デフォーカス量に応じたＭＴＦの変化の感度が下がっていることが確認できる。
【００５０】
図１０は図９の２つのＭ−Ｄ曲線をＭＴＦのピーク（最大値）で規格化したＭ−Ｄ曲線を示す図である。球面収差を加えた光学系のＭ−Ｄ曲線４４が、理想光学系のＭ−Ｄ曲線４３よりも常に高い値を示していることが確認できる。換言すれば、ある諸収差を加えた光学系のΔｚ（デフォーカス量）に応じたＭＴＦの変化量の方が、理想光学系のΔｚ（デフォーカス量）に応じたＭＴＦの変化量よりも小さいことが確認できる。以上のように、理想光学系に所定の諸収差を与えることで、ＭＴＦのピークを落とし、かつ、デフォーカス量に応じたＭＴＦの変化の感度を下げることが可能になる。
【００５１】
以下、理想光学系に上述の所定の諸収差を与えた光学系（第１光学系３及び第２光学系４）を備えるステレオカメラ３０の構成の例について具体的に説明する。
【００５２】
図１１は実施形態のステレオカメラ３０の構成の例を示す図である。実施形態のステレオカメラ３０は、第１カメラ１、第２カメラ２、及び視差算出装置２０を備える。第１カメラ１は、第１光学系３及び第１画像センサ５を備える。第２カメラ２は、第２光学系４及び第２画像センサ６を備える。第１光学系３及び第２光学系４は、同じ光学特性を有する光学系である。
【００５３】
まず実施形態の第１光学系３（第２光学系４）の設計値（収差を与える前）の例について説明する。
【００５４】
図１２は実施形態の第１光学系３（第２光学系４）の設計値（収差を与える前）の設計値の例を示す図である。図１３は図１２の設計値の第１光学系３（第２光学系４）の像面位置の変化に応じたＭＴＦ（ＯＴＦ（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ：光学伝達関数）の絶対値）の変化を示す図である。なお図１３では、像面の空間周波数を６０ｌｐ／ｍｍとしている。図１３から、仮に合焦位置から２０μｍプラス方向に像面が変動した場合、ＭＴＦは２０％程度低下してしまうことが確認できる。
【００５５】
ここでＭＴＦのピークを落とす目的で、図１２の面６と面７との間に波面変調面を導入する。絞り周辺に波面変調面を導入することにより光線全体に収差を付加することができる。波面変調面の非球面形状は次式（１４）で表される。
【００５６】
【数１４】
2015169740.tif 000016
【００５７】
ここで、ａｎはｎ次の非球面係数、ｈは中心からの距離、Ｈは正規化基準円半径（Ｎｏｒｍａｌｉｚｅｄ  Ｒａｄｉｕｓ）である。図１４は非球面形状（波面変調面）の設計値の例を示す図である。図１５は図１２の設計値の第１光学系３（第２光学系４）の面６と面７との間に、図１４の設計値の波面変調面を導入した後の像面位置の変化に応じたＭＴＦ（ＯＴＦの絶対値）の変化を示す図である。図１５から、波面変調面を導入した場合、合焦位置から２０μｍプラス方向に像面の移動が生じても、図１３の例の場合とは異なり、ＭＴＦの低下はほとんど生じないことが確認できる。また図１５から、波面変調面を導入した場合、ＭＴＦのピークは図１３の場合よりも低下していることが確認できる。つまり、図１２の設計値の第１光学系３（第２光学系４）の面６と面７との間に、図１４の設計値の波面変調面を導入して所定の諸収差を与えることにより、ＭＴＦのピークを落とし、デフォーカス量に応じたＭＴＦの変化の感度を低くすることができる。
【００５８】
図１１に戻り、実施形態の第１光学系３（第２光学系４）は、図１２の設計値の第１光学系３（第２光学系４）の面６と面７との間に、図１４の設計値の波面変調面を導入することにより、ＭＴＦのピークを落とし、かつ、デフォーカス量に応じたＭＴＦの変化量を低下させた光学系として実現される。
【００５９】
第１画像センサ５は第１光学系３を介して投影された被写体Ａの像７を含む比較画像を取得する（図２及び図３参照）。第１画像センサ５は比較画像を視差算出装置２０に入力する。同様に、第２画像センサ６は第２光学系４を介して投影された被写体Ａの像８を含む基準画像を取得する（図２及び図３参照）。第２画像センサ６は基準画像を視差算出装置２０に入力する。
【００６０】
視差算出装置２０は、受付部２１、第１補正部２２、第２補正部２３、記憶部２４、算出部２５及び復元部２６を備える。
【００６１】
受付部２１は比較画像の入力を受け付ける。受付部２１は比較画像を第１補正部２２に出力する。また受付部２１は基準画像の入力を受け付ける。受付部２１は基準画像を第２補正部２３に出力する。
【００６２】
第１補正部２２は比較画像を受付部２１から受け付ける。第１補正部２２は比較画像を、所定の補正パラメータを使用して補正する。補正パラメータは、例えばステレオカメラ３０の使用形態に応じた補正を行うためのパラメータである。
【００６３】
図１６は実施形態のステレオカメラ３０を車載ステレオカメラとして使用する例を示す図である。図１６の例では、ステレオカメラ３０はフロントガラス１５を介して被写体を撮影する。このとき、被写体から出射された光線はフロントガラス１５の前後面で屈折するため、第１画像センサ５に投影される被写体の像の位置は、フロントガラス１５がない場合に到達する被写体の像の位置からずれる。
【００６４】
図１１に戻り、第１補正部２２は、例えばフロントガラス１５の影響による被写体の像の位置ずれを補正する補正パラメータにより、比較画像を補正する。第１補正部２２は補正後の比較画像を、算出部２５及び復元部２６に出力する。
【００６５】
同様に、第２補正部２３は基準画像を受付部２１から受け付ける。第２補正部２３は基準画像を、上述の補正パラメータを使用して補正する。第２補正部２３は補正後の基準画像を、算出部２５及び復元部２６に出力する。
【００６６】
記憶部２４は上述の補正パラメータを記憶する。
【００６７】
算出部２５は第１補正部２２から補正後の比較画像を受け付け、第２補正部２３から補正後の基準画像を受け付ける。算出部２５は補正された比較画像に含まれる被写体の像と、補正された基準画像に含まれる被写体の像とから視差を算出する。算出部２５は画素毎に視差を算出し、視差を濃度値で表した視差画像を生成する。
【００６８】
復元部２６は第１補正部２２から補正後の比較画像を受け付け、第２補正部２３から補正後の基準画像を受け付ける。復元部２６は比較画像のＭＴＦ及び基準画像のＭＴＦを復元させる。
【００６９】
具体的には、復元部２６は比較画像のＭＴＦ及び基準画像のＭＴＦを、一般的な逆フィルタやウィーナーフィルタによる逆変換処理、又は最大エントロピー法等を用いた画像処理により復元する。本実施形態の復元部２６はウィーナーフィルタを用いた画像処理を行う。
【００７０】
復元部２６は下記式（１５）により定義される画像処理フィルタＲを使用して画像処理を行う。
【００７１】
【数１５】
2015169740.tif 000017
【００７２】
ここで、Ｈは光学系のＯＴＦ、Ｓ２は被写体のパワースペクトル、Ｗ２はセンサ固有のノイズのパワースペクトルを示す。図１７は復元部２６による画像処理前後のＭＴＦ特性を示す図である。図１７（ａ）は、復元部２６による画像処理前のＭＴＦ特性を示す。また図１７（ｂ）は、復元部２６による画像処理後のＭＴＦ特性を示す。図１７より、復元部２６の画像処理によって高周波のＭＴＦ特性が復元されていることが確認できる。この復元処理によって、実施形態の第１光学系３及び第２光学系４を使用しても、例えば標識などの細かいパターンや、遠方の被写体等の認識精度を維持又は向上させることができる。
【００７３】
図１１に戻り、復元部２６は上述の画像処理により比較画像のＭＴＦ特性を復元させることで、解像度を向上させた第１カメラ１の輝度画像を生成する。同様に、復元部２６は基準画像のＭＴＦを復元させることにより、解像度を向上させた第２カメラ２の輝度画像を生成する。
【００７４】
以上説明したように、実施形態のステレオカメラ３０は、ＭＴＦのピーク（最大値）を落とすことで、デフォーカス量に応じたＭＴＦの変化の感度を下げる。これにより組み付け誤差や経時変化等の影響により、第１画像センサ５又は第２画像センサ６の位置が設計値から変動した場合でも、比較画像又は基準画像の解像度の変化を抑制することができる。したがって実施形態のステレオカメラ３０によれば視差検出誤差を低減することができる。
【００７５】
なお実施形態の説明では、図１２の設計値の第１光学系３（第２光学系４）の面６と面７との間に、図１４の設計値の波面変調面を導入した。しかしながら絞り周辺の面（例えば面６）を非球面形状とすることにより、ＭＴＦの最大値を低下させ、かつ、デフォーカス量に応じたＭＴＦの変化量を低下させてもよい。
【符号の説明】
【００７６】
１  第１カメラ
２  第２カメラ
３  第１光学系
４  第２光学系
５  第１画像センサ
６  第２画像センサ
１５  フロントガラス
２０  視差算出装置
２１  受付部
２２  第１補正部
２３  第２補正部
２４  記憶部
２５  算出部
２６  復元部
３０  ステレオカメラ
【先行技術文献】
【特許文献】
【００７７】
【特許文献１】特許第４７８２８９９号公報
【図１】
2015169740.tif 000018
【図２】
2015169740.tif 000019
【図３】
2015169740.tif 000020
【図４】
2015169740.tif 000021
【図５】
2015169740.tif 000022
【図６】
2015169740.tif 000023
【図７】
2015169740.tif 000024
【図８】
2015169740.tif 000025
【図９】
2015169740.tif 000026
【図１０】
2015169740.tif 000027
【図１１】
2015169740.tif 000028
【図１２】
2015169740.tif 000029
【図１３】
2015169740.tif 000030
【図１４】
2015169740.tif 000031
【図１５】
2015169740.tif 000032
【図１６】
2015169740.tif 000033
【図１７】
2015169740.tif 000034