(57)【要約】  撮像素子の画素ピッチに対してレンズの解像度が低いカメラが用いられる場合であっても、視差検出誤差を抑制することができる視差検出装置（３）等を提供することを目的とする。複数の光学系間に生じる視差を算出する視差検出装置（３）であって、複数の光学系の点像分布が所定の光学系の点像分布と同一となるように、複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正するＰＳＦ同一化部（５）と、ＰＳＦ同一化部（５）によって補正された画像を用いて、複数の光学系間に生じる視差を算出する視差算出部（９）とを備える。
2011010438.tif 000002
【特許請求の範囲】
【請求項１】
複数の光学系間に生じる視差を算出する視差検出装置であって、
前記複数の光学系の点像分布が所定の光学系の点像分布と同一となるように、前記複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正する点像分布同一化部と、
前記点像分布同一化部によって補正された画像を用いて、前記複数の光学系間に生じる視差を算出する視差算出部とを備える
視差検出装置。
【請求項２】
前記点像分布同一化部は、
前記複数の画像の少なくとも１つを空間領域から周波数領域に変換する周波数領域変換部と、
前記周波数領域変換部によって周波数領域に変換された画像に補正データを作用させることにより、前記複数の光学系の点像分布が前記所定の光学系の点像分布と同一となるように当該画像を補正する点像分布変換部と、
前記点像分布変換部によって補正された画像を周波数領域から空間領域に逆変換する空間領域変換部とを有し、
前記視差算出部は、前記空間領域変換部によって逆変換された画像を用いて、前記視差を算出し、
前記補正データは、第１の光学伝達関数を、当該補正データを作用させる画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータである
請求項１に記載の視差検出装置。
【請求項３】
前記点像分布変換部は、前記周波数領域変換部によって周波数領域に変換された画像に前記補正データを乗じることにより画像を補正する
請求項２に記載の視差検出装置。
【請求項４】
前記第１の光学伝達関数は、前記複数の光学系のうち基準となる１つの光学系の光学伝達関数である
請求項２に記載の視差検出装置。
【請求項５】
前記第１の光学伝達関数は、第１の空間周波数における値の大きさに対する、前記第１の空間周波数よりも高い第２の空間周波数における値の大きさの比率が、前記点像分布同一化部によって補正される画像が得られる光学系の光学伝達関数における当該比率よりも大きい光学伝達関数である
請求項２に記載の視差検出装置。
【請求項６】
前記第１の光学伝達関数は、各空間周波数における値の大きさが略同一である
請求項２に記載の視差検出装置。
【請求項７】
さらに、第１の光学伝達関数を、前記点像分布同一化部によって補正される画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータを補正データとして生成する補正データ生成部を備え、
前記点像分布変換部は、前記周波数領域変換部によって周波数領域に変換された画像に、前記補正データ生成部によって生成された補正データを作用させる
請求項２に記載の視差検出装置。
【請求項８】
前記所定の光学系の点像分布は、前記複数の光学系のうち基準となる１つの光学系の点像分布である
請求項１に記載の視差検出装置。
【請求項９】
請求項１に記載の視差検出装置と、
前記視差検出装置によって検出された視差を用いて、対象物までの距離を算出する距離算出部とを備える
測距装置。
【請求項１０】
複数の光学系間に生じる視差を算出する視差検出方法であって、
前記複数の光学系の点像分布が所定の光学系の点像分布と同一となるように、前記複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正する点像分布同一化ステップと、
前記点像分布同一化ステップにおいて補正された画像を用いて、前記複数の光学系間に生じる視差を算出する視差算出ステップとを含む
視差検出方法。
【請求項１１】
請求項１０に記載の視差検出方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光学系間に生じる視差を算出する視差検出装置等に関するものである。
【背景技術】
【０００２】
近年、所定の位置から対象物までの距離、もしくは対象物の三次元位置を高精度に測定したいという要求が高まっている。例えば自動車の視界支援において、自動車に取付けたカメラで撮影した周囲の物体の映像のみでなく、測距装置により測定した物体と自動車との正確な距離情報を同時に表示することにより、自動車と周囲の物体との衝突をより的確に回避する方法が提案されている。また、携帯電話又はテレビなどにおいては、映像の臨場感をより忠実に再現するために立体映像の入出力装置が望まれている。これら用途において、測距装置の測距精度を高精度化することが望まれている。【０００３】
対象物までの距離、又は対象物の三次元位置を測定する方式として、従来より三角測量の原理を利用したステレオ測距方式が利用されている。ステレオ測距方式では、複数のカメラ間に生じる視差に基づき対象物までの距離が算出される。【０００４】
図１は、カメラａ及びカメラｂの２つのカメラを用いた場合の、ステレオ測距方式による対象物までの距離算出の例を説明する図である。対象物１００の光線１０１ａ又は１０１ｂは、カメラａのレンズ１０２ａの光学中心１０５ａ、又はカメラｂのレンズ１０２ｂの光学中心１０５ｂを介して、撮像領域１０４ａ又は１０４ｂに結像する。光軸１０３ａ及び１０３ｂは各カメラの光軸を表す。この時、例えば対象物１００が、カメラａについては撮像領域１０４ａと光軸１０３ａとの交点１０６ａからＰａ離れた結像位置１０７ａに結像し、カメラｂについては撮像領域１０４ｂ上の撮像領域１０４ｂと光軸１０３ｂとの交点１０６ｂからＰｂ離れた結像位置１０７ｂに結像した場合、カメラａとカメラｂとの間に視差Ｐ（＝Ｐｂ−Ｐａ）が生じる。この視差Ｐは測距装置と対象物距離との距離Ｄに応じて変化する。カメラａの光軸１０３ａとカメラｂの光軸１０３ｂとが平行であり、かつ、その間隔が基線長Ｂであり、かつ、カメラａ及びカメラｂの焦点距離がともに焦点距離ｆとすれば、対象物までの距離Ｄは（式１）で表わされる。したがって、基線長Ｂ及び焦点距離ｆが事前のキャリブレーション処理などにより既知であれば、視差Ｐを求めることにより対象物１００までの距離Ｄを算出することが可能となる。【０００５】
【数１】
2011010438.tif 000003
【０００６】
なお、実際の環境ではカメラａとカメラｂとの光軸は互いに平行ではない場合が多い。そこで、例えば非特許文献１に示されるような平行化処理が行われる。その結果、光軸が平行な画像が作成され、上記の演算を利用して距離Ｄが算出可能となることが知られている。【０００７】
撮像領域１０４ａ及び１０４ｂは、通常ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子により構成される。したがって、２次元平面上で離散化された対象物像の輝度信号を用いて視差Ｐは算出されるので、通常その視差検出分解能は１画素となる。（式１）の関係にしたがって視差検出分解能から測距分解能（以降、測距精度と記載）が決まる。【０００８】
従来の視差検出装置における視差Ｐの具体的な検出方法の例を説明する。視差検出装置は、カメラａの撮像領域１０４ａで取込まれた画像ａと、カメラｂの撮像領域１０４ｂで取込まれた画像ｂとについて、各画像の小領域毎の相関値であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：差分絶対値総和）を算出する。そして、視差検出装置は、算出した相関値を用いて画像ａと画像ｂ間の小領域毎の画像のずれ、つまり視差Ｐを算出する。なお、ＳＡＤは相関値の一例であり、視差検出装置は、一般的に知られているＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ：差分２乗総和）又はＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ：正規化相互相関）なども相関値として利用可能である。【０００９】
以下に、図２〜図５を参照しながら、代表的な相関値であるＳＡＤを用いた視差の算出について説明する。【００１０】
図２は、画像における各画素の輝度の表現方法について説明する図である。図２に示すように、「０」が黒、「１５」が白を示し、各画素の輝度の階調は、線の密度で表現される。なお、輝度は少数点以下の値となることもあり得る。【００１１】
図３Ａは、写像した対象物のテクスチャを対象物側からみた、画像ａの一部を示す図である。図３Ｂは写像した対象物のテクスチャを対象物側からみた、画像ｂの一部を示す図である。【００１２】
図３Ｂの太線で囲われた画像ブロック２０１ｂは、対象物が無限遠にあるときに図３Ａの太線で囲われた画像ブロック２０１ａと同一の画像が写像する。対象物が有限の距離にある場合は、図３Ａ及び図３Ｂに示すように視差が生じるため、図３Ｂの画像は図３Ａの画像に対して右側に写像する。ここでは図３Ａと図３Ｂとが３．６画素の実際視差を持つ場合の説明を行う。視差検出装置は、画像ブロック２０１ａと最も相関の高い画像領域を探索するため、画像ブロック２０１ｂを図３Ｂの太線の位置から右方向に１画素ずつずらしていき、各ずらし量毎にＳＡＤを（式２）に基づき算出する。【００１３】
【数２】
2011010438.tif 000004
【００１４】
ここで、Ｉａ、Ｉｂは各画像ブロック内の輝度値を表し、ｉ、ｊは各画像ブロック内の局所アドレスを表す。画像ブロック２０１ａ及び画像ブロック２０１ｂは同一の画像サイズである。視差検出装置は、両画像ブロックの同一アドレスの輝度差分の絶対値のブロック内総和を各ずらし量毎に算出する。画像ブロックの形状は、長方形、あるいはテクスチャの特徴に応じた形状でもよいが、ここでは正方形の画像ブロックである場合について説明をしている。【００１５】
図４は、画像ブロック２０１ｂを１画素ずつ移動させたときのＳＡＤの推移を示す図である。ずらし量が４画素の場合にＳＡＤが最小となっているため、画像ブロック２０１ａと画像ブロック２０１ｂとの相関が最も高いと考えられる。したがって、画像ブロック２０１ａでのカメラａとカメラｂとの視差は４画素と算出される。また、算出された視差に画素ピッチサイズをかけることで（式１）の視差Ｐが求められ、対象物までの距離Ｄが算出される。この場合、視差検出装置は、実際の視差３．６画素に近い視差は求められるが、視差の検出精度は１画素となるため、小数点以下の画素の精度で視差（以降、サブピクセル視差と呼ぶ）は求められない。【００１６】
測距精度つまり視差検出分解能を１画素単位でなく更に高精度に求めるための方法として、サブピクセルレベル視差を推定する方法が提案されている（例えば特許文献１参照）。例えば、等角直線フィッティングというサブピクセル視差推定方法では、図５に示すように実際視差を基準にＳＡＤの推移が左右で同一θの傾きであることを仮定することによって、１次線形補間により実際視差がサブピクセルレベルで推定される。等角直線フィッティングのサブピクセル視差算出式、つまり補間式を（式３）に示す。【００１７】
【数３】
2011010438.tif 000005
【００１８】
ここで、Ｐはサブピクセル視差、ＰｍｉｎはＳＡＤが最小となるずらし量（整数視差）、Ｒ（０）はＳＡＤが最小になるずらし量での相関値（ＳＡＤ）、その隣接するずらし量でのＳＡＤをＲ（−１）、Ｒ（１）とする。【００１９】
またその他にも、２次関数など高次の線形関数あるいは非線形関数により実際視差を補間演算する方法が提案されている。特に図３Ａ及び図３Ｂに示すような輝度が１次関数的に変化する対象物の場合は、図４に示すようにＳＡＤの推移が実際視差を基準に対称となり、且つ１次直線的にＳＡＤが推移する。そのため、視差検出装置は、等角直線フィッティングを用いてサブピクセル視差推定を行うことにより、視差３．６画素を正確に求めることができる。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２０００−２８３７５３号公報
【非特許文献】
【００２１】
【非特許文献１】徐剛、辻三郎著  「３次元ビジョン」共立出版  ｐｐ９６−９９  ２００２年９月２５日出版
【発明の概要】
【発明が解決しようとする課題】
【００２２】
複数のカメラを用いてステレオ測距が行われる際に、例えば低コスト化あるいは低背化を目的とした組レンズの枚数削減などの理由、又はその他故意的な理由により、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合がある。このような場合に、ステレオ測距における視差検出誤差が大きくなるという課題があった。【００２３】
そこで、本発明は、上記課題を解決するためになされたものであり、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合であっても、視差検出誤差を抑制することができる視差検出装置を提供することを目的とする。
【課題を解決するための手段】
【００２４】
上述した目的を達成するために、本発明の一態様である視差検出装置は、複数の光学系間に生じる視差を算出する視差検出装置であって、前記複数の光学系の点像分布が所定の光学系の点像分布と同一となるように、前記複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正する点像分布同一化部と、前記点像分布同一化部によって補正された画像を用いて、前記複数の光学系間に生じる視差を算出する視差算出部とを備える。【００２５】
これにより、異なるカメラの画像間の収差分布の差異が小さくなるように画像を補正することが可能となるため、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合であっても視差検出誤差を抑制することが可能となる。【００２６】
また、前記点像分布同一化部は、前記複数の画像の少なくとも１つを空間領域から周波数領域に変換する周波数領域変換部と、前記周波数領域変換部によって周波数領域に変換された画像に補正データを作用させることにより、前記複数の光学系の点像分布が前記所定の光学系の点像分布と同一となるように当該画像を補正する点像分布変換部と、前記点像分布変換部によって補正された画像を周波数領域から空間領域に逆変換する空間領域変換部とを有し、前記視差算出部は、前記空間領域変換部によって逆変換された画像を用いて、前記視差を算出し、前記補正データは、第１の光学伝達関数を、当該補正データを作用させる画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータであることが好ましい。【００２７】
また、前記点像分布変換部は、前記周波数領域変換部によって周波数領域に変換された画像に前記補正データを乗じることにより画像を補正することが好ましい。【００２８】
これにより、空間領域から周波数領域変換に変換された画像において補正することが可能となるので、効率的に画像を補正することが可能となる。さらに、異なるカメラの画像間の収差分布の差異を光学伝達関数を用いて小さくすることができるので、視差検出誤差をより抑制することが可能となる。つまり、ステレオカメラの測距精度をより向上することが可能となる。【００２９】
また、前記第１の光学伝達関数は、前記複数の光学系のうち基準となる１つの光学系の光学伝達関数であることが好ましい。【００３０】
これにより、ステレオカメラの測距精度をより向上することが可能となるとともに、基準とする光学系の収差分布を補正する必要がなくなるため、演算時間を短縮することが可能となる。【００３１】
また、前記第１の光学伝達関数は、第１の空間周波数における値の大きさに対する、前記第１の空間周波数よりも高い第２の空間周波数における値の大きさの比率が、前記点像分布同一化部によって補正される画像が得られる光学系の光学伝達関数における当該比率よりも大きい光学伝達関数であることが好ましい。【００３２】
これにより、ステレオカメラの測距精度をより向上することが可能となるとともに、撮影画像の解像度を向上させることが可能となるので、測距データとともに高解像度な画像を出力することが可能となる。【００３３】
また、前記第１の光学伝達関数は、各空間周波数における値の大きさが略同一であることが好ましい。【００３４】
これにより、ステレオカメラの測距精度をより向上することが可能となるとともに、撮影画像の解像度を更に向上させることが可能となるため、測距データとともに更に高解像度な画像を出力することが可能となる。【００３５】
また、さらに、第１の光学伝達関数を、前記点像分布同一化部によって補正される画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータを補正データとして生成する補正データ生成部を備え、前記点像分布変換部は、前記周波数領域変換部によって周波数領域に変換された画像に、前記補正データ生成部によって生成された補正データを作用させることが好ましい。【００３６】
これにより、補正データを生成することが可能となるので、光学系の点像分布が変化した場合であっても、変化後の点像分布に応じた補正データを生成することが可能となる。【００３７】
また、前記所定の光学系の点像分布は、前記複数の光学系のうち基準となる１つの光学系の点像分布であることが好ましい。【００３８】
これにより、基準となる光学系から得られる画像を補正する必要がないので、点像分布の同一化に必要な演算時間を短縮することが可能となる。【００３９】
また、本発明の一態様である測距装置は、上記の視差検出装置と、前記視差検出装置によって検出された視差を用いて、対象物までの距離を算出する距離算出部とを備える。【００４０】
これにより、視差検出誤差を抑制できるので、ステレオ測距の測距精度を向上させることが可能となる。【００４１】
なお、本発明は、上記のような視差検出装置として実現することができるだけでなく、このような視差検出装置が備える特徴的な構成部の動作をステップとする視差検出方法として実現することもできる。さらに、本発明は、視差検出方法に含まれるステップを、プロセッサ及びメモリを有するコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体又はインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００４２】
本発明によれば、異なるカメラの画像間の収差分布の差異を小さくすることが可能となるため、同一被写体を異なるカメラで撮影した場合の画像間の歪みの差が小さくすることができる。したがって、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合であっても、視差検出誤差を抑制することが可能となる。
【図面の簡単な説明】
【００４３】
【図１】図１は、従来のステレオ測距原理の説明図である。
【図２】図２は、従来の画像の輝度の表現方法の説明図である。
【図３Ａ】図３Ａは、従来の視差算出演算の説明図である。
【図３Ｂ】図３Ｂは、従来の視差算出演算の説明図である。
【図４】図４は、従来の視差算出演算を説明するグラフである。
【図５】図５は、従来のサブピクセル視差算出演算の説明図である。
【図６】図６は、レンズの偏芯の説明図である。
【図７】図７は、レンズのチルトの説明図である。
【図８】図８は、レンズのバックフォーカス量の説明図である。
【図９Ａ】図９Ａは、レンズの偏芯の説明図である。
【図９Ｂ】図９Ｂは、レンズの偏芯の説明図である。
【図１０Ａ】図１０Ａは、各光学系の点像分布を示す図である。
【図１０Ｂ】図１０Ｂは、各光学系の点像分布を示す図である。
【図１１Ａ】図１１Ａは、被写体を示す図である。
【図１１Ｂ】図１１Ｂは、被写体を示す図である。
【図１２Ａ】図１２Ａは、測距誤差の大きい領域を示す図である。
【図１２Ｂ】図１２Ｂは、測距誤差の大きい領域を示す図である。
【図１３Ａ】図１３Ａは、レンズの偏芯の説明図である。
【図１３Ｂ】図１３Ｂは、レンズの偏芯の説明図である。
【図１４Ａ】図１４Ａは、補正後の点像分布を示す図である。
【図１４Ｂ】図１４Ｂは、補正後の点像分布を示す図である。
【図１５Ａ】図１５Ａは、本発明の実施の形態１に係る測距システムの構成図である。
【図１５Ｂ】図１５Ｂは、本発明の実施の形態１に係る視差検出装置における視差を算出する処理の流れを示すフローチャートである。
【図１６】図１６は、本発明の実施の形態１に係る被写体と撮影された被写体像の収差分布の関係性を説明する図である。
【図１７Ａ】図１７Ａは、本発明の実施の形態１に係る第１の光学系におけるレンズの偏芯の説明図である。
【図１７Ｂ】図１７Ｂは、本発明の実施の形態１に係る第２の光学系におけるレンズの偏芯の説明図である。
【図１８Ａ】図１８Ａは、本発明の実施の形態１に係る第１の光学系の点像分布を示す図である。
【図１８Ｂ】図１８Ｂは、本発明の実施の形態１に係る第２の光学系の点像分布を示す図である。
【図１９Ａ】図１９Ａは、本発明の実施の形態１に係る第１の光学系の点像分布を示す図である。
【図１９Ｂ】図１９Ｂは、本発明の実施の形態１に係る第２の光学系の補正後の点像分布を示す図である。
【図２０】図２０は、本発明の実施の形態１の変形例に係る補正データの算出の処理及び点像分布の同一化の処理における領域分割の一例を示す図である。
【図２１】図２１は、本発明の実施の形態１の変形例に係る測距システムの構成図である。
【図２２】図２２は、本発明の実施の形態２に係るモデルカメラの点像分布を示す図である。
【図２３Ａ】図２３Ａは、本発明の実施の形態２に係る第１の光学系の補正後の点像分布を示す図である。
【図２３Ｂ】図２３Ｂは、本発明の実施の形態２に係る第２の光学系の補正後の点像分布を示す図である。
【発明を実施するための形態】
【００４４】
複数のカメラを用いてステレオ測距が行われる際に、例えば低コスト化あるいは低背化を目的とした組レンズの枚数削減などの理由、又はその他故意的な理由により、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合がある。この場合、レンズの偏芯量あるいはチルト量などがカメラ間で異なれば、カメラ同士の画像の収差分布の差異も大きくなる。こうして、収差分布の差異が大きい場合は、同一被写体を異なるカメラで撮影した場合の画像間の歪みの差が大きくなるので、視差検出誤差が大きくなる。
【００４５】
ここで偏芯とは、図６に示すようにレンズの片面側の光軸Ｃ１と、他の面の光軸Ｃ２とのずれＤを表す。組レンズの場合は、レンズ間の光軸のずれ量も偏芯という。
【００４６】
また、図７に示すように、カメラａのレンズのチルト量とカメラｂのレンズのチルト量の差異Ｔｄ（＝Ｔａ−Ｔｂ）が大きい場合、又は図８に示すようにカメラａのバックフォーカス量とカメラｂのバックフォーカス量との差異Ｂｆ（＝Ｂａ−Ｂｂ）が大きい場合もカメラ間の収差分布の差異が大きいことにより視差検出誤差が大きくなる。
【００４７】
例えば図９Ａ及び図９Ｂに示すように、図１のカメラａのレンズ１０２ａの片面側の偏芯Ｄａと、カメラｂのレンズ１０２ｂの偏芯Ｄｂとが、撮像素子の水平方向においてそれぞれ逆方向に生じた場合、カメラａの点像分布（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）は、例えば図１０Ａに示すようになり、カメラｂの点像分布は、例えば図１０Ｂに示すようになる。
【００４８】
ここで点像分布とは、点拡がり関数又は点像分布関数とも呼ばれ、非常に小さい点光源をカメラで撮影したときの撮影像のことをいい、カメラの光学系の収差分布（ボケ具合）を表す。
【００４９】
図１０Ａ及び図１０Ｂに示すような収差分布の差異がある光学系を用いて、例えば図１１Ａ又は図１１Ｂの被写体を測距した場合、図１２Ａ又は図１２Ｂの斜線領域の測距精度が他の領域に比較して大幅に低下することが実験結果として得られている。図１２Ａ及び図１２Ｂにおける測距精度が低下する領域の分布は、カメラの光学設計、あるいは画像の領域ごとの点像分布の違いによって変化する。ここでは、光学系が、単レンズで構成され、焦点距離２ｍｍ、半画角３０度、Ｆナンバ２．８として光学設計され、画素ピッチ２μｍ、偏芯Ｄａ及びＤｂが５μｍ程度である場合の測距結果の一例を示している。図１２Ａ及び図１２Ｂの斜線領域は、視差検出誤差（測距誤差）が約１画素以上生じる領域を大まかに示している。なお、光学系間の距離は２．８ｍｍとした。
【００５０】
一方、図１３Ａ及び図１３Ｂに示すように、カメラａのレンズ１０２ａの偏芯Ｄａと、カメラｂのレンズ１０２ｂの偏芯Ｄｂとが、撮像素子の水平方向においてそれぞれ同一方向に同一偏芯量生じている場合であって、かつ、図１４Ａ及び図１４Ｂに示すように、カメラａとカメラｂの点像分布が同一の場合には、図１１Ａ及び図１１Ｂの被写体を測距したときに、いずれの被写体でも画像全体で高い測距精度が得られる。したがって、カメラ間の収差分布の差異が大きい場合に、画像中の領域により測距精度がばらついたり、被写体により測距精度がばらついたりする。つまり、カメラ間の収差分布の差異が大きい場合に、視差検出誤差が大きくなる。
【００５１】
そこで、撮像素子の画素ピッチに対してレンズの解像度が低いカメラが用いられることにより、カメラ間の収差分布の差異が大きくなった場合であっても、視差検出誤差を抑制することができる視差検出装置について、図面を参照しながら説明する。
【００５２】
本発明の実施の形態１に係る視差検出装置は、第２の光学系の点像分布が第１の光学系の点像分布と同一となるように、第２の光学系から得られる画像を周波数領域上で補正する。これにより、測距装置は、カメラ間の収差分布の差異が大きい場合であっても、測距精度の向上を実現することができる。
【００５３】
また、本発明の実施の形態２に係る視差検出装置は、すべての光学系の点像分布がモデルとなる光学系の点像分布と同一となるように、入力画像を周波数領域上で補正する。これにより、測距装置は、カメラ間の収差分布の差異が大きい場合であっても、測距精度の向上を実現することができる。
【００５４】
（実施の形態１）
まず、本発明の実施の形態１に係る測距システムについて説明する。
【００５５】
本実施の形態に係る視差検出装置３は、カメラ２ｂが有する第２の光学系の点像分布が、カメラ２ａが有する第１の光学系の点像分布と同一となるように、カメラ２ｂによって撮影された画像を補正する。これにより、視差検出装置３は、視差の算出及び測距の精度を向上させることができる。なお、本実施の形態では、第１の光学系が、所定の光学系に相当し、かつ、複数の光学系のうち基準となる１つの光学系に相当する。
【００５６】
図１５Ａは、本発明の実施の形態１に係る測距システムの構成を示す図である。図１５Ａに示すように、測距システムは、測距装置１とＰＳＦ補正データ作成装置２０とを備える。
【００５７】
測距装置１は、第１の光学系と第２の光学系との間に生じる視差を用いて、対象物までの距離、又は対象物の三次元位置もしくは形状を測定する。測距装置１は、カメラ２ａ及び２ｂと、視差検出装置３と、距離算出部１１とを備える。
【００５８】
カメラ２ａは、第１の光学系と撮像素子とを含み、測距の対象となる対象物を撮影する。また、カメラ２ｂは、第２の光学系と撮像素子とを含み、カメラ２ａが撮影する対象物と同一の対象物を撮影する。
【００５９】
本実施の形態では、第１及び第２の光学系は、単レンズで構成され、焦点距離２ｍｍ、半画角３０度、Ｆナンバ２．８として光学設計されたものである。また、偏芯が、いずれの光学系にも５μｍ程度存在する。なお、カメラ２ａ及び２ｂは、必ずしも上記のように構成される必要はなく、例えば光学系は複数のレンズで構成されてもよい。
【００６０】
距離算出部１１は、視差検出装置３から出力された視差を用いて、対象物までの距離、又は対象物の三次元位置もしくは形状を算出する。具体的には、距離算出部１１は、例えば、視差検出装置３から出力された視差と、事前のキャリブレーション処理などにより既知の基線長Ｂ及び焦点距離ｆとを用いて、（式１）にしたがって距離Ｄを算出する。
【００６１】
視差検出装置３は、２つのカメラ２ａ及び２ｂ間に生じる視差を算出する。具体的には、視差検出装置３は、カメラ２ａ及び２ｂのそれぞれが出力する２つの画像を取込み、取込んだ２つの画像に基づいて視差を算出する。図１５Ａに示すように、視差検出装置３は、前処理部４と、視差算出部９と、後処理部１０とを備える。
【００６２】
前処理部４は、視差の検出が実施しやすいように画像を補正する。具体的には、前処理部４は、ＰＳＦ同一化部５を用いて、第１及び第２の光学系の点像分布が同一となるように、カメラ２ｂの画像を補正する。さらに、前処理部４は、カメラ２ａの画像、及びＰＳＦ同一化部５によって補正されたカメラ２ｂの画像に、平行化処理を含むキャリブレーション処理、及びローパスフィルタ処理を施す。
【００６３】
なお、前処理部４は、必ずしも、ＰＳＦ同一化処理、キャリブレーション処理、及びローパスフィルタ処理の順に処理を実行する必要はなく、その順序は必要に応じて変更してもよい。
【００６４】
ＰＳＦ同一化部５は、点像分布同一化部に相当し、２つのカメラから出力された２つの画像の収差分布が十分同一になるような処理を行う。具体的には、ＰＳＦ同一化部５は、第２の光学系から得られる画像を、第１及び第２の光学系の点像分布が同一となるように補正する。ＰＳＦ同一化部５は、周波数領域変換部６と、ＰＳＦ変換部７と、空間領域変換部８とを有する。
【００６５】
周波数領域変換部６は、第２の光学系から得られる画像を空間領域から周波数領域に変換する。具体的には、周波数領域変換部６は、入力されたカメラ２ｂの画像ｆｏｂ（ｉ，ｊ）を周波数領域データである補正前複素数データＦｏｂ（ｕ，ｖ）に２次元フーリエ変換する。
【００６６】
以下において、２次元フーリエ変換する画像のサイズは、垂直方向Ｍ画素、水平方向Ｎ画素（ｉ＝０，１，２，・・・Ｍ−１、ｊ＝０，１，２，・・・Ｎ−１、ｕ＝０，１，２，・・・Ｍ−１、ｖ＝０，１，２，・・・Ｎ−１）として説明する。
【００６７】
ＰＳＦ変換部７は、点像分布変換部に相当し、周波数領域変換部６によって周波数領域に変換された画像に補正データを作用させることにより、第１及び第２の光学系の点像分布が同一となるように画像を補正する。具体的には、ＰＳＦ変換部７は、補正前複素数データＦｏｂ（ｕ，ｖ）に補正データＦｃ（ｕ，ｖ）を作用させ、補正後複素数データＦｏｂ’（ｕ，ｖ）を出力する。
【００６８】
ここで、補正データＦｃ（ｕ，ｖ）は、基準となる光学系である第１の光学系の第１の光学伝達関数を、当該補正データを作用させる画像が得られる光学系（第２の光学系）の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータである。
【００６９】
ＰＳＦ変換部７及び補正データの詳細は後述する。
【００７０】
空間領域変換部８は、ＰＳＦ変換部７によって補正された画像を周波数領域から空間領域に逆変換する。具体的には、空間領域変換部８は、補正後複素数データＦｏｂ’（ｕ，ｖ）を２次元逆フーリエ変換し、ＰＳＦ補正後画像ｆｃｂ（ｉ，ｊ）を出力する。
【００７１】
視差算出部９は、前処理部４から出力されたカメラ２ａ及びカメラ２ｂの前処理後画像から、前述の相関値ＳＡＤなどを用いて画像間の視差を算出する。
【００７２】
後処理部１０は、視差算出部９が算出した視差に対して、視差量の補正及び出力フォーマットの調整などの後処理を行い、視差の計算結果を出力する。具体的には、後処理部１０は、例えば、メディアンフィルタなどを用いて、視差算出部９によって算出された視差のノイズを除去する。また、後処理部１０は、例えば、視差算出部９によって算出された視差の単位を画素からミリメートルへ単位変換する。
【００７３】
ＰＳＦ補正データ作成装置２０は、第１の光学伝達関数を、ＰＳＦ同一化部５によって補正される画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータを補正データとして生成する。例えば、ＰＳＦ補正データ作成装置２０は、工場出荷時などユーザが測距装置１を使用する前に、あらかじめＰＳＦ変換部７において使用される補正データＦｃ（ｕ，ｖ）を算出する。図１５Ａに示すように、ＰＳＦ補正データ作成装置２０は、補正データ算出前処理部２１と、周波数領域変換部２２と、補正データ算出部２３と、補正データ算出後処理部２４とを備える。
【００７４】
補正データ算出前処理部２１は、カメラ２ａ及びカメラ２ｂから、第１及び第２の光学系の点像分布を取得する。そして、補正データ算出前処理部２１は、取得した点像分布において、明るさ調整などの前処理を行う。なお、第１及び第２の光学系の点像分布は、例えば、カメラ２ａ及び２ｂのそれぞれが非常に小さい点光源を撮影することにより得られる。
【００７５】
周波数領域変換部２２は、補正データ算出前処理部２１によって前処理が行われた第１及び第２の光学系の点像分布を、空間領域から周波数領域に変換する。つまり、周波数領域変換部２２は、第１の光学系の点像分布を第１の光学伝達関数に変換し、第２の光学系の点像分布を第２の光学伝達関数に変換する。
【００７６】
補正データ算出部２３は、基準となる光学系である第１の光学系の第１の光学伝達関数を、第２の光学系の第２の光学伝達関数で除したデータ又はそれに相当するデータを補正データとして算出する。
【００７７】
補正データ算出後処理部２４は、補正データ算出部２３によって算出された補正データのノイズの除去あるいは出力フォーマットの調整などを行う。
【００７８】
次に、上記のように構成された測距システムの動作について説明する。
【００７９】
図１５Ｂは、本発明の実施の形態１に係る視差検出装置における視差を算出する処理の流れを示すフローチャートである。
【００８０】
まず、前処理部４は、カメラ２ａ及び２ｂによって撮影された画像を取得する（ステップＳ１０１）。続いて、ＰＳＦ同一化部５は、取得された画像のうち、基準となる光学系を有するカメラ２ａ以外のカメラであるカメラ２ｂによって撮影された画像を選択し、周波数領域変換部６は、選択された画像を、空間領域から周波数領域に変換する（ステップＳ１０２）。
【００８１】
次に、ＰＳＦ変換部７は、周波数領域に変換された画像に補正データを作用させることにより、第１及び第２の光学系の点像分布が同一となるように画像を補正する（ステップＳ１０３）。具体的には、ＰＳＦ変換部７は、周波数領域に変換された画像に補正データを乗じることにより、周波数領域に変換されたカメラ２ｂの画像を補正する。
【００８２】
そして、空間領域変換部８は、補正された画像を周波数領域から空間領域に逆変換する（ステップＳ１０４）。さらに、前処理部４は、逆変換された画像と、ステップＳ１０２において選択されなかった、カメラ２ａによって撮影された画像とに、平行化処理を含むキャリブレーション処理及びローパスフィルタ処理などの前処理を施す（ステップＳ１０５）。
【００８３】
続いて、視差算出部９は、ステップＳ１０６において前処理が施された画像を用いて、視差を算出する（ステップＳ１０６）。具体的には、視差算出部９は、前処理が施された、カメラ２ａの画像とカメラ２ｂの画像とにおいて、各画像の小領域ごとの類似度を示す相関値を算出する。そして、視差算出部９は、算出した相関値を用いて画像間の小領域毎のずれ量を視差として算出する。
【００８４】
最後に、後処理部１０は、算出された視差のノイズ除去及び出力フォーマットの調整などの後処理を行う（ステップＳ１０７）。
【００８５】
このように、視差検出装置３は、２つのカメラ２ａ及び２ｂの光学系の点像分布を同一化した画像を用いて、光学系間に生じる視差を算出する。
【００８６】
次に、測距システムの具体例を、以下に詳細に説明する。
【００８７】
まず、ＰＳＦ補正データ作成装置２０による補正データＦｃ（ｕ，ｖ）の算出原理及び算出方法を説明する。
【００８８】
図１６は、被写体と撮影された被写体像の収差分布の関係性を説明する図である。図１６に示すように、もともとの被写体像５１（収差の無い理想レンズで撮影した被写体像と等価）を２次元フーリエ変換した後のデータをＦｉ（ｕ，ｖ）と記載する。また、カメラの光学系を介して撮像素子に写像される被写体像５２を２次元フーリエ変換した後のデータをＦｏ（ｕ，ｖ）と記載する。また、カメラの光学系の点像分布５３を２次元フーリエ変換したものである光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）をＦｐ（ｕ，ｖ）と記載する。このとき、複素数であるＦｉ（ｕ，ｖ）、Ｆｏ（ｕ，ｖ）、及びＦｐ（ｕ，ｖ）は、それぞれ同一のサンプリング間隔で像を２次元フーリエ変換していると仮定すれば、（式４）の関係が成り立つ。
【００８９】
【数４】
2011010438.tif 000006
【００９０】
なお、２次元フーリエ変換は、画像データｆ（ｉ，ｊ）と、周波数領域の複素数データＦ（ｕ，ｖ）とを用いて、（式５）のように表わされる。
【００９１】
【数５】
2011010438.tif 000007
【００９２】
２次元フーリエ変換は、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）などの演算高速化手法を用いて計算されてもよいことは言うまでもない。
【００９３】
図１５Ａの本実施の形態に係る測距装置１において、カメラ２ａが有する第１の光学系とカメラ２ｂが有する第２の光学系とは、図１７Ａ及び図１７Ｂに示すように偏芯の方向が異なる。したがって、第１及び第２の光学系の点像分布は互いに異なる。
【００９４】
図１８Ａは、カメラ２ａが有する第１の光学系の点像分布（ＰＳＦ）を示す図である。また、図１８Ｂは、カメラ２ｂが有する第２の光学系の点像分布（ＰＳＦ）を示す図である。周波数領域変換部２２は、図１８Ａ及び図１８Ｂの点像分布をそれぞれ２次元フーリエ変換する。その結果、周波数領域変換部２２は、カメラ２ａが有する第１の光学系のＯＴＦ（第１の光学伝達関数）であるＦｐａ（ｕ，ｖ）と、カメラ２ｂに含まれる第２の光学系のＯＴＦ（第２の光学伝達関数）であるＦｐｂ（ｕ，ｖ）とを出力する。なお、カメラ２ａ及びカメラ２ｂによって撮影された画像の収差分布（ボケ具合）が異なるので、Ｆｐａ（ｕ，ｖ）とＦｐｂ（ｕ，ｖ）とは異なる。
【００９５】
続いて、補正データ算出部２３は、カメラ２ｂの画像の収差分布をカメラ２ａの画像の収差分布と同一にするための補正データを算出する。
【００９６】
ここで、（式４）の関係式を考慮すれば、補正後複素数データＦｏｂ’は、カメラ２ｂの被写体撮影画像の２次元フーリエ変換後の補正前複素数データＦｏｂ（ｕ，ｖ）を用いて、（式６）のように表される。
【００９７】
【数６】
2011010438.tif 000008
【００９８】
視差検出装置３は、（式６）にしたがって算出される補正後複素数データＦｏｂ’（ｕ，ｖ）を２次元逆フーリエ変換することにより、カメラ２ｂの画像の収差分布を、カメラ２ａの画像の収差分布と同一にすることができる。２次元逆フーリエ変換は、複素数データをＦ（ｕ，ｖ）、画像データをｆ（ｉ，ｊ）とすれば、（式７）で表わされる。
【００９９】
【数７】
2011010438.tif 000009
【０１００】
なお、２次元逆フーリエ変換も、（式５）に示した２次元フーリエ変換と同様に、演算高速化手法を用いて計算されてもよいことは言うまでもない。
【０１０１】
図１９Ｂは、図１８Ｂのカメラ２ｂの第２の光学系の点像分布を、（式６）を用いて補正した後の点像分布を示す図である。図１９Ｂの画像は、図１９Ａに示すカメラ２ａの第１の光学系の点像分布と同一の画像になる。
【０１０２】
補正データ算出部２３は、（式６）に基づいて、カメラ２ｂの画像の収差分布をカメラ２ａの画像の収差分布と同一化するための補正データＦｃ（ｕ，ｖ）を（式８）のように算出する。
【０１０３】
【数８】
2011010438.tif 000010
【０１０４】
つまり、補正データ算出部２３は、基準となる光学系である第１の光学系の第１の光学伝達関数を、ＰＳＦ同一化部５によって補正される画像が得られる光学系である第２の光学系の第２の光学伝達関数で除したデータを補正データとして算出する。
【０１０５】
なお、光学設計によっては、Ｆｐｂ（ｕ，ｖ）の特に空間周波数が高い領域の複素数（周波数成分）の大きさがゼロの場合又はゼロに近い値になる場合がある。この場合、撮像素子に起因するノイズの悪影響も作用することにより、Ｆｃ（ｕ，ｖ）の値が不適切な値になるときがある。そのときは、例えば、補正データ算出部２３は、ゼロ割等による補正データＦｃ（ｕ，ｖ）の値の発散を低減するウィナーフィルタ、あるいはベイズ理論などを用いた統計的手法を利用して、補正データＦｃ（ｕ，ｖ）を算出すればよい。つまり、補正データ算出部２３は、第１の光学伝達関数を第２の光学伝達関数で除したデータに相当するデータを補正データとして算出すればよい。これにより、補正データＦｃ（ｕ，ｖ）に不適切な値が発生しにくくなる。
【０１０６】
次に、補正データ算出後処理部２４は、補正データＦｃ（ｕ，ｖ）の修正あるいは出力フォーマットの調整などを行う。ＰＳＦ変換部７は、補正データ算出後処理部２４から出力される補正データＦｃ（ｕ，ｖ）を用いて、画像を補正する。
【０１０７】
上述の原理及び手法により、ＰＳＦ補正データ作成装置２０は、カメラ２ａ及びカメラ２ｂの点像分布（ＰＳＦ）から、補正データＦｃ（ｕ，ｖ）を算出する。
【０１０８】
なお、画角により点像分布が大きく異なる場合は、ＰＳＦ補正データ作成装置２０は、画像中の領域ごとに補正データＦｃ（ｕ，ｖ）を算出してもよい。具体的には、ＰＳＦ補正データ作成装置２０は、例えば図２０に示すように画像を複数の領域６１〜６９に分割し、分割した領域ごとに点像分布を求めて、領域ごとの補正データＦｃ（ｕ，ｖ）を算出してもよい。
【０１０９】
次に、ＰＳＦ変換部７の詳細な説明を行う。
【０１１０】
ＰＳＦ変換部７には、カメラ２ｂの画像ｆｏｂ（ｉ，ｊ）が周波数領域変換部６によって２次元フーリエ変換された補正前複素数データＦｏｂ（ｕ，ｖ）が入力される。ＰＳＦ変換部７は、ＰＳＦ補正データ作成装置２０によってあらかじめ算出されている補正データＦｃ（ｕ，ｖ）を用いて、（式９）から補正後複素数データＦｏｂ’（ｕ，ｖ）を算出する。
【０１１１】
【数９】
2011010438.tif 000011
【０１１２】
空間領域変換部８は、ＰＳＦ変換部７によって補正された補正後複素数データＦｏｂ’（ｕ，ｖ）を２次元逆フーリエ変換する。これにより、ＰＳＦ同一化部５は、カメラ２ａの画像の収差分布と十分同一なカメラ２ｂの補正後の画像を生成することができる。つまり、点像分布が同一な光学系から得られる画像と同等の画像を用いて、視差の算出処理などが行われることになる。
【０１１３】
なお、例えば図２０のように補正データＦｃ（ｕ，ｖ）が画像中の領域ごとに算出された場合は、ＰＳＦ変換部７は、同様に画像中の領域ごとにカメラ２ｂの補正後複素数データＦｏｂ’を算出する。
【０１１４】
補正データＦｃ（ｕ，ｖ）は、例えばフラッシュＲＯＭなどの記憶部にテーブルとして記憶されればよい。また、補正データＦｃ（ｕ，ｖ）は、補正データＦｃ（ｕ，ｖ）を表す近似関数として記憶部に記憶されてもよい。つまり、補正データＦｃ（ｕ，ｖ）は、装置に応じた方法で記憶されればよい。
【０１１５】
以上により、本発明の実施の形態１によれば、異なるカメラの画像間の収差分布の差異を小さくすることが可能となるため、同一被写体を異なるカメラで撮影した場合の画像間の歪みの差が小さくなり、視差検出誤差を抑制することが可能となる。つまり、撮像素子の画素ピッチに対してレンズの解像度が低いカメラが用いられることにより、カメラ間の収差分布の差異が大きくなった場合であっても、ステレオ測距の測距精度を向上することが可能となる。
【０１１６】
また、実施の形態１では、基準となるカメラ（ここではカメラ２ａ）の収差分布の補正演算は実施される必要がないため、高速な処理演算が可能となる。
【０１１７】
なお、本発明の実施の形態１は、図２１に示すような３以上のカメラを備える測距装置（３眼以上のいわゆる多眼ステレオ）にも適用できることは言うまでもない。この場合、視差検出装置は、３以上のカメラのうち基準となるカメラ（例えば、カメラ２ａ）以外のカメラ（例えば、カメラ２ｂ及び２ｃ）によって撮影された画像を、前述のカメラ２ｂの第２の光学系の点像分布をカメラ２ａの第１の光学系の点像分布と同一化する方法と同様の方法により補正する。これにより、視差検出装置は、各カメラの光学系の点像分布を基準となるカメラの光学系の点像分布と同一化することができる。つまり、視差検出装置は、全カメラの画像間の収差分布の差異を小さくすることが可能となり、視差検出誤差を抑制することができる。
【０１１８】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
【０１１９】
本実施の形態に係る測距システムの構成は、図１５Ａの実施の形態１に係る測距システムと同様であるので、図示を省略する。本実施の形態では、ＰＳＦ補正データ作成装置２０及びＰＳＦ同一化部５の内部処理が実施の形態１と異なる。したがって、ＰＳＦ補正データ作成装置２０及びＰＳＦ同一化部５の処理の説明のみを以下に行う。
【０１２０】
本実施の形態に係る視差検出装置は、すべてのカメラの光学系の点像分布を、モデルとなるカメラ（以下、単に「モデルカメラ」という。）の光学系の点像分布ｆｐｓ（ｉ，ｊ）と同一となるように、すべてのカメラの画像を補正する。これにより、視差検出装置は、異なるカメラの点像分布を同一化して視差及び測距の精度を向上させることができる。なお、本実施の形態では、モデルカメラの光学系が所定の光学系に相当する。
【０１２１】
本実施の形態において、ＰＳＦ補正データ作成装置２０は、３つのカメラ２ａ、２ｂ及び２ｃの光学系の３つの点像分布（ＰＳＦ）を、モデルカメラの光学系の点像分布（ＰＳＦ）と十分同一にするための補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を算出する。実施の形態１と同様に、カメラ２ａの第１の光学系の点像分布は、図１８Ａに示される点像分布であり、カメラ２ｂの第２の光学系の点像分布は図１８Ｂに示される点像分布である。
【０１２２】
補正データ算出前処理部２１は、第１及び第２の光学系の点像分布に対して明るさ調整などの前処理を行う。
【０１２３】
周波数領域変換部２２は、補正データ算出前処理部２１によって前処理された点像分布をそれぞれ２次元フーリエ変換する。その結果、周波数領域変換部２２は、カメラ２ａのＯＴＦをＦｐａ（ｕ，ｖ）として算出し、カメラ２ｂのＯＴＦをＦｐｂ（ｕ，ｖ）として算出する。カメラ２ａとカメラ２ｂの光学系は、図１７Ａ及び図１７Ｂに示すように偏芯の方向が異なることにより点像分布が異なる。したがって、画像の収差分布（ボケ具合）が異なるため、Ｆｐａ（ｕ，ｖ）とＦｐｂ（ｕ，ｖ）とは互いに異なる。
【０１２４】
図２２は、モデルカメラの点像分布ｆｐｓ（ｉ，ｊ）を示す図である。この点像分布ｆｐｓ（ｉ，ｊ）を２次元フーリエ変換したデータが、光学伝達関数Ｆｐｓ（ｕ，ｖ）である。
【０１２５】
補正データ算出部２３は、カメラ２ａ、カメラ２ｂの画像の収差分布をモデルカメラの収差分布と同一にするための補正データを算出する。ここで、（式４）の関係式を考慮すれば、補正後複素数データＦｏａ’（ｕ，ｖ）及びＦｏｂ’（ｕ，ｖ）は、カメラ２ａ及びカメラ２ｂの被写体撮影画像の２次元フーリエ変換後の補正前複素数データＦｏａ（ｕ，ｖ）及びＦｏｂ（ｕ，ｖ）を用いて、（式１０）及び（式１１）のように表される。
【０１２６】
【数１０】
2011010438.tif 000012
【０１２７】
【数１１】
2011010438.tif 000013
【０１２８】
視差検出装置３は、（式１０）及び（式１１）にしたがって算出される補正後複素数データＦｏａ’（ｕ，ｖ）及びＦｏｂ’（ｕ，ｖ）を２次元逆フーリエ変換することにより、カメラ２ａ及びカメラ２ｂの画像の収差分布を、モデルカメラの収差分布と同一にすることができる。
【０１２９】
図２３Ａ及び図２３Ｂは、図１８Ａ及び図１８Ｂのカメラ２ａ及びカメラ２ｂの光学系の点像分布を、（式１０）及び（式１１）を用いて補正した画像を示す図である。図２３Ａ及び図２３Ｂの画像は、図２２に示すモデルカメラの点像分布と同一の画像になる。
【０１３０】
補正データ算出部２３は、（式１０）及び（式１１）に基づいて、カメラ２ａ及びカメラ２ｂの画像の収差分布をモデルカメラの収差分布と同一化するための補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を、（式１２）及び（式１３）のように算出する。
【０１３１】
【数１２】
2011010438.tif 000014
【０１３２】
【数１３】
2011010438.tif 000015
【０１３３】
つまり、補正データ算出部２３は、モデルとなる光学系の光学伝達関数を、ＰＳＦ同一化部５によって補正される画像が得られる光学系である、第１又は第２の光学系の光学伝達関数で除したデータを、第１又は第２の光学系の補正データとして算出する。
【０１３４】
なお、光学設計によっては、Ｆｐａ（ｕ，ｖ）及びＦｐｂ（ｕ，ｖ）の特に空間周波数が高い領域の複素数の大きさがゼロの場合、又はゼロに近い値になる場合がある。この場合、撮像素子に起因するノイズの悪影響も作用することにより、Ｆｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）の値が不適切な値になることがある。そのような場合は、例えば、補正データ算出部２３は、ゼロ割等による補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）の値の発散を低減するウィナーフィルタ、あるいはベイズ理論などを用いた統計的手法を利用して、補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を算出すればよい。つまり、補正データ算出部２３は、モデルとなる光学系の光学伝達関数を第１又は第２の光学系の光学伝達関数で除したデータに相当するデータを、第１又は第２の光学系の補正データとして算出すればよい。これにより、補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）に不適切な値が発生しにくくなる。
【０１３５】
補正データ算出後処理部２４は、補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）の修正あるいは出力フォーマットの調整などを行う。ＰＳＦ変換部７は、補正データ算出後処理部２４から出力される補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を用いて画像を補正する。
【０１３６】
上述の手法により、ＰＳＦ補正データ作成装置２０は、モデルカメラ、カメラ２ａ及びカメラ２ｂの点像分布（ＰＳＦ）から、補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を算出する。
【０１３７】
なお、画角により点像分布が大きく異なる場合は、実施の形態１と同様に、ＰＳＦ補正データ作成装置２０は、画像中の領域ごとに補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を算出してもよい。具体的には、ＰＳＦ補正データ作成装置２０は、例えば図２０に示すように画像を領域６１〜６９に分割し、分割した領域ごとに点像分布を求めて、領域ごとの補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を算出してもよい。
【０１３８】
次に、ＰＳＦ同一化部５の説明を行う。
【０１３９】
ＰＳＦ変換部７には、カメラ２ａの画像ｆｏａ（ｉ，ｊ）及びカメラ２ｂの画像ｆｏｂ（ｉ，ｊ）が周波数領域変換部６によって２次元フーリエ変換された補正前複素数データＦｏａ（ｕ，ｖ）及びＦｏｂ（ｕ，ｖ）が入力される。ＰＳＦ変換部７は、ＰＳＦ補正データ作成装置２０によってあらかじめ算出されている補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を用いて、（式１４）及び（式１５）から補正後複素数データＦｏａ’（ｕ，ｖ）及びＦｏｂ’（ｕ，ｖ）を算出する。
【０１４０】
【数１４】
2011010438.tif 000016
【０１４１】
【数１５】
2011010438.tif 000017
【０１４２】
空間領域変換部８は、ＰＳＦ変換部７によって補正された補正後複素数データＦｏａ’（ｕ，ｖ）及びＦｏｂ’（ｕ，ｖ）を逆フーリエ変換する。これにより、ＰＳＦ同一化部５は、モデルカメラの収差分布と十分同一なカメラ２ａ及びカメラ２ｂの補正後の画像を生成することができる。つまり、点像分布が同一な光学系から得られる画像と同等の画像を用いて、視差の算出処理などが行われることになる。
【０１４３】
なお、例えば図２０のように補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）が画像中の領域ごとに算出された場合は、ＰＳＦ変換部７は、同様に画像中の領域ごとにカメラ２ａ及びカメラ２ｂの補正後複素数データＦｏａ’及びＦｏｂ’を算出する。
【０１４４】
補正データＦｃａ（ｕ，ｖ）及びＦｃａ（ｕ，ｖ）は、例えばフラッシュＲＯＭなどの記憶部にテーブルとして記憶されればよい。また、補正データＦｃａ（ｕ，ｖ）又はＦｃｂ（ｕ，ｖ）は、補正データＦｃａ（ｕ，ｖ）又はＦｃｂ（ｕ，ｖ）を表す近似関数として記憶部に記憶されてもよい。つまり、補正データＦｃａ（ｕ，ｖ）又はＦｃｂ（ｕ，ｖ）は、装置に応じた方法で記憶されればよい。
【０１４５】
以上により、本発明の実施の形態２によれば、異なるカメラの画像間の収差分布の差異を小さくすることが可能となるため、同一被写体を異なるカメラで撮影した場合の画像間の歪みの差が小さくなり、視差検出誤差を抑制することが可能となる。つまり、ステレオカメラの測距精度を向上することが可能となる。
【０１４６】
また、本実施の形態において、モデルカメラの解像度特性は、実際のカメラ（ここではカメラ２ａ、２ｂ）より良好になることが好ましい。これにより、測距装置１又は視差検出装置３は、撮影画像より高解像度な補正後の画像を生成することができるようになり、測距データに加えて高解像度な画像を出力することが可能となる。
【０１４７】
言い換えると、モデルカメラの光学系の光学伝達関数は、第１及び第２の光学伝達関数よりも、フラットな周波数特性を示すことが好ましい。つまり、モデルカメラの光学系の光学伝達関数は、第１の空間周波数における値の大きさに対する、第１の空間周波数よりも高い第２の空間周波数における値の大きさの比率が、第１及び第２の光学系の光学伝達関数における当該比率よりも大きいことが好ましい。
【０１４８】
特に、モデルカメラの解像度特性が収差のない特性（ＯＴＦの大きさが全空間周波数においてほぼ同一）であることが、より好ましい。これにより、測距装置１又は視差検出装置３は、極めて高い解像度の画像を生成及び出力することが可能となる。
【０１４９】
言い換えると、モデルカメラの光学系の光学伝達関数は、フラットな周波数特性を示す関数であることが好ましい。すなわち、モデルカメラの光学系の光学伝達関数は、各空間周波数における値の大きさが略同一であることが好ましい。
【０１５０】
なお、本発明の実施の形態２は、図２１に示すような３以上のカメラを備える測距装置（３眼以上のいわゆる多眼ステレオ）にも適用できることは言うまでもない。この場合、視差検出装置は、カメラ２ｃ及びその他のカメラによって撮影された画像も、前述のカメラ２ａ及びカメラ２ｂの光学系の点像分布をモデルカメラの光学系の点像分布と同一化する方法と同様の方法により補正する。これにより、視差検出装置は、カメラ２ａ、２ｂ及び２ｃの光学系の点像分布をモデルカメラの光学系の点像分布と同一化することができる。つまり、視差検出装置は、全カメラの画像間の収差分布の差異を小さくすることが可能となり、視差検出誤差を抑制することができる。
【０１５１】
以上、本発明に係る測距システムについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、又は異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１５２】
例えば、上記実施の形態において、測距装置又は視差検出装置は、ＰＳＦ補正データ作成装置を備えていなかったが、ＰＳＦ補正データ作成装置を補正データ生成部として備えてもよい。これにより、測距装置又は視差検出装置は、光学系の点像分布に変化が生じた場合であっても、変化後の点像分布に応じて補正データを生成することが可能となる。
【０１５３】
また、上記実施の形態において、視差検出装置は、測距装置に備えられていたが、必ずしも測距装置に備えられる必要はない。例えば、視差検出装置は、算出した視差を他の装置に出力してもよい。より具体的には、視差検出装置は、例えば、立体映像を生成する装置に視差を出力してもよい。
【０１５４】
また、上記実施の形態において、測距装置又は視差検出装置が備える構成要素の一部又は全部は、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）として実現されてもよい。具体的には、例えば、図１５Ａ又は図２１に示す、前処理部、視差算出部及び後処理部の機能ブロックは、ＬＳＩとして実現されてもよい。なお、これらの機能ブロックは個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。集積回路化の手法はＬＳＩに限定されず、専用回路又は汎用プロセッサで実現されてもよい。また、ＬＳＩ製造後にプログラムすることが可能な、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、プログラマブルプロセッサ、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１５５】
また、本発明は、視差検出装置が備える特徴的な構成要素の動作をステップとする視差検出方法として実現してもよい。また、そのような視差検出方法に含まれるステップを、プロセッサ及びメモリを有するコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体又はインターネット等の伝送媒体を介して配信してもよい。
【産業上の利用可能性】
【０１５６】
本発明は、同一の対象物を撮像する複数の光学系で生じる視差を算出することのできる視差検出装置、及び、装置から対象物までの距離、又は対象物の三次元位置もしくは形状を求めることのできる測距装置に関するものであり、車載、監視、医療、ロボット、ゲーム、ＣＧ画像作成、及び立体画像用入力などの用途に有用である。
【符号の説明】
【０１５７】
１  測距装置
２ａ、２ｂ、２ｃ  カメラ
３  視差検出装置
４  前処理部
５  ＰＳＦ同一化部
６  周波数領域変換部
７  ＰＳＦ変換部
８  空間領域変換部
９  視差算出部
１０  後処理部
１１  距離算出部
２０  ＰＳＦ補正データ作成装置
２１  補正データ算出前処理部
２２  周波数領域変換部
２３  補正データ算出部
２４  補正データ算出後処理部
１００  対象物
１０１ａ、１０１ｂ  光線
１０２ａ、１０２ｂ  レンズ
１０３ａ、１０３ｂ  光軸
１０４ａ、１０４ｂ  撮像領域
１０５ａ、１０５ｂ  光学中心
１０６ａ、１０６ｂ  光軸と撮像領域との交点
１０７ａ、１０７ｂ  結像位置
【図１】
2011010438.tif 000018
【図２】
2011010438.tif 000019
【図３Ａ】
2011010438.tif 000020
【図３Ｂ】
2011010438.tif 000021
【図４】
2011010438.tif 000022
【図５】
2011010438.tif 000023
【図６】
2011010438.tif 000024
【図７】
2011010438.tif 000025
【図８】
2011010438.tif 000026
【図９Ａ】
2011010438.tif 000027
【図９Ｂ】
2011010438.tif 000028
【図１０Ａ】
2011010438.tif 000029
【図１０Ｂ】
2011010438.tif 000030
【図１１Ａ】
2011010438.tif 000031
【図１１Ｂ】
2011010438.tif 000032
【図１２Ａ】
2011010438.tif 000033
【図１２Ｂ】
2011010438.tif 000034
【図１３Ａ】
2011010438.tif 000035
【図１３Ｂ】
2011010438.tif 000036
【図１４Ａ】
2011010438.tif 000037
【図１４Ｂ】
2011010438.tif 000038
【図１５Ａ】
2011010438.tif 000039
【図１５Ｂ】
2011010438.tif 000040
【図１６】
2011010438.tif 000041
【図１７Ａ】
2011010438.tif 000042
【図１７Ｂ】
2011010438.tif 000043
【図１８Ａ】
2011010438.tif 000044
【図１８Ｂ】
2011010438.tif 000045
【図１９Ａ】
2011010438.tif 000046
【図１９Ｂ】
2011010438.tif 000047
【図２０】
2011010438.tif 000048
【図２１】
2011010438.tif 000049
【図２２】
2011010438.tif 000050
【図２３Ａ】
2011010438.tif 000051
【図２３Ｂ】
2011010438.tif 000052
【手続補正書】
【提出日】平成23年2月4日(2011.2.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光学系間に生じる視差を算出する視差検出装置等に関するものである。
【背景技術】
【０００２】
近年、所定の位置から対象物までの距離、もしくは対象物の三次元位置を高精度に測定したいという要求が高まっている。例えば自動車の視界支援において、自動車に取付けたカメラで撮影した周囲の物体の映像のみでなく、測距装置により測定した物体と自動車との正確な距離情報を同時に表示することにより、自動車と周囲の物体との衝突をより的確に回避する方法が提案されている。また、携帯電話又はテレビなどにおいては、映像の臨場感をより忠実に再現するために立体映像の入出力装置が望まれている。これら用途において、測距装置の測距精度を高精度化することが望まれている。
【０００３】
対象物までの距離、又は対象物の三次元位置を測定する方式として、従来より三角測量の原理を利用したステレオ測距方式が利用されている。ステレオ測距方式では、複数のカメラ間に生じる視差に基づき対象物までの距離が算出される。
【０００４】
図１は、カメラａ及びカメラｂの２つのカメラを用いた場合の、ステレオ測距方式による対象物までの距離算出の例を説明する図である。対象物１００の光線１０１ａ又は１０１ｂは、カメラａのレンズ１０２ａの光学中心１０５ａ、又はカメラｂのレンズ１０２ｂの光学中心１０５ｂを介して、撮像領域１０４ａ又は１０４ｂに結像する。光軸１０３ａ及び１０３ｂは各カメラの光軸を表す。この時、例えば対象物１００が、カメラａについては撮像領域１０４ａと光軸１０３ａとの交点１０６ａからＰａ離れた結像位置１０７ａに結像し、カメラｂについては撮像領域１０４ｂ上の撮像領域１０４ｂと光軸１０３ｂとの交点１０６ｂからＰｂ離れた結像位置１０７ｂに結像した場合、カメラａとカメラｂとの間に視差Ｐ（＝Ｐｂ−Ｐａ）が生じる。この視差Ｐは測距装置と対象物距離との距離Ｄに応じて変化する。カメラａの光軸１０３ａとカメラｂの光軸１０３ｂとが平行であり、かつ、その間隔が基線長Ｂであり、かつ、カメラａ及びカメラｂの焦点距離がともに焦点距離ｆとすれば、対象物までの距離Ｄは（式１）で表わされる。したがって、基線長Ｂ及び焦点距離ｆが事前のキャリブレーション処理などにより既知であれば、視差Ｐを求めることにより対象物１００までの距離Ｄを算出することが可能となる。
【０００５】
【数１】
2011010438.tif 000053
【０００６】
なお、実際の環境ではカメラａとカメラｂとの光軸は互いに平行ではない場合が多い。そこで、例えば非特許文献１に示されるような平行化処理が行われる。その結果、光軸が平行な画像が作成され、上記の演算を利用して距離Ｄが算出可能となることが知られている。
【０００７】
撮像領域１０４ａ及び１０４ｂは、通常ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子により構成される。したがって、２次元平面上で離散化された対象物像の輝度信号を用いて視差Ｐは算出されるので、通常その視差検出分解能は１画素となる。（式１）の関係にしたがって視差検出分解能から測距分解能（以降、測距精度と記載）が決まる。
【０００８】
従来の視差検出装置における視差Ｐの具体的な検出方法の例を説明する。視差検出装置は、カメラａの撮像領域１０４ａで取込まれた画像ａと、カメラｂの撮像領域１０４ｂで取込まれた画像ｂとについて、各画像の小領域毎の相関値であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：差分絶対値総和）を算出する。そして、視差検出装置は、算出した相関値を用いて画像ａと画像ｂ間の小領域毎の画像のずれ、つまり視差Ｐを算出する。なお、ＳＡＤは相関値の一例であり、視差検出装置は、一般的に知られているＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ：差分２乗総和）又はＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ：正規化相互相関）なども相関値として利用可能である。
【０００９】
以下に、図２〜図５を参照しながら、代表的な相関値であるＳＡＤを用いた視差の算出について説明する。
【００１０】
図２は、画像における各画素の輝度の表現方法について説明する図である。図２に示すように、「０」が黒、「１５」が白を示し、各画素の輝度の階調は、線の密度で表現される。なお、輝度は少数点以下の値となることもあり得る。
【００１１】
図３Ａは、写像した対象物のテクスチャを対象物側からみた、画像ａの一部を示す図である。図３Ｂは写像した対象物のテクスチャを対象物側からみた、画像ｂの一部を示す図である。
【００１２】
図３Ｂの太線で囲われた画像ブロック２０１ｂは、対象物が無限遠にあるときに図３Ａの太線で囲われた画像ブロック２０１ａと同一の画像が写像する。対象物が有限の距離にある場合は、図３Ａ及び図３Ｂに示すように視差が生じるため、図３Ｂの画像は図３Ａの画像に対して右側に写像する。ここでは図３Ａと図３Ｂとが３．６画素の実際視差を持つ場合の説明を行う。視差検出装置は、画像ブロック２０１ａと最も相関の高い画像領域を探索するため、画像ブロック２０１ｂを図３Ｂの太線の位置から右方向に１画素ずつずらしていき、各ずらし量毎にＳＡＤを（式２）に基づき算出する。
【００１３】
【数２】
2011010438.tif 000054
【００１４】
ここで、Ｉａ、Ｉｂは各画像ブロック内の輝度値を表し、ｉ、ｊは各画像ブロック内の局所アドレスを表す。画像ブロック２０１ａ及び画像ブロック２０１ｂは同一の画像サイズである。視差検出装置は、両画像ブロックの同一アドレスの輝度差分の絶対値のブロック内総和を各ずらし量毎に算出する。画像ブロックの形状は、長方形、あるいはテクスチャの特徴に応じた形状でもよいが、ここでは正方形の画像ブロックである場合について説明をしている。
【００１５】
図４は、画像ブロック２０１ｂを１画素ずつ移動させたときのＳＡＤの推移を示す図である。ずらし量が４画素の場合にＳＡＤが最小となっているため、画像ブロック２０１ａと画像ブロック２０１ｂとの相関が最も高いと考えられる。したがって、画像ブロック２０１ａでのカメラａとカメラｂとの視差は４画素と算出される。また、算出された視差に画素ピッチサイズをかけることで（式１）の視差Ｐが求められ、対象物までの距離Ｄが算出される。この場合、視差検出装置は、実際の視差３．６画素に近い視差は求められるが、視差の検出精度は１画素となるため、小数点以下の画素の精度で視差（以降、サブピクセル視差と呼ぶ）は求められない。
【００１６】
測距精度つまり視差検出分解能を１画素単位でなく更に高精度に求めるための方法として、サブピクセルレベル視差を推定する方法が提案されている（例えば特許文献１参照）。例えば、等角直線フィッティングというサブピクセル視差推定方法では、図５に示すように実際視差を基準にＳＡＤの推移が左右で同一θの傾きであることを仮定することによって、１次線形補間により実際視差がサブピクセルレベルで推定される。等角直線フィッティングのサブピクセル視差算出式、つまり補間式を（式３）に示す。
【００１７】
【数３】
2011010438.tif 000055
【００１８】
ここで、Ｐはサブピクセル視差、ＰｍｉｎはＳＡＤが最小となるずらし量（整数視差）、Ｒ（０）はＳＡＤが最小になるずらし量での相関値（ＳＡＤ）、その隣接するずらし量でのＳＡＤをＲ（−１）、Ｒ（１）とする。
【００１９】
またその他にも、２次関数など高次の線形関数あるいは非線形関数により実際視差を補間演算する方法が提案されている。特に図３Ａ及び図３Ｂに示すような輝度が１次関数的に変化する対象物の場合は、図４に示すようにＳＡＤの推移が実際視差を基準に対称となり、且つ１次直線的にＳＡＤが推移する。そのため、視差検出装置は、等角直線フィッティングを用いてサブピクセル視差推定を行うことにより、視差３．６画素を正確に求めることができる。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２０００−２８３７５３号公報
【非特許文献】
【００２１】
【非特許文献１】徐剛、辻三郎著  「３次元ビジョン」共立出版  ｐｐ９６−９９  ２００２年９月２５日出版
【発明の概要】
【発明が解決しようとする課題】
【００２２】
複数のカメラを用いてステレオ測距が行われる際に、例えば低コスト化あるいは低背化を目的とした組レンズの枚数削減などの理由、又はその他故意的な理由により、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合がある。このような場合に、ステレオ測距における視差検出誤差が大きくなるという課題があった。
【００２３】
そこで、本発明は、上記課題を解決するためになされたものであり、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合であっても、視差検出誤差を抑制することができる視差検出装置を提供することを目的とする。
【課題を解決するための手段】
【００２４】
上述した目的を達成するために、本発明の一態様である視差検出装置は、複数の光学系間に生じる視差を算出する視差検出装置であって、前記複数の光学系の点像分布が所定の光学系の点像分布と同一となるように、前記複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正する点像分布同一化部と、前記点像分布同一化部によって補正された画像を用いて、前記複数の光学系間に生じる視差を算出する視差算出部とを備える。
【００２５】
これにより、異なるカメラの画像間の収差分布の差異が小さくなるように画像を補正することが可能となるため、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合であっても視差検出誤差を抑制することが可能となる。
【００２６】
また、前記点像分布同一化部は、前記複数の画像の少なくとも１つを空間領域から周波数領域に変換する周波数領域変換部と、前記周波数領域変換部によって周波数領域に変換された画像に補正データを作用させることにより、前記複数の光学系の点像分布が前記所定の光学系の点像分布と同一となるように当該画像を補正する点像分布変換部と、前記点像分布変換部によって補正された画像を周波数領域から空間領域に逆変換する空間領域変換部とを有し、前記視差算出部は、前記空間領域変換部によって逆変換された画像を用いて、前記視差を算出し、前記補正データは、第１の光学伝達関数を、当該補正データを作用させる画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータであることが好ましい。
【００２７】
また、前記点像分布変換部は、前記周波数領域変換部によって周波数領域に変換された画像に前記補正データを乗じることにより画像を補正することが好ましい。
【００２８】
これにより、空間領域から周波数領域変換に変換された画像において補正することが可能となるので、効率的に画像を補正することが可能となる。さらに、異なるカメラの画像間の収差分布の差異を光学伝達関数を用いて小さくすることができるので、視差検出誤差をより抑制することが可能となる。つまり、ステレオカメラの測距精度をより向上することが可能となる。
【００２９】
また、前記第１の光学伝達関数は、前記複数の光学系のうち基準となる１つの光学系の光学伝達関数であることが好ましい。
【００３０】
これにより、ステレオカメラの測距精度をより向上することが可能となるとともに、基準とする光学系の収差分布を補正する必要がなくなるため、演算時間を短縮することが可能となる。
【００３１】
また、前記第１の光学伝達関数は、第１の空間周波数における値の大きさに対する、前記第１の空間周波数よりも高い第２の空間周波数における値の大きさの比率が、前記点像分布同一化部によって補正される画像が得られる光学系の光学伝達関数における当該比率よりも大きい光学伝達関数であることが好ましい。
【００３２】
これにより、ステレオカメラの測距精度をより向上することが可能となるとともに、撮影画像の解像度を向上させることが可能となるので、測距データとともに高解像度な画像を出力することが可能となる。
【００３３】
また、前記第１の光学伝達関数は、各空間周波数における値の大きさが略同一であることが好ましい。
【００３４】
これにより、ステレオカメラの測距精度をより向上することが可能となるとともに、撮影画像の解像度を更に向上させることが可能となるため、測距データとともに更に高解像度な画像を出力することが可能となる。
【００３５】
また、さらに、第１の光学伝達関数を、前記点像分布同一化部によって補正される画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータを補正データとして生成する補正データ生成部を備え、前記点像分布変換部は、前記周波数領域変換部によって周波数領域に変換された画像に、前記補正データ生成部によって生成された補正データを作用させることが好ましい。
【００３６】
これにより、補正データを生成することが可能となるので、光学系の点像分布が変化した場合であっても、変化後の点像分布に応じた補正データを生成することが可能となる。
【００３７】
また、前記所定の光学系の点像分布は、前記複数の光学系のうち基準となる１つの光学系の点像分布であることが好ましい。
【００３８】
これにより、基準となる光学系から得られる画像を補正する必要がないので、点像分布の同一化に必要な演算時間を短縮することが可能となる。
【００３９】
また、本発明の一態様である測距装置は、上記の視差検出装置と、前記視差検出装置によって検出された視差を用いて、対象物までの距離を算出する距離算出部とを備える。
【００４０】
これにより、視差検出誤差を抑制できるので、ステレオ測距の測距精度を向上させることが可能となる。
【００４１】
なお、本発明は、上記のような視差検出装置として実現することができるだけでなく、このような視差検出装置が備える特徴的な構成部の動作をステップとする視差検出方法として実現することもできる。さらに、本発明は、視差検出方法に含まれるステップを、プロセッサ及びメモリを有するコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体又はインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００４２】
本発明によれば、異なるカメラの画像間の収差分布の差異を小さくすることが可能となるため、同一被写体を異なるカメラで撮影した場合の画像間の歪みの差が小さくすることができる。したがって、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合であっても、視差検出誤差を抑制することが可能となる。
【図面の簡単な説明】
【００４３】
【図１】図１は、従来のステレオ測距原理の説明図である。
【図２】図２は、従来の画像の輝度の表現方法の説明図である。
【図３Ａ】図３Ａは、従来の視差算出演算の説明図である。
【図３Ｂ】図３Ｂは、従来の視差算出演算の説明図である。
【図４】図４は、従来の視差算出演算を説明するグラフである。
【図５】図５は、従来のサブピクセル視差算出演算の説明図である。
【図６】図６は、レンズの偏芯の説明図である。
【図７】図７は、レンズのチルトの説明図である。
【図８】図８は、レンズのバックフォーカス量の説明図である。
【図９Ａ】図９Ａは、レンズの偏芯の説明図である。
【図９Ｂ】図９Ｂは、レンズの偏芯の説明図である。
【図１０Ａ】図１０Ａは、各光学系の点像分布を示す図である。
【図１０Ｂ】図１０Ｂは、各光学系の点像分布を示す図である。
【図１１Ａ】図１１Ａは、被写体を示す図である。
【図１１Ｂ】図１１Ｂは、被写体を示す図である。
【図１２Ａ】図１２Ａは、測距誤差の大きい領域を示す図である。
【図１２Ｂ】図１２Ｂは、測距誤差の大きい領域を示す図である。
【図１３Ａ】図１３Ａは、レンズの偏芯の説明図である。
【図１３Ｂ】図１３Ｂは、レンズの偏芯の説明図である。
【図１４Ａ】図１４Ａは、補正後の点像分布を示す図である。
【図１４Ｂ】図１４Ｂは、補正後の点像分布を示す図である。
【図１５Ａ】図１５Ａは、本発明の実施の形態１に係る測距システムの構成図である。
【図１５Ｂ】図１５Ｂは、本発明の実施の形態１に係る視差検出装置における視差を算出する処理の流れを示すフローチャートである。
【図１６】図１６は、本発明の実施の形態１に係る被写体と撮影された被写体像の収差分布の関係性を説明する図である。
【図１７Ａ】図１７Ａは、本発明の実施の形態１に係る第１の光学系におけるレンズの偏芯の説明図である。
【図１７Ｂ】図１７Ｂは、本発明の実施の形態１に係る第２の光学系におけるレンズの偏芯の説明図である。
【図１８Ａ】図１８Ａは、本発明の実施の形態１に係る第１の光学系の点像分布を示す図である。
【図１８Ｂ】図１８Ｂは、本発明の実施の形態１に係る第２の光学系の点像分布を示す図である。
【図１９Ａ】図１９Ａは、本発明の実施の形態１に係る第１の光学系の点像分布を示す図である。
【図１９Ｂ】図１９Ｂは、本発明の実施の形態１に係る第２の光学系の補正後の点像分布を示す図である。
【図２０】図２０は、本発明の実施の形態１の変形例に係る補正データの算出の処理及び点像分布の同一化の処理における領域分割の一例を示す図である。
【図２１】図２１は、本発明の実施の形態１の変形例に係る測距システムの構成図である。
【図２２】図２２は、本発明の実施の形態２に係るモデルカメラの点像分布を示す図である。
【図２３Ａ】図２３Ａは、本発明の実施の形態２に係る第１の光学系の補正後の点像分布を示す図である。
【図２３Ｂ】図２３Ｂは、本発明の実施の形態２に係る第２の光学系の補正後の点像分布を示す図である。
【発明を実施するための形態】
【００４４】
複数のカメラを用いてステレオ測距が行われる際に、例えば低コスト化あるいは低背化を目的とした組レンズの枚数削減などの理由、又はその他故意的な理由により、レンズの解像度が撮像素子の画素ピッチに対して低いカメラが用いられる場合がある。この場合、レンズの偏芯量あるいはチルト量などがカメラ間で異なれば、カメラ同士の画像の収差分布の差異も大きくなる。こうして、収差分布の差異が大きい場合は、同一被写体を異なるカメラで撮影した場合の画像間の歪みの差が大きくなるので、視差検出誤差が大きくなる。
【００４５】
ここで偏芯とは、図６に示すようにレンズの片面側の光軸Ｃ１と、他の面の光軸Ｃ２とのずれＤを表す。組レンズの場合は、レンズ間の光軸のずれ量も偏芯という。
【００４６】
また、図７に示すように、カメラａのレンズのチルト量とカメラｂのレンズのチルト量の差異Ｔｄ（＝Ｔａ−Ｔｂ）が大きい場合、又は図８に示すようにカメラａのバックフォーカス量とカメラｂのバックフォーカス量との差異Ｂｆ（＝Ｂａ−Ｂｂ）が大きい場合もカメラ間の収差分布の差異が大きいことにより視差検出誤差が大きくなる。
【００４７】
例えば図９Ａ及び図９Ｂに示すように、図１のカメラａのレンズ１０２ａの片面側の偏芯Ｄａと、カメラｂのレンズ１０２ｂの偏芯Ｄｂとが、撮像素子の水平方向においてそれぞれ逆方向に生じた場合、カメラａの点像分布（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）は、例えば図１０Ａに示すようになり、カメラｂの点像分布は、例えば図１０Ｂに示すようになる。
【００４８】
ここで点像分布とは、点拡がり関数又は点像分布関数とも呼ばれ、非常に小さい点光源をカメラで撮影したときの撮影像のことをいい、カメラの光学系の収差分布（ボケ具合）を表す。
【００４９】
図１０Ａ及び図１０Ｂに示すような収差分布の差異がある光学系を用いて、例えば図１１Ａ又は図１１Ｂの被写体を測距した場合、図１２Ａ又は図１２Ｂの斜線領域の測距精度が他の領域に比較して大幅に低下することが実験結果として得られている。図１２Ａ及び図１２Ｂにおける測距精度が低下する領域の分布は、カメラの光学設計、あるいは画像の領域ごとの点像分布の違いによって変化する。ここでは、光学系が、単レンズで構成され、焦点距離２ｍｍ、半画角３０度、Ｆナンバ２．８として光学設計され、画素ピッチ２μｍ、偏芯Ｄａ及びＤｂが５μｍ程度である場合の測距結果の一例を示している。図１２Ａ及び図１２Ｂの斜線領域は、視差検出誤差（測距誤差）が約１画素以上生じる領域を大まかに示している。なお、光学系間の距離は２．８ｍｍとした。
【００５０】
一方、図１３Ａ及び図１３Ｂに示すように、カメラａのレンズ１０２ａの偏芯Ｄａと、カメラｂのレンズ１０２ｂの偏芯Ｄｂとが、撮像素子の水平方向においてそれぞれ同一方向に同一偏芯量生じている場合であって、かつ、図１４Ａ及び図１４Ｂに示すように、カメラａとカメラｂの点像分布が同一の場合には、図１１Ａ及び図１１Ｂの被写体を測距したときに、いずれの被写体でも画像全体で高い測距精度が得られる。したがって、カメラ間の収差分布の差異が大きい場合に、画像中の領域により測距精度がばらついたり、被写体により測距精度がばらついたりする。つまり、カメラ間の収差分布の差異が大きい場合に、視差検出誤差が大きくなる。
【００５１】
そこで、撮像素子の画素ピッチに対してレンズの解像度が低いカメラが用いられることにより、カメラ間の収差分布の差異が大きくなった場合であっても、視差検出誤差を抑制することができる視差検出装置について、図面を参照しながら説明する。
【００５２】
本発明の実施の形態１に係る視差検出装置は、第２の光学系の点像分布が第１の光学系の点像分布と同一となるように、第２の光学系から得られる画像を周波数領域上で補正する。これにより、測距装置は、カメラ間の収差分布の差異が大きい場合であっても、測距精度の向上を実現することができる。
【００５３】
また、本発明の実施の形態２に係る視差検出装置は、すべての光学系の点像分布がモデルとなる光学系の点像分布と同一となるように、入力画像を周波数領域上で補正する。これにより、測距装置は、カメラ間の収差分布の差異が大きい場合であっても、測距精度の向上を実現することができる。
【００５４】
（実施の形態１）
まず、本発明の実施の形態１に係る測距システムについて説明する。
【００５５】
本実施の形態に係る視差検出装置３は、カメラ２ｂが有する第２の光学系の点像分布が、カメラ２ａが有する第１の光学系の点像分布と同一となるように、カメラ２ｂによって撮影された画像を補正する。これにより、視差検出装置３は、視差の算出及び測距の精度を向上させることができる。なお、本実施の形態では、第１の光学系が、所定の光学系に相当し、かつ、複数の光学系のうち基準となる１つの光学系に相当する。
【００５６】
図１５Ａは、本発明の実施の形態１に係る測距システムの構成を示す図である。図１５Ａに示すように、測距システムは、測距装置１とＰＳＦ補正データ作成装置２０とを備える。
【００５７】
測距装置１は、第１の光学系と第２の光学系との間に生じる視差を用いて、対象物までの距離、又は対象物の三次元位置もしくは形状を測定する。測距装置１は、カメラ２ａ及び２ｂと、視差検出装置３と、距離算出部１１とを備える。
【００５８】
カメラ２ａは、第１の光学系と撮像素子とを含み、測距の対象となる対象物を撮影する。また、カメラ２ｂは、第２の光学系と撮像素子とを含み、カメラ２ａが撮影する対象物と同一の対象物を撮影する。
【００５９】
本実施の形態では、第１及び第２の光学系は、単レンズで構成され、焦点距離２ｍｍ、半画角３０度、Ｆナンバ２．８として光学設計されたものである。また、偏芯が、いずれの光学系にも５μｍ程度存在する。なお、カメラ２ａ及び２ｂは、必ずしも上記のように構成される必要はなく、例えば光学系は複数のレンズで構成されてもよい。
【００６０】
距離算出部１１は、視差検出装置３から出力された視差を用いて、対象物までの距離、又は対象物の三次元位置もしくは形状を算出する。具体的には、距離算出部１１は、例えば、視差検出装置３から出力された視差と、事前のキャリブレーション処理などにより既知の基線長Ｂ及び焦点距離ｆとを用いて、（式１）にしたがって距離Ｄを算出する。
【００６１】
視差検出装置３は、２つのカメラ２ａ及び２ｂ間に生じる視差を算出する。具体的には、視差検出装置３は、カメラ２ａ及び２ｂのそれぞれが出力する２つの画像を取込み、取込んだ２つの画像に基づいて視差を算出する。図１５Ａに示すように、視差検出装置３は、前処理部４と、視差算出部９と、後処理部１０とを備える。
【００６２】
前処理部４は、視差の検出が実施しやすいように画像を補正する。具体的には、前処理部４は、ＰＳＦ同一化部５を用いて、第１及び第２の光学系の点像分布が同一となるように、カメラ２ｂの画像を補正する。さらに、前処理部４は、カメラ２ａの画像、及びＰＳＦ同一化部５によって補正されたカメラ２ｂの画像に、平行化処理を含むキャリブレーション処理、及びローパスフィルタ処理を施す。
【００６３】
なお、前処理部４は、必ずしも、ＰＳＦ同一化処理、キャリブレーション処理、及びローパスフィルタ処理の順に処理を実行する必要はなく、その順序は必要に応じて変更してもよい。
【００６４】
ＰＳＦ同一化部５は、点像分布同一化部に相当し、２つのカメラから出力された２つの画像の収差分布が十分同一になるような処理を行う。具体的には、ＰＳＦ同一化部５は、第２の光学系から得られる画像を、第１及び第２の光学系の点像分布が同一となるように補正する。ＰＳＦ同一化部５は、周波数領域変換部６と、ＰＳＦ変換部７と、空間領域変換部８とを有する。
【００６５】
周波数領域変換部６は、第２の光学系から得られる画像を空間領域から周波数領域に変換する。具体的には、周波数領域変換部６は、入力されたカメラ２ｂの画像ｆｏｂ（ｉ，ｊ）を周波数領域データである補正前複素数データＦｏｂ（ｕ，ｖ）に２次元フーリエ変換する。
【００６６】
以下において、２次元フーリエ変換する画像のサイズは、垂直方向Ｍ画素、水平方向Ｎ画素（ｉ＝０，１，２，・・・Ｍ−１、ｊ＝０，１，２，・・・Ｎ−１、ｕ＝０，１，２，・・・Ｍ−１、ｖ＝０，１，２，・・・Ｎ−１）として説明する。
【００６７】
ＰＳＦ変換部７は、点像分布変換部に相当し、周波数領域変換部６によって周波数領域に変換された画像に補正データを作用させることにより、第１及び第２の光学系の点像分布が同一となるように画像を補正する。具体的には、ＰＳＦ変換部７は、補正前複素数データＦｏｂ（ｕ，ｖ）に補正データＦｃ（ｕ，ｖ）を作用させ、補正後複素数データＦｏｂ’（ｕ，ｖ）を出力する。
【００６８】
ここで、補正データＦｃ（ｕ，ｖ）は、基準となる光学系である第１の光学系の第１の光学伝達関数を、当該補正データを作用させる画像が得られる光学系（第２の光学系）の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータである。
【００６９】
ＰＳＦ変換部７及び補正データの詳細は後述する。
【００７０】
空間領域変換部８は、ＰＳＦ変換部７によって補正された画像を周波数領域から空間領域に逆変換する。具体的には、空間領域変換部８は、補正後複素数データＦｏｂ’（ｕ，ｖ）を２次元逆フーリエ変換し、ＰＳＦ補正後画像ｆｃｂ（ｉ，ｊ）を出力する。
【００７１】
視差算出部９は、前処理部４から出力されたカメラ２ａ及びカメラ２ｂの前処理後画像から、前述の相関値ＳＡＤなどを用いて画像間の視差を算出する。
【００７２】
後処理部１０は、視差算出部９が算出した視差に対して、視差量の補正及び出力フォーマットの調整などの後処理を行い、視差の計算結果を出力する。具体的には、後処理部１０は、例えば、メディアンフィルタなどを用いて、視差算出部９によって算出された視差のノイズを除去する。また、後処理部１０は、例えば、視差算出部９によって算出された視差の単位を画素からミリメートルへ単位変換する。
【００７３】
ＰＳＦ補正データ作成装置２０は、第１の光学伝達関数を、ＰＳＦ同一化部５によって補正される画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータを補正データとして生成する。例えば、ＰＳＦ補正データ作成装置２０は、工場出荷時などユーザが測距装置１を使用する前に、あらかじめＰＳＦ変換部７において使用される補正データＦｃ（ｕ，ｖ）を算出する。図１５Ａに示すように、ＰＳＦ補正データ作成装置２０は、補正データ算出前処理部２１と、周波数領域変換部２２と、補正データ算出部２３と、補正データ算出後処理部２４とを備える。
【００７４】
補正データ算出前処理部２１は、カメラ２ａ及びカメラ２ｂから、第１及び第２の光学系の点像分布を取得する。そして、補正データ算出前処理部２１は、取得した点像分布において、明るさ調整などの前処理を行う。なお、第１及び第２の光学系の点像分布は、例えば、カメラ２ａ及び２ｂのそれぞれが非常に小さい点光源を撮影することにより得られる。
【００７５】
周波数領域変換部２２は、補正データ算出前処理部２１によって前処理が行われた第１及び第２の光学系の点像分布を、空間領域から周波数領域に変換する。つまり、周波数領域変換部２２は、第１の光学系の点像分布を第１の光学伝達関数に変換し、第２の光学系の点像分布を第２の光学伝達関数に変換する。
【００７６】
補正データ算出部２３は、基準となる光学系である第１の光学系の第１の光学伝達関数を、第２の光学系の第２の光学伝達関数で除したデータ又はそれに相当するデータを補正データとして算出する。
【００７７】
補正データ算出後処理部２４は、補正データ算出部２３によって算出された補正データのノイズの除去あるいは出力フォーマットの調整などを行う。
【００７８】
次に、上記のように構成された測距システムの動作について説明する。
【００７９】
図１５Ｂは、本発明の実施の形態１に係る視差検出装置における視差を算出する処理の流れを示すフローチャートである。
【００８０】
まず、前処理部４は、カメラ２ａ及び２ｂによって撮影された画像を取得する（ステップＳ１０１）。続いて、ＰＳＦ同一化部５は、取得された画像のうち、基準となる光学系を有するカメラ２ａ以外のカメラであるカメラ２ｂによって撮影された画像を選択し、周波数領域変換部６は、選択された画像を、空間領域から周波数領域に変換する（ステップＳ１０２）。
【００８１】
次に、ＰＳＦ変換部７は、周波数領域に変換された画像に補正データを作用させることにより、第１及び第２の光学系の点像分布が同一となるように画像を補正する（ステップＳ１０３）。具体的には、ＰＳＦ変換部７は、周波数領域に変換された画像に補正データを乗じることにより、周波数領域に変換されたカメラ２ｂの画像を補正する。
【００８２】
そして、空間領域変換部８は、補正された画像を周波数領域から空間領域に逆変換する（ステップＳ１０４）。さらに、前処理部４は、逆変換された画像と、ステップＳ１０２において選択されなかった、カメラ２ａによって撮影された画像とに、平行化処理を含むキャリブレーション処理及びローパスフィルタ処理などの前処理を施す（ステップＳ１０５）。
【００８３】
続いて、視差算出部９は、ステップＳ１０６において前処理が施された画像を用いて、視差を算出する（ステップＳ１０６）。具体的には、視差算出部９は、前処理が施された、カメラ２ａの画像とカメラ２ｂの画像とにおいて、各画像の小領域ごとの類似度を示す相関値を算出する。そして、視差算出部９は、算出した相関値を用いて画像間の小領域毎のずれ量を視差として算出する。
【００８４】
最後に、後処理部１０は、算出された視差のノイズ除去及び出力フォーマットの調整などの後処理を行う（ステップＳ１０７）。
【００８５】
このように、視差検出装置３は、２つのカメラ２ａ及び２ｂの光学系の点像分布を同一化した画像を用いて、光学系間に生じる視差を算出する。
【００８６】
次に、測距システムの具体例を、以下に詳細に説明する。
【００８７】
まず、ＰＳＦ補正データ作成装置２０による補正データＦｃ（ｕ，ｖ）の算出原理及び算出方法を説明する。
【００８８】
図１６は、被写体と撮影された被写体像の収差分布の関係性を説明する図である。図１６に示すように、もともとの被写体像５１（収差の無い理想レンズで撮影した被写体像と等価）を２次元フーリエ変換した後のデータをＦｉ（ｕ，ｖ）と記載する。また、カメラの光学系を介して撮像素子に写像される被写体像５２を２次元フーリエ変換した後のデータをＦｏ（ｕ，ｖ）と記載する。また、カメラの光学系の点像分布５３を２次元フーリエ変換したものである光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）をＦｐ（ｕ，ｖ）と記載する。このとき、複素数であるＦｉ（ｕ，ｖ）、Ｆｏ（ｕ，ｖ）、及びＦｐ（ｕ，ｖ）は、それぞれ同一のサンプリング間隔で像を２次元フーリエ変換していると仮定すれば、（式４）の関係が成り立つ。
【００８９】
【数４】
2011010438.tif 000056
【００９０】
なお、２次元フーリエ変換は、画像データｆ（ｉ，ｊ）と、周波数領域の複素数データＦ（ｕ，ｖ）とを用いて、（式５）のように表わされる。
【００９１】
【数５】
2011010438.tif 000057
【００９２】
２次元フーリエ変換は、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）などの演算高速化手法を用いて計算されてもよいことは言うまでもない。
【００９３】
図１５Ａの本実施の形態に係る測距装置１において、カメラ２ａが有する第１の光学系とカメラ２ｂが有する第２の光学系とは、図１７Ａ及び図１７Ｂに示すように偏芯の方向が異なる。したがって、第１及び第２の光学系の点像分布は互いに異なる。
【００９４】
図１８Ａは、カメラ２ａが有する第１の光学系の点像分布（ＰＳＦ）を示す図である。また、図１８Ｂは、カメラ２ｂが有する第２の光学系の点像分布（ＰＳＦ）を示す図である。周波数領域変換部２２は、図１８Ａ及び図１８Ｂの点像分布をそれぞれ２次元フーリエ変換する。その結果、周波数領域変換部２２は、カメラ２ａが有する第１の光学系のＯＴＦ（第１の光学伝達関数）であるＦｐａ（ｕ，ｖ）と、カメラ２ｂに含まれる第２の光学系のＯＴＦ（第２の光学伝達関数）であるＦｐｂ（ｕ，ｖ）とを出力する。なお、カメラ２ａ及びカメラ２ｂによって撮影された画像の収差分布（ボケ具合）が異なるので、Ｆｐａ（ｕ，ｖ）とＦｐｂ（ｕ，ｖ）とは異なる。
【００９５】
続いて、補正データ算出部２３は、カメラ２ｂの画像の収差分布をカメラ２ａの画像の収差分布と同一にするための補正データを算出する。
【００９６】
ここで、（式４）の関係式を考慮すれば、補正後複素数データＦｏｂ’は、カメラ２ｂの被写体撮影画像の２次元フーリエ変換後の補正前複素数データＦｏｂ（ｕ，ｖ）を用いて、（式６）のように表される。
【００９７】
【数６】
2011010438.tif 000058
【００９８】
視差検出装置３は、（式６）にしたがって算出される補正後複素数データＦｏｂ’（ｕ，ｖ）を２次元逆フーリエ変換することにより、カメラ２ｂの画像の収差分布を、カメラ２ａの画像の収差分布と同一にすることができる。２次元逆フーリエ変換は、複素数データをＦ（ｕ，ｖ）、画像データをｆ（ｉ，ｊ）とすれば、（式７）で表わされる。
【００９９】
【数７】
2011010438.tif 000059
【０１００】
なお、２次元逆フーリエ変換も、（式５）に示した２次元フーリエ変換と同様に、演算高速化手法を用いて計算されてもよいことは言うまでもない。
【０１０１】
図１９Ｂは、図１８Ｂのカメラ２ｂの第２の光学系の点像分布を、（式６）を用いて補正した後の点像分布を示す図である。図１９Ｂの画像は、図１９Ａに示すカメラ２ａの第１の光学系の点像分布と同一の画像になる。
【０１０２】
補正データ算出部２３は、（式６）に基づいて、カメラ２ｂの画像の収差分布をカメラ２ａの画像の収差分布と同一化するための補正データＦｃ（ｕ，ｖ）を（式８）のように算出する。
【０１０３】
【数８】
2011010438.tif 000060
【０１０４】
つまり、補正データ算出部２３は、基準となる光学系である第１の光学系の第１の光学伝達関数を、ＰＳＦ同一化部５によって補正される画像が得られる光学系である第２の光学系の第２の光学伝達関数で除したデータを補正データとして算出する。
【０１０５】
なお、光学設計によっては、Ｆｐｂ（ｕ，ｖ）の特に空間周波数が高い領域の複素数（周波数成分）の大きさがゼロの場合又はゼロに近い値になる場合がある。この場合、撮像素子に起因するノイズの悪影響も作用することにより、Ｆｃ（ｕ，ｖ）の値が不適切な値になるときがある。そのときは、例えば、補正データ算出部２３は、ゼロ割等による補正データＦｃ（ｕ，ｖ）の値の発散を低減するウィナーフィルタ、あるいはベイズ理論などを用いた統計的手法を利用して、補正データＦｃ（ｕ，ｖ）を算出すればよい。つまり、補正データ算出部２３は、第１の光学伝達関数を第２の光学伝達関数で除したデータに相当するデータを補正データとして算出すればよい。これにより、補正データＦｃ（ｕ，ｖ）に不適切な値が発生しにくくなる。
【０１０６】
次に、補正データ算出後処理部２４は、補正データＦｃ（ｕ，ｖ）の修正あるいは出力フォーマットの調整などを行う。ＰＳＦ変換部７は、補正データ算出後処理部２４から出力される補正データＦｃ（ｕ，ｖ）を用いて、画像を補正する。
【０１０７】
上述の原理及び手法により、ＰＳＦ補正データ作成装置２０は、カメラ２ａ及びカメラ２ｂの点像分布（ＰＳＦ）から、補正データＦｃ（ｕ，ｖ）を算出する。
【０１０８】
なお、画角により点像分布が大きく異なる場合は、ＰＳＦ補正データ作成装置２０は、画像中の領域ごとに補正データＦｃ（ｕ，ｖ）を算出してもよい。具体的には、ＰＳＦ補正データ作成装置２０は、例えば図２０に示すように画像を複数の領域６１〜６９に分割し、分割した領域ごとに点像分布を求めて、領域ごとの補正データＦｃ（ｕ，ｖ）を算出してもよい。
【０１０９】
次に、ＰＳＦ変換部７の詳細な説明を行う。
【０１１０】
ＰＳＦ変換部７には、カメラ２ｂの画像ｆｏｂ（ｉ，ｊ）が周波数領域変換部６によって２次元フーリエ変換された補正前複素数データＦｏｂ（ｕ，ｖ）が入力される。ＰＳＦ変換部７は、ＰＳＦ補正データ作成装置２０によってあらかじめ算出されている補正データＦｃ（ｕ，ｖ）を用いて、（式９）から補正後複素数データＦｏｂ’（ｕ，ｖ）を算出する。
【０１１１】
【数９】
2011010438.tif 000061
【０１１２】
空間領域変換部８は、ＰＳＦ変換部７によって補正された補正後複素数データＦｏｂ’（ｕ，ｖ）を２次元逆フーリエ変換する。これにより、ＰＳＦ同一化部５は、カメラ２ａの画像の収差分布と十分同一なカメラ２ｂの補正後の画像を生成することができる。つまり、点像分布が同一な光学系から得られる画像と同等の画像を用いて、視差の算出処理などが行われることになる。
【０１１３】
なお、例えば図２０のように補正データＦｃ（ｕ，ｖ）が画像中の領域ごとに算出された場合は、ＰＳＦ変換部７は、同様に画像中の領域ごとにカメラ２ｂの補正後複素数データＦｏｂ’を算出する。
【０１１４】
補正データＦｃ（ｕ，ｖ）は、例えばフラッシュＲＯＭなどの記憶部にテーブルとして記憶されればよい。また、補正データＦｃ（ｕ，ｖ）は、補正データＦｃ（ｕ，ｖ）を表す近似関数として記憶部に記憶されてもよい。つまり、補正データＦｃ（ｕ，ｖ）は、装置に応じた方法で記憶されればよい。
【０１１５】
以上により、本発明の実施の形態１によれば、異なるカメラの画像間の収差分布の差異を小さくすることが可能となるため、同一被写体を異なるカメラで撮影した場合の画像間の歪みの差が小さくなり、視差検出誤差を抑制することが可能となる。つまり、撮像素子の画素ピッチに対してレンズの解像度が低いカメラが用いられることにより、カメラ間の収差分布の差異が大きくなった場合であっても、ステレオ測距の測距精度を向上することが可能となる。
【０１１６】
また、実施の形態１では、基準となるカメラ（ここではカメラ２ａ）の収差分布の補正演算は実施される必要がないため、高速な処理演算が可能となる。
【０１１７】
なお、本発明の実施の形態１は、図２１に示すような３以上のカメラを備える測距装置（３眼以上のいわゆる多眼ステレオ）にも適用できることは言うまでもない。この場合、視差検出装置は、３以上のカメラのうち基準となるカメラ（例えば、カメラ２ａ）以外のカメラ（例えば、カメラ２ｂ及び２ｃ）によって撮影された画像を、前述のカメラ２ｂの第２の光学系の点像分布をカメラ２ａの第１の光学系の点像分布と同一化する方法と同様の方法により補正する。これにより、視差検出装置は、各カメラの光学系の点像分布を基準となるカメラの光学系の点像分布と同一化することができる。つまり、視差検出装置は、全カメラの画像間の収差分布の差異を小さくすることが可能となり、視差検出誤差を抑制することができる。
【０１１８】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
【０１１９】
本実施の形態に係る測距システムの構成は、図１５Ａの実施の形態１に係る測距システムと同様であるので、図示を省略する。本実施の形態では、ＰＳＦ補正データ作成装置２０及びＰＳＦ同一化部５の内部処理が実施の形態１と異なる。したがって、ＰＳＦ補正データ作成装置２０及びＰＳＦ同一化部５の処理の説明のみを以下に行う。
【０１２０】
本実施の形態に係る視差検出装置は、すべてのカメラの光学系の点像分布を、モデルとなるカメラ（以下、単に「モデルカメラ」という。）の光学系の点像分布ｆｐｓ（ｉ，ｊ）と同一となるように、すべてのカメラの画像を補正する。これにより、視差検出装置は、異なるカメラの点像分布を同一化して視差及び測距の精度を向上させることができる。なお、本実施の形態では、モデルカメラの光学系が所定の光学系に相当する。
【０１２１】
本実施の形態において、ＰＳＦ補正データ作成装置２０は、３つのカメラ２ａ、２ｂ及び２ｃの光学系の３つの点像分布（ＰＳＦ）を、モデルカメラの光学系の点像分布（ＰＳＦ）と十分同一にするための補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を算出する。実施の形態１と同様に、カメラ２ａの第１の光学系の点像分布は、図１８Ａに示される点像分布であり、カメラ２ｂの第２の光学系の点像分布は図１８Ｂに示される点像分布である。
【０１２２】
補正データ算出前処理部２１は、第１及び第２の光学系の点像分布に対して明るさ調整などの前処理を行う。
【０１２３】
周波数領域変換部２２は、補正データ算出前処理部２１によって前処理された点像分布をそれぞれ２次元フーリエ変換する。その結果、周波数領域変換部２２は、カメラ２ａのＯＴＦをＦｐａ（ｕ，ｖ）として算出し、カメラ２ｂのＯＴＦをＦｐｂ（ｕ，ｖ）として算出する。カメラ２ａとカメラ２ｂの光学系は、図１７Ａ及び図１７Ｂに示すように偏芯の方向が異なることにより点像分布が異なる。したがって、画像の収差分布（ボケ具合）が異なるため、Ｆｐａ（ｕ，ｖ）とＦｐｂ（ｕ，ｖ）とは互いに異なる。
【０１２４】
図２２は、モデルカメラの点像分布ｆｐｓ（ｉ，ｊ）を示す図である。この点像分布ｆｐｓ（ｉ，ｊ）を２次元フーリエ変換したデータが、光学伝達関数Ｆｐｓ（ｕ，ｖ）である。
【０１２５】
補正データ算出部２３は、カメラ２ａ、カメラ２ｂの画像の収差分布をモデルカメラの収差分布と同一にするための補正データを算出する。ここで、（式４）の関係式を考慮すれば、補正後複素数データＦｏａ’（ｕ，ｖ）及びＦｏｂ’（ｕ，ｖ）は、カメラ２ａ及びカメラ２ｂの被写体撮影画像の２次元フーリエ変換後の補正前複素数データＦｏａ（ｕ，ｖ）及びＦｏｂ（ｕ，ｖ）を用いて、（式１０）及び（式１１）のように表される。
【０１２６】
【数１０】
2011010438.tif 000062
【０１２７】
【数１１】
2011010438.tif 000063
【０１２８】
視差検出装置３は、（式１０）及び（式１１）にしたがって算出される補正後複素数データＦｏａ’（ｕ，ｖ）及びＦｏｂ’（ｕ，ｖ）を２次元逆フーリエ変換することにより、カメラ２ａ及びカメラ２ｂの画像の収差分布を、モデルカメラの収差分布と同一にすることができる。
【０１２９】
図２３Ａ及び図２３Ｂは、図１８Ａ及び図１８Ｂのカメラ２ａ及びカメラ２ｂの光学系の点像分布を、（式１０）及び（式１１）を用いて補正した画像を示す図である。図２３Ａ及び図２３Ｂの画像は、図２２に示すモデルカメラの点像分布と同一の画像になる。
【０１３０】
補正データ算出部２３は、（式１０）及び（式１１）に基づいて、カメラ２ａ及びカメラ２ｂの画像の収差分布をモデルカメラの収差分布と同一化するための補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を、（式１２）及び（式１３）のように算出する。
【０１３１】
【数１２】
2011010438.tif 000064
【０１３２】
【数１３】
2011010438.tif 000065
【０１３３】
つまり、補正データ算出部２３は、モデルとなる光学系の光学伝達関数を、ＰＳＦ同一化部５によって補正される画像が得られる光学系である、第１又は第２の光学系の光学伝達関数で除したデータを、第１又は第２の光学系の補正データとして算出する。
【０１３４】
なお、光学設計によっては、Ｆｐａ（ｕ，ｖ）及びＦｐｂ（ｕ，ｖ）の特に空間周波数が高い領域の複素数の大きさがゼロの場合、又はゼロに近い値になる場合がある。この場合、撮像素子に起因するノイズの悪影響も作用することにより、Ｆｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）の値が不適切な値になることがある。そのような場合は、例えば、補正データ算出部２３は、ゼロ割等による補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）の値の発散を低減するウィナーフィルタ、あるいはベイズ理論などを用いた統計的手法を利用して、補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を算出すればよい。つまり、補正データ算出部２３は、モデルとなる光学系の光学伝達関数を第１又は第２の光学系の光学伝達関数で除したデータに相当するデータを、第１又は第２の光学系の補正データとして算出すればよい。これにより、補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）に不適切な値が発生しにくくなる。
【０１３５】
補正データ算出後処理部２４は、補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）の修正あるいは出力フォーマットの調整などを行う。ＰＳＦ変換部７は、補正データ算出後処理部２４から出力される補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を用いて画像を補正する。
【０１３６】
上述の手法により、ＰＳＦ補正データ作成装置２０は、モデルカメラ、カメラ２ａ及びカメラ２ｂの点像分布（ＰＳＦ）から、補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を算出する。
【０１３７】
なお、画角により点像分布が大きく異なる場合は、実施の形態１と同様に、ＰＳＦ補正データ作成装置２０は、画像中の領域ごとに補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を算出してもよい。具体的には、ＰＳＦ補正データ作成装置２０は、例えば図２０に示すように画像を領域６１〜６９に分割し、分割した領域ごとに点像分布を求めて、領域ごとの補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を算出してもよい。
【０１３８】
次に、ＰＳＦ同一化部５の説明を行う。
【０１３９】
ＰＳＦ変換部７には、カメラ２ａの画像ｆｏａ（ｉ，ｊ）及びカメラ２ｂの画像ｆｏｂ（ｉ，ｊ）が周波数領域変換部６によって２次元フーリエ変換された補正前複素数データＦｏａ（ｕ，ｖ）及びＦｏｂ（ｕ，ｖ）が入力される。ＰＳＦ変換部７は、ＰＳＦ補正データ作成装置２０によってあらかじめ算出されている補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）を用いて、（式１４）及び（式１５）から補正後複素数データＦｏａ’（ｕ，ｖ）及びＦｏｂ’（ｕ，ｖ）を算出する。
【０１４０】
【数１４】
2011010438.tif 000066
【０１４１】
【数１５】
2011010438.tif 000067
【０１４２】
空間領域変換部８は、ＰＳＦ変換部７によって補正された補正後複素数データＦｏａ’（ｕ，ｖ）及びＦｏｂ’（ｕ，ｖ）を逆フーリエ変換する。これにより、ＰＳＦ同一化部５は、モデルカメラの収差分布と十分同一なカメラ２ａ及びカメラ２ｂの補正後の画像を生成することができる。つまり、点像分布が同一な光学系から得られる画像と同等の画像を用いて、視差の算出処理などが行われることになる。
【０１４３】
なお、例えば図２０のように補正データＦｃａ（ｕ，ｖ）及びＦｃｂ（ｕ，ｖ）が画像中の領域ごとに算出された場合は、ＰＳＦ変換部７は、同様に画像中の領域ごとにカメラ２ａ及びカメラ２ｂの補正後複素数データＦｏａ’及びＦｏｂ’を算出する。
【０１４４】
補正データＦｃａ（ｕ，ｖ）及びＦｃａ（ｕ，ｖ）は、例えばフラッシュＲＯＭなどの記憶部にテーブルとして記憶されればよい。また、補正データＦｃａ（ｕ，ｖ）又はＦｃｂ（ｕ，ｖ）は、補正データＦｃａ（ｕ，ｖ）又はＦｃｂ（ｕ，ｖ）を表す近似関数として記憶部に記憶されてもよい。つまり、補正データＦｃａ（ｕ，ｖ）又はＦｃｂ（ｕ，ｖ）は、装置に応じた方法で記憶されればよい。
【０１４５】
以上により、本発明の実施の形態２によれば、異なるカメラの画像間の収差分布の差異を小さくすることが可能となるため、同一被写体を異なるカメラで撮影した場合の画像間の歪みの差が小さくなり、視差検出誤差を抑制することが可能となる。つまり、ステレオカメラの測距精度を向上することが可能となる。
【０１４６】
また、本実施の形態において、モデルカメラの解像度特性は、実際のカメラ（ここではカメラ２ａ、２ｂ）より良好になることが好ましい。これにより、測距装置１又は視差検出装置３は、撮影画像より高解像度な補正後の画像を生成することができるようになり、測距データに加えて高解像度な画像を出力することが可能となる。
【０１４７】
言い換えると、モデルカメラの光学系の光学伝達関数は、第１及び第２の光学伝達関数よりも、フラットな周波数特性を示すことが好ましい。つまり、モデルカメラの光学系の光学伝達関数は、第１の空間周波数における値の大きさに対する、第１の空間周波数よりも高い第２の空間周波数における値の大きさの比率が、第１及び第２の光学系の光学伝達関数における当該比率よりも大きいことが好ましい。
【０１４８】
特に、モデルカメラの解像度特性が収差のない特性（ＯＴＦの大きさが全空間周波数においてほぼ同一）であることが、より好ましい。これにより、測距装置１又は視差検出装置３は、極めて高い解像度の画像を生成及び出力することが可能となる。
【０１４９】
言い換えると、モデルカメラの光学系の光学伝達関数は、フラットな周波数特性を示す関数であることが好ましい。すなわち、モデルカメラの光学系の光学伝達関数は、各空間周波数における値の大きさが略同一であることが好ましい。
【０１５０】
なお、本発明の実施の形態２は、図２１に示すような３以上のカメラを備える測距装置（３眼以上のいわゆる多眼ステレオ）にも適用できることは言うまでもない。この場合、視差検出装置は、カメラ２ｃ及びその他のカメラによって撮影された画像も、前述のカメラ２ａ及びカメラ２ｂの光学系の点像分布をモデルカメラの光学系の点像分布と同一化する方法と同様の方法により補正する。これにより、視差検出装置は、カメラ２ａ、２ｂ及び２ｃの光学系の点像分布をモデルカメラの光学系の点像分布と同一化することができる。つまり、視差検出装置は、全カメラの画像間の収差分布の差異を小さくすることが可能となり、視差検出誤差を抑制することができる。
【０１５１】
以上、本発明に係る測距システムについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、又は異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１５２】
例えば、上記実施の形態において、測距装置又は視差検出装置は、ＰＳＦ補正データ作成装置を備えていなかったが、ＰＳＦ補正データ作成装置を補正データ生成部として備えてもよい。これにより、測距装置又は視差検出装置は、光学系の点像分布に変化が生じた場合であっても、変化後の点像分布に応じて補正データを生成することが可能となる。
【０１５３】
また、上記実施の形態において、視差検出装置は、測距装置に備えられていたが、必ずしも測距装置に備えられる必要はない。例えば、視差検出装置は、算出した視差を他の装置に出力してもよい。より具体的には、視差検出装置は、例えば、立体映像を生成する装置に視差を出力してもよい。
【０１５４】
また、上記実施の形態において、測距装置又は視差検出装置が備える構成要素の一部又は全部は、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）として実現されてもよい。具体的には、例えば、図１５Ａ又は図２１に示す、前処理部、視差算出部及び後処理部の機能ブロックは、ＬＳＩとして実現されてもよい。なお、これらの機能ブロックは個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。集積回路化の手法はＬＳＩに限定されず、専用回路又は汎用プロセッサで実現されてもよい。また、ＬＳＩ製造後にプログラムすることが可能な、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、プログラマブルプロセッサ、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１５５】
また、本発明は、視差検出装置が備える特徴的な構成要素の動作をステップとする視差検出方法として実現してもよい。また、そのような視差検出方法に含まれるステップを、プロセッサ及びメモリを有するコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体又はインターネット等の伝送媒体を介して配信してもよい。
【産業上の利用可能性】
【０１５６】
本発明は、同一の対象物を撮像する複数の光学系で生じる視差を算出することのできる視差検出装置、及び、装置から対象物までの距離、又は対象物の三次元位置もしくは形状を求めることのできる測距装置に関するものであり、車載、監視、医療、ロボット、ゲーム、ＣＧ画像作成、及び立体画像用入力などの用途に有用である。
【符号の説明】
【０１５７】
１  測距装置
２ａ、２ｂ、２ｃ  カメラ
３  視差検出装置
４  前処理部
５  ＰＳＦ同一化部
６  周波数領域変換部
７  ＰＳＦ変換部
８  空間領域変換部
９  視差算出部
１０  後処理部
１１  距離算出部
２０  ＰＳＦ補正データ作成装置
２１  補正データ算出前処理部
２２  周波数領域変換部
２３  補正データ算出部
２４  補正データ算出後処理部
１００  対象物
１０１ａ、１０１ｂ  光線
１０２ａ、１０２ｂ  レンズ
１０３ａ、１０３ｂ  光軸
１０４ａ、１０４ｂ  撮像領域
１０５ａ、１０５ｂ  光学中心
１０６ａ、１０６ｂ  光軸と撮像領域との交点
１０７ａ、１０７ｂ  結像位置
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の光学系間に生じる視差を算出する視差検出装置であって、
前記複数の光学系の点像分布が所定の光学系の点像分布と同一となるように、前記複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正する点像分布同一化部と、
前記点像分布同一化部によって補正された画像を用いて、前記複数の光学系間に生じる視差を算出する視差算出部とを備える
視差検出装置。
【請求項２】
前記点像分布同一化部は、
前記複数の画像の少なくとも１つを空間領域から周波数領域に変換する周波数領域変換部と、
前記周波数領域変換部によって周波数領域に変換された画像に補正データを作用させることにより、前記複数の光学系の点像分布が前記所定の光学系の点像分布と同一となるように当該画像を補正する点像分布変換部と、
前記点像分布変換部によって補正された画像を周波数領域から空間領域に逆変換する空間領域変換部とを有し、
前記視差算出部は、前記空間領域変換部によって逆変換された画像を用いて、前記視差を算出し、
前記補正データは、第１の光学伝達関数を、当該補正データを作用させる画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータである
請求項１に記載の視差検出装置。
【請求項３】
前記点像分布変換部は、前記周波数領域変換部によって周波数領域に変換された画像に前記補正データを乗じることにより画像を補正する
請求項２に記載の視差検出装置。
【請求項４】
前記第１の光学伝達関数は、前記複数の光学系のうち基準となる１つの光学系の光学伝達関数である
請求項２に記載の視差検出装置。
【請求項５】
前記第１の光学伝達関数は、第１の空間周波数における値の大きさに対する、前記第１の空間周波数よりも高い第２の空間周波数における値の大きさの比率が、前記点像分布同一化部によって補正される画像が得られる光学系の光学伝達関数における当該比率よりも大きい光学伝達関数である
請求項２に記載の視差検出装置。
【請求項６】
前記第１の光学伝達関数は、各空間周波数における値の大きさが略同一である
請求項２に記載の視差検出装置。
【請求項７】
さらに、第１の光学伝達関数を、前記点像分布同一化部によって補正される画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータを補正データとして生成する補正データ生成部を備え、
前記点像分布変換部は、前記周波数領域変換部によって周波数領域に変換された画像に、前記補正データ生成部によって生成された補正データを作用させる
請求項２に記載の視差検出装置。
【請求項８】
前記所定の光学系の点像分布は、前記複数の光学系のうち基準となる１つの光学系の点像分布である
請求項１に記載の視差検出装置。
【請求項９】
請求項１に記載の視差検出装置と、
前記視差検出装置によって検出された視差を用いて、対象物までの距離を算出する距離算出部とを備える
測距装置。
【請求項１０】
複数の光学系間に生じる視差を算出する視差検出方法であって、
前記複数の光学系の点像分布が所定の光学系の点像分布と同一となるように、前記複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正する点像分布同一化ステップと、
前記点像分布同一化ステップにおいて補正された画像を用いて、前記複数の光学系間に生じる視差を算出する視差算出ステップとを含む
視差検出方法。
【請求項１１】
請求項１０に記載の視差検出方法をコンピュータに実行させるためのプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011010438.tif 000068
【図２】
2011010438.tif 000069
【図３Ａ】
2011010438.tif 000070
【図３Ｂ】
2011010438.tif 000071
【図４】
2011010438.tif 000072
【図５】
2011010438.tif 000073
【図６】
2011010438.tif 000074
【図７】
2011010438.tif 000075
【図８】
2011010438.tif 000076
【図９Ａ】
2011010438.tif 000077
【図９Ｂ】
2011010438.tif 000078
【図１０Ａ】
2011010438.tif 000079
【図１０Ｂ】
2011010438.tif 000080
【図１１Ａ】
2011010438.tif 000081
【図１１Ｂ】
2011010438.tif 000082
【図１２Ａ】
2011010438.tif 000083
【図１２Ｂ】
2011010438.tif 000084
【図１３Ａ】
2011010438.tif 000085
【図１３Ｂ】
2011010438.tif 000086
【図１４Ａ】
2011010438.tif 000087
【図１４Ｂ】
2011010438.tif 000088
【図１５Ａ】
2011010438.tif 000089
【図１５Ｂ】
2011010438.tif 000090
【図１６】
2011010438.tif 000091
【図１７Ａ】
2011010438.tif 000092
【図１７Ｂ】
2011010438.tif 000093
【図１８Ａ】
2011010438.tif 000094
【図１８Ｂ】
2011010438.tif 000095
【図１９Ａ】
2011010438.tif 000096
【図１９Ｂ】
2011010438.tif 000097
【図２０】
2011010438.tif 000098
【図２１】
2011010438.tif 000099
【図２２】
2011010438.tif 000100
【図２３Ａ】
2011010438.tif 000101
【図２３Ｂ】
2011010438.tif 000102
【手続補正書】
【提出日】平成23年5月16日(2011.5.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
互いに収差分布の異なる複数の光学系間に生じる視差を算出する視差検出装置であって、
前記複数の光学系の点像分布が所定の収差分布を有する所定の光学系の点像分布と同一となるように、前記複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正する点像分布同一化部と、
前記点像分布同一化部によって補正された画像を用いて、前記複数の光学系間に生じる視差を算出する視差算出部とを備える
視差検出装置。
【請求項２】
前記点像分布同一化部は、
前記複数の画像の少なくとも１つを空間領域から周波数領域に変換する周波数領域変換部と、
前記周波数領域変換部によって周波数領域に変換された画像に補正データを作用させることにより、前記複数の光学系の点像分布が前記所定の光学系の点像分布と同一となるように当該画像を補正する点像分布変換部と、
前記点像分布変換部によって補正された画像を周波数領域から空間領域に逆変換する空間領域変換部とを有し、
前記視差算出部は、前記空間領域変換部によって逆変換された画像を用いて、前記視差を算出し、
前記補正データは、第１の光学伝達関数を、当該補正データを作用させる画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータである
請求項１に記載の視差検出装置。
【請求項３】
前記点像分布変換部は、前記周波数領域変換部によって周波数領域に変換された画像に前記補正データを乗じることにより画像を補正する
請求項２に記載の視差検出装置。
【請求項４】
前記第１の光学伝達関数は、前記複数の光学系のうち基準となる１つの光学系の光学伝達関数である
請求項２に記載の視差検出装置。
【請求項５】
前記第１の光学伝達関数は、第１の空間周波数における値の大きさに対する、前記第１の空間周波数よりも高い第２の空間周波数における値の大きさの比率が、前記点像分布同一化部によって補正される画像が得られる光学系の光学伝達関数における当該比率よりも大きい光学伝達関数である
請求項２に記載の視差検出装置。
【請求項６】
前記第１の光学伝達関数は、各空間周波数における値の大きさが略同一である
請求項２に記載の視差検出装置。
【請求項７】
さらに、第１の光学伝達関数を、前記点像分布同一化部によって補正される画像が得られる光学系の光学伝達関数である第２の光学伝達関数で除したデータ、又はそれに相当するデータを補正データとして生成する補正データ生成部を備え、
前記点像分布変換部は、前記周波数領域変換部によって周波数領域に変換された画像に、前記補正データ生成部によって生成された補正データを作用させる
請求項２に記載の視差検出装置。
【請求項８】
前記所定の光学系の点像分布は、前記複数の光学系のうち基準となる１つの光学系の点像分布である
請求項１に記載の視差検出装置。
【請求項９】
請求項１に記載の視差検出装置と、
前記視差検出装置によって検出された視差を用いて、対象物までの距離を算出する距離算出部とを備える
測距装置。
【請求項１０】
互いに収差分布の異なる複数の光学系間に生じる視差を算出する視差検出方法であって、
前記複数の光学系の点像分布が所定の収差分布を有する所定の光学系の点像分布と同一となるように、前記複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正する点像分布同一化ステップと、
前記点像分布同一化ステップにおいて補正された画像を用いて、前記複数の光学系間に生じる視差を算出する視差算出ステップとを含む
視差検出方法。
【請求項１１】
請求項１０に記載の視差検出方法をコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
上述した目的を達成するために、本発明の一態様である視差検出装置は、互いに収差分布の異なる複数の光学系間に生じる視差を算出する視差検出装置であって、前記複数の光学系の点像分布が所定の収差分布を有する所定の光学系の点像分布と同一となるように、前記複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正する点像分布同一化部と、前記点像分布同一化部によって補正された画像を用いて、前記複数の光学系間に生じる視差を算出する視差算出部とを備える。
【国際調査報告】
2011010438.tif 000103
2011010438.tif 000104