(57)【要約】【課題】  各視点の映像を高精細に取得できる、小型軽量の撮像装置と、それを利用した距離計測システムを提供することである。【解決手段】  空間的距離をもって配置された複数視点から対象物を観測して得られた複数の映像を、撮像面上で重複するように統合する光学的手段と、レンズ系で統合された複数視点映像を同時に同一撮像面で撮像する撮像手段と、を有する多視点映像取得装置を用いて画像を取得し、取得された画像データから撮像対象物の特徴的な構成要素を抽出し、その抽出された各構成要素と、記憶媒体に記録された多視点画像データの撮像装置の視点情報との対応関係を決定し、各構成要素の視差をそれぞれ算出し、その算出された視差に基づいて、撮像装置から撮像対象物の各構成要素までの距離情報を決定する。【選択図】図２
2005257278.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から対象物までの距離を計測するための映像取得装置において、
空間的距離をもって配置された複数視点から対象物を観測して得られる複数の映像を、撮像面上で重複させて統合し、複数視点映像を生成する光学的手段と、
前記複数視点映像を半導体基板上に形成された撮像面で略同時に撮像する撮像手段と、
を有することを特徴とする映像取得装置。
【請求項２】
請求項１記載の映像取得装置において、
前記光学的手段を備えた筐体にネジ部を有し、
撮像手段を備えた筐体の前記ネジ部と螺合させて、前記光学的手段と前記撮像手段とを着脱可能とすることを特徴とする映像取得装置。
【請求項３】
請求項１の映像取得装置において、
前記光学的手段を備えた筒状の筐体にガイドレーンを有し、
撮像手段を備えた筐体の貫通孔のガイドレーンと接触させ滑らせて、前記光学的手段と前記撮像手段とを着脱可能とすることを特徴とする映像取得装置。
【請求項４】
ある空間的距離を持って配置された複数視点を通過した映像が、同一撮像面上で重複するように統合された映像を撮像装置で撮像して得られた多視点画像データを入力し、
前記入力された多視点画像データから撮像対象物の特徴的な構成要素を抽出し、
前記抽出された各構成要素と、記憶媒体に記録された前記多視点画像データの撮像装置の視点情報との対応関係を決定し、
前記決定された対応関係に基づいて、撮像装置から撮像対象物の各構成要素までの距離情報を決定する、
ことを特徴とする距離計測方法。
【請求項５】
ある空間的距離を持って配置された複数視点を通過した映像が、同一撮像面上で重複するように統合された映像を撮像装置で撮像して得られた多視点画像データを入力し、
前記入力された多視点画像データから撮像対象物の特徴的な構成要素を抽出し、
前記抽出された各構成要素と、記憶媒体に記録された前記多視点画像データの撮像装置の視点情報との対応関係を決定し、
前記多視点画像データから撮像対象物を構成する領域を抽出し、
前記決定された対応関係に基づいて、撮像装置から撮像対象物を構成する領域の距離情報を決定する、
ことを特徴とする距離計測方法。
【請求項６】
ある空間的距離を持って配置された複数視点を通過した映像が、同一撮像面上で重複するように統合された映像を撮像装置で撮像して得られた多視点画像データを入力し、
前記入力された多視点画像データから撮像対象物の特徴的な構成要素を抽出し、
前記抽出された各構成要素の視差をそれぞれ算出し、
前記算出された視差に基づいて、撮像装置から撮像対象物の各構成要素までの距離情報を決定する、
ことを特徴とする距離計測方法。
【請求項７】
ある空間的距離を持って配置された複数視点を通過した映像が、同一撮像面上で重複するように統合された映像を撮像装置で撮像して得られた多視点画像データを入力し、
前記入力された多視点画像データから撮像対象物の特徴的な構成要素を抽出し、
前記抽出された各構成要素の視差をそれぞれ算出し、
前記画像データから撮像対象物を構成する領域を抽出し、
前記算出された視差に基づいて、撮像装置から撮像対象物を構成する領域の距離情報を決定する、
ことを特徴とする距離計測方法。
【請求項８】
請求項４から７のいずれか１つの距離計測方法において、
対象物の特徴的な構成要素として、コーナー点，直線エッジ成分，曲線エッジ成分，閉領域の面積，輝度値変化量の勾配，輝度変化量の勾配変化、また、以上の構成要素近傍の色情報，高次局所自己相関のいずれかであることを特徴とする距離計測方法。
【請求項９】
ある空間的距離を持って配置された複数視点を通過した映像が、同一撮像面上で重複するように統合された映像を撮像装置で撮像して得られた多視点画像データを入力し、
前記入力された多視点画像データから撮像対象物の特徴的な構成要素を抽出し、
前記抽出された各構成要素と、記憶媒体に記録された前記多視点画像データの撮像装置の視点情報との対応関係を決定し、
前記決定された対応関係に基づいて、撮像装置から撮像対象物の各構成要素までの距離情報を決定する、
ことを特徴とする距離計測方法が記録された記録媒体。
【請求項１０】
ある空間的距離を持って配置された複数視点を通過した映像が、同一撮像面上で重複するように統合された映像を撮像装置で撮像して得られた多視点画像データを入力し、
前記入力された多視点画像データから撮像対象物の特徴的な構成要素を抽出し、
前記抽出された各構成要素と、記憶媒体に記録された前記多視点画像データの撮像装置の視点情報との対応関係を決定し、
前記画像データから撮像対象物を構成する領域を抽出し、
前記決定された対応関係に基づいて、撮像装置から撮像対象物を構成する領域の距離情報を決定する、
ことを特徴とする距離計測方法が記録された記録媒体。
【請求項１１】
ある空間的距離を持って配置された複数視点を通過した映像が、同一撮像面上で重複するように統合された映像を撮像装置で撮像して得られた多視点画像データを入力し、
前記入力された画像データから撮像対象物の特徴的な構成要素を抽出し、
前記抽出された構成要素の視差をそれぞれ算出し、
前記算出された視差に基づいて、撮像装置から撮像対象物の各構成要素までの距離情報を決定する、
ことを特徴とする距離計測方法が記録された記録媒体。
【請求項１２】
ある空間的距離を持って配置された複数視点を通過した映像が、同一撮像面上で重複するように統合された映像を撮像装置で撮像して得られた多視点画像データを入力し、
前記入力された多視点画像データから撮像対象物の特徴的な構成要素を抽出し、
前記抽出された構成要素の視差をそれぞれ算出し、
前記多視点画像データから撮像対象物を構成する領域を抽出し、
前記算出された視差に基づいて、撮像装置から撮像対象物を構成する領域の距離情報を決定する、
ことを特徴とする距離計測方法が記録された記録媒体。
【請求項１３】
請求項１から３のいずれか１つの映像取得装置を有し、該装置で取得した画像を用いて、距離情報を出力する距離計測システム。
【請求項１４】
請求項１３の距離計測システムにおいて、
多視点画像データを入力する手段と、
前記入力された多視点画像データから撮像対象物の特徴的な構成要素を抽出する手段と、
前記抽出された各構成要素と、記録媒体に記録された前記多視点画像データの撮像装置の視点情報との対応関係を決定する手段と、
前記決定された対応関係に基づいて、撮像装置から撮像対象物の各構成要素までの距離情報を決定する手段と、
を有することを特徴とする距離計測システム。
【請求項１５】
請求項１３の距離計測システムにおいて、
多視点画像データを入力する手段と、
前記入力された多視点画像データから撮像対象物の特徴的な構成要素を抽出する手段と、
前記抽出された各構成要素と、記録媒体に記録された前記多視点画像データの撮像装置の視点情報との対応関係を決定する手段と、
前記多視点画像データから撮像対象物を構成する領域を抽出する手段と、
前記決定された対応関係に基づいて、撮像装置から撮像対象物を構成する領域の距離情報を決定する手段と、
を有することを特徴とする距離計測システム。
【請求項１６】
請求項１３の距離計測システムにおいて、
多視点画像データを入力する手段と、
前記入力された画像データから撮像対象物の特徴的な構成要素を抽出する手段と、
前記抽出された各構成要素の視差をそれぞれ算出する手段と、
前記算出された視差に基づいて、撮像装置から撮像対象物の各構成要素までの距離情報を決定する手段と、
を有することを特徴とする距離計測システム。
【請求項１７】
請求項１３の距離計測システムにおいて、
多視点画像データを入力する手段と、
前記入力された多視点画像データから撮像対象物の特徴的な構成要素を抽出する手段と、
前記抽出された各構成要素の視差をそれぞれ算出する手段と、
前記多視点画像データから撮像対象物を構成する領域を抽出する手段と、
前記算出された視差に基づいて、撮像装置から撮像対象物を構成する領域の距離情報を決定する手段と、
を有することを特徴とする距離計測システム。
【請求項１８】
請求項１３から１７のいずれか１つの距離計測システムにおいて、
請求項４から８のいずれか１つの距離計測方法が、前記映像取得装置内の撮像面が形成されている半導体基板上に、半導体回路として形成されていることを特徴とする距離計測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置から対象物までに距離を計測する映像取得装置，距離計測方法、その方法を利用した距離計測システム、及びその方法を記録した記録媒体に関する。
【背景技術】
【０００２】
三次元環境中の物体を、複数の視点からカメラで撮影し、その撮像された画像の視差を利用して奥行き情報を計測する装置が、従来にもいくつか考案されている。
【０００３】
これらの装置は、相対関係が既知である複数のカメラを用い、略同時に撮像した画像間で、同一物体の対応付けを計算することで、視差を求め、奥行き情報に変換するものである。
【０００４】
しかし、このような装置は、設置時にカメラ間の位置関係を調整するため、また使用中に振動や外力の影響を受け、カメラ間の相対関係がずれる可能性があるため、適宜キャリブレーションを行う必要がある。
【０００５】
また、視差の算出方法においては、例えばブロックマッチングと呼ばれる方法が用いられる。この方法は、複数視点から得られた各入力画像を小ブロックに分割し、小ブロック毎に対応関係を求めることで、視差を算出するものである。
【０００６】
しかし、この方法では、入力画像中に特徴が少ない場合、誤差が大きくなるという問題がある。
【０００７】
これに対し、単一のレンズおよび撮像体を用いて、複数の視点からの映像を得る事を実現した例が、特許文献１として報告されている。
【０００８】
特許文献１には、光軸が互いに略平行である複数の光学ブロックが一体形成された光学ブロックアレイと、上記複数の光学ブロックにより撮像された像をそれぞれ撮像する、同一の半導体基板上に形成された複数の撮像ブロックと、これら複数の撮像ブロックにより撮像された画像間の視差情報を算出する視差算出回路とから構成される複眼撮像系とそれを備えた装置に関して、記載されている。
【０００９】
また、複数のカメラをアレイ上に配置することでカメラ間の相対関係を固定し、複数の視点からの映像を得る事を実現した例が、特許文献２として報告されている。
【００１０】
特許文献２には、外周部分にネジ部を有する筒状のケース内にレンズが固定された複数の光学レンズと、そのケースと螺合する貫通穴を複数もつレンズ固定部材と、複数の画像撮像素子をもつ固定部材とから構成される多眼画像センサに関して、記載されている。
【００１１】
視差の算出方法に関しては、各入力画像中から特徴を抽出し、抽出された特徴同士の対応付けを行うことで、単純なブロックマッチングよりも信頼性を挙げた例が、非特許文献１として報告されている。
【００１２】
非特許文献１には、航空写真を入力画像とし、入力画像中から矩形を検出し、その矩形を対応付けることで、建築物の高さを計測する方法に関して、記載されている。
【００１３】
【特許文献１】特開２００３−１４３４５９号公報：“複眼撮像系およびこれを備えた装置”、キャノン株式会社
【特許文献２】特許２９５８４５８号：“多眼画像センサ”、防衛庁技術研究本部長
【非特許文献１】“USing Perceptual Organization to Extract 3-D Structures”，Rakesh Mohan,Ramakant Nevatia，IEEE Transactions on Pattern Analysis and  Machine Intelligence(PAMI),Vol.11,No.11，November，1989
【発明の開示】
【発明が解決しようとする課題】
【００１４】
特許文献１では、ゴースト光を防止するため、レンズアレイから撮像素子までの各光学ブロック境界に遮光ブロックを設ける必要があるため、カメラ内部への加工が必要となり、ハードウェア構成が複雑かつ高価になるという問題がある。さらに、各レンズアレイを通過した映像は、撮像素子を分割して、それぞれ異なる領域で撮像されるため、各視点の映像を高精細に撮像することができず、画角が狭くなるか、あるいは距離計測精度が落ちるという問題もある。
【００１５】
特許文献２では、複数台のカメラを用いるため、設置容積の削減が困難であるという問題点がある。また、実施例としてピンホールレンズを用いてワンチップ化した場合も挙げられているが、ピンホールレンズによる撮像系は得られる画像が非常に暗くなるため、利用できる環境が制限されてしまうという問題点がある。
【００１６】
非特許文献１では、複数台のカメラを用いて入力画像を取得する必要があるため、特許文献２と同様、設置容積の削減が困難であるという問題点がある。
【００１７】
本発明の目的は、各視点の映像を高精細に取得できる、小型軽量の撮像装置と、それを利用した距離計測システムを提供することである。
【課題を解決するための手段】
【００１８】
上記課題を解決するため、本発明の距離計測システムでは、空間的距離をもって配置された複数視点から対象物を観測して得られた複数の映像を、撮像面上で重複するように統合する光学的手段と、レンズ系で統合された複数視点映像を同時に同一撮像面で撮像する撮像手段と、を有する多視点映像取得装置を用いて画像を取得し、取得された画像データから撮像対象物の特徴的な構成要素を抽出し、その抽出された各構成要素と、記憶媒体に記録された多視点画像データの撮像装置の視点情報との対応関係を決定し、各構成要素の視差をそれぞれ算出し、その算出された視差に基づいて、撮像装置から撮像対象物の各構成要素までの距離情報を決定する。
【発明の効果】
【００１９】
各視点の映像を高精細に取得できる、小型軽量の撮像装置と、それを利用した距離計測システムが実現できる。
【発明を実施するための最良の形態】
【００２０】
以下本発明の実施の形態を説明します。
【実施例１】
【００２１】
（第１実施形態）
本発明の距離計測システムに関して説明を行う。
【００２２】
図１は、本発明の距離計測システムＳ１００の構成を示している。前記システムＳ100は、多視点映像取得装置Ｓ１０１と画像処理装置Ｓ１０２とで構成される。
【００２３】
まず、多視点映像取得装置Ｓ１０１に関して説明を行う。
【００２４】
図２２は、多視点映像取得装置Ｓ１０１を、カメラ視軸に対してほぼ垂直方向から見た側面断面図である。
【００２５】
複数の光学レンズアレイ２２０３−１，２２０３−２を備えた光学手段の筐体２２０５と、撮像手段の筐体２２０４とは、接合手段２２０２とで接合されている。多視点映像取得装置のレンズ系は、複数の小レンズ（以下、光学ブロックと呼ぶ）を格子状に並べて一体成形した光学レンズアレイを利用する。
【００２６】
図３では、４つの光学ブロック３０２，３０３，３０４，３０５を一体形成した光学レンズアレイ３０１を示している。図４，図５には光学レンズアレイの他の構成例を示している。
【００２７】
図２２を用いて、多視点映像取得装置の動作を説明する。
【００２８】
物体からの映像は、光学ブロック２２０３−１，２２０３−２を通過し、各視点毎の映像となる。これらの映像は、それぞれ撮像面２２０１の全体または一部に投影され、撮像面２２０１上では各光学ブロックを通過した映像が重複する。図１０に示すように、光学ブロック１００４−１，１００４−２と撮像面１００１との間に、別の光学系１００３を配置しても良い。
【００２９】
光学レンズアレイは、複数の光学ブロックが一体に形成されたものである。この光学レンズアレイは、光学ガラスまたはプラスチックなどにより形成されている。図３においては光学ブロックは４つであるが、６つ，９つなどの光学ブロックを一体に形成して、光学レンズアレイを構成しても良い。また、各光学ブロックの並びは、必ずしも平面状である必要はなく、図５のように曲面状もしくは球面上であってもよい。各光学ブロックの開口径および焦点距離は略同一である。この光学レンズアレイは、各光学ブロックの主点を視点とした多視点映像を生成し、その像は、光学ブロックの各主点間の距離分の視差を伴った像を重ねたものになっている。
【００３０】
撮像ユニットは、ＣＣＤセンサやＣＭＯＳセンサなどの電子撮像センサからなり、図８に示すように、多数の光検出素子がアレイ状に構成されている。これらの光検出素子上に、前述の光学レンズアレイを通過した映像が重複して結像する。その光学レンズアレイを収めた筐体と、撮像ユニットを収めた筐体の接合部にそれぞれネジ山・ネジ穴・ガイドレーン等の接合機構をつけ、光学レンズアレイを着脱可能にしておくことで、多視点映像が不要な場合にはレンズアレイを取り外し、人間が見て分かりやすい映像を取得することが可能となる。
【００３１】
ネジによる接合機構は、光学レンズアレイを収めた筐体を回転させながら撮像ユニットを収めた筐体に取り付けるため、光学レンズアレイと撮像ユニット間の距離を精密に調整できる反面、光学ブロック境界と撮像ユニットの受光素子配列との間にねじれの関係が生じやすい。
【００３２】
一方、ガイドレーンによる接合機構は、光学レンズアレイを収めた筐体を撮像ユニットを収めた筐体に真っ直ぐ押込むように取り付けるため、光学ブロック境界と撮像ユニットの受光素子配列とがねじれることがない反面、光学レンズアレイと撮像ユニット間の距離を精密に調整しにくい。
【００３３】
このため、着脱によるレンズ取り付け誤差を軽減するために、図示しない調整機構を備えてもよい。
【００３４】
図６は、三次元空間中の物体の像が、多視点映像装置の撮像面上に重複されて投影される様子を示している。図７は、図６の場合に取得される画像の例を示している。
【００３５】
画像処理装置Ｓ１０２としては、コンピュータ，マイコン，専用プロセッサなどを用いて構成する。画像処理装置Ｓ１０２内部で行われる画像処理の主なアルゴリズムを図２に示している。
【００３６】
光学レンズアレイを通過した多視点映像は、各視点間の、すなわち光学ブロックの各主点間の距離分の視差を伴った像を重ねたものである。
【００３７】
ここで、重ねられた像がそれぞれ分離でき、分離した各像がどの視点を通過して得られたのかが分かれば、三角測量の原理を用いることにより、距離計測を行うことが可能である。
【００３８】
三角測量の原理を図２３を使って簡単に説明する。
【００３９】
図２３は、レンズ２３０２−１，２３０２−２から距離ｈにある対象２３０３がカメラ撮像面２３０１−１，２３０１−２に投影され、それぞれＬ１，Ｌ２の像が得られたことを示している。
【００４０】
このとき、カメラ撮像面２３０１−１とカメラ２３０１−２とが距離Ｄ離れているため、それぞれのカメラの像は微小に異なる。
【００４１】
そこで式（１）が成立し、物体２３０３までの距離ｈを求めることができる。
【００４２】
【数１】
2005257278.tif 000003
しかしながら、像と視点との対応付けは直接には求められないため、本発明の多視点画像取得装置で得られた画像に、公知の手法をそのまま適用して距離計測を行うことができない。
【００４３】
本発明では、入力画像中から特徴を抽出し、その特徴がどの視点を通過して得られたものであるかを計算することで、特徴情報と視点情報の対応付けの決定を行う。
【００４４】
以下に、本発明の画像処理装置の処理の概要を図を用いて説明する。
【００４５】
まず、入力された多視点画像中から、撮像対象の構成要素である特徴を抽出する方法について説明する。
【００４６】
この特徴抽出処理には、少なくとも、直線エッジ成分，曲線エッジ成分，コーナー点，閉領域の面積，輝度値変化量の勾配，輝度変化量の勾配変化、および前記特徴の構成要素近傍の色情報，領域内の高次局所自己相関が含まれる。
【００４７】
このうちのいくつかの特徴について以下に簡単に説明する。
【００４８】
例えば、直線エッジ成分は以下の式（２）から求めることができる。
【００４９】
【数２】
2005257278.tif 000004
このほかにＭとして、
【００５０】
【数３】
2005257278.tif 000005
などを利用してもよい。
【００５１】
また、例えばコーナー点は、エッジ強度を以下の式（４）として定義することで求めることができる。
【００５２】
【数４】
2005257278.tif 000006
閉領域の面積は式（５）として定義できる。
【００５３】
【数５】
2005257278.tif 000007
高次局所自己相関（参考文献：Kurita T.,Otsu N.，and Sato T., “A Face 
Recognition Method Using Higher Order Local Autocorrelation And Multivariate 
Analysis”，Proceedings of 11th International Conferernce on PATTERN RECOGNITION，Vol.II，pp.213-216，1992）は、以下の式（６）として定義できる。
【００５４】
【数６】
2005257278.tif 000008
ここでは、以下のように定義されている。
【００５５】
一次の場合、
【００５６】
【数７】
2005257278.tif 000009
二次までの場合、
【００５７】
【数８】
2005257278.tif 000010
三次までの場合、
【００５８】
【数９】
2005257278.tif 000011
【００５９】
次に、特徴情報と視点情報の対応付けの決定を行う方法について説明する。一般に、図１３に示すように、三次元空間中の視点位置が既知であるとき、撮像面上で観測された一点は、三次元空間中の半直線上にあることが計算できる。
【００６０】
しかしながら、本発明の多視点画像取得装置では、各特徴と視点位置の対応関係が不明であるため、上記の抽出された各特徴に対応する視点位置を算出する必要がある。
【００６１】
以下に、算出する方法を説明する。
【００６２】
まず、抽出された特徴群のうち、略同一の特徴量をもつ特徴を複数選択する。選択された特徴と視点情報との仮の対応付けを決め、この対応付けの下で各視点から各特徴の存在する半直線を計算する。
【００６３】
これを図１７および図１８を使って説明する。
【００６４】
これらの図では、多視点映像取得装置の前方に物体１７０２，１８０２を配置して撮像し、その像が１７０６−１，１７０６−２，１７０６−３，１８０６−１，１８０６−２，１８０６−３として得られているとする。
【００６５】
図１７では、撮像面上に投影された対象物体の像１７０６−１と光学ブロック１７０１−１が、像１７０６−２と光学ブロック１７０１−２が、像１７０６−３と光学ブロック１７０６−３が、それぞれ対応していると仮定した場合の、各特徴の存在する半直線を
１７０３−１，１７０３−２，１７０３−３および１７０４−１,１７０４−２,１７０４−３として描画したものである。
【００６６】
このように、対象物体の像と光学ブロックとの対応付けが正しい場合、これらの半直線は、１７０５−１および１７０５−２でそれぞれ交わる。
【００６７】
図１８では、撮像面上に投影された対象物体の像１８０６−１と光学ブロック１８０１−２が、像１８０６−２と光学ブロック１８０１−１が、像１８０６−３と光学ブロック１８０６−３が、それぞれ対応していると仮定した場合の、各特徴の存在する半直線を
１８０３−１，１８０３−２，１８０３−３および１８０４−１,１８０４−２,１８０４−３として描画したものである。
【００６８】
このように、対象物体の像と光学ブロックとの対応付けが誤っている場合、これらの半直線の交わる本数が少なくなる。
【００６９】
次に、離散化した三次元パラメタ空間を考え、上記半直線に対応するパラメタ空間中のボクセルへ投票を行う。全ての半直線に関して投票を行い、パラメタ空間中の得票値の大きいボクセルに相当する三次元空間中の位置を構成要素の位置と決定する。
【００７０】
もし、パラメタ空間中で、得票値の大きいボクセルが存在しない場合、すなわち前述の半直線の交わる本数が少ない場合は、仮の対応付けが誤っていたと判定できるので、対応付けを変更し、再度投票を繰り返す。
【００７１】
各特徴と各視点位置とが正しく対応付けられた場合、パラメタ空間中で特定のボクセルに得票値が集中するため、各特徴と各視点位置との対応付けと、各特徴の三次元空間中の位置情報すなわち距離情報とが同時に決定できる。
【００７２】
これを図１９および図２０を使って説明する。
【００７３】
図１９は、対象物体の像と光学ブロックとの対応付けを図１７の場合と同じに仮定した場合の三次元パラメタ空間を示した図である。
【００７４】
三次元パラメタ空間１９０１中のボクセルは、半直線と交わる度に１ずつ投票値が加算される。この図では、それぞれ３本の半直線が１９０２および１９０３にて交わっているため、この交点に相当するボクセルの得票値が高くなっている。
【００７５】
一方、図２０は、対象物体の像と光学ブロックとの対応付けを図１８の場合と同じに仮定した場合の三次元パラメタ空間を示した図である。
【００７６】
半直線の交わっている箇所が、２００２，２００３，２００４の３箇所にあるが、いずれもそれぞれ２本ずつしか交わっていないため、図１９の場合よりもボクセルの得票値が小さい。
【００７７】
これにより、対応付けが誤っていたことが判定できる。
【００７８】
このようにして、特徴情報と視点情報との正しい対応付けを決定することができる。
【００７９】
上記の投票を効率的に行うために、複数の特徴を組み合わせ、各特徴セットと各視点位置との対応付けを求めてもよい。この場合の構成を図１１に示す。
【００８０】
また、複数の仮対応付けをまとめてパラメタ空間中に投票してもよい。図２１に、特徴２１０３−１，２１０３−２，２１０３−３と、光学ブロック２１０２−１，２１０２−２，２１０２−３との、全ての組み合わせの場合の投票結果を示す。
【００８１】
特徴情報と視点情報との対応付けが決定されると、このときのパラメタ空間が決定できる。このパラメタ空間中の、得票値の高いボクセルの座標に対応する三次元空間中に、特徴が存在していることが計算でき、多視点映像撮像装置から特徴までの距離が算出できる。
【００８２】
前記の特徴情報と視点情報の対応付け決定方法および、撮像装置から特徴までの距離算出方法は、図８に示すように、多視点映像取得装置内部にある撮像ユニット上の撮像面が形成されている半導体基板上に、半導体回路として形成してもよい。
【実施例２】
【００８３】
図１２に、本発明の第２形態である距離計測システムの構成を示す。
【００８４】
これは、請求項５および７に記載したように、まず入力した画像データから連結する小領域を抽出し、次に各小領域に属する特徴を決定し、実施例１の方法で決定した各特徴の距離情報を基に、各小領域の距離情報を求める方法である。
【実施例３】
【００８５】
図１４および図１５に、本発明の第３実施形態である車両の内室内の対象物または乗員の検出装置の構成を示している。
【００８６】
この図において、車両の助手席前方に上記第１実施形態および第２実施形態にて説明した多視点映像取得装置が、乗員に向けて設置されている。
【００８７】
前述したように、多視点映像取得装置により、乗員までの距離を計測することができる。また、本距離計測システムでは対象物の大きさも判定することができるため、助手席のシートに何か載っているかどうか、載っているのであれば、大人か，子供か，チャイルドシートかなどを検出することが可能である。
【００８８】
これにより、エアバッグの膨らませ方を乗員に合わせて変更することができ、より安全性を高めることが可能となる。
【実施例４】
【００８９】
図１６に、本発明の第４実施形態である監視カメラによる不審者検知装置の構成を示している。
【００９０】
この図において、上記第１実施形態および第２実施形態にて説明した多視点映像取得装置が、監視対象エリアに向けて設置されている。監視カメラシステムにおいては、コストパフォーマンスの面から１台のカメラを用いたものがほとんどである。
【００９１】
こうしたシステムでは、背景と不審者とを分離するために、動領域検出を行うものが多いが、非常にゆっくりした動きを検知することができない。また、監視カメラ至近を虫などが横切る場合と、不審者の侵入とを区別することができない。
【００９２】
前述したように、多視点映像取得装置により、対象物までの距離を計測することができる。このため、ゆっくりした動きであっても背景との距離の違いにより不審者を検出することができる。また、カメラ至近の虫などの通過も距離の計測により、不審者と区別することが可能となる。
【００９３】
これにより、不審者の検出漏れと虚報の発報を低減することができる。
【産業上の利用可能性】
【００９４】
車載カメラ，監視装置，ロボット，レンジファインダ。
【図面の簡単な説明】
【００９５】
【図１】本発明の請求項１に対応する距離計測システムの撮像部を、カメラ視軸に対してほぼ垂直方向から見た側面断面図。
【図２】本発明の請求項６に対応する、画像処理方法概要の流れ図。
【図３】光学レンズアレイの例を示した図。
【図４】光学レンズアレイの例を示した図。
【図５】光学レンズアレイの例を示した図。
【図６】三次元空間中の物体の像が、多視点映像装置の撮像面上に投影される様子を示した図。
【図７】三次元空間中の物体の像が、多視点映像装置の撮像面上に投影される様子を示した図。
【図８】多視点映像取得装置内部にある撮像ユニットを示す図。
【図９】物体の像が異なる光学ブロックを通過して撮像平面上に到達することを示す図。
【図１０】各光学ブロックを通過した像が撮像平面上に重複して到達することを示す図。
【図１１】複数の特徴を組み合わせて特徴セットを作成し、特徴情報と視点情報の対応付け決定の効率化を行う場合の距離計測方法を示す図。
【図１２】請求項７および実施例２に対応する距離計測方法を示す図。
【図１３】通常のカメラで物体を撮像した時に、物体の存在しうる半直線が決定できることを示す図。
【図１４】車両の内室内に設置した場合の実施例を示す図。
【図１５】車両の内室内に設置し、エアバッグ制御に応用した場合の実施例を示す図。
【図１６】監視カメラに応用した場合の実施例を示す図。
【図１７】実施例１において、特徴と視点との対応付けが正しい場合の特徴が存在する半直線を示す図。
【図１８】実施例１において、特徴と視点との対応付けが誤っている場合の特徴が存在する半直線を示す図。
【図１９】実施例１において、特徴と視点との対応付けが正しい場合の、三次元パラメタ空間中の各ボクセルに対する投票値を示す図。
【図２０】実施例１において、特徴と視点との対応付けが誤っている場合の、三次元パラメタ空間中の各ボクセルに対する投票値を示す図。
【図２１】実施例１において、特徴と視点との対応付けを複数仮定し、一度に投票した場合の、三次元パラメタ空間中の各ボクセルに対する投票値を示す図。
【図２２】多視点映像取得装置を、カメラ視軸に対してほぼ垂直方向から見た側面断面図である。
【図２３】三角測量の原理を説明するための図。
【符号の説明】
【００９６】
１０１，６０１，８０１，９０１…撮像素子、１０２…光学レンズ部と撮像部の接合装置、１０３，３０１，４０１，５０１，６０３−１，６０３−２…光学レンズアレイ、
３０２，３０３，３０４，３０５，９０２，９０３…光学ブロック、６０２…光学レンズ部と撮像部の接合装置、６０４…撮像部の筐体、６０５…光学レンズ部の筐体、６０６…撮像装置の近くにある物体、６０７…撮像装置の近くにある物体６０６よりも遠方にある物体、８０２…半導体、８０３…特徴抽出回路、８０４…対応付け決定回路、８０５…距離計算回路、９０４…撮像対象物体。
【図１】
2005257278.tif 000012
【図２】
2005257278.tif 000013
【図３】
2005257278.tif 000014
【図４】
2005257278.tif 000015
【図５】
2005257278.tif 000016
【図６】
2005257278.tif 000017
【図７】
2005257278.tif 000018
【図８】
2005257278.tif 000019
【図９】
2005257278.tif 000020
【図１０】
2005257278.tif 000021
【図１１】
2005257278.tif 000022
【図１２】
2005257278.tif 000023
【図１３】
2005257278.tif 000024
【図１４】
2005257278.tif 000025
【図１５】
2005257278.tif 000026
【図１６】
2005257278.tif 000027
【図１７】
2005257278.tif 000028
【図１８】
2005257278.tif 000029
【図１９】
2005257278.tif 000030
【図２０】
2005257278.tif 000031
【図２１】
2005257278.tif 000032
【図２２】
2005257278.tif 000033
【図２３】
2005257278.tif 000034