(57)【特許請求の範囲】
【請求項１】
複数のカメラにより撮影して取得された各々の画像の画像データを共通の画像処理装置に入力し、前記画像の各々についてパターンマッチング処理を行い、前記画像データの各々中に存在する物体についての情報を取得する物体認識方法であって、
撮影された画像における背景と前記物体との動き方およびスピードの相違に基づいて、入力された前記画像データの中から前記物体の探索を行なう範囲を絞り込むステップと、
各データベースが前記画像データを取得する複数のカメラの１つに対応づけられた複数のデータベースと、環境条件毎に設けた複数のデータベースと、前記対応するカメラに対して環境条件毎に設けた複数のデータベースのうち少なくとも１組を予め用意し、前記画像データを取得したカメラ、検出された環境条件、または、その組み合わせのいずれか１つに基づいて、複数のデータベースから１つのデータベースを選択するステップと、
前記画像データの絞り込んだ部分と前記選択されたデータベースに格納された物体のモデルデータとを比較するステップと、
前記画像データの絞り込んだ部分と最も類似度の高い格納された物体のモデルデータを検出するステップと、
前記検出した物体のモデルデータを用いて前記画像から物体を検出するステップと、
を含むことを特徴とする物体認識方法。
【請求項２】
請求項１において、
前記複数のデータベースの各々は、一つの物体を、その物体までの距離を異ならせながら前記複数のカメラの各々で撮影し、その撮影により得られた画像データに基づいて取得されるモデルに関する画像データを、前記物体までの距離と対応付けして前記複数のデータベースの各々に登録することにより作成されることを特徴とする物体認識方法。
【請求項３】
複数のカメラにより撮影した画像の各々について、物体認識処理を行なう物体認識方法であって、
あらかじめ、前記複数のカメラの各々で複数の物体を撮影することにより取得された画像データに、所定の物体の特徴を抽出するための特徴抽出行列を乗算して得られる複数の特徴ベクトルが登録されている、複数のデータベースであって、各データベースが前記画像データを取得する複数のカメラの１つに対応づけられた複数のデータベースと、環境条件毎に設けた複数のデータベースと、前記対応するカメラに対して環境条件毎に設けた複数のデータベースのうち少なくとも１組を用意するステップと、
撮影された画像における背景と前記物体との動き方およびスピードの相違に基づいて、入力された前記画像データの中から物体探索を行なう範囲を絞り込むステップと、
前記画像データを取得したカメラ、検出された環境条件、または、その組み合わせのいずれか１つに基づいて、複数のデータベースから１つのデータベースを選択するステップと、
前記探索範囲内の画像データに、前記特徴抽出行列を乗算することによって、撮影した画像についての特徴ベクトルを求めるステップと、
求められた前記特徴ベクトルと、前記選択されたデータベースに登録されている、複数のモデルオブジェクトの特徴ベクトルの各々とを照合して類似度を判定するステップと、
前記画像データの絞り込んだ部分と最も類似度の高い前記格納された物体のモデルデータを選択するステップと、
前記選択した物体のモデルデータを用いて前記画像から物体を検出するステップと、
を含むことを特徴とする物体認識方法。
【請求項４】
請求項３において、
前記データベースには、クラス分けされた物体毎の画像データの代表値に、前記特徴抽出行列を乗算して得られる、複数の代表特徴ベクトルが登録されることを特徴とする物体認識方法。
【請求項５】
複数のカメラにより撮影して取得された画像の各々について、物体認識処理を行なう物体認識装置であって、
物体の画像と前記物体の画像データを取得する複数のカメラと、
各データベースが物体のモデルに関する複数のモデルデータを内蔵し前記画像データを取得する複数のカメラの１つに対応づけられた複数のデータベースと、環境条件毎に設けた複数のデータベースと、前記対応するカメラに対して環境条件毎に設けた複数のデータベースのうち少なくとも１つの組と、
撮影された画像における背景と前記物体との動き方およびスピードの相違に基づいて、入力された前記画像データの中から前記物体の探索範囲を絞り込む探索範囲絞込み部と、
前記画像データを取得したカメラ、検出された環境条件、または、その組み合わせのいずれか１つとに基づいて、複数のデータベースから１つのデータベースを選択し、前記画像データの絞り込んだ部分と前記選択されたデータベースに格納された物体のモデルデータとを比較し、前記画像データの絞り込んだ部分と最も類似度の高い格納された物体のモデルデータを検出し、前記検出した物体のモデルデータを用いて前記画像中の物体を検出する物体認識部と、
を有することを特徴とする物体認識装置。
【請求項６】
コンピュータを、
各データベース手段が物体のモデルに関する複数のモデルデータを内蔵し前記画像データを取得する複数のカメラの１つに対応づけられた複数のデータベース手段と、環境条件毎に設けた複数のデータベース手段と、前記対応するカメラに対して環境条件毎に設けた複数のデータベース手段のうち少なくとも1つの組である複数のデータベース手段と、
撮影された画像における背景と前記物体との動き方およびスピードの相違に基づいて、入力された前記画像データの中から前記物体の探索範囲を絞り込む探索範囲絞込み手段と、
前記画像データを取得するカメラ、検出された環境条件、または、その組み合わせのいずれか１つに基づいて、複数のデータベースから１つのデータベースを選択し、前記画像データの絞り込んだ部分と前記選択されたデータベースに格納された物体のモデルデータとを比較し、前記画像データの絞り込んだ部分と最も類似度の高い格納された物体のモデルデータを検出し、前記検出した物体のモデルデータを用いて前記画像から物体を検出する物体認識手段と、
して動作させるための物体認識プログラム。
【請求項７】
複数のカメラにより撮影した画像の各々について、物体認識処理を行なう物体認識装置を構成する複数のデータベースであって、
前記物体認識装置は、
物体の画像と前記物体の画像データを取得する複数のカメラと、
各データベースが物体のモデルに関する複数のモデルデータを内蔵し前記画像データを取得する複数のカメラの１つに対応づけられた複数のデータベースと、環境条件毎に設けた複数のデータベースと、前記対応するカメラに対して環境条件毎に設けた複数のデータベースのうち少なくとも１つの組と、
撮影された画像における背景と前記物体との動き方およびスピードの相違に基づいて、入力された前記画像データの中から前記物体の探索範囲を絞り込む探索範囲絞込み部と、
前記画像データを取得するカメラ、検出された環境条件、または、その組み合わせのいずれか１つとに基づいて、複数のデータベースから１つのデータベースを選択し、前記画像データの絞り込んだ部分と前記選択されたデータベースに格納された物体のモデルデータとを比較し、前記画像データの絞り込んだ部分と最も類似度の高い格納された物体のモデルデータを検出し、前記検出した物体のモデルデータを用いて前記画像から物体を検出する物体認識部と、
を有する、複数のデータベース。
【請求項８】
車に搭載される複数のカメラにより撮影した画像の各々について物体認識処理を含む画像処理を行う車載用の物体認識装置であって、
物体の画像と前記物体の画像データを取得する複数のカメラと、
各データベースが物体のモデルに関する複数のモデルデータを内蔵し前記画像データを取得する複数のカメラの１つに対応づけられた複数のデータベースと、環境条件毎に設けた複数のデータベースと、前記対応するカメラに対して環境条件毎に設けた複数のデータベースのうち少なくとも１つの組と、
撮影された画像における背景と前記物体との動き方およびスピードの相違に基づいて入力された前記画像データの中から前記物体の探索範囲を絞り込む探索範囲絞込み部と、
前記画像データを取得するカメラ、検出された環境条件、または、その組み合わせのいずれか１つとに基づいて、複数のデータベースから１つのデータベースを選択し、前記画像データの絞り込んだ部分と前記選択されたデータベースに格納された物体のモデルデータとを比較し、前記画像データの絞り込んだ部分と最も類似度の高い格納された物体のモデルデータを検出し、前記検出した物体のモデルデータを用いて前記画像中の物体を検出する物体認識部と、
を有することを特徴とする物体認識装置。
【請求項９】
請求項８において、
前記複数のデータベースの各々は、前記複数のカメラのいずれかに対応すると共に、そのデータベースを使用するための個別の条件にも対応して作成されていることを特徴とする物体認識装置。
【請求項１０】
請求項８または請求項９において、
前記複数のカメラが搭載されている車両の動作状態を監視し、車両の動作状態に適合するように前記複数のカメラのいずれかを選択すると共に、選択されたカメラに対応するように、前記複数のデータベースを切り替えて使用することを特徴とする物体認識装置。
【請求項１１】
請求項８から請求項１０のいずれかにおいて、
前記複数のカメラのいずれかで撮影した画像の情報、あるいは物体認識処理により得られた物体に関する情報を、車の運転者に提供するための情報提供部を、さらに有する物体認識装置。
【請求項１２】
請求項１１において、
前記物体に関する情報の提供は、視覚に訴える態様，視覚以外の五感に訴える態様、あるいはこれらの組み合わせで、行なわれることを特徴とする物体認識装置。
【請求項１３】
請求項８から請求項１１において、
前記複数のデータベースの各々に登録する物体のモデルに関するデータを、無線通信を利用して車両の外部よりダウンロードすることを可能としたことを特徴とする物体認識装置。
【請求項１４】
請求項８において、
前記複数のカメラのいずれかにより撮影された画像に画像処理を施し、その画像中に存在する物体までの、３次元空間における距離を測定する距離測定部を、さらに有することを特徴とする物体認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体認識方法および物体認識装置に関する。
【０００２】
【従来の技術】
近年、高度道路交通システム（ITS：Intelligent Transport System）の開発が進んでいる。ITSにおいて使用される車は、エレクトロニクス技術を活用することにより高知能化され、かつ、安全性が格段に高められた先進安全自動車（ASV：Advanced Safety Vehicle）である。
【０００３】
先進安全自動車（ASV）は、車両の周囲の交通環境や路面状況を、カメラやセンサにより検出することにより、安全運転を支援したり、事故を未然に回避したり、あるいは、事故被害を軽減する機能を備える。
【０００４】
このような先進安全自動車（ASV）の諸機能を実現するためには、自車に搭載されているカメラやセンサにより取得された情報をリアルタイムで処理し、接近しつつある他の車の存在や、その車までの距離などの情報を迅速に求めることが必要である。
【０００５】
また、自車の近くに位置する車や障害物までの距離を求めるためには、３次元的な画像処理が必要である。
【０００６】
【発明が解決しようとする課題】
３次元の画像処理を行なう場合、一般に計算量が膨大となり、処理遅延が問題となる。また、先進安全自動車（ASV）では、自車の周囲の環境を監視する必要があるため、複数台のカメラ（その他、複数のセンサ）を搭載する必要がある。
【０００７】
カメラの数が増えるに従って、画像処理の対象となる情報量が飛躍的に増大する。また、画像処理装置に必要なメモリの容量も増大し、ハードウエア量の増大、コストアップを招く。
【０００８】
また、複雑な背景下で物体を撮影して画像処理を行ない、その物体を認識し、かつ物体までの距離をリアルタイムで求めるには、かなりの困難を伴う。例えば、安易に、画解像度を低減し処理計算量やメモリ等を削減すると、物体の認識自体が困難となり、その物体認識の結果を用いて求められた距離の信頼性が問題となる。
【０００９】
本発明はこのような考察に基づいてなされたものであり、画像処理の効率（処理スピード）と、物体認識の精度や物体までの距離の測定等の精度を両立させ、実用に耐える物体認識方法および物体認識装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明では、複数台のカメラに対して一つの画像処理装置を設ける構成とし、ハードウエア量を削減する。つまり、複数台のカメラの各々で撮影することにより取得した画像情報を、共通の画像処理装置に入力する。
【００１１】
そして、画像処理装置では、入力された画像データと、データベースに登録されているモデルに関するデータとの照合（パターンマッチング）を行い、類似度を判定することにより、物体の存在位置や、物体の種類あるいは物体までの大まかな距離などを、きわめて高速に検出する。
【００１２】
データベースには、種々のモデルに関するデータが登録される。このとき、パターンマッチングの効率を向上させるために、複数のデータベースを設け、状況に応じて、使用するデータベースを適宜、使い分けする。
【００１３】
この場合、データベースを各カメラに対応付けし、使用するカメラに応じて、データベースを切り換えるのが望ましい。また、データベースをカメラに対応させるのみならず、所定の条件（例えば、撮影が昼の晴天時に行われるという条件）にも対応させて、設けるようにすれば、データベース検索の効率とパターンマッチングの精度はさらに高まる。
【００１４】
なお、天候等の条件毎にデータベースを設ける、という基準のみで複数のデータベースを作成することもできる。
【００１５】
また、高速なパターンマッチングを行う方法としては、入力画像データに、予め取得してある特徴抽出ベクトルを乗算して、所定のモデルについての特徴を強調させた特徴ベクトルを得、データベースに登録されている、そのモデルの特徴ベクトルと比較する手法がある。
【００１６】
さらに、画像処理装置では、パターンマッチング処理を行う前に、まず、入力された画像の一部の領域に、物体の探索範囲を絞り込む処理をして、画像処理の対象となるデータ量を減らすのが望ましい。これにより、ハードウエアの負担を軽減することができると共に、さらなる高速処理が可能となる。
【００１７】
カメラの位置から認識された物体までの距離を測定する場合には、その物体を撮影した１台のカメラからの画像情報に基づき画像処理を実行し、物体の位置を、その物体が存在する構造物（物体が車ならば、道路が構造物となる）と関係づけて特定することにより、３次元空間における物体までの距離を検出する。これにより、ステレオ撮影を行わなくても、１台のカメラで、３次元空間における物体までの距離を測定することができる。
【００１８】
また、複数のカメラで撮影された画像情報や、パターンマッチングにより認識された物体の種類の情報（例えば、車の車種名）や、物体までの距離の情報などを、ユーザー（例えば、車の運転者）にリアルタイムで提供することで、ユーザーの作業負担を軽減したり、危険を事前に回避したりすることができる。ユーザーへの情報提供の態様としては、視覚に訴える態様の他、視覚以外の五感に訴える態様がある。
【００１９】
本発明によれば、複数のカメラより入力した画像を処理する画像処理装置を共通に使用することができ、取り扱う画像処理部の数が減って装置の処理負担が軽減される。また、物体の探索範囲の絞込みを行なうことにより、処理対象となる画像データ量自体を削減することができ、よって処理が効率化される。
【００２０】
さらに、カメラ毎にデータベースを設けることにより、無駄なデータベースの検索をする必要がなくなり、パターンマッチング処理の高速化を図ることができる。また、無駄なデータベースの検索を行なう場合には、類似する部分がある他のモデルについて、あたかもマッチングしたかのように判断する確率（誤判定の確率）も高くなる。したがって本発明のように、検索するべきデータベースが特定される場合には、それだけ、誤判定の確率も低減され、パターンマッチングの精度が向上する。
【００２１】
データベースに登録するモデルの情報に、その物体までの距離の情報を含ませておけば、パターンマッチングにより、物体までのおおよその距離も推定することができる。また、さらに高精度の距離測定を行なう場合には、１台のカメラで撮影した画像のみで３次元空間における物体までの距離を測定することができる距離測定部により、物体までの正確な距離を求めることができる。
【００２２】
また、正確な距離の測定が１台のカメラにより撮影した画像に基づいて行なえるので、ステレオ撮影の必要はなく、各カメラは、それぞれ別の方向に向けることができる。よって、カメラが取り付けられる車両の周囲の画像を、より広範囲に渡って取得することができる。
【００２３】
従って、本発明によれば、リアルタイム性と信頼性とを兼ね備えた、実用的な物体認識方法と物体認識装置を提供することが可能となる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して具体的に説明する。
【００２５】
（実施の形態１）
図２８は、本発明の実施の形態１にかかる物体認識装置の構成を示すブロック図である。図示されるように、この物体認識装置は、複数のカメラ１ａ，１ｂ，１ｃ…と、画像入力インタフェース２ａ、２ｂ、２ｃ…と、探索範囲抽出手段５、物体推定手段６、距離算出手段７、各カメラに対応した学習統合情報特徴ベクトルデータベース８ａ、８ｂ、８ｃ・・・を備える画像処理手段４とを有する。
【００２６】
画像入力インタフェース２ａ等には、カメラ１ａ等により撮影された画像信号が入力される。探索範囲抽出手段５は、入力された画像データに基づき、画像内に物体が存在しそうな領域を求めて探索範囲を絞り込む。また、物体推定手段６は、探索範囲抽出手段５により求められた領域情報に基づき、その探索範囲内で物体の画像中の位置や種類、あるいは物体までの距離を推定する。距離算出手段７は、物体推定手段６によって求められた物体の画像中の位置情報に基づき、実空間における物体までの距離を算出して測定結果を出力する。
【００２７】
以上のように構成された物体認識装置について、以下、各部の動作（各部の機能）を説明する。ここで特に重要なのは、複数のカメラからの信号をあらかじめ学習された物体のモデルのデータベースを各カメラ毎に登録しておき、画像処理手段で各カメラ毎にデータベースを切り換えて計算を行う動作である。
【００２８】
複数のカメラ１ａ〜１ｃからの各々の画像は、画像入力インターフェース２ａ〜２ｃを介して画像処理手段４に入力する。カメラは、例えば車の前右向きカメラ、前左向きカメラ、後側方左向きカメラというように配置する。
【００２９】
次に画像処理手段４の動作説明をするが、各カメラ１ａ〜１ｃからの画像入力インターフェース２ａ〜２ｃを介して入力し、複数カメラから入力された各々の画像について、以下の処理を行うものである。
【００３０】
探索範囲抽出手段５の探索範囲の絞り込みは、装置負担の軽減や迅速な処理を目的に、全画像範囲から、物体が存在する確率が極めて高いと推定される範囲を求める処理である。
【００３１】
例えば、物体の存在する画像内の位置があらかじめ知られている場合、その存在する範囲を探索範囲とする。但し、この方法に限定されるものではなく、その他の絞り込み方法を適用することもできる。
【００３２】
例えば、オプティカルフロー法を利用するものである。オプティカルフロー法を利用した領域検出は、例えば文献（”動画像処理による後側方監視”，宮岡他，第４回画像センシングシンポジウム講演論文集，ｐｐ．３５１−３５４）に示されるものがある。
【００３３】
すなわち、カメラ，物体の双方が動いている場合を想定すると、カメラから見れば、相対的に物体も背景も動いていることになるが、背景と物体とでは、動き方とスピードが異なるため、その動きの違いに着目して物体が移動しているであろう領域を絞り込むことが可能である。この場合には、絞り込みの精度が高くなる。
【００３４】
このようにして探索範囲抽出手段５の探索範囲の絞り込みは、検出された領域を矩形で表し、その頂点の座標を領域情報として出力する。
【００３５】
次に、物体推定手段６において、画像における物体位置、種類、物体までの距離推定動作について説明する。
【００３６】
物体推定手段６は、探索範囲抽出手段５から送られてくる領域情報によって特定される探索範囲内において物体の正確な位置等を推定し、その結果を位置情報として距離算出手段７に送る働きをする。
【００３７】
画像中における物体位置等を特定する手法としてはいくつかあるが、例えば、図２９に示される、あらかじめ登録されたモデルとの類似度を判定する方法は、検出精度が高く、好ましいものである。この方法は、パターン認識技術を利用するものであり、図２９に物体推定手段の詳細なブロック構成図を示す。図中、参照符号４７は学習手段であり、また、参照符号５０は学習統合情報データベースである。この学習統合情報データベース５０には、車両のモデルをクラス毎に分類して、その結果を学習統合情報として格納しておくものである。
【００３８】
また、特徴抽出行列算出手段４８は、クラス内が最もまとまり、かつ、クラス間が最も分離されるような特徴抽出行列を算出し、保持する。学習統合情報特徴ベクトルデータベース４９は、図示はされていないが各カメラ毎に特徴抽出行列を用いて算出された、学習統合情報特徴ベクトルのクラス毎の平均をそれぞれ格納している。図２９中、点線の矢印は、学習段階における手順であることを示す。
【００３９】
このような状態で、データ入力部４０から探索範囲内の画像データを入力する。情報作成部４１は、入力画像から部分の情報を取り出して１次元ベクトルを作成する。情報統合部４２では、作成された各情報を単純に連結する。
【００４０】
特徴ベクトル抽出手段４３では、各入力データについて、学習手段４７で算出された特徴抽出行列を用いて特徴ベクトルを抽出する。入力統合情報判別手段４４では、抽出された特徴ベクトルと、学習統合情報特徴ベクトルデータベース４９から出力される特徴ベクトルとを比較して類似度を計算する。判定手段４５では、入力統合情報判別手段４４より入力された類似度のうち最も高い値を示す入力統合情報（および、そのクラス）を判定する。すなわち、最も類似度が高いと判定されたパターンの位置を車両位置の情報とする。同様に、最も類似度が高いと判定されたパターンの種類、距離も物体の情報とする。これらの判定結果は、結果出力部４６から出力される。
【００４１】
この手順のフローを図３０に示す。ここでは、クラスに分類した方法を説明したが、クラスに分類せずに個々のモデルとマッチングを取る方法、また特徴抽出を行わずに画像データとマッチングを取る方法もある。
【００４２】
画像中の物体の位置を求める方法は、これに限定されるものではなく、物体のエッジを利用する方法もある。エッジを利用した物体位置検出としては、例えば、特開平８−９４３２０号公報「移動物体計測装置」に示されるものがある。これにより検出された位置を位置情報とする。
【００４３】
次に、実空間における物体までの距離を算出する方法について説明する。図１の距離算出手段７は、物体推定手段６において求められた物体の位置情報に基づき、物体までの実空間の距離を算出し、測定結果として出力する。物体までの距離を算出する具体的な方式の例を以下に示す。
【００４４】
第１の方式は、ステレオ画像を利用するものである。検出した物体の位置を基にして距離を算出するのに適した箇所（物体固有の箇所等）を求め、ステレオ画像中の対応する位置を求めることにより距離を算出し、測定結果とする。画像例を図３１（ａ）、（ｂ）に示す。
【００４５】
第２の方式は、平面からみた地面構造を利用して距離を求めるものである。この方法は、現実の地面の形状の情報を有効利用できる点、あるいは、計算方法が比較的容易であり、測定精度も高い点で有効な方法である。すなわち、図３２に示すように、まず、画像中の経路線３２ａ、３２ｂを検出し、これを基に実空間上の地面構造を復元する。復元の方法は例えば文献（”局所平面近似による道路形状復元”，渡辺他，情報処理学会研究報告ＣＶ６２−３）に示されるものがある。
【００４６】
次に、物体が存在する領域が、その両端の経路線が知られている経路内とする。この時、検出した物体の位置に対応する左右の経路線位置（参照符号５１，５２）を求め、この位置から地面構造の復元に基づいた実空間における位置の検出により距離を算出し、測定結果とする。図３３に経路線の画像例を示す。
【００４７】
第３の方式は、レーザーレーダを利用するものである。検出した物体の位置を基にして距離を算出するのに適した箇所（物体固有の箇所）を求め、レーザーレーダによりその位置に対する距離を算出し、測定結果とする。
【００４８】
第４の方式は、カメラから検出物体までの間の地面は水平であるという仮定を用いるものである。図３４に示すように、カメラのパラメータ（焦点距離ｆ、レンズ中心の高さｈ、水平方向からカメラ光軸への角度θ）は既知として、画像面７２における、検出された物体位置を（ｉｘ，ｉｙ）とすると、下記の（数１）により、実空間における位置７５が求まる。
（数１）
Ｐｘ＝（ｈ・ｉｘ）／（ｆ・ｓｉｎθ−ｉｘ・ｃｏｓθ）
Ｐｙ＝（ｈ・ｉｙ）／（ｆ・ｓｉｎθ−ｉｘ・ｃｏｓθ）
Ｐｚ＝（ｈ・ｆ）／（ｆ・ｓｉｎθ−ｉｘ・ｃｏｓθ）
この位置より距離Ｌが算出され、これが測定結果となる。
【００４９】
なお、物体を車両、カメラを車載カメラとすることにより自車の周囲に存在する車両の検出と認識、及び距離を算出するための車両認識装置を実現することができる。
【００５０】
なお、距離算出にあたっては、地面構造を道路構造、経路線を白線とし、また、物体固有の箇所を例えば車両のナンバープレートとすることができる。
【００５１】
このように、本発明では、複数カメラより入力した各々の画像について、その中に物体が存在する領域に探索範囲を絞り込む探索範囲抽出手段と、前記探索範囲内においてあらかじめ物体のモデルのデータベースをそれぞれのカメラ毎に登録しておき、前記探索範囲内の対象と前記カメラ毎に登録された物体のモデルとの間で最も類似度の高い物体の画像中の位置、種類、あるいは距離を推定する物体推定手段と、前記検出位置を基に物体までの実空間の距離をそれぞれ算出する距離算出手段とを備えたものである。
【００５２】
これにより、複数のカメラより入力した画像を処理する画像処理手段を共通することができ、取り扱う画像処理手段の数が減って装置の処理負担が軽減される。また、処理手段数の削減によって処理が効率化され、かつ、パターン認識などを用いた位置検出等により精度良く物体の推定を行える。
【００５３】
従って、本発明は、これらの相乗効果によって、物体までの距離を正確に算出することもでき、実用的な物体認識方法と装置を提供することが可能となる。
【００５４】
本発明では、以下のような種々の態様が考えられる。
【００５５】
本発明の一つの態様では、複数カメラから入力された各々の画像について、物体が存在する領域に探索範囲を絞り込み、前記探索範囲内において、あらかじめ物体のモデルのデータベースをそれぞれのカメラ毎に登録しておき、前記探索範囲内の対象と前記カメラ毎に登録された物体のモデルとの間で最も類似度の高い物体の画像中の位置、種類や物体までの距離を推定し、前記検出位置を基に物体までの実空間における距離をそれぞれ算出するもので、あらかじめカメラ毎に登録されているモデルとのマッチングを行なって物体の位置を判定する共通の処理部を通して精度の高い画像処理を行なうため、効率と認識精度とを両立できるという作用を有する。
【００５６】
また、本発明の他の態様では、画像中の物体位置の検出は、あらかじめ物体のモデルをクラスに分類してデータベースに登録しておき、前記探索範囲内の対象と前記物体のクラスの代表との間で最も類似度の高い位置を、画像中の物体位置とする。あらかじめ登録されているクラスの代表とのマッチングを行なって物体の位置を判定するもので、正確な位置判定が可能となるという作用を有する。
【００５７】
また、本発明の他の態様では、画像中の物体種類の推定は、あらかじめ物体のモデルをクラスに分類してデータベースに登録しておき、前記探索範囲内の対象と前記物体のクラスの代表との間で最も類似度の高い種類を、画像中の物体の種類とするもので、あらかじめ登録されているクラスの代表とのマッチングを行なって物体の種類を判定することにより、正確な種類判定が可能となるという作用を有する。
【００５８】
また、本発明の他の態様では、画像中の物体までの距離の推定は、あらかじめ物体のモデルを距離別にクラスに分類してデータベースに登録しておき、前記探索範囲内の対象と前記物体のクラスの代表との間で最も類似度の高い距離を、画像中の物体までの距離とするもので、あらかじめ登録されているクラスの代表とのマッチングを行なって物体の距離を判定することにより、正確な距離判定が可能となるという作用を有する。
【００５９】
また、本発明の他の態様では、複数カメラからの画像について、各々の画像中の物体の推定には、あらかじめ登録しておいたモデルのデータベースを入れ替えるだけで、前記探索範囲内の対象と前記物体のモデルあるいはクラスの代表との間で最も類似度の高い推定結果を、画像中の物体の推定結果とするもので、共通の処理手段の中でデータベースを入れ替えるだけなので、効率と認識精度を両立できるという作用を有する。
【００６０】
また、本発明の他の態様では、複数カメラからの画像について、各々の画像中の物体の推定に際しては、あらかじめ各々のカメラに対応するモデルを１つのデータベースに登録しておき、前記探索範囲内の対象と前記物体のモデルあるいはクラスの代表との間で最も類似度の高い推定結果を、画像中の物体の推定結果とするもので、複数カメラについて１つのデータベースにまとめているため、共通の処理手段を用いることができ、効率と認識精度を両立できるという作用を有する。
【００６１】
本発明の他の態様では、画像中の物体の推定は、登録したデータベースから求めた特徴抽出行列と、前記特徴抽出行列からその代表特徴量とを求めておき、前記探索範囲内の対象と前記特徴抽出行列を用いて特徴量を算出し、前記代表特徴量との間で最も類似度の高い推定結果を、画像中の物体の推定結果とするもので、あらかじめ登録されているデータベースとのマッチングを行なって物体の推定をすることにより、正確な物体推定が可能となるという作用を有する。
【００６２】
本発明の他の態様では、複数カメラからの画像について、各々の画像中の物体の推定は、登録したデータベースから求めた特徴抽出行列と、前記特徴抽出行列から求めておいた代表特徴量とを入れ替えるだけで、前記探索範囲内の対象と前記特徴抽出行列を用いて特徴量を算出し、前記代表特徴量との間で最も類似度の高い推定結果を、画像中の物体の推定結果とするもので、共通の処理手段の中で特徴抽出行列と代表特徴量とを入れ替えるだけなので、効率と認識精度を両立できるという作用を有する。
【００６３】
本発明の他の態様では、複数カメラからの画像について、各々の画像中の物体の推定は、あらかじめ各々のカメラに対応するモデルを１つにまとめて登録したデータベースから求めた特徴抽出行列と、前記特徴抽出行列から代表特徴量とを求めておき、前記探索範囲内の対象と前記特徴抽出行列を用いて特徴量を算出し、前記代表特徴量との間で最も類似度の高い推定結果を、画像中の物体の推定結果とするもので、複数カメラについて１つにまとめたデータベースから求めた特徴抽出行列と代表特徴量ため、共通の処理手段を用いることができ、効率と認識精度を両立できるという作用を有する。
【００６４】
本発明の他の態様では、複数カメラより入力した各々の画像について、その中に物体が存在する領域に探索範囲を絞り込む探索範囲抽出手段と、前記探索範囲内においてあらかじめ物体のモデルのデータベースをそれぞれのカメラ毎に登録しておき、前記探索範囲内の対象と前記カメラ毎に登録された物体のモデルとの間で最も類似度の高い物体の画像中の位置、種類、あるいは距離を推定する物体推定手段と、前記検出位置を基に物体までの実空間の距離をそれぞれ算出する距離算出手段とを備えたもので、効率的かつ精度良い物体の認識を行い、正確な物体までの距離を推定することにより、実用性ある物体認識装置が実現されるという作用を有する。
【００６５】
本発明の他の態様では、物体推定手段は、あらかじめ登録されている物体のモデルと前記探索範囲内の対象との類似度を調べ、最も類似度の高い推定結果を物体の推定結果とするもので、これにより、効率的かつ精度良い物体の認識を行い、正確な物体までの距離を推定できる、実用性ある物体認識装置が実現されるという作用を有する。
【００６６】
本発明の他の態様では、カメラを車載カメラ、物体を車両とするもので、共通の処理手段を通して精度の高い画像処理を行なうため、効率と認識精度とを両立できるという作用を有する。
【００６７】
本発明の他の態様では、カメラを車載カメラ、物体を車両とするもので、これにより、効率的かつ精度良い車両の認識を行い、正確な車両までの距離を推定できる、実用性ある車両認識装置が実現されるという作用を有する。
【００６８】
本発明の他の態様では、コンピュータにより物体認識を行うプログラムであって、複数カメラから入力された各々の画像について、物体が存在する領域に探索範囲を絞り込み、前記探索範囲内において、あらかじめ物体のモデルのデータベースをそれぞれのカメラ毎に登録しておき、前記探索範囲内の対象と前記カメラ毎に登録された物体のモデルとの間で最も類似度の高い物体の画像中の位置、種類や物体までの距離を推定し、前記検出位置を基に物体までの実空間における距離をそれぞれ算出する物体認識プログラムで、コンピュータに読み込み実行することにより、効率的かつ、精度良い物体の認識を行うことができるという作用を有する。
【００６９】
（実施の形態２）
図１は、本発明の実施の形態２にかかる物体認識装置の構成を示すブロック図である。
【００７０】
本実施の形態の物体認識装置の主な特徴は、異なる対象を撮影する複数台のカメラからの画像信号を、共通の（一つの）画像処理部に入力してハードウエア量を削減すること、画像処理部の前段部において、物体の探索範囲の絞り込みを行って処理すべき画像量を減少させ、処理スピードの向上を図ること、物体認識を、学習データベース（具体的には、特徴ベクトルデータベース）にあらかじめ登録されているモデルに関するデータ（具体的には、モデルの特徴ベクトル）とのマッチングにより行って、物体認識処理のスピードアップを図ること、および、学習データベースを、カメラ毎に設け、使用するカメラに対応させて学習データベースを切換えて使用することにより、無駄な照合を防止し、照合処理の効率化と物体認識の精度を向上させることである。
【００７１】
図示されるように、この物体認識装置は、複数のカメラ１ａ、１ｂ、１ｃと、画像入力インタフェース２ａ、２ｂ、２ｃと、画像処理部４（探索範囲絞込み部５と、物体認識部６と、距離算出部７とをもつ）と、カメラ１ａ〜１ｃのそれぞれに対応した特徴ベクトルデータベース８ａ、８ｂ、８ｃを備える学習データベース４９と、を有する。
【００７２】
複数のカメラ１ａ〜１ｃは、それぞれ別の方向を向いていて、別の対象を撮影する。つまり、複数台のカメラで同じ対象を撮影するというステレオ撮影用のカメラとは異なり、本実施の形態におけるカメラは、一台一台が独立に、異なる対象を撮影することができる。
【００７３】
一台のカメラの撮影で充分なのは、物体までの距離を測定する処理（物体の認識処理を前提として行なわれる）において、本実施の形態の画像処理装置４が、１台のカメラで撮影して得られる２次元の画像データに画像処理を施して、３次元空間における物体までの距離を算出することができるからである（この点については後述する）。
【００７４】
画像入力インタフェース２ａ〜２ｃにはそれぞれ、カメラ１ａ〜１ｃにより撮影された画像信号が入力され、ノイズ除去などの信号処理が行われる。
【００７５】
探索範囲絞込み部５は、入力された画像データに基づき、画像内に物体が存在しそうな領域を求めて探索範囲を絞り込む。
【００７６】
また、物体認識部（物体推定手段）６は、探索範囲絞込み部５により絞り込まれた探索範囲の領域内で、物体の画像中の位置や種類を認識し、可能ならば、さらに、物体までのおおよその距離を推定する。物体の認識は、特徴ベクトル同士の類似度を判定することにより行う。
【００７７】
学習データベース４９には、事前学習により取得された、各モデルの特徴ベクトルが格納されている。学習段階では、複数台のカメラ１ａ〜１ｃを用いて種々の物体を撮影し、取得された画像の各画素のデータの濃度値の配列を１次元ベクトルとみなし、さらに、その１次元ベクトルの内容を解析することにより、その１次元ベクトルの特徴を示す特徴ベクトルを抽出し、種々のモデルについての特徴ベクトルを蓄積することによりデータベース（特徴ベクトルデータベース）を作成する。
【００７８】
ここで、注目すべきことは、各カメラ１ａ〜１ｃの一つ一つに対応して、複数の特徴ベクトルデータベース（８ａ〜８ｃ）が設けられていることである。
【００７９】
距離算出部７は、物体認識部６によって求められた物体の画像中の位置情報（２次元画像における物体の位置情報）に基づき、実空間（３次元空間）における物体までの距離を算出して測定結果を出力する。
【００８０】
以上のように構成された物体認識装置について、以下、各部の動作（各部の機能）を説明する。
【００８１】
特に、注目する点は、物体の認識処理において、画像処理の対象である画像データがどのカメラ（１ａ〜１ｃ）によって撮影されてかに対応させて、特徴ベクトルデータベース８ａ〜８ｃを切換えることである。
【００８２】
複数台のカメラ１ａ〜１ｃから入力される画像は、画像入力インターフェース２ａ〜２ｃを介して画像処理部４に与えられる。
【００８３】
カメラ１ａ〜１ｃは、例えば、車の前右向きカメラ、前左向きカメラ、後側方左向きカメラに対応する。
【００８４】
次に画像処理部４の各部の具体的な動作を説明する。
【００８５】
画像処理部４に含まれる各部５〜７は、複数のカメラ１ａ〜１ｃのそれぞれから入力された各々の画像について、以下の処理を行う。
【００８６】
探索範囲絞込み部５による探索範囲の絞り込みは、装置負担の軽減や迅速な信号処理を目的に、全画像範囲から、物体が存在する確率が極めて高いと推定される範囲を求める処理である。
【００８７】
例えば、物体の存在する画像内の位置があらかじめ知られている場合、その存在する範囲を探索範囲とする。例えば、道路上を走行する車ならば、探索範囲を、道路上の空間に限定することが可能である。
【００８８】
但し、この方法に限定されるものではなく、その他の絞り込み方法を適用することもできる。
【００８９】
例えば、オプティカルフロー法を利用するものである。オプティカルフロー法を利用した領域検出は、例えば文献（“動画像処理による後側方監視”，宮岡他，第４回画像センシングシンポジウム講演論文集，ｐｐ．３５１−３５４）に示されるものがある。
【００９０】
すなわち、カメラ，物体の双方が動いている場合を想定すると、カメラから見れば、相対的に物体も背景も動いていることになるが、背景と物体とでは、動き方とスピードが異なるため、その動きの違いに着目して、物体が移動しているであろう領域を絞り込むことが可能である。この場合には、絞り込みの精度が高くなる。
【００９１】
このようにして探索範囲絞込み部５の探索範囲の絞り込みは、検出された領域を矩形で表し、その頂点の座標を領域情報として出力する。
【００９２】
次に、物体認識部６において、画像における物体位置、種類の認識（さらに、可能ならば、物体までの距離推定）のための動作について説明する。
【００９３】
物体認識部６は、探索範囲絞込み部５により絞り込まれた探索範囲内において物体の正確な位置等を推定し、その結果を位置情報として距離算出部７に送る。
【００９４】
画像中における物体位置等を特定する手法としてはいくつかあるが、例えば、あらかじめ登録されたモデルに関するデータとの類似度を判定する方法は、検出精度が高く、迅速な処理が可能であり、好ましいものである。
【００９５】
この方法は、パターン認識技術を利用するものである。パターンマッチングによる物体認識手法には、いろいろなものがある。
【００９６】
例えば、個々のモデル自体の画像データの特徴を抽出し、その特徴同士を比較する方法や、個々のモデルではなく、モデルを大きくクラスに分け、そのクラス単位で特徴を抽出して特徴比較を行う方法や、あるいは、特徴抽出を行わずに、画像データそのものを比較する方法がある。
【００９７】
以下、クラス単位で特徴の比較を行う方法について、図２、図３を用いて説明する。
【００９８】
図２は、図１の物体認識部６の具体的な構成を示すブロック図である。図中、参照符号９は、事前学習による学習データベース４９の構築に使用する部分（学習用ツール）を示す。学習用ツール９において、学習過程においてのみ使用する要素については、点線で示し、実際の物体認識処理時にも使用する要素については実線で示してある。
【００９９】
学習用ツール９に含まれる、学習統合情報データベース５０には、例えば、車両のモデルをクラス毎に分類して（例えば、乗用車、トラック、バスというように分類して）、各クラスの画像データが、学習統合情報として格納されている。
【０１００】
また、特徴抽出行列算出部４８は、各クラスの画像データについて分散等を計算し、そのクラスに属する画像データの特徴を表すベクトルを抽出するための特徴抽出行列を算出し、保持する。
【０１０１】
特徴抽出行列は、以下のような機能をもつ。すなわち、特定のクラスに属する画像データと、他のクラスに属する画像データの各々に、特定のクラスの特徴を抽出するための特徴抽出行列を乗算すると、特定のクラスに属する画像データについてはどれも同じような特徴をもつ数値データ（特徴ベクトル）が得られ、他のクラスの画像データについては、まったく異なる数値データ（特徴ベクトル）が得られる。
【０１０２】
つまり、画像データに、所定のクラスの特徴抽出行列を乗算すると、同じクラスに属する画像データについては共通の特徴が強調されて、まとまりのある数値データとなるが、クラスを異にする画像データについては、全く異なる数値データとなる。
【０１０３】
特徴抽出行列算出部４８は、このような特徴抽出行列を演算により求め、保持する。
【０１０４】
求められた特徴抽出行列を、例えば、クラスの画像データの代表値（例えば、平均値）に乗算して、各クラスについての特徴ベクトル（特徴抽出行列を乗算した結果を示すベクトル）を取得する。
【０１０５】
特徴ベクトルは、各カメラに対応して算出される。カメラ１ａに対応する特徴ベクトルはデータベース８ａに蓄積される。カメラ１ｂに対応する特徴ベクトルはデータベース８ｂに蓄積される。同様に、カメラ１ｃに対応する特徴ベクトルはデータベース８ｃに蓄積される。
【０１０６】
なお、図２中で、点線の矢印は、学習段階における手順であることを示す。
【０１０７】
このような状態で、図２のデータ入力部４０から探索範囲内の画像データが供給される。
【０１０８】
情報作成部４１は、画像を構成する各画素の輝度値（濃淡情報）を、画素の配列順に配列して１次元ベクトルを作成する。情報統合部４２では、作成された各情報を単純に連結する。
【０１０９】
特徴ベクトル抽出部４３では、前述のように、特徴抽出行列算出部４８で算出された特徴抽出行列を、画像データに乗算することによって、特徴ベクトルを抽出する。
【０１１０】
入力統合情報判別部４４では、抽出された特徴ベクトルと、学習データベース４９から出力される特徴ベクトルとを比較して類似度を計算する。
【０１１１】
判定部４５では、入力統合情報判別部４４より入力された類似度のうち最も高い値を示す入力統合情報（および、そのクラス）を判定する。すなわち、最も類似度が高いと判定されたパターンの位置を車両位置の情報とする。同様に、最も類似度が高いと判定されたパターンに対応する物体の種類に関する情報や、その物体までのおおよその距離の情報も取得する。なお、パターンマッチングにより物体までの距離の情報を取得するためには、図７に示すように、データベースに登録されるモデルの情報（特徴ベクトル）が、距離のデータを含んでいる必要がある。
【０１１２】
これらの判定結果は、結果出力部４６から出力される。
【０１１３】
以上説明した、パターンマッチングを用いた物体認識の手法を、図３に示される例を用いて、具体的に説明する。
【０１１４】
ここでは、３台のカメラ１ａ〜１ｃのうち、カメラ１ａで対象物を撮影する場合を想定する。
【０１１５】
また、図３の左上に示すように、撮影対象としては、乗用車（ＳＡ）と、トラック（ＴＲ）と、バス（ＢＳ）の３種類を想定する。また、撮影により得られる画像は４つのブロック▲１▼〜▲４▼からなるものとする。一つのブロックは、例えば、１６画素（４画素×４画素）からなる。
【０１１６】
カメラ１ａで乗用車（ＳＡ）を撮影して得られる画像の各画素の画素値（輝度値：２５６階調とすると“０〜２５５”のいずれかの値をとる）を画素順に並べて、これを１次元ベクトル（ｘ１）とする。図３では、ブロック▲１▼についての１６画素の各々の画素値（“０〜２５５”）をＪ１〜Ｊ１６とし、ブロック▲２▼についての１６画素の各々の画素値をＫ１〜Ｋ１６とし、ブロック▲３▼についての１６画素の各々の画素値をＬ１〜Ｌ１６とし、ブロック▲４▼についての１６画素の各々の画素値をＭ１〜Ｍ１６とする。
【０１１７】
また、同じ画像データに、例えば、エッジ抽出処理部１０によるエッジ抽出処理を施した画像についての、各画素の画素値を、画素順に並べて１次元ベクトル（ｘ２）とする。この場合の、ブロック▲１▼についての１６画素の各々の画素値（“０〜２５５”）をＯ１〜Ｏ１６とし、ブロック▲２▼についての１６画素の各々の画素値をＰ１〜Ｐ１６とし、ブロック▲３▼についての１６画素の各々の画素値をＱ１〜Ｑ１６とし、ブロック▲４▼についての１６画素の各々の画素値をＲ１〜Ｒ１６とする。なお、１次元ベクトルｘ１，ｘ２は、図２の情報作成部４１により作成される。
【０１１８】
次に、情報統合部２が、１次元ベクトルｘ１とｘ２を単純に連結して統合ベクトル（ｄ１＝ｘ１+ｘ２）を求める。
【０１１９】
例えば、結合ベクトルｄ１は、Ｓ社製の乗用車（クラス１に分類される）に関する画像データである。同様に、Ｔ社製……Ｕ社製の乗用車について、結合ベクトルｄ２・・・ｄｎを求める。求められた統合ベクトルｄ１〜ｄｎは、クラス１に関する画像データとして、学習統合情報データベース５０に格納される。
【０１２０】
以上のような処理を、トラックやバスを撮影して得た画像データについても実施し、得られた統合ベクトル（ｅ１〜ｅｎ，ｆ１〜ｆｎ）を学習統合情報データベース５０に格納する。
【０１２１】
統合ベクトルｅ１〜ｅｎは、クラス２（トラック）に関する画像データであり、統合ベクトルｆ１〜ｆｎは、クラス３（バス）に関する画像データである。
【０１２２】
次に、各クラスを代表する統合情報ベクトルの値（代表値）を求める。例えば、図３の左上に示される画素▲１▼〜▲４▼のそれぞれについての画素値の単純平均を計算し、各画素の画素値の平均値で表現されるベクトルを、そのクラスの代表ベクトル（代表値）とする。このようにして得られたクラス１〜クラス３のそれぞれの代表値を、Ｄ１，Ｅ１，Ｆ１とする。
【０１２３】
一方、学習統合情報データベース５０に格納されているデータを解析し、分散等を統計処理により、特徴抽出行列Ａを算出する。特徴抽出行列Ａの、具体的な算出方法は後述する。
【０１２４】
次に、各クラスの代表値（Ｄ１，Ｅ１，Ｆ１）に、特徴抽出行列Ａを乗算し、一つの特徴抽出行列に対して、各クラス毎の特徴ベクトルを算出する。図３では、クラス１（乗用車）に関する特徴抽出ベクトルＡを乗算して得た、各クラス毎の特徴ベクトルをＫ１，Ｋ２，Ｋ３としている。
【０１２５】
これらの特徴ベクトル（Ｋ１，Ｋ２，Ｋ３）は、カメラ１ａに対応する特徴ベクトルデータベース８ａに格納される。
【０１２６】
カメラ１ｂで撮影した画像についても同様の処理を行って特徴ベクトルを取得し、カメラ１ｂに対応する特徴ベクトルデータベース８ｂに格納する。また、カメラ１ｃで撮影した画像についても同様の処理を行って特徴ベクトルを取得し、カメラ１ｃに対応する特徴ベクトルデータベース８ｃに格納する。以上で、学習段階の処理が終了する。
【０１２７】
次に、実際にパターンマッチングを行い、現実に物体を認識する処理について、図３の下側の記載を参照して説明する。
【０１２８】
ここでは、カメラ１ａで撮影した画像データがリアルタイムで入力される場合を想定する。まず、カメラ１ａで撮影した画像データについて、上述のような処理を施し、統合ベクトルが生成される。そして、特徴ベクトル抽出部４３にて、カメラ１ａ用の特徴抽出行列Ａを乗算する。この結果、特徴ベクトルＴが求められる。
【０１２９】
次に、入力統合情報判別部（類似度計算部）４４は、特徴ベクトルＴと、特徴ベクトルデータベース８ａに格納されている、各クラス１に関する特徴べクトル（Ｋ１，Ｋ２，Ｋ３）とを比較し、数値の配列パターンの類似度を調べる。各類似度は、判別部４５に送られ、判別部４５は、最も高い類似度のクラスを選択する。
【０１３０】
例えば、カメラ１ａにより撮影された対象が、乗用車（クラス１）ならば、クラス１に対応する特徴ベクトルＫ１との間で最も類似度が高くなり、他の２つの特徴ベクトルＫ２，Ｋ３との間では、極端に類似度が低くなるはずである。これにより、きわめて高精度に、かつ高速に、対象物を認識することができる。つまり、画像中に存在する物体は、クラス１に属する乗用車であることがリアルタイムで検出される。
【０１３１】
また、図７に模式的に示すように、一つの物体（Ｑ，Ｒ，Ｓ）を、カメラまでの距離を異ならせつつ撮影し（図７では、距離Ｌ１，Ｌ２，Ｌ３の３つに場合分けしている）、それぞれの物体の画像パターン（物体の特徴ベクトル）を、学習データベースに登録しておくと、パターンマッチングにより合致したモデルを特定することによって、同時に、カメラからの、おおよその距離も推定することができる。
【０１３２】
次に、図４，図５を用いて、各カメラ毎の特徴ベクトルデータベース８ａ，８ｂ，８ｃを作成する手順を、より具体的に説明する。
【０１３３】
図４は、学習データベース４９（特徴ベクトルデータベース８ａ，８ｂ，８ｃ）を作成する手順の概要を示している。
【０１３４】
まず、複数のカメラ１ａ〜１ｃの各々で撮影した画像データを、各カメラ毎に入力する（ステップ３０１）。次に、探索範囲絞込み部５により、探索範囲を絞り込む。これにより、パターンマッチングの対象となる画像が切り出される。次に、図３で説明したように、各カメラで撮影した画像に基づいて求められた結合ベクトルを求め、学習統合情報ベクトルデータベース５０に蓄積する（ステップ３０２）。求められた結合ベクトルは、特徴ベクトルを算出するための母体となる画像データである（これを、学習ウインドウと称する）。
【０１３５】
次に、学習統合情報ベクトルデータベース５０に蓄積された学習ウインドウを、複数のクラスに分類する（ステップ３０３）。
【０１３６】
次に、各クラス毎に、共分散ＣＷを求める（ステップ３０４）。共分散ＣＷは、図５に示すように、一つのクラスに属する画像データのまとまりを示す。
【０１３７】
次に、共分散ＣＢ，ＣＴを求める。共分散ＣＢは、図５に示すように、一つのクラスの共分散（ＣＷ１）と他のクラスの共分散（ＣＷ２）との間の離散の度合いを示す。また、共分散ＣＴは、すべてのクラスの画像データについてのまとまりを示す。
【０１３８】
次に、求められた共分散に基づき、特徴抽出行列を算出する（ステップ３０６）。次に、図２の学習統合情報ベクトルデータベース５０に蓄積されている学習画像データに特徴抽出行列を乗算して、特徴ベクトルを求める（ステップ３０７）。そして、各カメラ毎に、学習データベース４９（特徴ベクトルデータベース８ａ〜８ｃ）を作成する（ステップ３０８）。
【０１３９】
次に、作成された学習データベース４９を用いて、実際に、物体の認識を行なう手順について、図６を用いて説明する。
【０１４０】
まず、画像を入力し（ステップ６０）、統合情報を作成する（ステップ６１）。次に、入力統合情報の特徴ベクトルを抽出する（ステップ６２）。
【０１４１】
そして、データベースに登録されている特徴ベクトルと照合して、類似度を計算し（ステップ６３）、計算された類似度どうしを比較して、最も高い類似度を検出する（ステップ６４）。この検出によって得られる物体についての情報（物体の種類の情報，物体が属するクラスの情報，物体までのおおよその距離の情報等）を出力する（ステップ６５）。
【０１４２】
上述の例では、物体を複数のクラスに分類し、クラスを単位として類似度を計算する方法を説明したが、これに限定されるものではない。つまり、クラスに分類せずに個々のモデルとマッチングを取る方法や、特徴抽出を行わずに画像データどうしで、直接にマッチングを取る方法も採用することができる。
【０１４３】
なお、画像中の物体の位置を求める方法としては、パターンマッチングによる方法以外にも存在する。例えば、物体のエッジを利用する方法もある。エッジを利用した物体位置検出としては、例えば、特開平８−９４３２０号公報「移動物体計測装置」に示されるものがある。これにより、検出された位置を位置情報とする。
【０１４４】
次に、実空間における物体までの距離を算出する方法（図１の距離算出部７の動作）について説明する。
【０１４５】
図１の距離算出部７は、物体認識部６において求められた物体の位置情報に基づき、物体までの実空間の距離を算出し、測定結果として出力する。
【０１４６】
物体までの距離を算出する方式としては、例えば、以下の４つの手法（第１の方式〜第４の方式）があるが、本発明では、カメラの数を極力少なくして、処理する画像データの量を減らす必要があることから、１台のカメラで３次元空間における物体までの距離を算出できる第２の方式、あるいは第４の方式を用いるのが望ましい。
【０１４７】
第１の方式は、ステレオ画像を利用するものである。図２６にステレオ撮影をするための撮影装置の構成を示す。検出した物体の中から、距離を算出するのに適した箇所（例えば、その物体に固有の箇所）を求め、ステレオ画像中における、その固有の箇所の位置を求めることにより距離を算出し、測定結果とする。
【０１４８】
第２の方式は、平面からみた地面構造を利用して距離を求める方法である。この方法は、現実の地面の形状の情報を有効利用できる点、あるいは、計算方法が比較的容易であり、測定精度も高い点で有効な方法である。
【０１４９】
すなわち、図１１に示すように、まず、画像中の経路線（道路の両端を示す白線などが該当する）３２ａ，３２ｂを検出し、これを基に実空間における地面構造を復元する。復元の方法は例えば文献（”局所平面近似による道路形状復元”，渡辺他，情報処理学会研究報告（ＣＶ６２−３））に示されるものがある。
【０１５０】
次に、物体（例えば、車）の位置と３次元の地面の構造とを組み合わせて、物体の位置を３次元の空間において特定する。つまり、２つの経路線３２ａ，３２ｂに挟まれている領域に物体（車）が存在するという前提に立って、検出した物体の位置に対応する左右の経路線位置（参照符号５１，５２）を求め、この求められた位置に基づき、復元された３次元の地面構造（道路構造）上における物体(例えば、車の位置)を特定する。これにより、実空間における物体までの距離を算出し、測定結果とする。この方式は、きわめて有効であるため、後に、図１８〜図２５を用いて、詳細に説明する。
【０１５１】
第３の方式は、レーザーレーダを利用するものである。検出した物体の位置を基にして距離を算出するのに適した箇所（物体固有の箇所；例えば、車のナンバープレートの位置）を求め、レーザーレーダによりその位置に対する距離を算出し、測定結果とする。
【０１５２】
第４の方式は、カメラから検出物体までの間の地面は水平であるという仮定を用いるものである。図１０に示すように、カメラのパラメータ（焦点距離ｆ、レンズ中心の高さｈ、水平方向からカメラ光軸への角度θ）は既知として、画像面７２における、検出された物体位置を（ｉｘ，ｉｙ）とすると、式（１）により、実空間における位置７５が求まる。
【０１５３】
この座標位置より、距離Ｌが算出され、これが求める物体までの距離となる。
【０１５４】
以上説明したように、本実施の形態によれば、あらかじめ物体のモデルのデータベースをそれぞれのカメラ毎に登録しておき、複数のカメラからのそれぞれの画像と、カメラ毎に登録された物体のモデルのデータとの間で最も類似度を判定することにより、物体の画像中の位置や物体の種類を認識し、あるいは、物体までのおおよその距離を推定する。
【０１５５】
また、パターンマッチングにより特定された物体が、撮影された画像中のどの位置にあるかを示す情報に基づき、実空間におけるカメラから物体までの距離を算出することができる。
【０１５６】
また、物体の認識に関しては、１台のカメラ毎に一つのデータベースが存在するので、使用するカメラに対応して、使用するデータベースが定まる。よって、その他のカメラに対応した他のデータベースの検索を行う必要がなく、きわめて効率的な物体認識処理を行うことができる。すなわち、物体認識処理を高速化することができる。
【０１５７】
また、使用するカメラに対応して使用するデータベースが定まり、よって、その他のカメラに対応した他のデータベースの検索を行う必要がないということは、誤認識を低減するという効果も生む。
【０１５８】
例えば、カメラ１ａに対応した特徴ベクトルデータベース８ａにモデルＡが登録され、同様に、カメラ１ｂに対応した特徴ベクトルデータベース８ｂには、モデルＡに類似したモデルＡ’（ただし、モデルＡとモデルＡ’は異なる物体である）が登録されていたとする。もし、一つのデータベースであれば、データベースに登録されているモデルを全部、検索するため、場合によっては、本当なら、モデルＡとマッチングするべきところ、誤って、モデルＡ’とマッチングしてしまい、物体を誤って認識してしまう危険がある。これに対し、本発明では、一つのカメラに対応して検索するべきデータべースが特定され、検索するべきモデルの数が少なくなり、かつ、同じカメラで撮影した画像同士のみの比較であるため、上述のような誤判定が生じる確率が低減される。
【０１５９】
具体的にいえば、カメラ１ａは道路の右側のみを撮影するカメラであり、カメラ１ｂは、道路の左側のみを撮影するカメラであるとする。この場合、カメラ１ａで道路の右端の信号機の支柱を撮影して得られる信号機のモデルと、カメラ１ｂで道路の左端の電柱を撮影して得られる電柱のモデルとが、かなり類似していることはあり得る。この場合、従来なら、信号機の支柱を電柱と判断する場合もあり得るが、本発明の場合、このような誤判定は生じない。このようにして、本発明によれば、パターンマッチングの精度も向上する。
【０１６０】
つまり、本発明によれば、効率的かつ精度の良い物体（車両等）の検出を行うことができる。また、物体までの距離も測定できるという効果が得られる。また、装置のハードウエアの負担や処理時間の短縮にも役立つ、という効果も得られる。
【０１６１】
（実施の形態３）
図８に、本発明の物体認識装置の他の例を示す。
【０１６２】
基本的な機能と動作は、図１の物体認識装置と同じである。図８において、図１と同じ箇所には同じ参照符号を付してある。
【０１６３】
ただし、本実施の形態の装置は、車に搭載され、車両制御部からの制御情報を利用して、使用するカメラおよびデータベースを、適宜、切換える構成としている。
【０１６４】
図８において、車両制御部１００は、制御バス（ＢＵＳ）１０５を介して、各種のエレクトロニクス機器の動作を制御する。例えば、ウインカー点灯部１０１ａ，１０１ｂに指示して、左または右のウインカーを点滅させる。
【０１６５】
カメラ切換部４００は、車両制御部１００が発する制御信号をウオッチングし、車両の現在の動作状態を検出し、検出結果に応じて、３台のカメラ１ａ〜１ｃで撮影して得られた画像データのうち、どの画像データを画像処理部４に供給するかを切換える。
【０１６６】
例えば、左ウインカーが点滅している場合には、一般に、車両の右側を撮影しているカメラからの情報の有用性は低いから、左側を撮影しているカメラからの画像データを選択する。
【０１６７】
また、データベース切換部４０１は、カメラ切換部４００の動作に連動して、選択されたカメラに対応する特徴ベクトルデータベース８ａ、８ｂ，８ｃを自動的に選択する。
【０１６８】
このように、車両の制御情報を活用して、使用するカメラとデータベースを切換えることにより、効率的な物体認識処理や距離測定処理を行うことができる。
【０１６９】
（実施の形態４）
図９は、本発明の物体認識装置の他の例を示す図である。実施の形態３と同様に、本実施の形態では、物体認識装置を車に搭載することを想定している。
【０１７０】
また、実施の形態１〜３と同様に、一台のカメラと対応させてデータベースを設けている。ただし、本実施の形態では、１台のカメラに対応して複数のデータベースが設けられている点で、前掲の実施の形態とは異なる。
【０１７１】
すなわち、本実施の形態では、認識対象の物体が現在おかれている状況や、その物体に課せられる条件等を基準として、複数のデータベースを設ける。そして、周囲の状況等に応じて、データベースを自動的に切換える。
【０１７２】
ここで、データベースを切り替えるための条件としては、昼と夜，時刻，気象，明度などであり、この場合には、そのときの状況毎にデータを切換えていく。また、車両が高速道路を走る場合と、その他の道路を走る場合とで、データベースを使い分けることもできる。
【０１７３】
また、道路を走る車両を考えると、特殊な場所や地域であるために、車両走行に条件が加えられる場合などが想定される。例えば、霧の多発地帯であるので、昼間であっても、特定の地域に限って、ライトを点灯して走行しなければならない、といった条件が課せられる場合がある。このような場合には、例えば、ＩＴＳの自動料金収受ゲートの通過時に、その地域を走行するに適したデータベース用の情報を無線通信によりダウンロードし、走行条件が変化する毎に、データベースを切換えるという手法が考えられる。
【０１７４】
図９の場合、カメラ１ａ，１ｂ，１ｃのそれぞれに対応して、昼かつ晴れの場合に使用する特徴ベクトルデータベース２６ａ〜２６ｂと、昼かつ雨の場合に使用する特徴ベクトルデータベース２６ｄ〜２６ｆと、夜かつ雨の場合に使用する特徴ベクトルデータベース２６ｇ〜２６ｉが設けられている。
【０１７５】
つまり、１台のカメラに対応して、３つのデータベースが設けられていることになる。つまり、本実施の形態では、１台のカメラ毎という条件に、さらに、データベースを使用する場合の条件が加重されていることになる。
【０１７６】
図９の物体認識装置の基本的な構成や機能，動作は、図８の装置と、だいたい同じである。
【０１７７】
車両制御部１００は、制御バス（ＢＵＳ）１０５を介して、ウインカー点灯部１０１，ワイパー駆動部１０２，ライト点灯部１０３等に制御信号を送る。データベース切換部４０２は、車両制御部１００が発する制御信号を監視し、その制御信号から、現在の車両の走行環境を推定して、環境に応じたデータベースを自動的に選択する。
【０１７８】
例えば、ワイパーが動作しており、かつ、ライトが点灯しているのならば、夜かつ雨という環境下で車両が走行しているのがわかる。カメラ１ａで撮影した画像について物体認識処理を行なう場合には、したがって、カメラ１ａに対応し、かつ、夜かつ雨という使用条件が課せられている特徴ベクトルデータベース２６ｇが選択される。
【０１７９】
本実施の形態のように、周囲環境や条件毎にデータベースを設け、環境や条件に適合するデータベースを選択する手法は、物体認識の精度を向上させ、測定した距離等の信頼性を、さらに向上させるのにきわめて有効である。
【０１８０】
すなわち、同じカメラで撮影した同じ物体の画像であっても、天候や撮影時刻等に応じて、物体の見え方はかなり変化するものと考えられる。よって、実際の使用時の条件に適合するようにデータベースを切り替えることにより、物体認識の精度は格段に向上する。
【０１８１】
（実施の形態５）
以下、物体認識装置を車に搭載して運転支援を行う技術について、図１２〜図２６を用いて、具体的に説明する。
【０１８２】
図１２は、前掲の実施の形態で説明したのとほぼ同様の本発明の構成を、乗用車１３０に搭載した例を示す。図１，図８と共通する部分には、同じ参照符号を付してある。
【０１８３】
図１２に示される構成において、注目すべき点は、物体認識処理の結果として得られた有益な情報を、モニタ１０７や報知部１０８を介して運転者に通知するようにした点、画像処理装置の構成要素（画像入力インタフェース２，カメラ切換部２０，探索範囲絞込み部５，データベース切換部２１，物体認識部６，道路構造認識部１２０，距離算出部７）をソフトウエアにて実現するようにした点、そして、特徴ベクトルデータベース２６ａ〜２６ｎと画像処理装置の各要素に関する情報を、外部から、ダウンロードすることを可能とした点である。
【０１８４】
図１２の物体認識装置では、カメラ１ａ，１ｂ，１ｃうちのどのカメラで撮影した画像について物体認識を行なうかは、例えば、車両制御部１００が適宜、制御することができる。通常は、複数のカメラ１ａ〜１ｃを時分割で順次切り替えるようにしておき、自車に接近してくる車両を常時、自動的に監視するというのが現実的である。
【０１８５】
なお、車両制御部１００には、センサ１２２を介して得られる、走行環境（例えば、雨かつ夜であること）や走行状態（時速や、直進しているのかカーブを曲がっているか等）を示す情報が適宜、入力される。
【０１８６】
入力される種々の情報に基づき、車両制御部１００は、データベース切換部２１に、データベースを切り換えるための制御信号を送出する。
【０１８７】
カメラ切換部２０の切り換えは、カーナビゲーションシステムやＧＰＳ情報を利用しても行なうことができる。例えば、交差点でカーナビゲーションシステムが右折を指示中に、運転者が右方向指示器を出している場合には、右折用の車両認識（交差点における周辺車両検知）を行うべく、自車の右方向を撮影するカメラを選択する。また、直進道路において、カーナビゲーションシステムが直進を指示中、右方向指示器を出している場合には、右車線変更用の車両認識（右後側方の接近車の検知）を行うべく、右後側方を撮影するためのカメラを選択する。
また、カメラを時分割で順次切り替え、接近してくる車両を認識する。
【０１８８】
また、図１２の物体認識装置では、探索範囲絞込み部５から出力される画像データと、物体認識部６から出力される物体認識結果を示す情報（図７に示すようなデータベースを用いることにより推定される物体まので距離の情報を含む）が、インタフェース回路１０６に送られる。
【０１８９】
また、センサ１２２で得られた情報や、車両制御部１００から出力される制御情報もインタフェース回路１０６に与えられる。
【０１９０】
そして、運転者に必要な情報が、モニタ１０７や報知部１０８を介して運転者に通知される。
【０１９１】
図１２のモニタ１０７に映し出される映像の一例と、図１２の報知部１０８によってユーザーに提供される情報の一例を図１４（ａ）に示す。
【０１９２】
図１４（ａ）では、右後方、距離５ｍの位置にバスが接近してきており、車線変更は危険である旨を、運転者に文字を用いて報知している。“右後方”という方向の情報は、文字の他に、図１４（ａ）の右上に示されるように、報知部１０８において、どのランプを点滅させるかによっても報知される。
【０１９３】
すなわち、報知部１０８では、自車表示１０３の周囲に、複数のカメラの配置に対応した複数のランプａ〜ｈが配置されている。図１４（ａ）では、右下のランプｄが点滅しており、これにより、右後方から車が接近しているのが、視覚的に理解できる。
【０１９４】
図１４（ａ）は、表示による情報の報知の例であるが、これに限定されるものではなく、むしろ、人間の五感に訴える種々の報知方法を積極的に使用したり、それらの方法を組み合わせたりするのが望ましい。
【０１９５】
つまり、本発明では、複数台のカメラを用いて、リアルタイムで物体の認識を行うことができる。つまり、種々の方位の情報を取得できるのであり、取得できる情報の量が、従来に比べて格段に多い。
【０１９６】
そのことが、かえって、運転者を惑わすことにつながる場合もある。つまり、「右後方から車が接近中」という危険を知らせる表示を出した場合に、運転者が、右後方という方向を瞬時に理解できずに、誤った判断をした場合には、かえって、大きな事故につながる危険性もある。
【０１９７】
したがって、得られた情報を、誤解を与えない態様で運転者に報知することはとても重要である。
【０１９８】
そこで、本実施の形態では、視覚以外の五感に訴える方法、しかも、運転者が立体的な感覚でもって、どのカメラで撮影した画像に基づく情報であるのかを瞬時に理解できる方法による報知を、パネル表示による報知と併用する。
【０１９９】
視覚以外の五感に訴える報知方法としては、以下のようなものがある。
【０２００】
音による報知。つまり、方向・高低・大きさ・リズム・メロディ・不快音等の利用による情報内容の報知、または、それらの組み合わせによる報知である。
【０２０１】
音声による報知。つまり、声の調子（声色）等による情報内容の表現による報知である。
【０２０２】
振動による報知。すなわち、振動強度・振動方向・振動種類・振動速度等による情報内容の報知、または、それらの組合せによる報知である。
【０２０３】
照明による報知。すなわち、照明強度・照明方向・照明種類等による情報内容の報知、または、それらの組合せによる報知。
【０２０４】
香りによる報知。すなわち、芳香強度・芳香の方向・芳香種類等による情報内容の表現、または、それらの組合せによる報知である。
【０２０５】
風による報知。すなわち、空気の流れの強度・方向・種類・速度等による情報内容の報知、または、それらの組合せによる報知である。
【０２０６】
図１４（ｂ）は、風による報知を行なう装置１０６の構成を示す。図１４（ｂ）の装置１０６は、物体認識情報（距離情報を含む）をデコードして、複数ビットのデコード信号ＳＣを出力するデコーダ１０９と、デコード信号ＳＣを受けて、複数の風吹き付け部１１１ａ…１１１ｎに対する制御信号を送出する風制御装置１１０と、を有する。
【０２０７】
複数の風吹き付け部１１１ａ…１１１ｎのどれから風を吹きつけるか、その風の強さはどうするか、その風を吹きつける時間はどうか、あるいは、その風の温度はどうか、などは、風制御装置１１０から出力される制御信号によって、適宜、制御される。
【０２０８】
例えば、利用者の右後ろ側方から速度の速い車が接近している場合、利用者の右後ろの横側から、利用者を阻害しない程度の勢いの強い風を短時間吹き付ける。逆に右後ろの側方から速度の遅い車が接近している場合、利用者の右後ろの横側から弱めの風を短時間吹き付ける。また例えば、風を吹き付ける時間によって、対象車との距離の遠近を表現するなど、利用者に対して効率良く効果的に、出力情報内容をイメージできるような報知方法を取ることが、より好ましい。
【０２０９】
これらの方法を単独で、あるいは、組み合わせて使用することにより、利用者が利用しやすい態様で、貴重な情報を効果的に報知することができる。
【０２１０】
なお、報知方法としては、以下のようなものもある。すなわち、警告音と音声及び、表示ランプを点滅させることの組み合わせる方法である。この場合には、利用者が常にモニターを注視していなくて良く、注意を促された時に気を付ければよいので、運転者の負担が軽減される。
【０２１１】
モニターを分割して、例えばカメラ毎に表示して、その表示している位置によってどのカメラの映像かを分かるようにする。図１４（ａ）に示すように、モニター等に車のモデルを表示しておき、その上にどのカメラの注視を促されているかを点滅等で知らせる方法もある。図１４（ａ）のような２種類（実映像とモデル化した画像（危険を知らせる時のみ））の表示を組み合わせることによって、利用者に効率よく、かつ安全に情報を知らせることができる。
【０２１２】
図２７に示すように、図１２のカメラ切換部２０，探索範囲絞込み部５，物体認識部６は、コンピュータ１４０上にソフトウエアを用いて構築することができる。また、物体認識のためのモデルデータが登録されている学習データベース４９は、コンピュータ１４０に内蔵することができる。
【０２１３】
画像処理部４および学習データベース４９（特徴ベクトルデータベース８ａ，８ｂ，８ｃを含む）は、例えば、ＣＤＲＯＭのような、必要な情報とソフトウエアが記録されている記録媒体１４１，１４２を、コンピュータ１４０にセットすることで構築することができる。
【０２１４】
また、料金収受ゲート１３１から特定の地域専用の情報を無線でダウンロードしたり、衛星１３２から、ＧＰＳ等のデータと一緒にダウンロードしたり、あるいは、広域ネットワーク上のサーバー１３５から、無線基地局１３３を介してダウンロードすることも可能である。
【０２１５】
データベース等に関する情報のダウンロードは、例えば、図１２の上側に示すように、ＩＴＳシステムにおける自動料金収受ゲート１３１を車が通過するときに、無線通信を利用して行われる。
【０２１６】
また、衛星１３２からの無線通信で、必要な情報を車１０３に提供してもよい。また、インターネットネット等の広域ネットワーク１３４上に存在するサーバー１３５から必要な情報を取り出し、携帯電話の基地局（無線基地局）１３３から情報を車１０３に送信してもよい。
【０２１７】
図１２において、カメラ１ａ，１ｂ，１ｃ等や、カメラ切換部２０，データベース切換部２１等の動作は、車両制御部１００が統括的に制御するようになっている。車両制御部１００には、センサ１２２（例えば、車両の回転角を計測するセンサ）の情報も与えられる。
【０２１８】
また、図１２では、３台のカメラ１２しか示されていないが、実際には、図１３に示すように、車両１３０の周囲を監視できるように、カメラ１ａ〜１ｉが配置されている。
【０２１９】
図１３において参照符号１４０ａ〜１４０ｄはタイヤを示す。また、図１３において、斜線を施した部分は、各カメラがカバーしている範囲を示す。
【０２２０】
本発明では、ステレオ撮影を行うことなく、１台のカメラで３次元の距離測定が可能である。よって、多数のカメラの各々を、異なる方向に向けて配置し、周囲の状況をより細かく監視することが可能である。
【０２２１】
車両にカメラを取り付ける位置の例としては、以下のようなものがある。
【０２２２】
車線変更時の周辺車両検知のために、カメラをサイドミラーの位置に取り付ける。駐車時や車線変更時の周辺車両検知のために、カメラを車両の屋根の後側に取り付ける。あるいは、交差点における周辺車両検知（ブラインドモニタ：運転者からは見えない側方の状況を検知すること）のために、車両の屋根の側方にカメラを設置したり、割り込み車両検知のために、車両前方にカメラを設置する。この他、脇見検知のために、車室内に設置することも可能である。物体認識の対象は、車両だけでなく周辺物体であってもよい。
【０２２３】
（実施の形態６）
図１５に、本発明の画像処理装置（物体認識部および道路構造認識による距離算出部を含む）の構成を示すブロック図である。
【０２２４】
図１５の装置の基本的な構成は、図１２とほとんど同じである。ただし、図１５の装置の場合、物体認識結果を利用して、物体の３次元空間における位置を特定し、カメラからその物体に至るまでの３次元空間における距離を正確に算出する距離算出部７を備えており、この点、図１２の構成とは異なる。
【０２２５】
以下、図１５に示される、走行車両についての画像処理を行う画像処理装置の主要な部分の機能や動作を、順に説明する。
【０２２６】
まず、探索範囲絞込み部５について説明する。
【０２２７】
図１５の探索範囲絞込み部５は、入力された画像データに基づき、道路上の車両が存在しそうな領域を求めて探索範囲を絞り込む。
【０２２８】
この探索範囲絞込み部５では、状況に合わせて、探索範囲を広めに取って検出漏れを防いだり、逆に、探索範囲を狭く取り確実なものを効率よく検出する、などの調節を行なうことができる。
【０２２９】
探索範囲の絞り込みは、装置負担の軽減や迅速な処理を目的に、全画像範囲から、先を走る車両（あるいは後ろの車両であってもよい）が存在する確率が極めて高いと推定される範囲を求める処理である。本実施の形態における、好ましい探索範囲の絞り込みの例（手順）を図１６に示す。
【０２３０】
図示されるとおり、まず、道路端（道路の両側にある白線や路肩など）を検出する（ステップ２００）。
【０２３１】
そして、道路端に挟まれた領域を車両に高さを考慮した分だけ拡張し、その拡張した領域を矩形で近似し、その頂点の座標を探索範囲の情報とする（ステップ２１０）。
【０２３２】
以下、図１７（ａ），（ｂ）および図１８（ａ），（ｂ）を用いて、このような処理を具体的に説明する。
【０２３３】
図１７（ａ），（ｂ）は、図１５のカメラ１ａ，１ｃで撮影された画像の一例を示している。つまり、図１７（ａ），（ｂ）は、異なるカメラで同じ車両を撮影した画像を表している。つまり、自車に搭載された複数台のカメラで、自車の先を走る（先行する）車両を撮影したものである。
【０２３４】
これらの画像データに基づき、図１５の探索範囲絞込み部５が探索範囲の絞り込みを行なう。
【０２３５】
なお、図１７（ａ），（ｂ）において、参照符号３１０は地平線であり、参照符号３２０ａ，３２０ｂは道路端を表わす白線である。また、参照符号３３０は検出対象である車両（先行車両）であり、参照符号３４０は、ナンバープレートである。
【０２３６】
図１７（ａ）の画像の中から、まず、道路の両端にある白線を検出する（道路端の検出，図１６のステップ２００）。
【０２３７】
このようにして白線が検出された状態が図１８（ａ）である。このとき、一部検出されない箇所がある場合は、検出された白線から曲線近似などの方法により補完する。
【０２３８】
次に、図１８（ｂ）に示すように、左右の白線に挟まれた領域を車両の高さを考慮した分だけ拡張した領域を矩形で近似する（図１６のステップ２１０）。
【０２３９】
このようにして特定された領域が、図１８（ｂ）において点線で囲まれて示される探索範囲Ｚ１である。なお、前述のとおり、矩形領域をどの程度の大きさとするかは、適宜、調節可能である。
【０２４０】
先行する車両は、必ず道路を走行しているため、車は両端の白線３２０ａ，３２０ｂの間に存在しているはずである。そして、車は一定の高さを有するため、このことを考慮して白線３２０ａ，３２０ｂを上側に平行移動し、先行車の全体が収まる範囲で高さを規制する。このようにして、領域Ｚ１が求まる。この領域の頂点の情報が、図１５の道路構造認識部１２０，物体認識部６に送られる。
【０２４１】
全画面が探索対象になる場合に比べ、絞り込みがなされた分だけ探索するべき画像データが減少し、車両位置の検出や車間距離の算出のための処理負担が軽減される。
【０２４２】
また、処理時間の面でも余裕をもつことができる。また、道路端と車の高さを考慮して探索範囲を絞り込む方法は、シンプルであり、かつ、車両を確実に捕捉できる確率が高い。
【０２４３】
但し、この方法に限定されるものではなく、その他の絞り込み方法を適用することもできる。
【０２４４】
例えば、先に説明したように、オプティカルフロー法を利用する方法も適用可能である。先に示したように、オプティカルフロー法を利用した車両領域検出は、例えば文献（”動画像処理による後側方監視”，宮岡他，第４回画像センシングシンポジウム講演論文集，ｐｐ．３５１−３５４）に示されるものがある。
【０２４５】
つまり、連続的に撮影された２枚の画像を用意する。１枚目の画像中の特定の領域が２枚目の画像中のどこに位置するかを調べる。そして、１枚目の画像中の特定の領域と、２枚目の画像中の特定領域とを結ぶベクトルをオプティカルフローとする。そして、座標系におけるオプティカルフローの位置に基づき、車両位置を特定する。
【０２４６】
すなわち、自車，先行車の双方が動いている場合を想定すると、自車から見れば、相対的に先行車も道路も動いていることになるが、道路と先行車とでは、動き方とスピードが異なるため、その動きの違いに着目して車両が走行しているであろう領域を絞り込むことが可能である。この場合には、絞り込みの精度が高くなる。
【０２４７】
このようにして検出された領域を矩形で表し、その頂点の座標を領域情報とする。
【０２４８】
また、ステレオ画像を利用して、探索範囲を絞り込むこともできる。ステレオ画像を利用した車両領域検出は、例えば文献（”ステレオ画像を用いた物体検出技術の開発”，気賀沢他，第２回画像センシングシンポジウム講演論文集，ｐｐ．２５９−２６４）に示されるものがある。立体的な形状を認識して絞り込みをするため、正確な絞り込みが可能である。
【０２４９】
これにより検出された領域を矩形で表し、その頂点の座標を領域情報とする。
なお、検出する立体物の高さなどを、適宜、調節することができる。
【０２５０】
なお、オプティカルフローとステレオ画像とを組み合わせて利用することも可能である。つまり、オプティカルフローを利用して検出した領域とステレオ画像を利用して検出した領域との和集合演算を行ったり、あるいは積集合演算を行ったりして、画像処理を行う領域を決定することも可能である。
【０２５１】
これにより、オプティカルフローの利用だけでは検出されない停止車両の領域が検出されるようになる。
【０２５２】
また、ステレオ画像の利用だけでは余分に検出されてしまう道路上の建造物が除去されるようになる。
【０２５３】
次に、車両位置の検出動作、および車両までの距離の算出動作について説明する。
【０２５４】
図１５の構成の中から、車両位置の検出動作および車両までの距離の算出動作に関係する部分を抜き出すと、図１９に示すようになる。物体認識部６および道路構造認識部１２０，距離算出部７はそれぞれ、図２０に示すような手順で、車両までの距離を算出する。
【０２５５】
つまり、物体認識部６が、１台のカメラにより撮影された画像に基づき、道路上に存在する物体の画像中の位置を検出する（ステップ８０）。
【０２５６】
次に、道路構造認識部１２０が、カメラにより撮影された画像に基づき、３次元の道路構造を認識する（ステップ８１）。
【０２５７】
そして、距離算出部７が、物体の位置の情報および道路構造の情報に基づいて、カメラから物体までの実空間における距離を算出する（ステップ８２）。
【０２５８】
図２１は、１台のカメラで撮影された画像の例を示している。
【０２５９】
図示されるように、道路２３の上に検出対象物体である車両２１が位置している。道路２３の左右には、白線２４、２５が描かれている。例えば、先行車両の後面を撮影した入力画像に対して、２次微分処理および２値化処理を施す。これにより、図２２に示すような微分２値画像を得る。次に、得られた画像から水平エッジ成分を抽出する。図２２の中央に示される四角い箱３１が、検出の対象である先行車のモデルを表している。
【０２６０】
そして、前掲の実施の形態で説明したようなパターンマッチング処理（データベースに登録されている学習モデルとの照合処理）を行って、画像中における車の位置と、車の車種等を検出する。
【０２６１】
また、左右の白線の位置を道路の端部と認識することで、道路端部の位置は簡単に特定される。白線が途切れている場合でも、曲線補完や線形補完により白線を補うことで、道路端部を特定することが可能である。
【０２６２】
検出された車両の画像中における位置は、その車両を代表する点の座標で表現できる。例えば、図２２の四角い箱の下辺の中点（参照符号）２２の座標を、先行する車両の位置とする。
【０２６３】
また、その車両の位置は、図２１，図２２に示すように、道路端部と対応づけして特定することができる。
【０２６４】
つまり、道路の左右の端部を結ぶ線分であって、車両の座標点２２をとおる無数の線分を考え、その中で、最も距離が短い線分（図２１，図２２における参照符号５３）を選択する。
【０２６５】
その選択された線分５３が、左右の道路端部と交わる２つの点をｘ１，ｘ２とする。そして、図２０に示されるように、点ｘ１および点ｘ２から、車両の座標点２２までの距離Ｓ１，Ｓ２を求めれば、画像中における、道路と車両の相対位置関係は、一義的に特定される。
【０２６６】
以上、物体（車両）の検出と、物体の位置の検出について説明した。
【０２６７】
次に、３次元の道路構造の検出について説明する。
【０２６８】
道路構造認識部１２０は、入力された画像データ（１台のカメラで撮影された画像情報）に基づき、道路２３の実空間における構造を認識する。
【０２６９】
ここで、奥行きの情報のない画像（１台のカメラで撮影した画像）から実空間における道路面の構造を認識する方式の例としては、情報処理学会研究報告ＣＶ６２−３（１９８９年）「局所平面近似による道路形状復元」に示されているものがある。
【０２７０】
この方式は、画像中の左右の道路端部の対応する点に着目し、道路モデルと呼ばれる道路形状に関する知識に基づいて、３次元の道路構造を得るものである。
【０２７１】
以下、この道路構造の復元方法について、図２３（ａ）〜（ｃ）を参照して、簡単に説明する。
【０２７２】
図２３（ａ）において、座標の原点”０”はカメラの位置を表す。ｍ（ｌ）は、道路の左端の点に基づき定義されるベクトルである。ｍ（ｒ）は、同様に道路の右端点に基づき定義されるベクトルである。
【０２７３】
座標点Ｐｌ，Ｐｒはそれぞれ、１台のカメラで撮影された画像中の、道路の、同一線上にある左端点と右端点を表す。また座標点Ｒｌ，Ｒｒはそれぞれ、実空間の道路における、道路の左端点と右端点を表す。
【０２７４】
画像中の道路の左端点と右端点（Ｐｌ，Ｐｒ）に、所定のベクトル演算係数を乗算して、実空間上の道路上の対応する座標点（Ｒｌ，Ｒｒ）を求めることができる。求められた座標点Ｒｌ，Ｒｒの軌跡が、道路の端部の形状となる。
【０２７５】
つまり、３次元の道路端部の形状は、道路の左端点と右端点を結ぶ仮想的な線分が滑らかな曲線上を移動した場合に、その線分の両端点が描く軌跡と仮定している。
【０２７６】
実際の道路は勾配をもつが、図２３（ｂ）に示すように、局所的に見れば、道路面の接線（ｔ）と仮想的な線分（ｅ）は、同一平面に含まれていると見ることができる（局所平面近似）。
【０２７７】
そして、図２３（ｃ）に示すように、道路の接線方向の無限遠点（Ｑ）は水平線上にあり、また、線分（Ｐｌ-Ｐｒ）は道路の端部と垂直に交わるという条件を適用すると、２次元の道路上の対応する２点は、ベクトル演算により求めることができる。
【０２７８】
求められた左右の道路端点の位置の３次元的な変化が滑らかな曲線になるように道路モデルを適用することで、道路形状が復元される。
【０２７９】
道路モデルは、左右の道路端の間隔は一定の長さであり、かつ、これらを結ぶ線分は、どれも、常に水平であるという条件の下で構築される。
【０２８０】
以上が、「局所平面近似による道路形状復元」に示される道路形状の復元方法の概略である。
【０２８１】
次に、距離算出部７が、自車から先行する車両までの距離を検出する処理について説明する。
【０２８２】
図２４は、１台のカメラで撮影された画像中の先行する車両（検出対象の物体）と道路端部との相対的位置関係を示す図である。
【０２８３】
先に図１９，図２０を用いて説明したとおり、車両の位置と、車両に対応する左右の道路端部（エッジ点）の位置は特定されている。
【０２８４】
つまり、図２４に示すように、道路のほぼ中央に位置する座標点２２が、先行する車両の位置を示している。
【０２８５】
また、座標点２２を通る、長さが最小の線分が線分５３である。ここで、長さが所定の長さとなるように線分５３を特定することもできる。
【０２８６】
そして、線分５３が道路の端部５１，５２と交わる点がｘ１，ｘ２（エッジ点）である。
【０２８７】
このように、１台のカメラで撮影された一つの画像中において、車両の位置と、車両と道路端部との相対的な位置関係は特定されている。
【０２８８】
そして、図２３（ａ）〜（ｃ）に示した方法により、３次元の道路構造が復元される。その復元された道路構造が図２５に示される
復元された３次元の道路構造上における先行する車両の位置がわかれば、実空間におけるカメラから車両までの距離は、簡単な算術演算（幾何演算）で求めることができる。
【０２８９】
図２５中、参照符号４１は、上から見た道路の平面形状を示している。一方、参照符号４２は、道路表面を横からみたときの形状を表している。
【０２９０】
図２１，図２４に示すように、一つの画像中の左右の道路端点と、３次元の道路構造上における左右の道路端点とは、１：１に対応する。
【０２９１】
つまり、図２１，図２４の画像中の左右の道路端点ｘ１，ｘ２に対応する、図２５に示される復元された道路構造上の点を、特定するが可能である。
【０２９２】
図２３において、点ｘ１´は、図２１，図２４の点ｘ１に対応する点である。
同様に、点ｘ２´は、図２１，図２４の点ｘ２に対応する点である。このように、実空間における道路の端点（ｘ１´，ｘ２´）が決まると、各端点を結ぶ線分５３´が決まる。
【０２９３】
先行する車両は、実空間における、線分５３´上に存在する。図２２や図２４に示すように、画像中における車両位置は、点ｘ１からＳ１の距離にあり、点ｘ２からＳ２の距離にある。
【０２９４】
このような車両と道路との相対的な位置関係から、図２５における線分５３´上における、車両の位置２２´が求まる。
【０２９５】
３次元空間における車両の位置が２２´が検出されれば、自車に搭載されているカメラの座標（原点０）から先行車両までの距離を、簡単な算術演算で求めることができる。
【０２９６】
このようにして、図２１のような画像から、図２５のような三次元の道路形状と、その道路における車両の三次元的な位置を特定することができる。
【０２９７】
以上、本発明における、車両位置の検出処理と、車両と道路との相対関係の検出と、先行する車両までの距離の算出について説明した。
【０２９８】
本発明における距離検出のための処理の概要をまとめると、図２０に示すようになる。
【０２９９】
すなわち、まず、１台のカメラにより撮影された画像に基づき、道路上に存在する物体の画像中の位置を検出する（ステップ８０）。次に、カメラにより撮影された画像に基づき、道路構造を認識する（ステップ８１）。そして、物体の位置の情報および道路構造の情報に基づいて、カメラから物体までの実空間の距離を算出する（ステップ８２）。
【０３００】
先に説明したように、図７に示すようなモデルを格納したデータベースを用意することで、物体認識処理だけでも、ある程度の物体までの距離の推定は可能であるが、その精度には限界がある。本実施の形態のように、距離測定部を備えることにより、１台のカメラで撮影した画像から、実空間における物体までの正確な距離を測定することが可能となる。
【０３０１】
以上、図１５に示される構成（物体認識を含む画像処理により、３次元空間における他の車両までの距離を測定する構成）の機能と動作を説明した。
【０３０２】
以上、本発明について、実施の形態を参照して説明した。本発明は実施の形態に限定されるものではない。実施の形態では、１台のカメラで撮影した画像に画像処理を施して、実空間における物体までの距離を測定する例について説明したが、必ずしもこれに限定されるものではない。
【０３０３】
例えば、画像処理量やカメラの設置スペースの増大が許容されるのであれば、図２６に示すように、２台のカメラ６０ａ，６０ｂ（７０ａ，７０ｂ）を用いてステレオ撮影をして画像を取得し、ステレオ画像処理装置６１（７１）を用いて３次元空間における物体までの距離を測定することもできないわけではない。このような場合にも、本発明のパターンマッチングを用いた物体認識は、適用可能である。
【０３０４】
このように、本発明では、まず、複数台のカメラに対して一つの画像処理装置を設ける構成とし、ハードウエア量を削減する。つまり、複数台のカメラの各々で撮影することにより取得した画像情報を、共通の画像処理装置に入力する。
【０３０５】
そして、画像処理装置では、入力された画像データと、データベースに登録されているモデルに関するデータとの照合（パターンマッチング）を行い、類似度を判定することにより、物体の存在位置や、物体の種類あるいは物体までの大まかな距離などを、きわめて高速に検出する。
【０３０６】
データベースには、種々のモデルに関するデータが登録される。このとき、パターンマッチングの効率を向上させるために、複数のデータベースを設けておき使用するデータベースを適宜、使い分けする。
【０３０７】
データベースを各カメラに対応させておき、使用するカメラに応じてデータベースを切り換えれば、無駄なデータベースの検索が不要となり、処理が高速化される。また、検索するべきデータベースが絞り込まれるということは、それだけ誤判定の確率も低くできることを意味し、パターンマッチングの精度の向上を図ることができる。
【０３０８】
なお、カメラ毎にデータベースを設ける例の他に、天候や時間帯などの条件のみを基準として複数のデータベースを設ける例も考えられる。具体的には、使用するカメラに応じて、使用するデータベースを切換えたり、あるいは、撮影条件や自車の運転状況に応じて、使用するデータベースを切換える。
【０３０９】
また、高速なパターンマッチングを行う方法としては、入力画像データに、予め取得してある特徴抽出ベクトルを乗算して、所定のモデルについての特徴を強調させた特徴ベクトルを得、データベースに登録されている、そのモデルの特徴ベクトルと比較する手法がある。
【０３１０】
さらに、画像処理装置では、パターンマッチング処理を行う前に、まず、入力された画像の一部の領域に、物体の探索範囲を絞り込む処理をして、画像処理の対象となるデータ量を減らすのが望ましい。これにより、ハードウエアの負担を軽減することができると共に、さらなる高速処理が可能となる。
【０３１１】
カメラの位置から認識された物体までの距離を測定する場合には、データベースに登録されている、物体までの距離の情報をパラメータとして含むモデルとの間でパターンマッチングを行なう。
【０３１２】
また、さらに精度の高い距離測定を行なう場合には、その物体を撮影した１台のカメラからの画像情報に基づき画像処理を実行し、３次元空間における物体までの距離を特定する。これにより、ステレオ撮影を行わなくても、１台のカメラで、３次元空間における物体までの距離を測定することができる。
【０３１３】
また、複数のカメラで撮影された画像情報や、パターンマッチングにより認識された物体の種類の情報（例えば、車の車種名）や、物体までの距離の情報などを、ユーザー（例えば、車の運転者）にリアルタイムで提供することで、ユーザーの作業負担を軽減したり、危険を事前に回避したりすることができる。
【０３１４】
本発明によれば、複数のカメラより入力した画像を処理する画像処理装置を共通に使用することができ、取り扱う画像処理部の数が減って装置の処理負担が軽減される。
【０３１５】
また、処理対象となる情報量自体を削減することができ、よって処理が効率化され、かつ、パターン認識などを用いた位置検出等により精度良く物体の認識（推定）を行える。
【０３１６】
従って、本発明によれば、これらの相乗効果によって、物体までの距離を正確に算出することもでき、リアルタイム性と信頼性とを兼ね備えた、実用的な物体認識方法と物体認識装置を提供することが可能となる。
【０３１７】
【発明の効果】
以上説明したように本発明によれば、画像処理の効率（処理スピード）と、物体認識の精度や物体までの距離の測定等の精度を両立させ、実用に耐える物体認識方法および物体認識装置を提供することができる。これにより、高速かつ信頼性の高い距離測定も行える。また、リアルタイムで有益な情報をユーザーに提示することもできる。本発明は、ＩＴＳシステムを実用化する上で、きわめて重要な要素技術を提供するものである。
【図面の簡単な説明】
【図１】本発明の物体認識装置（距離算出部を含む）の全体構成の一例を示すブロック図
【図２】図１における物体認識部およびデータベース部の具体的な構成な構成を示すブロック図
【図３】データベースを作成する手順および物体認識の手順を、具体的に説明するための図
【図４】データベースを作成する手順の一例を示すフロー図
【図５】データベースを作成するための処理（共分散を算出する処理）の内容を説明するための図
【図６】物体認識の手順を示すフロー図
【図７】データベースに登録されるモデルに関するデータの一例を示す図
【図８】本発明の物体認識装置（距離算出部を含む）の構成の他の例を示すブロック図
【図９】本発明の物体認識装置（距離算出部を含む）の構成の他の例を示すブロック図
【図１０】物体までの距離を算出する方法の一例を説明するための図
【図１１】１台のカメラで撮影した画像から実空間（３次元空間）における物体までの距離を測定する方法を説明するための図
【図１２】本発明の物体認識装置（距離算出部を含まず）を車に搭載した例を示すブロック図
【図１３】車に備え付けられたカメラの配置の一例を示す図
【図１４】（ａ）運転者に、運転支援情報を提供する態様の一例を示す図
（ｂ）運転者に、運転支援情報を提供する他の態様の一例を示す図
【図１５】本発明の物体認識装置（距離算出部を含む）を車に搭載した例を示すブロック図
【図１６】探索範囲絞込み部の動作を説明するためのフロー図
【図１７】（ａ）一つのカメラから対象物体（車両）を撮影して得られる画像の一例を示す図
（ｂ）他のカメラから対象物体（車両）を撮影して得られる画像の一例を示す図
【図１８】（ａ）カメラにより撮影された画像の中から抽出された、経路線（白線）を示す図
（ｂ）抽出された経路線（白線）に基づき決定された、探索範囲を示す図
【図１９】物体までの距離を測定するための構成例を示すブロック図
【図２０】物体までの正確な距離を算出するための手順を示すフロー図
【図２１】先行する車両を、自車に備え付けられているカメラで撮影して得られる画像の一例を示す図
【図２２】図２１の画像に対して、微分処理を施し、水平エッジを抽出して得られる画像の例を示す図
【図２３】（ａ）１台のカメラで撮影された画像から３次元の道路構造を復元するための処理を説明するための図
（ｂ）１台のカメラで撮影された画像から３次元の道路構造を復元するための処理を説明するための図
（ｃ）１台のカメラで撮影された画像から３次元の道路構造を復元するための処理を説明するための図
【図２４】道路と車両との位置関係を特定する方法を説明するための図
【図２５】１台のカメラで撮影された画像から３次元の道路構造を復元し、その３次元の道路上における車両の位置を特定する方法を説明するための図
【図２６】ステレオ撮影を行って、３次元空間における物体までの距離を測定するための装置の構成を示す図
【図２７】コンピュータ上に、本発明の画像処理部またはデータベースを構築するための方法を説明するための図
【図２８】本発明の実施の形態１における物体認識装置の構成を示すブロック図
【図２９】本発明の実施の形態１における、物体推定手段の詳細なブロック構成図
【図３０】本発明の実施の形態１における、物体認識手順の一例の手順を示すフロー図
【図３１】（ａ）一つのカメラから対象物体（例：車両）を撮影した図
（ｂ）他のカメラから対象物体（例：車両）を撮影した図
【図３２】本発明の実施の形態１における距離算出方式の一例を説明するための図
【図３３】カメラから経路線（例：白線）を撮影した図
【図３４】本発明の実施の形態１における画像面と実空間との関係を示す図
【符号の説明】
１ａ〜１ｃ  カメラ
２ａ〜２ｃ  画像入力インタフェース
４  画像処理部
５  探索範囲絞込み部
６  物体認識部
７  距離算出部
８ａ、８ｂ、８ｃ  特徴ベクトルデータベース
４０  データ入力部
４１  情報作成部
４２  情報統合部
４３  特徴ベクトル抽出部
４４  入力統合情報判別部
４５  判定部
４６  結果出力部
４７  学習部
４８  特徴抽出行列算出部
４９  学習データベース
５０  学習統合情報データベース
【図１】
0004624594.tif 000002
【図２】
0004624594.tif 000003
【図３】
0004624594.tif 000004
【図４】
0004624594.tif 000005
【図５】
0004624594.tif 000006
【図６】
0004624594.tif 000007
【図７】
0004624594.tif 000008
【図８】
0004624594.tif 000009
【図９】
0004624594.tif 000010
【図１０】
0004624594.tif 000011
【図１１】
0004624594.tif 000012
【図１２】
0004624594.tif 000013
【図１３】
0004624594.tif 000014
【図１４】
0004624594.tif 000015
【図１５】
0004624594.tif 000016
【図１６】
0004624594.tif 000017
【図１７】
0004624594.tif 000018
【図１８】
0004624594.tif 000019
【図１９】
0004624594.tif 000020
【図２０】
0004624594.tif 000021
【図２１】
0004624594.tif 000022
【図２２】
0004624594.tif 000023
【図２３】
0004624594.tif 000024
【図２４】
0004624594.tif 000025
【図２５】
0004624594.tif 000026
【図２６】
0004624594.tif 000027
【図２７】
0004624594.tif 000028
【図２８】
0004624594.tif 000029
【図２９】
0004624594.tif 000030
【図３０】
0004624594.tif 000031
【図３１】
0004624594.tif 000032
【図３２】
0004624594.tif 000033
【図３３】
0004624594.tif 000034
【図３４】
0004624594.tif 000035