(57)【要約】【課題】パターンマッチング手法による物体判別を効率的に行うことを課題とする。【解決手段】この物体判別装置は、判別対象となり得る物体までの距離ごとに複数のテンプレートを記憶している。そして、この物体判別装置は、画像内から判別の対象となる物体を背景差分法あるいは顕著性算出法により検出すると、その物体までの距離を検出し、その距離に対応したテンプレートを選択する。続いて、判別対象として画像内から検出された物体に対してこのテンプレートあてはめて物体判別を行う。【選択図】        図１
2007072665.tif 000002
【特許請求の範囲】
【請求項１】
画像内にテンプレートをあてはめて、検出された物体を判別する物体判別装置において、
前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶手段と、
前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択手段と、
前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別手段と、
を備えたことを特徴とする物体判別装置。
【請求項２】
前記テンプレート記憶手段は、前記判別の対象となる物体までの距離および物体の種別ごとに複数のテンプレートを記憶し、
前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記画像内の物体までの距離を検出し、当該距離に対応したテンプレートを前記物体の種別ごとに選択し、
前記物体判別手段は、前記テンプレート選択手段によって選択された各種別のテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする請求項１に記載の物体判別装置。
【請求項３】
前記テンプレート記憶手段は、前記判別の対象となる物体までの距離および物体の大きさごとに複数のテンプレートを記憶し、
前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離および大きさを検出し、当該距離および大きさに対応したテンプレートを選択し、
前記物体判別手段は、前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする請求項１に記載の物体判別装置。
【請求項４】
前記テンプレート記憶手段は、前記判別の対象となる物体について態様の異なる一群のテンプレートを所定の距離ごとに記憶し、
前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応した前記態様の異なる一群のテンプレートを選択し、
前記物体判別手段は、前記テンプレート選択手段によって選択された前記態様の異なる一群のテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする請求項２または３に記載の物体判別装置。
【請求項５】
前記画像内に前記判別の対象となる複数の物体がそれぞれ存在する場合に、いずれの物体から順次優先的に前記テンプレートをあてはめるかを規定した優先情報と、
前記テンプレート選択手段によって選択されたテンプレートを、前記優先情報に基づいて、前記画像内で順次優先的にあてはめるように制御する優先制御手段と、
をさらに備えたことを特徴とする請求項１に記載の物体判別装置。
【請求項６】
前記優先情報は、前記判別の対象となる物体までの距離が最小である当該物体から順次優先的に前記テンプレートをあてはめる旨を規定し、
前記優先制御手段は、前記テンプレート選択手段によって選択されたテンプレートを、前記優先情報に基づいて、前記判別の対象となる物体までの距離が最小である当該物体から順次優先的にあてはめるように制御することを特徴とする請求項５に記載の物体判別装置。
【請求項７】
前記優先制御手段は、前記テンプレート選択手段によって選択されたテンプレートを、次画像が入力されるまで、前記優先情報に基づいて、前記画像内の所定の領域にあてはめるように制御することを特徴とする請求項５に記載の物体判別装置。
【請求項８】
画像内にテンプレートをあてはめて、検出された物体を判別する物体判別方法において、
前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶工程と、
前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択工程と、
前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別工程と、
を備えたことを特徴とする物体判別方法。
【請求項９】
画像内にテンプレートをあてはめて、検出された物体を判別する方法をコンピュータに実行させる物体判別プログラムにおいて、
前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶手順と、
前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択手順と、
前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別手順と、
をコンピュータに実行させることを特徴とする物体判別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像内の所定の領域にテンプレートをあてはめて当該領域内の物体を判別する物体判別装置、物体判別方法および物体判別プログラムに関する。
【背景技術】
【０００２】
従来より、例えば、車両走行の障害となりうる物体を検出し、その物体との衝突を回避する技術が開発されてきている。そこで、そのような車両周辺にある障害物となるような物体を検出するために、カメラなどを用いて車両周辺を撮影しておき、撮像した画像を処理する技術が存在する。その画像内に映し出された物体を検出する方法として、例えば、背景差分法がある。このような、背景差分法では、現入力されている現画像とその直前に入力されていた直前画像との各画素を比較し、差分が抽出された領域に直前画像では見られなかった物体が存在するものとし、その物体を走行障害の候補になるものとして画像内から検出している。このような方法を用いれば、走行障害の候補となる物体は検出されるが、検出された物体がどのようなものであるかが未だ判明しない。
【０００３】
そこで、画像内から検出された走行障害の候補となる物体に対し、その物体が何であるかを判別する画像処理手法としてパターンマッチング手法（テンプレートマッチング手法）がある（例えば、特許文献１参照）。このパターンマッチング方法では、画像内から検出された走行障害の候補となる物体にテンプレートをあてはめて、その物体が特定の物体（例えば、歩行者）であるか否かをテンプレートと候補物体との一致度合によって判別する画像処理を行っている。
【０００４】
【特許文献１】特開昭５９−２２６９８１号公報
【特許文献２】特開２００２−９９９９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記した従来の技術は、以下に説明するように、パターンマッチング手法による物体判別の効率性に問題がある。
【０００６】
すなわち、上記した従来の技術であるパターンマッチング手法では、あらかじめ記憶しているテンプレートの中から、判別の対象となる物体までの距離に合わせてテンプレートを選択することなく、全てのテンプレートをあてはめて判別を行っていたので、その効率性に問題がある。
【０００７】
なお、車載用の監視カメラなどで撮像された画像内に映し出された物体をパターンマッチング手法によって判別する場合に、一定間隔で入力される画像に対して物体判別を効率的に行えないのでは、画像内の物体判別が間に合わない場合も考えられ、車両運転中に危険を予測し、いち早く危険を回避する上でも問題がある。
【０００８】
また、道路上の歩行者などをテンプレートマッチングで認識する技術も存在する（例えば、特許文献２参照）。これによれば、画像内で認識された道路を所定の領域に分割し、その領域ごとに見合ったテンプレートをあてはめるようにする技術が開示されている。
【０００９】
しかしながら、このような手法では、道路領域を検出することが前提であるため、例えば、駐車場や夜間などでは、画像内で道路領域を検出するのが困難であるため、結局そのような場合、道路領域に応じたテンプレートマッチングができないという問題点がある。さらに、画像内に物体が存在しなくてもテンプレートマッチングを行うので、処理が非効率になるという問題点もある。
【００１０】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、パターンマッチング手法による物体判別を効率的に行うことが可能な物体判別装置、物体判別方法および物体判別プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、画像内にテンプレートをあてはめて、検出された物体を判別する物体判別装置において、前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶手段と、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択手段と、前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別手段と、を備えたことを特徴とする。
【００１２】
また、請求項２に係る発明は、上記の発明において、前記テンプレート記憶手段は、前記判別の対象となる物体までの距離および物体の種別ごとに複数のテンプレートを記憶し、前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記画像内の物体までの距離を検出し、当該距離に対応したテンプレートを前記物体の種別ごとに選択し、前記物体判別手段は、前記テンプレート選択手段によって選択された各種別のテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする。
【００１３】
また、請求項３に係る発明は、上記の発明において、前記テンプレート記憶手段は、前記判別の対象となる物体までの距離および物体の大きさごとに複数のテンプレートを記憶し、前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離および大きさを検出し、当該距離および大きさに対応したテンプレートを選択し、前記物体判別手段は、前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする。
【００１４】
また、請求項４に係る発明は、上記の発明において、前記テンプレート記憶手段は、前記判別の対象となる物体について態様の異なる一群のテンプレートを所定の距離ごとに記憶し、前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応した前記態様の異なる一群のテンプレートを選択し、前記物体判別手段は、前記テンプレート選択手段によって選択された前記態様の異なる一群のテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする。
【００１５】
また、請求項５に係る発明は、上記の発明において、前記画像内に前記判別の対象となる複数の物体がそれぞれ存在する場合に、いずれの物体から順次優先的に前記テンプレートをあてはめるかを規定した優先情報と、前記テンプレート選択手段によって選択されたテンプレートを、前記優先情報に基づいて、前記画像内で順次優先的にあてはめるように制御する優先制御手段と、をさらに備えたことを特徴とする。
【００１６】
また、請求項６に係る発明は、上記の発明において、前記優先情報は、前記判別の対象となる物体までの距離が最小である当該物体から順次優先的に前記テンプレートをあてはめる旨を規定し、前記優先制御手段は、前記テンプレート選択手段によって選択されたテンプレートを、前記優先情報に基づいて、前記判別の対象となる物体までの距離が最小である当該物体から順次優先的にあてはめるように制御することを特徴とする。
【００１７】
また、請求項７に係る発明は、上記の発明において、前記優先制御手段は、前記テンプレート選択手段によって選択されたテンプレートを、次画像が入力されるまで、前記優先情報に基づいて、前記画像内の所定の領域にあてはめるように制御することを特徴とする。
【００１８】
また、請求項８に係る発明は、上記の発明において、画像内にテンプレートをあてはめて、検出された物体を判別する物体判別方法において、前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶工程と、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択工程と、前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別工程と、を備えたことを特徴とする。
【００１９】
また、請求項９に係る発明は、上記の発明において、画像内にテンプレートをあてはめて、検出された物体を判別する方法をコンピュータに実行させる物体判別プログラムにおいて、前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶手順と、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択手順と、前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２０】
請求項１、８および９の発明によれば、この物体判別装置は、判別の対象となる画像内の物体までの距離ごとに複数のテンプレート記憶し、画像内に映し出された物体までの距離を検出し、その距離に合わせたテンプレートを選択してから、そのテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を効率的に行うことが可能となる。さらに、この物体判別装置は、画像内の物体を検出し、検出された物体までの距離に基づいてパターンマッチングを行うので、道路領域が特定できなくとも効率よくテンプレートマッチングを行うことができ、物体が検出されたかどうかに関わらずテンプレートマッチングを行うのに比べ処理効率をよくすることが可能となる。
【００２１】
また、請求項２の発明によれば、この物体判別装置は、判別の対象となる画像内の物体までの距離および物体の種別ごとに複数のテンプレート（例えば、人を判別するテンプレートとして子供用や大人用テンプレート）記憶し、画像内に映し出された物体までの距離を検出し、その距離に合わせたテンプレートを種類別に選択してから、それらのテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を種別の異なるものについても効率的に行うことが可能となる。
【００２２】
また、請求項３の発明によれば、この物体判別装置は、判別の対象となる画像内の物体までの距離および物体の大きさごとに複数のテンプレートを記憶し、画像内に映し出された物体までの距離および大きさを検出し、その距離および大きさに合わせたテンプレートを選択してから、そのテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を物体の大きさも考慮してより効率的に行うことが可能となる。
【００２３】
また、請求項４の発明によれば、この物体判別装置は、判別の対象となる物体について態様の異なる一群のテンプレート（例えば、立ち止まっている人を判別するテンプレートや走っている人を判別するテンプレート）を判別の対象となる画像内の物体までの距離ごとに記憶し、画像内に映し出された物体までの距離を検出し、その距離に合わせてこれら態様の異なる一群のテンプレートを選択してから、これら一群のテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を物体の態様も踏まえて効率的に行うことが可能となる。
【００２４】
また、請求項５の発明によれば、この物体判別装置は、画像内に判別の対象となる物体が複数存在する場合に、いずれの領域から優先的にテンプレートをあてはめて物体判別を行うかを規定した優先情報（例えば、優先テーブル）に基づいて、順次優先的に上記のような様々な要因（例えば、物体までの距離や物体の大きさ）に合わせて選択したテンプレートをあてはめることにより物体判別を行うので、優先的に物体判別を行うべき画像内の領域からテンプレートをあてはめて物体判別を行うことができ、物体判別をより効率的に行うことが可能となる。
【００２５】
また、請求項６の発明によれば、この物体判別装置は、画像内に判別の対象となる物体が複数存在する場合に、物体までの距離が最小である物体から優先的にテンプレートをあてはめて物体判別を行うように規定した優先情報に基づいて、順次優先的にテンプレートをあてはめて物体判別を行うので、物体判別の必要性の高い近距離の物体からより効率的に物体判別を行うことが可能となる。
【００２６】
また、請求項７の発明によれば、この物体判別装置は、次の画像が入力されるまで、優先情報に基づいて、順次優先的に上記のような様々な要因（例えば、物体までの距離や物体の大きさ）に合わせて選択したテンプレートをあてはめることにより物体判別を行うので、現時点で行っている処理より優先すべき次の画像に対して物体判別を開始することが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下に添付図面を参照して、この発明に係る物体判別装置、物体判別方法および物体判別プログラムの実施例を詳細に説明する。
【実施例１】
【００２８】
以下の実施例１では、実施例１に係る物体判別装置の概要および特徴、物体判別装置の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。なお、以下では、車載の撮像装置によって撮像された画像内の物体を判別する場合の実施例について説明する。
【００２９】
［物体判別装置の概要および特徴（実施例１）］
まず最初に、図１を用いて、実施例１に係る物体判別装置の概要および特徴を説明する。図１は、実施例１に係る物体判別装置の概要を説明するための図である。同図に示すように、実施例１に係る物体判別装置は、画像内にテンプレートをあてはめて、検出された物体を判別するものであるが、画像内から判別の対象として検出された物体までの距離を検出し、その距離に合わせて選択したテンプレートをあてはめて物体判別を行う点に主たる特徴があり、これにより物体判別を効率的に行うことができるようにしている。
【００３０】
この主たる特徴について簡単に説明すると、例えば、図１に例示するように、この物体判別装置は、判別の対象となり得る物体までの距離ごと（例えば、１ｍごと）に複数のテンプレートを記憶している。また、現フレーム画像から判別の対象となる物体を検出する（図１の（１）参照）。ここで、現フレーム画像から判別の対象となる物体を検出する際には、背景差分法（フレーム間差分法）あるいは顕著性算出法により行う。
【００３１】
背景差分法とは、現に入力されている画像における各画素とその直前に入力されていた画像における各画素とを比較して差分を抽出する処理を行い、画像内から候補物体（走行障害の候補となる物体）を検出する方法をいう。これによれば、微小な画素変化に左右されないので、過度に反応することを防止することができる。
【００３２】
また、顕著性算出方法とは、画像各部の明度や彩度、線方向等の部分的な変位量を各部の特徴として予め学習しておき、学習しておいたバックグラウンドには見られない顕著な特徴（例えば、線方向等）が現画像で現れているかどうかに基づいて候補物体が画像内に位置する領域を検出する方法をいう。これによれば、画素値の変化が少なくても、線方向（例えば、ベクトル）等で特異なものがあれば、顕著な特徴が現れているので、候補物体として検出できる。
【００３３】
続いて、この物体判別装置は、上記した方法により現フレーム画像から判別の対象となる物体を検出すると、その物体までの距離を求める（図１の（２）参照）。ここで、物体までの距離は、各種測距方式（ステレオ方式、単眼方式、アクティブセンサ方式）により求めるか、あるいは、現フレーム画像における各画素の物体の縦位置（例えば、画像上の間隔あるいは画素数）からおおよその距離を予測して求める。
【００３４】
そして、この物体判別装置は、先ほど求めた物体までの距離に対応したテンプレートを記憶している複数のテンプレートの中から選択する（例えば、物体までの距離が１０ｍであれば、１０ｍに対応したテンプレートを選択する）。そして、現フレーム画像内から判別対象として検出された物体が、その画像内において位置する領域に対してこのテンプレートをあてはめて物体判別を行う（図１の（３）参照）。
【００３５】
このように、この物体判別装置は、判別の対象となる画像内の物体までの距離ごとに複数のテンプレート記憶し、画像内に映し出された物体までの距離を検出し、その距離に合わせたテンプレートを選択してから、そのテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を効率的に行うことが可能となる。さらに、この物体判別装置は、画像内の物体を検出し、検出された物体までの距離に基づいてパターンマッチングを行うので、道路領域が特定できなくとも効率よくテンプレートマッチングを行うことができ、物体が検出されたかどうかに関わらずテンプレートマッチングを行うのに比べ処理効率をよくすることが可能となる。
【００３６】
［物体判別装置の構成（実施例１）］
次に、図２を用いて、図１を用いて概要を説明した物体判別装置３０の構成を説明する。図２は、実施例１に係る物体判別装置３０の構成を示すブロック図である。同図に示すように、この物体判別装置３０は、ナビ部１１、レーダ部１２、前処理部１３、物体検出装置１４、衝突危険度判定部１５に接続される。また、物体判別装置３０は、記憶部３１と、制御部３２とから構成される。
【００３７】
このうち、ナビ（ナビゲーション）部１１は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１１は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を運転者に供給する。
【００３８】
レーダ部１２は、レーダ（例えば、７６．５ＧＨｚのミリ波）を照射して、前方の車両や障害物との距離や速度、方向などを測定する手段である。前処理部１３は、撮像装置１０（例えば、可視光カメラ、単眼カメラ、ステレオカメラ）から送信されてくる画像に前処理を行う処理部であり、フィルタ部１３ａと輪郭抽出部１３ｂとから構成される。このうち、フィルタ部１３ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部１３ｂは、フィルタ部１３ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。
【００３９】
物体検出装置１４は、撮像装置１０から前処理部１３を介して受け付けた画像から物体を検出する（画像内の領域を絞り込む）装置である。例えば、背景差分法（フレーム間差分法）あるいは顕著性算出方法を用いた画像処理により画像内に映し出された物体が占める領域を検出する（テンプレートをあてはめる領域を絞り込む）。そして、この領域に対して、後述する物体判別装置３０は、テンプレートマッチング手法を用いた画像処理を行う。なお、物体検出装置１４による処理結果は、物体判別装置３０および衝突危険度判定部１５に送信される。
【００４０】
衝突危険度判定部１５は、物体検出装置１４および物体判別装置３０から受け付けた処理結果に基づいて、画像から検出された物体との衝突危険度を予測して判定する処理部である。例えば、物体判別装置３０により検出された物体が歩行者であると判定され、画像内の位置から車両の近くを移動中である場合や、物体判別装置３０による判定結果が子供の場合には衝突危険度は高いと判定し、車両から離れた位置に静止中の場合には衝突危険度は低いと判定する。なお、この衝突危険度判定部１５による処理結果は、車両制御部１６および報知制御部１７に送信される。
【００４１】
このうち、車両制御部１６は、衝突危険度判定処理部１５から受け付けた処理結果に基づいて、車両制御を行う処理部である。例えば、物体検出装置１４により検出された物体との衝突危険度が高いとの判定結果を受け付けた場合には、車両を停止する制御を行う（例えば、運転者がブレーキを踏まなくとも、自動的に車両制御に介入して安全に車両を停止させる）。また、物体検出装置１４により検出された物体との衝突危険度が低いとの判定結果を受け付けた場合には、車両を減速する制御または車両制御のアシスト（例えば、ブレーキのあそびを少なくして、車両の制動準備をする）を行う。
【００４２】
報知制御部１７は、衝突危険度判定処理部１５から受け付けた処理結果に基づいて、警告の報知を行う処理部である。例えば、物体検出装置１４により検出された物体との衝突危険度が高いとの判定結果を受け付けた場合には、車内通知部１８からアラーム音や音声などにより警告を報知する。また、物体検出装置１４により検出された物体との衝突危険度が低いとの判定結果を受け付けた場合には、車内通知部１８から音声や画像により注意を促す。
【００４３】
車内通知部１８は、ナビ部１１や報知制御部１７からの情報を通知する手段であり、ディスプレイやスピーカなどで構成される。例えば、ディスプレイの一部を点滅させて運転者の注意を促したり、スピーカからメッセージやアラーム音を流すことにより運転者に対して警告を行ったりする。
【００４４】
物体判別装置３０の記憶部３１は、制御部３２による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）であり、特に本発明に密接に関連するものとしては、テンプレート記憶部３１ａを備える。
【００４５】
このテンプレート記憶部３１ａは、画像内から物体検出装置１４によって検出された物体にあてはめるテンプレートに関する各種の情報を記憶する手段であり、具体的には、図３に例示するように、画像内から判別の対象として検出された（絞込まれた）物体までの距離（即ち、自車両先端から物体までの距離）ごとに複数のテンプレートを記憶して構成される。なお、図３では、このテンプレート記憶部３１ａは１ｍごとにテンプレートを記憶して構成されているが、１ｍごとに限らず数ｍあるいは数ｃｍごとにテンプレートを記憶して構成するようにしてもよい。
【００４６】
物体判別装置３０の制御部３２は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、テンプレート選択部３２ａと、物体判別部３２ｂとを備える。
【００４７】
このうち、テンプレート選択部３２ａは、テンプレート記憶部３１ａからテンプレート選択する処理部であり、具体的には、物体検出装置１４によって画像内から判別の対象として検出された物体までの距離を、各種測距方式（ステレオ方式、単眼方式、アクティブセンサ）や画像内における物体の縦位置からの予測によって求め、その距離に対応したテンプレートをテンプレート記憶部３１ａから選択する。
【００４８】
この場合、例えば、画像上の下端から画像内の物体までの画像上の間隔に基づき、実際の自車両先端から物体までの距離を求めるようにしてもよいし、レーダ（例えば、ミリ波レーダ）により自車両先端から物体までの距離を求めるようにしてもよい。
【００４９】
物体判別部３２ｂは、画像内から判別の対象として検出された物体にテンプレートをあてはめて、その物体が何であるかを判別する処理部であり、具体的には、物体検出装置１４によって画像内から判別の対象として検出された物体に、テンプレート選択部３２ａによってテンプレート記憶部３１ａから選択されたテンプレートをあてはめる。そして、テンプレートと物体のマッチングの有無からその物体がテンプレートに示す物体であるか否かを判別する（例えば、照合度が所定の閾値より高いか低いかにより判別）。その際、照合度が所定の閾値より低ければ不一致として、次に優先度の低い大きさのテンプレートをあてはめるようにして順次優先度の高いものから照合していく。
【００５０】
［物体判別装置による処理（実施例１）］
次に、図４を用いて、実施例１に係る物体判別装置による処理を説明する。図４は、実施例１に係る物体判別装置の処理の流れを示すフローチャートである。同図に示すように、画像の入力を受け付けると（ステップＳ４０１肯定）、物体検出装置１４は、現フレーム画像内から物体の検出を実行する（ステップＳ４０２）。
【００５１】
その結果、現フレーム画像内から判別の対象となる物体を検出すると（ステップＳ４０３肯定）、テンプレート選択部３２ａは、その物体までの距離を求める（ステップＳ４０４）。ここで、物体までの距離は、各種測距方式（ステレオ方式、単眼方式、アクティブセンサ方式）により求めるか、あるいは、現フレーム画像における物体の縦位置からおおよその距離を予測して求める。
【００５２】
続いて、テンプレート選択部３２ａは、判別の対象となる物体までの距離に対応したテンプレートをテンプレート記憶部３１ａから選択する（ステップＳ４０５）。そして、このテンプレートを物体判別部３２ｂに送る。
【００５３】
テンプレート選択部３２ａからテンプレートを受け付けた物体判別部３２ｂは、現フレーム画像から検出された判別対象となる物体に、このテンプレートをあてはめて物体判別処理を実行する（ステップＳ４０６）。
【００５４】
ここで、ステップＳ４０３の説明に戻ると、物体検出装置１４によって、現フレーム画像内から判別の対象となる物体を検出されなければ（ステップＳ４０３否定）、次の画像が入力されるのを待つ。
【００５５】
なお、以上に説明した処理は、画像の入力がある限り繰り返し行われ、画像の入力がなければ、物体判別装置３０は処理を終了する。また、物体判別処理（テンプレートのあてはめ）の途中で次の画像が入力された場合には、物体判別処理を中止し次の画像に対して処理を開始する。
【００５６】
［実施例１の効果］
上述してきたように、実施例１によれば、この物体判別装置３０は、判別の対象となる画像内の物体までの距離ごとに複数のテンプレート記憶し、画像内に映し出された物体までの距離を検出し、その距離に合わせたテンプレートを選択してから、そのテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を効率的に行うことが可能となる。さらに、この物体判別装置は、画像内の物体を検出し、検出された物体までの距離に基づいてパターンマッチングを行うので、道路領域が特定できなくとも効率よくテンプレートマッチングを行うことができ、物体が検出されたかどうかに関わらずテンプレートマッチングを行うのに比べ処理効率をよくすることが可能となる。
【００５７】
また、実施例１によれば、この物体判別装置は、次の画像が入力されるまで、優先テーブルに基づいて、様々な要因（例えば、物体までの距離や物体の大きさ）に合わせて選択したテンプレートを順にあてはめることにより物体判別を行うので、現時点で行っている処理より優先すべき次の画像に対して物体判別を開始することが可能となる。
【実施例２】
【００５８】
さて、これまで実施例１に係る物体判別装置について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として、種々の異なる実施例を（１）〜（６）に区分けして説明する。
【００５９】
（１）テンプレートの種別
上記の実施例では、画像内の物体までの距離ごとに複数のテンプレートを記憶し、物体までの距離を検出し、その距離に合わせて選択したテンプレートをあてはめて物体判別を行う場合について説明したが、本発明はこれに限定されるものではなく、画像内の物体までの距離および種別ごとに複数のテンプレートを記憶し、物体までの距離を検出し、その距離に合わせたテンプレートを種類別に選択して、これらのテンプレートをあてはめて物体判別を行うようにしてもよい。以下に、この場合の物体判別装置について説明する。
【００６０】
具体的には、図５に例示するように、この物体判別装置は、画像内の物体までの距離および種別（子供用および大人用）ごとに複数のテンプレートを記憶する。そして、この物体判別装置は、画像内の物体までの距離（例えば、１０ｍ）を検出し、その距離に合わせて子供用および大人用のテンプレートを選択し、判別の対象として検出された物体に両者のテンプレートをあてはめて物体判別を行う。これにより、パターンマッチング手法による物体判別を種別の異なるものについても効率的に行うことが可能となる。
【００６１】
（２）物体の大きさに合わせたテンプレート
上記の実施例では、画像内の物体までの距離ごとに複数のテンプレートを記憶し、物体までの距離を検出し、その距離に合わせて選択したテンプレートをあてはめて物体判別を行う場合について説明したが、本発明はこれに限定されるものではなく、画像内の物体までの距離および物体の大きさごとに複数のテンプレート記憶し、物体までの距離および物体の大きさを検出し、その距離および大きさに合わせて選択したテンプレートを、判別の対象として検出された物体にあてはめて物体判別を行うようにしてもよい。以下に、この場合の物体判別装置について説明する。
【００６２】
具体的には、図６に例示するように、この物体判別装置は、画像内の物体までの距離および物体の大きさ（例えば、１６０ｃｍあるいは１８０ｃｍ）ごとに複数のテンプレートを記憶する。そして、この物体判別装置は、画像内の物体までの距離（例えば、１０ｍ）および大きさ（例えば、１８０ｃｍ、画像内の物体までの距離および画像内に撮像されているその物体の縦方向の画像上の間隔、あるいは、画素数からテンプレート選択部が割り出す）を検出し、その距離および大きさに合わせてテンプレートを選択し、判別の対象として検出された物体にこのテンプレートをあてはめて物体判別を行う。これにより、パターンマッチング手法による物体判別をより効率的に行うことが可能となる。
【００６３】
（３）テンプレートの態様
上記の実施例では、画像内の物体までの距離ごとに複数のテンプレートを記憶し、物体までの距離を検出し、その距離に合わせて選択したテンプレートをあてはめて物体判別を行う場合について説明したが、本発明はこれに限定されるものではなく、画像内の物体までの距離ごとに態様の異なる一群のテンプレートを記憶し、画像内の物体までの距離を検出し、その距離に合わせて選択した態様の異なる一群のテンプレートをあてはめて物体判別を行うようにしてもよい。以下にこの場合の物体判別装置について説明する。
【００６４】
具体的には、図７に例示するように、この物体判別装置は、画像内の物体までの距離ごとに態様の異なる一群のテンプレート（例えば、立っている人を判別するテンプレートや走っている人を判別するテンプレートなど）を記憶する。そして、この物体判別装置は、画像内までの距離（例えば、１０ｍ）を検出し、その距離に合わせてこれら態様の異なる一群のテンプレートを選択し、判別の対象として検出された物体にこれら一群のテンプレートをあてはめて物体判別を行う。これにより、パターンマッチング手法による物体判別を物体の態様も踏まえて効率的に行うことが可能となる。
【００６５】
なお、上記の（１）〜（３）において、物体までの距離および物体の種別ごとにテンプレートを記憶する場合、物体までの距離および物体の大きさごとにテンプレートを記憶する場合、あるいは、物体までの距離ごとに態様の異なる一群のテンプレートを記憶する場合について説明したが、本発明はこれに限定されるものではなく、具体的には、この物体判別装置は、図８に例示するように、物体までの距離、物体の種別、物体の大きさおよび物体の態様に合わせてテンプレート記憶するようにしてもよい。これにより、物体判別を様々な状況を踏まえてより効率的に行うことが可能となる。
【００６６】
（４）テンプレートをあてはめの優先制御
上記の実施例では、画像内から物体を検出すると、物体までの距離に合わせて選択したテンプレートをあてはめて物体判別を行う場合について説明したが、本発明はこれに限定されるものではなく、画像内から判別の対象となる物体が複数検出された場合に、いずれの物体から優先的に判別を行うかを制御するようにしてもよい。以下に、この場合の物体判別装置について説明する。
【００６７】
具体的には、図９に例示するように、この物体判別装置は、現フレーム画像から判別の対象となる物体の検出を行う（図９の（１）参照）。続いて、この物体判別装置は、画像内から検出された物体までの距離を求めて、物体までの距離の近い順にラベリングを行う（図９の（２）参照）。ここで、ラベリングは、図１０に例示すような優先テーブルに基づいて行う。この優先テーブルは、画像内に判別の対象となる物体が複数存在する場合に、いずれの領域から順次優先的にテンプレートあてはめるかを規定し、例えば、テンプレートあてはめる順番（距離が近いものから遠い順に）を記憶して構成される。そして、この物体判別装置は、画像内の物体までの距離に応じたテンプレートを選択して、画像内の物体にラベリング順にそのテンプレートをあてはめて物体判別を行う（図９の（３）参照）。
【００６８】
このように、物体が検出されたいずれの領域から優先的にテンプレートをあてはめて物体判別を行うかを規定した優先テーブルに基づいて、順次優先的に様々な要因（例えば、物体までの距離や物体の大きさ）に合わせて選択したテンプレートをあてはめることにより物体判別を行うので、優先的に物体判別を行うべき画像内の領域からテンプレートをあてはめて物体判別を行うことができ、物体判別をより効率的に行うことが可能となる。また、画像内の物体までの距離が最小である領域から優先的にテンプレートのあてはめを行うように規定した優先テーブルに基づいて、順次優先的にテンプレートをあてはめて物体判別を行うので、物体判別の必要性の高い近距離の物体からより効率的に物体判別を行うことが可能となる。
【００６９】
（５）装置構成
図２に示した物体判別装置３０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、物体判別装置３０の分散・統合の具体的形態は図示のものに限られず、例えば、テンプレート選択部３２ａと物体判別部３２ｂを統合し、あるいは、物体検出装置１４と物体判別装置３０を統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、物体判別装置３０にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００７０】
（６）物体判別プログラム
ところで、上記の実施例１で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーション（例えば、車載用のコンピュータ）などのコンピュータシステムで実行することによって実現することができる。そこで、以下では、図１０を用いて、上記の実施例１と同様の機能を有する物体判別プログラムを実行するコンピュータの一例を説明する。図１１は、物体判別プログラムを実行するコンピュータを示す図である。
【００７１】
同図に示すように、物体判別装置としてのコンピュータ４０は、ＨＤＤ４１、ＲＡＭ４２、ＲＯＭ４３およびＣＰＵ４４をバス５０で接続して構成される。
【００７２】
そして、ＲＯＭ４３には、上記の実施例１に示した物体判別装置３０と同様の機能を発揮する物体判別プログラム、つまり、図１１に示すように、テンプレート選択プログラム４３ａおよび物体判別プログラム４３ｂがあらかじめ記憶されている。なお、これらのプログラム４３ａおよび４３ｂについては、図２に示した物体判別装置３０の各構成要素と同様、適宜統合または分散してもよい。なお、ＲＯＭ４３は、不揮発性の「ＲＡＭ」でもよい。
【００７３】
そして、ＣＰＵ４４が、これらのプログラム４３ａおよび４３ｂをＲＯＭ４３から読み出して実行することで、図１１に示すように、各プログラム４３ａおよび４３ｂは、テンプレート選択プロセス４４ａおよび物体判別プロセス４４ｂとして機能するようになる。なお、各プロセス４４ａおよび４４ｂは、図２に示したテンプレート選択部３２ａおよび物体判別部３２ｂにそれぞれ対応する。
【００７４】
また、ＨＤＤ４１には、図１１に示すように、テンプレートテーブル４１ａが設けられる。このテンプレートテーブル４１ａは、図２に示したテンプレート記憶部３１ａに対応する。そして、ＣＰＵ４４はテンプレートテーブル４１ａから、テンプレートデータ４２ａを読み出してＲＡＭ４２に格納し、ＲＡＭ４２に格納されたテンプレートデータ４２ａに基づいて物体判別処理を実行する。
【００７５】
なお、上記した各プログラム４３ａおよび４３ｂについては、必ずしも最初からＲＯＭ４３に記憶させておく必要はなく、例えば、コンピュータ４０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータ４０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ４０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ４０がこれらから各プログラムを読み出して実行するようにしてもよい。
【００７６】
また、上記の実施例では、車載の撮像装置で撮像された画像内の物体を判別する場合について説明したが、本発明はこれに限定されるものではなく、固定式の撮像装置（例えば、交差点に取り付けられた交通流監視カメラ）で撮像された物体を判別するようにしてもよい。
【産業上の利用可能性】
【００７７】
以上のように、本発明に係る物体判別装置、物体判別方法および物体判別プログラムは、画像内の所定の領域にテンプレートをあてはめて当該領域内の物体を判別する場合に有用であり、特に、パターンマッチング手法による物体判別を効率的に行うことに適する。
【図面の簡単な説明】
【００７８】
【図１】実施例１に係る物体判別装置の概要を説明するための図である。
【図２】実施例１に係る物体判別装置の構成を示すブロック図である。
【図３】実施例１に係るテンプレートの構成例を示す図である。
【図４】実施例１に係る物体判別装置の処理の流れを示すフローチャートである。
【図５】実施例２に係る物体の種別を考慮した記憶したテンプレートの構成例を示す図である。
【図６】実施例２に係る物体の大きさを考慮した記憶したテンプレート構成例を示す図である。
【図７】実施例２に係る物体の態様を考慮した記憶したテンプレートの構成例を示す図である。
【図８】実施例２に係る種々の要因を考慮した記憶したテンプレートの構成例を示す図である。
【図９】実施例２に係る判別の対象となる複数の領域に対してテンプレートをあてはめる順番を制御する場合の概要を説明するための図である。
【図１０】実施例２に係る優先テーブルの構成例を示す図である。
【図１１】物体判別プログラムを実行するコンピュータを示す図である。
【符号の説明】
【００７９】
１０  撮像装置
１１  ナビ（ナビゲーション）部
１２  レーダ部
１３  前処理部
１３ａ  フィルタ部
１３ｂ  輪郭抽出部
１４  物体検出装置
１５  衝突危険度判定部
１６  車両制御部
１７  報知制御部
１８  車内通知部
３０  物体判別装置
３１  記憶部
３１ａ  テンプレート記憶部
３２  制御部
３２ａ  テンプレート選択部
３２ｂ  物体判別部
４０  コンピュータ
４１  ＨＤＤ（Hard disk drive）
４２  ＲＡＭ（Random Access Memory）
４３  ＲＯＭ（Read Only Memory）
４４  ＣＰＵ（Central Processing Unit）
５０  バス
【図１】
2007072665.tif 000003
【図２】
2007072665.tif 000004
【図３】
2007072665.tif 000005
【図４】
2007072665.tif 000006
【図５】
2007072665.tif 000007
【図６】
2007072665.tif 000008
【図７】
2007072665.tif 000009
【図８】
2007072665.tif 000010
【図９】
2007072665.tif 000011
【図１０】
2007072665.tif 000012
【図１１】
2007072665.tif 000013