(57)【要約】【課題】  追跡初期の識別結果の信頼度も考慮に入れた高精度な対象物体検出・追跡装置を提案する。【解決手段】  追跡初期における識別値の総和を算出し、その識別値の総和がそれ以降の識別結果に反映されるようにする。つまり、候補領域の画像データが対象物体と一致しているか一致していないか、および、その信頼度を数値として示した追跡初期時における各フレームの識別値を用い、信頼度を加味した総合判定を行う。具体的には、追跡初期における識別値の総和の符号が正か負かで、候補領域の画像データが対象物体と一致するか否かを判定する。これにより、投票による総合判定と比較して、候補領域の画像データが対象物体と一致するか否かの判定を行うのに必要とされる計算コストの増加を最小限に抑えつつ、信頼度を考慮した高精度な対象物体の検出を行うことが可能となる。【選択図】        図２
2005354578.tif 000002
【特許請求の範囲】
【請求項１】
車両に備えられた車両進行方向の画像データを入力する画像入力手段（１、２）と、
前記画像入力手段から前記画像データを受け取り、その画像データから対象物体の候補となる領域を抽出する候補領域抽出手段（１１０）と、
前記候補領域抽出手段により抽出された候補領域を追跡する候補領域追跡手段（１１０）と、
前記候補領域追跡手段によって複数回追跡したときにおける前記候補領域の画像データそれぞれに対し、該候補領域の画像データが前記対象物体と一致するか一致しないかを識別する識別手段（１３０）と、
前記識別手段による前記複数回追跡したときにおける識別結果の総合判定を行うことで、前記抽出された候補領域の画像データが前記対象物体と一致するか一致しないかの総合判定を行う前記総合判定手段（１４０〜１６０）と、
前記総合判定手段での総合判定結果に基づいて、前記対象物体が存在することを報知する報知手段（４）とを有し、
前記識別手段は、前記複数回追跡したときにおける前記候補領域の画像データが前記対象物体と一致するか一致しないかの信頼度を前記識別結果として表すようになっており、
前記総合判定手段は、前記識別手段が表した信頼度を加味して前記総合判定を行うようになっており、
前記報知手段は、前記総合判定手段での総合判定結果が、前記候補領域の画像データが前記対象物体と一致するという判定結果であった場合に、その旨の報知を行うようになっていることを特徴とする対象物体検出・追跡装置。
【請求項２】
前記識別手段はサポートベクターマシンであり、前記候補領域における画像データを識別関数へ代入した際の値を候補領域の識別結果の信頼度として採用するようになっていることを特徴とする請求項１に記載の対象物体検出・追跡装置。
【請求項３】
前記識別手段は、前記信頼度を識別値の絶対値を用いて表し、前記信頼度が高い場合には前記識別値の絶対値が高い数値で表すと共に、前記候補領域の画像データが前記対象物体と一致する場合と一致しない場合とで正負の符号が異なるもので表すようになっており、
前記総合判定手段は、前記信頼度を加算したときの符号が対象物体の教師信号と同符号であった場合に、前記候補領域の画像データが前記対象物体と一致するという総合判定結果を出すようになっていることを特徴とする請求項１または２に記載の対象物体検出・追跡装置。
【請求項４】
前記総合判定手段は、前記判別手段による識別結果の中に前記対象物体あるいは非対称物体の信頼度が高いものがあれば、前記抽出された候補領域の画像データが前記対象物体あるいは非対称物体と一致するという総合判定結果を出すようになっていることを特徴とする請求項１に記載の対象物体検出・追跡装置。
【請求項５】
前記報知手段は、表示器（４）であり、前記画像入力手段が入力した画像データに基づいて車両進行方向の画像を表示すると共に、その画像中にドライバに対して注意を喚起する形態で前記対象物体を表示するようになっていることを特徴とする請求項１ないし４のいずれか１つに記載の対象物体検出・追跡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を用いた対象物体検出・追跡装置に関するもので、例えば、車載カメラなどで撮影された車両進行方向の画像データに基づいて対象物体となる車両や歩行者などの位置を検出し、それの追跡を行う対象物体検出・追跡装置に用いて好適である。
【背景技術】
【０００２】
従来、車載カメラなどで撮影された画像データから検出対象となる対象物体を検出し、追跡する手法として、非特許文献１に記載されたものが知られている。この文献では、入力された画像データから対象物体の候補となる領域（候補領域）を抽出し、候補領域に対してパターン識別を施すことで対象物体と一致するか一致しないかを識別し、一致するという結果が得られた場合には、その対象物体を追跡するという手法が示されている。
【０００３】
また、入力された画像データから対象物体の候補領域を抽出し、各領域を追跡し、追跡初期の一定フレーム数において、その候補領域に対してパターン識別を施し、その候補慮域における画像データが対象物体と一致するか一致しないかを識別して、それらの投票結果から最終的な識別結果を求めるもの、つまり、各フレーム毎の識別結果を多数決することで総合判定し、その候補領域の最終的な識別結果とするものもある。
【非特許文献１】Pedestrian Detection and Tracking with Night Vision, Fengliang Xu, Kikuo Fujimura，IEEE Intelligent Vehicle Symposium, Versailles, France, June 18-20, 2002
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記方法による識別では、単に各フレームごとの識別結果を多数決理論によって判定したものであるため、必ずしも有効なものであるとは限らない。例えば、候補領域が対象物体であるとした場合、追跡初期の識別結果に関して対象物体以外であるという低い信頼性を持った識別結果の数が多く、かつ、対象物体であるという高い信頼性を持った識別結果の数が少ない場合には、多数決理論でいえば、その候補領域の画像データは対象物体と一致しないという識別結果となってしまう。
【０００５】
本発明は上記点に鑑みて、追跡初期の識別結果の信頼度も考慮に入れた高精度な対象物体検出・追跡装置を提案することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１ないし５に記載の発明では、識別手段（１３０）は、複数回追跡したときにおける候補領域の画像データが対象物体と一致するか一致しないかの信頼度を識別結果として表すようになっており、総合判定手段（１４０〜１６０）は、識別手段が表した信頼度を加味して総合判定を行うようになっており、報知手段（４）は、総合判定手段での総合判定結果が、候補領域の画像データが対象物体と一致するという判定結果であった場合に報知を行うようになっていることを特徴としている。
【０００７】
このように、候補領域の画像データが対象物体と一致しているか一致していないかの識別したときの識別結果の信頼度を加味した総合判定を行うようにしている。これにより、信頼度を考慮した高精度な対象物体の検出を行うことが可能となる。
【０００８】
例えば、請求項２に示されるように、識別手段としてサポートベクターマシンを用いることができ、候補領域における画像データを識別関数へ代入した際の値を候補領域の識別結果の信頼度として採用することができる。
【０００９】
この場合、例えば、請求項３に示されるように、識別手段により、信頼度を識別値の絶対値を用いて表わされ、信頼度が高い場合には識別値の絶対値が高い数値で表されると共に、識別値の符号によって候補領域の画像データが対象物体か非対象物体かが表される。そして、総合判定手段にて、識別値を加算したときの値の符号が対象物体の教師信号と同符号である場合に、候補領域の画像データが対象物体と一致するという総合判定結果が出される。
【００１０】
このような対象物検出・追跡装置では、報知手段としての表示器（４）により、画像入力手段が入力した画像データに基づいて車両進行方向の画像が表示され、その画像中にドライバに対して注意を喚起する形態、例えば色を付した形態で対象物体が表示される。
【００１１】
なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付してある。
【００１３】
（第１実施形態）
本発明の一実施形態を適用した対象物体検出・追跡装置のブロック構成を図１に示す。      
【００１４】
図１に示されるように、対象物体検出・追跡装置は、２個のステレオカメラ１、２と、制御部３と、表示部４とを有して構成されている。
【００１５】
２個のステレオカメラ１、２は、車両に搭載されたもので、車両の進行方向、例えば前方の画像を異なる位置からの撮影を行い、前方画像をステレオ視による視差を用いて立体画像として捉えるためのものである。各ステレオカメラ１、２には、例えば２４０×６４０ドットのものが用いられている。これらステレオカメラ１、２の分解能は同等のものが用いられており、所定の撮影周期毎に１フレームの画像の撮影が行えるようになっている。これら２個のステレオカメラ１、２が入力した画像データが制御部３に入力されるようになっている。
【００１６】
制御部３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどを備えた周知のマイクロコンピュータによって構成されるものである。この制御部３では、ステレオカメラ１、２から入力された画像データに基づいて、画像データによって構成される入力画像から対象物体の候補となる領域を抽出したり、抽出された候補領域の追跡を行ったり、抽出された候補領域における画像データ（すなわち、この画像データによって示されるもの）が他車両や歩行者など検出対象となる対象物体と一致するか一致しないか及びその信頼性の識別、さらには、その識別結果から最終的に抽出された候補領域における画像データが対象物体と一致するか一致しないかの総合判定が行われる。そして、制御部３は、識別結果および総合判定結果から候補領域のうち対象物体と一致するという結果が得られた候補領域を、検出結果として、ステレオカメラ１、２から入力された画像データと共に表示部４に出力するようになっている。
【００１７】
表示部４は、ステレオカメラ１、２が撮影した画像中に対象物体として歩行者が存在することが確認された場合に、ドライバに対して注意を喚起できる形態でその歩行者を報知するためのものである。具体的には、表示部４は、制御部３からの画像データに基づいて、車両の進行方向の画像をモノクロで表示すると共に、制御部３からの検出結果に基づいて、その画像中に対象物体と一致するという結果が得られた候補領域を例えば色によって示せるように、画像に色を重ね合わせて表示する。
【００１８】
以上のようにして対象物体検出・追跡装置が構成されている。このような対象物体検出・追跡装置により、画像データ中に対象物体の候補領域が抽出されたのち、その候補領域が追跡され、追跡された候補領域の画像データが対象物体と一致するか一致しないかが判定されることで対象物体が検出される。そして、その検出結果に基づいて表示部４が表示する画像中に対象物体に色を付して示すことで、ドライバに対して対象物体を報知できるようになっている。
【００１９】
次に、このように構成される対象物体検出・追跡装置の作動について、図２に示すフローチャートを参照して詳細に説明する。このフローチャートに示される各処理は、例えば、対象物体検出・追跡装置を駆動するための図示しないスイッチがオンされると同時に制御部３で実行されるもので、例えば所定の制御周期毎に実行される。
【００２０】
ステップ１００では、ステレオカメラ１、２からの画像データの取得処理が実行される。これにより、２４０×６４０ドットの画像データが２つ分取得される。なお、この画像データを示す信号が必要に応じて信号処理されたのち表示部４に向けて出力され、表示部４にステレオカメラ１、２で得た立体画像の表示が行われるようになっている。
【００２１】
ステップ１１０では、ステップ１００で入力された２つの画像データから立体物を抽出し、追跡するための処理が実行される。この処理における立体物の抽出は、ステレオ視による視差を用いた一般的な手法で行われ、追跡は、画像データに基づいて、予め制御部３におけるＲＯＭなどに記憶させておいた対象物体のサンプルパターンとのパターンマッチングなど、一般的な手法で行われる。これにより、追跡するべき候補領域が設定されることになる。
【００２２】
ステップ１２０では、追跡するべき候補領域が含まれるフレーム数がＮ回、例えば３回または５回以下であるか否かが判定される。ここでいうＮ回とは、追跡初期時に相当する回数である。このステップで肯定判定された場合には、ステップ１３０に進み、候補領域に対してサポートベクターマシン（以下、ＳＶＭという）によるパターン識別を施すことで、各フレームそれぞれの候補領域に対する識別結果を得る。また、ＳＶＭとは、例えば、歩行者の訓練サンプルを＋１、歩行者以外の訓練サンプルを−１というように、様々な訓練サンプルを想定して予め学習させた識別関数を用い、その識別関数に画像データを入力することで、識別値を求める手法であり、例えば、サポートベクターマシン（電子情報通信学会誌, 83, 6, pp. 460--466, 2000参照）に示されるものである。識別値は、各フレームそれぞれの候補領域について、その候補領域の画像データが対象物体と一致しているか一致していないか、および、その信頼度を数値として示したもので、例えば、識別値の絶対値で表され、信頼度が高い場合には絶対値が大きく、低い場合には小さい絶対値で表されるようになっている。
【００２３】
図３に、ＳＶＭによる識別に関する概要図を示す。ＳＶＭにおいて、歩行者の訓練サンプルを＋１、歩行者以外の訓練サンプルを−１として学習を行った場合に、ＳＶＭによる学習によって構成された識別関数は、ｆ（ｘ）として表される。このとき、識別関数におけるｘが歩行者の場合にはｆ（ｘ）＞０、ｘが歩行者以外の場合にはｆ（ｘ）＜０として識別値が算出される。一般的に｜ｆ（ｘ）｜が小さいとき、特に｜ｆ（ｘ）｜＜１の場合は、その識別結果は信頼度が低いもので、逆に、｜ｆ（ｘ）｜が大きいとき、特に｜ｆ（ｘ）｜＞１の場合は、その識別結果は信頼度が高いものであるといえる。
【００２４】
そして、このステップの処理を終えるとステップ１４０に進み、今回求められた識別値が前回までの識別値の和に加算される。その後、ステップ１６０に進む。
【００２５】
一方、ステップ１２０において否定判定された場合には、既に追跡初期Ｎ回分の識別値が既に求められていることから、ステップ１５０に進む。そして、ステップ１５０において、その識別値の和の符号が取られ、その結果が現在対象としている候補領域の識別結果として採用される。その後、ステップ１６０に進む。
【００２６】
次に、ステップ１６０では、候補領域の識別結果が歩行者の場合には、その領域に色をつける等、ドライバに対して注意を喚起できるように、それを示す信号が出力される。これにより、ステレオカメラ１、２の画像データに合わせて、その画像中に色を付すための信号が出力され、表示部４で、歩行者と想定される候補領域に色が付された画像が表示されることになる。
【００２７】
この後、ステップ１７０において、追跡対象物体が画像上から消失したか否かが判定される。これにより、追跡対象物体が画像上から消失したと判定された場合には、本処理が終了され、消失していないと判定された場合には、再度ステップ１００からの処理が繰り返される。
【００２８】
上記のような処理が実行された場合における対象物体検出の概念図を図４に示す。この図は、ステップ１２０における追跡フレーム数を３回として設定した場合の候補領域の抽出および追跡結果と、その候補領域の識別値および検出結果を示したものである。
【００２９】
この図に示されるように、画像データ中に候補領域が存在するという初期検出が成された場合、その候補領域の画像データに関して識別関数を用いて識別値が求められる。そして、初期検出が成されると、そこから３フレーム分、候補領域の画像データに関して識別値が求められる。
【００３０】
例えば、図４に示されるように、１回目のフレームでは識別値が−０．１、２回目のフレームでは識別値が−０．２、３回目のフレームでは識別値が＋１．５のように求められる。このような場合、検出結果としては、１回目および２回目は識別値が負となることから、候補領域の画像データが対象物体と一致していないものと判定され、その部分が画像中において色が付されることはない。これに対し、３回目は候補領域の画像データが対象物体が正となり、候補領域の画像データが対象物体と一致するものと判定され、その部分が画像中において色が付されることになる。つまり、３回目のフレームでは、高い信頼度で候補領域の画像データが対象物体と一致するものと判定されたことを意味している。
【００３１】
そして、それ以後のフレーム（４フレーム以降）では、それ以前の３フレームでの識別値の総和となる＋１．２（＝（−０．１）＋（−０．２）＋（＋１．５））が用いられ、その総和が総合判定結果として用いられて、候補領域の画像データが対象物体と一致するか否かが判定されることになる。
【００３２】
以上説明した本実施形態における対象物体検出・追跡装置によれば、以下の効果を得ることができる。
【００３３】
従来の投票（多数決理論）による総合判定では、信頼度という情報が考慮に入れられておらず、その情報が欠損しているため、上記図４のように追跡初期において識別値が負になる回数の方が正になる回数よりも多くなると、信頼度が高い識別値があるにも関わらず、それが総合判定に反映されなくなってしまう。
【００３４】
これに対し、本実施形態の対象物体検出・追跡装置では、上記のように、追跡初期における識別値の総和を算出し、その識別値の総和がそれ以降の識別結果に反映されるようにしている。つまり、候補領域の画像データが対象物体と一致しているか一致していないか、および、その信頼度を数値として示した追跡初期時における各フレームの識別値を用い、信頼度を加味した総合判定を行うようにしている。具体的には、追跡初期における識別値の総和の符号が正か負かで、候補領域の画像データが対象物体と一致するか否かを判定するようにしている。
【００３５】
これにより、投票による総合判定と比較して、候補領域の画像データが対象物体と一致するか否かの判定を行うのに必要とされる計算コストの増加を最小限に抑えつつ、信頼度を考慮した高精度な対象物体の検出を行うことが可能となる。
【００３６】
なお、ここでは符号が正になる場合が候補領域の画像データが対象物体と一致するものとして説明したが、符号に関しては教師信号と同じ符号であるか否かによって決まるものであり、必ずしも正である必要はない。
【００３７】
（他の実施形態）
上記実施形態では、識別値の総和を求めることで、信頼度を総合判定に反映させるようにしているが、信頼度を加味して総合判定を行うようにするものであれば、他の形態であっても構わない。例えば、識別値の平均値を総合判定に用いたり、２乗平均を用いたりすることも可能である。
【００３８】
なお、各図中に示したステップは、各種処理を実行する手段に対応するものである。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１実施形態における対象物体検出・追跡装置のブロック構成を示す図である。
【図２】図１に示す対象物体検出・追跡装置に備えられる制御部３が実行する対象物体検出処理のフローチャートである。
【図３】ＳＶＭによる識別に関する概要図である。
【図４】ＳＶＭによる対象物体検出の概念図である。
【符号の説明】
【００４０】
１、２…ステレオカメラ、３…制御部、４…表示器。
【図１】
2005354578.tif 000003
【図２】
2005354578.tif 000004
【図３】
2005354578.tif 000005
【図４】
2005354578.tif 000006