(57)【要約】【課題】  処理負担を軽減してコストの増大を防止した移動物体検出装置を提供する。【解決手段】  移動物体検出装置１は、車両周囲を撮像して得られた画像についてエッジ処理し、画像中のエッジ位置を時刻情報と共に時系列的に記録する。そして、時系列的に記録したエッジ位置及び時刻情報から、エッジの移動速度及び移動方向を検出して、移動物体の飛び出しを検出する。【選択図】      図１
2006072638.tif 000002
【特許請求の範囲】
【請求項１】
車両周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像についてエッジ処理するエッジ検出手段と、
前記エッジ検出手段によりエッジ処理された画像を入力し、画像中のエッジ位置を時刻情報と共に時系列的に記録するエッジ移動履歴作成手段と、
前記エッジ移動履歴作成手段により時系列的に記録されたエッジ位置及び時刻情報から、エッジの移動速度及び移動方向を検出する速度方向検出手段と、
前記速度方向検出手段により検出された移動速度、及び移動方向に基づいて、移動物体の飛び出しを検出する飛び出し検出手段と、
を備えることを特徴とする移動物体検出装置。
【請求項２】
前記エッジ検出手段は、画像所定方向に伸びるエッジを検出すると共に、前記撮像手段が車両周囲のいずれの方向を撮像しているかに基づいて、前記画像所定方向を決定することを特徴とする請求項１に記載の移動物体検出装置。
【請求項３】
前記エッジ履歴作成手段は、時系列的に記録したエッジ位置及び時刻情報を初期化する機能を有し、ハンドル切り角の情報、ヨーレートセンサからの情報、左右の車輪回転差の情報、ターンシグナルの情報、及び、道路地図と自車位置との情報のうち、少なくとも１つの情報に基づいて初期化を行うことを特徴とする請求項１又は請求項２のいずれかに記載の移動物体検出装置。
【請求項４】
前記速度方向検出手段は、エッジの移動速度を検出するにあたり速度検出領域を設定し、天候情報、時間帯情報、画像中の輝度情報のうち少なくとも１つ情報に基づいて画像のＳＮ比の低下を検出した場合には、前記速度検出領域を大きくすることを特徴とする請求項１〜請求項３のいずれか１項に記載の移動物体検出装置。
【請求項５】
前記飛び出し検出手段は、自車両の位置情報と共に、自車両が走行する道路の道幅、歩道の有無、及び車線数、並びに、天候情報、及び時間帯情報のうち少なくとも１つの情報に基づいて、移動物体として検出したものがノイズであるか否かを判定することを特徴とする請求項１〜請求項４のいずれか１項に記載の移動物体検出装置。
【請求項６】
車両周囲を撮像して得られた画像についてエッジ処理し、画像中のエッジ位置を時刻情報と共に時系列的に記録し、時系列的に記録したエッジ位置及び時刻情報から、エッジの移動速度及び移動方向を検出して、移動物体の飛び出しを検出することを特徴とする移動物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体検出装置に関する。
【背景技術】
【０００２】
従来、撮像画像から障害物の存在しない移動可能な領域を抽出する移動可能空間抽出部と、移動している障害物を抽出する移動障害物抽出部と、これら抽出部の出力に基づいて障害物の位置及び方向を求めて障害物の飛び出しを検出する移動物体検出装置が知られている。この装置では、移動物体の飛び出し検出にあたり、オプティカルフローを検出し、そのオプティカルフローの消失点を検出するようにしている（例えば特許文献１参照）。
【特許文献１】特開平９−２５９２８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来装置では、オプティカルフローを検出して消失点を求めなくてはならず、処理負担が少なくなく、ハード化にあたりコストの増大を招いてしまう。
【０００４】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、処理負担を軽減してコストの増大を防止した移動物体検出装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の移動物体検出装置は、撮像手段と、エッジ検出手段と、エッジ移動履歴作成手段と、速度方向検出手段と、飛び出し検出手段とを備えている。撮像手段は車両周囲を撮像し、エッジ検出手段は撮像手段により撮像された画像についてエッジ処理するものである。また、エッジ移動履歴作成手段は、エッジ検出手段によりエッジ処理された画像を入力し、画像中のエッジ位置を時刻情報と共に時系列的に記録するものである。速度方向検出手段は、エッジ移動履歴作成手段により時系列的に記録されたエッジ位置及び時刻情報から、エッジの移動速度及び移動方向を検出する構成となっている。そして、飛び出し検出手段は、速度方向検出手段により検出された移動速度、及び移動方向に基づいて、移動物体の飛び出しを検出する構成となっている。
【発明の効果】
【０００６】
本発明によれば、撮像した画像をエッジ処理し、エッジの移動速度と移動方向とを検出している。このため、物体などの移動速度及び移動方向を検出していることとなる。そして、検出したエッジの移動速度と移動方向とから、移動物体の飛び出しを検出している。このため、物体などの移動速度及び移動方向に基づいて、移動物体の飛び出しを検出することとなる。このように、本発明では、オプティカルフローの算出及び消失点の算出など、負担の大きい処理が実行されず、エッジ検出し、その動きを判断するのみであるため、処理負担を軽減してコストの増大を防止した移動物体検出装置を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一又は同様の要素には同一の符号を付して説明を省略する。
【０００８】
図１は、本発明の実施形態に係る移動物体検出装置の構成図である。同図に示す移動物体検出装置１は、人、動物、車両などの移動物体を検出するものであって、好適には自動車に搭載され、運転者に移動物体の飛び出しを警報するものとして用いられる。
【０００９】
具体的に移動物体検出装置１は、車両周囲を撮像するカメラ（撮像手段）１０、及びカメラ１０により撮像された画像についてエッジ処理するエッジ検出部（エッジ検出手段）２０を備えている。
【００１０】
また、移動物体検出装置１は、エッジ検出部２０によりエッジ処理された画像を入力し、画像中のエッジ位置を時刻情報と共に時系列的に記録するエッジ移動履歴計算部（エッジ移動履歴作成手段）３０、及びエッジ移動履歴計算部３０により時系列的に記録されたエッジ位置及び時刻情報から、エッジの移動速度及び移動方向を検出する速度検出部（速度方向検出手段）４０を備えている。
【００１１】
さらに、移動物体検出装置１は、速度検出部４０により検出された移動速度及び移動方向に基づいて、移動物体の飛び出しを検出する危険物検出部（飛び出し検出手段）５０、及び危険物検出部５０により移動物体の飛び出しを検出した場合、その旨を音声等により報知する警報部６０を備えている。
【００１２】
すなわち、移動物体検出装置１は、エッジ検出を行い、そのエッジの移動速度等を判断し、移動物体の飛び出しを検出する構成となっている。
【００１３】
ここで、上記のエッジ検出部２０は、画像所定方向に伸びるエッジを検出する構成となっている。この画像所定方向はカメラ１０の撮像方向により決定される。通常、移動物体の飛び出しは車両の側方から発生する。このため、エッジ検出部２０は、カメラ１０が車両前方を撮像している場合、画像横方向に物体の移動を検出できるように、画像縦方向に伸びるエッジを検出すると決定する。また、エッジ検出部２０は、カメラ１０が車両側方を撮像している場合、自車両に接近する物体を検出できるように、画像横方向に伸びるエッジを検出すると決定する。
【００１４】
また、エッジ移動履歴計算部３０は、時系列的に記録したエッジ位置及び時刻情報を初期化する機能を有している。この初期化は、ハンドル切り角の情報、ヨーレートセンサからの情報、左右の車輪回転差の情報、ターンシグナルの情報、及び、道路地図と自車位置との情報のうち、少なくとも１つの情報に基づいて行われる。すなわち、エッジ移動履歴計算部３０は、ハンドルの切り角等により撮像する方向自体が変わってしまったことが検出された場合、過去に記録したエッジ位置及び時刻情報が移動物体の検出に意味を為さなくなるため、初期化を行うこととしている。
【００１５】
さらに、上記の速度検出部４０は、エッジの移動速度を検出するにあたり速度検出領域を設定し、この領域内のエッジから移動速度を検出する構成となっている。また、速度検出部４０は、天候情報、時間帯情報、画像中の輝度情報のうち少なくとも１つ情報を入力する構成となっている。そして、速度検出部４０は、入力した情報に基づいて画像のＳＮ比の低下を検出した場合、すなわちノイズの影響が強くなった場合、速度検出領域を大きくするようになっている。これにより、速度検出部４０はエッジの情報量を多くして、ノイズによる誤検出の影響を低減するようになっている。
【００１６】
また、危険物検出部５０は、自車両の位置情報と共に、自車両が走行する道路の道幅、歩道の有無、及び車線数、並びに、天候情報、及び時間帯情報のうち少なくとも１つの情報に基づいて、移動物体として検出したものがノイズであるか否かを判定する構成となっている。例えば片側２車線の道路において自車両が右側の車線を走行している場合、移動物体の飛び出しは左側から発生する可能性が高いこととなる。このため、危険物検出部５０は、右側から移動物体の飛び出しを検出した場合にはノイズである可能性が高いと判断する。他方、危険物検出部５０は、左側から移動物体の飛び出しを検出した場合にはノイズでないと判断する。このように、危険物検出部５０は、飛び出しの発生確率を判断して、適切な飛び出し検出を行うように構成されている。
【００１７】
次に、本実施形態に係る移動物体検出装置１の動作について説明する。なお、以下の説明においてカメラ１０は車両前方方向を撮像し、エッジ検出部２０は画像縦方向に伸びるエッジ検出するものとする。
【００１８】
まず、カメラ１０は車両周囲を撮像して、車両前方方向の画像を取得する。次いで、エッジ検出部２０は、エッジ処理して画像縦方向に伸びるエッジを検出する。そして、カメラ１０及びエッジ検出部２０は上記処理を繰り返して順次エッジ検出していく。
【００１９】
次に、エッジ移動履歴計算部３０は、エッジ検出部２０によりエッジ処理された画像を順次入力し、画像中のエッジ位置を時刻情報と共に時系列的に記録していく。
【００２０】
ここで、エッジ移動履歴計算部３０に記録されるエッジ位置及び時刻情報を説明する。図２は、エッジ移動履歴計算部３０により記録の様子を示す説明図であって、（ａ）は時刻ｔ−２における記録の様子を示し、（ｂ）は時刻ｔ−１における記録の様子を示し、（ｃ）は時刻ｔにおける記録の様子を示している。
【００２１】
まず、図２（ａ）に示すように、時刻ｔ−２において位置ｘ１でエッジがエッジ検出部２０により検出されたとすると、エッジ移動履歴計算部３０は、このエッジ位置ｘ１を移動履歴として記録する。さらに、エッジ移動履歴計算部３０は、エッジ位置ｘ１について時刻情報ｈを付与する。このとき、エッジ移動履歴計算部３０は、エッジ位置ｘ１について「時刻情報ｈ＝１」とする。
【００２２】
次に、図２（ｂ）に示すように、時刻ｔ−１において位置ｘ２でエッジがエッジ検出部２０により検出されたとすると、エッジ移動履歴計算部３０は、このエッジ位置ｘ２を移動履歴として記録する。また、このとき、エッジ移動履歴計算部３０は、時刻ｔ−２において検出されたエッジ位置ｘ１について「時刻情報ｈ＝１＋Ｈ」とし、時刻ｔ−１において検出されたエッジ位置ｘ２について「時刻情報ｈ＝１」とする。
【００２３】
さらに、図２（ｃ）に示すように、時刻ｔにおいて位置ｘ３でエッジがエッジ検出部２０により検出されたとすると、エッジ移動履歴計算部３０は、このエッジ位置ｘ３を移動履歴として記録する。また、このとき、エッジ移動履歴計算部３０は、時刻ｔ−２において検出されたエッジ位置ｘ１について「時刻情報ｈ＝１＋２Ｈ」とし、時刻ｔ−１において検出されたエッジ位置ｘ２について「時刻情報ｈ＝１＋Ｈ」とする。そして、時刻ｔにおいて検出されたエッジ位置ｘ３について「時刻情報ｈ＝１」とする。
【００２４】
このように、エッジ移動履歴計算部３０は、エッジ位置を時刻情報と共に時系列的に記録していくこととなる。なお、この記録の過程において、エッジ移動履歴計算部３０は、ハンドルの切り角等の情報を入力し、撮像する方向自体が変わってしまった場合には、履歴の初期化を行うこととなる。
【００２５】
次いで、速度検出部４０は、エッジ移動履歴計算部３０により時系列的に記録されたエッジ位置及び時刻情報から、エッジの移動速度及び移動方向を検出する。ここで、エッジの移動速度はエッジ位置を移動時間で除することにより求めることができる。
【００２６】
このとき、速度検出部４０は、移動履歴全てを参照するわけではなく、エッジの移動速度を検出するにあたり速度検出領域を設定する。そして、速度検出部４０は、この領域内において検出されたエッジ位置及び時刻情報から、エッジの移動速度及び移動方向を検出する。また、速度検出部４０は、天候情報、時間帯情報、画像中の輝度情報のうち少なくとも１つ情報を入力し、入力した情報に基づいて画像のＳＮ比の低下を検出すると、速度検出領域を大きくして、ノイズによる誤検出の影響を低減する。すなわち、速度検出部４０は、速度検出領域を大きくすることで、エッジの移動速度及び移動方向を検出するための情報量を多くして、ノイズによる影響を少なくすることとなる。
【００２７】
そして、エッジの移動速度及び移動方向を検出した後、危険物検出部５０は移動物体の飛び出しを検出する。図３は、危険物検出部５０による飛び出し検出処理の説明図である。
【００２８】
危険物検出部５０は、検出した移動方向から、移動物体が自車両に接近しているか否かを判定する。例えば、カメラ１０が車両前方方向を撮像している場合において図３に示すようにエッジａ及びエッジｂが検出され、それらエッジａ，ｂが画像左方向に移動しているとする。
【００２９】
まず、画像左端近傍にあるエッジａは画像中央部から遠ざかる方向に移動している。このため、カメラ１０が車両前方方向を撮像していることからすると、エッジａは自車両から遠ざかる方向に移動しているといえる。故に、危険物検出部５０はエッジａについて移動物体の飛び出しと検出しない。
【００３０】
他方、画像のやや右側にあるエッジｂは画像中央部に近づく方向に移動している。このため、カメラ１０が車両前方方向を撮像していることからすると、エッジｂは自車両に近づく方向に移動しているといえる。故に、危険物検出部５０はエッジｂについて移動物体の飛び出しと検出する。
【００３１】
なお、危険物検出部５０は、自車両の位置情報と共に、自車両が走行する道路の道幅、歩道の有無、及び車線数、並びに、天候情報、及び時間帯情報のうち少なくとも１つの情報に基づいて、移動物体として検出したものがノイズであるか否かを判定する。具体的に危険物検出部５０は、図３の説明においてエッジｂを移動物体の飛び出しとして検出しているが、例えば片側２車線の道路において自車両が右側の車線を走行している場合、右側から移動物体の飛び出しは、中央分離帯などの存在により発生しにくいこととなる。このため、片側２車線の道路の右側車線を走行しているような場合、危険物検出部５０は、エッジｂをノイズと判定することとなる。
【００３２】
また、危険物検出部５０は、天候や時間帯に応じて飛び出しが発生する可能性を判断して、上記同様の処理をする。例えば、小学校などに隣接する道路を走行する場合、登校及び下校時刻には移動物体の飛び出しの可能性が増す。また、運動公園などに隣接する道路を走行する場合、晴天であると移動物体の飛び出しの可能性が増し、雨天であると移動物体の飛び出しの可能性が減る。そして、危険物検出部５０は、このような飛び出しが発生する可能性を判断して、上記同様の処理をする。
【００３３】
次いで、警報部６０は、危険物検出部５０により移動物体の飛び出しが検出された場合、その旨を車両乗員に報知する。そして、車両乗員に移動物体に対する迅速な対応を促すこととなる。
【００３４】
次に、本実施形態に係る移動物体検出装置１の詳細処理の一例を説明する。図４は、本実施形態に係る移動物体検出装置１の詳細処理の一例を示すフローチャートである。
【００３５】
まず、車両のイグニッションスイッチ等がオンされて本装置１が起動すると、カメラ１０が車両周囲を撮像して画像を取得する（ＳＴ１）。次いで、エッジ検出部２０はエッジ処理を行ってエッジ位置を検出する（ＳＴ２）。
【００３６】
そして、エッジ移動履歴計算部３０は、ステップＳＴ２において得られたエッジ位置を時刻情報と共に記録して、移動履歴を更新する（ＳＴ３）。その後、速度検出部４０は、エッジの移動速度及び移動方向を検出する（ＳＴ４）。そして、危険物検出部５０は、速度検出部４０により検出されたエッジの移動速度及び移動方向に基づいて、飛び出し物体があるか否かを判断する（ＳＴ５）。すなわち、図３を参照して説明したように、危険物検出部５０は、移動方向からエッジが自車両に接近しているか否かを判断する。また、エッジの移動速度から、自車両に衝突する可能性があるか否かについても判断する。
【００３７】
そして、危険物検出部５０は、上記判断の結果、エッジの発生源となった物体が自車両に接近していない又は自車両に衝突する可能性がないと判断した場合、飛び出し物体が無かったと判断する（ＳＴ５：ＮＯ）。そして、本装置１は処理をステップＳＴ７に進める。
【００３８】
他方、危険物検出部５０は、上記判断の結果、エッジの発生源となった物体が自車両に接近し且つ自車両に衝突する可能性があると判断した場合、飛び出し物体があったと判断する（ＳＴ５：ＹＥＳ）。そして、危険物検出部５０は、そのエッジを飛び出し物体として検出する（ＳＴ６）。次いで、危険物検出部５０は、飛び出し物体の情報を警報部６０に送信し、警報部６０にその情報を報知させる。
【００３９】
その後、本装置１は、継続条件を満たしているか否かを判断する（ＳＴ７）。ここで、本装置１は、継続条件として、装置の起動条件、及び撮像方向の変更条件を満たしているか否かを判断する。すなわち、本装置１は、例えばイグニッションスイッチ等がオフされた場合、装置の起動条件を満たさないことから、継続条件を満たさないと判断し（ＳＴ７：ＮＯ）、処理を終了させる。また、本装置１は、例えばエッジ移動履歴計算部３０が左右の車輪の回転差などから車両の方向転換を検出した場合、移動履歴を初期化すると共に継続条件を満たさないと判断し（ＳＴ７：ＮＯ）、処理を終了させる。なお、この場合には、再度ステップＳＴ１から処理を開始し、エッジ検出及び移動履歴の更新を行っていく。
【００４０】
一方、本装置１は、継続条件としての装置の起動条件及び撮像方向の変更条件を満たしていると判断した場合（ＳＴ７：ＹＥＳ）、Δｔ時間の待機状態となる（ＳＴ８）。そして、待機後、本装置１は、再度ステップＳＴ１から処理を繰り返すこととなる。
【００４１】
このようにして、本実施形態に係る移動物体検出装置１によれば、撮像した画像をエッジ処理し、エッジの移動速度と移動方向とを検出している。このため、物体などの移動速度及び移動方向を検出していることとなる。そして、検出したエッジの移動速度と移動方向とから、移動物体の飛び出しを検出している。このため、物体などの移動速度及び移動方向に基づいて、移動物体の飛び出しを検出することとなる。このように、本実施形態では、オプティカルフローの算出及び消失点の算出など、負担の大きい処理が実行されず、エッジ検出し、その動きを判断するのみであるため、処理負担を軽減してコストの増大を防止した移動物体検出装置を提供することができる。
【００４２】
また、カメラ１０の撮像方向に基づいて、エッジ処理する画像方向を決定しているので、通常、移動物体の飛び出しは車両の側方から発生することを考慮すると、カメラ１０が車両前方を撮像している場合、画像横方向に物体の移動を検出できるように、画像縦方向に伸びるエッジを検出するれば良いこととなる。また、カメラ１０が車両側方を撮像している場合は、自車両に接近する物体を検出できるように、画像横方向に伸びるエッジを検出すれば良いこととなる。これにより、本実施形態では、エッジ処理にあたり移動物体の検出に必要となる方向のエッジを検出することで、適切な飛び出し検出を行うことができ、更には他の方向についてはエッジ処理せず、一層処理負荷を軽減することができる。
【００４３】
また、エッジ移動履歴計算部３０は、ハンドル切り角の情報、ヨーレートセンサからの情報、左右の車輪回転差の情報、ターンシグナルの情報、及び、道路地図と自車位置との情報のうち、少なくとも１つの情報に基づいて時系列的に記録したエッジ位置及び時刻情報を初期化する。ここで、撮像する方向自体が変わってしまったことが検出された場合、過去に記録したエッジ位置及び時刻情報は移動物体の検出に意味を為さなくなる。このため、エッジ移動履歴計算部３０は、上記情報のいずれかに基づいてカメラ１０の撮像方向の変化を検出した場合には初期化を行うこととしている。これにより、車両の動きに合わせて適切な飛び出し検出をすることができる。
【００４４】
また、エッジの移動速度を検出するにあたり速度検出領域を設定し、天候情報、時間帯情報、画像中の輝度情報のうち少なくとも１つ情報に基づいて画像のＳＮ比の低下を検出した場合には、速度検出領域を大きくする。このように、速度検出領域を大きくすることで、エッジの移動速度及び移動後方を検出するための情報量を多くして、ノイズによる影響を少なくすることとなる。従って、入力画像の変化に応じた速度検出等を行って、適切な飛び出し検出をすることができる。
【００４５】
また、危険物検出部５０は、自車両の位置情報と共に、自車両が走行する道路の道幅、歩道の有無、及び車線数、並びに、天候情報、及び時間帯情報のうち少なくとも１つの情報に基づいて、移動物体として検出したものがノイズであるか否かを判定する。ここで、例えば片側２車線の道路において自車両が右側の車線を走行している場合、移動物体の飛び出しは左側から発生する可能性が高いこととなる。他方、右側から移動物体の飛び出しは、中央分離帯などの存在により発生しにくいこととなる。このように、危険物検出部５０は、飛び出しの発生確率を判断できることとなる。従って、飛び出しの発生確率に基づくノイズの判定が可能となって、適切な飛び出し検出をすることができる。
【００４６】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では、移動物体検出装置１を車両に搭載した場合を例に説明したが、特にこれに限らず、例えば船舶や飛行機等に搭載されてもよい。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施形態に係る移動物体検出装置の構成図である。
【図２】エッジ移動履歴計算部により記録の様子を示す説明図であって、（ａ）は時刻ｔ−２における記録の様子を示し、（ｂ）は時刻ｔ−１における記録の様子を示し、（ｃ）は時刻ｔにおける記録の様子を示している。
【図３】危険物検出部による飛び出し検出処理の説明図である。
【図４】本実施形態に係る移動物体検出装置の詳細処理の一例を示すフローチャートである。
【符号の説明】
【００４８】
１…移動物体検出装置
１０…カメラ（撮像手段）
２０…エッジ検出部（エッジ検出手段）
３０…エッジ移動履歴計算部（エッジ移動履歴作成手段）
４０…速度検出部（速度方向検出手段）
５０…危険物検出部（飛び出し検出手段）
【図１】
2006072638.tif 000003
【図２】
2006072638.tif 000004
【図３】
2006072638.tif 000005
【図４】
2006072638.tif 000006