(57)【要約】【課題】フレーム単位ではなく、過去のフレームにおける障害物検出処理の結果を考慮することにより、障害物の検出漏れ、又は誤検出を未然に防止することができる障害物検出システム、障害物検出方法及びコンピュータプログラムを提供する。【解決手段】車両の周辺を撮像する撮像装置で撮像した画像データの所定の領域と、障害物を示す領域との相関値を算出し、算出した相関値を、所定の領域に対応付けて時系列的に記憶する。記憶されている過去の複数時点の相関値を読み出し、障害物が存在するか否かの判断指標となる指標相関値を算出し、算出した指標相関値が所定の条件を具備するか否かを判断する。指標相関値が所定の条件を具備すると判断した場合、障害物が存在すると判断する。【選択図】図４
2007115129.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する撮像装置と、
該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を備える障害物検出システムにおいて、
前記検出装置は、
前記撮像装置から取得した画像データの所定の領域と、障害物を示す領域との相関値を算出する相関値算出手段と、
算出した相関値を、前記所定の領域に対応付けて時系列的に記憶する相関値記憶手段と、
記憶されている過去の複数時点の相関値を読み出し、障害物が存在するか否かの判断指標となる指標相関値を算出する指標相関値算出手段と、
算出した指標相関値が所定の条件を具備するか否かを判断する判断手段と
を備え、
該判断手段で前記指標相関値が所定の条件を具備すると判断した場合、前記障害物が存在すると判断するようにしてあることを特徴とする障害物検出システム。
【請求項２】
前記判断手段で前記指標相関値が所定の条件を具備すると判断した場合、前記相関値算出手段で算出した最新の相関値を、指標相関値に補正する手段を備えることを特徴とする請求項１記載の障害物検出システム。
【請求項３】
前記指標相関値は、過去に遡るにつれて重み付け係数が小さくなるようにして算出された加重指標相関値であることを特徴とする請求項１又は２記載の障害物検出システム。
【請求項４】
車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
前記撮像装置から取得した画像データの所定の領域と、障害物を示す領域との相関値を算出し、
算出した相関値を、前記所定の領域に対応付けて時系列的に記憶し、
記憶されている過去の複数時点の相関値を読み出し、障害物が存在するか否かの判断指標となる指標相関値を算出し、
算出した指標相関値が所定の条件を具備するか否かを判断し、
前記指標相関値が所定の条件を具備すると判断した場合、前記障害物が存在すると判断することを特徴とする障害物検出方法。
【請求項５】
車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出するコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記コンピュータを、
前記撮像装置から取得した画像データの所定の領域と、障害物を示す領域との相関値を算出する相関値算出手段、
算出した相関値を、前記所定の領域に対応付けて時系列的に記憶する相関値記憶手段、
記憶されている過去の複数時点の相関値を読み出し、障害物が存在するか否かの判断指標となる指標相関値を算出する指標相関値算出手段、及び
算出した指標相関値が所定の条件を具備するか否かを判断する判断手段
として機能させ、
該判断手段で前記指標相関値が所定の条件を具備すると判断した場合、前記障害物が存在すると判断するようにしてあることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の外部を撮像する撮像装置が撮像した画像データに基づいて、歩行者等の障害物が存在するか否かを精度良く安全側で検出する障害物検出システム、障害物検出方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
自動車等の車両に周囲を撮像する撮像装置を搭載し、車両前方の障害物、例えば歩行者等の存在を認識する障害物認識システムを利用して、自車両の前方に障害物が存在することを認識した場合に運転者に対して警告を発する警告システムが多々開発されている。
【０００３】
例えば撮像装置で撮像した画像の所定の領域について、所定の基準パターンとパターンマッチングすることにより相関値を算出し、相関値の大小に応じて障害物、例えば歩行者が存在すると考えられる領域であるか否かを判断する。歩行者が存在すると判断した場合には、表示装置へ検出した歩行者を表示する、又は警報装置を鳴動させる等により、運転者に歩行者の存在を通知する。
【０００４】
より安全に歩行者の存在を運転者へ通知するためには、検出した歩行者の動向と自車両の速度との関係を考慮に入れることが好ましい。例えば検出した歩行者が存在する領域までの距離を視差画像に基づいて算出し、車両に対する相対移動ベクトルを算出することにより、障害物との衝突の可能性を判定し、衝突の可能性が高い場合のみ、運転者へ通知する（非特許文献１参照）。
【非特許文献１】「ホンダ  アールアンドディー  テクニカル  レビュー  (Honda R&D Technical Review)」 Vol.13 No.1、２００１年４月
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した警告システムで用いる歩行者認識システムは、撮像装置で撮像した画像をフレーム単位でパターンマッチングすることで歩行者が存在するか否かを判断している。しかし、撮像装置で撮像した画像は、様々な要因によりフレームごとにその特性が変化する。
【０００６】
例えば撮像中の車両の振動等に起因するノイズによる画像歪み、撮像装置のゲイン制御に起因する輝度の変動等により、撮像装置で撮像した画像の特性そのものがフレームごとに変化する。また、自車両、歩行者の双方の移動による相対角度、相対的な大きさの変動、自車両と歩行者との間に存在する遮蔽物体の存在、遮蔽度合の変化等に基づいて、歩行者の特徴部分がフレーム単位で存在する場合、存在しない場合が生じる。
【０００７】
したがって、特定のフレームについて、例えば歩行者が存在するにもかかわらず、歩行者として検出することができない検出漏れ等が生じ、運転者に対して安全上適切な警告を通知することが困難になるという問題点があった。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、フレーム単位ではなく、過去のフレームにおける障害物検出処理の結果を考慮することにより、障害物の検出漏れ、又は誤検出を未然に防止することができる障害物検出システム、障害物検出方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、前記検出装置は、前記撮像装置から取得した画像データの所定の領域と、障害物を示す領域との相関値を算出する相関値算出手段と、算出した相関値を、前記所定の領域に対応付けて時系列的に記憶する相関値記憶手段と、記憶されている過去の複数時点の相関値を読み出し、障害物が存在するか否かの判断指標となる指標相関値を算出する指標相関値算出手段と、算出した指標相関値が所定の条件を具備するか否かを判断する判断手段とを備え、該判断手段で前記指標相関値が所定の条件を具備すると判断した場合、前記障害物が存在すると判断するようにしてあることを特徴とする。
【００１０】
また、第２発明に係る障害物検出システムは、第１発明において、前記判断手段で前記指標相関値が所定の条件を具備すると判断した場合、前記相関値算出手段で算出した最新の相関値を、指標相関値に補正する手段を備えることを特徴とする。
【００１１】
また、第３発明に係る障害物検出システムは、第１又は第２発明において、前記指標相関値は、過去に遡るにつれて重み付け係数が小さくなるようにして算出された加重指標相関値であることを特徴とする。
【００１２】
また、第４発明に係る障害物検出方法は、車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、前記撮像装置から取得した画像データの所定の領域と、障害物を示す領域との相関値を算出し、算出した相関値を、前記所定の領域に対応付けて時系列的に記憶し、記憶されている過去の複数時点の相関値を読み出し、障害物が存在するか否かの判断指標となる指標相関値を算出し、算出した指標相関値が所定の条件を具備するか否かを判断し、前記指標相関値が所定の条件を具備すると判断した場合、前記障害物が存在すると判断することを特徴とする。
【００１３】
また、第５発明に係るコンピュータプログラムは、車両の周辺を撮像する撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、前記撮像装置から取得した画像データの所定の領域と、障害物を示す領域との相関値を算出する相関値算出手段、算出した相関値を、前記所定の領域に対応付けて時系列的に記憶する相関値記憶手段、記憶されている過去の複数時点の相関値を読み出し、障害物が存在するか否かの判断指標となる指標相関値を算出する指標相関値算出手段、及び算出した指標相関値が所定の条件を具備するか否かを判断する判断手段として機能させ、該判断手段で前記指標相関値が所定の条件を具備すると判断した場合、前記障害物が存在すると判断するようにしてあることを特徴とする。
【００１４】
第１発明、第４発明及び第５発明では、車両の周辺を撮像する撮像装置から取得した画像データの所定の領域と、障害物を示す領域との相関値を算出し、算出した相関値を、前記所定の領域に対応付けて時系列的に記憶しておく。記憶されている過去の複数時点の相関値を読み出し、指標相関値を算出し、算出した指標相関値が所定の条件を具備する場合、障害物が存在すると判断する。これにより、過去のフレームでの指標相関値、例えば相関値の平均値、中心値、最頻値等が所定の条件を具備する領域に障害物が存在すると判断するので、最新のフレームでの指標相関値が所定の条件を具備していない場合であっても障害物の検出漏れが生じることがなく、異常な指標相関値が算出された場合であっても障害物であると誤検出されることを未然に防止することが可能となる。
【００１５】
第２発明では、算出した指標相関値が所定の条件を具備すると判断した場合、最新のフレームの所定の領域について算出した相関値を、記憶してある指標相関値に補正して記憶する。これにより、以後の障害物検出処理において、障害物が存在する領域であることと確実に判断することができるように指標相関値を過去に算出された指標相関値と連続性を有する値として記憶することができ、障害物の検出漏れを未然に防止することが可能となる。
【００１６】
第３発明では、指標相関値は、過去に遡るにつれて重み付け係数が小さくなるようにして算出された加重指標相関値である。これにより、単純な指標相関値ではなく、最新のフレームに近いほど重み付け係数が大きい加重相関値を用いることで、最新のフレームでの相関結果をより重視することにより、現状に応じた相関値評価を行うことができ、より精度良く障害物を検出することが可能となる。
【発明の効果】
【００１７】
第１発明、第４発明及び第５発明によれば、過去のフレームでの指標相関値、例えば相関値の平均値、中心値、最頻値等が所定の条件を具備する領域に障害物が存在すると判断するので、最新のフレームでの指標相関値が所定の条件を具備していない場合であっても障害物の検出漏れが生じることがなく、異常な指標相関値が算出された場合であっても障害物であると誤検出されることを未然に防止することが可能となる。
【００１８】
第２発明によれば、以後の障害物検出処理において、障害物が存在する領域であることと確実に判断することができるように指標相関値を過去に算出された指標相関値と連続性を有する値として記憶することができ、障害物の検出漏れを未然に防止することが可能となる。
【００１９】
第３発明によれば、単純な指標相関値ではなく、最新のフレームに近いほど重み付け係数が大きい加重相関値を用いることで、最新のフレームでの相関結果をより重視することにより、現状に応じた相関値評価を行うことができ、より精度良く障害物を検出することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。本実施の形態では、夜間走行中に遠赤外撮像装置である遠赤外光ビデオカメラにより撮像された画像に基づいて車両の前方に歩行者、自転車等の障害物が存在するか否かを判断する場合を例として説明する。なお、波長が７〜１４マイクロメートルの赤外光を用いた遠赤外撮像装置に限定されるものではなく、近赤外撮像装置であっても良いし、可視光撮像装置であっても良い。
【００２２】
図１において、１は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外光ビデオカメラ（撮像装置）である。遠赤外光ビデオカメラ１は、車両のフロントグリル内に、車両の前方を撮像することが可能に搭載されている。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある検出装置３に送信される。なお、遠赤外光ビデオカメラ（撮像装置）１は１個搭載されるものに限定されるものではなく、ステレオ視により距離を算出することができるよう２個以上搭載しても良い。
【００２３】
検出装置３は、遠赤外光ビデオカメラ１の他、操作部を備えた表示装置４、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とも、車載ＬＡＮケーブル６を介して接続されている。また、車両の速度を検出する速度センサ７とも車載ＬＡＮケーブル６を介して接続されており、車両の走行速度の検出値が検出装置３へ入力される。
【００２４】
図２は、本発明の実施の形態１に係る障害物検出システムの遠赤外光ビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、内部バス１５を介して信号処理部１２へ送信する。
【００２５】
信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、デジタル信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ１３へ記憶する。
【００２６】
通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して検出装置３とデータの送受信を行う。通信インタフェース部１４は、検出装置３から送出される指令に従って、画像メモリ１３に記憶された画像データの検出装置３への送出、遠赤外光ビデオカメラ１で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。
【００２７】
図３は、本発明の実施の形態１に係る障害物検出システムの検出装置３の構成を示すブロック図である。通信インタフェース部３１は、遠赤外光ビデオカメラ１に対する指令の送信、遠赤外光ビデオカメラ１からの画像データの受信を行う。通信インタフェース部３１は、遠赤外光ビデオカメラ１から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、通信インタフェース部３１は、車載ＬＡＮケーブル６を介して液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。
【００２８】
画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介して遠赤外光ビデオカメラ１から受信した画像データを記憶する。
【００２９】
画像処理を行う基板であるＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で時系列的に読み出し、読み出した画像データの所定の領域の相関値を時系列的に算出する。ＬＳＩ３３は、過去の複数時点の相関値を読み出し、例えば相関値の加算平均値等の指標相関値を算出して、算出した指標相関値が所定の条件を具備する場合、例えば加算平均相関値が所定値より大きい場合に、該領域に障害物が存在すると判断する。指標相関値としては、例えば相関値の平均値、中心値、最頻値等の統計情報値が望ましい。各統計情報値に応じて、具備すべき所定の条件は変動する。
【００３０】
ＬＳＩ３３が、障害物の存在を検出した場合、ＬＳＩ３３は、通信インタフェース部３１を介して表示装置４又は警報装置５へ、警告情報を出力する。なお、ＬＳＩ３３は、演算処理の途上で生成したデータ及び所定の領域に対応付けられている過去の複数時点の相関値を記憶するＲＡＭ３３１を同一基板上に内蔵している。
【００３１】
ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態１に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。本実施の形態１では、歩行者等の障害物が存在する可能性の有る領域の抽出方法としてエッジ検出を用いる場合について説明する。もちろん、抽出方法はこれに限定されるものではない。
【００３２】
ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ４０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ４０２）。エッジ部分の抽出方法についても特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。
【００３３】
ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定の閾値より大きい場合に‘１’を出力し、所定の閾値より小さい場合に‘０’を出力する。すなわち、周囲の画素と画素値の差分が所定の閾値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。
【００３４】
【数１】
2007115129.tif 000003
【００３５】
（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の画素値を、ｇ（ｘ、ｙ）は、エッジ画素の画素値を、ＴＨは所定の閾値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘１’となった画素をエッジ部分として抽出する。
【００３６】
ＬＳＩ３３は、抽出したエッジ部分を含む領域について、検出対象となる障害物の平均的な温度分布を示すテンプレートとマッチングすることによる相関値Ｒを算出し（ステップＳ４０３）、算出した相関値Ｒをサンプリング時間に対応付けて領域を識別する情報ごとにＲＡＭ３３１に記憶する（ステップＳ４０４）。
【００３７】
ＬＳＩ３３は、所定の期間、例えばサンプリング間隔を３０ｍｓｅｃとして現在から３サンプリング時間（９０ｍｓｅｃ）過去に遡った相関値Ｒを読み出し（ステップＳ４０５）、読み出した相関値Ｒの加算平均値を算出する（ステップＳ４０６）。ＬＳＩ３３は、算出した相関値Ｒの加算平均値が所定値より大きいか否かを判断する（ステップＳ４０７）。
【００３８】
ＬＳＩ３３が、相関値Ｒの加算平均値が所定値より大きいと判断した場合（ステップＳ４０７：ＹＥＳ）、ＬＳＩ３３は、障害物が存在するものと判断し、後続の処理、例えば警告情報出力処理へと移行する（ステップＳ４０８）。ＬＳＩ３３が、相関値Ｒの加算平均値が所定値以下であると判断した場合（ステップＳ４０７：ＮＯ）、ＬＳＩ３３は、障害物が存在しないものと判断し、ステップＳ４０１へ戻り、次のサンプリング時間での画像データを取得して、上述した処理を繰り返す。
【００３９】
例えば警告情報出力処理では、ＬＳＩ３３が障害物が存在すると判断した場合、ＬＳＩ３３は、通信インタフェース部３１を介して運転者に対して障害物の存在を報知する様々な手段を起動させる起動信号を、車載ＬＡＮケーブル６を介して送出する。運転者へ障害物の存在を報知することにより、運転者に対して衝突回避動作を促すことが可能となる。
【００４０】
運転者に対して障害物の存在を報知する手段は、例えば表示手段４に対する警告表示を指示する指示信号の送出であり、警報手段５に対する鳴動を指示する鳴動指示信号の送出である。
【００４１】
なお、ＬＳＩ３３が、障害物が存在するか否かを判断するのに使用する指標相関値は、例えば検出対象となる障害物の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ（ラプラシアンフィルタ適用後の画像データ）とをマッチングすることにより算出した相関値Ｒの平均値を用いる。算出の基礎となる相関値Ｒは（数２）に基づいて算出される。
【００４２】
【数２】
2007115129.tif 000004
【００４３】
（数２）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは縦長の直線分布を示すテンプレート又は人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の画素値を、それぞれ示している。
【００４４】
なお、抽出したエッジ部分が障害物が存在する領域であるか否かを判断するのに使用する特徴量としては、上述した障害物の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値Ｒに限定されるものではなく、障害物と認識される領域の大きさ、縦横比、画素値の平均値、分散等、障害物の存在を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。
【００４５】
図５は、ＲＡＭ３３１に相関値Ｒを記憶する場合のデータ構成の例示図である。相関値Ｒは、抽出したエッジで特定される領域を識別する情報、例えば領域ＩＤごとに算出されており、領域ＩＤに対応付けて記憶する。また、各フレームのサンプリング時間ｔ１、ｔ２、・・・、ｔｎ（ｎは自然数）とも対応付けて記憶する。
【００４６】
ｔ１をサンプリング開始時間とし、ｔ１、ｔ２、・・・と時間が進むものとした場合、現時点ｔｎで算出した相関値Ｒｎは、対応する１サンプリング時間前の対応する領域ＩＤとも対応付けて記憶する。図５の例では、時刻ｔｎでの相関値Ｒｎは、時刻ｔ（ｎ−１）での領域ＩＤ‘×××’と対応している。したがって、１サンプリング時間前には、該領域の相関値はＲ（ｎ−１）であることを読み出すことができる。このようにすることで、例えば所定のサンプリング時間遡った場合、それぞれの領域ＩＤに対応する領域ＩＤの相関値を読み出すことが可能となる。なお、サンプリング時間ごとに領域ＩＤが異なっているのは、歩行者の移動、自車両の移動等により、同一の領域であっても画像内の位置、面積等が相違するからである。
【００４７】
また、ＲＡＭ３３１に相関値を記憶する場合、ステップＳ４０３で算出した最新の相関値Ｒを、ステップＳ４０６で算出した相関値の加算平均値に補正することが好ましい。例えば現時点で算出した相関値からは、歩行者の存在を検出することができないにもかかわらず、過去の相関値を考慮した加算平均値からは歩行者の存在を検出している場合、現時点に対応するフレームの画像データに、何らかのノイズ等が付加されているおそれがある。また遠赤外光ビデオカメラ１のゲイン制御に起因して輝度が大きく変動しているおそれもある。さらに自車両と障害物との間に遮蔽物体が存在する場合も想定される。斯かる状態で算出した相関値に基づいて障害物の存在を判断した場合、障害物の検出漏れが生じる可能性が高い。
【００４８】
一方、現時点で算出した相関値から障害物の存在を検出することができた場合であっても、過去の相関値を考慮した加算平均値からは障害物の存在を検出していない場合、現時点に対応するフレームの画像データに、何らかのノイズ等が付加されているおそれがある。また遠赤外光ビデオカメラ１のゲイン制御に起因して輝度が大きく変動しているおそれもある。斯かる状態で算出した相関値に基づいて障害物の存在を判断した場合、障害物の誤検出が生じる可能性が高い。
【００４９】
したがって、現時点に対応するフレームの画像データに基づいて算出された相関値は適正な値でない可能性が高いことから、障害物の存在の判断に用いた加算平均値で更新してＲＡＭ３３１に記憶しておくことにより、記憶されている相関値の連続性を担保することができ、以後の判断において障害物の検出漏れ、誤認識を未然に防止することができ、障害物の検出精度を高く維持することが可能となる。
【００５０】
以上のように本実施の形態１によれば、過去のフレームでの指標相関値、例えば相関値の平均値、中心値、最頻値等が所定の条件を具備する領域に障害物が存在すると判断するので、最新のフレームでの指標相関値が所定の条件を具備していない場合であっても障害物の検出漏れが生じることがなく、異常な指標相関値が算出された場合であっても障害物であると誤検出されることを未然に防止することが可能となる。
【００５１】
（実施の形態２）
本発明の実施の形態２に係る障害物検出システムの構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態２は、障害物の存在の検出に用いる指標相関値として、所定の期間、例えばサンプリング間隔を３０ｍｓｅｃとして現在から３サンプリング時間（９０ｍｓｅｃ）過去に遡った相関値Ｒの加算平均値を用いるのではなく、過去に遡るにつれて重み付け係数が小さくなるようにして算出された加重平均相関値である点において、実施の形態１と相違する。
【００５２】
ＬＳＩ３３での詳細な処理について以下に説明する。図６は、本発明の実施の形態２に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。本実施の形態２では、実施の形態１と同様、歩行者等の障害物が存在する可能性の有る領域の抽出方法としてエッジ検出を用いる場合について説明する。もちろん、抽出方法はこれに限定されるものではない。
【００５３】
ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ６０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ６０２）。エッジ部分の抽出方法についても、実施の形態１と同様、特に限定されるものではない。
【００５４】
ＬＳＩ３３は、抽出したエッジ部分を含む領域について、検出対象となる障害物の平均的な温度分布を示すテンプレートとマッチングすることによる相関値Ｒを算出し（ステップＳ６０３）、算出した相関値Ｒをサンプリング時間に対応付けて領域を識別する情報ごとにＲＡＭ３３１に記憶する（ステップＳ６０４）。
【００５５】
ＬＳＩ３３は、所定の期間、例えばサンプリング間隔を３０ｍｓｅｃとして現在から３サンプリング時間（９０ｍｓｅｃ）過去に遡った相関値Ｒを読み出し（ステップＳ６０５）、読み出した相関値Ｒの加重平均値Ｑを算出する（ステップＳ６０６）。相関値Ｒの加重平均値Ｑは、例えば（数３）に基づいて算出する。
【００５６】
【数３】
2007115129.tif 000005
【００５７】
（数３）において、Ｒ１、Ｒ２、・・・、Ｒｎ（ｎは自然数）は、それぞれサンプリング時間ｔ１、ｔ２、・・・、ｔｎ（ｎは自然数）において算出された相関値であり、ａ１、ａ２、・・・、ａｎ（ｎは自然数）は、サンプリング時間ｔ１、ｔ２、・・・、ｔｎそれぞれにおける相関値、Ｒ１、Ｒ２、・・・、Ｒｎに対する重み付け係数である。一般に相関値算出の対象が画像内で占める割合が大きいほど、相関値の信頼性が高まる。したがって、障害物までの距離が近いほど、すなわちサンプリング時間が現時点に近いほど、障害物を示す領域が画像内で占める割合が高く、算出された相関値の信頼性が高い。
【００５８】
そこで、ａ１、ａ２、・・・、ａｎ（ｎは自然数）は、サンプリング時間が現時点であるｔｎに近づくほど値を大きくする。これにより、最新のフレームで算出した相関値をより判定結果に反映させることができ、より精度良く障害物を検出することが可能となる。
【００５９】
ＬＳＩ３３は、算出した相関値Ｒの加重平均値Ｑが所定値より大きいか否かを判断する（ステップＳ６０７）。ＬＳＩ３３が、相関値Ｒの加重平均値Ｑが所定値より大きいと判断した場合（ステップＳ６０７：ＹＥＳ）、ＬＳＩ３３は、歩行者が存在するものと判断し、後続の処理、例えば警告出力処理へと移行する（ステップＳ６０８）。ＬＳＩ３３が、相関値Ｒの加重平均値Ｑが所定値以下であると判断した場合（ステップＳ６０７：ＮＯ）、ＬＳＩ３３は、障害物が存在しないものと判断し、ステップＳ６０１へ戻り、次のサンプリング時間での画像データを取得して、上述した処理を繰り返す。
【００６０】
例えば警告出力処理では、ＬＳＩ３３が、障害物が存在すると判断した場合、ＬＳＩ３３は、通信インタフェース部３１を介して運転者に対して障害物が存在する旨を報知する様々な手段を起動させる起動信号を、車載ＬＡＮケーブル６を介して送出する。運転者へ障害物の存在を報知することにより、運転者に対して衝突回避動作を促すことが可能となる。
【００６１】
以上のように本実施の形態２によれば、過去のフレームで算出した相関値の加重平均値が所定値より大きい領域に障害物が存在すると判断するので、最新のフレームで算出した相関値が低い場合であっても障害物の検出漏れが生じることがなく、相関値が異常値である場合であっても障害物であると誤検出されることを未然に防止することが可能となる。
【００６２】
なお、上述した実施の形態１及び２では、検出装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。
【図２】本発明の実施の形態１に係る障害物検出システムの遠赤外光ビデオカメラの構成を示すブロック図である。
【図３】本発明の実施の形態１に係る障害物検出システムの検出装置の構成を示すブロック図である。
【図４】本発明の実施の形態１に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。
【図５】ＲＡＭに相関値Ｒを記憶する場合のデータ構成の例示図である。
【図６】本発明の実施の形態２に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。
【符号の説明】
【００６４】
１  遠赤外光ビデオカメラ
３  検出装置
４  表示装置
５  警報装置
７  速度センサ
３１  通信インタフェース部
３２  画像メモリ
３３  ＬＳＩ
３３１  ＲＡＭ
【図１】
2007115129.tif 000006
【図２】
2007115129.tif 000007
【図３】
2007115129.tif 000008
【図４】
2007115129.tif 000009
【図５】
2007115129.tif 000010
【図６】
2007115129.tif 000011