(57)【要約】【課題】人影等のノイズに影響されない正確に歩行者を検出する方法、技術を提供することを課題としている。【解決手段】横断歩道等における交通状態を撮影し、該撮影画像から移動物体を抽出し、該移動物体の中から歩行者を検出し、横断歩道等における歩行者を検出する方法において、前記移動物体を抽出は、該撮影画像から移動物体の輪郭線を検出するステップと、該輪郭線の進行方向に向いた縦線群を検出するステップと、該縦線群の中心軸を検出するステップと、該中心軸の中心点を検出するステップと、該中心点の移動ベクトルを検出するステップを含むことを特徴とする。【選択図】　図１
2004086417.tif 000002
【特許請求の範囲】
【請求項１】
横断歩道等における交通状態を撮影し、該撮影画像から移動物体を抽出し、該移動物体の中から歩行者を検出し、横断歩道等における歩行者を検出する方法において、前記移動物体を抽出は、該撮影画像から移動物体の輪郭線を検出するステップと、該輪郭線の進行方向に向いた縦線群を検出するステップと、該縦線群の中心軸を検出するステップと、該中心軸の中心点を検出するステップと、該中心点の移動ベクトルを検出するステップを含むことを特徴とする横断歩道等における歩行者検出方法。
【請求項２】
前記中心軸検出するステップは、前記縦線群の縦線の分布状態を判断し、該縦線群が複数の人間の画像を含んでいると判断した場合は該縦線群を分割して小縦線群とし、該小縦線群について中心軸を求めることを特徴とする請求項１に記載の横断歩道等における歩行者検出方法。
【請求項３】
前記移動ベクトル検出ステップは、前記撮影画像の連続したフレームにおける前記中心点の座標変化を求め、該座標変化から移動ベクトルを決定することを特徴とする請求項１又は請求項２の何れか１に記載の横断歩道等における歩行者検出方法。
【請求項４】
前記歩行者検出方法は、前記移動物体と移動ベクトルを歩行者リストとして記憶装置に記憶し、該移動ベクトルを記憶装置に予め記憶されている人間の歩行パターンの移動ベクトルと比較して判断し、歩行者のパターンでないものは歩行者リストから削除し、検出対象から除外することを特徴とする請求項１〜請求項３の何れか１に記載の横断歩道等における歩行者検出方法。
【請求項５】
前記歩行者検出方法は、更に、ウエーブレット・フィルタを利用して歩行者と非歩行者についてヒストグラム求めて特徴データベースを作成し、この特徴データベースと前記歩行者リストに載っている検出対象についての前記輪郭領域のヒストグラムとを比較して歩行者を決定するプロセスを含むことを特徴とする請求項１〜請求項４の何れか１に記載の横断歩道等における歩行者検出方法。
【請求項６】
前記特徴データベースは、前記歩行者の中に影のない歩行者と影のある歩行者を含めてオフラインで学習させることにより、特徴データベースを作成したことを特徴とする請求項５に記載の横断歩道等における歩行者検出方法。
【請求項７】
前記歩行者検出方法は、前記撮影画像のコントラスト又は明度が所定の規準を超えた場合は影のある歩行者を含んだ特徴データベースを利用し，コントラスト又は明度が所定の規準以下の場合は影のない歩行者の特徴データベースを利用するようにしたことを特徴とする請求項６に記載の横断歩道等における歩行者検出方法。
【請求項８】
前記歩行者検出方法は、撮影カメラからの距離の相違による対象物体の大きさのサイズを補正するサイズ補正ステップを含むことを特徴とする請求項１〜請求項７の何れか１に記載の横断歩道等における歩行者検出方法。
【請求項９】
前記歩行者検出方法は、天気、撮影時刻等に依存する明るさによる撮影画像のノイズを除去するための明るさ補正ステップを含むことを特徴とする請求項１〜請求項８の何れか１に記載の横断歩道等における歩行者検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、交通制御等に使用する横断歩道等における歩行者検出方法及び同検出装置の技術分野に属する。
【０００２】
【従来の技術】
従来から交差点又は横断歩道等（以下、横断歩道等という）における歩行者の検出技術に関する提案がなされてきた。これは歩行者の有無を検出し、交差点又は横断歩道を含む道路における交通制御をして歩行者の安全と通行車両の円滑な流れを主な目的としている。従来の歩行者の検出技術については、横断歩道等の両側に発信器とセンサを設けて、それらを結ぶ直線を歩行者が遮ったかどうかを検出する方法や、ビデオカメラ等の撮影機を横断歩道等の適宜な高さ及び位置に設けて撮影画像から歩行者を検出する方法が主である。
【０００３】
前者の方式としては、例えば、公開特許公報、特開平９−４４７６１に開示されている技術がある。これは横断路の片側に可視光若しくは赤外光を投光する発光体を設け、反対側にカメラを設けて、計測ラインと道路を撮影し、計測ラインの輝度変化により歩行者を検出しようとするものである。しかし、この従来方式では横断歩道を遮る移動物体の検出は可能であるが、その移動物体が歩行者（人間）であることを確実に判断するのは困難であった。このために、意外な事故や混乱が発生するおそれがあり、問題点であった。
【０００４】
後者の方式としては、例えば、公開特許公報、特開平７−２００９８６に開示されている技術がある。これは可視光ビデオカメラと熱画像センサカメラとを設けて撮影し、両者の画像から道路輝度パターンと歩行者輝度パターンの相関により画像を２値化して、差分法により物体の進入を検出して、移動物体の移動ベクトルが横断歩道の進行方向と一致するものを歩行者として識別するものである。しかし、この従来方式では歩行者の陰を除去する処理をしていない等の理由から移動物体が歩行者（人間）であるか他の動物（例えば、野猿等）であるかまでは判断できず、従って、誤って判断する可能性もあり、この場合には事故や混乱が発生するおそれがあり、問題であった。
【０００５】
【発明が解決しようとする課題】
以上に説明したように、従来技術では移動物体を検出し、該移動物体の移動ベクトルにより歩行者であるかどうかを判定しているが、影等のノイズを除去していないために、移動物体が歩行者であるか歩行者以外のものであるかを正確に判断できないという問題点があった。更に、不正確な情報に基づいて、交通制御を行うと無用な事故や混乱を生じるおそれがあり、問題であった。
この発明は、上述のような背景の下になされたもので、影等のノイズに影響されない正確に歩行者を検出する方法、技術を提供することを課題としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するために本発明は以下の手段を採用している。即ち、
請求項１記載の発明は、横断歩道等における交通状態を撮影し、該撮影画像から移動物体を抽出し、該移動物体の中から歩行者を検出し、横断歩道等における歩行者を検出する方法において、前記移動物体を抽出は、該撮影画像から移動物体の輪郭線を検出するステップと、該輪郭線の進行方向に向いた縦線群を検出するステップと、該縦線群の中心軸を検出するステップと、該中心軸の中心点を検出するステップと、該中心点の移動ベクトルを検出するステップを含むことを特徴としている。
請求項１記載の発明は、輪郭線の進行方向に向いた縦線群を検出することのより、歩行者の影を自動的に除去したことを主な特徴の１つとしている。
【０００７】
請求項２記載の発明は、請求項１に記載の発明において、前記中心軸検出するステップは、前記縦線群の縦線の分布状態を判断し、該縦線群が複数の人間の画像を含んでいると判断した場合は該縦線群を分割して小縦線群とし、該小縦線群について中心軸を求めることを特徴としている。
【０００８】
請求項３記載の発明は、請求項１又は請求項２に記載の発明において、前記移動ベクトル検出ステップは、前記撮影画像の連続したフレームにおける前記中心点の座標変化を求め、該座標変化から移動ベクトルを決定することを特徴としている。
【０００９】
請求項４記載の発明は、請求項１〜請求項３の何れかに記載の発明において、前記歩行者検出方法は、前記移動物体と移動ベクトルを歩行者リストとして記憶装置に記憶し、該移動ベクトルを記憶装置に予め記憶されている人間の歩行パターンの移動ベクトルと比較して判断し、歩行者のパターンでないものは歩行者リストから削除し、検出対象から除外することを特徴としている。
【００１０】
請求項５記載の発明は、請求項１〜請求項４の何れか１に記載の発明において、前記歩行者検出方法は、更に、ウエーブレット・フィルタを利用して歩行者と非歩行者についてヒストグラム求めて特徴データベースを作成し、この特徴データベースと前記歩行者リストに載っている検出対象についての前記輪郭領域のヒストグラムとを比較して歩行者か否かを決定するプロセスを含むことを特徴としている。
請求項５記載の発明は、ウエーブレット・フィルタを利用した特徴のデータベースを作成し、これにより歩行者であるか否かをチェックすることを主な特徴としている。
請求項６記載の発明は、請求項５に記載の発明において、前記特徴データベースは、前記歩行者の中に影のない歩行者と影のある歩行者を含めてオフラインで学習させることにより、特徴データベースを作成したことを特徴とする。
請求項７記載の発明は、請求項６に記載の発明において、前記歩行者検出方法は、前記撮影画像のコントラスト又は明度が所定の規準を超えた場合は影のある歩行者を含んだ特徴データベースを利用し，コントラスト又は明度が所定の規準以下の場合は影のない歩行者の特徴データベースを利用するようにしたことを特徴とする。
【００１１】
請求項８記載の発明は、請求項１〜請求項７の何れかに記載の発明において、前記歩行者検出方法は、撮影カメラからの距離の相違による対象物体の大きさのサイズを補正するサイズ補正ステップを含むことを特徴としている。
【００１２】
請求項９記載の発明は、請求項１〜請求項８の何れかに記載の発明において、前記歩行者検出方法は、天気、撮影時刻等に依存する明るさによる撮影画像のノイズを除去するための明るさ補正ステップを含むことを特徴としている。
【００１３】
【発明の実施形態】
図１は本発明を実施した実施形態の全体のフローチャート図である。図２は図１のステップＳ４における歩行者検出のフローチャート図である。図３は本実施形態における装置を示す図である。図４は撮影画像の差分を示す図である。図５（Ａ）〜（Ｄ）は移動物体の中心（又は重心）を求める手順を示す。図６は移動物体の重心の移動する例を表した図である。以下、図面を参照してこの発明の実施形態について説明する。
【００１４】
図３（Ａ）において、ビデオカメラ１１が交差点における横断歩道１０の一端に適当な高さ位置に配置されている。ビデオカメラ１１のレンズの中心方向は横断歩道の方を向くように設置する。また、ビデオカメラ１１の出力端は、図３（Ｂ）に示すように、処理装置１２の入力端に接続されている。処理装置１２は磁気又は光デスク等の大容量記憶装置１３、及び作業用の半導体記憶装置１４とに接続されている。処理装置１２は図１及び図２に示したフローチャートの手順を実行する。処理装置１２の出力端は交通センタ等の歩行者データ利用先に接続されている。この接続にインターネット等の回線を利用して接続してもよい。
【００１５】
以下に本実施形態における歩行者検出方法について説明する。図１において、ステップＳ１ではビデオカメラ１１で撮影した撮影画像を画像処理装置１２の記録メモリ１３に取り込む。撮影画像は一定時間間隔で撮影され、連続的に所定枚数の撮影画像が取り込まれる。撮影はビデオカメラのカメラ中心線を横断歩道の方向に向け、横断歩道を中心とする監視領域が撮影画像に含まれるようにする。
【００１６】
取り込まれた撮影画像はステップＳ２で輝度やコントラストの強さを補正し、画像処理を容易化する。例えば、太陽光による明るさの変化、晴天の日と曇り空の場合とでは明るさに変化があるために撮影画像のコントラストや明るさが変化する。また、夜間等では明るさが極端に暗くなるので撮影画像の明るさとコントラストを略一定レベルになるように画像処理して以後の処理を容易にする。
【００１７】
ステップＳ３では、撮影画像の画像面における移動物体の抽出処理を行う。移動物体の抽出は、例えば、従来技術として知られている差分法を利用する。差分法では、図４に示すように、２枚以上の連続画像を利用して画像の変化している部分を取り出す。例えば、連続画像の中で基準となる固定線又は固定物体の画像（例えば横断歩道に描かれている横線２１等）を予め定めて置いて、これが重ね合わせてにして移動部分を検出する。これによって、図４の移動物体２２ａ、２２ｂ、２２ｃが検出できる。或いは、歩行者のいない背景画像を基準画像としてメモリ１３に記録しておき、この基準画像と撮影画像を比較して移動物体を抽出するようにしてもよい。
【００１８】
ステップＳ４では移動物体の画像を利用して歩行者の検出を行う。この検出は図２に示す手順によって行う。図２は歩行者検出方法の手順を示すフローチャートである。図２において、ステップＳ２１では歩行者を囲む領域（以下、歩行者領域という）を決定する。歩行者領域の決定はステップＳ３で得られた歩行者の画像が重ならないように切り出して歩行者領域とする。なお、この段階では移動物体が歩行者かどうかは判明していないが、仮に歩行者として説明をする。歩行者領域に対応させて歩行者リストを作成し、歩行者リストと共に歩行者領域の画像をメモリ１３（又は１４）に記憶する。移動物体の画像が重なっている場合はそれを切り離して歩行者領域を求める。或いは、１個の移動物体として処理し、その後に移動物体の画像が重ならないようになったときに切り離して処理する。
【００１９】
ステップＳ２２では切り出された画像のサイズを補正する。これはカメラからの距離により撮影された物体の大きさが変化するからである。また、画像の明るさが基準のレベル範囲に入っていない場合、例えば夜間等に撮影した画像で明暗が暗くはっきりしない画像は明るさとコントラストを基準範囲に入れるように補正する。この切り出された歩行者領域の画像中における歩行者３１の例を図５（Ａ）に示す。
【００２０】
ステップＳ２３では歩行者の輪郭線（又は境界線）を示す縦線群３２を検出する。縦線群を検出するために、まず歩行者の輪郭線を画像から求める。輪郭線を求めた例を図５（Ｂ）に示す。次に、求めた輪郭線の内で縦方向（歩行者の移動方向）に長い線分のみを残して横方向にのみ長い線は消去する。人影のように横方向に長い線や横断歩道内に描かれた横線の輪郭はこの際に消去される。縦線群３２の例を図５（Ｃ）に示す。縦線群の検出は例えば、移動物体３１の画像を縦方向に走査して垂直線を検出し、垂直線の長さが所定長さ以上の部分を残して縦線群としてもよい。また、縦線群が複数個の離れたピークを持っている場合はこの移動物体は連結させて処理するか、削除する。例えば、頭部が体の部分と離れたように撮影された場合等である。
【００２１】
ステップＳ２４では移動物体の中心を求める。ステップＳ２３で得られた縦線群から、図５（Ｃ）に示す中心縦線３３求める。更に、中心縦線３３から移動物体の中心３４を求める。これを図５（Ｄ）に示す。
ステップＳ２５では複数の連続画像から移動物体の中心の時間変化を求める。これによって移動物体３１の移動ベクトル、即ち、移動方向、移動速度が求められる。図５は、全ての移動物体に対して移動ベクトル求め、或る時刻における移動ベクトルを表示した図である。図５に示すように、移動ベクトルの方向とベクトルの大きさが容易に比較できる。
【００２２】
ステップＳ２６では移動物体の運動ベクトル、即ち、移動ベクトルを利用して移動物体を分類する。分類法としては、例えば、移動方向により水平移動物体３５、垂直移動物体３６、停止物体、不明物体３７の４種類に分類してもよい。水平移動物体３５は自動車、バイク等であって歩行者でないと考えられる。また、停止物体は歩行者でないと考えられ、対象の目的から外れる。従って、この分類から水平移動物体と停止物体は歩行者リスト（歩行者の検索リスト）から削除することができる。また、移動方向とベクトルの大きさから、非歩行者物体、可能物体、判別不能物体に分類して非歩行者物体をリストから削除してもよい。
【００２３】
ステップＳ２７では歩行者リストに残った移動物体についてヒストグラムを求めて歩行者であるかどうかを判断する。ここでは、ウエーブレット・フィルタを利用してヒストグラムを作成する。ウエーブレット・フィルタは低周波数側を再帰的に分割したフィルタで、時間分解能と周波数分解能とをトレードオフしてパラメータを変えることによりフィルタ特性を換えることができるという特徴を持っており、時系列信号の解析や画像圧縮等に従来から使用されている技術である。例えば、ハール変換マトリクスはその代表例である。本実施形態ではウエーブレット・フィルタを利用して歩行者の特徴を示すデータベースを作成し、これによって歩行者か否かを識別する。
【００２４】
ステップＳ２１により切り出された画像に対してウエーブレット・フィルタを作用させてヒストグラムを作成する。ヒストグラムの作成はステップＳ２２で切り出されて補正した画像に対してウエーブレット・フィルタを作用させて画像を変換する。この変換された画像に対して縦方向と横方向の２座標の有限フーリエ変換Ｆを計算してヒストグラムＨを求める。求められたヒストグラムＨと歩行者を判別するための基準となるヒストグラムＨｓと比較して、ヒストグラムＨが歩行者側にあれば歩行者と判断し、反対側、即ち非歩行者側にあれば歩行者でないと判断する。この手順を切り出された画像の内歩行者リストに残っている画像、即ち、ステップＳ２６で対象とされている画像の全てについて行う。
【００２５】
基準ヒストグラムＨｓは以下のようにして作成する。即ち、歩行者画像のサンプルと非歩行者画像のサンプルを多数用意しておき、これらのサンプルにウエーブレット・フィルタを作用させてヒストグラムを作成し、歩行者画像のヒストグラムと非歩行者ヒストグラムの境界面を求める。なお、基準ヒストグラムＨｓは学習を行わせて改良してもよい。更に、ヒストグラムＨ、及びＨｓの時間変化を含めて判断するようにしてもよい。
【００２６】
以上に述べた方法によれば、ヒストグラムを作成して歩行者を検出する対象移動物体の数を移動ベクトルの利用により絞ったので、ヒストグラムの計算に要する時間が少なくなると共にヒストグラムにより正確な歩行者の判断が可能になるという効果が得られる。更に移動物体の縦線群を求めて影等の横方向に長い線をカットする処理をしていることから、人影等のノイズに影響されず正しく歩行者を検出できるという効果が得られる。しかし、人影が縦方向に長くなる場合もあり、この場合には歩行者の中に影のある歩行者と影のない歩行者の両方を含めて、多数の画像からヒストグラムを求めて影の有無に拘わらず歩行者と認めるようにデータベースを作成し、これを利用してもよい。また，影ができるかどうかは太陽光や照明灯の明るさによって決まることから，撮影画像のコントラスト又は明度が所定の規準以上の場合は影のある歩行者を含んだデータベースを利用し，コントラスト又は明度が所定の規準以下の場合は影のない歩行者のデータベースを利用するようにしてもよい。
【００２７】
以上、この発明の実施形態、実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。
【００２８】
【発明の効果】
以上説明したように、この発明の構成によれば、人影等のノイズに影響されず歩行者を正しく検出できるという効果が得られる。また、ヒストグラムの適用する画像数を絞っているので計算時間を短縮できるという効果も得られる。
【図面の簡単な説明】
【図１】本発明を実施した実施形態の全体のフローチャートを示す。
【図２】歩行者検出のフローチャートを示す。
【図３】本実施形態の装置の構成（Ａ）と配置（Ｂ）を示す。
【図４】差分法による移動物体の検出を示す。
【図５】（Ａ）〜（Ｄ）は移動物体の中心を求める手順を示す。
【図６】移動ベクトルの例を示す。
【符号の説明】
１０　　　　　　　横断歩道
１１　　　　　　　ビデオカメラ
１２　　　　　　　処理装置
１３、１４　　　　記憶装置
２２ａ〜２２ｃ　　移動物体
３１　　　　　　　移動物体
３２　　　　　　　縦線群
３３　　　　　　　中心縦線
３４　　　　　　　中心点
３５〜３７　　　　移動ベクトル
【図１】
2004086417.tif 000003
【図２】
2004086417.tif 000004
【図３】
2004086417.tif 000005
【図４】
2004086417.tif 000006
【図５】
2004086417.tif 000007
【図６】
2004086417.tif 000008