(57)【要約】  【課題】演算処理装置に大きな負荷をかけることなく、光源の無い暗闇においても、少ないモデル画像で、歩行者を高精度に認識することができるようにする。  【解決手段】歩行者候補抽出部１２では赤外線カメラ２で撮像した入力画像３と、モデル画像記憶部１４に記憶されている全身モデル画像６及び頭部モデル画像７とのパターンマッチングにより、全身領域８及び頭部候補領域９を抽出する。その際、全身領域８が抽出されなかったときは、直前の入力画像３’で抽出した頭部候補領域９ｃに対して位置変化の最も少ない頭部候補領域９を現在の入力画像３から抽出し、その頭部候補領域９の頭部モデル画像７にマッチングした画像を頭部と判定する。【選択図】図２
2005196590.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で撮像した入力画像と、歩行者のモデル画像とのパターンマッチングにより該入力画像から歩行者を抽出する歩行者抽出装置において、
上記入力画像から上記歩行者の全身モデル画像及び全身の部分モデル画像とを用いたパターンマッチングにより、上記全身モデル画像を囲む全身領域と上記全身の部分モデル画像を囲む部分候補領域とを抽出する歩行者候補抽出手段と、
上記歩行者候補抽出手段で抽出した上記全身領域に上記部分候補領域が存在する場合、抽出した上記部分候補領域は歩行者の一部分であると判定する歩行者抽出手段と
を備えることを特徴とする歩行者抽出装置。
【請求項２】
上記歩行者抽出手段は、上記歩行者候補抽出手段で全身領域が抽出されなかった場合、直前の入力画像から抽出した前部分候補領域と、現入力画像から抽出した部分候補領域とを比較し、該両部分候補領域間の距離が設定距離以内の場合、現入力画像から抽出した該部分候補領域は歩行者の一部分であると判定することを特徴とする請求項１記載の歩行者抽出装置。
【請求項３】
上記歩行者抽出手段は、上記歩行者候補抽出手段で全身領域が抽出されなかった場合、直前の入力画像から抽出した前部分候補領域と、現入力画像から抽出した１或いは複数の部分候補領域とを比較し、抽出された該部分候補領域のなかで上記前部分候補領域に対して最も近い位置で且つ設定距離にある該部分候補領域を歩行者の一部分と判定することを特徴とする請求項１記載の歩行者抽出装置。
【請求項４】
上記部分モデル画像は頭部モデル画像であることを特徴とする請求項１〜３の何れかに記載の歩行者抽出装置。
【請求項５】
上記歩行者抽出手段は、上記全身領域に複数の上記部分候補領域がある場合、最も高い位置にある該部分候補領域を頭部と判定することを特徴とする請求項４記載の歩行者抽出装置。
【請求項６】
上記撮像手段は遠赤外線カメラ或いは赤外線カメラであることを特徴とする請求項１〜５の何れかに記載の歩行者抽出装置。
【請求項７】
上記撮像手段は車両に搭載されていることを特徴とする請求項１〜６の何れかに記載の歩行者抽出装置。
【請求項８】
上記撮像手段は街頭に固設されていることを特徴とする請求項１〜６の何れかに記載の歩行者抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段で撮像した入力画像と、全身モデル画像及び部分モデル画像とのパターンマッチングにより、入力画像から歩行者を抽出する歩行者抽出装置に関する。
【背景技術】
【０００２】
従来、カメラを用いて撮像した画像とモデル画像とのパターンマッチングにより、歩行者の全身、或いは身体の一部分を抽出することで、路上の歩行者を認識する技術が知られている。
【０００３】
しかし、歩行者の全身を、モデル画像とのパターンマッチングにより認識することは、安定した認識精度を得ることができるが、歩行者の動作に対応した多くのモデル画像を必要とするため、演算処理が複雑化するばかりでなく、メモリ容量を大型化する必要がある。
【０００４】
一方、歩行者を、その身体の一部分のモデル画像を用いて認識しようとした場合は、認識精度が低下する問題がある。
【０００５】
これに対処するに、例えば特開２００２−２４９８６号公報には、左右に配設した可視カメラを用いて撮像した同一物体の左右画像に基づき歩行者を認識する技術が開示されている。この先行技術では、左右のカメラの視差を利用して歩行者を認識しているので、モデル画像が不要となる。
【特許文献１】特開２００２−２４９８６号公報
【特許文献２】特開平１０−１０５８９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述した公報に開示されている技術では、可視カメラを用いて自車両前方を撮像しているが、例えば夜間等、歩行者を照明する光源がない場合、可視カメラでは十分な画質の画像を得ることが困難である。又、ステレオカメラは、単眼カメラに比しシステム全体が複雑で、製品コストが嵩む問題がある。
【０００７】
この点、特開平１０−１０５８９１号公報に開示されているように、自車両前方をレーダセンサにてスキャンするようにすれば、昼夜を問わず前方を認識することができるが、夜間における自車両前方の状況、及び前方認識の程度を運転者に視覚的に提示することができない不都合がある。
【０００８】
本発明は、上記事情に鑑み、演算処理に係る負荷を軽減すると共に、光源の無い暗闇においても、少ないモデル画像で、歩行者を高精度に抽出することのできる歩行者抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため本発明は、撮像手段で撮像した入力画像と、歩行者のモデル画像とのパターンマッチングにより該入力画像から歩行者を抽出する歩行者抽出装置において、上記入力画像から上記歩行者の全身モデル画像及び全身の部分モデル画像とを用いたパターンマッチングにより、上記全身モデル画像を囲む全身領域と上記全身の部分モデル画像を囲む部分候補領域とを抽出する歩行者候補抽出手段と、上記歩行者候補抽出手段で抽出した上記全身領域に上記部分候補領域が存在する場合、抽出した上記部分候補領域は歩行者の一部分であると判定する歩行者抽出手段とを備えることを特徴とする。
【００１０】
この場合、好ましくは上記撮像手段は遠赤外線カメラ或いは赤外線カメラであることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、演算処理に係る負荷を軽減すると共に、光源の無い暗闇においても、少ないモデル画像で、歩行者を高精度に抽出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面に基づいて本発明の一形態を説明する。図１に歩行者抽出装置を搭載した車両の概略図を示す。
【００１３】
同図に示すように、本形態で採用する自動車等の車両１には、自車両１の前方及びその周辺を撮像する、撮像手段としての赤外線カメラ或いは遠赤外線カメラ（以下、これらを「赤外線カメラ」と総称する）２と、赤外線カメラ２で撮像した自車両１の前方及びその周辺の画像（以下「入力画像」と称する）３から、歩行者４を抽出する歩行者抽出処理ユニット５とを備えている。尚、赤外線カメラ２は、夜間等の暗闇においても、物体の発するわずかな、可視光より長い波長帯の電磁波である赤外線あるいは遠赤外線を捕らえて撮像し、映像信号に変換して出力するものである。
【００１４】
歩行者抽出処理ユニット５はマイクロコンピュータ等のコンピュータを主体に構成されている。コンピュータには、ＲＯＭに記憶されている制御プログラムに従いシステム全体を制御するＣＰＵ（演算処理部）、制御プログラムと歩行者の全身及び頭部モデル画像等の固定データを記憶するＲＯＭ、演算作業における一時記憶部として使用するＲＡＭ等が備えられている。
【００１５】
図２に示すように、歩行者抽出処理ユニット５は、歩行者を抽出し処理する機能として、歩行者候補抽出手段としての歩行者候補抽出部１２、歩行者部分抽出手段としての歩行者抽出部１３、歩行者を抽出するための基準となる全身及び全身の一部分である頭部候補のモデル画像６，７を複数記憶するモデル画像記憶部１４、及び、歩行者抽出結果記憶部１５を有している。
【００１６】
又、図４、図５に、モデル画像記憶部１４に記憶されている全身モデル画像６、及び頭部モデル画像７を示す。両モデル画像６，７は、何れも、道路を横断する歩行者を車両側から見たときの典型的な形状をパターン化したもので、複数のパターンが記憶されている。
【００１７】
歩行者候補抽出部１２は、入力画像３と、モデル画像記憶部１４に記憶されている全身モデル画像６、及び頭部モデル画像７とのパターンマッチングにより、全身領域８、及び頭部候補領域９を抽出する。パターンマッチングとは、モデル画像と、入力画像３との類似度を評価するための一手法であり、評価関数としては相関係数が多く用いられる。
【００１８】
歩行者抽出部１３は、歩行者候補抽出部１２で抽出した全身領域８、及び頭部候補領域９から誤抽出部分を除去し、最終的に歩行者の頭部を抽出する。尚、入力画像３から頭部が抽出された場合、入力画像３に歩行者が映し出されていると判断することができる。
【００１９】
歩行者抽出結果記憶部１５は、歩行者抽出部１３での歩行者の抽出結果を記憶する。
【００２０】
歩行者抽出処理ユニット５で処理される歩行者抽出処理は、具体的には、図３に示す歩行者抽出ルーチンに従って実行される。
【００２１】
このルーチンは１フレーム毎の入力画像３について実行される。先ず、ステップＳ１で入力画像３を入力し、ステップＳ２で、ＲＯＭに記憶されている全身モデル画像６と頭部モデル画像７とを読み込む。
【００２２】
そして、ステップＳ３へ進み、入力画像３と、全身及び頭部候補の各モデル画像６，７とのパターンマッチングを行う。
【００２３】
以下、パターンマッチングの手法について一例を示す。先ず、全身及び頭部候補の各モデル画像６，７を囲む所定大きさのウインドウを、入力画像３に対して一画素ずつ移行させて全画面をスキャンする。尚、この各ウインドウは全身領域８、及び頭部候補領域９を画定するものであり、その領域は全身領域８、及び頭部候補領域９と同一である。従って、ウインドウに付す符号を省略する。
【００２４】
そして、各ウインドウ内の全身モデル画像６と頭部モデル画像７との類似度を正規化相関演算によって算出する。すなわち、正規化相関によるパターンマッチングを行う。尚、正規化相関によるパターンマッチングは、例えば特開平５−１８９５７０号公報に開示されている。
【００２５】
その後、ステップＳ４で、入力画像３と全身モデル画像６とのパターンマッチングにより全身領域８が抽出された否かを調べる。全身領域８が抽出された場合、ステップＳ５へ進み、又、全身領域８が抽出されなかった場合は、ステップＳ６へ分岐する。尚、図６に、全身モデル画像６とのパターンマッチングで抽出された全身領域８、及び頭部モデル画像７とのパターンマッチングにより抽出された頭部候補領域９を示す。
【００２６】
以下においては、先ず、全身領域８が抽出された場合について説明し、次いで全身領域８が抽出されなかった場合について説明する。
【００２７】
ステップＳ５へ進むと、入力画像３から全身領域８外にある頭部候補領域９を削除する処理を行い、誤抽出要因を除去する。図７に示すように、本形態では、全身領域８の横方向にある頭部候補領域９ａを除去している。
【００２８】
次いで、ステップＳ７へ進み、全身領域８内に頭部候補領域９が存在するか否かを調べる。そして、全身領域８内に頭部候補領域９が存在している場合は（図８参照）、ステップＳ１１へ進み、頭部候補領域９が存在していない場合は、ステップＳ１２へ分岐する。
【００２９】
ステップＳ１１へ進むと、全身領域８内の頭部候補領域９のうち、最も高い位置の頭部候補領域９ｂ（図８参照）の頭部モデル画像７にマッチした画像を頭部として採用する。これにより、頭部の誤抽出要因を除去することができる。
【００３０】
その後、ステップＳ１４へ進み、抽出結果、すなわち、頭部と判定した情報（例えば、頭部判定フラグＦＬＧをセット(FLG=1)すると共に、頭部候補領域９の特定位置（中央など）の座標）をＲＡＭ等の記憶手段に記憶し、ステップＳ１５で抽出結果を出力して、ルーチンを抜ける。
【００３１】
一方、ステップＳ７からステップＳ１２へ分岐すると、頭部候補領域９が抽出されなかったので、頭部と判定しないとの判定結果を設定する。この判定結果は、例えば頭部判定フラグＦＬＧをクリア（ＦＬＧ＝０）することで設定する。そして、ステップＳ１４へ進み、頭部と判定しないとの抽出結果を（例えば、ＦＬＧ＝０）をＲＡＭ等の記憶手段に記憶し、ステップＳ１５へ進み、その抽出結果を出力して、ルーチンを抜ける。
【００３２】
次に、ステップＳ４で全身領域８が抽出できなかった場合について説明する。ステップＳ４からステップＳ６へ分岐すると、入力画像３に頭部候補領域９が存在するか否かを調べ、頭部候補領域９が存在しない場合は、ステップＳ１２へジャンプし、頭部候補領域９が存在している場合は、ステップＳ８へ進む。
【００３３】
ステップＳ８では、直前の入力画像３’（図９参照）を読み込み、この入力画像３’に存在する頭部候補領域９ｃと、現在の入力画像３から抽出した頭部候補領域９とを比較し、最も近い位置、すなわち位置変化の最も少ない頭部候補領域９を選出する。この場合、直前の入力画像３’で全身領域８が抽出されている必要はない。
【００３４】
尚、直前の入力画像３’に存在する頭部候補領域９ｃと現在の入力画像３から抽出した頭部候補領域９との距離を算出する手法は、種々のものが考えられる。例えば、各頭部候補領域９の特定位置（中央など）の座標を比較するようにしても良い。又、図示しないがステップＳ８において、直前の入力画像３’で頭部候補領域９ｃが抽出されていない場合は、判断対象が存在しないのでそのままルーチンを抜ける。
【００３５】
次いで、ステップＳ９へ進み、検出した頭部候補領域９と直前の入力画像３’から抽出した頭部候補領域９ｃとの距離Ｌを算出する。この距離Ｌは、例えば頭部候補領域９の中央と頭部候補領域９ｃの中央の座標との間の距離であっても良い。
【００３６】
その後、ステップＳ１０へ進み、距離Ｌと予め設定した許容値Ｌｏとを比較する。許容値Ｌｏは現在の入力画像３と直前の入力画像３’との間で同一人物が相対移動する際の距離を実験などから求めて設定したもので、位置変化の小さい値に設定されている。
【００３７】
そして、距離Ｌが許容値Ｌｏ以内（Ｌ≦Ｌｏ）のときは、ステップＳ１３へ進み、頭部候補領域９の頭部モデル画像７とマッチした画像は頭部であると判定する。そして、ステップＳ１４へ進み、頭部と判定した情報（例えば、ＦＬＧ＝１、及び頭部候補領域９の特定位置（中央など）の座標）をＲＡＭ等の記憶手段に記憶し、ステップＳ１５で抽出結果を出力して、ルーチンを抜ける。
【００３８】
このように、本形態では、最初に全身モデル画像６に基づいて入力画像３中の全身領域８を抽出し、抽出した全身領域８の中から頭部モデル画像７を用いて頭部を抽出するようにしたので、歩行者の誤抽出を低減することができる。
【００３９】
又、他の障害物等の影響で、全身領域８が抽出できなかった場合であっても、直前の入力画像３’で頭部候補領域９ｃが抽出されていれば、その頭部候補領域９ｃに基づいて現在の入力画像３で抽出した頭部候補領域９と比較し位置変化が小さい場合は、全身の一部分が隠れている場合であっても、頭部候補領域９の頭部モデル画像７にマッチした画像を頭部と判定できるので、歩行者の抽出精度を大幅に高めることができる。
【００４０】
同様に、歩行者の姿勢と全身モデル画像６の形状との相違により、全身領域８が抽出されなかった場合であっても、別の形状の全身モデル画像を多数記憶させる必要が無く、少ない全身モデル画像数で、歩行者を効率よく抽出することができる。その結果、演算処理に係る負荷を軽減することができると共に、歩行者を高精度に抽出することができる。
【００４１】
又、赤外線カメラ２で撮像した入力画像３に基づいて歩行者を抽出するようにしているので、光源の無い暗闇においても、歩行者を高精度に抽出することができる。
【００４２】
更に、全身領域８内に複数の頭部候補領域９が存在する場合には、最も高い位置の頭部候補領域９ｂの頭部モデル画像７にマッチした画像を頭部と判定するようにしたので、誤抽出要因となる頭部候補領域９が多数存在していても歩行者を正確に抽出することができる。
【００４３】
そして、自車両１に搭載した赤外線カメラ２で撮像した入力画像３から歩行者が検出された場合、車両１では、例えばブレーキ動作等により車速を所定速度まで減速させる減速制御や、歩行者の存在をランプ、ブザー、或いはスピーカからの音声により知らせる警報制御を行うことができる。
【００４４】
尚、本発明は、上述した形態に限るものではなく、例えば撮像手段は赤外線カメラに限らず可視カメラに適用することも可能である。又、赤外線カメラ２は街頭等に固設する固定カメラであっても良い。固定カメラの場合、例えば横断歩道に配設することで、歩行者を検知したとき車両側の信号機を自動的に青信号から黄信号を経て赤信号に切換えるようにすることができる。
【図面の簡単な説明】
【００４５】
【図１】歩行者抽出装置を搭載した車両の概略図
【図２】歩行者抽出処理ユニットの構成を示すブロック図
【図３】歩行者抽出ルーチンを示すフローチャート
【図４】全身モデル画像の説明図
【図５】頭部モデル画像の説明図
【図６】入力画像から抽出された全身領域及び頭部候補領域を示す説明図
【図７】全身領域を抽出する手法を示す説明図
【図８】頭部候補領域を抽出する手法を示す説明図
【図９】直前の入力画像を示す説明図
【図１０】直前の入力画像から抽出した頭部候補領域と現在の入力画像から抽出した頭部候補領域とに基づいて頭部を判定するときの説明図
【符号の説明】
【００４６】
１  車両
２  赤外線カメラ
３  入力画像
４  歩行者
５  歩行者抽出処理ユニット
６  全身モデル画像
７  頭部モデル画像
８  全身領域
９，９ａ，９ｂ，９ｃ  頭部候補領域
１２  歩行者候補抽出部
１３  歩行者抽出部
１４  モデル画像記憶部
１５  歩行者抽出結果記憶部
代理人    弁理士    伊  藤    進
【図１】
2005196590.tif 000003
【図２】
2005196590.tif 000004
【図３】
2005196590.tif 000005
【図４】
2005196590.tif 000006
【図５】
2005196590.tif 000007
【図６】
2005196590.tif 000008
【図７】
2005196590.tif 000009
【図８】
2005196590.tif 000010
【図９】
2005196590.tif 000011
【図１０】
2005196590.tif 000012