(57)【要約】【課題】歩行者の移動状態を精度良く判定できる歩行者認識支援装置等を提供する。【解決手段】代表点特定手段２１は、画像入力部１５によって入力された画像のデータから、歩行者の輪郭を抽出し、歩行者の部位を代表する点である代表点を特定する。代表点を特定する部位は、例えば、頭部、首部、股間接、膝間接、足首間接等である。角度情報算出手段２３は、代表点特定手段２１によって特定された代表点同士を結ぶ直線、地表面と平行な直線等に基づいて、歩行者の各部位の角度情報を算出する。歩行者情報蓄積手段２５は、角度情報算出手段２３が算出した角度情報を蓄積する。移動状態判定手段２７は、歩行者情報蓄積手段２５によって蓄積された角度情報に基づいて歩行者の移動状態を判定する。【選択図】図２
2010165003.tif 000002
【特許請求の範囲】
【請求項１】
自車両に接近する歩行者の認識を支援する歩行者認識支援装置であって、
自車両の進行方向と略直交する座標系の画像に含まれる歩行者の各部位の角度情報を算出する角度情報算出手段と、
算出された角度情報を蓄積する角度情報蓄積手段と、
蓄積された角度情報に基づいて歩行者の移動状態を判定する移動状態判定手段と、
を具備することを特徴とする歩行者認識支援装置。
【請求項２】
前記角度情報算出手段は、歩行者の膝角度を算出し、
前記角度情報蓄積手段は、前記膝角度の時系列データを蓄積し、
前記移動状態判定手段は、前記膝角度の時系列データの微分の絶対値が第１の閾値を超えない時間が、第２の閾値以上継続している場合には、歩行停止状態であると判定することを特徴とする請求項１に記載の歩行者認識支援装置。
【請求項３】
前記移動状態判定手段は、前記膝角度の時系列データの微分の絶対値が前記第１の閾値を超えない時間が、前記第２の閾値以上継続した後、前記膝角度の時系列データの微分の絶対値が前記第１の閾値を超えたときに歩行を再開したと判定することを特徴とする請求項２に記載の歩行者認識支援装置。
【請求項４】
歩行者の輪郭から、歩行者の部位を代表する点である代表点を特定する代表点特定手段、を更に具備し、
前記代表点特定手段が特定する代表点は、少なくとも股関節代表点と膝関節代表点と足首代表点であり、
前記角度情報算出手段は、股間接代表点と膝間接代表点とを結ぶ第１の直線と、膝間接代表点と足首代表点とを結ぶ第２の直線とがなす角度を前記膝角度として算出することを特徴とする請求項２または請求項３に記載の歩行者認識支援装置。
【請求項５】
前記角度情報算出手段は、歩行者の足角度を算出し、
前記角度情報蓄積手段は、前記足角度の時系列データを蓄積し、
前記移動状態判定手段は、前記足角度の時系列データの微分の絶対値が第３の閾値を超えない時間が、第４の閾値以上継続している場合には、歩行停止状態であると判定することを特徴とする請求項１に記載の歩行者認識支援装置。
【請求項６】
前記移動状態判定手段は、前記足角度の時系列データの微分の絶対値が前記第３の閾値を超えない時間が、前記第４の閾値以上継続した後、前記足角度の時系列データの微分の絶対値が前記第３の閾値を超えたときに歩行を再開したと判定することを特徴とする請求項５に記載の歩行者認識支援装置。
【請求項７】
歩行者の輪郭から、歩行者の部位を代表する点である代表点を特定する代表点特定手段、を更に具備し、
前記代表点特定手段が特定する代表点は、少なくとも股関節代表点と足首代表点であり、
前記角度情報算出手段は、地表面と平行な第３の直線と、前記股関節代表点と前記足首代表点とを結ぶ第４の直線とがなす角度を足角度として算出することを特徴とする請求項５または請求項６に記載の歩行者認識支援装置。
【請求項８】
前記角度情報算出手段は、歩行者の頭部角度または首部角度を算出し、
前記角度情報蓄積手段は、前記頭部角度または前記首部角度の時系列データを蓄積し、
前記移動状態判定手段は、前記頭部角度または前記首部角度の時系列データの微分の絶対値が第５の閾値を超えない時間が、第６の閾値以上継続している場合には、歩行停止状態であると判定することを特徴とする請求項１に記載の歩行者認識支援装置。
【請求項９】
前記移動状態判定手段は、前記頭部角度または前記首部角度の時系列データの微分の絶対値が前記第５の閾値を超えない時間が、前記第６の閾値以上継続した後、前記頭部角度または前記首部角度の時系列データの微分の絶対値が前記第５の閾値を超えたときに歩行を再開したと判定することを特徴とする請求項８に記載の歩行者認識支援装置。
【請求項１０】
歩行者の輪郭から、歩行者の部位を代表する点である代表点を特定する代表点特定手段、を更に具備し、
前記代表点特定手段が特定する代表点は、少なくとも頭部代表点または首部代表点と、股間接代表点であり、
前記角度情報算出手段は、地表面と平行な第５の直線と、前記股関節代表点と前記頭部代表点または前記首部代表点とを結ぶ第６の直線とがなす角度を頭部角度または首部角度として算出することを特徴とする請求項８または請求項９に記載の歩行者認識支援装置。
【請求項１１】
自車両に接近する歩行者の認識を支援する歩行者認識支援方法であって、
自車両の進行方向と略直交する座標系の画像に含まれる歩行者の各部位の角度情報を算出する角度情報算出ステップ、
を繰り返し実行し、
前記角度情報算出ステップによって算出された複数の角度情報に基づいて歩行者の移動状態を判定する移動状態判定ステップ、
を更に実行することを特徴とする歩行者認識支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
自車両に接近する歩行者の認識を支援する歩行者認識支援装置および歩行者認識支援方法に関する。
【背景技術】
【０００２】
現在、車両に搭載される車載カメラ等を使い、前方の障害物の中から歩行者を識別し、運転者が歩行者を認識することを支援する装置が開発され、市販車両に搭載され始めている。このような装置の開発では、識別した歩行者が路側帯や歩道や車道等のどの位置に存在しているかを認識するだけでなく、その歩行車が路側帯や歩道に沿って歩こうとしている比較的衝突の危険が低い歩行者であるのか、車道を横断しようとしている比較的衝突の危険が高い歩行者であるのかについても認識することが求められている。
【０００３】
特許文献１では、歩行者の開脚の度合いＷを検出し、歩行者の身長Ｈで除した値Ｗ／Ｈが所定値α以上であるか否かによって、歩行者が自車両の進路を横断する可能性があるか否かを判定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２６４７７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、通常の歩行のみが想定されていて、歩行者の危険回避動作までは想定されていない。歩行者が車両の接近に気づき、車道に入らずに足を開いたまま歩道で立ち止まった場合を考える。足を開いたまま立ち止まった状態では、Ｗ／Ｈが所定値α以上となる。この場合、特許文献１の仕組みでは、歩行者が歩道で立ち止まっているにも関わらず、歩行者が自車両の進路を横断する可能性があると誤って判定してしまう。
【０００６】
本発明は、前述した問題点に鑑みてなされたもので、その目的は、歩行者の移動状態を精度良く判定できる歩行者認識支援装置等を提供することである。
【課題を解決するための手段】
【０００７】
前述した目的を達成するために第１の発明は、自車両に接近する歩行者の認識を支援する歩行者認識支援装置であって、自車両の進行方向と略直交する座標系の画像に含まれる歩行者の各部位の角度情報を算出する角度情報算出手段と、算出された角度情報を蓄積する角度情報蓄積手段と、蓄積された角度情報に基づいて歩行者の移動状態を判定する移動状態判定手段と、を具備することを特徴とする歩行者認識支援装置である。第１の発明では、角度情報を算出し、角度情報に基づいて歩行者の移動状態を判定するので、歩行者の足の開きだけで移動状態を判定する場合と比較して精度良く判定できる。
【０００８】
例えば、前記角度情報算出手段は、歩行者の膝角度を算出し、前記角度情報蓄積手段は、前記膝角度の時系列データを蓄積し、前記移動状態判定手段は、前記膝角度の時系列データの微分の絶対値が第１の閾値を超えない時間が、第２の閾値以上継続している場合には、歩行停止状態であると判定する。また、前記移動状態判定手段は、前記膝角度の時系列データの微分の絶対値が前記第１の閾値を超えない時間が、前記第２の閾値以上継続した後、前記膝角度の時系列データの微分の絶対値が前記第１の閾値を超えたときに歩行を再開したと判定する。更に、第１の発明の歩行者認識装置は、歩行者の輪郭から、歩行者の部位を代表する点である代表点を特定する代表点特定手段、を更に具備し、前記代表点特定手段が特定する代表点は、少なくとも股関節代表点と膝関節代表点と足首代表点であり、前記角度情報算出手段は、股間接代表点と膝間接代表点とを結ぶ第１の直線と、膝間接代表点と足首代表点とを結ぶ第２の直線とがなす角度を前記膝角度として算出する。
【０００９】
また、例えば、前記角度情報算出手段は、歩行者の足角度を算出し、前記角度情報蓄積手段は、前記足角度の時系列データを蓄積し、前記移動状態判定手段は、前記足角度の時系列データの微分の絶対値が第３の閾値を超えない時間が、第４の閾値以上継続している場合には、歩行停止状態であると判定する。また、前記移動状態判定手段は、前記足角度の時系列データの微分の絶対値が前記第３の閾値を超えない時間が、前記第４の閾値以上継続した後、前記足角度の時系列データの微分の絶対値が前記第３の閾値を超えたときに歩行を再開したと判定する。更に、第１の発明の歩行者認識装置は、歩行者の輪郭から、歩行者の部位を代表する点である代表点を特定する代表点特定手段、を更に具備し、前記代表点特定手段が特定する代表点は、少なくとも股関節代表点と足首代表点であり、前記角度情報算出手段は、地表面と平行な第３の直線と、前記股関節代表点と前記足首代表点とを結ぶ第４の直線とがなす角度を足角度として算出する。
【００１０】
また、例えば、前記角度情報算出手段は、歩行者の頭部角度または首部角度を算出し、前記角度情報蓄積手段は、前記頭部角度または前記首部角度の時系列データを蓄積し、前記移動状態判定手段は、前記頭部角度または前記首部角度の時系列データの微分の絶対値が第５の閾値を超えない時間が、第６の閾値以上継続している場合には、歩行停止状態であると判定する。また、前記移動状態判定手段は、前記頭部角度または前記首部角度の時系列データの微分の絶対値が前記第５の閾値を超えない時間が、前記第６の閾値以上継続した後、前記頭部角度または前記首部角度の時系列データの微分の絶対値が前記第５の閾値を超えたときに歩行を再開したと判定する。更に、第１の発明の歩行者認識装置は、歩行者の輪郭から、歩行者の部位を代表する点である代表点を特定する代表点特定手段、を更に具備し、前記代表点特定手段が特定する代表点は、少なくとも頭部代表点または首部代表点と、股間接代表点であり、前記角度情報算出手段は、地表面と平行な第５の直線と、前記股関節代表点と前記頭部代表点または前記首部代表点とを結ぶ第６の直線とがなす角度を頭部角度または首部角度として算出する。
【００１１】
第２の発明は、自車両に接近する歩行者の認識を支援する歩行者認識支援方法であって、自車両の進行方向と略直交する座標系の画像に含まれる歩行者の各部位の角度情報を算出する角度情報算出ステップ、を繰り返し実行し、前記角度情報算出ステップによって算出された複数の角度情報に基づいて歩行者の移動状態を判定する移動状態判定ステップ、を更に実行することを特徴とする歩行者認識支援方法である。
【発明の効果】
【００１２】
本発明により、歩行者の移動状態を精度良く判定できる歩行者認識支援装置等を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】歩行者認識支援装置１の概略構成図
【図２】歩行者認識支援装置１の機能の概要を示すブロック図
【図３】代表点特定手段２１の処理の詳細を示すフローチャート
【図４】歩行者の輪郭、代表点等を示す模式図
【図５】角度情報算出手段２３の処理の詳細を示すフローチャート
【図６】角度情報の一例を示す図
【図７】頭部角度を説明する図
【図８】首部角度を説明する図
【図９】膝角度を説明する図
【図１０】足首角度を説明する図
【図１１】膝角度の微分の時系列データの一例を示す図
【図１２】足首角度の微分の時系列データの一例を示す図
【図１３】頭部角度の微分の時系列データの一例を示す図
【図１４】歩行者認識支援装置１ａの機能の概要を示すブロック図
【図１５】角度情報算出手段２３ａの処理の詳細を示すフローチャート
【図１６】歩行者の輪郭、代表点等を示す模式図
【発明を実施するための形態】
【００１４】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
【００１５】
＜第１の実施の形態＞
図１は、第１の実施の形態に係る歩行者認識支援装置１の概略構成図である。図１に示すように、歩行者認識支援装置１は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、記憶部１４、画像入力部１５、表示制御部１６等を備える。
【００１６】
ＣＰＵ１１は、記憶部１４、ＲＯＭ１３等に格納されるプログラムをＲＡＭ１２のワークメモリ領域に呼び出して実行し、歩行者認識支援装置１が行う後述する処理を実現する。
ＲＡＭ１２は、揮発性メモリであり、記憶部１４、ＲＯＭ１３等からロードしたプログラム、データ等を一時的に保持するとともに、ＣＰＵ１１が各種処理を行う為に使用するワークエリアを備える。
ＲＯＭ１３は、不揮発性メモリであり、ブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
【００１７】
記憶部１４は、例えば、ＨＤＤ（ハードディスクドライブ）であり、ＣＰＵ１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理を歩行者認識支援装置１に実行させるためのプログラムが格納されている。
これらの各プログラムコードは、ＣＰＵ１１により必要に応じて読み出されてＲＡＭ１２に移され、実行される。
【００１８】
画像入力部１５は、ＣＣＤカメラやＣＭＯＳカメラ等の撮像装置３が撮影した画像のデータを入力する。対象とする画像は、自車両の進行方向と略直交する座標系の画像である。
表示制御部１６は、ヘッドアップディスプレイ等の表示装置３と連携して歩行者認識支援装置１のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００１９】
図２は、歩行者認識支援装置１の機能の概要を示すブロック図である。図２に示すように、歩行者認識支援装置１は、代表点特定手段２１、角度情報算出手段２３、角度情報蓄積手段２５、移動状態判定手段２７等を備える。
【００２０】
代表点特定手段２１は、画像入力部１５によって入力された画像のデータから、歩行者の輪郭を抽出し、歩行者の部位を代表する点である代表点を特定する。代表点を特定する部位は、例えば、頭部、首部、股間接、膝間接、足首間接等である。
【００２１】
本発明では、車両の前方を横断する歩行者を認識対象とし、車両の進行方向と略平行する方向に移動する歩行者は認識対象外とする。代表点特定手段２１は、時間的に連続する複数の画像のデータから歩行者の移動方向を算出し、認識対象か否かを判定する。
【００２２】
角度情報算出手段２３は、代表点特定手段２１によって特定された代表点同士を結ぶ直線、地表面と平行な直線等に基づいて、歩行者の各部位の角度情報を算出する。
【００２３】
歩行者情報蓄積手段２５は、角度情報算出手段２３が算出した角度情報を蓄積する。角度情報は、ＲＡＭ１２、記憶部１４等に保持される。代表点特定手段２１、角度情報算出手段２３は、所定の時間間隔で入力される画像のデータに対して繰り返し実行される。歩行者情報蓄積手段２５は、角度情報を算出した時刻の情報とともに角度情報を蓄積する。
【００２４】
移動状態判定手段２７は、歩行者情報蓄積手段２５によって蓄積された角度情報に基づいて歩行者の移動状態を判定する。また、移動状態判定手段２７は、自車両の速度、自車両と歩行車との位置関係等を考慮し、判定した歩行者の移動状態が自車両の走行に支障をきたす可能性があると判断すると、表示装置５に警告情報を表示する。
【００２５】
次に、図３、図４を参照しながら、代表点特定手段２１の処理について説明する。図３は、代表点特定手段２１の処理の詳細を示すフローチャートである。図４は、歩行者の輪郭、代表点等を示す模式図である。
【００２６】
図３に示すように、ＣＰＵ１１は、歩行者の輪郭を抽出する（Ｓ１０１）。ＣＰＵ１１は、例えば、画像内の明るさが急激に変化する箇所を輪郭として抽出する。明るさが急激に変化する箇所は、公知のエッジ検出フィルタによって隣接する画素を重みづけし、差分演算によって微分値の近似値を求めることで特定することができる。
【００２７】
ＣＰＵ１１は、上半身の中央線を算出する（Ｓ１０２）。上半身の中央線は、図４に示す線分３７である。上半身の中央線は、例えば、次のように算出することができる。Ｓ１０１にて抽出した歩行者の輪郭から、予め定めた上半身と下半身の比率によって上半身の領域を特定する。特定した上半身の領域のＸ方向の中点を算出する。算出したＸ方向の中点群に最もフィットする直線を上半身の中央線として、最小二乗法等を用いて算出する。
【００２８】
ＣＰＵ１１は、頭部代表点を特定する（Ｓ１０３）。頭部代表点は、点３３である。頭部代表点は、例えば、Ｓ１０１にて抽出した歩行者の輪郭の最上部に全身長の１／８程度の直径の頭部近似円（点線３１）を当てはめたときの円の中心点である。
【００２９】
ＣＰＵ１１は、首部代表点を特定する（Ｓ１０４）。首部代表点は、点３５である。首部代表点は、例えば、頭部近似円（点線３１）と上半身の中央線（線分３７）の交点である。
【００３０】
ＣＰＵ１１は、大腿部の中央線を左右とも算出する（Ｓ１０５）。右足の大腿部の中央線は、線分４１ａである。左足の大腿部の中央線は、線分４１ｂである。右足の大腿部の中央線は、例えば、次のように算出することができる。Ｓ１０１にて抽出した歩行者の輪郭から、予め定めた上半身と下半身の比率によって下半身の領域を特定する。特定した下半身の領域のうち右足の領域から、予め定めた大腿部と下腿部の比率によって右足の大腿部を特定する。特定した右足の大腿部の領域のＸ方向の中点を算出する。算出したＸ方向の中点群に最もフィットする直線を右足の大腿部の中央線として、最小二乗法等を用いて算出する。左足の大腿部の中央線も同様に算出することができる。大腿部の中央線は、左右が交わるまで延長して考えることとする（線分４１ａ、線分４１ｂの点線部分）。
【００３１】
ＣＰＵ１１は、股間接代表点を特定する（Ｓ１０６）。股間接代表点は、点３９である。股間接代表点は、例えば、線分４１ａ（右足の大腿部の中央線）と線分４１ｂ（左足の大腿部の中央線）の交点である。または、股間接代表点は、線分３７（上半身の中央線）、線分４１ａ（右足の大腿部の中央線）、線分４１ｂ（左足の大腿部の中央線）によって形成される三角形の重心としても良い。いずれの場合であっても、線分３７（上半身の中央線）、線分４１ａ（右足の大腿部の中央線）、線分４１ｂ（左足の大腿部の中央線）は、点３９（股間接代表点）を通るように再算出しても良い。
【００３２】
ＣＰＵ１１は、下腿部の中央線を左右とも算出する（Ｓ１０７）。右足の下腿部の中央線は、線分４５ａである。左足の下腿部の中央線は、線分４５ｂである。右足の下腿部の中央線は、例えば、次のように算出することができる。Ｓ１０１にて抽出した歩行者の輪郭から、予め定めた上半身と下半身の比率によって下半身の領域を特定する。特定した下半身の領域のうち右足の領域から、予め定めた大腿部と下腿部の比率によって右足の下腿部を特定する。特定した右足の下腿部の領域のＸ方向の中点を算出する。算出したＸ方向の中点群に最もフィットする直線を右足の下腿部の中央線として、最小二乗法等を用いて算出する。左足の大腿部の中央線も同様に算出することができる。
【００３３】
ＣＰＵ１１は、膝間接代表点を左右とも特定する（Ｓ１０８）。右足の膝間接代表点は、点４３ａである。左足の膝間接代表点は、点４３ｂである。右足の膝間接代表点は、例えば、線分４１ａ（右足の大腿部の中央線）と線分４５ａ（右足の下腿部の中央線）の交点である。左足の膝間接代表点は、例えば、線分４１ｂ（左足の大腿部の中央線）と線分４５ｂ（左足の下腿部の中央線）の交点である。脚がまっすぐに伸びていて、交点を特定できない場合、前後の画像データから、画像の連続性、長骨の長さの不変性を利用して、間接位置を割り出す。
【００３４】
ＣＰＵ１１は、足首部代表点を左右とも特定する（Ｓ１０９）。右足の足首部代表点は、点４７ａである。左足の足首部代表点は、点４７ｂである。右足の足首部代表点は、例えば、線分４５ａ（右足の下腿部の中央線）と輪郭の最下部との交点である。左足の足首部代表点は、例えば、線分４５ｂ（左足の下腿部の中央線）と輪郭の最下部との交点である。
【００３５】
次に、図５から図１０を参照しながら、角度情報算出手段２３の処理について説明する。図５は、角度情報算出手段２３の処理の詳細を示すフローチャートである。図６は、角度情報の一例を示す図である。図７は、頭部角度を説明する図である。図８は、首部角度を説明する図である。図９は、膝角度を説明する図である。図１０は、足首角度を説明する図である。
【００３６】
図５に示すように、ＣＰＵ１１は、頭部角度を算出する（Ｓ２０１）。頭部角度は、図７に示すθ１である。θ１は、図７に示すように、地表面と平行な直線６１と、股関節代表点（点３９）と頭部代表点（点３３）とを結ぶ直線６２とがなす角度である。
【００３７】
ＣＰＵ１１は、首部角度を算出する（Ｓ２０２）。首部角度は、図８に示すθ２である。θ２は、図８に示すように、地表面と平行な直線６３と、股関節代表点（点３９）と首部代表点（点３５）とを結ぶ直線６４とがなす角度である。
【００３８】
ＣＰＵ１１は、膝角度を左右とも算出する（Ｓ２０３）。右足の膝角度は、図９に示すθ３である。θ３は、図９に示すように、股間接代表点（点３９）と右足の膝間接代表点（４３ａ）とを結ぶ直線７１と、右足の膝間接代表点（４３ａ）と右足の足首代表点（４７ａ）とを結ぶ直線７２とがなす角度である。左足の膝角度は、図９に示すθ４である。θ４は、図９に示すように、股間接代表点（点３９）と左足の膝間接代表点（４３ｂ）とを結ぶ直線７３と、左足の膝間接代表点（４３ｂ）と左足の足首代表点（４７ｂ）とを結ぶ直線７４とがなす角度である。
【００３９】
ＣＰＵ１１は、足首角度を左右とも算出する（Ｓ２０４）。右足の足首角度は、図１０に示すθ５である。θ５は、図１０に示すように、地表面と平行な直線８１と、股関節代表点（点３９）と右足の足首代表点（点４７ａ）とを結ぶ直線８２とがなす角度である。左足の足首角度は、図１０に示すθ６である。θ６は、図１０に示すように、地表面と平行な直線８１と、股関節代表点（点３９）と左足の足首代表点（点４７ｂ）とを結ぶ直線８３とがなす角度である。
【００４０】
Ｓ２０１からＳ２０４にて算出した角度情報は、図６に示すように、算出時刻５１とともに、頭部角度５２、首部角度５３、右膝角度５４、左膝角度５５、右足首角度５６、左足首角度５７として、角度情報蓄積手段２５によって記憶部１４またはＲＡＭ１２に蓄積される。後述する移動状態判定手段２７は、例えば、同一の歩行者に対する算出時刻５１と右膝角度５４のデータ群を右足の膝角度の時系列データとして取り扱う。
【００４１】
次に、図１１から図１３を参照しながら、移動状態判定手段２７について説明する。図１１は、膝角度の微分の時系列データの一例を示す図である。図１２は、足首角度の微分の時系列データの一例を示す図である。図１３は、頭部角度の微分の時系列データの一例を示す図である。
【００４２】
歩行者の膝角度の時系列データを観測すると、歩行者が移動状態を変更する際、事前に準備を開始していることが読み取れる。例えば、歩行を停止する場合、膝は前もって大きく動き、地面を踏ん張って体を減速させるので、膝角度は大きく変化する。移動停止後、膝角度はほとんど変化しない。反対に、歩行を再開する場合、静止していた膝が動作の準備のために動き始めるので、膝角度は大きく変化する。移動状態判定手段２７は、このような観測結果に着眼し、膝角度に基づく歩行者の移動状態の判定を次のように行う。
【００４３】
移動状態判定手段２７は、図１１に示すような膝角度の微分の時系列データを用いて、歩行者の移動状態を判定する。図１１に示すκ、τは、判定のための閾値である。移動状態判定手段２７は、膝角度の時系列データの微分の絶対値がκを超えない時間がτ以上継続している場合には、歩行停止状態であると判定する。また、歩行停止状態の境界として、膝角度の時系列データの微分の絶対値がκを超えない時間が、τ以上継続した後、膝角度の時系列データの微分の絶対値がκを超えたときに歩行者が歩行を再開したと判定する。閾値κ、τは、事故発生時のドライブレコーダによって撮影された画像などを解析することで決定することが可能である。
【００４４】
歩行者の足首角度の時系列データを観測すると、歩行時には左右の足を交互に出す動作が見られる。歩行停止の際には、左右の足を交互に出す動作を停止するのが読み取れる。歩行再開時には、左右の足を交互に出す動作を再開する。移動状態判定手段２７は、このような観測結果に着眼し、足首角度に基づく歩行者の移動状態の判定を次のように行う。
【００４５】
移動状態判定手段２７は、図１２に示すような足首角度の微分の時系列データを用いて、歩行者の移動状態を判定する。図１２に示すλ、τは、判定のための閾値である。移動状態判定手段２７は、足首角度の時系列データの微分の絶対値がλを超えない時間がτ以上継続している場合には、歩行停止状態であると判定する。また、歩行停止状態の境界として、足首角度の時系列データの微分の絶対値がλを超えない時間が、τ以上継続した後、足首角度の時系列データの微分の絶対値がλを超えたときに歩行者が歩行を再開したと判定する。閾値λ、τは、事故発生時のドライブレコーダによって撮影された画像などを解析することで決定することが可能である。
【００４６】
歩行者の頭部角度、首部角度の時系列データを観測すると、立ち止まる動作では体を後傾させる。立ち止まっている状態では、体を地表面に対してほぼ９０度に保つ。歩行再開時には、体を前傾させる。移動状態判定手段２７は、このような観測結果に着眼し、頭部角度、首部角度に基づく歩行者の移動状態の判定を次のように行う。
【００４７】
移動状態判定手段２７は、図１３に示すような頭部角度の微分の時系列データを用いて、歩行者の移動状態を判定する。図１２に示すσ、τは、判定のための閾値である。移動状態判定手段２７は、頭部角度の時系列データの微分の絶対値がσを超えない時間がτ以上継続している場合には、歩行停止状態であると判定する。また、歩行停止状態の境界として、頭部角度の時系列データの微分の絶対値がσを超えない時間が、τ以上継続した後、頭部角度の時系列データの微分の絶対値がσを超えたときに歩行者が歩行を再開したと判定する。閾値σ、τは、事故発生時のドライブレコーダによって撮影された画像などを解析することで決定することが可能である。首部角度に基づく歩行者の移動状態の判定についても同様に行うことができる。
【００４８】
以上では、角度情報算出手段２３は、頭部角度、首部角度、膝角度、足首角度等を算出し、移動状態判定手段２７は、それぞれの角度情報に基づいて歩行者の移動状態を判定すると説明した。本発明を実施する場合、いずれか一つの角度情報を算出し、その角度情報に基づいて歩行者の移動状態を判定することができる。また、複数の角度情報を算出し、複数の角度情報に基づいて歩行者の移動状態を判定するようにしても良い。
【００４９】
一般に、車両に搭載された撮像装置３によって撮像された画像は、車両の移動、歩行者の移動、路面の凹凸等によって、水平移動、垂直移動、拡大・縮小のノイズが混入する。本発明の実施の形態では、角度情報を算出し、角度情報に基づいて歩行者の移動状態を判定するので、ノイズの影響を除去することができる。また、膝角度などは長骨の角度と関係しており、重心位置、歩行者の移動動作の開始や停止などと関連が深く、精度良く歩行者の移動状態を判定することができる。
【００５０】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、代表点特定手段２１によって、歩行者の部位を特定する代表点を特定する。一方、第２の実施の形態では、角度情報を算出するために最低限必要な点のみを特定する。尚、第１の実施の形態に係る構成要素と同一の機能を果たす要素には、同一の番号を付して重複した説明を避ける。
【００５１】
第２の実施の形態に係る歩行者認識支援装置１ａのハードウェア構成は、第１の実施の形態と同様であるため説明を省略する。
【００５２】
図１４は、歩行者認識支援装置１ａの機能の概要を示すブロック図である。図１４に示すように、歩行者認識支援装置１ａは、角度情報算出手段２３ａ、角度情報蓄積手段２５、移動状態判定手段２７等を備える。
【００５３】
角度情報算出手段２３ａは、画像入力部１５によって入力された画像のデータから、歩行者の輪郭を抽出し、角度情報を算出するために必要な点を特定し、角度情報を算出する。
【００５４】
次に、図１５、図１６を参照しながら、角度情報算出手段２３ａの処理について説明する。図１５は、角度情報算出手段２３ａの処理の詳細を示すフローチャートである。図１６は、歩行者の輪郭、特定する点等を示す模式図である。
【００５５】
図１５に示すように、ＣＰＵ１１は、歩行者の輪郭を抽出する（Ｓ３０１）。輪郭の抽出処理は、第１の実施の形態と同様である。
【００５６】
ＣＰＵ１１は、歩行者の輪郭の最上点を特定する（Ｓ３０２）。最上点は、図１６に示す点Ｈである。点Ｈは、歩行者の輪郭の点群の中で、ｙ座標が最も大きい点である。
【００５７】
ＣＰＵ１１は、歩行者の輪郭の中心点を特定する（Ｓ３０３）。中心点は、図１６に示す点Ｃである。点Ｃは、例えば、次のように算出することができる。Ｓ３０１にて抽出した歩行者の輪郭から、予め定めた上半身と下半身の比率によって、上半身の領域と下半身の領域の境界を特定する。図１６では、境界を点線で示している。境界は、Ｘ軸に平行な直線である。図１６では、境界（点線）と輪郭（実線）との左側の交点を点Ｌ、右側の交点を点Ｒとして示している。点Ｃは、例えば、線分ＬＲの中点である。
【００５８】
ＣＰＵ１１は、歩行者の頭部角度を算出する（Ｓ３０４）。頭部角度は、線分ＣＲと線分ＣＨとのなす角度として算出する。
【００５９】
ＣＰＵ１１は、歩行者の輪郭の最下点を特定する（Ｓ３０５）。最下点は、図１６に示す点Ｆである。点Ｆは、歩行者の輪郭の点群の中で、ｙ座標が最も小さい点である。尚、最下点は、左足と右足のそれぞれに対して特定しても良い。この場合、例えば、次のように算出することができる。予め定めた上半身と下半身の比率によって下半身の領域を特定する。特定した下半身の領域のうち右足の領域の中で、ｙ座標が最も小さい点を右足の最下点とする。また、特定した下半身の領域のうち左足の領域の中で、ｙ座標が最も小さい点を左足の最下点とする。
【００６０】
ＣＰＵ１１は、歩行者の足角度を算出する（Ｓ３０６）。足角度は、例えば、線分ＣＬと線分ＣＦとのなす角度として算出する。尚、足角度は、左足と右足のそれぞれに対して算出しても良い。
【００６１】
ＣＰＵ１１は、歩行者の輪郭の膝点を特定する（Ｓ３０７）。膝点は、図１６に示す点Ｋである。点Ｋは、例えば、次のように算出することができる。Ｓ３０１にて抽出した歩行者の輪郭から、予め定めた上半身と下半身の比率によって、上半身の領域と下半身の領域の境界を特定する。特定した下半身の領域のうち、例えば、右足の領域から、予め定めた大腿部と下腿部の比率によって右足の大腿部と下腿部の境界線を特定する。特定した右足の大腿部と下腿部の境界線と輪郭の２つの交点のうち、例えば、体軸から遠い方の交点（＝図１６に示す点Ｋ）を膝点とする。尚、Ｓ３０５の最下点と同様に、膝点は、左足と右足のそれぞれに対して特定しても良い。
【００６２】
ＣＰＵ１１は、歩行者の膝角度を算出する（Ｓ３０８）。膝角度は、例えば、１８０度−線分ＫＬと線分ＫＦとのなす角度として算出する。
【００６３】
以上のように、角度情報算出手段２３ａは、頭部角度、足角度、膝角度を算出する。歩行者認識支援装置１ａの角度情報蓄積手段２５は、角度情報算出手段２３ａが算出した角度情報を蓄積し、歩行者状態判定手段２７は、蓄積された角度情報に基づいて歩行者の移動状態を判定する。
【００６４】
本発明によって車両の前方を横断しようとする歩行者を検知することで、運転者にこのような歩行者を認識させることや、安全に車両を停止させることができる。
【００６５】
以上、添付図面を参照しながら、本発明に係る歩行者認識支援装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６６】
１………歩行者認識支援装置
３………撮像装置
５………表示装置
１１………ＣＰＵ
１２………ＲＡＭ
１３………ＲＯＭ
１４………記憶部
１５………画像入力部
１６………表示制御部
２１………代表点特定手段
２３、２３ａ………角度情報算出手段
２５………角度情報蓄積手段
２７………移動状態判定手段
３１………頭部近似円
３３………頭部代表点
３５………首部代表点
３７………上半身の中央線
３９………股間接代表点
４１ａ………右足の大腿部の中央線
４１ｂ………左足の大腿部の中央線
４３ａ………右足の膝間接代表点
４３ｂ………左足の膝間接代表点
４５ａ………右足の下腿部の中央線
４５ｂ………左足の下腿部の中央線
４７ａ………右足の足首部代表点
４７ｂ………左足の足首部代表点
【図１】
2010165003.tif 000003
【図２】
2010165003.tif 000004
【図３】
2010165003.tif 000005
【図４】
2010165003.tif 000006
【図５】
2010165003.tif 000007
【図６】
2010165003.tif 000008
【図７】
2010165003.tif 000009
【図８】
2010165003.tif 000010
【図９】
2010165003.tif 000011
【図１０】
2010165003.tif 000012
【図１１】
2010165003.tif 000013
【図１２】
2010165003.tif 000014
【図１３】
2010165003.tif 000015
【図１４】
2010165003.tif 000016
【図１５】
2010165003.tif 000017
【図１６】
2010165003.tif 000018