(57)【要約】【課題】  自車両付近の歩行者を認識して運転者に警報を発出する際に、警報発出の必要性を高い確度で判断する。【解決手段】  歩行者検出手段および目線方向検出手段の検出結果および進路推定手段の推定結果に基づいて運転者に対する警報発出を制御する。例えば、歩行者を検出し、その検出位置が車両の進路と一致し、目線方向と不一致であるときには、警報レベルを最大レベルとし、歩行者を検出し、その検出位置が車両の進路と一致し、目線方向と一致するとき、または、その検出位置が車両の進路と不一致であり、目線方向と不一致であるとき、または、その検出位置が車両の進路と不一致であり、目線方向と一致するときには、警報レベルを最大レベルよりも低いレベルとし、歩行者を検出しないとき、または、自車が停車中であるときには、警報を行わない。【選択図】  図１
2007133644.tif 000002
【特許請求の範囲】
【請求項１】
歩行者検出手段と、
運転者の目線の方向を検出する目線方向検出手段と、
車両の進路を推定する進路推定手段と、
前記歩行者検出手段および前記目線方向検出手段の検出結果および前記進路推定手段の推定結果に基づいて運転者に対する警報発出を制御する警報制御手段と
を備えた歩行者認識装置。
【請求項２】
前記警報制御手段は、
前記歩行者検出手段が歩行者を検出し、その検出位置が前記進路推定手段により推定された車両の進路と一致し、前記目線方向検出手段により検出された目線方向と不一致であるときには、警報レベルを最大レベルとし、
前記歩行者検出手段が歩行者を検出し、その検出位置が前記進路推定手段により推定された車両の進路と一致し、前記目線方向検出手段により検出された目線方向と一致するとき、または、前記歩行者検出手段が歩行者を検出し、その検出位置が前記進路推定手段により推定された車両の進路と不一致であり、前記目線方向検出手段により検出された目線方向と不一致であるとき、または、前記歩行者検出手段が歩行者を検出し、その検出位置が前記進路推定手段により推定された車両の進路と不一致であり、前記目線方向検出手段により検出された目線方向と一致するときには、警報レベルを前記最大レベルよりも低いレベルとし、
前記歩行者検出手段が歩行者を検出しないとき、または、自車が停車中であるときには、警報を行わない
として警報発出を制御する手段を備えた請求項１記載の歩行者認識装置。
【請求項３】
前記歩行者検出手段は、
赤外線画像を撮影する赤外線カメラ装置と、
被写体の温度分布を検出するサーモグラフカメラ装置と、
前記赤外線カメラ装置および前記サーモグラフカメラ装置により撮影された画像から歩行者の形状を認識する歩行者形状認識手段と、
この歩行者形状認識手段により認識された歩行者と推定される画像における温度分布を検出する温度分布検出手段と、
この温度分布検出手段により検出された温度分布が人間の有する温度分布と一致しないときには、歩行者無しと判定する歩行者画像判定手段と
を備えた請求項１または２記載の歩行者認識装置。
【請求項４】
前記歩行者画像判定手段は、歩行者形状認識手段が前記赤外線カメラ装置には撮影されず前記サーモグラフカメラ装置にのみ撮影された歩行者の形状を認識したときには、歩行者有りと判定する手段を備えた請求項３記載の歩行者認識装置。
【請求項５】
前記歩行者検出手段は、赤外線センサである請求項１記載の歩行者認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の非乗員（歩行者など）の保護に利用する。特に、トラックやバスなどの大型車両に利用するに適する。
【背景技術】
【０００２】
車両の運転者は、常時、周囲の状況に気を配り、安全運転を心がけねばならないことはいうまでもない。しかしながら、夜間や雨天などのように、運転者の視界を妨げる様々な要因があり、人間の能力のみでは周囲の状況を完璧に把握するのには限界があることは否めない。
【０００３】
そのような人間の限界を補うために、電子機器の力を借りる提案がなされている。例えば、特許文献１では、赤外線センサを用いて車両前方の歩行者を検出している。
【０００４】
【特許文献１】特開平１１−３５３５９３号公報
【特許文献２】特開平６−３１９７０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
電子機器の力を借りて歩行者などの検出を行うことにより、人間の能力のみに頼る場合と比較して歩行者の検出精度を向上させることができる。しかし、その一方で、検出した歩行者が自車両の走行に際し、本当に注意を要する存在であるか否かの判断までは行っていない。
【０００６】
このため、自車両の走行に際し、注意を要する必要のない歩行者であっても警報が頻繁に発出されることになり、運転者の警報に対する信頼性の低下を招くことになる。これにより、運転者が警報を無視したり、警報装置の電源を予め切ってしまうといった事態を招くことが予想される。
【０００７】
本発明は、このような背景の下に行われたものであって、警報発出の必要性を高い確度で判断することができる歩行者認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、歩行者検出手段と、運転者の目線の方向を検出する目線方向検出手段と、車両の進路を推定する進路推定手段と、前記歩行者検出手段および前記目線方向検出手段の検出結果および前記進路推定手段の推定結果に基づいて運転者に対する警報発出を制御する警報制御手段とを備えた歩行者認識装置である。
【０００９】
すなわち、本発明の歩行者認識装置は、単に歩行者を検出したからといって警報を発出するのではなく、検出された歩行者と自車両との関係を認識し、警報の必要性が有る場合にのみ警報を発出することを特徴とする。
【００１０】
本発明では、歩行者の位置と自車両の進路と運転者の目線方向とに基づき警報制御を行うため、例えば、歩行者の位置と自車両の進路とが一致していたとしても運転者の目線の方向が歩行者に向いているときには、強い警報を発することを控えることができ、運転者に不快感を与えることを回避することができる。これにより、運転者の警報に対する信頼性を向上させることができ、延いては警報の効果を高めることができる。
【００１１】
さらに詳細には、前記警報制御手段は、前記歩行者検出手段が歩行者を検出し、その検出位置が前記進路推定手段により推定された車両の進路と一致し、前記目線方向検出手段により検出された目線方向と不一致であるときには、警報レベルを最大レベルとし、前記歩行者検出手段が歩行者を検出し、その検出位置が前記進路推定手段により推定された車両の進路と一致し、前記目線方向検出手段により検出された目線方向と一致するとき、または、前記歩行者検出手段が歩行者を検出し、その検出位置が前記進路推定手段により推定された車両の進路と不一致であり、前記目線方向検出手段により検出された目線方向と不一致であるとき、または、前記歩行者検出手段が歩行者を検出し、その検出位置が前記進路推定手段により推定された車両の進路と不一致であり、前記目線方向検出手段により検出された目線方向と一致するときには、警報レベルを前記最大レベルよりも低いレベルとし、前記歩行者検出手段が歩行者を検出しないとき、または、自車が停車中であるときには、警報を行わないとして警報発出を制御する手段を備えることができる。
【００１２】
なお、ここでいう歩行者の検出位置は、単に検出した瞬間の固定的な位置のみならず、歩行者の移動速度および移動方向を検出し、歩行者がこれから移動すると推定される先の位置を含めた動的な位置とすることもできる。
【００１３】
また、前記歩行者検出手段は、赤外線画像を撮影する赤外線カメラ装置と、被写体の温度分布を検出するサーモグラフカメラ装置と、前記赤外線カメラ装置および前記サーモグラフカメラ装置により撮影された画像から歩行者の形状を認識する歩行者形状認識手段と、この歩行者形状認識手段により認識された歩行者と推定される画像における温度分布を検出する温度分布検出手段と、この温度分布検出手段により検出された温度分布が人間の有する温度分布と一致しないときには、歩行者無しと判定する歩行者画像判定手段とを備えることができる。
【００１４】
これによれば、人の形をした物体と本当の人間とを区別することができる。例えば、人の形をした宣伝用の看板などが店頭の路肩に置かれている場合に、これと人間とを区別し、運転者の不要なストレスを軽減させることができる。
【００１５】
実際には、人ではない物体が自車両の進路を妨げる位置に存在すれば、これを警報することも必要であるが、それは本発明が提供する機能とは異種の機能であり、また、そのような機能は従来から既に広く用いられているので、ここでは人以外の対象物に対する警報機能は除外して考えるものとする。
【００１６】
また、前記歩行者画像判定手段は、歩行者形状認識手段が前記赤外線カメラ装置には撮影されず前記サーモグラフカメラ装置にのみ撮影された歩行者の形状を認識したときには、歩行者有りと判定する手段を備えることができる。
【００１７】
これによれば、植え込みなどの物陰に隠れていて、赤外線カメラ装置には撮影され難い人間を検出することができるので、単に、赤外線カメラ装置によって歩行者を検出する場合と比較して歩行者の検出精度を向上させることができる。
【００１８】
また、前記歩行者検出手段として赤外線センサを用いることができる。これによれば、歩行者の姿を運転席の表示部の画面上に写し出すといったことはできないが、本発明の歩行者認識装置を、安価かつ簡単な構成により実現することができる。
【発明の効果】
【００１９】
本発明によれば、警報発出の必要性を高い確度で判断することができるため、運転者の警報に対する信頼性を向上させ、延いては警報の効果を高めることができる。また、不要な警報に起因する運転者へのストレスを軽減させることができる。
【発明を実施するための最良の形態】
【００２０】
本発明実施例の歩行者認識装置を図１ないし図５を参照して説明する。図１は本実施例の歩行者認識装置のブロック構成図である。図２は本実施例の歩行者認識装置の全体構成図である。図３は歩行者の位置と目線の方向との関係および赤外線カメラ装置およびサーモグラフカメラ装置および投光器の配置状況を示す図である。図４は本実施例の歩行者認識装置の全体的な動作手順を示すフローチャートである。図５は本実施例の歩行者認識装置の歩行者認識手順を示すフローチャートである。
【００２１】
本実施例の歩行者認識装置は、図１および図２に示すように、歩行者を検出するために赤外線画像を撮影する赤外線カメラ装置１−１、１−２、１−３および被写体の温度分布を検出するサーモグラフカメラ装置２−１、２−２、２−３および警報制御部６内に実装された歩行者検出部１０と、運転者の目線の方向を検出する目線カメラ装置３および警報制御部６内に実装された目線方向検出部１１と、車両の進路を推定する警報制御部６内に実装された進路推定部１２と、歩行者検出部１０および目線方向検出部１１の検出結果および進路推定部１２の推定結果に基づいて運転者に対する警報発出を制御する警報制御部６とを備えたことを特徴とする。
【００２２】
投光器８−１、８−２、８−３は、赤外線投光器であり、主に夜間に使用する。また、目線カメラ装置３は、例えば、特許文献２に開示されている視線認識装置を用いる。特許文献２に開示されている視線認識装置は、頭部に機器を装着することなく、安定して正確に目線（視線）を認識できる装置である。
【００２３】
警報制御部６は、歩行者検出部１０が歩行者を検出し、その検出位置が進路推定部１２により推定された車両の進路と一致し、目線方向検出部１１により検出された目線方向と不一致であるときには、警報レベルを最大レベルとし、歩行者検出部１０が歩行者を検出し、その検出位置が進路推定部１２により推定された車両の進路と一致し、目線方向検出部１１により検出された目線方向と一致するとき、または、歩行者検出部１０が歩行者を検出し、その検出位置が進路推定部１２により推定された車両の進路と不一致であり、目線方向検出部１１により検出された目線方向と不一致であるとき、または、歩行者検出部１０が歩行者を検出し、その検出位置が進路推定部１２により推定された車両の進路と不一致であり、目線方向検出部１１により検出された目線方向と一致するときには、警報レベルを前記最大レベルよりも低いレベルとし、歩行者検出部１０が歩行者を検出しないとき、または、車速センサ５からの車速情報に基づき自車が停車中であると判断できるときには、警報を行わないとして警報発出を制御する手段を備える。
【００２４】
また、歩行者検出部１０は、赤外線カメラ装置１−１、１−２、１−２およびサーモグラフカメラ装置２−１、２−２、２−３により撮影された画像から歩行者の形状を認識する歩行者形状認識部２０と、この歩行者形状認識部２０により認識された歩行者と推定される画像における温度分布を検出する温度分布検出部２１と、この温度分布検出部２１により検出された温度分布が人間の有する温度分布と一致しないときには、歩行者無しと判定する歩行者画像判定部２２とを備える。
【００２５】
さらに、歩行者画像判定部２２は、歩行者形状認識部２０が赤外線カメラ装置１−１、１−２、１−３には撮影されずサーモグラフカメラ装置２−１、２−２、２−３にのみ撮影された歩行者の形状を認識したときには、歩行者有りと判定する手段を備える。
【００２６】
次に、本実施例の歩行者認識装置の動作を図４および図５のフローチャートを参照して説明する。図４は警報制御の全体的な手順であり、図５は歩行者有無検出および歩行者に対する角度および距離情報生成の手順である。
【００２７】
警報制御部６は、図４に示すように、歩行者検出処理、推定進路計算処理、目線方向計算処理をほぼ同時に並行して実行する。歩行者検出処理では、ステップＳ１として図５に示す処理（ステップＳ１１〜Ｓ１８）を実行する。
【００２８】
歩行者検出部１０は、図５に示すように、赤外線カメラ装置１−１、１−２、１−３およびサーモグラフカメラ装置２−１、２−２、２−３から画像を入力し（Ｓ１１、Ｓ１２）、歩行者形状を認識する（Ｓ１３、Ｓ１４）。歩行者形状の認識には、予め記憶している歩行者形状パターンを用いる。このような形状認識技術は既に広く利用されている技術であるので詳細な説明は省略する。
【００２９】
続いて、歩行者有無判定（Ｓ１５）を行う。（１）赤外線カメラ装置１−１、１−２、１−３およびサーモグラフカメラ装置２−１、２−２、２−３の双方が共に歩行者と認識できる被写体を撮影した場合には、歩行者有りと判定する。（２）赤外線カメラ装置１−１、１−２、１−３が歩行者と認識できる被写体を撮影しているがサーモグラフカメラ装置２−１、２−２、２−３は歩行者と認識できる被写体を撮影していない場合には、赤外線カメラ装置１−１、１−２、１−３が撮影した被写体は人の形に似た物体であり歩行者ではないと考えられるので、歩行者無しと判定する。（３）赤外線カメラ装置１−１、１−２、１−３は歩行者と認識できる被写体を撮影していないがサーモグラフカメラ装置２−１、２−２、２−３が歩行者と認識できる被写体を撮影している場合には、物陰に歩行者が隠れていると考えられるので、歩行者有りと判定する。（４）赤外線カメラ装置１−１、１−２、１−３およびサーモグラフカメラ装置２−１、２−２、２−３の双方が共に歩行者と認識できる被写体を撮影していない場合には、歩行者無しと判定する。
【００３０】
ステップＳ１５の判定結果に基づいて歩行者有りと認識したときには（Ｓ１６）、当該歩行者に対する自車両の角度および距離の情報を生成する（Ｓ１７）。歩行者に対する自車両の角度の情報は、赤外線カメラ装置１−１、１−２、１−３またはサーモグラフカメラ装置２−１、２−２、２−３の写界における歩行者の位置を認識することによって生成できる。
【００３１】
また、歩行者と自車両との間の距離の情報は、別途に距離測定装置を設けて歩行者と自車両との間の距離を測定することにより生成してもよいし、あるいは、赤外線カメラ装置１−１、１−２、１−３またはサーモグラフカメラ装置２−１、２−２、２−３をステレオ撮影可能なカメラ装置とすることによっても歩行者と自車両との間の距離を測定し、距離の情報の生成を実現することができる。距離の測定方法に関しては従来から様々な方法が既に広く利用されているので、適当な従来方法を用いることとし、詳細な説明は省略する。
【００３２】
図６に、歩行者と人の形をした看板とが区別されて表示される様子を図示した。図６の例では、歩行者と人の形をした看板とがステップＳ１５の（２）の手順によって区別され、歩行者のみが四角い輝線で囲まれて表示され、運転者に歩行者の存在を認識させることができる。
【００３３】
ステップＳ１７によって生成された歩行者に対する自車両の角度および距離情報に基づき、図４のステップＳ２によって歩行者の有無および歩行者位置が計算される。前述したように、歩行者の位置は、単に歩行者を検出した瞬間の固定的な位置のみならず、歩行者の移動速度および移動方向を検出し、歩行者がこれから移動すると推定される先の位置を含めた動的な位置とすることもできる。図７に、歩行者の移動予測情報が表示される様子を示した。図７の例では、歩行者の進行方向および移動予測距離が矢印によって表示される。このような移動予測は、図５の手順を時間差を設けて２回以上行うことにより実現できる。
【００３４】
進路推定部１２は、ステアリングセンサ４またはヨーレイトセンサ９からの操舵情報および車速センサ５からの車速情報を取り込み（Ｓ３）、推定進路を計算する（Ｓ４）。
【００３５】
目線方向検出部１１は、運転者画像を取り込み（Ｓ５）、運転者の目線の方向を計算する（Ｓ６）。
【００３６】
続いて、警報度合い計算（Ｓ７）が行われる。すなわち、（ａ）歩行者が有り、自車両の推定進路が歩行者の方向と一致しているが同時に運転者の目線方向も歩行者の方向と一致している場合には、運転者は歩行者の存在を認識していると考えられるので、弱い警報を行う。弱い警報とは、例えば、歩行者画像を表示した画面上に、図６または図７に示すように歩行者を囲む輝線を表示するのに留め、警報音または音声による警報は行わない。
【００３７】
（ｂ）歩行者が有り、自車両の推定進路が歩行者の方向と一致しているにも関わらず運転者の目線が歩行者の方向を向いていない場合には、運転者は歩行者の存在を認識しておらず、しかも自車両は歩行者に向かっているのであるから極めて危険な状況と考えられるので、強い警報を行う。強い警報とは、例えば、歩行者画像を表示した画面上に、図６または図７に示すように歩行者を囲む輝線を点滅表示する他に、強い警報音または音声により警報を行い、さらに、自動制動制御装置を搭載している場合には、これを作動させて自動停止させる。
【００３８】
（ｃ）歩行者が有るが、自車両の推定進路が歩行者の方向とは異なる。運転者の目線は歩行者の方向を向いておらず、運転者は歩行者の存在を認識していない可能性があるが、自車両の推定進路が歩行者の方向に向かっていないので、危険は少ないと考えられる。よって、弱い警報を行う。
【００３９】
（ｄ）歩行者が有るが、自車両の推定進路が歩行者の方向とは異なる。また、運転者の目線は歩行者の方向を向いており、運転者は歩行者の存在を認識していると考えられ、危険は少ないと考えられる。よって、弱い警報を行う。
【００４０】
（ｅ）歩行者が無いので、推定進路計算および目線方向計算も行われず、警報も行われない。
【００４１】
（ｆ）停車中なので、歩行者の有無とは無関係に警報は行われない。
【００４２】
図３に歩行者の位置と目線の方向との関係および赤外線カメラ装置１−１、１−２、１−３およびサーモグラフカメラ装置２−１、２−２、２−３および投光器８−１、８−２、８−３の配置状況を図示した。赤外線カメラ装置１−１およびサーモグラフカメラ装置２−１は、車両の前方を写している。赤外線カメラ装置１−２およびサーモグラフカメラ装置２−２は車両の左側の後方を写している。赤外線カメラ装置１−３およびサーモグラフカメラ装置２−３は車両の右側の後方を写している。
【００４３】
これにより、車両の前方および左右後方の歩行者を検出することができる。運転席の左右については、視界が良好であるので、運転者の目視のみによって歩行者を認識することとした。もちろん、運転席の左右についても赤外線カメラ装置およびサーモグラフカメラ装置および投光器の台数を増やすことによって、本発明の歩行者認識装置の監視対象エリアとすることができることはいうまでもない。
【００４４】
歩行者♯１〜♯３については運転者が直接目視しているが、歩行者♯４、♯５については運転者はフェンダーミラー１５を介して目視している。よって、運転者が歩行者♯４、♯５を認識しているか否かの判断については目線方向がフェンダーミラー１５を向いているか否かによって判断する。
【００４５】
（その他の実施例）
その他の実施例を図８を参照して説明する。図８はその他の実施例における赤外線センサの配置状況を示す図である。図８に示すように、赤外線センサ１３−１〜１３−７を用いて前述した実施例と同様に、警報発出の必要性を高い確度で判断することができる歩行者認識装置を実現することができる。
【００４６】
すなわち、本実施例は、前述した実施例における赤外線カメラ装置１−１〜１−３を赤外線センサ１３−１〜１３−７に置き換えた構成であり、投光器８−１〜８−３およびサーモグラフカメラ装置２−１〜２−３は用いない。したがって、図６または図７に示すように、歩行者の姿を運転席の表示部の画面上に写し出すことはできないが、本発明の目的である警報発出の必要性を高い確度で判断する歩行者認識装置を、前述した実施例と比較して安価かつ簡単な構成により実現することができる。
【００４７】
すなわち、図８に示すように、赤外線センサ１３−１によって、歩行者♯１の存在する領域（車両左前方）における歩行者検出を受け持ち、赤外線センサ１３−２によって、歩行者♯２の存在する領域（車両中央前方）における歩行者検出を受け持ち、赤外線センサ１３−３によって、歩行者♯３の存在する領域（車両右前方）における歩行者検出を受け持ち、赤外線センサ１３−４および１３−６によって、歩行者♯４の存在する領域（車両左側）における歩行者検出を受け持ち、赤外線センサ１３−５および１３−７によって、歩行者♯５の存在する領域（車両右側）における歩行者検出を受け持つ。
【００４８】
なお、赤外線センサ１３−１〜１３−７が元来有する指向性が鈍い場合には、遮光板１４を配置することによって、所期の指向性を得ることができる。また、赤外線センサ１３−４および１３−５の検出距離が充分長く、車両側面における歩行者検出をそれぞれ一つの赤外線センサのみで行える場合には、赤外線センサ１３−６および１３−７を省略してもよい。
【００４９】
このように、赤外線センサ１３−１〜１３−７を用いることによって、歩行者の有無および歩行者に対する自車両の角度情報を生成することができる。また、赤外線センサ１３−１〜１３−７が歩行者を検出可能な距離は限られているので（例えば、５ｍ〜１０ｍ）、自車両と歩行者との距離を別途測定する必要性は低く、歩行者に対する自車両の角度情報のみによって、図４のフローチャートの手順を実行しても支障はない。この場合には、前述した実施例で用いた距離の測定手段も省略することができる。
【００５０】
これにより、図４に示したフローチャートのステップＳ１における歩行者に対する自車両の角度および距離情報の生成手法が前述した実施例と異なる以外は、本実施例によっても図４のフローチャートの手順を実行することができる。
【産業上の利用可能性】
【００５１】
本発明によれば、警報発出の必要性を高い確度で判断することができるため、運転者の警報に対する信頼性を向上させ、延いては警報の効果を高めることができる。また、不要な警報に起因する運転者へのストレスを軽減させることができる。これにより、交通安全に寄与することができる。
【図面の簡単な説明】
【００５２】
【図１】本実施例の歩行者認識装置のブロック構成図。
【図２】本実施例の歩行者認識装置の全体構成図。
【図３】歩行者の位置と目線の方向との関係および赤外線カメラ装置およびサーモグラフカメラ装置および投光器の配置状況を示す図。
【図４】本実施例の歩行者認識装置の全体的な動作手順を示すフローチャート。
【図５】本実施例の歩行者認識装置の歩行者認識手順を示すフローチャート。
【図６】歩行者と人の形をした看板とが区別されて表示される様子を示す図。
【図７】歩行者の移動予測情報が表示される様子を示す図。
【図８】その他の実施例における赤外線センサの配置状況を示す図。
【符号の説明】
【００５３】
１−１〜１−３  赤外線カメラ装置
２−１〜２−３  サーモグラフカメラ装置
３  目線カメラ装置
４  ステアリングセンサ
５  車速センサ
６  警報制御部
７  表示部
８−１〜８−３  投光器
９  ヨーレイトセンサ
１０  歩行者検出部
１１  目線方向検出部
１２  進路推定部
１３−１〜１３−７  赤外線センサ
１４  遮光板
１５  フェンダーミラー
２０  歩行者形状認識部
２１  温度分布検出部
２２  歩行者画像判定部
♯１〜♯５  歩行者
【図１】
2007133644.tif 000003
【図２】
2007133644.tif 000004
【図３】
2007133644.tif 000005
【図４】
2007133644.tif 000006
【図５】
2007133644.tif 000007
【図６】
2007133644.tif 000008
【図７】
2007133644.tif 000009
【図８】
2007133644.tif 000010