(57)【要約】      （修正有）【課題】人体を精度よく認識すると共に、認識処理にかかる処理負荷を軽減することができる運転支援装置を提供する。【解決手段】運転支援装置１０において、人体特定部６６ｂは、カメラ４４が取得した画像データ中、自車１２の周囲に存在する人体の画像を人体情報として取得する。擬似骨格推定部６６ｃは、人体情報から人体の擬似骨格を推定する。レーダ４６又はＬｉＤＡＲ４８は、人体の擬似骨格に対応する部分との距離を測定する。これにより、レーダ又はＬｉＤＡＲの測定範囲が人体の部分のみに絞り込まれる。【選択図】図１
2020166485.tif 000002
【特許請求の範囲】
【請求項１】
移動体の運転を支援する運転支援装置において、
前記移動体の周囲の画像を取得する視覚センサと、
前記移動体の周囲の物体との距離を測定する測距センサと、
前記視覚センサが取得した前記画像中、前記移動体の周囲に存在する人体の画像を人体情報として取得する人体情報取得部と、
前記人体情報から前記人体の擬似骨格を推定する擬似骨格推定部と、
を備え、
前記測距センサは、前記人体の前記擬似骨格に対応する部分との距離を測定する、運転支援装置。
【請求項２】
請求項１記載の運転支援装置において、
前記擬似骨格は、前記人体の手又は頭を少なくとも含む人体特徴部と、擬似関節部とを有し、
前記測距センサは、前記人体の前記人体特徴部又は前記擬似関節部に対応する部分との距離を測定する、運転支援装置。
【請求項３】
請求項２記載の運転支援装置において、
前記測距センサが測定した前記人体との距離と、前記人体情報とに基づいて、前記人体を認識する人体認識処理部をさらに備え、
前記擬似骨格は、前記人体特徴部と、複数の前記擬似関節部と、前記人体特徴部と複数の前記擬似関節部とを人体骨格構造に則り接続する軸部とを有し、
前記測距センサは、さらに、前記人体の前記軸部に対応する部分との距離を測定し、
前記人体認識処理部は、前記軸部に対応する前記人体との距離と、前記人体特徴部又は前記擬似関節部に対応する前記人体との距離とが異なる場合には、前記軸部に対応する前記人体との距離を優先して用いることで、前記人体を認識する、運転支援装置。
【請求項４】
請求項１〜３のいずれか１項に記載の運転支援装置において、
前記人体情報取得部が前記人体情報を取得可能であっても、前記擬似骨格推定部が前記人体情報から前記擬似骨格を推定することが困難である場合、前記測距センサは、前記人体情報を囲む枠に対応する前記移動体の周辺部分との距離を測定する、運転支援装置。
【請求項５】
請求項１〜４のいずれか１項に記載の運転支援装置において、
前記測距センサは、前記擬似骨格から所定距離の領域に対応する前記人体の部分との距離を測定する、運転支援装置。
【請求項６】
請求項１〜５のいずれか１項に記載の運転支援装置において、
前記人体は、歩行者、二輪車若しくは四輪車を含む他の移動体の操縦者、又は、交通流を整理する交通整理者を含み、
前記視覚センサは、前記移動体の走行する車道に隣接する範囲で前記人体の画像を取得する、運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の運転を支援する運転支援装置に関する。
【背景技術】
【０００２】
例えば、特許文献１には、カメラが撮像した人体の画像に基づき、該人体の関節位置をスケルトンで接続することにより、人体の骨格情報を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１８／２０７３５１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、自車（移動体）の運転を支援する運転支援装置において、自車の前方にいる人体を認識する場合、先ず、カメラ（視覚センサ）で人体の画像を撮像する。次に、撮像した画像に写り込んでいる人体を含む枠を規定する。次に、測距センサを頂点（基準位置）とする該枠に対応した擬似的な角錐（人体が存在すると想定される領域）を設定し、該測距センサを用いて角錐内との距離を測定する。次に、測距センサが測定した各距離と、人体の画像とを用いて、人体を認識する。
【０００５】
しかしながら、この手法では、角錐内の全体に対して距離測定を行うので、角錐内の人体以外の距離も測定することになる。これにより、測定した各距離を用いて人体の認識処理を行う際、人体以外の距離がノイズとなるため、該人体の認識を精度よく行うことが困難になると共に、認識処理の処理負荷が大きくなる。
【０００６】
一方、特許文献１の技術では、人体の骨格情報を生成することが可能である。しかしながら、このような技術を運転支援装置での人体の認識処理にどのように適用するのかについて、特許文献１には何ら提示されていない。
【０００７】
本発明は、このような課題を考慮してなされたものであり、人体を精度よく認識すると共に、認識処理にかかる処理負荷を軽減することができる運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の態様は、移動体の運転を支援する運転支援装置であって、該運転支援装置は、前記移動体の周囲の画像を取得する視覚センサと、前記移動体の周囲の物体との距離を測定する測距センサと、前記視覚センサが取得した前記画像中、前記移動体の周囲に存在する人体の画像を人体情報として取得する人体情報取得部と、前記人体情報から前記人体の擬似骨格を推定する擬似骨格推定部とを備える。この場合、前記測距センサは、前記人体の前記擬似骨格に対応する部分との距離を測定する。
【発明の効果】
【０００９】
本発明によれば、人体の画像（人体情報）から該人体の擬似骨格を推定し、推定した擬似骨格に対応する人体の部分との距離のみを測距センサで測定する。これにより、測距センサの測定範囲が人体の部分のみに絞り込まれ、人体以外の距離が測定されることを抑制することができる。この結果、人体を精度よく認識することができる。
【００１０】
また、測距センサの測定範囲が絞り込まれることで、測距センサの測定結果の情報量を少なくすることができる。これにより、人体の認識処理にかかる処理負荷を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る運転支援装置が搭載される自車の構成図である。
【図２】自車の前方を人体が横断する場合を模式的に図示した説明図である。
【図３】従来の手法の説明図である。
【図４】本実施形態の手法の説明図である。
【図５】図１の運転支援装置の動作を示すフローチャートである。
【図６】図５のステップＳ３の詳細な処理を示すフローチャートである。
【図７】図５のステップＳ７の詳細な処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明に係る運転支援装置について好適な実施形態を例示し、添付の図面を参照しながら説明する。
【００１３】
［１．本実施形態の構成］
＜１．１  運転支援装置１０の全体構成＞
図１は、本発明の一実施形態に係る運転支援装置１０の構成を示すブロック図である。運転支援装置１０は、車両１２（以下、自車１２ともいう。）に組み込まれており、且つ、自動又は手動により自車１２（移動体）の走行制御を行う。なお、「走行制御」とは、少なくとも自車１２の加減速制御を含む自車１２の走行に関わる制御をいう。「走行制御」が「自動運転」で行われる場合、「自動運転」は、自車１２の走行制御（運転支援）を全て自動で行う「完全自動運転」のみならず、走行制御（運転支援）を部分的に自動で行う「部分自動運転」を含む概念である。
【００１４】
図１に示すように、運転支援装置１０は、基本的には、入力系装置群１４と、制御システム１６と、出力系装置群１８とから構成される。入力系装置群１４及び出力系装置群１８をなす各々の装置は、制御システム１６に通信線を介して接続されている。
【００１５】
入力系装置群１４は、外界センサ２０と、通信装置２２と、ナビゲーション装置２４と、車両センサ２６と、自動運転スイッチ２８と、操作デバイス３０に接続された操作検出センサ３２とを備える。
【００１６】
出力系装置群１８は、図示しない車輪を駆動する駆動力装置３４と、当該車輪を操舵する操舵装置３６と、当該車輪を制動する制動装置３８と、視聴覚を通じてドライバに報知する報知装置４０と、自車１２が右左折する方向を外部に報知する方向指示器４２とを備える。
【００１７】
＜１．２  入力系装置群１４の具体的構成＞
外界センサ２０は、自車１２の外界状態を示す情報（以下、外界情報という。）を取得し、当該外界情報を制御システム１６に出力する。外界センサ２０は、具体的には、カメラ４４（視覚センサ）と、レーダ４６（測距センサ）と、ＬｉＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ、Ｌａｓｅｒ  Ｉｍａｇｉｎｇ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）４８（測距センサ）とを含んで構成される。
【００１８】
通信装置２２は、路側機、他車、及び、サーバを含む外部装置と通信可能に構成されており、例えば、交通機器に関わる情報、他車に関わる情報、プローブ情報又は最新の地図情報５０を送受信する。この地図情報５０は、制御システム１６に設けられた記憶装置５２の所定メモリ領域内に、又は、ナビゲーション装置２４に記憶される。
【００１９】
ナビゲーション装置２４は、自車１２の現在位置を検出可能な衛星測位装置と、ユーザインタフェース（例えば、タッチパネル式のディスプレイ、スピーカ及びマイク）とを含んで構成される。また、ナビゲーション装置２４は、自車１２の現在位置又はユーザによる指定位置に基づいて、指定した目的地までの経路を算出し、制御システム１６に出力する。ナビゲーション装置２４により算出された経路は、記憶装置５２の所定メモリ領域内に、経路情報５４として記憶される。
【００２０】
車両センサ２６は、自車１２の走行速度（車速）を検出する速度センサ、加速度を検出する加速度センサ、横Ｇを検出する横Ｇセンサ、垂直軸回りの角速度を検出するヨーレートセンサ、向き・方位を検出する方位センサ、勾配を検出する勾配センサを含み、各々のセンサからの検出信号を制御システム１６に出力する。これらの検出信号は、記憶装置５２の所定メモリ領域内に、自車情報５６として記憶される。
【００２１】
自動運転スイッチ２８は、例えば、押しボタン式のハードウェアスイッチ、又は、ナビゲーション装置２４を利用したソフトウェアスイッチから構成される。自動運転スイッチ２８は、ドライバを含むユーザのマニュアル操作により、複数の運転モードを切り替え可能に構成される。
【００２２】
操作デバイス３０は、アクセルペダル、ステアリングホイール、ブレーキペダル、シフトレバー、及び、方向指示レバーを含んで構成される。操作デバイス３０には、ドライバによる操作の有無や操作量、操作位置を検出する操作検出センサ３２が取り付けられている。
【００２３】
操作検出センサ３２は、検出結果としてのアクセル踏込量（アクセル開度）、ステアリング操作量（操舵量）、ブレーキ踏込量、シフト位置、右左折方向等を、制御システム１６を構成する、後述の走行制御部５８に出力する。
【００２４】
＜１．３  出力系装置群１８の具体的構成＞
駆動力装置３４は、駆動力ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）と、エンジン及び駆動モータを含む駆動源とから構成される。駆動力装置３４は、走行制御部５８から入力される走行制御値に従って自車１２の走行駆動力（トルク）を生成し、トランスミッションを介して、あるいは、直接的に車輪に伝達する。
【００２５】
操舵装置３６は、ＥＰＳ（電動パワーステアリングシステム）ＥＣＵと、ＥＰＳ装置とから構成される。操舵装置３６は、走行制御部５８から入力される走行制御値に従って車輪（操舵輪）の向きを変更する。
【００２６】
制動装置３８は、例えば、油圧式ブレーキを併用する電動サーボブレーキであって、ブレーキＥＣＵとブレーキアクチュエータとから構成される。制動装置３８は、走行制御部５８から入力される走行制御値に従って車輪を制動する。
【００２７】
報知装置４０は、報知ＥＣＵと表示装置と音響装置とから構成される。報知装置４０は、制御システム１６を構成する、後述する報知制御部６０から出力される報知指令に応じて、自動運転又は手動運転に関わる報知動作を行う。方向指示器４２は、報知制御部６０から出力される報知指令に応じて、自車１２の右左折に関わる報知動作を行う。
【００２８】
＜１．４  制御システム１６の構成＞
制御システム１６は、１つ又は複数のＥＣＵにより構成され、上記した記憶装置５２、走行制御部５８及び報知制御部６０の他、各種機能実現部を備える。この実施形態において、機能実現部は、１つ又は複数のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）が、非一過性の記憶装置５２に記憶されているプログラムを実行することにより機能が実現されるソフトウエア機能部である。これに代わって、機能実現部は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の集積回路からなるハードウエア機能部であってもよい。
【００２９】
制御システム１６は、記憶装置５２、走行制御部５８及び報知制御部６０の他、外界認識部６２、行動計画部６４及び人体対処部６６を含んで構成される。
【００３０】
外界認識部６２は、入力系装置群１４により入力された各種情報（例えば、外界センサ２０からの外界情報）を用いて、自車１２の両側にあるレーンマーク（白線）を認識し、停止線・信号機の位置情報、又は、走行可能領域を含む「静的」な外界認識情報を生成する。また、外界認識部６２は、入力された各種情報を用いて、駐停車車両等の障害物、人・他車両等の交通参加者、又は、信号機の灯色を含む「動的」な外界認識情報を生成する。
【００３１】
行動計画部６４は、外界認識部６２による認識結果に基づいて走行区間毎の行動計画（イベントの時系列）を作成し、必要に応じて行動計画を更新する。イベントの種類として、例えば、図２に示すように、自車１２の前方に人体７０がいる場合に、該自車１２を円滑に走行させるイベントとなる。なお、本実施形態において、人体７０には、（１）歩行者、（２）二輪車又は四輪車を含む移動体の操縦者、（３）交差点等で交通流を整理する警察官や工事業者を含む交通整理者が含まれる。以下の説明では、人体７０が歩行者である場合について説明する。
【００３２】
また、行動計画部６４は、記憶装置５２から読み出した地図情報５０、経路情報５４及び自車情報５６を用いて、作成した行動計画に従う走行軌道（目標挙動の時系列）を生成する。この走行軌道は、具体的には、位置、姿勢角、速度、加速度、曲率、ヨーレート、操舵角をデータ単位とする時系列データセットである。
【００３３】
人体対処部６６は、外界認識部６２からの各種情報を用いて、自車１２の周囲に存在する人体７０を認識し、認識した人体７０に対処するための処理を行う。また、人体対処部６６は、認識した人体７０への対処結果に関わる情報を行動計画部６４に出力する。
【００３４】
この場合、人体対処部６６は、外界情報取得部６６ａ、人体特定部６６ｂ（人体情報取得部）、擬似骨格推定部６６ｃ、距離測定実行判定部６６ｄ、距離測定指示部６６ｅ、人体認識処理部６６ｆ及び走行制御変更処理部６６ｇとして機能する。人体対処部６６のこれらの構成要素の機能については、後述する。
【００３５】
走行制御部５８は、行動計画部６４により生成された走行軌道（目標挙動の時系列）に従って、少なくとも自車１２の加減速制御を含む、自車１２を走行制御するための各々の走行制御値を決定する。そして、走行制御部５８は、得られた各々の走行制御値を、駆動力装置３４、操舵装置３６及び制動装置３８に出力する。報知制御部６０は、行動計画部６４により生成された走行軌道に応じて、報知装置４０又は方向指示器４２を駆動制御する。以下、走行制御部５８及び報知制御部６０を総称して「運転制御部７２」という場合がある。
【００３６】
［２．運転支援装置１０の動作］
本実施形態における運転支援装置１０は、以上のように構成される。続いて、図２〜図７を参照して、運転支援装置１０を搭載した自車１２が、自動運転により、道路７４を走行する場合における運転支援装置１０の動作について説明する。
【００３７】
＜２．１  人体７０及び道路７４の説明＞
図２は、自車１２が道路７４を走行する状態を示す図である。自車１２は、不図示の走行予定経路に沿って、道路７４を走行しようとする。
【００３８】
自車１２が走行する道路７４の前方には、横断歩道７６が存在する。人体７０は、横断歩道７６を横断することで、自車１２の前方を横切ろうとしている。この場合、運転支援装置１０（図１参照）は、カメラ４４が撮像した自車１２の周囲の画像データと、レーダ４６及びＬｉＤＡＲ４８の検知結果とに基づいて、人体７０を認識する。
【００３９】
＜２．２  人体７０の認識処理の概要＞
次に、運転支援装置１０による人体７０の認識処理の概要について、図３及び図４を参照しながら説明する。図３は、従来の手法であり、図４は、本実施形態での手法である。
【００４０】
図３の従来の手法では、先ず、カメラ４４によって、人体７０（図２参照）を含む自車１２（図１参照）の前方の所定領域を撮像する。次に、カメラ４４が撮像した画像データに基づき、カメラ４４の位置を頂点（基準位置）とする擬似的な角錐７８を設定する。角錐７８は、画像データに写り込んでいる人体７０を含む「ＢＢＯＸ」とも呼称される２次元の矩形状の枠８０を有する。次に、レーダ４６又はＬｉＤＡＲ４８によって、角錐７８内に対する距離測定を行う。次に、レーダ４６又はＬｉＤＡＲ４８が測定した角錐７８内の各距離と、人体７０の画像とを用いて、人体７０を認識する。
【００４１】
しかしながら、図３の従来の手法では、角錐７８内の全体に対して距離の測定を行う。そのため、角錐７８内に存在する人体７０以外の距離も測定することになる。この結果、測定した各距離を用いて人体７０の認識処理を行う場合、人体７０以外の距離がノイズとなる。従って、人体７０の認識を精度よく行うことが困難になると共に、認識処理の処理負荷が大きくなる。
【００４２】
これに対して、図４に示す本実施形態の手法では、カメラ４４で人体７０（図２参照）を含む自車１２（図１参照）の前方の所定領域を撮像した後、カメラ４４が撮像した画像データから人体７０の画像を特定する。次に、人体７０の画像を用いて、該人体７０の骨格を模擬した擬似骨格８２を推定する。次に、レーダ４６又はＬｉＤＡＲ４８によって、人体７０の擬似骨格８２に対応する部分（人体７０の骨の周囲の筋肉等を覆う体表）に対して距離測定を行う。次に、レーダ４６又はＬｉＤＡＲ４８が測定した各距離と、人体７０の画像とを用いて、人体７０を認識する。
【００４３】
従って、本実施形態の手法では、擬似骨格８２に対応する人体７０の部分に測定範囲を絞って距離測定が行われる。すなわち、角錐７８内において、擬似骨格８２に対応する箇所には、人体７０が存在する可能性が高い。従って、測定範囲を絞って距離測定を行うことで、人体７０以外の距離測定が抑制され、ノイズが低減するので、人体７０を精度よく認識することが可能となる。
【００４４】
＜２．３  運転支援装置１０の動作＞
次に、上述した本実施形態の手法を具体的に実行するための運転支援装置１０の動作について、図５〜図７のフローチャートを参照しながら説明する。なお、図５〜図７の動作主体は、人体対処部６６である。
【００４５】
先ず、図５のステップＳ１において、人体対処部６６の外界情報取得部６６ａ（図１参照）は、カメラ４４が撮像した画像データ等の外界情報を取得する。
【００４６】
ステップＳ２において、人体特定部６６ｂは、画像データ中、自車１２の周囲（前方）に存在する人体７０（図２参照）の画像を人体情報として抽出（取得）する。
【００４７】
ステップＳ３において、擬似骨格推定部６６ｃは、抽出した人体情報に基づいて、人体７０の擬似骨格８２を推定する。図６は、ステップＳ３の処理の詳細を示すフローチャートである。
【００４８】
擬似骨格８２は、図４に示すように、人体７０（図２参照）の手又は頭のような、該人体７０を特徴づける人体部分である複数の人体特徴部８２ａと、人体７０の関節に相当する複数の擬似関節部８２ｂと、人体骨格構造に則り、複数の人体特徴部８２ａと複数の擬似関節部８２ｂとを接続する骨に相当する直線部分の軸部８２ｃとから構成される。
【００４９】
そこで、図６のステップＳ３１において、擬似骨格推定部６６ｃは、先ず、人体情報から、人体特徴部８２ａ及び擬似関節部８２ｂを検知することが可能か否かを判定する。
【００５０】
人体特徴部８２ａ及び擬似関節部８２ｂを検知可能である場合（ステップＳ３１：ＹＥＳ）、次のステップＳ３２において、擬似骨格推定部６６ｃは、公知の深層学習（ディープラーニング）を利用した推定手法、例えば、「ＯｐｅｎＰｏｓｅ」により、複数の人体特徴部８２ａ及び複数の擬似関節部８２ｂの位置を推定する。
【００５１】
ステップＳ３３において、擬似骨格推定部６６ｃは、推定した複数の人体特徴部８２ａ及び複数の擬似関節部８２ｂの位置に基づき、人体７０の骨の周りの筋肉等（体表に覆われた部分）に相当する肉付き部分８４を推定する。
【００５２】
ステップＳ３４において、擬似骨格推定部６６ｃは、肉付き部分８４の内部（中心）を通るように、複数の人体特徴部８２ａ及び複数の擬似関節部８２ｂを直線で連結し、連結した直線を軸部８２ｃとして推定する。
【００５３】
なお、ステップＳ３１において、人体情報から擬似骨格８２の推定が行えない場合（ステップＳ３１：ＮＯ）、擬似骨格推定部６６ｃは、擬似骨格８２の推定処理を中止し、ステップＳ３２〜Ｓ３４の処理をスキップする。
【００５４】
図５に戻り、ステップＳ４において、距離測定実行判定部６６ｄは、人体７０との距離を測定するか否かを判定する。ステップＳ３で擬似骨格８２が推定されている場合、距離測定実行判定部６６ｄは、擬似骨格８２に基づいて人体７０との距離測定が可能と判定する（ステップＳ４：ＹＥＳ）。
【００５５】
ステップＳ５において、距離測定指示部６６ｅは、ステップＳ４での肯定的な判定結果を受けて、レーダ４６又はＬｉＤＡＲ４８に対して、擬似骨格８２に対応する人体７０の体表との距離を測定するように制御する。これにより、レーダ４６又はＬｉＤＡＲ４８は、距離測定指示部６６ｅからの指示に基づき、擬似骨格８２に対応する人体７０の体表との距離を測定する。この結果、ステップＳ６において、外界情報取得部６６ａは、レーダ４６又はＬｉＤＡＲ４８からの擬似骨格８２に対応する人体７０の体表との距離の測定結果を取得することができる。
【００５６】
あるいは、ステップＳ５において、距離測定指示部６６ｅは、外界情報取得部６６ａに対して、レーダ４６又はＬｉＤＡＲ４８での距離の測定結果のうち、擬似骨格８２に対応する人体７０の体表との距離の測定結果のみ取得するように指示してもよい。これにより、ステップＳ６において、外界情報取得部６６ａは、擬似骨格８２に対応する人体７０の体表との距離の測定結果のみ取得する。
【００５７】
ステップＳ７において、人体認識処理部６６ｆは、ステップＳ６で取得された距離と、ステップＳ２で特定された人体情報とに基づいて、人体７０の認識処理を行う。図７は、ステップＳ７の処理の詳細を示すフローチャートである。
【００５８】
図７のステップＳ７１において、人体認識処理部６６ｆは、先ず、各距離の測定結果（距離情報）のうち、軸部８２ｃに対応する人体７０の体表の距離情報と、人体特徴部８２ａ又は擬似関節部８２ｂに対応する人体７０の体表の距離情報とが相反する結果であるか否かを判定する。
【００５９】
前述のように、軸部８２ｃは、擬似骨格８２における直線部分である。一方、人体特徴部８２ａ又は擬似関節部８２ｂは、擬似骨格８２における点部分又は一定の体積を持った部分である。そのため、軸部８２ｃに対応する距離情報は、人体特徴部８２ａ又は擬似関節部８２ｂに対応する距離情報よりも相対的に精度が高いと言える。
【００６０】
そこで、両者の距離情報が相反する結果である場合（ステップＳ７１：ＹＥＳ）、人体認識処理部６６ｆは、ステップＳ７２において、精度の高い軸部８２ｃに対応する距離情報を優先して採用する。一方、両者の距離情報が略一致する結果である場合（ステップＳ７１：ＮＯ）、人体認識処理部６６ｆは、ステップＳ７３において、人体特徴部８２ａ又は擬似関節部８２ｂに対応する距離情報を優先して採用する。
【００６１】
次のステップＳ７４において、人体認識処理部６６ｆは、ステップＳ７２又はＳ７３で採用した距離情報と、ステップＳ２で特定した人体情報とを用いて、人体７０を認識する。具体的に、人体７０の画像である人体情報に基づいて該人体７０の形状を特定すると共に、採用された距離情報に基づいて自車１２からの人体７０の位置を特定する。
【００６２】
図５に戻り、ステップＳ８において、走行制御変更処理部６６ｇは、自車１２の走行制御を変更する必要があるか否かを判定する。具体的に、自車１２の走行中、前方の横断歩道７６を人体７０が横断していることを認識した場合、走行制御変更処理部６６ｇは、自車１２の車速を低減するか、又は、自車１２を横断歩道７６の手前で一時停車させるような走行軌道を生成するように、自車１２の走行制御を変更させる必要があると判定する（ステップＳ８：ＹＥＳ）。
【００６３】
そして、走行制御変更処理部６６ｇは、次のステップＳ９において、ステップＳ８での肯定的な判定結果に基づき、自車１２の走行制御を変更するための指示内容を行動計画部６４に出力する。これにより、行動計画部６４は、走行制御変更処理部６６ｇの判定結果を受けて、行動計画を更新する。この結果、走行制御部５８は、更新後の行動計画（走行軌道）に基づき、出力系装置群１８をなす各々の装置を制御することで、自車１２の車速を低減させ、又は、自車１２を横断歩道７６の手前で一時停車させることができる。
【００６４】
その後、ステップＳ１０に進み、人体対処部６６での処理を継続して行う場合（ステップＳ１０：ＹＥＳ）、ステップＳ１に戻り、ステップＳ１〜Ｓ１０の処理が繰り返し実行される。
【００６５】
一方、ステップＳ４において、ステップＳ２での人体情報の特定ができなかったか、又は、ステップＳ３で擬似骨格８２の推定処理が行えなかった場合（ステップＳ３１：ＮＯ）、距離測定実行判定部６６ｄは、レーダ４６又はＬｉＤＡＲ４８による距離測定ができないと判断し（ステップＳ４：ＮＯ）、ステップＳ５〜Ｓ９の処理をスキップし、ステップＳ１０に進む。
【００６６】
そして、ステップＳ１０において、自動運転による走行を停止する場合（ステップＳ１０：ＮＯ）、図５〜図７の一連の処理が終了する。
【００６７】
＜２．４  変形例＞
図５〜図７では、レーダ４６又はＬｉＤＡＲ４８が擬似骨格８２に基づき人体７０との距離を測定する場合について説明した。ところで、擬似骨格８２を推定することができない場合（図６のステップＳ３１：ＮＯ）でも、ステップＳ４において、距離測定実行判定部６６ｄは、レーダ４６又はＬｉＤＡＲ４８による距離測定の実行を許可してもよい。この場合、レーダ４６又はＬｉＤＡＲ４８は、ステップＳ５において、図３に示す従来の手法に従って人体７０との距離を測定する。従って、ステップＳ７では、角錐７８内の各距離に基づき人体７０の認識処理が行われる。
【００６８】
［３．本実施形態の効果］
以上説明したように、本実施形態に係る運転支援装置１０は、自車１２（移動体）の運転を支援する装置であって、自車１２の周囲の画像を取得するカメラ４４（視覚センサ）と、自車１２の周囲の物体との距離を測定するレーダ４６又はＬｉＤＡＲ４８（測距センサ）と、カメラ４４が取得した画像データ中、自車１２の周囲に存在する人体７０の画像を人体情報として取得する人体特定部６６ｂ（人体情報取得部）と、人体情報から人体７０の擬似骨格８２を推定する擬似骨格推定部６６ｃとを備える。この場合、レーダ４６又はＬｉＤＡＲ４８は、人体７０の擬似骨格８２に対応する部分（肉付き部分８４を覆う体表）との距離を測定する。
【００６９】
この構成によれば、人体７０の画像（人体情報）から該人体７０の擬似骨格８２を推定し、推定した擬似骨格８２に対応する人体７０の部分との距離のみをレーダ４６又はＬｉＤＡＲ４８で測定する。これにより、レーダ４６又はＬｉＤＡＲ４８の測定範囲が人体７０の部分のみに絞り込まれ、人体７０以外の距離を測定することを抑制することができる。この結果、人体７０を精度よく認識することができる。
【００７０】
さらに説明すると、図５のステップＳ３における画像認識処理の段階で擬似骨格８２を推定することにより、ステップＳ５での距離測定において、レーダ４６又はＬｉＤＡＲ４８が３次元空間（角錐７８）内で探索する点群の数を大幅に減らすことができる。これにより、ステップＳ７での人体７０の認識処理にかかる処理速度を改善しつつ、人体７０の３次元位置の推定処理を含む該人体７０の認識処理を高精度に行うことができる。
【００７１】
ここで、擬似骨格８２は、人体７０の手又は頭を少なくとも含む人体特徴部８２ａと、擬似関節部８２ｂとを有する。レーダ４６又はＬｉＤＡＲ４８は、人体７０の人体特徴部８２ａ又は擬似関節部８２ｂに対応する部分（肉付き部分８４を覆う体表）との距離を測定する。これにより、人体７０以外の距離の測定が効果的に抑制され、人体７０を一層精度よく認識することができる。
【００７２】
また、運転支援装置１０は、レーダ４６又はＬｉＤＡＲ４８が測定した人体７０との距離と、人体情報とに基づいて、人体７０を認識する人体認識処理部６６ｆをさらに備える。擬似骨格８２は、人体特徴部８２ａと、複数の擬似関節部８２ｂと、人体特徴部８２ａと複数の擬似関節部８２ｂとを人体骨格構造に則り接続する軸部８２ｃとを有する。レーダ４６又はＬｉＤＡＲ４８は、さらに、人体７０の軸部８２ｃに対応する部分（肉付き部分８４を覆う体表）との距離を測定する。
【００７３】
そして、人体認識処理部６６ｆは、軸部８２ｃに対応する人体７０との距離と、人体特徴部８２ａ又は擬似関節部８２ｂに対応する人体７０との距離とが異なる場合には、軸部８２ｃに対応する人体７０との距離を優先して用いることで、人体７０を認識する。
【００７４】
軸部８２ｃは、擬似骨格８２における直線部分である。そのため、人体特徴部８２ａ又は擬似関節部８２ｂと比較して、測定される距離の精度が相対的に高い。従って、軸部８２ｃに対応する人体７０との距離を優先して採用することで、人体７０を精度よく認識することが可能となる。
【００７５】
また、人体特定部６６ｂが人体情報を取得可能であっても、擬似骨格推定部６６ｃが人体情報から擬似骨格８２を推定することが困難である場合、レーダ４６又はＬｉＤＡＲ４８は、人体７０（人体情報）を囲む枠８０に対応する自車１２の周辺部分（角錐７８内）との距離を測定すればよい。これにより、自車１２の自動運転中、人体７０の認識処理が中断することを回避することができる。
【００７６】
レーダ４６又はＬｉＤＡＲ４８は、擬似骨格８２から所定距離の領域に対応する人体７０の部分（肉付き部分８４を覆う体表）との距離を測定する。これにより、人体７０との距離を確実に測定することが可能となる。
【００７７】
なお、人体７０は、歩行者、二輪車若しくは四輪車を含む他の移動体の操縦者、又は、交通流を整理する交通整理者を含み、カメラ４４は、自車１２の走行する道路７４（車道）に隣接する範囲で人体７０の画像を取得する。これらの属性の人体７０を擬似骨格８２で認識することにより、各人体特徴部８２ａの位置及び動きを認識することができる。この結果、該人体７０のジェスチャ等を認識することが可能となる。
【００７８】
この場合、人体特徴部８２ａ、又は、カメラ４４が取得した画像中、人体７０と重複して認識することができる物標等から、人体７０の属性を付加すると共に、該人体７０のジェスチャの意図を推定してもよい。例えば、画像中、自車１２の前方の二輪車と重複している人体７０の所定の動作により、「二輪車を追い越し可能」と認識することが可能である。また、画像中、自車１２の前方の四輪車の窓から、操縦者（ドライバ）が手を出し下げるモーションを捉えることで、該モーションを自車１２に対する停止の意図と認識してもよい。
【００７９】
なお、このような人体７０の意図を推定する処理は、歩行者、操縦者、又は、交通整理者等の交通参加者に対して行うものであるため、道路７４と隣接する所定の範囲で人体７０の画像を取得し、該画像を用いて人体７０を検知すれば足りる。
【００８０】
なお、本発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることは勿論である。
【符号の説明】
【００８１】
１０…運転支援装置                    １２…自車（車両、移動体）
４４…カメラ（視覚センサ）            ４６…レーダ（測距センサ）
４８…ＬｉＤＡＲ（測距センサ）
６６ｂ…人体特定部（人体情報取得部）
６６ｃ…擬似骨格推定部                ７０…人体
８２…擬似骨格
【図１】
2020166485.tif 000003
【図２】
2020166485.tif 000004
【図３】
2020166485.tif 000005
【図４】
2020166485.tif 000006
【図５】
2020166485.tif 000007
【図６】
2020166485.tif 000008
【図７】
2020166485.tif 000009