(57)【要約】【課題】精度よく車両を乗員の近傍に停車させることができる車両制御システム、車両制御方法、及びプログラムを提供すること。【解決手段】車両制御システムは、車両の周辺環境を認識する認識部と、車両の速度制御および操舵制御のうち少なくとも一方を行う運転制御部と、車両の周辺に居る人物の外観上の特徴を取得する取得部と、人物のジェスチャを認識するジェスチャ認識部と、取得部によって異なるタイミングで取得された人物の外観上の特徴が合致するか否かを判定する判定部とを備え、判定部は車両に人物が乗車する第１タイミングにおいて取得部によって取得された人物の外観上の特徴とジェスチャ認識部によって人物が所定のジェスチャを行っていることが認識された第２タイミングに取得部により取得された特徴とが合致するか否かを判定し、運転制御部は、判定部により特徴が合致すると判定された場合、合致すると判定された人物の近傍に車両を停車させる。【選択図】図１
2020147066.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺環境を認識する認識部と、
前記認識部の認識結果に基づいて、前記車両の速度制御および操舵制御のうち少なくとも一方を行う運転制御部と、
車両の周辺に居る人物の外観上の特徴を取得してメモリに記憶させる取得部と、
人物のジェスチャを認識するジェスチャ認識部と、
前記取得部によって異なるタイミングで取得された人物の外観上の特徴が合致するか否かを判定する判定部とを備え、
前記判定部は、前記車両に人物が乗車する第１タイミングにおいて前記取得部によって取得された人物の外観上の特徴と、前記第１タイミングより後のタイミングであり、前記ジェスチャ認識部によって人物が所定のジェスチャを行っていることが認識された第２タイミングに前記取得部により取得された前記特徴とが合致するか否かを判定し、
前記運転制御部は、前記判定部により特徴が合致すると判定された場合、前記合致すると判定された人物の近傍に車両を停車させる、
車両制御システム。
【請求項２】
前記判定部は、前記第２タイミングの直前に前記メモリに記憶された前記第１タイミングの特徴と、前記第２タイミングに取得された特徴とが合致するか否かを判定する、
請求項１に記載の車両制御システム。
【請求項３】
前記車両に設けられた照明を制御する照明制御部を更に備え、
前記照明制御部は、前記ジェスチャ認識部によって所定のジェスチャを行っていることが認識された人物について前記取得部により取得された特徴と、前記メモリに記憶された特徴とが合致しない場合、所定の点灯態様によって前記照明を点灯させる、
請求項１又は請求項２に記載の車両制御システム。
【請求項４】
前記車両に設けられる可動部を駆動させる駆動制御部を更に備え、
前記駆動制御部は、前記ジェスチャ認識部によって所定のジェスチャを行っていることが認識された人物について前記取得部により取得された特徴と、前記メモリに記憶された特徴とが合致しない場合、所定の駆動態様によって前記可動部を駆動させる、
請求項１から請求項３のうちいずれか一項に記載の車両制御システム。
【請求項５】
コンピュータが、
車両の周辺環境を認識し、
認識結果に基づいて、自動的に前記車両の速度制御および操舵制御のうち少なくとも一方を行い、
車両の周辺に居る人物の外観上の特徴を取得してメモリに記憶し、
人物のジェスチャを認識し、
異なるタイミングで取得された人物の外観上の特徴が合致するか否かを判定し、
前記車両に人物が乗車する第１タイミングにおいて取得された人物の外観上の特徴と、前記第１タイミングより後のタイミングであり、人物が所定のジェスチャを行っていることが認識された第２タイミングに取得された前記特徴とが合致するか否かを判定し、
特徴が合致すると判定された場合、前記合致すると判定された人物の近傍に車両を停車させる、
車両制御方法。
【請求項６】
コンピュータに、
車両の周辺環境を認識させ、
認識結果に基づいて、自動的に前記車両の速度制御および操舵制御のうち少なくとも一方を行わせ、
車両の周辺に居る人物の外観上の特徴を取得してメモリに記憶させ、
人物のジェスチャを認識させ、
異なるタイミングで取得された人物の外観上の特徴が合致するか否かを判定させ、
前記車両に人物が乗車する第１タイミングにおいて取得された人物の外観上の特徴と、前記第１タイミングより後のタイミングであり、人物が所定のジェスチャを行っていることが認識された第２タイミングに取得された前記特徴とが合致するか否かを判定させ、
特徴が合致すると判定された場合、前記合致すると判定された人物の近傍に車両を停車させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両制御システム、車両制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、車両を自動的に制御することについて研究が進められている。これに関連して、車両の乗員が予め撮像された画像を登録しておき、自動で出庫した車両に搭載される撮像装置が撮像した画像に示される乗員の特徴が、予め登録された画像に示される乗員の特徴と一致した場合、乗員のジェスチャに合わせて車両を乗員の近傍に停車させる技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１２１８６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、乗員が着ぶくれしている場合や、いつもと恰好が違う場合、予め撮像された画像に示される乗員の特徴と、車両に搭載される撮像装置が撮像した画像に示される乗員の特徴とが異なり、乗員のジェスチャに合わせて車両を乗員の近傍に停車させることが困難である場合があった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、精度よく車両を乗員の近傍に停車させることができる車両制御システム、車両制御方法、及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
この発明に係る車両制御システム、車両制御方法、及びプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る車両制御システムは、車両の周辺環境を認識する認識部と、前記認識部の認識結果に基づいて、前記車両の速度制御および操舵制御のうち少なくとも一方を行う運転制御部と、車両の周辺に居る人物の外観上の特徴を取得してメモリに記憶させる取得部と、人物のジェスチャを認識するジェスチャ認識部と、前記取得部によって異なるタイミングで取得された人物の外観上の特徴が合致するか否かを判定する判定部とを備え、前記判定部は、前記車両に人物が乗車する第１タイミングにおいて前記取得部によって取得された人物の外観上の特徴と、前記第１タイミングより後のタイミングであり、前記ジェスチャ認識部によって人物が所定のジェスチャを行っていることが認識された第２タイミングに前記取得部により取得された前記特徴とが合致するか否かを判定し、前記運転制御部は、前記判定部により特徴が合致すると判定された場合、前記合致すると判定された人物の近傍に車両を停車させるものである。
【０００７】
（２）：上記（１）の態様において、前記判定部は、前記第２タイミングの直前に前記メモリに記憶された前記第１タイミングの特徴と、前記第２タイミングに取得された特徴とが合致するか否かを判定するものである。
【０００８】
（３）：上記（１）又は（２）の態様において、前記車両に設けられた照明を制御する照明制御部を更に備え、前記照明制御部は、前記ジェスチャ認識部によって所定のジェスチャを行っていることが認識された人物について前記取得部により取得された特徴と、前記メモリに記憶された特徴とが合致しない場合、所定の点灯態様によって前記照明を点灯させるものである。
【０００９】
（４）：上記（１）〜（３）のうちいずれか一つの態様において、前記車両に設けられる可動部を駆動させる駆動制御部を更に備え、前記駆動制御部は、前記ジェスチャ認識部によって所定のジェスチャを行っていることが認識された人物について前記取得部により取得された特徴と、前記メモリに記憶された特徴とが合致しない場合、所定の駆動態様によって前記可動部を駆動させるものである。
【００１０】
（５）：この発明の一態様に係る車両制御方法は、コンピュータが、車両の周辺環境を認識し、認識結果に基づいて、自動的に前記車両の速度制御および操舵制御のうち少なくとも一方を行い、車両の周辺に居る人物の外観上の特徴を取得してメモリに記憶し、人物のジェスチャを認識し、異なるタイミングで取得された人物の外観上の特徴が合致するか否かを判定し、前記車両に人物が乗車する第１タイミングにおいて取得された人物の外観上の特徴と、前記第１タイミングより後のタイミングであり、人物が所定のジェスチャを行っていることが認識された第２タイミングに取得された前記特徴とが合致するか否かを判定し、特徴が合致すると判定された場合、前記合致すると判定された人物の近傍に車両を停車させる、
ものである。
【００１１】
（６）：この発明の一態様に係るプログラムは、コンピュータに、車両の周辺環境を認識させ、認識結果に基づいて、自動的に前記車両の速度制御および操舵制御のうち少なくとも一方を行わせ、車両の周辺に居る人物の外観上の特徴を取得してメモリに記憶させ、人物のジェスチャを認識させ、異なるタイミングで取得された人物の外観上の特徴が合致するか否かを判定させ、前記車両に人物が乗車する第１タイミングにおいて取得された人物の外観上の特徴と、前記第１タイミングより後のタイミングであり、人物が所定のジェスチャを行っていることが認識された第２タイミングに取得された前記特徴とが合致するか否かを判定させ、特徴が合致すると判定された場合、前記合致すると判定された人物の近傍に車両を停車させるものである。
【発明の効果】
【００１２】
（１）〜（６）によれば、精度よく車両を乗員の近傍に停車させることができる。
【００１３】
（３）〜（４）によれば、乗員以外の人物に娯楽性のある反応を示すことができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る車両制御装置を利用した車両システム１の構成図である。
【図２】第１制御部１２０および第２制御部１６０の機能構成図である。
【図３】自走駐車イベントが実行される場面を模式的に示す図である。
【図４】駐車場管理装置４００の構成の一例を示す図である。
【図５】外観特徴情報１８２の内容の一例を示す図である。
【図６】通常時の乗員Ｐの外観上の特徴の一例を示す図面である。
【図７】寒い日の乗員Ｐの外観上の特徴の一例を示す図面である。
【図８】乗員Ｐ以外の人物Ｃが、自車両Ｍに対して所定のジェスチャを行っている場面を示す図である。
【図９】本実施形態に係る自動運転制御装置１００の一連の動作の一例を示すフローチャートである。
【図１０】実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１５】
＜実施形態＞
以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。なお、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合、左右を逆に読み替えればよい。
【００１６】
［全体構成］
図１は、実施形態に係る車両制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
【００１７】
車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
【００１８】
カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。
【００１９】
レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。
【００２０】
ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ１４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、自車両Ｍの任意の箇所に取り付けられる。
【００２１】
物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。
【００２２】
通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両または駐車場管理装置（後述）、或いは各種サーバ装置と通信する。
【００２３】
ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
【００２４】
車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。
【００２５】
ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置（以下、端末装置ＴＭ）の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
【００２６】
ＭＰＵ６０は、例えば、を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
【００２７】
第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。
【００２８】
ヘッドライト７０は、点灯することによって自車両Ｍの前方に光を照射する。ヘッドライト７０の点灯、及び滅灯は、自動運転制御装置１００によって制御される。
【００２９】
ワイパー駆動部７２は、自動運転制御装置１００の制御に基づいて、ワイパー７４を駆動する。ワイパー駆動部７２は、例えば、モータによって実現される。ワイパー駆動部７２は、自動運転制御装置１００の制御に基づいて駆動する。ワイパー７４は、ワイパー駆動部７２に取り付けられており、ワイパー駆動部７２の駆動に応じて自車両Ｍのウインドウを払拭し、ウインドウに付着した雨滴や汚れを払拭する。ワイパー７４は、例えば、自車両Ｍのフロントウインドウ、および／又はリアウインドウに設けられる。
【００３０】
運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。
【００３１】
自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０と、照明制御部１７０と、ワイパー制御部１７２と、記憶部１８０と、を備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。記憶部１８０には、外観特徴情報１８２が記憶されている。外観特徴情報１８２の詳細については、後述する。記憶部１８０は、「メモリ」の一例である。
【００３２】
図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
【００３３】
認識部１３０は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。
【００３４】
また、認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。
【００３５】
認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。
【００３６】
認識部１３０は、後述する自走駐車イベントにおいて起動する駐車スペース認識部１３１と、特徴情報取得部１３２と、ジェスチャ認識部１３３と、判定部１３４とを備える。駐車スペース認識部１３１、特徴情報取得部１３２、ジェスチャ認識部１３３、及び判定部１３４の機能の詳細については後述する。
【００３７】
行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
【００３８】
行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベント、バレーパーキングなどにおいて無人走行して駐車する自走駐車イベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。行動計画生成部１４０は、自走駐車イベントを実行する場合に起動する自走駐車制御部１４２を備える。自走駐車制御部１４２の機能の詳細については後述する。
【００３９】
第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。
【００４０】
図２に戻り、第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。行動計画生成部１４０と、第２制御部１６０とを合わせたものが「運転制御部」の一例である。
【００４１】
照明制御部１７０は、自走駐車制御部１４２による自車両Ｍの制御状態に基づいて、ヘッドライト７０の点灯態様を制御する。ワイパー制御部１７２は、自走駐車制御部１４２による自車両Ｍの制御状態に基づいて、ワイパー駆動部７２を制御し、ワイパー７４を駆動させる。
【００４２】
走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。
【００４３】
ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
【００４４】
ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
【００４５】
［自走駐車イベント−入庫時］
自走駐車制御部１４２は、例えば、通信装置２０によって駐車場管理装置４００から取得された情報に基づいて、自車両Ｍを駐車スペース内に駐車させる。図３は、自走駐車イベントが実行される場面を模式的に示す図である。道路Ｒｄから訪問先施設に至るまでの経路には、ゲート３００−ｉｎおよび３００−ｏｕｔが設けられている。自車両Ｍは、手動運転または自動運転によって、ゲート３００−ｉｎを通過して停止エリア３１０まで進行する。停止エリア３１０は、訪問先施設に接続されている乗降エリア３２０に面している。乗降エリア３２０、及び停止エリア３１０には、雨や雪を避けるための庇が設けられている。
【００４６】
自車両Ｍは、停止エリア３１０で乗員を下した後、無人で自動運転を行い、駐車場ＰＡ内の駐車スペースＰＳまで移動する自走駐車イベントを開始する。入庫に係る自走駐車イベントの開始トリガの詳細については、後述する。自走駐車制御部１４２は、自走駐車イベントを開始する場合、通信装置２０を制御して駐車リクエストを駐車場管理装置４００に向けて発信する。そして、自車両Ｍは、停止エリア３１０から駐車場ＰＡまで、駐車場管理装置４００の誘導に従って、或いは自力でセンシングしながら移動する。
【００４７】
図４は、駐車場管理装置４００の構成の一例を示す図である。駐車場管理装置４００は、例えば、通信部４１０と、制御部４２０と、記憶部４３０とを備える。記憶部４３０には、駐車場地図情報４３２、駐車スペース状態テーブル４３４などの情報が格納されている。
【００４８】
通信部４１０は、自車両Ｍやその他の車両と無線により通信する。制御部４２０は、通信部４１０により取得された情報と、記憶部４３０に格納された情報とに基づいて、車両を駐車スペースＰＳに誘導する。駐車場地図情報４３２は、駐車場ＰＡの構造を幾何的に表した情報である。また、駐車場地図情報４３２は、駐車スペースＰＳごとの座標を含む。駐車スペース状態テーブル４３４は、例えば、駐車スペースＰＳの識別情報である駐車スペースＩＤに対して、空き状態であるか、満（駐車中）状態であるかを示す状態と、満状態である場合の駐車中の車両の識別情報である車両ＩＤとが対応付けられたものである。
【００４９】
制御部４２０は、通信部４１０が車両から駐車リクエストを受信すると、駐車スペース状態テーブル４３４を参照して状態が空き状態である駐車スペースＰＳを抽出し、抽出した駐車スペースＰＳの位置を駐車場地図情報４３２から取得し、取得した駐車スペースＰＳの位置までの好適な経路を通信部４１０を用いて車両に送信する。また、制御部４２０は、複数の車両の位置関係に基づいて、同時に同じ位置に車両が進行しないように、必要に応じて特定の車両に停止・徐行などを指示する。
【００５０】
経路を受信した車両（以下、自車両Ｍであるものとする）では、自走駐車制御部１４２が、経路に基づく目標軌道を生成する。また、目標となる駐車スペースＰＳが近づくと、駐車スペース認識部１３１が、駐車スペースＰＳを区画する駐車枠線などを認識し、駐車スペースＰＳの詳細な位置を認識して自走駐車制御部１４２に提供する。自走駐車制御部１４２は、これを受けて目標軌道を補正し、自車両Ｍを駐車スペースＰＳに駐車させる。
【００５１】
［自走駐車イベント−出庫時］
自走駐車制御部１４２および通信装置２０は、自車両Ｍが駐車中も動作状態を維持している。自走駐車制御部１４２は、例えば、通信装置２０が乗員の端末装置ＴＭから迎車リクエストを受信した場合、自車両Ｍのシステムを起動させ、自車両Ｍを停止エリア３１０まで移動させる。この際に、自走駐車制御部１４２は、通信装置２０を制御して駐車場管理装置４００に発進リクエストを送信する。駐車場管理装置４００の制御部４２０は、入庫時と同様に、複数の車両の位置関係に基づいて、同時に同じ位置に車両が進行しないように、必要に応じて特定の車両に停止・徐行などを指示する。停止エリア３１０まで自車両Ｍを移動させて乗員を乗せると自走駐車制御部１４２は動作を停止し、以降は手動運転、或いは別の機能部による自動運転が開始される。
【００５２】
なお、上記の説明に限らず、自走駐車制御部１４２は、通信に依らず、カメラ１０、レーダ装置１２、ファインダ１４、または物体認識装置１６による検出結果に基づいて空き状態の駐車スペースを自ら発見し、発見した駐車スペース内に自車両Ｍを駐車させてもよい。
【００５３】
［乗員Ｐのジェスチャに応じた自車両Ｍの停車］
ここで、自走駐車制御部１４２は、出庫に係る自走駐車イベントによって駐車場ＰＡから自車両Ｍを自動的に出庫させ、停止エリア３１０において停車させる際、所定のジェスチャを行っており、自車両Ｍの乗員Ｐであることが確認ないし推定された人物の近傍に自車両Ｍを停車させる。所定のジェスチャは、自車両Ｍを停車させる指示として予め定められているジェスチャであり、例えば、自車両Ｍに対して手を振る、自車両Ｍに対して手招きする等である。
【００５４】
この処理のために、特徴情報取得部１３２は、例えば、乗員Ｐが自車両Ｍに乗車するタイミング（以下、第１タイミング）において、カメラ１０が自車両Ｍの周辺に居る人物（つまり、乗員Ｐ）を撮像した画像を取得し、取得した画像と第１タイミングの日時とを、互いに対応付けて外観特徴情報１８２として記憶部１８０に記憶させておく。図５は、外観特徴情報１８２の内容の一例を示す図である。外観特徴情報１８２には、例えば、乗員Ｐの外観上の特徴を示す特徴情報と、特徴情報が取得された日時とが互いに対応付けられる。特徴情報は、例えば、乗員Ｐが撮像された画像に基づいて何らかの画像処理が行われた結果として得られる情報である。画像処理が行われる場合、特徴情報取得部１３２は、例えば、ＣＮＮ（Convolution Neural Network）などを利用して得られる特徴マップなどを生成し、記憶部１８０に記憶させる。この場合の特徴マップは、色彩、体格、その他の乗員Ｐの大まかな特徴を表すものであることが期待される。
【００５５】
なお、特徴情報は、乗員Ｐが撮像された画像データそのものであってもよく、乗員Ｐの外形を示すものであってもよい。この場合、特徴情報取得部１３２は、自車両Ｍが備える距離センサ等によって自車両Ｍの周辺に居る人の外形を検出し、特徴情報を生成する。また、特徴情報取得部１３２は、エッジ抽出によって輪郭などを抽出し、抽出した輪郭画像を特徴情報としてもよいし、輪郭画像に上記のＣＮＮなどを適用して特徴情報を生成してもよい。
【００５６】
ジェスチャ認識部１３３は、例えば、自走駐車制御部１４２が出庫に係る自走駐車イベントによって自車両Ｍが停止エリア３１０の近傍まで移動させたタイミング（以下、第２タイミング）に、カメラ１０が撮像した自車両Ｍの周辺を示す画像に基づいて、自車両Ｍの周辺に居る人物の手や頭、胴体といった身体の一部または全部の動き（以下、ジェスチャ）を認識する。ジェスチャ認識部１３３は、例えば、身体の代表点を各フレームの画像において認識し、代表点の時間方向の動きに基づいて、人物のジェスチャを認識する。なお、ジェスチャ認識部１３３は、ディープラーニングで、動画像を入力するとジェスチャの種別を出力する学習済みモデルを生成しておき、当該学習済みモデルにカメラ１０が撮像した自車両Ｍの周辺を示す画像を入力することにより、人物のジェスチャを認識する。
【００５７】
判定部１３４は、ジェスチャ認識部１３３によりジェスチャが所定のジェスチャであることが認識された場合、当該ジェスチャを行っている人物が、自車両Ｍの乗員Ｐであるか否かを判定する。特徴情報取得部１３２は、この第２タイミングにおいても、カメラ１０が自車両Ｍの周辺に居る人物を撮像した画像を取得する。判定部１３４は、例えば、所定のジェスチャを行っている人物の外観上の特徴と、外観特徴情報１８２として予め登録されている特徴情報が示す自車両Ｍの乗員Ｐの外観上の特徴とが合致するか否かに基づいて、当該ジェスチャを行っている人物が、自車両Ｍの乗員Ｐであるか否かを判定する。なお、外観特徴情報１８２に含まれる複数の特徴情報のうち、判定部１３４が判定に用いる特徴情報は、第２タイミングから最近（つまり、第２タイミングの直前）の日時が対応付けられた特徴情報である。
【００５８】
判定部１３４は、特徴情報が画像データの場合、ディープラーニングで、所定のジェスチャを行っている人物の画像と、自車両Ｍの乗員Ｐの画像とを入力すると特徴が合致するか否かを出力する学習済みモデルを作成しておき、当該学習済みモデルを用いて判定を行ってもよいし、前述した特徴マップ同士を比較し、相関係数常識レベルなどを計算して閾値以上である場合に所定のジェスチャを行っている人物と、自車両Ｍの乗員Ｐとが合致する（つまり、当該人物が乗員Ｐである）と判定してもよい。
【００５９】
自走駐車制御部１４２は、判定部１３４によって自車両Ｍの乗員Ｐであると判定された人物の近傍に自車両Ｍを停車させる。図６は、通常時の乗員Ｐの外観上の特徴の一例を示す図面である。また、図７は、寒い日の乗員Ｐの外観上の特徴の一例を示す図面である。ここで、乗員Ｐは、例えば、冬以外の季節においては、図６に示すような薄着の状態で自車両Ｍに乗車し、冬季においては、図７に示すような上着を着た厚着の状態で自車両Ｍに乗車する場合がある。ここで、外観特徴情報１８２に含まれる乗員Ｐが撮像された画像が、乗員Ｐの近影ではない場合、自走駐車制御部１４２は、乗員Ｐが所定のジェスチャを行っていても、乗員Ｐを特定できない場合がある。しかしながら、上述した処理により、特徴情報取得部１３２が第１タイミング及び第２タイミングにおいて特徴情報（つまり、近影）を取得し、判定部１３４は、特徴情報取得部１３２によって取得された特徴情報に基づいて、判定を実施するため、自走駐車制御部１４２は、乗員Ｐの所定のジェスチャに応じて、精度よく自車両Ｍを乗員Ｐの近傍に停車させることができる。
【００６０】
なお、第２タイミングの直前に取得された画像が適切に乗員Ｐを撮像できていない場合、自走駐車制御部１４２は、当該画像を用いて乗員Ｐを特定することが困難である。この場合、自走駐車制御部１４２は、第２タイミングの直前に取得された画像に代えて、所定の期間（例えば、数時間〜数日）内に撮像された画像を、乗員Ｐの特定に用いてもよい。
【００６１】
また、照明制御部１７０は、自走駐車制御部１４２が、判定部１３４によって自車両Ｍの乗員Ｐであると判定された人物の近傍に自車両Ｍを停車させる際、所定の点灯態様によって点灯させることにより、乗員Ｐに対して自車両Ｍが乗員Ｐを認識していることを示してもよい。所定の点灯態様は、例えば、パッシングのように短い期間にヘッドライト７０を明滅させたり、左右のヘッドライト７０を交互に明滅させたり、左右のヘッドライト７０のうち、どちらかのみを明滅させたりするものであり、例えば、乗員Ｐによって予め定められる。
【００６２】
［周辺に居る人物のジェスチャに応じた自車両Ｍの動作］
図８は、乗員Ｐ以外の人物Ｃが、自車両Ｍに対して所定のジェスチャを行っている場面を示す図である。ここで、自走駐車制御部１４２が認識部１３０によって認識されたジェスチャが所定のジェスチャであり、所定のジェスチャを行っている人物Ｃをカメラ１０が撮像した画像と、外観特徴情報１８２に含まれる乗員Ｐを示す画像とに基づいて、人物Ｃが乗員Ｐではないと判定した場合、照明制御部１７０は、ヘッドライト７０を所定の点灯態様によって点灯させることにより、人物Ｃに対して反応を示してもよい。この場合、照明制御部１７０は、乗員Ｐに対するヘッドライト７０の点灯態様と、人物Ｃに対するヘッドライト７０の点灯態様とを異ならせてもよい。これにより、照明制御部１７０は、所定のジェスチャを行っている乗員Ｐではない人物Ｃに対して、人物Ｃのジェスチャを自車両Ｍが認識していることを示すことができる。
【００６３】
なお、自走駐車制御部１４２が、人物Ｃが乗員Ｐではないと判定した場合、ワイパー制御部１７２が、ワイパー駆動部７２を制御し、所定の駆動態様によってワイパー７４を駆動させることにより、人物Ｃに対して反応を示してもよい。所定の駆動態様は、例えば、ワイパー７４によってフロントウインドウを複数回払拭させるものである。これにより、ワイパー制御部１７２は、所定のジェスチャを行っている乗員Ｐではない人物Ｃに対して、人物Ｃのジェスチャを自車両Ｍが認識していることを示すことができる。
【００６４】
［動作フロー］
図９は、本実施形態に係る自動運転制御装置１００の一連の動作の一例を示すフローチャートである。まず、自走駐車制御部１４２は、出庫に係る自走駐車イベントを開始し、駐車場ＰＡから自車両Ｍを出庫させ、停止エリア３１０の近傍まで移動させる（ステップＳ１００）。ジェスチャ認識部１３３は、乗降エリア３２０において所定のジェスチャを行っている人物を認識する（ステップＳ１０２）。自走駐車制御部１４２は、所定のジェスチャを行っている人が認識されなかった場合、処理を終了し、基本的な処理によって自車両Ｍを停止エリア３１０に停車させる。
【００６５】
判定部１３４は、ジェスチャ認識部１３３によって所定のジェスチャを行っている人物が認識された場合、第２タイミングにおいて特徴情報取得部１３２によって取得された当該人物を撮像した画像と、外観特徴情報１８２に含まれる第２タイミングの直前の画像とに基づいて、当該人物の外観上の特徴と、乗員Ｐの外観上の特徴とが合致するか否かを判定する（ステップＳ１０４）。自走駐車制御部１４２は、判定部１３４によって当該人物の外観上の特徴と、乗員Ｐの外観上の特徴とが合致すると判定された場合、当該人物を乗員Ｐとして特定し、乗員Ｐの近傍に自車両Ｍを停車させる（ステップＳ１０６）。自走駐車制御部１４２は、判定部１３４によって当該人物の外観上の特徴と、乗員Ｐの外観上の特徴とが合致しないと判定された場合、照明制御部１７０を制御し、所定の点灯態様によってヘッドライト７０を点灯させる、又はワイパー制御部１７２を制御し、所定の駆動態様によってワイパー７４を駆動させることにより、当該人物に対して反応を示す（ステップＳ１０８）。
【００６６】
［ハードウェア構成］
図１０は、実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置１００は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）１００−３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００−４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、自動運転制御装置１００以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、認識部１３０、行動計画生成部１４０、および自走駐車制御部１４２のうち一部または全部が実現される。
【００６７】
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
車両の周辺環境を認識させ、
車両の周辺に居る人物の外観上の特徴を取得する取得部であって、前記車両に人物が乗車する第１タイミングにおいて、前記車両の周辺に居る人物の外観上の特徴を取得してメモリに記憶させ、
人物のジェスチャを認識させ、
認識結果に基づいて、自動的に前記車両の速度制御および操舵制御のうち少なくとも一方を行わせ、
前記車両に人物が乗車する第２タイミングにおいて（第２タイミングは第１タイミングよりも後）、所定のジェスチャを行っていることが認識された人物について取得された特徴と、前記メモリに記憶された特徴とが合致するか否かを判定させ、
特徴が合致すると判定された場合、前記合致すると判定された人物の近傍に車両を停車させる、
ように構成されている、自動運転制御装置。
【００６８】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【００６９】
１…車両システム、１０…カメラ、１２…レーダ装置、１４…ファインダ、１６…物体認識装置、２０…通信装置、４０…車両センサ、５０…ナビゲーション装置、５１…ＧＮＳＳ受信機、５２…ナビＨＭＩ、５３…経路決定部、５４…第１地図情報、６１…推奨車線決定部、６２…第２地図情報、７０…ヘッドライト、７２…ワイパー駆動部、７４…ワイパー、８０…運転操作子、１００…自動運転制御装置、１３０…認識部、１３１…駐車スペース認識部、１３２…特徴情報取得部、１３３…ジェスチャ認識部、１３４…判定部、１４０…行動計画生成部、１４２…自走駐車制御部、１６２…取得部、１６４…速度制御部、１６６…操舵制御部、１７０…照明制御部、１７２…ワイパー制御部、１８０…記憶部、１８２…外観特徴情報、２００…走行駆動力出力装置、２１０…ブレーキ装置、２２０…ステアリング装置、３１０…停止エリア、３２０…乗降エリア、４００…駐車場管理装置、４１０…通信部、４２０…制御部、４３０…記憶部、４３２…駐車場地図情報、４３４…駐車スペース状態テーブル
【図１】
2020147066.tif 000003
【図２】
2020147066.tif 000004
【図３】
2020147066.tif 000005
【図４】
2020147066.tif 000006
【図５】
2020147066.tif 000007
【図６】
2020147066.tif 000008
【図７】
2020147066.tif 000009
【図８】
2020147066.tif 000010
【図９】
2020147066.tif 000011
【図１０】
2020147066.tif 000012