(57)【要約】【課題】運転モードの切り替わり時に、車両の乗員が慌てることを抑制することができる車両制御システム、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。【解決手段】車両制御システムは、車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部と、情報を出力する出力部と、前記車両内の状態を検知する状態検知部と、前記自動運転制御部により、前記車両のステアリングホイールの把持が不要なモードで自動運転が実行されているときに、前記状態検知部の検知結果に基づいて、前記車両の乗員が保持している物体を置くことができる領域が存在するか否かを判定し、前記車両の乗員が保持している物体を置くことができる領域が存在しないと判定した場合、前記出力部に所定の情報を通知させる通知制御部とを備える。【選択図】図１
2018076012.tif 000002
【特許請求の範囲】
【請求項１】
車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部と、
情報を出力する出力部と、
前記車両内の状態を検知する状態検知部と、
前記自動運転制御部により、前記車両のステアリングホイールの把持が不要なモードで自動運転が実行されているときに、前記状態検知部の検知結果に基づいて、前記車両の乗員が保持している物体を置くことができる領域が存在するか否かを判定し、前記車両の乗員が保持している物体を置くことができる領域が存在しないと判定した場合、前記出力部に所定の情報を通知させる通知制御部と、
を備える車両制御システム。
【請求項２】
車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部と、
情報を出力する出力部と、
前記車両内の状態を検知する状態検知部と、
前記自動運転制御部により前記自動運転が実行されているときに、前記状態検知部の検知結果に基づいて、前記車両の乗員が物体を手で保持している状態であり、且つ前記車両の乗員が保持している物体を置くことができる領域が存在しない状態であるか否かを判定し、前記車両の乗員が物体を手で保持している状態であり、且つ前記車両の乗員が保持している物体を置くことができる領域が存在しない状態であると判定した場合、前記出力部に前記車両の乗員に所定の情報を通知させる通知制御部と、
を備える車両制御システム。
【請求項３】
前記自動運転制御部は、前記車両のステアリングホイールの把持が不要な第１運転モードと、前記車両のステアリングホイールの把持が必要な第２運転モードとを実行し、
前記所定の情報は、前記第２運転モードを実行することができないことを示す情報である、
請求項１または請求項２記載の車両制御システム。
【請求項４】
前記通知制御部は、第１運転モードから第２運転モードにモードが遷移する場合に前記判定を実行する、
請求項３記載の車両制御システム。
【請求項５】
前記第２運転モードは、手動運転モードである、
請求項３または請求項４記載の車両制御システム。
【請求項６】
前記車両の乗員が保持している物体を置くことができる領域は、ドリンクホルダである、
請求項１から５のうちいずれか１項記載の車両制御システム。
【請求項７】
前記通知制御部は、前記車両の乗員が飲料類を手で保持しているか否かを判定し、前記車両の乗員が飲料類を手で保持していると判定した場合に、前記飲料類を置くことができる領域が存在するか否かを判定する、
請求項１から６のうちいずれか１項記載の車両制御システム。
【請求項８】
車載コンピュータが、
車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部により、前記車両のステアリングホイールの把持が不要なモードで自動運転が実行されているときに、
前記車両内の状態を検知する状態検知部の検知結果に基づいて、前記車両の乗員が保持している物体を置くことができる領域が存在するか否かを判定し、
前記車両の乗員が保持している物体を置くことができる領域が存在しないと判定した場合、情報を出力する出力部に所定の情報を通知する、
車両制御方法。
【請求項９】
車載コンピュータに、
車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部により、前記車両のステアリングホイールの把持が不要なモードで自動運転が実行されているときに、
前記車両内の状態を検知する状態検知部の検知結果に基づいて、前記車両の乗員が保持している物体を置くことができる領域が存在するか否かを判定させ、
前記車両の乗員が保持している物体を置くことができる領域が存在しないと判定した場合、情報を出力する出力部に所定の情報を通知させる、
車両制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両制御システム、車両制御方法、および車両制御プログラムに関する。
【背景技術】
【０００２】
近年、目的地までの経路に沿って自車両が自動的に走行するように制御する技術について研究が進められている。これに関連して、境界線（白線）認識度合いを表す画像認識自信度と、地物認識度合いを表す地物認識自信度と、ＧＰＳ受信度合いを表すＧＰＳ自信度とに基づいて、どれだけ道路上の自車位置を正確に検出できているかを指標化した継続率を算出し、算出した継続率が閾値以上である場合に、予めドライバに自動運転が継続できなくなる旨を示唆する通知を行う自動運転支援装置が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１７８３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、自動運転が継続できるか否かを判定する際に、車両内の様子については考慮がなされていなかった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、運転モードの切り替わり時に、車両の乗員が慌てることを抑制することができる車両制御システム、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、車両（Ｍ）の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部（１００）と、情報を出力する出力部（３０）と、前記車両内の状態を検知する状態検知部（９０、１５２）と、前記自動運転制御部により、前記車両のステアリングホイールの把持が不要なモードで自動運転が実行されているときに、前記状態検知部の検知結果に基づいて、前記車両の乗員が保持している物体を置くことができる領域が存在するか否かを判定し、前記車両の乗員が保持している物体を置くことができる領域が存在しないと判定した場合、前記出力部に所定の情報を通知させる通知制御部（１５４）と、を備える車両制御システム（１、１００）である。
【０００７】
請求項２記載の発明は、車両（Ｍ）の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部（１００）と、情報を出力する出力部（３０）と、前記車両内の状態を検知する状態検知部（９０、１５２）と、前記自動運転制御部により前記自動運転が実行されているときに、前記状態検知部の検知結果に基づいて、前記車両の乗員が物体を手で保持している状態であり、且つ前記車両の乗員が保持している物体を置くことができる領域が存在しない状態であるか否かを判定し、前記車両の乗員が物体を手で保持している状態であり、且つ前記車両の乗員が保持している物体を置くことができる領域が存在しない状態であると判定した場合、前記出力部に前記車両の乗員に所定の情報を通知させる通知制御部（１５４）と、を備える車両制御システム（１、１００）である。
【０００８】
請求項３記載の発明は、請求項１または請求項２記載の車両制御システムであって、前記自動運転制御部は、前記車両のステアリングホイールの把持が不要な第１運転モードと、前記車両のステアリングホイールの把持が必要な第２運転モードとを実行し、前記所定の情報は、前記第２運転モードを実行することができないことを示す情報である。
【０００９】
請求項４記載の発明は、請求項３記載の車両制御システムであって、前記通知制御部は、第１運転モードから第２運転モードにモードが遷移する場合に前記判定を実行するものである。
【００１０】
請求項５記載の発明は、請求項３または請求項４記載の車両制御システムであって、前記第２運転モードは、手動運転モードであるものである。
【００１１】
請求項６記載の発明は、請求項１から５のうちいずれか１項記載の車両制御システムであって、前記車両の乗員が保持している物体を置くことができる領域は、ドリンクホルダであるものである。
【００１２】
請求項７記載の発明は、請求項１から６のうちいずれか１項記載の車両制御システムであって、前記通知制御部は、前記車両の乗員が飲料類を手で保持しているか否かを判定し、前記車両の乗員が飲料類を手で保持していると判定した場合に、前記飲料類を置くことができる領域が存在するか否かを判定するものである。
【００１３】
請求項８記載の発明は、車載コンピュータが、車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部により、前記車両のステアリングホイールの把持が不要なモードで自動運転が実行されているときに、前記車両内の状態を検知する状態検知部の検知結果に基づいて、前記車両の乗員が保持している物体を置くことができる領域が存在するか否かを判定し、前記車両の乗員が保持している物体を置くことができる領域が存在しないと判定した場合、情報を出力する出力部に所定の情報を通知する車両制御方法である。
【００１４】
請求項９記載の発明は、車載コンピュータに、車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部により、前記車両のステアリングホイールの把持が不要なモードで自動運転が実行されているときに、前記車両内の状態を検知する状態検知部の検知結果に基づいて、前記車両の乗員が保持している物体を置くことができる領域が存在するか否かを判定させ、前記車両の乗員が保持している物体を置くことができる領域が存在しないと判定した場合、情報を出力する出力部に所定の情報を通知させる車両制御プログラムである。
【発明の効果】
【００１５】
請求項１、３−５、８、９記載の発明によれば、通知制御部が、自動運転制御部により車両のステアリングホイールの把持が不要なモードで自動運転が実行されているときに、車両の乗員が保持している物体を置くことができる領域が存在しないと判定された場合、出力部に所定の情報を通知させることにより、運転モードの切り替わり時に、車両の乗員が慌てることを抑制することができる。
【００１６】
請求項２−５記載の発明によれば、通知制御部は、自動運転制御部により自動運転が実行されているときに、車両の乗員が物体を保持している状態であり、且つ車両の乗員が保持している物体を置くことができる領域が存在しない状態であると判定した場合、出力部に前記車両の乗員に所定の情報を通知させることにより、運転モードの切り替わり時に、車両の乗員が慌てることを抑制することができる。
【００１７】
請求項６および７記載の発明によれば、物体を置くことができる領域は、ドリンクホルダであるため、車両の乗員に飲料類を置ける領域が存在しない場合に警報を出力させることができる。この結果、運転モードの切り替わり時に、車両の乗員が慌てることをより抑制することができる。
【図面の簡単な説明】
【００１８】
【図１】自動運転制御ユニット１００を含む車両システム１の構成図である。
【図２】自車位置認識部１２２により走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢が認識される様子を示す図である。
【図３】推奨車線に基づいて目標軌道が生成される様子を示す図である。
【図４】自動運転制御ユニット１００により実行される処理の流れを示すフローチャートである。
【図５】画像認識処理が行われた結果、警報が出力される場面の一例を示す図である。
【図６】物体が置かれた、および物体が置かれていないドリンクホルダＤＨを中心とした空間における特徴点を示している。
【図７】第２実施形態の自動運転制御ユニット１００により実行される処理の流れを示すフローチャートである。
【図８】飲料類が含まれると想定される容器の種類ごとの輪郭の一例を示す図である。
【図９】車室内カメラ９０により撮像された画像の一例を示す図である。
【図１０】第３実施形態の自動運転制御ユニット１００により実行される処理の流れを示すフローチャートである。
【図１１】第４実施形態の自動運転制御ユニット１００により実行される処理の流れを示すフローチャートである。
【図１２】飲料類を置く場所がない場合に警報が出力される場面の一例を示す図である。
【図１３】車両の乗員が両手で物体を保持している場合に警報が出力されない場面の一例である。
【図１４】車両の乗員が両手で物体を保持している場合に警報が出力される場面の一例である。
【発明を実施するための形態】
【００１９】
以下、図面を参照し、本発明の車両制御システム、車両制御方法、および車両制御プログラムの実施形態について説明する。
【００２０】
＜第１実施形態＞
図１は、自動運転制御ユニット１００を含む車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
【００２１】
車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、ナビゲーション装置５０と、ＭＰＵ（Micro-Processing Unit）６０と、車両センサ７０と、運転操作子８０と、把持状態検知部８４と、車室内カメラ９０と、自動運転制御ユニット１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
【００２２】
カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍと称する）の任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。
【００２３】
レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。
【００２４】
ファインダ１４は、照射光に対する散乱光を測定し、対象までの距離を検出するＬＩＤＡＲ（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）である。ファインダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。
【００２５】
物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御ユニット１００に出力する。
【００２６】
通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。
【００２７】
ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
【００２８】
ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ７０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。経路決定部５３により決定された経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。なお、ナビゲーション装置５０は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された経路を取得してもよい。
【００２９】
ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに目標車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、経路において分岐箇所や合流箇所などが存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
【００３０】
第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、各車線の幅員、道路の勾配、道路の位置（経度、緯度、高さを含む３次元座標）、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。第２地図情報６２は、通信装置２０を用いて他装置にアクセスすることにより、随時、アップデートされてよい。
【００３１】
車両センサ７０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。
【００３２】
運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール８２その他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御ユニット１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一方または双方に出力される。
【００３３】
把持状態検知部８４は、ステアリングホイール８２が車両の乗員によって把持されているか否かを検知する。把持状態検知部８４は、ステアリングホイール８２に設けられた複数の電極から取得した電圧の変化や、抵抗値の変化に基づいて、ステアリングホイールが車両の乗員によって把持されているか否かを検知し、検知結果を自動運転制御ユニット１００に出力する。把持状態検知部８４は、例えば、電圧の変化が所定の度合以上である領域が１箇所である場合、車両の乗員は片手でステアリングホイールを把持していると検知し、電圧の変化が所定の度合以上である領域が２箇所である場合、車両の乗員は両手でステアリングホイールを把持していると検知する。また、把持状態検知部８４は、ステアリングホイール８２に設けられた複数の静電容量センサの検知結果に基づいて、ステアリングホイールが車両の乗員によって把持されているか否かを検知してもよい。
【００３４】
車室内カメラ９０は、運転席に着座した乗員および車両内の運転席の周辺を中心として撮像する。車室内カメラ９０の撮像画像は、自動運転制御ユニット１００に出力される。
【００３５】
自動運転制御ユニット１００は、例えば、第１制御部１２０と、第２制御部１４０と、第３制御部１５０と、情報記憶部１６０とを備える。第１制御部１２０と第２制御部１４０と第３制御部１５０とは、それぞれ、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することで実現される。また、各機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
【００３６】
第１制御部１２０は、例えば、外界認識部１２１と、自車位置認識部１２２と、行動計画生成部１２３とを備える。
【００３７】
外界認識部１２１は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、周辺車両の位置、および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。また、外界認識部１２１は、周辺車両に加えて、ガードレールや電柱、駐車車両、歩行者その他の物体の位置を認識してもよい。
【００３８】
自車位置認識部１２２は、例えば、自車両Ｍが走行している車線（走行車線）、並びに走行車線に対する自車両Ｍの相対位置および姿勢を認識する。自車位置認識部１２２は、例えば、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。
【００３９】
そして、自車位置認識部１２２は、例えば、走行車線に対する自車両Ｍの位置や姿勢を認識する。図２は、自車位置認識部１２２により走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢が認識される様子を示す図である。自車位置認識部１２２は、例えば、自車両Ｍの基準点（例えば重心）の走行車線中央ＣＬからの乖離ＯＳ、および自車両Ｍの進行方向の走行車線中央ＣＬを連ねた線に対してなす角度θを、走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢として認識する。なお、これに代えて、自車位置認識部１２２は、自車線Ｌ１のいずれかの側端部に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。自車位置認識部１２２により認識される自車両Ｍの相対位置は、推奨車線決定部６１および行動計画生成部１２３に提供される。
【００４０】
行動計画生成部１２３は、推奨車線決定部６１により決定された推奨車線を走行するように、且つ、自車両Ｍの周辺状況に対応できるように、自動運転において順次実行されるイベントを決定する。イベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、前走車両に追従する追従走行イベント、車線変更イベント、合流イベント、分岐イベント、緊急停止イベント、自動運転を終了して、車両の乗員による操舵が行われる手動運転に切り替えるためのハンドオーバイベントなどがある。また、これらのイベントの実行中に、自車両Ｍの周辺状況（周辺車両や歩行者の存在、道路工事による車線狭窄など）に基づいて、回避のための行動が計画される場合もある。
【００４１】
行動計画生成部１２３は、自車両Ｍが将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとに将来の基準時刻を複数設定し、それらの基準時刻に到達すべき目標地点（軌道点）の集合として生成される。このため、軌道点同士の間隔が広い場合、その軌道点の間の区間を高速に走行することを示している。
【００４２】
図３は、推奨車線に基づいて目標軌道が生成される様子を示す図である。図示するように、推奨車線は、目的地までの経路に沿って走行するのに都合が良いように設定される。行動計画生成部１２３は、推奨車線の切り替わり地点の所定距離手前（イベントの種類に応じて決定されてよい）に差し掛かると、車線変更イベント、分岐イベント、合流イベントなどを起動する。各イベントの実行中に、障害物を回避する必要が生じた場合には、図示するように回避軌道が生成される。
【００４３】
行動計画生成部１２３は、例えば、目標軌道の候補を複数生成し、安全性と効率性の観点に基づいて、その時点での最適な目標軌道を選択する。
【００４４】
行動計画生成部１２３は、自動運転を終了して手動運転に切り替えるためのハンドオーバイベントが実行される場合に、自動運転モードと手動運転モードとを切り替える。また、行動計画生成部１２３は、自動運転切替スイッチ（不図示）から入力される信号に基づいて自動運転モードと手動運転モードとを相互に切り替える。また、行動計画生成部１２３は、運転操作子８０に対する加速、減速または操舵を指示する操作に基づいて、自動運転モードから手動運転モードに切り替える。例えば、行動計画生成部１２３は、運転操作子８０に対する操作によって入力された信号の示す操作量が閾値を超えた状態が、基準時間以上継続した場合に、自動運転モードから手動運転モードに切り替える（オーバーライド）。手動運転モードにおいて、運転操作子からの信号は、自動運転制御ユニット１００を介して走行駆動力出力装置２００、ブレーキ装置２１０、またはステアリング装置２２０に出力されてもよいし、運転操作子から自動運転制御ユニット１００を介さずに走行駆動力出力装置２００、ブレーキ装置２１０、またはステアリング装置２２０に出力されてもよい。
【００４５】
また、行動計画生成部１２３は、決定したイベントや、目標軌道等に基づいて、自動運転のモードを決定する。自動運転のモードは、車両のステアリングホールの把持が不要な第１自動運転モードと、車両のステアリングホイールの把持が必要な第２自動運転モードとが含まれる。第１自動運転モードは、車両の乗員が周辺を監視する必要がなく、従って、車両の乗員は手をステアリングホイールから離した状態で車内において過ごすことができる自動運転のモードである。第１自動運転モードは、「第１運転モード」の一例である。第２自動運転モードは、第１自動運転モードに比して自動運転の度合が低い自動運転モードであって、車両の乗員がステアリングホールを所持して、周辺を監視する必要がある、自動運転モードである。第２自動運転モードは、「第２運転モード」の一例である。
【００４６】
また、前述した手動運転モードも、車両の乗員がステアリングホールを把持して、周辺を監視する必要がある運転モードであるため、「第２運転モード」の他の一例である。
以下の説明において、「第２運転モード」は、第２自動運転モードのみを指すものであってもよいし、手動運転モードのみを指すものであってもよいし、第２自動運転モードと手動運転モードとの双方を指すものであってもよい。例えば、自動運転のモードは、ＨＭＩ制御部１３０によって通知される。
【００４７】
第２制御部１４０は、走行制御部１４１を備える。走行制御部１４１は、行動計画生成部１２３によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。
【００４８】
第３制御部１５０の機能については後述する。
【００４９】
走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵとを備える。ＥＣＵは、走行制御部１４１から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。
【００５０】
ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、走行制御部１４１から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、走行制御部１４１から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
【００５１】
ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、走行制御部１４１から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
【００５２】
［警報出力処理］
以下、第３制御部１５０により実行される、車両の乗員が手で保持している物体を置くことができる領域が存在しない場合、警報を出力する処理について説明する。第３制御部１５０は、状態検知部１５２と、通知制御部１５４とを備える。「車両制御システム」は、ＨＭＩ３０と、車室内カメラ９０と、行動計画生成部１２３と、走行制御部１４１と、第３制御部１５０とを含む。
【００５３】
状態検知部１５２は、車室内カメラ９０により撮像された画像を取得し、取得した画像に対して画像認識処理を行う。車室内カメラ９０と、状態検知部１５２とは、「状態検知部」の一例である。
【００５４】
通知制御部１５４は、自動運転制御ユニット１００により、車両のステアリングホイールの把持が不要なモードで自動運転が実行されているときに、状態検知部１５２の検知結果に基づいて、車両の乗員が保持している物体を置くことができる領域が存在するか否かを判定し、車両の乗員が保持している物体を置くことができる領域が存在しないと判定した場合、ＨＭＩ３０に所定の情報を通知させる。所定の情報とは、第１自動運転モードから第２自動運転モードに遷移することができない情報、または自動運転モードから手動運転モードに遷移することができない情報である。
【００５５】
通知制御部１５４は、自動運転制御ユニット１００により自動運転が実行されているときに、状態検知部１５２の検知結果に基づいて、車両の乗員が物体を手で保持している状態であり、且つ車両の乗員が保持している物体を置くことができる領域が存在しない状態であるか否かを判定し、車両の乗員が物体を手で保持している状態であり、且つ車両の乗員が保持している物体を置くことができる領域が存在しない状態であると判定した場合、ＨＭＩ３０に車両の乗員に所定の情報を通知させる。情報記憶部１６０の詳細については後述する。
【００５６】
図４は、自動運転制御ユニット１００により実行される処理の流れを示すフローチャートである。本処理は、自動運転が実行され、且つ車両の乗員がステアリングホイールを把持していない状態で、車両内に物体を置ける領域が存在しない場合に警報が出力される処理の一例である。
【００５７】
まず、通知制御部１５４が、第１運転モードが実行されている状態であるか否かを判定する（ステップＳ１００）。第１運転モードが実行されている状態である場合、通知制御部１５４が、把持状態検知部８４の検知結果に基づいて、車両の乗員によって両手でステアリングホイールが把持されているか否かを判定する（ステップＳ１０２）。なお、通知制御部１５４が、把持状態検知部８４の検知結果に基づいて、車両の乗員によって片手でステアリングホイールが把持されているか否かを判定してもよい。両手でステアリングホイールが把持されている場合、本フローチャートの１ルーチンの処理は終了する。
【００５８】
両手でステアリングホイールが把持されていない場合、状態検知部１５２は、車室内カメラ９０により撮像された画像を取得し、取得した画像に対して画像認識処理を実行する（ステップＳ１０４）。画像認識処理の詳細については後述する。次に、通知制御部１５４は、ステップＳ１０４の画像認識処理の結果に基づいて、物体を置ける領域が存在しないか否かを判定する（ステップＳ１０６）。物体を置ける領域が存在する場合、本フローチャートの１ルーチンの処理は終了する。物体を置ける領域が存在しない場合、通知制御部１５４は、物体を置ける領域が存在しないことを示す情報（警報）をＨＭＩ３０に出力させる（ステップＳ１０８）。警報は、スピーカから出力される音声であってもよいし、表示部に表示される画像であってもよい。
【００５９】
ステップＳ１００で第１運転モードが実行されていない場合、すなわち第２運転モード（第２自動運転モードまたは手動運転モード）が実行されている場合、通知制御部１５４が、把持状態検知部８４の検知結果に基づいて、車両の乗員によって両手でステアリングホイールが把持されているか否かを判定する（ステップＳ１１０）。両手でステアリングホイールが把持されている場合、本フローチャートの１ルーチンの処理は終了する。両手でステアリングホイールが把持されていない場合、通知制御部１５４は、警報をＨＭＩ３０に出力させる（ステップＳ１１２）。これにより本フローチャートの１ルーチンの処理は終了する。
【００６０】
上述した処理によって、車両の乗員は、例えば、周辺に物体を置ける領域が存在しないことに気が付くことができる。このとき車両の乗員が、手で物体を保持している場合、例えば、物体を置ける領域にあるものを他の領域に移動させることにより、物体を置ける領域に手で保持している物体を置けるようにすることができる。このように、運転モードの切り替わり時に、車両の乗員が慌てることを抑制することができる。
【００６１】
図５は、画像認識処理が行われた結果、警報が出力される場面の一例を示す図である。図示する例は、自車両Ｍの前方から後方に向けて運転席を中心に撮像された画像である。図示する例では、助手席やインストルメントパネル等が省略されている。この画像は、飲料類Ｄを保持している車両の乗員（運転手）Ｈと、自車両Ｍに設けられたドリンクホルダＤＨと、ドリンクホルダＤＨに置かれた携帯端末ＰＨとが撮像された画像である。状態検知部１５２は、例えば、以下のように画像認識処理を実行する。状態検知部１５２は、画像において、周辺の画素との輝度差が大きい画素、或いは画素群を特徴点（エッジ）として求め、特徴点から物体の輪郭を認識する。例えば、予め実験などにより取得された、何も置かれていないときにドリンクホルダＤＨが撮像された画像から求められた特徴点から認識された輪郭が、情報記憶部１６０に記憶されている。状態検知部１５２は、情報記憶部１６０に記憶されたドリンクホルダＤＨの輪郭と、車室内カメラ９０により撮像された画像（車内画像）の認識処理結果とを比較して、物体と推定される程度の大きさを有する輪郭がドリンクホルダＤＨの輪郭に追加されている場合、ドリンクホルダＤＨに物体が置かれていることを認識する。
【００６２】
図６のＢＦは、情報記憶部１６０に記憶された物体が置かれていないドリンクホルダＤＨを中心とした空間における特徴点を示している。図６のＡＦは、状態検知部１５２により認識された物体が置かれたドリンクホルダＤＨを中心とした空間における特徴点を示している。そして、通知制御部１５４は、図６のＡＦに示すようにドリンクホルダＤＨに物体が置かれている場合、警報をＨＭＩ３０に出力させる。例えば、図示するように車両の乗員が、飲料類Ｄなど物体を保持している場合に、手動運転モードや、第２自動運転モードにモードが遷移する場合、物体を置くスペースがないと、物体を置いて両手でステアリングホイールを把持することができないため、事前に通知を行う。なお、上述した画像認識処理に代えて、ドリンクホルダＤＨに設けられた重量センサや、光透過型の物体認識センサ等の検知結果に基づいて、物体が認識されてもよい。
【００６３】
また、上述した例では、物体を置ける領域の一例をドリンクホルダＤＨとして説明したが、物体を置ける領域は、これに限られず、車両の乗員が容易に物体を置ける領域であればよく、例えばセンターコンソール等に設けられたトレイやテーブル、ドリンクホルダであってもよい。
【００６４】
以上説明した第１実施形態では、通知制御部１５４が、自動運転制御ユニット１００により、車両のステアリングホイール８２の把持が不要なモードで自動運転が実行されているときに、状態検知部１５２の検知結果に基づいて、車両の乗員が保持している物体を置くことができる領域が存在するか否かを判定し、車両の乗員が保持している物体を置くことができる領域が存在しないと判定した場合、ＨＭＩ３０に所定の情報を通知させることにより、運転モードの切り替わり時に、車両の乗員が慌てることを抑制することができる。
【００６５】
＜第２実施形態＞
以下、第２実施形態について説明する。第１実施形態では、ステアリングホイールを保持していなく、且つ物体を置ける領域がない場合に警報を出力するものとした。これに対して、第２実施形態では、車両の乗員が物体を保持し、且つ物体を置ける領域がない場合に警報を出力する。ここでは、第１実施形態との相違点を中心に説明し、第１実施形態と共通する機能等についての説明は省略する。
【００６６】
図７は、第２実施形態の自動運転制御ユニット１００により実行される処理の流れを示すフローチャートである。本処理は、自動運転が実行されている状態で実行される処理の一例である。
【００６７】
まず、通知制御部１５４が、第１運転モードが実行されている状態であるか否かを判定する（ステップＳ２００）。第１運転モードが実行されている状態である場合、状態検知部１５２が、車室内カメラ９０により撮像された画像を取得し、取得した画像に対して画像認識処理を実行する（ステップＳ２０２）。
【００６８】
次に、通知制御部１５４は、車両の乗員が物体を保持しているか否かを判定する（ステップＳ２０４）。例えば、通知制御部１５４は、ステップＳ２０２の画像認識処理の結果に基づいて、車両の乗員が物体（例えば飲料類）を保持しているか否かを判定する。例えば、状態検知部１５２は、画像において、周辺の画素との輝度差が大きい画素、或いは画素群を特徴点（エッジ）として求め、特徴点から車両の乗員および車両の乗員が手で保持している物体の輪郭を認識する。例えば、予め実験などで取得された、人および飲料類Ｄが撮像された画像から求められた特徴点から認識された人および飲料類Ｄの輪郭が、情報記憶部１６０に記憶されている。情報記憶部１６０には、例えば、飲料類が含まれると想定される容器の種類ごとに輪郭が記憶されている。
【００６９】
図８は、飲料類が含まれると想定される容器の種類ごとの輪郭の一例を示す図である。飲料類が含まれると想定される容器とは、例えばコンビニエンスストアや自動販売機等で販売されている缶や、コーヒー店などでコーヒーを購入したときにコーヒーが注がれる紙製やプラスチック製などのコップ等である。情報記憶部１６０には、例えば、缶の輪郭Ｄ１や、コップの輪郭Ｄ２等が記憶されている。状態検知部１５２は、情報記憶部１６０に記憶された飲料類Ｄの輪郭と、車室内カメラ９０により撮像された画像（車内画像）に対する認識処理結果とを比較して、車両の乗員が手で保持している飲料類Ｄを認識する。車両の乗員が物体を保持していない場合、本フローチャートの１ルーチンの処理は終了する。
【００７０】
車両の乗員が物体を保持している場合、通知制御部１５４は、ステップＳ２０２の画像認識処理の結果に基づいて、物体を置ける領域が存在するか否かを判定する（ステップＳ２０６）。物体を置ける領域が存在する場合、本フローチャートの１ルーチンの処理は終了する。物体を置ける領域が存在しない場合、通知制御部１５４は、物体を置ける領域が存在しないことを示す情報をＨＭＩ３０に出力させる（ステップＳ２０８）。
【００７１】
ステップＳ２００で第１運転モードが実行されていない場合、すなわち第２運転モードが実行されている場合、状態検知部１５２が、把持状態検知部８４の検知結果に基づいて、車両の乗員によって両手でステアリングホイールが把持されているか否かを判定する（ステップＳ２１０）。両手でステアリングホイールが把持されている場合、本フローチャートの１ルーチンの処理は終了する。両手でステアリングホイールが把持されていない場合、通知制御部１５４は、警報をＨＭＩ３０に出力させる（ステップＳ２１２）。これにより本フローチャートの１ルーチンの処理は終了する。
【００７２】
上述した処理によって、車両の乗員は、物体を手で保持している場合に、例えば、周辺に物体を置ける領域が存在しないことに気が付くことができる。このとき車両の乗員は、例えば、物体を置ける領域にあるものを他の領域に移動させることにより、物体を置ける領域に手で保持している物体を置けるようにすることができる。このように、運転モードの切り替わり時に、車両の乗員が慌てることを抑制することができる。
【００７３】
図９は、車室内カメラ９０により撮像された画像の一例を示す図である。図示する例は、自車両Ｍの前方から後方に向けて運転席を中心に撮像された画像の例である。この画像は、飲料類Ｄを保持している車両の乗員（運転手）Ｈと、自車両Ｍに設けられたドリンクホルダＤＨとが撮像された画像である。状態検知部１５２は、画像認識処理を実行して、車両の乗員Ｈが保持する飲料類Ｄの輪郭と、情報記憶部１６０に記憶されたコップの輪郭Ｄ２とが類似すると判定し、車両の乗員は飲料類を保持していると判定する。また、状態検知部１５２は、画像認識処理を実行して、飲料類ＤをおけるドリンクホルダＤＨが存在することを認識する。
【００７４】
図示するような状況の場合、車両の乗員は、飲料類ＤをドリンクホルダＤＨに置くことができるため、通知制御部１５４により警報は出力されない。仮にドリンクホルダＤＨに何か物体が置かれていている場合、飲料類ＤをドリンクホルダＤＨに置くことができないため、通知制御部１５４により警報が出力される。
【００７５】
以上説明した第２実施形態によれば、通知制御部１５４が、自動運転制御ユニット１００により前記自動運転が実行されているときに、状態検知部１５２の検知結果に基づいて、車両の乗員が物体を手で保持している状態であり、且つ車両の乗員が保持している物体を置くことができる領域が存在しない状態であるか否かを判定し、車両の乗員が物体を手で保持している状態であり、且つ車両の乗員が保持している物体を置くことができる領域が存在しない状態であると判定した場合、ＨＭＩ３０に車両の乗員に所定の情報を通知させることにより、運転モードの切り替わり時に、車両の乗員が慌てることを抑制することができる。
【００７６】
＜第３実施形態＞
以下、第３実施形態について説明する。第２実施形態では、車両の乗員が物体を保持し、且つ物体を置ける領域がない場合に警報を出力するものとした。これに対して、第３実施形態では、車両の乗員が物体を保持し、物体を置ける領域がなく、且つ第２運転モードに遷移する状態である場合に警報を出力する。ここでは、第２実施形態との相違点を中心に説明し、第２実施形態と共通する機能等についての説明は省略する。
【００７７】
図１０は、第３実施形態の自動運転制御ユニット１００により実行される処理の流れを示すフローチャートである。本処理は、自動運転が実行されている状態で実行される処理の一例である。
【００７８】
まず、通知制御部１５４が、第１運転モードが実行されている状態であるか否かを判定する（ステップＳ３００）。第１運転モードが実行されている状態である場合、状態検知部１５２が、車室内カメラ９０により撮像された画像を取得し、取得した画像に対して画像認識処理を実行する（ステップＳ３０２）。次に、通知制御部１５４は、ステップＳ３０２の画像認識処理の結果に基づいて、車両の乗員が物体を保持しているか否かを判定する（ステップＳ３０４）。車両の乗員が物体を保持していない場合、本フローチャートの１ルーチンの処理は終了する。
【００７９】
車両の乗員が物体を保持している場合、通知制御部１５４は、ステップＳ３０２の画像認識処理の結果に基づいて、物体を置ける領域が存在するか否かを判定する（ステップＳ３０６）。物体を置ける領域が存在する場合、本フローチャートの１ルーチンの処理は終了する。物体を置ける領域が存在しない場合、通知制御部１５４は、所定時間以内に第２運転モードに遷移する予定が存在するか否かを判定する（ステップＳ３０８）。所定時間以内に第２運転モードに遷移する予定が存在しない場合、本フローチャートの処理は終了する。所定時間以内に第２運転モードに遷移する予定が存在する場合、通知制御部１５４は、物体を置ける領域が存在しないことを示す情報をＨＭＩ３０に出力させる（ステップＳ３１０）。
【００８０】
ステップＳ３００で第１運転モードが実行されていない場合、すなわち第２運転モードが実行されている場合、通知制御部１５４が、把持状態検知部８４の検知結果に基づいて、車両の乗員によって両手でステアリングホイールが把持されているか否かを判定する（ステップＳ３１２）。両手でステアリングホイールが把持されている場合、本フローチャートの１ルーチンの処理は終了する。両手でステアリングホイールが把持されていない場合、通知制御部１５４は、警報をＨＭＩ３０に出力させる（ステップＳ３１４）。これにより本フローチャートの１ルーチンの処理は終了する。
【００８１】
上述したように、通知制御部１５４は、第１運転モードから第２運転モードに運転のモードが遷移される場合に、車両の乗員が物体を保持し、物体を置ける領域がなく、且つ第２運転モードに遷移する状態である場合に警報を出力することにより、第１実施形態と同様の効果を奏すると共に、第２運転モードに遷移する状態でないときは警報を出力しないため、無用な警報の出力を抑制することができる。
【００８２】
なお、例えば、上述した図１０のフローチャートの処理を所定回数繰り返し、車両の乗員が物体を保持し、且つ物体を置ける領域がない状態であると所定回数連続して判定された場合、自動運転制御ユニット１００は、より強い警報をＨＭＩ３０に出力させてもよいし、自車両Ｍを停車させるように制御してもよい。より強い警報とは、ステップＳ３１０で出力された警報に比して、より大きな音声で警報を出力することや、車両の乗員がより注目しやすい画像を表示部に表示させることである。車両の乗員がより注目しやすい画像とは、画像のコントラスや色彩が目立つ表示態様であることである。また、車両のシートに振動部が含まれている場合、振動部を振動させて車両のシートに振動を伝えることで車両の乗員に自動運転を継続することができないことを通知してもよい。
【００８３】
また、ステップＳ３０８の所定時間以内に第２運転モードに遷移する予定が存在するか否かを判定する処理は、図４のフローチャートのステップＳ１０６とＳ１０８との間で実行されてもよい。
【００８４】
以上説明した第３実施形態によれば、通知制御部１５４は、第１運転モードから第２運転モードにモードが遷移する場合に警報を出力するため、第２運転モードに遷移するタイミングから所定時間を超えている場合には警報は出力されない。この結果、無用な警報の出力を抑制することができる。
【００８５】
＜第４実施形態＞
以下、第４実施形態について説明する。第３実施形態では、第１運転モードを実行中に、車両の乗員が物体を保持し、物体を置ける領域がなく、且つ第２運転モードに遷移する状態である場合に警報を出力するものとした。これに対して、第４実施形態では、第１運転モードを実行中に、車両の乗員が特定の物体を保持し、特定の物体を置ける領域がなく、且つ第２運転モードに遷移する状態である場合に警報を出力する。ここでは、第３実施形態との相違点を中心に説明し、第３実施形態と共通する機能等についての説明は省略する。
【００８６】
第４実施形態では、通知制御部１５４は、車室内カメラ９０により撮像された画像から物体の種類を特定し、特定した種類の物体（例えば飲料類）を置くことができる領域が存在するか否かを判定する。この場合、通知制御部１５４は、特定した種類の物体（例えば飲料類）をおくことができる領域（例えばドリンクホルダ）が存在しない場合、警報をＨＭＩ３０に出力させる。なお、特定した種類の物体は、飲料類に限られず、例えば煙草や、端末装置、本等であってもよい。特定した種類の物体をおくことができる領域は、その物体を置くことができる領域である。例えば、物体が煙草であれば、物体を置ける領域は灰皿である。以下、車両の乗員が飲料類を保持している場合の処理について説明する。
【００８７】
図１１は、第４実施形態の自動運転制御ユニット１００により実行される処理の流れを示すフローチャートである。本処理は、自動運転が実行されている状態で実行される処理の一例である。
【００８８】
まず、通知制御部１５４が、第１運転モードが実行されている状態であるか否かを判定する（ステップＳ４００）。第１運転モードが実行されている状態である場合、状態検知部１５２が、車室内カメラ９０により撮像された画像を取得し、取得した画像に対して画像認識処理を実行する（ステップＳ４０２）。次に、通知制御部１５４は、車両の乗員が飲料類を保持しているか否かを判定する（ステップＳ４０４）。車両の乗員が飲料類を保持していない場合、本フローチャートの１ルーチンの処理は終了する。
【００８９】
車両の乗員が飲料類を保持している場合、通知制御部１５４は、ステップＳ４０２の画像認識処理の結果に基づいて、ドリンクホルダに飲料類を置けるか否かを判定する（ステップＳ４０６）。飲料類を置ける場合、本フローチャートの１ルーチンの処理は終了する。飲料類を置けない場合、通知制御部１５４は、所定時間以内に第２運転モードに遷移する予定が存在するか否かを判定する（ステップＳ４０８）。所定時間以内に第２運転モードに遷移する予定が存在しない場合、本フローチャートの処理は終了する。所定時間以内に第２運転モードに遷移する予定が存在する場合、通知制御部１５４は、物体を置ける領域が存在しないことを示す情報（警報）をＨＭＩ３０に出力させる（ステップＳ４１０）。
【００９０】
ステップＳ４００で第１運転モードが実行されていない場合、すなわち第２運転モードが実行されている場合、通知制御部１５４が、把持状態検知部８４の検知結果に基づいて、車両の乗員によって両手でステアリングホイールが把持されているか否かを判定する（ステップＳ４１２）。両手でステアリングホイールが把持されている場合、本フローチャートの１ルーチンの処理は終了する。両手でステアリングホイールが把持されていない場合、通知制御部１５４は、警報をＨＭＩ３０に出力させる（ステップＳ４１４）。これにより本フローチャートの１ルーチンの処理は終了する。
【００９１】
上述した処理によって、第２運転モードに遷移する予定のときに、車両の乗員が飲料類を手で保持し、ドリンクホルダＤＨが空いていない場合において、車両の乗員が慌てることを抑制することができる。
【００９２】
図１２は、飲料類を置く場所がない場合に警報が出力される場面の一例を示す図である。例えば、車両の乗員が飲料類Ｄを保持しているものとする。また、自車両Ｍの車内において物体を置くことができる領域ＡＲが存在し、ドリンクホルダＤＨには携帯端末ＰＨが置かれているものとする。この場合、通知制御部１５４は、画像認識処理の結果に基づいて、ドリンクホルダＤＨに飲料類Ｄを置けないと判定し、警報をＨＭＩ３０に出力させる。飲料類Ｄの中身がこぼれないように飲料類Ｄを置くことができないためである。
【００９３】
車両の乗員が車内において手で保持する物体および物体の種類は、車両の乗員の操作によって情報記憶部１６０に記憶されてもよい。例えば、車両の乗員は、ＨＭＩ３０に対して所定の操作を行って、車室内カメラ９０に手で保持する予定の物体を撮像させる。状態検知部１５２は、車室内カメラ９０により撮像された画像から手で保持する予定の物体（飲料類）の特徴点を抽出し、抽出した特徴点を車両の乗員が手に保持する予定の物体として情報記憶部１６０に記憶させる。このとき、車両の乗員は、ＨＭＩ３０を操作して物体の種類（例えば飲料類）を入力操作する。状態検知部１５２は、情報記憶部１６０に物体の特徴点に対応付けて物体の種類を記憶させる。このように情報記憶部１６０に車両の乗員が手に保持する予定の物体の特徴点と物体の種類とが記憶されることにより、状態検知部１５２は、車室内カメラ９０により撮像された画像の特徴点から車両の乗員が保持する物体の種類をより精度よく特定することができる。
【００９４】
以上説明した第４実施形態によれば、通知制御部１５４は、車両の乗員が飲料類を保持しているとき、画像認識処理の結果に基づいて、ドリンクホルダＤＨに飲料類Ｄを置けない場合、ＨＭＩ３０に警報を出力させることにより、第１実施形態と同様の効果を奏するとともに、車両の乗員が慌てて飲料類をドリンクホルダＤＨ以外の領域において飲料類Ｄが容器からこぼれてしまうことを抑制することができる。
【００９５】
なお、車両の乗員が両手で物体を保持している場合においても、本実施形態の第３制御部１５０により実行される処理を適用することができる。この場合、通知制御部１５４は、車両の乗員が保持している物体を認識し、認識した物体を置ける領域が車両内に存在するか否かを判定する。例えば、通知制御部１５４は、両手で保持された物体を置くことができる領域が存在しない場合に警報をＨＭＩ３０に出力させる。
【００９６】
図１３は、車両の乗員が両手で物体を保持している場合に警報が出力されない場面の一例である。例えば、車両の乗員が右手に物体ＯＢを保持し、左手に飲料類Ｄを保持しているものとする。また、ドリンクホルダＤＨには飲料類等の物体が置かれていなく、且つ物体を置くことができる領域ＡＲにも物体が置かれていない物とする。この場合、通知制御部１５４は、画像認識処理の結果に基づいて、飲料類ＤはドリンクホルダＤＨに置け、物体ＯＢは領域ＡＲに置けると判定する。この場合、車両の乗員は、両手に持っている物体を所定の位置に置くことで、両手でステアリングホイールを把持することができるため、警報は出力されない。なお、通知制御部１５４は、画像認識処理の結果に基づいて、物体ＯＢの大きさが領域ＡＲの大きさに比して大きい場合は、物体ＯＢを領域ＡＲに置けないと判定してもよい。
【００９７】
図１４は、車両の乗員が両手で物体を保持している場合に警報が出力される場面の一例である。例えば、車両の乗員が右手に物体ＯＢを保持し、左手に飲料類Ｄを保持しているものとする。また、ドリンクホルダＤＨには飲料類等の物体が置かれていなく、且つ物体を置くことができる領域ＡＲには物体が置かれている物とする。この場合、通知制御部１５４は、画像認識処理の結果に基づいて、飲料類ＤはドリンクホルダＤＨに置けるが、物体ＯＢを置くことはできないと判定する。この場合、車両の乗員は、物体ＯＢを所定の位置に置くことができず、両手でステアリングホイールを把持することができないため、警報が出力される。
【００９８】
なお、飲料類Ｄまたは物体ＯＢを置く位置や領域は、上述した例に限られない。例えば、車両内に存在する所定の領域であればよく、例えば助手席に乗員が着座していない場合、助手席が物体ＯＢを置ける領域であるとされてもよい。
【００９９】
また、通知制御部１５４は、通信装置２０を介して取得された情報に基づいて、車両の乗員が物体を保持しているか否かを判定してもよい。例えば、車両の乗員が、所定のアプリケーションを実行させた携帯端末を操作している場合、携帯装置は、車両の乗員が両手で携帯端末を操作していることを示す情報を車両制御システム１に送信する。所定のアプリケーションとは、車両の乗員が両手で操作する必要があるコンテンツを実行するためのアプリケーションである。このように携帯端末から車両の乗員が両手で携帯端末を保持していることを示す情報を取得することにより、より精度よく車両の乗員が物体を保持しているか否かを判定することができる。
【０１００】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【０１０１】
１‥車両システム、１００‥自動運転制御ユニット、１２０‥第１制御部、１２１‥外界認識部、１２２‥自車位置認識部、１２３‥行動計画生成部、１４０…第２制御部、１４１‥走行制御部、１５０‥第３制御部、１５２‥状態検知部、１５４…通知制御部
【図１】
2018076012.tif 000003
【図２】
2018076012.tif 000004
【図３】
2018076012.tif 000005
【図４】
2018076012.tif 000006
【図５】
2018076012.tif 000007
【図６】
2018076012.tif 000008
【図７】
2018076012.tif 000009
【図８】
2018076012.tif 000010
【図９】
2018076012.tif 000011
【図１０】
2018076012.tif 000012
【図１１】
2018076012.tif 000013
【図１２】
2018076012.tif 000014
【図１３】
2018076012.tif 000015
【図１４】
2018076012.tif 000016