(57)【要約】【課題】各種機能に対する操作を安全且つ簡易な手法で実現することが可能な制御装置、制御方法、およびプログラムを提供すること。【解決手段】制御装置は、複数の第１入力手段に対する入力があるか否かを判定する判定部と、前記判定部により、複数の前記第１入力手段の内、所定数の前記第１入力手段に対する入力があると判定された場合、前記第１入力手段とは異なる第２入力手段の入力機能を有効化する制御部と、を備えるものである。【選択図】図６
2020192877.tif 000002
【特許請求の範囲】
【請求項１】
複数の第１入力手段に対する入力があるか否かを判定する判定部と、
前記判定部により、複数の前記第１入力手段の内、所定数の前記第１入力手段に対する入力があると判定された場合、前記第１入力手段とは異なる第２入力手段の入力機能を有効化する制御部と、
を備える、制御装置。
【請求項２】
前記制御部は、前記判定部により、複数の前記第１入力手段の内、２以上の前記第１入力手段に対する入力があると判定された場合、前記第２入力手段の入力機能を有効化する、
請求項１に記載の制御装置。
【請求項３】
前記制御装置は、車両に搭載され、
前記判定部は、前記車両の操舵操作子上に配置された複数の前記第１入力手段に対する入力があるか否かを判定する、
請求項１または２に記載の制御装置。
【請求項４】
前記判定部は、前記操舵操作子の把持部上であり、且つ、前記車両のインストルメントパネルと対向するように配置された複数の前記第１入力手段に対する入力があるか否かを判定する、
請求項３に記載の制御装置。
【請求項５】
前記制御部は、前記車両の乗員によるジェスチャ操作による入力を受け付け可能な前記第２入力手段の入力機能を有効化する、
請求項３または４に記載の制御装置。
【請求項６】
前記制御部は、前記車両の乗員の顔の動きを撮像可能な前記第２入力手段の入力機能を有効化する、
請求項３から５のいずれか一項に記載の制御装置。
【請求項７】
前記制御部は、前記車両の操舵操作子上に配置され、且つ、前記車両の乗員の手動による操作入力を受け付け可能な前記第２入力手段の入力機能を有効化する、
請求項３または４に記載の制御装置。
【請求項８】
前記制御部は、前記車両の乗員による音声入力を受け付け可能な前記第２入力手段の入力機能を有効化する、
請求項３または４に記載の制御装置。
【請求項９】
前記判定部は、前記車両の運転支援の度合いに基づいて、複数の前記第１入力手段の内、判定条件とする前記第１入力手段の数を変更する、
請求項３から８のいずれか一項に記載の制御装置。
【請求項１０】
前記制御部は、前記車両が手動運転中であり、且つ、前記判定部により、複数の前記第１入力手段の内、Ｍ個（Ｍは２以上の自然数）の前記第１入力手段に対する入力が同時にあると判定された場合、前記第２入力手段の入力機能を有効化し、
前記制御部は、前記車両が自動運転中であり、且つ、前記判定部により、複数の前記第１入力手段の内、Ｎ個（Ｎは自然数）の前記第１入力手段に対する入力があると判定された場合、前記第２入力手段の入力機能を有効化し、
前記Ｍは、前記Ｎよりも大きい、
請求項３から９のいずれか一項に記載の制御装置。
【請求項１１】
前記Ｎは１である、
請求項１０に記載の制御装置。
【請求項１２】
前記判定部は、前記車両が自動運転中である場合、前記車両の操舵操作子以外に配置された複数の前記第１入力手段に対する入力があるか否かを判定する、
請求項３から１１のいずれか一項に記載の制御装置。
【請求項１３】
コンピュータが、
複数の第１入力手段に対する入力があるか否かを判定し、
複数の前記第１入力手段の内、所定数の前記第１入力手段に対する入力があると判定された場合、前記第１入力手段とは異なる第２入力手段の入力機能を有効化する、
制御方法。
【請求項１４】
コンピュータに、
複数の第１入力手段に対する入力があるか否かを判定させ、
複数の前記第１入力手段の内、所定数の前記第１入力手段に対する入力があると判定された場合、前記第１入力手段とは異なる第２入力手段の入力機能を有効化させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、車内において様々な情報や娯楽などのサービスを乗員に提供するための技術が知られている。例えば、運転席の周りに設けられたコントロールパネルに対する操作入力に基づいて、ナビゲーションシステムの設定、音楽、映像などのコンテンツの選択、再生などを行う表示システムが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１０３８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車内において提供されるサービスの高度化に伴い、ユーザインターフェースが複雑になってきている。このようなユーザインターフェースに対する操作が乗員により運転中に行われると、乗員の運転に対する注意が散漫となる場合があった。例えば、ステアリングホイールに操作スイッチを設けた場合、乗員は操作時にステアリングホイールから手を離す必要があるため、ステアリング操作性が低下するとともに注意が散漫となる場合があった。
【０００５】
また、ステアリングホイールに複数個の操作スイッチを設けた場合、乗員は操作スイッチを識別するためにこれらを目視してしまい、運転に対する注意が散漫となる場合があった。また、乗員の手の動きを検出するセンサや、タッチパネルなどを用いる場合にも、乗員は操作時にステアリングホイールから手を離す必要があるため、ステアリング操作性が低下するとともに注意が散漫となる場合があった。
【０００６】
本発明は、このような事情を考慮してなされたものであり、各種機能に対する操作を安全且つ簡易な手法で実現することが可能な制御装置、制御方法、およびプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００７】
この発明に係る制御装置、制御方法、およびプログラムは、以下の構成を採用した。
（１）この発明の一態様の制御装置は、複数の第１入力手段に対する入力があるか否かを判定する判定部と、前記判定部により、複数の前記第１入力手段の内、所定数の前記第１入力手段に対する入力があると判定された場合、前記第１入力手段とは異なる第２入力手段の入力機能を有効化する制御部と、を備えるものである。
【０００８】
（２）の態様は、上記（１）の態様に係る制御装置において、前記制御部は、前記判定部により、複数の前記第１入力手段の内、２以上の前記第１入力手段に対する入力があると判定された場合、前記第２入力手段の入力機能を有効化するものである。
【０００９】
（３）の態様は、上記（１）または（２）の態様に係る制御装置において、前記制御装置は、車両に搭載され、前記判定部は、前記車両の操舵操作子上に配置された複数の前記第１入力手段に対する入力があるか否かを判定するものである。
【００１０】
（４）の態様は、上記（３）の態様に係る制御装置において、前記判定部は、前記操舵操作子の把持部上であり、且つ、前記車両のインストルメントパネルと対向するように配置された複数の前記第１入力手段に対する入力があるか否かを判定するものである。
【００１１】
（５）の態様は、上記（３）または（４）の態様に係る制御装置において、前記制御部は、前記車両の乗員によるジェスチャ操作による入力を受け付け可能な前記第２入力手段の入力機能を有効化するものである。
【００１２】
（６）の態様は、上記（３）から（５）のいずれかの態様に係る制御装置において、前記制御部は、前記車両の乗員の顔の動きを撮像可能な前記第２入力手段の入力機能を有効化するものである。
【００１３】
（７）の態様は、上記（３）または（４）の態様に係る制御装置において、前記制御部は、前記車両の操舵操作子上に配置され、且つ、前記車両の乗員の手動による操作入力を受け付け可能な前記第２入力手段の入力機能を有効化するものである。
【００１４】
（８）の態様は、上記（３）または（４）の態様に係る制御装置において、前記制御部は、前記車両の乗員による音声入力を受け付け可能な前記第２入力手段の入力機能を有効化するものである。
【００１５】
（９）の態様は、上記（３）から（８）のいずれかの態様に係る制御装置において、前記判定部は、前記車両の運転支援の度合いに基づいて、複数の前記第１入力手段の内、判定条件とする前記第１入力手段の数を変更するものである。
【００１６】
（１０）の態様は、上記（３）から（９）のいずれかの態様に係る制御装置において、前記制御部は、前記車両が手動運転中であり、且つ、前記判定部により、複数の前記第１入力手段の内、Ｍ個（Ｍは２以上の自然数）の前記第１入力手段に対する入力が同時にあると判定された場合、前記第２入力手段の入力機能を有効化し、前記制御部は、前記車両が自動運転中であり、且つ、前記判定部により、複数の前記第１入力手段の内、Ｎ個（Ｎは自然数）の前記第１入力手段に対する入力があると判定された場合、前記第２入力手段の入力機能を有効化し、前記Ｍは、前記Ｎよりも大きいものである。
【００１７】
（１１）の態様は、上記（１０）の態様に係る制御装置において、前記Ｎは１であるものである。
【００１８】
（１２）の態様は、上記（３）から（１１）のいずれかの態様に係る制御装置において、前記判定部は、前記車両が自動運転中である場合、前記車両の操舵操作子以外に配置された複数の前記第１入力手段に対する入力があるか否かを判定するものである。
【００１９】
（１３）この発明の他の態様の制御方法は、コンピュータが、複数の第１入力手段に対する入力があるか否かを判定し、複数の前記第１入力手段の内、所定数の前記第１入力手段に対する入力があると判定された場合、前記第１入力手段とは異なる第２入力手段の入力機能を有効化するものである。
【００２０】
（１４）この発明の他の態様のプログラムは、コンピュータに、複数の第１入力手段に対する入力があるか否かを判定させ、複数の前記第１入力手段の内、所定数の前記第１入力手段に対する入力があると判定された場合、前記第１入力手段とは異なる第２入力手段の入力機能を有効化させるものである。
【発明の効果】
【００２１】
（１）、（２）、（１３）、（１４）によれば、各種機能に対する操作を安全且つ簡易な手法で実現することができる。
【００２２】
（３）、（４）によれば、乗員は操舵操作子から手を離すことなく、各種機能に対する操作機能の利用開始の指示を入力することができる。
【００２３】
（５）から（８）によれば、所定の条件が満たされていることを条件として、各種機能に対する操作機能を利用可能とすることで、運転中における各種機能に対する乗員による操作を安全且つ簡易な手法で実現することができる。
【００２４】
（９）から（１２）によれば、運転状態に応じて各種機能に対する操作機能の利用条件を可変とすることで、運転の安全性を保ちつつ、操作機能のユーザビリティを向上させることが可能できる。
【図面の簡単な説明】
【００２５】
【図１】第１実施形態に係る制御装置を利用した車両システム１の構成図である。
【図２】第１実施形態に係る自車両Ｍの車内の様子を模式的に示す図である。
【図３】第１実施形態に係るスイッチアセンブリ３４が取り付けられたステアリングホイール３０３の一例を示す図である。
【図４】第１実施形態に係る自車両Ｍの車室内に配置された車内カメラ８０の一例を示す図である。
【図５】第１実施形態に係る車内カメラ８０による撮像時の様子の一例を示す図である。
【図６】第１実施形態に係る第１制御部１２０、第２制御部１６０、および第３制御部１７０の機能構成図である。
【図７】第１実施形態に係る自動運転制御装置１００による一連の処理の流れの一例を示すフローチャートである。
【図８】第１実施形態に係る画像情報に基づいて乗員Ｈの顔の中心点ＣＰを検出する様子を示す図である。
【図９】第１実施形態に係る画像情報に基づいて乗員Ｈのジェスチャが検出される様子の一例を示す図である。
【図１０】第１実施形態に係る画像情報に基づいて乗員Ｈのジェスチャが検出される様子の他の例を示す図である。
【図１１】第２実施形態に係る車両制御装置１００を利用した車両システム２の構成図である。
【図１２】第２実施形態に係る第１タッチパッド３６Ａおよび第２タッチパッド３６Ｂが取り付けられたステアリングホイール３０３の一例を示す図である。
【図１３】第２実施形態に係る自動運転制御装置１００による一連の処理の流れの一例を示すフローチャートである。
【図１４】第２実施形態に係るタッチパッドアセンブリ３６に対する乗員の操作の様子の一例を示す図である。
【図１５】第２実施形態に係るタッチパッドアセンブリ３６に対する乗員の操作の様子の他の例を示す図である。
【図１６】実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照し、本発明の制御装置、制御方法、及びプログラムの実施形態について説明する。
【００２７】
＜第１実施形態＞
［全体構成］
図１は、実施形態に係る車両制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両（以下、「自車両Ｍ」と称する）は、例えば、二輪や三輪、四輪などの車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせを含む。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
【００２８】
車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子７０と、車内カメラ８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線などの多重通信線やシリアル通信線、無線通信網などによって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
【００２９】
カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。カメラ１０は、自車両Ｍの任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面などに取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。
【００３０】
レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。
【００３１】
ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）を利用したセンサである。ファインダ１４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、自車両Ｍの任意の箇所に取り付けられる。
【００３２】
物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。
【００３３】
通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標、以下省略）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信したり、或いは無線基地局を介して各種サーバ装置と通信したりする。
【００３４】
ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、例えば、表示装置３２や、スイッチアセンブリ３４を備える。表示装置３２は、例えば、第１表示部３２Ａと、第２表示部３２Ｂとを備える。
スイッチアセンブリ３４は、例えば、第１スイッチ３４Ａと、第２スイッチ３４Ｂとを備える。ＨＭＩ３０は、更に、スピーカや、ブザー、タッチパネルなどを備えてもよい。
【００３５】
図２は、自車両Ｍの車内の様子を模式的に示す図である。例えば、第１表示部３２Ａは、インストルメントパネルＩＰにおける運転席３０１（ステアリングホイール３０３に最も近い座席）の正面付近に設けられる。第１表示部３２Ａは、乗員がステアリングホイール３０３の間隙から、或いはステアリングホイール３０３越しに視認可能な位置に設置される。第１表示部３２Ａは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。第１表示部３２Ａには、自車両Ｍの手動運転時または運転支援時の走行に必要な情報が画像として表示される。手動運転時の自車両Ｍの走行に必要な情報とは、例えば、自車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報である。運転支援時における自車両Ｍの走行に必要な情報とは、例えば、自車両Ｍの将来の軌道（後述する目標軌道）、車線変更の有無および車線変更先の車線、認識した車線（区画線）や他車両等の情報である。また、運転支援時における自車両Ｍの走行に必要な情報には、手動運転時の自車両Ｍの走行に必要な情報の一部または全部が含まれてよい。
【００３６】
第２表示部３２Ｂは、例えば、インストルメントパネルＩＰの中央付近に設けられる。第２表示部３２Ｂは、例えば、第１表示部３２Ａと同様に、ＬＣＤや有機ＥＬ表示装置等である。第２表示部３２Ｂは、例えば、ナビゲーション装置５０によるナビゲート結果を画像として表示する。また、第２表示部３２Ｂは、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。
【００３７】
スイッチアセンブリ３４は、自車両Ｍの乗員により操作される。乗員は、スイッチアセンブリ３４を操作することで、後述するジェスチャ操作機能の利用開始の指示を自動運転制御装置１００に入力することができる。スイッチアセンブリ３４は、例えば、ステアリングホイール３０３に取り付けられる。スイッチアセンブリ３４は、複数の第１入力手段の一例である。
【００３８】
図３は、スイッチアセンブリ３４が取り付けられたステアリングホイール３０３の一例を示す図である。図３に示すように、スイッチアセンブリ３４はステアリングホイール３０３の裏側（インストルメントパネルＩＰと対向する側）に取り付けられる。例えば、スイッチアセンブリ３４は、ステアリングホイール３０３の把持部上であって、インストルメントパネルＩＰと対向して配置される。スイッチアセンブリ３４は、ステアリングホイール３０３の把持部の裏側に配置される。
【００３９】
例えば、第１スイッチ３４Ａおよび第２スイッチ３４Ｂの各々は、ステアリングホイール３０３の裏側の左右２か所に取り付けられる。例えば、乗員は、ステアリングホイール３０３を把持した状態で、第１スイッチ３４Ａと、第２スイッチ３４Ｂとを同時に押下することで、ジェスチャ操作機能の利用開始の指示（ジェスチャ操作機能の有効化の指示）を自動運転制御装置１００に入力することができる。
【００４０】
なお、図３においては、２個のスイッチ（第１スイッチ３４Ａ、第２スイッチ３４Ｂ）がステアリングホイール３０３の裏側の左右２か所に設けられる例を説明したが、スイッチの個数および取り付け位置は任意である。乗員によるステアリング操作に影響が無い範囲であれば、スイッチがステアリングホイール３０３の表側（運転席３０１と対向する側）に取り付けられてもよい。
【００４１】
車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。
【００４２】
ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。
【００４３】
ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。
【００４４】
ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。
【００４５】
経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。
【００４６】
ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
【００４７】
ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。
推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
【００４８】
第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報、車線の種別の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。
【００４９】
運転操作子７０は、例えば、ステアリングホイール３０３、アクセルペダル、ブレーキペダル、シフトレバー、方向指示器、ジョイスティック、操作レバー、その他の操作子を含む。運転操作子７０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。ステアリングホイール３０３は、「操舵操作子」の一例である。
【００５０】
車内カメラ８０は、自車両Ｍの車室内を撮像可能なカメラである。車内カメラ８０は、例えば、運転席３０１に着座する乗員（顔、頭部など）を撮像する。車内カメラ８０は、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車内カメラ８０は、自車両Ｍの車室内を撮像すると、画像データを自動運転制御装置１００に出力する。
【００５１】
図４は、自車両Ｍの車室内に配置された車内カメラ８０の一例を示す図である。図４に示すように、車内カメラ８０は、インストルメントパネルＩＰにおける運転席３０１の正面付近であって、第１表示部３２Ａの上部に配置される。図５は、車内カメラ８０による撮像時の様子の一例を示す図である。図５に示すように、車内カメラ８０は、例えば、ステアリングホイール３０３越しに、運転席３０１に着座する乗員Ｈの頭部、顔などを撮像する。車内カメラ８０は、例えば、ステアリングホイール３０３の間隙から、運転席３０１に着座する乗員Ｈの頭部、顔などを撮像してもよい。なお、車内カメラ８０は、２以上設けられてもよい。例えば、２つの車内カメラにより撮像を行うことで、ステレオ視された映像を取得することが可能となる。
【００５２】
自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０と、第３制御部１７０と、記憶部１９０とを備える。第１制御部１２０、第２制御部１６０、および第３制御部１７０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００の記憶部１９０に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部１９０にインストールされてもよい。
【００５３】
記憶部１９０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）などにより実現される。記憶部１９０は、例えば、プロセッサによって読み出されて実行されるプログラムなどを格納する。
【００５４】
図６は、第１制御部１２０、第２制御部１６０、および第３制御部１７０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
【００５５】
認識部１３０は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺に存在する物体を認識する。認識部１３０により認識される物体は、例えば、自転車、オートバイク、四輪自動車、歩行者、道路標識、道路標示、区画線、電柱、ガードレール、落下物などを含む。また、認識部１３０は、物体の位置や、速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした相対座標上の位置（すなわち自車両Ｍに対する相対位置）として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。
【００５６】
また、認識部１３０は、第２地図情報６２を参照し、自車両Ｍが走行する道路区間が自動運転許可区間であることを認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、自動運転許可区間を認識する。更に、認識部１３０は、道路区画線のパターンの比較に基づいて、自車両Ｍが走行している自車線や、自車線に隣接した隣接車線を認識する。
【００５７】
また、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、自動運転許可区間を認識したり、自車線や隣接車線を認識したりしてもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。
【００５８】
認識部１３０は、自車線を認識する際に、自車線に対する自車両Ｍの相対位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、自車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、自車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、自車線に対する自車両Ｍの相対位置として認識してもよい。
【００５９】
行動計画生成部１４０は、例えば、イベント決定部１４２と、目標軌道生成部１４４とを備える。イベント決定部１４２は、推奨車線が決定された経路において、自車両Ｍが自動運転下にある場合、その自動運転の走行態様を決定する。以下、自動運転の走行態様を規定した情報をイベントと称して説明する。
【００６０】
イベントには、例えば、自車両Ｍを一定の速度で同じ車線を走行させる定速走行イベント、自車両Ｍの前方の所定距離以内（例えば１００［ｍ］以内）に存在し、自車両Ｍに最も近い他車両（以下、前走車両ｍＡと称する）に自車両Ｍを追従させる追従走行イベント、自車両Ｍを自車線から隣接車線へと車線変更させる車線変更イベント、道路の分岐地点で自車両Ｍを目的地側の車線に分岐させる分岐イベント、合流地点で自車両Ｍを本線に合流させる合流イベント、自動運転を終了して手動運転に切り替えるためのテイクオーバーイベントなどが含まれる。「追従する」とは、例えば、自車両Ｍと前走車両ｍＡとの車間距離（相対距離）を一定に維持させる走行態様であってもよいし、自車両Ｍと前走車両ｍＡとの車間距離を一定に維持させることに加えて、自車両Ｍを自車線の中央で走行させる走行態様であってもよい。また、イベントには、例えば、自車両Ｍを一旦隣接車線に車線変更させて前走車両ｍＡを隣接車線において追い越してから再び元の車線へと車線変更させる追い越しイベント、自車両Ｍの前方に存在する障害物を回避するために自車両Ｍに制動および操舵の少なくとも一方を行わせる回避イベントなどが含まれてよい。
【００６１】
また、イベント決定部１４２は、例えば、自車両Ｍの走行時に認識部１３０により認識された周辺の状況に応じて、現在の区間に対して既に決定したイベントを他のイベントに変更したり、現在の区間に対して新たなイベントを決定したりしてよい。
【００６２】
また、イベント決定部１４２は、車載機器に対する乗員の操作に応じて、現在の区間に対して既に決定したイベントを他のイベントに変更したり、現在の区間に対して新たなイベントを決定したりしてよい。例えば、イベント決定部１４２は、乗員が方向指示器を作動させた場合、現在の区間に対して既に決定したイベントを車線変更イベントに変更したり、現在の区間に対して新たに車線変更イベントを決定したりしてよい。
【００６３】
例えば、乗員が方向指示器のレバー（ストークやスイッチともいう）を操作して左側の隣接車線への車線変更を指示した場合、イベント決定部１４２は、自車両Ｍから見て左側の隣接車線へと自車両Ｍを車線変更させる車線変更イベントを決定する。また、例えば、乗員が方向指示器のレバーを操作して右側の隣接車線への車線変更を指示した場合、イベント決定部１４２は、自車両Ｍから見て右側の隣接車線へと自車両Ｍを車線変更させる車線変更イベントを決定する。方向指示器のレバーを操作して車線変更を指示することは、ワンタッチ機能とも呼ばれる。なお、車線変更の指示は、方向指示器のレバーを操作することに加えて、或いは代えて、ステアリングホイールを操作することで行われてもよいし、マイクロフォンに対して音声を入力することで行われてもよいし、他のスイッチやボタンを操作することで行われてもよい。
【００６４】
目標軌道生成部１４４は、原則的には推奨車線決定部６１により決定された推奨車線を自車両Ｍが走行し、更に、自車両Ｍが推奨車線を走行する際に周辺の状況に対応するため、イベントにより規定された走行態様で自車両Ｍを自動的に（運転者の操作に依らずに）走行させる将来の目標軌道を生成する。目標軌道には、例えば、将来の自車両Ｍの位置を定めた位置要素と、将来の自車両Ｍの速度等を定めた速度要素とが含まれる。
【００６５】
例えば、目標軌道生成部１４４は、自車両Ｍが順に到達すべき複数の地点（軌道点）を、目標軌道の位置要素として決定する。軌道点は、所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点である。所定の走行距離は、例えば、経路に沿って進んだときの道なり距離によって計算されてよい。
【００６６】
また、目標軌道生成部１４４は、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度を、目標軌道の速度要素として決定する。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度は、サンプリング時間および軌道点の間隔によって決定される。目標軌道生成部１４４は、生成した目標軌道を示す情報を、第２制御部１６０に出力する。
【００６７】
第２制御部１６０は、目標軌道生成部１４４によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。
【００６８】
取得部１６２は、目標軌道生成部１４４から目標軌道（軌道点）の情報を取得し、記憶部１９０のメモリに記憶させる。
【００６９】
速度制御部１６４は、メモリに記憶された目標軌道に含まれる速度要素（例えば目標速度や目標加速度等）に基づいて、走行駆動力出力装置２００およびブレーキ装置２１０の一方または双方を制御する。
【００７０】
操舵制御部１６６は、メモリに記憶された目標軌道に含まれる位置要素（例えば目標軌道の曲り具合を表す曲率等）に応じて、ステアリング装置２２０を制御する。
【００７１】
速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
【００７２】
第３制御部１７０は、自車両Ｍの乗員による入力に基づいて、所定の機能を制御する。例えば、第３制御部１７０は、車内カメラ８０によって撮像された乗員のジェスチャに基づく入力（ジェスチャ操作入力）に基づいて、所定の機能を制御する。所定の機能には、例えば、ナビゲーション装置５０によるナビゲート機能、テレビ番組の表示、ラジオ番組の出力、音楽コンテンツの再生、動画再生コンテンツの再生、テレビ電話、車内空調、ウインドウの開閉、ドアロックの施錠、手動運転モードおよび運転支援モードの切り替え、車両の利用者の発話に応じて音声による応答を含むサービスを提供するエージェント機能などの任意の機能が含まれる。第３制御部１７０は、例えば、第３制御部１７０は、例えば、取得部１７２と、判定部１７４と、検出部１７６（制御部）と、機能制御部１７８（制御部）とを備える。
【００７３】
取得部１７２は、ステアリングホイール３０３上に取り付けられたスイッチアセンブリ３４に対する乗員による操作情報を取得する。この操作情報は、例えば、乗員が、第１スイッチ３４Ａおよび第２スイッチ３４Ｂの各々を操作したか否かを示す情報（第１スイッチ３４Ａおよび第２スイッチ３４Ｂの各々のオン、オフ状態を示す情報）を含む。
【００７４】
また、取得部１７２は、車内カメラ８０によって撮像された乗員のジェスチャに基づく情報を取得する。乗員のジェスチャとは、例えば、乗員の顔の動き、頭部の動き、乗員の視線の動きなどを含む。
【００７５】
判定部１７４は、取得部１７２により取得されたスイッチアセンブリ３４に対する乗員による操作情報に基づいて、スイッチアセンブリ３４に含まれるスイッチの各々が操作されたか否かを判定する。すなわち、判定部１７４は、スイッチアセンブリ３４に対する入力があるか否かを判定する。これにより、判定部１７４は、ジェスチャ操作機能をオンにする（有効化する）条件が満たされたか否かを判定する。
【００７６】
例えば、スイッチアセンブリ３４に対する操作情報が第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方が操作されていることを示している場合（第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方がオン状態となっている場合）、判定部１７４は、ジェスチャ操作機能をオンにする条件が満たされていると判定する。言い換えると、判定部１７４は、乗員がジェスチャ操作機能の利用意思を有していると判定する。一方、スイッチアセンブリ３４に対する操作情報が第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方が操作されていないことを示している場合（第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方がオフ状態となっている場合や、一方のみがオン状態となっている場合）、判定部１７４は、ジェスチャ操作機能をオンにする条件が満たされていないと判定する。言い換えると、判定部１７４は、乗員がジェスチャ操作機能の利用意思を有していないと判定する。
【００７７】
判定部１７４は、手動運転モードの場合と、運転支援モードの場合とで、判定条件を変更するようにしてもよい。手動運転モードとは、乗員の運転操作に応じて、自車両Ｍの速度および操舵が制御されるモードである。運転支援モードとは、乗員の運転操作に依らずに、自車両Ｍの速度または操舵の一方が制御されるモードである。例えば、運転支援モード下では、ＡＣＣ（Adaptive Cruise Control System）やＬＫＡＳ（Lane Keeping Assistance System）といった制御を行うことは許可されるものの、ＡＬＣ（Auto Lane Changing）のような、車線変更を行って自車両Ｍの進路を変更するような制御を行うことは禁止される。運転支援モード下において、ＡＣＣが行われている間、ＬＫＡＳが制限され、ＬＫＡＳが行われている間、ＡＣＣが制限される。すなわち、運転支援モード下では、操舵制御および速度制御が逐次的に処理される。自動運転モードは、乗員の運転操作に依らずに、自車両Ｍの速度および操舵の双方が制御されるモードである。例えば、自動運転モード下では、上述したＡＣＣやＬＫＡＳに加えて、ＡＬＣなどの制御を行うことが許可される。なお、以下においては、手動運転モードと、手動運転モード以外のモード（すなわち、運転支援モードおよび自動運転モード）とを区別する場合には、運転支援モードおよび自動運転モードとを総称して「運転支援モード」と呼ぶ場合もある。
【００７８】
判定部１７４は、手動運転モードでは、第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方がオン状態となっている場合に、ジェスチャ操作機能をオンにする条件が満たされていると判定してよい。また、判定部１７４は、運転支援モードでは、第１スイッチ３４Ａおよび第２スイッチ３４Ｂの少なくとも一方がオン状態となっている場合に、ジェスチャ操作機能をオンにする条件が満たされていると判定してよい。このように、ジェスチャ操作機能をオンにする条件を可変とすることで、手動運転モードにおけるジェスチャ操作機能の利用条件を、運転支援モードの場合よりも厳しく設定することができる。
【００７９】
検出部１７６は、判定部１７４によりジェスチャ操作機能をオンにする条件が満たされていると判定された場合、取得部１７２により取得された車内カメラ８０の画像情報に基づいて、乗員のジェスチャに基づく所定の機能に対する指示内容を検出する。すなわち、検出部１７６は、判定部１７４により、スイッチアセンブリ３４の内、所定数のスイッチに対する入力があると判定された場合、スイッチアセンブリ３４とは異なるジェスチャ操作機能を有効化する。例えば、検出部１７６は、判定部１７４により、スイッチアセンブリ３４の内、２以上のスイッチに対する入力があると判定された場合、ジェスチャ操作機能を有効化する。車内カメラ８０は、第２入力手段の一例である。例えば、検出部１７６は、車内カメラ８０によって撮像された乗員の顔の画像情報に基づいて、所定の機能に対する指示内容を検出する。
【００８０】
機能制御部１７８は、検出部１７６により検出された所定の機能に対する指示内容に基づいて、所定の機能の制御を行う。例えば、所定の機能が音楽コンテンツの再生である場合、機能制御部１７８は、検出部１７６により検出された指示内容に基づいて、音楽コンテンツの再生の制御（選曲、再生開始、再生停止、音量設定など）を行う。
【００８１】
走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するパワーＥＣＵ（Electronic Control Unit）とを備える。パワーＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子７０から入力される情報に従って、上記の構成を制御する。
【００８２】
ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子７０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子７０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
【００８３】
ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子７０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
【００８４】
［処理フロー］
以下、実施形態の自動運転制御装置１００による一連の処理の流れを、フローチャートを用いて説明する。図７は、第１実施形態に係る自動運転制御装置１００による一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、自車両Ｍが、手動運転モード或いは運転支援モードにある場合において、所定の周期で繰り返し実行されてよい。なお、以下においては、表示装置３２に音楽再生機能に関する画面が表示されており、乗員が再生を希望する曲を選択する場合を例に挙げて説明する。
【００８５】
まず、第３制御部１７０の取得部１７２は、ステアリングホイール３０３の裏側に取り付けられたスイッチアセンブリ３４に対する乗員による操作情報を取得する（ステップＳ１０１）。次に、判定部１７４は、自車両Ｍが手動運転モードにあるか否かを判定する（ステップＳ１０３）。例えば、判定部１７４は、ステアリングホイール３０３に取り付けられた手動運転モードと運転支援モードとの切り替えスイッチの状態（記憶部１９０に記憶された切り替えスイッチの状態フラグなど）を参照することで、自車両Ｍが手動運転モードにあるか否かを判定する。
【００８６】
次に、判定部１７４は、自車両Ｍが手動運転モードにあると判定した場合、取得部１７２により取得されたスイッチアセンブリ３４に対する乗員による操作情報に基づいて、第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方が同時に操作されたか否かを判定する（ステップＳ１０５）。判定部１７４により第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方が同時に操作されていないと判定された場合（ジェスチャ操作機能をオンにする条件が満たされていないと判定された場合）、取得部１７２は引き続き操作情報を取得し、判定部１７４は上記の判定処理を継続する。
【００８７】
一方、判定部１７４は、自車両Ｍが手動運転モードにないと判定した場合（運転支援モードにあると判定した場合）、取得部１７２により取得されたスイッチアセンブリ３４に対する乗員による操作情報に基づいて、第１スイッチ３４Ａおよび第２スイッチ３４Ｂの少なくとも一方が操作されたか否かを判定する（ステップＳ１０７）。判定部１７４により第１スイッチ３４Ａおよび第２スイッチ３４Ｂの少なくとも一方が操作されていないと判定された場合（ジェスチャ操作機能をオンにする条件が満たされていないと判定された場合）、取得部１７２は引き続き操作情報を取得し、判定部１７４は上記の判定処理を継続する。
【００８８】
一方、判定部１７４により、自車両Ｍが手動運転モードであり且つ第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方が同時に操作されたと判定された場合、或いは、自車両Ｍが手動運転モードではなく且つ第１スイッチ３４Ａおよび第２スイッチ３４Ｂの少なくとも一方が操作されたと判定された場合、取得部１７２は、車内カメラ８０によって撮像された乗員のジェスチャの画像情報を取得する（ステップＳ１０９）。取得部１７２は、例えば、乗員の顔の画像情報を取得する。
【００８９】
次に、検出部１７６は、取得部１７２により取得された画像情報に基づいて、乗員の顔の特徴部（乗員の目、鼻など）を検出する（ステップＳ１１１）。次に、検出部１７６は、検出した特徴部に基づいて、乗員の顔の中心点（動作起点ポイント）を検出する（ステップＳ１１３）。特徴部および中心点の検出は、記憶部１９０に記憶された顔画像データベースと照合することで行われてよい。また、特徴部および中心点の検出は、ＡＩによる機能を用いて、顔画像が入力されたときに、特徴部および中心点の位置を出力するようなモデルを利用することで行われてよい。
【００９０】
図８は、画像情報に基づいて乗員Ｈの顔の中心点ＣＰを検出する様子を示す図である。図８に示される例では、検出部１７６は、画像情報から乗員Ｈの顔の特徴部である目（特徴部ＦＰ１，ＦＰ２）と、鼻（特徴部ＦＰ３）とを検出する。次に、検出部１７６は、これら特徴部ＦＰ１，ＦＰ２，ＦＰ３に基づいて、乗員の顔の中心点ＣＰを検出する。中心点ＣＰは、例えば、鼻（特徴部ＦＰ３）の中央部（先端部）である。なお、検出部１７６により乗員の顔の中心点が検出された後は、乗員がスイッチアセンブリ３４から指を離しても（スイッチアセンブリ３４がオフになっても）、以下の処理が継続されてよい。
【００９１】
次に、検出部１７６は、取得部１７２により取得されて時系列に並べられた画像情報において、検出した中心点ＣＰの動作（軌跡）を追うことで、乗員のジェスチャ（乗員の意思）を検出する（ステップＳ１１５）。図９は、画像情報に基づいて乗員Ｈのジェスチャが検出される様子の一例を示す図である。図９に示される例では、中心点ＣＰが左右方向に移動した軌跡ＴＲ１が検出されている。この軌跡ＴＲ１は、乗員Ｈが顔を左右方向に移動させたこと、すなわち、乗員Ｈが表示装置３２に表示された曲を選択せずに（「ＮＯ」の指示）、他の候補の表示することを指示したことを示している。
【００９２】
一方、図１０は、画像情報に基づいて乗員Ｈのジェスチャが検出される様子の他の例を示す図である。図１０に示される例では、中心点ＣＰが上下方向に移動した軌跡ＴＲ２が検出されている。この軌跡ＴＲ２は、乗員Ｈが顔を上下方向に移動させたこと、すなわち、乗員Ｈが表示装置３２に表示された曲を選択することを指示したこと（「ＹＥＳ」の指示）を示している。
【００９３】
次に、機能制御部１７８は、検出部１７６により検出されたジェスチャと関連付けられた指示に基づいて、所定の機能を制御する（ステップＳ１１７）。例えば、検出部１７６により、図１０に示されるような乗員Ｈが表示装置３２に表示された曲を選択することの指示が検出された場合、機能制御部１７８は、音楽再生機能を制御して表示装置３２に表示中の曲を再生させる。このように、乗員は、少ない顔の動きで、情報の取捨選択の操作が可能になる。以上により、本フローチャートの処理が終了する。なお、上記のフローの途中で、再度、スイッチアセンブリ３４のいずれか一方のスイッチ、或いは双方のスイッチを同時に押下することで、ジェスチャ操作機能がキャンセルされるようにしてもよい。
【００９４】
上記のように、判定部１７４は、自車両Ｍの運転支援の度合いに基づいて、複数のスイッチの内、判定条件とするスイッチの数を変更する。検出部１７６は、自車両Ｍが手動運転中であり、且つ、判定部１７４により、複数のスイッチの内、Ｍ個（Ｍは２以上の自然数）のスイッチに対する入力が同時にあると判定された場合、車内カメラ８０の入力機能を有効化する。また、検出部１７６は、自車両Ｍが自動運転中であり、且つ、判定部１７４により、複数のスイッチの内、Ｎ個（Ｎは自然数）のスイッチに対する入力があると判定された場合、車内カメラ８０の入力機能を有効化する。Ｍは、Ｎよりも大きい。Ｎは、例えば、１である。なお、判定部１７４は、自車両Ｍが自動運転中である場合、自車両のステアリングホイール３０３以外に配置された複数の入力手段に対する入力があるか否かを判定してもよい。
【００９５】
以上説明した実施形態によれば、各種機能に対する操作を安全且つ簡易な手法で実現することができる。判定部１７４により、ステアリングホイール３０３の裏側に取り付けられたスイッチアセンブリ３４に対する乗員による操作情報に基づいて、ジェスチャ操作機能をオンにする条件が満たされているか否かを判定することで、乗員はステアリングホイール３０３から手を離すことなく、所定の機能に対するジェスチャ操作機能の利用開始の指示を入力することができる。また、所定の条件が満たされていることを条件として、ジェスチャ操作機能に基づく操作を可能とすることで、運転中における各種機能に対する乗員による操作を安全且つ簡易な手法で実現することができる。
【００９６】
＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態は、自動運転制御装置１００が、ステアリングホイール３０３上に取り付けられたタッチパッドアセンブリ３６を介して入力された乗員の手動による操作入力に基づいて、所定の機能の制御を行う点が第１実施形態と異なる。このため、構成などについては第１実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。
【００９７】
［全体構成］
図１１は、第２実施形態に係る車両制御装置１００を利用した車両システム２の構成図である。ＨＭＩ３０は、例えば、表示装置３２およびスイッチアセンブリ３４に加えて、タッチパッドアセンブリ３６を備える。タッチパッドアセンブリ３６は、静電容量方式、抵抗膜方式などの機能により、接触位置を検出する。タッチパッドアセンブリ３６は、第２入力手段の一例である。
【００９８】
タッチパッドアセンブリ３６は、例えば、第１タッチパッド３６Ａと、第２タッチパッド３６Ｂとを備える。図１２は、第１タッチパッド３６Ａおよび第２タッチパッド３６Ｂが取り付けられたステアリングホイール３０３の一例を示す図である。図１２に示すように、第１タッチパッド３６Ａおよび第２タッチパッド３６Ｂは、ステアリングホイール３０３の表側（運転席３０１と対向する側）に取り付けられる。例えば、第１タッチパッド３６Ａおよび第２タッチパッド３６Ｂの各々が、ステアリングホイール３０３の表側の左右２か所に取り付けられる。例えば、乗員は、ステアリングホイール３０３を把持した状態で、第１タッチパッド３６Ａと、第２タッチパッド３６Ｂとの各々を、左手の親指と、右手の親指とで操作することができる。例えば、左側の第１タッチパッド３６Ａは、マウスの左クリック機能を有し、右側の第２タッチパッド３６Ｂは、マウスの右クリック機能およびマウスカーソル機能を有してよい。なお、左側の第１タッチパッド３６Ａの機能と、右側の第２タッチパッド３６Ｂの機能とは、互いに変更可能である。
【００９９】
なお、図１２においては、２個のタッチパッド（第１タッチパッド３６Ａ、第２タッチパッド３６Ｂ）がステアリングホイール３０３の表側の左右２か所に設けられる例を説明したが、タッチパッドの個数および取り付け位置は任意である。
【０１００】
［処理フロー］
以下、第２実施形態の自動運転制御装置１００による一連の処理の流れを、フローチャートを用いて説明する。図１３は、第２実施形態に係る自動運転制御装置１００による一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、自車両Ｍが、手動運転モード或いは運転支援モードにある場合において、所定の周期で繰り返し実行されてよい。なお、以下においては、表示装置３２に音楽再生機能に関する画面が表示されており、乗員が再生を希望する曲を選択する場合を例に挙げて説明する。
【０１０１】
まず、第３制御部１７０の取得部１７２は、ステアリングホイール３０３の裏側に取り付けられたスイッチアセンブリ３４に対する乗員による操作情報を取得する（ステップＳ２０１）。次に、判定部１７４は、自車両Ｍが手動運転モードにあるか否かを判定する（ステップＳ２０３）。
【０１０２】
次に、判定部１７４は、自車両Ｍが手動運転モードにあると判定した場合、取得部１７２により取得されたスイッチアセンブリ３４に対する乗員による操作情報に基づいて、第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方が同時に操作されたか否かを判定する（ステップＳ２０５）。判定部１７４により第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方が同時に操作されていないと判定された場合（ジェスチャ操作機能をオンにする条件が満たされていないと判定された場合）、取得部１７２は引き続き操作情報を取得し、判定部１７４は上記の判定処理を継続する。
【０１０３】
一方、判定部１７４は、自車両Ｍが手動運転モードにないと判定した場合（運転支援モードにあると判定した場合）、取得部１７２により取得されたスイッチアセンブリ３４に対する乗員による操作情報に基づいて、第１スイッチ３４Ａおよび第２スイッチ３４Ｂの少なくとも一方が操作されたか否かを判定する（ステップＳ２０７）。判定部１７４により第１スイッチ３４Ａおよび第２スイッチ３４Ｂの少なくとも一方が操作されていないと判定された場合（ジェスチャ操作機能をオンにする条件が満たされていないと判定された場合）、取得部１７２は引き続き操作情報を取得し、判定部１７４は上記の判定処理を継続する。
【０１０４】
一方、判定部１７４により、自車両Ｍが手動運転モードであり且つ第１スイッチ３４Ａおよび第２スイッチ３４Ｂの双方が同時に操作されたと判定された場合、或いは、自車両Ｍが手動運転モードではなく且つ第１スイッチ３４Ａおよび第２スイッチ３４Ｂの少なくとも一方が操作されたと判定された場合、取得部１７２は、タッチパッドアセンブリ３６から乗員の操作に基づく操作情報を取得する（ステップＳ２０９）。
【０１０５】
次に、検出部１７６は、取得部１７２により取得された操作情報に基づいて、乗員による指示内容を検出する（ステップＳ２１１）。図１４は、タッチパッドアセンブリ３６に対する乗員の操作の様子の一例を示す図である。図１４は、乗員がステアリングホイール３０３を把持した状態において、第２タッチパッド３６Ｂ上で、右親指を左右にスライドさせた様子を示している。この操作では、乗員が右親指を左右にスライドさせたこと、すなわち、乗員が表示装置３２に表示された曲を選択せずに（「ＮＯ」の指示）、他の候補の表示することを指示したことを示している。
【０１０６】
一方、図１５は、タッチパッドアセンブリ３６に対する乗員の操作の様子の他の例を示す図である。図１５は、乗員がステアリングホイール３０３を把持した状態において、左親指で第１タッチパッド３６Ａをタップした様子を示している。この操作では、乗員が左親指でタップを行ったこと、すなわち、乗員が表示装置３２に表示された曲を選択することを指示したこと（「ＹＥＳ」の指示）を示している。
【０１０７】
次に、機能制御部１７８は、検出部１７６により検出された指示内容に基づいて、所定の機能を制御する（ステップＳ２１３）。例えば、検出部１７６により、図１５に示されるような乗員が左親指でタップを行ったこと（表示装置３２に表示された曲を選択すること（「ＹＥＳ」の指示））が検出された場合、機能制御部１７８は、音楽再生機能を制御して表示装置３２に表示中の曲を再生させる。以上により、本フローチャートの処理が終了する。なお、上記のフローの途中で、再度、スイッチアセンブリ３４のいずれか一方のスイッチ、或いは双方のスイッチを同時に押下することで、タッチパッド操作機能がキャンセルされるようにしてもよい。
【０１０８】
以上説明した実施形態によれば、各種機能に対する操作を安全且つ簡易な手法で実現することができる。判定部１７４により、ステアリングホイール３０３の裏側に取り付けられたスイッチアセンブリ３４に対する乗員による操作情報に基づいて、ジェスチャ操作機能をオンにする条件が満たされているか否かを判定することで、乗員はステアリングホイール３０３から手を離すことなく、所定の機能に対するタッチパッド操作機能の利用開始の指示を入力することができる。また、所定の条件が満たされていることを条件として、タッチパッド操作機能に基づく操作を可能とすることで、運転中における各種機能に対する乗員による操作を安全且つ簡易な手法で実現することができる。
【０１０９】
尚、上記の実施形態では、検出部１７６が、車内カメラ８０により撮像された画像情報、または、タッチパッドアセンブリ３６に対する操作情報に基づいて、所定の機能に対する乗員の指示を検出する場合を例に挙げて説明したがこれに限られない。例えば、検出部１７６は、自車両Ｍの車室内に設けられたマイクなどにより収集された乗員の音声入力に基づいて、所定の機能に対する指示を検出してもよい。マイクは、第２入力手段の一例である。
【０１１０】
［ハードウェア構成］
図１６は、実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。図１６に示すように、自動運転制御装置１００は、通信コントローラ１００−１、ＣＰＵ１００−２（コンピュータ）、ワーキングメモリとして使用されるＲＡＭ１００−３、ブートプログラムなどを格納するＲＯＭ１００−４、フラッシュメモリやＨＤＤなどの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、自動運転制御装置１００以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、第１制御部１２０、第２制御部１６０、および第３制御部１７０のうち一部または全部が実現される。
【０１１１】
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
複数の第１入力手段に対する入力があるか否かを判定し、
複数の前記第１入力手段の内、所定数の前記第１入力手段に対する入力があると判定された場合、前記第１入力手段とは異なる第２入力手段の入力機能を有効化する、
制御装置。
【０１１２】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【０１１３】
１，２…車両システム、１０…カメラ、１２…レーダ装置、１４…ファインダ、１６…物体認識装置、２０…通信装置、３０…ＨＭＩ、３２…表示装置、３４…スイッチアセンブリ、３４Ａ…第１スイッチ、３４Ｂ…第２スイッチ、３６…タッチパッドアセンブリ、３６Ａ…第１タッチパッド、３６Ｂ…第２タッチパッド、４０…車両センサ、５０…ナビゲーション装置、６０…ＭＰＵ、７０…運転操作子、８０…車内カメラ、１００…自動運転制御装置、１２０…第１制御部、１３０…認識部、１４０…行動計画生成部、１４２…イベント決定部、１４４…目標軌道生成部、１６０…第２制御部、１６２…取得部、１６４…速度制御部、１６６…操舵制御部、１７０…第３制御部、１７２…取得部、１７４…判定部、１７６…検出部、１７８…機能制御部、１９０…記憶部、２００…走行駆動力出力装置、２１０…ブレーキ装置、２２０…ステアリング装置、３０１…運転席、３０３…ステアリングホイール
【図１】
2020192877.tif 000003
【図２】
2020192877.tif 000004
【図３】
2020192877.tif 000005
【図４】
2020192877.tif 000006
【図５】
2020192877.tif 000007
【図６】
2020192877.tif 000008
【図７】
2020192877.tif 000009
【図８】
2020192877.tif 000010
【図９】
2020192877.tif 000011
【図１０】
2020192877.tif 000012
【図１１】
2020192877.tif 000013
【図１２】
2020192877.tif 000014
【図１３】
2020192877.tif 000015
【図１４】
2020192877.tif 000016
【図１５】
2020192877.tif 000017
【図１６】
2020192877.tif 000018