(57)【要約】乗員の動作に関する動作情報を取得する第１情報取得部（１１）と、前記乗員の動作にともなう、所定の車載機器（２）に対する入力操作に関する操作情報を取得する第２情報取得部（１２）と、前記動作情報と前記操作情報とを関連付けて記憶する記憶部（１３）と、乗員の動作を検出する動作検出部（１４）と、前記動作検出部により検出された乗員の動作に関する動作情報が、前記記憶部に記憶されている場合には、前記動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する制御部（１５）と、を備える。
2019224905.tif 000002
【特許請求の範囲】
【請求項１】
乗員の動作に関する動作情報を取得する第１情報取得部と、
前記乗員の動作にともなう、所定の車載機器に対する入力操作に関する操作情報を取得する第２情報取得部と、
前記動作情報と前記操作情報とを関連付けて記憶する記憶部と、
乗員の動作を検出する動作検出部と、
前記動作検出部により検出された乗員の動作に関する動作情報が、前記記憶部に記憶されている場合には、前記動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する制御部と、を備える車載機器の制御装置。
【請求項２】
前記動作情報は、時系列で記録される、少なくとも乗員の手、脚、頭又は視線の動きに関する情報である請求項１に記載の車載機器の制御装置。
【請求項３】
前記所定の車載機器は、少なくとも照明機器、オーディオ再生機器又は空調機器を含み、
前記入力操作は、少なくとも前記車載機器に対する電源オン操作を含む請求項１又は２に記載の車載機器の制御装置。
【請求項４】
前記乗員の動作は、少なくとも、前記乗員が前記入力操作をする前の動作、前記乗員が前記入力操作をした後の動作、又は前記乗員が前記入力操作をした前後の動作を含む請求項１〜３のいずれか一項に記載の車載機器の御装置。
【請求項５】
前記乗員に対して、前記車載機器への操作指示を行うか否を通知する通知部をさらに備え、
前記制御部から出力される前記指示情報は、前記通知部への通知である請求項１〜4のいずれか一項に記載の車載機器の制御装置。
【請求項６】
前記制御部は、前記車載機器に対して前記指示情報を出力する請求項１〜4のいずれか一項に記載の車載機器の制御装置。
【請求項７】
前記車載機器と、前記車載機器に対する入力操作と、前記乗員の動作とに基づいて所定の学習アルゴリズムを実行し、前記乗員の動作に対する前記車載機器の入力操作の学習モデルを生成する操作学習部をさらに備える請求項１〜６のいずれか一項に記載の車載機器の制御装置。
【請求項８】
前記制御部が、前記車載機器に対して前記指示情報を出力してから所定期間内に、前記乗員から前記指示情報の内容を停止する指示を受け付けた場合には、前記学習モデルへの登録をしない、又は前記学習モデルの修正を実行する請求項７に記載の車載機器の制御装置。
【請求項９】
前記制御部は、前記学習モデルの追加又は変更の可否を乗員へ問い合わせる請求項７に記載の車載機器の制御装置。
【請求項１０】
コントローラを用いて所定の車載機器に対する入力操作を制御する車載機器の制御方法において、
前記コントローラは、
乗員の動作に関する動作情報を取得し、
前記乗員の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得し、
前記動作情報と前記操作情報とを関連付けて記憶し、
前記乗員が、記憶された動作情報に関する動作を行ったことが検出された場合には、当該動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する車載機器の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載機器の制御装置及び制御方法に関するものである。
【背景技術】
【０００２】
乗員の生体認証を実行することで車両機能の使用を許可する車両機能制御装置において、複数人が乗車した場合には、各乗員の生体認証により乗員の組み合わせを把握し、当該組み合わせに係る過去の車両機能の設定情報（シート位置、空調温度、ミラー角度、音量、モード（ＤＶＤモード又はＣＤモード）など）を検索し、抽出された設定情報に基づいて車両機能を設定するものが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１３１０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車載機器の操作は、複数の乗員の組み合わせだけで設定される訳ではなく、各種シーンに応じた乗員の動作や思考に起因することが少なくない。たとえば、後部座席に乗員Ａが乗車している場合に、乗員Ａが本を読もうとしたときは、後部座席用照明を点灯させたり、乗員Ａ足を組もうとしたときは、前席のシート位置を前方に移動させたりする。上記従来の車両機能制御装置では、こうした乗員の動作に対応した車載機器の設定を自動化できないという問題がある。【０００５】
本発明が解決しようとする課題は、乗員の動作に基づいて車載機器の操作を制御できる車載機器の制御装置及び制御方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、乗員の動作に関する動作情報を取得し、前記乗員の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得し、前記動作情報と前記操作情報とを関連付けて記憶し、前記乗員が、記憶された動作情報に関する動作を行ったことが検出された場合には、当該動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力することによって上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、予め記憶された乗員の動作情報と操作情報とを参照して、検出された乗員の動作に基づく車載機器への指示情報を出力するので、各種シーンに適した車載機器の操作を制御することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る車載機器の制御装置の一実施の形態を示すブロック図である。
【図２】図１の車載機器の制御装置の制御部にて実行される処理の一例を示すフローチャートである。
【図３】（Ａ）は、カメラなどの非接触センサにより取得された乗員の画像データの一例を示し、（Ｂ）は、図３（Ａ）の画像データから抽出された乗員の姿勢情報の一例を示す図である。
【図４】図１の車載機器の制御装置１の操作学習部１７において学習モデルを生成する場合の一例を示すデータシートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明に係る車載機器の制御装置の一実施の形態を示すブロック図であり、本発明に係る車載機器の制御方法の一実施の形態を使用した車載機器の制御装置でもある。本実施形態の車載機器の制御装置及び制御方法は、特に限定されないが、たとえば、後部座席の乗員が本を読もうとしたときは、その動作を検出して後部座席用照明を点灯させたり、後部座席の乗員が足を組もうとしたときは、その動作を検出して前席のシート位置を前方に移動させたり、乗員が上着を脱いだり又は窓を開けようとしたら、その動作を検出して空調機器をＯＮしたり、乗員が携帯用音楽再生装置を取り出したら、その動作を検出してその携帯用音楽再生装置の楽曲データを読み込み、車載オーディオ再生機器から音楽を流したり、乗員が本を読んでいるときやコーヒーなどを飲んでいるときは、その動作を検出して車両の走行速度を抑制制御したりする。
【００１０】
そのため、本実施形態の車載機器の制御装置１は、乗員の動作に関する動作情報を取得する第１情報取得部１１と、乗員の動作にともなう、所定の車載機器２に対する入力操作に関する操作情報を取得する第２情報取得部１２と、動作情報と操作情報とを関連付けて記憶する記憶部１３と、乗員の動作を検出する動作検出部１４と、制御部１５と、乗員に対して、車載機器への操作指示を行うか否を通知する通知部１６と、操作学習部１７と、を備える。なお、第１情報取得部１１、第２情報取得部１２、記憶部１３及び制御部１５は、特定の車両に車載されていてもよいし、インターネットなどのネットワークを介してサーバに構築されていてもよい。また、第１情報取得部１１、第２情報取得部１２、記憶部１３及び制御部１５が特定の車両に車載されている場合に、記憶部１３に蓄積されたデータを、ネットワークを介してサーバに送信し、他の車両により取得されたデータと共用し、これらから学習モデルを生成してもよい。また、第１情報取得部１１、第２情報取得部１２、記憶部１３及び制御部１５がサーバに構築されている場合に、複数の車両からのデータを読み込み、これらを後述する操作学習部１７にて学習してもよい。
【００１１】
本実施形態の車載機器の制御装置１の制御対象となる車載機器２としては、特に限定はされないが、少なくとも、室内灯などの照明機器、オーディオ再生機器又は空調機器を含み、これ以外にも、シート位置調整装置、ウィンドガラス開閉装置、バックミラー又はルームミラーの角度調整装置、ナビゲーション装置、自動運転制御装置（速度制御装置又は操舵制御装置を含む）などを制御してもよい。これらの車載機器２に対する制御内容は、その入力操作として、少なくとも車載機器２に対する電源オン操作又は電源オフ操作を含み、これ以外にも、照明機器であれば照度調整又は角度調整、オーディオ再生機器であれば音量調整、選曲調整、チャンネル選択又は他の機器からのデータの読み込み、空調装置であれば温度調節、内外気取入口の選択、エアコンＯＮ／ＯＦＦ又は吹出モードの選択、シート位置調整装置であれば特定のシートの前後方向位置調整又はシートバックの角度調整、ウィンドガラス開閉装置であればウィンドガラスの開閉、ミラーの角度調整装置であれば角度調整、曇り止めヒータのＯＮ／ＯＦＦ又は防眩ミラーのＯＮ／ＯＦＦ、ナビゲーション装置であれば設定された走行ルートの変更、自動運転制御装置であれば速度選択などを含んでもよい。
【００１２】
動作検出部１４は、車室内を撮像するカメラ又は距離センサその他の非接触センサと、当該センサにより検出された検出信号を解析するプログラムがインストールされた電子回路とから構成され、乗員の動作を検出する。たとえば、動作検出部１４としてカメラを用いる場合には、車両の前席の乗員を撮像するカメラをルームミラーの近傍に配置し、後席の乗員を撮像するカメラを天井又は前席のシートバックなどに配置し、これらのカメラで撮像した画像データを画像処理して、乗員の動作を検出する。図３（Ａ）は、カメラなどの非接触センサにより取得された乗員の画像データの一例を示し、図３（Ｂ）は、図３（Ａ）の画像データから抽出された乗員の姿勢情報の一例を示す図である。カメラなどの非接触センサにより、ある時刻における乗員の画像を取得し（図３（Ａ））、画像処理を施して、図３（Ｂ）に示すように、乗員の器官部位（例えば，手，肘，膝，足，腰，胸，顔（目を含む）など）の位置や方向を抽出し、その時刻における乗員の姿勢を特定する。また、記憶部１３に乗員の顔データと個人を特定する乗員ＩＤとを関連付けて記憶しておき、カメラより取得した乗員の画像データから抽出された顔画像を基に、記憶部１３に記憶された顔データを参照することによって、顔画像に含まれる乗員を特定し、特定された乗員ＩＤを記憶部１３に記憶する。
【００１３】
動作検出部１４により検出される乗員の動作は、図３（Ｂ）のように特定された乗員の姿勢の時間的な連続情報である。すなわち、カメラなどの非接触センサにより時系列で記録された画像データから、少なくとも乗員の手、脚、頭又は視線を含む、乗員の器官部位（例えば，手，肘，膝，足，腰，胸，顔（目を含む）など）の位置や方向を抽出し、時間的に連続する乗員の姿勢情報の変化から乗員の動作を検出する。たとえば、乗員の脚が揃った状態から、一方の脚が他方の脚に重なる姿勢に変化した場合には、その乗員は脚を組む動作を行ったと検出する。また、乗員の手、肘又は顔の位置及び方向がカバンから本を取り出して当該本を読む姿勢情報に変化した場合などには、その乗員は本を読む動作を行ったと検出する。
【００１４】
そして、このようにして動作検出部１４により検出される乗員の動作は、少なくとも、車載機器２に対して乗員が入力操作をする前の動作、車載機器２に対して乗員が入力操作をした後の動作、又は車載機器２に対して乗員が入力操作をした前後の動作の少なくとも何れかを含む。たとえば、助手席の後部座席の乗員が脚を組もうとする場合には、助手席のシート位置調整装置を操作して助手席を前方に移動させたのち脚を組んだり、脚を組んでから助手席のシート位置調整装置を操作して助手席を前方に移動させたり、又は脚を組みながら助手席のシート位置調整装置を操作して助手席を前方に移動させたりする。また、乗員がカバンから本を取り出して読もうとする場合も、照明装置をＯＮしてからカバンから本を取り出して開いたり、カバンから本を取り出して開いたのちに照明装置をＯＮしたり、カバンから本を取り出してから照明装置をＯＮし、本を開いたりする。したがって、動作検出部１４による乗員の動作は、シート位置調節装置や照明装置などの車載機器２に対して乗員が入力操作をする前の動作、車載機器２に対して乗員が入力操作をした後の動作、又は車載機器２に対して乗員が入力操作をした前後の動作の少なくとも何れかを含むことが望ましい。
【００１５】
第１情報取得部１１は、上述した動作検出部１４により検出された乗員の動作に関する動作情報を取得し、制御部１５へ出力する。また、第２情報取得部１２は、上述した動作検出部１４により検出された乗員の動作にともなう、所定の車載機器２に対する入力操作に関する操作情報を車載機器２から取得し、制御部１５へ出力する。これら第１情報取得部１１による動作情報と、第２情報取得部１２による操作情報は、制御部１５にて関連付けて認識される。たとえば、乗員が脚を組んで助手席シートの位置を前方に移動させた場合には、乗員の動作情報として脚を組むという情報が第１情報取得部１１から制御部１５へ出力されるとともに、操作情報として助手席シート位置の前方への移動の情報が第２情報取得部１２から制御部１５へ出力される。同様に、乗員がカバンから本を取り出し、照明装置をＯＮして読もうとする場合には、乗員の動作情報としてカバンから本を取り出して読むという情報が第１情報取得部１１から制御部１５へ出力されるとともに、操作情報として照明装置をＯＮする情報が第２情報取得部１２から制御部１５へ出力される。
【００１６】
制御部１５は、第１情報取得部１１による動作情報と、第２情報取得部１２による操作情報とを関連付け、これを記憶部１３に記憶する。ただし、後述する通知部１６によりユーザが記憶部１３への登録を許可しない場合は記憶しないようにしてもよい。記憶部１８は、車載機器２ごとに、第１情報取得部１１による動作情報と、第２情報取得部１２による操作情報とを関連付けて記憶する。
【００１７】
操作学習部１７は、車載機器２と、車載機器２に対する入力操作と、乗員の動作とに基づいて所定の学習アルゴリズムを実行し、乗員の動作に対する車載機器２の入力操作の学習モデルを生成する。すなわち、制御部１５により記憶部１３に蓄積される、車載機器２ごとに関連付けられた第１情報取得部１１による動作情報と第２情報取得部１２による操作情報とを入力値（特徴量）とし、所定の学習アルゴリズムを適用して、乗員の動作に対する車載機器２の入力操作の学習モデルを生成する。上述したように、複数の車両に関して、車載機器２、車載機器２に対する入力操作及び乗員の動作のデータが収集される場合には、これらのビッグデータを用いた乗員の動作に対する車載機器２の入力操作の学習モデルが得られることになる。なお、操作学習部１７は、記憶部１３の一部として構成してもよいし、別のコンポーネントとして構成してもよい。
【００１８】
操作学習部１７を含む記憶部１３に、乗員の動作に対する車載機器２の入力操作の学習モデルが生成及び記憶されている状態において、制御部１５は、動作検出部１４により検出された乗員の動作に関する動作情報が、記憶部１３に記憶されている場合には、動作情報に関連付けて記憶された操作情報を参照し、車載機器２への操作指示に関する指示情報を出力する。ここで、動作検出部１４により検出された乗員の動作に関する動作情報が、記憶部１３に記憶されている場合とは、動作検出部１４により検出された動作情報と記憶部１３に記憶された動作情報とが同一の場合のみならず、所定の閾値以内で類似する場合も含まれる。脚を組む動作や本を読む動作その他の乗員の動作は、多少なりとも個人差があるため、こうした個人差による動作情報の誤差を吸収して、同じ動作として認識するために所定の閾値以内の類似範囲を設定することが望ましい。
【００１９】
通知部１６は、ディスプレイやスピーカなどの装置を有し、車載機器の制御装置１とユーザとの間の連絡手段及び指令手段として機能する。すなわち、通知部１６は、制御部１５により、車載機器２ごとに関連付けられた第１情報取得部１１による動作情報と第２情報取得部１２による操作情報とを記憶部１３に記憶する際に、これらの情報を記憶部１３に記憶してもよいか否かをユーザに通知する。そして、通知部１６は、当該通知に対するユーザの回答が不可である場合は、その旨を制御部１５に出力し、制御部１５は、ユーザの回答にしたがって記憶部１３への記憶をしない。
【００２０】
また通知部１６は、制御部１５により、動作情報に関連付けて記憶された操作情報を参照し、車載機器２への操作指示に関する指示情報を出力する際に、車載機器２への操作指示を行うか否を通知する。そして、通知部１６は、当該通知に対するユーザの回答が不可である場合は、その旨を制御部１５に出力し、制御部１５は、ユーザの回答にしたがって車載機器２への操作指令を実行しない。なお、通知部１６は、必要に応じて省略してもよい。
【００２１】
ちなみに、操作学習部１７において、車載機器２ごとに関連付けられた第１情報取得部１１による動作情報と第２情報取得部１２による操作情報とを入力値（特徴量）とし、所定の学習アルゴリズムを適用して、乗員の動作に対する車載機器２の入力操作の学習モデルを生成するにあたり、入力値として車両情報を加えてもよい。この種の車両情報としては、たとえば、乗員ＩＤ、乗員人数、乗員の着座位置、現在日時、天気、気温、車速、乗車後の経過時間などが挙げられる。乗員ＩＤは、動作検出部１４として用いられるカメラによる顔認識により検出し、乗員人数や乗員の着座位置は、同じく動作検出部１４として用いられるカメラによる画像処理により検出し、現在日時や乗車後の経過時間は車載時計により検出し、天気はネットワークを介して天気情報提供サーバから取得し、気温や車速は車載センサから検出することができる。乗員の動作に車両情報を加えることで、同じ乗員の動作であっても車両情報の相違による操作情報の違いをも学習できるので、より細かい車載機器の制御が実現できる。
【００２２】
図４は、操作学習部１７において学習モデルを生成する場合の一例を示すデータシートである。学習モデル番号は、車両情報、操作機器情報及び動作ごとに検出した情報を互いに関連付けた１単位のデータであり、たとえば学習モデル番号１のデータは、乗員Ａ（顔認識された乗員）、乗員数が２名、着座位置が後部シート＃２（助手席の後）、日時が１２月８日ＡＭ８：００、平均車速が４０ｋｍ／ｈ、気温が５℃、天気は曇りという車両情報の下で、照明装置＃２がＯＮ操作され、そのときの入力操作前（入力から所定時間前〜入力の間）の乗員Ａの視線の動き、手の動き、頭の動きと、入力操作後（入力〜入力から所定時間後の間）の乗員Ａの視線の動き、手の動き、頭の動きと、を取得したデータである。入力操作前の乗員Ａの視線の動き、手の動き、頭の動きから、乗員Ａがカバンから本を取り出す動作が検出され、入力操作後の乗員Ａの視線の動き、手の動き、頭の動きから、乗員Ａが本を開いて読み始める動作が検出されたものとする。
【００２３】
同様に、図４の学習モデル番号２のデータは、乗員Ａ（顔認識された乗員）、乗員数が２名、着座位置が後部シート＃３（運転席の後）、日時が８月９日ＰＭ１２：００、平均車速が４０ｋｍ／ｈ、気温が３０℃、天気は晴れという車両情報の下で、後部座席用空調装置＃２がＯＮ操作され、そのときの入力操作前（入力から所定時間前〜入力の間）の乗員Ａの視線の動き、手の動き、頭の動きと、入力操作後（入力〜入力から所定時間後の間）の乗員Ａの視線の動き、手の動き、頭の動きとを取得したデータである。入力操作前の乗員Ａの視線の動き、手の動き、頭の動きから、乗員Ａが上着を脱ぐ動作が検出され、入力操作後の乗員Ａの視線の動き、手の動き、頭の動きから、乗員Ａが手で顔を扇ぐ動作が検出されたものとする。
【００２４】
次に図２を参照して、本実施形態の車載機器の制御装置１の動作を説明する。図２は、図１の車載機器の制御装置１の制御部１５にて実行される処理の一例を示すフローチャートである。ステップＳ１では、動作検出部１４である非接触センサからのセンサ情報（カメラによる画像情報など）を取得し、ステップＳ２において時系列画像データから乗員の動作を検出する。一方、ステップＳ３では各種センサ類から車両情報を取得する。
【００２５】
ステップＳ４では、ステップＳ２にて検出された乗員の動作及びステップＳ３にて検出された車両情報に基づいて、記憶部１３の操作学習部１７にて生成された学習モデルを参照し、ステップＳ５において同一又は類似のシーンデータが存在するか否かを判定する。たとえば、ステップＳ２において乗員がカバンから本を取り出す動作が検出され、その際の車両情報が、図４の学習モデル番号１のように乗員Ａ（顔認識された乗員）、乗員数が２名、着座位置が後部シート＃２（助手席の後）、日時が１２月８日ＡＭ８：００、平均車速が４０ｋｍ／ｈ、気温が５℃、天気は曇りという車両情報と同一又は類似のデータが記憶されている場合には、ステップＳ１１へ進み、記憶されていない場合はステップＳ６へ進む。ここで、車両情報の類似範囲としては、乗員ＩＤ、乗員人数、乗員の着座位置、現在日時、天気、気温、車速、乗車後の経過時間のうちの、いずれかが同一であるとしてもよい。
【００２６】
ステップＳ５において、ステップＳ２にて検出された乗員の動作及びステップＳ３にて検出された車両情報と同一又は類似のシーンデータが、記憶部１３の操作学習部１７に記憶されていないと判断された場合は、ステップＳ６にて、車載機器２に対する乗員の手動操作を、第２情報取得部１２を介して制御部１５へ入力する。そして、ステップＳ７にて車載機器２に対する操作が発生したか否かを判定し、操作が発生した場合はステップＳ８へ進み、その車載機器２に対する操作内容を通知部１６へ通知する。この通知部１６への通知内容としては、たとえば「只今、空調装置のＯＮ操作がされましたが、これを登録してもよろしいですか？」である。そして、この通知とともに、通知部１６に「Ｙｅｓ」と「Ｎｏ」のボタンを表示してユーザの回答を促す。ステップＳ９では、ステップＳ８の通知に対するユーザの回答が承認を意味する場合、たとえば「Ｙｅｓ」である場合には、ステップＳ１０へ進み、ステップＳ２にて検出された乗員の動作及びステップＳ３にて検出された車両情報と、ステップＳ６にて検出された車載機器２及びその操作内容を記憶部１３に記憶させる。
【００２７】
なお、ステップＳ７において車載機器２に対する手動操作が何も発生していない場合は、ステップＳ２で検出された乗員の動作は車載機器２に対する操作とは無関係の動作であるとして、ステップＳ１６へ進む。同様に、ステップＳ７において車載機器２に対する手動操作は発生したものの、ステップＳ９にてユーザが承認しない（たとえば「Ｎｏ」）である場合は、ステップＳ２で検出された乗員の動作は、ステップＳ６で検出された車載機器２に対する手動操作とは無関係の動作であるとして、ステップＳ１６へ進む。
【００２８】
ステップＳ５へ戻り、ステップＳ２にて検出された乗員の動作及びステップＳ３にて検出された車両情報と同一又は類似のシーンデータが、記憶部１３の操作学習部１７に記憶されていると判断された場合は、ステップＳ１１へ進み、記憶部１３の操作学習部１７に記憶された対象となる車載機器２とその操作内容を参照し、ステップＳ１２にて、その操作内容を通知部１６へ通知する。この通知部１６への通知内容としては、たとえば「空調装置をＯＮしますが、よろしいですか？」である。そして、この通知とともに、通知部１６に「Ｙｅｓ」と「Ｎｏ」のボタンを表示してユーザの回答を促す。ステップＳ１３では、ステップＳ１２の通知に対するユーザの回答が承認を意味する場合、たとえば「Ｙｅｓ」である場合には、ステップＳ１４へ進み、その操作（上記の例では空調装置のＯＮ操作）を実行する。これに対して、ステップＳ１３においてユーザが承認しない（たとえば「Ｎｏ」）である場合は、ステップＳ１１で抽出された車載機器２に対する操作内容は、ユーザが意図したものではないとして、ステップＳ１５へ進み、記憶部１３の操作学習部１７に記憶された乗員の動作及び車両情報と車載機器２及びその操作内容を削除する。
【００２９】
ステップＳ１６では、車両電源がＯＦＦか否かを判定し、ＯＮが継続している場合はステップＳ１へ戻り、ＯＦＦの場合は処理を終了する。
【００３０】
なお、上述したとおり、ステップＳ３において取得する車両情報は必ずしも必須の構成ではないことから、このステップＳ３を省略し、続くステップＳ４〜Ｓ１６までの処理においても車両情報を除く情報に基づいて上述した処理を実行してもよい。また、上述したとおり、通知部１６は必要に応じて省略することができ、通知部１６を省略した場合には、ステップＳ１２及びＳ１３を省略することで、ステップＳ１１にて抽出された操作内容をステップＳ１４にて直接実行してもよい。同様に、通知部１６を省略した場合には、ステップＳ８及びＳ９を省略することで、ステップＳ６にて検出された手動操作内容をステップＳ１０にて直接追加してもよい。
【００３１】
以上のとおり、本実施形態の車載機器の制御装置１及び制御方法によれば、予め記憶された乗員の動作情報と操作情報とを参照して、検出された乗員の動作に基づく車載機器２への指示情報を出力するので、各種シーンに適した車載機器２の操作を制御することができる。特にこうした操作制御は、乗員ＩＤや複数の乗員の組み合わせで一義的に決まるのではなく、乗員ＩＤなどに拘わらず乗員の動作や思考に起因するので、各種シーンにより一層適した操作制御となる。
【００３２】
また本実施形態の車載機器の制御装置１及び制御方法によれば、動作情報は、時系列で記録される、少なくとも乗員の手、脚、頭又は視線の動きに関する情報であり、これらの各要素は車載機器２の操作に特に強く関係するため、動作情報と操作情報との関連性がより一層強くなる。
【００３３】
また本実施形態の車載機器の制御装置１及び制御方法によれば、車載機器２として、少なくとも照明機器、オーディオ再生機器又は空調機器を含み、車載機器２への入力操作は、少なくとも車載機器２に対する電源オン操作を含み、これらの車載機器２及びその電源ＯＮ操作は、乗員の動作に特に強く関係するため、動作情報と操作情報との関連性がより一層強くなる。
【００３４】
また本実施形態の車載機器の制御装置１及び制御方法によれば、乗員の動作は、少なくとも、乗員が入力操作をする前の動作、乗員が入力操作をした後の動作、又は乗員が入力操作をした前後の動作を含むので、車載機器２に対する操作の前後のいずれの期間において、乗員の動作が行われても対応することができる。
【００３５】
また本実施形態の車載機器の制御装置１及び制御方法によれば、車載機器２への操作指示を行うか否を通知する通知部１６をさらに備え、制御部１５から出力される指示情報は通知部１７へ通知されるので、誤動作を回避することができる。
【００３６】
また本実施形態の車載機器の制御装置１及び制御方法によれば、制御部１５は車載機器２に対して指示情報を出力するので、通知部１６による回答といった煩雑な手続きを経ることなく、車載機器２に対する操作を自動化することができる。
【００３７】
また本実施形態の車載機器の制御装置１及び制御方法によれば、車載機器２に対する入力操作と乗員の動作とに基づいて所定の学習アルゴリズムを実行し、乗員の動作に対する車載機器２の入力操作の学習モデルを生成する操作学習部１７を備えるので、既定の学習モデルに加えて実際の利用状況に適した個人的な学習モデルを生成することができる。
【００３８】
また本実施形態の車載機器の制御装置１及び制御方法によれば、制御部１５が、車載機器２に対して指示情報を出力してから所定期間内に、乗員から指示情報の内容を停止する指示を受け付けた場合には、学習モデルへの登録をしない又は学習モデルの修正を実行するので、適当でない操作の提案に対して学習モデルへの登録が回避又は修正され、この結果、再び適当でない操作の提案をすることが抑制される。
【００３９】
また本実施形態の車載機器の制御装置１及び制御方法によれば、制御部１５は学習モデルの追加又は変更の可否を乗員へ問い合わせるので、適切でない学習モデルの追加または変更を抑制することができる。
【符号の説明】
【００４０】
１…車載機器の制御装置
１１…第１情報取得部
１２…第２情報取得部
１３…記憶部
１４…動作検出部
１５…制御部
１６…通知部
１７…操作学習部
２…車載機器
【図１】
2019224905.tif 000003
【図２】
2019224905.tif 000004
【図３】
2019224905.tif 000005
【図４】
2019224905.tif 000006
【手続補正書】
【提出日】平成30年12月20日(2018.12.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
乗員が車載機器に対して入力操作をする場合に、その入力操作の前後の動作に関する動作情報を取得する第１情報取得部と、
前記乗員の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得する第２情報取得部と、
前記動作情報と前記操作情報とを関連付けて記憶する記憶部と、
乗員の動作を検出する動作検出部と、
前記動作検出部により検出された乗員の動作に関する動作情報が、前記記憶部に記憶されている場合には、前記動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する制御部と、を備える車載機器の制御装置。
【請求項２】
前記動作情報は、時系列で記録される、少なくとも乗員の手、脚、頭又は視線の動きに関する情報である請求項１に記載の車載機器の制御装置。
【請求項３】
前記所定の車載機器は、少なくとも照明機器、オーディオ再生機器又は空調機器を含み、
前記入力操作は、少なくとも前記車載機器に対する電源オン操作を含む請求項１又は２に記載の車載機器の制御装置。
【請求項４】
（削除）
【請求項５】
前記乗員に対して、前記車載機器への操作指示を行うか否を通知する通知部をさらに備え、
前記制御部から出力される前記指示情報は、前記通知部への通知である請求項１〜３のいずれか一項に記載の車載機器の制御装置。
【請求項６】
前記制御部は、前記車載機器に対して前記指示情報を出力する請求項１〜３のいずれか一項に記載の車載機器の制御装置。
【請求項７】
前記車載機器と、前記車載機器に対する入力操作と、前記乗員の動作とに基づいて所定の学習アルゴリズムを実行し、前記乗員の動作に対する前記車載機器の入力操作の学習モデルを生成する操作学習部をさらに備える請求項１〜３、５、６のいずれか一項に記載の車載機器の制御装置。
【請求項８】
前記制御部が、前記車載機器に対して前記指示情報を出力してから所定期間内に、前記乗員から前記指示情報の内容を停止する指示を受け付けた場合には、前記学習モデルへの登録をしない、又は前記学習モデルの修正を実行する請求項７に記載の車載機器の制御装置。
【請求項９】
前記制御部は、前記学習モデルの追加又は変更の可否を乗員へ問い合わせる請求項７に記載の車載機器の制御装置。
【請求項１０】
コントローラを用いて所定の車載機器に対する入力操作を制御する車載機器の制御方法において、
前記コントローラは、
乗員が車載機器に対して入力操作をする場合に、その入力操作の前後の動作に関する動作情報を取得し、
前記乗員の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得し、
前記動作情報と前記操作情報とを関連付けて記憶し、
前記乗員が、記憶された動作情報に関する動作を行ったことが検出された場合には、当該動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する車載機器の制御方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
技術分野
［０００１］
本発明は、車載機器の制御装置及び制御方法に関するものである。
背景技術
［０００２］
乗員の生体認証を実行することで車両機能の使用を許可する車両機能制御装置において、複数人が乗車した場合には、各乗員の生体認証により乗員の組み合わせを把握し、当該組み合わせに係る過去の車両機能の設定情報（シート位置、空調温度、ミラー角度、音量、モード（ＤＶＤモード又はＣＤモード）など）を検索し、抽出された設定情報に基づいて車両機能を設定するものが知られている（特許文献１）。
先行技術文献
特許文献
［０００３］
特許文献１：特開２００６−１３１０３１号公報
発明の概要
発明が解決しようとする課題
［０００４］
しかしながら、車載機器の操作は、複数の乗員の組み合わせだけで設定される訳ではなく、各種シーンに応じた乗員の動作や思考に起因することが少なくない。たとえば、後部座席に乗員Ａが乗車している場合に、乗員Ａが本を読もうとしたときは、後部座席用照明を点灯させたり、乗員Ａ足を組もうとしたときは、前席のシート位置を前方に移動させたりする。上記従来の車両機能制御装置では、こうした乗員の動作に対応した車載機器の設定を自動化できないという問題がある。
［０００５］
本発明が解決しようとする課題は、乗員の動作に基づいて車載機器の操作を制御できる車載機器の制御装置及び制御方法を提供することである。
課題を解決するための手段
［０００６］
本発明は、乗員が車載機器に対して入力操作をする場合に、その入力操作の前後の動作に関する動作情報を取得し、前記乗員の動作にとも
【手続補正書】
【提出日】令和2年11月10日(2020.11.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
乗員が車載機器に対して入力操作をする場合に、その入力操作の前後の動作に関する動作情報を取得する第１情報取得部と、
前記乗員の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得する第２情報取得部と、
前記動作情報と前記操作情報とを関連付けて記憶する記憶部と、
乗員の動作を検出する動作検出部と、
前記動作検出部により検出された乗員の動作に関する動作情報が、前記記憶部に記憶されている場合には、前記動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する制御部と、を備える車載機器の制御装置。
【請求項２】
前記動作情報は、時系列で記録される、少なくとも乗員の手、脚、頭又は視線の動きに関する情報である請求項１に記載の車載機器の制御装置。
【請求項３】
前記車載機器は、少なくとも照明機器、オーディオ再生機器又は空調機器を含み、
前記入力操作は、少なくとも前記車載機器に対する電源オン操作を含む請求項１又は２に記載の車載機器の制御装置。
【請求項４】
前記乗員に対して、前記車載機器への操作指示を行うか否を通知する通知部をさらに備え、
前記制御部から出力される前記指示情報は、前記通知部への通知である請求項１〜３のいずれか一項に記載の車載機器の制御装置。
【請求項５】
前記制御部は、前記車載機器に対して前記指示情報を出力する請求項１〜３のいずれか一項に記載の車載機器の制御装置。
【請求項６】
前記車載機器と、前記車載機器に対する入力操作と、前記乗員の動作とに基づいて所定の学習アルゴリズムを実行し、前記乗員の動作に対する前記車載機器の入力操作の学習モデルを生成する操作学習部をさらに備える請求項１〜５のいずれか一項に記載の車載機器の制御装置。
【請求項７】
前記制御部が、前記車載機器に対して前記指示情報を出力してから所定期間内に、前記乗員から前記指示情報の内容を停止する指示を受け付けた場合には、前記学習モデルへの登録をしない、又は前記学習モデルの修正を実行する請求項６に記載の車載機器の制御装置。
【請求項８】
前記制御部は、前記学習モデルの追加又は変更の可否を乗員へ問い合わせる請求項６に記載の車載機器の制御装置。
【請求項９】
コントローラを用いて所定の車載機器に対する入力操作を制御する車載機器の制御方法において、
前記コントローラは、
乗員が車載機器に対して入力操作をする場合に、その入力操作の前後の動作に関する動作情報を取得し、
前記乗員の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得し、
前記動作情報と前記操作情報とを関連付けて記憶し、
前記乗員が、記憶された動作情報に関する動作を行ったことが検出された場合には、当該動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する車載機器の制御方法。
【国際調査報告】
2019224905.tif 000007
2019224905.tif 000008
2019224905.tif 000009
2019224905.tif 000010