(57)【要約】【課題】ユーザがいる状況に応じて機器を制御することを目的とする。【解決手段】ユーザの動作を検出し、環境を検出し、ユーザの動作情報と環境情報との組に応じた機器操作情報を記憶した記憶部を参照して、検出した前記ユーザの動作と、検出した前記環境と、に応じた機器操作を判定し、判定した前記機器操作を行う信号を出力する、処理をコンピュータに実行させるための動作判定プログラムが提供される。【選択図】図５
2017134777.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの動作を検出し、
環境を検出し、
ユーザの動作情報と環境情報との組に応じた機器操作情報を記憶した記憶部を参照して、検出した前記ユーザの動作と、検出した前記環境との組に応じた機器操作を判定し、
判定した前記機器操作を行う信号を出力する、
処理をコンピュータに実行させるための動作判定プログラム。
【請求項２】
検出する前記環境は、前記ユーザの動作位置を含む、
請求項１に記載の動作判定プログラム。
【請求項３】
判定した前記機器操作が複数存在する場合、複数の前記機器操作のそれぞれに対する優先度を記憶した前記記憶部を参照して、前記複数の機器操作を、前記優先度が高い機器操作から順に行う信号を出力する、
請求項１又は２に記載の動作判定プログラム。
【請求項４】
前記機器操作に対する対象ユーザを記憶した前記記憶部を参照して、前記対象ユーザが運転席のユーザか否かによって、検出した前記ユーザの動作と、検出した前記環境とに応じて判定する機器操作を区別する、
請求項１〜３のいずれか一項に記載の動作判定プログラム。
【請求項５】
前記機器操作に対する対象ユーザを記憶した前記記憶部を参照して、前記対象ユーザが運転席、助手席及び後部座席のユーザか否かによって、検出した前記ユーザの動作と、検出した前記環境とに応じて判定する機器操作を区別する、
請求項１〜３のいずれか一項に記載の動作判定プログラム。
【請求項６】
検出する前記環境は、外部温度、車室内の温度、車室内の湿度、車室内の照度、雨滴検出の有無、窓の雨滴検出、窓の曇り状況、運転手が直射日光を浴びているか否か、ウィンドウの開閉、ミラーの角度、サンバイザーの位置、ワイパーのオン・オフ、リアデフォッガーのオン・オフ、ナビゲーションシステムのオン・オフ、ナビゲーションシステムの音量、オーディオのオン・オフ、オーディオの音量、エアコンのオン・オフ、エアコンの風向及び風量、及びギアの位置を含む、
請求項１〜５のいずれか一項に記載の動作判定プログラム。
【請求項７】
ユーザの動作を検出し、
環境を検出し、
ユーザの動作情報と環境情報との組に応じた機器操作情報を記憶した記憶部を参照して、検出した前記ユーザの動作と、検出した前記環境との組に応じた機器操作を判定し、
判定した前記機器操作を行う信号を出力する、
処理をコンピュータが実行する動作判定方法。
【請求項８】
ユーザの動作を検出する動作検出部と、
環境を検出する環境検出部と、
ユーザの動作情報と環境情報との組に応じた機器操作情報を記憶した記憶部を参照して、検出した前記ユーザの動作と、検出した前記環境との組に応じた機器操作を判定する判定部と、
判定した前記機器操作を行う信号を出力する出力部と、
を有する制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作判定プログラム、動作判定方法及び制御装置に関する。
【背景技術】
【０００２】
近年、ユーザの満足度を向上させるために、車室内や建物内で利用可能な機能が増加し、それに伴ってその機能を実現する機器の操作スイッチ等が増え、機器の操作が複雑になっている。例えば、車室内にある機器を操作する際、機器の操作が複雑なために視線を正面から外す時間が増えると、運転の妨げになる。
【０００３】
これに対して、センサを用いて物体の動作を判定する技術が知られている（例えば、特許文献１参照）。これによれば、センサを用いてユーザのジェスチャ操作を判定することで、車室内等の機器を、判定したジェスチャ操作に応じて操作することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１０５８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、ユーザは、機器を操作するためのジェスチャを、制御装置がセンサを用いて判定できるように行う必要がある。このため、ユーザがそのジェスチャ操作の新しい動きに慣れるまで機器の操作が難しい。
【０００６】
また、ユーザの単なる動きを、ジェスチャ操作の動きと誤検知し、機器を誤動作させることを回避するために、ユーザが行うジェスチャ操作を検知する範囲をセンサの周辺領域に限定する場合がある。しかしながら、この場合、センサの位置によってはユーザのジェスチャ操作を検知しないことがあり、ユーザの意図に応じて機器を的確に操作することが難しくなる。
【０００７】
そこで、一側面では、本発明は、ユーザがいる状況に応じて機器を制御することを目的とする。
【課題を解決するための手段】
【０００８】
一つの案では、ユーザの動作を検出し、環境を検出し、ユーザの動作情報と環境情報との組に応じた機器操作情報を記憶した記憶部を参照して、検出した前記ユーザの動作と、検出した前記環境との組に応じた機器操作を判定し、判定した前記機器操作を行う信号を出力する、処理をコンピュータに実行させるための動作判定プログラムが提供される。
【発明の効果】
【０００９】
一側面によれば、ユーザがいる状況に応じて機器を制御することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係る制御装置が制御する機器の一例を示す図。
【図２】一実施形態に係る制御装置のハードウェア構成の一例を示す図。
【図３】一実施形態に係る制御装置の機能構成の一例を示す図。
【図４】第１実施形態及びその変形例に係る機器操作ＤＢのデータ構成の一例を示す図。
【図５】第１実施形態に係る動作判定処理の一例を示すフローチャート。
【図６】第１実施形態の変形例に係る動作判定処理の一例を示すフローチャート。
【図７】第２実施形態に係る機器操作ＤＢのデータ構成の一例を示す図。
【図８】第２実施形態に係る動作判定処理の一例を示すフローチャート。
【図９】第３実施形態に係る機器操作ＤＢのデータ構成の一例を示す図。
【図１０】第３実施形態に係る動作判定処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
＜第１実施形態＞
［制御装置が制御する機器］
まず、本発明の一実施形態に係る制御装置が制御する機器の一例について、図１を参照しながら説明する。本実施形態に係る制御装置１０は、車１に取付けられた車載機器３０を制御する。例えば、制御装置１０は、カメラ２５が撮像した画像に基づき、物体認識、物体抽出、輝度分布解析等を行い、ウィンドウの開け閉め、ナビゲーションシステムの制御、オーディオの制御、サンバイザー及び空調等の制御を行う。ウィンドウ、ナビゲーションシステム、オーディオ、サンバイザー及び空調は、車載機器３０の一例である。また、制御装置１０は、車載センサ２０が検出したセンサ値に基づき、車載機器３０の制御を行う。
【００１２】
本実施形態に係る制御装置１０は、車室内のユーザ（運転手等の乗員）の動き及びユーザの周辺の環境に連携させて、車載機器３０の操作を制御する。例えば、直射日光が射し込んでユーザの顔や身体に当たっているとき、ユーザは「暑い」と感じ、暑いときの動作（手をかざして影を作る、手で仰ぐ等）を行う。このようなとき、制御装置１０は、「直射日光が射し込んでいる」という環境と、「手をかざして影を作る」というユーザの動作との組に基づき、エアコンを、ユーザの状況に応じて当該ユーザの体感温度を下げるように操作する。
【００１３】
また、例えば、ユーザに風が当たっているときにユーザが「寒い」と感じると、ユーザは、寒いときの動作（エアコンの吹き出し口に手をかざして風が当たらないようにする等）を行う。このようなとき、制御装置１０は、「ユーザに風が当たっている」という環境と、「エアコンの吹き出し口に手をかざして風が当たらないようにする」というユーザの動作との組に基づき、エアコンを当該ユーザの体感温度を上げるように操作する。
【００１４】
ここでは、車載機器３０の一例としてエアコンを例に挙げたが、本実施形態に係る制御装置１０が制御する機器は、エアコンに限らない。制御装置１０が制御する機器の他の例としては、前述したウィンドウ、ナビゲーションシステム、オーディオ、サンバイザー及び空調の他、ワイパー、ルームライト、ミラー、リアデフォッガー等の車に取り付けられたすべての機器が対象となり得る。
【００１５】
以下では、本実施形態に係る制御装置１０は、「環境」、「人の動作」及び「人の動作の場所」を入力情報とし、入力情報に基づき最適な「機器の操作」を出力する。「人の動作の場所」は、「環境」を示す情報に含んでもよい。「環境」は、ユーザがいる車室内の環境（車室内の明るさ等）と、ユーザが乗車する車１の環境（外気の温度等）とを含む。
【００１６】
制御装置１０は、「環境」及び「人の動作」を示すセンサ値や画像を入力し、それらの入力情報に基づき最適な「機器の操作」を出力する。本実施形態では、「人の動作」及び「環境」の組の条件に対して、その組の条件を満足した場合に行うべき機器操作を予め定義し、データベース（以下、「ＤＢ」という。）に保持しておく。車を運転する際、制御装置１０は、カメラ２５で撮像した画像や各種の車載センサ２０でセンシングした値を入力情報とし、ＤＢを参照して入力情報に応じた機器操作を特定し、特定した機器操作に基づき車載機器３０を自動操作する。
【００１７】
［制御装置のハードウェア構成］
次に、本実施形態に係る制御装置のハードウェア構成の一例について、図２を参照しながら説明する。本実施形態では、制御装置１０の一例として車載コンピュータを挙げて説明する。しかしながら、制御装置１０は、これに限らず、スマートフォン、タブレット型端末、パーソナルコンピュータ、携帯電話、ＨＭＤ（Head Mount Display）等のウェアラブル表示デバイス、ＰＤＡ（Personal Digital Assistants）等の電子機器にて実現され得る。なお、制御装置１０のハードウェア構成は、図２に示す構成に限らない。
【００１８】
制御装置１０は、プロセッサ１１及びメモリ１２を有する。プロセッサ１１は、制御装置１０の全体を制御するＣＰＵを含み、例えばＡＳＩＣ（Application Specific Integrated Circuit ：特定用途向け専用ＩＣ）で構成される。
【００１９】
メモリ１２には、プログラムやデータが格納されている。プログラムやデータは、所定のタイミングにプロセッサ１１により読み込まれ、プロセッサ１１にて処理が実行される際に使用される。
【００２０】
プロセッサ１１には、車１に取付けられた車載センサ２０が接続されている。図２には、車載センサ２０の一例として、温度センサ２１、湿度センサ２２、照度センサ２３、３Ｄセンサ２４、カメラ２５、赤外線センサ２６及びスイッチ２７が示されている。ただし、車載センサ２０は、これに限らず、車室内のユーザ（乗員）の動作又は環境をセンシング可能な他のセンサを含んでもよい。
【００２１】
温度センサ２１は、車室内の温度を検知する。温度センサ２１は、外気の温度を検知してもよい。湿度センサ２２は、車室内の温度を検知する。照度センサ２３は、車室内の明るさを検知する。３Ｄセンサ２４は、物体の位置、形状、速度を検出する。３Ｄセンサ２４は、例えば、三次元レーザレーダで構成される。カメラ２５は、画像を撮像する。カメラ２５は、例えば、単眼カメラ又はステレオカメラで構成される。赤外線センサ２６は、赤外線を利用して画像を撮像する。スイッチ２７は、エアコンなどのオン・オフを検出する。
【００２２】
［制御装置の機能構成］
次に、本実施形態に係る制御装置１０の機能構成の一例について、図３を参照しながら説明する。制御装置１０は、記憶部１３、環境検出部１４、ユーザ動作検出部１５、ユーザ動作位置算出部１６、機器動作判定部１７及び出力部１８を有する。
【００２３】
記憶部１３は、機器操作ＤＢ１９に、ユーザの動作情報とユーザ周辺の環境情報（以下、単に「環境情報」ともいう。）との組に応じた機器操作情報を記憶する。図４は、機器操作ＤＢ１９のデータ項目の一例を示す。機器操作ＤＢ１９は、環境情報１９１、ユーザ動作情報１９２、ユーザ動作位置情報１９３、ユーザの感覚推定情報１９４及び機器操作情報１９５を有する。
【００２４】
環境情報１９１は、ユーザが乗車している車１の車室内の環境及び車１の外部環境を示す。ユーザ動作情報１９２は、車室内のユーザの動作を示す。ユーザ動作位置情報１９３は、車室内のユーザの動作位置を示す。
【００２５】
ユーザの感覚推定情報１９４は、環境情報１９１、ユーザ動作情報１９２及びユーザ動作位置情報１９３の条件の組み合わせによって、ユーザが感じる感覚を推定した結果の情報である。機器操作情報１９５は、環境情報１９１、ユーザ動作情報１９２、ユーザ動作位置情報１９３の条件の組み合わせに応じて、操作する車載機器３０を特定する情報である。ユーザの感覚推定情報１９４により推定されたユーザの感覚に応じて、ユーザの不快感を軽減するように、車載機器３０の操作が特定されている。例えば、環境情報１９１が「直射日光が当たっている」、ユーザ動作情報１９２が「手をかざして影を作る」、ユーザ動作位置情報１９３が「窓の側」の条件の組が検出されたとき、ユーザの感覚が「暑い」と推定される。よって、機器操作ＤＢ１９には、上記３つの条件の組が検出されると、ユーザの不快感を軽減するための操作の一例として、機器操作情報１９５には「エアコンをオン」に操作することが定義されている。
【００２６】
なお、機器操作ＤＢ１９は、必ずしも、ユーザ動作位置情報１９３及びユーザの感覚推定情報１９４を記憶していなくてもよい。つまり、環境情報１９１及びユーザ動作情報１９２の条件の組に合致する機器操作情報１９５に基づき、制御する車載機器３０の操作を判定してもよい。ただし、環境情報１９１、ユーザ動作情報１９２及びユーザ動作位置情報１９３の組の条件に合致する機器操作情報１９５により制御する車載機器３０の操作を判定することがより好ましい。この場合、機器操作ＤＢ１９は、ユーザ動作位置情報１９３を記憶する必要がある。
【００２７】
環境検出部１４は、ユーザの周辺環境を示す車室内の環境や車１の外部環境を検出する。環境検出部１４は、車室内に設けられた車載センサ２０や、車１に取り付けられた車載センサ２０により「環境」を検出する。
【００２８】
例えば、環境検出部１４は、車室内の温度センサ２１やカメラ２５を使用して、「車室内に直射日光が当たっている」か否かを検出してもよい。また、環境検出部１４は、エアコンのスイッチ２７を使用して、「エアコンの風が出ている」か否かを検出してもよい。環境検出部１４は、送風口のオン・オフの情報を、ＣＡＮ（Controller Area Network）を介して取得し、「エアコンの風が出ている」か否かを検出してもよい。
【００２９】
また、環境検出部１４は、カメラ２５が撮像した画像から得られた輝度分布を使用して、「ドライバの顔に直射日光が当たっている」か否かを検出してもよい。環境検出部１４は、カメラ２５が撮像した画像を用いたマーカ認識や、赤外線センサ２６が撮像した画像を使用して、「ウィンドウが閉まっている」か否かや「ウィンドウが開いている」か否かを検出してもよい。
【００３０】
また、環境検出部１４は、フロントガラス付近のカメラ２５が撮像した画像を使用した雨滴判定により、「フロントガラスに雨滴が付いている」か否かを検出してもよい。また、環境検出部１４は、ウィンドウ付近のカメラ２５が撮像した画像を使用した窓の透過度判定により、「窓が曇っている」ことを検出してもよい。
【００３１】
環境検出部１４が検出する環境は、ユーザの動作位置を含んでもよい。また、環境検出部１４が検出する環境は、外部温度、車室内の温度、車室内の湿度、車室内の照度、雨滴検出の有無、窓の雨滴検出、窓の曇り状況、運転手が直射日光を浴びているか否か、ウィンドウの開閉を含んでもよい。更に、環境検出部１４が検出する環境は、ミラーの角度、サンバイザーの位置、ワイパーのオン・オフ、リアデフォッガーのオン・オフ、ナビゲーションシステムのオン・オフや、ナビゲーションシステムの音量、オーディオのオン・オフ、オーディオの音量、エアコンのオン・オフ、エアコンの風向及び風量、及びギアの位置を含んでもよい。
【００３２】
ユーザ動作検出部１５は、車室内のユーザの動作を検知する。ユーザ動作検出部１５は、ユーザの動作を検出する動作検出部の一例である。例えば、ユーザ動作検出部１５は、カメラ２５が撮像した画像や３Ｄセンサ２４が検知したユーザの位置、形状、速度等を使用して、「ユーザが顔の前に手をかざしている」か否かや「ユーザが吹き出し口を手で塞いでいる」か否かを検出してもよい。
【００３３】
ユーザ動作位置算出部１６は、ユーザ動作検出部１５が検出したユーザの動作が行われる位置を算出する。
【００３４】
機器動作判定部１７は、機器操作ＤＢ１９を参照して、センシングしたユーザの動作と、センシングした環境と、算出したユーザの動作位置とを組にして、その組の条件に応じた車載機器３０の操作を判定する。機器動作判定部１７は、記憶部１３を参照して、センシングしたユーザの動作と、センシングした環境とに応じた機器操作を判定する判定部の一例である。ユーザの動作位置は、センシングした環境を示す入力情報に含まれてもよいし、含まれなくてもよい。
【００３５】
出力部１８は、判定した車載機器３０の操作を行う信号を出力する。これにより、信号を入力した車載機器３０は機器操作情報１９５に定められた所定の操作を行う。
【００３６】
環境検出部１４、ユーザ動作検出部１５、ユーザ動作位置算出部１６及び機器動作判定部１７の各部の機能は、例えば、プロセッサ１１が、メモリ１２に記憶された動作判定プログラム９を読み込み、動作判定プログラム９の各ステップを実行することにより実現される。機器操作ＤＢ１９は、メモリ１２又はネットワークを介して制御装置１０に接続される特定のサーバ、その他のクラウド上のサーバ等に格納され得る。
【００３７】
なお、図３は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部は、ハードウェアのみ、ソフトウェアのみ、またはハードウェアとソフトウェアとの組合せによって実現することができる。
【００３８】
次に、動作判定処理について説明する。以下に説明する第１実施形態、第１実施形態の変形例、第２実施形態及び第３実施形態に係る動作判定処理は、制御装置１０により実行される。
＜第１実施形態＞
［動作判定処理］
まず、第１実施形態に係る動作判定処理について図５を参照して説明する。図５は、第１実施形態に係る動作判定処理を示したフローチャートである。本処理が開始されると、ユーザ動作検出部１５は、所定時間毎に車室内のユーザの動作をセンシングする（ステップＳ１０）。これにより、運転席、助手席及び後部座席にいるユーザの動作を示す画像やセンサ値が検出される。
【００３９】
次に、環境検出部１４は、所定時間毎に環境をセンシングする（ステップＳ１２）。これにより、車室内の画像、車室内の温度、外気の温度、湿度、照度等のセンサ値、及び雨滴、窓のくもり等を示す画像やセンサ値が検出される。
【００４０】
次に、機器動作判定部１７は、機器操作ＤＢ１９を参照して、センシングしたユーザ動作とセンシングした環境との組が、環境情報１９１及びユーザ動作情報１９２の条件の組に合致するかを判定する（ステップＳ１４）。機器動作判定部１７は、センシングしたユーザ動作とセンシングした環境との組が、環境情報１９１及びユーザ動作情報１９２の条件の組に合致しないと判定した場合、ステップＳ１０に戻り、ステップＳ１０以降の処理を再度実行する。
【００４１】
機器動作判定部１７は、センシングしたユーザ動作とセンシングした環境との組が、環境情報１９１及びユーザ動作情報１９２の条件の組に合致すると判定した場合、ステップＳ１６に進む。機器動作判定部１７は、機器操作ＤＢ１９に基づき、合致すると判定された環境情報１９１及びユーザ動作情報１９２の条件の組に応じた機器操作情報１９５を特定する。機器動作判定部１７は、特定した機器操作情報１９５に基づき、条件に合致した車載機器３０の操作を判定する（ステップＳ１６）。次に、出力部１８は、判定した車載機器３０の操作を行う信号を出力し（ステップＳ１８）、ステップＳ１０の処理に戻る。
【００４２】
例えば、運転手（ユーザ）の「窓を拭く動作」が検出され、カメラ２５が撮像した画像に基づき「フロントガラスの雨滴」が検出された場合、機器操作ＤＢ１９に基づきワイパーをオンする操作が判定される。これにより、ワイパーに対して、動作をオンする信号が出力される。この信号を入力したワイパーは、自動でオンされ、ワイパーの動作によりフロントガラスの雨滴が除かれる。
【００４３】
以上、第１実施形態にかかる動作判定処理によれば、人の動作は「環境」によって発生する場合があることに着目し、「ユーザの動作」と「そのときの環境」とを組にして予め定義した組み合わせの条件と合致したとき、そのユーザが何を不満に感じているかのユーザ感覚を推定する。推定内容の一例を機器操作ＤＢ１９のユーザの感覚推定情報１９４に示す。例えば、「ユーザの動作」と「そのときの環境」を検出した結果、暑い、まぶしい、暗いなどユーザの感覚が推定される。これに対して、機器操作情報１９５には、ユーザの不満を解消するように、特定の車載機器３０の操作が設定されている。
【００４４】
その結果、ユーザの動作と外部環境とを紐付け、その組み合わせに基づきユーザの状況を把握し、機器操作情報１９５に基づきユーザの状況に応じた機器操作を判定することで、誤検知を低減することができる。また、ユーザは、新規にジェスチャ操作を覚える必要がないため、不完全なジェスチャ操作により誤検知が発生することを回避することができる。このように、第１実施形態に係る動作判定処理によれば、ユーザの動作及びユーザ環境を検知し、ユーザの感覚を先読みした新しいユーザインタフェースにより、適切な車載機器３０を操作することで、ユーザにより快適な車室内の空間を提供することができる。
【００４５】
（変形例）
次に、第１実施形態の変形例に係る動作判定処理について図６を参照して簡単に説明する。第１実施形態の変形例に係る動作判定処理は、環境に関する入力情報に、ユーザの動作位置を含む点で、環境に関する入力情報に、ユーザの動作位置を含まない第１実施形態と異なる。
【００４６】
つまり、第１実施形態の変形例では、図６のステップＳ２０において、ユーザ動作位置算出部１６は、ユーザ動作が行われた位置を算出する。そして、ステップＳ２２において、機器動作判定部１７は、機器操作ＤＢ１９を参照して、センシングしたユーザ動作とセンシングした環境とユーザの動作位置との組が、環境情報１９１、ユーザ動作情報１９２及びユーザ動作位置情報１９３の条件の組に合致するかを判定する。合致する場合、ステップＳ１６において、機器動作判定部１７は、機器操作ＤＢ１９の機器操作情報１９５に基づき、該当する車載機器３０の操作を判定する。
【００４７】
以上、第１実施形態の変形例に係る動作判定処理によれば、ユーザの動作位置が算出され、ユーザの動作、環境及びユーザの動作位置に基づき、ユーザの状況をより正確に把握できるため、ユーザの状況により合致した機器操作を判定できる。これにより、ユーザにより快適な車室内の空間を提供することができる。また、その際の誤検知をより低減することができる。
＜第２実施形態＞
［動作判定処理］
次に、第２実施形態に係る動作判定処理について図７及び図８を参照して説明する。図７は、第２実施形態に係る動作判定処理において使用する機器操作ＤＢ１９の一例を示す。図８は、第２実施形態に係る動作判定処理を示したフローチャートである。
【００４８】
図7に示す第２実施形態の機器操作ＤＢ１９は、図４に示した機器操作ＤＢ１９と比較して、機器操作情報１９５が複数設定されている場合、各機器操作情報１９５に対して優先度１９６が示されている点で、第１実施形態と異なる。
【００４９】
例えば、環境情報１９１が「直射日光が当たっている」、ユーザ動作情報１９２が「手をかざして影を作る」、ユーザ動作位置情報１９３が「窓の側」の条件の組が検出されたとき、ユーザの感覚を「暑い」と推定する。よって、上記３つの条件の組が検出されると、ユーザの不快感を軽減するための操作の一例として、機器操作情報１９５には、「エアコンをオン」、「風向きを変える」及び「設定温度を下げる」の操作が定義される。
【００５０】
優先度１９６は、機器操作情報１９５に設定された機器操作の操作順位を示す。図７の例では、優先度１９６に基づき、最初に「エアコンをオン」する操作が行われ、次に「風向きを変える」操作が行われ、最後に「設定温度を下げる」操作が行われることになる。
【００５１】
図８に示すフローチャートに従い本処理について説明する。本処理が開始されると、ユーザ動作検出部１５は、所定時間毎に車室内のユーザの動作をセンシングする（ステップＳ１０）。次に、環境検出部１４は、所定時間毎に環境をセンシングする（ステップＳ１２）。次に、ユーザ動作位置算出部１６は、ユーザ動作検出部１５が検出したユーザの動作位置を算出する（ステップＳ２０）。
【００５２】
次に、機器動作判定部１７は、機器操作ＤＢ１９を参照して、ユーザ動作と環境とユーザの動作位置との組が、環境情報１９１、ユーザ動作情報１９２及びユーザ動作位置情報１９３の条件の組に合致するかを判定する（ステップＳ２２）。機器動作判定部１７はユーザ動作と環境とユーザの動作位置との組が、環境情報１９１、ユーザ動作情報１９２及びユーザ動作位置情報１９３の条件の組に合致しないと判定した場合、ステップＳ１０に戻り、ステップＳ１０以降の処理が実行される。
【００５３】
機器動作判定部１７は、ユーザ動作と環境とユーザの動作位置との組が、環境情報１９１、ユーザ動作情報１９２及びユーザ動作位置情報１９３の条件の組に合致すると判定した場合、ステップＳ１６に進み、該当条件の組に対応する機器操作情報１９５に基づき、車載機器３０の操作を判定する（ステップＳ１６）。
【００５４】
次に、出力部１８は、判定した車載機器３０の操作を、優先度１９６が高い順番に行う信号を出力し（ステップＳ１８）、ステップＳ１０の処理に戻る。
【００５５】
以上に説明した第２実施形態にかかる動作判定処理によれば、機器操作ＤＢ１９に記憶された優先度１９６に応じて、判定された複数の機器操作を優先順位に従い実行される。これにより、複数の機器操作を優先順位に従い的確に動作させることで、ユーザの不快感をより軽減することができる。なお、第２実施形態においても、第１実施形態と同様に、図８のステップＳ２０の処理を行わず、図８のステップＳ２２の処理を、図５のステップＳ１４の処理に置き換えてもよい。
＜第３実施形態＞
［動作判定処理］
次に、第３実施形態に係る動作判定処理について図９及び図１０を参照して説明する。図９は、第３実施形態に係る動作判定処理において使用する機器操作ＤＢ１９の一例を示す。図１０は、第３実施形態に係る動作判定処理を示したフローチャートである。
【００５６】
図９に示す第３実施形態の機器操作ＤＢ１９は、図４に示した第１実施形態の機器操作ＤＢ１９と比較して、対象ユーザ情報１９７のデータ項目が追加されている点が異なる。例えば、対象ユーザ情報１９７が「運転席」、「助手席」、「後部座席」の場合、ユーザ動作情報１９２を取得する対象のユーザは、車１の運転席、助手席及び後部座席に座っているユーザとなる。つまり、機器操作ＤＢ１９の条件の組を満たすか否かの判定において、機器操作ＤＢ１９のユーザ動作情報１９２と照合されるユーザの動作は、運転席、助手席及び後部座席に座っているすべてのユーザの動作である。他方、例えば、対象ユーザ情報１９７が「運転席」の場合、機器操作ＤＢ１９のユーザ動作情報１９２と照合されるユーザの動作は、運転席に座っているユーザの動作のみである。
【００５７】
図１０に示すフローチャートに従い本処理について説明する。本処理が開始されると、ユーザ動作検出部１５は、所定時間毎に車室内のユーザの動作をセンシングする（ステップＳ１０）。次に、環境検出部１４は、所定時間毎に環境をセンシングする（ステップＳ１２）。次に、ユーザ動作位置算出部１６は、ユーザ動作検出部１５が検出したユーザの動作位置を算出する（ステップＳ２０）。
【００５８】
次に、機器動作判定部１７は、機器操作ＤＢ１９を参照して、ユーザ動作と環境とユーザの動作位置との組が、環境情報１９１、ユーザ動作情報１９２及びユーザ動作位置情報１９３の条件の組に合致するかを判定する（ステップＳ２２）。機器動作判定部１７は、合致しないと判定した場合、ステップＳ１０に戻り、ステップＳ１０以降の処理が実行される。他方、ステップＳ２２において、機器動作判定部１７は、合致すると判定した場合、ステップＳ４０に進み、センシングしたユーザ動作を行ったユーザが、合致すると判定された環境情報１９１、ユーザ動作情報１９２及びユーザ動作位置情報１９３の条件の組に対応する対象ユーザ情報１９７が示す対象ユーザの条件に合致するかを判定する（ステップＳ４０）。
【００５９】
対象ユーザ情報１９７が示す対象ユーザの条件に合致しない場合、ステップＳ１０に戻り、ステップＳ１０以降の処理が実行される。他方、ステップＳ４０において、対象ユーザ情報１９７が示す対象ユーザの条件に合致する場合、機器動作判定部１７は、当該環境情報１９１、ユーザ動作情報１９２及びユーザ動作位置情報１９３の組に対応して機器操作情報１９５から車載機器３０の操作を判定する（ステップＳ１６）。次に、出力部１８は、判定した車載機器３０の操作を行う信号を出力し（ステップＳ１８）、ステップＳ１０の処理に戻る。
【００６０】
以上に説明した第３実施形態にかかる動作判定処理によれば、対象ユーザの動作と環境と対象ユーザの動作位置に基づき、車載機器３０の操作が判定される。これにより、対象ユーザを除くユーザの動作は無視されるため、不必要な車載機器３０の操作を抑制することができる。
【００６１】
例えば、ユーザ動作として運転手であるユーザの「サイドミラーを覗き込む」動作が検出され、環境として「ギアがバックに入っている」ことが検出され、ユーザの動作位置が「窓の側であってサイドミラーの近く」であることが検出された場合を説明する。この場合、機器操作情報１９５に設定された「サイドミラーの向きを動かす」に基づき、サイドミラーの向きが操作される。このとき、本実施形態では、運転手以外の乗員が「サイドミラーを覗き込む」動作を行っても、運転手以外の乗員のユーザ動作は対象外であるため、サイドミラーの向きは操作されない。
【００６２】
これにより、所定のユーザのみに対する車載機器３０の操作を制御することができる。これにより、運転手の動作とそれ以外のユーザの動作とを区別し、車室内のユーザの位置やユーザの役割（ドライバか、それ以外か等）に応じて、車載機器３０の操作の制御を変えることができる。運転席、助手席、後部座席のユーザの動作を区別し、車載機器３０の操作の制御を変えてもよい。
【００６３】
以上、動作判定プログラム、動作判定方法及び制御装置を上記実施形態により説明したが、本発明に係る動作判定プログラム、動作判定方法及び制御装置は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。
【００６４】
例えば、上記実施形態に係る動作判定プログラム、動作判定方法及び制御装置の構成は一例であり、本発明の範囲を限定するものではなく、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
【００６５】
例えば、本実施形態に係る制御装置１０が制御する機器は、車載機器３０に限らず、バイクや電車等のいずれの車両に設けられた機器であってもよい。例えば、本実施形態に係る制御装置１０が、電車に搭載された機器を制御する場合、ユーザ（乗員）の環境について「混雑している」ことが検知され、ユーザの動作について「汗を拭いている」ことが検知された場合について説明する。この場合、機器操作ＤＢ１９に検知結果の組と合致する環境情報１９１及びユーザ動作情報１９２の条件の組が検索された場合、その条件の組に応じた機器操作情報１９５に基づき、電車の「エアコンを強く」する操作が行われるようにしてもよい。
【００６６】
また、本実施形態に係る制御装置１０が制御する機器は、車両に限らず、家やオフィス等の建物に設置された機器であってもよい。例えば、本実施形態に係る制御装置１０は、ユーザの動作として、家の住人（ユーザ）が「朝起き上がる」動作がセンシングされ、環境として、「部屋の明るさが所定ルクス以上であること」が検出された場合、機器操作として「カーテンを開ける」ことを行ってもよい。
【００６７】
以上の説明に関し、更に以下の項を開示する。
（付記１）
ユーザの動作を検出し、
環境を検出し、
ユーザの動作情報と環境情報との組に応じた機器操作情報を記憶した記憶部を参照して、検出した前記ユーザの動作と、検出した前記環境との組に応じた機器操作を判定し、
判定した前記機器操作を行う信号を出力する、
処理をコンピュータに実行させるための動作判定プログラム。
（付記２）
検出する前記環境は、前記ユーザの動作位置を含む、
付記１に記載の動作判定プログラム。
（付記３）
判定した前記機器操作が複数存在する場合、複数の前記機器操作のそれぞれに対する優先度を記憶した前記記憶部を参照して、前記複数の機器操作を、前記優先度が高い機器操作から順に行う信号を出力する、
付記１又は２に記載の動作判定プログラム。
（付記４）
前記機器操作に対する対象ユーザを記憶した前記記憶部を参照して、前記対象ユーザが運転席のユーザか否かによって、検出した前記ユーザの動作と、検出した前記環境とに応じて判定する機器操作を区別する、
付記１〜３のいずれか一項に記載の動作判定プログラム。
（付記５）
前記機器操作に対する対象ユーザを記憶した前記記憶部を参照して、前記対象ユーザが運転席、助手席及び後部座席のユーザか否かによって、検出した前記ユーザの動作と、検出した前記環境とに応じて判定する機器操作を区別する、
付記１〜３のいずれか一項に記載の動作判定プログラム。
（付記６）
検出する前記環境は、外部温度、車室内の温度、車室内の湿度、車室内の照度、雨滴検出の有無、窓の雨滴検出、窓の曇り状況、運転手が直射日光を浴びているか否か、ウィンドウの開閉、ミラーの角度、サンバイザーの位置、ワイパーのオン・オフ、リアデフォッガーのオン・オフ、ナビゲーションシステムのオン・オフ、ナビゲーションシステムの音量、オーディオのオン・オフ、オーディオの音量、エアコンのオン・オフ、エアコンの風向及び風量、及びギアの位置を含む、
付記１〜５のいずれか一項に記載の動作判定プログラム。
（付記７）
ユーザの動作を検出し、
環境を検出し、
ユーザの動作情報と環境情報との組に応じた機器操作情報を記憶した記憶部を参照して、検出した前記ユーザの動作と、検出した前記環境との組に応じた機器操作を判定し、
判定した前記機器操作を行う信号を出力する、
処理をコンピュータが実行する動作判定方法。
（付記８）
検出する前記環境は、前記ユーザの動作位置を含む、
付記７に記載の動作判定方法。
（付記９）
判定した前記機器操作が複数存在する場合、複数の前記機器操作のそれぞれに対する優先度を記憶した前記記憶部を参照して、前記複数の機器操作を、前記優先度が高い機器操作から順に行う信号を出力する、
付記７又は８に記載の動作判定方法。
（付記１０）
前記機器操作に対する対象ユーザを記憶した前記記憶部を参照して、前記対象ユーザが運転席のユーザか否かによって、検出した前記ユーザの動作と、検出した前記環境とに応じて判定する機器操作を区別する、
付記７〜９のいずれか一項に記載の動作判定方法。
（付記１１）
前記機器操作に対する対象ユーザを記憶した前記記憶部を参照して、前記対象ユーザが運転席、助手席及び後部座席のユーザか否かによって、検出した前記ユーザの動作と、検出した前記環境とに応じて判定する機器操作を区別する、
付記７〜９のいずれか一項に記載の動作判定方法。
（付記１２）
検出する前記環境は、外部温度、車室内の温度、車室内の湿度、車室内の照度、雨滴検出の有無、窓の雨滴検出、窓の曇り状況、運転手が直射日光を浴びているか否か、ウィンドウの開閉、ミラーの角度、サンバイザーの位置、ワイパーのオン・オフ、リアデフォッガーのオン・オフ、ナビゲーションシステムのオン・オフ、ナビゲーションシステムの音量、オーディオのオン・オフ、オーディオの音量、エアコンのオン・オフ、エアコンの風向及び風量、及びギアの位置を含む、
付記７〜１１のいずれか一項に記載の動作判定方法。
（付記１３）
ユーザの動作を検出する動作検出部と、
環境を検出する環境検出部と、
ユーザの動作と環境との組に応じた機器操作を記憶した記憶部を参照して、検出した前記ユーザの動作と、検出した前記環境との組に応じた機器操作を判定する判定部と、
判定した前記機器操作を行う信号を出力する出力部と、
を有する制御装置。
（付記１４）
前記環境検出部が検出する前記環境は、前記ユーザの動作位置を含む、
付記１３に記載の制御装置。
（付記１５）
前記出力部１８は、判定した前記機器操作が複数存在する場合、複数の前記機器操作のそれぞれに対する優先度を記憶した前記記憶部を参照して、前記複数の機器操作を、前記優先度が高い機器操作から順に行う信号を出力する、
付記１３又は１４に記載の制御装置。
（付記１６）
前記判定部は、前記機器操作に対する対象ユーザを記憶した前記記憶部を参照して、前記対象ユーザが運転席のユーザか否かによって、検出した前記ユーザの動作と、検出した前記環境とに応じて判定する機器操作を区別する、
付記１３〜１５のいずれか一項に記載の制御装置。
（付記１７）
前記判定部は、前記機器操作に対する対象ユーザを記憶した前記記憶部を参照して、前記対象ユーザが運転席、助手席及び後部座席のユーザか否かによって、検出した前記ユーザの動作と、検出した前記環境とに応じて判定する機器操作を区別する、
付記１３〜１５のいずれか一項に記載の制御装置。
（付記１８）
前記環境検出部が検出する前記環境は、外部温度、車室内の温度、車室内の湿度、車室内の照度、雨滴検出の有無、窓の雨滴検出、窓の曇り状況、運転手が直射日光を浴びているか否か、ウィンドウの開閉、ミラーの角度、サンバイザーの位置、ワイパーのオン・オフ、リアデフォッガーのオン・オフ、ナビゲーションシステムのオン・オフ、ナビゲーションシステムの音量、オーディオのオン・オフ、オーディオの音量、エアコンのオン・オフ、エアコンの風向及び風量、及びギアの位置を含む、
付記１３〜１７のいずれか一項に記載の制御装置。
【符号の説明】
【００６８】
１    車
１０  制御装置
１１  プロセッサ
１２  メモリ
１３  記憶部
１４  環境検出部
１５  ユーザ動作検出部
１６  ユーザ動作位置算出部
１７  機器動作判定部
１８  出力部
１９  機器操作ＤＢ
２０  車載センサ
２１  温度センサ
２２  湿度センサ
２３  照度センサ
２４  ３Ｄセンサ
２５  カメラ
２６  赤外線センサ
２７  スイッチ
３０  車載機器
【図１】
2017134777.tif 000003
【図２】
2017134777.tif 000004
【図３】
2017134777.tif 000005
【図４】
2017134777.tif 000006
【図５】
2017134777.tif 000007
【図６】
2017134777.tif 000008
【図７】
2017134777.tif 000009
【図８】
2017134777.tif 000010
【図９】
2017134777.tif 000011
【図１０】
2017134777.tif 000012