(57)【要約】【課題】ジェスチャー操作において、ユーザの負担を抑えつつ、他の装置の誤動作を防止する。【解決手段】開示のジェスチャー認識装置１５は、ユーザのジェスチャーの動作方向Ｖ２が、前記被操作装置６０を基準とした所定方向であるかを、少なくとも１以上の被操作装置６０について判定し、前記ジェスチャーの動作方向Ｖ２が前記所定方向であると判定された前記被操作装置６０を、前記ジェスチャーが向けられた対象被操作装置として認識するよう動作するプロセッサ２０を備える。【選択図】図１
2020119042.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのジェスチャーの動作方向が、被操作装置を基準とした所定方向であるかを、少なくとも１以上の被操作装置について判定し、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識するよう動作するプロセッサ
を備えるジェスチャー認識装置。
【請求項２】
前記プロセッサは、前記被操作装置を前記対象被操作装置として認識した後に行われたジェスチャーを、前記対象操作装置に対する命令ジェスチャーとして認識するよう更に動作する
請求項１に記載のジェスチャー認識装置。
【請求項３】
前記プロセッサは、前記命令ジェスチャーの動作方向が前記対象被操作装置を基準とした所定の方向であるかを判定することなく、前記命令ジェスチャーの動作に基づいて、前記命令ジェスチャーが示す命令を認識する
請求項２に記載のジェスチャー認識装置。
【請求項４】
前記プロセッサは、前記ジェスチャーの動作を検出するセンサの検出データに基づいて、前記動作方向を求めるよう更に動作する
請求項１から３のいずれか１項に記載のジェスチャー認識装置。
【請求項５】
前記センサは、前記被操作装置とは離れて設置され、
前記プロセッサは、
前記検出データに基づいて、前記ジェスチャーの変換前動作方向を求め、
前記センサと前記被操作装置との位置関係に基づいて前記変換前動作方向を変換することで、前記動作方向を求め、
前記変換前動作方向は、前記センサを基準とした方向であり、
前記動作方向は、前記被操作装置を基準とした方向である
請求項４に記載のジェスチャー認識装置。
【請求項６】
前記動作方向は、前記センサと複数の前記被操作装置それぞれとの位置関係に基づいて、複数の前記被操作装置それぞれを基準とした方向として求められる
請求項５に記載のジェスチャー認識装置。
【請求項７】
前記所定方向は、前記被操作装置の位置から前記ジェスチャーが行われた位置へ向かう第１方向を基準とした方向である
請求項１から６のいずれか１項に記載のジェスチャー認識装置。
【請求項８】
前記プロセッサは、前記ジェスチャーが行われた位置を検出するセンサの検出データに基づいて、前記第１方向を求めるよう更に動作する
請求項７に記載のジェスチャー認識装置。
【請求項９】
前記センサは、前記被操作装置とは離れて設置され、
前記プロセッサは、
前記検出データに基づいて、前記センサから前記ジェスチャーが行われた位置へ向かう変換前第１方向を求め、
前記センサと前記被操作装置との位置関係に基づいて前記変換前第１方向を変換することで、前記第１方向を求める
請求項８に記載のジェスチャー認識装置。
【請求項１０】
前記第１方向は、前記センサと複数の前記被操作装置それぞれとの位置関係に基づいて、複数の前記被操作装置それぞれから前記ジェスチャーが行われた位置へ向かう方向として求められる
請求項９に記載のジェスチャー認識装置。
【請求項１１】
前記プロセッサは、前記対象被操作装置として認識された前記被操作装置をユーザへ通知するよう更に動作する
請求項１から１０のいずれか１項に記載のジェスチャー認識装置。
【請求項１２】
前記プロセッサは、前記位置関係の設定処理を実行するよう更に動作する
請求項５，６，９，及び１０のいずれか１項に記載のジェスチャー認識装置。
【請求項１３】
ユーザのジェスチャーの動作を検出するセンサと、
前記センサの検出データに基づいて前記ジェスチャーの動作方向を求め、前記ジェスチャーの動作方向が、被操作装置を基準とした所定方向であるかを判定し、前記ジェスチャーの動作方向が前記所定方向であると判定した場合、前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識するよう動作するプロセッサと、
を備えるジェスチャー認識システム。
【請求項１４】
ユーザのジェスチャーの動作を検出するセンサと、
複数の被操作装置と、
プロセッサと、
を備え、
前記プロセッサは、
前記センサの検出データに基づいて前記ジェスチャーの動作方向を求め、
前記ジェスチャーの動作方向が前記被操作装置を基準とした所定方向であるかを、前記複数の被操作装置について判定し、
前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識するよう動作する
ジェスチャー認識システム。
【請求項１５】
プロセッサが、ユーザのジェスチャーの動作方向が前記被操作装置を基準とした所定方向であるかを、少なくとも１以上の被操作装置について判定し、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識する
ことを含むジェスチャー認識方法。
【請求項１６】
ユーザのジェスチャーの動作方向が、前記被操作装置を基準とした所定方向であるかを、少なくとも１以上の被操作装置について判定し、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識する動作をプロセッサに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ジェスチャー認識装置、ジェスチャー認識システム、ジェスチャー認識方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
特許文献１は、ジェスチャーによる操作入力装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１０４２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ジェスチャーによる命令を受け付ける装置においては、意図しない誤動作を抑制することが望まれる。特に、ある装置へ向けられたジェスチャーによって、他の装置が誤動作することを防止することが望まれる。他の装置の誤動作を防止するには、命令となるジェスチャー装置毎に異ならせることが考えられる。しかし、この場合、ユーザは装置毎のジェスチャーを覚える必要があり、ユーザの負担が大きい。したがって、ジェスチャー操作において、ユーザの負担を大きくすることなく、他の装置の誤動作を防止することが望まれる。
【０００５】
ここで、特許文献１は、ジェスチャーによる操作対象の数が増えた場合に対処するため、手の操作を判定し、判定操作に基づいて選択したメニューを表示する技術を開示している。しかし、特許文献１の技術では、メニューの表示が必要となる。したがって、特許文献１の技術のようなアプローチをとることなく、ユーザの負担を抑えつつ、他の装置の誤動作を防止することが望まれる。
【課題を解決するための手段】
【０００６】
本開示のある側面は、ジェスチャー認識装置である。開示のジェスチャー認識装置は、ユーザのジェスチャーの動作方向が、前記被操作装置を基準とした所定方向であるかを、少なくとも１以上の被操作装置について判定し、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識するよう動作するプロセッサを備える。
【０００７】
本開示の他の側面は、ジェスチャー認識システムである。開示のジェスチャー認識システムは、ユーザのジェスチャーの動作を検出するセンサと、前記センサの検出データに基づいて前記ジェスチャーの動作方向を求め、前記ジェスチャーの動作方向が、被操作装置を基準とした所定方向であるかを判定し、前記ジェスチャーの動作方向が前記所定方向であると判定した場合、前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識するよう動作するプロセッサと、を備える。
【０００８】
開示のジェスチャー認識システムは、ユーザのジェスチャーの動作を検出するセンサと、複数の被操作装置と、プロセッサと、を備えることもできる。前記プロセッサは、前記センサの検出データに基づいて前記ジェスチャーの動作方向を求め、前記ジェスチャーの動作方向が前記被操作装置を基準とした所定方向であるかを、前記複数の被操作装置について判定し、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識するよう動作する。
【０００９】
本開示の他の側面は、ジェスチャー認識方法である。開示の方法は、プロセッサが、ユーザのジェスチャーの動作方向が前記被操作装置を基準とした所定方向であるかを、少なくとも１以上の被操作装置について判定し、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識することを含む。
【００１０】
本開示の他の側面は、コンピュータプログラムである。開示のコンピュータプログラムは、ユーザのジェスチャーの動作方向が、前記被操作装置を基準とした所定方向であるかを、少なくとも１以上の被操作装置について判定し、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識する動作をプロセッサに実行させる。
【発明の効果】
【００１１】
本開示によれば、ユーザの負担を抑えつつ、他の被操作装置の誤動作を防止できる。
【図面の簡単な説明】
【００１２】
【図１】図１は、ジェスチャー認識システムのハードウェア構成図である。
【図２】図２は、ジェスチャー認識システムの機能ブロック図である。
【図３】図３は、認識処理のフローチャートである。
【図４】図４は、事前ジェスチャー認識の説明図である。
【図５】図５は、命令ジェスチャー認識の説明図である。
【図６】図６は、他の実施形態に係るジェスチャー認識システムのハードウェア構成図である。
【図７】図７は、他の実施形態に係るジェスチャー認識システムの機能ブロック図である。
【図８】図８は、他の実施形態に係る認識処理のフローチャートである。
【図９】図９は、他の実施形態における事前ジェスチャー認識の説明図である。
【図１０】図１０は、設定処理の説明図である。
【発明を実施するための形態】
【００１３】
［本開示の実施形態の説明］
【００１４】
（１）実施形態に係るジェスチャー認識装置は、プロセッサを備える。プロセッサは、ユーザのジェスチャーの動作方向が、前記被操作装置を基準とした所定方向であるかを、少なくとも１以上の被操作装置について判定するよう動作する。プロセッサは、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識するよう動作する。同じジェスチャーであっても、異なる位置に設置された被操作装置それぞれを基準とすると、ジェスチャーの動作方向は異なる。したがって、ジェスチャー動作方向が、被操作装置を基準とした所定方向であるか否かによって、ジェスチャーがどの被操作装置に向けられたものであるかを識別することができ、ジェスチャーが向けられていない被操作装置の誤動作を防止できる。しかも、複数の被操作装置に対するジェスチャーは共通のものでよく、ユーザの負担を抑えることができる。
【００１５】
（２）前記プロセッサは、前記被操作装置を前記対象被操作装置として認識した後に行われたジェスチャーを、前記対象操作装置に対する命令ジェスチャーとして認識するよう更に動作することができる。この場合、命令ジェスチャーは、対象被操作装置だけが認識することになる。
【００１６】
（３）前記プロセッサは、前記命令ジェスチャーの動作方向が前記対象被操作装置を基準とした所定の方向であるかを判定することなく、前記命令ジェスチャーの動作に基づいて、前記命令ジェスチャーが示す命令を認識することができる。この場合、命令ジェスチャーについて動作方向の判定が不要となり、処理負荷が軽減される。
【００１７】
（４）前記プロセッサは、前記ジェスチャーの動作を検出するセンサの検出データに基づいて、前記動作方向を求めるよう更に動作することができる。この場合、動作方法は、センサの検出データに基づいて求められる。
【００１８】
（５）前記センサは、前記被操作装置とは離れて設置されていてもよい。前記プロセッサは、前記検出データに基づいて、前記ジェスチャーの変換前動作方向を求め、前記センサと前記被操作装置との位置関係に基づいて前記変換前動作方向を変換することで、前記動作方向を求めることができる。ここで、前記変換前動作方向は、前記センサを基準とした方向である。前記動作方向は、前記被操作装置を基準とした方向である。この場合、センサと被操作装置離れていても、センサの検出データに基づき、被操作装置を基準とした動作方向を求めることができる。
【００１９】
（６）前記動作方向は、前記センサと複数の前記被操作装置それぞれとの位置関係に基づいて、複数の前記被操作装置それぞれを基準とした方向として求められるのが好ましい。この場合、複数の被操作装置それぞれの動作方向が得られる。
【００２０】
（７）前記所定方向は、前記被操作装置の位置から前記ジェスチャーが行われた位置へ向かう第１方向を基準とした方向であるのが好ましい。この場合、動作方向が所定方向であるか否かを、動作方向と第１方向との比較により判定できる。
【００２１】
（８）前記プロセッサは、前記ジェスチャーが行われた位置を検出するセンサの検出データに基づいて、前記第１方向を求めるよう更に動作することができる。この場合、第１方向は、センサの検出データに基づいて求められる。
【００２２】
（９）前記センサは、前記被操作装置とは離れて設置されていてもよい。この場合、前記プロセッサは、前記検出データに基づいて、前記センサから前記ジェスチャーが行われた位置へ向かう変換前第１方向を求めることができる。また、前記プロセッサは、前記センサと前記被操作装置との位置関係に基づいて前記変換前第１方向を変換することで、前記第１方向を求めることができる。この場合、センサと被操作装置とが離れていても、センサの検出データから第１方向を求めることができる。
【００２３】
（１０）前記第１方向は、前記センサと複数の前記被操作装置それぞれとの位置関係に基づいて、複数の前記被操作装置それぞれから前記ジェスチャーが行われた位置へ向かう方向として求められるのが好ましい。この場合、複数の被操作装置それぞれについての第１方向が得られる。
【００２４】
（１１）前記プロセッサは、前記対象被操作装置として認識された前記被操作装置をユーザへ通知するよう更に動作するのが好ましい。この場合、ユーザは、対象被操作装置を容易に認識することができる。
【００２５】
（１２）前記プロセッサは、前記位置関係の設定処理を実行するよう更に動作することができる。この場合、位置関係の設定が可能となる。
【００２６】
（１３）実施形態に係るジェスチャー認識システムは、ユーザのジェスチャーの動作を検出するセンサと、プロセッサと、を備える。プロセッサは、前記センサの検出データに基づいて前記ジェスチャーの動作方向を求め、前記ジェスチャーの動作方向が、被操作装置を基準とした所定方向であるかを判定し、前記ジェスチャーの動作方向が前記所定方向であると判定した場合、前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識するよう動作する。
【００２７】
（１４）実施形態に係るジェスチャー認識システムは、ユーザのジェスチャーの動作を検出するセンサと、複数の被操作装置と、プロセッサと、を備えることができる。前記プロセッサは、前記センサの検出データに基づいて前記ジェスチャーの動作方向を求め、前記ジェスチャーの動作方向が前記被操作装置を基準とした所定方向であるかを、前記複数の被操作装置について判定し、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識するよう動作することができる。
【００２８】
（１５）実施形態に係るジェスチャー認識方法は、プロセッサが、ユーザのジェスチャーの動作方向が前記被操作装置を基準とした所定方向であるかを、少なくとも１以上の被操作装置について判定し、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識することを含む。
【００２９】
（１６）実施形態に係るコンピュータプログラムは、ユーザのジェスチャーの動作方向が、前記被操作装置を基準とした所定方向であるかを、少なくとも１以上の被操作装置について判定し、前記ジェスチャーの動作方向が前記所定方向であると判定された前記被操作装置を、前記ジェスチャーが向けられた対象被操作装置として認識する動作をプロセッサに実行させる。コンピュータプログラムは、コンピュータ読み取り可能な、非一時的な記憶媒体に格納される。
【００３０】
［本開示の実施形態の詳細］
【００３１】
図１は、実施形態に係るジェスチャー認識システム１０を示している。実施形態のジェスチャー認識システム１０は、センサ５０及びセンサ５０に接続された認識装置１５を備える。実施形態の認識装置１５は、センサ５０により検出されたジェスチャーを認識し、認識したジェスチャーに応じた命令を被操作装置６０に実行させる。被操作装置６０は、ジェスチャーによる操作が可能な機器であり、例えば、スマート家電、車載装置、又はその他の機器である。被操作装置６０は、有線又は無線によって、認識装置１５に接続されている。
【００３２】
センサ５０は、ジェスチャー動作を検出する。実施形態のセンサ５０は、センサ５０から検出対象までの相対的な距離、検出対象の位置（方位）、及び検出対象の速度を、検出データとして出力する。センサ５０は、例えば、ミリ波センサである。ミリ波センサは、周波数変調連続波（ＦＭＣＷ）ミリ波センサであるのが好ましい。ＦＭＣＷミリ波センサは、検出対象までの相対的な距離、検出対象の位置（方位）、及び検出対象の速度を検出することができる。
【００３３】
実施形態のセンサ５０は、ジェスチャー動作として、ユーザの手の動作を検出する。手の動作は、片手の動作であってもよいし、両手の動作であってもよい。ジェスチャー動作は、手の動作に限られず、ユーザの他の身体部位の動きであってもよい。
【００３４】
実施形態の認識装置１５は、センサ５０から出力された検出データに基づき、ジェスチャーを行っている手までの距離と位置（方位）、及び速度を監視し、手の動きを追跡する。認識装置１５は、手の動きを追跡することで、手が、どの位置で、どのような動作を行っているかを判別することができる。
【００３５】
実施形態の認識装置１５は、ジェスチャーが、特定の被操作装置６０（又は特定のセンサ５０）に向けられているのか、他の被操作装置６０（又は他のセンサ５０）に設けられているのかを判別する機能を有する。認識装置１５は、この機能を備えることで、ジェスチャーの動作内容が同じであっても、ジェスチャーが向けられている対象被操作装置６０（対象センサ５０）を識別することができる。なお、ここでは、一例として、被操作装置６０とセンサ５０とは一対一であり、両者５０，６０は非常に近接しており、同じ場所に存在しているものとみなされる。したがって、特定の被操作装置６０に向けられたジェスチャーは、その特定の被操作装置６０に設けられたセンサ５０に向けられているとみなすこともできる。
【００３６】
実施形態においては、ジェスチャーとして、事前ジェスチャー（第１ジェスチャー）と命令ジェスチャー（第２ジェスチャー）とが用いられる。事前ジェスチャーは、特定の被操作装置６０が、ジェスチャーによる操作の対象である対象被操作装置であることを、認識装置１５に認識させるためのジェスチャーである。事前ジェスチャーの動作内容は、複数の被操作装置６０について共通でよい。事前ジェスチャーは、例えば、手を左右に振る動作である。事前ジェスチャーは、ジェスチャーによる操作の対象となる対象被操作装置６０に向けて行われる。認識装置１５は、ジェスチャーの動作方向に基づいて、ジェスチャーが向けられている対象被操作装置６０を識別する。
【００３７】
ここでは、一例として、図１に示すように、一つの被操作装置６０に対して、一つの認識装置１５に対して、一つの被操作装置６０だけが接続されているものとする。したがって、認識装置１５は、事前ジェスチャーが、自装置１５に接続された被操作装置６０に向けられたものであるか否か、すなわち、自装置１５に接続された被操作装置６０が対象被操作装置であるか否かを識別する。
【００３８】
認識装置１５は、事前ジェスチャーによって、自装置１５に接続された被操作装置６０が対象被操作装置であることを識別すると、対象被操作装置６０に対する命令ジェスチャーによる命令を受付可能なモードになる。命令ジェスチャーは、対象被操作装置６０に対する命令となるジェスチャーである。事前ジェスチャーが行われても、その事前ジェスチャーが被操作装置６０に向けられていなければ、認識装置１５は、命令ジェスチャーを受け付けるモードにならない。
【００３９】
ここで、複数の被操作装置６０が存在する場合、複数の被操作装置６０毎に、事前ジェスチャーの動作内容を異ならせることで、命令ジェスチャーが向けられる被操作装置６０を区別することが考えられる。この場合、ユーザは、複数の被操作装置６０毎に異なる事前ジェスチャーの動作内容を覚える必要があり、ユーザの負担が大きい。これに対して、本実施形態では、複数の被操作装置６０が存在しても、事前ジェスチャーの動作内容自体は共通でよい。事前ジェスチャーが、命令ジェスチャーを与えたい被操作装置６０に向けて行われることで、認識装置１５は、命令ジェスチャーが与えられるべき被操作装置６０を識別することができる。
【００４０】
なお、事前ジェスチャーの動作内容は、特に限定されない。事前ジェスチャーの動作内容は、センサ５０に向けて手を左右に振る動作のほか、例えば、センサ５０に向けて手を上下に振る動作、センサ５０に向けて指を指すことを複数回繰り返す動作、両手をセンサ５０に向けて広げる動作、センサ５０に向けて手を回す動作、又はセンサ５０に向けて手を前後に振る動作であってもよい。
【００４１】
実施形態の認識装置１５は、コンピュータによって構成される。図１に示すように、コンピュータは、プロセッサ２０及びプロセッサ２０に接続されたメモリ３０を備える。メモリ３０には、コンピュータを認識装置１５として機能させるコンピュータプログラム３５が格納されている。プロセッサ２０は、メモリ３０に格納されたコンピュータプログラム３５を読み出して実行する。コンピュータプログラム３５は、プロセッサ２０に、図３に示す認識処理２１（後述）を実行させる。なお、実施形態のメモリ３０は、一次記憶装置及び二次記憶装置を含む。メモリ３０は、三次記憶装置を含んでもよい。
【００４２】
認識装置１５は、センサ５０から出力された検出データを受信する。メモリ３０には、受信した検出データ３１が格納されている。プロセッサ２０は、認識処理２１の際に、メモリ３０に格納された検出データ３１を読み出し、自装置１５に接続された被操作装置６０が対象被操作装置であるか否かを識別する。
【００４３】
図２は、コンピュータプログラム３５がプロセッサ２０により実行されることにより発揮される機能をブロック図として示している。図２に示すように、認識装置１５は、機能ブロックとして、事前ジェスチャーである第１ジェスチャー監視部１５１と命令ジェスチャーである第２ジェスチャー監視部１５５とを備える。第１ジェスチャー監視部１５１及び第２ジェスチャー監視部１５５は、センサ５０の検出データ３１から、ジェスチャー動作となるユーザの手の動作を検出する。
【００４４】
第１ジェスチャー監視部１５１は、後述の図３におけるステップＳ１０１及びＳ１０２に相当する。第２ジェスチャー監視部１５５は、同じ図３におけるステップＳ１０７及びＳ１０８に相当する。
【００４５】
認識装置１５は、機能ブロックとして、判定部１５２を備える。判定部１５２は、第１ジェスチャー（事前ジェスチャー）が自装置１５向けジェスチャーであるか否かを判定する。判定部１５２は、後述のように、ジェスチャーの動作方向に基づいて判定する。判定部１５２が、事前ジェスチャーを自装置１５向けジェスチャーであると判定した場合、第２ジェスチャー監視部１５５が有効になる。判定部１５２が、事前ジェスチャーを自装置１５向けジェスチャーであると判定していない場合、第２ジェスチャー監視部１５５は無効である。なお、判定部１５２は、後述の図３におけるステップＳ１０３からＳ１０５に相当する。
【００４６】
認識装置１５は、機能ブロックとして、通知装置７０に対する通知処理を行う通知部１５３を備える。通知部１５３は、事前ジェスチャーによって、被操作装置６０が対象被操作装置として認識されたことを、ユーザに通知するための処理を行う。通知装置７０は、音、光、画面表示、振動などによって、ユーザへの通知を行う。通知装置７０は、被操作装置６０に備わっていてもよい。なお、通知部１５３は、後述の図３におけるステップＳ１０６に相当する。
【００４７】
認識装置１５は、機能ブロックとして、命令実行部１５６を備える。命令実行部１５６は、第２ジェスチャー監視部１５５によって検出された命令ジェスチャーの動作内容を識別し、動作内容が示す命令を、被操作装置６０に与える。なお、命令実行部１５６は、後述の図３におけるステップＳ１０９に相当する。
【００４８】
図３は、コンピュータプログラム３５に従って認識装置１５において実行される認識処理２１の手順を示している。ステップＳ１０１において、プロセッサ２０は、センサ５０の検出データ３１に基づき、ユーザの手の動きを検出し、事前ジェスチャーを監視する。事前ジェスチャー監視は、事前ジェスチャーが行われるまで継続される。なお、事前ジェスチャーの監視中は、命令ジェスチャーの監視は行われない。
【００４９】
ユーザが、事前ジェスチャーとして設定された動作を行うと、プロセッサ２０は、事前ジェスチャーが行われたことを検出する（ステップＳ１０２においてＹｅｓ）。事前ジェスチャーが行われたことの検出は、例えば、事前ジェスチャー動作内容を認識するための機械学習済みモデルを用いて行うことができる。
【００５０】
プロセッサ２０は、検出された事前ジェスチャーが、自装置１５に接続された被操作装置６０（又はセンサ５０）に向けられたものであるかを判定する（ステップＳ１０３からステップＳ１０５）。判定は、事前ジェスチャーの動作方向（例えば、手を振る方向）が、被操作装置６０を基準とした所定方向であるか否かを識別することによって行われる。ここでは、一例として、図４に示すように、被操作装置６０からジェスチャーが行われた位置へ向かう第１ベクトル（第１方向）Ｖ１が、手を振る方向（動作方向）の第２ベクトルＶ２と直交するかどうかによって判定される。所定方向は、第１ベクトルＶ１と直交する方向に限られず、例えば、第１ベクトルＶ１に対して直交以外の所定角度で交差する方向であってもよいし、第１ベクトルＶ１に対して平行な方向であってもよい。
【００５１】
直交するかどうかの判定において、プロセッサ２０は、第１ジェスチャー（事前ジェスチャー）が行われた位置（第１ジェスチャー位置）を示す検出データから、被操作装置６０（センサ５０）から第１ジェスチャー位置へ向かう第１ベクトルＶ１を計算する（ステップＳ１０３）。ここで、被操作装置６０は、センサ５０と同じ位置にあるものとみなされる。
【００５２】
プロセッサ２０は、手を振る動作を追跡した検出データから、手を振る動作の動作方向を示す第２ベクトルＶ２を計算する（ステップＳ１０４）。そして、プロセッサ２０は、第１ベクトルＶ１と第２ベクトルＶ２とが直交しているか否かを判定する（ステップＳ１０５）。
【００５３】
直交している場合（ステップＳ１０５においてＹｅｓ）、プロセッサ２０は、事前ジェスチャーが自装置１５に接続された被操作装置６０に向けられたものであると判断する。すなわち、プロセッサ２０は、自装置１５に接続された被操作装置６０を、ジェスチャーが向けられた対象被操作装置として認識する。この場合、プロセッサ２０は、第２ジェスチャー監視部１５５としての機能を有効化し、その後に行われるジェスチャーを、自装置１５に接続された被操作装置６０に向けられた命令ジェスチャーとして受付可能になる。また、プロセッサ２０は、自装置１５に接続された被操作装置６０を、ジェスチャーが向けられた対象被操作装置として認識したことをユーザに通知する（ステップＳ１０６）。通知は、通知装置７０から、音、光等を出力させることによって行われる。通知により、ユーザは、被操作装置６０に対して命令ジェスチャーによる命令が行える状態であることを認識することができる。
【００５４】
直交していない場合（ステップＳ１０５においてＮｏ）、プロセッサ２０は、事前ジェスチャーは、自装置１５に接続された被操作装置６０に向けられたものではないと判断し、ステップＳ１０１に戻る。この場合、第２ジェスチャー監視部１５５としての機能は無効のまであり、その後に命令ジェスチャーが行われたとしても、プロセッサ２０はその命令ジェスチャーに対する動作をしない。
【００５５】
例えば、図４に示すように、第１ジェスチャー認識システム１０Ａ及び第２ジェスチャー認識システム１０Ｂが存在しているものとする。初期状態において、両システム１０Ａ，１０Ｂの認識装置１５は、いずれも、第１ジェスチャー監視モードＭ１にある。第１ジェスチャー監視モードＭ１では、第１ジェスチャーである事前ジェスチャーを監視し、第２ジェスチャーである命令ジェスチャーを監視しない。つまり、第１ジェスチャー監視モードＭ１では、第１ジェスチャー監視部１５１の機能が有効であり、第２ジェスチャー監視部１５５の機能が無効である。
【００５６】
この状態において、ユーザ１００は、第１ジェスチャー認識システム１０Ａの被操作装置（電球）６０又はセンサ５０に向かって（正対して）、事前ジェスチャーを行ったものとする。この場合、第１ジェスチャー認識システム１０Ａのセンサ５０（被操作装置６０）から第１ジェスチャー位置へ向かう第１ベクトルＶ１は、手を振る方向の第２ベクトルＶ２と直交する。したがって、第１ジェスチャー認識システム１０Ａの認識装置１５は、自装置１５に接続された被操作装置６０を、第１ジェスチャーが向けられた対象被操作装置として認識する。また、第１ジェスチャー認識システム１０Ａの認識装置１５は、自装置１５に接続された通知装置７０を動作させ、ステップＳ１０６の通知を行う。
【００５７】
一方、第２ジェスチャー認識システム１０Ｂのセンサ５０（被操作装置６０）から第１ジェスチャー位置へ向かう第１ベクトルＶ１は、手を振る方向の第２ベクトルＶ２とは直交しない。したがって、第２ジェスチャー認識システム１０Ｂの認識装置１５は、自装置１５に接続された被操作装置６０を、第１ジェスチャーが向けられた対象被操作装置としては認識しない。
【００５８】
したがって、図５に示すように、事前ジェスチャーが行われた後、第２ジェスチャー認識システム１０Ｂの認識装置１５は、第１ジェスチャー監視モードＭ１のままである一方、第１ジェスチャー認識システム１０Ａの認識装置１５は、第２ジェスチャー監視モードＭ２になる。第２ジェスチャー監視モードＭ２では、第２ジェスチャーである命令ジェスチャーが監視される。つまり、第２ジェスチャー監視モードＭ２では、第２ジェスチャー監視部１５５の機能が有効であり、第１ジェスチャー監視部１５１の機能が無効である。第２ジェスチャー認識システム１０Ｂの認識装置１５は、第１ジェスチャー監視モードＭ１のままであるため、第１ジェスチャー認識システム１０Ａに向けて行われた命令ジェスチャーによる誤動作が防止される。
【００５９】
第２ジェスチャー監視モードＭ２になった第１ジェスチャー認識システム１０Ａの認識装置１５は、第１ジェスチャー位置付近で行われる第２ジェスチャー（命令ジェスチャー）を監視する（図３のステップＳ１０７）。図５に示すように、第１ジェスチャー位置付近の所定範囲が、命令ジェスチャーの実行可能範囲２００である。実行可能範囲２００は、事前ジェスチャーが行われた位置を示す検出データ３１に基づき設定される。実行可能範囲２００は、例えば、第１ジェスチャー位置を中心とする所定半径の領域である。プロセッサ２０は、実行可能範囲２００内で行われるジェスチャーだけを監視し、実行可能範囲２００外で行われたジェスチャーは命令ジェスチャーとして認識しない。
【００６０】
ユーザが、実行可能範囲２００内において、命令ジェスチャーとして設定された動作を行うと、第２ジェスチャー監視モードＭ２になっているプロセッサ２０は、命令ジェスチャーが行われたことを検出する（ステップＳ１０８においてＹｅｓ）。この場合、プロセッサ２０は、命令ジェスチャーの動作内容に応じた命令内容を認識し、その命令を被操作装置６０に与える（ステップＳ１０９）。命令は、例えば、電球である被操作装置６０の点灯命令である。点灯命令が与えられると、電球である被操作装置６０は点灯する。プロセッサ２０は、命令実行をすると、第１ジェスチャー監視モードＭ１に戻る。
【００６１】
実施形態においては、プロセッサ２０は、命令ジェスチャーの動作を検出するだけであり、事前ベクトルに対してステップＳ１０３からステップＳ１０５で行われたような動作方向の判定は行わない。命令ジェスチャーの動作の検出は、例えば、ジェスチャー動作内容を認識するための機械学習済みモデルを用いて行われる。機械学習済みモデルを用いて、命令ジェスチャーを検出する場合、十分に学習されていれば、ジェスチャーが対象被操作装置６０に向けられていなくても、すなわち、動作方向が所定方向でなくても、命令ジェスチャーを検出することができる。したがって、ユーザは、命令ジェスチャー実施時には、対象被操作装置６０に正対している必要がなく、ユーザの自由度が高まる。
【００６２】
プロセッサ２０は、第２ジェスチャー監視モードＭ２になってから所定時間内に命令ジェスチャーを検出しない場合、第２ジェスチャー監視モードＭ２を終了し、第１ジェスチャー監視モードＭ１に戻る（ステップＳ１１０）。
【００６３】
図６は、他の実施形態に係るジェスチャー認識システム１０Ｃを示している。なお、他の実施形態において、特に説明しない点については、図１から図５に基づく説明が援用される。
【００６４】
図６では、被操作装置６１，６２とセンサ５０とが離れている。より具体的には、一つの認識装置１５に対して、複数の被操作装置６１，６２が接続されている。複数の被操作装置６１，６２は互いに離れた位置に設置されている。また、認識装置１５に接続されたセンサ５０は、被操作装置６１に向けられたジェスチャーと、被操作装置６２に向けられたジェスチャーと、を検出することができる位置に設置されている。センサ５０と複数の被操作装置６１，６２それぞれとの相対的位置関係は、認識装置１５にとって既知である。
【００６５】
センサ５０が、被操作装置６１，６２とは離れて設置されているため、図６に示す認識装置１５は、センサ５０と被操作装置６１，６２との位置関係に基づく変換を行って、事前ジェスチャーが、複数の被操作装置６１，６２のうちのいずれに向けられたものであるかを判定する。これにより、複数の被操作装置６１，６２に対するジェスチャー操作を、一つの認識装置１５によって処理することが可能となる。図６に示すように、メモリ３０には、センサ５０と被操作装置６１，６２との位置関係に基づく変換を行いために参照される変換用参照データ３３が格納されている。また、プロセッサ２０は、変換用参照データ３３の設定のための設定処理２３（後述）を、コンピュータプログラム３５に従って実行することができる。
【００６６】
図７は、図６に示す他の実施形態に係る認識装置１５において、コンピュータプログラム３５がプロセッサ２０により実行されることにより発揮される機能をブロック図として示している。図７では、図２に示す機能ブロックに加えて、座標変換部１５７を備えている。また、図７では、第１被操作装置６１に対するジェスチャー認識のための第１処理部１６１と、第２被操作装置６２に対するジェスチャー認識のための第２処理部１６２と、を備えている。
【００６７】
第１処理部１６１は、図２に示す機能ブロックに加えて、座標変換部１５７を備えており、第１被操作装置６１のための認識処理２１を実行する。第２処理部１６２は、第１処理部１６１と同様の構成であり、第２被操作装置６２のための認識処理２１を実行する。
【００６８】
図８は、第１処理部１６１及び第２処理部１６２それぞれで実行される認識処理２１を示している。ただし、以下では、理解の容易のため、第１処理部１６１において実行される認識処理２１を例として説明する。ステップＳ１０１において、プロセッサ２０は、プロセッサ２０は、センサ５０の検出データ３１に基づき、ユーザの手の動きを検出し、事前ジェスチャーを監視する。
【００６９】
ユーザが、事前ジェスチャーとして設定された動作を行うと、プロセッサ２０は、事前ジェスチャーが行われたことを検出する（ステップＳ１０２においてＹｅｓ）。
【００７０】
プロセッサ２０は、検出された事前ジェスチャーが、自装置１５に接続された被操作装置６０（又はセンサ５０）に向けられたものであるかを判定する（ステップＳ１０３からステップＳ１０５）。具体的には、プロセッサ２０は、変換前第１ベクトルＶ１１を計算する（ステップＳ１０３）。変換前第１ベクトルＶ１１は、第１ジェスチャー（事前ジェスチャー）が行われた位置（第１ジェスチャー位置）を示す検出データから計算される。図９に示すように、変換前第１ベクトルＶ１１は、センサ５０から第１ジェスチャー位置へ向かうベクトルである。変換前第１ベクトルＶ１１は、例えば、センサ５０の位置を原点とするセンサ座標系におけるベクトルとして表される。
【００７１】
プロセッサ２０は、変換前第２ベクトルＶ２２を計算する（ステップＳ１０４）。変換前第２ベクトルＶ２２は、手を振る動作を追跡した検出データから計算される。図９に示すように、変換前第２ベクトルＶ２２は、センサ５０を基準とした場合の、手を振る動作の動作方向（変換前動作方向）を示す。変換前第２ベクトルＶ２２は、例えば、センサ５０の位置を原点とするセンサ座標系におけるベクトルとして表される。
【００７２】
プロセッサ２０は、変換前第１ベクトルＶ１１及び変換前第２ベクトルＶ２２を、変換用参照データ３３を用いて変換し、第１ベクトルＶ１及び第２ベクトルＶ２を得る（ステップＳ１０４−１，Ｓ１０４−２）。
【００７３】
ステップＳ１０４−１では、センサ５０と被操作装置６１との相対位置関係に基づき、センサ座標系から被操作装置座標系への変換が行われる。被操作装置座標系は、被操作装置６１の位置を原点とする座標系である。
【００７４】
ステップＳ１０４−２では、センサ５０と被操作装置６１との相対位置関係に基づき、被操作装置座標系の変換前第１ベクトルＶ１１及び変換前第２ベクトルＶ２２を回転させ、第１ベクトルＶ１及び第２ベクトルＶ２が得られる。第１ベクトルＶ１は、被操作装置６１から第１ジェスチャー位置へ向かうベクトルである。第２ベクトルＶ２は、被操作装置６１を基準とした場合の、手を振る動作の動作方向を示す。
【００７５】
そして、プロセッサ２０は、第１ベクトルＶ１と第２ベクトルＶ２とが直交しているか否かを判定する（ステップＳ１０５）。
【００７６】
直交している場合（ステップＳ１０５においてＹｅｓ）、プロセッサ２０は、事前ジェスチャーが自装置１５に接続された被操作装置６０に向けられたものであると判断する。また、プロセッサ２０は、自装置１５に接続された被操作装置６０を、ジェスチャーが向けられた対象被操作装置として認識したことをユーザに通知する（ステップＳ１０６）。
【００７７】
直交していない場合（ステップＳ１０５においてＮｏ）、プロセッサ２０は、事前ジェスチャーは、自装置１５に接続された被操作装置６０に向けられたものではないと判断し、ステップＳ１０１に戻る。
【００７８】
図８において、ステップＳ１０６以降の処理は、図示されていないが、図３と同様である。すなわち、図８に示すステップＳ１０６の次には、図３に示すステップＳ１０７以降の処理が実行される。
【００７９】
図１０は、ベクトル変換に用いられる変換用参照データ３３の設定処理２３の実施の説明図である。ここでは、第１被操作装置６１としてのテレビ用の変換用参照データ３３の設定について説明する。プロセッサ２０は、設定処理２３のため、テレビ６１の画面等に、ユーザ１００に対して、事前ジェスチャーとなる動作を指示する表示を行わせる。図１０では、一例として「テレビ正面で手を振ってください」旨の表示がなされている。ユーザ１００が、動作の指示に従って、テレビ６１の正面で手を振った場合、テレビ６１からジェスチャー位置に向かうベクトルと手を振る方向とは直交しているはずである。認識装置１５は、ユーザ１００が手を振っているときにおいて、センサ５０の検出データに基づいて、センサ５０からジェスチャー位置に向かう学習第１ベクトルＶ１１１と、センサ５０を基準とした手を振る方向を示す学習第２ベクトルＶ２２２と、を計算する。プロセッサ２０は、学習第１ベクトルＶ１１１と学習第２ベクトルＶ２２２とから、変換用参照データ３３を計算し、メモリ３０に保存する。保存された変換用参照データ３３は、事前ジェスチャーの認識に用いられる。
【００８０】
［付記］
【００８１】
なお、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味、及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００８２】
１０          ：ジェスチャー認識システム
１０Ａ        ：第１ジェスチャー認識システム
１０Ｂ        ：第２ジェスチャー認識システム
１０Ｃ        ：ジェスチャー認識システム
１５          ：認識装置
２０          ：プロセッサ
２１          ：認識処理
２３          ：設定処理
３０          ：メモリ
３１          ：検出データ
３３          ：変換用参照データ
３５          ：コンピュータプログラム
５０          ：センサ
６０          ：被操作装置
６１          ：第１被操作装置
６２          ：第２被操作装置
７０          ：通知装置
１００        ：ユーザ
１５１        ：第１ジェスチャー監視部
１５２        ：判定部
１５３        ：通知部
１５５        ：第２ジェスチャー監視部
１５６        ：命令実行部
１５７        ：座標変換部
１６１        ：第１処理部
１６２        ：第２処理部
２００        ：実行可能範囲
Ｍ１          ：第１ジェスチャー監視モード
Ｍ２          ：第２ジェスチャー監視モード
【図１】
2020119042.tif 000003
【図２】
2020119042.tif 000004
【図３】
2020119042.tif 000005
【図４】
2020119042.tif 000006
【図５】
2020119042.tif 000007
【図６】
2020119042.tif 000008
【図７】
2020119042.tif 000009
【図８】
2020119042.tif 000010
【図９】
2020119042.tif 000011
【図１０】
2020119042.tif 000012