(57)【要約】【課題】直感的なハンドジェスチャによって操作対象物を作動可能な遠隔操作システムを提供する。【解決手段】ジェスチャ認識部９は、ユーザが手の位置及び手の平の向きの組み合わせで表すハンドジェスチャを、画像撮影部１１の画像データＳａ１を画像認識処理する。作動制御部１９は、ハンドジェスチャの手の位置から間接的に決まる空間状の位置を目標にして、ハンドジェスチャに応じた態様で操作対象物２を作動させる。【選択図】図１
2018206073.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが操作対象物を選択する操作を認識する操作対象認識部と、
ユーザの手の位置と手の平の向きとで表現するハンドジェスチャにより前記操作対象物を操作する場合に、当該ハンドジェスチャを、ユーザの動きを検出する動き検出部の検出信号を基に認識するジェスチャ認識部と、
前記ハンドジェスチャの手の位置から間接的に決まる空間上の位置を目標にして、当該ハンドジェスチャに応じた態様で前記操作対象物を作動させる作動制御部と
を備えた遠隔操作システム。
【請求項２】
前記ジェスチャ認識部は、ユーザの前記手の位置から間接的に前記操作対象物の作動目標位置又は作動境界を設定し、ユーザの前記の手の平の向きから前記操作対象物の作動方向を設定する
請求項１に記載の遠隔操作システム。
【請求項３】
前記ジェスチャ認識部は、ユーザの手の位置とユーザの視線とを認識し、手の位置と視線との組み合わせから、前記操作対象物の作動目標位置又は作動境界を設定する
請求項１又は２に記載の遠隔操作システム。
【請求項４】
前記ジェスチャ認識部は、ユーザの手の位置を通る視線方向の延長線上の位置を、前記操作対象物の作動目標位置又は作動境界として設定する
請求項１〜３のうちいずれか一項に記載の遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作対象物をハンドジェスチャにより遠隔操作可能な遠隔操作システムに関する。
【背景技術】
【０００２】
従来、操作者のハンドジェスチャと発話とを通じて車載機器を作動させる遠隔操作システム（車載機器用インターフェース）が周知である（特許文献１等参照）。特許文献１は、例えばハンドジェスチャとして、「あれ」、「それ」、「これ」、「ここ」等の指示代名詞を発話しつつ空間上の位置を指差しすることにより、車載機器の作動状態（例えばエアーコンディショナー装置の風向き等）を調整する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３１１１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この種の遠隔操作システムにおいては、ハンドジェスチャによって操作対象物の作動状態を設定するにあたり、これを直感的な操作としたいニーズがあった。ジェスチャ操作が直感的な操作となれば、ジェスチャの操作態様と操作対象物の作動態様とがリンクし易くなり、ユーザにとって操作の分かり易さを確保することに繋がる。
【０００５】
本発明の目的は、直感的なハンドジェスチャによって操作対象物を作動可能な遠隔操作システムを提供することにある。
【課題を解決するための手段】
【０００６】
前記問題点を解決する遠隔操作システムは、ユーザが操作対象物を選択する操作を認識する操作対象認識部と、ユーザの手の位置と手の平の向きとで表現するハンドジェスチャにより前記操作対象物を操作する場合に、当該ハンドジェスチャを、ユーザの動きを検出する動き検出部の検出信号を基に認識するジェスチャ認識部と、前記ハンドジェスチャの手の位置から間接的に決まる空間上の位置を目標にして、当該ハンドジェスチャに応じた態様で前記操作対象物を作動させる作動制御部とを備えた。
【０００７】
本構成によれば、ユーザが操作対象物を操作するとき、手の位置と手の平の向きとの組み合わせにより表すハンドジェスチャによって、操作対象物の作動態様を設定する。このように、ハンドジェスチャで操作対象物を操作するとき、手の位置と手の平の向きという操作の限度を表現し易い操作を通じて、操作対象物をどのように作動させるのかを決めることが可能となる。よって、直感的なハンドジェスチャによって操作対象物を作動させることが可能となる。
【０００８】
前記遠隔操作システムにおいて、前記ジェスチャ認識部は、ユーザの前記手の位置から間接的に前記操作対象物の作動目標位置又は作動境界を設定し、ユーザの前記の手の平の向きから前記操作対象物の作動方向を設定することが好ましい。この構成によれば、ユーザの手の位置を所望の位置に合わせるというハンドジェスチャにより操作対象物の作動目標位置や作動境界を決めるという直感的な操作によって、操作対象物を簡便に操作することが可能となる。また、手の平の向きから操作対象物の作動方向を決めるという直感的な操作によって、操作対象物の作動方向を設定することも可能となる。
【０００９】
前記遠隔操作システムにおいて、前記ジェスチャ認識部は、ユーザの手の位置とユーザの視線とを認識し、手の位置と視線との組み合わせから、前記操作対象物の作動目標位置又は作動境界を設定することが好ましい。この構成によれば、ユーザの手の位置と視線との組み合わせから特定される位置を、操作対象物の作動目標位置又は作動境界とするので、ユーザが望む目標に一致し易くなる。
【００１０】
前記遠隔操作システムにおいて、前記ジェスチャ認識部は、ユーザの手の位置を通る視線方向の延長線上の位置を、前記操作対象物の作動目標位置又は作動境界として設定することが好ましい。この構成によれば、ユーザから見た視線の高さを操作対象物の作動目標位置や作動境界とすることが可能となるので、ハンドジェスチャの操作を、より直感的な操作とするのに有利となる。
【発明の効果】
【００１１】
本発明によれば、直感的なハンドジェスチャによって操作対象物を作動させることができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態の遠隔操作システムの構成図。
【図２】ハンドジェスチャ操作の動作フロー図。
【図３】手の位置及び手の平の向きを用いて窓ガラスの開閉位置をハンドジェスチャで調整するときの態様図。
【図４】手の位置及び手の平の向きを決めて音声を発したときの態様図。
【図５】視線情報も考慮して決まる作動目標位置の態様図。
【図６】窓ガラスの開閉位置を高い位置に切り替えるときのハンドジェスチャの態様図。
【図７】（ａ），（ｂ）は第２実施形態のエアーコンディショナー装置の作動を切り替えるときのハンドジェスチャの態様図。
【図８】（ａ），（ｂ）は別例において手の平の向きに対し作動方向を逆の組み合わせとした場合の説明図。
【図９】（ａ），（ｂ）は他の別例においてルームミラーの表示をハンドジェスチャで調整するときの態様図。
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、遠隔操作システムの第１実施形態を図１〜図６に従って説明する。
図１に示すように、車両１は、ユーザの身体を使用した操作によって操作対象物２を遠隔操作する遠隔操作システム３を備える。本例の遠隔操作システム３は、例えばユーザのハンドジェスチャと音声とを組み合わせて操作対象物２を遠隔操作する。本例のハンドジェスチャは、例えば「手の位置」と「手の平の向き」との組み合わせによる操作態様をとる。また、本例の遠隔操作システム３は、例えば操作対象物２が車両ドア４の窓ガラス５の場合、窓ガラス５の開閉位置（高さ位置）を、ハンドジェスチャ及び音声の組み合わせによって調整する。
【００１４】
遠隔操作システム３は、ユーザが操作対象物２を選択する操作を認識する操作対象認識部８を備える。ユーザが操作を希望する操作対象物２を選択したとき、操作対象認識部８は、ユーザが選択操作した操作対象物２が何であるのか認識する。操作対象物２の選択では、ユーザが操作を希望する操作対象物２と、その操作対象物２の機能（どのように操作したいのか）とを選択する。
【００１５】
遠隔操作システム３は、ユーザが操作対象物２を遠隔操作する際に行うハンドジェスチャを認識するジェスチャ認識部９を備える。ジェスチャ認識部９は、ユーザの手の位置と手の平の向きとで表現するハンドジェスチャにより操作対象物２を操作する場合に、このハンドジェスチャを、ユーザの動きを検出する動き検出部１０の検出信号Ｓａを基に認識する。動き検出部１０は、ユーザを撮影可能な画像撮影部１１であり、例えばＴＯＦ（Time of Flight）カメラ等の距離画像カメラであることが好ましい。この場合、ジェスチャ認識部９は、画像撮影部１１から取得する３次元距離情報を含む画像データＳａ１を基に、ハンドジェスチャを認識する。
【００１６】
遠隔操作システム３は、ユーザが操作対象物２を遠隔操作する際に発する音声を認識する音声認識部１４を備える。音声認識部１４は、集音部１５から入力する音声データＳｂを基に、操作対象物２をどのように作動させるのかを指定するときに発する音声を認識する。集音部１５は、車内に設けられたマイクであることが好ましい。
【００１７】
遠隔操作システム３は、ユーザの遠隔操作に基づき操作対象物２の作動を制御する作動制御部１９を備える。作動制御部１９は、ハンドジェスチャの手の位置から間接的に決まる空間上の位置を目標にして、ハンドジェスチャに応じた態様で操作対象物２を作動させる。本例の場合、作動制御部１９は、ジェスチャ認識部９のハンドジェスチャ認識と、音声認識部１４の音声認識とを基に、操作対象物２がとるべき作動状態を求め、操作対象物２が前述の作動状態をとるように操作対象物２を制御する。
【００１８】
次に、図２〜図６を用いて、本発明の実施例である遠隔操作システム３の作用及び効果を説明する。ここでは、操作対象物２として「車両ドア４の窓ガラス５」を例に挙げる。
図２に示すように、ステップ１０１において、操作対象認識部８は、ユーザによる操作対象物２の選択操作を認識する。操作対象物２の選択操作では、例えば操作を所望する操作対象物２の指定と、操作対象物２をどのように作動させるかの機能の指定とを行う。操作対象物２の選択操作としては、例えば以下がある。
（I）音声のみで指定する方法
（II）指差し及び音声で指定する方法
（III）操作対象物２に設けられたスイッチ類の操作により指定する方法
（I）の方法の場合、例えば「ドアの窓を開ける」と声で言うなど、音声で操作対象物２を選択指定する。この場合、操作対象物２の選択時の音声を集音部１５で取得する。（II）の方法の場合、例えば車両ドア４の窓ガラス５を指差ししながら「あれ」と言うなど、操作を所望する操作対象物２を指差ししながら音声で指定する。この場合、指差しの画像を画像撮影部１１で取得し、音声を集音部１５で取得する。（III）の方法の場合、例えば車内（運転席）のパワーウィンドウ装置のスイッチを操作するなど、既設のスイッチ類を操作することで操作対象物２を選択指定する。
【００１９】
ステップ１０２において、ジェスチャ認識部９及び音声認識部１４は、操作対象物２の選択後にユーザが操作対象物２の作動状態の設定のために行ったハンドジェスチャ及び音声を入力する。本例の場合、ハンドジェスチャがジェスチャ認識部９により認識され、音声が音声認識部１４により認識される。
【００２０】
ここで、図３に示すように、閉状態の窓ガラス５の開状態とする場合を例に挙げる。このとき、ユーザは、自身の「手の位置」と「手の平の向き」とを使って、操作対象物２の作動状態を指定する。本例の場合、手の位置によって窓ガラス５の作動目標位置Ｐを指定し、手の平の向きによって窓ガラス５の作動方向Ｒを指定する。すなわち、ジェスチャ認識部９は、ユーザの手の位置から操作対象物２の空間上の作動目標位置Ｐを設定し、ユーザの手の平の向きから操作対象物２の作動方向Ｒを設定する。
【００２１】
作動目標位置Ｐは、ユーザが所望する窓ガラス５の開閉位置（開量）である。特に、本例の作動目標位置Ｐは、ユーザの手の位置の通る視線方向の延長線上の位置が、操作対象物２の作動目標位置として設定される。作動方向Ｒは、窓ガラス５の昇降方向である。本例の場合、手の平を下に向けて、窓ガラス５を位置させたい高さ辺りに手を位置させる。ここでは、手の平を向ける方向が窓ガラス５の作動方向Ｒになるので、窓ガラス５の作動方向Ｒは「下方向Ｒ１」になる。このハンドジェスチャは、車内に設置された画像撮影部１１によって撮影される。
【００２２】
図４に示すように、手の高さと手の平の向きとを決めた後、ユーザは、窓ガラス５の開閉位置の決定を表す言葉を発する。開閉位置の決定する言葉としては、例えば「ここまで」などがある。音声認識部１４は、ユーザの発生する言葉を集音部１５によって取り込み、例えば「ここまで」等の決定に類する言葉を入力すると、それを窓ガラス５の開閉位置の決定として認識する。
【００２３】
ジェスチャ認識部９は、ユーザが窓ガラス５の遠隔操作をハンドジェスチャによって行うとき、ハンドジェスチャを画像撮影部１１の画像データＳａ１から解析する。本例の場合、ジェスチャ認識部９は、画像撮影部１１の画像データＳａ１を画像認識処理して、ハンドジェスチャ時のユーザの手の位置と手の平の向きを解析し、これを基にユーザが所望する窓ガラス５の作動状態（所望する窓ガラス５の開閉位置）を認識（ハンドジェスチャ認識）する。
【００２４】
本例の場合、ジェスチャ認識部９は、ハンドジェスチャ認識を通じて、ユーザの手の位置から窓ガラス５の作動目標位置Ｐを設定し、ユーザの手の平の向きから窓ガラス５の作動方向Ｒを設定する。作動目標位置Ｐは、操作対象物２を作動させるときの目標位置であって、操作対象物２が窓ガラス５の場合、窓ガラス５の開閉位置（開量）に相当する。また、窓ガラス５の作動方向Ｒは、窓ガラス５の下降操作の場合、「下方向Ｒ１」に設定される。
【００２５】
なお、画像認識処理は、例えば画像処理、画像処理アルゴリズム、パターンマッチング、画像特徴抽出など、種々の手法が採用可能である。画像処理は、例えば画像に処理加工を施して情報を取り出す処理である。画像処理アルゴリズムは、例えば画像に対してコンピュータによる数学的な処理変換をかけて形状を特定する処理である。パターンマッチングは、例えば取得画像をテンプレートと比較して画像を認識する処理である。画像特徴抽出は、例えば画像から特徴を抽出して形状を特定する処理である。
【００２６】
図５に示すように、ジェスチャ認識部９は、ユーザの手の位置及び手の平の向きの他に、画像認識処理により得られるユーザの視線情報Ｓｃも用いて、ユーザによるハンドジェスチャを認識する。すなわち、ジェスチャ認識部９は、窓ガラス５を作動させる際の作動目標位置Ｐを、「手の位置」、「手の平の向き」、及び「視線情報Ｓｃ」の組み合わせから設定する。これにより、作動目標位置Ｐは、単なる水平面からの高さではなく、ユーザの視線方向（ユーザ視線）の延長線上の位置（高さ位置）に設定される。
【００２７】
視線情報Ｓｃは、ユーザの頭部の位置と、ユーザの顔の向きとから推定される情報である。ところで、解像度の低い画像撮影部１１を使用すると、画像からユーザの目を抽出できない可能性がある。しかし、頭部の位置と顔の向きとであれば、低い解像度であっても、これらを認識できる。よって、ユーザの頭部の位置と顔の向きから視線情報Ｓｃを推定するようにすれば、例えば解像度が低い画像撮影部１１を使用したとしても、ユーザの視線を認識することが可能となる。
【００２８】
図２に戻り、ステップ１０３において、作動制御部１９は、ユーザにより設定された作動状態をとるように、窓ガラス５の作動を制御する。すなわち、作動制御部１９は、ハンドジェスチャ認識及び音声認識から設定された作動状態（作動目標位置Ｐ及び作動方向Ｒ）を窓ガラス５がとるように、窓ガラス５を作動させる。本例の場合、ユーザの手の位置及び手の平の向きによって指定された高さ位置まで窓ガラス５が下降し、窓ガラス５がユーザの所望する開閉位置に変更される。
【００２９】
また、図６に示すように、例えば開状態の窓ガラス５の開き量を小さくする調整を行う場合には、手の位置を所望の高さに合わせて、手の平を上向きにする。この場合、窓ガラス５の作動方向Ｒが「上方向Ｒ２」に設定されるので、手の位置から決まる高さに窓ガラス５が上昇する。よって、窓ガラス５の開き量を小さくする操作（閉操作）する場合であっても、ハンドジェスチャ及び音声によって適宜調整することが可能となる。
【００３０】
さて、本例の場合、ユーザが窓ガラス５を開閉操作するとき、手の位置と手の平の向きとを組み合わせたハンドジェスチャによって、窓ガラス５の開閉態様を設定する。このように、ハンドジェスチャで窓ガラス５を開閉操作するとき、手の位置と手の平の向きという操作の限度を表現し易い操作を通じて、窓ガラス５をどのような開閉状態とするのかを決めることが可能となる。よって、直感的なハンドジェスチャによって、操作対象物２である窓ガラス５を作動させることができる。
【００３１】
ジェスチャ認識部９は、ユーザの手の位置から間接的に窓ガラス５の作動目標位置Ｐ（開閉位置）を設定し、ユーザの手の平の向きから窓ガラス５の作動方向Ｒを設定する。このため、ユーザの手の位置を所望の位置に合わせるというハンドジェスチャにより窓ガラス５の作動目標位置Ｐを決めるという直感的な操作によって、窓ガラス５を簡便に操作することができる。また、手の平の向きから窓ガラス５の作動方向Ｒを決めるという直感的な操作によって、窓ガラス５を開又は閉のどちらに作動させるのかを設定することもできる。
【００３２】
ジェスチャ認識部９は、ユーザの手の位置とユーザの視線とを認識し、手の位置と視線との組み合わせから、窓ガラス５の作動目標位置を設定する。よって、ユーザの手の位置と視線との組み合わせから特定される位置を、窓ガラス５の作動目標位置又は作動境界とするので、ユーザが望む目標に一致し易くなる。
【００３３】
ジェスチャ認識部９は、ユーザの手の位置を通る視線方向の延長線上の位置を、窓ガラス５の作動目標位置として設定する。よって、ユーザから見た視線の高さを窓ガラス５の作動目標位置とすることが可能となるので、ハンドジェスチャの操作を、より直感的な操作とするのに有利となる。
【００３４】
動き検出部１０は、ユーザを撮影可能な画像撮影部１１である。また、ジェスチャ認識部９は、画像撮影部１１から取得する画像データＳａ１を基に、ハンドジェスチャを認識する。よって、画像撮影部１１の画像データＳａ１から、ユーザのハンドジェスチャを精度よく認識することができる。
【００３５】
作動制御部１９は、ジェスチャ認識部９のハンドジェスチャ認識と音声認識部１４の音声認識とに基づき決まる作動状態を窓ガラス５がとるように、窓ガラス５の作動を制御する。よって、ユーザによるハンドジェスチャ操作を、手の位置及び手の平の向きのみならず音声も組み合わせて判定するので、ユーザのハンドジェスチャをより正確に認識するのに有利となる。
【００３６】
ジェスチャ認識部９は、ユーザの手の位置、ユーザの手の平の向き、及びユーザの視線情報Ｓｃを基に、ユーザによるハンドジェスチャを認識する。ユーザが所望する窓ガラス５の操作位置を、ユーザの視線の延長線上の位置とすることが可能となるので、ハンドジェスチャを用いた窓ガラス５の操作を、より直感的なものとするのに有利となる。
【００３７】
視線情報Ｓｃは、ユーザの頭部の位置と、顔の向きとから推定される情報である。よって、仮に画像撮影部１１の検出精度が低く画像からユーザの視線を判定できない状況となっていても、頭部の位置と顔の向きとからユーザの視線を推定して、ハンドジェスチャを認識することができるようになる。
【００３８】
（第２実施形態）
次に、第２実施形態を図７に従って説明する。なお、第２実施形態は、第１実施形態の操作対象物２を窓ガラス５からエアーコンディショナー装置２１に変更した実施例である。よって、第１実施形態と同じ箇所には同一符号を付して詳しい説明を省略し、異なる部分についてのみ詳述する。
【００３９】
図７（ａ），（ｂ）に示すように、ジェスチャ認識部９は、ユーザのハンドジェスチャ及び音声による操作を通じて、ユーザが所望する操作対象物２の作動状態作動として作動境界Ｅを設定する。作動境界Ｅは、操作対象物２の作動範囲の境界線に相当する。操作対象物２として例えばエアーコンディショナー装置２１を選択した場合、ハンドジェスチャ認識及び音声認識から作動境界Ｅが認識され、その作動境界Ｅを作動範囲の境界として操作対象物２が作動される。
【００４０】
図７（ａ）に示すように、操作対象物２としてエアーコンディショナー装置２１を指定し、手の位置の高さを決めて、手の平を上方向に向けたとする。このとき、ユーザの手の位置が作動境界Ｅとして設定され、作動境界Ｅの上方向の範囲がエアーコンディショナー装置２１の作動範囲として認識される。そして、エアーコンディショナー装置２１の吹出口２２の作動方向Ｒが上方向（図７（ａ）の矢印Ｒ２方向）に設定され、風向きが作動境界Ｅを境目とした上側となる。これにより、ユーザの手の位置よりも上方にエアーコンディショナー装置２１の風を当てることが可能となる。
【００４１】
一方、図７（ｂ）に示すように、操作対象物２としてエアーコンディショナー装置２１を指定し、手の位置の高さを決めて、手の平を下方向に向けたとする。このとき、ユーザの手の位置が作動境界Ｅとして設定され、作動境界Ｅの下方向の範囲がエアーコンディショナー装置２１の作動範囲として認識される。そして、エアーコンディショナー装置２１の吹出口２２の作動方向Ｒが下方向（図７（ｂ）の矢印Ｒ１方向）に設定され、風向きが作動境界Ｅを境目とした下側となる。これにより、ユーザの手の位置よりも下方にエアーコンディショナー装置２１の風を当てることが可能となる。
【００４２】
なお、実施形態はこれまでに述べた構成に限らず、以下の態様に変更してもよい。
・各実施形態において、図８（ａ），（ｂ）に示すように、手の平を下に向けたときの作動方向Ｒを上方向（手の平に向かう方向：矢印Ｒ２方向）としてもよいし、手の平を上に向けたときの作動方向Ｒを下方向（手の平から離れる方向：矢印Ｒ１方向）としてもよい。
【００４３】
・各実施形態において、図９（ａ），（ｂ）に示すように、操作対象物２は、車内のルームミラー２５の表示物２５ａとしてもよい。この場合、ハンドジェスチャ及び音声を通じた操作により、表示物２５ａの表示領域（表示範囲）を選択可能とする。なお、表示物２５ａは、例えばバックガイドモニタによって撮影された画像が挙げられる。
【００４４】
・各実施形態において、操作対象物２は、カーナビゲーションシステムのディスプレイに表示される表示物としてもよい。この場合、ハンドジェスチャ及び音声を通じた操作により、表示物の表示領域（表示範囲）を変更可能とする。
【００４５】
・各実施形態において、操作対象物２は、車両１のシートとしてもよい。この場合、ユーザのハンドジェスチャ及び音声を通じた操作により、シートの位置（前後方向位置）を簡便に変更することが可能となる。
【００４６】
・各実施形態において、操作対象物２は、車両１のパワースライドドアとしてもよい。この場合、ユーザのハンドジェスチャ及び音声による操作を通じて、パワースライドドアを所望の開閉量（開閉位置）に適宜調整することが可能となる。
【００４７】
・各実施形態において、ユーザのハンドジェスチャ及び音声を用いた操作を通じて車両１の駐車位置を調整可能としてもよい。この場合、例えばバックガイドモニタによってユーザの手の位置及び手の平の無を取得し、その画像データＳａ１を基に車両１の駐車位置を判断する。この場合、ユーザのハンドジェスチャ及び音声による操作を通じて、車両１を所望の駐車位置に適宜調整することが可能となる。
【００４８】
・各実施形態において、操作対象物２の選択方法は、ステップ１０１に挙げた例に限らず、操作対象物２を指定できれば、どのような方法を使用してもよい。
・各実施形態において、画像撮影部１１は、ＴＯＦカメラ以外の他のカメラに変更してもよい。
【００４９】
・各実施形態において、動き検出部１０は、画像撮影部１１に限定されず、例えば赤外線センサなど、他の部材（センサ類）に変更してもよい。
・各実施形態において、指定する作動方向Ｒは、上方向や下方向に限定されず、左右方向としてもよい。
【００５０】
・各実施形態において、指定する作動状態は、例えば操作対象物２が作動する上限及び下限の範囲としてもよい。例えば、「ここからここまで」と音声入力することで、その範囲内を操作対象物２が作動するようにしてもよい。
【００５１】
・各実施形態において、操作対象物２の作動状態の選択は、例えばハンドジェスチャのみで指定するようにしてもよい。
・各実施形態において、視線情報Ｓｃは、例えば目の向きを判断して抽出される情報としてもよい。このように、視線情報Ｓｃの求め方は、種々の態様に変更可能である。
【００５２】
・各実施形態において、操作対象物２は、前述した例に限定されず、種々のものに変更可能である。
・各実施形態において、遠隔操作システム３は、車両１に適用されることに限らず、他の機器や装置に使用してもよい。
【００５３】
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
（イ）前記遠隔操作システムにおいて、集音部から入力する音声データを基に、ユーザの音声を認識する音声認識部を備え、前記ジェスチャ認識部は、ハンドジェスチャ認識及び音声認識を用いて、前記操作対象物の作動態様を設定する。この構成によれば、ユーザによるハンドジェスチャ操作を、手の位置及び手の平の向きのみならず音声も組み合わせて判定するので、ユーザのハンドジェスチャをより正確に認識するのに有利となる。
【符号の説明】
【００５４】
１…車両、２…操作対象物、８…操作対象認識部、９…ジェスチャ認識部、１０…動き検出部、１１…画像撮影部、１４…音声認識部、１５…集音部、１９…作動制御部、Ｐ…作動目標位置、Ｅ…作動境界、Ｒ…作動方向、Ｓａ…検出信号、Ｓａ１…画像データ、Ｓｂ…音声データ、Ｓｃ…視線情報。
【図１】
2018206073.tif 000003
【図２】
2018206073.tif 000004
【図３】
2018206073.tif 000005
【図４】
2018206073.tif 000006
【図５】
2018206073.tif 000007
【図６】
2018206073.tif 000008
【図７】
2018206073.tif 000009
【図８】
2018206073.tif 000010
【図９】
2018206073.tif 000011