(57)【要約】【課題】通常の操作の中で、操作対象に対する実際の指示位置を補正するにあたって、ずれ（誤差）が大きい状態でも正しく誤差補正できる指示ジェスチャ検出装置、およびその方法を提供する。【解決手段】操作者が行う指示ジェスチャに基づいて、操作者から離れた操作画面１１に表示される複数の操作対象１１ａ、１１ｂのうち、指示された操作対象を検出する指示ジェスチャ検出装置において、操作者の指示ジェスチャを検知する検知部１１０と、検知部で検知された検知データを基に、指示ジェスチャによって実際に指示された位置を、操作者が所望する操作対象の位置に合せるための位置補正を行う制御部１２０と、を備え、制御部は、位置補正を行う際に、複数の操作対象の本来の間隔を、予め定めた所定間隔以上となるように広げるようにする。【選択図】図１
2020107031.tif 000002
【特許請求の範囲】
【請求項１】
操作者が行う指示ジェスチャに基づいて、前記操作者から離れた操作画面（１１）に表示される複数の操作対象（１１ａ、１１ｂ）のうち、指示された前記操作対象を検出する指示ジェスチャ検出装置において、
前記操作者の前記指示ジェスチャを検知する検知部（１１０）と、
前記検知部で検知された検知データを基に、前記指示ジェスチャによって実際に指示された位置を、前記操作者が所望する前記操作対象の位置に合せるための位置補正を行う制御部（１２０）と、を備え、
前記制御部は、前記位置補正を行う際に、複数の前記操作対象の本来の間隔を、予め定めた所定間隔以上となるように広げる指示ジェスチャ検出装置。
【請求項２】
前記制御部は、前記位置補正の進捗に応じて、前記所定間隔が前記本来の間隔に近づくように段階的に変更する請求項１に記載の指示ジェスチャ検出装置。
【請求項３】
前記操作画面において、前記実際に指示された位置には、指示位置を示すためのカーソル（１１ｇ）が表示されるようになっており、
前記制御部は、前記位置補正が未完了の段階においては、前記カーソルを大まかな領域として表示する請求項１または請求項２に記載の指示ジェスチャ検出装置。
【請求項４】
操作者が行う指示ジェスチャに基づいて、前記操作者から離れた操作画面（１１）に表示される複数の操作対象（１１ａ、１１ｂ）のうち、指示された前記操作対象を検出する指示ジェスチャ検出方法において、
前記操作者の前記指示ジェスチャを検知する検知ステップと、
前記検知ステップで検知された検知データを基に、前記指示ジェスチャによって実際に指示された位置を、前記操作者が所望する前記操作対象の位置に合せるための位置補正を行う補正ステップと、を備え、
前記補正ステップでは、複数の前記操作対象の本来の間隔を、予め定めた所定間隔以上となるように広げる指示ジェスチャ検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力操作に用いる指示ジェスチャによって指示された操作対象を検出する指示ジェスチャ検出装置、およびその検出方法に関するものである。
【背景技術】
【０００２】
従来の指示ジェスチャ検出装置として、例えば、特許文献１に記載されたものが知られている。特許文献１の指示ジェスチャ検出装置（視線入力装置）では、ユーザが視線入力システムを使用する最初の段階で、ユーザの視線に基づいて、操作枠に対する実際の注視点と、センサによって得られる検出点とのずれ（誤差）を補正するための初期キャリブレーションが行われるようになっている。
【０００３】
また、システムの使用中に、目をつぶる、視線でメニュー選択をする等のイベントが発生すると、動的キャリブレーションが行われるようになっている。動的キャリブレーションでは、上記の初期キャリブレーションと同様に、操作枠に対する注視点と検出点とのずれ分が補正されるようになっている。動的キャリブレーションにて得られた補正係数は、以降の制御で使用されるようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１０７２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１では、初期キャリブレーションを行う際には、キャリブレーションのための専用の操作を行うという観点から、検出点が、注視した操作枠内に入ることを前提として、誤差補正を行うものとなっている。しかしながら、初期キャリブレーションを専用の操作として設定することは、ユーザとっては手間となる。初期キャリブレーションの手間を省いて、通常の操作が行われる中でキャリブレーションを行うことを考えると、以下の問題が考えられる。つまり、複数の操作枠が隣接配置されており、実際の注視点と検出点とのずれ（誤差）が大きい場合では、例えば、検出点が操作枠の外側に位置すると、どの操作枠に対する補正を行うのかを判断することが困難となり、正しい補正ができない場合がある。
【０００６】
正しく補正が行われないと、ユーザは、注視点と検出点とのズレ分を意識した操作を意図的に行うようになり、これにより、正確な検出点が得られなくなり、ますます正しい補正ができなくなってしまう。
【０００７】
本発明の目的は、上記問題に鑑み、通常の操作の中で、操作対象に対する実際の指示位置を補正するにあたって、ずれ（誤差）が大きい状態でも正しく位置補正できる指示ジェスチャ検出装置、およびその方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するために、以下の技術的手段を採用する。
【０００９】
第１の発明では、操作者が行う指示ジェスチャに基づいて、操作者から離れた操作画面（１１）に表示される複数の操作対象（１１ａ、１１ｂ）のうち、指示された操作対象を検出する指示ジェスチャ検出装置において、
操作者の指示ジェスチャを検知する検知部（１１０）と、
検知部で検知された検知データを基に、指示ジェスチャによって実際に指示された位置を、操作者が所望する操作対象の位置に合せるための位置補正を行う制御部（１２０）と、を備え、
制御部は、位置補正を行う際に、複数の操作対象の本来の間隔を、予め定めた所定間隔以上となるように広げることを特徴としている。
【００１０】
また、第２の発明では、操作者が行う指示ジェスチャに基づいて、操作者から離れた操作画面（１１）に表示される複数の操作対象（１１ａ、１１ｂ）のうち、指示された操作対象を検出する指示ジェスチャ検出方法において、
操作者の指示ジェスチャを検知する検知ステップと、
検知ステップで検知された検知データを基に、指示ジェスチャによって実際に指示された位置を、操作者が所望する操作対象の位置に合せるための位置補正を行う補正ステップと、を備え、
補正ステップでは、複数の操作対象の本来の間隔を、予め定めた所定間隔以上となるように広げることを特徴としている。
【００１１】
この発明によれば、通常の操作の中で、位置補正を行う際に、複数の操作対象（１１ａ、１１ｂ）の本来の間隔が、所定間隔以上となるように広げられることによって、それぞれの操作対象（１１ａ、１１ｂ）の周りに、実際の指示位置のバラツキを吸収可能として、その操作対象（１１ａ、１１ｂのいずれか）への指示操作に対して反応する反応領域を設定することが可能となる。よって、実際の指示位置が、操作対象（１１ａ、１１ｂ）の外側に位置するような、ずれ（誤差）の大きな場合でも、複数の操作対象（１１ａ、１１ｂ）のうちの、どの操作対象についての位置補正を行えばよいのかが明確に分かるので、正しく位置補正することが可能となる。
【００１２】
尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における指示ジェスチャ検出装置の全体構成を示すブロック図である。
【図２】位置補正を行う際の要領を示す説明図である（アイコン２つの例）。
【図３】位置補正を行う際の要領を示す説明図である（アイコン６つの例）。
【図４】第２実施形態における位置補正時の操作カーソル（画面分割部）を示す説明図である。
【図５】第２実施形態における位置補正時の操作カーソル（ぼかし部分）を示す説明図である。
【発明を実施するための形態】
【００１４】
以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
【００１５】
（第１実施形態）
第１実施形態の指示ジェスチャ検出装置１００について図１〜図３を用いて説明する。本実施形態の指示ジェスチャ検出装置１００は、例えば、車両に搭載され、操作者（運転者）の指示ジェスチャによる指示方向や指示位置を検出して、各種車両機器における表示部１１に表示される複数のアイコン１１ａ〜１１ｄのうち、指示されたアイコン（１１ａ〜１１ｄ）を検出するようになっている。そして、指示されたアイコン（１１ａ〜１１ｄ）に基づいて、各種車両機器に入力指示を行うようになっている。
【００１６】
操作者による指示ジェスチャは、例えば、指、手、腕、目（視線）、および顔等によって、操作者が所望する方向や位置を指し示すジェスチャであり、ここでは、主に、指による指差しジェスチャを用いたものとして説明する。指差しジェスチャは、指の延びる方向によって、所望する方向を指し示すジェスチャであり、例えば、人差し指が使用される。
【００１７】
各種車両機器としては、例えば、車室内の空調を行う空調装置、自車の現在位置表示あるいは目的地への案内表示等を行うカーナビゲーション装置（以下、カーナビ装置）、あるいはテレビ放映、ラジオ放送、ＣＤ／ＤＶＤの再生等を行うオーディオ装置等、がある。ここでは、車両機器として空調装置を代表例として説明する。
【００１８】
空調装置は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等を用いた表示部１１を有しており、この表示部１１には、例えば、空調装置に対して入力操作を行うためのアイコン１１ａ〜１１ｄ、および作動状態等が表示されるようになっている。表示部１１は、本発明の操作者から離れた操作画面に対応し、また、アイコン１１ａ〜１１ｄは、本発明の複数の操作対象に対応する。
【００１９】
アイコン１１ａ〜１１ｄは、入力操作用の操作ボタンに相当するものであり、例えば、それぞれが矩形状を成して、複数（ここでは４つ）設けられている。各アイコン１１ａ〜１１ｄは、左右方向に隣接して並ぶように配置されている。複数のアイコン１１ａ〜１１ｄは、例えば、空調設定温度を上げるためのアイコン１１ａ、空調設定温度を下げるためのアイコン１１ｂ、空調風量を上げるためのアイコン１１ｃ、空調風量を下げるためのアイコン１１ｄ等がある。
【００２０】
指示ジェスチャ検出装置１００は、図１に示すように、検知部１１０、および制御部１２０等を備えている。
【００２１】
検知部１１０は、操作者の表示部１１（複数のアイコン１１ａ〜１１ｄ）に対する指差しジェスチャ（人差し指の方向）を時間経過と共に連続的に検知し、操作者の指の向きを指差しジェスチャのデータとして、制御部１２０に出力するようになっている。検知部１１０によって指差しジェスチャが検知される制御ステップは、本発明の検知ステップに対応する。
【００２２】
また、検知部１１０は、操作者の体位置あるいは顔を捉えることによって、操作者の着座位置データ（主にシートスライドによる前後方向着座位置）、あるいは操作者識別データ（ＡさんなのかＢさんなのか）を制御部１２０に出力するようになっている。
【００２３】
検知部１１０としては、対象物の輝度画像を形成するカメラ、距離画像を形成する距離画像センサ、あるいはそれらの組合せを用いることができる。カメラとしては、近赤外線を捉える近赤外線カメラ、あるいは可視光を捉える可視光カメラ等がある。また、距離画像センサとしては、例えば、複数のカメラで同時に撮影して視差から奥行方向の情報を計測するステレオカメラ、あるいは、光源からの光が対象物で反射して返るまでの時間で奥行きを計測するＴｏＦ（Time of Flight）カメラ等がある。本実施形態では、検知部１１０としては、上記のように対象物の輝度画像を形成するカメラを用いたものとしている。
【００２４】
制御部１２０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。制御部１２０は、検知部１１０で検知されたデータ、つまり、指差しジェスチャデータ、着座位置データ、操作者識別データ等、および予め設定された表示部１１と検知部１１０との位置関係データに基づいて、操作者によって実際に指示された位置を、操作者が所望する（狙いの）アイコン（１１ａ〜１１ｄ）の位置に合せるための位置補正（キャリブレーション）を行うようになっている（詳細後述）。尚、狙いのアイコン（１１ａ〜１１ｄ）の位置は、例えば、各アイコン（１１ａ〜１１ｄ）の中心位置と定義することができる。
【００２５】
制御部１２０が行う位置補正の制御ステップは、本発明の補正ステップに対応する。そして、制御部１２０は、指示されたアイコン（１１ａ〜１１ｄ）を検出して、空調装置に対する入力指示（入力操作のための指示）を行うようになっている。
【００２６】
空調装置においては、指差しジェスチャに基づいて選択決定されたアイコン（１１ａ〜１１ｄ）に応じて、設定温度の変更、空調風の風量の変更等が行われる。尚、カーナビ装置では、現在位置表示、目的地設定、および地図の拡大縮小、等が行われ、また、オーディオ装置では、テレビ局、ラジオ局の変更、楽曲の選択、音量の変更等が行われる。
【００２７】
本実施形態の指示ジェスチャ検出装置１００は、以上のような構成となっており、以下、図２、図３を加えて、制御部１２０が行う位置補正について説明する。
【００２８】
１．位置補正の方法
本実施形態における位置補正では、操作者に対して、位置補正のための専用の補正作業を設定することなく、指差しジェスチャに基づく通常の車両機器への操作の中で実行されていくようにしている。位置補正は、指示ジェスチャ検出装置１００が初めて使用されるとき、あるいは、操作者の着座位置が変更されたとき、あるいは、操作者が変更されたとき等に実行される。位置補正は、例えば、以下のような１次式を設定して、指差しジェスチャによって順に得られるデータを用いて、段階的に実行されていく。
【００２９】
まず、操作者のアイコン（図１、１１ａ〜１１ｄ）に対する指差しジェスチャが、１番目、２番目・・・ｉ番目と順に行われていくものとする。
【００３０】
操作者からアイコン（１１ａ〜１１ｄ）を狙う方向のヨー角（左右方向の角度）をΘｉ、ピッチ角（上下方向の角度）をΦｉとし、
操作者が実際に指示した方向のヨー角をθｉ、ピッチ角をφｉとすると、
狙った方向と実際に指示した方向とのずれを以下の一次式で表すものとする。
【００３１】
Θｉ＝ａθｉ＋ｂ＋εθｉ
Φｉ＝ｃφｉ＋ｄ＋εφｉ
ただし、ａ、ｂ、ｃ、ｄは補正パラメータ、εθｉ、εφｉは補正残差とする。
【００３２】
１つのアイコン（１１ａ〜１１ｄのいずれか）について方程式が２つ得られ、補正パラメータが４つあるため、すべてのパラメータを補正するには、最低２つのアイコン（１１ａ〜１１ｄのうち２つ）を指示する必要がある。
【００３３】
操作開始時点では、完全に補正できないため、デフォルト値として、ａ＝１、ｂ＝０、ｃ＝１、ｄ＝０を使用する。
【００３４】
操作者が１つ目のアイコン（１１ａ〜１１ｄのいずれか）を指示した時、２つのパラメータのみ（例えばｂ、ｄ）を求め、位置補正を行う。このとき、
ｂ＝Θ１−θ１
ｄ＝Φ１−φ１  である。
【００３５】
操作者が２つ目のアイコン（１１ａ〜１１ｄのいずれか）を指示した時、全てのパラメータを以下のように求め、位置補正を行う。このとき、
ａ＝（Θ２−θ１）／（θ２−θ１）
ｂ＝（θ２Θ１−θ１Θ２）／（θ２−θ１）
ｃ＝（Φ２−Φ１）／（φ２−φ１）
ｄ＝（φ２Φ１−φ１Φ２）／（φ２−φ１）  である。
【００３６】
操作者が３つ目以降のアイコン（１１ａ〜１１ｄのいずれか）を指示した時は、最小二乗法で更新する。このとき、過去に指示した全ての点を使用してもよいし、直近のＮ個の点を使用するようにしてもよい。
【００３７】
誤差の合計Ｄ＝Σ｛（ａθｉ＋ｂ−Θｉ）２＋（ｃφｉ＋ｄ−Φｉ）２｝
を最小化する（∂Ｄ／∂ａ＝０、∂Ｄ／∂ｂ＝０、∂Ｄ／∂ｃ＝０、∂Ｄ／∂ｄ＝０をａ、ｂ、ｃ、ｄについて解く）等のように、取得したデータの量に応じて、段階的に補正が可能である。
【００３８】
２．アイコンの間隔拡大
図２は、説明を簡単にするためにアイコン１１ａとアイコン１１ｂとの２つを表示した場合を示している。図２では、３段階（補正開始時、補正途中、補正完了）で位置補正を行う場合を示しているが、これに限定されずに、例えば、２段階（補正開始、補正完了）としてもよい。
【００３９】
位置補正を行う際は、制御部１２０は、複数のアイコン（１１ａ、１１ｂ）の本来の間隔を、予め定めた所定間隔以上となるように広げる（拡大する）。要するに、各アイコン（１１ａ、１１ｂ）の位置を離して、図２中に示すように、実際に指示された位置のバラツキを吸収可能として、そのアイコン（１１ａ、１１ｂのいずれか）への指示操作に対して反応し得る領域（以下、反応領域）を広く設定するのである。
【００４０】
制御部１２０は、位置補正の進捗に応じて、所定間隔が本来の間隔に近づくように段階的に変更してもよい（図２中の右）。
【００４１】
また、図３に示すように、例えば、アイコンが６つ（１１ａ〜１１ｆ）の場合、位置補正開始時にアイコンの表示数を減らして（２つ、１１ａ、１１ｂ）、位置補正の進捗に合せて、アイコンの表示数を順に増やしていくようにしてもよい（４つ、１１ａ〜１１ｄ）。アイコンの数を２つ（１１ａ、１１ｂ）、あるいは４つ（１１ａ〜１１ｄ）にした場合は、階層的な表示画面で残りのアイコン１１ｃ〜１１ｆの表示が可能となるようにするとよい。
【００４２】
このように、通常の操作の中で、位置補正を行う際に、複数のアイコン（１１ａ、１１ｂ）の本来の間隔が、所定間隔以上となるように広げられることによって、それぞれのアイコン（１１ａ、１１ｂ）の周りに、実際の指示位置のバラツキを吸収可能として、そのアイコン（１１ａ、１１ｂのいずれか）への指示操作に対して反応する反応領域を設定することが可能となる。よって、実際の指示位置が、アイコン（１１ａ、１１ｂ）の外側に位置するような、ずれ（誤差）の大きな場合でも、複数のアイコン（１１ａ、１１ｂ）のうちの、どのアイコンについての位置補正を行えばよいのかが明確に分かるので、正しく位置補正することが可能となる。
【００４３】
また、位置補正の進捗に応じて、アイコン（１１ａ、１１ｂ）の間隔を本来の間隔になるように段階的に変更する（近づけていく）ことによって、いたずらにアイコン（１１ａ、１１ｂ）の間隔を広げてしまうことを抑制することができる。
【００４４】
（第２実施形態）
第２実施形態を図４、図５に示す。第２実施形態は、上記第１実施形態に対して、表示部１１において、指差しジェスチャによって実際に指示された位置に、指示位置を示すためのカーソル１１ｇが表示されるようにしたものである。カーソル１１ｇは、例えば、リング状内に十字が設けられた意匠となっている。カーソル１１ｇの形状は、これに限定されることなく、他にも、矢印、三角、多角形等としてもよい。
【００４５】
そして、制御部１２０は、位置補正が未完了の段階においては、カーソル１１ｇを大まかな領域として表示するようにしている。つまり、操作者に対して、意図的にカーソル１１ｇの位置が明確には、わからない表示とする（大体の位置が分かる程度の表示とする）。
【００４６】
図４では、カーソル１１ｇの代わりに矩形状の領域（画面分割した領域）として設定する場合を示している。矩形状の領域は、位置補正の進捗に応じて、その大きさが本来のカーソル１１ｇの大きさに近づくように（小さくなっていくように）する。
【００４７】
また、図５では、カーソル１１ｇをぼかした状態で表示する場合を示している。カーソル１１ｇをぼかすために、カーソル１１ｇの位置をぼかす、境界をぼかす、コントラストを下げる（色を不明瞭にする）、透過度を上げる（色が薄く、透けて見えるようにする）等の方法がある。図４と同様に、位置補正の進捗に応じて、ぼかしの大きさが本来のカーソル１１ｇの大きさに近づくように（小さくなっていくように）する。
【００４８】
これにより、位置補正の段階で、操作者が、指差しジェスチャによって指差した自身の感覚に基づく位置と、実際に表示されるカーソル１１ｇの位置とのずれを認識してしまうことで、意図的にずれた位置に合せて指差しジェスチャを行ってしまうことを抑制できる。つまり、操作者が意図的にずれた位置に指差しジェスチャを行うと、正確な検出点が得られなくなり、いつまでも正しい位置補正ができなくなってしまうところ、そのような不具合を抑制することができる。
【００４９】
（その他の実施形態）
上記各実施形態では、制御部１２０は、指差しジェスチャとして指差しの向きに基づいて、位置補正を実行するようにしたが、これに限らず、指差しの位置に基づくものとしてもよい。
【００５０】
また、上記各実施形態では、操作対象を各種車両機器としたが、これに限定されることなく、家庭用や施設用に設けられた機器に適用してもよい。家庭用機器としては、例えば、テレビや、オーディオ等、また、施設用機器としては、例えば、銀行のＡＴＭや、駅の自動券売機等が挙げられる。
【００５１】
また、車両に搭載されるものにおいて、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、指示ジェスチャを行うことで、指示ジェスチャ検出装置１００によるジェスチャ検出が行われて、各種車両機器の操作が可能となる。
【００５２】
この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、更に請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
【００５３】
本開示に記載の制御部１２０、およびその手法は、コンピュータプログラムにより具体化された一つないしは複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置、およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置、およびその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
【符号の説明】
【００５４】
１１    表示部（操作画面）
１１ａ〜１１ｆ  アイコン（操作対象）
１１ｇ  操作カーソル（カーソル）
１００  指示ジェスチャ検出装置
１１０  検知部
１２０  制御部
【図１】
2020107031.tif 000003
【図２】
2020107031.tif 000004
【図３】
2020107031.tif 000005
【図４】
2020107031.tif 000006
【図５】
2020107031.tif 000007