(57)【要約】【課題】ジェスチャ検出のための操作の手間を増やすことなく、操作者の意図を持ったジェスチャであることを認識可能とするジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラムを提供する。【解決手段】操作対象に対して、操作者のジェスチャに基づいて入力操作を行う際の、ジェスチャを検出するジェスチャ検出装置において、撮像装置１０によって撮像された操作者の撮像データから抽出された特徴量データに基づいて、ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとしてジェスチャの区間を抽出するジェスチャ区間抽出部１２０と、開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別するジェスチャ識別部１３０とを備える。【選択図】図１
2020013348.tif 000002
【特許請求の範囲】
【請求項１】
操作対象に対して、操作者のジェスチャに基づいて入力操作を行う際の、前記ジェスチャを検出するジェスチャ検出装置において、
撮像装置（１０）によって撮像された前記操作者の撮像データから抽出された特徴量データに基づいて、前記ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとして前記ジェスチャの区間を抽出するジェスチャ区間抽出部（１２０）と、
前記開始直前ジェスチャと前記終了直後ジェスチャとの間に行われた前記ジェスチャを、入力用ジェスチャとして識別するジェスチャ識別部（１３０）と、を備えるジェスチャ検出装置。
【請求項２】
前記ジェスチャ区間抽出部は、互いに類似する複数組みのジェスチャについて、それぞれ類似度を算出する類似度算出部（１２２）と、
前記類似度算出部によって算出された前記類似度のうち、前記類似度の最も高い組のジェスチャを前記一組のジェスチャとして抽出し、前記開始直前ジェスチャ、および前記終了直後ジェスチャを決定する開始終了決定部（１２３）と、を有する請求項１に記載のジェスチャ検出装置。
【請求項３】
前記ジェスチャ区間抽出部は、互いに類似する前記複数組みのジェスチャの候補を予め抽出する候補抽出部（１２１）を有する請求項２に記載のジェスチャ検出装置。
【請求項４】
操作対象に対して、操作者のジェスチャに基づいて入力操作を行う際の、前記ジェスチャを検出するジェスチャ検出方法において、
撮像装置（１０）によって撮像された前記操作者の撮像データから抽出された特徴量データに基づいて、前記ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとして前記ジェスチャの区間を抽出し、
前記開始直前ジェスチャと前記終了直後ジェスチャとの間に行われた前記ジェスチャを、入力用ジェスチャとして識別するジェスチャ検出方法。
【請求項５】
操作対象に対して、操作者のジェスチャに基づいて入力操作を行う際の、前記ジェスチャを検出するジェスチャ検出制御プログラムにおいて、
コンピュータを、
撮像装置（１０）によって撮像された前記操作者の撮像データから抽出された特徴量データに基づいて、前記ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとして前記ジェスチャの区間を抽出するジェスチャ区間抽出部（１２０）と、
前記開始直前ジェスチャと前記終了直後ジェスチャとの間に行われた前記ジェスチャを、入力用ジェスチャとして識別するジェスチャ識別部（１３０）として機能させるためのジェスチャ検出制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力操作に用いるジェスチャを検出するジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラムに関するものである。
【背景技術】
【０００２】
従来のジェスチャ検出装置として、例えば、特許文献１に記載されたものが知られている。特許文献１のジェスチャ検出装置（ハンドパターンスイッチ装置）は、操作者のジェスチャが意図をもって行われたものか、不用意に行われたものかを確実に識別するようにし、誤認識の発生を抑制している。具体的には、カメラによる撮像領域において、操作者が予め設定した手指の形状で、その手指の位置を所定時間にわたって、停止させたとき、検出装置は、操作者の意図を持ったジェスチャによる操作が開始されたものと認識するようになっている。そして、その後に、検出装置は、手指の形状と動きとに基づいてくジェスチャ操作の検出処理を実行するようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４５７２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１では、検出装置は、操作者の意図を持ったジェスチャ操作の開始を認識するために、予め設定した手指の形状で、所定時間にわたって停止させる必要があり、ジェスチャ操作が煩雑（手間のかかる）ものとなっている。
【０００５】
本発明の目的は、上記問題に鑑み、ジェスチャ検出のための操作の手間を増やすことなく、操作者の意図を持ったジェスチャであることを認識可能とするジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するために、以下の技術的手段を採用する。
【０００７】
第１の発明では、操作対象に対して、操作者のジェスチャに基づいて入力操作を行う際の、ジェスチャを検出するジェスチャ検出装置において、
撮像装置（１０）によって撮像された操作者の撮像データから抽出された特徴量データに基づいて、ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとしてジェスチャの区間を抽出するジェスチャ区間抽出部（１２０）と、
開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別するジェスチャ識別部（１３０）と、を備えることを特徴としている。
【０００８】
また、第２の発明では、操作対象に対して、操作者のジェスチャに基づいて入力操作を行う際の、ジェスチャを検出するジェスチャ検出方法において、
撮像装置（１０）によって撮像された操作者の撮像データから抽出された特徴量データに基づいて、ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとしてジェスチャの区間を抽出し、
開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別することを特徴としている。
【０００９】
また、第３の発明では、操作対象に対して、操作者のジェスチャに基づいて入力操作を行う際の、ジェスチャを検出するジェスチャ検出制御プログラムにおいて、
コンピュータを、
撮像装置（１０）によって撮像された操作者の撮像データから抽出された特徴量データに基づいて、ジェスチャのうち、互いに類似する一組のジェスチャの先の方を開始直前ジェスチャ、後の方を終了直後ジェスチャとしてジェスチャの区間を抽出するジェスチャ区間抽出部（１２０）と、
開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別するジェスチャ識別部（１３０）として機能させることを特徴としている。
【００１０】
一般的に、操作者がジェスチャを行う際の開始時と終了時では、類似した姿勢を取る。即ち、操作者は所定のジェスチャを開始するときは、まず、所定の手指形状（ジェスチャの基本形状）で手をかざす行為をとり、所定のジェスチャを実行した後は、最初と同じ所定の手指形状を維持して、ジェスチャを終了する。
【００１１】
よって、本発明によれば、互いに類似する一組のジェスチャを捉えることで、開始直前ジェスチャおよび終了直後ジェスチャを抽出して、ジェスチャの区間を抽出することが可能となる。そして、開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別することで、例えば、不用意に行われたジェスチャではなく、操作者の意図を持ったジェスチャとして確実に認識することが可能となる。よって、従来技術のように、わざわざジェスチャ検出のための操作の手間を増やすことなく、入力用のジェスチャを認識することができ、ひいては、誤認識の発生を抑制することができる。
【００１２】
尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。
【図面の簡単な説明】
【００１３】
【図１】ジェスチャ検出装置を示すブロック図である。
【図２】ジェスチャの開始終了の候補を抽出する際の要領を示す説明図である。
【図３】ジェスチャの開始終了候補の類似度を算出する際の要領を示す説明図である。
【図４】ジェスチャの開始終了を決定する際の要領を示す説明図である。
【発明を実施するための形態】
【００１４】
以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
【００１５】
（第１実施形態）
第１実施形態のジェスチャ検出装置１００について図１〜図４を用いて説明する。本実施形態のジェスチャ検出装置１００は、車両に搭載され、運転者（操作者）の体の特定部位の動き（ジェスチャ）に基づいて、各種車両機器に対する入力操作を行う際の、ジェスチャを検出する装置となっている。
【００１６】
各種車両機器としては、例えば、車室内の空調を行う空調装置、自車の現在位置表示あるいは目的地への案内表示等を行うカーナビゲーション装置（以下、カーナビ装置）、テレビ放映、ラジオ放送、ＣＤ／ＤＶＤの再生等を行うオーディオ装置等、がある。これらの各種車両機器は、本発明の操作対象に対応する。尚、各種車両機器としては、上記に限らず、ヘッドアップディスプレイ装置、ルームランプ装置、後席サンシェード装置、電動シート装置、グローボックス開閉装置等がある。
【００１７】
ジェスチャ検出装置１００は、図１に示すように、撮像装置１０によって撮像された運転者の体の特定の部位の撮像データをもとに、入力操作用のジェスチャを検出する。検出されたジェスチャに基づいて、各種車両機器が操作され、操作の結果（作動状態等）が情報機器２０に表示されるようになっている。
【００１８】
運転者の体の特定部位としては、例えば、運転者の手の指、手の平、腕等とすることができる。本実施形態では、入力操作用のジェスチャとして、主に手の指（指差しジェスチャ、サークルジェスチャ、ウェーブジェスチャ、フリックジェスチャ等）を用いるものとしている。
【００１９】
尚、各種車両機器は、入力操作用のジェスチャによって、例えば、空調装置であると、設定温度の変更、空調風の風量の変更等が行われ、また、カーナビ装置では、地図の拡大縮小、目的地設定等が行われ、また、オーディオ装置では、テレビ局、ラジオ局の変更、楽曲の選択、音量の変更等が行われる。
【００２０】
撮像装置１０は、運転者の体の特定部位の動きを連続的に（時間経過と共に）撮像し、撮像データをジェスチャ検出装置１００（手検出部１１０）に出力するようになっている。
【００２１】
撮像装置１０としては、対象物の輝度画像を形成するカメラ、距離画像を形成する距離画像センサ、あるいはそれらの組合せを用いることができる。カメラとしては、近赤外線を捉える近赤外線カメラ、あるいは可視光を捉える可視光カメラ等がある。
【００２２】
また、距離画像センサとしては、例えば、複数のカメラで同時に撮影して視差から奥行方向の情報を計測するステレオカメラ、あるいは、光源からの光が対象物で反射して返るまでの時間で奥行きを計測するＴｏＦ（Time of Flight）カメラ等がある。本実施形態では、撮像装置１０としては、カメラを用いたものとしている。
【００２３】
情報機器２０は、各種車両機器の作動状態等を表示する表示部であり、空調表示部、カーナビ表示部、およびオーディオ表示部等がある。情報機器２０は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイ等によって形成されている。
【００２４】
ジェスチャ検出装置１００は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、手検出部１１０、ジェスチャ区間抽出部１２０、およびジェスチャ識別部１３０等を備えている。
【００２５】
手検出部１１０は、撮像装置１０によって撮像された撮像データ（画像）から、運転者の手が存在する領域を特定して、特定した領域のデータをジェスチャ区間抽出部１２０に出力するようになっている。尚、手を検出する手法としては、例えば、以下の文献等に示されている。
・M. Kolsch and M. Turk.: Robust Hand Detection. FGR, 2004
・Wei Fan, Li Chen, Wei Liu, Yuan He, Jun Sun, Shutao Li: Monocular Vision Based Relative Depth Estimation for Hand Gesture Recognition. MVA 2013  。
【００２６】
ジェスチャ区間抽出部１２０は、運転者が入力操作のために意図的に行ったジェスチャの区間を抽出する部位であり、開始終了候補抽出部１２１、類似度算出部１２２、および開始終了決定部１２３等を有している（詳細後述）。
【００２７】
ジェスチャ識別部１３０は、ジェスチャ区間抽出部１２０によって抽出された区間のジェスチャを、入力操作のために運転者が意図的に行ったジェスチャとして識別する部位である。ジェスチャ識別部１３０は、識別したジェスチャを各種車両機器、および情報機器２０に出力する部位となっている。
【００２８】
本実施形態のジェスチャ検出装置１００は、以上のような構成となっており、以下、図２〜図４を加えて、作動および作用効果について説明する。
【００２９】
撮像装置１０によって撮像された撮像データは、手検出部１１０に出力される。手検出部１１０は、撮像データにおいて、手が存在する領域を特定して、特定した領域のデータを、ジェスチャ区間抽出部１２０の開始終了候補抽出部１２１に出力する。
【００３０】
開始終了候補抽出部１２１は、図２に示すように、手検出部１１０から出力された撮像データのフレームから、ジェスチャの開始時および終了時のフレームの候補を抽出する。ここで、ジェスチャの開始時のフレームというのは、運転手がジェスチャを行う際の開始時の状態を示すフレームである。例えば、実行するジェスチャを、フリックジェスチャとすると、ジェスチャ開始時というのは、まず、指を立てた手をかざした状態に対応する。また、ジェスチャの終了時というのは、フリックジェスチャを終えたときに、開始時と同様に、指を立てた手の姿勢が維持された状態に対応する。
【００３１】
開始終了候補抽出部１２１は、３枚以上の連続した撮像フレーム（撮像データ）を用いて、１つのフレームに基づく静的な特徴量（特徴量データ）と、複数のフレームに基づく動的な特徴量（特徴量データ）とを抽出し、それらを結合して１つの特徴量を作成する。好適には、静的特徴量としてＨＯＧ（Histogram of Oriented Gradient）、動的特徴量としてＨｏＯＦ（Histogram of Optical Flow）が使用できる。
【００３２】
開始終了候補抽出部１２１のデータベースには、予め、ジェスチャの開始時および終了時の特徴量と、それ以外の時の特徴量との分類基準を学習した基準データが記憶されている。そして、開始終了候補抽出部１２１は、実際の撮像フレームの中から抽出した特徴量を基準データにより分類し、開始時および終了時の特徴量としての基準を満たすものを候補として抽出する。学習・分類には機械学習の手法を用いることができ、好適にはRandom Forestが使用できる。図２では、連続する撮像フレームのうち、符号１、２、３、４で表示された部分が、ジェスチャの開始時および終了時の候補として複数抽出された部分（フレーム）となっている。
【００３３】
類似度算出部１２２は、開始終了候補抽出部１２１によって抽出された複数の候補のうち、２つで一組みとなるすべての組合せを形成して、各組の候補の撮像フレームから、静的な特徴量（特徴量データ）を抽出し、抽出した特徴量を用いて、各組ごとの類似度を算出する。図３では、２つで一組みとなるすべての組み合せは、符号１と２、符号１と３、符号１と４、符号２と３、符号２と４、符号３と４であることを示している。類似度算出部１２２は、これらのすべての組み合せについて、２つの候補の類似度をそれぞれ算出するのである。
【００３４】
開始終了決定部１２３は、類似度算出部１２２によって算出された類似度のうち、最も高い類似度を持つ組み合せ（一組）を抽出し、その組み合せにおいて、早い方（先の方）を開始直前ジェスチャのフレームとし、また遅い方（後の方）を終了直後のジェスチャのフレームとして決定する。そして、開始終了決定部１２３は、開始直前のフレームと終了直後のフレームの間のフレームを、運転者が入力操作のために行ったジェスチャの区間として決定する。図４では、図３における各組み合せのうち、各符号１と２の組み合せの類似度が最も高く、符号１と２の間が、ジェスチャ区間として決定されたことを示している。
【００３５】
そして、ジェスチャ識別部１３０は、開始終了決定部１２３によって決定されたジェスチャ区間の全撮像フレームについて、静的な特徴量と動的な特徴量とを抽出する。ジェスチャ識別部１３０のデータベースには、予め、各ジェスチャ動作の特徴量を分類する基準を示すジェスチャ基準データが記憶されている。そして、ジェスチャ識別部１３０は、ジェスチャ基準データに基づき、ジェスチャ区間における撮像フレームの特徴量が、どのジェスチャ動作のものか識別（分類）する。
【００３６】
ジェスチャ識別部１３０は、識別したジェスチャを各種車両機器、および各情報機器２０に出力することで、各種車両機器は、ジェスチャに応じた入力操作が行われ、各情報機器２０には、操作された作動状態等が表示される。
【００３７】
一般的に、運転手がジェスチャを行う際の開始時と終了時では、類似した姿勢を取る。即ち、運転手は所定のジェスチャを開始するときは、まず、所定の手指形状（ジェスチャの基本形状）で手をかざす行為をとり、所定のジェスチャを実行した後は、最初と同じ所定の手指形状を維持して、ジェスチャを終了する。
【００３８】
よって、本実施形態によれば、ジェスチャ区間抽出部１２０は、互いに類似する一組のジェスチャを捉えることで、開始直前ジェスチャおよび終了直後ジェスチャを抽出して、ジェスチャの区間を抽出することが可能となる。そして、ジェスチャ識別部１３０は、開始直前ジェスチャと終了直後ジェスチャとの間に行われたジェスチャを、入力用ジェスチャとして識別することで、例えば、不用意に行われたジェスチャではなく、運転主の意図を持ったジェスチャとして確実に認識することが可能となる。よって、従来技術のように、わざわざジェスチャ検出のための操作の手間を増やすことなく、入力用のジェスチャを認識することができ、ひいては、誤認識の発生を抑制することができる。
【００３９】
また、本実施形態では、類似度算出部１２２が処理を行う前段階で、互いに類似する複数組みのジェスチャの候補を抽出する開始終了候補抽出部１２１を設けている。これにより、複数組みのジェスチャの候補を予め抽出することで、類似度算出部１２２において、各組の候補に対して類似度を順序立てて計算することが可能となり、計算負荷を減らすことができる。
【００４０】
（その他の実施形態）
上記第１実施形態では、手検出部１１０を設けるものとして説明したが、手検出部１１０を廃止して、撮像装置１０によって撮像された撮像データをジェスチャ区間抽出部１２０に出力するものとしてもよい。
【００４１】
上記第１実施形態では、開始終了候補抽出部１２１を設けるものとして説明したが、計算の負荷を重視しないのであれば、開始終了候補抽出部１２１は、廃止したものとしてもよい。
【００４２】
また、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、ジェスチャを行うことで、ジェスチャ検出装置１００によるジェスチャ検出が行われて、各種車両機器の操作が可能となる。
【００４３】
尚、上記第１実施形態で説明したジェスチャ検出装置１００が実行する内容は、本発明の「ジェスチャ検出方法」に対応する。また、上記第１実施形態では、ジェスチャ検出のために、ジェスチャ検出装置１００を用いたものとして説明したが、例えば、センタサーバーやクラウド等の記憶媒体に記憶された制御プログラムによって、コンピュータが、各部１１０、１２０、１３０として機能するようにすることで、ジェスチャ検出が可能である。
【符号の説明】
【００４４】
１０  撮像装置
１００  ジェスチャ検出装置
１２０  ジェスチャ区間抽出部
１２１  開始終了候補抽出部
１２２  類似度算出部
１２３  開始終了決定部
１３０  ジェスチャ識別部
【図１】
2020013348.tif 000003
【図２】
2020013348.tif 000004
【図３】
2020013348.tif 000005
【図４】
2020013348.tif 000006