(57)【要約】【課題】  意図しない制御に対応する制御信号が出力されてしまうことを防止できるジェスチャー入力装置を得ることを目的とする。【解決手段】  ジェスチャー認識部２３によって認識されたジェスチャーの種類または当該ジェスチャーの種類に対応する制御内容を表す情報を通知するジェスチャー通知部２５と、ジェスチャー通知部２５によって通知されたジェスチャーを確定するための確定入力を抽出する確定入力抽出部２６と、確定部入力抽出部２６が確定入力を抽出した際に、ジェスチャー通知部２５によって通知されたジェスチャーに予め対応付けられた制御信号を出力する制御信号出力部２７とを備えたものである。【選択図】          図２
2014078124.tif 000002
【特許請求の範囲】
【請求項１】
画像取得装置が取得した画像からオブジェクトの位置をオブジェクト特徴として抽出するオブジェクト特徴抽出部と、
前記オブジェクト抽出部によって抽出されたオブジェクト特徴を時系列データとして記録するオブジェクト特徴記録部と、
前記オブジェクト特徴記録部に記録された時系列データに基づいて、前記オブジェクトの位置の変化に対応するジェスチャーを認識するジェスチャー認識部と、
前記ジェスチャー認識部によって認識されたジェスチャーの種類または当該ジェスチャーの種類に対応する制御内容を表す情報を通知するジェスチャー通知部と、
前記ジェスチャー通知部によって通知されたジェスチャーを確定するための確定入力を抽出する確定入力抽出部と、
前記確定部入力抽出部が前記確定入力を抽出した際に、前記ジェスチャー通知部によって通知されたジェスチャーに予め対応付けられた制御信号を出力する制御信号出力部とを備えるジェスチャー入力装置。
【請求項２】
前記ジェスチャー認識部によって認識されたジェスチャーの種類を表す情報を複数記録可能なジェスチャー記録部を備え、
前記ジェスチャー通知部は、前記ジェスチャー記録部に記録された情報に基づき、前記認識されたジェスチャーの種類または当該ジェスチャーの種類に対応する制御内容を表す情報を通知することを特徴とする請求項１に記載のジェスチャー入力装置。
【請求項３】
前記ジェスチャー記録部は、前記ジェスチャーの種類を表す情報を記録するとともに、前記ジェスチャーが認識された時刻を表す情報を記録し、
前記通知部は、前記認識された時刻が最も新しいジェスチャーの種類または当該ジェスチャーの種類に対応する制御内容を表す情報を通知することを特徴とする請求項２に記載のジェスチャー入力装置。
【請求項４】
前記ジェスチャー記録部は、前記ジェスチャーの種類を表す情報を記録するとともに、前記オブジェクトの位置の変化と前記認識されたジェスチャーの類似度を記録し、
前記通知部は、前記類似度が最も高いジェスチャーの種類または当該ジェスチャーの種類に対応する制御内容を表す情報を通知することを特徴とする請求項２に記載のジェスチャー入力装置。
【請求項５】
前記確定入力抽出部は、人物がオブジェクトの位置を変化させることにより行う入力を前記確定入力として抽出することを特徴とする請求項１ないし４のいずれか一項に記載のジェスチャー入力装置。
【請求項６】
前記確定入力抽出部は、人物が特定のボタンを操作することにより行う入力を前記確定入力として抽出することを特徴とする請求項１ないし４のいずれか一項に記載のジェスチャー入力装置。
【請求項７】
前記確定入力抽出部は、人物が特定の言葉を発声することにより行う入力を前記確定入力として抽出することを特徴とする請求項１ないし４のいずれか一項に記載のジェスチャー入力装置。
【請求項８】
前記オブジェクト特徴抽出部は、前記オブジェクトの位置と、当該オブジェクトに対応する人物を識別するための情報とをオブジェクト特徴として抽出し、
前記ジェスチャー認識部は、前記識別した人物ごとに前記ジェスチャーを認識し、
前記ジェスチャー通知部は、前記認識されたジェスチャーの種類または当該ジェスチャーの種類に対応する制御内容を表す情報と、当該ジェスチャーを行った人物を表す情報とを関連付けて通知することを特徴とする請求項１に記載のジェスチャー入力装置。
【請求項９】
前記確定入力抽出部は、人物ごとに前記確定入力を抽出し、
前記制御信号出力部は、前記通知部によって通知されたジェスチャーであって、前記確定入力を行った人物がしたジェスチャーに予め対応付けられた制御信号を出力することを特徴とする請求項８に記載のジェスチャー入力装置。
【請求項１０】
前記オブジェクト特徴抽出部は、前記人物の位置に基づいて、前記人物を識別するための情報を抽出することを特徴とする請求項８または９に記載のジェスチャー入力装置。
【請求項１１】
前記オブジェクト特徴抽出部は、前記人物の顔の特徴量に基づいて、前記人物を識別するための情報を抽出することを特徴とする請求項８または９に記載のジェスチャー入力装置。
【請求項１２】
画像を取得する画像取得装置と、
請求項１ないし１１のいずれか一項に記載のジェスチャー入力装置と、
前記ジェスチャー入力装置から出力される制御信号に基づいて制御される表示装置とを備える表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ジェスチャーによる入力によって各種の機器を制御するジェスチャー入力装置およびこのジェスチャー入力装置を備えた表示システムに関する。
【背景技術】
【０００２】
従来のジェスチャー入力装置は、カメラによって撮像された手の位置の時系列的な変化に基づいてジェスチャーを認識している。そして、認識したジェスチャーに基づいて制御信号を機器に入力し、入力した制御信号に対応する処理を実行させるようにしている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３４５２５号公報（第１２−１３頁、図８）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した装置では、ユーザーは実際に機器の制御が実行されるまでは手の動きが意図するジェスチャーとして認識されたのかどうかを確認することができなかった。このため、意図とは異なるジェスチャーが認識されてしまった場合、ユーザーが気づくことなく意図しない制御に対応する制御信号が出力されてしまうという問題があった。
【０００５】
この発明は、上述のような課題を解決するためになされたもので、意図しない制御に対応する制御信号が出力されてしまうことを防止できるジェスチャー入力装置を得ることを目的とするものである。
【課題を解決するための手段】
【０００６】
この発明に係るジェスチャー入力装置は、画像取得装置が取得した画像からオブジェクトの位置をオブジェクト特徴として抽出するオブジェクト特徴抽出部と、オブジェクト特徴抽出部によって抽出されたオブジェクト特徴を時系列データとして記録するオブジェクト特徴記録部と、オブジェクト特徴記録部に記録された時系列データに基づいて、オブジェクトの位置の変化に対応するジェスチャーを認識するジェスチャー認識部と、ジェスチャー認識部によって認識されたジェスチャーの種類または当該ジェスチャーの種類に対応する制御内容を表す情報を通知するジェスチャー通知部と、ジェスチャー通知部によって通知されたジェスチャーを確定するための確定入力を抽出する確定入力抽出部と、確定部入力抽出部が確定入力を抽出した際に、ジェスチャー通知部によって通知されたジェスチャーに予め対応付けられた制御信号を出力する制御信号出力部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、ユーザーは意図するジェスチャーが認識されているかどうかを確認した上で制御の実行を確定することができるので、意図しない制御に対応する制御信号が出力されてしまうことを防止することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る表示システムの構成を示すブロック図である。
【図２】実施の形態１に係る表示システムの外観の概略を示す図である。
【図３】実施の形態１に係るジェスチャー入力装置の構成を示すブロック図である。
【図４】実施の形態１に係る表示システムにおけるジェスチャー入力装置の動作を示すフローチャート図である。
【図５】実施の形態１に係る表示システムの使用の一例を説明するための図である。
【図６】実施の形態１に係る表示システムの使用の一例を説明するための図である。
【図７】実施の形態１に係る表示システムの使用の一例を説明するための図である。
【図８】実施の形態２に係る表示システムの外観の概略を示す図である。
【図９】実施の形態２に係る表示システムの使用の一例を説明するための図である。
【図１０】実施の形態２に係る表示システムの使用の一例を説明するための図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１および図２は、実施の形態１に係る表示システム１０を示すものであって、図１は構成を示すブロック図、図２は外観の概略を示す図である。
【００１０】
図１および２に示すように、表示システム１０は、画像取得装置１１、ジェスチャー入力装置１２および表示装置１３を備えている。画像取得装置１１とジェスチャー入力装置１２およびジェスチャー入力装置１２と表示装置１３は、それぞれ有線または無線による通信が可能に構成されている。実施の形態１の表示システム１０は、画像取得装置１１、ジェスチャー入力装置１２および表示装置１３が一つの筐体に収納されて構成される。ユーザーＡは、表示画面１４に表示された映像を視聴し、ジェスチャーによって表示装置１３を制御する。
【００１１】
なお、画像取得装置１１、ジェスチャー入力装置１２および表示装置１３は物理的に一体であってもよいし、分離されていてもよい。画像取得装置１１とジェスチャー入力装置１２とが一体となってリモートコントローラを構成し、別体の表示装置１３と無線通信を行うように構成することもできる。
【００１２】
画像取得装置１１はカメラであり、前方を撮像して画像データを取得する。画像取得装置１１は、撮像素子、レンズ等の光学部、撮像素子からの信号を処理し画像データを生成する画像処理部および生成した画像データを記憶するフレームバッファ部等により構成される。取得した画像データは、ジェスチャー入力装置１２によって参照される。画像データの取得は、例えば１／３０秒ごとといった一定の期間ごとに行う。
【００１３】
ジェスチャー入力装置１２は、画像取得装置１１が取得した画像データに基づいてジェスチャーを認識する。そして、ジェスチャー入力装置１２は、認識したジェスチャーに対応する制御を実行するための制御信号を生成して表示装置１３に出力し、表示装置１３を制御する。ジェスチャー入力装置１２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）とＣＰＵに接続されたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）とを備え、ＲＯＭに格納されたプログラムをＣＰＵにより実行する情報処理装置として構成することで実現できる。
【００１４】
表示装置１３はテレビ受像機であり、表示画面１４に表示する画面の生成と、生成した画面の表示を行う。生成される画面は、ジェスチャー入力装置１２から入力される制御信号にしたがって変化しＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成する。また、表示装置１３は音声を再生するためのスピーカーを備えていてもよい。
【００１５】
次に、図３を用いてジェスチャー入力装置１２の構成を説明する。図３は、実施の形態１に係るジェスチャー入力装置の構成を示すブロック図である。図３に示すように、ジェスチャー入力装置１２は、オブジェクト特徴抽出部２１、オブジェクト特徴記録部２２、ジェスチャー認識部２３、ジェスチャー記録部２４、ジェスチャー通知部２５、確定入力抽出部２６および制御信号出力部２７を備えている。
【００１６】
オブジェクト特徴抽出部２１は、画像取得装置１１が取得した画像データからオブジェクト（人物の手）の位置をオブジェクト特徴として抽出する。人物手の抽出は、例えば、画像データから肌色の領域を抜き出すか輝度が極大となる点を抜き出すことによって物体の輪郭を抜き出したあと、テンプレートマッチング法等により物体の輪郭が手に類似するか否かを判断することにより行う。人物の手の位置は、人物の手の座標としてオブジェクト特徴記録部２２に記録される。
【００１７】
なお、オブジェクト特徴抽出部２１は、人物の手の位置の他に、手の大きさや角度、手を開いているか閉じているかといった手の状態を含めて抽出してもよい。また、ここではオブジェクトとして人物の手を抽出するものを示しているが、ユーザーが把持するリモコンのような形状をした物体や、ユーザーが装着する腕時計のような形状をした物体をオブジェクトとし、これらの位置を抽出するようにしてもよい。ユーザーの手によって把持されている物体がＬＥＤ等の発光部を備えた物体とすると、オブジェクト特徴抽出部２１は、画像データから当該発光部による光の位置をオブジェクトの位置として抽出することができる。
【００１８】
オブジェクト特徴記録部２２は、オブジェクト特徴抽出部２１によって抽出された人物の手の位置を時系列データとして記録する。時系列データは、抽出してから一定の時間を経過したものは消去し、常に最新の一定期間のデータが記録されているようにする。時系列データが記録される期間は、最低でも一つのジェスチャーの完了に要する時間は必要であり、例えば５秒以内で完了するジェスチャーを想定しているならば、５秒間に相当するデータを記録する。オブジェクト特徴記録部２２に記録される時系列データは、ジェスチャー認識部２３により参照される。
【００１９】
ジェスチャー認識部２３は、オブジェクト特徴記録部２２に記録されている時系列データが、所定のジェスチャーに対応する時系列データに類似しているか否かを判定し、類似する時系列データが存在する場合は、対応するジェスチャーをユーザーが入力したジェスチャーであるとして認識する。なお、ジェスチャーに対応する時系列データは、ジェスチャーごとに予め用意されている。
【００２０】
オブジェクト特徴記録部２２に記録されている時系列データが、所定のジェスチャーに対応する時系列データに類似しているか否かの判定は、両時系列データがどの程度相違しているかを示す相違度を求め、求めた相違度が所定の閾値以下である場合、両時系列データは類似しているとして判定することができる。ここで、時系列データ間の相違度を求める方法としては、マハラノビス距離の算出や、動的計画法による距離の算出などを用いることができる。ジェスチャー認識部２３は、求めた時系列データ間の相違度の逆数を、人物の手の位置の変化と認識されたジェスチャーの類似度とすることができる。
【００２１】
また、所定のジェスチャーに対応する時系列データをもとに予め分類器を生成しておき、作成した分類器を利用することによってオブジェクト特徴記録部２２に記録されている時系列データの分類を行う方法もある。分類器の生成にはサポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）といった学習に基づいた方法などを用いることができる。ジェスチャー認識部２３は、上記の分類の際に同時に算出される信頼度を、人物の手の位置の変化と認識されたジェスチャーの類似度とすることができる。
【００２２】
ジェスチャー記録部２４は、ジェスチャー認識部２３が認識したジェスチャーを複数記録可能に構成されている。ジェスチャー記録部２４には、ジェスチャー認識部２３によって認識されたジェスチャーの種類と、ジェスチャーが識別された時刻が記録される。また、ジェスチャー記録部２４には、上述した類似度を記録するようにしてもよい。
【００２３】
ジェスチャー記録部２４は、ジェスチャー認識部２３が認識したジェスチャーの全てを記録し続けるのではなく、たとえば、ジェスチャーが識別された時刻を参照し、一定の時間が経過したジェスチャーは消去するように構成してもよい。また、記録されているジェスチャーの個数が一定以上となった際に、一番古いジェスチャーを消去することによって新しいジェスチャーが記録されるように構成するようにしてもよい。また、ジェスチャー記録部２４に上述した類似度を記録する場合は、類似度を参照し、記録されているジェスチャーの個数が一定以上となった際に、類似度の低いジェスチャーを消去するようにしてもよい。
【００２４】
また、ジェスチャー記録部２４は、ジェスチャー認識部２３が認識したジェスチャーを全て記録するのではなく、例えば、前回記録したジェスチャーの種類と、新たに識別したジェスチャーの種類とが一致するときは、ジェスチャーを記録しないようにしてもよい。また、ジェスチャーを記録してから一定期間の間は新たなジェスチャーを記録しないように構成してもよい。
【００２５】
ジェスチャー通知部２５は、ジェスチャー記録部２４に記録された情報に基づいて、ジェスチャー認識部２３によって認識されたジェスチャーの種類を表す情報を通知する。実施の形態１において、ジェスチャー通知部２５は、ジェスチャー記録部２４に記録されているジェスチャーのうち、識別された時刻が最も新しいジェスチャーの種類を表す情報を、アイコンやテキストとして表示装置１３の表示画面１４に表示させて通知する。
【００２６】
確定入力抽出部２６は、ジェスチャー通知部２５によって通知されたジェスチャーを確定する確定入力を抽出する。実施の形態１では、人物がオブジェクト（人物の手）の位置を変化させることにより行う入力を確定入力として取得している。この場合、確定入力抽出部２６は、オブジェクト特徴抽出部２１、オブジェクト特徴記録部２２、ジェスチャー認識部２３によりジェスチャーが認識される方法と同様の方法を用いて確定入力を抽出できる。
【００２７】
確定入力抽出部２６は、確定入力を抽出した際に、ジェスチャー記録部２４に記録されているジェスチャーのうち、ジェスチャー通知部２５が通知しているジェスチャーを制御信号出力部２７に出力する。制御信号出力部２７は、確定入力出力部２６からの出力を取得すると、取得したジェスチャーに予め対応付けられた制御信号を出力する。制御信号は、表示装置１３が備えるスピーカーの音量を上昇させるなどの表示装置１３の制御を行うための信号や、表示装置１３の表示画面１４に表示されるＧＵＩのメニュー項目を選択するための信号などである。
【００２８】
次に、図４を用いてジェスチャー入力装置１２の動作を説明する。図４は、実施の形態１に係るジェスチャー入力装置１２の動作を示すフローチャート図である。
【００２９】
まず、オブジェクト特徴抽出部２１は、画像取得装置１１が取得した画像データから人物の手の位置を抽出する（Ｓ０１）。人物の手の位置が抽出できた場合（Ｓ０２：Ｙ）、抽出した手の位置をオブジェクト特徴記録部２２に記録する（Ｓ０３）。このとき、記録してから一定時間が経過したデータを消去する。
【００３０】
次に、ジェスチャー認識部２３は、オブジェクト特徴記録部２２に記録されている時系列データに基づいて、人物の手の位置の変化に対応するジェスチャーを認識する（Ｓ０４）。ジャスチャーが認識できた場合（Ｓ０５：Ｙ）、認識したジェスチャーの種類とジェスチャーを認識した時刻をジェスチャー記録部２４に記録する（Ｓ０６）。このとき、記録してから一定時間が経過したデータを消去する。
【００３１】
次に、ジェスチャー通知部２５は、ジェスチャー記録部２４に記録されているジェスチャーのうち、認識された時刻が最も新しいジェスチャーの種類を表す情報を、アイコンやテキストとして表示手段１３の表示画面１４に表示することにより通知する（Ｓ０７）。
【００３２】
次に、ジェスチャー確定入力抽出部２６は、人物が手の位置を変化させることにより行う入力を確定入力として抽出する（Ｓ０８）。確定入力が抽出できた場合（Ｓ０９：Ｙ）、制御信号出力部２６は、ジェスチャー通知部２５に通知されたジェスチャーに予め対応付けられた制御信号を表示装置１３に対して出力し（Ｓ１０）、動作を終了する。一方、確定入力が取得できない場合（Ｓ０９：Ｎ）は、制御信号を出力せずに動作を終了する。
【００３３】
なお、上述した動作は、画像データから手の位置を抽出して記録する処理（Ｓ０１−Ｓ０３に対応）、ジェスチャーを認識して通知するする処理（Ｓ０４−Ｓ０７に対応）および確定入力を抽出して制御信号を出力する処理（Ｓ０８−Ｓ１０）の３つに分けることができる。これらの処理は、例えば、画像取得装置１１が画像を取得する周期（たとえば１／３０秒ごと）に行う。なお、３つの処理を行う順番は上記の場合に限るものではなく、また、３つの処理の全部もしくは一部が並列して行われてもよい。さらに、処理が行われる周期も処理ごとに異なっていてもよい。
【００３４】
次に、図５を用いて表示システム１０の使用の一例を説明する。図５は、実施の形態１に係る表示システムの使用の一例を説明するための図であって、図５（ａ）はジェスチャーを行う前を示す図、図５（ｂ）は手を左に振るジェスチャーを行った場合を示す図、図５（ｃ）は手を右に振るジェスチャーを行った場合を示す図である。
【００３５】
ここでは、ユーザーＡが、ジェスチャーによる入力によって表示装置１３を制御する場合を示す。手を右に振るジェスチャーを行うとスピーカーの音量を上げ、手を左に振るジェスチャーを行うとスピーカーの音量を下げる構成であるものとする。また、確定入力は両手を胸の前で静止させるジェスチャーであるとする。
【００３６】
まず、図５（ａ）に示すように、ユーザーＡがジェスチャーを行う前は、ジェスチャー記録部２４にはジェスチャーは記録されていないため、表示画面１４にはジェスチャー通知部２５による通知は表示されていない。
【００３７】
次に、ユーザーＡがスピーカーの音量を上げるために手を右に振るジェスチャーをしようして手を体の前に出そうとした動きが、体の右側から中央に向かって手を体の前に出してしまったことにより、手を左に振るジェスチャーとして認識されたとする。すると、図５（ｂ）に示すように、表示画面１４には、手を左に振るジェスチャーを通知するアイコン３１ａが表示される。ユーザーＡは、表示画面１４を見て意図しない制御に対応するジェスチャーが認識されてしまったことを確認する。
【００３８】
次に、ユーザーＡは、手を右に振るジェスチャーを行う。すると、図５（ｃ）に示すように、表示画面１４には手を右に振るジェスチャーを通知するアイコン３２ａが表示される。ユーザーＡは、表示画面１４を見て意図する制御に対応するジェスチャーが認識されたことを確認した後、確定入力である両手を胸の前で静止させるジェスチャーを行う。すると、手を右に振るジェスチャーが確定し、手を右に振るジェスチャーに対応するスピーカーの音量を上げる制御信号が出力され、スピーカーの音量が上昇する。
【００３９】
このように、意図するジェスチャーが認識されているかどうかを確認した上で制御の実行を確定することができる。
【００４０】
次に、図６を用いて表示システム１０の使用の他の一例を説明する。図６は、実施の形態１に係る表示システムの使用の一例を説明するための図であって、図６（ａ）はジェスチャーが認識されなかった場合を示す図、図６（ｂ）はジェスチャーが認識された場合を示す図である。
【００４１】
ユーザーＡが手を右に振るジェスチャーを行ったものの、ジェスチャー入力装置１２がそれを認識できなかった場合、図６（ａ）に示すように、表示画面１４には手を右に振るジェスチャーを通知するアイコンは表示されない。
【００４２】
ジェスチャーが認識されていないことを確認したユーザーＡは、もう一度手を右に振るジェスチャーを行う。ジェスチャーが認識されると、図６（ｂ）に示すように、表示画面１４には手を右に振るジェスチャーを通知するアイコン３２ａが表示される。ユーザーＡは、表示画面１４を見て意図する制御に対応するジェスチャーが認識されたことを確認した後、確定入力である両手を胸の前で静止させるジェスチャーを行う。すると、手を右に振るジェスチャーが確定し、手を右に振るジェスチャーに対応するスピーカーの音量を上げる制御信号が出力され、スピーカーの音量が上昇する。
【００４３】
このように、ジェスチャーが認識されなかった場合でも、ユーザーはジェスチャーが認識されなかったことを確認した上で再度ジェスチャーによる入力を行うことができる。
【００４４】
実施の形態１によれば、ジェスチャー通知部２５は、認識されたジェスチャーの種類を表す情報を通知し、制御信号出力部２７は、ジェスチャー確定入力抽出部２６が確定入力を取得した際に、通知されたジェスチャーに予め対応付けられた制御信号を出力するようにしている。これにより、ユーザーは、意図するジェスチャーが認識されているかどうかを確認した上で制御の実行を確定することができるので、意図しない制御に対応する制御信号が出力されてしまうことを防止することができる。
【００４５】
また、ジェスチャーが認識されなかった場合でも、ユーザーはジェスチャーが認識されなかったことを確認した上で再度ジェスチャーによる入力を行うことができるので、確実に意図する制御に対応した制御信号を出力することができる。
【００４６】
また、ジェスチャー通知部２５は、ジェスチャー記録部２４に記録されたジェスチャーのうち、認識された時刻が最も新しいジェスチャーの種類を表す情報を通知するようにしているので、意図しないジェスチャーが認識されてしまった場合でも、再度ジェスチャーを入力すれば、容易に意図するジェスチャーに修正することができる。
【００４７】
また、確定入力抽出部２６は、ユーザーがオブジェクトの位置を変化させることにより行う入力を確定入力として抽出するようにしているので、ユーザーはジェスチャーによる入力だけで表示装置１３を制御することができる。
【００４８】
図７は、実施の形態１の表示システムの使用の一例を説明するための図であって、図７（ａ）はジェスチャーを行う前を示す図、図７（ｂ）は手を左に振るジェスチャーを行った場合を示す図、図７（ｃ）は手を右に振るジェスチャーを行った場合を示す図である。図７（ａ）、（ｂ）、（ｃ）は、それぞれ図５（ａ）、（ｂ）、（ｃ）に対応している。図５においては、ジェスチャー通知部２５がジェスチャーを通知するアイコン３１ａ、３２ａを通知するものを示したが、図７に示すように、ジェスチャーに対応する制御の内容を通知するアイコン３１ｂ、３２ｂを通知するようにしてもよい。アイコン３１ａはアイコン３１ｂに、アイコン３２ａはアイコン３２ｂにそれぞれ対応している。このように構成しても、上記と同様の効果を得ることができる。
【００４９】
なお、実施の形態１では、ジェスチャー記録部２４に記録されたジェスチャーのうち、認識された時刻が最も新しいジェスチャーの種類を通知するものを示したが、類似度が最も高いジェスチャーの種類を通知するようにしてもよい。この場合、ジェスチャー記録部２４には、ジェスチャー識別部２３で算出した類似度を記録するように構成する。そして、ジェスチャー通知部２５は、ジェスチャー記録部２４に記録されたジェスチャーのうち、類似度が最も高いジェスチャーの種類を表す情報を通知する。
【００５０】
識別された時刻が最も新しいジェスチャーを通知する場合、意図するジェスチャーの後にした手の動きがジェスチャーとして認識されてしまうと意図しないジェスチャーが通知されてしまうことになる。しかしながら、意図せずに行った手の動きがジェスチャーとして認識された場合、そのジェスチャーの類似度は低い。このため、類似度が高いジェスチャーを通知することで、意図しない制御に対応するジェスチャーが認識されてしまうことによる影響を低減できる。
【００５１】
また、実施の形態１では、人物がオブジェクトの位置を変化させることにより行う入力を確定入力として抽出するものを示したが、確定入力はこれに限るものではない。確定入力としては、ボタン操作による入力や音声などによる入力とすることができる。
【００５２】
ボタンによる入力は、例えば、リモコンのような形状の物体をユーザーが把持している場合に利用できる。ユーザーが把持する物体に、ボタンと赤外線発光部を設けるとともに、表示装置１３に赤外線受光部を設けておく。ユーザーがボタンを押した際に、赤外線発光部が特定のパターンで発光し、赤外線受光部が上記のパターンを取得する。確定入力抽出部は、赤外線受光部からの信号を確定入力として抽出することができる。
【００５３】
音声による入力は、例えば、「はい」や「決定」などの特定の単語をユーザーが発声したことを抽出することで実現できる。特定の単語を抽出するためには、例えば、表示システム１０にマイクを設けて音声データを取得し、取得した音声データから周波数特性などを表す特徴量を算出し、あらかじめ用意された特定の単語に対応する特徴量と比較することにより、音声データが特定の単語であるかどうかを判定することにより行う。
【００５４】
また、実施の形態１では、画像取得装置１１がカメラである例を示したが、画像取得装置１１としては、レーザーを照射して物体までの光の到達時間をもとに物体の位置や形状を測定する距離画像センサーを用いてもよい。距離画像センサーが取得した画像から手の位置を抽出することができる。
【００５５】
また、表示装置１３がテレビ受像機である例を示したが、表示装置１３としては、カーナビゲーション装置を用いてもよい。
【００５６】
また、実施の形態１では、１つのジェスチャーを通知する場合を示したが複数のジェスチャーを通知するようにしてもよい。例えば、識別された時刻が最も新しいジェスチャーと２番目に新しいジェスチャーを通知したり、識別された時刻が最も新しいジェスチャーと類似度が最も高いジェスチャーを通知するように構成できる。このように構成する場合、確定入力も２種類とし、ジェスチャーの種類を表すアイコンと、当該ジェスチャーを確定させるための確定入力を示す情報とを組み合わせて表示画面１４に表示する。人物が手の位置の変化させることによる入力を確定入力とする場合、確定入力を示す情報として、例えば、手の動作を示すアイコンやテキストを表示すればよい。
【００５７】
実施の形態２．
図８は、実施の形態２に係る表示システムの外観の概略を示す図である。実施の形態２では、ジェスチャーをユーザーごとに認識して表示装置１３を制御するものについて説明する。図８に示すように、実施の形態２では、ユーザーＡとユーザーＢの二人が表示システム１０を使用する場合について説明する。
【００５８】
実施の形態２のジェスチャー入力装置の構成は、実施の形態１と同様であり、各部で行われる処理のみが異なるので、実施の形態１と同様の部分については説明を省略または簡略化することとする。
【００５９】
オブジェクト特徴抽出部２１は、画像取得装置１１が取得した画像データから、人物の手の位置と、当該手に対応する人物を識別するための情報とをオブジェクト特徴として抽出する。人物を識別するための情報は、ある一定の期間、同じ人物に同じ値が対応する情報であればよい。例えば、画像データから人物の顔の位置を抽出し、抽出した顔の位置に基づいた情報としてもよい。また、顔識別手法により画像データから人物の顔を抽出し、さらに、抽出した人物の顔から目や口の大きさや比率を示す特徴量を算出し、特徴量に基づき算出される、予め登録されている複数の顔のうちどの顔に類似しているかを示す情報としてもよい。
【００６０】
また、オブジェクト特徴抽出部２１は、人物の手の位置と、抽出した手に対応する人物を識別するための情報とを対応付ける。この対応付けは、人物の手の位置と、当該手の位置に最も近い位置に顔がある人物とを対応付けることにより行う。
【００６１】
オブジェクト特徴記録部２２は、人物ごとに抽出した手の位置を時系列データとして記録する。
【００６２】
ジェスチャー認識部２３は、人物ごとにジェスチャーを認識する。ジェスチャーの認識方法については、実施の形態１と同様であるので、その説明を省略する。
【００６３】
ジェスチャー記録部２４には、人物ごとに、ジェスチャー認識部２３によって認識されたジェスチャーの種類と、ジェスチャーが識別された時刻とが記録される。
【００６４】
ジェスチャー通知部２５は、ジェスチャー記録部２４に記録された情報に基づいて、ジェスチャー認識部２３によって認識されたジェスチャーの種類を表す情報と、当該ジェスチャーを行った人物を表す情報とを関連付けて通知する。
【００６５】
ジェスチャーの種類を表す情報と、当該ジェスチャーを行った人物を表す情報とを関連付けて通知する方法としては、画像取得装置１１が取得した画像データから対応する人物の顔領域を切り抜いて画像として表示画面１４に表示し、その上下左右隣接した位置にジェスチャーの種類を表すアイコンやテキストを表示する方法を用いることができる。
【００６６】
また、画像取得装置１１が取得した画像データ全体を表示画面１４に表示し、ジェスチャーの種類に対応したアイコンやテキストを、表示している画像データ内の対応する人物の位置に重ねて表示する方法を用いることができる。また、予め人物の顔に名前が関連付けられて登録されている場合であれば、ジェスチャーの種類に対応したアイコンやテキストを、登録されている人物の名前と組み合わせて表示する方法を用いることができる。
【００６７】
確定入力抽出部２６は、人物ごとに確定入力を抽出する。確定入力抽出部２６は、人物がオブジェクトの位置を変化させることにより行う入力を確定入力として抽出する場合、オブジェクト特徴抽出部２１、オブジェクト特徴記録部２２およびジェスチャー認識部２３によりジェスチャーを認識する方法と同様の方法を用いて確定入力を抽出できる。
【００６８】
確定入力抽出部２６は、確定入力を抽出した際に、ジェスチャー記録部２４に記録されているジェスチャーのうち、確定入力を行った人物がしたジェスチャーであって、ジェスチャー通知部２５が通知したジェスチャーを制御信号出力部２７に出力する。制御信号出力部２７は、確定入力出力部２６からの出力を取得すると、取得したジェスチャーに予め対応付けられた制御信号を出力する。
【００６９】
次に、図９を用いて実施の形態２に係る表示システム１０の使用の一例を説明する。図９は、実施の形態２に係る表示システムの使用の一例を説明するための図であって、図９（ａ）はユーザーＡが手を左に振るジェスチャーを行った場合を示す図、図９（ｂ）はユーザーＢが手を右に振るジェスチャーを行った場合を示す図である。なお、ここでは表示装置１３の前方に、ユーザーＡとユーザーＢの二人のユーザーがいる場合を示す。また、実施の形態１と同様、手を右に振るジェスチャーを行うとスピーカーの音量を上げ、手を左に振るジェスチャーを行うとスピーカーの音量を下げる構成であるものとする。また、確定入力は両手を胸の前で静止させることとする。
【００７０】
まず、図９（ａ）に示すように、ユーザーＡが意図して手を右に振るジェスチャーを行う。すると、表示画面１４には、手を右に振るジェスチャーを通知するアイコン３３ａとユーザーＡの顔画像３５ａが隣接して表示される。
【００７１】
ここで、ユーザーＢが意図せずに手を左に動かした動作がジェスチャーであると認識されてしまったとする。すると、図９（ｂ）に示すように、表示画面１４には、手を右に振るジェスチャーを通知するアイコン３３ａとユーザーＡの顔画像３５ａが表示されるとともに、手を左に振るジェスチャーを通知するアイコン３４ａとユーザーＢの顔画像３５ｂが表示される。
【００７２】
ユーザーＡは、意図通りのジェスチャーが認識されていることを確認し、確定入力である両手を胸の前で静止させるジェスチャーを行う。一方、ユーザーＢは、意図しないジェスチャーを認識されていることを確定し、確定入力は行わない。これにより、ユーザーＡの意図するスピーカーの音量を上げる制御が行われる。
【００７３】
このように、複数のユーザーが存在する場合でも、ユーザーごとにジェスチャーを認識し、それぞれのユーザーが自分の行ったジェスチャーが意図通りであるかを確認した上で、制御の実行を確定させることができる。
【００７４】
実施の形態２によれば、意図するジェスチャーが認識されているかどうかを確認した上でユーザーごとに制御の実行を確定することができるので、複数のユーザーが存在する場合でも、意図しない制御に対応する制御信号が出力されることを防止できる。
【００７５】
図１０は、実施の形態２の表示システムの使用の一例を説明するための図であって、図１０（ａ）はユーザーＡが手を右に振るジェスチャーを行った場合を示す図、図１０（ｂ）はユーザーＢが手を左に振るジェスチャーを行った場合を示す図である。図１０（ａ）、（ｂ）は、それぞれ図９（ａ）、（ｂ）に対応している。図９においては、ジェスチャー通知部２５がジェスチャーを通知するアイコン３３ａ、３４ａを通知するものを示したが、図９に示すように、ジェスチャーに対応する制御の内容を通知するアイコン３３ｂ、３４ｂを通知するようにしてもよい。アイコン３３ａはアイコン３３ｂに、アイコン３４ａはアイコン３４ｂにそれぞれ対応している。このように構成しても、上記と同様の効果を得ることができる。
【符号の説明】
【００７６】
１０  表示システム
１１  画像取得装置
１２  ジェスチャー入力装置
１３  表示装置
２１  オブジェクト特徴抽出部
２２  オブジェクト特徴記録部
２３  ジェスチャー認識部
２４  ジェスチャー記録部
２５  ジェスチャー通知部
２６  確定入力抽出部
２７  制御信号出力部
【図１】
2014078124.tif 000003
【図２】
2014078124.tif 000004
【図３】
2014078124.tif 000005
【図４】
2014078124.tif 000006
【図５】
2014078124.tif 000007
【図６】
2014078124.tif 000008
【図７】
2014078124.tif 000009
【図８】
2014078124.tif 000010
【図９】
2014078124.tif 000011
【図１０】
2014078124.tif 000012