(57)【要約】      （修正有）【課題】ユーザに簡便かつ多種類の操作指示を行わせる情報処理装置、表示装置、テレビを提供する。【解決手段】コマンド決定装置１０は、表示装置２０からのＩＲコマンドを受け付けるＩＲコマンド受付部１００と、カメラ３０からカメラ３０の撮影した映像を受信する画像受信部１１０と、ジェスチャ認識を行うジェスチャ認識部１２０と、ＩＲコマンドと、ジェスチャとに応じて表示装置２０に対する制御コマンドを決定する制御コマンド決定部１３０と、制御コマンドを表示装置２０に実行させる制御コマンド送信部１４０と、を備える。【選択図】図１
2016072698.tif 000002
【特許請求の範囲】
【請求項１】
表示装置のための操作装置に対して行われた入力操作の種類に応じたコマンドを受け付けるコマンド受付手段と、
上記コマンド受付手段が上記コマンドを受け付けた場合にカメラにより撮影された上記操作装置の映像から、上記操作装置の所定の動きを認識するジェスチャ認識手段と、
上記ジェスチャ認識手段が上記所定の動きを認識した場合、上記ジェスチャ認識手段が上記所定の動きを認識しなかった場合の制御命令とは異なるように、上記コマンドに対応する制御命令を決定する制御命令決定手段と、
上記表示装置に上記制御命令を実行させる制御命令指示手段と、を備えることを特徴とする情報処理装置。
【請求項２】
上記ジェスチャ認識手段は、認識した上記所定の動きの種類を特定し、
上記制御命令決定手段は、上記コマンドと上記所定の動きの種類との組み合わせに応じた上記制御命令を決定することを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
上記ジェスチャ認識手段は、上記コマンド受付手段が上記コマンドを受け付けてから予め定められた第１の時間以上の時間、同一のコマンドを継続して受け付けている場合に上記所定の動きの認識を行うことを特徴とする、請求項１または２に記載の情報処理装置。
【請求項４】
上記ジェスチャ認識手段は、上記コマンド受付手段が同一のコマンドを継続して受け付けている間、上記所定の動きの認識を行うことを特徴とする、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
上記ジェスチャ認識手段は、上記コマンド受付手段が受け付けている上記同一のコマンドが一時的に途切れたとき、上記途切れた時間が予め定められた第２の時間以下である場合は、上記同一のコマンドを途切れず受け付けたとみなすことを特徴とする、請求項４に記載の情報処理装置。
【請求項６】
上記コマンド受付手段が上記コマンドを受け付けると、上記コマンドと組み合わせ可能な上記所定の動きを示す文字および画像の少なくともいずれかを上記表示装置に表示させるガイダンス表示手段を備えることを特徴とする、請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
請求項１〜６のいずれか１項に記載の情報処理装置に対して、受光部にて操作装置から受光した赤外線信号に応じたコマンドを送信するコマンド送信手段と、
上記コマンドに対する応答として、上記情報処理装置から上記制御命令を受信する制御命令受信手段と、
上記制御命令受信手段が受信した上記制御命令に従って表示部に画像を表示させる表示制御手段と、を備えることを特徴とする表示装置。
【請求項８】
請求項１〜６のいずれか１項に記載の情報処理装置と、
請求項７に記載の表示装置と、
上記カメラと、を備えることを特徴とするテレビ。
【請求項９】
請求項１から６のいずれか１項に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１０】
請求項９に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示する表示装置へ制御指示を送信する情報処理装置等に関する。
【背景技術】
【０００２】
テレビ等、リモコンを用いて入力操作を行う電子機器は、近年その機能がより豊富になってきている。例えば、インターネットブラウザやＶＯＤ（ビデオ・オン・デマンド）等としての機能も併せ持つデジタルテレビ（スマートテレビ）が開発されている。
【０００３】
一方、このように電子機器の機能が豊富になっていくほど、当該電子機器の操作は複雑になり、リモコン上のボタン等の数が増加する傾向にある。この場合、ユーザは入力操作を行う場合、一旦テレビ等の電子機器から目を離してリモコンのボタンを確認し、入力操作を行うこととなる。したがって、テレビ等では入力操作の間ユーザが情報を受け取ることができない。また、上述の通りリモコンのボタン数が増加するので、操作したいボタンの位置が分からず、ユーザがストレスを感じることがある。
【０００４】
これに対し、電子機器の操作を簡便にするため種々の技術が開発されている。例えば、特許文献１には、リモコンの操作キーの押下と、リモコンを持つ手の動作とから電子機器を操作するための操作信号を決定する技術が開示されている。また、特許文献２および３には、リモコンの動きをジェスチャとして認識し、ボタンの押下に代わり当該ジェスチャに応じて電子機器を制御する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２８５０８３号公報（１９９９年１０月１５日公開）
【特許文献２】特開２００８−３００８９５号公報（２００８年１２月１１日公開）
【特許文献３】特開２０１０−０４５７３０号公報（２０１０年２月２５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術を適用する場合、加速度センサ等リモコンを持つ手の動作を特定するためのセンサを備えた専用リモコンを用いる必要がある。そのため、例えばリモコンを紛失した場合、またはリモコンが故障してしまった場合に、再度専用リモコンを用意する必要がある。また、特許文献２および３に開示された技術を適用する場合、限られた数のボタンしか配置できないリモコンでは、ボタン押下に係る入力操作の種類は限られてしまうので、多種の入力操作を行おうとすると認識するジェスチャの種類を増やす必要がある。そのため、ユーザは数多くのジェスチャを取得する必要があり、ジェスチャによる操作の利便性が損なわれてしまうという問題があった。
【０００７】
本発明は、上記問題点に鑑みたものであり、その目的は、ユーザに簡便かつ多種類の操作指示を行わせることが可能な情報処理装置、表示装置、テレビ、制御プログラム、および記録媒体等を実現することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、表示装置のための操作装置に対して行われた入力操作の種類に応じたコマンドを受け付けるコマンド受付手段と、上記コマンド受付手段が上記コマンドを受け付けた場合にカメラにより撮影された上記操作装置の映像から、上記操作装置の所定の動きを認識するジェスチャ認識手段と、上記ジェスチャ認識手段が上記所定の動きを認識した場合、上記ジェスチャ認識手段が上記所定の動きを認識しなかった場合の制御命令とは異なるように、上記コマンドに対応する制御命令を決定する制御命令決定手段と、上記表示装置に上記制御命令を実行させる制御命令指示手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明の一態様によれば、ユーザに簡便かつ多種類の操作指示を行わせることが可能になるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１に係るテレビ（ＴＶ）の要部構成を示すブロック図である。
【図２】上記ＴＶの動作概要を示す図である。図２の（ａ）はリモコンを用いた入力操作の一例を示し、図２の（ｂ）はユーザが図２の（ａ）に示す入力操作を行った後の上記ＴＶの動作の一例を示す。
【図３】上記ＴＶに含まれるコマンド決定装置の記憶部に格納された、制御コマンド決定情報のデータ構成の一例を示す図である。
【図４】リモコンに対する入力操作およびジェスチャと、当該入力操作およびジェスチャに応じた上記ＴＶの画面遷移との一例を示す図である。
【図５】リモコンに対する入力操作およびジェスチャと、当該入力操作およびジェスチャに応じた上記ＴＶの画面遷移との、他の一例を示す図である。
【図６】リモコンに対する入力操作およびジェスチャと、当該入力操作およびジェスチャに応じた上記ＴＶの画面遷移との、さらに他の一例を示す図である。
【図７】リモコンに対する入力操作およびジェスチャと、当該入力操作およびジェスチャに応じた上記ＴＶの画面遷移との、さらに他の一例を示す図である。
【図８】上記コマンド決定装置における処理の流れを示すフローチャートである。
【図９】本発明の実施形態２に係るコマンド決定装置における処理の流れを示すフローチャートである。
【図１０】本発明の実施形態３に係るＴＶの要部構成を示すブロック図である。
【図１１】本発明の実施形態３に係るＴＶが表示する画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
〔実施形態１〕
以下、本発明の実施形態１について、図１〜８を参照して説明する。まず始めに、本実施形態に係るテレビ（ＴＶ）１の動作概要を、図２を用いて説明する。図２はＴＶ１の動作概要を示す図である。図２の（ａ）はリモコンを用いた入力操作の一例を示しており、図２の（ｂ）はユーザが図２の（ａ）に示す入力操作を行った後のＴＶ１の動作の一例を示している。なお、図２の（ａ）における破線は、カメラ３０が映像を撮影可能な範囲を示す。
【００１２】
≪リモコンの構成≫
リモコン（操作装置）２は、ＴＶ１を制御するためのリモートコントローラである。リモコン２にはボタンやスイッチなど、ＴＶ１に対するユーザの入力操作を受け付けるための入力部が備えられている。リモコン２は入力部を介し入力が行われると、当該入力操作の種類に応じた赤外線（ＩＲ）信号を発信する。換言すると、リモコン２は、自機が備えている入力部それぞれに応じたＩＲ信号を発信する。また、リモコン２はボタンが押下されている間、所定の時間間隔で当該ボタンに係るＩＲ信号を発信する。
【００１３】
なお、リモコン２はＴＶ１専用のリモコンであってもよいし、ＴＶ１を含むテレビや電子機器を操作するための汎用のリモコンであってもよい。本実施形態では以降、リモコン２が入力部としてボタンを備えており、ユーザは当該ボタンを押下することでＴＶ１に対する入力操作を行うこととして説明を行う。
【００１４】
なお、リモコン２はコマンドを示す信号であるならば、赤外線以外の信号を発信してもよい。なお、この場合、後述する受光部２００は、リモコン２の発信する信号を受信可能な構成とする。
【００１５】
≪テレビ（ＴＶ）の構成≫
本実施形態に係るＴＶ１は、後述する表示装置２０と、カメラ３０と、コマンド決定装置１０とを含む、画像を表示する電子機器である。なお、ＴＶ１は上記各部の他にも、テレビジョン受像機が一般的に備える機能を実現するための部材を備えているものとする。例えば、ＴＶ１は、音声出力機能のための出力部（図示せず）を備えていてもよい。ＴＶ１は、リモコン２において押下されたボタンの種類と、当該ボタンの押下に続いて、ユーザがリモコン２を用いてジェスチャを行ったか否かとに応じて自機の処理制御を決定する。換言すると、ＴＶ１は押下されたボタンに応じたＩＲ信号が示すコマンド（ＩＲコマンド）と、ＩＲコマンドを受け付けた場合にジェスチャを認識したか否かとに応じて自機の処理制御を決定する。なお、ＴＶ１は上記ジェスチャが行われた場合、さらに当該ジェスチャの種類に応じて自機の処理制御を決定してもよい。
【００１６】
なお、上記ジェスチャの認識は、ボタンの押下に続くジェスチャ（ボタンの押下と関連付けて行われたと推定されるジェスチャ）を認識可能な程度の期間に行われればよい。本実施形態では以降、ＴＶ１はユーザがリモコン２のボタンを一定時間以上押下し続けた（ボタンが長押された）場合にジェスチャ認識を行うこととする。
【００１７】
図２の（ａ）に示すように、ユーザがリモコン２のあるボタンを押下すると、リモコン２は押下されたボタンに係るＩＲ信号を当該ボタンが押下されている間所定の時間間隔で発信し続ける。また、ＴＶ１は受光部２００にて当該ＩＲ信号を受光する。また、ユーザがリモコン２のボタンを長押しすると、ＴＶ１はジェスチャ認識を開始する。この状態で、ユーザがリモコン２を右に振るジェスチャを行うと、ＴＶ１はカメラ３０の映像から当該ジェスチャを認識する。
【００１８】
そして、ＴＶ１は受光したＩＲ信号と、認識したジェスチャとに応じて自機を制御する。例えば、図２の（ｂ）に示すように、ＴＶ１は自機に表示する画像を変更する（画面を遷移させるよう表示制御する）。
【００１９】
ところで、図２の（ａ）では、ＴＶ１は自機の画面を、ＴＶ番組や動画等のコンテンツを表示する領域αと、ＴＶ１の操作のための画面（リモコン画面）を表示する領域βの２領域に分割して表示を行っている。しかしながら、ＴＶ１はこのように自機の画面を分割表示していなくともよい。例えば、ＴＶ１はリモコン画面を表示せずに（領域βを確保せずに）、コンテンツを全画面に表示した状態でリモコンからの入力操作を受け付け、ジェスチャを認識し、当該入力操作とジェスチャ認識とに応じて図２の（ｂ）に示す画面を表示してもよい。以降で参照する図面についても同様である。
【００２０】
次に、ＴＶ１の要部構成を図１を参照して説明する。図１は、本実施形態に係るＴＶ１の要部構成を示すブロック図である。なお、図１では、ＴＶ１の構成の説明のため、リモコン２も併せて記載している。ＴＶ１は、図１に示す通り、表示装置２０と、カメラ３０と、コマンド決定装置（情報処理装置）１０とを含む。なお、図中の白抜き矢印は、カメラ３０がリモコン２を被写体として撮影することを示している。
【００２１】
≪表示装置≫
表示装置２０は、コマンド決定装置１０から受信した制御コマンドに従って画像を表示する装置である。また、表示装置２０はリモコン２が発信したＩＲ信号を受光しコマンド決定装置１０に送信する装置である。表示装置２０は、さらに詳しくは、受光部２００と、ＩＲコマンド送信部（コマンド送信手段）２１０と、制御コマンド受信部（制御命令受信手段）２２０と、表示制御部（表示制御手段）２３０と、ディスプレイ（表示部）２４０とを備えている。
【００２２】
受光部２００は、リモコン２が発信したＩＲ信号を受光し、当該ＩＲ信号をＩＲコマンド送信部２１０に送信する。
【００２３】
ＩＲコマンド送信部２１０は、受光部２００から受信したＩＲ信号からＩＲコマンドを特定し、当該ＩＲコマンドをコマンド決定装置１０に送信する。
【００２４】
制御コマンド受信部２２０は、コマンド決定装置１０から上記ＩＲコマンドに対する応答である制御コマンドを受信し、当該制御コマンドを表示制御部２３０に送信する。なお、制御コマンド受信部２２０はコマンド決定装置１０から制御コマンド自体ではなく、制御コマンドを特定する情報（コードなど）を受信し、当該情報から制御コマンドを特定し、特定した制御コマンドを表示制御部２３０に送信してもよい。
【００２５】
表示制御部２３０は、制御コマンド受信部２２０から受信した制御コマンドに従って、ディスプレイ２４０に画像を表示させる。なお、ディスプレイ２４０に表示させる画像のデータは、ＴＶ１またはＴＶ１と接続されたレコーダ等の記録媒体に格納されている画像（映像）データであってもよいし、ＴＶ１が受信部（図示せず）にて受信する搬送波から得られる画像（映像）データでもよいし、ＴＶ１が通信部（図示せず）を介しインターネット等のネットワーク上から取得した画像（映像）データでもよい。
【００２６】
ディスプレイ２４０は、表示制御部２３０の表示制御に従って画像を表示するものである。なお、ディスプレイ２４０の具体的構成は特に限定しないが、ディスプレイ２４０として例えば液晶ディスプレイや有機ＥＬディスプレイなどを用いることができる。
【００２７】
≪カメラ≫
カメラ３０は、コマンド決定装置１０からの撮影指示に従いリモコン２の映像を撮影する。カメラ３０は図２の（ａ）および（ｂ）にて示したように、リモコン２を撮影するためＴＶ１の正面など、ユーザが入力操作の際にリモコン２を向ける方向と対面するように設けられることが望ましい。カメラ３０は撮影した映像をコマンド決定装置１０の画像受信部１１０へと送信する。
【００２８】
なお、本実施形態ではカメラ３０はＴＶ１に内蔵されていることとしたが、カメラ３０をＴＶ１と独立して設け、カメラ３０とコマンド決定装置１０の画像受信部１１０とを通信可能に接続してもよい。
【００２９】
また、カメラ３０は、コマンド決定装置１０からの撮影指示を受けてではなく、常時撮影を行い、映像をコマンド決定装置１０に送信していてもよい。
【００３０】
また、カメラ３０は、ジェスチャ認識部１２０におけるジェスチャ認識（後述）が可能な程度の画質で映像を撮影できればよい。さらに、カメラ３０は映像を撮影する代わりに、連続した画像（静止画）を撮影し、当該連続した画像を画像受信部１１０に送信してもよい。
【００３１】
≪コマンド決定装置≫
コマンド決定装置１０は、表示装置２０からＩＲコマンドを、カメラ３０からカメラ３０の撮影した映像を受信し、上記ＩＲコマンドと、上記映像から認識するジェスチャとに応じて表示装置２０に対する制御コマンドを決定する装置である。コマンド決定装置１０はさらに詳しくは、記憶部１９０と、ＩＲコマンド受付部１００（コマンド受付手段）と、画像受信部１１０と、ジェスチャ認識部（ジェスチャ認識手段）１２０と、制御コマンド決定部（制御命令決定手段）１３０と、制御コマンド送信部（制御命令指示手段）１４０と、ジェスチャ認識開始判定部１５０とを含む。
【００３２】
記憶部１９０は、制御コマンド決定情報を含むコマンド決定装置１０の各種情報を格納するものである。ここで、「制御コマンド決定情報」とは、ＩＲコマンド、すなわちリモコン２のボタンそれぞれに対して、各ＩＲコマンドの受信中（ボタンの押下中）にジェスチャ認識の対象となるジェスチャを対応付けた情報であり、さらにＩＲ信号の種類と認識可能なジェスチャの種類との組み合わせに対し、制御コマンド決定部１３０が決定する制御コマンドを対応付けた情報である。
【００３３】
≪制御コマンド決定情報≫
ここで、制御コマンド決定情報のデータ構成について図３を参照して詳述する。図３は記憶部１９０に格納された制御コマンド決定情報のデータ構成の一例を示す図である。なお、制御コマンド決定情報は、ＩＲコマンドの種類とジェスチャの種類との組み合わせから制御コマンドを一意に決定できる情報であればよく、そのデータ構造はテーブル形式に限定されない。
【００３４】
制御コマンド決定情報は図示の通り、「ボタン」列と、「ＩＲ信号」列と、「ジェスチャ」列と、「制御コマンド」列とを有する。また、制御コマンド決定情報は、「ＩＲ信号」列の情報に、「ジェスチャ」列および「制御コマンド」列の情報が対応付けられている。
【００３５】
「ＩＲ信号」列はリモコン２においてボタンを押下した際に発信されるＩＲ信号の値（コード）を格納する。「ボタン」列は、「ＩＲ信号」列が示すＩＲ信号に対応するボタン（押下した際に「ＩＲ信号」列に記載のＩＲ信号を発信させるボタン）を示す情報を格納する。「ジェスチャ」列は「ＩＲ信号」列が示すＩＲ信号を受け付けた際に、ジェスチャ認識の対象となるジェスチャの種類を示す情報を格納する。「制御コマンド」列は、「ＩＲ信号」列と「ジェスチャ」列との情報の組み合わせに対応する制御コマンドを示す情報を格納する。
【００３６】
ところで、ＩＲ信号は上述のように押下されたボタンの種類に応じて決定される信号である。換言すると、ＩＲ信号（の種類）とボタンの種類とは１対１に対応している。そのため、「ＩＲコマンド」列の情報から、リモコン２にて押下されたボタンの種類、すなわち「ボタン」列の情報を特定することができる。ゆえに、「ボタン」列の情報は必須の情報ではない。
【００３７】
制御コマンド決定情報は、後述するジェスチャ認識開始判定部１５０および制御コマンド決定部１３０にて読み出される。
【００３８】
ＩＲコマンド受付部１００は、表示装置２０のＩＲコマンド送信部２１０からＩＲコマンドを受け付け、ジェスチャ認識開始判定部１５０および制御コマンド決定部１３０に送信する。上述の通り、リモコン２はボタンが押下されている間、所定の時間間隔で当該ボタンに係るＩＲ信号を発信しており、表示装置２０のＩＲコマンド送信部２１０は、当該ＩＲ信号からＩＲコマンドを特定している。したがって、ＩＲコマンド受付部１００は、ボタンが押下されている間、所定の時間間隔でＩＲコマンドを受け付ける。
【００３９】
ジェスチャ認識開始判定部１５０は、ＩＲコマンド受付部１００から受信したＩＲコマンドから、ＴＶ１（コマンド決定装置１０）におけるジェスチャ認識処理の開始および終了を決定するものである。
【００４０】
ジェスチャ認識開始判定部１５０は、ＩＲコマンド受付部１００からリモコン２のＩＲコマンドを受信すると、まず当該ＩＲコマンドに係る入力操作（押下されたボタン）がジェスチャ認識に対応しているか否かを判定する。より具体的には、ジェスチャ認識開始判定部１５０はまず、記憶部１９０に格納された制御コマンド決定情報を参照することにより、ＩＲコマンド受付部１００が受け付けたＩＲコマンドが制御コマンド決定情報に記載されているか否かを確認する。
【００４１】
ＩＲコマンドが制御コマンド決定情報に記載されている、すなわち、ＩＲコマンドに、当該ＩＲコマンドの受信中に認識対象となるジェスチャが対応付けられている場合、ジェスチャ認識開始判定部１５０は、リモコン２にて押下されたボタンがジェスチャ認識に対応しているボタンであると判定する。一方、受信したＩＲコマンドが制御コマンド決定情報に記載されていない場合、ジェスチャ認識開始判定部１５０は、リモコン２にて押下されたボタンがジェスチャ認識に対応していないボタンであると判定する。
【００４２】
リモコン２にて押下されたボタンがジェスチャ認識に対応している場合、ジェスチャ認識開始判定部１５０はさらに、当該ボタンが長押しされているか否かを判定する。具体的には、ジェスチャ認識開始判定部１５０は、ＩＲコマンド受付部１００からボタンＡのＩＲコマンド（同一のＩＲコマンド）を一定時間（第１の時間）以上継続して受け付けている場合はボタンＡが長押しされていると判定し、ボタンＡのＩＲコマンドを一定時間以上継続して受信していない場合はボタンＡが長押しされていない（通常のボタン押下（短押し））と判定する。
【００４３】
なお、ジェスチャ認識開始判定部１５０は、ＩＲコマンド受付部１００が同一の信号ではなく前回送信した信号と同じである旨を示すリピート信号を示すＩＲコマンドを受け付けている場合にも、ＩＲコマンド受付部１００が同一のＩＲコマンドを受け付けているとみなしてよい。
【００４４】
また、上記一定時間は、リモコン２にてボタンの短押しを行う場合にかかる時間よりも長い時間（ボタンを長押ししたと推定できる程度の時間、例えば２００ｍｓ程度）以上の時間に任意に設定できる。
【００４５】
このように、ジェスチャ認識開始判定部１５０は、ボタンが長押しされた際にジェスチャ認識部１２０にジェスチャ認識を行わせることで、ユーザがジェスチャを行うことを意図してボタンを押下したか否かを推定してジェスチャ認識を行わせることができる。
【００４６】
ここで、ボタンが長押しされている場合、ジェスチャ認識開始判定部１５０はジェスチャ認識モードを開始させる。具体的には、ジェスチャ認識開始判定部１５０はカメラ３０に対し画像の撮影指示を送信するとともに、ジェスチャ認識部１２０に対しジェスチャ認識の開始指示を送信する。加えて、ジェスチャ認識開始判定部１５０はボタンＡに対応するジェスチャの種類をジェスチャ認識部１２０に通知する。
【００４７】
また、ジェスチャ認識開始判定部１５０は、ＩＲコマンド受付部１００におけるＩＲコマンドの受け付けが途切れた場合、またはジェスチャ認識部１２０がジェスチャ認識に失敗した場合に、ジェスチャ認識部１２０に対しジェスチャ認識の終了指示を送信する。
【００４８】
画像受信部１１０は、カメラ３０が撮影した映像を受信し、ジェスチャ認識部１２０に送信する。
【００４９】
ジェスチャ認識部１２０は、画像受信部１１０から受信した映像に基づいてジェスチャ認識を行う。ジェスチャ認識部１２０は、ジェスチャ認識開始判定部１５０から受信したジェスチャ認識の開始指示および終了指示に従い、ジェスチャ認識を開始および終了する。
【００５０】
より詳しくは、ジェスチャ認識部１２０は、画像受信部１１０から受信した映像に含まれるリモコン２の動きが所定の動きである場合、当該所定の動きをジェスチャとして認識する。なお、ジェスチャ認識部１２０は、押下されたボタンに対応するジェスチャが複数ある場合は、認識したジェスチャがいずれのジェスチャであるか、ジェスチャの種類も特定する。
【００５１】
ジェスチャ認識部１２０はジェスチャ認識の結果（ジェスチャを認識したか否かと、ジェスチャを認識した場合その種類）を制御コマンド決定部１３０へと通知する。なお、一定時間内（例えば５００ｍｓ）にジェスチャを認識できなかった場合、ジェスチャ認識部１２０はジェスチャを認識できなかった旨を認識結果として制御コマンド決定部１３０に送信すればよい。
【００５２】
なお、リモコン２の映像からリモコン２を用いたジェスチャを認識できるならば、ジェスチャ認識部１２０のジェスチャ認識の方法は特に限定しない。ジェスチャ認識の方法としては、従来知られている種々のジェスチャ認識方法を用いることができる。
【００５３】
制御コマンド決定部１３０は、ＩＲコマンド受付部１００が受け付けたＩＲコマンドの種類と、ジェスチャ認識部１２０から通知されたジェスチャ認識の結果とに応じた制御コマンドを決定するものである。
【００５４】
より詳しくは、制御コマンド決定部１３０は、ジェスチャ認識部１２０がＩＲコマンドに対応するジェスチャを認識した場合、ジェスチャ認識部１２０が当該ジェスチャを認識しなかった場合と異なるように制御コマンドを決定する。さらには、制御コマンド決定部１３０は、制御コマンドを、ＩＲコマンドとジェスチャの種類との組み合わせに応じて決定することが望ましい。この場合、制御コマンド決定部１３０は、記憶部１９０の制御コマンド決定情報を参照することにより、ＩＲコマンドおよびジェスチャの種類に対応した制御コマンドを決定する。
【００５５】
なお、ジェスチャ認識の結果を受信しなかった場合（ジェスチャ認識部１２０がジェスチャ認識を行わなかった場合）、またはジェスチャ認識の結果が、ジェスチャを認識しなかった（ジェスチャが行われなかった、またはジェスチャ認識に失敗した）ことを示す場合、ＩＲコマンドに応じて制御コマンドを決定する。例えば、制御コマンド決定部１３０は、ＩＲコマンドが示す表示装置２０の制御命令をそのまま制御コマンドとすればよい。
【００５６】
なお、制御コマンド決定部１３０の決定する制御コマンドはＴＶ１に係る制御コマンドであれば、その命令内容は特に限定されない。例えば、制御コマンド決定部１３０はＴＶ１が通信部（図示せず）を介して行うデータ取得を制御するための制御コマンドを決定してもよいし、ＴＶ１の音声出力のボリュームなどの変更を指示する制御コマンドを決定してもよい。
【００５７】
しかしながら、制御コマンド決定部１３０が決定する制御コマンドは、ＴＶ１（表示装置２０）のディスプレイ２４０に対する表示制御の命令であることが好ましい。以降、本実施形態では、制御コマンドは表示装置２０のディスプレイ２４０の表示制御に係る制御命令であることとする。
【００５８】
制御コマンド送信部１４０は、制御コマンド決定部１３０が決定した制御コマンドを受信し、表示装置２０の制御コマンド受信部２２０に送信する。
【００５９】
続いて、リモコン２に対する入力操作と、リモコン２を用いたジェスチャとに応じたＴＶ１の画面遷移（表示装置２０における制御）について、図４〜７を参照して説明する。図４〜７はそれぞれ、リモコンに対する入力操作およびジェスチャと、当該入力操作およびジェスチャに応じた上記ＴＶの画面遷移との例を示す図である。
【００６０】
例えば、図４の（ａ）に示すように、ユーザがリモコン２の数字ボタンを長押ししながらリモコン２を横（左右）方向に振るジェスチャを行ったとする。この場合、コマンド決定装置１０の制御コマンド決定部１３０は、数字ボタン（図の例では８チャンネル（８ｃｈ））の示すＩＲ信号と、ジェスチャ認識部１２０が認識したジェスチャ（横方向に振るジェスチャ）との組み合わせについて、制御コマンド決定情報を検索することにより、制御コマンドを特定する。
【００６１】
図３によれば、８ｃｈのボタンを長押ししながら、リモコン２を横方向に振った場合に決定される制御コマンドは、「８ｃｈの放送局の番組表を表示する」制御コマンドである。したがって、制御コマンド決定部１３０は上記制御コマンドを表示装置２０に送信すべき制御コマンドとして決定し、制御コマンド送信部１４０は当該制御コマンドを表示装置２０の制御コマンド受信部２２０に送信する。
【００６２】
その結果、表示装置２０の表示制御部２３０は上記制御コマンドに従い、８ｃｈの放送局の番組表を示す画像データを取得し、ディスプレイ２４０に８ｃｈの放送局の番組表の画像を表示させる。
【００６３】
また、制御コマンド決定情報において、１種類のボタン（ＩＲコマンド）に対し複数種類のジェスチャが対応していてもよい。例えば、図４の（ｂ）に示すように、ユーザがリモコン２のＢＳボタンを長押ししながらリモコン２を縦（上下）方向に振った場合、制御コマンド決定部１３０は、制御コマンド決定情報を参照することにより、「ＢＳ放送の番組表を表示する」コマンドを表示装置２０に送信する制御コマンドと決定する。一方、ユーザがリモコン２のＢＳボタンを長押ししながらリモコン２を横方向に振った場合、制御コマンド決定部１３０は、「ＢＳ放送の録画リストを表示する」コマンドを表示装置２０に送信する制御コマンドと決定する。
【００６４】
その結果、表示装置２０の表示制御部２３０は上記制御コマンドに従い、リモコン２が上下に振られた場合はＢＳ放送の番組リストを、リモコン２が左右に振られた場合はＢＳ放送の録画リストをディスプレイ２４０に表示させる。
【００６５】
さらに、ジェスチャ認識部１２０はジェスチャ認識を行っている期間中に、複数のジェスチャを認識してもよい。そして、制御コマンド決定部１３０は長押ししているボタンが示すＩＲ信号と、ジェスチャとに対応した制御コマンドを、認識したジェスチャ毎に順次特定してもよい。
【００６６】
例えば図５に示すように、ボタン（左右のカーソルキー）を長押ししながら、リモコン２をボタンと同方向（横方向）に振るジェスチャを連続して行ったとする。この場合、図示のように、ＴＶ１の表示装置２０は、押下されているカーソルキーの方向（左右方向）と同方向に１画面分スクロールさせた画面を示す画像を、ディスプレイ２４０に表示させる。
【００６７】
また同図に示すように、ボタン（上下のカーソルキー）を長押ししながら、リモコン２をボタンと同方向（縦方向）に振るジェスチャを連続して行ったとする。この場合もＴＶ１の表示装置２０は、押下されているカーソルキーの方向（上下方向）と同方向に１画面分スクロールさせた画面を示す画像を、ディスプレイ２４０に表示させる。
【００６８】
また、例えば、図６の（ａ）に示すように、ディスプレイ２４０に番組表（Ａ１）を表示している場合に上下のカーソルキー（例えば下キー）を長押ししながらリモコン２を上下に振るジェスチャを行った場合、制御コマンド決定部１３０は、表示している番組表（Ａ１）をカーソルキーが示す方向に１画面分スクロールするコマンドを、制御コマンドとして表示装置２０に送信してもよい（現在表示していない時間帯の番組表一画面分（Ａ２）を表示させる）。
【００６９】
同様に、図６の（ｂ）に示すように、ディスプレイ２４０に番組表（Ｂ１）を表示している場合に左右のカーソルキー（例えば右キー）を長押ししながらリモコン２を左右に振るジェスチャを行った場合、制御コマンド決定部１３０は、表示している番組表（Ｂ１）を、カーソルキーが示す方向に１画面分スクロールするコマンドを、制御コマンドとして表示装置２０に送信してもよい（現在表示していないチャンネルの番組表一画面分（Ｂ２）を表示してもよい）。
【００７０】
また、図７に示すように、ディスプレイ２４０に録画リスト（Ｃ１）を表示している場合に上下のカーソルキー（例えば下キー）を長押ししながらリモコン２を上下に振るジェスチャを行った場合、制御コマンド決定部１３０は、表示している番組表（Ｃ１）をカーソルキーが示す方向に１画面分スクロールするコマンドを、制御コマンドとして表示装置２０に送信してもよい（図示のように、録画リストの次ページの画像（Ｃ２）を表示させる）。
【００７１】
従来のテレビにおいては、番組表や録画リストなど、画面のスクロール（ページ送り）が可能な画面を表示している際に十字キーを下に押しても、番組表中のカーソルが移動するのみであった。そのため、画面をスクロールさせるには、リモコン２のカーソルキーを連打することによりカーソルを下に動かし続けるか、もしくは別途設けられた画面スクロールのためのボタンなどを押下する必要があった。
【００７２】
一方、本実施形態に係るＴＶ１では、上述の通り、カーソルキーの押下とともにジェスチャを行うことにより、簡便に画面のスクロールを行うことができる。よって、ＴＶ１は従来のテレビよりも、ユーザの操作性を向上させることができる。また、上述した画面スクロールのためのボタンをリモコン２上に別途設けなくともよいので、リモコン２のボタン数を最小限に抑えることができる。
【００７３】
また例えば、ＴＶ１が動画を再生しているときにユーザがリモコン２の再生ボタンを長押ししながらリモコン２を右に振った場合、制御コマンド決定部１３０は、当該ボタンの種類とジェスチャの種類とに応じて、「動画を早送りする」制御コマンドを表示装置２０に送信するコマンドと決定し、表示装置２０は当該制御コマンドに応じて、ディスプレイ２４０における動画の表示を早送りさせてもよい。同様に、ユーザが再生ボタンを長押ししながらリモコン２を左に振った場合、制御コマンド決定部１３０は、「動画を巻き戻す」制御コマンドを表示装置２０に送信する制御コマンドと決定してもよい。
【００７４】
さらに、上述の場合において、ユーザが複数回リモコン２を左右に振るジェスチャを行った場合、当該ジェスチャの回数に応じて早送りまたは巻き戻し速度を速くしてもよい。
【００７５】
最後に、本実施形態に係るコマンド決定装置１０が制御コマンドを決定する処理の流れについて、図８を参照して説明する。図８は、コマンド決定装置１０において制御コマンドを決定する処理の流れを示すフローチャートである。
【００７６】
ユーザがリモコン２のボタンを押下すると、リモコン２は当該ボタンに応じたＩＲコマンドを発信する。以降、ユーザが押下したボタンが「ボタンＡ」であったとして説明する。表示装置２０の受光部２００は、リモコン２が発信したボタンＡのＩＲ信号を受光し、ＩＲコマンド送信部２１０に送信する。ＩＲコマンド送信部２１０は、ボタンＡのＩＲ信号が示すコマンド（ボタンＡのＩＲコマンド）をＩＲコマンド受付部１００に送信する。
【００７７】
コマンド決定装置１０は、ＩＲコマンド受付部１００がＩＲコマンドを受け付けるまで待機している（Ｓ１０でＮＯ）。ここで、ＩＲコマンド受付部１００はボタンＡのＩＲコマンドを受け付けると（Ｓ１０でＹＥＳ）、当該ＩＲコマンドをジェスチャ認識開始判定部１５０に送信する。
【００７８】
ジェスチャ認識開始判定部１５０はボタンＡのＩＲコマンドを受信すると、まず始めにボタンＡがジェスチャ認識に対応したボタンか否かを判定する（Ｓ１２）。ボタンＡがジェスチャ認識に対応している場合（Ｓ１２でＹＥＳ）、ジェスチャ認識開始判定部１５０はさらに、ボタンＡが長押しされているか否かを判定する（Ｓ１４）。ボタンＡが長押しされている場合（Ｓ１４でＹＥＳ）、ジェスチャ認識開始判定部１５０はジェスチャ認識部１２０にジェスチャ認識を開始させる（Ｓ１６）。より具体的には、ジェスチャ認識開始判定部１５０はカメラ３０に対し撮影指示を送信するとともに、ジェスチャ認識部１２０に対しジェスチャ認識の開始指示を送信する。加えて、ジェスチャ認識開始判定部１５０は記憶部１９０を参照することによりボタンＡに対応するジェスチャを特定し、当該ジェスチャをジェスチャ認識部１２０に通知する。
【００７９】
なお、ボタンＡがジェスチャ認識に対応していなかった場合（Ｓ１２でＮＯ）またはボタンＡが長押しされなかった場合（Ｓ１４でＮＯ）、ジェスチャ認識開始判定部１５０は上記撮影指示および開始指示を送信せず、制御コマンド決定部１３０は、ＩＲコマンドに対応する制御コマンド、例えばＩＲコマンドが示す命令自体を制御コマンドと決定する（Ｓ１８）。
【００８０】
カメラ３０はジェスチャ認識開始判定部１５０から撮影指示を受信すると、リモコン２の映像を撮影し、撮影した映像を画像受信部１１０へ送信する。画像受信部１１０は受信した映像をジェスチャ認識部１２０へと送信する。
【００８１】
ジェスチャ認識部１２０はジェスチャ認識開始判定部１５０から開始指示を受信すると、当該開始指示に従って、ボタンＡに対応するジェスチャが行われたか否かジェスチャ認識を行う。なお、ジェスチャ認識部１２０は上記ジェスチャを認識した場合、認識したジェスチャの種類も特定する。
【００８２】
ジェスチャ認識部１２０は、ボタンＡに対応するジェスチャが一定時間内に認識できた場合（Ｓ２０でＹＥＳ）、ジェスチャを認識した旨と、当該ジェスチャの種類とを制御コマンド決定部１３０へと通知する。制御コマンド決定部１３０は、制御コマンド決定情報を参照しながら、ＩＲコマンド受付部１００から受信したボタンＡのＩＲコマンドと、ジェスチャ認識部１２０が認識したジェスチャの種類とに応じて制御コマンドを決定する（Ｓ２２）。以降、ジェスチャ認識部１２０および制御コマンド決定部１３０は、ＩＲコマンド受付部１００においてＩＲコマンドの受け付けが継続する間、すなわち、ユーザがボタンＡを長押ししている間（Ｓ２６でＹＥＳ）、Ｓ２０〜２２の処理を繰り返す。
【００８３】
一方、ジェスチャ認識部１２０において、ボタンＡに対応するジェスチャを一定時間内に認識できなかった場合（Ｓ２０でＮＯ）、ジェスチャ認識部１２０はジェスチャを認識できなかった旨を制御コマンド決定部１３０へと通知し、制御コマンド決定部１３０はＩＲコマンドに対応する制御コマンド、例えばＩＲコマンドが示す命令自体を制御コマンドとして決定する（Ｓ２４）。
【００８４】
Ｓ２２において制御コマンドが決定される、またはＳ２４において制御コマンドが決定され、かつＩＲコマンドの受け付けが途切れる（ユーザがボタンＡの押下を止める）と（Ｓ２６でＮＯ）、ジェスチャ認識開始判定部１５０はジェスチャ認識部１２０に対し、ジェスチャ認識の終了指示を送信し、ジェスチャ認識部１２０は当該終了指示にしたがいジェスチャ認識を終了する（Ｓ２８）。
【００８５】
〔実施形態２〕
本発明の他の実施形態について、図９に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００８６】
本発明に係るコマンド決定装置１０のジェスチャ認識開始判定部１５０は、ジェスチャ認識部１２０がジェスチャ認識を行っている際にＩＲコマンド受付部１００が受け付けている、同一のボタンに係るＩＲコマンドが一時的に途切れても、途切れた時間が一定時間（第２の時間）以下である場合は上記ＩＲコマンドを途切れずに受け付けているとみなしてもよい（ジェスチャ認識部１２０のジェスチャ認識を継続させてもよい）。
【００８７】
以下、実施形態２に係るコマンド決定装置１０における処理の流れについて、図９を参照して説明する。なお、図９において、図８と同様の処理については同様のステップ数を付し説明を省略する。
【００８８】
図９は、本発明の実施形態２に係るコマンド決定装置１０における処理の流れを示すフローチャートである。図９は、Ｓ５０〜Ｓ６２のステップを含む点で、図８に示すフローチャートと異なっている。
【００８９】
本実施形態に係るコマンド決定装置１０は、ＩＲコマンド受付部１００が受け付けたＩＲコマンドが示すボタンの種類を一時的に記憶しておくキーバッファ（図示せず）を備えている。そして、ジェスチャ認識開始判定部１５０は、ボタンＡが長押しされている場合（Ｓ１４でＹＥＳ）、押下されているボタン（ボタンＡ）を示す情報をキーバッファに格納するとともに（Ｓ５０）、ジェスチャ認識部１２０にジェスチャ認識を開始させる（Ｓ１６）。
【００９０】
また、ジェスチャ認識開始判定部１５０は、Ｓ２２において制御コマンドが決定され、かつＩＲコマンドの受け付けが途切れると（Ｓ２６でＮＯ）、一定時間（第２の時間）待機（ＷＡＩＴ）時間をとる（Ｓ５２）。ジェスチャ認識開始判定部１５０は、ＷＡＩＴ中にＩＲコマンド受付部１００がＩＲコマンドを再度受け付けた場合（Ｓ５４でＹＥＳ）、受け付けたＩＲコマンドが示すボタンの種類を特定する。なお、以降の説明では、上記再度受け付けたＩＲコマンドが示すボタンをボタンＢとする。ジェスチャ認識開始判定部１５０は特定したボタン（ボタンＢ）を示す情報をキーバッファに格納する（Ｓ５６）。次に、ジェスチャ認識開始判定部１５０は、Ｓ５０およびＳ５６においてキーバッファに格納したボタンを示す情報を比較する。具体的には、ジェスチャ認識開始判定部１５０は、ボタンＡとボタンＢとが同じボタンであるか否か判定する（Ｓ５８）。
【００９１】
ボタンＡ＝ボタンＢである場合（Ｓ５８でＹＥＳ）、ジェスチャ認識開始判定部１５０はボタンＡに係るＩＲコマンドをＩＲコマンド受付部１００が途切れずに受け付けているとみなし、ジェスチャ認識部１２０のジェスチャ認識を続けさせる。すなわち、ジェスチャ認識部１２０はＳ６０以降の処理を継続する。
【００９２】
一方、ボタンＡとボタンＢとが異なるボタンである場合（Ｓ５８でＮＯ）、ジェスチャ認識開始判定部１５０はボタンＡの長押しが終了したとみなし、制御コマンド決定部１３０はボタンＢに係るＩＲコマンド（再度受け付けたＩＲコマンド）に応じて制御コマンドを決定する（Ｓ６０）。また、ジェスチャ認識開始判定部１５０はジェスチャ認識部１２０に対し、ジェスチャ認識の終了指示を送信し、ジェスチャ認識部１２０は当該終了指示にしたがいジェスチャ認識を終了する（Ｓ２８）。最後に、ジェスチャ認識開始判定部１５０はボタンＡおよびボタンＢを示す情報を格納していたキーバッファをクリアする（Ｓ６２）。
【００９３】
なお、ジェスチャ認識開始判定部１５０のＷＡＩＴの時間は、例えばユーザが１回の（１種類の）ジェスチャを行うためにかかると推定される時間以内の時間に任意に（例えば５００ｍｓ程度に）設定することができる。これは、ＩＲコマンドの受け付けが途切れる（Ｓ２６でＮＯ）のは、例えばユーザがジェスチャの際にリモコン２を大きく動かしすぎ、受光部２００がＩＲ信号を受信できなくなった場合等に起こると推定できるからである。
【００９４】
〔実施形態３〕
また、本発明に係るコマンド決定装置は、ＩＲコマンド受付部１００がＩＲコマンドを受け付けた場合に、表示装置２０のディスプレイ２４０に、ＩＲコマンドと組み合わせ可能なジェスチャを文字および画像の少なくともいずれかで表示させてもよい。
【００９５】
以下、実施形態３に係るコマンド決定装置４０（情報処理装置）について、図１０〜１１を参照して説明する。図１０は、本実施形態に係るコマンド決定装置４０を備えたＴＶ３の要部構成を示すブロック図である。
【００９６】
コマンド決定装置４０は、ガイダンス表示命令部（ガイダンス表示手段）１６０を含む点について、コマンド決定装置１０と異なる。ガイダンス表示命令部１６０は、ＩＲコマンド受付部１００がＩＲコマンドを一定時間（第１の時間）受け付けた（ユーザがリモコン２のボタンを長押しした）場合、すなわち、ジェスチャ認識部１２０がジェスチャ認識を開始した場合に、記憶部１９０の制御コマンド決定情報を参照することにより、受け付けたＩＲコマンド（ボタンの種類）に対応するジェスチャを特定し、当該ジェスチャを示す文字または画像（ジェスチャのガイダンス）をディスプレイ２４０に表示させる制御コマンド（ガイダンス表示コマンド）を制御コマンド送信部１４０に送信する。
【００９７】
制御コマンド送信部１４０はガイダンス表示命令部１６０から受信したガイダンス表示コマンドを制御コマンド受信部２２０に送信し、制御コマンド受信部２２０は当該ガイダンス表示コマンドを表示制御部２３０に送信する。そして、表示制御部２３０は、ガイダンス表示コマンドに従って、ボタンの種類に対応するジェスチャのガイダンスを、ディスプレイ２４０に表示させる。
【００９８】
より詳しくは、ガイダンス表示コマンドは、制御コマンドに従いディスプレイ２４０が表示している画像に含まれる少なくとも一部のオブジェクトの表示（配置および大きさなど）を変更する、または当該画像に新たなオブジェクトを付加して表示させるコマンドである。
【００９９】
図１１の（ａ）〜（ｄ）は、ＴＶ３が表示する画面の一例を示す図である。なお、図１１において図中の矢印のオブジェクトは、ジェスチャのガイダンスを示す。ガイダンス表示命令部１６０は、例えば図１１の（ａ）〜（ｃ）に示すように、ディスプレイ２４０に、ディスプレイ２４０が現在表示している画像に重畳させてジェスチャのガイダンス（矢印）を表示するよう指示するガイダンス表示コマンドを制御コマンド送信部１４０に送信してもよい。
【０１００】
また、同図のジェスチャのガイダンス（矢印のオブジェクト）の近傍に、当該ガイダンスに従いジェスチャを行った場合の、ＴＶ１の挙動（制御コマンドの示す制御）について記載していてもよい。また、ディスプレイ２４０にジェスチャのガイダンスを表示している状態で、当該ジェスチャのいずれかが行われた場合、ガイダンス表示命令部１６０は、ジェスチャのガイダンスの表示形態を変更（矢印オブジェクトの色、サイズ、または形が変わる、または点滅する、矢印が消えるなど）してもよい。
【０１０１】
また、ガイダンス表示命令部１６０は、例えば図１１の（ｄ）に示すように、ディスプレイ２４０に、ディスプレイ２４０が現在表示している画像を縮小表示し、余ったスペースにジェスチャのガイダンスを表示するよう指示するガイダンス表示コマンドを制御コマンド送信部１４０に送信してもよい。
【０１０２】
なお、ガイダンス表示命令部１６０は、ジェスチャ認識部１２０がジェスチャ認識を開始した場合に、ジェスチャ認識が開始したことを示す文字および画像の少なくともいずれかをディスプレイ２４０に表示させるためのコマンド（ジェスチャ認識開始通知コマンド）を制御コマンド送信部１４０に送信してもよい。
【０１０３】
また、ガイダンス表示命令部１６０は、ジェスチャ認識部１２０がジェスチャ認識を終了した場合に、当該終了を示す文字および画像の少なくとも何れかをディスプレイ２４０に表示させるためのコマンド（ジェスチャ認識終了通知コマンド）を制御コマンド送信部１４０に送信してもよい。
【０１０４】
例えば、ガイダンス表示命令部１６０は、ジェスチャ認識開始通知コマンドとして「赤丸のオブジェクトをディスプレイ２４０に表示させる」コマンドを制御コマンド送信部１４０に送信し、ジェスチャ認識終了通知コマンドとして「赤丸のオブジェクトの表示を停止させる」コマンドを制御コマンド送信部１４０に送信してもよい。
【０１０５】
また、ガイダンス表示命令部１６０は、ジェスチャ認識開始通知コマンドとして「ディスプレイ２４０に表示している画像の周縁の色を青色にさせる（当該画像を青色の枠で囲む）」コマンドを制御コマンド送信部１４０に送信してもよい。
【０１０６】
また、ガイダンス表示命令部１６０は、ジェスチャ認識開始コマンドとして、「ディスプレイ２４０に表示している背景画像の色を変化させる」コマンドを制御コマンド送信部１４０に送信してもよい。なお、ここで言う「背景画像」とは、ディスプレイ２４０に表示する画像のうちオブジェクト（ウィンドウ、アイコンなど）の背面に表示される画像のことを示す。
【０１０７】
なお、ガイダンス表示命令部１６０は、上述したジェスチャ認識開始通知コマンド（およびジェスチャ認識終了通知コマンド）を制御コマンド送信部１４０に送信する場合、制御コマンド送信部１４０にガイダンス表示コマンドを送信してもよいし、送信しなくてもよい。さらに、ガイダンス表示命令部１６０は、ガイダンス表示コマンドを送信しない場合、ＩＲコマンド（ボタンの種類）に対応するジェスチャを特定しなくてもよい。
【０１０８】
さらに、ガイダンス表示コマンド、ジェスチャ認識開始通知コマンド、およびジェスチャ認識終了通知コマンドは、文字または画像をディスプレイ２４０に表示させる代わりに、図示しない出力部などから音声（メロディー、効果音、ガイダンス音声など）を出力させるコマンドであってもよい。
【０１０９】
例えば、ガイダンス表示命令部１６０は、ガイダンス表示コマンドとして「受け付けたＩＲコマンドに対応するジェスチャの音声案内を出力させる」コマンドを制御コマンド送信部１４０に送信してもよい。そして制御コマンド送信部１４０は、当該ガイダンス表示コマンドを出力部（または出力部を制御する出力制御部など）に送信することにより、当該ガイダンス表示コマンドの指示通り出力制御部から音声案内を出力させてもよい。
【０１１０】
また、ガイダンス表示命令部１６０は、ジェスチャ認識開始通知コマンドとして「一定時間毎にユーザが設定したメロディーを出力部から出力させる」コマンドを制御コマンド送信部１４０に送信し、ジェスチャ認識終了通知コマンドとして「メロディーの再生を停止させる」コマンドを制御コマンド送信部１４０に送信してもよい。
【０１１１】
また、ガイダンス表示命令部１６０は、ジェスチャ認識終了通知コマンドとして「ジェスチャ認識が終了する直前（例えば５秒前など）に、ジェスチャ認識がもうすぐ終了することを示す効果音（警告音）などを出力部から出力させる」コマンドを制御コマンド送信部１４０に送信してもよい。
【０１１２】
また、ガイダンス表示命令部１６０は、ジェスチャ認識が開始するときは高音を短く出力し、当該ジェスチャ認識が継続する間（すなわち、ＩＲコマンド受付部１００がＩＲコマンドを所定の時間間隔で受信し続けている間）低音を一定時間（例えば１秒）毎に出力し続けるよう出力部に指示するコマンドを制御コマンド送信部１４０に送信してもよい。
【０１１３】
〔変形例〕
上記各実施形態では、本発明に係るコマンド決定装置１０または４０はＴＶ１または３に内蔵された装置であることとした。しかしながら、コマンド決定装置１０または４０はＴＶ１または３と別個に設けられた装置であってもよい。例えば、コマンド決定装置１０または４０はＴＶ１に外付けする装置で、表示装置２０およびカメラ３０と有線または無線で接続されていてもよい。
【０１１４】
また、上記各実施形態に係るＴＶ１は、ビデオやパーソナルコンピュータなどリモコンを用いて操作可能な電子機器であればどのような電子機器であってもよい。また、リモコン２は、電子機器を操作するリモコン機能を備えた、スマートフォン等の携帯型の情報機器であってもよい。
【０１１５】
〔ソフトウェアによる実現例〕
コマンド決定装置１０および４０、ならびに表示装置２０の制御ブロック（特にコマンド決定装置１０および４０の各制御ブロック）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【０１１６】
後者の場合、コマンド決定装置１０および４０、ならびに表示装置２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１１７】
〔まとめ〕
本発明の態様１に係る情報処理装置（コマンド決定装置１０または４０）は、表示装置（表示装置２０）のための操作装置（リモコン２）に対して行われた入力操作の種類に応じたコマンド（ＩＲコマンド）を受け付けるコマンド受付手段（ＩＲコマンド受付部１００）と、上記コマンド受付手段が上記コマンドを受け付けた場合にカメラ（カメラ３０）により撮影された上記操作装置の映像から、上記操作装置の所定の動き（ジェスチャ）を認識するジェスチャ認識手段（ジェスチャ認識部１２０）と、上記ジェスチャ認識手段が上記所定の動きを認識した場合、上記ジェスチャ認識手段が上記所定の動きを認識しなかった場合の制御命令とは異なるように、上記コマンドに対応する制御命令（制御コマンド）を決定する制御命令決定手段（制御コマンド決定部１３０）と、上記表示装置に上記制御命令を実行させる制御命令指示手段（制御コマンド送信部１４０）と、を備える。
【０１１８】
上記構成によると、ジェスチャ認識手段は、入力操作の種類に応じたコマンドを受け付けた場合にユーザが操作装置を所定の動きで動かした場合、当該所定の動きをジェスチャとして認識する。ここで、コマンド受付手段が上記コマンドを受け付けるタイミングは、操作装置に対する入力操作と略同時とみなすことができる。ゆえに、ジェスチャ認識手段は、操作装置への入力操作が行われた場合に行われたジェスチャを認識することができる。
【０１１９】
そして、制御命令決定手段は、ジェスチャ認識手段がジェスチャを認識した場合、ジェスチャを認識しなかった場合の制御命令とは異なるように制御命令を決定することができる。換言すると、制御命令決定手段は、操作装置への入力操作について、ユーザが当該入力操作のみを行った場合（入力操作を行ったがジェスチャを行わなかった場合）と、ユーザが当該入力操作に加えジェスチャを行った場合とを区別して制御命令を決定することができる。
【０１２０】
したがって、操作装置にて入力操作の種類が限られていても（入力操作を受け付けるボタンやスイッチ等の部材の種類が限られていても）、制御命令決定手段は入力操作とジェスチャとを組み合わせて制御命令を決定することで、表示装置に対して簡便にかつ多種類の操作指示を行うことができる。
【０１２１】
なお、上記構成において、操作装置は入力操作に応じたコマンドを発信する構成さえ備えていればよい。したがって、情報処理装置は表示装置専用の操作装置を用いなくても、汎用のリモコンなどを利用して上述した効果を得ることもできる。
【０１２２】
本発明の態様２に係る情報処理装置は、上記態様１において、上記ジェスチャ認識手段は、認識した上記所定の動きの種類を特定し、上記制御命令決定手段は、上記コマンドと上記所定の動きの種類との組み合わせに応じた上記制御命令を決定してもよい。
【０１２３】
上記構成によると、制御命令決定手段はさらに、ジェスチャ認識手段が認識したジェスチャの種類に応じて、制御命令を決定することができる。したがって、制御命令決定手段は、操作装置において入力操作を受け付ける部材１つに対し、より多くの操作指示を割当てることができる。
【０１２４】
本発明の態様３に係る情報処理装置は、上記態様１または２において、上記ジェスチャ認識手段は、上記コマンド受付手段が上記コマンドを受け付けてから予め定められた第１の時間以上の時間、同一のコマンドを継続して受け付けている場合に上記所定の動きの認識を行ってもよい。
【０１２５】
上記構成によると、ジェスチャ認識手段は、操作装置上にジェスチャ認識の開始を指示するための部材が特段設けられていなくとも、操作装置上で一定時間（第１の時間）以上継続して同じ入力操作が行われた場合にジェスチャ認識を行うことができる。
【０１２６】
なお、第１の時間は、操作装置にて通常の入力操作（ユーザがジェスチャを組み合わせることを意図していない入力操作（操作装置のボタンの短押しなど））を行う場合に上記入力操作にかかる時間よりも長い時間（例えば、操作装置のボタンを長押ししたと推定できる程度の時間）以上の時間に任意に設定できる。
【０１２７】
このように第１の時間を設定しておくことにより、情報処理装置のジェスチャ認識手段は、第１の時間以上の時間同一のコマンド（同一の入力操作）を受け付けた場合、ユーザが当該入力操作の後にジェスチャを行うことを意図していると推定しジェスチャ認識を行うことができる。
【０１２８】
本発明の態様４に係る情報処理装置は、上記態様１から３のいずれか一態様において、上記ジェスチャ認識手段は、上記コマンド受付手段が同一のコマンドを継続して受け付けている間、上記所定の動きの認識を行ってもよい。
【０１２９】
上記構成によるとジェスチャ認識手段は、操作装置において同一の入力操作が継続して行われている間にジェスチャの認識を行う。したがって、ジェスチャ認識手段は、リモコン上にジェスチャ認識の開始および終了を指示するための部材が特段設けられていなくとも、入力操作からジェスチャ認識の開始および終了タイミングを決定することができる。
【０１３０】
本発明の態様５に係る情報処理装置（コマンド決定装置４０）は、上記態様４において、上記ジェスチャ認識手段は、上記コマンド受付手段が受け付けている上記同一のコマンドが一時的に途切れたとき、上記途切れた時間が予め定められた第２の時間以下である場合は、上記同一のコマンドを途切れず受け付けたとみなしてもよい。
【０１３１】
上記構成によると、ジェスチャ認識手段は、例えば、ユーザがジェスチャの際に操作装置を大きく動かしすぎたことにより、コマンド受付手段が操作装置からのコマンドを受け付けられなかった場合等、何らかの理由でコマンドを受け付けられずコマンドの受付が一時的に途切れた場合でも、第２の時間以内に再度同一のコマンドを受け付けることができた場合は上記コマンドが途切れたと判断せず、ジェスチャ認識を続けることができる。
【０１３２】
したがって、ジェスチャ認識手段は、ユーザが意図していないにも関わらずジェスチャ認識を終了してしまうことを防ぐことができる。
【０１３３】
なお、第２の時間は、例えばユーザが１回の（１種類の）ジェスチャを行うためにかかると推定される時間以内の時間に任意に設定することができる。
【０１３４】
本発明の態様６に係る情報処理装置は、上記態様１から５のいずれか一態様において、上記コマンド受付手段が上記コマンドを受け付けると、上記コマンドと組み合わせ可能な上記所定の動きを示す文字および画像の少なくともいずれかを上記表示装置に表示させるガイダンス表示手段（ガイダンス表示命令部１６０）を備えていてもよい。
【０１３５】
上記構成によるとガイダンス表示手段は、操作装置にて入力操作が行われると、制御命令決定手段において制御命令を決定する際に当該入力操作（入力操作に応じたコマンド）と組み合わせることが可能なジェスチャを、文字または画像の少なくともいずれかを用いてユーザに提示する。
【０１３６】
これにより、ユーザは入力操作とともに行うジェスチャを表示装置にて確認することができる。したがって、ガイダンス表示手段は、ユーザがジェスチャを行う際の利便性を高めることができる。
【０１３７】
本発明の態様７に係る表示装置（表示装置２０）は、上記態様１〜６のいずれか一態様に記載の情報処理装置（コマンド決定装置１０）に対して、受光部（受光部２００）にて操作装置（リモコン２）から受光した赤外線信号に応じたコマンド（ＩＲコマンド）を送信するコマンド送信手段（ＩＲコマンド送信部２１０）と、上記コマンドに対する応答として、上記情報処理装置から上記制御命令（制御コマンド）を受信する制御命令受信手段（制御コマンド受信部２２０）と、上記制御命令受信手段が受信した上記制御命令に従って表示部（ディスプレイ２４０）に画像を表示させる表示制御手段（表示制御部２３０）と、を備える。
【０１３８】
上記構成によると、表示装置は上記情報処理装置と同様の効果を奏する。
【０１３９】
本発明の態様８に係るテレビ（ＴＶ１またはＴＶ３）は、上記態様１〜６のいずれか一態様に記載の情報処理装置（コマンド決定装置１０）と、上記態様７に記載の表示装置（表示装置２０）と、上記カメラ（カメラ３０）と、を備える。
【０１４０】
上記構成によると、テレビは上記情報処理装置と同様の効果を奏する。
【０１４１】
本発明の各態様に係る情報処理装置および表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置および表示装置が備える各手段として動作させることにより上記情報処理装置および表示装置をコンピュータにて実現させる情報処理装置および表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１４２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【０１４３】
本発明は、テレビ、ビデオ、およびパーソナルコンピュータなど、表示部を備えた電子機器であって、操作装置を用いて操作可能な電子機器に好適に利用することができる。
【符号の説明】
【０１４４】
１、３  ＴＶ（テレビ）
２  リモコン（操作装置）
１０、４０  コマンド決定装置（情報処理装置）
１００  ＩＲコマンド受付部（コマンド受付手段）
１１０  画像受信部
１２０  ジェスチャ認識部（ジェスチャ認識手段）
１３０  制御コマンド決定部（制御命令決定手段）
１４０  制御コマンド送信部（制御命令指示手段）
１５０  ジェスチャ認識開始判定部
１６０  ガイダンス表示命令部（ガイダンス表示手段）
１９０  記憶部
２０  表示装置
２００  受光部
２１０  ＩＲコマンド送信部（コマンド送信手段）
２２０  制御コマンド受信部（制御命令受信手段）
２３０  表示制御部（表示制御手段）
２４０  ディスプレイ（表示部）
３０  カメラ
【図１】
2016072698.tif 000003
【図２】
2016072698.tif 000004
【図３】
2016072698.tif 000005
【図４】
2016072698.tif 000006
【図５】
2016072698.tif 000007
【図６】
2016072698.tif 000008
【図７】
2016072698.tif 000009
【図８】
2016072698.tif 000010
【図９】
2016072698.tif 000011
【図１０】
2016072698.tif 000012
【図１１】
2016072698.tif 000013