(57)【要約】【課題】どのようなユーザの時系列の動作を認識したかを、容易に知り得ることを可能とする。【解決手段】実施形態の表示装置は、表示手段と、音声出力手段と、ユーザの時系列の動作を認識する認識手段と、認識された時系列の動作が所定の時系列の動作である場合に操作指示を発行する発行手段と、時系列の動作が認識された場合、認識された時系列の動作をもとに操作指示が発行されたか否かに関わらず、認識された時系列の動作を示すユーザへの通知を、音声出力又は表示手段における画像の表示の少なくとも一方で行う通知手段とを備える。【選択図】図１
2014109885.tif 000002
【特許請求の範囲】
【請求項１】
表示手段と、
音声出力手段と、
ユーザの時系列の動作を認識する認識手段と、
前記認識された時系列の動作が所定の時系列の動作である場合に操作指示を発行する発行手段と、
前記時系列の動作が認識された場合、当該認識された時系列の動作をもとに前記操作指示が発行されたか否かに関わらず、前記認識された時系列の動作を示すユーザへの通知を、音声出力又は前記表示手段における画像の表示の少なくとも一方で行う通知手段と、
を備える表示装置。
【請求項２】
前記発行手段は、前記表示装置の各動作モードにおいて、前記操作指示を発行する時系列の動作が定められた設定情報をもとに、前記認識された時系列の動作が現在の動作モードで定められた時系列の動作と一致する場合に前記操作指示を発行する、
請求項１に記載の表示装置。
【請求項３】
前記通知手段は、前記認識された時系列の動作をもとに前記操作指示を発行する場合、当該操作指示に対応する動作に先立って、前記時系列の動作を示す通知を行う、
請求項１又は２に記載の表示装置。
【請求項４】
前記通知手段は、前記ユーザの時系列の動作を受け付ける間は、前記所定の時系列の動作と、前記操作指示との対応関係を示す操作案内の通知を、音声出力又は案内画像の表示の少なくとも一方で行う、
請求項１乃至３のいずれか一項に記載の表示装置。
【請求項５】
前記ユーザを撮像する撮像手段を更に備え、
前記認識手段は、前記撮像されたユーザの所定部位の時系列の動作を認識する、
請求項１乃至４のいずれか一項に記載の表示装置。
【請求項６】
前記認識手段は、前記ユーザの手の動作を認識し、
前記発行手段は、前記ユーザの手の振り動作が所定方向に行われたか否かをもとに前記操作指示を発行する、
請求項５に記載の表示装置。
【請求項７】
前記ユーザが用いるリモートコントローラを更に備え、
前記認識手段は、前記リモートコントローラの動きをもとに前記ユーザの時系列の動作を認識する、
請求項１乃至４のいずれか一項に記載の表示装置。
【請求項８】
前記時系列の動作を示す画像の表示は、当該時系列の動作に対応したアニメーション表示である、
請求項１乃至７のいずれか一項に記載の表示装置。
【請求項９】
表示手段と、音声出力手段と、を備える表示装置の通知方法であって、
認識手段が、ユーザの時系列の動作を認識する工程と、
発行手段が、前記認識された時系列の動作が所定の時系列の動作である場合に操作指示を発行する工程と、
通知手段が、前記時系列の動作が認識された場合、当該認識された時系列の動作をもとに前記操作指示が発行されたか否かに関わらず、前記認識された時系列の動作を示すユーザへの通知を、音声出力又は前記表示手段における画像の表示の少なくとも一方で行う工程と、
を含む通知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、表示装置及び通知方法に関する。
【背景技術】
【０００２】
従来、ユーザの手や指等の部位をもとにユーザのジェスチャ等の時系列な動作を認識し、その認識した動作に対応した表示を行うＰＣ（Personal  Computer）、テレビジョン受信装置等の表示装置が知られている。認識した時系列な動作に対応した表示としては、ユーザによるジェスチャに応じてチャンネル切替などの、表示画面を切り替えるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２０９７８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、認識したユーザの時系列な動作に応じて表示画面を切り替えた際に、どのような時系列な動作が認識されて表示画面の切り替えが行われたかを、ユーザが認識できなかった。例えば、ユーザが下へ下げるジェスチャとして、手のひらを表示装置に向けて下に下げる動作を繰り返し行う場合がある。この場合、表示装置に向けた手のひらを下に向けるところを認識して下げるジェスチャとして認識した表示画面の切り替えと、下に向いた手が上に戻ったところを認識して上げるジェスチャとして認識した表示画面の切り替えとがあり得る。しかしながら、ユーザは、表示画面の切り替えからジェスチャが認識されたことまでは分かり得るが、上述したどちらのジェスチャが認識されたかまでは容易に分かり得なかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、どのようなユーザの時系列の動作を認識したかを、容易に知り得ることを可能とする表示装置及び通知方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、実施形態の表示装置は、表示手段と、音声出力手段と、ユーザの時系列の動作を認識する認識手段と、前記認識された時系列の動作が所定の時系列の動作である場合に操作指示を発行する発行手段と、前記時系列の動作が認識された場合、当該認識された時系列の動作をもとに前記操作指示が発行されたか否かに関わらず、前記認識された時系列の動作を示すユーザへの通知を、音声出力又は前記表示手段における画像の表示の少なくとも一方で行う通知手段と、を備える。
【０００７】
また、実施形態の通知方法は、表示手段と、音声出力手段と、を備える表示装置の通知方法であって、認識手段が、ユーザの時系列の動作を認識する工程と、発行手段が、前記認識された時系列の動作が所定の時系列の動作である場合に操作指示を発行する工程と、通知手段が、前記時系列の動作が認識された場合、当該認識された時系列の動作をもとに前記操作指示が発行されたか否かに関わらず、前記認識された時系列の動作を示すユーザへの通知を、音声出力又は前記表示手段における画像の表示の少なくとも一方で行う工程と、を含む。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態にかかる表示装置の機能構成を示すブロック図である。
【図２】図２は、手の動作をもとにした表示装置の操作の一例を示す概念図である。
【図３】図３は、第１の実施形態にかかる表示装置の動作の一例を示すフローチャートである。
【図４】図４は、表示灯によるユーザへの通知を例示する概念図である。
【図５】図５は、表示画面におけるポインタ画像の表示例を示す概念図である。
【図６】図６は、表示画面における案内画像の表示例を示す概念図である。
【図７】図７は、表示画面における案内画像の表示例を示す概念図である。
【図８】図８は、表示画面における案内画像の表示例を示す概念図である。
【図９】図９は、表示画面における案内画像の表示例を示す概念図である。
【図１０】図１０は、手の動作に対応したアニメーション画像の表示例を示す概念図である。
【図１１】図１１は、手の動作に対応したアニメーション画像の表示例を示す概念図である。
【図１２】図１２は、手の動作に対応したアニメーション画像の表示例を示す概念図である。
【図１３】図１３は、第２の実施形態にかかる表示装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態の表示装置及び通知方法を詳細に説明する。なお、本実施形態では、表示装置の一例としてテレビジョン受信装置を例示するが、表示構成を有するものであれば、ＰＣなどであってもよく、表示装置はテレビジョン受信装置に限定しない。また、各実施形態において共通の構成については同一の符号を付し、その説明を省略する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態にかかる表示装置１００の機能構成を示すブロック図である。図１に示すように、表示装置１００は、受信した放送番組を表示するＬＣＤ（Liquid  Crystal  Display）等の表示部１と、音声出力を行うアンプやスピーカ等の音声出力部３とを有するテレビジョン受信装置である。表示装置１００は、ＣＰＵ（Central  Processing  Unit）がＲＯＭ（Read  Only  Memory）に記憶されたプログラムをＲＡＭ（Random  Access  Memory）に展開して順次実行することで（ＣＰＵ、ＲＯＭ、ＲＡＭについては図示しない）、認識部１１０、算出部１２０、判定部１３０、制御部１４０としての機能を有する。
【００１１】
表示装置１００は、イメージセンサ等の撮像素子により構成されるデジタルカメラ１１１（図２参照）により撮像した画像からユーザの時系列の動作（ジェスチャ）を認識して、認識したジェスチャに応じて表示装置１００の操作を制御する。本実施形態では、ユーザの時系列な動作として、ユーザの手の動作を認識し、手の上下左右の振り動作が行われた場合に、その振り動作に対応した操作を受け付けるものとする。なお、ユーザの動作を検出する特定の部位については、手に限定するものではなく、頭、足、目などであってもよく、またそれらの部位の組み合わせであってもよい。
【００１２】
図２は、手Ｈの動作をもとにした表示装置１００の操作の一例を示す概念図である。図２に示すように、表示装置１００の正面上部には被写体であるユーザを撮像するデジタルカメラ１１１が設けられている。また、表示装置１００の正面下部には、ユーザの特定部位（手Ｈ）を認識した際に点灯し、特定部位を認識中であることを報知する表示灯２が設けられている。なお、デジタルカメラ１１１、表示灯２の配置位置については、一例であって、特に図示例に限定しない。
【００１３】
デジタルカメラ１１１は、所定のフレームレートで時系列の画像（動画像）を撮像する。ユーザは、表示部１の表示を操作するために、手Ｈの上下左右の振り動作を行う。図示例では、表示部１に「チャンネル４」が表示されている状態であり、手Ｈの左振り動作を受け付けた場合には「チェンネル３」への切り替えが行われることとなる。同様に、手Ｈの右振り動作を受け付けた場合には「チェンネル５」への切り替えが行われ、手Ｈの上振り動作を受け付けた場合には「ＴＶＯＦＦ」とする。
【００１４】
図１に戻り、認識部１１０は、デジタルカメラ１１１によって撮像された時系列の画像に対して、被写体であるユーザの手Ｈ等の特定部位を画像毎に認識する。次いで、算出部１２０は、画像毎に認識したユーザの特定部位を時系列に追跡することにより、ユーザの特定部位の動作を時系列で算出（認識）する。なお、認識する特定部位の位置は、例えば、デジタルカメラ１１１により撮像された手Ｈの検出領域の重心などであってよい。また、特定部位の位置は、撮像された画像上で規定されているピクセル位置等の座標で表現してもよいし、検出されたユーザの顔等の他の部位との相対座標で表現してもよい。
【００１５】
また、認識部１１０は、位置だけでなく、各位置を取得した時刻を保存してもよい。時刻は、ユーザの手Ｈ等の特定部位の認識開始時を「０」として、開始時からの経過時間、経過クロック数、経過フレーム数等で表現される。例えば、撮像画像上の（ｘ，ｙ）座標で位置を表現する場合、ｉ番目のフレームで取得した位置（ｘｉ，ｙｉ）と、取得時の時刻「Ｔｉ」とを対応付けて保存する。
【００１６】
算出部１２０は、手Ｈ等の特定部位の位置と、その位置の時刻とをもとに、特定部位の動きを算出する。具体的には、表示装置１００に向かって操作するユーザを撮像した画像における手Ｈが、最初に右方向に動き、次いで左方向に動くことを繰り返す場合には、左方向への振り動作が行われているものと算出する。逆に、最初に左方向に動き、次いで右方向に動くことを繰り返す場合には、右方向への振り動作が行われているものと算出する。また、最初に上方向に動き、次いで下方向に動くことを繰り返す場合には上方向への振り動作が行われているものと算出し、最初に下方向に動き、次いで上方向に動くことを繰り返す場合には下方向への振り動作が行われているものと算出する。
【００１７】
判定部１３０は、算出部１２０により認識されたユーザの手Ｈ等の特定部位の時系列の動作がＲＯＭ等で予め設定された所定動作であるか否かを判定する。例えば、判定部１３０は、所定動作として左右の手Ｈの振り動作が設定されている場合には、算出部１２０により認識されたユーザの動作が、手Ｈの左右の振り動作のいずれであるかを判定する。
【００１８】
また、判定部１３０は、認識部１１０により認識されたユーザの特定部位の形状が所定の形状である場合、例えば手Ｈが人差し指で画面を指さした指差し形状である場合、表示部１に表示しているポインタ（カーソル）操作を行うポインティング動作と判定する。判定部１３０は、ポインティング動作と判定している間、算出部１２０により算出（認識）されたユーザの特定部位の動作に対応したポインタ操作を受け付ける。
【００１９】
制御部１４０は、判定部１３０により判定されたユーザの所定動作やポインタ操作に基いて、その所定動作やポインタ操作に対応した操作指示を発行して表示部１や音声出力部３を制御することで、表示部１での表示や音声出力部３での音声出力を行う。例えば、制御部１４０は、認識部１１０により認識された時系列の動作が予め設定された所定動作である場合に、その所定動作に対応した操作指示を発行する。また、制御部１４０は、認識部１１０によりユーザの時系列の動作が認識された場合、その時系列の動作をもとに操作指示が発行されたか否かに関わらず、時系列の動作を示すユーザへの通知を、表示部１での表示や音声出力部３での音声出力で行う。
【００２０】
なお、制御部１４０における所定動作やポインタ操作に対応した操作指示の発行や、時系列の動作を示す通知は、ＲＯＭ等で予め設定された設定情報を参照して行われる。この設定情報には、ユーザの時系列の動作に対応して通知する画像情報及び音声情報と、表示装置１００の各動作モードにおいて、操作指示を発行する時系列の動作とが定められている。なお、動作モードの種類としては、例えば、休止モード、受信した番組を表示する表示モード、録画番組を表示する録画再生モード、テレビ電話等の着信があった場合の着信モード、テレビ電話の通話を行う通話モード等がある。また、動作モードは、ＧＵＩ毎に設定されていても良く、例えば設定メニュー画面、ＥＰＧ画面、インターネットブラウザ画面等のＧＵＩ毎に、当該ＧＵＩの表示時に操作指示を発行する時系列の動作が定められていても良い。例えば、設定情報は、次の表に示すようなデータテーブルであってよい。
【００２１】
【表１】
2014109885.tif 000003
【００２２】
制御部１４０は、上記の表に示すような設定情報を参照することで、例えば、「左振り」が認識された場合には「アニメーション画像Ａ」、「音声Ａ」による通知を行うことができる。また、現在の動作モードが「表示モード」であるときに「左振り」が認識された場合には、「チャンネル戻り」の操作指示（発行コマンド）を発行して、表示部１の表示画面におけるチャンネルを１つ戻すことができる。
【００２３】
図３は、第１の実施形態にかかる表示装置１００の動作の一例を示すフローチャートである。図３に示すように、処理が開始されると、認識部１１０は、デジタルカメラ１１１により撮像された画像をもとに、ユーザの特定部位として手Ｈの認識を行う（Ｓ１）。
【００２４】
ここで、認識部１１０は、撮像された画像から手Ｈを認識した場合、表示灯２を点灯させ、手Ｈを認識中であることをユーザに通知する。図４は、表示灯２によるユーザへの通知を例示する概念図である。図４に示すように、表示灯２を点灯することにより、ユーザは、表示装置１００が手Ｈを認識中であることを容易に把握できる。したがって、表示装置１００が手Ｈの認識を開始する前にユーザが振り動作などを開始することを防止でき、意図しない動作が認識されてしまうことを防止できる。
【００２５】
次いで、判定部１３０は、ユーザの手の形状が指差し形状などである、ポインティング動作であるか否かを判定する（Ｓ２）。ポインティング動作である場合（Ｓ２：ＹＥＳ）、制御部１４０は、認識部１１０により認識された手Ｈの形状、算出部１２０により認識されたユーザの手Ｈの動作に基いてポインティング位置を算出し（Ｓ３）、算出したポインティング位置にポインタ画像を表示させる（Ｓ４）。
【００２６】
図５は、表示画面Ｇにおけるポインタ画像Ｐの表示例を示す概念図である。図５に示すように、手Ｈが指差し形状である場合、デジタルカメラ１１１で撮像された画像における手Ｈの人差し指の方向に基づいて、表示画面Ｇ上に例えば波紋のようなポインタ画像Ｐを表示させる。次いで、手Ｈの動作に合わせてポインタ画像Ｐを移動させることで、ユーザの意図したポインタ画像Ｐの操作が行われることとなる。
【００２７】
ポインティング動作でない場合（Ｓ２：ＮＯ）、制御部１４０は、手Ｈの上下左右の振り動作の中で、実際に受け付ける振り動作と、その振り動作による操作指示との対応関係を案内する操作案内を表示画面Ｇに表示させる（Ｓ５）。この操作案内は、現在の動作モード（例えば、休止モード、表示モード、着信モード、通話モード等）において受け付ける振り動作と、振り動作が行われた場合の操作指示の内容とを前出した設定情報を参照して、表示画面Ｇへの表示を行う。なお、ユーザへの操作案内の通知は、表示画面Ｇへの操作案内の表示以外に、音声出力部３による音声出力で行ってもよい。
【００２８】
図６〜図９は、表示画面Ｇにおける案内画像Ｇ１１の表示例を示す概念図である。具体的には、図６は、休止モード中にユーザＨ１が手Ｈをかざして手Ｈの認識が行われた場合の案内画像Ｇ１１を例示する概念図である。同様に、図７は、表示モード中に手Ｈの認識が行われた場合の案内画像Ｇ１１を例示する概念図であり、図８は、着信モード中に手Ｈの認識が行われた場合の案内画像Ｇ１１を例示する概念図であり、図９は、通話モード中に手Ｈの認識が行われた場合の案内画像Ｇ１１を例示する概念図である。図６〜図９に示すように、案内画像Ｇ１１には、各動作モードに対応して、その動作モード中に受け付ける振り動作と、振り動作が行われた場合の操作指示の内容とが表示される。したがって、ユーザは、案内画像Ｇ１１によって、手Ｈを振る動作を行うことでどのような操作ができるかを事前に確認できる。
【００２９】
次いで、判定部１３０は認識した手Ｈの振り動作を判定し（Ｓ６）、制御部１４０は、判定した振り動作に基いて、表示部１への表示や音声出力部３への音声出力を行う（Ｓ７〜Ｓ１４）。
【００３０】
具体的には、手Ｈの「上振り」である場合、制御部１４０は、上振りに対応したアニメーション画像の表示画面Ｇへの表示と、上振りに対応した音声出力を行い（Ｓ７）、上振りの動作に対応した表示画面Ｇを表示させて（Ｓ８）、Ｓ２へ処理を戻す。なお、アニメーション画像の表示画面Ｇへの表示と、上振りに対応した音声出力とについては、少なくとも一方を行えばよく、両方を行わなくてもよいものとする。
【００３１】
例えば、表示モード中である場合には、上振りに対応したアニメーション画像の表示と、音声出力とを行った後に、表示画面Ｇにおける番組の表示をオフとする。なお、休止モード中などの、上振りに対応した操作指示がない場合は、上振りに対応したアニメーション画像の表示と、音声出力とを行った後、Ｓ８の処理を行わずにＳ２へ処理を戻す。このように、上振りに対応したアニメーション画像の表示と、音声出力とが行われることから、ユーザは、手Ｈの上振り動作が認識されたことを容易に知ることができる。
【００３２】
また、手Ｈの「下振り」である場合、制御部１４０は、下振りに対応したアニメーション画像の表示画面Ｇへの表示と、下振りに対応した音声出力を行い（Ｓ９）、下振りの動作に対応した表示画面Ｇを表示させて（Ｓ１０）、Ｓ２へ処理を戻す。
【００３３】
例えば、休止モード中である場合には、下振りに対応したアニメーション画像の表示と、音声出力とを行った後に、表示画面Ｇにおける番組の表示をオンとする。なお、表示モード中などの、下振りに対応した操作指示がない場合は、下振りに対応したアニメーション画像の表示と、音声出力とを行った後、Ｓ１０の処理を行わずにＳ２へ処理を戻す。したがって、ユーザは、手Ｈの下振り動作が認識されたことを容易に知ることができる。
【００３４】
また、手Ｈの「右振り」である場合、制御部１４０は、右振りに対応したアニメーション画像の表示画面Ｇへの表示と、右振りに対応した音声出力を行い（Ｓ１１）、右振りの動作に対応した表示画面Ｇを表示させて（Ｓ１２）、Ｓ２へ処理を戻す。
【００３５】
例えば、表示モード中である場合には、右振りに対応したアニメーション画像の表示と、音声出力とを行った後に、表示画面Ｇの表示チャンネル（ＣＨ）を一つ先のチャンネルとする。なお、休止モード中などの、右振りに対応した操作指示がない場合は、右振りに対応したアニメーション画像の表示と、音声出力とを行った後、Ｓ１２の処理を行わずにＳ２へ処理を戻す。したがって、ユーザは、手Ｈの右振り動作が認識されたことを容易に知ることができる。
【００３６】
また、手Ｈの「左振り」である場合、制御部１４０は、左振りに対応したアニメーション画像の表示画面Ｇへの表示と、左振りに対応した音声出力を行い（Ｓ１３）、左振りの動作に対応した表示画面Ｇを表示させて（Ｓ１４）、Ｓ２へ処理を戻す。
【００３７】
例えば、表示モード中である場合には、左振りに対応したアニメーション画像の表示と、音声出力とを行った後に、表示画面Ｇの表示チャンネル（ＣＨ）を一つ前のチャンネルとする。なお、休止モード中などの、左振りに対応した操作指示がない場合は、左振りに対応したアニメーション画像の表示と、音声出力とを行った後、Ｓ１４の処理を行わずにＳ２へ処理を戻す。したがって、ユーザは、手Ｈの左振り動作が認識されたことを容易に知ることができる。
【００３８】
また、上述した振り動作に対応したアニメーション画像の表示と、音声出力とによる通知は表示画面Ｇの切り替えに先立って行われることから、ユーザは、振り動作によって表示画面Ｇの表示が切り替わるところで、正しく動作が認識されたか否かを確認できる。
【００３９】
図１０〜図１２は、手Ｈの動作に対応したアニメーション画像Ｇ２０の表示例を示す概念図である。具体的には、図１０は手Ｈの右振りに対応したアニメーション画像Ｇ２０の表示例を、図１１は手Ｈの下振りに対応したアニメーション画像Ｇ２０の表示例を、図１２は手Ｈの上振りに対応したアニメーション画像Ｇ２０の表示例を示す概念図である。
【００４０】
図１０〜図１２に示すように、手Ｈの振り動作が行われた場合、その振り方向に向かって流れるアニメーション画像Ｇ２０が表示画面Ｇに表示されることから、ユーザは、表示装置１００によって認識された振り方向を容易に知ることができる。音声出力も同様、複数のスピーカにより音像定位を制御することで、振り方向に向かって流れる音声を出力して振り方向を通知してもよい。
【００４１】
なおアニメーション画像Ｇ２０は表示画面Ｇに重畳して表示される例えば半透明の水玉模様の画像等である。そして図１０〜図１２の例において、アニメーション画像Ｇ２０は、当該画像Ｇ２０が流れる方向に平行な方向に関しては表示画面Ｇの一部を覆い、画像Ｇ２０が流れる方向と直交する方向に関しては表示画面Ｇの全体を覆うような表示形態で、表示画面Ｇ上を移動する。言い換えると、アニメーション画像Ｇ２０の水玉模様の水玉部分は、表示画面Ｇにおいて、画像Ｇ２０が流れる方向と平行する方向に関しては画面Ｇの全体の領域に点在し、画像Ｇ２０が流れる方向と直交する方向に関しては画面Ｇの一部の領域にのみ点在した状態で、表示画面Ｇの一端から多端まで流れる。しかしながらアニメーション画像Ｇ２０の表示形態はこれに限らず、例えば表示画面Ｇの全面を覆う表示形態で一定時間流れるよう設定されても良い。
【００４２】
また、ジェスチャ入力に伴って表示画面Ｇが他の表示画面に画面遷移する場合、アニメーション画像Ｇ２０の表示が完了した後に遷移後の画面に切り替わる構成としても良いし、あるいは図１０〜図１２に示すように、アニメーション画像Ｇ２０の移動と共に徐々に画面が切り替わる構成としても良い。つまり、図１０の下方の画面遷移図が示すように、元々表示されていた画面を黒色領域、遷移後の画面を白色領域とすると、表示画面Ｇの左側から流れて移動するアニメーション画像Ｇ２０の移動に伴って遷移後の画面（白色領域）が次第に出現する表示形態であっても良い。
【００４３】
なお図１０〜図１２の例では、アニメーション画像Ｇ２０と表示画面Ｇの切り替えとが並行して行われる例を示したが、表１にも示したように、アニメーション画像Ｇ２０は、所定の時系列の動作が検出された際に表示されるものであれば良い。つまり、表示装置１００は、アニメーション画像Ｇ２０を表示した場合に表示画面Ｇを切り替えずとも良く、例えば上振りや下振りの動作を検出した場合に、画像Ｇ２０を表示しつつ表示画面Ｇ２０を切り替えず、例えば音量の上げ下げを実行しても良い。また表示装置１００は、所定の時系列の動作を検出した場合に、当該動作に該当するコマンドが対応付けられていない場合であっても、アニメーション画像Ｇ２０を表示する。
【００４４】
なお、本実施形態では、振り動作の方向のみを検出する構成を例示したが、振り動作の時間（振り始めから振り終わりまでの時間）や、振る速さなどの振り度合いを算出部１２０が認識し、その認識した振り度合いに対応したアニメーション画像の表示、音声出力を行ってもよい。具体的には、振り度合いが大きい場合（振り動作の時間が短い、又は振る速さが早い場合）は、アニメーション画像を早く流すようにしてもよい。
【００４５】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、ユーザの時系列の動作の認識を、ユーザが手に持って操作するリモートコントローラを用いて行う点が、第１の実施形態とは異なる。
【００４６】
図１３は、第２の実施形態にかかる表示装置１００ａの機能構成を示すブロック図である。図１３に示すように、表示装置１００ａの認識部１１０ａは、リモートコントローラ２００から通知される加速度センサ２０１の検出値をもとに、ユーザのリモートコントローラ２００の振り動作を認識する。具体的には、リモートコントローラ２００の上下左右方向の加速度を加速度センサ２０１で検出し、その加速度の波形から上下左右方向における振り動作を認識する。例えば、認識部１１０ａは、最初に上方向における加速度が大きくなり、続いて下方向における加速度が大きくなる波形が検出された場合、上振り動作が行われたものと認識する。下、右、左方向についても同様、加速度の波形に基いて認識する。
【００４７】
なお、本実施形態の表示装置１００、１００ａで実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態の表示装置１００、１００ａで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４８】
さらに、本実施形態の表示装置１００、１００ａで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の表示装置１００、１００ａで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４９】
本実施形態の表示装置１００、１００ａで実行されるプログラムは、上述した機能構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上述した機能構成が主記憶装置上にロードされ、生成されるようになっている。
【００５０】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００５１】
１００、１００ａ…表示装置、１…表示部、２…表示灯、３…音声出力部、１１０、１１０ａ…認識部、１１１…デジタルカメラ、１２０…算出部、１３０…判定部、１４０…制御部、２００…リモートコントローラ、２０１…加速度センサ、Ｇ…表示画面、Ｇ１１…案内画像、Ｇ２０…アニメーション画像、Ｈ…手、Ｈ１…ユーザ、Ｐ…ポインタ画像
【図１】
2014109885.tif 000004
【図２】
2014109885.tif 000005
【図３】
2014109885.tif 000006
【図４】
2014109885.tif 000007
【図５】
2014109885.tif 000008
【図６】
2014109885.tif 000009
【図７】
2014109885.tif 000010
【図８】
2014109885.tif 000011
【図９】
2014109885.tif 000012
【図１０】
2014109885.tif 000013
【図１１】
2014109885.tif 000014
【図１２】
2014109885.tif 000015
【図１３】
2014109885.tif 000016