(57)【要約】【課題】多数の選択項目となった場合であっても、視覚的な良好さを保ちつつ、ユーザに簡易で直感的なユーザインターフェースを提供する。【解決手段】メニューセット動作制御部１０５は、受取った操作指示が記憶部１０６に記憶される第１の操作と一致する場合に、メニューセットの表示を指示し、操作指示が第２の操作と一致する場合に、メニューセットの大項目の選択状態の変更を指示し、操作指示が第３の操作と一致する場合に、その時点で選択されている大項目における下位概念である小項目の選択状態の変更を指示し、操作指示が第４の操作と一致する場合に、小項目決定を指示する。メニューセットは、表示部１０８上に電子的に描画されるものであって、その中心に前記マルチメディア装置の有する機能に関する大項目名を有し、中心の周りに、大項目中の下位概念である小項目名を有して表示する。【選択図】図１
2015176439.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディア装置において、
ユーザが行う操作指示の種類と、その操作指示がなされた場合に前記マルチメディア装置が行う処理との対応付けを記憶する記憶部と、
ユーザが行う操作指示を直接的または間接的に受取り、
前記受取った操作指示が前記記憶部に記憶される第１の操作と一致する場合に、メニューセットの表示を指示し、
前記操作指示が前記記憶部に記憶される第２の操作と一致する場合に、メニューセットの大項目の選択状態の変更を指示し、
前記操作指示が前記記憶部に記憶される第３の操作と一致する場合に、その時点で選択されている大項目における下位概念である小項目の選択状態の変更を指示し、
前記操作指示が前記記憶部に記憶される第４の操作と一致する場合に、前記小項目決定を指示するメニューセット動作制御部と、
前記メニューセット動作制御部による指示により表示の制御を行い、前記決定された小項目に係る動作または表示の命令を生成する命令生成部と、
前記命令生成部にて生成された命令に基づいて動作または表示を行う表示部と、
を含み、
前記メニューセットは、前記表示部上に電子的に描画されるものであって、その中心に前記マルチメディア装置の有する機能に関する大項目名を有し、前記中心の周りに、前記大項目の下位概念である小項目名を有して表示する、マルチメディア装置。
【請求項２】
前記ユーザが行う操作指示は、ユーザが行うジェスチャを含む、請求項１に記載のマルチメディア装置。
【請求項３】
前記メニューセット動作制御部は、複数のメニューセットの表示を行い、選択中のメニューセットを前記表示部の中心に表示する指示をする、請求項１または２のいずれかに記載のマルチメディア装置。
【請求項４】
前記メニューセット動作制御部は、 複数のメニューセットの表示を行い、選択中のメニューセットを非選択のメニューセットよりも拡大して表示する指示をする、請求項１または２のいずれかに記載のマルチメディア装置。
【請求項５】
前記メニューセット動作制御部は、複数のメニューセットの表示を行い、選択中のメニューセットに囲み線を表示する指示をする、請求項１または２のいずれかに記載のマルチメディア装置。
【請求項６】
マルチメディア装置の制御方法において、
ユーザからの操作指示を直接的または間接的に受取り、
前記受取った操作指示が、ユーザが行う操作指示の種類と、その操作指示がなされた場合に前記マルチメディア装置が行う処理との対応付けを記憶する記憶部に記憶される第１の操作と一致する場合に、表示部にメニューセットの表示を指示し、
前記操作指示が前記記憶部に記憶される第２の操作と一致する場合に、メニューセットの大項目の選択状態の変更を指示し、
前記操作指示が前記記憶部に記憶される第３の操作と一致する場合に、その時点で選択されている大項目における下位概念である小項目の選択状態の変更を指示し、
前記操作指示が前記記憶部に記憶される第４の操作と一致する場合に、前記小項目決定を指示し、
前記指示により表示の制御を行い、前記決定された小項目に係る動作または表示の命令を生成し、
前記命令生成部にて生成された命令に基づいて動作または表示部に表示を行う手順を含み、
前記メニューセットは、前記表示部上に電子的に描画されるものであって、その中心に前記マルチメディア装置の有する機能に関する大項目名を有し、前記中心の周りに、前記大項目中の下位概念である小項目名を有して表示する、マルチメディア装置の制御方法。
【請求項７】
前記マルチメディア装置に、請求項６に記載の方法を実行させるように構成される命令を含むマルチメディア装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア装置、マルチメディア装置の制御方法、及びマルチメディア装置の制御プログラムに関するものである。
【背景技術】
【０００２】
近年、動画、音、画像や文字等の媒体を取り扱うマルチメディア機器において、ユーザからの操作指示を受信する際に用いられるインターフェース技術が開発されている。このインターフェースには、例えば、表示装置にメニューを表示させ、ユーザに選択させるものが含まれる。このようなインターフェースをもつによる情報入力技術は、例えば、特許文献１乃至４に開示される。
【０００３】
特許文献１は、メニューを表示させるためのボタンの形状を円形にする情報処理装置を開示する。ここで、メニューの選択項目を円形ボタンの外側に円形に並べ、メニューの選択項目の使用頻度に応じて、メニューの選択項目の形状の大きさを変える。メニューの選択項目が階層化されている場合、下位の階層の選択項目を上位の階層の選択項目の外側に扇型に並べるようするものである。しかしながら、この文献に係る技術では、下位の階層の数が多い場合には、文字の表示領域が小さくなる。従って、メニューの選択項目数の制限がある。
【０００４】
特許文献２は、ユーザの動作を認識するためのテンプレートとのマッチングにより適合するイベントを出力し、オブジェクトを操作するシステムを開示する。上記オブジェクトにはメニュー項目が円状に配置されたパイメニューが含まれ、ユーザは、手首の捻り角度に応じて当該パイメニューの中から所望のメニュー項目を選択することができる、というものである。しかしながら、この文献に係る技術では、メニュー項目の階層は１つであり、複雑な操作に対応することができない。
【０００５】
特許文献３は、所謂クロスバーメニュー表示を行う再生装置を開示する。ここで、表示制御部は、機能アイコン配列と第１のアイコン縦配列とを含む二次元配列で、メニュー画面の画像データを生成する。機能アイコン配列には、複数の機能アイコンが画面上の横方向に配列される。第１のアイコン縦配列には、複数のフォルダアイコンが、交叉領域の機能アイコンを基準として画面上の縦方向に配列される。表示制御部は、メニュー画面の表示態様として物理ビュー又は論理ビューの何れが設定されているかを判別し、設定されている表示態様の条件に従って画像データを生成する、というものである。
【０００６】
特許文献４は、上述の所謂クロスバーメニュー表示において、機能アイコン配列とコンテンツアイコン配列が交差する交差領域に表示される機能アイコンである動画アイコンは、他の機能アイコンと異なる色彩で拡大表示される技術を開示する。コンテンツアイコン配列には、各コンテンツの階層構造が視覚的に表現される、というものである。しかしながら、これら特許文献３及び４に係る技術では、上位項目である機能アイコンが選択された後にならないと下位項目が表示されないため、全体像が掴みにくいという問題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平８−１２３６４７号公報（平成８年（１９９６）５月１７日公開）
【特許文献２】特開ＷＯ２００８／０２９４６７号公報（２００８年３月１３日公開）
【特許文献３】特開２００４−３５６７７４号公報（２００８年４月３日公開）
【特許文献４】特開２００６−００４２９２号公報（２００６年１月５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
以上の通り、上述の先行技術文献においては、例えば、近年急速に普及している、多種類の機能を有するテレビのように多種類の操作が必要な場合に、それらの操作を網羅することができない。一方、これら多種類の複雑な操作に対応させようとすると、表示する項目が小さくなったり、見栄えが悪くなったりした。
【課題を解決するための手段】
【０００９】
この発明の１つの局面のマルチメディア装置は、ユーザが行う操作指示の種類と、その操作指示がなされた場合に前記マルチメディア装置が行う処理との対応付けを記憶する記憶部と、ユーザが行う操作指示を直接的または間接的に受取り、前記受取った操作指示が前記記憶部に記憶される第１の操作と一致する場合に、メニューセットの表示を指示し、前記操作指示が前記記憶部に記憶される第２の操作と一致する場合に、メニューセットの大項目の選択状態の変更を指示し、前記操作指示が前記記憶部に記憶される第３の操作と一致する場合に、その時点で選択されている大項目における下位概念である小項目の選択状態の変更を指示し、前記操作指示が前記記憶部に記憶される第４の操作と一致する場合に、前記小項目決定を指示するメニューセット動作制御部と、前記メニューセット動作制御部による指示により表示の制御を行い、前記決定された小項目に係る動作または表示の命令を生成する命令生成部と、前記命令生成部にて生成された命令に基づいて動作または表示を行う表示部と、を含み、前記メニューセットは、前記表示部上に電子的に描画されるものであって、その中心に前記マルチメディア装置の有する機能に関する大項目名を有し、前記中心の周りに、前記大項目の下位概念である小項目名を有して表示する。
【００１０】
また、この発明の他の局面のマルチメディア装置の制御方法は、ユーザからの操作指示を直接的または間接的に受取り、前記受取った操作指示が、ユーザが行う操作指示の種類と、その操作指示がなされた場合に前記マルチメディア装置が行う処理との対応付けを記憶する記憶部に記憶される第１の操作と一致する場合に、表示部にメニューセットの表示を指示し、前記操作指示が前記記憶部に記憶される第２の操作と一致する場合に、メニューセットの大項目の選択状態の変更を指示し、前記操作指示が前記記憶部に記憶される第３の操作と一致する場合に、その時点で選択されている大項目における下位概念である小項目の選択状態の変更を指示し、前記操作指示が前記記憶部に記憶される第４の操作と一致する場合に、前記小項目決定を指示し、前記指示により表示の制御を行い、前記決定された小項目に係る動作または表示の命令を生成し、前記命令生成部にて生成された命令に基づいて動作または表示部に表示を行う手順を含み、前記メニューセットは、前記表示部上に電子的に描画されるものであって、その中心に前記マルチメディア装置の有する機能に関する大項目名を有し、前記中心の周りに、前記大項目中の下位概念である小項目名を有して表示する。
【００１１】
また、この発明の他の局面のマルチメディア装置の制御プログラムは、上記方法を実行させるように構成される命令を含む。
【発明の効果】
【００１２】
上記構成によれば、ユーザがその中から選択するための項目が多数となった場合であっても、視覚的な良好さを保ちつつ、ユーザに簡易で直感的なユーザインターフェースを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、マルチメディア装置の第1の実施形態を示すブロック図である。
【図２】図２は、マルチメディア装置の第2の実施形態を示すブロック図である。
【図３】図３は、メニューセットの表示例を示す図である。
【図４】図４は、実施形態としてテレビを用いた場合の画面遷移例を示した図である。
【図５】図５は、第１の実施形態に係るフローチャートである。
【図６】図６は、第２の実施形態に係る入力装置の概略図である。
【図７】図７は、第２の実施形態に係るフローチャートである。
【図８】図８は、メニューセットの他の表示例を示す図である。
【図９】図９は、メニューセットの他の表示例を示す図である。
【図１０】図１０は、複数のメニューセットから１つの大項目に係るメニューセットを選択する場合の表示例である。
【図１１】図１１は、複数のメニューセットから1つの大項目に係るメニューセットを選択する場合の他の表示例である。
【図１２】図１２は、複数のメニューセットから1つの大項目に係るメニューセットを選択する場合の他の表示例である。
【図１３】図１３は、記憶部１０６若しくは２０６に記憶されたデータに係る図表である。
【図１４】図１４は、選択回数が多い小項目を選択し易い位置に配置して表示したメニューセットの表示例である。
【発明を実施するための形態】
【００１４】
以下に実施形態について、図面を参照しながら説明する。以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付し、重複する説明は原則として省略する。総ての図面は模式的なものであり、各寸法の比率などはこの実施形態の解釈を限定しない。したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれる場合がある。
【００１５】
図１は、マルチメディア装置の実施形態を示すブロック図である。このマルチメディア装置は、カメラ１０１と、画像入力部１０２と、ジェスチャ認識部１０３と、結果取得部１０４と、メニューセット動作制御部１０５と、記憶部１０６と、命令生成部１０７と、表示部１０８とを含む。
【００１６】
本実施形態のマルチメディア装置は、ユーザの操作指示を受け取り、ユーザの入力に基づいて各種の操作を行う。ここで、本実施形態においては、ユーザの操作指示としてユーザによるジェスチャを用いる。
【００１７】
カメラ１０１は、ジェスチャ認識の対象となる被写体（認識対象物）を撮像し、信号（例えばＮＴＳＣ等のコンポジット信号）を出力する。詳細には、カメラ１０１は、主に、フレームメモリ、メカ機構、モータを含んでもよい。モータは、ズームレンズモータ、フォーカスモータ、シャッターモータを含んでもよい。撮像デバイスは、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）など、光電変換等により被写体を撮像し、動画信号を生成する各種のデバイスを含む。
【００１８】
画像入力部１０２は、カメラ１０１にて出力された動画信号を取得し、動画データを出力する。ここで、カメラ１０１からの信号を後述するジェスチャ認識部１０３に直接入力するようにしてもよい。この場合には、ジェスチャ認識部１０３は、カメラからのコンポジット信号等から直接ジェスチャ認識を行ってもよいし、一旦データ変換してからジェスチャ認識をしてもよい。
【００１９】
ジェスチャ認識部１０３は、画像入力部１０２から動画データを取得し、被写体の形状および動作（ジェスチャ）を認識する。本実施形態では、手を認識対象物とし、手指の形状及び動作をジェスチャ認識処理での認識対象物として捉える。しかしながら、これに限られず、認識可能な被写体の形状および／または動作をジェスチャとして用いる事ができる。
【００２０】
ここで、ジェスチャ認識部１０３は、例えば、動画に写る特定の特徴を有する特定被写体（手など）を検出する重心追跡部と、特定被写体の単位時間あたりの移動速度を算出する移動速度判定部と、特定被写体の移動パターンを抽出する移動パターン抽出部と、移動速度と移動パターンとが予め定められた条件を満たす場合に、特定被写体の動きを、自装置に対して入力された操作指示（ジェスチャ認識処理の開始または終了の指示など）として識別する開始終了判断部とを備えるようにしてもよい。
【００２１】
本実施形態で利用可能なジェスチャ認識技術は、特開２０１１−１９２０９０号公報、特許第５０２４４９５号公報、特開２０１３−６５１１１号公報、若しくは、特開２０１３−６５１１２号公報に開示され、これら文献を参照による組込みを行う。
【００２２】
結果取得部１０４は、ジェスチャ認識部１０３にて認識されたジェスチャの種類を取得する。ここで、ジェスチャ認識部１０３にて認識されたジェスチャの種類を後述するメニューセット動作制御部１０５に直接出力する場合には、この結果取得部１０４は設けなくてもよい。
【００２３】
メニューセット動作制御部１０５は、結果取得部１０４で取得されたジェスチャの種類に基づいて、各種の制御を行う。即ち、メニューセット動作制御部１０５は、取得されたジェスチャの種類に基づいてユーザの操作指示を認識して、マルチメディア装置の動作または表示の制御を行う。本実施形態のマルチメディア装置においては、後述する表示部１０８に表示するメニューセットの呼び出し、大項目の選択状態の変更、小項目の選択状態の変更、及び、操作指示の決定を含む制御等を行う。ここで、必要に応じて、記憶部１０６に記憶された情報に基づいて、上記の制御を行うようにしてもよい。
【００２４】
記憶部１０６は、メニューセット動作制御部１０５が扱う各種データを記憶するものであり、データを揮発的に記憶する一時記憶部と、不揮発的に記憶する読出し専用記憶部とを含めてもよい。一時記憶部は、メニューセット動作制御部１０５が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリである。この一時記憶部は、読み書き可能な記憶装置、例えば、ＲＡＭが含まれる。読出し記憶部は、メニューセット動作制御部１０５が実行する制御プログラムおよび基本ソフト（Operating System)、ならびに、メニューセット動作制御部１０５が各種機能を実行するときに読み出す各種データを記憶するものである。この読み出し専用の記憶装置は、例えば、ＲＯＭが含まれる。本実施形態の記憶部１０６は、ユーザが行う操作指示の種類と、その操作指示がなされた場合にマルチメディア装置が行う処理との対応付けを記憶する。
【００２５】
命令生成部１０７は、メニューセット動作制御部１０５により制御されたメニューセットを、後述する表示部１０８に表示するための命令を生成する。また、メニューセット動作制御部１０５の制御結果に基づいてマルチメディア装置の制御を行うための命令を生成する。例えば、マルチメディア装置がテレビの場合には、表示するメディアの切り替え、番組の切り替え、音声ボリュームの変更等を行う。
【００２６】
表示部１０８は、命令生成部１０７の制御に基づいて、メニューセットや、メニューセットにより決定された操作指示、例えば、切り替えられた番組を表示する。表示部１０８は、命令生成部１０７の制御に基づいて画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイが含まれる。
【００２７】
ここで、本実施形態のマルチメディア装置は、メニューセットや、メニューセットにより決定された操作指示の表示等、ユーザからの表示に関する操作指示に限られず、本実施形態においては、マルチメディア装置自体の電源のオフやボリュームの上げ／下げ等、マルチメディア装置の表示以外の操作指示にも適用することができる。
【００２８】
なお、マルチメディア装置は、カメラ１０１を備えていなくてもよい。この場合、別に設けられた外部カメラと、マルチメディア装置の通信部（図示せず）とが通信網を介して通信する。そして、外部カメラからの動画を上記通信部経由で取得するようにしてもよい。
【００２９】
本実施形態のマルチメディア装置は、電波や信号を受信して映像や音声等をユーザに提供するための受信機を含むテレビに含まれるようにしてもよい。即ち、テレビが本実施形態のマルチメディア装置を内蔵するようにしてもよい。ここで、マルチメディア装置はテレビに含まれる例を示しているが、これに限るものではない。例えば、携帯電話機、スマートフォン、ゲーム機、デジタルカメラ、セキュリティゲート（ドア）等は、本実施形態のマルチメディア装置を内蔵するようにしてもよい。
【００３０】
本実施形態のマルチメディア装置は、特定のユーザが使用するものであってもよいし、不特定多数のユーザが使用するものであってもよい。例えば、病院等では、不特定多数のユーザがいるが、直接機器に触れて操作することが好ましくない場合がある。そのため、病院等の環境下では、電子機器の操作手段としてジェスチャ認識装置を好適に利用することができる。なお、ここでは、ユーザとは、マルチメディア装置を操作する人、または、マルチメディア装置の操作を試みる人、を意味する。
【００３１】
本実施形態のマルチメディア装置の各処理は、ＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）等で実現された記憶装置に記憶されているプログラムを不図示のＲＡＭ（Random Access Memory）等の一時記憶部に読み出して実行することで実現できる。
【００３２】
図２は、第２の実施形態のマルチメディア装置を示すブロック図である。この実施形態のマルチメディア装置は、リモコン２０１と、信号取得部２０２と、メニューセット制御部２０５と、記憶部２０６と、命令生成部２０７、表示部２０８とを含む。
【００３３】
本実施形態のマルチメディア装置は、ユーザからの操作指示をリモコンを用いて受け取る。リモコン２０１は、ユーザからの操作指示を受付け、信号取得部２０２へ信号を送信する。信号取得部２０２は、リモコン２０１からの信号を受信する。リモコン２０１との通信形態は、有線による通信及び無線による通信が含まれる。有線通信の場合には、リモコン２０１と信号取得部２０２とをケーブルで接続する。信号取得部２０２はケーブル経由でリモコン２０１からの信号を取得する。また、無線通信の場合には、赤外線（ＩＲ）方式や高周波（ＲＦ）の電磁波方式が含まれる。また、このリモコン２０１は、マルチメディア装置と一体になっていてもよい。具体的には、マルチメディア装置に入力部を設け、ユーザは入力部を操作して、操作指示の入力を行う。従って、マルチメディア装置は、直接又はリモコン２０１を用いて間接的にユーザからの入力を受け取るようにしてもよい。
【００３４】
メニューセット動作制御部２０５は、信号取得部２０２で取得された信号に基づき各種の制御を行う。即ち、メニューセット動作制御部２０５は、後述する表示部２０８に表示するメニューセットの呼び出し、大項目の選択状態の変更、小項目の選択状態の変更、及び、操作指示の決定を含む制御を行う。ここで、必要に応じて、記憶部２０６に記憶された情報に基づいて、上記の制御を行うようにしてもよい。
【００３５】
命令生成部２０７は、メニューセット動作制御部２０５にて制御されたメニューセットを後述する表示部２０８に表示する制御を行う。また、メニューセット動作制御部２０５の制御結果に基づいて、例えば、テレビの場合には、表示するメディアの切り替えや番組の切り替え等を行う。
【００３６】
表示部２０８は、命令生成部２０７の制御に基づいて、メニューセットや、メニューセットにより操作指示された命令、例えばユーザが選択した番組を表示する。
【００３７】
図３は、メニューセットの表示例を示す図である。ここで、本実施形態のメニューセットとは、表示部１０８に電子的に描画され、ユーザに選択項目を提示する。このメニューセットは、大項目と小項目を表示する。本実施形態でのメニューセットでは、その中心に大項目を表示し、大項目の周りに小項目を表示する。ここで、大項目とはユーザが選択可能なマルチメディア装置が有する機能の上位概念である。また、小項目とは大項目の下位概念である。図３のメニューセットでは、中心の円形内部に大項目として、「ＣＨ」、即ち、チャンネルであると表示する。中心の円形の外部に更に外部円を設け、その外部円を分割して、大項目であるチャンネルの小項目を表示する。本実施形態では、小項目として、「ＮＨＫ」、「ＡＢＣ」、「ＴＢＳ」、「ＦＵＪＩ」の如く放送局を表示する。
【００３８】
次に、本実施形態のマルチメディア装置の動作について、図４及び５を用いて説明する。図４は、実施形態としてテレビを用いた場合の画面遷移例を示した図である。図５は、図４の画面遷移が行われる場合のユーザのジェスチャの実施形態を示すフローチャートである。
【００３９】
まず、図４の画面３０１の如く、メニュー画面を呼び出す。ここで、画面３０１の如く複数のメニューセットを表示するようにしてもよいし、１つのメニューセットを表示するようにしてもよい。画面３０１の例では、現在選択中のメニューセットが表示部中央に表示され、その前後のメニューセットの一部が現在選択中のメニューセットの左右に表示される。ここで、前述の表示方法に限られず、現在選択中のメニューセットのみを画面に表示するように、1つのメニューセットを表示するようにしてもよい。
【００４０】
次に、画面３０２の如く、メニューセットの大項目の選択状態の変更を行う。この選択状態の移動とはメニューセットの表示切替えが含まれる。表示切替えは、例えば、複数のメニューセットを表示している場合には、新たに選択されたメニューセットが表示部中央に表示されるよう、表示されているメニューセットがスクロールするように行ってもよい。その後、画面３０３の如く小項目の選択状態の変更を行う。最後に、画面３０４の如く小項目の選択を決定する。
【００４１】
図５は、図４の画面遷移例に関し、図１に示す第１の実施形態のマルチメディア装置の動作を示すフローチャートである。
【００４２】
この動作は、例えば、マルチメディア装置の電源がオンである間、所定の時間間隔にて繰り返し実行される。
【００４３】
まず、マルチメディア装置は、ユーザからの操作指示があるまで待機を行う（ステップＳ４０１）。この状態を待機状態と称する。次に、画像中に手があるか否かを判定する（ステップＳ４０２）。画像中に手がある場合には、メニューセットが表示されているか否かを判定し（ステップＳ４０３）、表示されていない場合には、図４の画面３０１の如くメニュー表示を行い（ステップＳ４０６）、待機状態に戻る。一方、ステップＳ４０２にて画像中に手がないと判定された場合には、メニューセットが表示されているか否かを判定し（ステップＳ４０４）、メニューセットが表示されている場合には、メニューセットの表示を消去して(ステップＳ４０５)、待機状態に戻る。
【００４４】
ここで、本実施形態においては、ステップＳ４０２にて画像中に手があるか否かのみを判定したが、これに限られず、ユーザが手を特定の形状にしたか、または、特定の動作をしたか否かを判定してもよい。即ち、ユーザが手の指を総て開いたジェスチャ、例えば、手を開いて５本の指を立てるジェスチャをしたとする。このジェスチャを第１のジェスチャと認識してメニューセットの表示を行うようにしてもよい。
【００４５】
次に、ステップＳ４０３にてメニューが表示されていると判定された場合には、次に、手の形状または動作を判定する（ステップＳ４０７）。ここで、本実施形態では、手を開いた状態（５の状態）、指を１本のみ立てた状態（１の状態）、および、手を閉じた状態（０の状態）の判定を行う。
【００４６】
ステップＳ４０７の判定の結果、５の状態と判定し、前フレームより手が右または左に移動していると判定した場合には（ステップＳ４１３）、第２のジェスチャと認識する（ステップＳ４１４）。第２のジェスチャを認識した場合には、図４の画面３０２の如く、メニューセットの大項目の選択状態の変更（大項目のスクロール）を行う（ステップＳ４１５）。
【００４７】
具体的には、図４の画面３０２の如く、大項目の選択として、表示するメディアの種類を選択する。ここで、メディアの種類とは、インターネット、地上波デジタル放送、地上波アナログ放送、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ  Ｓａｔｅｌｌｉｔｅ）放送、ＣＡＴＶ（Ｃａｂｌｅ ｔｅｌｅｖｉｓｉｏｎ）、ＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓａｔｅｌｌｉｔｅ）を含む。また、当該マルチメディア装置に接続されたＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）プレイヤー、Ｂｌｕ−ｒａｙプレイヤー等のメディアプレイヤーや、ＳＤカード等の外部記憶媒体の選択に関して大項目に含めてもよい。ユーザの第２のジェスチャに基づいてメニューセットの大項目の選択状態を変更し、ユーザの手が止まった時点等で選択された大項目が選択される。ここで、ユーザの手の左右の動きの方向に合わせてメニューセットの表示が移動するようにしてもよい。即ち、ユーザが手を右に振った場合には、中央に表示されていたメニューセットが右に移動して、それまで左側に表示されていたメニューセットが中央に表示されるようにしてもよい。また、ユーザが左に振った場合には、中央に表示されていたメニューセットが左に移動して、それまで右側に表示されていたメニューセットが中央に表示されるようにしてもよい。これにより、ユーザにとってより直感的なユーザインターフェースを提供することができる。
【００４８】
一方、ステップＳ４１３にて前フレームより手が左右に移動していないと判定した場合には、待機状態（ステップＳ４０１）に戻る。
【００４９】
また、ステップＳ４０７の判定の結果、１の状態と判定し、前フレームより指が傾いていると判定した場合には（ステップＳ４０８）、第３のジェスチャと認識する（ステップＳ４０９）。第３のジェスチャを認識した場合には、図４の画面３０３の如く、メニューセットの小項目の選択状態の変更（小項目のスクロール）を行う（ステップＳ４１０）。
【００５０】
具体的には、第３のジェスチャが認識された時点で、図４の画面３０３の如く、メニューセット中の大項目として、地上波デジタル放送が選択されていたとする。その大項目の中には、小項目として、地上波デジタル放送の放送局が表示される。例えば、ＮＨＫ，ＡＢＣ，ＴＢＳ，ＦＵＪＩの如くである。第3のジェスチャが繰り返されるたびに、これら放送局の選択状態が変更される。ある小項目（放送局）が選択されているか否かは、例えば、他の放送局と色を変えたり、選択状態を示す枠を表示したりするなどのハイライト表示をしてもよい。ここで、ユーザの指の左右の動きの方向に合わせて小項目の選択が変更されるようにしてもよい。即ちユーザが指を右に動かした場合には、小項目の選択が右（時計回り）に変更され、左に動かした場合には、小項目が左（反時計回り）に変更されるようにしても良い。これにより、ユーザにとってより直感的なユーザインターフェースを提供することができる。
【００５１】
一方、ステップＳ４０８にて前フレームより指が傾いていないと判定した場合には、待機状態（ステップＳ４０１）に戻る。
【００５２】
また、ステップＳ４０７の判定の結果、０の状態を判定した場合には、第４のジェスチャと認識する（ステップＳ４１１）。第４のジェスチャを認識した場合には、図４の画面３０４の如く、選択された項目の決定を行う（ステップＳ４１２）。
【００５３】
具体的には、図４の画面３０４の如く、ハイライトされた小項目を選択したと決定して、その放送局に係る放送プログラムを表示する。ここで、ユーザに決定のジェスチャを認識した旨を示すために、画面にその旨を表示してもよい。例えば、画面３０４の如く「決定」と表示するようにして、ユーザに決定と認識された旨を通知するようにしてもよい。
【００５４】
図６は、図４の画面遷移が行われる場合の第２の実施形態で用いられる入力装置を示す概略図である。第２の実施形態においては、入力装置としてリモートコントローラ(リモコン)を用いる。  
【００５５】
図６に示す如く、リモコン５００は、メニューキー５０１と、十字キー５０２と、戻るキー５０３と、進むキー５０４と、決定キー５０５とを含む。簡略化のため、図６のリモコン５００の他のボタン等は省略するが、リモコン５００に他のボタン等を含めてもよい。リモコン５００は信号取得部２０２と無線による通信を行う。具体的には、ユーザがメニューキー５０１を押下すると、リモコン５００はそのメニューキー５０１に固有の信号を送信する。信号取得部２０２はリモコン５００が送信した信号を受信する。
【００５６】
図７は、図４の画面遷移例に関し、図２に示す第２の実施形態のマルチメディア装置の動作を説明するフローチャートである。
【００５７】
この動作は、例えば、マルチメディア装置の電源がオンである間、所定の時間間隔にて繰り返し実行される。
【００５８】
まず、マルチメディア装置は、ユーザからのリモコン５００のキー入力があるまで待機を行う（ステップＳ６０１）。この状態を待機状態と称する。次に、キー入力を検知した場合には、メニューが表示されているか否かを判定する（ステップＳ６０２）。メニューが表示されていないと判定した場合には、次に、押下されたのは、メニューキー５０１か否かを判定し（ステップＳ６０７）、メニューキー５０１が押下された場合には、メニュー表示を行う（ステップＳ６０７）。一方、メニューキー５０１以外が押下された場合には、待機状態に戻る。
【００５９】
ステップＳ６０３にて、メニュー表示がされていると判定された場合には、次に、押下されたのは十字キー５０２の右キーもしくは左キー、進むキー５０４若しくは戻るキー５０３、または、決定キー５０５のいずれかであるか否かを判定する（ステップＳ６０３）。ここで、進むキー５０４または戻るキー５０３が押下されたと判定された場合には、図４の画面３０２の如く、メニューセットの大項目の選択状態の変更（大項目のスクロール）を行う（ステップＳ６０５）。ここで、大項目の選択状態の変更は、第１の実施形態と同様の具体例を用いる事ができるので、その説明を省略する。
【００６０】
また、ステップＳ６０３にて押下されたのは十字キー５０２の右キーもしくは左キーであると判定された場合には、図４の画面３０３の如く、小項目の選択状態の変更（小項目スクロール）を行う（ステップＳ６０４）。ここで、小項目の選択状態の変更は、第１の実施形態と同様の具体例を用いる事ができるので、その説明は省略する。
【００６１】
また、ステップＳ６０３にて押下されたのは決定キー５０５であると判定された場合には、図４の３０４の如く、選択された項目の決定を行う（ステップＳ６０６）。ここで、選択された項目の決定は、第１の実施形態と同様の具体例を用いる事ができるので、その説明は省略する。
【００６２】
上記の実施形態においては、メニューセットを表示した後、まず大項目を選択し、その後小項目を選択して、操作指示を決定する、という順序で処理する。しかし、これに限られず、本実施形態のマルチメディア装置を実施することができる。例えば、メニューセットが表示された時点で大項目が既に選択されているようにする。ユーザは、この既に選択された大項目から小項目を選択する場合には、リモコン５００を操作して、大項目を選択せずに十字キー５０２で小項目を選択することができる。また、メニューセットが表示された時点で大項目及び小項目が既に選択されるようにする。ユーザは、この既に選択された大項目及び小項目を選択する場合には、リモコン５００を操作して、大項目や小項目を選択せずに決定キー５０５を押下して操作指示を決定することができる。
【００６３】
図８は、メニューセットの他の表示例を示す図である。このメニューセットは、その中心に機能名などの大項目を表示し、中心の周りには、機能内容等の小項目を表示する。図８のメニューセットは、多角形であり、中心の多角形内部に大項目として、「ＣＨ」、即ち、チャンネルであると表示する。中心の多角形の外部に更に外部多角形を設け、その外部多角形を分割して、小項目を表示する。図８の例では、四角形を用いたが、これに限られず、三角形、五角形、六角形、七角形等を用いることができる。
【００６４】
図９は、メニューセットの他の表示例を示す図である。このメニューセットは、その中心に機能名などの大項目を表示し、中心の周りには、機能内容等の小項目を表示する。ここで、図９の実施形態では、小項目の数が８個となっている。小項目の数は、これに限られず、２個、３個、４個、５個、６個、７個等にしてもよい。
【００６５】
図１０は、複数のメニューセットから１つの大項目に係るメニューセットを選択する場合の表示例である。図１０の如く、選択中のメニューセットを中心に表示し、非選択のメニューセットのうち、選択中のメニューセットに隣接する２つのメニューセットを左右に表示する。ここで、図１０の例では、選択された中心のメニューセットは、非選択の左右のメニューセットよりも大きく表示する。これにより、選択しているメニューセットがどれかを認識し易くし、さらに、選択しているメニューセットの小項目の視認性を向上することができる。ここで、図１０の例では非選択のメニューセットは左右に１つずつ表示しているが、これに限られず、非選択のメニューセットは、２つずつ、３つずつ、のように表示してもよい。
【００６６】
図１１は、複数のメニューセットから１つの大項目に係るメニューセットを選択する場合の他の表示例である。図１１の如く、選択中のメニューセットを中心に表示し、非選択のメニューセットは左右に表示する。ここで図１０の例では、選択された中心のメニューセットの周囲には、選択されていることを表示するための囲み線１００１を表示する。これにより、選択しているメニューセットがどれかを認識し易くすることができる。
【００６７】
図１２は、メニューセットを複数表示する他の実施形態である。図１０及び図１１の例では、３つのメニューセットを表示した。図１２の表示部は、６つのメニューセットを表示する。これに限られず、本実施形態は、４つ、５つ、７つ等、表示可能である。メニューセットの数が少ない場合には、一覧性が向上するので、よりユーザが選択し易くなる。
【００６８】
図１３は、記憶部１０６若しくは２０６に記憶されたデータに係る図表である。メニューセット動作制御部１０５若しくは２０５は、それぞれの小項目について、ユーザが選択した回数を記憶する。ユーザがある小項目を選択する度に記憶部１０６若しくは２０６に記憶された小項目の選択回数をインクリメントする。この選択回数を記憶部１０６若しくは２０６に記憶することにより、ユーザがどの小項目を多く選択したかを把握することができる。メニューセット動作制御部１０５若しくは２０５は、この記憶された選択回数に基づいて、より選択回数が多い小項目を選択し易い位置に配置して表示する。ここで、図１３の例では、記憶部１０６若しくは２０６は、ユーザのチャンネルの選択の回数を記憶する。
【００６９】
図１４は、選択回数が多い小項目を選択し易い位置に配置して表示したメニューセットの表示例である。メニューセット動作制御部１０５若しくは２０５により小項目の選択回数を記憶部１０６若しくは２０６に記憶する。図１４の例では、表示部１０８若しくは２０８は、この記憶された選択回数に基づいて、最も選択回数が多い小項目を円の上部に配置し、選択回数が２番目以降の小項目を選択回数が多い順に時計回りに配置して表示する。ここで、表示方法としては、選択し易い場所はマルチメディア装置によって異なる場合が考えられるため、最も選択回数が多いものを円の上部に表示する以外にも、最も選択回数が多いものを円の下、右、左に配置するなど、選択回数の多い小項目の表示場所および表示する順番を変更してもよい。
【００７０】
本実施形態のマルチメディア装置では、放送局（チャンネル）の変更に関する制御技術について説明したが、本実施形態の適用可能範囲はこれに限られない。即ち、マルチメディア装置の制御や操作に関するものであれば、上述の実施形態は実施可能である。例えば、大項目としてインターネット接続、小項目として閲覧するウエッブページとすることができる。また、マルチメディア装置自体の電源オフ、マルチメディア装置の音量調整、輝度、コントラスト、色度、彩度等の表示調整にも上述の実施形態を適用することができる。
【００７１】
本実施形態のマルチメディア装置の画像入力装置の画像入力部１０２、ジェスチャ認識部１０３、結果取得部１０４、メニューセット動作制御部１０５、記憶部１０６、及び、命令生成部１０７は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００７２】
すなわち、マルチメディア装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を含んでもよい。上述した各部の機能を実現するプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラムを含む）をコンピュータで読み取り可能に記録した記録媒体を、マルチメディア装置に供給する。そして、ＣＰＵが記録媒体に記録されているプログラムコードを読み出し実行することによっても、上記実施形態を実現することが可能である。
【００７３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００７４】
また、上述の各部を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【００７５】
発明は実施形態に記載された以外にも趣旨を逸脱しない他の実施形態をも包含する。実施形態は発明の説明をするものであって、その範囲を限定するものではない。発明の範囲は、クレームの記載によって示されるものであって、明細書の記載によって示されるものではない。従って、発明は、クレームの均等の範囲内における意味や範囲を含む総ての形態を包含する。
【産業上の利用可能性】
【００７６】
テレビ、携帯電話機、スマートフォン、ゲーム機、デジタルカメラ、セキュリティゲート（ドア）等に利用可能である。
【符号の説明】
【００７７】
１０１  カメラ
１０２  画像入力部
１０３  ジェスチャ認識部
１０４  結果取得部
１０５、２０５  制御部
１０６、２０６  記憶部
１０７、２０７  表示制御部
１０８、２０８  表示部
２０１  リモコン
２０２  信号取得部
５０１  メニューキー
５０２  十字キー
５０３  戻るキー
５０４  進むキー
５０５  決定キー
【図１】
2015176439.tif 000003
【図２】
2015176439.tif 000004
【図５】
2015176439.tif 000005
【図６】
2015176439.tif 000006
【図７】
2015176439.tif 000007
【図１３】
2015176439.tif 000008
【図３】
2015176439.tif 000009
【図４】
2015176439.tif 000010
【図８】
2015176439.tif 000011
【図９】
2015176439.tif 000012
【図１０】
2015176439.tif 000013
【図１１】
2015176439.tif 000014
【図１２】
2015176439.tif 000015
【図１４】
2015176439.tif 000016