(57)【要約】【課題】選択可能なオブジェクトが数多く提供されても、画面の混雑に起因してユーザビリティが低下することを回避することのできるＵＩを実現すること。【解決手段】入力画像を取得する画像取得部と、ユーザにより使用される操作体を前記入力画像内で認識する認識部と、前記入力画像に対応する出力画像であって、前記ユーザにより操作される複数のオブジェクトが重畳された前記出力画像を画面に表示させ、前記操作体の認識結果に基づいて、少なくとも１つのオブジェクトの表示を制御する制御部と、を備え、前記制御部は、前記操作体の認識前に前記画面に表示されている前記複数のオブジェクトの表示位置を、前記操作体の認識後に前記ユーザに向けてそれぞれ接近させる、情報処理装置を提供する。【選択図】図４
2014127124.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を取得する画像取得部と、
ユーザにより使用される操作体を前記入力画像内で認識する認識部と、
前記入力画像に対応する出力画像であって、前記ユーザにより操作される複数のオブジェクトが重畳された前記出力画像を画面に表示させ、前記操作体の認識結果に基づいて、少なくとも１つのオブジェクトの表示を制御する制御部と、
を備え、
前記制御部は、前記操作体の認識前に前記画面に表示されている前記複数のオブジェクトの表示位置を、前記操作体の認識後に前記ユーザに向けてそれぞれ接近させる、
情報処理装置。
【請求項２】
前記制御部は、各オブジェクトに設定される優先度に従って、各オブジェクトの前記ユーザに向けての接近の態様を変化させる、請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、より高い前記優先度を有するオブジェクトの操作が前記ユーザにとってより容易となるように、前記複数のオブジェクトの接近速度、接近開始タイミング、接近後の表示位置、表示サイズ、透明度及び深度のうちの少なくとも１つを設定する、請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、より高い前記優先度を有するオブジェクトの前記ユーザに向けた接近速度をより速く設定する、請求項３に記載の情報処理装置。
【請求項５】
前記情報処理装置は、各オブジェクトについての操作履歴又は前記ユーザの属性に関連する設定基準に従って前記複数のオブジェクトの各々に前記優先度を設定する優先度設定部、をさらに備える、請求項２に記載の情報処理装置。
【請求項６】
前記情報処理装置は、各オブジェクトに関連付けられる処理を実行するアプリケーション部、をさらに備え、
前記制御部は、第１のイベントに応じて、前記操作体により指定されるオブジェクトに関連付けられる処理を前記アプリケーション部に実行させる、
請求項１に記載の情報処理装置。
【請求項７】
前記制御部は、第２のイベントに応じて、前記複数のオブジェクトの前記画面上での動きを停止させる、請求項１に記載の情報処理装置。
【請求項８】
前記制御部は、前記複数のオブジェクトの動きが停止した後、第３のイベントに応じて、前記複数のオブジェクトの表示位置を画像内の基準点の周りに回転させる、請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、第４のイベントに応じて、前記操作体の近傍の少なくとも１つのオブジェクトの表示位置を前記ユーザから遠ざける、請求項１に記載の情報処理装置。
【請求項１０】
前記複数のオブジェクトは、予め定義される複数のカテゴリのうち第１のカテゴリに属し、
前記制御部は、第５のイベントに応じて、前記入力画像に重畳されている前記複数のオブジェクトを、前記第１のカテゴリとは異なる第２のカテゴリに属するオブジェクトに置き換える、
請求項１に記載の情報処理装置。
【請求項１１】
前記操作体は、前記ユーザの手であり、
前記イベントは、前記ユーザの所定のジェスチャの前記認識部による認識である、
請求項６に記載の情報処理装置。
【請求項１２】
前記イベントは、前記ユーザにより発せられる所定の音声コマンドの認識である、請求項６に記載の情報処理装置。
【請求項１３】
前記制御部は、前記操作体により指定されるオブジェクトの表示位置を前記操作体と共に移動させ、
前記第１のイベントは、所定の画面領域への前記オブジェクトの移動である、請求項６に記載の情報処理装置。
【請求項１４】
前記制御部は、前記操作体により指定されるオブジェクトに関連付けられる処理の数に相当する数の前記画面領域を前記画面に設定する、請求項１３に記載の情報処理装置。
【請求項１５】
前記第１のカテゴリ及び前記第２のカテゴリは、互いに異なる画面領域に関連付けられ、
前記イベントは、前記第１のカテゴリに関連付けられる第１の画面領域から前記第２のカテゴリに関連付けられる第２の画面領域への前記操作体の移動である、
請求項１０に記載の情報処理装置。
【請求項１６】
前記操作体は、前記ユーザの右手及び左手であり、
前記制御部は、前記複数のオブジェクトのうちの第１のグループを、前記右手及び前記左手のうち一方の認識後に当該認識された一方に向けて接近させ、前記複数のオブジェクトのうちの第２のグループを、前記右手及び前記左手のうち他方の認識後に当該認識された他方に向けて接近させる、
請求項１に記載の情報処理装置。
【請求項１７】
前記操作体は、第１のユーザの手及び第２のユーザの手であり、
前記制御部は、前記複数のオブジェクトのうちの第１のグループを、前記第１のユーザの手の認識後に前記第１のユーザに向けて接近させ、前記複数のオブジェクトのうちの第２のグループを、前記第２のユーザの手の認識後に前記第２のユーザに向けて接近させる、
請求項１に記載の情報処理装置。
【請求項１８】
前記制御部は、少なくとも１つのオブジェクトを指定する第６のイベントに応じて、当該指定されるオブジェクトに関連付けられる処理を前記アプリケーション部に実行させ、
前記第６のイベントは、前記指定されるオブジェクトに対する他のユーザの所定のジェスチャの認識である、
請求項６に記載の情報処理装置。
【請求項１９】
情報処理装置により実行される情報処理方法において、
入力画像を取得することと、
ユーザにより使用される操作体を前記入力画像内で認識することと、
前記入力画像に対応する出力画像であって、前記ユーザにより操作される複数のオブジェクトが重畳された前記出力画像を画面に表示させることと、
前記操作体の認識前に前記画面に表示されている前記複数のオブジェクトの表示位置を、前記操作体の認識後に前記ユーザに向けてそれぞれ接近させることと、
を含む情報処理方法。
【請求項２０】
情報処理装置を制御するコンピュータを、
入力画像を取得する画像取得部と、
ユーザにより使用される操作体を前記入力画像内で認識する認識部と、
前記入力画像に対応する出力画像であって、前記ユーザにより操作される複数のオブジェクトが重畳された前記出力画像を画面に表示させ、前記操作体の認識結果に基づいて、少なくとも１つのオブジェクトの表示を制御する制御部と、
として機能させ、
前記制御部は、前記操作体の認識前に前記画面に表示されている前記複数のオブジェクトの表示位置を、前記操作体の認識後に前記ユーザに向けてそれぞれ接近させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラからの画像を介してユーザ入力を受け付けるユーザインタフェース（ＵＩ）が提案されている。
【０００３】
例えば、下記特許文献１は、ミラー表示されるユーザを映した画像にＵＩ用のオブジェクト画像を重畳し、ユーザの手の動きによって選択されるオブジェクト画像に関連付けられるアプリケーション処理を実行する手法を開示している。下記特許文献２は、カメラ画像を介するＵＩにおけるカメラアングルの設定などの初期設定の煩雑さを解消するために、入力画像内のユーザの顔及び手の位置を判定し、判定した位置の近傍にオブジェクト画像を自動的に表示する手法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１９６８５５号公報
【特許文献２】特開２００５−２１６０６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザの顔又は手の近傍の画面領域は限られている。そのため、上記特許文献２により開示された手法では、ＵＩにおいて選択可能なオブジェクトが数多く提供される場合に、それらオブジェクトによって画面が混雑し、却ってユーザビリティが低下してしまう可能性があった。
【０００６】
従って、選択可能なオブジェクトが数多く提供されても、画面の混雑に起因してユーザビリティが低下することを回避することのできる改善されたＵＩが実現されることが望ましい。
【課題を解決するための手段】
【０００７】
本開示によれば、入力画像を取得する画像取得部と、ユーザにより使用される操作体を前記入力画像内で認識する認識部と、前記入力画像に対応する出力画像であって、前記ユーザにより操作される複数のオブジェクトが重畳された前記出力画像を画面に表示させ、前記操作体の認識結果に基づいて、少なくとも１つのオブジェクトの表示を制御する制御部と、を備え、前記制御部は、前記操作体の認識前に前記画面に表示されている前記複数のオブジェクトの表示位置を、前記操作体の認識後に前記ユーザに向けてそれぞれ接近させる、情報処理装置が提供される。
【０００８】
また、本開示によれば、情報処理装置により実行される情報処理方法において、入力画像を取得することと、ユーザにより使用される操作体を前記入力画像内で認識することと、前記入力画像に対応する出力画像であって、前記ユーザにより操作される複数のオブジェクトが重畳された前記出力画像を画面に表示させることと、前記操作体の認識前に前記画面に表示されている前記複数のオブジェクトの表示位置を、前記操作体の認識後に前記ユーザに向けてそれぞれ接近させることと、を含む情報処理方法が提供される。
【０００９】
また、本開示によれば、情報処理装置を制御するコンピュータを、入力画像を取得する画像取得部と、ユーザにより使用される操作体を前記入力画像内で認識する認識部と、前記入力画像に対応する出力画像であって、前記ユーザにより操作される複数のオブジェクトが重畳された前記出力画像を画面に表示させ、前記操作体の認識結果に基づいて、少なくとも１つのオブジェクトの表示を制御する制御部と、として機能させ、前記制御部は、前記操作体の認識前に前記画面に表示されている前記複数のオブジェクトの表示位置を、前記操作体の認識後に前記ユーザに向けてそれぞれ接近させる、プログラムが提供される。
【発明の効果】
【００１０】
本開示に係る技術によれば、選択可能なオブジェクトが数多く提供されても、画面の混雑に起因してユーザビリティが低下することを回避することのできるＵＩが実現される。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る情報処理装置の概要について説明するための説明図である。
【図２】第２の実施形態に係る情報処理装置の概要について説明するための説明図である。
【図３】第１の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【図４】第１の実施形態に係る情報処理装置の論理的機能の構成の一例を示すブロック図である。
【図５】画像認識の結果の一例について説明するための説明図である。
【図６】認識され得るさらなるジェスチャの第１の例について説明するための説明図である。
【図７】認識され得るさらなるジェスチャの第２の例について説明するための説明図である。
【図８】認識され得るさらなるジェスチャの第３の例について説明するための説明図である。
【図９】認識され得るさらなるジェスチャの第４の例について説明するための説明図である。
【図１０】認識され得るさらなるジェスチャの第５の例について説明するための説明図である。
【図１１】認識され得るさらなるジェスチャの第６の例について説明するための説明図である。
【図１２】認識され得るさらなるジェスチャの第７の例について説明するための説明図である。
【図１３】ＵＩオブジェクトの第１の例について説明するための説明図である。
【図１４】ＵＩオブジェクトの第２の例について説明するための説明図である。
【図１５】ＵＩオブジェクトがユーザに向けて接近する態様の第１の例について説明するための説明図である。
【図１６】ＵＩオブジェクトがユーザに向けて接近する態様の第２の例について説明するための説明図である。
【図１７】ＵＩオブジェクトがユーザに向けて接近する態様の第３の例について説明するための説明図である。
【図１８】ＵＩオブジェクトがユーザに向けて接近する態様の第４の例について説明するための説明図である。
【図１９】図１７に示した例に対応する優先度データの一例を示す説明図である。
【図２０】図１８に示した例に対応する優先度データの一例を示す説明図である。
【図２１】ＵＩオブジェクトがユーザに向けて接近する態様の第５の例について説明するための説明図である。
【図２２】操作イベントの第１の例について説明するための説明図である。
【図２３】操作イベントの第２の例について説明するための説明図である。
【図２４】操作イベントの第３の例及び第４の例について説明するための説明図である。
【図２５】操作イベントの第５の例について説明するための説明図である。
【図２６】操作イベントの第６の例について説明するための説明図である。
【図２７】操作イベントの第７の例及び第８の例について説明するための説明図である。
【図２８】操作イベントの第９の例について説明するための説明図である。
【図２９】複数の操作体が関与する操作シナリオの第１の例について説明するための説明図である。
【図３０】複数の操作体が関与する操作シナリオの第２の例について説明するための説明図である。
【図３１】複数の操作体が関与する操作シナリオの第３の例について説明するための説明図である。
【図３２】出力画像のウィンドウ構成の第１の例について説明するための説明図である。
【図３３】出力画像のウィンドウ構成の第２の例について説明するための説明図である。
【図３４】第１の実施形態に係る処理の流れの一例を示すフローチャートの前半部である。
【図３５】第１の実施形態に係る処理の流れの一例を示すフローチャートの後半部である。
【図３６】第２の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【図３７】第２の実施形態における操作シナリオの一例について説明するための説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、以下の順序で説明を行う。
１．概要
２．第１の実施形態
２−１．ハードウェア構成例
２−２．機能構成例
２−３．ＵＩオブジェクトの接近の態様
２−４．様々な操作イベントの例
２−５．複数の操作体の関与
２−６．ウィンドウ構成の例
２−７．処理の流れの例
３．第２の実施形態
４．まとめ
【００１４】
＜１．概要＞
本節では、図１及び図２を用いて、本開示に係る技術が適用され得る情報処理装置の概要について説明する。本開示に係る技術は、ユーザインタフェースのための手段としてユーザを映した画像を活用する様々な装置及びシステムに適用可能である。一例として、本開示に係る技術は、テレビジョン装置などのデジタル家電機器に適用されてもよい。また、本開示に係る技術は、ＰＣ（Personal  Computer）、スマートフォン、ＰＤＡ（Personal  Digital  Assistant）又はゲーム端末などの端末装置に適用されてもよい。また、本開示に係る技術は、アミューズメント装置のような特殊な用途を有する装置に適用されてもよい。
【００１５】
図１は、第１の実施形態に係る情報処理装置１００の概要について説明するための説明図である。図１を参照すると、情報処理装置１００は、テレビジョン装置である。情報処理装置１００は、カメラ１０１、マイクロフォン１０２及びディスプレイ１０８を備える。カメラ１０１は、情報処理装置１００のディスプレイ１０８を見るユーザを撮像する。マイクロフォン１０２は、ユーザが発する音声を集音する。ディスプレイ１０８は、情報処理装置１００により生成される画像を表示する。ディスプレイ１０８により表示される画像は、コンテンツ画像に加えて、ユーザインタフェース（ＵＩ）画像を含み得る。図１の例では、ユーザＵａ及びＵｂがディスプレイ１０８を見ている。ディスプレイ１０８には、ＵＩ画像Ｗ０１が表示されている。ＵＩ画像Ｗ０１は、カメラ１０１により撮像される撮像画像を用いて生成され、それによりいわゆるミラー表示が実現される。また、ＵＩ画像Ｗ０１には、複数のＵＩオブジェクトＯｂｊが重畳されている。ユーザＵａ及びＵｂは、各々の身体を使ったジェスチャを通じてＵＩオブジェクトＯｂｊを操作することにより、情報処理装置１００とインタラクションし得る。マイクロフォン１０２を介して情報処理装置１００へ入力される音声コマンドが、情報処理装置１００とのインタラクションを補助するために使用されてもよい。
【００１６】
図２は、第２の実施形態に係る情報処理装置２００の概要について説明するための説明図である。図２を参照すると、情報処理装置２００は、タブレットＰＣである。情報処理装置２００は、カメラ２０１及びディスプレイ２０８を備える。カメラ２０１は、情報処理装置２００のディスプレイ２０８を見るユーザを撮像する。ディスプレイ２０８は、情報処理装置２００により生成される画像を表示する。ディスプレイ２０８により表示される画像は、コンテンツ画像に加えて、ＵＩ画像を含み得る。図２の例では、ユーザＵｃがディスプレイ２０８を見ている。ディスプレイ２０８には、ＵＩ画像Ｗ０２が表示されている。ＵＩ画像Ｗ０２は、カメラ２０１により撮像される撮像画像を用いて生成され、それによりいわゆるミラー表示が実現される。また、ＵＩ画像Ｗ０２には、複数のＵＩオブジェクトＯｂｊが重畳されている。ユーザＵｃは、各々の身体を使ったジェスチャを通じてＵＩオブジェクトＯｂｊを操作することにより、情報処理装置２００とインタラクションし得る。
【００１７】
既存の手法によれば、ユーザにより操作されるＵＩオブジェクトは、画像内でユーザの顔又は手の近傍に自動的に配置され得る。しかしながら、ユーザの顔又は手の近傍の画面領域は限られているめ、複数のＵＩオブジェクトが提供される場合、それらＵＩオブジェクトがユーザの近傍に密集してしまう可能性がある。ＵＩオブジェクトが限られた画面領域に密集すると、個々のＵＩオブジェクトの選択が困難となり、却ってユーザビリティが低下してしまう。そこで、情報処理装置１００及び２００は、次節より詳細に説明する仕組みに従って、上述したユーザビリティの低下を回避する。
【００１８】
＜２．第１の実施形態＞
［２−１．ハードウェア構成例］
図３は、情報処理装置１００のハードウェア構成の一例を示すブロック図である。図３を参照すると、情報処理装置１００は、カメラ１０１、マイクロフォン１０２、入力デバイス１０３、通信インタフェース（Ｉ／Ｆ）１０４、メモリ１０５、チューナ１０６、デコーダ１０７、ディスプレイ１０８、スピーカ１０９、遠隔制御Ｉ／Ｆ１１０、バス１１１及びプロセッサ１１２を備える。
【００１９】
（１）カメラ
カメラ１０１は、ＣＣＤ（Charge  Coupled  Device）又はＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を有し、画像を撮像する。カメラ１０１により撮像される画像（動画を構成する各フレーム）は、情報処理装置１００による処理のための入力画像として扱われる。
【００２０】
（２）マイクロフォン
マイクロフォン１０２は、ユーザにより発せられる音声を集音し、音声信号を生成する。マイクロフォン１０２により生成される音声信号は、情報処理装置１００による音声認識のための入力音声として扱われ得る。マイクロフォン１０２は、無指向性マイクロフォンであってもよく、又は固定的な若しくは可変的な指向性を有していてもよい。
【００２１】
（３）入力デバイス
入力デバイス１０３は、ユーザが情報処理装置１００を直接的に操作するために使用されるデバイスである。入力デバイス１０３は、例えば、情報処理装置１００の筐体に配設されるボタン、スイッチ及びダイヤルなどを含み得る。入力デバイス１０３は、ユーザ入力を検出すると、検出されたユーザ入力に対応する入力信号を生成する。
【００２２】
（４）通信インタフェース
通信Ｉ／Ｆ１０４は、情報処理装置１００による他の装置との間の通信を仲介する。通信Ｉ／Ｆ１０４は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００２３】
（５）メモリ
メモリ１０５は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、情報処理装置１００による処理のためのプログラム及びデータ、並びにコンテンツデータを記憶する。メモリ１０５により記憶されるデータは、例えば、後に説明する画像認識のための特徴データを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、メモリ１０５により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００２４】
（６）チューナ
チューナ１０６は、アンテナ（図示せず）を介して受信される放送信号から、所望のチャンネルのコンテンツ信号を抽出し及び復調する。そして、チューナ１０６は、復調したコンテンツ信号をデコーダ１０７へ出力する。
【００２５】
（７）デコーダ
デコーダ１０７は、チューナ１０６から入力されるコンテンツ信号からコンテンツデータを復号する。デコーダ１０７は、通信Ｉ／Ｆ１０４を介して受信されるコンテンツ信号からコンテンツデータを復号してもよい。デコーダ１０７により復号されるコンテンツデータに基づいて、コンテンツ画像が生成され得る。
【００２６】
（８）ディスプレイ
ディスプレイ１０８は、ＬＣＤ（Liquid  Crystal  Display）、ＯＬＥＤ（Organic  light-Emitting  Diode）又はＣＲＴ（Cathode  Ray  Tube）などにより構成される画面を有し、情報処理装置１００により生成される画像を表示する。例えば、図１及び図２を用いて説明したコンテンツ画像及びＵＩ画像が、ディスプレイ１０８の画面に表示され得る。
【００２７】
（９）スピーカ
スピーカ１０９は、振動板及びアンプなどの回路素子を有し、情報処理装置１００により生成される出力音声信号に基づいて、音声を出力する。スピーカ１０９の音量は、変更可能である。
【００２８】
（１０）遠隔制御インタフェース
遠隔制御Ｉ／Ｆ１１０は、ユーザにより使用されるリモートコントローラから送信される遠隔制御信号（赤外線信号又はその他の無線信号）を受信するインタフェースである。遠隔制御Ｉ／Ｆ１１０は、遠隔制御信号を検出すると、検出された遠隔制御信号に対応する入力信号を生成する。
【００２９】
（１１）バス
バス１１１は、カメラ１０１、マイクロフォン１０２、入力デバイス１０３、通信Ｉ／Ｆ１０４、メモリ１０５、チューナ１０６、デコーダ１０７、ディスプレイ１０８、スピーカ１０９、遠隔制御Ｉ／Ｆ１１０及びプロセッサ１１２を相互に接続する。
【００３０】
（１２）プロセッサ
プロセッサ１１２は、例えば、ＣＰＵ（Central  Processing  Unit）又はＤＳＰ（Digital  Signal  Processor）などであってよい。プロセッサ１１２は、メモリ１０５又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する情報処理装置１００の様々な機能を動作させる。
【００３１】
［２−２．機能構成例］
図４は、図３に示した情報処理装置１００のメモリ１０５及びプロセッサ１１２により実現される論理的機能の構成の一例を示すブロック図である。論理的機能の構成の一例を示すブロック図である。図４を参照すると、情報処理装置１００は、画像取得部１２０、音声取得部１３０、アプリケーション部１４０、認識部１５０、特徴データベース（ＤＢ）１６０、制御部１７０及び操作ＤＢ１８０を備える。認識部１５０は、画像認識部１５２及び音声認識部１５４を含む。制御部１７０は、操作制御部１７２及び優先度設定部１７４を含む。
【００３２】
（１）画像取得部
画像取得部１２０は、カメラ１０１により撮像される画像を入力画像として取得する。入力画像は、典型的には、ユーザが映る動画を構成する一連のフレームの各々である。そして、画像取得部１２０は、取得した入力画像を認識部１５０及び制御部１７０へ出力する。
【００３３】
（２）音声取得部
音声取得部１３０は、マイクロフォン１０２により生成される音声信号を入力音声として取得する。そして、音声取得部１３０は、取得した入力音声を認識部１５０へ出力する。なお、本実施形態において入力音声についての処理は省略されてもよい。
【００３４】
（３）アプリケーション部
アプリケーション部１４０は、情報処理装置１００が有する様々なアプリケーション機能を実行する。例えば、テレビジョン番組再生機能、電子番組表表示機能、録画設定機能、コンテンツ再生機能、コンテンツ検索機能及びインターネットブラウジング機能などが、アプリケーション部１４０により実行されてよい。アプリケーション部１４０は、アプリケーション機能を通じて生成される（コンテンツ画像を含み得る）アプリケーション画像及び音声を、制御部１７０へ出力する。
【００３５】
本実施形態において、アプリケーション部１４０により実行される処理の少なくとも一部は、ＵＩ画像内に配置されるＵＩオブジェクトに関連付けられる。そして、各処理は、関連付けられているＵＩオブジェクトを介する操作イベントに応じて、実行され得る。ＵＩオブジェクトを介して実行され得る処理は、例えば、テレビジョン番組再生機能のためのチャンネル及び音量の設定、電子番組表表示機能のためのチャンネル及び時間帯の設定、コンテンツ再生機能のためのコンテンツの選択、並びにコンテンツ検索機能のための検索キーワードの指定及び検索の実行など、任意の処理を含んでよい。
【００３６】
（４）画像認識部
画像認識部１５２は、画像取得部１２０から入力される入力画像内で、ユーザにより使用される操作体を認識する。本実施形態において、操作体は、ユーザの手である。特定の形状（開いている形状、握っている形状又は指差しをしている形状など）をしたユーザの手が操作体として使用されてもよい。他の実施形態において、ユーザの手の代わりに、ユーザの足又はユーザにより保持される既知の実物体が、操作体として使用されてもよい。例えば、画像認識部１５２は、入力画像から抽出される画像特徴量を特徴ＤＢ１６０により予め記憶される操作体の画像特徴量と照合することにより、入力画像内の手領域を認識し得る。同様に、画像認識部１５２は、入力画像内の顔領域を認識してもよい。
【００３７】
図５は、画像認識部１５２による画像認識の結果の一例について説明するための説明図である。図５を参照すると、入力画像Ｗ０３にユーザＵａが映っている。ユーザＵａは、カメラ１０１の方向を向き、左手を挙げている。画像認識部１５２は、画像特徴量の照合又はその他の公知の手法を用いて、入力画像Ｗ０３内の手領域Ａ０１及び顔領域Ａ０２を認識し得る。そして、画像認識部１５２は、認識したこれら領域の画像内の位置を示す位置データを、制御部１７０へ出力する。
【００３８】
一例として、画像認識部１５２は、入力画像内で認識した顔領域の部分画像（顔画像）を特徴ＤＢ１６０により予め記憶される既知のユーザの顔画像データと照合することにより、ユーザを識別してもよい。画像認識部１５２によるユーザ識別結果は、例えば、ＵＩ画像に表示されるメニューの個人化、アプリケーション部１４０によるコンテンツの推薦、及び音声認識の調整などの用途に使用され得る。
【００３９】
さらに、本実施形態において、画像認識部１５２は、入力画像に映るユーザのジェスチャをも認識する。図５の例では、画像認識部１５２は、ユーザの手領域Ａ０１の動きをモニタリングすることにより、ジェスチャＧ０を認識している。ジェスチャＧ０は、手を挙げるジェスチャ（Hand  Up）である。なお、本明細書において、ジェスチャとの用語は、ユーザの身体の動的な動きを伴わない、静的なポーズ（形状）をも含むものとする。画像認識部１５２は、ユーザのジェスチャを認識すると、認識したジェスチャの種類を示すジェスチャデータを、制御部１７０へ出力する。
【００４０】
図６〜図１２を用いて、画像認識部１５２により認識され得るさらなるジェスチャの例を説明する。
【００４１】
図６を参照すると、手領域Ａ１１が示されている。手領域Ａ１１は、短い時間間隔で左右に揺り動かされている。画像認識部１５２は、ユーザの手のこうした動きから、ジェスチャＧ１を認識し得る。ジェスチャＧ１は、手を振るジェスチャ（Waving）である。
【００４２】
図７を参照すると、手領域Ａ１２が示されている。手領域Ａ１２は、所定の時間長にわたって入力画像内で略静止している。画像認識部１５２は、ユーザの手のこうした静止状態から、ジェスチャＧ２を認識し得る。ジェスチャＧ２は、手を静止するジェスチャ（Keep  Still）である。
【００４３】
図８を参照すると、手領域Ａ１３が示されている。手領域Ａ１３に映るユーザの手は、手首付近の中心点の周りに反時計回りに回転されている。画像認識部１５２は、ユーザの手のこうした動きから、ジェスチャＧ３ａを認識し得る。ジェスチャＧ３ａは、手を回転させるジェスチャ（Rotation）である。
【００４４】
図９を参照すると、手領域Ａ１４が示されている。手領域Ａ１４に映るユーザの手は、人差し指以外の指を折り畳んだ形状をしており、手首付近の中心点の周りに反時計回りに回転されている。画像認識部１５２は、ユーザの手のこうした動きから、ジェスチャＧ３ｂを認識し得る。ジェスチャＧ３ｂもまた、手を回転させるジェスチャ（Rotation）である。
【００４５】
図１０を参照すると、手領域Ａ１５が示されている。手領域Ａ１５に映るユーザの手は、手首を右側へ折り曲げる動きをしている。画像認識部１５２は、ユーザの手のこうした動きから、ジェスチャＧ４ａを認識し得る。ジェスチャＧ４ａは、オブジェクトにタッチするジェスチャ（Touch）である。
【００４６】
図１１を参照すると、手領域Ａ１６が示されている。手領域Ａ１６に映るユーザの手は、人差し指以外の指を折り畳んだ形状をしており、手首を手前へ折り曲げる動きをしている。画像認識部１５２は、ユーザの手のこうした動きから、ジェスチャＧ４ｂを認識し得る。ジェスチャＧ４ｂもまた、オブジェクトにタッチするジェスチャ（Touch）である。
【００４７】
図１２を参照すると、手領域Ａ１７が示されている。手領域Ａ１７に映るユーザの手は、手のひらを開いた形状から握り締めた形状へと変化している。画像認識部１５２は、ユーザの手のこうした動きから、ジェスチャＧ５を認識し得る。ジェスチャＧ５は、オブジェクトを掴むジェスチャ（Grasp）である。
【００４８】
なお、ここで説明したジェスチャは例に過ぎない。画像認識部１５２は、いくつかのジェスチャを認識しなくてもよく、他の種類のジェスチャを追加的に認識してもよい。
【００４９】
（５）音声認識部
音声認識部１５４は、音声取得部１３０から入力される入力音声に基づいて、ユーザの音声を認識する。音声認識部１５４は、例えば、実行中のアプリケーション又はＵＩが音声コマンドの入力を受け付ける場合には、ユーザの音声から音声コマンドを認識し、認識した音声コマンドの識別子をアプリケーション部１４０又は制御部１７０へ出力する。
【００５０】
（６）特徴データベース
特徴ＤＢ１６０は、画像認識部１５２により画像認識のために使用される画像特徴データを予め記憶する。画像特徴データは、例えば、ユーザにより使用される操作体（手など）及びユーザの顔についての既知の画像特徴量を含み得る。画像特徴データは、ユーザごとの顔画像データを含んでもよい。また、画像特徴データは、画像認識部１５２が認識すべきジェスチャを定義するジェスチャ定義データを含んでもよい。さらに、特徴ＤＢ１６０は、音声認識部１５４により音声認識のために使用される音声特徴データを予め記憶してもよい。
【００５１】
（７）操作制御部１７２
操作制御部１７２は、入力画像に１つ以上のＵＩオブジェクトを重畳することによりＵＩ画像を生成し、生成したＵＩ画像（入力画像に対応する出力画像）をディスプレイ１０８の画面に表示させる。ＵＩ画像の生成のための入力画像は、操作体を認識するために画像認識部１５２により使用される入力画像とは異なってもよい（例えば、操作体の認識のために、解像度が削減された画像が使用され得る）。そして、操作制御部１７２は、画像認識部１５２から入力される操作体の認識結果に基づいて、少なくとも１つのＵＩオブジェクトの表示及び操作を制御する。
【００５２】
図１３は、ＵＩオブジェクトの第１の例について説明するための説明図である。第１の例において、各ＵＩオブジェクトは、アプリケーションメニューのメニューアイテムである。図１３を参照すると、ＵＩ画像Ｗ０４は、ＵＩオブジェクトＢ１１〜Ｂ１６を含む。ＵＩオブジェクトＢ１１は、テレビジョン番組を再生する際の音量の設定のためのメニューアイテム（Volume）である。ＵＩオブジェクトＢ１２は、再生すべきチャンネルの設定のためのメニューアイテム（Channel）である。ＵＩオブジェクトＢ１３は、電子番組表表示機能を起動するためのメニューアイテム（TV  Guide）である。ＵＩオブジェクトＢ１４は、他のアプリケーション機能を起動するためのメニューアイテム（Apps）である。ＵＩオブジェクトＢ１５は、インターネットブラウジング機能を起動するためのメニューアイテム（Internet）である。ＵＩオブジェクトＢ１６は、情報処理装置１００の機器設定機能を起動するためのメニューアイテム（Settings）である。これらメニューアイテムは階層的に定義されてもよく、例えば音量の設定のためのメニューアイテムであるＵＩオブジェクトＢ１１の下層には、音量アップ及び音量ダウンというサブアイテムが存在し得る。入力画像を用いて個々のユーザが識別される場合には、個々のユーザのためにパーソナライズされたＵＩオブジェクトのセットが表示されてもよい。
【００５３】
図１４は、ＵＩオブジェクトの第２の例について説明するための説明図である。第２の例において、各ＵＩオブジェクトは、コンテンツアイテムである。図１４を参照すると、ＵＩ画像Ｗ０５は、ＵＩオブジェクトＢ２１〜Ｂ２６を含む。ＵＩオブジェクトＢ２１〜Ｂ２６は、写真コンテンツのサムネイルをそれぞれ表現している。なお、ＵＩオブジェクトは、写真コンテンツではなく、例えば動画コンテンツ、音楽コンテンツ又はテキストコンテンツなどのその他の種類のコンテンツアイテムであってもよい。
【００５４】
図１３及び図１４のように、操作体が認識されていない状況において、操作制御部１７２は、ＵＩオブジェクトを既定の表示位置に配置する。既定の表示位置は、固定的に与えられる位置であってもよく、又は何らかのアルゴリズムに従って移動する（例えば、浮遊しているように動く）位置であってもよい。そして、操作制御部１７２は、操作体の認識前に表示されている１つ以上のＵＩオブジェクトの表示位置を、操作体の認識後にユーザに向けてそれぞれ接近させる。操作制御部１７２は、ＵＩオブジェクトの表示位置を、認識された操作体に向けて接近させてもよく、又は認識された操作体とは異なるユーザの身体の一部分に向けて接近させてもよい。
【００５５】
あるシナリオにおいて、ＵＩオブジェクトのユーザに向けての接近の態様は均一である。即ち、操作制御部１７２は、接近させるべきＵＩオブジェクトの接近速度を同じ値に設定し、それらＵＩオブジェクトは、全て同じ接近速度でユーザに向けて接近する。
【００５６】
他のシナリオにおいて、ＵＩオブジェクトのユーザに向けての接近の態様は不均一である。即ち、操作制御部１７２は、接近させるべきＵＩオブジェクトの接近速度を互いに異なる値に設定し、それらＵＩオブジェクトは、異なる接近速度でユーザに向けて接近する。接近速度に加えて（又はその代わりに）、ＵＩオブジェクトのその他の属性が不均一に設定されてもよい。その他の属性は、例えば、接近開始タイミング、接近後の表示位置（以下、目標位置という）、表示サイズ、透明度及び深度のうちの少なくとも１つを含み得る。
【００５７】
例えば、操作制御部１７２は、ＵＩオブジェクトの表示位置をユーザに向けて接近させる際に、各オブジェクトに設定される優先度に従って、各オブジェクトの接近の態様を変化させてもよい。優先度は、所定の優先度設定基準に従って優先度設定部１７４により予め設定され、操作ＤＢ１８０により記憶される。優先度設定基準の第１の例は、各ＵＩオブジェクトについての操作履歴に関連する基準である。例えば、操作頻度（所定の期間当たりの過去の操作回数）がより多いＵＩオブジェクトの優先度はより高く、操作頻度がより少ないＵＩオブジェクトの優先度はより低く設定され得る。過去のより近いタイミングで操作されたＵＩオブジェクトの優先度がより高く設定されてもよい。優先度設定基準の第２の例は、ユーザの属性に関連する基準である。例えば、複数のコンテンツアイテムのうち、ユーザの属性に基づき公知の推薦技術に従って算出される推薦スコアのより高いコンテンツアイテムに相当するＵＩオブジェクトの優先度がより高く設定されてもよい。操作制御部１７２は、複数の候補の間で、所望のタイミングで優先度設定基準を切り替えるためのＵＩを、ユーザに提供してもよい。当該ＵＩは、ユーザのジェスチャ又は音声コマンドなどのいかなる手段で実現されてもよい。
【００５８】
典型的には、操作制御部１７２は、優先度のより高いオブジェクトの操作がユーザにとってより容易となるように、ＵＩオブジェクトの接近速度及びその他の属性を設定する。より具体的には、例えば、操作制御部１７２は、優先度のより高いオブジェクトのユーザに向けた接近速度をより速く設定し得る。また、操作制御部１７２は、優先度のより高いオブジェクトの接近開始タイミングをより早く設定し得る。また、操作制御部１７２は、優先度のより高いオブジェクトの目標位置をユーザにより近く、表示サイズをより大きく、透明度をより低く、又は深度をより浅く設定し得る。
【００５９】
ＵＩオブジェクトのユーザに向けての接近の態様が均一であるか不均一であるかに関わらず、操作制御部１７２は、予め定義されるいくつかの操作イベントに応じて、ユーザによるＵＩオブジェクトの操作を制御する。操作イベントは、典型的には、ユーザのジェスチャの認識を含み、音声コマンドの認識が補完的に使用されてもよい。操作イベントの少なくとも１つは、新たな操作体の認識である。新たな操作体の認識は、ＵＩオブジェクトのユーザに向けての接近をトリガし得る。操作イベントの他の１つは、ＵＩオブジェクトに関連付けられる処理の実行（起動）をトリガし得る。本実施形態において採用され得るいくつかの操作イベントの具体的な例について、後にさらに説明する。
【００６０】
操作制御部１７２は、ディスプレイ１０８を介するＵＩ画像の表示をも制御する。例えば、操作制御部１７２は、ＵＩオブジェクトを重畳させたＵＩ画像のみを、ディスプレイ１０８の画面に表示させてもよい。その代わりに、操作制御部１７２は、アプリケーション部１４０により生成されるアプリケーション画像とＵＩ画像とを合成することにより生成される１つの出力画像を画面に表示させてもよい。本実施形態において採用され得る出力画像のウィンドウ構成のいくつかの例について、後にさらに説明する。
【００６１】
（８）優先度設定部
優先度設定部１７４は、上述した優先度設定基準に従って、各ＵＩオブジェクトに優先度を設定する。例えば、優先度設定部１７４は、ＵＩオブジェクトについての操作履歴に関連する優先度設定基準に従って、操作頻度がより多いＵＩオブジェクトの優先度をより高く設定してもよい。また、優先度設定部１７４は、ユーザの属性に関連する優先度設定基準に従って、推薦スコアのより高いコンテンツアイテムに相当するＵＩオブジェクトの優先度をより高く設定してもよい。また、優先度設定部１７４は、ＵＩの意外性を演出するために、ＵＩオブジェクトに優先度をランダムに設定してもよい。優先度設定部１７４は、例えば、ＵＩオブジェクトが操作され又はユーザの属性が変更されると、優先度データを更新し得る。
【００６２】
（８）操作ＤＢ
操作ＤＢ１８０は、操作制御部１７２がＵＩオブジェクトの表示及び操作を制御するために使用するデータを記憶する。操作ＤＢ１８０により記憶されるデータは、ＵＩオブジェクトごとの既定の表示位置及びその他の属性の既定値を示すオブジェクトデータを含む。また、操作ＤＢ１８０により記憶されるデータは、優先度設定部１７４により設定される優先度を示す優先度データ、ユーザごとの操作履歴を示す操作履歴データ、及びユーザごとの属性（例えば、年齢、性別、職業及び嗜好など）を示すユーザデータを含んでもよい。
【００６３】
［２−３．ＵＩオブジェクトの接近の態様］
本項では、図１５〜図２１を用いて、ＵＩオブジェクトがユーザに向けて接近する態様のいくつかの例を説明する。
【００６４】
（１）第１の例
図１５は、ＵＩオブジェクトがユーザに向けて接近する態様の第１の例について説明するための説明図である。第１の例において、ＵＩオブジェクトの接近の態様は均一である。各ＵＩオブジェクトは、ユーザに十分に接近した後、その目標位置に留まることなく、ユーザの近傍から遠ざかる。
【００６５】
図１５を参照すると、４つのＵＩ画像ＳＴ１１〜ＳＴ１４が時間軸に沿って示されている。
【００６６】
ＵＩ画像ＳＴ１１にはユーザＵｄが映っており、ミラー表示が実現されている。また、ＵＩオブジェクトＢ１１〜Ｂ１６が既定の表示位置に配置されている。ここで、ユーザＵｄが手を挙げた結果として、画像認識部１５２がジェスチャＧ０を認識するものとする。
【００６７】
次のＵＩ画像ＳＴ１２において、ユーザＵｄは手を挙げている。操作制御部１７２は、ジェスチャＧ０の認識に応じて、ユーザＵｄ（例えばユーザＵｄの操作体である手）に向けたＵＩオブジェクトＢ１１〜Ｂ１６の接近を開始させる。ＵＩ画像ＳＴ１２では、ＵＩオブジェクトＢ１３がユーザＵｄの手の最も近傍に位置している。
【００６８】
次のＵＩ画像ＳＴ１３において、ＵＩオブジェクトＢ１３は既定の表示位置に戻り、その代わりにＵＩオブジェクトＢ１２及びＢ１４がユーザＵｄの手の近傍に位置している。次のＵＩ画像ＳＴ１４において、ＵＩオブジェクトＢ１２及びＢ１４は既定の表示位置に戻り、その代わりにＵＩオブジェクトＢ１１、Ｂ１５及びＢ１６がユーザＵｄの手の近傍に位置している。
【００６９】
このような接近の態様によれば、ユーザは、ＵＩ画像ＳＴ１２の時点ではＵＩオブジェクトＢ１３、ＵＩ画像ＳＴ１３の時点ではＵＩオブジェクトＢ１２又はＢ１４、ＵＩ画像ＳＴ１４の時点ではＵＩオブジェクトＢ１１、Ｂ１５又はＢ１６に、手又は腕を動かすだけの簡単な動作でタッチすることができる。その際、多数のＵＩオブジェクトによってユーザの近傍の画面領域が混雑することがないため、誤ったＵＩオブジェクトにタッチするなどの誤操作が行われるリスクは低減される。
【００７０】
（２）第２の例
図１６は、ＵＩオブジェクトがユーザに向けて接近する態様の第２の例について説明するための説明図である。第２の例において、ＵＩオブジェクトの接近の態様は均一である。各ＵＩオブジェクトは、ユーザに十分に接近した後、その目標位置に留まる。
【００７１】
図１６を参照すると、４つのＵＩ画像ＳＴ２１〜ＳＴ２４が時間軸に沿って示されている。
【００７２】
ＵＩ画像ＳＴ２１にはユーザＵｄが映っており、ミラー表示が実現されている。また、ＵＩオブジェクトＢ１１〜Ｂ１６が既定の表示位置に配置されている。ここで、ユーザＵｄが手を挙げた結果として、画像認識部１５２がジェスチャＧ０を認識するものとする。
【００７３】
次のＵＩ画像ＳＴ２２において、ユーザＵｄは手を挙げている。操作制御部１７２は、ジェスチャＧ０の認識に応じて、ユーザＵｄに向けたＵＩオブジェクトＢ１１〜Ｂ１６の接近を開始させる。ＵＩ画像ＳＴ２２では、ＵＩオブジェクトＢ１３がユーザＵｄの手の最も近傍に位置している。
【００７４】
次のＵＩ画像ＳＴ２３において、ＵＩオブジェクトＢ１３は目標位置に留まり、さらにＵＩオブジェクトＢ１２及びＢ１４がユーザＵｄの手の近傍に到達している。次のＵＩ画像ＳＴ２４において、ＵＩオブジェクトＢ１２、Ｂ１３及びＢ１４は目標位置に留まり、さらにＵＩオブジェクトＢ１１、Ｂ１５及びＢ１６がユーザＵｄの手の近傍に到達している。
【００７５】
このような接近の態様によれば、ユーザは、ＵＩ画像ＳＴ２２の時点ではＵＩオブジェクトＢ１３、ＵＩ画像ＳＴ２３の時点ではＵＩオブジェクトＢ１２、Ｂ１３又はＢ１４、ＵＩ画像ＳＴ２４の時点ではＵＩオブジェクトＢ１１〜Ｂ１６に、手又は腕を動かすだけの簡単な動作でタッチすることができる。特に、ＵＩ画像ＳＴ２２及びＳＴ２３の時点では、多数のＵＩオブジェクトによってユーザの近傍の画面領域が混雑することが回避されている。また、後に説明するような、指定したＵＩオブジェクトの表示位置をユーザから遠ざける操作イベントが採用されれば、ＵＩオブジェクトＢ１１〜Ｂ１６がユーザＵｄの近傍に到達した状態から、ユーザの近傍の画面領域の混雑度を緩和することも可能である。
【００７６】
（３）第３の例
図１７は、ＵＩオブジェクトがユーザに向けて接近する態様の第３の例について説明するための説明図である。第３の例において、ＵＩオブジェクトの接近の態様は不均一であり、操作制御部１７２は、接近させるべきＵＩオブジェクトの接近速度を互いに異なる値に設定する。
【００７７】
図１７を参照すると、３つのＵＩ画像ＳＴ３１〜ＳＴ３３が時間軸に沿って示されている。
【００７８】
ＵＩ画像ＳＴ３１にはユーザＵｄが映っており、ミラー表示が実現されている。また、ＵＩオブジェクトＢ１１〜Ｂ１６が既定の表示位置に配置されている。ここで、ユーザＵｄが手を挙げた結果として、画像認識部１５２がジェスチャＧ０を認識するものとする。
【００７９】
次のＵＩ画像ＳＴ３２において、ユーザＵｄは手を挙げている。操作制御部１７２は、ジェスチャＧ０の認識に応じて、優先度設定部１７４により設定される優先度に従い、ＵＩオブジェクトＢ１１〜Ｂ１６の各々の接近速度Ｖ１１〜Ｖ１６を設定する。図１７の例では、各ＵＩオブジェクトについての操作履歴に関連する優先度設定基準に従って優先度設定部１７４により設定された優先度が、操作制御部１７２により使用されるものとする。
【００８０】
図１９は、図１７の第３の例に対応する優先度データの一例を示す説明図である。図１９を参照すると、優先度データ１８２ａは、「オブジェクトＩＤ」、「操作頻度」及び「優先度」という３つのデータ項目を含む。「オブジェクトＩＤ」は、各ＵＩオブジェクトを一意に識別するための識別子である。「操作頻度」は、各ＵＩオブジェクトの所定の期間（例えば、１週間、１日又は数時間）当たりの過去の操作回数を示す。「優先度」は、各ＵＩオブジェクトに設定された優先度を示す。ここでは一例として、優先度は、高（High）、中（Middle）及び低（Low）の３段階で設定されるものとする。図１９の例では、ＵＩオブジェクトＢ１１及びＢ１５の操作頻度が１番目及び２番目に多く、従って、ＵＩオブジェクトＢ１１及びＢ１５の優先度は高（High）に設定されている。ＵＩオブジェクトＢ１２の操作頻度は３番目に多く、従って、ＵＩオブジェクトＢ１２の優先度は中（Middle）に設定されている。残るＵＩオブジェクトＢ１３、Ｂ１４及びＢ１６の優先度は低（Low）に設定されている。
【００８１】
操作制御部１７２は、このような優先度データ１８２ａを参照し、ＵＩオブジェクトＢ１１及びＢ１５の接近速度Ｖ１１及びＶ１５を最も早く、ＵＩオブジェクトＢ１２の接近速度Ｖ１２を次に早く、ＵＩオブジェクトＢ１３、Ｂ１４及びＢ１６の接近速度Ｖ１３、Ｖ１４及びＶ１６を最も遅く設定する。再び図１７を参照すると、ＵＩ画像ＳＴ３３において、ＵＩオブジェクトＢ１１及びＢ１５がユーザＵｄの手の近傍に最も早く到達している。
【００８２】
このような接近の態様によれば、ユーザは、より頻繁に操作するＵＩオブジェクトを迅速に操作することができる。また、多数のＵＩオブジェクトによってユーザの近傍の画面領域が混雑することがないため、誤ったＵＩオブジェクトにタッチするなどの誤操作が行われるリスクは低減される。
【００８３】
（４）第４の例
図１８は、ＵＩオブジェクトがユーザに向けて接近する態様の第４の例について説明するための説明図である。第４の例において、ＵＩオブジェクトの接近の態様は不均一であり、操作制御部１７２は、接近させるべきＵＩオブジェクトの接近速度を互いに異なる値に設定する。
【００８４】
図１８を参照すると、３つのＵＩ画像ＳＴ４１〜ＳＴ４３が時間軸に沿って示されている。
【００８５】
ＵＩ画像ＳＴ４１にはユーザＵｄが映っており、ミラー表示が実現されている。また、ＵＩオブジェクトＢ２１〜Ｂ２６が既定の表示位置に配置されている。ここで、ユーザＵｄが手を挙げた結果として、画像認識部１５２がジェスチャＧ０を認識するものとする。
【００８６】
次のＵＩ画像ＳＴ４２において、ユーザＵｄは手を挙げている。操作制御部１７２は、ジェスチャＧ０の認識に応じて、優先度設定部１７４により設定される優先度に従い、ＵＩオブジェクトＢ２１〜Ｂ２６の各々の接近速度Ｖ２１〜Ｖ２６を設定する。図１８の例では、ユーザの属性に関連する優先度設定基準に従って優先度設定部１７４により設定された優先度が、操作制御部１７２により使用されるものとする。
【００８７】
図２０は、図１８の第４の例に対応する優先度データの一例を示す説明図である。図２０を参照すると、優先度データ１８２ｂは、「オブジェクトＩＤ」、「推薦スコア」及び「優先度」という３つのデータ項目を含む。「オブジェクトＩＤ」は、各ＵＩオブジェクトを一意に識別するための識別子である。「推薦スコア」は、ユーザの属性とコンテンツに関する情報とに基づいて（任意の公知の推薦アルゴリズムにより）算出される推薦スコアを示す。「優先度」は、各ＵＩオブジェクトに設定された優先度を示す。ここでは一例として、優先度は、高（High）、中（Middle）及び低（Low）の３段階で設定されるものとする。図２０の例では、ＵＩオブジェクトＢ２１の推薦スコアが最も多く、従って、ＵＩオブジェクトＢ２１の優先度は高（High）に設定されている。ＵＩオブジェクトＢ２２及びＢ２５の操作頻度は２番目及び３番目に多く、従って、ＵＩオブジェクトＢ２２及びＢ２５の優先度は中（Middle）に設定されている。残るＵＩオブジェクトＢ２３、Ｂ２４及びＢ２６の優先度は低（Low）に設定されている。
【００８８】
操作制御部１７２は、このような優先度データ１８２ｂを参照し、ＵＩオブジェクトＢ２１の接近速度Ｖ２１を最も早く、ＵＩオブジェクトＢ２２及びＢ２５の接近速度Ｖ２２及びＶ２５を次に早く、ＵＩオブジェクトＢ２３、Ｂ２４及びＢ２６の接近速度Ｖ２３、Ｖ２４及びＶ２６を最も遅く設定する。再び図１８を参照すると、ＵＩ画像ＳＴ４２において、ＵＩオブジェクトＢ２１がユーザＵｄの手の近傍に最も早く到達している。但し、ＵＩオブジェクトＢ２１（及び後続するＵＩオブジェクトＢ２２、Ｂ２５）がユーザＵｄにより操作されなければ、次のＵＩ画像ＳＴ４３において、遅い接近速度を有するＵＩオブジェクトＢ２３、Ｂ２４及びＢ２６がユーザＵｄの近傍に到達し得る。
【００８９】
このような接近の態様によれば、ユーザは、より自身に適すると推薦アルゴリズムにより判定されたＵＩオブジェクトを迅速に操作することができる。また、多数のＵＩオブジェクトによってユーザの近傍の画面領域が混雑することがないため、誤ったＵＩオブジェクトにタッチするなどの誤操作が行われるリスクは低減される。
【００９０】
（５）第５の例
図２１は、ＵＩオブジェクトがユーザに向けて接近する態様の第５の例について説明するための説明図である。第５の例において、ＵＩオブジェクトの接近の態様は不均一であり、操作制御部１７２は、接近させるべきＵＩオブジェクトの接近速度を互いに異なる値に設定する。また、操作制御部１７２は、接近させるべきＵＩオブジェクトの表示サイズを互いに異なる値に設定する。
【００９１】
図２１を参照すると、３つのＵＩ画像ＳＴ５１〜ＳＴ５３が時間軸に沿って示されている。
【００９２】
ＵＩ画像ＳＴ５１にはユーザＵｄが映っており、ミラー表示が実現されている。また、ＵＩオブジェクトＢ１１〜Ｂ１６が既定の表示位置に配置されている。ここで、ユーザＵｄが手を挙げた結果として、画像認識部１５２がジェスチャＧ０を認識するものとする。
【００９３】
次のＵＩ画像ＳＴ５２において、ユーザＵｄは手を挙げている。操作制御部１７２は、ジェスチャＧ０の認識に応じて、優先度設定部１７４により設定される優先度に従い、ＵＩオブジェクトＢ１１〜Ｂ１６の各々の接近速度及び表示サイズを設定する。図２１の例では、操作制御部１７２は、図１９に例示した優先度データ１８２ａを使用するものとする。
【００９４】
操作制御部１７２は、優先度データ１８２ａを参照し、ＵＩオブジェクトＢ１１及びＢ１５の接近速度Ｖ１１及びＶ１５を最も早く、ＵＩオブジェクトＢ１２の接近速度Ｖ１２を次に早く、ＵＩオブジェクトＢ１３、Ｂ１４及びＢ１６の接近速度Ｖ１３、Ｖ１４及びＶ１６を最も遅く設定する。また、操作制御部１７２は、ＵＩオブジェクトＢ１１及びＢ１５の表示サイズを最も大きく、ＵＩオブジェクトＢ１２の表示サイズを次に大きく、ＵＩオブジェクトＢ１３、Ｂ１４及びＢ１６の表示サイズを最も小さく設定する。
【００９５】
次のＵＩ画像ＳＴ５３において、ほとんどのＵＩオブジェクトが既にユーザＵｄの手の近傍に到達しており、そのうちＵＩオブジェクトＢ１１及びＢ１５の表示サイズは他のＵＩオブジェクトよりも大きい。
【００９６】
このような接近の態様によれば、ユーザは、より高い優先度を有するＵＩオブジェクトを、より迅速かつより正確に操作することができる。
【００９７】
［２−４．様々な操作イベントの例］
本項では、図２２〜図２８を用いて、操作制御部１７２による制御に関連する操作イベントのいくつかの例を説明する。
【００９８】
（１）第１の例
図２２は、操作イベントの第１の例について説明するための説明図である。図２２を参照すると、操作体であるユーザの手及びＵＩオブジェクトＢ１３が示されている。画像認識部１５２は、手首を折り曲げるユーザの手の動きから、ＵＩオブジェクトにタッチするジェスチャＧ４ｂを認識し得る。操作制御部１７２は、その時点の手領域のＵＩ画像内での位置と各ＵＩオブジェクトの表示位置とを比較することにより、ＵＩオブジェクトＢ１３が指定された（即ち、タッチされた）と判定し得る。操作制御部１７２は、手領域の位置が所定の時間長にわたって同じＵＩオブジェクトの表示位置に重なった場合に、当該ＵＩオブジェクトが指定されたと判定してもよい。操作制御部１７２は、このような操作イベントに応じて、指定されたＵＩオブジェクトＢ１３に関連付けられる処理をアプリケーション部１４０に実行させる。図２２の例では、ＵＩオブジェクトＢ１３は電子番組表表示機能を起動するためのメニューアイテムであるため、その後アプリケーション部１４０により電子番組表が画面に表示され得る。
【００９９】
このような操作イベントが採用される結果として、ユーザは、手元にリモートコントローラがなくても、情報処理装置１００を遠隔的に制御することができる。その際、簡単なジェスチャ以外のユーザの動きは求められないため、ユーザは、ストレスを感じることなく、所望の処理（例えば、メニュー処理又はアプリケーション処理）を情報処理装置１００に実行させることができる。
【０１００】
なお、ＵＩオブジェクトに関連付けられる処理は、ＵＩ制御のための処理であってもよい。例えば、指定されたメニューアイテムからのサブメニューアイテムの展開又は指定されたメニューアイテムに対応する設定画面の呼び出しなどが、ＵＩオブジェクトにタッチするジェスチャの認識に応じて実行されてもよい。
【０１０１】
（２）第２の例
図２３は、操作イベントの第２の例について説明するための説明図である。図２３を参照すると、図１５に示したＵＩ画像ＳＴ１４に続くＵＩ画像ＳＴ１５において、操作体であるユーザＵｄの左手は、ＵＩオブジェクトＢ１６に重なっている。すると、操作制御部１７２は、ＵＩオブジェクトＢ１６がユーザＵｄにより指定されたと判定する。さらに、ユーザにより発せられた所定の音声コマンドＶＲ１が、音声認識部１５４により認識されたものとする。図２３の例では、音声コマンドＶＲ１は、「Ｇｏ！」という入力音声に対応する。操作制御部１７２は、音声認識部１５４による音声コマンドＶＲ１の認識に相当する操作イベントに応じて、指定されたＵＩオブジェクトＢ１６に関連付けられる処理をアプリケーション部１４０に実行させる。
【０１０２】
操作制御部１７２は、ＵＩ画像ＳＴ１５において、指定されたＵＩオブジェクトＢ１６の表示属性（例えば、テクスチャ、色、透明度、表示サイズ及び深度のうち少なくとも１つ）を他のＵＩオブジェクトとは異なる属性値に設定する。それにより、ＵＩオブジェクトＢ１６が適切に指定されたことを、ユーザが把握することができる。
【０１０３】
このような操作イベントが採用される場合にも、ユーザは、手元にリモートコントローラがなくても、情報処理装置１００を遠隔的に制御することができる。その際、簡単なジェスチャ以外のユーザの動きは求められないため、ユーザのストレスは軽減され得る。なお、本項で説明する他の操作イベントの例においても、ユーザのジェスチャの認識が、音声コマンドの認識により代替されてもよい。
【０１０４】
（３）第３及び第４の例
図２４は、操作イベントの第３の例及び第４の例について説明するための説明図である。図２４を参照すると、図１６に示したＵＩ画像ＳＴ２４、並びに後続するＵＩ画像ＳＴ２５及びＳＴ２６が示されている。ＵＩ画像ＳＴ２４において、ＵＩオブジェクトＢ１１〜Ｂ１６は、操作体であるユーザＵｄの手の近傍にリング状に配置された表示位置を有する。その後、画像認識部１５２は、所定の時間長にわたって入力画像内で略静止するユーザの手の動きから、手を静止するジェスチャＧ２を認識し得る。操作制御部１７２は、ジェスチャＧ２の認識に相当する操作イベントに応じて、ＵＩオブジェクトＢ１１〜Ｂ１６の画面上での動きを停止させる。次のＵＩ画像ＳＴ２５においても、ＵＩオブジェクトＢ１１〜Ｂ１６の表示位置は更新されていない。
【０１０５】
次のＵＩ画像ＳＴ２６において、画像認識部１５２は、操作体であるユーザＵｄの手が回転する動きから、手を回転させるジェスチャＧ３ａを認識し得る。操作制御部１７２は、このような操作イベントに応じて、ＵＩオブジェクトＢ１１〜Ｂ１６の表示位置を画像内の基準点の周りに（図中の方向Ｄ１に沿って）回転させる。ここでの基準点は、例えば、手領域の重心、ＵＩオブジェクトＢ１１〜Ｂ１６の中心、又はその他の任意の点であってよい。
【０１０６】
上述したＵＩオブジェクトの動きを停止させる操作イベントが採用される結果として、ユーザは、所望のＵＩオブジェクトが操作に適した表示位置に到達した場合に、オブジェクトのさらなる動きを停止させて、所望のＵＩオブジェクトを正確に操作することができる。
【０１０７】
また、上述したＵＩオブジェクトの表示位置を回転させる操作イベントが採用される結果として、ユーザは、自らの近傍に接近したＵＩオブジェクトの表示位置を、より扱いやすい位置に動かすことができる。手を回転させるジェスチャの認識に応じてＵＩオブジェクトの表示位置が回転される代わりに、ユーザの手の移動に応じてＵＩオブジェクトの表示位置が並行移動されてもよい。なお、図２４の例のように表示されている全てのＵＩオブジェクトが回転され又は移動される代わりに、一部のＵＩオブジェクトのみが回転され又は移動されてもよい。例えば、ユーザが手でＵＩオブジェクトをなぞるジェスチャによって、回転され又は移動されるべき１つ以上のＵＩオブジェクトが指定されてもよい。
【０１０８】
（４）第５の例
図２５は、操作イベントの第５の例について説明するための説明図である。図２５の上半分を参照すると、操作体であるユーザの手、並びにＵＩオブジェクトＢ１３及びＢ１４が示されている。画像認識部１５２は、ユーザの手を左右に揺り動かす動きから、手を振るジェスチャＧ１を認識し得る。操作制御部１７２は、その時点の手領域のＵＩ画像内での位置と各ＵＩオブジェクトの表示位置とを比較することにより、ＵＩオブジェクトＢ１３が指定されたと判定し得る。操作制御部１７２は、このような操作イベントに応じて、指定されたＵＩオブジェクトＢ１３の表示位置をユーザから遠ざける。図２５の下半分を参照すると、ＵＩオブジェクトＢ１３の表示位置がユーザから遠ざけられ、その代わりにＵＩオブジェクトＢ１４がユーザの手に接近している。
【０１０９】
このような操作イベントが採用される結果として、ユーザは、必要とされていないＵＩオブジェクトが所望のＵＩオブジェクトよりも早く自身に接近した場合でも、必要とされていないＵＩオブジェクトをユーザの近傍の画面領域から排除して、画面領域の混雑を防止することができる。
【０１１０】
（５）第６の例
図２６は、操作イベントの第６の例について説明するための説明図である。図２６を参照すると、図２１に示したＵＩ画像ＳＴ５１及びＳＴ５２、並びに後続するＵＩ画像ＳＴ５４が時間軸に沿って示されている。
【０１１１】
ＵＩ画像ＳＴ５１にはユーザＵｄが映っており、ミラー表示が実現されている。また、ＵＩオブジェクトＢ１１〜Ｂ１６が既定の表示位置に配置されている。ＵＩオブジェクトＢ１１〜Ｂ１６は、予め定義される複数のカテゴリのうち第１のカテゴリに属すオブジェクトである。第１のカテゴリは、例えば、テレビジョン番組再生機能に関連するカテゴリである。なお、初期状態において、これらＵＩオブジェクトは、必ずしもユーザから視認可能でなくてもよい。例えば、ＵＩオブジェクトは、初期状態において、画面外に位置してもよく、又は透明若しくは半透明であってもよい。ＵＩオブジェクトは、ユーザが手を挙げたタイミングで、非アクティブ状態（非表示／半透明）からアクティブ状態（表示／非透明）へと変化してもよい。
【０１１２】
ＵＩ画像ＳＴ５２では、ユーザＵｄが手を挙げた結果として、ユーザＵｄに向けたＵＩオブジェクトＢ１１〜Ｂ１６の接近が開始している。ＵＩ画像ＳＴ５２において、画像認識部１５２は、ユーザの手を左右に揺り動かす動きから、手を振るジェスチャＧ１を認識し得る。操作制御部１７２は、ジェスチャＧ１の認識に相当する操作イベントに応じて、ＵＩ画像に配置されているオブジェクトＢ１１〜Ｂ１６を、第２のカテゴリに属するＵＩオブジェクトに置き換える。第２のカテゴリは、第１のカテゴリとは異なる任意のカテゴリ（例えば、コンテンツ再生機能に関連するカテゴリなど）であってよい。
【０１１３】
ＵＩ画像ＳＴ５４では、オブジェクトＢ１１〜Ｂ１６が画面から消去され、新たなＵＩオブジェクトＢ３１〜Ｂ３７が画像内に配置されている。
【０１１４】
このような操作イベントが採用される結果として、情報処理装置１００は、表示可能な全てのＵＩオブジェクト候補を画面に表示させるのではなく、一部のＵＩオブジェクトのみを画面に表示させることができる。従って、画面領域の混雑は一層緩和される。また、ユーザは、その時点で表示されていない所望のＵＩオブジェクトを簡易なジェスチャによって画面に表示させて、当該ＵＩオブジェクトを適切に操作することができる。
【０１１５】
なお、ＵＩ画像に表示すべきＵＩオブジェクトのカテゴリの選択が、ユーザの手の形状に依存してもよい。例えば、それまで表示されていたＵＩオブジェクトが、数字の１〜５をそれぞれ表現する５種類の手の形状の認識に応じて、第１〜第５のカテゴリのいずれかに属するＵＩオブジェクトに置き換えられてもよい。
【０１１６】
また、ジェスチャＧ１は、表示されるＵＩオブジェクトのカテゴリを切替えるためのジェスチャではなく、接近速度の設定のために使用される優先度設定基準を切り替えるためのジェスチャとして定義されてもよい。その場合、操作制御部１７２は、ジェスチャＧ１の認識に相当する操作イベントに応じて、表示されている１つ以上のＵＩオブジェクトの優先度を、新たな優先度設定基準に従って再設定する。
【０１１７】
（６）第７及び第８の例
図２７は、操作イベントの第７の例及び第８の例について説明するための説明図である。図２７を参照すると、図１８に示したＵＩ画像ＳＴ４２、並びに後続するＵＩ画像ＳＴ４４、ＳＴ４５及びＳＴ４６が時間軸に沿って示されている。
【０１１８】
ＵＩ画像ＳＴ４２にはユーザＵｄが映っており、ユーザＵｄは手を挙げている。ＵＩオブジェクトＢ２１〜Ｂ２６は、操作制御部１７２により設定された接近速度でそれぞれユーザＵｄに向けて接近している。
【０１１９】
次のＵＩ画像ＳＴ４４において、画像認識部１５２は、手のひらを開いた形状から握り締めた形状へと変化するユーザの手の動きから、オブジェクトを掴むジェスチャＧ５を認識し得る。操作制御部１７２は、その時点の手領域のＵＩ画像内での位置と各ＵＩオブジェクトの表示位置とを比較することにより、ＵＩオブジェクトＢ２５が指定された（即ち、掴まれた）と判定し得る。操作制御部１７２は、ジェスチャＧ５の認識に相当する操作イベントに応じて、その後の指定されたＵＩオブジェクトＢ２５の表示位置を手領域の位置に追随させる（即ち、操作体と共に移動させる）。
【０１２０】
次のＵＩ画像ＳＴ４５において、指定されたＵＩオブジェクトＢ２５以外のＵＩオブジェクトは、消去されている。また、画像内に、２つの画面領域Ｒ１１及びＲ１２が設定されている。操作制御部１７２は、例えば、指定されたＵＩオブジェクトＢ２５に関連付けられる処理の数に相当する数の画面領域を、ＵＩ画像に設定してよい。一例として、ＵＩオブジェクトＢ２５が写真コンテンツのコンテンツアイテムである場合には、画面領域Ｒ１１はイメージビューワの起動に、画面領域Ｒ１２は写真コンテンツを添付したメッセージの送信にそれぞれ関連付けられ得る。
【０１２１】
次のＵＩ画像ＳＴ４６において、ユーザの手領域が画面領域Ｒ１２に重なる位置へ移動した結果として、ＵＩオブジェクトＢ２５の表示位置もまた画面領域Ｒ１２に重なる位置へ移動している。操作制御部１７２は、こうした所定の画面領域へのＵＩオブジェクトＢ２５の移動に相当する操作イベントに応じて、ＵＩオブジェクトＢ２５に関連付けられる処理をアプリケーション部１４０に実行させる。ここでは、例えば、アプリケーション部１４０により、メッセージ送信機能が起動され、新たなメッセージに写真コンテンツが添付され得る。
【０１２２】
このような操作イベントが採用される結果として、ユーザは、１つのＵＩオブジェクトに関連付けられる様々な処理が存在する場合に、簡易かつ直感的な操作で、当該ＵＩオブジェクトについての所望の処理を起動することができる。
【０１２３】
（７）第９の例
図２８は、操作イベントの第９の例について説明するための説明図である。図２８を参照すると、４つのＵＩ画像ＳＴ６１〜ＳＴ６４が時間軸に沿って示されている。
【０１２４】
ＵＩ画像ＳＴ６１にはユーザＵｄが映っており、ミラー表示が実現されている。また、ＵＩオブジェクトＢ１１〜Ｂ１６が既定の表示位置に配置されている。ＵＩオブジェクトＢ１１〜Ｂ１６は、予め定義される複数のカテゴリのうち第１のカテゴリに属すオブジェクトである。第１のカテゴリは、例えば、テレビジョン番組再生機能に関連するカテゴリである。さらに、画像内に、４つの画面領域Ｒ２１〜Ｒ２４が設定されている。画面領域Ｒ２１〜Ｒ２４は、互いに異なるカテゴリに関連付けられ得る。
【０１２５】
ＵＩ画像ＳＴ６２では、ユーザＵｄが手を挙げた結果として、ユーザＵｄに向けたＵＩオブジェクトＢ１１〜Ｂ１６の接近が開始している。ユーザＵｄの手領域の位置は、画面領域Ｒ２３に重なっている。画面領域Ｒ２３は、第１のカテゴリに関連付けられているものとする。
【０１２６】
ＵＩ画像ＳＴ６３において、手領域の位置が下方向へ下がった結果として、ユーザＵｄの手領域の位置は、画面領域Ｒ２４に重なっている。画面領域Ｒ２４は、第１のカテゴリとは異なるカテゴリに関連付けられているものとする。操作制御部１７２は、操作体である手の画面領域間の移動に相当する操作イベントに応じて、ＵＩ画像に配置されているオブジェクトＢ１１〜Ｂ１６を、他のカテゴリに属するオブジェクトに置き換える。
【０１２７】
ＵＩ画像ＳＴ６３では、オブジェクトＢ１１〜Ｂ１６が画面から消去され、新たなＵＩオブジェクトＢ４１〜Ｂ４５が画像内に配置されている。次のＵＩ画像ＳＴ６４では、ユーザＵｄに向けたＵＩオブジェクトＢ４１〜Ｂ４５の接近が開始している。
【０１２８】
上述した第６の例と同様に、このような操作イベントが採用される結果として、情報処理装置１００は、表示可能な全てのＵＩオブジェクト候補ではなく一部のＵＩオブジェクトのみを画面に表示させることができる。従って、画面領域の混雑は一層緩和される。また、ユーザは、その時点で表示されていない所望のＵＩオブジェクトを手を動かすだけの簡易な動作によって画面に表示させて、当該ＵＩオブジェクトを適切に操作することができる。
【０１２９】
［２−５．複数の操作体の関与］
ここまで、入力画像内で単一の操作体が認識される例について主に説明した。しかしながら、本開示に係る技術において、複数の操作体が入力画像内で認識されてもよい。本項では、図２９〜図３１を用いて、複数の操作体が関与する操作シナリオのいくつかの例を説明する。
【０１３０】
（１）第１の例
図２９は、複数の操作体が関与する操作シナリオの第１の例について説明するための説明図である。第１の例では、１人のユーザの右手及び左手がそれぞれ操作体として認識される。
【０１３１】
図２９を参照すると、４つのＵＩ画像ＳＴ７１〜ＳＴ７４が時間軸に沿って示されている。
【０１３２】
ＵＩ画像ＳＴ７１にはユーザＵｄが映っており、ミラー表示が実現されている。また、ＵＩオブジェクトＢ５１〜Ｂ５８が既定の表示位置に配置されている。ここで、ＵＩオブジェクトＢ５１〜Ｂ５８は、何らかのグルーピング基準に従って、複数のグループにグルーピングされるものとする。例えば、ＵＩオブジェクトは、上述した優先度、対応するメニューアイテム若しくはコンテンツアイテムの種類、又は表示位置に関連する基準に従ってグルーピングされてもよく、ランダムにグルーピングされてもよい。
【０１３３】
次のＵＩ画像ＳＴ７２において、ユーザＵｄは左手を挙げ、手領域Ａ２１が認識されている。操作制御部１７２は、手領域Ａ２１についてのジェスチャＧ０の認識に応じて、第１のグループに含まれるＵＩオブジェクトＢ５３〜Ｂ５６のユーザＵｄに向けた接近を開始させる。
【０１３４】
次のＵＩ画像ＳＴ７３において、ユーザＵｄはさらに右手を挙げ、手領域Ａ２２が認識されている。操作制御部１７２は、手領域Ａ２２についてのジェスチャＧ０の認識に応じて、第２のグループに含まれるＵＩオブジェクトＢ５１、Ｂ５２、Ｂ５７及びＢ５８のユーザＵｄに向けた接近を開始させる。
【０１３５】
次のＵＩ画像ＳＴ７４において、ユーザＵｄの左手の近傍にはＵＩオブジェクトＢ５３〜Ｂ５６が、ユーザＵｄの右手の近傍にはＵＩオブジェクトＢ５１、Ｂ５２、Ｂ５７及びＢ５８が、それぞれリング状に配置されている。操作制御部１７２は、例えば、ユーザＵｄが両手を重ね合わせるようなジェスチャの認識に応じて、これらＵＩオブジェクトの２つのリングをマージして、１つのリングを形成してもよい。手領域が画面の端部に位置する場合には、操作制御部１７２は、リングの形状を歪めてもよい。
【０１３６】
このような操作シナリオによれば、ユーザは、両手を用いて多数のＵＩオブジェクトを自身の近傍に接近させることができる。２つの手の届く領域を合わせた範囲は、片手の届く範囲よりも広い。そのため、ユーザは、近傍のより多くのＵＩオブジェクトから所望のＵＩオブジェクトを迅速に指定して、当該所望のＵＩオブジェクトを操作することができる。
【０１３７】
（２）第２の例
図３０は、複数の操作体が関与する操作シナリオの第２の例について説明するための説明図である。第２の例では、２人のユーザの手がそれぞれ操作体として認識される。
【０１３８】
図３０を参照すると、２つのＵＩ画像ＳＴ８１及びＳＴ８２が時間軸に沿って示されている。
【０１３９】
ＵＩ画像ＳＴ８１にはユーザＵｄ及びユーザＵｅが映っており、ミラー表示が実現されている。また、ＵＩオブジェクトＢ６１〜Ｂ６８が表示されている。ユーザＵｄは左手を挙げており、手領域Ａ２１が認識されている。手領域Ａ２１についてのジェスチャＧ０の認識に応じて、ＵＩオブジェクトＢ６１〜Ｂ６８は、ユーザＵｄに向けて接近しつつある。
【０１４０】
次のＵＩ画像ＳＴ８２において、ユーザＵｅが右手を挙げており、手領域Ａ３１が認識されている。操作制御部１７２は、手領域Ａ３１についてのジェスチャＧ０の認識に応じて、ＵＩオブジェクトＢ６１、Ｂ６４、Ｂ６５及びＢ６８のユーザＵｅに向けた接近を開始させる。例えば、ＵＩオブジェクトは、ユーザごとの操作履歴又はユーザの属性に関連するグルーピング基準に従って、複数のグループにグルーピングされ得る。図３０の例では、ＵＩオブジェクトＢ６２、Ｂ６３、Ｂ６６及びＢ６７はユーザＵｄ向けの第１のグループに含まれる一方、ＵＩオブジェクトＢ６１、Ｂ６４、Ｂ６５及びＢ６８はユーザＵｅ向けの第２のグループに含まれる。
【０１４１】
操作制御部１７２は、ＵＩ画像ＳＴ８２において、ＵＩオブジェクトＢ６１、Ｂ６４、Ｂ６５及びＢ６８の表示属性（例えば、色）を他のＵＩオブジェクトとは異なる属性値に設定することにより、ＵＩオブジェクトＢ６１、Ｂ６４、Ｂ６５及びＢ６８がユーザＵｅ向けの第２のグループに含まれることを表現している。２つのグループの間で目標位置が干渉する場合には、操作制御部１７２は、干渉が解消されるようにそれら目標位置をずらしてもよい。
【０１４２】
このような操作シナリオによれば、複数のユーザによってＵＩオブジェクトを共有することが可能となる。その際、各ユーザは、自らに適したＵＩオブジェクトを自身に接近させて、所望のＵＩオブジェクトを迅速に操作することができる。図２５を用いて説明した操作イベントの第５の例が、ＵＩオブジェクトを他のユーザへ受け渡す操作イベントとして定義され、当該操作イベントが本操作シナリオにおいて採用されてもよい。
【０１４３】
（３）第３の例
図３１は、複数の操作体が関与する操作シナリオの第３の例について説明するための説明図である。第３の例においても、２人のユーザの手がそれぞれ操作体として認識される。
【０１４４】
図３１を参照すると、図３０に示したＵＩ画像ＳＴ８１、及び後続するＵＩ画像ＳＴ８３が時間軸に沿って示されている。
【０１４５】
ＵＩ画像ＳＴ８１にはユーザＵｄ及びユーザＵｅが映っており、ミラー表示が実現されている。また、ＵＩオブジェクトＢ６１〜Ｂ６８が表示されている。ユーザＵｄは左手を挙げており、手領域Ａ２１が認識されている。手領域Ａ２１についてのジェスチャＧ０の認識に応じて、ＵＩオブジェクトＢ６１〜Ｂ６８は、ユーザＵｄに向けて接近しつつある。
【０１４６】
次のＵＩ画像ＳＴ８３において、ユーザＵｅは、右手を用いてＵＩオブジェクトＢ６５にタッチしている。操作制御部１７２は、ユーザＵｅの右手の手領域Ａ３２についてのジェスチャＧ４ａの認識に応じて、ＵＩオブジェクトＢ６５が指定されたと判定し得る。操作制御部１７２は、このような操作イベントに応じて、指定されたＵＩオブジェクトＢ６５に関連付けられる処理をアプリケーション部１４０に実行させる。
【０１４７】
このような操作シナリオによれば、あるユーザが自身に向けて接近させたＵＩオブジェクトを、他のユーザが簡易に操作することが可能となる。
【０１４８】
なお、ここまで、ＵＩオブジェクトがＵＩ画像内で２次元的に配置される例を主に説明した。しかしながら、各ＵＩオブジェクトは、２次元的な表示位置のみならず、深度（奥行き）に相当する属性を有していてもよい。情報処理装置１００がカメラと操作体との間の距離を例えば視差法などの公知の手法を用いて認識できる場合には、操作制御部１７２は、認識される当該距離にも基づいて、いずれのＵＩオブジェクトがユーザにより指定されたかを判定してもよい。
【０１４９】
［２−６．ウィンドウ構成の例］
図３２及び図３３は、本実施形態において採用され得る出力画像のウィンドウ構成の例をそれぞれ示している。これら図において、ＵＩ用ウィンドウＷＵＩ及びアプリケーション用ウィンドウＷＡＰＰがディスプレイ１０８により表示される。ＵＩ用ウィンドウＷＵＩは、操作制御部１７２により生成されるＵＩ画像を表示する。アプリケーション用ウィンドウＷＡＰＰは、アプリケーション部１４０から入力されるアプリケーション画像（例えば、コンテンツ画像）を表示する。図３２の第１の例では、アプリケーション用ウィンドウＷＡＰＰは、ＵＩ用ウィンドウＷＵＩの右下のコーナーに合成されている。図３３の第２の例では、ＵＩ用ウィンドウＷＵＩはアプリケーション用ウィンドウＷＡＰＰの一部分にブレンディングされている。こうしたウィンドウ構成によれば、ユーザは、例えばコンテンツ画像を閲覧しながら、リモートコントローラが手元になくても、ＵＩオブジェクトを介して情報処理装置１００の機能を制御することができる。
【０１５０】
［２−７．処理の流れの例］
図３４及び図３５のフローチャートは、本実施形態に係る情報処理装置１００により実行され得る処理の流れの一例を示している。ここで説明する処理は、カメラ１０１により撮像される動画を構成する一連のフレームの各々について繰り返される。
【０１５１】
図３４を参照すると、まず、画像取得部１２０は、カメラ１０１により撮像される画像を入力画像として取得する（ステップＳ１００）。そして、画像取得部１２０は、取得した入力画像を認識部１５０及び制御部１７０へ出力する。
【０１５２】
次に、画像認識部１５２は、画像取得部１２０から入力される入力画像に映る操作体を認識する（ステップＳ１０５）。ここでは、操作体は、ユーザの手であるものとする。例えば、画像認識部１５２は、入力画像内の手領域を認識し、認識した手領域の位置を示す位置データを制御部１７０へ出力する。また、画像認識部１５２は、手領域の動きに基づいて、ユーザのジェスチャを認識する。さらに、音声認識部１５４により、入力音声に基づいて音声コマンドが認識されてもよい。
【０１５３】
次に、操作制御部１７２は、画像認識部１５２から入力される画像認識結果、及び必要に応じて音声認識部１５４から入力され得る音声認識結果に基づいて、操作イベントを判定する（ステップＳ１１０）。ここで判定される操作イベントに従って、その後の処理は分岐する。
【０１５４】
ステップＳ１１５において、操作制御部１７２は、ＵＩオブジェクトの新たなセットを表示すべきかを判定する（ステップＳ１１５）。例えば、ＵＩ画像を新たに表示する場合、又は図２６若しくは図２８を用いて説明した操作イベントが検出された場合には、操作制御部１７２は、ＵＩオブジェクトの新たなセットを表示すべきであると判定する。ここで、ＵＩオブジェクトの新たなセットを表示すべきではないと判定された場合には、前のフレームにおいて表示されていたＵＩオブジェクトが維持され、処理はステップＳ１２０へ進む。ＵＩオブジェクトの新たなセットを表示すべきであると判定された場合には、処理はステップＳ１３５へ進む。
【０１５５】
ステップＳ１２０において、操作制御部１７２は、いずれかのＵＩオブジェクトが選択されたかを判定する（ステップＳ１２０）。例えば、図２２、図２３、図２７又は図３１を用いて説明した操作イベントが検出された場合には、操作制御部１７２は、ＵＩオブジェクトが選択されたと判定する。ここで、ＵＩオブジェクトが選択されたと判定された場合には、処理はステップＳ１２５へ進む。そうでなければ、処理はステップＳ１４５へ進む。
【０１５６】
ステップＳ１２５において、操作制御部１７２は、ＵＩオブジェクトを選択する操作イベントに応じて、選択されたＵＩオブジェクトに関連付けられる処理をアプリケーション部１４０に実行させる（ステップＳ１２５）。そして、優先度設定部１７４は、例えば選択されたＵＩオブジェクトの操作頻度を増加させることにより、優先度データを更新する（ステップＳ１３０）。その後、処理はステップＳ１００へ戻る。
【０１５７】
ステップＳ１３５において、操作制御部１７２は、ＵＩオブジェクトの新たなセットをセットアップする（ステップＳ１３５）。例えば、操作制御部１７２は、前のフレームにおいて表示されていたＵＩオブジェクトのセットとは異なるカテゴリに属するＵＩオブジェクトのセットを特定する。そして、操作制御部１７２は、操作制御部１７２は、新たなセットに含まれるＵＩオブジェクトを、既定の表示位置に配置する（ステップＳ1４０）。その後、処理はステップＳ１４５へ進む。
【０１５８】
ステップＳ１４５において、操作制御部１７２は、操作体が新たに認識されたか否かを判定する（ステップＳ１４５）。例えば、図１５〜図１８を用いて説明したジェスチャＧ０が検出された場合には、操作制御部１７２は、操作体が新たに認識されたと判定する。ここで、操作体が新たに認識されたと判定された場合には、処理はステップＳ１５０へ進む。そうでなければ、ステップＳ１５０の処理はスキップされる。
【０１５９】
ステップＳ１５０において、操作制御部１７２は、ＵＩオブジェクトの接近速度及びその他の属性を設定する（ステップＳ１５０）。例えば、操作制御部１７２は、優先度のより高いオブジェクトのユーザに向けた接近速度をより速く設定してもよい。また、操作制御部１７２は、優先度のより高いオブジェクトの表示サイズをより大きく設定してもよい。
【０１６０】
図３５に移り、次に、操作制御部１７２は、ＵＩオブジェクトの表示位置を更新すべきかを判定する（ステップＳ１５５）。例えば、操作制御部１７２は、図２４を用いて説明したジェスチャＧ２が検出された場合には、表示位置を更新すべきでないと判定する。ここで、ＵＩオブジェクトの表示位置を更新すべきであると判定された場合には、処理はステップＳ１６０へ進む。そうでなければ、ステップＳ１６０及びＳ１６５の処理はスキップされる。
【０１６１】
ステップＳ１６０において、操作制御部１７２は、特殊なイベントに関連するＵＩオブジェクトの表示位置を更新する（ステップＳ１６０）。例えば、操作制御部１７２は、図２５を用いて説明した操作イベントが検出された場合には、指定されたＵＩオブジェクトの表示位置をユーザから遠ざける。また、操作制御部１７２は、図２４を用いて説明したジェスチャＧ３ａが検出された場合には、ＵＩオブジェクトの表示位置を回転させる。
【０１６２】
次に、操作制御部１７２は、その他のＵＩオブジェクトの表示位置を、接近速度に基づいて更新する（ステップＳ１６５）。例えば、より速い接近速度を有するＵＩオブジェクトの表示位置は、ユーザに向けてより大きく接近し得る。
【０１６３】
次に、操作制御部１７２は、ここまでの処理を通じて決定された表示位置及び属性に従って、入力画像に１つ以上のＵＩオブジェクトを重畳することにより、ＵＩ画像を生成する（ステップＳ１７０）。そして、操作制御部１７２は、生成したＵＩ画像を含む出力画像を、ディスプレイ１０８の画面に表示させる（ステップＳ１７５）。その後、処理はステップＳ１００へ戻る。
【０１６４】
＜３．第２の実施形態＞
上述したように、本開示に係る技術は、テレビジョン装置に限定されず、様々な種類の装置に適用可能である。そこで、第２の実施形態として、本開示に係る技術がインターネットブラウザを有する情報処理装置２００に適用される例について説明する。図２を用いて説明したように、情報処理装置２００は、タブレットＰＣである。
【０１６５】
（１）ハードウェア構成例
図３６は、情報処理装置２００のハードウェア構成の一例を示すブロック図である。図３６を参照すると、情報処理装置２００は、カメラ２０１、センサ２０２、入力デバイス２０３、通信Ｉ／Ｆ２０４、メモリ２０５、ディスプレイ２０８、スピーカ２０９、バス２１１及びプロセッサ２１２を備える。
【０１６６】
カメラ２０１は、ＣＣＤ又はＣＭＯＳなどの撮像素子を有し、画像を撮像する。カメラ２０１により撮像される画像（動画を構成する各フレーム）は、情報処理装置２００による処理のための入力画像として扱われる。
【０１６７】
センサ２０２は、測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサを含み得る。センサ２０２により生成されるセンサデータは、情報処理装置２００が有するアプリケーション機能により使用され得る。
【０１６８】
入力デバイス２０３は、ユーザが情報処理装置２００を操作し又は情報処理装置２００へ情報を入力するために使用されるデバイスである。入力デバイス２０３は、例えば、タッチパネル、ボタン及びスイッチなどを含み得る。入力デバイス２０３は、ユーザ入力を検出すると、検出されたユーザ入力に対応する入力信号を生成する。
【０１６９】
通信Ｉ／Ｆ２０４は、情報処理装置２００による他の装置との間の通信を仲介する。通信Ｉ／Ｆ２０４は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【０１７０】
メモリ２０５は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、情報処理装置２００による処理のためのプログラム及びデータ、並びにコンテンツデータを記憶する。なお、プログラム及びデータの一部又は全部は、メモリ２０５により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【０１７１】
ディスプレイ２０８は、ＬＣＤ又はＯＬＥＤなどにより構成される画面を有し、情報処理装置２００により生成される画像を表示する。例えば、第１の実施形態において説明したものと同様のＵＩ画像が、ディスプレイ２０８の画面に表示され得る。
【０１７２】
スピーカ２０９は、振動板及びアンプなどの回路素子を有し、情報処理装置２００により生成される出力音声信号に基づいて、音声を出力する。スピーカ２０９の音量は、変更可能である。
【０１７３】
バス２１１は、カメラ２０１、センサ２０２、入力デバイス２０３、通信Ｉ／Ｆ２０４、メモリ２０５、ディスプレイ２０８、スピーカ２０９及びプロセッサ２１２を相互に接続する。
【０１７４】
プロセッサ２１２は、例えば、ＣＰＵ又はＤＳＰなどであってよい。プロセッサ２１２は、メモリ２０５又は他の記憶媒体に記憶されるプログラムを実行することにより、第１の実施形態に係る情報処理装置１００のプロセッサ１１２と同様に、情報処理装置２００の様々な機能を動作させる。情報処理装置２００のメモリ２０５及びプロセッサ２１２により実現される論理的機能の構成は、アプリケーション機能が異なることを除き、図４に例示した情報処理装置１００の構成と同様であってよい。
【０１７５】
（２）操作シナリオの例
図３７は、第２の実施形態における操作シナリオの一例について説明するための説明図である。図３７を参照すると、４つの出力画像ＳＴ９１〜ＳＴ９４が時間軸に沿って示されている。本シナリオにおいて、各出力画像は、左半分のインターネットブラウザのアプリケーション画像ＷＡＰＰと、右半分のＵＩ画像ＷＵＩとにより構成される。
【０１７６】
出力画像ＳＴ９１において、アプリケーション画像ＷＡＰＰは、Ｗｅｂページに記載されたテキストを含む。図３７では、Ｗｅｂページのテキストから抽出された３つのキーワード「XXX  Computer  Entertainment  Inc.」、「GameStation」及び「Christmas」が矩形の枠で囲まれている。ＵＩ画像ＷＵＩにはユーザＵｄが映っており、ミラー表示が実現されている。
【０１７７】
次の出力画像ＳＴ９２は、例えば操作体であるユーザＵｄの手が認識された後に表示され得る。出力画像ＳＴ９２において、ＵＩ画像にＵＩオブジェクトＢ７１〜Ｂ７３が重畳されている。ＵＩオブジェクトＢ７１は、キーワード「XXX  Computer  Entertainment  Inc.」に関連付られる。ＵＩオブジェクトＢ７２は、キーワード「GameStation」に関連付られる。ＵＩオブジェクトＢ７３は、キーワード「Christmas」に関連付られる。
【０１７８】
次の出力画像ＳＴ９３において、ユーザＵｄの手がＵＩオブジェクトＢ７２に重なっている。また、ＵＩ画像内に、３つの画面領域Ｒ４１、Ｒ４２及びＲ４３が設定されている。画面領域Ｒ４１は、Ｗｅｂ検索（テキスト検索）処理に関連付られる。画面領域Ｒ４２は、画像検索処理に関連付られる。画面領域Ｒ４３は、動画検索処理に関連付られる。
【０１７９】
次の出力画像ＳＴ９４において、ＵＩオブジェクトＢ７２は、ユーザＵｄの手の動きに追随して移動し、画面領域Ｒ４１に重なる位置へ移動している。情報処理装置２００の操作制御部１７２は、こうした操作イベントに応じて、ＵＩオブジェクトＢ７２が示すキーワード「GameStation」を用いたＷｅｂ検索処理を、アプリケーション部１４０に実行させる。
【０１８０】
＜４．まとめ＞
ここまで、図１〜図３７を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、ユーザをミラー表示するＵＩ画像において複数のＵＩオブジェクトが表示され、画像認識結果に基づいてＵＩオブジェクトの操作が制御されるＵＩにおいてに、ユーザの手などの操作体が認識される前に表示されているＵＩオブジェクトの表示位置が、当該操作体が認識された後にユーザに向けてそれぞれ接近する。従って、ユーザの近傍の限られた画面領域が少数のＵＩオブジェクトによって占有されないため、画面の混雑に起因してユーザビリティが低下することを回避することができる。
【０１８１】
また、上述した実施形態によれば、ＵＩオブジェクトのユーザに向けての接近の態様は、各ＵＩオブジェクトに設定される優先度に従って変化し得る。従って、ユーザは、より高い優先度を有するＵＩオブジェクト（例えば、より頻繁に操作するＵＩオブジェクト、又はより自身に適すると判定されるＵＩオブジェクト）を迅速に操作することができる。
【０１８２】
また、上述した実施形態によれば、ユーザのジェスチャによってトリガされ得る様々な操作イベントが実現され得る。従って、リモートコントローラ又はその他の物理的な操作手段が無くとも、ユーザは、自身の近傍に接近するＵＩオブジェクトを用いて情報機器を柔軟に操作することができる。
【０１８３】
なお、本明細書において説明した各装置による一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory  media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１８４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像を取得する画像取得部と、
ユーザにより使用される操作体を前記入力画像内で認識する認識部と、
前記入力画像に対応する出力画像であって、前記ユーザにより操作される複数のオブジェクトが重畳された前記出力画像を画面に表示させ、前記操作体の認識結果に基づいて、少なくとも１つのオブジェクトの表示を制御する制御部と、
を備え、
前記制御部は、前記操作体の認識前に前記画面に表示されている前記複数のオブジェクトの表示位置を、前記操作体の認識後に前記ユーザに向けてそれぞれ接近させる、
情報処理装置。
（２）
前記制御部は、各オブジェクトに設定される優先度に従って、各オブジェクトの前記ユーザに向けての接近の態様を変化させる、前記（１）に記載の情報処理装置。
（３）
前記制御部は、より高い前記優先度を有するオブジェクトの操作が前記ユーザにとってより容易となるように、前記複数のオブジェクトの接近速度、接近開始タイミング、接近後の表示位置、表示サイズ、透明度及び深度のうちの少なくとも１つを設定する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、より高い前記優先度を有するオブジェクトの前記ユーザに向けた接近速度をより速く設定する、前記（３）に記載の情報処理装置。
（５）
前記情報処理装置は、各オブジェクトについての操作履歴又は前記ユーザの属性に関連する設定基準に従って前記複数のオブジェクトの各々に前記優先度を設定する優先度設定部、をさらに備える、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記情報処理装置は、各オブジェクトに関連付けられる処理を実行するアプリケーション部、をさらに備え、
前記制御部は、第１のイベントに応じて、前記操作体により指定されるオブジェクトに関連付けられる処理を前記アプリケーション部に実行させる、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記制御部は、第２のイベントに応じて、前記複数のオブジェクトの前記画面上での動きを停止させる、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記制御部は、前記複数のオブジェクトの動きが停止した後、第３のイベントに応じて、前記複数のオブジェクトの表示位置を画像内の基準点の周りに回転させる、前記（７）に記載の情報処理装置。
（９）
前記制御部は、第４のイベントに応じて、前記操作体の近傍の少なくとも１つのオブジェクトの表示位置を前記ユーザから遠ざける、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記複数のオブジェクトは、予め定義される複数のカテゴリのうち第１のカテゴリに属し、
前記制御部は、第５のイベントに応じて、前記入力画像に重畳されている前記複数のオブジェクトを、前記第１のカテゴリとは異なる第２のカテゴリに属するオブジェクトに置き換える、
前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記操作体は、前記ユーザの手であり、
前記イベントは、前記ユーザの所定のジェスチャの前記認識部による認識である、
前記（６）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記イベントは、前記ユーザにより発せられる所定の音声コマンドの認識である、前記（６）〜（１０）のいずれか１項に記載の情報処理装置。
（１３）
前記制御部は、前記操作体により指定されるオブジェクトの表示位置を前記操作体と共に移動させ、
前記第１のイベントは、所定の画面領域への前記オブジェクトの移動である、前記（６）に記載の情報処理装置。
（１４）
前記制御部は、前記操作体により指定されるオブジェクトに関連付けられる処理の数に相当する数の前記画面領域を前記画面に設定する、前記（１３）に記載の情報処理装置。
（１５）
前記第１のカテゴリ及び前記第２のカテゴリは、互いに異なる画面領域に関連付けられ、
前記イベントは、前記第１のカテゴリに関連付けられる第１の画面領域から前記第２のカテゴリに関連付けられる第２の画面領域への前記操作体の移動である、
前記（１０）に記載の情報処理装置。
（１６）
前記操作体は、前記ユーザの右手及び左手であり、
前記制御部は、前記複数のオブジェクトのうちの第１のグループを、前記右手及び前記左手のうち一方の認識後に当該認識された一方に向けて接近させ、前記複数のオブジェクトのうちの第２のグループを、前記右手及び前記左手のうち他方の認識後に当該認識された他方に向けて接近させる、
前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記操作体は、第１のユーザの手及び第２のユーザの手であり、
前記制御部は、前記複数のオブジェクトのうちの第１のグループを、前記第１のユーザの手の認識後に前記第１のユーザに向けて接近させ、前記複数のオブジェクトのうちの第２のグループを、前記第２のユーザの手の認識後に前記第２のユーザに向けて接近させる、
前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１８）
前記制御部は、少なくとも１つのオブジェクトを指定する第６のイベントに応じて、当該指定されるオブジェクトに関連付けられる処理を前記アプリケーション部に実行させ、
前記第６のイベントは、前記指定されるオブジェクトに対する他のユーザの所定のジェスチャの認識である、
前記（６）に記載の情報処理装置。
（１９）
情報処理装置により実行される情報処理方法において、
入力画像を取得することと、
ユーザにより使用される操作体を前記入力画像内で認識することと、
前記入力画像に対応する出力画像であって、前記ユーザにより操作される複数のオブジェクトが重畳された前記出力画像を画面に表示させることと、
前記操作体の認識前に前記画面に表示されている前記複数のオブジェクトの表示位置を、前記操作体の認識後に前記ユーザに向けてそれぞれ接近させることと、
を含む情報処理方法。
（２０）
情報処理装置を制御するコンピュータを、
入力画像を取得する画像取得部と、
ユーザにより使用される操作体を前記入力画像内で認識する認識部と、
前記入力画像に対応する出力画像であって、前記ユーザにより操作される複数のオブジェクトが重畳された前記出力画像を画面に表示させ、前記操作体の認識結果に基づいて、少なくとも１つのオブジェクトの表示を制御する制御部と、
として機能させ、
前記制御部は、前記操作体の認識前に前記画面に表示されている前記複数のオブジェクトの表示位置を、前記操作体の認識後に前記ユーザに向けてそれぞれ接近させる、
プログラム。
【符号の説明】
【０１８６】
１００，２００    情報処理装置
１２０            画像取得部
１４０            アプリケーション部
１５２            画像認識部
１５４            音声認識部
１７２            操作制御部
１７４            優先度設定部
【図１】
2014127124.tif 000003
【図２】
2014127124.tif 000004
【図３】
2014127124.tif 000005
【図４】
2014127124.tif 000006
【図５】
2014127124.tif 000007
【図６】
2014127124.tif 000008
【図７】
2014127124.tif 000009
【図８】
2014127124.tif 000010
【図９】
2014127124.tif 000011
【図１０】
2014127124.tif 000012
【図１１】
2014127124.tif 000013
【図１２】
2014127124.tif 000014
【図１３】
2014127124.tif 000015
【図１４】
2014127124.tif 000016
【図１５】
2014127124.tif 000017
【図１６】
2014127124.tif 000018
【図１７】
2014127124.tif 000019
【図１８】
2014127124.tif 000020
【図１９】
2014127124.tif 000021
【図２０】
2014127124.tif 000022
【図２１】
2014127124.tif 000023
【図２２】
2014127124.tif 000024
【図２３】
2014127124.tif 000025
【図２４】
2014127124.tif 000026
【図２５】
2014127124.tif 000027
【図２６】
2014127124.tif 000028
【図２７】
2014127124.tif 000029
【図２８】
2014127124.tif 000030
【図２９】
2014127124.tif 000031
【図３０】
2014127124.tif 000032
【図３１】
2014127124.tif 000033
【図３２】
2014127124.tif 000034
【図３３】
2014127124.tif 000035
【図３４】
2014127124.tif 000036
【図３５】
2014127124.tif 000037
【図３６】
2014127124.tif 000038
【図３７】
2014127124.tif 000039