(57)【特許請求の範囲】
【請求項１】
撮像装置によって撮像された撮像画像を取得する画像取得部と、
前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、
前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、
表示制御装置。
【請求項２】
前記表示制御装置は、
前記撮像画像における２次元上の位置に前記操作用の仮想オブジェクトを付加する第１のモードおよび前記撮像画像から認識される３次元空間における位置に前記操作用の仮想オブジェクトを付加する第２のモードのいずれかを設定するモード設定部をさらに備え、
前記表示制御部は、前記モード設定部により設定されたモードに従って前記操作用の仮想オブジェクトを付加する、
請求項１に記載の表示制御装置。
【請求項３】
前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度に応じて、前記第１のモードおよび前記第２のモードのいずれかを設定する、
請求項２に記載の表示制御装置。
【請求項４】
前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度が所定の閾値を下回る場合には前記第１のモードを設定し、前記撮像装置の向きと前記表示装置の向きとのなす角度が前記所定の閾値を上回る場合には前記第２のモードを設定する、
請求項３に記載の表示制御装置。
【請求項５】
前記モード設定部は、
前記第１のモードを設定した場合において、ユーザの向きと前記撮像装置の向きとのなす角度が所定の上限値を上回る場合、前記第２のモードを設定し、
前記第２のモードを設定した場合において、ユーザの向きと前記撮像装置の向きとのなす角度が所定の下限値を下回る場合、前記第１のモードを設定する、
請求項２〜４のいずれか１項に記載の表示制御装置。
【請求項６】
前記表示制御装置は、
ユーザ動作を検出する動作検出部と、
前記動作検出部により前記操作用の仮想オブジェクトを選択するためのユーザ動作が検出された場合、前記操作用の仮想オブジェクトに対応するコマンドを実行するコマンド実行部と、
をさらに備える、請求項１〜５のいずれか１項に記載の表示制御装置。
【請求項７】
前記動作検出部は、前記ユーザ動作を、前記撮像装置とは別に設置された検出装置により検出されたデータに基づいて検出する、
請求項６に記載の表示制御装置。
【請求項８】
前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度として前記撮像画像から認識される前記表示装置の角度を使用する、
請求項３〜５のいずれか１項に記載の表示制御装置。
【請求項９】
前記モード設定部は、前記表示装置の向きとしてユーザの向きを使用する、
請求項３〜５のいずれか１項に記載の表示制御装置。
【請求項１０】
前記表示制御部は、
前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像においてユーザの手前に前記操作用の仮想オブジェクトが重なる場合には、前記操作用の仮想オブジェクトの表示を変化させる、
請求項２〜５のいずれか１項に記載の表示制御装置。
【請求項１１】
前記表示制御部は、
透過率を低下させた操作用の仮想オブジェクトを前記撮像画像に付加することにより前記操作用の仮想オブジェクトの表示を変化させる、
請求項１０に記載の表示制御装置。
【請求項１２】
前記表示制御部は、
重なりが生じない位置に前記操作用の仮想オブジェクトを付加することにより前記操作用の仮想オブジェクトの表示を変化させる、
請求項１０に記載の表示制御装置。
【請求項１３】
前記表示制御部は、
前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像に映っている前記表示装置の位置よりも奥の位置への操作用の仮想オブジェクトの付加を制限する、
請求項２〜５のいずれか１項に記載の表示制御装置。
【請求項１４】
前記表示制御部は、
前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像に映っている前記表示装置により表示されている画像を他の画像に置き換える、
請求項２〜５のいずれか１項に記載の表示制御装置。
【請求項１５】
前記表示制御装置は、
前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトを選択可能な領域を決定する領域決定部をさらに備え、
前記表示制御部は、前記領域決定部により決定された領域に、前記操作用の仮想オブジェクトを選択可能な領域である旨を示す表示用の仮想オブジェクトを付加する、
請求項１〜１４のいずれか１項に記載の表示制御装置。
【請求項１６】
前記表示制御装置は、
ユーザの可動範囲を検出する範囲検出部をさらに備え、
前記表示制御部は、前記範囲検出部により検出されたユーザの可動範囲にさらに基づいて前記操作用の仮想オブジェクトの位置を制御する、
請求項１〜１５のいずれか１項に記載の表示制御装置。
【請求項１７】
前記表示制御装置は、
複数の撮像装置が設置されている場合、前記複数の撮像装置の中から１つの撮像装置を選択する選択部をさらに備え、
前記画像取得部は、前記選択部により選択された撮像装置によって撮像された撮像画像を取得する、
請求項１〜１６のいずれか１項に記載の表示制御装置。
【請求項１８】
前記選択部は、ユーザの状態に基づいて撮像装置を選択する、
請求項１７に記載の表示制御装置。
【請求項１９】
撮像装置によって撮像された撮像画像を取得することと、
前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御することとを含み、
前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御することを含む、表示制御方法。
【請求項２０】
コンピュータを、
撮像装置によって撮像された撮像画像を取得する画像取得部と、
前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、
前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、
表示制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示制御装置、表示制御方法およびプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置により撮像されたユーザの撮像結果（例えば、ユーザのジェスチャ等）を入力インタフェースとして用いる技術が開発されている。かかる技術によれば、例えば、撮像画像におけるユーザの位置（例えば、ユーザの身体の一部または全部の位置）に対応する領域に付加されるオブジェクトを制御することが可能となる。このような入力インタフェースを用いた技術では、ユーザの正面に設置された撮像装置により撮像された撮像画像が用いられ、その撮像画像におけるユーザの２次元上の位置に対応する領域に付加されるオブジェクトが制御されるのが一般的である。
【０００３】
例えば、ユーザの正面に設置された撮像装置により撮像された撮像画像から動きのある２次元上の領域を検出し、この検出結果に応じて、コンピュータ画像に含まれるオブジェクトの移動を制御する技術について開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０１４８７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像装置がユーザの正面に設置されるとは限らない。例えば、撮像装置により撮像された撮像画像に操作用の仮想オブジェクトが付加されるという前提において、撮像装置がユーザの斜め後方に設けられる場合、撮像装置がユーザの正面に設けられている場合と同様な手法により操作用の仮想オブジェクトが撮像画像に付加されてしまうと、ユーザの操作性が低下してしまう。したがって、ユーザの操作性を向上させるための技術が実現されることが望ましい。
【課題を解決するための手段】
【０００６】
本開示によれば、撮像装置によって撮像された撮像画像を取得する画像取得部と、前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、表示制御装置が提供される。
【０００７】
また、本開示によれば、撮像装置によって撮像された撮像画像を取得することと、前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御することとを含み、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御することを含む、表示制御方法が提供される。
【０００８】
また、本開示によれば、コンピュータを、撮像装置によって撮像された撮像画像を取得する画像取得部と、前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、表示制御装置として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、ユーザの操作性を向上させることが可能である。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る表示制御システムの構成の一例を示す図である。
【図２】図１に示した例に従って表示制御システムが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。
【図３】第１の実施形態に係る表示制御システムの構成の他の一例を示す図である。
【図４】図３に示した例に従って表示制御システムが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。
【図５】第１の実施形態に係る表示制御装置の機能構成例を示すブロック図である。
【図６】第１の実施形態に係る表示制御システムの構成の他の一例を示す図である。
【図７】図６に示した例に従って表示制御システムが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。
【図８】図６に示した例に従って表示制御システムが構成された場合における操作用の仮想オブジェクトの付加の他の一例を示す図である。
【図９】操作用の仮想オブジェクトの表示を変化させる例を示す図である。
【図１０】操作用の仮想オブジェクトの表示を変化させる他の一例を示す図である。
【図１１】操作用の仮想オブジェクトの表示を変化させる他の一例を示す図である。
【図１２】第１の実施形態に係る表示制御装置の動作の流れを示すフローチャートである。
【図１３】第２の実施形態に係る表示制御システムの構成の一例を示す図である。
【図１４】第２の実施形態に係る表示制御装置の機能構成例を示すブロック図である。
【図１５】第２の実施形態に係る表示制御装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１３】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．第１の実施形態
２．第２の実施形態
３．むすび
【００１４】
＜１．第１の実施形態＞
以下では、本開示の第１の実施形態について説明する。まず、本開示の第１の実施形態に係る表示制御システムの構成の一例について説明する。なお、この例は、後に説明する第１のモードが設定される場合における表示制御システムの構成例に相当する。
【００１５】
図１は、本開示の第１の実施形態に係る表示制御システムの構成の一例を示す図である。図１に示したように、本開示の第１の実施形態に係る表示制御システム１Ａは、表示制御装置１０Ａと表示装置２０と撮像装置３０とを含む。撮像装置３０は、ユーザＵを撮像する機能を有している。表示制御装置１０Ａは、撮像装置３０により撮像された撮像画像が表示装置２０に表示されるように表示装置２０を制御する機能を有している。表示装置２０は、表示制御装置１０Ａによる制御に従って撮像画像を表示する機能を有している。
【００１６】
図２は、図１に示した例に従って表示制御システム１Ａが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。図２に示したように、表示装置２０には撮像装置３０により撮像された撮像画像が表示されており、撮像画像には操作用の仮想オブジェクト２１１ａ，２１１ｂが付加されている。図２に示した例では、操作用の仮想オブジェクトの数が２つであるが、操作用の仮想オブジェクトの数は特に限定されない。また、図２には、表示制御装置１０ＡがＳＴＢ（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ）に組み込まれる場合が例として示されているが、表示制御装置１０Ａは、表示装置２０に組み込まれていてもよいし、撮像装置３０に組み込まれていてもよい。また、表示制御装置１０Ａは、他の装置に組み込まれていてもよいし、他の装置に組み込まれておらず単体で存在してもよい。
【００１７】
続いて、本開示の第１の実施形態に係る表示制御システム１Ａの構成の他の一例について説明する。なお、この例は、後に説明する第２のモードが設定される場合における表示制御システム１Ａの構成例に相当する。
【００１８】
図３は、本開示の第１の実施形態に係る表示制御システム１Ａの構成の他の一例を示す図である。図３に示したように、本開示の第１の実施形態に係る表示制御システム１Ａの他の一例は、表示制御装置１０Ａと表示装置２０と撮像装置３０と検出装置４０とを含む。表示制御装置１０Ａは、撮像装置３０により撮像された撮像画像が表示装置２０に表示されるように表示装置２０を制御する機能を有している。検出装置４０は、ユーザＵの動作を検出する機能を有する。検出装置４０は、奥行き情報を取得できる装置であればよく、例えば、赤外線センサにより構成されてもよい。
【００１９】
図４は、図３に示した例に従って表示制御システム１Ａが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。図４に示したように、表示装置２０には撮像装置３０により撮像された撮像画像が表示されており、撮像画像には操作用の仮想オブジェクト２１１ｃが付加されている。図４に示した例では、操作用の仮想オブジェクト２１１ｃの数が１０個であるが、操作用の仮想オブジェクト２１１ｃの数は特に限定されない。また、図４には、表示制御装置１０ＡがＳＴＢに組み込まれる場合が例として示されているが、表示制御装置１０Ａは、表示装置２０に組み込まれていてもよいし、撮像装置３０に組み込まれていてもよいし、検出装置４０に組み込まれてもよい。また、表示制御装置１０Ａは、他の装置に組み込まれていてもよいし、他の装置に組み込まれておらず単体で存在してもよい。
【００２０】
図４には、ユーザＵによる操作用の仮想オブジェクト２１１ｃの選択に基づいて進行するアプリケーションの表示画面がコンピュータ画像２２０として表示されている。したがって、ユーザＵは、コンピュータ画像２２０を閲覧しながら、選択すべき操作用の仮想オブジェクト２１１ｃを判断することができる。このようなコンピュータ画像２２０は、図２に示した表示装置２０には表示されていないが、図２に示した表示装置２０にも同様にコンピュータ画像２２０が表示されてもよい。
【００２１】
以上、本開示の第１の実施形態に係る表示制御システム１Ａの構成の例および他の一例について説明した。続いて、これらの例に示したように表示制御システム１Ａが構成される場合に、表示制御装置１０Ａが有する機能について説明する。
【００２２】
図５は、第１の実施形態に係る表示制御装置１０Ａの機能構成例を示すブロック図である。図５に示したように、表示制御装置１０Ａは、表示装置２０、撮像装置３０、検出装置４０および記憶装置５０と接続されている。ただし、図１に示した例に従って表示制御システム１Ａが構成された場合においては、検出装置４０は特に存在しなくてもよい。また、図５に示したように、表示制御装置１０Ａは、画像取得部１１０、モード設定部１２０、領域決定部１３０、範囲検出部１４０、表示制御部１５０、動作検出部１６０およびコマンド実行部１７０を備える。
【００２３】
表示制御装置１０Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。表示制御装置１０Ａは、記憶装置５０または他の記憶媒体に記憶されるプログラムを実行することにより、表示制御装置１０Ａが有する様々な機能を動作させる。
【００２４】
記憶装置５０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、表示制御装置１０Ａによる処理のためのプログラムおよびデータを記憶する。例えば、記憶装置５０は、物体認識のために使用される特徴量辞書を記憶する。さらに、記憶装置５０は、物体認識の結果として生成される認識結果を記憶することもできる。図５に示した例では、表示制御装置１０Ａと記憶装置５０とが別体に構成されているが、記憶装置５０は、表示制御装置１０Ａに組み込まれていてもよい。
【００２５】
画像取得部１１０は、撮像装置３０によって撮像された撮像画像を取得する。表示制御部１５０は、撮像画像と撮像画像に付加される操作用の仮想オブジェクトとが表示装置２０により表示されるように表示装置２０を制御する。表示制御部１５０は、撮像装置３０と表示装置２０との位置関係に応じて操作用の仮想オブジェクトの表示を制御する。このような制御が行われることにより、操作用の仮想オブジェクトの表示を柔軟に変更することができるため、ユーザの操作性を向上させることが可能である。
【００２６】
撮像装置３０と表示装置２０との位置関係は、特に限定されないが、例えば、図１および図３に示した例では、撮像装置の向きｉと表示装置の向きｄとの関係であってもよいし、撮像装置３０の位置と表示装置２０の位置との関係であってもよい。操作用の仮想オブジェクトの表示の制御は、操作用の仮想オブジェクトの位置の制御であってもよいし、操作用の仮想オブジェクトの透明度の制御であってもよい。
【００２７】
例えば、撮像画像における２次元上の位置に操作用の仮想オブジェクト２１１ａ，２１１ｂが付加されるモード（以下、「第１のモード」と言う）と撮像画像から認識される３次元空間における位置に操作用の仮想オブジェクト２１１ｃが付加されるモード（以下、「第２のモード」と言う）との相異なる２つのモードを用意してもよい。このような相異なる２つのモードが用意された場合には、モード設定部１２０は、第１のモードおよび第２のモードのいずれかを設定し、表示制御部１５０は、モード設定部１２０により設定されたモードに従って操作用の仮想オブジェクトを付加する。
【００２８】
例えば、図２には、モード設定部１２０により第１のモードが設定され、表示制御部１５０により第１のモードに従って操作用の仮想オブジェクト２１１ａ，２１１ｂが撮像画像に付加された場合における表示例が示されている。この例では、撮像画像における２次元上の位置に操作用の仮想オブジェクト２１１ａ，２１１ｂが付加されるため、ユーザＵは、撮像装置３０からの奥行きを意識せずに操作用の仮想オブジェクト２１１ａ，２１１ｂを選択することができる。
【００２９】
一方、図４には、モード設定部１２０により第２のモードが設定され、表示制御部１５０により第２のモードに従って操作用の仮想オブジェクト２１１ｃが撮像画像に付加された場合における表示例が示されている。この例では、撮像画像から認識される３次元空間における位置に操作用の仮想オブジェクト２１１ｃが付加されるため、ユーザＵは、撮像装置３０からの奥行きの違いを利用して複数の仮想オブジェクト２１１ｃのいずれかを選択することが可能となる。
【００３０】
より詳細には、操作用の仮想オブジェクト２１１ｃが付加される位置は、３次元空間に操作用の仮想オブジェクト２１１ｃが配置されたと仮定した場合に撮像画像に映る操作用の仮想オブジェクト２１１ｃの撮像画像における位置である。かかる場合に撮像画像に映る操作用の仮想オブジェクト２１１ｃの撮像画像における位置は、撮像装置の向きｉおよび撮像装置３０の画角に基づいて、３次元空間における操作用の仮想オブジェクト２１１ｃの配置から容易に推測される。３次元空間における操作用の仮想オブジェクト２１１ｃの配置は、例えば、上記したアプリケーションにおいて定められている。
【００３１】
撮像装置の向きｉと表示装置の向きｄとの関係が用いられる場合、モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度に応じて、第１のモードおよび第２のモードのいずれかを設定してもよい。例えば、モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度が所定の閾値を下回る場合には第１のモードを設定し、撮像装置の向きｉと表示装置の向きｄとのなす角度が所定の閾値を上回る場合には第２のモードを設定してもよい。
【００３２】
ここで、所定の閾値は、あらかじめ定めておくことができる。また、撮像装置の向きｉと表示装置の向きｄとのなす角度が所定の閾値と等しい場合には、第１のモードが設定されてもよいし、第２のモードが設定されてもよい。例えば、所定の閾値が９０度である場合を想定する。かかる場合、図１に示したように撮像装置の向きｉと表示装置の向きｄとのなす角度が９０度を下回る場合には第１のモードが設定され（図２参照）、図３に示したように撮像装置の向きｉと表示装置の向きｄとのなす角度が９０度を上回る場合には第２のモードが設定されてもよい（図４参照）。
【００３３】
このように、撮像装置の向きｉと表示装置の向きｄとのなす角度と所定の閾値との関係に基づいて、第１のモードと第２のモードとを使い分けるとよい。撮像装置の向きｉと表示装置の向きｄとのなす角度が所定の閾値を上回る場合には（例えば、ユーザＵの斜め後方から撮像する場合には）、撮像装置の向きｉと表示装置の向きｄとのなす角度が所定の閾値を下回る場合と比較して（例えば、ユーザＵの正面から撮像する場合と比較して）、撮像装置３０からの奥行きが異なる複数の操作用の仮想オブジェクトが画面上においてユーザＵにとって区別しやすいからである。
【００３４】
また、撮像装置の向きｉと表示装置の向きｄとの各々は、どのように取得されてもよい。例えば、撮像装置の向きｉと表示装置の向きｄとの各々は、ユーザＵにより入力されてもよい。あるいは、モード設定部１２０は、表示装置の向きｄとしてユーザの向きｕを使用してもよい。例えば、モード設定部１２０は、ユーザの向きｕと同一の方向でありユーザの向きｕと逆向きを表示装置の向きｄとすることもできる。ユーザの向きｕは、撮像装置３０により撮像された撮像画像から認識されてもよいし、検出装置４０により検出されたデータから認識されてもよい。また、ユーザの向きｕは、ユーザＵの顔の向きであってもよいし、ユーザＵの胴体の向きであってもよい。
【００３５】
第１のモードと第２のモードのいずれを設定するかを決定するに際しては、撮像装置の向きｉと表示装置の向きｄとのなす角度以外の条件がさらに加味されてもよい。例えば、モード設定部１２０は、第１のモードを設定した場合において、ユーザの向きｕと撮像装置の向きｉとのなす角度が所定の上限値を上回る場合、第２のモードを設定してもよい。また、モード設定部１２０は、第２のモードを設定した場合において、ユーザの向きｕと撮像装置の向きｉとのなす角度が所定の下限値を下回る場合、第１のモードを設定してもよい。
【００３６】
ここで、所定の上限値および所定の下限値は、あらかじめ定めておくことができる。例えば、ユーザＵは表示装置２０が設置されている方向を向いている場合には、撮像装置の向きｉと表示装置の向きｄとのなす角度に基づいてモード設定を行えばよいが、表示装置２０が設置されている方向をユーザＵが向いていないことも想定される。したがって、このような条件をさらに加味することにより、ユーザの向きｕをより正確に反映したモード設定を行うことが可能となる。
【００３７】
また、ユーザＵに操作用の仮想オブジェクトを選択させるに際して、ユーザＵが存在すべき位置を示してもよい。例えば、領域決定部１３０は、撮像装置３０と表示装置２０との位置関係に応じて操作用の仮想オブジェクトを選択可能な領域を決定してもよい。この場合、表示制御部１５０は、領域決定部１３０により決定された領域に、操作用の仮想オブジェクトを選択可能な領域である旨を示す表示用の仮想オブジェクト８０を付加してもよい。このような表示用の仮想オブジェクト８０が付加されれば、ユーザＵは、表示用の仮想オブジェクト８０により示される位置によって自分の存在すべき位置を把握することができる。
【００３８】
例えば、領域決定部１３０は、撮像装置３０の位置を基準として撮像装置の向きｉに伸ばした直線と表示装置２０の位置を基準として表示装置の向きｄに伸ばした直線との交点に基づいて、操作用の仮想オブジェクトを選択可能な領域を決定してもよい。例えば、領域決定部１３０は、その交点を基準とした円により囲まれる領域、あるいは、その交点を基準とした矩形に囲まれる領域を、操作用の仮想オブジェクトを選択可能な領域として決定してもよい。
【００３９】
また、ユーザＵの状態が考慮された上で操作用の仮想オブジェクトが表示されてもよい。極端な例を挙げれば、ユーザＵは立ち上がっている状態において操作を行う場合もあれば、座っている状態において操作を行う場合も想定されるからである。したがって、範囲検出部１４０は、ユーザＵの可動範囲７０を検出し、表示制御部１５０は、範囲検出部１４０により検出されたユーザＵの可動範囲７０にさらに基づいて操作用の仮想オブジェクトの位置を制御してもよい。
【００４０】
ユーザＵの可動範囲７０は、ユーザＵが身体を動かすことが可能な３次元空間上の範囲であり、検出装置４０により検出されたデータに基づいて範囲検出部１４０により検出されてもよい。身体は、ユーザＵの身体の一部または全部であり、ユーザＵの手が一例として挙げられるが、ユーザＵの身体の他の部位であってもよいし、身体により移動される何らかの物体であってもよい。
【００４１】
より詳細には、表示制御部１５０は、ユーザＵの可動範囲７０に操作用の仮想オブジェクトが収まるように操作用の仮想オブジェクトの位置を制御すればよい。このような制御がなされれば、ユーザＵの状態が考慮された上で操作用の仮想オブジェクトが表示されるため、操作性がさらに向上することが期待される。ユーザＵの可動範囲７０の検出は、ユーザＵの指定するタイミングで行われてもよいし、操作用の仮想オブジェクトが表示されるタイミングで行われてもよい。ユーザＵの可動範囲７０の検出が行われる場合には、表示装置２０に「無理なく手の届く範囲で手を伸ばして、動かしてください」などといったメッセージが表示されてもよい。
【００４２】
動作検出部１６０は、ユーザＵの動作を検出する。動作検出部１６０は、例えば、モード設定部１２０により第１のモードが設定されている場合には、撮像装置３０により撮像された撮像画像に基づいてユーザＵの動作を検出する。また、動作検出部１６０は、例えば、モード設定部１２０により第２のモードが設定されている場合には、検出装置４０により検出されたデータに基づいてユーザＵの動作を検出する。
【００４３】
例えば、第１のモードが設定されている場合には、撮像画像における２次元上の位置に操作用の仮想オブジェクトが付加されるため、ユーザＵの身体の撮像画像における２次元上の位置がユーザＵの動作として検出されてもよい。また、例えば、第２のモードが設定されている場合には、撮像画像から認識される３次元空間における位置に操作用の仮想オブジェクトが付加されるため、ユーザＵの身体の３次元空間における位置がユーザＵの動作として検出されてもよい。
【００４４】
より詳細には、動作検出部１６０は、第１のモードが設定されている場合には、操作用の仮想オブジェクトとユーザＵの身体とにおいて、撮像画像における２次元上の位置が一致する場合に、操作用の仮想オブジェクトを選択するためのユーザ動作を検出してもよい。また、動作検出部１６０は、第２のモードが設定されている場合には、操作用の仮想オブジェクトとユーザＵの身体とにおいて、３次元空間における位置が一致する場合に、操作用の仮想オブジェクトを選択するためのユーザ動作を検出してもよい。
【００４５】
コマンド実行部１７０は、動作検出部１６０により操作用の仮想オブジェクトを選択するためのユーザ動作が検出された場合、操作用の仮想オブジェクトに対応するコマンドを実行する。例えば、コマンド実行部１７０は、図２に示された例では、操作用の仮想オブジェクト２１１ａを選択するためのユーザ動作が検出された場合には、アプリケーションにより提供されるサービスを開始するためのコマンドを実行し、操作用の仮想オブジェクト２１１ｂを選択するためのユーザ動作が検出された場合には、アプリケーションにより提供されるサービスを終了するためのコマンドを実行する。
【００４６】
また、コマンド実行部１７０は、図４に示された例では、操作用の仮想オブジェクト２１１ｃを選択するためのユーザ動作が検出された場合には、アプリケーションにより提供されるサービスにおける各種のコマンドを実行する。実行されるコマンドは、複数の操作用の仮想オブジェクト２１１ｃの全部において異なっていてもよいし、複数の操作用の仮想オブジェクト２１１ｃの一部において同一であってもよい。
【００４７】
以上、表示制御装置１０Ａが有する機能について説明した。ところで、本開示の第１の実施形態に係る表示制御システム１Ａの他の一例（図３および図４に示された例）では、撮像装置３０による撮像範囲に表示装置２０が含まれていない。しかし、撮像範囲には表示装置２０が含まれる場合も想定される。以下では、撮像範囲に表示装置２０が含まれる場合について説明する。
【００４８】
図６は、第１の実施形態に係る表示制御システム１Ａの構成の他の一例を示す図である。図６に示したように、本開示の第１の実施形態に係る表示制御システム１Ａの他の一例は、表示制御装置１０Ａと表示装置２０と撮像装置３０と検出装置４０とを含む。また、図６に示した表示制御システム１Ａの構成の他の一例では、撮像装置３０による撮像範囲に表示装置２０が含まれている。
【００４９】
上記したように、撮像装置の向きｉと表示装置の向きｄとのなす角度と所定の閾値との関係に基づいて、第１のモードと第２のモードとを使い分けるとよい。図６に示したように、撮像装置３０により撮像された撮像画像に表示装置２０が映っている場合、モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度として撮像画像から認識される表示装置２０の角度を使用してもよい。
【００５０】
例えば、表示装置２０の角度は、表示装置２０により表示されている画面の姿勢が認識される場合には、その画面の姿勢により認識されてもよいし、表示装置２０自身の姿勢が認識される場合には、表示装置２０自身の姿勢により認識されてもよい。例えば、撮像画像に表示装置２０の前面が正面から映っている場合には、撮像装置の向きｉと表示装置の向きｄとのなす角度が１８０度であり、撮像画像に表示装置２０の背面が正面から映っている場合には、撮像装置の向きｉと表示装置の向きｄとのなす角度が０度である。
【００５１】
なお、第２のモードが設定されている場合、操作用の仮想オブジェクトは撮像画像から認識される３次元空間に付加される。しかし、表示装置２０よりも奥に付加された場合には、ユーザＵは、その操作用の仮想オブジェクトを選択するために表示装置２０の奥に手を伸ばす必要が生じ、ユーザＵは不自然な動きを強要される。したがって、表示制御部１５０は、モード設定部１２０により第２のモードが設定されている場合、撮像画像に映っている表示装置２０の位置よりも奥の位置への操作用の仮想オブジェクトの付加を制限してもよい。
【００５２】
例えば、表示制御部１５０は、モード設定部１２０により第２のモードが設定されている場合、撮像画像に映っている表示装置２０の位置よりも奥の位置への操作用の仮想オブジェクトの付加を禁止してもよい。図６に示した例では、表示装置２０の奥の領域が、仮想オブジェクト付加禁止領域９０として示されている。例えば、表示制御部１５０は、モード設定部１２０により第２のモードが設定されている場合、撮像画像に映っている表示装置２０の位置よりも奥の位置への操作用の仮想オブジェクトの付加を禁止するとともに、その操作用の仮想オブジェクトを撮像画像に映っている表示装置２０の位置よりも手前の位置に付加してもよい。
【００５３】
図７は、図６に示した例に従って表示制御システム１Ａが構成された場合における操作用の仮想オブジェクトの付加の一例を示す図である。図７に示したように、撮像範囲に表示装置２０が含まれる場合においても、表示装置２０には撮像装置３０により撮像された撮像画像Ｉｍｇが表示されており、撮像画像Ｉｍｇには操作用の仮想オブジェクト２１１ｃが付加されている。しかし、撮像画像Ｉｍｇには表示装置２０が含まれており、この表示装置２０にも撮像画像Ｉｍｇが表示されるため、複数の撮像画像Ｉｍｇが連続的に表示されてしまうことになる。
【００５４】
図８は、図６に示した例に従って表示制御システム１Ａが構成された場合における操作用の仮想オブジェクトの付加の他の一例を示す図である。上記のような連続的な表示を回避するため、表示制御部１５０は、モード設定部１２０により第２のモードが設定されている場合、撮像画像Ｉｍｇに映っている表示装置２０により表示されている画像を他の画像に置き換えればよい。他の画像は特に限定されないが、例えば、図８に示したように、表示制御部１５０は、撮像画像Ｉｍｇに映っている表示装置２０により表示されている画像をコンピュータ画像２２０に置き換えてもよい。
【００５５】
以上、撮像装置３０による撮像範囲に表示装置２０が含まれる場合について説明した。ところで、上記した例では、ユーザＵの身体の位置を特に考慮せずに操作用の仮想オブジェクトを付加することとしたため、操作用の仮想オブジェクトによりユーザＵの身体が隠蔽されてしまうという事態も想定される。以下では、かかる事態を回避してユーザの操作性をさらに向上させる例について説明する。
【００５６】
図９は、操作用の仮想オブジェクトの表示を変化させる例を示す図である。表示制御部１５０は、例えば、モード設定部１２０により第２のモードが設定されている場合、撮像画像においてユーザＵの手前に操作用の仮想オブジェクトが重なる場合には、操作用の仮想オブジェクトの表示を変化させればよい。操作用の仮想オブジェクト２１１ｃとユーザＵとの重なりは、操作用の仮想オブジェクト２１１ｃのうちの所定領域とユーザＵとの重なりにより判定されてもよいし、操作用の仮想オブジェクト２１１ｃのうち所定量を超えた部分とユーザＵとの重なりにより判定されてもよい。
【００５７】
図９に示した例では、表示制御部１５０は、撮像画像においてユーザＵの手前に操作用の仮想オブジェクト２１１ｃが重なっているため、透過率を低下させた操作用の仮想オブジェクト２１１ｃを撮像画像に付加することにより操作用の仮想オブジェクト２１１ｃの表示を変化させている。透過率の低下度合いは特に限定されない。このように制御すれば、ユーザＵは、自身の身体の位置を把握しやすくなる。
【００５８】
図１０は、操作用の仮想オブジェクトの表示を変化させる他の一例を示す図である。図１０に示した例では、表示制御部１５０は、撮像画像においてユーザＵの手前に操作用の仮想オブジェクト２１１ｃが重なっているため、ユーザＵとの重なりが生じない位置に操作用の仮想オブジェクト２１１ｃを付加することにより操作用の仮想オブジェクト２１１ｃの表示を変化させている。特に、図１０に示した例では、操作用の仮想オブジェクト２１１ｃを表示装置２０に近づけるように移動させている。このように制御すれば、ユーザＵは、自身の身体の位置を把握しやすくなる。
【００５９】
図１１は、操作用の仮想オブジェクトの表示を変化させる他の一例を示す図である。図１１に示した例では、表示制御部１５０は、撮像画像においてユーザＵの手前に操作用の仮想オブジェクト２１１ｃが重なっているため、ユーザＵとの重なりが生じない位置に操作用の仮想オブジェクト２１１ｃを付加することにより操作用の仮想オブジェクト２１１ｃの表示を変化させている。特に、図１１に示した例では、操作用の仮想オブジェクト２１１ｃの高さを変更している。このように制御すれば、ユーザＵは、自身の身体の位置を把握しやすくなる。
【００６０】
以上、操作用の仮想オブジェクトによりユーザＵの身体が隠蔽されてしまうという事態を回避する例について説明した。以下では、第１の実施形態に係る表示制御装置１０Ａの動作の流れについて説明する。
【００６１】
図１２は、第１の実施形態に係る表示制御装置１０Ａの動作の流れを示すフローチャートである。図１２に示すように、まず、画像取得部１１０は、撮像装置３０により撮像された撮像画像を取得する（ステップＳ１１）。モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度が閾値を下回る場合には（ステップＳ１２で「ＹＥＳ」）、第１のモードを設定する。一方、モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度が閾値を上回る場合には（ステップＳ１２で「ＮＯ」）、第２のモードを設定する。
【００６２】
モード設定部１２０により第１のモードが設定された場合には、表示制御部１５０は、撮像画像の２次元上の位置に操作用の仮想オブジェクトを付加する（ステップＳ１３）。一方、モード設定部１２０により第２のモードが設定された場合には、表示制御部１５０は、撮像画像から認識される３次元空間における位置に操作用の仮想オブジェクトを付加する（ステップＳ１４）。
【００６３】
撮像画像に操作用の仮想オブジェクトが付加されると、表示制御部１５０は、操作用の仮想オブジェクトが付加された撮像画像が表示装置２０に表示されるように表示装置２０を制御する（ステップＳ１５）。表示制御部１５０による制御に従って、表示装置２０が操作用の仮想オブジェクトが付加された撮像画像を表示すると、ステップＳ１６に移行される。
【００６４】
続いて、動作検出部１６０は、操作用の仮想オブジェクトの位置を選択するためのユーザ動作が検出したか否かを判定する（ステップＳ１６）。動作検出部１６０は、操作用の仮想オブジェクトの位置を選択するためのユーザ動作を検出しない場合には（ステップＳ１６で「ＮＯ」）、操作用の仮想オブジェクトの位置を選択するためのユーザ動作を検出するまでステップＳ１６の判定を行う。一方、動作検出部１６０により、操作用の仮想オブジェクトの位置を選択するためのユーザ動作が検出された場合には（ステップＳ１６で「ＹＥＳ」）、コマンド実行部１７０は、操作用の仮想オブジェクトに対応するコマンドを実行し（ステップＳ１７）、動作が終了される。
【００６５】
以上に説明したように、本開示の第１の実施形態によれば、撮像装置３０と表示装置２０との位置関係に応じて操作用の仮想オブジェクトの表示が制御される。例えば、撮像装置の向きｉと表示装置の向きｄとのなす角度に応じて、第１のモードおよび第２のモードのいずれかが設定され、設定されたモードに従って操作用の仮想オブジェクトの表示が制御される。このような制御により、ユーザの操作性が向上されることが期待される。
【００６６】
＜２．第２の実施形態＞
続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態は、表示制御システムが複数の撮像装置３０を備える例である。したがって、撮像画像の提供元の撮像装置３０として複数の撮像装置３０のうちのいずれかが選択され得る。また、撮像装置３０の選択に応じてモードを変更することも可能である。まず、本開示の第２の実施形態に係る表示制御システムの構成の一例について説明する。
【００６７】
図１３は、第２の実施形態に係る表示制御システムの構成の一例を示す図である。図１３に示したように、本開示の第２の実施形態に係る表示制御システム１Ｂは、表示制御装置１０Ｂと表示装置２０と複数の撮像装置３０と検出装置４０とを含む。複数の撮像装置３０は、ユーザＵを撮像する機能を有している。表示制御装置１０Ｂは、複数の撮像装置３０から選択された撮像装置３０により撮像された撮像画像が表示装置２０に表示されるように表示装置２０を制御する機能を有している。表示装置２０は、表示制御装置１０Ｂによる制御に従って撮像画像を表示する機能を有している。
【００６８】
なお、図１３には、複数の撮像装置３０の例として、撮像装置３０Ａおよび撮像装置３０Ｂが示されているが、撮像装置３０の数は２つに限定される訳ではない。また、図１３には、撮像装置３０Ａおよび撮像装置３０Ｂの各々の向きが撮像装置の向きｉ１および撮像装置の向きｉ２として示されている。第１の実施形態と同様に、表示制御装置１０Ｂは、ＳＴＢに組み込まれてもよいし、表示装置２０に組み込まれていてもよいし、撮像装置３０に組み込まれていてもよい。また、表示制御装置１０Ｂは、他の装置に組み込まれていてもよいし、他の装置に組み込まれておらず単体で存在してもよい。
【００６９】
以上、本開示の第２の実施形態に係る表示制御システム１Ｂの構成の例について説明した。続いて、この例に示したように表示制御システム１Ｂが構成される場合に、表示制御装置１０Ｂが有する機能について説明する。
【００７０】
図１４は、第２の実施形態に係る表示制御装置１０Ｂの機能構成例を示すブロック図である。図１４に示したように、表示制御装置１０Ｂは、表示装置２０、複数の撮像装置３０、検出装置４０および記憶装置５０と接続されている。表示制御装置１０Ｂは、ＣＰＵまたはＤＳＰなどのプロセッサに相当する。表示制御装置１０Ｂは、記憶装置５０または他の記憶媒体に記憶されるプログラムを実行することにより、表示制御装置１０Ｂが有する様々な機能を動作させる。
【００７１】
また、図１４に示したように、表示制御装置１０Ｂは、表示制御装置１０Ａが備える機能ブロックの他に、選択部１８０を備える。選択部１８０は、複数の撮像装置３０が設置されている場合、複数の撮像装置３０の中から１つの撮像装置３０を選択する機能を有する。画像取得部１１０は、選択部１８０により選択された撮像装置３０によって撮像された撮像画像を取得する。
【００７２】
選択部１８０による撮像装置３０の選択手法は特に限定されない。例えば、選択部１８０は、動作検出部１６０により検出されたユーザＵの状態に基づいて撮像装置３０を選択してもよい。一例として、選択部１８０は、動作検出部１６０により撮像装置３０を指定するユーザ動作が検出された場合、ユーザ動作により指定される撮像装置３０を選択してもよい。撮像装置３０を指定するユーザ動作は特に限定されないが、例えば、撮像装置３０を指定するための仮想オブジェクトが表示された場合には、その仮想オブジェクトを選択する動作であってもよい。
【００７３】
また、他の一例として、選択部１８０は、ユーザの向きｕと複数の撮像装置３０の各々の向きとのなす角度に基づいて、撮像装置３０を選択してもよい。例えば、選択部１８０は、ユーザの向きｕとなす角度が最大となる向きの撮像装置３０を選択してもよい。ユーザの向きｕと撮像装置の向きｉとのなす角度が大きいほどユーザＵによる操作が容易に行われることが予想されるからである。
【００７４】
図１３に示した例では、ユーザの向きｕと撮像装置の向きｉ２とのなす角度の方が、ユーザの向きｕと撮像装置の向きｉ１とのなす角度よりも大きいため、選択部１８０は、撮像装置３０Ｂを選択してもよい。なお、角度が小さいほどユーザＵによる操作が容易である場合も想定される。したがって、ユーザＵによる設定によっては、ユーザの向きｕと撮像装置の向きｉとのなす角度が最小となる向きの撮像装置３０が選択されてもよい。
【００７５】
以上、本開示の第２の実施形態に係る表示制御システム１Ｂが有する機能について説明した。続いて、第２の実施形態に係る表示制御装置１０Ｂの動作の流れについて説明する。本動作においては、第１の実施形態に係る表示制御装置１０Ａの動作に対して、複数の撮像装置３０の中から１つの撮像装置３０を選択する動作が追加される。
【００７６】
図１５は、第２の実施形態に係る表示制御装置１０Ｂの動作の流れを示すフローチャートである。図１５に示すように、まず、選択部１８０は、複数の撮像装置３０の中から１つの撮像装置３０を選択する（ステップＳ２１）。画像取得部１１０は、選択された撮像装置３０により撮像された撮像画像を取得する（ステップＳ２２）。モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度が閾値を下回る場合には（ステップＳ２３で「ＹＥＳ」）、第１のモードを設定する。一方、モード設定部１２０は、撮像装置の向きｉと表示装置の向きｄとのなす角度が閾値を上回る場合には（ステップＳ２３で「ＮＯ」）、第２のモードを設定する。
【００７７】
モード設定部１２０により第１のモードが設定された場合には、表示制御部１５０は、撮像画像の２次元上の位置に操作用の仮想オブジェクトを付加する（ステップＳ２４）。一方、モード設定部１２０により第２のモードが設定された場合には、表示制御部１５０は、撮像画像から認識される３次元空間における位置に操作用の仮想オブジェクトを付加する（ステップＳ２５）。
【００７８】
撮像画像に操作用の仮想オブジェクトが付加されると、表示制御部１５０は、操作用の仮想オブジェクトが付加された撮像画像が表示装置２０に表示されるように表示装置２０を制御する（ステップＳ２６）。表示制御部１５０による制御に従って、表示装置２０が操作用の仮想オブジェクトが付加された撮像画像を表示すると、ステップＳ２７に移行される。
【００７９】
続いて、動作検出部１６０は、操作用の仮想オブジェクトの位置を選択するためのユーザ動作が検出したか否かを判定する（ステップＳ２７）。動作検出部１６０は、操作用の仮想オブジェクトの位置を選択するためのユーザ動作を検出しない場合には（ステップＳ２７で「ＮＯ」）、操作用の仮想オブジェクトの位置を選択するためのユーザ動作を検出するまでステップＳ２７の判定を行う。一方、動作検出部１６０により、操作用の仮想オブジェクトの位置を選択するためのユーザ動作が検出された場合には（ステップＳ２７で「ＹＥＳ」）、コマンド実行部１７０は、操作用の仮想オブジェクトに対応するコマンドを実行し（ステップＳ２８）、動作が終了される。
【００８０】
以上に説明したように、本開示の第２の実施形態によれば、選択部１８０が有する機能により複数の撮像装置３０の中から１つの撮像装置３０を選択され、選択された撮像装置３０により撮像される撮像画像が画像取得部１１０により取得される。したがって、第２の実施形態によれば、ユーザの利便性がさらに向上されることが期待される。
【００８１】
＜３．むすび＞
以上説明したように、本開示の第１の実施形態によれば、撮像装置３０によって撮像された撮像画像を取得する画像取得部１１０と、撮像画像と撮像画像に付加される操作用の仮想オブジェクトとが表示装置２０により表示されるように表示装置２０を制御する表示制御部１５０とを備える表示制御装置１０が提供される。表示制御部１５０は、撮像装置３０と表示装置２０との位置関係に応じて操作用の仮想オブジェクトの表示を制御する。
【００８２】
かかる構成によれば、撮像装置３０と表示装置２０との位置関係に応じて操作用の仮想オブジェクトの表示が制御される。例えば、撮像装置の向きｉと表示装置の向きｄとのなす角度に応じて、第１のモードおよび第２のモードのいずれかが設定され、設定されたモードに従って操作用の仮想オブジェクトの表示が制御される。このような制御により、ユーザの操作性が向上されることが期待される。
【００８３】
また、本開示の第２の実施形態によれば、複数の撮像装置３０の中から１つの撮像装置３０を選択する選択部１８０をさらに有する表示制御装置１０Ｂが提供される。かかる構成によれば、選択部１８０により選択された撮像装置３０により撮像される撮像画像が画像取得部１１０により取得される。したがって、ユーザの利便性がさらに向上されることが期待される。
【００８４】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８５】
また、例えば、上記では、表示装置２０を認識する機能（あるいは、表示装置２０により表示されている画面を認識する機能）を、表示制御装置１０が有する例を主に説明したが、かかる機能は、表示制御装置１０の代わりにサーバが有していてもよい。例えば、表示制御装置１０が撮像画像をサーバに送信した場合、サーバは表示制御装置１０の代わりに撮像画像から表示装置２０を認識してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
【００８６】
また、本明細書の表示制御装置１０の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、表示制御装置１０の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００８７】
また、表示制御装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した表示制御装置１０の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【００８８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像装置によって撮像された撮像画像を取得する画像取得部と、
前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、
前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、
表示制御装置。
（２）
前記表示制御装置は、
前記撮像画像における２次元上の位置に前記操作用の仮想オブジェクトを付加する第１のモードおよび前記撮像画像から認識される３次元空間における位置に前記操作用の仮想オブジェクトを付加する第２のモードのいずれかを設定するモード設定部をさらに備え、
前記表示制御部は、前記モード設定部により設定されたモードに従って前記操作用の仮想オブジェクトを付加する、
前記（１）に記載の表示制御装置。
（３）
前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度に応じて、前記第１のモードおよび前記第２のモードのいずれかを設定する、
前記（２）に記載の表示制御装置。
（４）
前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度が所定の閾値を下回る場合には前記第１のモードを設定し、前記撮像装置の向きと前記表示装置の向きとのなす角度が前記所定の閾値を上回る場合には前記第２のモードを設定する、
前記（３）に記載の表示制御装置。
（５）
前記モード設定部は、
前記第１のモードを設定した場合において、ユーザの向きと前記撮像装置の向きとのなす角度が所定の上限値を上回る場合、前記第２のモードを設定し、
前記第２のモードを設定した場合において、ユーザの向きと前記撮像装置の向きとのなす角度が所定の下限値を下回る場合、前記第１のモードを設定する、
前記（２）〜（４）のいずれか１項に記載の表示制御装置。
（６）
前記表示制御装置は、
ユーザ動作を検出する動作検出部と、
前記動作検出部により前記操作用の仮想オブジェクトを選択するためのユーザ動作が検出された場合、前記操作用の仮想オブジェクトに対応するコマンドを実行するコマンド実行部と、
をさらに備える、前記（１）〜（５）のいずれか１項に記載の表示制御装置。
（７）
前記動作検出部は、前記ユーザ動作を、前記撮像装置とは別に設置された検出装置により検出されたデータに基づいて検出する、
前記（６）に記載の表示制御装置。
（８）
前記モード設定部は、前記撮像装置の向きと前記表示装置の向きとのなす角度として前記撮像画像から認識される前記表示装置の角度を使用する、
前記（３）〜（５）のいずれか１項に記載の表示制御装置。
（９）
前記モード設定部は、前記表示装置の向きとしてユーザの向きを使用する、
前記（３）〜（５）のいずれか１項に記載の表示制御装置。
（１０）
前記表示制御部は、
前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像においてユーザの手前に前記操作用の仮想オブジェクトが重なる場合には、前記操作用の仮想オブジェクトの表示を変化させる、
前記（２）〜（５）のいずれか１項に記載の表示制御装置。
（１１）
前記表示制御部は、
透過率を低下させた操作用の仮想オブジェクトを前記撮像画像に付加することにより前記操作用の仮想オブジェクトの表示を変化させる、
前記（１０）に記載の表示制御装置。
（１２）
前記表示制御部は、
重なりが生じない位置に前記操作用の仮想オブジェクトを付加することにより前記操作用の仮想オブジェクトの表示を変化させる、
前記（１０）に記載の表示制御装置。
（１３）
前記表示制御部は、
前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像に映っている前記表示装置の位置よりも奥の位置への操作用の仮想オブジェクトの付加を制限する、
前記（２）〜（５）のいずれか１項に記載の表示制御装置。
（１４）
前記表示制御部は、
前記モード設定部により前記第２のモードが設定されている場合、前記撮像画像に映っている前記表示装置により表示されている画像を他の画像に置き換える、
前記（２）〜（５）のいずれか１項に記載の表示制御装置。
（１５）
前記表示制御装置は、
前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトを選択可能な領域を決定する領域決定部をさらに備え、
前記表示制御部は、前記領域決定部により決定された領域に、前記操作用の仮想オブジェクトを選択可能な領域である旨を示す表示用の仮想オブジェクトを付加する、
前記（１）〜（１４）のいずれか１項に記載の表示制御装置。
（１６）
前記表示制御装置は、
ユーザの可動範囲を検出する範囲検出部をさらに備え、
前記表示制御部は、前記範囲検出部により検出されたユーザの可動範囲にさらに基づいて前記操作用の仮想オブジェクトの位置を制御する、
前記（１）〜（１５）のいずれか１項に記載の表示制御装置。
（１７）
前記表示制御装置は、
複数の撮像装置が設置されている場合、前記複数の撮像装置の中から１つの撮像装置を選択する選択部をさらに備え、
前記画像取得部は、前記選択部により選択された撮像装置によって撮像された撮像画像を取得する、
前記（１）〜（１６）のいずれか１項に記載の表示制御装置。
（１８）
前記選択部は、前記動作検出部により検出されたユーザの状態に基づいて撮像装置を選択する、
前記（１７）に記載の表示制御装置。
（１９）
撮像装置によって撮像された撮像画像を取得することと、
前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御することとを含み、
前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御することを含む、表示制御方法。
（２０）
コンピュータを、
撮像装置によって撮像された撮像画像を取得する画像取得部と、
前記撮像画像と前記撮像画像に付加される操作用の仮想オブジェクトとが表示装置により表示されるように前記表示装置を制御する表示制御部とを備え、
前記表示制御部は、前記撮像装置と前記表示装置との位置関係に応じて前記操作用の仮想オブジェクトの表示を制御する、
表示制御装置として機能させるためのプログラム。
【符号の説明】
【００８９】
１（１Ａ，１Ｂ）  表示制御システム
１０（１０Ａ，１０Ｂ）  表示制御装置
２０    表示装置
３０（３０Ａ，３０Ｂ）  撮像装置
４０    検出装置
７０    可動範囲
８０    表示用の仮想オブジェクト
９０    仮想オブジェクト付加禁止領域
１１０  画像取得部
１２０  モード設定部
１３０  領域決定部
１４０  範囲検出部
１５０  表示制御部
１６０  動作検出部
１７０  コマンド実行部
１８０  選択部
２１１ａ，２１１ｂ，２１１ｃ  操作用の仮想オブジェクト
【図１】
0005880199.tif 000002
【図２】
0005880199.tif 000003
【図３】
0005880199.tif 000004
【図４】
0005880199.tif 000005
【図５】
0005880199.tif 000006
【図６】
0005880199.tif 000007
【図７】
0005880199.tif 000008
【図８】
0005880199.tif 000009
【図９】
0005880199.tif 000010
【図１０】
0005880199.tif 000011
【図１１】
0005880199.tif 000012
【図１２】
0005880199.tif 000013
【図１３】
0005880199.tif 000014
【図１４】
0005880199.tif 000015
【図１５】
0005880199.tif 000016