(57)【要約】奥行き選択部１８は、ユーザによって入力される奥行選択指令に基づいて、奥行き軸Ｚにおける位置を示す奥行き選択位置を選択する。表示判定部１９は、奥行き空間内において、各実オブジェクトＲＯが奥行き選択位置Ｚｓに対して手前側に位置するか奥側に位置するかを判定し、奥側に位置する実オブジェクトＲＯをタグＴ１が表示される表示対象の実オブジェクトＲＯとして抽出する。描画部２２は、表示判定部１９により抽出された表示対象の実オブジェクトＲＯの表示画面における表示位置を決定し、決定した表示位置にタグＴ１を描画する。
2011155118.tif 000002
【特許請求の範囲】
【請求項１】
表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、
所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、
ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、
前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部とを備え、
前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画するオブジェクト選択装置。
【請求項２】
ユーザからの操作によって所定方向にスライドされるスライド操作部を更に備え、
前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させる請求項１に記載のオブジェクト選択装置。
【請求項３】
ユーザからの操作によって前記スライド操作部のスライド量を微調整する微調整操作部を更に備え、
前記スライド量は、ユーザにより前記微調整操作部が操作されたときに前記表示部に表示される変化量が、ユーザにより前記スライド操作部が操作されたときに前記表示部に表示される変化量よりも小さく設定されている請求項２に記載のオブジェクト選択装置。
【請求項４】
前記微調整操作部は、回転ダイヤルにより構成され、
前記奥行き選択部は、前記回転ダイヤルを回転させることでスライドされた前記スライド操作部のスライド量に連動させて前記奥行き選択位置を変化させる請求項３に記載のオブジェクト選択装置。
【請求項５】
前記奥行き選択部は、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させる請求項２〜４のいずれかに記載のオブジェクト選択装置。
【請求項６】
前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、
各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、
前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、
前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択する請求項１に記載のオブジェクト選択装置。
【請求項７】
前記表示部は、タッチパネルにより構成され、
ユーザがタッチした表示画像上のタッチ位置から一定の領域内に位置する前記表示対象のオブジェクトのうち最も手前に表示されたオブジェクトを選択するオブジェクト選択部を更に備える請求項１〜６のいずれかに記載のオブジェクト選択装置。
【請求項８】
前記オブジェクト選択部は、前記タッチ位置に対応する前記奥行き空間の位置から一定の距離範囲内に位置する前記表示対象のオブジェクトを選択候補のオブジェクトとして抽出する請求項７に記載のオブジェクト選択装置。
【請求項９】
表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、
所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、
ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、
前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部としてコンピュータを機能させ、
前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画するオブジェクト選択プログラム。
【請求項１０】
表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、
コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、
コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、
コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップとを備え、
前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画するオブジェクト選択方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画像に３次元的に表示された複数のオブジェクトをユーザに選択させる技術に関するものである。
【背景技術】
【０００２】
近年、拡張現実という技術が注目されている。拡張現実とは、実世界の映像に対して情報を付加して表示する技術である。例えば、ヘッドマウントディスプレイに現実の世界の映像と仮想の物体とを重畳して表示するものや、携帯電話などのモバイル端末の表示部にカメラが撮影した映像と付加情報とを重畳して表示するような、簡易的なものもある。【０００３】
モバイル端末を用いる場合、ＧＰＳ、電子コンパス、ネットワーク接続などの機能を予め備えているため、特に特別なデバイスを加えることなく拡張現実を実現することができ、近年様々な拡張現実のアプリケーションが登場している。【０００４】
これらのアプリケーションでは、カメラにより撮影された画像と、その画像に含まれる現実世界の物体の付随情報とが重畳して表示されるが、付随情報の数が多い場合、付随情報だけで画面が埋め尽くされてしまうという問題がある。【０００５】
そのため、タグと呼ばれるものが用いられている。このタグは、付随情報自体ではなく、背後の物体に付随情報が存在するということをユーザに報知するものである。ユーザがタグを選択すると、そのタグに対応付けられた付随情報がユーザに報知される。【０００６】
しかしながら、個々のタグは小さく、かつ、タグの数は増える一方である。そのため、ユーザがタグを選択する場合、タグ同士が重なって背後のタグが選択できなかったり、タグが密集して所望のタグを容易に選択できなかったりといった問題が発生する。特に、タッチパネル式の携帯端末で操作を行う場合、指の大きさに比較して画面が小さいため、密集しているタグの中から所望のタグを正確に選択することは難しい。【０００７】
上記では拡張現実においてタグが選択される場合を例示したが、表示画像上に３次元的に表示された多くのオブジェクトの中から特定のオブジェクトを選択する場合にも、同様の問題が発生する。例えば、デジタルテレビにおいては、無数の写真を３次元的に表示して、特定の写真をユーザに選択させることがあり、この場合に同様の問題が発生する。【０００８】
そこで、背後に隠れたオブジェクトをユーザが容易に選択できるようにするために、ユーザによる入力装置のボタン操作で、奥行き方向に配列されたオブジェクトを順次にハイライト表示し、所望のオブジェクトがハイライト表示された時に、ユーザにより選択操作を行わせ、当該オブジェクトを選択させる技術が知られている。【０００９】
また、２次元カーソルで選択した画面上の位置から奥行き方向に重なりあう複数個の３次元対象物を一括で選択し、選択した複数個のオブジェクトの中から所望のオブジェクトを選択する技術も知られている（例えば、特許文献１）。【００１０】
しかしながら、上記１つ目の技術では、所望のオブジェクトがハイライト表示されるまで多くのボタンを押す必要があり、所望のオブジェクトを選択するまでに時間がかかるという問題があった。また、上記２つ目の技術では、オブジェクト全体が隠れている場合には位置の指定が困難だったり、タッチパネルで操作する場合には指定したと思った位置とずれた位置として認識されたりすることもあり、誤った位置のオブジェクトが選択されてしまうといった問題があった。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平８−７７２３１号公報
【発明の概要】
【００１２】
本発明の目的は、３次元的に表示された複数のオブジェクトの中から所望のオブジェクトを正確、かつ迅速にユーザに選択させることができる技術を提供することである。
【００１３】
本発明の一局面によるオブジェクト選択装置は、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部とを備え、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画する。
【００１４】
また、本発明の別の一局面によるオブジェクト選択プログラムは、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部としてコンピュータを機能させ、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画する。
【００１５】
また、本発明の更に別の一局面によるオブジェクト選択方法は、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップとを備え、前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画する。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態によるオブジェクト選択装置の構成を示した図である。
【図２】オブジェクト情報データベースのデータ構造の一例を示した模式図である。
【図３】表示情報抽出部が生成する奥行き空間の一例を示した図である。
【図４】本実施の形態においてディスプレイに表示される表示画像の一例を示した図であり、（ａ）はカメラにより撮像された映像とタグとが重畳して表示された表示画像を示し、（ｂ）は（ａ）に示す複数のタグの中から所望のタグが選択された場合にディスプレイに表示される表示画像を示し、（ｃ）は（ａ）の変形例の表示画像を示している。
【図５】本発明の実施の形態による表示画像の一例を示している。
【図６】スライドバーがスライドされた際の奥行き空間を示した図である。
【図７】微調整操作部が表示された表示画面を示した図である。
【図８】（ａ）はユーザのタッチ位置を示した図であり、（ｂ）は同時に複数の関連情報が表示された場合の画面図を示している。
【図９】選択部が奥行き空間に設定する小領域を示した図である。
【図１０】本実施の形態によるオブジェクト選択装置がタグを表示するまでの処理を示したフローチャートである。
【図１１】ユーザが選択したタグに対応する関連情報がディスプレイに表示されるまでの処理を示したフローチャートである。
【図１２】（ａ）、（ｂ）は、選択操作部が表示された表示画像を示した図である。
【図１３】図１２の選択操作部が採用された場合の奥行き空間を示した図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態におけるオブジェクト選択装置について、図面を参照しながら説明する。図１は、本発明の実施の形態によるオブジェクト選択装置の構成を示した図である。以下の説明では、このオブジェクト選択装置を、例えば、スマートフォン等のタッチパネルを備える携帯電話機に適用した場合を例に挙げて説明する。
【００１８】
本オブジェクト選択装置は、センサ部１１、入力・状態変化検知部１２、位置取得部１３、方角取得部１４、オブジェクト情報データベース１５、表示情報抽出部１６、入力部１７、奥行き選択部１８、表示判定部１９、オブジェクト選択部２０、関連情報取得部２１、描画部２２、グラフィックスフレームメモリ２３、映像入力部２４、映像フレームメモリ２５、合成表示部２６、ディスプレイ２７、及びカメラ２８を備えている。
【００１９】
図１において、入力・状態変化検知部１２〜合成表示部２６の各ブロックは、コンピュータをオブジェクト選択装置として機能させるためのオブジェクト選択プログラムを実行することで実現される。このオブジェクト選択プログラムは、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に格納して、ユーザに提供されてもよいし、ネットワーク接続されたサーバからダウンロードさせることで、ユーザに提供されてもよい。
【００２０】
センサ部１１は、ＧＰＳセンサ１１１、方角センサ１１２、及びタッチパネル１１３を備えている。ＧＰＳセンサ１１１は、ＧＰＳ衛星から送信される航法データを取得することで、オブジェクト選択装置の現在位置を周期的に検出し、検出した現在位置を示す位置情報を周期的に取得する。ここで、位置情報としては、例えばオブジェクト選択装置の緯度及び経度が含まれる。
【００２１】
方角センサ１１２は、例えば電子コンパスにより構成され、オブジェクト選択装置の現在の方角を周期的に検出し、検出した方角を示す方角情報を周期的に取得する。ここで、方角情報としては、例えば、オブジェクト選択装置の現在位置から所定の方向（例えば北向きの方向）を基準方向としたときの基準方向に対するオブジェクト選択装置の向きを採用することができる。なお、オブジェクト選択装置の向きとしては、例えば、北向きの方向とディスプレイ２７の表示画面の垂直方向とのなす角度を採用することができる。
【００２２】
入力・状態変化検知部１２は、ユーザによる操作指令の入力又はオブジェクト選択装置の状態変化を検知する。具体的には、入力・状態変化検知部１２は、ユーザがタッチパネル１１３にタッチしたとき、ユーザが操作指令を入力したと判定し、操作指令入力通知を入力部１７に出力する。
【００２３】
状態変化としては、例えば、オブジェクト選択装置の位置の変化及び方角の変化が含まれる。入力・状態変化検知部１２は、ＧＰＳセンサ１１１から周期的に出力される位置情報が変化したとき、オブジェクト選択装置の位置が変化したと判定し、状態変化通知を位置取得部１３に出力する。
【００２４】
また、入力・状態変化検知部１２は、方角センサ１１２から周期的に出力される方角情報が変化したとき、オブジェクト選択装置の方角が変化したと判定し、状態変化通知を方角取得部１４に通知する。
【００２５】
位置取得部１３は、ＧＰＳセンサ１１１により検出された位置情報を取得する。具体的には、位置取得部１３は、入力・状態変化検知部１２から状態変化通知が出力されたとき、ＧＰＳセンサ１１１により検出された位置情報を取得し、取得した位置情報を保持する。位置取得部１３が保持する位置情報は、オブジェクト選択装置を携帯するユーザが移動して、ＧＰＳセンサ１１１によって新たな位置情報が検出される毎に逐次更新される。
【００２６】
方角取得部１４は、方角センサ１１２により検出された方角情報を取得する。具体的には、方角取得部１４は、入力・状態変化検知部１２から状態変化通知が出力されたとき、方角センサ１１２により検出された方角情報を取得し、取得した方角情報を保持する。方角取得部１４が保持する方角情報は、オブジェクト選択装置を携帯するユーザが方角を変えてオブジェクト選択装置の向きが変更される毎に、逐次更新される。
【００２７】
オブジェクト情報データベース１５は、実オブジェクトの情報を保持するデータベースである。ここで、実オブジェクトとは、カメラ２８により撮像され、ディスプレイ２７に表示された映像中に含まれる種々の物体であり、例えばビル等の建物、建物に入っている店舗、及び店舗内に設けられた特定の物体等が該当する。但し、これらに限定されず、オブジェクトの抽象度や粒度に応じて種々の物体が採用され、街全体を指す場合もある。
【００２８】
図２は、オブジェクト情報データベース１５のデータ構造の一例を示した模式図である。オブジェクト情報データベース１５は、１つの実オブジェクトに対して１つのレコードが割り当てられたリレーショナルデータベースにより構成され、例えば、緯度、経度、及び関連情報のフィールドを含んでいる。
【００２９】
つまり、オブジェクト情報データベース１５は、各実オブジェクトのそれぞれについて、緯度、経度、及び関連情報を関連づけて記憶している。ここで、緯度及び経度は、予め測定された各実オブジェクトの地球上での二次元の位置情報である緯度及び経度を示している。なお、図２の例では、緯度及び経度しか含まれていないため、各実オブジェクトを２次元的な位置でしか指定することができない。そこで、緯度及び経度に加えて、各実オブジェクトの地上からの高さを示す高さをオブジェクト情報データベース１５に含ませることが好ましい。これにより、各実オブジェクトの位置を３次元的に特定することができる。
【００３０】
関連情報は、実オブジェクトの内容を説明するための情報であり、例えば、実オブジェクトが店舗の場合、その関連情報は、その店舗の住所、電話番号、及びクーポン等の店舗情報が該当する。また、実オブジェクトが店舗の場合、その関連情報として店舗の評判などを示す口コミ情報を含ませてもよい。
【００３１】
また、実オブジェクトが建物である場合、その建物が建造された年月日、建築家の名前等を関連情報として採用すればよい。また、実オブジェクトが建物の場合、その建物の中に含まれる店舗の店舗情報や、その店舗情報へのリンク情報等を含ませてもよい。なお、オブジェクト情報データベース１５は、オブジェクト選択装置の内部に予め保持されるものであってもよいし、ネットワークを介して接続されたサーバ上に保持されるものであってもよい。
【００３２】
図１に戻り、表示情報抽出部１６は、位置取得部１３により取得された最新の位置情報及び方角取得部１４により取得された最新の方角情報とから、図３に示す奥行き空間を生成し、生成した奥行き空間にオブジェクト情報データベース１５に記憶された実オブジェクトＲＯをプロットすることで表示対象となる実オブジェクトＲＯを抽出する。
【００３３】
図３は、表示情報抽出部１６が生成する奥行き空間の一例を示した図である。図３に示すように奥行き空間は、ディスプレイ２７に表示される表示画像の奥行き方向を示す奥行き軸Ｚによって規定される２次元空間である。
【００３４】
表示情報抽出部１６は、下記のようにして奥行き空間を設定する。まず、位置取得部１３によりオブジェクト選択装置の現在の位置情報が更新されると、表示情報抽出部１６は、更新された現在の位置情報が示す緯度及び経度を現在位置Ｏとして２次元空間内に設定する。ここで、２次元空間は、例えば、緯度に対応するＭ軸と経度に対応するＮ軸との直交する２軸によって規定された２次元の仮想空間である。また、Ｎ軸は方角センサ１１２が検出する北向きの方向に対応している。
【００３５】
次に、表示情報抽出部１６は、現在位置Ｏを始点とし、方角取得部１４が保持している方角情報が示す方角に向けて奥行き軸Ｚを設定する。方角情報が例えば北向きの方向を基準として時計回りにθ１であったとすると、奥行き軸ＺはＮ軸に対してθ１の角度で設定される。以下、現在位置Ｏから離れる方向を奥側と記述し、現在位置Ｏに近づく方向を手前側と記述する。
【００３６】
次に、表示情報抽出部１６は、奥行き軸Ｚによって所定の内角θが２等分され、かつ、現在位置Ｏを通る２本の方角境界Ｌ１，Ｌ２を設定する。ここで、内角θとしては、例えばカメラ２８の映像範囲に応じて予め設定された角度が採用され、例えばカメラ２８の水平方向の画角が採用されている。
【００３７】
次に、表示情報抽出部１６は、オブジェクト情報データベース１５に格納された各実オブジェクトＲＯのうち、方角境界Ｌ１，Ｌ２で囲まれる領域内に位置する実オブジェクトを奥行き空間内にプロットする。この場合、表示情報抽出部１６は、オブジェクト情報データベースに格納された実オブジェクトの緯度及び経度から方角境界Ｌ１，Ｌ２で囲まれる領域内に位置する実オブジェクトを抽出し、抽出した各実オブジェクトを奥行き空間にプロットする。
【００３８】
なお、オブジェクト情報データベース１５に格納された各実オブジェクトＲＯを予め２次元空間内に設定しておいてもよく、この場合、表示情報抽出部１６は、実オブジェクトＲＯをプロットする処理を省くことができる。
【００３９】
次に、表示情報抽出部１６は、現在位置Ｏから距離Ｚｍｉｎ離間した位置に近方境界Ｌ３を設定する。ここで、近方境界Ｌ３は、現在位置Ｏを中心とする半径がＺｍｉｎの円周のうち、方角境界Ｌ１，Ｌ２で挟まれる曲線である。
【００４０】
また、表示情報抽出部１６は、現在位置Ｏから距離Ｚｍａｘだけ離間した位置に遠方境界Ｌ４を設定する。ここで、遠方境界Ｌ４は、現在位置Ｏを中心とする半径がＺｍａｘの円周のうち、方角境界Ｌ１，Ｌ２によって挟まれる曲線である。
【００４１】
ディスプレイ２７には、方角境界Ｌ１，Ｌ２、近方境界Ｌ３、及び遠方境界Ｌ４によって囲まれる表示領域ＧＤ内にプロットされた実オブジェクトＲＯがタグＴ１によって表示される。
【００４２】
図４は、本実施の形態においてディスプレイ２７に表示される表示画像の一例を示した図であり、（ａ）はカメラ２８により撮像された映像とタグＴ１とが重畳して表示された表示画像を示し、（ｂ）は（ａ）に示す複数のタグＴ１の中から所望のタグが選択された場合にディスプレイ２７に表示される表示画像を示し、（ｃ）は（ａ）の変形例の表示画像を示している。図４（ｃ）については後述する。
【００４３】
図４（ａ）、（ｂ）に示すタグＴ１は、背後に表示された実オブジェクトに付随する情報が存在していることをユーザに報知するための小さな円状の画像であり、オブジェクトの一例に相当する。なお、タグＴ１の形状としては円状に限定されず、矩形状、多角形等の種々の形状を採用することができる。
【００４４】
図４（ａ）に示すタグＴ１の中からいずれか１つのタグＴ１がユーザにより選択されると、図４（ｂ）に示すように、選択されたタグＴ１の関連情報がディスプレイ２７に表示される。
【００４５】
図３に示すように、現在位置Ｏから無限遠の実オブジェクトのタグＴ１をディスプレイ２７に表示すると、ディスプレイ２７に表示されるタグＴ１の数が膨大となる。また、ユーザが目視できないほど遠方に位置する実オブジェクトのタグＴ１も表示されるため、これらのタグＴ１が、ユーザの近傍にあり本来表示するべきタグＴ１の表示の邪魔となる。
【００４６】
そこで、本実施の形態では、現在位置Ｏに対して遠方境界Ｌ４より遠くに位置する実オブジェクトのタグＴ１が表示されないようにタグＴ１の表示に制限を設けている。
【００４７】
また、現在位置Ｏから極端に近い実オブジェクトのタグＴ１を表示しても、これらのタグＴ１が表示画像を占有して邪魔になる虞がある。そこで、本実施の形態では、現在位置Ｏに対して近方境界Ｌ３よりも手前側に位置する実オブジェクトのタグＴ１が表示されないようにタグＴ１の表示に制限を設けている。
【００４８】
図１に戻り、入力部１７は、入力・状態変化検知部１２により操作指令入力通知が出力されたとき、ユーザがタッチした表示画像上の座標データを取得する。ここで、座標データとしては、表示画像の垂直方向の座標と水平方向の座標とを含む２次元の座標データが採用される。
【００４９】
また、入力部１７は、取得した座標データに基づいて、ユーザが入力した操作指令が奥行きを選択するための奥行き選択指令であるか、タグＴ１を選択するためのタグ選択指令であるかを判定する。
【００５０】
図５は、本発明の実施の形態による表示画像の一例を示している。図５の例では、右側にスライド操作部ＳＰが表示されている。スライド操作部ＳＰは、枠体ＷＫと枠体ＷＫによって囲まれたスライドバーＢＲとを含む。ユーザはスライドバーＢＲをスライドさせることで奥行き選択指令を入力する。
【００５１】
したがって、入力部１７は、取得した座標データがスライドバーＢＲの領域内に位置する場合、ユーザは奥行き選択指令を入力したと判定する。一方、入力部１７は、取得した座標データがいずれかのタグＴ１の領域内に位置する場合、ユーザはオブジェクト選択指令を入力したと判定する。
【００５２】
なお、入力部１７は、取得した座標データがいずれのタグＴ１の領域内に位置していなくても、座標データが示す位置から一定の距離範囲内にタグＴ１が位置している場合、ユーザはオブジェクト選択指令を入力したと判定する。
【００５３】
そして、入力部１７は、ユーザが奥行き選択指令を入力したと判定した場合、タッチパネル１１３に対してタッチが開始されたときの座標データとタッチが終了されたときの座標データとからスライドバーＢＲのスライド量の変化量を特定し、特定した変化量にタッチが開始されたときのスライド量を加えることで、スライドバーＢＲのスライド量（全長ｘ）を特定し、特定したスライド量を奥行き選択部１８に出力する。一方、入力部１７は、ユーザがオブジェクト選択指令を入力したと判定した場合、取得した座標データをオブジェクト選択部２０に出力する。
【００５４】
なお、図１の例では入力デバイスとしてタッチパネル１１３を採用したが、これに代えて、マウスや赤外線ポインタ等の表示画像の特定の位置を指定することが可能なポインティングデバイスであればどのような入力デバイスを採用してもよい。
【００５５】
また、入力デバイスとして、テレビを遠隔から操作するリモコンのように、オブジェクト選択装置とは別体で設けられたものを採用してもよい。
【００５６】
奥行き選択部１８は、ユーザによって入力される奥行き選択指令に基づいて、奥行き軸Ｚにおける位置を示す奥行き選択位置を選択する。具体的には、奥行き選択部１８は、スライド操作部ＳＰのスライドバーＢＲのスライド量を奥行選択指令として受け付け、スライド量に連動させて奥行き選択位置を変化させる。
【００５７】
図６は、スライドバーＢＲがスライドされた際の奥行き空間を示した図である。奥行き選択部１８は、図５に示すスライドバーＢＲのスライド量を示す全長ｘに応じて、図６に示す奥行き軸Ｚ上の位置に奥行き選択位置Ｚｓを設定する。つまり、奥行き選択部１８は、全長ｘが０の場合は、奥行き選択位置ＺｓをＺｍｉｎの位置、すなわち、近方境界Ｌ３に設定する。また、奥行き選択部１８は、スライドバーＢＲが上側にスライドされて全長ｘが増大すると、それに応じて奥行き選択位置Ｚｓを奥行き軸Ｚに沿って奥側に移動させる。また、奥行き選択部１８は、スライドバーＢＲの全長ｘがＸｍａｘになると、奥行き選択位置ＺｓをＺｍａｘの位置、すなわち、遠方境界Ｌ４に設定する。
【００５８】
また、奥行き選択部１８は、スライドバーＢＲが下側にスライドされて全長ｘが減少すると、それに応じて奥行き選択位置Ｚｓを奥行き軸Ｚに沿って手前側に移動させる。
【００５９】
具体的には、奥行き選択部１８は、奥行き選択位置Ｚｓを以下の式（１）に従って算出する。
【００６０】
Ｚｓ＝（Ｚｍａｘ−Ｚｍｉｎ）＊（（ｘ／Ｘｍａｘ）２）＋Ｚｍｉｎ  （１）
【００６１】
式（１）に示すように（ｘ／Ｘｍａｘ）の項は２乗されている。そのため、スライドバーＢＲの全長ｘが増大するにつれて、全長ｘの変化率に対する奥行き選択位置Ｚｓの変化率が増大されることになる。
【００６２】
これにより、全長ｘが短いほど奥行き選択位置Ｚｓの選択の分解能は高く、全長ｘが長いほど奥行き選択位置Ｚｓの分解能は低くなる。その結果、ユーザは手前側のタグＴ１の表示と非表示との調整を精度良く行うことができる。
【００６３】
なお、奥行き選択部１８は、ユーザによりスライドバーＢＲの位置が上下されると、それに応じてディスプレイ２７の表示画面を更新させてスライドバーＢＲがスライド表示されるように描画部２２に指示する。
【００６４】
また、奥行き選択部１８は、スライドバーＢＲの全長ｘを微調整するための微調整操作部ＤＰがユーザにより操作されると、それに従って全長ｘをスライドさせ、それに連動させて、奥行き選択位置Ｚｓを設定してもよい。
【００６５】
図７は、微調整操作部ＤＰが表示された表示画面を示した図である。図７に示すように微調整操作部ＤＰは、スライド操作部ＳＰの例えば右側に表示されており、一部が表示画面の表面から露出され、表示画面と平行な方向が回転軸となって回転される回転ダイヤルを模擬した表示態様で表示されている。
【００６６】
奥行き選択部１８は、ユーザが微調整操作部ＤＰの表示領域をタッチし、指を上側又は下側に移動させると、その指の移動量ＦＬ１に応じて微調整操作部ＤＰの回転量を離散的に決定し、決定した回転量に応じた変化量ΔｘでスライドバーＢＲの全長ｘを上側又は下側にスライドさせ、かつ、決定した回転量で微調整操作部ＤＰを回転表示させる。
【００６７】
ここで、奥行き選択部１８は、ユーザにより微調整操作部ＤＰが操作されたときの指の移動量ＦＬ１に対する全長ｘの変化量Δｘ１が、ユーザがスライドバーＢＲを直接操作したときの指の移動量ＦＬ１に対する全長ｘの変化量Δｘ２よりも小さくなるようにスライドバーＢＲをスライド表示させる。
【００６８】
つまり、指の移動量がＦＬ１であるとすると、スライドバーＢＲが直接操作された場合、スライドバーＢＲの全長ｘの変化量Δｘ１は例えばＦＬ１となるが、微調整操作部ＤＰが操作された場合、変化量Δｘ２は例えばα・Δｘ１となる。但し、αは０＜α＜１である。本実施の形態では、αとして例えば１／５が採用されるが、これに限定されず、１／３、１／４、１／６等の値を採用してもよい。
【００６９】
なお、微調整操作部ＤＰはダイヤル式である必要はなく、指の移動量ＦＬ１に応じて連続的に回転量が決定される回転体により構成してもよい。この場合、ユーザはより細かく奥行き選択位置Ｚｓを調節することができる。
【００７０】
タッチパネル１１３の操作に不慣れなユーザにとって、スライドバーＢＲを直接操作することは容易ではない。そこで、微調整操作部ＤＰを設け、回転操作に連動してスライドバーＢＲをスライドさせている。
【００７１】
図１に戻り、表示判定部１９は、奥行き空間内において、各実オブジェクトＲＯが奥行き選択位置Ｚｓに対して手前側に位置するか奥側に位置するかを判定し、奥側に位置する実オブジェクトＲＯをタグＴ１が表示される表示対象の実オブジェクトＲＯとして抽出する。
【００７２】
これにより、図７に示すスライドバーＢＲがユーザにより上側に向けてスライドされる、又は微調整操作部ＤＰを上側に回転させることでスライドバーＢＲが上側に向けてスライドされると、それに応じて手前側に表示されたタグＴ１から順次に非表示にされていき、表示されるタグＴ１の数が減らされる。
【００７３】
一方、スライドバーＢＲが垂直方向の下側に向けてスライドされる、又は微調整操作部ＤＰを下側に回転させることでスライドバーＢＲが下側に向けてスライドされると、それに応じて奥側から手前側に向けて表示されるタグＴ１の数が順次に増やされる。
【００７４】
その結果、手前に表示されたタグＴ１に邪魔されて表示されていなかったタグＴ１や、あまり露出されていなかったタグＴ１が大きく露出され、ユーザはこれらのタグＴ１の選択する操作を容易に行うことができる。
【００７５】
ここで、表示判定部１９は、図６に示す奥行き選択位置Ｚｓよりも手前側に位置し、かつ方角境界Ｌ１，Ｌ２に囲まれる領域に位置する実オブジェクトＲＯのタグＴ１を半透明で表示するように描画部２２に描画させてもよい。この場合、描画部２２は、所定の透過率でタグＴ１とカメラ２８により撮像された映像データとを例えばαブレンディング等の手法を用いて合成すればよい。
【００７６】
図１に戻り、オブジェクト選択部２０は、入力部１７によりオブジェクト選択指令が入力されたと判定され、タッチ位置の座標データが出力されると、表示対象のタグＴ１の中からユーザが選択したタグＴ１を特定する。
【００７７】
入力デバイスとしてタッチパネル１１３を用いた場合、ユーザが認識するタッチ位置と、装置が認識するタッチ位置とがずれる虞がある。したがって、タッチ位置の近傍に複数のタグＴ１が表示される場合、ユーザが選択しようとしたタグＴ１とは異なるタグＴ１が選択される虞がある。
【００７８】
本実施の形態によるオブジェクト選択装置では、ユーザは選択しようとするタグＴ１よりも手前に表示されたタグＴ１を非表示にすることができるため、ユーザが選択しようとするタグＴ１はタッチ位置の周辺に表示されたタグＴ１の中で最も手前に表示される可能性が高い。
【００７９】
そこで、オブジェクト選択部２０は、タッチ位置から一定の距離範囲内において最も手前に表示されたタグＴ１をユーザが選択したタグＴ１として特定する。
【００８０】
図８（ａ）は、ユーザのタッチ位置を示した図であり、図８（ｂ）は同時に複数の関連情報が表示された場合の画面図を示している。図８（ａ）において、ＰＱｘはユーザがタッチしたタッチ位置を示している。この場合、オブジェクト選択部２０は、タッチ位置ＰＱｘから一定の距離ｄの範囲内に位置するタグＴ１＿１，Ｔ１＿２，Ｔ１＿３，Ｔ１＿４のうち、最も手前に位置するタグＴ１＿１をユーザが選択したタグとして特定する。ここで、オブジェクト選択部２０は、タグＴ１＿１〜Ｔ１＿４に対応する実オブジェクトＲＯの奥行き空間における位置と現在位置Ｏとの距離が最も短いタグＴ１を、最も手前のタグＴ１として特定すればよい。
【００８１】
このように、オブジェクト選択部２０は、基本的にはタッチ位置から一定の距離ｄ内のタグＴ１の中から最も手前のタグＴ１をユーザが選択したタグＴ１として特定しているが、ユーザが選択しようとするタグＴ１の近傍に複数のタグＴ１が表示されている場合、ユーザはどの位置をタッチすれば所望のタグＴ１を選択することができるか分からない場合がある。
【００８２】
そこで、オブジェクト選択部２０は、タッチ位置に対応する奥行き空間の位置に小領域ＲＤを設定し、設定した小領域ＲＤ内に位置する全ての実オブジェクトＲＯの関連情報をディスプレイ２７に表示させる。
【００８３】
図９は、オブジェクト選択部２０が奥行き空間に設定する小領域ＲＤを示した図である。まず、オブジェクト選択部２０は、最も手前に位置すると判定したタグＴ１に対応する実オブジェクトＲＯの奥行き空間の位置を特定する。図９では、実オブジェクトＲＯ＿ｆがその実オブジェクトＲＯであったとする。次に、オブジェクト選択部２０は、図８（ａ）において、タッチ位置ＰＱｘが表示画像の下辺を左端から内分する内分比（ｍ：ｎ）を求める。次に、オブジェクト選択部２０は、図９に示す奥行き空間において、現在位置Ｏを中心として実オブジェクトＲＯ＿ｆと現在位置Ｏとの距離を半径とする円周を等距離曲線Ｌｘとして設定する。
【００８４】
次に、等距離曲線Ｌｘを方角境界Ｚ１を基準としてｍ：ｎに内分する点を、タッチ位置ＰＱｘに対応する奥行き空間の位置Ｐｘとして求める。
【００８５】
次に、現在位置Ｏから位置Ｐｘを通る直線Ｌ６を設定する。次に、直線Ｌ６によって所定の角度θ３が２等分されるように現在位置Ｏを通る２本の直線Ｌ７，Ｌ８を設定する。次に、位置Ｐｘを直線Ｌ６に沿ってΔｚだけ奥側にずらしずらした位置と現在位置Ｏとの距離を半径とし現在位置Ｏを中心とする円周を等距離曲線Ｌ９として設定する。以上により、等距離曲線Ｌｘ，Ｌ９と直線Ｌ７，Ｌ８とによって囲まれる領域が小領域ＲＤとして設定される。
【００８６】
なお、角度θ３及びΔｚとしては、例えば、想定されるユーザが認識するタッチ位置とタッチパネル１１３が認識するタッチ位置とのずれに基づいて予め定められた値を採用することができる。
【００８７】
そして、オブジェクト選択部２０は、設定した小領域ＲＤに含まれる実オブジェクトＲＯを関連情報取得部２１に通知すると、関連情報取得部２１は、通知された実オブジェクトＲＯの関連情報をオブジェクト情報データベース１５から抽出し、抽出した関連情報を描画部２２に描画させる。
【００８８】
これにより、ディスプレイ２７には、図８（ｂ）に示すような表示画像が表示される。図８（ｂ）の例では、小領域ＲＤに４つの実オブジェクトＲＯが含まれていたため、４つの実オブジェクトＲＯの関連情報が表示されている。
【００８９】
ここで、図８（ｂ）において、表示する関連情報としてオブジェクト情報データベース１５に格納された関連情報のうち実オブジェクトＲＯの名称等の一部の情報のみを表示させておく。そして、ユーザによりタッチパネル１１３がタッチされ、いずれか１つの実オブジェクトＲＯが選択されると、その実オブジェクトＲＯの詳細な関連情報が表示されるようにしてもよい。これにより、一度に複数の関連情報を表示する際の表示スペースの節約を図り、より多くの関連情報を表示することができる。また、一度に表示する関連情報がディスプレイ２７の表示領域に収まらない場合は、これらの関連情報をスクロール表示させればよい。
【００９０】
図１に戻り、関連情報取得部２１は、オブジェクト選択部２０によりユーザが選択したと判定されたタグＴ１の関連情報をオブジェクト情報データベース１５から抽出し、抽出した関連情報を描画部２２に表示させる。なお、上述したように、小領域ＲＤに複数の実オブジェクトＲＯが含まれている場合には、これら複数の実オブジェクトＲＯの関連情報をオブジェクト情報データベース１５から抽出し、抽出した複数の関連情報を描画部２２に表示させる。
【００９１】
描画部２２は、表示判定部１９により抽出された表示対象の実オブジェクトＲＯの表示画像における表示位置を決定し、決定した表示位置にタグＴ１を描画する。
【００９２】
ここで、描画部２２は、奥行き空間において、現在位置Ｏと表示対象となる実オブジェクトＲＯとの位置関係からタグＴ１の表示位置を決定すればよい。具体的には、下記のようにして表示位置を決定すればよい。
【００９３】
まず、図６に示すように、現在位置Ｏを中心とし実オブジェクトＲＯ＿１を通る円周上であって、方角境界Ｌ１，Ｌ２に囲まれる曲線を等距離曲線Ｌ５として設定する。次に、現在位置Ｏと実オブジェクトＲＯ＿１との距離Ｚｏを求める。
【００９４】
次に、図７に示すように距離Ｚｏに対応する矩形領域ＳＱ１を表示画像に設定する。ここで、矩形領域ＳＱ１は、その中心が例えば表示画像の中心ＯＧに位置し、かつ、表示画像の形状と相似な形状を有している。なお、矩形領域ＳＱ１のサイズは、距離Ｚｏに応じて予め定められた縮尺率で縮尺されたサイズを有している。ここで、縮尺率と距離Ｚｏとの関係は、距離Ｚｏが長くなるにつれて縮尺率が増大し、距離Ｚｏが短くなるにつれて縮尺率が減少し、距離Ｚｏが０のとき１となるような関係を有している。
【００９５】
次に、図６に示す実オブジェクトＲＯ＿１が等距離曲線Ｌ５を内分する内分比を求める。ここでは、方角境界Ｌ１を基準として実オブジェクトＲＯ＿１が等距離曲線Ｌ５をｍ：ｎに内分したとする。
【００９６】
次に、図７に示す表示画像の下辺をｍ：ｎに内分する点Ｑ１を求め、求めた点Ｑ１の表示画像における水平方向の座標を、実オブジェクトＲＯ＿１のタグＴ１の表示位置Ｐ１の水平方向の座標Ｈ１として求める。
【００９７】
次に、オブジェクト情報データベース１５に実オブジェクトＲＯ＿１の高さが記憶されている場合は、その高さｈを距離Ｚｏに応じた縮尺率で縮尺して高さｈ´を求め、矩形領域ＳＱ１の下辺から垂直方向に高さｈ´だけ離間した表示画像の垂直方向の座標を表示位置Ｐ１の垂直方向の座標Ｖ１として求める。なお、実オブジェクトＲＯ＿１の高さが記憶されていない場合、座標Ｈ１を通る垂直方向の直線上の適当な位置にタグＴ１を表示すればよい。
【００９８】
次に、距離Ｚｏに応じた縮尺率でタグＴ１の面積を縮尺し、縮尺したタグＴ１を表示位置Ｐ１に表示する。奥行き選択部１８は、タグＴ１が表示対象となる実オブジェクトＲＯのそれぞれについて、上記の処理を行い、表示位置を決定する。
【００９９】
図１に戻り、描画部２２は、奥行き選択部１８からの描画要求にしたがってスライド操作部ＳＰ及び微調整操作部ＤＰをグラフィックスフレームメモリ２３に描画する。また、描画部２２は、関連情報取得部２１からの描画要求にしたがって関連情報をグラフィックスフレームメモリ２３に描画する。
【０１００】
グラフィックスフレームメモリ２３は、描画部２２により描画された画像データを保持するメモリである。映像入力部２４は、カメラ２８により所定のフレームレートで撮像された実世界の映像データを取得し、映像フレームメモリ２５に順次に書き込む。映像フレームメモリ２５は映像入力部２４から所定のフレームレートで出力された映像データを一時的に保持するメモリである。
【０１０１】
合成表示部２６は、映像フレームメモリ２５により保持された映像データとグラフィックスフレームメモリ２３に保持された画像データとを重畳し、実際にディスプレイ２７に表示される表示画像を生成する。ここで、合成表示部２６は、グラフィックスフレームメモリ２３に保持された画像データを、映像フレームメモリ２５に保持された映像データよりも手前に重畳する。これにより、タグＴ１、スライド操作部ＳＰ、及び微調整操作部ＤＰが実世界の映像よりも手前に表示される。ディスプレイ２７は、表面にタッチパネル１１３が貼り付けられた例えば、液晶パネル又は有機ＥＬパネル等で構成され、合成表示部２６で合成された表示画像を表示する。カメラ２８は、所定のフレームレートで実世界の映像データを取得し映像入力部２４に出力する。
【０１０２】
図１０は、本実施の形態によるオブジェクト選択装置がタグＴ１を表示するまでの処理を示したフローチャートである。まず、入力・状態変化検知部１２は、ユーザによる操作指令の入力又はオブジェクト選択装置の状態変化を検知する（ステップＳ１）。ここで、操作指令の入力は、ユーザがタッチパネル１１３をタッチしたことであり、状態変化としては、オブジェクト選択装置の位置の変化及び方角の変化が含まれる。
【０１０３】
次に、入力・状態変化検知部１２がオブジェクト選択装置の位置の変化を検知した場合（ステップＳ２：ＹＥＳ）、位置取得部１３はＧＰＳセンサ１１１から位置情報を取得する（ステップＳ３）。
【０１０４】
一方、入力・状態変化検知部１２がオブジェクト選択装置の方角の変化を検知した場合（ステップＳ２：ＮＯかつステップＳ４：ＹＥＳ）、方角取得部１４は方角センサ１１２から方角情報を取得する（ステップＳ５）。
【０１０５】
次に、表示情報抽出部１６は、オブジェクト選択装置の最新の位置情報及び方角情報を用いて、奥行き空間を生成し、表示領域ＧＤ内に位置する実オブジェクトＲＯを表示対象となる実オブジェクトＲＯとして抽出する（ステップＳ６）。
【０１０６】
一方、入力部１７が、ユーザにより奥行き選択指令が入力されたと判定した場合（ステップＳ４：ＮＯかつステップＳ７：ＹＥＳ）、奥行き選択部１８は、ユーザにより操作されたスライドバーＢＲの全長ｘから、奥行き選択位置Ｚｓを設定する（ステップＳ８）。
【０１０７】
次に、表示判定部１９は、表示情報抽出部１６により抽出された表示対象の実オブジェクトＲＯの中から、奥行き選択部１８により設定された奥行き選択位置Ｚｓよりも奥側に位置する実オブジェクトＲＯを表示対象の実オブジェクトＲＯとして抽出する（ステップＳ９）。
【０１０８】
次に、描画部２２は、奥行き空間において、現在位置Ｏと実オブジェクトＲＯとの位置関係からタグＴ１の表示位置を決定する（ステップＳ１０）。
【０１０９】
次に、描画部２２は、決定した表示位置に表示対象の実オブジェクトＲＯのタグＴ１を描画する（ステップＳ１１）。次に、合成表示部２６は、グラフィックスフレームメモリ２３が保持する画像データが、映像フレームメモリ２５に保持された映像データに対して上側に重畳されるように画像データ及び映像データを合成して表示画像を生成し、ディスプレイ２７に表示する（ステップＳ１２）。
【０１１０】
図１１は、ユーザが選択したタグＴ１に対応する関連情報がディスプレイ２７に表示されるまでの処理を示したフローチャートである。
【０１１１】
まず、入力・状態変化検知部１２は、ユーザから操作指令が入力されたことを検知する（ステップＳ２１）。次に、入力部１７がユーザからの操作指令がタグ選択指令であると判定すると（ステップＳ２２：ＹＥＳ）、オブジェクト選択部２０は、図８（ａ）に示すように、タッチ位置ＰＱｘから距離ｄ内にあるタグのうち最も手前に位置するタグＴ１＿１を抽出する（ステップＳ２３）。
【０１１２】
一方、入力部１７がユーザからの操作指令がタグ選択指令でないと判定すると（ステップＳ２２：ＮＯ）、処理をステップＳ２１に戻す。
【０１１３】
次に、オブジェクト選択部２０は、図９に示すように、タグＴ１＿１に対応する実オブジェクトＲＯ＿ｆの奥行き空間での位置に小領域ＲＤを設定し、設定した小領域ＲＤに含まれる実オブジェクトＲＯを抽出する（ステップＳ２４）。
【０１１４】
次に、関連情報取得部２１は、抽出された実オブジェクトＲＯの関連情報をオブジェクト情報データベース１５から取得する（ステップＳ２５）。次に、描画部２２は、関連情報取得部２１により取得された関連情報をグラフィックスフレームメモリ２３に描画する（ステップＳ２６）。
【０１１５】
このとき、オブジェクト選択部２０が複数の実オブジェクトＲＯを抽出した場合は、図８（ｂ）のように複数の実オブジェクトＲＯの関連情報が描画される。
【０１１６】
次に、合成表示部２６は、グラフィックスフレームメモリ２３が保持する画像データが、映像フレームメモリ２５が保持する映像データよりも上側に表示されるように、画像データ及び映像データを合成し、ディスプレイ２７に表示する（ステップＳ２７）。
【０１１７】
なお、オブジェクト選択部２０が複数の実オブジェクトＲＯを抽出した場合、奥行き選択部１８が設定した奥行き選択位置Ｚｓに最も近い１つ実オブジェクトＲＯのみの関連情報をディスプレイ２７に表示してもよい。
【０１１８】
また、図８（ｂ）に示す複数の関連情報の中から１つの関連情報を選択させるための画像をディスプレイ２７に表示し、ユーザにより選択された１つの関連情報をディスプレイ２７に表示させるようにしてもよい。
【０１１９】
また、関連情報を表示するとき、合成表示部２６は、映像フレームメモリ２５に保持された映像データを合成せずに、グラフィックスフレームメモリ２３に保持された画像データのみから表示画像を生成し、ディスプレイ２７に表示させてもよい。
【０１２０】
また、上記説明では、図７に示すようにスライドバーＢＲを用いてユーザに奥行き選択位置Ｚｓを選択させたが、本発明はこれに限定されず、図１２に示す選択操作部ＫＰを用いてユーザに奥行き選択位置Ｚｓを選択させてもよい。
【０１２１】
図１２（ａ）、（ｂ）は、選択操作部ＫＰが表示された表示画像を示した図である。選択操作部ＫＰが採用される場合、奥行き空間は、奥行き軸Ｚを区画することで複数の奥行き領域に区画されている。図１３は、図１２の選択操作部ＫＰが採用された場合の奥行き空間を示した図である。
【０１２２】
図１３に示すように、奥行き空間は、奥行き軸Ｚを区画することで７個の奥行き領域ＯＤ１〜ＯＤ７に区画されている。具体的には、奥行き空間は、現在位置Ｏを中心として同心円状に７個の領域に表示領域ＧＤを区画することで、７個の奥行き領域ＯＤ１〜ＯＤ７が設定されている。ここで、奥行き領域ＯＤ１〜ＯＤ７のそれぞれの幅は、現在位置Ｏから離れるにつれて小さくなるように設定されてもよいし、同一であってもよい。
【０１２３】
図１２（ａ）に示すように、選択操作部ＫＰは、奥行き領域ＯＤ１〜ＯＤ７に対応付けられ、色分けして配列された複数の選択領域ＤＤ１〜ＤＤ７を含んでいる。ここで、奥行き領域ＯＤ１〜ＯＤ７は７個存在するため、選択領域ＤＤ１〜ＤＤ７は７個存在する。
【０１２４】
ユーザは、タッチパネル１１３をタッチすることで、選択領域ＤＤ１〜ＤＤ７のうちいずれか１つの選択領域を選択して奥行き操作指令を入力する。以下、奥行き領域ＯＤ１〜ＯＤ７を区別しない場合は奥行き領域ＯＤと記述し、選択領域ＤＤ１〜ＤＤ７を区別しない場合は、選択領域ＤＤと記述する。また、奥行き領域ＯＤの個数及び選択領域ＤＤの個数は７個に限定されず、２個以上６個以下、８個以上の適当な個数を採用してもよい。
【０１２５】
描画部２２は、各実オブジェクトＲＯに対し、属している奥行き領域ＯＤに対応付けられた選択領域ＤＤの色と同一の色を付して各実オブジェクトＲＯのタグＴ１を描画する。
【０１２６】
例えば、選択領域ＤＤ１〜ＤＤ７に対して第１〜第７の色が付されているとすると、描画部２２は、奥行き領域ＯＤ１に位置する実オブジェクトＲＯのタグＴ１には第１の色を付し、奥行き領域ＯＤ２に位置する実オブジェクトＲＯのタグＴ１には第２の色を付すというようにして、各タグＴ１に色を付す。
【０１２７】
そして、ユーザにより例えば選択領域ＤＤ３がタッチされると、奥行き選択部１８は、選択領域ＤＤ３に対応付けられた奥行き領域ＯＤ３の手前側の境界線の奥行き軸Ｚにおける位置を奥行き選択位置Ｚｓとして選択する。
【０１２８】
そして、表示判定部１９は奥行き選択位置Ｚｓよりも奥側に位置する実オブジェクトＲＯを表示対象の実オブジェクトＲＯとして抽出し、抽出した実オブジェクトＲＯのタグＴ１を描画部２２に描画させる。したがって、ユーザにより選択領域ＤＤ３がタッチされた場合、図１２（ａ）において、第１及び第２の色で表示されたタグＴ１が非表示となり、第３〜第７の色で表示されたタグＴ１のみが表示される。
【０１２９】
なお、第１の色〜第７の色としては、第１の色から第７の色に向かうにつれて色が徐々に変化するようなグラデーションの色を採用することが好ましい。
【０１３０】
上記説明では、カメラ２８が撮像した映像データに含まれる実オブジェクトＲＯにタグＴ１を重畳させて表示させる態様を採用したが本発明はこれに限定されない。例えば、アイコンやフォルダを３次元的に表示するコンピュータやＡＶ機器のグラフィカルユーザインターフェイスに本発明を適用してもよい。
【０１３１】
この場合、上記説明で用いたアイコンやフォルダからなるオブジェクトを上記の実オブジェクトＲＯと同様に取り扱い、図４（ｃ）に示すように、タグＴ１に代えてオブジェクトＯＢを３次元的に表示すればよい。図４（ｃ）の例では、手前側のオブジェクトＯＢから奥側のオブジェクトＯＢに向けて徐々にオブジェクトＯＢの面積が小さくされており、オブジェクトＯＢが３次元的に表示されていることが分かる。
【０１３２】
この場合、奥行き空間に各オブジェクトＯＢの位置をプロットしておき、スライドバーＢＲのスライド量に応じて奥行き選択位置Ｚｓが設定されると、表示判定部１９は、奥行き選択位置Ｚｓよりも奥側のオブジェクトＯＢを表示対象のオブジェクトＯＢとして抽出し、描画部２２に描画させればよい。
【０１３３】
また、図１２（ｂ）に示すように、図１２（ａ）と同様にして、各オブジェクトＯＢが属している奥行き領域ＯＤに対応する色を用いて、各オブジェクトＯＢを表示してもよい。この場合、選択操作部ＫＰの中のいずれかの選択領域ＤＤがタッチされると、タッチされた選択領域ＤＤに対応する奥行き領域ＯＤの手前側の境界線の奥行き軸Ｚにおける位置が奥行き選択位置Ｚｓとして設定され、表示判定部１９は、奥行き選択位置Ｚｓより奥側のオブジェクトＯＢを表示対象のオブジェクトＯＢとして抽出し、描画部２２に描画させればよい。
【０１３４】
また、図１２（ａ）、（ｂ）に示す奥行き選択操作部ＫＰにスライドバーＢＲを含ませても良い。この場合、ユーザはスライドバーＢＲの先端を所望の選択領域ＤＤに位置決めすると、その選択領域ＤＤに対応する奥行き領域ＯＤよりも奥側のタグＴ１又はオブジェクトＯＢがディスプレイ２７に描画される。
【０１３５】
また、上記説明では、オブジェクト選択装置をスマートフォンで構成する例を示したが、これに限定されず、ヘッドマウントディスプレイに適用してもよい。
【０１３６】
また、上記説明では、スライド操作部ＳＰ、選択操作部ＫＰ、及び微調整操作部ＤＰをディスプレイ２７に表示させる態様を示したが、これに限定されず、物理的な入力デバイスとして構成してもよい。
【０１３７】
また、上記説明では、スライド操作部ＳＰ、選択操作部ＫＰ、及び微調整操作部ＤＰをディスプレイ２７に表示させる態様を示したが、これに限定されず、オブジェクト選択装置が、例えば加速度センサのような機器自体の傾きを検出する機能を備えたモバイル端末の場合、この端末の傾きの変化の方向および変化の量に基づき奥行き選択指令を行うようにしてもよい。この場合、例えば、携帯端末を手前または奥に傾けることがスライド操作部ＳＰのスライドバーＢＲを上下にスライドさせることに相当し、傾きの変化の量がスライドバーＢＲのスライド量に相当する。
【０１３８】
本発明の技術的特徴をまとめると下記のようになる。
【０１３９】
（１）本発明の一局面によるオブジェクト選択装置は、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部とを備え、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画する。
【０１４０】
また、本発明の別の一局面によるオブジェクト選択プログラムは、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部としてコンピュータを機能させ、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画する。
【０１４１】
また、本発明の更に別の一局面によるオブジェクト選択方法は、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップとを備え、前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画する。
【０１４２】
これらの構成によれば、表示画像の奥行き方向を示す奥行き軸によって規定される奥行き空間に各オブジェクトが配置されている。各オブジェクトは、奥行き空間の配置された位置に対応する表示画像の表示位置に描画され、表示画像上で３次元的に表示される。
【０１４３】
ユーザにより奥行選択指令が入力されると、その奥行選択指令に基づいて、奥行き選択位置が選択される。各オブジェクトは、奥行き選択位置に対して手前側に位置するか奥側に位置するが判定され、奥側に位置するオブジェクトのみが表示画像に描画される。
【０１４４】
つまり、ユーザは、奥行き選択位置を選択すると、その奥行き選択位置よりも手側に位置するオブジェクトを非表示にすることができる。そのため、手前側に位置するオブジェクトの存在によって僅かしか表示されていなかったオブジェクト、或いは全く表示されていなかったオブジェクトが、手前に位置するオブジェクトが非表示となることで大きく露出され、ユーザはこのオブジェクトを容易かつ迅速に選択することができる。
【０１４５】
（２）上記構成において、ユーザからの操作によって所定方向にスライドされるスライド操作部を更に備え、前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させることが好ましい。
【０１４６】
この構成によれば、ユーザはスライド操作部のスライド量を増大させていくと、それに連動して手前側のオブジェクトが漸次に非表示とされていくため、簡便な操作により非表示にするオブジェクトを選択することができる。
【０１４７】
（３）上記構成において、ユーザからの操作によって前記スライド操作部のスライド量を微調整する微調整操作部を更に備え、前記スライド量は、ユーザにより前記微調整操作部が操作されたときに前記表示部に表示される変化量が、ユーザにより前記スライド操作部が操作されたときに前記表示部に表示される変化量よりも小さく設定されていることが好ましい。
【０１４８】
この構成によれば、ユーザはスライド操作部のスライド量を微調整することができるため、スライド操作部のスライド量をより正確に調節することができる。これにより、ユーザは所望のオブジェクトを確実に露出させ、当該オブジェクトを確実に選択することができる。また、スライド操作部を直接操作して、スライド操作部のスライド量を粗調整し、その後、微調整操作部を用いてスライド操作部のスライド量を微調整するという操作態様が可能となり、迅速かつ正確にスライド量を調整することができる。また、スライド操作部の操作に慣れていないユーザであっても、微調整操作部を操作することで、スライド操作部のスライド量を所望のスライド量に容易に調節することができる。
【０１４９】
（４）上記構成において、前記微調整操作部は、回転ダイヤルにより構成され、前記奥行き選択部は、前記回転ダイヤルを回転させることでスライドされた前記スライド操作部のスライド量に連動させて前記奥行き選択位置を変化させることが好ましい。
【０１５０】
この構成によれば、ユーザは回転ダイヤルの操作に連動して邪魔なオブジェクトを非表示にすることができる。
【０１５１】
（５）上記構成において、前記奥行き選択部は、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させることが好ましい。
【０１５２】
この構成によれば、ユーザの関心の高い手前のオブジェクトの表示と非表示との調整を精度良く行うことができる。
【０１５３】
（６）上記構成において、前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択することが好ましい。
【０１５４】
この構成によれば、所望のオブジェクトに付された色と同一色の選択領域を選択すると、当該オブジェクトよりも手前側に表示された異色のオブジェクトが非表示にされるため、色を指標として所望のオブジェクトを容易に露出させることができる。
【０１５５】
（７）上記構成において、前記表示部は、タッチパネルにより構成され、ユーザがタッチした表示画像上のタッチ位置から一定の領域内に位置する前記表示対象のオブジェクトのうち最も手前に表示されたオブジェクトを選択するオブジェクト選択部を更に備えることが好ましい。
【０１５６】
ユーザは所望のオブジェクトが表示画像上で最も手前に表示されるように奥行き選択位置を調整すると考えられる。したがって、タッチ位置が所望のオブジェクトからずれていたとしても、ユーザは所望のオブジェクトを選択することができる。
【０１５７】
（８）上記構成において、前記オブジェクト選択部は、前記タッチ位置に対応する前記奥行き空間の位置から一定の距離範囲内に位置する前記表示対象のオブジェクトを選択候補のオブジェクトとして抽出することが好ましい。
【０１５８】
この構成によれば、ユーザがタッチしたタッチ位置の周囲に多数のオブジェクトが存在している場合、これら多数のオブジェクトが選択候補のオブジェクトとして抽出される。そのため、選択候補として抽出されたオブジェクトの中から、所望のオブジェクトをユーザに確実に選択させることができる。
【産業上の利用可能性】
【０１５９】
本発明にかかるオブジェクト選択装置は、３次元的に表示された多くのオブジェクトの中から特定のオブジェクトを容易に選択する場合において有用であり、３次元の描画機能を備える携帯機器、デジタルＡＶ機器などにおいて有効である。
【図１】
2011155118.tif 000003
【図２】
2011155118.tif 000004
【図３】
2011155118.tif 000005
【図４】
2011155118.tif 000006
【図５】
2011155118.tif 000007
【図６】
2011155118.tif 000008
【図７】
2011155118.tif 000009
【図８】
2011155118.tif 000010
【図９】
2011155118.tif 000011
【図１０】
2011155118.tif 000012
【図１１】
2011155118.tif 000013
【図１２】
2011155118.tif 000014
【図１３】
2011155118.tif 000015
【国際調査報告】
2011155118.tif 000016
2011155118.tif 000017
2011155118.tif 000018
2011155118.tif 000019