(57)【要約】【課題】提示されるコンテンツや機器が備える機能を使用者にとって視覚的に分かり易く表示するとともに、使用者が直感的に操作できるようにする。【解決手段】  情報選択処理ブロック５３は、仮想カメラの撮像方向の延長直線Ｌ軸上において、最小値Ｌｎと最大値Ｌｍを決めてＬｍ−Ｌｎを仮想カメラ座標系原点からみたときの奥行き方向の選択範囲とする。また、Ｌ軸からの距離の最大値ｔｒを決めて半径ｔｒ、高さＬｍ−Ｌｎの円柱空間を選択空間領域とする。このように規定される選択空間領域に対して、（１）オブジェクト中心又はオブジェクトの外縁が仮想カメラの選択空間領域内にある（２）オブジェクト中心又はオブジェクトの外縁がＢＣ間距離の最大値ｔｒ内にある（３）（１）、（２）を満たすオブジェクトが複数ある場合、仮想カメラ原点との距離ｓが最小である（４）１〜３を満たすオブジェクトが複数ある場合、仮想カメラ撮像中心軸との距離ｔが最小である、を条件としてオブジェクトを選択する。【選択図】図６
2006146440.tif 000002
【特許請求の範囲】
【請求項１】
当該機器自身の移動方向と当該機器に表示される物体の映像とを連動して表示可能な電子機器において、
３次元仮想空間データ及び３次元仮想物体データを格納する記憶手段と、
上記３次元仮想空間データから３次元仮想空間を構築し上記３次元仮想物体データから構築される３次元仮想物体に関連するコンテンツ又は該コンテンツの格納場所を示す情報を３次元仮想物体にリンクする仮想空間情報処理手段と、
上記構築された３次元仮想空間の一部及びコンテンツを表示する表示手段と、
当該機器の平面方向への移動を検出する平面移動検出手段と、
当該機器の垂直方向への移動を検出する垂直移動検出手段と、
上記表示手段に表示される３次元仮想空間を上記平面移動検出手段において検出された平面方向の移動量及び上記垂直移動検出手段において検出された垂直方向の移動量に応じてスクロールさせる表示処理手段と、
上記表示手段に表示される３次元仮想空間における当該機器を中心とする座標系に対して固定され上記表示手段に表示される３次元仮想空間よりも狭い所定の有効空間領域を選択空間領域として、該選択空間領域に接触した３次元仮想物体又は少なくとも一部が有効空間領域内に含まれている３次元仮想物体にリンクされたコンテンツ又は該コンテンツの格納場所を示す情報を選択する情報選択処理手段と
を備えることを特徴とする電子機器。
【請求項２】
上記情報選択処理手段は、上記選択空間領域の中心軸により近い位置にある３次元仮想物体を優先的に選択することを特徴とする請求項１記載の電子機器。
【請求項３】
上記情報選択処理手段は、上記選択空間領域において当該機器を中心とする座標系原点により近い位置にある３次元仮想物体を優先的に選択することを特徴とする請求項１記載の電子機器。
【請求項４】
上記選択空間領域は、円柱で表されることを特徴とする請求項１記載の電子機器。
【請求項５】
上記選択空間領域は、多角柱で表されることを特徴とする請求項１記載の電子機器。
【請求項６】
上記選択空間領域は、立方体で表されることを特徴とする請求項１記載の電子機器。
【請求項７】
上記選択空間領域は、球で表されることを特徴とする請求項１記載の電子機器。
【請求項８】
上記選択空間領域は、多角錐で表されることを特徴とする請求項１記載の電子機器。
【請求項９】
電子機器自身の移動方向と当該電子機器に表示される物体の映像とを連動して表示し表示された情報を選択する情報表示選択方法において、
３次元仮想空間データから３次元仮想空間を構築し３次元仮想物体データから構築される３次元仮想物体に関連するコンテンツ又は該コンテンツの格納場所を示す情報を３次元仮想物体にリンクする仮想空間情報処理工程と、
上記電子機器の平面方向への移動を検出する平面移動検出工程と、
上記電子機器の垂直方向への移動を検出する垂直移動検出工程と、
上記仮想空間情報処理工程において構築された３次元仮想空間の一部を上記平面移動検出工程で検出された平面方向の移動量及び上記垂直移動検出工程で検出された垂直方向の移動量に応じてスクロール表示させる表示処理工程と、
上記３次元仮想空間における上記電子機器を中心とする座標系に対して固定され上記表示処理工程で表示される３次元仮想空間よりも狭い所定の有効空間領域を選択空間領域として、該選択空間領域に接触した３次元仮想物体又は少なくとも一部が有効空間領域内に含まれている３次元仮想物体にリンクされたコンテンツ又は該コンテンツの格納場所を示す情報を選択する情報選択処理工程と
を有することを特徴とする情報表示選択方法。
【請求項１０】
上記情報選択処理工程は、上記選択空間領域の中心軸により近い位置にある３次元仮想物体を優先的に選択することを特徴とする請求項９記載の情報表示選択方法。
【請求項１１】
上記情報選択処理工程は、上記選択空間領域において当該機器を中心とする座標系原点により近い位置にある３次元仮想物体を優先的に選択することを特徴とする請求項９記載の情報表示選択方法。
【請求項１２】
上記選択空間領域は、円柱で表されることを特徴とする請求項９記載の情報表示選択方法。
【請求項１３】
上記選択空間領域は、多角柱で表されることを特徴とする請求項９記載の情報表示選択方法。
【請求項１４】
上記選択空間領域は、立方体で表されることを特徴とする請求項９記載の情報表示選択方法。
【請求項１５】
上記選択空間領域は、球で表されることを特徴とする請求項９記載の情報表示選択方法。
【請求項１６】
上記選択空間領域は、多角錐で表されることを特徴とする請求項９記載の情報表示選択方法。
【請求項１７】
上記表示処理工程は、上記選択空間領域によって選択された３次元仮想物体の状態を変更することを特徴とする請求項９記載の情報表示選択方法。
【請求項１８】
上記表示処理工程は、上記選択空間領域によって選択された３次元仮想物体を周期的又は不規則に拡大縮小することを特徴とする請求項１７記載の情報表示選択方法。
【請求項１９】
上記表示処理工程は、上記選択空間領域によって選択された３次元仮想物体の色調を周期的又は不規則に変更することを特徴とする請求項１７記載の情報表示選択方法。
【請求項２０】
上記表示処理工程は、上記選択空間領域によって選択された３次元仮想物体の形状を周期的又は不規則に変更することを特徴とする請求項１７記載の情報表示選択方法。
【請求項２１】
上記表示処理工程は、上記選択空間領域によって選択された３次元仮想物体の状態を周期的又は不規則に変更するとともに音を発生することを特徴とする請求項１７記載の情報表示選択方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者が音楽データ、映像データ、Ｗｅｂサイト等のコンテンツを再生したり、閲覧したりできる電子機器に関する。また本発明は、音楽データ、映像データ、Ｗｅｂサイト等のコンテンツを再生したり、閲覧したりできる機能を備えた機器における再生コンテンツの提示のしかたや装置の各種機能を選択する情報表示選択方法に関する。
【背景技術】
【０００２】
デジタル化技術の普及に伴い、音楽データ、映像データ等を含む、いわゆるコンテンツデータがデジタル的に記録媒体に記録又は再生されるようになってきた。パーソナルコンピュータ等の情報処理装置を使用すれば、音楽コンテンツ及び映像コンテンツをハードディスク等の内蔵記録媒体に記録して管理することができる。
【０００３】
ＰＤＡ（Personal Digital Assistants）等に代表される携帯型情報処理端末、携帯型電話器等の発達も著しい。例えば、携帯型電話器でありながら、音楽データ、映像データ等が再生可能であったり、インターネットに接続可能でＷｅｂサイトを閲覧することができたりすることが標準的になりつつあって、機器のマルチメディア化がより一層進行し、機能上の電子機器間の区別もなくなってきている。また、インターネット等のネットワークの発達に相俟って、これら携帯可能な情報処理端末は、音楽データ、映像データ等といった、いわゆるコンテンツデータを、ネットワークを介してダウンロードすることもできる。また、記憶媒体の高密度化によって、携帯型の情報処理端末であっても、各種コンテンツを充分に格納できるようになった。
【０００４】
これら携帯型情報処理端末は、小型化ゆえに表示部が小さいため、情報量の多い画像などは一度に表示できないことがある。このため、表示画面を縮小して一度に表示するか、例えば表示部に一定範囲の画像を表示し、ボタン操作等に応じて表示部に表示させる画像を移動させる動作（いわゆるスクロールである。）を行うことができるようにしている。
【０００５】
しかし、携帯型情報処理端末は、据置き型或いはノート型パーソナルコンピュータのようなキーボード、マウス等の入力デバイスを備えることができないうえに、操作入力用に設置するボタンの数も制限されたり、サイズも小さかったり、テンキー等の限られた入力部に数字以外の入力キーを割り当てたり、入力ペン等により表示画面に直接入力する方法を採ることでユーザからの入力操作に対応しているため、ユーザにとっては操作入力が行いづらかった。また端末の機能が充実するほど、操作性の悪さが顕著になり、特に入力ボタン、入力ペン等による操作方法を採用している端末の場合、ユーザが端末を直感的に操作するためには、やはりある程度の「慣れ」が必要であった。更に、情報処理端末が大量のコンテンツを格納できるタイプであれば、ユーザにとって所望のコンテンツを選択する処理は、更に複雑で操作が複雑なものとなった。
【０００６】
家電機器の操作は、ユーザにとって日常的なものであり、これら機器の操作方法に難があるのは問題である。ユーザが、家電機器に格納された情報の選択、家電機器の機能変更の際等を実行するうえで煩雑な操作を要するのであってはならない。
【０００７】
そこで、例えば、特開２００２−７０２７号公報（特許文献１）には、携帯電話機やモバイル用コンピュータのような表示部が小型の装置において筐体（本体）を移動させることにより表示部に表示される画面をスクロールする技術が開示されている。例えば、ユーザがこの装置を手にして装置を右方向に移動させると、表示される画像も同様に右方向にスクロールするというものである。
【０００８】
また、ｘ方向とｙ方向だけでなく、更にｚ方向の移動を検出するセンサを設けることで、表示部に表示される画面の拡大縮小や、画面のアングル変更も装置を移動することによって行うようにした電子機器が、本願発明の発明者によって提案されている（特許文献２参照）。
【０００９】
【特許文献１】特開２００２−７０２７号公報
【特許文献２】特開２００４−１０２７３６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
特許文献２に開示された技術では、ユーザは、初期画面と呼ばれている画面（２次元）における選択項目を選択するとき、本体を動かしてカーソルを移動させて所望の選択項目にカーソルを合わせていた。このとき装置は、画面内において、画面中心又は画面中心に最も近い位置にある選択項目を単純にハイライト表示することによって、ユーザに選択したことが分かるようにしていた。
【００１１】
ところがこの方法では、ユーザによって選択される選択領域が単なる画面（２次元）の場合には問題なく利用できるが、例えば、仮想空間を３次元に拡張して３次元空間上に選択項目を対応づけるような発展的な場合を想定したとき、選択項目を正確に選択することが困難になると予想される。
【００１２】
例えば、選択領域及び選択項目を３次元に拡張した場合、３次元仮想空間内における選択項目の位置関係に「奥行き」が加わる。そのため、選択項目としての３次元物体が表示された３次元仮想空間内の同じ方向であっても奥行きの異なる箇所に重なって存在することがある。このように方向が同じであって奥行きが異なる箇所にある選択項目としての３次元物体を区別することが難しくなると予想される。
【００１３】
そこで本発明は、上述した従来の実情に鑑みて提案されたものであり、表示部に表示される対象物体の表示のしかたと装置の移動とが連動した表示が実行可能な電子機器において、仮想空間を３次元に拡張した場合であっても、提示されるコンテンツや機器が備える機能といった表示内容を使用者にとって視覚的に分かり易く表示するとともに選択操作が正確に行え、使用者が直感的に操作できる電子機器、また機器によって提示されるコンテンツや機器が備える機能を使用者にとって視覚的に分かり易く表示するとともに使用者が直感的に選択操作できる情報表示選択方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した目的を達成するために、本発明に係る電子機器は、当該機器自身の移動方向と当該機器に表示される物体の映像とを連動して表示可能な電子機器において、３次元仮想空間データ及び３次元仮想物体データを格納する記憶手段と、３次元仮想空間データから３次元仮想空間を構築し３次元仮想物体データから構築される３次元仮想物体に関連するコンテンツ又は該コンテンツの格納場所を示す情報を３次元仮想物体にリンクする仮想空間情報処理手段と、構築された３次元仮想空間の一部及びコンテンツを表示する表示手段と、当該機器の平面方向への移動を検出する平面移動検出手段と、当該機器の垂直方向への移動を検出する垂直移動検出手段と、表示手段に表示される３次元仮想空間を平面移動検出手段において検出された平面方向の移動量及び垂直移動検出手段において検出された垂直方向の移動量に応じてスクロールさせる表示処理手段と、表示手段に表示される３次元仮想空間における当該機器を中心とする座標系に対して固定され表示手段に表示される３次元仮想空間よりも狭い所定の有効空間領域を選択空間領域として、該選択空間領域に接触した３次元仮想物体又は少なくとも一部が有効空間領域内に含まれている３次元仮想物体にリンクされたコンテンツ又は該コンテンツの格納場所を示す情報を選択する情報選択処理手段とを備えることにより、上述した目的を達成する。
【００１５】
特に情報選択処理手段は、選択空間領域の中心軸により近い位置にある３次元仮想物体ほど、また当該機器を中心とする座標系原点により近い位置にある３次元仮想物体ほど優先的に選択する。ここでの選択空間領域は、円柱、多角柱、立方体、球或いは多角錐でもよいとする。
【００１６】
また、上述した目的を達成するために、本発明に係る情報表示選択方法は、電子機器自身の移動方向と当該電子機器に表示される物体の映像とを連動して表示し表示された情報を選択する情報表示選択方法において、３次元仮想空間データから３次元仮想空間を構築し３次元仮想物体データから構築される３次元仮想物体に関連するコンテンツ又は該コンテンツの格納場所を示す情報を３次元仮想物体にリンクする仮想空間情報処理工程と、電子機器の平面方向への移動を検出する平面移動検出工程と、電子機器の垂直方向への移動を検出する垂直移動検出工程と、仮想空間情報処理工程において構築された３次元仮想空間の一部を平面移動検出工程で検出された平面方向の移動量及び垂直移動検出工程で検出された垂直方向の移動量に応じてスクロール表示させる表示処理工程と、３次元仮想空間における当該電子機器を中心とする座標系に対して固定され表示処理工程で表示される３次元仮想空間よりも狭い所定の有効空間領域を選択空間領域として、該選択空間領域に接触した３次元仮想物体又は少なくとも一部が有効空間領域内に含まれている３次元仮想物体にリンクされたコンテンツ又は該コンテンツの格納場所を示す情報を選択する情報選択処理工程とを有することにより、上述した目的を達成する。
【００１７】
特に情報選択処理工程は、選択空間領域の中心軸により近い位置にある３次元仮想物体ほど、また当該機器を中心とする座標系原点により近い位置にある３次元仮想物体ほど優先的に選択する。ここでの選択空間領域は、円柱、多角柱、立方体、球或いは多角錐でもよいとする。
【００１８】
また、表示処理工程は、選択空間領域によって選択された３次元仮想物体の状態を変更する。具体的に、選択空間領域によって選択された３次元仮想物体を周期的又は不規則に拡大縮小してもよいし、３次元仮想物体の色調を周期的又は不規則に変更してもよいし、３次元仮想物体の形状を周期的又は不規則に変更してもよい。また、３次元仮想物体の状態を周期的又は不規則に変更するとともに音を発生してもよい。
【発明の効果】
【００１９】
本発明によれば、表示部に表示される対象物体の表示のしかたと装置の移動とが連動した表示が行える電子機器において、仮想空間を３次元に拡張したとき、提示されるコンテンツや機器が備える機能といった表示内容を使用者にとって視覚的に分かり易く表示することができ、使用者が直感的に操作できる。
【００２０】
また、本発明によれば、３次元仮想空間内における選択項目の位置関係に「奥行き」の違いがあっても区別して選択することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の具体例として示す電子機器について図面を用いて詳細に説明する。本発明の具体例として示す電子機器１の外観の一例を図１に、またハードウェア構成を図２に示す。
【００２２】
電子機器１は、本体２と、撮像部３と、スピーカ４、マイク５、表示部６、操作部７を備え、音楽コンテンツ、映像コンテンツ等のコンテンツを再生する機能を備えた携帯型情報処理端末である。
【００２３】
電子機器１は、例えば、図１に示すような外観形状を有している。電子機器１は、通常使用時にユーザ正面に対峙されることになる本体２の正面２ａにスピーカ４、マイク５、操作部７を有している。操作部７には、決定ボタン７ａ、取消ボタン７ｂ、カメラ選択ボタン７ｃ等、電子機器１の機能或いは選択事項の決定／取消等の指示入力を行うボタンが設けられている。また、電子機器１は、本体２の背面２ｂに、撮像部３が設けられている。撮像部３は、ＣＣＤ（Charge Coupled Device）、フォーカス、アイリス、シャッタ、レンズ等を備えた光学系を備えており、カメラ選択ボタン７ｃが選択されたときに外部の映像を取り込むことができる。また、電子機器１は、本体２の側面２ｃには、表示部６が設けられている。表示部６としては、例えば、カラー液晶表示装置（ＬＣＤ：Liquid Crystal Display）等を使用できる。表示部６を備える側面の反対側の側面２ｄには、ユーザがこの電子機器１を把持するための取手部９が設けられている。また、電子機器１は、例えば、外部記憶装置としての半導体メモリ１０を着脱自在に装着できる外部メモリ装着部８を備えている。
【００２４】
また、電子機器１は、図示しないが、内部構成として、コンテンツデータを格納するＨＤＤ（Hard Disc Drive）等のディスク状磁気記録媒体を内蔵していてもよい。記録媒体としては、このほか光学ディスク、記録再生可能な着脱式の光学ディスク等であってもよい。また、電子機器１は、携帯電話通信網に接続するための携帯電話送受信回路、ＴＶチューナ等を備えていてもよい。なお、ここで説明する電子機器１の外観は一例であって、図１の形態に限定されない。
【００２５】
電子機器１のハードウェア構成を、図２を用いて説明する。電子機器１は、図２に示すように、メインバス１１に、ＣＰＵ１２、ＲＯＭ１３、フラッシュメモリ１４、ＲＡＭ１５、外部メモリインタフェイス１６、センサインタフェイス１７が接続されている。また、各種インタフェイスとして、例えば、ＴＴＹ（Tele Typewriter）１８、イーサネット（登録商標）ボード（Ethernet（登録商標） Board）１９、イメージプロセッシングユニット（Image Processing Unit）２０、Ｖｉｓｃａインタフェイス（Visca Interface）２１、ＶＧＡボード（ＶＧＡ  Board）２２、オーディオビデオインタフェイス（Audio Video Interface）２３が接続され、これらの各構成がＣＰＵ１２によって統括制御されている。
【００２６】
ＲＯＭ１３は、電子機器１が表示部６に表示される対象物体の表示のしかたと電子機器１自身の移動とを連動して表示する処理に必要なプログラム等を格納しており、フラッシュメモリ１４は、３次元仮想空間データ及び３次元仮想物体データ等の必要データを記憶するために設けられる。また、ＲＡＭ１５は、ＣＰＵ１２の作業領域として機能する。ＣＰＵ１２が３次元仮想空間を表示する処理については、後段で詳細に説明する。
【００２７】
電子機器１において、外部メモリインタフェイス１６は、装着部８と接続されており、装着部８に挿入された半導体メモリ１０との間でデータが送受される。センサインタフェイス１７は、Ａ／Ｄコンバータ２４、ローパスフィルタ２５を介して、角速度センサ２６及び加速度センサ２７と並列接続されている。ＴＴＹ１８は、操作部７に設けられた各種操作ボタンと接続され、操作部７からの入力を受け付ける。イーサネットボード１９は、イーサネット（Ethernet）に接続するためのインタフェイスである。電子機器１は、例えばイーサネットを介してサーバ等のホスト機器に接続することができ、サーバ等のホスト機器を介してインターネットに接続することができる。また、電子機器１は、通信モデムを備えており、単独でインターネットに接続できてもよい。イメージプロセッシングユニット２０は、カメラインタフェイス２８と接続され、カメラインタフェイス２８は、撮像部３と接続されている。電子機器１は、撮像部３のＣＣＤにより画像データを電子機器１内に取り込み、これを表示部６に表示することも可能である。Ｖｉｓｃａインタフェイス２１は、外部にあるパーソナルコンピュータ等の情報処理機器と接続するためのインタフェイスである。このインタフェイスを介せば、外部の情報処理機器から電子機器１の各種制御を実行することも可能である。
【００２８】
ＶＧＡボード２２は、表示部６であるＬＣＤと接続されている。オーディオビデオインタフェイス２３は、オーディオビデオ系の機器とのインタフェイスであり、このオーディオビデオインタフェイス２３を介してオーディオビデオ機器からの信号を電子機器１内に取り込む、或いはオーディオ信号や画像信号をオーディオビデオ機器に出力することができる。
【００２９】
次に、電子機器１に設けられる角速度センサ及び加速度センサについて図面を参照して説明する。図３は、角速度センサ２６において検出される電子機器１の動きを示している。人間の腕の動きは、肘や肩を中心とした球面上での動きに近似することができる。図３に示すように、ユーザが電子機器１を移動させたとき、例えば、肘３１を支点とした球面に沿ったα方向のような動きになる。
【００３０】
角速度センサ２６は、電子機器１の回転方向の角速度を検知し、電圧として出力する素子であり、１方向の回転の角速度のみを検知するものであるため、２以上の回転方向、例えば、α方向及びβ方向の２方向の動きを検知する場合には、図４に示すように、角速度センサ２６は、それぞれの回転軸に応じて設置する。このとき、角速度センサ２６におけるセンサ検出結果は、ローパスフィルタ２５を通してＣＰＵ１２に供給される。ＣＰＵ１２は、数値積分法によって時間積分し、電子機器１のそれぞれ回転軸方向の変位成分を算出する。
【００３１】
電子機器１では、角速度センサ２６は、Ｘ方向の移動を検知する角速度センサ２６ａ、Ｙ方向の移動を検知する角速度センサ２６ｂ、Ｚ方向の移動を検知する角速度センサ２６ｃの３個が使用されている。Ｘ方向及びＹ方向は、表示部６に対する平面方向を示し、Ｚ方向は、表示部６に対する垂直方向を示す。各センサの取付位置は、電子機器１の機能を損なわない位置、また外的要因により検出動作が阻害されないような位置であれば、特に限定されない。
【００３２】
一方、加速度センサ２７は、ユーザがこの電子機器１を手に持った状態で動かしたとき、すなわち空間を移動させたとき、２軸方向或いは３軸方向の加速度を検知して電圧として出力する素子である。加速度センサ２７は、１つでＸ軸方向、Ｙ軸方向、Ｚ軸方向の移動及び静止状態を検出できるタイプのセンサである。角速度センサ２６は、回転による移動を検出するためのものであるから、正確な直線方向の移動を検出することができない。そこで、この加速度センサ２７を補助的に用いて直線方向の移動を検出することがある。加速度センサ２７は、角速度センサ２６ａ及び角速度センサ２６ｂと近接して設けることが好ましいが、これらと距離をおいて設けても構わない。角速度センサ２６及び加速度センサ２７は、ローパスフィルタ２５、Ａ／Ｄコンバータ２４を介して、ＣＰＵ１２と接続される。
【００３３】
上述のように、加速度センサ２７を３軸方向の加速度を検出するセンサとして用いれば、電子機器１に加わる加速度の縦方向成分、横方向成分、及び前後方向成分を検知することができる。そして、それぞれの成分ごとに時間積分演算を実行して、速度成分、変位成分を算出する。電子機器１が静止状態となると、電子機器１に加速度が働かないため、加速度センサ２７による出力電圧は、加速度が加わっていないときの電圧となる。したがって、電子機器１の変位と静止状態とを検知することができる。
【００３４】
一般に、加速度と速度の関係は、以下の式で表される。
【００３５】
【数１】
2006146440.tif 000003
【００３６】
式（１）に基づいて加速度を検出する加速度センサがあれば、一定の期間幅Ｔで得られたデータを積分することにより移動速度を求めることが可能である。ある一定期間の電子機器１の移動速度が求まれば、この速度値を積分することにより移動距離を求めることができ、この移動量に基づいて画面のスクロール量を決定してもよい。
【００３７】
しかし、加速度から電子機器１の移動距離を求めるには、時間による２重積分を行う必要があるため、応答性が遅れたり累積誤差が生じやすくなったりする。本具体例では、上述した腕の動きを検出するのに角速度を使用すればよいので、電子機器１の移動量を検出する手段として角速度センサ２６を用いている。角速度により画面のスクロール量を求めると式（２）のようになる。
【００３８】
【数２】
2006146440.tif 000004
【００３９】
本具体例では、電子機器１は、この結果に応じて画面をスクロールさせたり、拡大縮小又はアングル変更したりしている。角速度センサ２６及び加速度センサ２７の算出結果は、後述する画像のスクロール等に用いられる。
【００４０】
続いて、上述した角速度センサ２６及び加速度センサ２７で検出されたセンサデータに基づいて、表示部６に表示される３次元仮想空間内にある３次元仮想物体を選択する処理について説明する。
【００４１】
図５は、電子機器１が表示部６に表示される対象物体の表示のしかたと電子機器１自身の移動とを連動して表示する処理、及び表示された画面に含まれる３次元仮想物体を選択する処理のための電子機器１におけるＣＰＵ１２の機能ブロックを表している。電子機器１は、ＣＰＵ１２の機能ブロックとして、仮想空間情報処理ブロック５１と、表示処理ブロック５２と、情報選択処理ブロック５３とを有している。
【００４２】
仮想空間情報処理ブロック５１は、フラッシュメモリ１４に格納された３次元仮想空間データから３次元仮想空間を構築して、更に３次元仮想物体データから構築される３次元仮想物体（以下、オブジェクトという。）に対して、このオブジェクトに関連するコンテンツ又は該コンテンツの格納場所を示す情報をリンクして表示画面を構成する。
【００４３】
表示処理ブロック５２は、角速度センサ２６及び加速度センサ２７からのセンサデータに応じて表示部６に表示される３次元仮想空間を変更する処理を行う。表示処理には、水平方向又は垂直方向へのスクロール、拡大縮小、ロール（横転方向）、パン（水平方向首振り）、チルト（垂直方向首振り）といったアングル変更の処理等が含まれる。
【００４４】
情報選択処理ブロック５３は、表示部６に表示されるオブジェクトが３次元仮想空間における電子機器１自身を中心とする座標系に対して固定された所定の空間領域内にあるか否かによって、このオブジェクトを選択している。ここでの所定空間領域とは、現在表示部６に表示されている３次元仮想空間の部分よりも狭い空間領域と定義する。以下ではこの空間領域を選択空間領域と記す。情報選択処理ブロック５３は、３次元仮想空間において、選択空間領域に接している３次元仮想物体、又は少なくとも一部が選択空間領域内に含まれて存在している３次元仮想物体にリンクされたコンテンツ、または該コンテンツの格納場所を示す情報等を選択データとする。
【００４５】
電子機器１は、上述した機能ブロックによる表示処理を実行することにより、表示部６に３次元仮想空間を表示することができる。ユーザは、表示部６に表示された仮想空間をみながら仮想空間内を探るかのように装置自体を動かせば、この動きに連動して画面に表示される情報が変化するため、より直感的な入力操作が実現できる。
【００４６】
このように、装置自体を動かすことによって、装置の画面に表示される画像や情報を選択できるようにしたユーザインタフェイスは、ＨＡＢ（Human-centric Augmented Browser）と表される場合もある。
【００４７】
以下、本具体例における表示選択方法について具体的に説明する。まず、３次元仮想空間に規定される選択空間領域について説明する。
【００４８】
本発明の具体例として示す電子機器１は、例えば、選択空間領域として３次元仮想空間に存在する仮想カメラの撮像範囲（有効空間領域）を想定している。
【００４９】
図６は、３次元仮想空間におけるオブジェクト、選択空間領域、仮想カメラ座標系を説明している。図６には、絶対座標系（Ｘ，Ｙ，Ｚ）に基づいて構築された３次元仮想空間Ｓ０にオブジェクトＯ１〜Ｏ８が配置されている様子が示されている。オブジェクトの位置は絶対座標で表すことができる。また、図６に示す３次元仮想空間には、この仮想空間に存在する電子機器１に想定される仮想カメラの仮想カメラ座標系（ｘ，ｙ，ｚ）が示されている。この仮想カメラ座標系の座標（ｘ０，ｙ０，ｚ０）は、３次元仮想空間における仮想カメラの位置を表している。図７は、電子機器１において選択空間領域が仮想カメラの撮像領域とされる場合を説明しており、３次元仮想空間において想定される仮想カメラの撮像方向に対する垂直方向からみた様子を示している。
【００５０】
３次元仮想空間における仮想カメラの位置をＡとし、オブジェクトの中心位置をＢとする。また、Ａを通り仮想カメラの撮像方向の方向ベクトルｄと平行な直線をＬとする。このとき、オブジェクト中心Ｂから直線Ｌに下ろした垂線の足をＣとし、ＡＣ間距離をｓ、ＢＣ間距離をｔとする。原点を０とした場合、ＯＣ＝ＯＡ＋ｓ＊ｄと表すことができる。ここでＡＣ間距離ｓには符号を定義する。
【００５１】
このように表される３次元仮想空間に対して、選択空間領域、すなわち仮想カメラの撮像領域を次のように定める。まず、仮想カメラの奥行き方向の選択範囲を設ける。例えば、図８に示すように、Ｌ軸上において、予め最小値Ｌｎと最大値Ｌｍを決めておき、Ｌｍ−Ｌｎを仮想カメラ座標系原点からみたときの奥行き方向の選択範囲とする。また、ＢＣ間距離の最大値ｔｒを決める。なお、このとき最小値Ｌｎが０であってもよい。すなわち、選択空間領域が３次元仮想空間における仮想カメラの原点から始まっていてもよい。最大値ｔｒは、図６に示すように仮想カメラの撮像方向の中心軸と表示画面の垂線とを一致させて且つ仮想カメラ座標系の原点を略表示画面上とするような表示方法としたとき、表示画面上における領域Ａとして表される。
【００５２】
したがって、発明の具体例として示す電子機器１では、図６に示すように、仮想カメラ原点から仮想カメラ撮像方向の延長上、最小値Ｌｎの距離にある領域Ａｍｉｎを上面とし、最大値Ｌｍの距離にある領域Ａｍａｘを底面とする円柱空間が選択空間領域ということになる。ただし、選択空間領域は、表示画面中においてユーザに対して不可視とされている。
【００５３】
このように規定される選択空間領域に対して、次の条件を満たすオブジェクトを選択する。（１）オブジェクト中心又はオブジェクトの外縁が仮想カメラの選択空間領域内にあるとき。（２）オブジェクト中心又はオブジェクトの外縁がＢＣ間距離の最大値ｔｒ内にあるとき。そして、上記（１）、（２）を満たすオブジェクトが複数ある場合には、（３）これらのオブジェクトの中で仮想カメラ原点との距離ｓが最小のオブジェクトを優先して選択する。また、（１）〜（３）を満たすオブジェクトが複数ある場合には、（４）これらのオブジェクトの中で仮想カメラ撮像中心軸との距離ｔが最小のオブジェクトを選択する。更に、（１）〜（４）を満たすオブジェクトが複数ある場合であっても選択できるように、（５）オブジェクトの優先順位を予め決めておく。例えば、オブジェクトの中で最初に作成されたオブジェクトを選択するようにしてもよい。
【００５４】
このとき、仮想カメラの選択空間領域を包括する最小の直方体であって各面が絶対座標系に平行或いは垂直な直方体ｓ０を仮選択空間領域として、この仮選択空間領域に含まれないオブジェクトの情報を選択候補から除外すれば、情報選択処理ブロック５３における演算量を削減することができる。
【００５５】
以上、情報選択処理ブロック５３は、（１）〜（５）の条件を全て満たすオブジェクトを選択し、このオブジェクトにリンクされた情報が選択データとして抽出する。条件を満たすオブジェクトがなければ、選択されるオブジェクトはない。また、選択されるのは、コンテンツやこのコンテンツに関連する関連情報がリンクされたオブジェクトに限られる。関連情報としては、例えばネットワーク上でコンテンツが格納された格納場所のアドレス情報としてのＵＲＬ等があげられる。
【００５６】
また、このとき仮想空間情報処理ブロック５１、表示処理ブロック５２は、選択されたオブジェクトの状態を変更する処理を行い、オブジェクトが選択されたことをユーザに分かり易く提示する。オブジェクトの表示パターンとしては、例えば、選択されたオブジェクトを拡大縮小する手法があげられる。このとき仮想空間情報処理ブロック５１、表示処理ブロック５２は、図９に示すように、選択されたオブジェクトＯ５を拡大表示する。また、図１０に示すように、選択されたオブジェクトＯ５の色調を変更することもできる。また、図１１のように、選択されたオブジェクトＯ５の形状を変更することでオブジェクトが選択されたことをユーザに明示してもよい。このようなオブジェクトの変化は、周期的又は不規則的に繰り返されてもよい。更に、選択されたオブジェクトの状態の変更に加えて、オブジェクトが選択されたことを意味する音声を発生してもよい。また、音声の発生と状態変更とを複合して用いることもできる。
【００５７】
なお、図６〜図８では、説明の便宜上、Ａ，Ｃなどのような記号に簡略化して説明しているが、より正確には３次元仮想空間に基づく空間ベクトル計算で明らかにすることができる。また、ここで想定する仮想カメラは、選択空間領域という概念を明確化するためのものであるため、表示部６に表示される仮想空間内にユーザに可視的に表示してもよいし、表示されないようにしてもよい。
【００５８】
また、図７に示した例は、仮想カメラの撮像方向の中心軸が表示画面の垂線に一致するような表示のしかたである。これに対して、表示画面の垂線と仮想カメラの撮像方向の中心軸とを一致させない表示のしかたもあるが、ユーザがより直感的に操作できることを考慮すると、図６に示すように仮想カメラの撮像方向の中心軸と表示画面の垂線とを一致し、且つ仮想カメラ座標系の原点を略表示画面上に想定するような表示方法が好ましい。こうすると３次元ベクトル演算も簡便になる。
【００５９】
また、選択空間領域は、円柱に限定されない。立方体を含む直方体、球体、多角錐であってもよい。したがって、選択空間領域を規定する領域Ａｍｉｎと領域Ａｍａｘの形状もまた、円形に限定されない。特に、多角形にすれば、演算量をより削減できるという利点がある。
【００６０】
以上説明したように、電子機器１によれば、３次元仮想空間において、オブジェクトを選択する際、３次元空間内の同じ方向であっても奥行きの異なる箇所にオブジェクトが重なって存在していても、奥行きの違う箇所にあるオブジェクトを区別して選択することができる。これにより、電子機器１は、提示するコンテンツや機器が備える機能といった表示内容をユーザにとって視覚的に分かり易く表示するとともに、ユーザが直感的に操作できる。
【００６１】
以下では、図１１から図１５を用いて、この電子機器１の表示部６に表示される３次元仮想空間と、表示画面が電子機器１の動作に連動して変更される様子について説明する。図１２は、電子機器１を実際に移動する方向を示したものである。また、図１３〜図１５は、電子機器１の表示部６に表示される３次元仮想空間及びオブジェクトの例を示している。
【００６２】
電子機器１が起動され、３次元仮想空間を表示したとする。このとき電子機器１は、図１２の位置Ｏにある。表示される３次元仮想空間は、電子機器１に記憶されたコンテンツ、又は電子機器１に接続され外部ストレージメディアやネットワークから取得されるコンテンツを選択するための選択画面として用意されるものである。この選択画面は、ユーザに選択しようとするコンテンツの分類を簡単に想起させるように、例えば、図１３に示すような、携帯型音楽プレーヤ６１と携帯型電話機６２を乗せたテーブル６３の背後の棚６４にテレビ６５が配置された部屋６０、という３次元仮想空間構成になっている。携帯型音楽プレーヤ６１は、音楽コンテンツを選択するための選択画面がリンクされたオブジェクトであり、テレビ６５は、映像コンテンツを選択するための選択画面がリンクされたオブジェクトである。また、携帯型電話機６２は、この電子機器１の携帯電話機能を選択するためのオブジェクトである。上述した仮想空間情報処理ブロック５１が、これらのオブジェクトに対して、このオブジェクトに関連するコンテンツやコンテンツの格納場所を示す情報（ＵＲＬ）等をリンクしている。
【００６３】
人間の感覚では、遠くの建物をみる場合には広い視野角で全体が見渡せるが、細かなところまでは判別できない。また、近くの建物をみる場合には部分的には詳細に判別できるが、建物全体を把握することは困難である。そこで、表示部６に３次元仮想空間が表示されている場合、この画像全体を広い視野でみたい場合には、電子機器１を例えば建物から遠ざけるように後方に移動させる。すると人間が後方に移動して建物をみるように、表示部６に表示される画像がズームアウトされる。また、この画像の詳細な部分までみたい場合には、電子機器１を例えば建物に近づけるように前方に移動させる。すると人間が前方に移動して建物をみるように、表示部６に表示される画像がズームイン（拡大）される。
【００６４】
図１２の位置ＯからＡの位置に向けて表示装置１を徐々に移動させると、表示部６に表示される３次元仮想空間は、時々刻々変化しズームインされる。電子機器１がＡの位置まできて静止されたとすると、図１４に示すように、３次元仮想空間は、図１３に示された画像と比べて拡大されて表示されることになる。
【００６５】
更に、この状態から電子機器１を元の位置Ｏに向けて徐々に移動させると、表示部６に示される３次元仮想空間は、徐々にズームアウトされる。電子機器１がＯの位置で静止されると、３次元仮想空間は、図１３に示すように縮小され元に戻った状態で表示される。
【００６６】
アングル変更モードは、電子機器１が回転移動された場合に角速度センサ２６で検知された結果に基づいて表示画像のアングルを変更する機能である。人間の感覚では、例えば空をみる場合には視点を上に向けてみる。また、地面をみる場合には視点を下に向けてみる。そこで、表示部６にある部屋の画像が表示されている場合、この部屋の天井を表示させたいときには、空に視点を向けるように電子機器１を上に向ける。このとき、人間が視点を上に向けて空をみるように、表示部６に表示される画像のアングルが変わって天井が表示される。また、この部屋の例えば床を表示させたいときには、地面に視点を向けるように電子機器１を下に向ける。このとき、人間が視点を下に向けて地面をみるように、表示部６に表示される画像のアングルが変わって床が表示される。この２つのモードを組み合わせることにより、人間の直感に近い操作が可能となる。
【００６７】
位置Ｏに固定された状態から、図１２に示されるＢの位置に向けて電子機器１を徐々に移動させると、表示部６に表示される３次元仮想空間のアングルが電子機器１の動きに連動して、表示されたオブジェクトに対して回り込むようにして徐々に変わっていく。電子機器１がＢの位置で固定されると、表示される３次元仮想空間は、図１５に示される画像のアングルで表示される。更に、この状態から電子機器１を元の位置Ｏに向けて徐々に移動させると、表示部６に示される３次元仮想空間のアングルが徐々に変更される。電子機器１が位置Ｏで固定されると、３次元仮想空間は、図１３に示す元のアングルで表示される。
【００６８】
また、図示しないが、３次元仮想空間は、電子機器１を据え置いた状態でのロール（横転方向）、パン（水平方向首振り）、チルト（垂直方向首振り）等のアングル変更にも対応して変更される。
【００６９】
図１３に示す表示空間の構成では、ユーザが携帯型音楽プレーヤ６１を選択することを意図して電子機器１を動かして表示画面の３次元仮想空間のアングルや表示具合を変え、携帯型音楽プレーヤ６１を画面中心付近に誘導するとき、３次元仮想空間におけるユーザとオブジェクトとの相対位置関係によっては携帯型音楽プレーヤ６１の背後にテレビ６５が位置してしまうことがある。
【００７０】
このような場合であっても、電子機器１は、図６等を用いて説明した選択空間領域を用いた表示選択処理に基づいて携帯型音楽プレーヤ６１を選択することができる。図１３に示す表示空間において、携帯型音楽プレーヤ６１として表されるオブジェクトと、テレビ６５として表されるオブジェクトとでは、携帯型音楽プレーヤ６１のほうがより「手前」にある。
【００７１】
このとき、電子機器１における情報選択処理ブロック５３は、上述したオブジェクトの選択条件、すなわち、（１）オブジェクト中心又はオブジェクトの外縁が仮想カメラの選択空間領域内にあるとき。（２）オブジェクト中心又はオブジェクトの外縁がＢＣ間距離の最大値ｔｒ内にあるとき。上記（１）、（２）を満たすオブジェクトが複数ある場合には、（３）これらのオブジェクトの中で仮想カメラ原点との距離ｓが最小のオブジェクトを優先して選択する、という選択条件に基づいてオブジェクトを選択する。図１３に示す３次元仮想空間の構成では、（１）、（２）を満たすオブジェクトが複数ある場合に相当するため、（３）これらのオブジェクトの中で仮想カメラ原点との距離ｓが最小のオブジェクトを優先して選択する。更に、表示される３次元仮想空間の構成によって、携帯型音楽プレーヤ６１と携帯型電話機６２とが仮想カメラ原点から略同等の距離に位置している場合には、（４）これらのオブジェクトの中で仮想カメラ撮像中心軸との距離ｔが最小のオブジェクトが選択される。なお、図１３に示す３次元仮想空間において、テーブル６３、棚６４等には、情報がリンクされていないため、選択空間領域に含まれていても選択対象とはならない。
【００７２】
この選択条件（１）〜（４）における優先順位は、製造者又はユーザが自由に設定できる。例えば、図１３に示す表示画面構成のとき、携帯型音楽プレーヤ６１のほうが仮想カメラのユーザ視点により近くにあるが、撮像方向に延長される直線Ｌとオブジェクト中心との距離がより短いほうを優先的に選択する設定にすれば、すなわち条件（４）よりも条件（３）の順位をあげれば、同じアングルでより「奥」にあるテレビ６５が優先的に選択されるようになる。
【００７３】
ここでは、選択された携帯型音楽プレーヤ６１は、図１６に示すように、もとの表示サイズよりも拡大され、且つ強調して表示される。選択された携帯型音楽プレーヤ６１の表示のしかたは、拡大縮小に限定されず、点滅表示、拡大縮小の繰り返し表示、又は色調を変更して表示するなど、ユーザの視認性を高める表示手法であれば、適用することができる。
【００７４】
以上説明したように、本発明の具体例として示す電子機器１によれば、ユーザが選択したい携帯型音楽プレーヤ６１の背後に表示されているテレビオブジェクトや、近傍に置かれたように表示されている携帯電話オブジェクトが同時に選択されてしまうことがない。このように電子機器１は、３次元仮想空間における「奥行き」の違い、また空間的に重なって表示されるオブジェクトを区別して選択することができる。
【図面の簡単な説明】
【００７５】
【図１】本発明の具体例として示す電子機器の外観の一例を説明する外観図である。
【図２】上記電子機器のハードウェア構成を説明する構成図である。
【図３】人間の腕の動きによって起こる電子機器の動きを説明する模式図である。
【図４】α方向及びβ方向の２方向の動きを検知する角速度センサを説明する模式図である。
【図５】上記電子機器が表示部に表示される対象物体の表示のしかたと電子機器自身の移動とを連動して表示するためのＣＰＵの機能を説明する機能ブロック図である。
【図６】３次元仮想空間におけるオブジェクト、選択空間領域、仮想カメラ座標系を説明する図である。
【図７】上記電子機器において選択空間領域を仮想カメラの撮像領域として想定する場合を説明する図である。
【図８】上記３次元仮想空間に規定される上記選択空間領域を説明する図である。
【図９】選択されたオブジェクトを拡大縮小する場合を説明する図である。
【図１０】選択されたオブジェクトの色調を変更する場合を説明する図である。
【図１１】選択されたオブジェクトの形状を変更する場合を説明する図である。
【図１２】電子機器を動かす様子を説明する図である。
【図１３】上記電子機器の表示部に表示される３次元仮想空間の一例を示す図である。
【図１４】上記電子機器の表示部に表示される３次元仮想空間の一例を示す図である。
【図１５】上記電子機器の表示部に表示される３次元仮想空間の一例を示す図である。
【図１６】上記電子機器の表示部に表示される３次元仮想空間においてオブジェクトが選択されたことを表す図である。
【符号の説明】
【００７６】
１    電子機器、  ２    本体、  ３    撮像部、  ４    スピーカ、  ５    マイク、  ６    表示部、  ７    操作部、  ８    外部メモリ装着部、  ９    取手部、  １０    半導体メモリ、  ２６    角速度センサ、  ２７    加速度センサ、  ５１    仮想空間情報処理部ロック、  ５２    表示処理ブロック、  ５３    情報選択処理ブロック、
【図１】
2006146440.tif 000005
【図２】
2006146440.tif 000006
【図３】
2006146440.tif 000007
【図４】
2006146440.tif 000008
【図５】
2006146440.tif 000009
【図６】
2006146440.tif 000010
【図７】
2006146440.tif 000011
【図８】
2006146440.tif 000012
【図９】
2006146440.tif 000013
【図１０】
2006146440.tif 000014
【図１１】
2006146440.tif 000015
【図１２】
2006146440.tif 000016
【図１３】
2006146440.tif 000017
【図１４】
2006146440.tif 000018
【図１５】
2006146440.tif 000019
【図１６】
2006146440.tif 000020