(57)【要約】【課題】  カメラ付き携帯通信端末等で同じマーカを見ながら、非接触にコマンドを送れるようにする。【解決手段】  表示位置算出部１１はビューワに表示された３Ｄデータの画面上の表示位置を算出する。特定領域情報ＤＢ１２は画面上の特定領域の位置情報が登録されている。特定領域接触判定部１３は３Ｄデータの現在位置を特定領域情報ＤＢ１２に登録されている位置情報と比較し、３Ｄデータが特定領域と重なったかどうか判定する。コマンド発信部１４は３Ｄデータが特定領域と重なったと判定されると、特定のコマンドを発信する。【選択図】  図１
2005242854.tif 000002
【特許請求の範囲】
【請求項１】
マーカを含む画像を撮影し、該マーカに対応する３次元データを該マーカに対応する位置に表示する、３次元データの表示方法において、
画面上に表示されている３次元データの表示装置の画面上での表示位置を求めるステップと、
前記３次元データと、予め画面上に設けられた特定領域が重なっているかどうか判定するステップと、
前記３次元データが前記特定領域と重なっている場合、前記特定領域に対応した特定のコマンドを発信するステップとを
有することを特徴とする、３次元データの表示方法。
【請求項２】
マーカを含む画像を撮影し、該マーカに対応する３次元データを該マーカに対応する位置に表示する、３次元データの表示方法において、
画面上に表示されている３次元データの表示位置の画面上での表示位置を求めるステップと、
ある一定時間における前記表示位置の移動位置と移動方向を求めるステップと、
得られた移動距離と移動方向に基づいて特定のコマンドを発信するステップとを
有することを特徴とする、３次元データの表示方法。
【請求項３】
前記コマンドが、画面上に映っているマーカに対応する３次元データを、別の３次元データに置き換えるコマンドである、請求項１または請求項２に記載の３次元データの表示方法。
【請求項４】
前記コマンドが、画面上に映っているマーカに対応する３次元データの画像を変化させるものである、請求項１または２に記載の３次元データの表示方法。
【請求項５】
マーカを含む画像を撮影し、該マーカに対応する３次元データを該マーカに対応する位置に表示する、３次元データの表示装置において、
画面上に表示されている３次元データの表示装置の画面上での表示位置を求める手段と、
前記３次元データと、予め画面上に設けられた特定領域が重なっているかどうか判定する手段と、
前記３次元データが前記特定領域と重なっている場合、前記特定領域に対応した特定のコマンドを発信する手段とを
有することを特徴とする、３次元データの表示装置。
【請求項６】
マーカを含む画像を撮影し、該マーカに対応する３次元データを該マーカに対応する位置に表示する、３次元データの表示装置において、
画面上に表示されている３次元データの表示位置の画面上での表示位置を求める手段と、
ある一定時間における前記表示位置の移動位置と移動方向を求める手段と、
得られた移動距離と移動方向に基づいて特定のコマンドを発信する手段と
を有することを特徴とする、３次元データの表示装置。
【請求項７】
請求項１から４のいずれか１項に記載の、３次元データの表示方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マーカを含む画像を撮影し、該マーカに対応する３次元データ（３Ｄデータ）を該マーカに対応する位置に表示する、３次元データの表示方法に関する。
【０００２】
ここで、３Ｄデータとしては、一般に普及しているｘ，ｙ，ｚの３次元情報をもった３次元空間に表すことができるＣＧデータ（たとえばＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ  Ｍｏｄｅｌｌｉｎｇ  Ｌａｎｇｕａｇｅ）で記述されたデータ）や、また非特許文献１で示されるような２次元の画像を複数組み合わせて作成されるデータ（ＣＧも実写画像もある）などがある。
【背景技術】
【０００３】
マーカ、例えば黒い矩形の枠の形をしたマーカをカメラで撮影し、マーカの３次元位置情報を算出して、マーカの上に配置された物体の３Ｄデータをビューワ（携帯電話等）に表示するシステムが公知となっている（非特許文献１）。
【０００４】
また、画面より離れた場所から指さしにより画面内の映像オブジェクトを指定する指さしポインターが開発されている（非特許文献２）。
【非特許文献１】加藤博一，Ｍａｒｋ  Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野浩一，橘啓八郎「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」  日本バーチャルリアリティ学会論文誌  Ｖｏｌ．４，Ｎｏ．４，１９９９
【非特許文献２】金次保明，長島聖子，山田光穂，清水俊宏「指さしポインターにおけるカーソル位置の特定法」  電子情報通信学会ＩＴＳ研究会，２００２．１．２９
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した、マーカを用いて３Ｄデータを表示する非特許文献１のシステムでは、異なる３Ｄデータを表示するためには、異なるマーカが必要であった。
【０００６】
また、非特許文献２のように、画面より離れた場所より指さしにより画面内の映像オブジェクトを指定することは開発されているが、上記のシステムでは３Ｄデータを表示しているときに、キーなどを操作せず非接触にコマンドを送ることができなかった。
【０００７】
本発明の目的は、３Ｄデータが表示されているときに、マーカを代えることなく同じマーカを見ながら、かつキー等を操作することなく非接触で、別の３Ｄデータに切り換えたり、データの機能を切り替えたりできる、３次元データの表示方法、装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、３次元データの表示方法は、
画面上に表示されている３次元データの表示装置の画面上での表示位置を求めるステップと、
前記３次元データと、予め画面上に設けられた特定領域が重なっているかどうか判定するステップと、
前記３次元データが前記特定領域と重なっている場合、前記特定領域に対応した特定のコマンドを発信するステップとを有する。
【０００９】
本発明の第２の態様によれば、３次元データの表示方法は、
画面上に表示されている３次元データの表示位置の画面上での表示位置を求めるステップと、
ある一定時間における前記表示位置の移動位置と移動方向を求めるステップと、
得られた移動距離と移動方向に基づいて特定のコマンドを発信するステップを有する。
【００１０】
これにより、ビューワ（携帯通信端末等）を動かす（傾ける）動作だけで画面上に写っているマーカに対応する３次元データを別の３次元データに置き替えたり、大きさを変えたり（ズームイン／ズームアウト）、動画の３次元データの場合には、再生、停止、早送りといった制御を行なうことが可能となる。
【発明の効果】
【００１１】
本発明によれば、マーカを変えることなく同じマーカを見ながら、ビューワ（カメラ付き携帯通信端末）を動かす（傾ける）といった簡単な動作で特定のコマンドを発生し、別の３Ｄデータに切り換えたり、３Ｄデータの機能を切り替えることができる。
【発明を実施するための最良の形態】
【００１２】
次に、本発明の実施の形態について図面を参照して説明する。
【００１３】
［第１の実施の形態］
図１は本発明の第１の実施の形態の３次元データ表示装置の構成図、図２はその処理の流れを示すフローチャートである。
【００１４】
表示位置算出部１１はビューワに表示された３Ｄデータの画面上の表示位置を算出する（ステップ１０１）。特定領域情報ＤＢ１２は画面上の特定領域の位置情報が登録されている。特定領域接触判定部１３は３Ｄデータの現在位置を特定領域情報ＤＢ１２に登録されている位置情報と比較し、３Ｄデータが特定領域と重なったかどうか判定する（ステップ１０３，１０４）。コマンド発信部１４は３Ｄデータが特定領域と重なったと判定されると、特定のコマンドを発信する（ステップ１０５）。
例えば、特定領域の１つを（ｘ０≦ｘ≦ｘ1，ｙ０≦ｙ≦ｙ1）の範囲で表される長方形とし、また３Ｄデータの現在位置を（ｘｄａｔａ，ｙｄａｔａ）とした場合、前者が特定領域情報、後者が表示位置情報に該当する。このとき、図３の特定領域接触判定処理では、両方の情報を常に照らし合わせ、（ｘ０≦ｘｄａｔａ≦ｘ１）かつ（ｙ０≦ｙｄａｔａ≦ｙ１）を満たしたとき、３Ｄデータが該特定領域に接触したと判定できる。
【００１５】
図３は本実施形態の具体例を示す図である。特定領域が画面の端に左右に設定され、３Ｄデータの表示位置が画面中心にあるとする（図３（１））。この状態で、ビューワを動かす（または傾ける）ことにより３Ｄデータの画面上の表示位置がずれ、端付近に設定された特定領域に重なり（図３（２））、重なった時点でコマンドが発信され、ネットワークを介してサーバからの（またビューワに保存されている）異なる３Ｄデータが画面に表示される（図３（３））。または、３Ｄデータの表示と非表示を切り替える。
【００１６】
なお、３Ｄデータが特定領域に重なった時、３Ｄデータの表示をオフするようにしてもよい。特定領域には何も表示していなくてもよいが、特定領域であることを示すアイコンを表示しておいてもよい。同じ特定領域へ一定時間内に２回以上３Ｄデータが重なると、別のコマンドを発信させることもできる。さらに、３Ｄデータが一定時間内に異なる特定領域に、ある組み合わせで重なると、別のコマンドを発信させることもできる。特定領域の形状（矩形、円など）、大きさ、個数は任意である。図４（１）、（２）、（３）は特定領域の他の例（斜線部）を示している。ビューワは携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ノートＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）でもよい。以下の実施形態でも同様である。
【００１７】
［第２の実施の形態］
図５は本発明の第２の実施の形態の３次元データ表示装置のブロック図、図６はその処理の流れを示すフローチャートである。
【００１８】
表示位置算出部２１は３Ｄデータの画面上の表示位置を算出する（ステップ２０１）。移動情報算出部２２は３Ｄデータの移動距離、移動方向を算出する（ステップ２０２）。ここで、３Ｄデータの画面上での表示位置は常に検出されているとする。ある時刻ｔ０でのＸ，Ｙ座標を（Ｘｔ０，Ｙｔ０）、時刻ｔ１でのＸ，Ｙ座標を（Ｘｔ１，Ｙｔ１）とすると、ｔ０とｔ１の間で動いた距離Ｄ０１は、Ｄ０１＝｛（Ｘｔ１−Ｘｔ０）＾２＋（Ｙｔ１−Ｙｔ０）＾２｝＾（１／２）、となる。また、移動方向は該２点間をつなぐ直線の傾きから求められる。例えば、傾きＡ０１＝（Ｙｔ１−Ｙｔ０）／（Ｘｔ１−Ｘｔ０）として求められる。もしくは角度θ０１を、ｓｉｎθ０１＝（Ｙｔ１−Ｙｔ０）／Ｄ０１として求められる。移動情報判定部２３はこのようにして求められた移動距離が予め定められた閾値Ｄｔｈを越え、かつ移動方向の角度が決められた範囲内にあるかどうか判定する（ステップ２０３，２０４）。コマンド発信部２４は３Ｄデータが閾値Ｄｔｈ以上、ある方向に移動したと判定されると、特定のコマンドを発信する。
【００１９】
図７は本実施形態の具体例を示している。３Ｄデータが表示されている状態（図７（１））で、画面を右上方向に動かすと３Ｄデータの表示位置が矢印のように左下方向に移動する（図７（２））。移動距離Ｄ０１が閾値を越えた場合、その移動方向に応じた、この例では−４５〜４５度、４５〜１３５度、１３５〜２２５度、２２５〜３１５度（＝−４５°）のどの範囲に入っているかに応じてコマンドが発信され（図７（４））、異なる３Ｄデータに切り替わったり、３Ｄデータの表示がオフされる（図７（３））。これにより、表示装置を動かすだけで、その動き認識により、複数種類のコマンドの中からいずれかを選択して発信することができる。
【００２０】
図８（１）（２）（３）は移動方向の他の例を示している。
【００２１】
［第３の実施の形態］
図９は本発明の第３の実施の形態の３次元データ表示装置のコマンド発信部の処理を示すフローチャートである。その他の構成は第１の実施の形態と同じである。図１０は本実施形態の具体例の説明図である。
【００２２】
本実施形態は、
・例えば、表示画面の右端にデータ番号を＋１、左端にデータ番号を−１する特定領域を設ける（図１０（１））。左右に動かすと（図１０（２），（３））、次々とデータを切り替えられる（図１０（４），（５））。例えば、商品等の物体に対応したマーカを見ている状態で、同じマーカを見たまま、表示装置を動かすだけで、次々と商品を切り替えることが可能である。これにより、商品カタログにある商品を次々に切り替えて表示したり、例えば自分の部屋に合った商品を探すことができる。
・例えば、複数のデータが階層的な構造になっていれば、表示画面の上端に階層アップ、下端に階層ダウンして３Ｄデータを切り替えられる機能を有する特定領域を設けることができる。
・例えば、左右で時間の異なる３Ｄデータに切り替える。右の特定領域に重ね合わせ続けていくと、物体の３Ｄデータが時間的に新しいものに変わっていき、左では逆に古いものに変わっていく。予め同じ対象物に対し、時間の異なる複数の３Ｄデータを作成しておく必要がある。
・任意の視点において３Ｄデータを切り替える場合、切り替えた時点の同一視点の画像に切り替えられる。
本方法は、特定領域を用いた手法だけでなく、第２の実施の形態の動き認識による手法でも同じように実現できる。
【００２３】
コマンド発信部では、まずコマンド発信要求があるかどうか判定する（ステップ３０１）。なければ、表示位置算出部の処理へ戻る。コマンド発信要求がある場合、特定領域が左端の特定領域であればデータ前進のコマンドなので、次の３Ｄデータに切り替え（ステップ３０２，３０３）、右端の特定領域であれば、データ後進のコマンドなので、前の番号の３Ｄデータに切り替える（ステップ３０４，３０５）。
【００２４】
［第４の実施の形態］
図１１は本発明の第４の実施の形態の３次元データ表示装置のコマンド発信部の処理を示すフローチャートである。その他の構成は第１の実施の形態の３次元データ表示装置と同じである。図１２はその具体例の説明図である。
【００２５】
本実施形態は３Ｄデータが動画の場合で、第１〜第３の実施の形態と同様に、画面の左端、右端にそれぞれ特定領域が設けられている（図１２（１））。コマンド発信部はステップ４０１でコマンド発信要求があると判定すると、３Ｄデータが左端の特定領域と重なっていた場合（図１２（２））、動画像の３Ｄデータを再生するコマンドを出力し（ステップ４０２，４０３）、動画の３Ｄデータが再生され（図１２（４））、３Ｄデータが右端の特定領域と重なっていた場合（図１２（３））、動画の３Ｄデータを停止するコマンドを出力（ステップ４０４，４０５）し、動画の３Ｄデータが停止する（図１２（５））。
【００２６】
なお、特定領域をさらに設けて、早送り、巻き戻し等のコマンドを出力するようにすることもできる。また、本実施形態は第２の実施の形態の動き認識による方法でも同様に実現できる。
【００２７】
［第５の実施の形態］
図１３は本発明の第５の実施の形態の３次元データ表示装置のコマンド発信部の処理を示すフローチャートである。その他の構成は第１の実施の形態の３次元データ表示装置と同じである。図１４はその具体例の説明図である。
【００２８】
本実施形態では、画面の上端、下端にそれぞれ特定領域が設けられている（図１４（１））。コマンド発信部はステップ５０１でコマンド発信要求があると判定すると、３Ｄデータが上端の特定領域と重なった場合（図１４（２））、３Ｄデータをズームインするコマンドを出力し（ステップ５０２，５０３）、３Ｄデータがズームインされる（図１４（４）。３Ｄデータが下端の特定領域と重なった場合（図１４（３））、３Ｄデータをズームアウトするコマンドを出力し（ステップ５０４，５０５）、３Ｄデータがズームアウトされる（図１４（５））。
【００２９】
本実施の形態は、ユーザが動かずに、対象物体の表示サイズを変えられる利点がある。
【００３０】
なお、本実施の形態は、第２の実施の形態の動き認識による方法でも同じように実現できる。
【００３１】
なお、以上の実施形態で、表示する３Ｄデータはインターネットを介してサーバからダウンロードした２Ｄデータを用いることができる。
【００３２】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【図面の簡単な説明】
【００３３】
【図１】本発明の第１の実施の形態の３次元データ表示装置のブロック図である。
【図２】第１の実施の形態の３次元データ表示装置の処理を示すフローチャートである。
【図３】第１の実施の形態の具体例の説明図である。
【図４】特定領域の他の例を示す図である。
【図５】本発明の第２の実施の形態の３次元データ表示装置のブロック図である。
【図６】第２の実施の形態の３次元データ表示装置の処理を示すフローチャートである。
【図７】第２の実施の形態の具体例の説明図である。
【図８】移動方向の他の例を示す図である。
【図９】本発明の第３の実施の形態の３次元データ表示装置のコマンド発信部の処理を示すフローチャートである。
【図１０】第３の実施の形態の説明図である。
【図１１】本発明の第４の実施の形態の３次元データ表示装置のコマンド発信部の処理を示すフローチャートである。
【図１２】第４の実施の形態の説明図である。
【図１３】本発明の第５の実施の形態の３次元データ表示装置のコマンド発信部の処理を示すフローチャートである。
【図１４】第５の実施の形態の説明図である。
【符号の説明】
【００３４】
１１    表示位置算出部
１２    特定領域情報ＤＢ
１３    特定領域接触判定部
１４    コマンド発信部
２１    表示位置算出部
２２    移動情報算出部
２３    移動判定部
２４    コマンド発信部
１０１〜１０５，２０１〜２０５，３０１〜３０５，４０１〜４０５，５０１〜
５０５    ステップ
【図１】
2005242854.tif 000003
【図２】
2005242854.tif 000004
【図３】
2005242854.tif 000005
【図４】
2005242854.tif 000006
【図５】
2005242854.tif 000007
【図６】
2005242854.tif 000008
【図７】
2005242854.tif 000009
【図８】
2005242854.tif 000010
【図９】
2005242854.tif 000011
【図１０】
2005242854.tif 000012
【図１１】
2005242854.tif 000013
【図１２】
2005242854.tif 000014
【図１３】
2005242854.tif 000015
【図１４】
2005242854.tif 000016