(57)【要約】【課題】  新たに特殊なセンサを追加することなく、直感的な三次元座標入力を実現できるようにする。【解決手段】  三次元運動算出手段は、カメラで被写体を撮影した動画像から、ユーザが端末を動かすことによって生じたカメラおよびそれを搭載した端末の三次元的な動きを計算する。次に、操作情報生成手段は、三次元運動算出手段で計算された三次元運動を操作対象ソフトウェアの操作情報に変換し、操作情報有効化スイッチがＯＮである場合には、操作情報を操作対象ソフトウェアに入力する。そして、表示手段は、操作対象ソフトウェアに操作情報を入力して得られた結果をユーザに提示する。よって、ユーザが端末を動作させることによる直感的な三次元座標入力を行うことができる。【選択図】  図３
2007310424.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮影する動画像撮影手段と、
画像を表示する表示手段と、
所定のソフトウェアにもとづいて前記表示手段を制御する表示制御手段と、
前記動画像撮影手段によって撮影された動画像にもとづいて、当該動画像撮影手段が搭載された筐体の三次元空間内の動作を三次元座標の変化として算出する三次元動作算出手段と、
前記三次元動作算出手段が算出した動作にもとづいて操作情報を生成する操作情報生成手段と、を備え、
前記表示制御手段は、前記操作情報生成手段によって生成された操作情報に従って、前記表示手段に表示されている画像を変更する
ことを特徴とする三次元座標入力システム。
【請求項２】
操作情報生成手段によって生成された操作情報をユーザの操作に応じて有効化または無効化するための操作情報有効化スイッチを備えた
請求項１記載の三次元座標入力システム。
【請求項３】
表示手段と表示制御手段とは、動画像撮影手段が搭載された筐体を含む当該動画像撮影手段を備えた装置を制御するコンピュータとは別のコンピュータによって制御される
請求項１または請求項２記載の三次元座標入力システム。
【請求項４】
表示手段は筐体に設置され、
動画像撮影手段は、前記筐体における前記表示手段が設置された表側とは反対の裏側に設置されている
請求項１から請求項３のうちいずれかに記載の三次元座標入力システム。
【請求項５】
表示手段は筐体に設置され、
動画像撮影手段は、前記筐体における前記表示手段が設置された表側に設置されている
請求項１から請求項３のうちいずれかに記載の三次元座標入力システム。
【請求項６】
動画像撮影手段は、第１の動画像撮影手段と、第２の動画像撮影手段とを含み、
表示手段は筐体に設置され、
前記第１の動画像撮影手段は、前記筐体における前記表示手段が設置された表側に設置され、
前記第２の動画像撮影手段は、前記筐体における前記表側とは反対の裏側に設置されている
請求項１から請求項３のうちいずれかに記載の三次元座標入力システム。
【請求項７】
表示手段は、表示画面を明るく表示するためのバックライトを備え、
前記表示手段とともに筐体における表側に設置されている動画像撮影手段は、動画像を撮影する際に被写体を照らすための光源として前記バックライトを用いる
請求項５または請求項６記載の三次元座標入力システム。
【請求項８】
動画像撮影手段が動画像を撮影する際に被写体を照らすための光源を備えた
請求項１から請求項７のうちいずれかに記載の三次元座標入力システム。
【請求項９】
動画像撮影手段は、筐体の三次元空間内の動作を三次元動作算出手段に算出させるための動画像を得るために、あらかじめ用意されたテクスチャが印刷された被写体を撮影する
請求項１から請求項８のうちいずれかに記載の三次元座標入力システム。
【請求項１０】
動画像を撮影する動画像撮影手段と、
前記動画像撮影手段によって撮影された動画像にもとづいて、当該動画像撮影手段が搭載された筐体の三次元空間内の動作を三次元座標の変化として算出する三次元動作算出手段と、
前記三次元動作算出手段が算出した動作にもとづいて、表示手段に表示されている画像を変更させるための操作情報を生成する操作情報生成手段と、
前記操作情報生成手段が生成した操作情報を前記表示手段を所定のソフトウェアにもとづいて制御する表示制御手段に向けて出力する操作情報出力手段と、を備えた
ことを特徴とする三次元座標入力装置。
【請求項１１】
動画像を撮影するステップと、
撮影された動画像にもとづいて、筐体の三次元空間内の動作を三次元座標の変化として算出するステップと、
算出した三次元空間内の動作にもとづいて操作情報を生成するステップと、
画像を表示する表示手段を所定のソフトウェアにもとづいて制御し、前記生成された操作情報に従って、前記表示手段に表示されている画像を変更するステップと、を行う
ことを特徴とする三次元座標入力方法。
【請求項１２】
コンピュータに、
動画像を撮影するステップと、
撮影された動画像にもとづいて、筐体の三次元空間内の動作を三次元座標の変化として算出するステップと、
算出した三次元空間内の動作にもとづいて操作情報を生成するステップと、
画像を表示する表示手段を所定のソフトウェアにもとづいて制御し、前記生成された操作情報に従って、前記表示手段に表示されている画像を変更するステップとを
実行させるための三次元座標入力用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、座標入力システム等に関し、特に動画撮影可能なカメラを用いた三次元座標入力システム、三次元座標入力装置、三次元座標入力方法、および三次元座標入力プログラムに関する。
【背景技術】
【０００２】
従来から、特許文献１〜３に開示されているように、通常のｘｙ座標を入力するためのマウスにｚ座標を入力するための機構が搭載されることにより、三次元座標入力が行われる三次元座標入力装置があった。
【０００３】
また、特許文献４，５に開示されているように、通常のマウスにトラックボールが搭載され、三次元空間内の平面の傾きがトラックボールによって指定され、同平面上での二次元座標がマウスにより指定されることによって、三次元座標入力が行われる三次元座標入力装置もあった。
【０００４】
一方、特許文献６，７に開示されているように、ｘｙｚ各次元に対応した慣性センサがそれぞれ端末上に配置され、各慣性センサの感知結果から当該端末の動きが読み取られることによって、三次元座標入力を行うものもあった。
【０００５】
【特許文献１】特開２００１−３６０２５２号公報
【特許文献２】特開平１１−１３４１１１号公報
【特許文献３】特開平８−１７９８８３号公報
【特許文献４】特開平９−２６８５１号公報
【特許文献５】特開平１−１００６２１号公報
【特許文献６】特開平７−９８６３０号公報
【特許文献７】特開平１−９６７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、上述した従来の技術には、以下に示すような問題点があった。
【０００７】
第１の問題点は、ｚ座標入力機構がマウスに搭載された装置では、装置自体が大掛かりになるということである。
【０００８】
また、第２の問題点は、ｚ座標入力機構がマウスに搭載された装置では、直感的に座標を入力することが困難であるということである。その理由は、ｚ座標入力機構とマウスの二つの機構をユーザが同時に操作する必要があるためである。
【０００９】
また、第３の問題点は、端末の三次元座標が慣性センサの感知結果によって取得される装置では、その端末が大掛かりで高価になるということである。
【００１０】
さらに、第４の問題点は、端末の三次元座標が慣性センサの感知結果によって取得される装置では、ユーザが端末を静止させていても、ユーザが車や電車などの移動体に乗っている場合、ユーザの意図に反して、ソフトウェアに操作が入力されてしまうということである。その理由は、慣性センサは、ユーザと端末との相対的な運動ではなく、端末の絶対的な運動を検出するためである。
【００１１】
本発明は、上述した問題を解消し、新たに特殊なセンサを追加することなく、直感的な三次元座標入力を実現できるようにすることを目的とする。
【課題を解決するための手段】
【００１２】
本発明の三次元座標入力システムは、動画像を撮影する動画像撮影手段（例えばカメラ１１０）と、画像を表示する表示手段（例えば表示手段１３０）と、所定のソフトウェア（例えば操作対象ソフトウェア１０３）にもとづいて表示手段を制御する表示制御手段（例えばコンピュータ１００）と、動画像撮影手段によって撮影された動画像にもとづいて、当該動画像撮影手段が搭載された筐体（例えば端末装置３００）の三次元空間内の動作を三次元座標の変化として算出する三次元動作算出手段（例えば三次元運動算出手段１０１）と、三次元動作算出手段が算出した動作にもとづいて操作情報を生成する操作情報生成手段（例えば操作情報生成手段１０２）と、を備え、表示制御手段は、操作情報生成手段によって生成された操作情報に従って、表示手段に表示されている画像を変更する（ステップＡ４）ことを特徴とする。
【００１３】
上記のように構成したことで、新たに特殊なセンサを追加することなく、動画像撮影手段の撮像画像にもとづいて三次元座標入力を行うことができるため、低コストで直感的な三次元座標を入力することができるようになる。
【００１４】
操作情報生成手段によって生成された操作情報をユーザの操作に応じて有効化または無効化するための操作情報有効化スイッチ（例えば操作情報有効化スイッチ１２０）を備えていてもよい。
【００１５】
表示手段と表示制御手段とが、動画像撮影手段が搭載された筐体を含む当該動画像撮影手段を備えた装置を制御するコンピュータとは別のコンピュータによって制御されるように構成されていてもよい。
【００１６】
表示手段が筐体に設置され、動画像撮影手段が、筐体における表示手段が設置された表側とは反対の裏側に設置されている（例えば図２参照）構成としてもよい。
【００１７】
表示手段が筐体に設置され、動画像撮影手段が、筐体における表示手段が設置された表側に設置されている（例えば図４参照）構成としてもよい。
【００１８】
動画像撮影手段は、第１の動画像撮影手段と、第２の動画像撮影手段とを含み、表示手段が筐体に設置され、第１の動画像撮影手段が、筐体における表示手段が設置された表側に設置され、第２の動画像撮影手段が、筐体における表側とは反対の裏側に設置されている（例えば図５参照）構成としてもよい。
【００１９】
表示手段は、表示画面を明るく表示するためのバックライトを備え、表示手段とともに筐体における表側に設置されている動画像撮影手段は、動画像を撮影する際に被写体を照らすための光源としてバックライトを用いるようにしてもよい。
【００２０】
動画像撮影手段が動画像を撮影する際に被写体を照らすための光源を備えていてもよい。
【００２１】
動画像撮影手段は、筐体の三次元空間内の動作を三次元動作算出手段に算出させるための動画像を得るために、あらかじめ用意されたテクスチャ（例えば格子、文字など）が印刷された被写体を撮影するように構成してもよい。
【００２２】
また、本発明の三次元座標入力装置は、動画像を撮影する動画像撮影手段（例えばカメラ１１０）と、動画像撮影手段によって撮影された動画像にもとづいて、当該動画像撮影手段が搭載された筐体の三次元空間内の動作を三次元座標の変化として算出する三次元動作算出手段（例えば三次元運動算出手段１０１）と、三次元動作算出手段が算出した動作にもとづいて、表示手段（例えば表示手段１３０）に表示されている画像を変更させるための操作情報を生成する操作情報生成手段（例えば操作情報生成手段１０２）と、操作情報生成手段が生成した操作情報を表示手段を所定のソフトウェアにもとづいて制御する表示制御手段に向けて出力する操作情報出力手段（例えば操作情報生成手段１０２）と、を備えたことを特徴とする。
【００２３】
上記のように構成したことで、新たに特殊なセンサを追加することなく、動画像撮影手段の撮像画像にもとづいて三次元座標入力を行うことができるため、低コストで直感的な三次元座標を入力することができるようになる。
【００２４】
また、本発明の三次元座標入力方法は、動画像を撮影するステップと、撮影された動画像にもとづいて、筐体の三次元空間内の動作を三次元座標の変化として算出するステップ（例えばステップＡ１）と、算出した三次元空間内の動作にもとづいて操作情報を生成するステップ（例えばステップＡ２）と、画像を表示する表示手段を所定のソフトウェアにもとづいて制御し、生成された操作情報に従って、表示手段に表示されている画像を変更するステップ（例えばステップＡ４）と、を行うことを特徴とする。
【００２５】
上記のように構成したことで、新たに特殊なセンサを追加することなく、撮像した動画像にもとづいて三次元座標入力を行うことができるため、低コストで直感的な三次元座標を入力することができるようになる。
【００２６】
さらに、本発明の三次元座標入力プログラムは、コンピュータ（例えばコンピュータ１００）に、動画像を撮影するステップと、撮影された動画像にもとづいて、筐体の三次元空間内の動作を三次元座標の変化として算出するステップ（例えばステップＡ１）と、算出した三次元空間内の動作にもとづいて操作情報を生成するステップ（例えばステップＡ２）と、画像を表示する表示手段を所定のソフトウェアにもとづいて制御し、生成された操作情報に従って、表示手段に表示されている画像を変更するステップ（例えばステップＡ４）とを実行させるためのものである。
【００２７】
上記のように構成したことで、新たに特殊なセンサを追加することなく、コンピュータに、撮像した動画像にもとづく三次元座標入力を実行させることができ、低コストで直感的な三次元座標を入力させることができるようになる。
【発明の効果】
【００２８】
本発明によれば、新たに特殊なセンサを追加することなく、動画像撮影手段の撮像画像にもとづいて三次元座標入力を行うことができるため、コンパクトかつ低コストで三次元座標入力を行うことができるという効果を奏する。
【００２９】
また、本発明によれば、三次元座標を入力する際、複数の機構を同時に操作する必要がなく、三次元空間内で筐体を移動させるだけでよいため、直感的な三次元座標入力を行うことができるようになるという効果を奏する。
【００３０】
さらに、本発明によれば、筐体を操作するユーザ自身あるいはそのユーザが乗っている移動体と、筐体との相対的な運動を検出することができ、ユーザが移動体に乗っている場合であっても、ユーザの意図に反して、ソフトウェアにもとづく操作の指示が入力されてしまうことを防止することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施の形態について図面を参照して説明する。
実施の形態１．
図１は、本発明の第１の実施の形態における三次元座標入力システムの構成例を示すブロック図である。
【００３２】
図１に示すように、本例の三次元座標入力システムは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００と、カメラ１１０と、操作情報有効化スイッチ１２０と、表示手段１３０とを含む。なお、図１には、カメラ１１０によって撮影される被写体１４０も示されている。
【００３３】
コンピュータ１００は、三次元運動算出手段１０１と、操作情報生成手段１０２と、操作対象ソフトウェア１０３とを含む。
【００３４】
また、カメラ１１０は、例えば動画を撮影する機能を有するディジタルカメラが用いられる。なお、カメラ１１０には、被写体１４０を鮮明に撮影するための例えばフラッシュ装置やライトなどの光源が備えられていてもよい。
【００３５】
表示手段１３０には、例えばＬＣＤ（液晶表示装置）などの各種の情報を表示する表示装置が用いられる。表示手段１３０は、操作対象ソフトウェア１０３に操作情報を入力して得られた結果をユーザに提示する。
【００３６】
図２は、本例の三次元座標入力システムが適用された端末装置３００の例を示す説明図である。すなわち、端末装置３００には、コンピュータ１００が内蔵されており、内蔵されているコンピュータ１００上で、三次元運動算出手段１０１、操作情報生成手段１０２、および操作対象ソフトウェア１０３が動作する。
【００３７】
本例では、カメラ１１０は、端末装置３００を挟んでユーザ３０２とは反対側に位置する被写体１４０を撮影するように端末装置３００に設置されている。また、表示手段１３０は、ユーザ３０２に向けて端末装置３００上に取り付けられている。
【００３８】
すなわち、端末装置３００には、表示手段１３０が設置されている側の反対側、言い換えればその表示手段１３０の表示画面を目視しているユーザ３０２の頭部が位置する側の反対側に、カメラ１１０が設置されている。
【００３９】
ここで、被写体１４０は、端末装置３００の周囲に存在する風景や、格子や文字のようなテクスチャが印刷された物体などの本装置３００の使用時に用いられる専用の被写体であってもよい。
【００４０】
三次元運動算出手段１０１は、カメラ１１０で被写体１４０を撮影した動画像から、ユーザ３０２が端末装置３００を動かすことによって生じたカメラ１１０およびそれを搭載した端末装置３００の三次元的な動きを計算する処理を実行する。
【００４１】
操作情報生成手段１０２は、三次元運動算出手段１０１で計算された三次元運動を、操作対象ソフトウェア１０３の操作情報に変換する処理を実行する。
【００４２】
操作情報有効化スイッチ１２０は、ユーザ３０２の操作に応じて、操作情報生成手段１０２で生成された操作情報を有効化または無効化するための制御信号をコンピュータ１００に出力する。
【００４３】
次に、本例の三次元座標入力システムの動作について説明する。
図３は、本例の三次元座標入力システムによる三次元座標入力処理の例を示すフローチャートである。
【００４４】
三次元座標入力処理において、まず、三次元運動算出手段１０１は、カメラ１１０で被写体１４０を撮影した動画像から、ユーザが端末３００を動かすことによって生じたカメラ１１０およびそれを搭載した端末３００の三次元的な動きを計算する（ステップＡ１）。
【００４５】
次に、操作情報生成手段１０２は、三次元運動算出手段１０１で計算された三次元運動を、操作対象ソフトウェア１０３の操作情報に変換する（ステップＡ２）。
【００４６】
次いで、操作情報有効化スイッチ１２０を参照し、スイッチ１２０がＯＮである場合には、操作情報を操作対象ソフトウェア１０３に入力する。スイッチ１２０がＯＦＦの場合には、操作情報の入力は行わない（ステップＡ３）。
【００４７】
そして、表示手段１３０は、操作対象ソフトウェア１０３に操作情報を入力して得られた結果をユーザに提示する（ステップＡ４）。
【００４８】
以上に説明したように、上述した第１の実施の形態では、端末装置３００に搭載されたカメラ１１０で撮影された動画像から三次元座標を算出する構成としているので、新たな機構を端末装置３００に追加する必要がなく、コンパクトかつ安価な三次元座標入力装置を実現できる。
【００４９】
また、上述した第１の実施の形態では、複数の機構を同時に操作する必要がなく、ユーザが端末装置３００を空間内で動かすことによって生じた三次元運動を三次元座標入力とするため、直感的な座標入力ができる。
【００５０】
また、上述した第１の実施の形態では、ユーザ自身あるいはユーザが乗っている移動体（自動車など）と、端末装置３００との相対的な運動を検出することができるため、ユーザが移動体に乗っている場合にも、移動体の動きによる操作情報が意に反して発生してしまうことを防止することができ、意図しない操作情報がソフトウェアに入力されてしまうことを回避することができる。
【００５１】
実施の形態２．
次に、本発明の第２の実施の形態について図面を参照して説明する。
第２の実施の形態における三次元座標入力システムの構成および動作は、上述した第１の実施の形態における三次元座標入力システム（図１参照）と同様であるため、その詳細な説明は省略する。
【００５２】
図４は、本例の三次元座標入力システムが適用された端末装置４００の例を示す説明図である。図４に示すように、端末装置４００は、ユーザ３０２の顔を被写体とするために、カメラ１１１がユーザ３０２に向けて端末４００上に設置されている点で、上述した端末装置３００と異なる。
【００５３】
すなわち、本例の三次元座標入力システムは、上述した第１の実施の形態における三次元座標入力システム（図１参照）と比較すると、カメラ１１０に換えてカメラ１１１を備えている点で異なる。
【００５４】
本例の三次元座標入力システムが備えるカメラ１１１は、上述した第１の実施の形態におけるカメラ１１０と同様に構成される。
【００５５】
この例においても、カメラ１１１に、被写体としてのユーザ３０２を鮮明に撮影するための例えばフラッシュ装置やライトなどの光源を備える構成としてもよい。なお、この例では、ユーザ３０２に向けて取り付けられた表示手段１３０のバックライト等を光源として利用してもよい。
【００５６】
以上に説明したように、上述した第２の実施の形態では、カメラ１１１がユーザ３０２の顔を撮影するように設置されているため、常にカメラ１１１から一定距離内に被写体３０２を捉えることができ、ユーザの周囲に適切な被写体が存在しない場合でも、安定して三次元運動を算出できる。
【００５７】
また、上述した第２の実施の形態では、表示手段１３０がユーザ３０２に向けて設置されているため、表示手段１３０にバックライトが存在する場合には、被写体であるユーザ３０２の顔に安定して照明を当てることが可能となり、暗所でも安定して三次元運動を算出できる。
【００５８】
実施の形態３． 
次に、本発明の第３の実施の形態について図面を参照して説明する。
第３の実施の形態における三次元座標入力システムの構成および動作は、上述した第１の実施の形態における三次元座標入力システム（図１参照）と同様であるため、その詳細な説明は省略する。
【００５９】
図５は、本例の三次元座標入力システムが適用された端末装置５００の例を示す説明図である。
【００６０】
図５に示すように、端末装置５００は、端末装置５００を挟んでユーザ３０２とは反対側に位置する被写体１４０を撮影するように端末装置５００に設置されているカメラ１１０と、ユーザ３０２の顔を被写体とするためにユーザ３０２に向けて端末４００上に設置されているカメラ１１１とがともに設けられている点で、上述した端末装置３００，４００と異なる。
【００６１】
すなわち、端末装置５００は、上述した端末装置３００と端末装置４００の機能をともに備えている。
【００６２】
以上に説明したように、上述した第３の実施の形態では、ユーザ３０２の顔を撮影するカメラ１１１と、端末装置５００から見てユーザ３０２とは反対側に位置する被写体１４０を撮影するカメラ１１０とをともに備える構成としたので、ユーザ３０２と被写体１４０のうち何れか一方しか撮影することができない状況であっても、安定して三次元運動を算出できる。
【００６３】
また、ユーザ３０２と被写体１４０の両方が撮影できる場合には、三次元運動の精度を向上させることができる。
【００６４】
実施の形態４．
次に、本発明の第４の実施の形態について図面を参照して説明する。
図６は、本発明の第４の実施の形態における三次元座標入力システムの構成例を示すブロック図である。
【００６５】
図６に示すように、本例の三次元座標入力システムは、プログラム制御により動作する２つのコンピュータ（中央処理装置；プロセッサ；データ処理装置）６００，６５０と、カメラ１１０と、操作情報有効化スイッチ１２０とを含む。なお、図６には、カメラ１１０によって撮影される被写体１４０も示されている。表示手段１３０と
【００６６】
コンピュータ６００は、三次元運動算出手段１０１と、操作情報生成手段１０２とを含む。また、コンピュータ６５０は、操作対象ソフトウェア１０３と、表示手段１３０とを含む。
【００６７】
コンピュータ６００とコンピュータ６５０とは、例えば、ＵＳＢ（Universal Serial Bus）などのシリアル、パラレルインタフェースで接続されているものとする。また、コンピュータ６００とコンピュータ６５０とが、イーサネット（登録商標）などの通信ネットワークを介して接続されていてもよい。
【００６８】
次に、本例の三次元座標入力システムの動作について説明する。
三次元座標入力処理において、まず、三次元運動算出手段１０１は、カメラ１１０で被写体１４０を撮影した動画像から、ユーザが本例の三次元座標入力システムを搭載した端末（図示せず）を動かすことによって生じたカメラ１１０および端末の三次元的な動きを計算する。
【００６９】
次に、操作情報生成手段１０２は、三次元運動算出手段１０１で計算された三次元運動を、操作対象ソフトウェア１０３の操作情報に変換する。
【００７０】
次いで、操作情報生成手段１０２は、操作情報有効化スイッチ１２０を参照し、スイッチ１２０がＯＮである場合には、操作情報を操作対象ソフトウェア１０３に入力する。すなわち、操作情報を出力する。スイッチ１２０がＯＦＦの場合には、操作情報の入力は行わない。
【００７１】
そして、表示手段１３０は、操作対象ソフトウェア１０３に操作情報を入力して得られた結果をユーザに提示する。
【００７２】
なお、本例のカメラの取り付け位置に関しては、上述した第１〜第３の実施の形態における取り付け位置の何れかと同様とする。すなわち、カメラ１１０に換えてカメラ１１１を用いてもよいし、２つのカメラ１１０，１１１を用いるようにしてもよい。
【００７３】
以上に説明したように、上述した第４の実施の形態のように、２つのコンピュータ６００，６５０を備える構成とした場合であっても、上述した第１〜第３の実施の形態にて説明した各種の効果を得ることができる。
【００７４】
なお、上述した実施の形態では特に言及していないが、端末装置３００，４００，５００は、例えば、カメラ機能を有するＰＤＡ（Personal Digital Assistants）、携帯電話端末、パーソナルコンピュータ、携帯型ゲーム機などが適用される。端末装置３００，４００，５００は、通信ネットワークに接続可能なものであってもよいし、通信ネットワークに接続不能な装置であってもよい。
【００７５】
なお、上述した各実施の形態における三次元座標入力システムの各部は、システムに搭載された制御プログラム（操作対象ソフトウェアを含む：三次元座標入力プログラム）に従って上述した各種の処理を実行している。三次元座標入力プログラムは、例えば、コンピュータ１００に、動画像を撮影するステップと、撮影された動画像にもとづいて、筐体の三次元空間内の動作を三次元座標の変化として算出するステップと、算出した三次元空間内の動作にもとづいて操作情報を生成するステップと、画像を表示する表示手段を所定のソフトウェアにもとづいて制御し、生成された操作情報に従って、表示手段に表示されている画像を変更するステップとを実行させるための制御プログラムである。
【実施例】
【００７６】
次に、本発明の具体的実施例について説明する。
以下に説明する実施例は、上述した第２の実施の形態に対応するものである。
【００７７】
ここでは、上述した三次元座標入力システムを、ディジタルカメラ上で動作する画像ビューアの操作を行う三次元座標入力装置に適用した場合について説明する。
【００７８】
図７は、本実施例における三次元座標系を示す説明図である。図７に示すように、本実施例では、原点７００をディジタルカメラの光軸と画像平面の交点にとり、ｘ軸７０１、ｙ軸７０２をそれぞれディジタルカメラの画像平面のｘ軸、ｙ軸に一致させる。ｚ軸７０３は、原点７００を通り、ｘ軸７０１、ｙ軸７０２それぞれに直行する軸とし、被写体が存在する方向を正とする。
【００７９】
コンピュータ１００における三次元運動算出手段１０１は、ディジタルカメラによって撮影された動画像の各フレームにもとづいて、ディジタルカメラの三次元運動を計算する。
【００８０】
ここで、三次元運動は、ディジタルカメラのｘ、ｙ、ｚ各軸方向の平行移動量と、各軸まわりの回転量から構成される。本実施例では、非特許文献１に記載された方法で三次元運動を計算するものとする。
【００８１】
非特許文献１：池谷、中島、佐藤、池田、神原、横矢、山田、「紙面を対象としたカメラパス推定によるビデオモザイキングおよび超解像」、信学技報ＴＬ２００３−３７  ＰＲＭＵ２００３−２３３、２００４年２月１９日、ｐｐ．４９−５４
【００８２】
非特許文献１に記載されている三次元運動の計算方法では、まず、前フレームの画像上で、特徴点と呼ばれる複数方向のエッジが交差する点を求める。
【００８３】
次に、各特徴点について、現フレームにおける対応座標を、テンプレートマッチングによる追跡処理によって求める。
【００８４】
そして、前フレームにおいて求められている各特徴点の三次元座標を、初期フレームから現フレームに至るまでのすべてのフレーム画像上に投影し、投影座標と、追跡処理によって求められた座標とのずれが最小になるようなカメラの三次元運動および各特徴点の三次元座標を、非線形最小化によって求める。
【００８５】
上記の処理を繰り返すことによって、各フレームにおけるディジタルカメラの三次元運動が、三次元空間内における三次元座標の変化として算出される。
【００８６】
図８は、三次元運動の算出状態の具体例を示す説明図である。例えば、ディジタルカメラが撮影した画像が、図８（Ａ）に示すように被写体７０４であるユーザ３０２の顔が撮影画像の左領域に存在している状態から、図８（Ｂ）に示すようにユーザ３０２の顔が撮影画像の右領域に存在している状態に変化したとする。
【００８７】
すなわち、三次元運動として、図８に示すように、画像上で右向き（ｘ軸の正の方向）の動きが観測されたとする。この観測結果に従って、三次元運動算出手段１０１は、ｘ軸の負の方向への平行移動であること、およびその移動量を算出する。
【００８８】
図９は、三次元運動の算出状態の他の具体例を示す説明図である。例えば、ディジタルカメラが撮影した画像が、図９（Ａ）に示すように被写体７０４であるユーザ３０２の顔が撮影画像の中央付近に存在している状態から、図９（Ｂ）に示すようにユーザ３０２の顔が撮影画像の上下左右方向に拡大した状態に変化したとする。
【００８９】
すなわち、三次元運動として、図９に示すように、画像上で被写体７０４に向かう方向（ｚ軸の負の方向）に移動したことによる放射状の動きが観測されたとする。この観測結果に従って、三次元運動算出手段１０１は、ｚ軸の正の方向への平行移動であること、およびその移動量を算出する。
【００９０】
次いで、操作情報生成手段１０２は、三次元運動算出手段１０１が算出した三次元運動量（移動方向と移動量）を、画像ビューア部（操作対象ソフトウェア１０３に従って制御を行うコンピュータ１００）が表示手段１３０を制御する際に必要となる操作情報に変換し、操作情報有効化スイッチ１２０が押下された状態（ＯＮ状態）であれば、画像ビューア部に入力する。
【００９１】
ここでは、ディジタルカメラのｘ、ｙ軸方向の移動量と同じ移動量を画像ビューア部でのスクロール量とし、ｚ軸方向の移動量と同じ移動量を画像ビューア部での拡大・縮小のスケールにマッピングするものとする。
【００９２】
なお、ビューア上で、画像を大きくスクロールさせたい場合、ユーザは実世界中でも端末を大きく平行移動させる必要がある。これでは、ユーザのいる環境で広いスペース確保できない場合、スクロール操作が困難となる。
【００９３】
このような場合は、操作情報有効化スイッチ１２０を押下しながら、ディジタルカメラを少し平行移動させた後、操作情報有効化スイッチ１２０を離して（ＯＦＦ状態にして）ディジタルカメラを元の位置に戻す、という動作を複数回繰り返すことにより、所望のスクロール量を得ることができる。
【００９４】
また、ディジタルカメラの移動量と同じ移動量でなく、ディジタルカメラの移動量に比例した移動量を画像ビューア部でのスクロール量や拡大・縮小のスケールとしてもよい。
【００９５】
そして、画像ビューア部は、入力された操作情報にもとづいて生成した表示画像を、表示手段１３０に表示し、ユーザに提示する。
【００９６】
図１０は、画像ビューア部の表示制御によって表示手段１３０に表示される画像の具体例を示す説明図である。ここでは、ディジタルカメラが撮影した画像が図８（Ａ）から図８（Ｂ）に変化した場合を例に説明する。
【００９７】
例えば、ディジタルカメラによって図８（Ａ）の画像が撮影されているときに、図１０（Ｃ）に示すような画像が表示手段１３０に表示されていたものとする。図１０（Ｃ）に示す画像は、図１０（Ａ）に示す全体画像の一部の部分画像１００２である。
【００９８】
なお、図１０（Ａ）は、この例で画像ビューア部によって表示手段１３０に表示され得る全体画像である。
【００９９】
次いで、ユーザによって操作情報有効化スイッチ１２０が押下された状態でディジタルカメラがｘ軸負方向に移動されると、ディジタルカメラの撮像画像上で被写体７０４がｘ軸正方向に移動したようになり、図８（Ｂ）に示す画像が撮影されている状態となる。
【０１００】
操作情報生成手段１０２は、三次元運動算出手段１０１が算出した三次元運動量（図８（Ａ）の状態から図８（Ｂ）の状態への被写体の運動量）を、画像ビューア部が表示手段１３０を制御する際に必要となる操作情報に変換し、操作情報有効化スイッチ１２０が押下されているため、画像ビューア部に入力する。
【０１０１】
操作情報が入力されると、画像ビューア部は、部分画像１００２が位置しているフレームを操作情報が示す移動方向（ｘ軸負方向）にその操作情報が示す移動量だけ移動し、その移動したフレームに囲われている画像である部分画像１００１を全体画像から切り取る。
【０１０２】
そして、画像ビューア部は、表示手段１３０の表示画像を、図１０（Ｃ）に示す部分画像１００２から、図１０（Ｂ）に示す部分画像１００１に変更する。
【０１０３】
図１１は、画像ビューア部の表示制御によって表示手段１３０に表示される画像の他の具体例を示す説明図である。ここでは、ディジタルカメラが撮影した画像が図９（Ａ）から図９（Ｂ）に変化した場合を例に説明する。
【０１０４】
例えば、ディジタルカメラによって図９（Ａ）の画像が撮影されているときに、図１１（Ｃ）に示すような画像が表示手段１３０に表示されていたものとする。図１１（Ｃ）に示す画像は、図１１（Ａ）に示す全体画像の一部の部分画像１１０２である。
【０１０５】
なお、図１１（Ａ）は、この例で画像ビューア部によって表示手段１３０に表示され得る全体画像である。
【０１０６】
次いで、ユーザによって操作情報有効化スイッチ１２０が押下された状態でディジタルカメラがｚ軸正方向に移動されると、ディジタルカメラの撮像画像上で被写体７０４がｚ軸負方向に移動したようになり、図９（Ｂ）に示す画像が撮影されている状態となる。
【０１０７】
操作情報生成手段１０２は、三次元運動算出手段１０１が算出した三次元運動量（図９（Ａ）の状態から図９（Ｂ）の状態への被写体の運動量）を、画像ビューア部が表示手段１３０を制御する際に必要となる操作情報に変換し、操作情報有効化スイッチ１２０が押下されているため、画像ビューア部に入力する。
【０１０８】
操作情報が入力されると、画像ビューア部は、部分画像１１０２が位置しているフレームを操作情報が示す移動方向（ｚ軸正方向）にその操作情報が示す移動量だけ移動し、その移動したフレームに囲われている画像である部分画像１１０１を全体画像から切り取る。
【０１０９】
そして、画像ビューア部は、表示手段１３０の表示画像を、図１１（Ｃ）に示す部分画像１１０２から、図１１（Ｂ）に示す部分画像１１０１に変更する。
【０１１０】
上記のようにして、操作情報有効化スイッチ１２０が押下された状態であれば、ディジタルカメラが移動するに従って、表示手段１３０の表示画面が移動するようになる。
【０１１１】
なお、上記の例は、第２の実施の形態の具体例であったが、その他の実施の形態についても同様に処理が行われる。ただし、第２の実施の形態のようにユーザ側にカメラの被写体がある場合と、第１の実施の形態のようにユーザの反対側にカメラの被写体がある場合とでは、カメラで撮像されている被写体の移動方向と、表示手段１３０の表示画像の移動方向とが異なる。すなわち、ユーザ側にカメラの被写体がある場合には、カメラで撮像されている被写体の移動方向と表示手段１３０の表示画像の移動方向は、ｚ軸方向では逆方向になり、ｘｙ軸方向では同じ方向になる。また、ユーザの反対側にカメラの被写体がある場合には、カメラで撮像されている被写体の移動方向と表示手段１３０の表示画像の移動方向は、ｘｙ軸方向では逆方向になり、ｚ軸方向では同じ方向になる。
【０１１２】
また、上記の例では、ユーザ側にカメラの被写体がある場合、カメラで撮像されている被写体の移動方向と表示手段１３０の表示画像の移動方向とが、ｚ軸方向では逆方向になり、ｘｙ軸方向では同じ方向になるものとしていたが、ｘｙ軸方向では逆方向になり、ｚ軸方向では同じ方向になるようにしてもよい。この場合、ユーザがディジタルカメラを移動させた方向とは逆の方向に表示手段１３０の表示画像が移動（スクロール、拡大／縮小）することになる。なお、ユーザの反対側にカメラの被写体がある場合についても同様に、カメラで撮像されている被写体の移動方向と表示手段１３０の表示画像の移動方向とが、ｚ軸方向では逆方向になり、ｘｙ軸方向では同じ方向になるようにしてもよい。
【産業上の利用可能性】
【０１１３】
本発明によれば、携帯端末上での画像や文書、Ｗｅｂページなどのビューア、ブラウザ操作のためのユーザインタフェースといった用途に適用するのに有用である。
【０１１４】
また、本発明によれば、ゲームにおける仮想世界中のキャラクタの操作を行うためのユーザインタフェースといった用途に適用することも可能である。
【図面の簡単な説明】
【０１１５】
【図１】本発明の第１の実施の形態における三次元座標入力システムの構成例を示すブロック図である。
【図２】本発明の第１の実施の形態における三次元座標入力システムを適用した端末装置の例を示す説明図である。
【図３】本発明の第１の実施の形態における動作の例を示すフローチャートである。
【図４】本発明の第２の実施の形態における三次元座標入力システムを適用した端末装置の例を示す説明図である。
【図５】本発明の第３の実施の形態における三次元座標入力システムを適用した端末装置の例を示す説明図である。
【図６】本発明の第４の実施の形態における三次元座標入力システムの構成例を示すブロック図である。
【図７】具体的実施例における三次元座標系を示す説明図である。
【図８】具体的実施例における三次元運動算出の様子を示す説明図である。
【図９】具体的実施例における三次元運動算出の様子を示す説明図である。
【図１０】具体的実施例における操作情報にもとづく表示画像の変更の様子を示す説明図である。
【図１１】具体的実施例における操作情報にもとづく表示画像の変更の様子を示す説明図である。
【符号の説明】
【０１１６】
１００，６００，６５０    コンピュータ（中央処理装置；プロセッサ；デー        タ処理装置）
１０１                        三次元運動算出手段
１０２                        操作情報生成手段
１０３                        操作対象ソフトウェア
１１０，１１１                カメラ
１２０                        操作情報有効化スイッチ
１３０                        表示手段
１４０，７０５                被写体
３００，４００，５００        端末装置
３０２                        ユーザ
７００                        原点
７０１                        ｘ軸
７０２                        ｙ軸
７０３                        ｚ軸
７０４                        ディジタルカメラの画像平面
【図１】
2007310424.tif 000003
【図２】
2007310424.tif 000004
【図３】
2007310424.tif 000005
【図４】
2007310424.tif 000006
【図５】
2007310424.tif 000007
【図６】
2007310424.tif 000008
【図７】
2007310424.tif 000009
【図８】
2007310424.tif 000010
【図９】
2007310424.tif 000011
【図１０】
2007310424.tif 000012
【図１１】
2007310424.tif 000013