(57)【要約】【課題】ユーザによって把持される装置単体のみで三次元位置を独立して検出することができる三次元位置検出装置を実現する。【解決手段】撮像手段１１は，所定時間ごとに撮像して画像データを生成する。画像データ格納手段１２は，撮像手段１１が生成した最新画像データと直前画像データとを格納する。移動量推定手段１３は，最新画像データと直前画像データとに基づいて直前画像データが生成された時刻から最新画像データが生成された時刻までの時間内における三次元位置検出装置１本体のパン，チルトおよびズーム方向への移動量を推定する。三次元位置情報生成手段１４は，この推定された各方向の移動量を順次加算して三次元位置検出装置１の三次元位置を表す三次元位置情報を生成する。情報伝送手段１６は，この三次元位置情報を三次元位置情報を使用する所定の装置に伝送する。【選択図】        図１
2004354134.tif 000002
【特許請求の範囲】
【請求項１】
装置本体の移動量を検出し，装置本体の三次元位置を検出する三次元位置検出装置であって，
所定時間ごとに撮像し，画像データを生成する撮像手段と，
最新の画像データである最新画像データと前記最新画像データの直前に生成された画像データである直前画像データとを少なくとも格納する画像データ格納手段と，
前記最新画像データと前記直前画像データとに基づいて，前記直前画像データの各画素が前記最新画像データの何れの画素に対応するかを推定して，前記直前画像データが生成された時刻から前記最新画像データが生成された時刻までの時間内における前記装置本体のパン方向，チルト方向およびズーム方向への移動量を推定する移動量推定手段と，
前記移動量推定手段によって推定された前記装置本体の各方向の移動量を順次加算することによって前記装置本体の三次元位置を表す三次元位置情報を生成する三次元位置情報生成手段とを備えた
ことを特徴とする三次元位置検出装置。
【請求項２】
装置本体の三次元移動量を検出する三次元位置検出装置であって，
所定時間ごとに撮像し，画像データを生成する撮像手段と，
最新の画像データである最新画像データと前記最新画像データの直前に生成された画像データである直前画像データとを少なくとも格納する画像データ格納手段と，
前記最新画像データと前記直前画像データとに基づいて，前記直前画像データの各画素が前記最新画像データの何れの画素に対応するかを推定して，前記直前画像データが生成された時刻から前記最新画像データが生成された時刻までの時間内における前記装置本体のパン方向，チルト方向およびズーム方向への移動量を推定する移動量推定手段と，
前記移動量推定手段によって推定された前記装置本体の各方向の移動量を表す三次元移動量情報を生成する移動量情報生成手段とを備えた
ことを特徴とする三次元位置検出装置。
【請求項３】
請求項１または請求項２記載の三次元位置検出装置において，
前記三次元位置情報または前記三次元移動量情報を使用する所定の装置に前記三次元位置情報または前記三次元移動量情報を伝送する情報伝送手段を備えた
ことを特徴とする三次元位置検出装置。
【請求項４】
撮像手段を備えた装置の移動量を検出し，前記装置の三次元位置を検出する三次元位置検出方法であって，
所定時間ごとに撮像し，画像データを生成する撮像ステップと，
最新の画像データである最新画像データと前記最新画像データの直前に生成された画像データである直前画像データとを少なくとも格納する画像データ格納ステップと，
前記最新画像データと前記直前画像データとに基づいて，前記直前画像データの各画素が前記最新画像データの何れの画素に対応するかを推定して，前記直前画像データが生成された時刻から前記最新画像データが生成された時刻までの時間内における前記装置本体のパン方向，チルト方向およびズーム方向への移動量を推定する移動量推定ステップと，
前記移動量推定ステップで推定された前記装置本体の各方向の移動量を順次加算することによって前記装置本体の三次元位置を表す三次元位置情報を生成する三次元位置情報生成ステップとを有する
ことを特徴とする三次元位置検出方法。
【請求項５】
撮像手段を備えた装置の三次元移動量を検出する三次元位置検出方法であって，
所定時間ごとに撮像し，画像データを生成する撮像ステップと，
最新の画像データである最新画像データと前記最新画像データの直前に生成された画像データである直前画像データとを少なくとも格納する画像データ格納ステップと，
前記最新画像データと前記直前画像データとに基づいて，前記直前画像データの各画素が前記最新画像データの何れの画素に対応するかを推定して，前記直前画像データが生成された時刻から前記最新画像データが生成された時刻までの時間内における前記装置本体のパン方向，チルト方向およびズーム方向への移動量を推定する移動量推定ステップと，
前記移動量推定ステップによって推定された前記装置本体の各方向の移動量を表す三次元移動量情報を生成する移動量情報生成ステップとを有する
ことを特徴とする三次元位置検出方法。
【請求項６】
請求項４または請求項５記載の三次元位置検出方法を，三次元位置検出装置が備えるコンピュータに実行させるための三次元位置検出プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，三次元位置検出技術に関し，詳しくはユーザによって把持される装置単体のみで三次元位置を独立して検出することを可能にした三次元位置検出装置，方法およびそのプログラムに関するものである。
【０００２】
【従来の技術】
従来の三次元位置検出装置は，所定の場所に設置された装置本体部と，ユーザによって把持される移動部とを備えている。装置本体部は，所定の波長の光ビームを放出し，移動部は，装置本体部によって放出された光ビームを受光し，受光した光ビームの光強度を検出する複数の受光素子によって構成される。
【０００３】
このように構成された三次元位置検出装置において，各受光素子によって検出される光ビームの光強度に基づいて移動部の三次元位置を検出し，検出された三次元位置および移動部の三次元の移動量を所定の情報処理に使用するようになっている（例えば特許文献１参照）。
【０００４】
【特許文献１】
特開平０９−３２５００７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら，このような従来の三次元位置検出装置では，装置本体部より放出される光ビームに応じて移動部の位置および移動量を検出するため，基準となる光ビームを放出する装置本体部を必要としており，ユーザによって把持される装置単体のみで三次元位置を独立して検出することができないという問題があった。
【０００６】
本発明は，このような問題を解決するためになされたもので，ユーザによって把持される装置単体のみで三次元位置を独立して検出することができる三次元位置検出装置，方法およびプログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため，第１の発明は，装置本体の移動量を検出し，装置本体の三次元位置を検出する三次元位置検出装置であって，所定時間ごとに撮像し，画像データを生成する１つの撮像手段と，最新の画像データである最新画像データと前記最新画像データの直前に生成された画像データである直前画像データとを少なくとも格納する画像データ格納手段と，前記最新画像データと前記直前画像データとに基づいて，前記直前画像データの各画素が前記最新画像データの何れの画素に対応するかを推定して，前記直前画像データが生成された時刻から前記最新画像データが生成された時刻までの時間内における前記装置本体のパン方向，チルト方向およびズーム方向への移動量を推定する移動量推定手段と，前記移動量推定手段によって推定された前記装置本体の各方向の移動量を順次加算することによって前記装置本体の三次元位置を表す三次元位置情報を生成する三次元位置情報生成手段とを備えたことを特徴とする構成を有している。
【０００８】
この構成により，装置本体に備えられた撮像手段によって生成された最新画像データと直前画像データとに基づいて，パン方向，チルト方向およびズーム方向への移動量が推定され，三次元位置が検出されるため，ユーザによって把持される装置単体のみで三次元位置を独立して検出することができる。また，１つの撮像手段によって順次生成される画像データに基づいて装置本体の移動量を推定し，装置本体の三次元位置を検出することができるため，最小限の構成で独立した三次元位置検出装置を実現することができる。
【０００９】
また，第２の発明の三次元位置検出装置は，第１の発明における三次元位置情報生成手段の代わりに，または三次元位置情報生成手段の他に，前記移動量推定手段によって推定された前記装置本体の各方向の移動量を表す三次元移動量情報を生成する移動量情報生成手段を備えたことを特徴とする構成を有している。
【００１０】
この構成により，装置本体の三次元移動量を検出することができ，ある位置からの装置本体の相対的な変位を知ることができる三次元位置検出装置を簡易に実現することができる。
【００１１】
また，第３の発明の三次元位置検出装置は，前記三次元位置情報を使用する所定の装置，または前記三次元移動量情報を使用する所定の装置に，前記三次元位置情報または前記三次元移動量情報を伝送する情報伝送手段を備えた構成を有している。
【００１２】
この構成により，三次元位置情報または三次元移動量情報を必要とする所定の装置に，三次元位置情報または三次元移動量情報を伝送することができる。この結果，本発明の三次元位置検出装置を該所定の装置の処理を制御するポインティングデバイスとすることができる。
【００１３】
また，本発明の三次元位置検出方法は，１つの撮像手段を備えた装置の移動量を検出し，前記装置の三次元位置を検出する三次元位置検出方法であって，所定時間ごとに撮像し，画像データを生成する撮像ステップと，最新の画像データである最新画像データと前記最新画像データの直前に生成された画像データである直前画像データとを少なくとも格納する画像データ格納ステップと，前記最新画像データと前記直前画像データとに基づいて，前記直前画像データの各画素が前記最新画像データの何れの画素に対応するかを推定して，前記直前画像データが生成された時刻から前記最新画像データが生成された時刻までの時間内における前記装置本体のパン方向，チルト方向およびズーム方向への移動量を推定する移動量推定ステップと，前記移動量推定ステップで推定された前記装置本体の各方向の移動量を順次加算することによって前記装置本体の三次元位置を表す三次元位置情報を生成する三次元位置情報生成ステップとを有する。
【００１４】
また，本発明の他の三次元位置検出方法は，１つの撮像手段を備えた装置の移動量を検出し，前記装置の三次元位置を検出する三次元位置検出方法であって，所定時間ごとに撮像し，画像データを生成する撮像ステップと，最新の画像データである最新画像データと前記最新画像データの直前に生成された画像データである直前画像データとを少なくとも格納する画像データ格納ステップと，前記最新画像データと前記直前画像データとに基づいて，前記直前画像データの各画素が前記最新画像データの何れの画素に対応するかを推定して，前記直前画像データが生成された時刻から前記最新画像データが生成された時刻までの時間内における前記装置本体のパン方向，チルト方向およびズーム方向への移動量を推定する移動量推定ステップと，前記移動量推定ステップによって推定された前記装置本体の各方向の移動量を表す三次元移動量情報を生成する移動量情報生成ステップとを有する。
【００１５】
この構成により，装置本体に備えられた撮像手段によって生成された最新画像データと直前画像データとに基づいて，パン方向，チルト方向およびズーム方向への移動量が推定され，三次元位置または三次元移動量が検出されるため，ユーザによって把持される装置単体のみで三次元位置または三次元移動量を独立して検出することができる。
【００１６】
また，１つの撮像手段によって順次生成される画像データに基づいて装置本体の移動量を推定し，装置本体の三次元位置または三次元移動量を検出することができるため，最小限の構成で独立した三次元位置検出装置による三次元位置検出方法を実現することができる。
【００１７】
以上の方法における各ステップの処理は，三次元位置検出装置が備えるコンピュータに三次元位置または三次元移動量を検出するための特定のソフトウェアプログラムを実行させることによって実現することができる。
【００１８】
この構成により，従来からあるカメラ付きの携帯電話またはカメラ付きの個人用情報端末などの携帯装置に，本発明による三次元位置検出方法を実現する処理を記述したプログラムを実行させることによって，従来からある携帯装置を本発明の三次元位置検出装置として簡便に実現し利用することが可能になる。
【００１９】
【発明の実施の形態】
以下，本発明の実施の形態について，図面を参照して説明する。図１は，本発明の実施の形態の三次元位置検出装置の構成を示す図である。図１に示すように本発明の実施の形態の三次元位置検出装置１は，撮像手段１１と，画像データ格納手段１２と，移動量推定手段１３と，三次元位置情報生成手段１４と，移動量情報生成手段１５と，情報伝送手段１６とを備えている。
【００２０】
三次元位置検出装置１の各手段は，ハードウェアまたはファームウェアによって実現することができるが，撮像手段１１と情報伝送手段１６の一部を除く手段は，三次元位置検出装置１が備えるコンピュータ（ＣＰＵおよびメモリ）とソフトウェアプログラムとによって実現することもできる。
【００２１】
また，三次元位置検出装置１の概観は，例えば図２に示すようになっており，撮像手段１１は，撮像手段設置部１１ａに設置されるようになっている。
【００２２】
撮像手段１１は，所定時間ごとに撮像し，画像データを生成するようになっている。なお，撮像手段１１は，例えば，電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ
Ｄｅｖｉｃｅ  ）のような素子によって構成される。
【００２３】
画像データ格納手段１２は，撮像手段１１によって生成された画像データを順次格納するようになっている。なお，画像データ格納手段１２に格納された画像データのうち，最新の画像データのことを最新画像データといい，最新画像データの直前に生成された画像データのことを直前画像データという。ここで，画像データ格納手段１２は，少なくとも最新画像データと直前画像データとを格納するようになっていればよく，撮像手段１１によって画像データが生成されるごとに古い画像データを順次破棄するようになっていてもよい。
【００２４】
移動量推定手段１３は，画像データ格納手段１２に格納された最新画像データと直前画像データとに基づいて，直前画像データの各画素が最新画像データの何れの画素に対応するかを推定して，直前画像データが生成された時刻から最新画像データが生成された時刻までの時間内における三次元位置検出装置１本体のパン方向，チルト方向およびズーム方向への移動量を推定するようになっている。なお，パン方向，チルト方向およびズーム方向とは，それぞれ，図２に示すような方向のことをいう。すなわち，ここでパン方向とは，何らかの撮像対象に正対させたときに，装置本体の左右の方向をいい，チルト方向は上下の方向をいい，ズーム方向は前後の方向をいう。撮影対象は，何らかのパターンを画像から得ることができるものであれば何でもよい。
【００２５】
ここで，移動量推定手段１３による最新画像データと直前画像データとに基づいた三次元位置検出装置１の移動量の推定方法の例について詳しく説明する。画素の座標（ｘ，ｙ）にある画素の物理特徴量（例えば，色相や輝度）を関数として，ｆ（ｘ，ｙ）で表し，直前画像データを表す関数をｆ（ｘ，ｙ），最新画像データを表す関数をｆ’（ｘ，ｙ）とする。
【００２６】
また，直前画像データにおける特定の画素の座標を（ｍ，ｎ）として，該特定の画素に対応する最新画像データの画素の座標を（ｍ’，ｎ’）とする。なお，座標系の原点を画像フレームの中心とする。ズーム方向の移動量をａ，パン方向の移動量をｄｘ  ，チルト方向の移動量をｄｙ  として，座標（ｍ’，ｎ’）を，式（１）のように定義する。
【００２７】
（ｍ’，ｎ’）＝（ａｍ，ａｎ）＋（ｄｘ  ，ｄｙ  ）        （１）
ここで，２つの画像データの誤差尺度として，次の式（２）を定義する。
【００２８】
【数１】
2004354134.tif 000003
【００２９】
なお，式（２）において，ＭＳＥとは，最小二乗誤差（Ｍｅａｎ  ｓｑｕａｒｅ  Ｅｒｒｏｒ  ）のことをいい，θは，θ＝（ａ，ｄｘ  ，ｄｙ  ）として表されるものである。また，Ｎとは，直前画像データ内の全ての画素について，式（１）に基づいて最新画像データ内に対応する点があるか否かを求めたときに，直前画像データと最新画像データとの間で重なり合いをもつ画素点の数を表すものである。
【００３０】
以上の条件に基づいて計算が行われ，ＭＳＥ（θ）が最も小さくなるときのθが求められる。ここで，求められたａ，ｄｘ  およびｄｙ  を，それぞれ三次元位置検出装置１が移動したときのズーム方向，パン方向およびチルト方向の移動量とする。
【００３１】
なお，以上説明した移動量の推定方法よりも移動量の精度を向上させる場合には，他のカメラモデル（例えば透視変換モデル，アフィン変換モデルなど）に基づいて移動量を推定してもよい。
【００３２】
また，移動量推定手段１３は，複数の移動量の推定モデルに基づいて移動量の推定を行うようになっていてもよく，この場合にあっては，撮像時の焦点距離に応じて，移動量の推定モデルを変更するようになっていてもよい。
【００３３】
ここでは説明を簡単にするために，三次元位置検出装置１は，撮影対象に正対し，例えば垂直軸や水平軸の周りに回転はしないものとした。三次元位置検出装置１が回転した場合でも，映像のキャプチャの間隔を細かくとり，映像の変化からカメラワーク推定パラメータを算出する周知の技術を応用して，三次元位置検出装置１の移動量を計算することができる。また，このような回転は使用上の制限として禁止してもよい。
【００３４】
三次元位置情報生成手段１４は，移動量推定手段１３によって推定された三次元位置検出装置１本体の各方向への移動量を順次加算することによって，三次元位置検出装置１本体の三次元位置を表す三次元位置情報を生成するようになっている。なお，三次元位置情報生成手段１４は，特定の時刻において，三次元位置検出装置１の三次元位置の零点を設定し，該特定の時刻の三次元位置検出装置１本体の位置を基準とする三次元位置情報を生成するようになっていてもよい。
【００３５】
また，三次元位置検出装置１は，特定の時刻においてユーザに三次元位置検出装置１の三次元位置の零点を設定させるユーザインタフェースを有してもよく，この場合にあっては，三次元位置情報生成手段１４は，ユーザによって零点が設定されたときに三次元位置検出装置１の三次元位置の零点を設定し，該特定の時刻の三次元位置検出装置１本体の位置を基準とする三次元位置情報を生成するようになっていてもよい。
【００３６】
移動量情報生成手段１５は，移動量推定手段１３によって推定された三次元位置検出装置１本体の各方向の移動量を表す三次元移動量情報を生成するようになっている。なお，三次元位置検出装置１は，移動量情報生成手段１５を備えていなくても実施可能である。
【００３７】
情報伝送手段１６は，三次元位置情報生成手段１４によって生成された三次元位置情報または移動量情報生成手段１５によって生成された三次元移動量情報を，三次元位置情報または三次元移動量情報を使用する所定の装置に伝送するようになっている。
【００３８】
なお，情報伝送手段１６による各種情報の伝送は，三次元位置検出装置１と該所定の装置との距離が比較的近い場合には，例えば，赤外線信号，マイクロ波信号またはミリ波信号などの無線通信技術に基づいて行われてもよいし，伝送線を介して行われてもよい。また，情報伝送手段１６による各種情報の伝送は，三次元位置検出装置１と該所定の装置との距離が比較的遠い場合には，例えば，移動体通信網を用いて行われるようになっていてもよい。
【００３９】
以下，本発明の実施の形態の三次元位置検出装置に係る三次元位置情報の生成処理の流れを，図３に示すフローチャートを参照して説明する。まず，撮像手段１１によって撮像され，画像データが生成され（ステップＳ１），生成された画像データは，画像データ格納手段１２によって順次格納される（ステップＳ２）。
【００４０】
次に，画像データ格納手段１２に格納された最新画像データと直前画像データとに基づいて，直前画像データの各画素が最新画像データの何れの画素に対応するかが移動量推定手段１３によって推定され，この結果として，直前画像データが生成された時刻から最新画像データが生成された時刻までの時間内における三次元位置検出装置１本体のパン方向，チルト方向およびズーム方向への移動量が推定される（ステップＳ３）。
【００４１】
次いで，移動量推定手段１３によって推定された三次元位置検出装置１本体のパン方向，チルト方向およびズーム方向への移動量が直前の三次元位置情報に加算されることにより，最新の三次元位置情報が三次元位置情報生成手段１４によって生成される（ステップＳ４）。なお，ステップＳ１からＳ４の処理は，新たな画像データが撮像手段１１によって生成されるごとに順次繰り返される。
【００４２】
なお，情報伝送手段１６によって三次元位置情報が三次元位置情報を使用する所定の装置に伝送されるようになっている場合には，ステップＳ４の後に三次元位置情報が情報伝送手段１６によって該所定の装置に伝送される。また，情報伝送手段１６によって三次元移動量情報が三次元移動量情報を使用する所定の装置に伝送されるようになっている場合には，ステップＳ３の後に三次元移動量情報が移動量情報生成手段１５によって生成され，その生成された三次元移動量情報が情報伝送手段１６によって該所定の装置に伝送される。
【００４３】
以上説明したように，本発明の実施の形態の三次元位置検出装置１は，装置本体に備えられた撮像手段によって生成された最新画像データと直前画像データとに基づいて，パン方向，チルト方向およびズーム方向への移動量が推定され，三次元位置が検出されるため，ユーザによって把持される装置単体のみで三次元位置を独立して検出することができる。
【００４４】
また，１つの撮像手段によって順次生成される画像データに基づいて装置本体の移動量を推定し，装置本体の三次元位置を検出することができるため，最小限の構成で独立した三次元位置検出装置を実現することができる。
【００４５】
また，情報伝送手段１６を備えることによって，三次元位置情報または三次元移動量情報を必要とする所定の装置に三次元位置情報または三次元移動量情報を伝送することができる。この結果，本発明の三次元位置検出装置１を該所定の装置の処理を制御するポインティングデバイスとすることができる。
【００４６】
また，本発明の実施の形態の三次元位置検出装置１の処理を記述したプログラムを，撮像手段，中央演算装置（ＣＰＵ）およびメモリ（ＲＡＭ）を有する携帯装置に実行させることによって，携帯装置を本発明の三次元位置検出装置１として簡便に実現させることができる。ここで，携帯装置とは，例えば，従来からあるカメラ付きの携帯電話またはカメラ付きの個人用情報端末などである。
【００４７】
【発明の効果】
以上説明したように，本発明は，ユーザによって把持される装置単体のみで三次元位置を独立して検出することができる三次元位置検出装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の実施の形態の三次元位置検出装置の構成例を示す図である。
【図２】本発明の実施の形態の三次元位置検出装置の概観の例を示す図である。
【図３】三次元位置情報の生成処理フローを示す図である。
【符号の説明】
１    三次元位置検出装置
１１  撮像手段
１１ａ  撮像手段設置部
１２  画像データ格納手段
１３  移動量推定手段
１４  三次元位置情報生成手段
１５  移動量情報生成手段
１６  情報伝送手段
【図１】
2004354134.tif 000004
【図２】
2004354134.tif 000005
【図３】
2004354134.tif 000006