(57)【要約】【課題】従来よりも容易に座標系変換パラメータを求めることができる技術を提供する。【解決手段】座標系変換パラメータ推定装置は、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から動作体の関節のカメラ座標系における三次元位置を推定し、カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定部２と、カメラ映像に対応するマーカの三次元位置系列から、マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定部４と、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とから、カメラ座標系とセンサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定部５と、を備えている。【選択図】図１
2020144041.tif 000002
【特許請求の範囲】
【請求項１】
センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から前記動作体の関節のカメラ座標系における三次元位置を推定し、前記カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定部と、
前記カメラ映像に対応する前記マーカの三次元位置系列から、前記マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、前記センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定部と、
前記カメラ座標系における対応点の三次元位置と、前記センサ座標系における対応点の三次元位置とから、前記カメラ座標系と前記センサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定部と、
を含む座標系変換パラメータ推定装置。
【請求項２】
請求項１の座標系変換パラメータ推定装置であって、
前記センサ座標系対応点推定部は、
前記マーカの三次元位置系列が形成する近似平面を求める平面取得部と、
前記マーカの三次元位置系列を前記近似平面に射影することで得られる射影点列を求める平面射影部と、
前記射影点列が形成する図形を求める図形取得部と、
前記図形の所定の点を推定する中心推定部と、
を含む、
座標系変換パラメータ推定装置。
【請求項３】
請求項１の座標系変換パラメータ推定装置であって、
前記三次元位置系列の一部が描く図形は、線分又は多角形である、
座標系変換パラメータ推定装置。
【請求項４】
請求項１から３の座標系変換パラメータ推定装置であって、
前記所定の点は、前記三次元位置系列の一部が描く図形が円である場合には円と同一平面上に存在する円周上の点から等距離にある点であり、楕円である場合には楕円の短軸と長軸の交点であり、直線である場合には直線を二等分する点であり、多角形の場合は多角形の重心である、
座標系変換パラメータ推定装置。
【請求項５】
カメラ座標系対応点推定部が、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から前記動作体の関節のカメラ座標系における三次元位置を推定し、前記カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定ステップと、
センサ座標系対応点推定部が、前記カメラ映像に対応する前記マーカの三次元位置系列から、前記マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、前記センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定ステップと、
座標系変換パラメータ推定部が、前記カメラ座標系における対応点の三次元位置と、前記センサ座標系における対応点の三次元位置とから、前記カメラ座標系と前記センサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定ステップと、
を含む座標系変換パラメータ推定方法。
【請求項６】
請求項１から４の何れかの座標系変換パラメータ推定装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる２個の座標系を変換するための座標系変換パラメータ推定する技術に関する。
【背景技術】
【０００２】
空間の情報を取得する機器として、カメラだけでなく、IRセンサ、ToF(Time of Flight)センサ、レーザーレンジファインダーなどの様々なセンサが利用されている。これらのカメラ、センサを組み合わせて利用する場合、それぞれのカメラ、センサが持つ座標系の位置合わせを行うこと、言い換えれば、座標系間の変換パラメータを求めることが重要である。
【０００３】
例えば、図５に示すように、バーチャルリアリティ（以下、VRとする。）を体験している動作体であるユーザが、VR空間上に存在する仮想物体であるボールとインタラクションする場合を考える。この場には２種のセンサ（カメラとIRセンサ）が、存在しているとする。
【０００４】
カメラはユーザの各関節のカメラ座標系（＝実世界座標系）における三次元位置を取得し、IRセンサはユーザがVRを体験するために着用しているヘッドマウントディスプレイ（以下、HMDとする。）や付属のコントローラー（以下、マーカとする。）のセンサ座標系（＝仮想世界座標系）における三次元位置を取得する。
【０００５】
なお、センサ座標系と仮想物体を表示する仮想空間の座標系は一致しているか、外部キャリブレーション済みであるとする。
【０００６】
このとき、カメラ座標系とセンサ座標系の位置合わせができていない状態でユーザが手で仮想物体を操作しようとしても、IRセンサではユーザの手の位置は計測できておらず、かつ、カメラ座標系における手の三次元位置をセンサ座標系に変換できない。このため、仮想空間上におけるユーザの手の位置が不明となり、円滑にインタラクションを行うことができない。
【０００７】
このような異なる種類のセンサの座標系の位置合わせを行うためには、それぞれの座標系における共通の点（以下、このような点を対応点と呼ぶ）の三次元位置又は二次元投影位置などの情報を利用することが一般的である。
【０００８】
しかしながら、センサで取得できる情報が異なる場合には、このような共通の点の三次元位置又は二次元投影位置を求めることは難しい。
【０００９】
市販のVR機器ではIRセンサなどでマーカの三次元位置を取得可能である。しかし、マーカのどの位置を出力しているのか外見からはわからないため、カメラ映像と対応付けることは困難である。
【００１０】
非特許文献１などは、チェスボードのような追加のデバイスを導入している。これらのアプローチは安定して推定ができる一方、追加のデバイスが必要なので日常的に簡易に利用することは難しい。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Raposo, Carolina, Joao Pedro Barreto, and Urbano Nunes, "Fast and accurate calibration of a kinect sensor", 2013 International Conference on 3D Vision (3DV) IEEE, 2013.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
この発明は、従来よりも容易に座標系変換パラメータを求めることができる座標系変換パラメータ推定装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
この発明の一態様による座標系変換パラメータ推定装置は、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から動作体の関節のカメラ座標系における三次元位置を推定し、カメラ座標系における対応点の三次元位置とするカメラ座標系対応点推定部と、カメラ映像に対応するマーカの三次元位置系列から、マーカの三次元位置系列の全部又は一部が描く図形の所定の点を推定し、センサ座標系における対応点の三次元位置とするセンサ座標系対応点推定部と、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とから、カメラ座標系とセンサ座標系との間の座標系変換パラメータを推定する座標系変換パラメータ推定部と、を備えている。
【発明の効果】
【００１４】
カメラ座標系における対応点の三次元位置、センサ座標系における対応点の三次元位置を利用することで、従来よりも容易にカメラ座標系とセンサ座標系との間の座標系変換パラメータを求めることができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、座標系変換パラメータ推定装置の例を説明するためのブロック図である。
【図２】図２は、センサ座標系対応点推定部４の例を説明するためのブロック図である。
【図３】図３は、座標系変換パラメータ推定方法の処理手続きの例を説明するためのフローチャートである。
【図４】図４は、センサ座標系対応点推定部の処理の例を説明するためのフローチャートである。
【図５】図５は、ユーザが、VR空間上に存在する仮想物体であるボールとインタラクションする状況を示す図である。
【図６】図６は、特定の動作の例を示す図である。
【図７】図７は、特定の動作の例を示す図である。
【図８】図８は、センサ座標系対応点推定部４の処理の例を示す図である。
【図９】図９は、センサ座標系対応点推定部４の変形例の処理を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１７】
[実施形態]
図１は、座標系変換パラメータ推定装置の例を説明するためのブロック図である。
【００１８】
座標系変換パラメータ推定装置は、Nc(≧１)台のカメラで撮影したカメラ映像と、Ns(≧１)台のセンサで取得したマーカの三次元位置を入力とし、カメラ座標系とセンサ座標系との間の座標系変換パラメータを出力する。
【００１９】
座標系変換パラメータ装置は、入力されたカメラ映像を格納するカメラ映像格納部１と、入力されたカメラ映像からカメラ座標系における対応点の三次元位置を求めるカメラ座標系対応点推定部２と、センサで取得したマーカの三次元位置系列を格納するセンサデータ格納部３と、マーカの三次元位置系列からセンサ座標系における対応点の三次元位置を求めるセンサ座標系対応点推定部４と、各座標系で推定した対応点の三次元位置から座標系間の変換パラメータを推定する座標系変換パラメータ推定部５とを例えば備えている。
【００２０】
座標系変換パラメータ推定方法は、これらの各部が、図３及び以下に示すステップＳ２、Ｓ４、Ｓ５の処理を少なくとも行うことにより例えば実現される。
【００２１】
以下ではこれらの各部について詳しく述べる。
【００２２】
なお、入力として与えられるカメラ映像及びマーカの三次元位置系列は、動作体が図６又は図７に示すような特定の動作したときのものであるとする。
【００２３】
動作体は、関節を有しており、関節を介してマーカを移動させることができるものである。動作体は、例えば人間や、関節を有するロボットである。以下、動作体が人間である場合を例に挙げて説明する。
【００２４】
特定の動作は、「マーカの軌跡から成る図形の中心＝動作体の何れかの関節位置」となる関係を満たしていればどのような動作よい。この関係を満たす可能性のある図形は、例えば、楕円（真円を含む）、直線、多角形などである。
【００２５】
特定の動作の例は、図６に示すようにマーカ６を手に持って手首の周りを回す動作、図７に示すように肩を起点にしてマーカ６を振り回す動作である。
【００２６】
なお、マーカ６を手に持って手首の周りを回すような動作をした場合には、手首の位置が対応点７の位置となる。また、肩を起点にしてマーカ６を振り回す動作をした場合には、肩の位置が対応点７の位置となる。
【００２７】
関節位置は、マーカが軌跡を描く間固定されていることが望ましい。また、カメラ映像には、人体の全体が映っている必要はなく、少なくとも対応点として利用する関節が映っていればよい。また、マーカの三次元位置系列は、一回の動作において図形を検出するために必要な最低点数（直線なら２点以上，楕円なら５点以上など）の異なる三次元位置が含まれることとする。
【００２８】
動作体が行った少なくとも１種類の特定の動作に対応するカメラ映像及びマーカの三次元位置系列は、それぞれカメラ映像格納部１及びセンサデータ格納部３に出力される。ここで、少なくとも１種類の特定の動作は、例えば、互いに対応する対応点が異なる３種類以上の特定の動作である。
【００２９】
なお、センサは、センサ座標系における指定のマーカの三次元位置が取得できるものであればどのようなものでもよく、例えばIRセンサやToFセンサ、レーザーレンジファインダーなどを利用することができる。
【００３０】
[カメラ映像格納部１]
カメラ映像格納部１には、動作体が行った少なくとも１種類の特定の動作に対応するカメラ映像が入力され格納される。
【００３１】
カメラ映像格納部１は、例えば座標系変換パラメータ推定装置に備えられている。カメラ映像格納部１は、オフライン処理を想定する場合は例えばHDDである。カメラ映像格納部１は、オンライン処理を行う場合はメモリである。
【００３２】
一方、カメラ映像格納部１は、座標系変換パラメータ推定装置の外部にあってもよい。例えば、カメラ映像格納部１は、座標系変換パラメータ推定装置とネットワーク接続されたクラウドサーバであってもよい。
【００３３】
カメラ映像は、後述するセンサデータ格納部３に格納されているマーカの三次元位置系列と対応付けられており、かつ、同期が取れているとする。ここで、「対応付けられている」とは、あるシーンに対応するカメラ映像と、そのあるシーンと同じシーンをセンシングしたマーカの三次元位置系とには、そのあるシーンに対応する情報が付与されていることを意味する。
【００３４】
例えば、シーンＳに対応するカメラ映像のファイル名及びマーカの三次元位置系のファイル名には、シーンＳに関する情報が含まれる。
【００３５】
[カメラ座標系対応点推定部２]
カメラ座標系対応点推定部２には、カメラ映像格納部１から読み込んだカメラ映像が入力される。
【００３６】
カメラ座標系対応点推定部２は、入力されたカメラ映像中に映る動作体を解析して対応点の三次元位置を推定する。
【００３７】
推定されたカメラ座標系における対応点の三次元位置は、座標系変換パラメータ推定部５に出力される。
【００３８】
具体的には、カメラ座標系対応点推定部２は、カメラ映像中の動作体の各関節、特に対応点となる関節の三次元位置を推定する。この三次元位置を推定する方法はどのような方法でもよい。
【００３９】
１台のカメラでカメラ映像を撮影した場合には、例えば参考文献１で提案されている、単眼映像から３次元の関節位置を推定する方法を用いることができる。この方法の詳細は、参考文献１を参照のこと。
【００４０】
〔非特許文献２〕Tome, Denis, Christopher Russell, and Lourdes Agapito, "Lifting from the deep: Convolutional 3d pose estimation from a single image", CVPR 2017 Proceedings (2017): 2500-2509.
【００４１】
また、２台以上のカメラでカメラ映像を撮影した場合であって、予めカメラ間の位置関係が参考文献２の技術などを利用して既知である場合、参考文献３の技術を用いて推定した各関節の二次元位置を三角測量の原理を用いることで三次元位置を推定することができる。
【００４２】
２台以上のカメラでカメラ映像を撮影した場合であって、カメラ間の位置関係が未知である場合、参考文献４で提案されているように、動作体の各関節の二次元位置を利用することで位置関係の推定、同期、および関節の三次元位置を得ることが可能である。
【００４３】
これらの技術の詳細に関しては、参考文献３から５を参照のこと。
【００４４】
〔参考文献３〕Zhang, Zhengyou, "A flexible new technique for camera calibration", IEEE Transactions on pattern analysis and machine intelligence 22 (2000).
〔参考文献４〕Cao, Zhe, et al, "Realtime multi-person 2d pose estimation using part affinity fields", arXiv preprint arXiv:1611.08050 (2016).
〔参考文献５〕Takahashi, Kosuke, et al, "Human Pose as Calibration Pattern: 3D Human Pose Estimation with Multiple Unsynchronized and Uncalibrated Cameras", 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2018.
【００４５】
このようにして、カメラ座標系対応点推定部２は、センサによってセンサ座標系の三次元位置が取得可能なマーカを動作体が動作させる様子を映すカメラ映像から動作体の関節のカメラ座標系における三次元位置を推定し、カメラ座標系における対応点の三次元位置とする（ステップＳ２）。
【００４６】
[センサデータ格納部３]
センサデータ格納部３には、動作体が行った少なくとも１種類の特定の動作に対応するマーカの三次元位置系列が入力され格納される。
【００４７】
センサデータ格納部３は、例えば座標系変換パラメータ推定装置に備えられている。カメラ映像格納部１は、オフライン処理を想定する場合は例えばHDDである。センサデータ格納部３は、オンライン処理を行う場合はメモリである。
【００４８】
一方、センサデータ格納部３は、座標系変換パラメータ推定装置の外部にあってもよい。例えば、センサデータ格納部３は、座標系変換パラメータ推定装置とネットワーク接続されたクラウドサーバであってもよい。
【００４９】
[センサ座標系対応点推定部４]
センサ座標系対応点推定部４には、センサデータ格納部３から読み込んだマーカの三次元位置系列が入力される。
【００５０】
センサ座標系対応点推定部４は、マーカの三次元位置系列から、センサ座標系における対応点の三次元位置を推定する。より詳細には、センサ座標系対応点推定部４は、カメラ映像に対応するマーカの三次元位置系列から、マーカの三次元位置系列の全部又は一部が描く図形の中心を推定し、センサ座標系における対応点の三次元位置とする（ステップＳ４）。
【００５１】
推定されたセンサ座標系における対応点の三次元位置は、座標系変換パラメータ推定部５に出力される。
【００５２】
センサ座標系対応点推定部４は、図２に示すように、平面取得部４１と、平面射影部４２と、図形取得部４３と、中心推定部４４とを例えば備えている。これらの各部は、図４及び以下に示すステップＳ４１からステップＳ４４の処理を行う。以下、これらの各部について説明する。
【００５３】
[[平面取得部４１]]
まず、センサ座標系対応点推定部４の平面取得部４１は、入力されたマーカの三次元位置系列に対して、平面フィッティング処理を行う（ステップＳ４１）。
【００５４】
このときの平面フィッティングアルゴリズムはどのようなものでもよい。平面の方程式は例えばax+by+cz+d=0と表され、未知数は(a,b,c,d)の４個である。このため、４点以上の三次元位置情報を利用して最小二乗法やRANSACを利用することで各未知数を求めることができる。
【００５５】
このようにして、センサ座標系対応点推定部４の平面取得部４１は、マーカの三次元位置系列が形成する平面（マーカの三次元位置系列が形成する面として近似した平面。
以下、近似平面と記載）を求める（ステップＳ４１）。求まった平面についての情報は、平面射影部４２に出力される。
【００５６】
図８（Ａ）は、平面取得部４１の処理の例を表す図である。図８（Ａ）に例示するように、三次元位置系列にフィッティングする平面が平面取得部４１により求められる。
【００５７】
[[平面射影部４２]]
センサ座標系対応点推定部４の平面射影部４２は、平面取得部４１で得られた平面を入力として、入力された平面にマーカの三次元位置系列の各点を射影する。ここでいう射影とは、図８（Ｂ）に示すように、各三次元点から平面取得部４１で得られた求めた平面に対して垂線を下ろし、その垂線とその平面の交点を新たな三次元点列とすることである。以下、新たな三次元点列を射影点列と呼ぶ。この処理により、射影点列は厳密に同一平面上に存在することが保証される。
【００５８】
このようにして、平面射影部４２は、マーカの三次元位置系列を平面に射影することで得られる射影点列を求める（ステップＳ４２）。求まった射影点列は、図形取得部４３に出力される。
【００５９】
図８（Ｂ）は、平面射影部４２の処理の例を表す図である。図８（Ｂ）では、射影点列は中が黒で塗りつぶされた点で表されている。
【００６０】
[[図形取得部４３]]
センサ座標系対応点推定部４の図形取得部４３は、入力された射影点列が形成する図形を求める（ステップＳ４３）。求まった図形についての情報は、中心推定部４４に出力される。
【００６１】
例えば、射影点列が形成する図形が楕円であることが想定される場合には、図形取得部４３は、射影点列に対して楕円フィッティングを行う。このとき、楕円フィッティングはどのような方法でも良い。例えば、参考文献６を用いることで平面上の楕円フィッティングが可能である。
【００６２】
なお、参考文献６は二次元平面に対して適用が可能である。このため、射影点列を一度二次元座標値として表す必要がある。ここで、射影点列は厳密に同一平面上に存在することが保証されている。このため、図形取得部４３は、この平面上の任意の点を原点とする二次元座標系を定め、その二次元座標系における射影点列の二次元座標値を求めてそれらに対して楕円フィッティングを行う。
【００６３】
図８（Ｃ）は、図形取得部４３の処理の例を表す図である。図８（Ｃ）に例示するように、射影点列にフィッティングする楕円が図形取得部４３により求められる。
【００６４】
[[中心推定部４４]]
センサ座標系対応点推定部４の中心推定部４４は、図形取得部４３で求まった図形についての情報を入力とし、図形の中心を推定する（ステップＳ４４）。推定された図形の中心が、センサ座標系における対応点の三次元位置とされる。推定したセンサ座標系における対応点の三次元位置は、座標系変換パラメータ推定部５に出力される。
【００６５】
なお、以下では中心とはそれぞれの図形に置いて、例えば次にあげるような点を表すとする。円の場合は円と同一平面上に存在し、円周上のどの点からでも同一距離にある点、楕円の場合は短軸と長軸の交点，直線の場合はその直線を二等分する点，多角形の場合は重心である。例えば、射影点列が形成する図形が楕円であることが想定される場合には、中心推定部４４は、図形取得部４３で求まった楕円の短軸と長軸の交点を中心位置として求める。そして、中心推定部４４は、その中心位置の座標値をセンサ座標系における対応点の座標値として出力する。
【００６６】
楕円の中心位置を求める手法はどのような方法でもよい。例えば、参考文献６の手法ではフィッティングした際に楕円の長径、短径、傾き、中心位置に関する情報が得られるため、それを利用してもよい。射影点列が形成する図形そのものが楕円でなくてもよい。どのような図形が描かれたとしても、描かれたマーカの軌跡の全てを包含可能な最小の楕円を推定し、その楕円の中心位置の座標値をセンサ座標系における対応点の座標値としてもよい。参考文献６でフィッティングを行った場合は、図形取得部４３の説明で述べたように中心位置の座標値を二次元座標系からセンサ座標系に戻す。
【００６７】
〔参考文献６〕Fitzgibbon, Andrew, Maurizio Pilu, and Robert B. Fisher, "Direct least square fitting of ellipses", IEEE Transactions on pattern analysis and machine intelligence 21.5 (1999): 476-480.
【００６８】
図８（Ｄ）は、中心推定部４４の処理の例を表す図である。図８（Ｄ）に例示するように、楕円の中心が中心推定部４４により求められる。
【００６９】
[座標系変換パラメータ推定部５]
座標系変換パラメータ推定部５には、カメラ座標系対応点推定部２が推定したカメラ座標系における対応点の三次元位置と、センサ座標系対応点推定部４が推定したセンサ座標系における対応点の三次元位置とが入力される。
【００７０】
座標系変換パラメータ推定部５は、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とから座標系変換パラメータを推定する（ステップＳ５）。座標系変換パラメータを求める手法はどのような手法でも良い。
【００７１】
例えば、座標系変換パラメータ推定部５には、カメラ座標系における対応点の三次元位置と、センサ座標系における対応点の三次元位置とのペアが３個以上入力される。
【００７２】
この場合、座標系変換パラメータ推定部５は、これらのペアを用いて、３×３の回転行列座標系変換パラメータと、３×１の並進ベクトルとから成る座標系変換パラメータを求める。
【００７３】
例えば、これらのペアからAbsolute orientationを求めることでこの座標系変換パラメータを求める手法などが利用できる（例えば、参考文献７参照。）。
【００７４】
〔参考文献７〕Horn, Berthold KP, "Closed-form solution of absolute orientation using unit quaternions", JOSA A 4.4 (1987): 629-642.
【００７５】
このように、関節の三次元位置とマーカの三次元位置の軌跡からなる図形の中心が一致するとみなせるように、マーカが装着された人がある特定の動きを取ったときに発生する位置関係を利用して共通の対応点を作り出す。これにより、従来よりも容易に座標系変換パラメータを求めることができる。
【００７６】
[変形例]
マーカの三次元位置系列の一部が描く図形が線分又は多角形である場合には、例えば、センサ座標系対応点推定部４は、例えば以下のようにしてセンサ座標系における対応点の三次元位置を推定してもよい。
【００７７】
例えば、マーカの軌跡から成る図形が線分であると推定される場合には、センサ座標系対応点推定部４は、例えば以下のようにしてセンサ座標系における対応点の三次元位置を推定してもよい。なお、この場合の特定の動作の例は、例えば図９に例示する肩を中心として互いに１８０度を成す位置にマーカ６を数秒間静止する動作である。
【００７８】
センサ座標系対応点推定部４は、まず、入力として得られるマーカの三次元位置系列の中から、一定時間位置が変化しない点を求める。一定時間は、予め定められた時間であり、例えば１から２秒程度でもよいし、それ以上長い時間であってもよい。
【００７９】
一定時間位置が変化しない点の例は、一定時間内に移動する位置変化の総量が予め定められた閾値以下である場合、その一定時間内の三次元位置系列の位置の平均である。また、一定時間位置が変化しない点の他の例は、一定時間内の三次元位置系列を構成する点の移動速度が予め定められた閾値以下である場合、その一定時間内の三次元位置系列の位置の平均である。
【００８０】
そして、センサ座標系対応点推定部４は、求まった一定時間位置が変化しない点を結ぶ線分の中点をセンサ座標系における対応点の三次元位置として推定する。
【００８１】
また、例えば、マーカの軌跡から成る図形が多角形であると推定される場合には、センサ座標系対応点推定部４は、例えば以下のようにしてセンサ座標系における対応点の三次元位置を推定してもよい。なお、この場合の特定の動作の例は、肩を中心として互いにa度を成す位置にマーカを数秒間静止する動作である。bを所定の3以上の整数として、aは360=a*bを満たす角度である。
【００８２】
センサ座標系対応点推定部４は、まず、マーカの軌跡から成る図形が線分である場合と同様にして、入力として得られるマーカの三次元位置系列の中から、一定時間位置が変化しない点を３個以上求める。
【００８３】
そして、センサ座標系対応点推定部４は、求まった一定時間位置が変化しない３個以上の点を頂点とし、360=a*bを満たすb個の頂点を有する多角形の中心位置を求め、センサ座標系における対応点の三次元位置として推定する。
【００８４】
以上、本発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。
【００８５】
実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００８６】
例えば、座標系変換パラメータ推定装置の構成部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。
【００８７】
[プログラム、記録媒体]
上記説明した座標系変換パラメータ推定装置における各種の処理機能をコンピュータによって実現する場合、座標系変換パラメータ推定装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記座標系変換パラメータ推定装置における各種の処理機能がコンピュータ上で実現される。
【００８８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００８９】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００９０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００９１】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００９２】
１     カメラ映像格納部
２     カメラ座標系対応点推定部
３     センサデータ格納部
４     センサ座標系対応点推定部
４１   平面取得部
４２   平面射影部
４３   図形取得部
４４   中心推定部
５     座標系変換パラメータ推定部
６     マーカ
７     対応点
【図１】
2020144041.tif 000003
【図２】
2020144041.tif 000004
【図３】
2020144041.tif 000005
【図４】
2020144041.tif 000006
【図５】
2020144041.tif 000007
【図６】
2020144041.tif 000008
【図７】
2020144041.tif 000009
【図８】
2020144041.tif 000010
【図９】
2020144041.tif 000011