(57)【要約】【課題】空間的に偏りが少ない特徴点を用いることによりカメラパラメータの推定精度が安定する三次元軌道推定技術を提供する。【解決手段】カメラiで撮影された映像を構成するフレームにおける特徴点の列である特徴点列Fiを生成する特徴点列生成部と、カメラiで撮影された映像と特徴点列Fiから、フレームにおける特徴点の分布の偏りに基づいて、特徴点列Fiの一部である部分特徴点列Giを生成する部分特徴点列生成部と、部分特徴点列Giから、カメラ間の時間ずれτiを推定し、部分特徴点列Giの時間ずれを補正した補正済部分特徴点列^Giを生成する時間ずれ推定部と、補正済部分特徴点列^Giから、カメラiの外部パラメータを推定する外部パラメータ推定部と、特徴点列Fiとカメラ間の時間ずれτiとカメラiの外部パラメータから、被写体の三次元軌道を推定する三次元軌道推定部とを含む。【選択図】図１
2019079360.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を撮影するように設定されたNc台（Ncは2以上の整数）のカメラi(i=1, …, Nc)で撮影された映像から、前記被写体の三次元軌道を推定する三次元軌道推定装置であって、
前記カメラi(i=1, …, Nc)で撮影された映像から、前記カメラi(i=1, …, Nc)で撮影された映像を構成するフレームにおける特徴点の列である特徴点列Fi(i=1, …, Nc)を生成する特徴点列生成部と、
前記カメラi(i=1, …, Nc)で撮影された映像と前記特徴点列Fi(i=1, …, Nc)から、フレームにおける特徴点の分布の偏りに基づいて、前記特徴点列Fi(i=1, …, Nc)の一部である部分特徴点列Gi(i=1, …, Nc)を生成する部分特徴点列生成部と、
前記部分特徴点列Gi(i=1, …, Nc)から、カメラ間の時間ずれτi(i=1, …, Nc)を推定し、前記部分特徴点列Gi(i=1, …, Nc)の時間ずれを補正した補正済部分特徴点列^Gi(i=1, …, Nc)を生成する時間ずれ推定部と、
前記補正済部分特徴点列^Gi(i=1, …, Nc)から、カメラi(i=1, …, Nc)の外部パラメータを推定する外部パラメータ推定部と、
前記特徴点列Fi(i=1, …, Nc)と前記カメラ間の時間ずれτi(i=1, …, Nc)と前記カメラi(i=1, …, Nc)の外部パラメータから、前記三次元軌道を推定する三次元軌道推定部と
を含む三次元軌道推定装置。
【請求項２】
請求項１に記載の三次元軌道推定装置であって、
前記部分特徴点列生成部は、
フレームにおける特徴点の分布の偏りが小さくなるように、前記部分特徴点列Gi(i=1, …, Nc)を生成する
ことを特徴とする三次元軌道推定装置。
【請求項３】
請求項２に記載の三次元軌道推定装置であって、
前記部分特徴点列生成部は、
前記カメラi(i=1, …, Nc)で撮影された映像を構成するフレームを同一の方法で分割し、M個（Mは2以上の整数）の部分領域m(m=1, …, M)を生成する部分領域生成部と、
前記特徴点列Fi(i=1, …, Nc)から、前記部分領域m(m=1, …, M)に含まれる前記特徴点列Fi(i=1, …, Nc)の特徴点の数である特徴点数ci(m)(i=1, …, Nc, m=1, …, M)を算出する特徴点数算出部と、
前記特徴点数ci(m)(i=1, …, Nc, m=1, …, M)から、前記特徴点列Fi(i=1, …, Nc)の特徴点の分布の偏りを示す分布偏り指標σi(i=1, …, Nc)を計算する分布偏り指標計算部と、
前記分布偏り指標σi(i=1, …, Nc)が所定の条件を満たした場合は、前記特徴点列Fi(i=1, …, Nc)を前記部分特徴点列Gi(i=1, …, Nc)として出力し、満たさない場合は、所定の方法により前記特徴点列Fi(i=1, …, Nc)に含まれる特徴点列を生成し、当該生成した特徴点列を改めて特徴点列Fi(i=1, …, Nc)とし前記特徴点数算出部に出力する部分特徴点列出力部とを含む
ことを特徴とする三次元軌道推定装置。
【請求項４】
請求項３に記載の三次元軌道推定装置であって、
前記所定の条件は、
前記分布偏り指標σi(i=1, …, Nc)を用いて計算される分布偏り評価値σが小さいことを示す第１の所定の範囲にあるか、前記分布偏り指標σi(i=1, …, Nc)の計算に用いられている特徴点数の平均値が小さいことを示す第２の所定の範囲にあるという条件である
ことを特徴とする三次元軌道推定装置。
【請求項５】
請求項３または４に記載の三次元軌道推定装置であって、
前記所定の方法は、
前記特徴点列Fi(i=1, …, Nc)から所定の特徴点を取り除くことにより、一時的な特徴点列Fitemp(i=1, …, Nc)を生成し、
前記一時的な特徴点列Fitemp(i=1, …, Nc)の特徴点の分布の偏りを示す分布偏り指標σitemp(i=1, …, Nc)を用いて分布偏り評価値σtempを計算し、
前記分布偏り評価値σtempが前記分布偏り評価値σより大きい場合は、前記特徴点列Fi(i=1, …, Nc)を、小さい場合は、前記一時的な特徴点列Fitemp(i=1, …, Nc)を、改めて特徴点列Fi(i=1, …, Nc)とする
ことを特徴とする三次元軌道推定装置。
【請求項６】
同一の被写体を撮影するように設定されたNc台（Ncは2以上の整数）のカメラi(i=1, …, Nc)で撮影された映像と、前記カメラi(i=1, …, Nc)で撮影された映像を構成するフレームにおける特徴点の列である特徴点列Fi(i=1, …, Nc)から、前記特徴点列Fi(i=1, …, Nc)の一部である部分特徴点列Gi(i=1, …, Nc)を生成する部分特徴点列生成装置であって、
前記カメラi(i=1, …, Nc)で撮影された映像を構成するフレームを同一の方法で分割し、M個（Mは2以上の整数）の部分領域m(m=1, …, M)を生成する部分領域生成部と、
前記特徴点列Fi(i=1, …, Nc)から、前記部分領域m(m=1, …, M)に含まれる前記特徴点列Fi(i=1, …, Nc)の特徴点の数である特徴点数ci(m)(i=1, …, Nc, m=1, …, M)を算出する特徴点数算出部と、
前記特徴点数ci(m)(i=1, …, Nc, m=1, …, M)から、前記特徴点列Fi(i=1, …, Nc)の特徴点の分布の偏りを示す分布偏り指標σi(i=1, …, Nc)を計算する分布偏り指標計算部と、
前記分布偏り指標σi(i=1, …, Nc)が所定の条件を満たした場合は、前記特徴点列Fi(i=1, …, Nc)を前記部分特徴点列Gi(i=1, …, Nc)として出力し、満たさない場合は、所定の方法により前記特徴点列Fi(i=1, …, Nc)に含まれる特徴点列を生成し、当該生成した特徴点列を改めて特徴点列Fi(i=1, …, Nc)とし前記特徴点数算出部に出力する部分特徴点列出力部と
を含む部分特徴点列生成装置。
【請求項７】
三次元軌道推定装置が、同一の被写体を撮影するように設定されたNc台（Ncは2以上の整数）のカメラi(i=1, …, Nc)で撮影された映像から、前記被写体の三次元軌道を推定する三次元軌道推定方法であって、
前記三次元軌道推定装置が、前記カメラi(i=1, …, Nc)で撮影された映像から、前記カメラi(i=1, …, Nc)で撮影された映像を構成するフレームにおける特徴点の列である特徴点列Fi(i=1, …, Nc)を生成する特徴点列生成ステップと、
前記三次元軌道推定装置が、前記カメラi(i=1, …, Nc)で撮影された映像と前記特徴点列Fi(i=1, …, Nc)から、フレームにおける特徴点の分布の偏りに基づいて、前記特徴点列Fi(i=1, …, Nc)の一部である部分特徴点列Gi(i=1, …, Nc)を生成する部分特徴点列生成ステップと、
前記三次元軌道推定装置が、前記部分特徴点列Gi(i=1, …, Nc)から、カメラ間の時間ずれτi(i=1, …, Nc)を推定し、前記部分特徴点列Gi(i=1, …, Nc)の時間ずれを補正した補正済部分特徴点列^Gi(i=1, …, Nc)を生成する時間ずれ推定ステップと、
前記三次元軌道推定装置が、前記補正済部分特徴点列^Gi(i=1, …, Nc)から、カメラi(i=1, …, Nc)の外部パラメータを推定する外部パラメータ推定ステップと、
前記三次元軌道推定装置が、前記特徴点列Fi(i=1, …, Nc)と前記カメラ間の時間ずれτi(i=1, …, Nc)と前記カメラi(i=1, …, Nc)の外部パラメータから、前記三次元軌道を推定する三次元軌道推定ステップと
を含む三次元軌道推定方法。
【請求項８】
請求項１ないし５のいずれか１項に記載の三次元軌道推定装置または請求項６に記載の部分特徴点列生成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像から物体の三次元軌道を推定する技術に関する。
【背景技術】
【０００２】
近年、スポーツ選手の育成や対戦相手の分析を目的として、選手のパフォーマンスを計測し、数値化する取り組みが盛んに行われている。
【０００３】
例えば、野球では、投球の三次元軌道や速度といった投球データを取得するシステムが提供されている。これらのシステムは、ドップラーレーダーやシャッターレベルで同期が可能な高性能なカメラといった大規模な機材と、それを設置するための設備・コストを必要とする。そのため、地方の球場や河原のグラウンドといった環境において投球データを取得することは困難であった。
【０００４】
この問題に対し、非特許文献１ではシャッターレベルで同期する機能がついていない安価なカメラ（例えば、ホームビデオ用のカメラやスマートフォンに付属のカメラ）を複数台利用するという簡易なシステムでピッチャーが投げたボールの三次元軌道を推定する手法を提案している。通常、複数のカメラで撮影した映像から被写体となる物体の三次元軌道を推定するためには、複数のカメラ間の同期を取ることとカメラパラメータを求める（カメラキャリブレーションを行なう）ことが必要となる。しかしながら、安価なカメラでは同期をとることが困難である。また、カメラキャリブレーションを行うためには、カメラ間の共有視野にチェスボードのような参照物体を設置する必要があるが、試合中にそのような参照物体を設置することは困難である。これに対し、非特許文献１では、ピッチャーが投げたボールを特徴点として求めたエピポーラ拘束を利用することにより、カメラ間の同期およびカメラキャリブレーションの課題を解決している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】宮田省吾，斎藤英雄，高橋康輔，三上弾，五十川麻理子，木全英明，“野球のボール追跡による多視点カメラの時間的および幾何学的キャリブレーションとボールの３次元軌跡復元”，情報処理学会研究報告，コンピュータビジョンとイメージメディア（CVIM），2017-CVIM-205(40), pp.1-5, Jan, 2017．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献１の方法のようにピッチャーが投げたボールを特徴点として利用すると、特徴点が空間の一部に集中してしまうことがあり、カメラパラメータの推定精度が不安定になる場合がある。
【０００７】
そこで本発明では、空間的に偏りが少ない特徴点を用いることによりカメラパラメータの推定精度が安定する三次元軌道推定技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、同一の被写体を撮影するように設定されたNc台（Ncは2以上の整数）のカメラi(i=1, …, Nc)で撮影された映像から、前記被写体の三次元軌道を推定する三次元軌道推定装置であって、前記カメラi(i=1, …, Nc)で撮影された映像から、前記カメラi(i=1, …, Nc)で撮影された映像を構成するフレームにおける特徴点の列である特徴点列Fi(i=1, …, Nc)を生成する特徴点列生成部と、前記カメラi(i=1, …, Nc)で撮影された映像と前記特徴点列Fi(i=1, …, Nc)から、フレームにおける特徴点の分布の偏りに基づいて、前記特徴点列Fi(i=1, …, Nc)の一部である部分特徴点列Gi(i=1, …, Nc)を生成する部分特徴点列生成部と、前記部分特徴点列Gi(i=1, …, Nc)から、カメラ間の時間ずれτI(i=1, …, Nc)を推定し、前記部分特徴点列Gi(i=1, …, Nc)の時間ずれを補正した補正済部分特徴点列^Gi(i=1, …, Nc)を生成する時間ずれ推定部と、前記補正済部分特徴点列^Gi(i=1, …, Nc)から、カメラi(i=1, …, Nc)の外部パラメータを推定する外部パラメータ推定部と、前記特徴点列Fi(i=1, …, Nc)と前記カメラ間の時間ずれτi(i=1, …, Nc)と前記カメラi(i=1, …, Nc)の外部パラメータから、前記三次元軌道を推定する三次元軌道推定部とを含む。
【発明の効果】
【０００９】
本発明によれば、空間的に偏りが少ない特徴点を用いることによりカメラパラメータの推定精度が安定し、物体の三次元軌道の推定精度を向上させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】三次元軌道推定装置１００の構成を示すブロック図。
【図２】三次元軌道推定装置１００の動作を示すフローチャート。
【図３】部分特徴点列生成部１２０の構成を示すブロック図。
【図４】部分特徴点列生成部１２０の動作を示すフローチャート。
【図５】部分領域の様子を示す図。
【図６】部分特徴点列出力部１２４の動作の詳細を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１２】
各実施形態の説明に先立って、この明細書における表記方法について説明する。
【００１３】
_（アンダースコア）は下付き添字を表す。例えば、xy_zはyzがxに対する上付き添字であり、xy_zはyzがxに対する下付き添字であることを表す。
【００１４】
＜第一実施形態＞
以下、図１〜図２を参照して三次元軌道推定装置１００を説明する。図１は、三次元軌道推定装置１００の構成を示すブロック図である。図２は、三次元軌道推定装置１００の動作を示すフローチャートである。図１に示すように三次元軌道推定装置１００は、特徴点列生成部１１０と、部分特徴点列生成部１２０と、時間ずれ推定部１３０と、外部パラメータ推定部１４０と、三次元軌道推定部１５０を含む。
【００１５】
三次元軌道推定装置１００には、複数のカメラで撮影された映像が入力される。これらのカメラは同一の被写体を撮影するように設定されている。例えば、ピッチャーがボールを投げる様子（ピッチャーからキャッチャーまでの領域）を撮影するように設定されている場合、ボールが被写体となる。また、これらのカメラは非同期かつ未校正であるものとする。
【００１６】
以下では、三次元軌道推定装置１００の入力となる映像を静止画の画像列として扱うこととする。一般に映像の長さは異なる（つまり、映像に含まれる静止画（フレーム）の数は異なる）が、以下では、同数のフレームを含むように映像が調整されているものとする。そこで、カメラの台数をNc（Ncは2以上の整数）、各映像に含まれる静止画（フレーム）の数をNt（Ntは2以上の整数）とし、カメラi(i=1, …, Nc)で撮影した映像を構成する画像列（フレームの列）をPit (i=1, …, Nc, t=1, …, Nt)と表すことにする。
【００１７】
カメラ1を基準となるカメラ、カメラ1の持つ座標系を世界座標系とし、カメラi(i=1, …, Nc)の外部パラメータ、つまり、回転行列Ri(i=1, …, Nc)と並進ベクトルti(i=1, …, Nc)を求めることとする。なお、カメラi(i=1, …, Nc)の内部パラメータAi(i=1, …, Nc)については、既知とする。焦点距離、主点、レンズ歪みなどが内部パラメータであり、例えば、参考非特許文献１の方法で事前に推定しておけばよい。
（参考非特許文献１： Zhengyou Zhang, “A Flexible New Technique for Camera Calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, Issue11, pp.1330-1334, Nov. 2000.）
【００１８】
以下、図２を参照し、三次元軌道推定装置１００の動作について説明する。特徴点列生成部１１０は、カメラi(i=1, …, Nc)で撮影された映像から、カメラi(i=1, …, Nc)で撮影された映像を構成するフレームにおける特徴点の列である特徴点列Fi(i=1, …, Nc)を生成する（Ｓ１１０）。具体的には、カメラiで撮影された映像の各画像（フレーム）に対して、ボールと思われる領域の中心点を特徴点として抽出する。特徴点抽出方法はどのようなものでもよく、例えば、ボールのテンプレート画像を事前に用意しておき、各画像に対してテンプレートと最も類似度の高い領域をボールの領域とみなし、その領域の中心を特徴点として抽出する方法がある。これにより、カメラiで撮影された映像の各画像（フレーム）に対して、特徴点が１つ抽出される。fitをカメラiにおけるt番目の画像Pitの特徴点とすると、特徴点列Fi={fit}(t=1, …, Nt)が生成される。
【００１９】
部分特徴点列生成部１２０は、カメラi(i=1, …, Nc)で撮影された映像とＳ１１０で生成した特徴点列Fi(i=1, …, Nc)から、フレームにおける特徴点の分布の偏りに基づいて、特徴点列Fi(i=1, …, Nc)の一部である部分特徴点列Gi(i=1, …, Nc)を生成する（Ｓ１２０）。
【００２０】
以下、図３〜図４を参照して部分特徴点列生成部１２０について説明する。図３は、部分特徴点列生成部１２０の構成を示すブロック図である。図４は、部分特徴点列生成部１２０の動作を示すフローチャートである。図３に示すように部分特徴点列生成部１２０は、部分領域生成部１２１と、特徴点数算出部１２２と、分布偏り指標計算部１２３と、部分特徴点列出力部１２４を含む。
【００２１】
部分領域生成部１２１は、カメラi(i=1, …, Nc)で撮影された映像を構成するフレームを同一の方法で分割し、M個（Mは2以上の整数）の部分領域m(m=1, …, M)を生成する（Ｓ１２１）。部分領域に分割する方法はフレーム間で同一となるものであればどのようなものでもよい。例えば、図５に示すようなグリッド状に分割するのでよい。この場合、縦横のマスの数はどのように定めてもよい。以下、説明のため、図５に示すように各フレーム（画像）をM個の矩形領域に分割したものとする。なお、この例では縦が４つ、横が４つの１６個の矩形領域に各フレーム（画像）が分割されている。また、図５はボールの中心点である点ptの画像P1tにおける特徴点f1tと画像P2tにおける特徴点f2tが対応する様子を示している。
【００２２】
特徴点数算出部１２２は、Ｓ１１０で生成した特徴点列Fi(i=1, …, Nc)から、部分領域m(m=1, …, M)に含まれる特徴点列Fi(i=1, …, Nc)の特徴点の数である特徴点数ci(m)(i=1, …, Nc, m=1, …, M)を算出する（Ｓ１２２）。
【００２３】
分布偏り指標計算部１２３は、Ｓ１２２で算出した特徴点数ci(m)(i=1, …, Nc, m=1, …, M)から、特徴点列Fi(i=1, …, Nc)の特徴点の分布の偏りを示す分布偏り指標σi(i=1, …, Nc)を計算する（Ｓ１２３）。分布偏り指標σiは、その値が小さいほど、フレームにおける特徴点のばらつき度合が大きい（フレームにおける特徴点の分布の偏りが小さい）ことを示すようなものであれば、どのようなものでもよい。例えば、以下のように計算するとよい。
【００２４】
【数１】
2019079360.tif 000003
【００２５】
ただし、min(ci)は、特徴点数ci(m)(i=1, …, Nc, m=1, …, M)のうち、1以上の最小の特徴点の数とする。
【００２６】
この分布偏り指標σiは、その値が小さいほど、特徴点列が好ましいもの（つまり、特徴点が一部に集中しておらず、ある程度ばらついているもの）であることを示す指標となる。
【００２７】
部分特徴点列出力部１２４は、Ｓ１２３で計算した分布偏り指標σi(i=1, …, Nc)が所定の条件を満たした場合は、特徴点列Fi(i=1, …, Nc)を部分特徴点列Gi(i=1, …, Nc)としてとして出力し、満たさない場合は、所定の方法により特徴点列Fi(i=1, …, Nc)に含まれる特徴点列を生成し、当該生成した特徴点列を改めて特徴点列Fi(i=1, …, Nc)とし特徴点数算出部１２２に出力する（Ｓ１２４）。所定の条件とは、分布偏り指標σi(i=1, …, Nc)を用いて計算される分布偏り評価値σが閾値σc以下となる（条件１）か、分布偏り指標σi(i=1, …, Nc)の計算に用いられている特徴点数の平均値が閾値σq以下となる（条件２）という条件である。つまり、条件１または条件２のいずれかが満たされる場合、部分特徴点列Giを出力して、処理を終了する（図６参照）。なお、条件判定に用いる閾値σc、σqは予め定められているものとする。
【００２８】
分布偏り評価値σとして、例えば、次式のように分布偏り指標σi(i=1, …, Nc)の和を用いることができる。
【００２９】
【数２】
2019079360.tif 000004
【００３０】
この場合、条件１は次のようになる。
【００３１】
【数３】
2019079360.tif 000005
【００３２】
また、特徴点数の平均値σaは、次式のようになる。
【００３３】
【数４】
2019079360.tif 000006
【００３４】
この場合、条件２は次のようになる。
【００３５】
【数５】
2019079360.tif 000007
【００３６】
なお、分布偏り評価値σは、評価対象となる特徴点列がわずかに変化したとき、特徴点の分布の偏りが大きくなる（特徴点の分布が偏る）と、大きくなるという性質を有することが要求される。式(2)の評価値σはこの性質を備える。
【００３７】
また、上記説明では、閾値以下としたが、もちろん、閾値より小さいとしてもよい。そこで、ある値が閾値以下となるか、閾値より小さくなることを、ある値が小さいことを示す所定の範囲にあるということにする。したがって、先ほどの所定の条件は、分布偏り指標σi(i=1, …, Nc)を用いて計算される分布偏り評価値σが小さいことを示す第１の所定の範囲にあるか、分布偏り指標σi(i=1, …, Nc)の計算に用いられている特徴点数の平均値が小さいことを示す第２の所定の範囲にあるという条件であると換言できる。
【００３８】
以下、図６を参照して、上記所定の条件を満たさない場合における特徴点列Fi(i=1, …, Nc)の更新方法（上記所定の方法）について説明する。更新方法は３つのステップから構成される。
【００３９】
（ステップ１）
特徴点列Fi(i=1, …, Nc)から所定の特徴点を取り除くことにより、一時的な特徴点列Fitemp(i=1, …, Nc)を生成する。取り除く特徴点を決定する方法は以下の通りである。特徴点列F1におけるt番目の特徴点f1tと特徴点列Fi(i=2, …, Nc)におけるt番目の特徴点fitが対応するものとし、特徴点fit(i=1, …, Nc)が含まれる部分領域をm(fit)とする。このとき、Σici(m(fit))(i=1, …, Nc)が最大となる特徴点f1t_max,…,fN_ct_maxをそれぞれ現時点の特徴点列Fi(i=1, …, Nc)から取り除く。ただし、後述のステップ３において一度特徴点列に戻された特徴点については、取り除く対象から除外する。
【００４０】
（ステップ２）
ステップ１で生成した一時的な特徴点列Fitemp(i=1, …, Nc)について、Ｓ１２２と同様、特徴点数citemp(m)(i=1, …, Nc, m=1, …, M)を算出する。さらに、Ｓ１２３と同様、分布偏り指標σitemp(i=1, …, Nc)を計算する。最後に、Ｓ１２４と同様、分布偏り評価値σtempを計算する。つまり、一時的な特徴点列Fitemp(i=1, …, Nc)の特徴点の分布の偏りを示す分布偏り指標σitemp(i=1, …, Nc)を用いて分布偏り評価値σtempを計算する。
【００４１】
（ステップ３）
分布偏り評価値σと分布偏り評価値σtempを比較し、後者（σtemp）の方が大きい場合は、ステップ１で取り除いた特徴点を特徴点列に戻し、後者（σtemp）の方が小さい場合は、ステップ１で取り除いた特徴点を取り除いたままとする。つまり、分布偏り評価値σtempの方が大きい場合は、特徴点列Fi(i=1, …, Nc)を、小さい場合は、一時的な特徴点列Fitemp(i=1, …, Nc)を、改めて特徴点列Fi(i=1, …, Nc)とし、Ｓ１２２に戻る。
【００４２】
なお、条件２は所定の数の特徴点が取り除かれた場合に満たされることになるので、必ずＳ１２４からＳ１２２に戻るループは終了することになる。
【００４３】
時間ずれ推定部１３０は、Ｓ１２０で生成した部分特徴点列Gi(i=1, …, Nc)から、カメラ間の時間ずれτi(i=1, …, Nc)を推定し、部分特徴点列Gi(i=1, …, Nc)の時間ずれを補正した補正済部分特徴点列^Gi(i=1, …, Nc)を生成する（Ｓ１３０）。カメラ間の時間ずれτiは、基準となるカメラ1とカメラiとの時間のずれである。カメラ間の時間ずれを推定する方法として、非特許文献１に記載されているスプライン補間を用いる方法がある。具体的には、カメラ1を基準とし、部分特徴点列Gi(i=2, …, Nc)に対してスプライン補間を実施し、適当な時間ずれを与えたときに得られる特徴点の位置およびそれらの位置を使ったときのエピポーラ幾何に基づく評価値を計算することにより、時間ずれおよびその時間ずれが生じたときの特徴点（補正済特徴点）を求めることができる。なお、基準となるカメラ1については、カメラ間の時間ずれτ1=0、補正済部分特徴点列^G1はＳ１２０で生成した部分特徴点列G1となる。
【００４４】
外部パラメータ推定部１４０は、Ｓ１３０で生成した補正済部分特徴点列^Gi(i=1, …, Nc)から、カメラi(i=1, …, Nc)の外部パラメータを推定する（Ｓ１４０）。補正済部分特徴点列^G1と補正済部分特徴点列^Gi(i=2,…,Nc)は同期が取れているものとして扱うことができるので、これらを用いてカメラi(i=1, …, Nc)の外部パラメータを求める。外部パラメータの求め方はどのようなものでもよい。例えば、カメラの内部パラメータが既知である場合、８ポイントアルゴリズム(8-point algorithm)を用いて基礎行列Fを求めた後、内部パラメータを用いて基礎行列Fを基本行列Eに変換しSVD(singular value decomposition ：特異値分解)を適用して外部パラメータを求めることができる。SVDについては、参考非特許文献２の２５８ページで詳しく説明されている。
（参考非特許文献２：Richard Hartley and Andrew Zisserman, “ Multiple View Geometry in Computer Vision Second Edition”, Cambridge University Press, 2003.）
【００４５】
三次元軌道推定部１５０は、Ｓ１１０で生成した特徴点列Fi(i=1, …, Nc)とＳ１３０で推定したカメラ間の時間ずれτi(i=1, …, Nc)とＳ１４０で推定したカメラi(i=1, …, Nc)の外部パラメータから、ボールの三次元軌道を推定する（Ｓ１５０）。ボールの三次元軌道を求める方法はどのような方法でもよい。例えば、特徴点列F1と特徴点列Fi(i=2, …, Nc)は同期していないので、上述のようにスプライン補間により同期済みの特徴点列を生成した後、それらを用いてDLT(Direct Linear Transformation)法を適用することで特徴点の三次元位置が求め、これらの三次元位置群を三次元軌道として出力する。DLT法については、参考非特許文献２の８８ページと３１２ページに詳しい。
【００４６】
なお、すべての特徴点列のペアについて求めると、Nc-1個の三次元位置群が生成されることになるが、この場合、対応する三次元位置について座標ごとに平均をとるなどすればよい。
【００４７】
本実施形態の発明によれば、空間的に偏りが少ない特徴点を用いてカメラ間の時間ずれやカメラの外部パラメータを推定することにより、精度よく物体の三次元軌道を推定することが可能となる。
【００４８】
（変形例）
部分特徴点列生成部１２０は単独の独立した装置として構成することもできる（図３、４参照）。つまり、部分特徴点列生成部１２０と同一の機能を有する部分特徴点列生成装置は、部分領域生成部１２１と、特徴点数算出部１２２と、分布偏り指標計算部１２３と、部分特徴点列出力部１２４を含む。また、部分特徴点列生成装置は、同一の被写体を撮影するように設定されたNc台（Ncは2以上の整数）のカメラで撮影された映像と、カメラi(i=1, …, Nc)で撮影された映像を構成するフレームにおける特徴点の列である特徴点列Fi(i=1, …, Nc)を入力とし、特徴点列Fi(i=1, …, Nc)の一部である部分特徴点列Gi(i=1, …, Nc)を出力する。したがって、部分特徴点列生成装置は、空間的に偏りが少ない特徴点の列を生成することができる。
【００４９】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００５０】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００５１】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００５２】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００５３】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００５４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００５５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2019079360.tif 000008
【図２】
2019079360.tif 000009
【図３】
2019079360.tif 000010
【図４】
2019079360.tif 000011
【図５】
2019079360.tif 000012
【図６】
2019079360.tif 000013