複数非同期カメラを用いた高速３次元位置推定に関する研究
画像認識講座

清水 彰一

指導教授

藤吉 弘亘

 はじめにロボットが周辺環境をセンシングして自律移動するには，対象物の  次元位置を正確にかつ高速に計測する必要がある． 次元位置を求める手法としてマルチベースラインス
テレオ  が提案されており，多くのアプリケーションで用いられているが，カメラ間を同期する必要がある．複数の安価なカメラはカメラ間に同期機構がないためマルチベースラインステレオを適用することができない．そこで本研
究では，複数非同期カメラを用いた高速  次元位置検出法を提案する．本稿では，ロボットに搭載した  台の非同期カメラによる  次元位置推定法について述べ，シミュレーション実験によりその有効性を示す．

図 複数の非同期カメラによる  次元位置推定

固定された複数の非同期カメラによる  次元位置推定法を以下に示す．まず，最新フレームより前  フレームの 次元位置を推定する．次にその  点の  次元位置と最新フレームから求められる光線から最新フレームの  次元位置を求める．

 最新フレームの  次元位置推定

本手法では，図  に示すように既に計算された前  フ
レームの  次元位置 È   と È   を用いて，最新フレーム  における予測位置 È        を次式に示す
線形予測により求める．Æ はカメラ間のタイミング間隔とする．

スプライン曲線による  次元位置推定

 移動カメラによるの  次元位置推定
ロボット等に搭載した移動カメラにおいて  次元位置を求めるためには，画像平面で運動軌跡を求めることが不可能である．そこで，本研究では， 次元空間に運動軌跡として曲面を求め，曲面と前  フレームの光線との交点から 次元位置を求める手法を提案する．対象物の軌跡は，線形だけではなく，非線形の軌跡も描くため， 本の光線から スプラインを用いて  次元空間中に曲面を作成し，その曲面を運動軌跡とする．図  に  本の光線から生成される  次元空間中の曲面と，時刻   の光線を示す．

È  È    ÆÚ   Ú   È    È   Æ本来，予測位置 È は，最新フレームにおけるカメラ の画像面上の検出位置を通る光線 Ð 上に存在する．しかし，線形予測により求められた位置 È は，予測誤差を含んでいることが考えられる．そこで，予測位置 È に最も近い
光線上の点 È ¼ を求める．È ¼ は予測位置 È から Ö 方向への正射影ベクトルであり，次式で求めることができる．

È ¼  È  ÊÌ Ö  Ê Ö Ê Ö  Ì 



 

この È  を最新フレームの  次元位置とする．
図

スプラインによる曲面推定 スプライン曲面の生成
 次元空間中に曲面を求めるために，各フレームにおいて対象物の画像座標とロボットの姿勢から  次元空間の光線を求める．光線は，各時刻におけるカメラ  の位置Ì        とロボット向きより得られる 軸まわりの回転行列 Ê から，次式に示すように直線 Ð と表現できる． は実数であり，Ö      は画像平面上の観測点  を通る光線の傾きを表すベクトルである．

Ð  Ê Ö  Ì 図

最新フレームの  次元位置推定

前  フレームの  次元位置 È   と È   を用いて最新フレームを推定するため，前  フレームの  次元位置をより正確に求める必要がある．

 前  フレームの  次元位置推定È は，ステレオ視を用いて前  フレームの  次元位置を求める．しかし，非同期のカメラを用いているため同時刻での対応点が存在しない．そこで，過去フレームの対象物の運動軌跡を求め，その軌跡と時刻   のエピポーラ線との交点を求める．その交点を擬似的な対応点とし，実際に観測した点の  点によりステレオ視を用いて前  フ
レームの  次元位置を求める 図  参照 ．

求める  次元空間中の以下の式で定義する．

  スプラインで構成される曲面を                    ，     ，     は と  によって求まる関数であり， ，  は   次と   次のスプラインである．， ， は数点の  次元座標より導き出される定数であり，本手法では，各フレーム ， ， における直線 Ð ，Ð  ，Ð  に実数 を代入し，各光線上に  点づつ計  点を用いる．その求めた ， ，
を用いることによりスプライン曲面を求める．
  

 直線と曲面の交点の探索

 次元位置 È   は，時刻    のカメラ  の画像座標È  として求める．しかし，曲面は スプラインにより求められているため，直接交点を求めることは容易ではない．そこ
で本手法では，曲面を細分化し平面の集合体として処理することにより，交点を求める．以下にその手順を示す．
    から得られる光線が曲面と交わる点

図
図



直線と曲面の交点計算

対象物の運動軌跡である光線群から求めた曲面において，時刻   における対象物体は，時刻  から  までの範囲内に存在するため図  に示す頂点 ， ，，とした曲面領域を初期探索範囲とする．
 曲面上の頂点 ， ，， により囲まれた領域に対して，媒介変数   を制御して，曲面上の中点  ，，， を求め， 分割する 図   参照 ．
  分割された各平面において，平面区間内にカメラ  から得られる光線 Ð  との交点 È が存在するか判定を行う．このとき，各平面の頂点から  頂点を選び，図  に示すように  つの三角形が存在する平面を求める．
その平面とカメラからの直線が交差する点を求め，その点が三角形内に存在するか内外判定を行う 図   参照 ．
 内外判定の結果，内側と判定された平面領域を初期領域として，  ，  を繰り返す．最終的に，分割された平面の頂点と交点 È との距離  がしきい値以内であれば，繰り返し処理を終了する．
以上のステップにより時刻  ，  の  次元位置È   ，È   が得られたので，最新フレームの  次元位置は式  ，  を用いて求める．

 評価実験

対象物の運動とロボットの軌跡

場合の結果である．!線形予測" は，同時刻に取得した両カメラの画像中の点からステレオ視によって  次元位置を求め， 秒後の  次元位置を線形予測により推定した結果である．
表   次元位置と真値との平均誤差 本提案手法
線形予測誤差    
表  より，本提案手法の精度は線形予測の結果より約 程低い．これは，ボールがバウンドした際の誤差が大きいためである．この理由は，線形予測により最新フレームの  次元位置を求めるためである．そのため，求めた 次元位置の精度の信頼度を求めることが重要であるといえる．そこで，信頼度を図  に示すように È から光線上の点 È ¼  へ修正した際のユークリッド距離の逆数とする．図の拡大図に真値と最新フレームを推定した際の信頼度を真値上に表示した結果を示す．この結果より，真値との誤差が大きい推定値に対して，信頼度が低くなることがわかる．従って，この信頼度を用いることにより， 次元位置の精度を保障することが可能となる．また，提案手法はボールがバウンドした特異点を除いた結果では，ステレオ視の線形予測と同程度の精度を得ることができた．

 次元空間中の対象物の運動を復元するシミュレーショ
ン実験により，提案手法の評価を行う．

 対象物の運動復元

対象物とロボットが仮想世界座標空間      を移動していると仮定し，対象物の運動復元を行う． 台のカメラはロボット上部に   ずらして取り付けてあり，画像面までの距離を   とする 図
 参照 ．高さ方向のカメラ位置の違いは，ロボットと対象物が同一方向に移動した場合， 台のカメラの高さが同じであると，作成する曲面 この場合は平面 と光線が平行となり，交点が求められないことを防ぐためである．

対象物の  次元位置図 おわりに本研究では，複数の非同期のカメラを用いた  次元位置推定法を提案した．本稿では，対象物の運動復元の実験により，本手法の有効性を示した．今後は，実際のロボットとカメラを用いた実験を行い評価を行う予定である．
図

シミュレーション実験のロボットモデル

図  にロボットと対象物の軌跡を示す．仮想世界座標空間に重力加速度     を持った対象物の放物運動に対し，提案手法により  次元位置を推定し，追跡タスクにおけるロボットの軌道である．

 実験結果

図 に提案手法により推定した最新フレームの  次元位置の推定結果を示す．また，そのときの  次元位置推定
結果と真値との平均誤差を表  に示す．括弧内の値は，対象物体が床でバウンドした時に生じる特異点を考慮しない

参考文献




   

! "

 # 

$"$%$&$''$

研究業績 () * +, - ( 

1 5

551!  :他 国際会議 $ 件. /0   ((   (  2  3-4(  )
 "6" % "78988#

研究会技術報告 $ 件 学会口頭発表 $ 件;