成蹊大学理工学研究報告
J. Fac. Sci. Tech., Seikei Univ.
Vol.43 No.2 (2006) pp.87-93（特別研究費に係る論文）

画像情報とカメラモーションの融合による新しいオプティカルフロー生成手法
平健介＊1，柴田昌明＊2

A novel method for generating optical flow based on fusing
visual information and camera motion
Kensuke TAIRA＊1

andMasaaki SHIBATA＊2

ABSTRACT： In this paper, we propose new method to generate velocity vector called optical flow. The
method makes use of two constraint equations from a sequence of images that are obtained by aCCD-camera and camera motion that is obtained by robot control. The 2-DOF slider robot carries on thecamera whose direction is controlled by the robot. Therefore, our proposal method is new approach togenerate the optical flow as we use both information of camera motion and image sequence.
Keywords：optical flow, camera motion , gradient based approaches, constraint equations（Received September 5, 2006）

１．まえがき高精度なオプティカルフローを生成することができれば，対象物の三次元位置推定や形状認識などへの応用展開が本論文ではロボットに搭載した CCD カメラから取得期待できる。しかしながら，画像情報のみに依存する従される連続画像の解析のための新しいオプティカルフロ

来手法では位置推定などのために十分に高精度なフローー生成手法を提案する。

を取得することは容易でない。その原因の一つとしては，従来から画像処理の分野においては連続画像の解析手元となる画像自体の乱れや誤差，ノイズ等の影響を完全法としてオプティカルフローが広く用いられてきた。オには排除しきれない点が挙げられる。こうした画像の乱プティカルフローとは連続画像においてフレーム間で注れには種々の要因が考えられ，前記のような各種手法が目点がどの方向にどの程度移動するかを表す速度ベクト提案されて成果をあげているものの，いずれにしても画ルである[1]。単純な複数枚の画像処理とは異なり，連続像情報のみに基づく拘束式を制約としてオプティカルフかつ時系列的な画像変化に焦点を当てている[2]。現在まローを生成している。画像情報に加えて別の情報を活用でに相関演算を用いた手法[3]，カラー情報を用いた手法

することができればより精度の高いフロー生成が可能と[4]，時系列的に演算を行う手法[5]，その他数々のオプテなると考えられる。

ィカルフロー生成手法[6][7]が考案されてきた。そして，一方で産業応用分野の画像処理の例を見てみると，ロそれらの手法を用いた応用展開として移動体検出，物体ボットに CCD カメラを搭載して処理を行う研究が多数認識，フローの高精度抽出など幅広い研究が行われてい報告されている[12]。複数のカメラを搭載したステレオる[8]~[11]。代表的なオプティカルフロー生成法としては，ビジョンシステムや単眼カメラとロボットモーションに勾配法に基づく手法がよく知られている。勾配法では一よりステレオシステムを実現するモーションステレオシ

つの基本拘束式ともう一つの別の拘束式を制約としてオ

ステム等では，カメラのモーション情報を用いたエピポプティカルフローを表す未知変数 u，v の値を算出する。

ーラ拘束に基づき画像からの高精度な三次元情報の抽出*1を可能としている[13]。また，物体追従等の応用例も報：工学研究科電気電子工学専攻 修士課程大学院*2：エレクトロメカニクス学科 助教授

告されている[14]。また，カメラの回転運動に焦点を当(shibam@st.seikei.ac.jp)てたオプティカルフロー生成手法の研究報告もされてい－87－ここで両辺を ∆t で割り，高次の項を微小であるとしる[15]。すなわち，ロボットに搭載したカメラから取得する画像を処理する際に，カメラモーション情報を有効て切り捨てることで近似式(3)式を得る。に活用している。

∂ f ∆ x ∂ f ∆y ∂ f= 0 ·································· (3)++∂ x ∆ t ∂ y ∆t ∂ t

そこで本論文ではモーション情報を用いた高精度なオプティカルフロー生成手法を提案する。従来の勾配法連(3)式において ∆t → 0 とすると ∆x , ∆y は速度ベクト∆t ∆tにカメラモーション情報を付加することで新たなオプティカルフロー生成を実現する。

ル u, v を表し，画像情報からのオプティカルフロー u, v

従来よりロボットと画像処理を用いた統合アプリケーの基本拘束式は(4)式となる。

ションにおいては，たとえばステレオシステムではステレオ対応点問題を解決する必要があり，オクルージョンによる対応点の消失など本質的な課題がある[16]。また，

f x u + f y v + f t = 0 ············································ (4)ビジュアルトラッキングにおいては対象物に特徴点を物

ここで f x , f y は空間的な， f t は時間的な輝度勾配で理的に付加する必要がある場合や，あるいは事前に対象ある。(4)式だけでは u, v の 2 つの未知変数を決定するこ

物の形状モデルを必要とする場合などがある[17],[18]。とができないため第 2 の拘束式を導入する必要がある。

これらに対して，オプティカルフローに基づく環境認

そこで次節ではカメラモーションに焦点をあて第二拘束

識手法では，取得された連続画像の変化に着目するので式を導く。

特定の特徴点を追従視する必要がない。すなわちオクルージョンによる特徴点の消失などの課題が存在しないと2. 2いう利点を有する。また，対象物に関する事前準備や事カメラモーションからの拘束式

従来手法では画像情報からオプティカルフローを生成前知識も必要としない。提案手法ではこのような汎用性するために，画像情報に基づく派生条件を第二拘束式にの高さに加え，ロボットに搭載したカメラから取得され用いていた。一方，本手法では CCD カメラを搭載したる連続画像とカメラモーションを利用することでより精ロボットを姿勢制御することで，カメラモーション情報度の高いオプティカルフローの生成を狙いとしている。に基づく第 2 の拘束式を得る。
カメラ中心を原点にとる 3 次元カメラ座標系において

本論文では，提案手法と従来手法によるオプティカルフロー生成の比較実験を行い，提案手法の評価に基づいて任意の点 X = [ X

その有効性を確認する。

YZ ]Τ が X ′ = [ X ′ Y ′Z ′]Τ に回転並進移動したとすれば，原点回りの回転を表す回転行列
R と平行移動を表す並進ベクトル t を用いて(5)式の関２．オプティカルフロー生成係が成り立つ[19]。
本手法では画像情報から取得するオプティカルフロー

X ′ = R ⋅ X + t ···················································· (5)の第一拘束式とカメラモーション情報から取得する第二各軸まわりの回転角を α , β , γ で表すとき，画像フレ拘束式の 2 つの式を融合してオプティカルフローを生成する。

ーム間での微小回転では， cosα = 1, sin α = α とみなすことができる。そこで(5)式の微小回転による変位成分

2. 1

勾配法

RX は(6)式に置き換えることができる。

画像中の点 ( x, y ) の時刻 t における注目画素が時刻t + ∆t までの間に ∆x, ∆y の微小移動をし，その間の輝度値 f ( x, y ) が不変だとする仮定のもとで(1)式が成り立つ。

f t ( x, y ) = f t + ∆t ( x + ∆x, y + ∆y ) ······················· (1) 1RX =  γ
− β

−γ1αβ  X  − α  Y 1  Z 

 X + (β ⋅ Z − γ ⋅ Y ) =  Y + (γ ⋅ X − α ⋅ Z )  Z + (α ⋅ Y − β ⋅ X ) (1)式の右辺を Taylor 展開して ∆x , ∆y , ∆t に関する 2 次以上の項を ε とすることで(2)式を得る。

= X + dδ × X

∂f
∂f
∂f
∆x +∆y +∆t + ε = 0 ·························· (2)∂x∂y∂t－88－·························· (6)ただし， dδ = [αβ γ ]Τ ， × は外積演算子を表す。こf  &X& ⋅ Zˆ X−XZ Z x& =のような微小回転角 dδ と微小平行移動 dt によって点(1f ⋅ ( − D& − ω × X) − x( − D& − ω × X) ⋅ Zˆ=Z

X が X ′ = X + dX へ移動したとすると(5)式は

X + dX = X + dδ × X + dt ························ (7))····· (12)

ここで(12)式を各成分に分解し，オプティカルフローを u = x& , v = y& と置けば(13),(14)式となる。となり，微小変位 dX は(8)式で表すことができる。

dX = dδ × X + dt ········································ (8)

u=

yyx
1
 f ⋅ (−D& x − β ⋅ Z + γ ⋅ ⋅ Z ) − x ⋅ (−D& z − α ⋅ ⋅ Z + β ⋅ ⋅ Z ) ·· (13)Z fffv=

1
xxy f ⋅ (− D& y − γ ⋅ ⋅ Z + α ⋅ Z ) − y ⋅ (− D& z − α ⋅ ⋅ Z + β ⋅ ⋅ Z )  ····· (14)Z fff

次にカメラが回転並進移動する場合を考える。このとき，カメラ座標系はカメラと共に移動する。ワールド座標系に固定された点 P をカメラ座標系における点 X として表せば， P の座標は不変だが，カメラ座標系が回転

この 2 式がオプティカルフローを表す式となるが，双並進すると X の座標は変化する。カメラ座標系が速度方の式にはカメラから点 X までの奥行きを表す未知変

D& で並進し座標軸回りに角速度 ω で回転するとき，点& で並進し座標軸回
X はカメラ座標系において速度 − D

数 Z が含まれている。そこで，両式から Z を消去し一つの式にまとめると(15)式を得る。

& は(8)りに −ω で回転する。このとき，点 X の移動速度 X()()u ⋅ − f ⋅ D& y + y ⋅ D& z − v ⋅ − f ⋅ D& x + x ⋅ D& z = C ··· (15)& を代入することで
式 に お い て dδ = − ω ， dt = − D& = dX として求めることができる。
X()& ⋅ (− x ⋅ y ⋅ α + ( f + x ) ⋅ β − f ⋅ y ⋅ γ )+D& ⋅ ( f ⋅ x ⋅ α − f ⋅ y ⋅ β + (y − x ) ⋅ γ )+D& ⋅ ( f 2 − y2) ⋅ α + x ⋅ y ⋅ β − f ⋅ x ⋅ γ
C = −Dx

X& = − D& − ω × X ················································ (9)2y2z

また，これら 2 つの 3 次元座標系に加えて 2 次元の画像座標系の関係を図 1 のように定義する。画像座標

22上式をカメラモーション情報から得るオプティカルフ

x = [ x y 1]Τ はカメラ座標系で表す 3 次元座標 X とローの第二拘束式として利用する。

(10)式で対応する。
2. 3x=

X⋅ f ···························································· (10)Z(4)式と(15)式よりオプティカルフローを生成するための 2 つの拘束式を得た。両式をまとめると(16)式となる。

ここで f はカメラの焦点距離である。(10)式を両辺でF ⋅ x& + g = 0 ···················································· (16)時間微分すれば(11)式を得る。

x& = (

画像情報とカメラモーション情報の融合

X&X& ⋅ Zˆ
−X⋅) ⋅ f ····································· (11)
ZZ2



F =

fx& + y⋅ D&
− f ⋅ Dyz

Ẑ は Z 軸(カメラ光軸)方向の単位ベクトルである。

− f  , g= t
& − x⋅ D&f ⋅Dxz C fy

この行列 F はカメラモーション情報と画像情報を融(9),(11)式より画像上の動き成分は(12)式で表すことがで合させた係数行列であり，その要素はすべて既知の変数きる。

で表されている。最終的にオプティカルフローは(17)式で生成される。
Remarkable
point

Imagecoordinate

pkx& = − F −1 ⋅ g ························································ (17)

ＺｙCamera
coordinateＰx

以上より(17)式が画像処理情報とロボット制御から得Ｘるカメラモーション情報を融合したオプティカルフローＹ図１

生成手法である。
カメラ座標系と画像座標系－89－

３．提案手法の評価実験

 dD
D& = cos θ dt

実験に基づき提案手法によって生成されるオプティカ

0dDsin θ dt
T······················· (18)(10)式の焦点距離 f の値は(19)式を用いて実画像からルフローの方向成分精度，強度精度，処理時間を評価する。従来手法との比較を通じて，提案手法の有効性を確逆算して f = 1100[ pix](ピクセル換算値 ) とした。

認する。
f =3. 1

実験環境

画像中での定規の長さ[ pix ]×カメラから定規までの距離[ m]· (19)
画像に映った定規の長さ(実寸)[m]

また，(17)式に含まれる空間的輝度勾配微分 f x , f y の実験では図 2 に示すスライダーロボットを使用する。
同ロボットは CCD カメラを搭載し，左右並進と Pan 回算出には Sobel フィルタを使用し，時間的輝度勾配 f t に転動作の 2 自由度が制御可能である。制御用 PC とロボ

は 2 枚の画像による単純時間差分を利用した。

ット間でフィードバック系を構成し，モータ制御により駆動させる。ロボットの制御系には関節空間外乱オブザ

3. 2

オプティカルフローの方向成分評価ーバーに基づく位置制御系を用いた。また，CCD カメラオプティカルフローの方向成分精度を評価する。(13)，を接続した画像処理用 PC と制御用 PC との間で双方向通(14)式より算出されるオプティカルフローの理論値を従信を行うことでオプティカルフロー生成に必要な情報を来手法および提案手法と比較した。理論値と各手法より共有する。

生成されたオプティカルフローの成す角の算出結果を図

実験時は図 3 に示すように Pan 回転軸にはオフセット4 に示す。またその際のオプティカルフローの生成結果角として固定角θ(60[deg])を与える一方で，スライド方向への並進動作を指令した。並進移動中に回転動作を伴100

象物体に対しては横方向と接近方向への 2 次元的な移動80動作となる。これにより対象物画像については水平移動

60rate(%)

わずカメラは 1 次元に制約された並進動作となるが，対と拡大が同時に生じる。ロボットのスライド微小距離を

d D とすれば移動速度 D& は(18)式となる。

40200015304560angleθ(deg)75907590(a) proposed method
20rate(%)

16128400304560angleθ(deg)(b) block matching method(conventional)

２自由度スライダーロボット
2016Ｚrate(%)

図２15θ12840Ｘ015304560angleθ(deg)7590(c) spatial local optimization method(conventional)

図３実験の俯瞰図

図４－90－

各手法と理論値によるフローの成す角

(a) proposed method(b) block matching method(c) spatial local optimization method

図 5 オプティカルフロー結果
オプティカルフロー結果
図５を図 5 に示す。従来手法であるブロックマッチング法での影響を受け，誤差を発生させていると考えられる。そ生成したオプティカルフローでは方向が理論値と一致しこで 2 つの微分処理を見直し，ノイズの影響を緩和して，ている割合は 10％ほどしかなく，空間的局所最適化法に精度向上を図る。次節では画像処理性能向上に基づくオおいては大部分が誤った方向を示している。それに対しプティカルフローの精度向上の確認実験を行った。て提案手法はすべてのフローが理論値と同方向を示す結3. 4果となり，方向成分に関して 100％の信頼性を達成して画像処理性能の向上いる。これは関節空間外乱オブザーバーに基づく位置制

第一拘束式の 2 種類の微分に誤差を抑え安定した値を御系によるカメラモーションからの情報の精度が極めて用いるために入力画像に対して平滑化処理を施す 2 種類

高く，その効果が反映された結果といえる。つまり，提の画像処理フィルタを導入する。空間的微分処理には案手法の狙いであった画像情報とカメラモーション情報

Deriche フィルタを使用する[20]。このフィルタは Cannyの融合が有効に作用している。

フィルタを拡張した微分フィルタであり，再帰的な微分平滑化演算を行うのでノイズに対してロバストな特徴を3. 3有する。また，時間的微分処理においては入力画像に対オプティカルフローの強度評価

次に提案手法によって取得されるオプティカルフローしてガウシアンフィルタを適用した差分処理を用いる。の強度成分精度を評価した。ロボットを制御し，図 6 に

これら 2 種類の微分平滑化処理を施した後にオプティカ

示す対象物体に対する奥行き Z を 40[cm]から 80[cm]まルフローを生成し，理論値との誤差を求めた結果を図 8で変化させた。その際，40[cm]と 80[cm]の 2 箇所で提案に示す。図より平滑化前と比較すると精度が向上してい手法によるオプティカルフローのデータを評価した。提るのがわかる。すなわち本手法におけるオプティカルフ

案手法による生成フローと理論値の誤差比率を表すグラ

ローの精度は画像処理の精度向上によって改善するといフを図 7 に示す。このグラフより 90%以上のフローが理う結果を得た。

論値に対して 10％以内の誤差に留まっていることがわ

また，取得フローより対象物体までの奥行きを算出しかる。しかしながら，理論値との誤差が 10％を越えるフた。その結果の平均値および標準偏差を表 1，2 に示す。

ローも存在する。これはオプティカルフロー生成に用い表より提案手法が従来手法に対して高精度であることがた第一拘束式に要因があると考えられる。すなわち，わかる。

(17)式の空間的微分 f x , f y および，時間微分 f t がノイズ

3. 5

処理時間の比較

次に提案手法の処理速度に注目する。表 3 に提案手法および従来手法の処理速度の比較を示す。処理時間計測の実験環 境と しては Pentium4-3.0[GHz]， 開発環境はVisual C++6.0 において評価を実施した。なお，オプティカルフローは 5[pixel]間隔に 1 本ずつ，1 画像あたり 128×96 本を生成した。表には 100 回計測した処理時間の平(a) distance from camera:40(cm) (b) distance from camera:80(cm)図６

距離推定に用いた対象物体均値を示した。同時にオプティカルフロー1 本あたりの生成に要する処理時間も示す。表 3 より提案手法の処理－91－

32.5

2.5

22rate(%)

rate(%)

31.5
11.5
10.5

0.5

0-50 -40 -30 -20 -10 0 10 20 30 40 50error(%)

0-50 -40 -30 -20 -10 0 10error(%)

2030

4050(a) 40(cm)from the object(a) 40(cm)from the object

332.5

22rate(%)

rate(%)

2.5

1.5
1

1.5
10.5

0.5

0-50 -40 -30 -20 -100102030

40

050-50 -40 -30 -20 -10 0
10error(%)

error(%)

提案手法による対象物体の距離推定

表１

図８

対象物体までの平均推定距離(40cm)

Table1

Average ofestimateddistance(cm)Standard
deviation

Block matching
methodSpatial optimization
method

35.48

16.31

49.78

25.39

Proposal method

39.94

19.57

37.93

11.72(with smoothing)4050

平滑化処理付加時の対象物体の距離推定
表２

Results of estimated distance(40cm)

Proposal method30(b) 80(cm)from the object(b) 80(cm)from the object
図７20

対象物体までの平均推定距離(80cm)

Table2

Results of estimated distance(80cm)

Block matching
methodSpatial optimization
methodProposal method
Proposal method(with smoothing)

表３
Table3速度は従来手法(特に高速処理と言われる空間的局所最Block matching
methodSpatialoptimization
methodProposal method

適化法)と比較しても遜色ない結果を示している。このことからも提案手法はリアルタイム処理に応用できる有効な手法だといえる。

Average ofestimateddistance(cm)Standard
deviation

62.18

19.18

35.8823.14

60.12

20.54

76.51

10.59

各手法の処理時間結果
Results of processing time
Processing
Time per onetime (msec)
flow (μsec)232.12

18.88

40.18

3.27

24.84

2.02

４．結 論
本論文では画像情報とカメラモーションから得る 2 つの拘束式に基づいた新しいオプティカルフロー生成手法

度の精度向上につながることを確認した。また，処理速を提案した。提案手法によって生成されるオプティカル度に関して従来手法と比較しても遜色ない結果を達成しフローの方向成分は 100％の信頼性を得たことから，従た。すなわち提案手法はロボットに搭載したカメラから来手法と比較しても極めて高い精度を達成した。一方で，取得する連続画像の解析において高速で高精度なオプテ画像処理の精度向上がそのままオプティカルフローの強ィカルフロー生成手法だといえる。

－92－

参考文献

[10] J.Chamorro-Mart´.nez

andJ.Fdez-Valdivia,”Opticalflow estimation based on the extraction of motion[1][2]“InformationScience&Engineering-T6 画像処理” 鎌patterns”, Department of Computer Science and田清一郎 2003,3,25 発行

Artificial Intelligence, University of Granada, Spain,サイエンス社

pp.78-88

IEEE. ICIP 2003 0-7803-7750“動画解析の数理：オプティカルフロー計算の過去[11]現在未来” 第10回画像センシングシンポジウム, 井宮[3]

and Its Application in Robust Optical Flow Estimation”

淳（千葉大学）金丸利文，北島秀夫，白川智昭，小川吉彦，“ブロ9th IEEE International Conference on Computer Visionックマッチング法による画素毎の動きベクトル検(ICCV), Nice, France, pages 178-183, October 2003.

出法”，信学技報，CS92-69, IE92-91,pp.63-70, 1992[4][12]John Barron and Reinhard Klette ，“Experience with
[13]

Auckland CITR at Tamaki Campus ，CITR-TR-102 ，438 1997
[14]

豊,角保志,富田文明“ステレオビジョンによる三次元物体の三次元運動追跡”ロボット学会誌

flow. Artificial Intelligence,17(1-3):185–203, August

Vol18. No.2 pp.213～220 2000
[15]

Kenichi Kanatani, Transformation of Optical Flow by

布施孝志,清水英範,堤盛人：“オプティカルフロー推

Camera Rotation, IEEE Transaction on pattern analysis

定 に お け る 勾 配 法 の 比 較 分 析 ”, 応 用 測 量 論 文and machine intelligence, Vol.10, No.2, MARCH 1988
[16]

B.D. Lucas and T. Kanade. An iterative image

奥富正敏 “解説・ステレオがなぜ難しいか”日本ロボット学会誌

registration technique with an application to stereo[17]

Vol.16 No.6 pp.773～777 1998

出口光一郎 "解説・ハンドアイの立場から見たコンvision. In Proc. of the 7th International Joint

ピュータビジョンの研究”, 日本ロボット学会誌

Conference on Artificial Intelligence, pages674-679,

Vol.20 No.4 pp.364～368 2002

1981.

[18]

T.W. Drummond and R. Cipolla “Real-time visual

純，久野義徳， "オプ

tracking of complex structures” IEEE Trans..on Pattern

ティカルフローとエッジを用いた複雑背景下でのAnalysis and Machine Intelligence, 24(7) 932-946,

移動物体の追跡"，日本ロボット学会誌，Vol. 15, No.

2002

前泰志，白井良明，三浦1, pp. 103-108, 1997.
[9]

石山

Vol.15 No.3 pp.431～

B. K.P. Horn and B. G. Schunck. Determining optical集,Vol.11, 2000, pp.45-52.

[8]

杉本和英, 富田文明 “ステレオによる幾何モデリング” 日本ロボット学会誌

1981.

[7]

(社)日本ロボット学会編／コロナ社

Computer Science Department of The University ofOctober 2001

[6]

ロボット工学ハンドブック 1990 年 10 月 20 日発
行

Optical Flow in Colour Video Image Sequences”，[5]

H. Wang and D. Suter “Variable Bandwidth QMDPE

山根剛志，白井良明，三浦純，久野義徳，島田伸

[19]

白井良明

[20]

Rachid Deriche“Using Canny’s Criteria to Derive a谷内田正彦

1998.4.20 発行

オーム社

敬， "オプティカルフローと明度一様領域を統合しRecursively Implemented Optimal Edge Detector ”,

た人間の実時間追跡", 日本ロボット学会誌, Vol. 18,

International Journal of Computer Vision, pp167-187

No. 4, pp. 521-528, 2000.

(1987)－93－