人物領域のセグメンテーションに基づく自己カメラキャリブレーションに関する研究
指導教授：藤吉 弘亘

安藤 寛哲

1. はじめに人の 3 次元位置や身長等を計測することは，映像監視システムの知能化において重要な課題である．画像から 3次元情報を取得するにはキャリブレーションにより求めたカメラパラメータが必要である．しかし，カメラキャリブレーションを正確に行うには大変な労力を要する．そこで，
本研究では人物領域のセグメンテーションに基づく自己カメラキャリブレーション手法を提案する．

2. 人物領域のセグメンテーション
提案手法では，単眼のカメラで撮影された映像から，画像中の物体の高さと位置，透視投影モデルにおける世界座標と画像座標の関係を用いて，カメラの自己キャリブレーションを実現する．画像中の物体の高さ情報を用いてカメラパラメータを高精度に推定するには，人物領域を正確にセグメンテーションする必要がある．本研究では，弱識別器の応答による類似シルエットの選択を用いた人物領域のセグメンテーション手法を行う [1]．この手法は，識別器の学習サンプルに対応する人体シルエット画像のスコアからハッシュテーブルを予め求めておき，入力画像をラスタスキャンして検出した人物領域を Chamfer Matching を用いてセグメンテーションを行う．図 1 に人物領域のセグメンテーション例を示す．

世界座標系は，カメラ位置を中心として，zc = 0, xc = 0，接地平面を y = 0 と定義する．式 (2) を変形し，画像中のn 人のサンプルとカメラパラメータの関係を行列で表現す
ると次式となる．

[v0yc]

yi
 ..
= .
yn

−1 −hi.. . −hn

yi v i ..  . yn v n(3)

式 (3) より，画像座標での人の高さ hi と位置 vi ，世界座標系での人の高さ yi の３つのパラメータが二組以上与えられると，カメラの外部パラメータであるカメラの高さ ycと水平線の位置 v0 を求めることができる．

3.2 RANSAC によるカメラパラメータ推定
人物領域のセグメンテーションにより，画像座標での人の高さ hi と位置 vi を求めることができる．式 (3) において，カメラパラメータの推定には世界座標系での人の高さ yi を求める必要がある．しかし，画像から世界座標系の人の高さの真値を知ることは不可能である．そこで，提案手法では人の身長として，男性 20-59 歳の身長測定の結果を用いて，平均身長 170.5[cm]，標準偏差 5.3[3] の正規乱数により人の高さ yi を与え，RANSAC(RANdamSAmple Consensus) を用いてカメラパラメータの推定を行う．RANSAC を用いたカメラパラメータ推定の流れを以下に示す．

人物領域のセグメンテーション結果を用いてカメラの自己キャリブレーションを行う．文献 [2] を参考に，透視投影モデルにおけるカメラ位置と人の高さと位置の関係を定式化し，RANSAC によりカメラパラメータの推定を行う．

Step1 人検出により人物の候補領域を検出
Step2 類似シルエット画像の選択
Step3 人物領域のセグメンテーション
Step4 正規乱数を用いて全サンプルの yi を仮定Step5 ランダムに 2 点のサンプルを選択
Step6 最小二乗法により yc と v0 の推定
Step7 推定値から全サンプルとの誤差を算出
Step8 誤差の中間値を選択
Step9 Step4 ∼ 9 を繰り返し，誤差の中間値が最小となるパラメータを求め，最終的なカメラの高 yc さと水平線位置 v0 とする

3.1 カメラパラメータの導出

4. シミュレーションによる評価実験

図 1 : 人物領域のセグメンテーション例

3. カメラの自己キャリブレーション

図 2 にカメラ位置と人の高さの関係を示す．

提案手法の精度をシミュレーション実験により評価する．
実験には人体シルエットを OpenGL で描画したシミュレーションモデルを用いる．実験に用いたシミュレーションモ
デルの環境はカメラの高さ yc は 3m，生成する人の位置(x, z) は乱数によって決定した．

4.1 チルト角による推定精度の評価

図 2 : カメラの位置と人の高さの関係
画像座標系を (u, v)，世界座標系を (x, y, z)，カメラのチルト角を θ，焦点距離を f ，カメラ中心を (uc , vc )，カメラの高さを yc ，画像座標系の地面の消失ラインとして水平線を v0 と定義する．このとき，カメラのチルト角（ラジアン）は次式で与えられる．

θ = 2arctanvc − v02f(1)

カメラモデルとして透視投影モデルを使用すると，世界座標系から画像座標系への変換は以下の式で与えられる．

[ ]u1v =z1[f000f0ucvc
1][ 1000cos θsin θ0− sin θcos θ] x0
yyc   (2)z01

シミュレーションモデルを用いてカメラチルト角 θ を0 ∼ 40 度 まで 5 度 刻みで変化させた時のカメラパラメー
タ推定精度を比較する．各角度でカメラパラメータ推定に用いた人モデルのサンプル数は 600 とした．図 3 に生成したサンプルの例を示す．

図 3 : 生成したサンプルの例 1チルト角による推定精度の比較結果を図 5(a) に示す．結果から，チルト角が 40 度のとき推定誤差は約 11.0[degree]以内で推定できる．また，推定するシーンのチルト角が大きくなるにつれ推定誤差が増加することがわかる．これは，カメラパラメータの導出の過程でカメラのチルト角が小さいと仮定しているため，チルト角が大きくなるほど推定する際に誤差が生じると考えられる．

4.2 サンプルの分布による推定精度の評価

5.2 世界座標における位置推定

次に，提案手法で用いる人の身長の分布とサンプルの分布の違いによるカメラパラメータの推定精度の比較を行う．
カメラパラメータの推定に用いるサンプルに含まれる成人男性と子供のサンプルの割合を変化させた時の推定精度を比較する．成人男性のサンプルの割合を 0% ∼ 100% まで10% 毎変化させ評価を行う．カメラのチルト角は 0 度，子供のサンプルは男子 6 歳の身長測定の結果である平均身長116.7[cm]，標準偏差 4.8[3] の正規乱数によって高さを与えて生成した．図 4 にシミュレーションモデルにより生成したサンプルの例を示す．サンプルの分布による推定精度の比較結果を図 5(b) に示す．

推定したカメラパラメータを用いて，検出した人の世界座標における 3 次元位置を推定をする．評価実験では，セグメンテーションあり，なしそれぞれでのキャリブレーション結果を用いて，3 次元位置の推定精度を評価する．推定精度の評価には 15 点のランドマーク点を用いて，世界座標の真値と 3 次元位置の精度結果の比較を行う．また，世界座標における位置の推定では地面の高さを y ＝ 0 として仮定している．図 7 に世界座標における位置の推定誤差の結果，図 8 に提案手法による 3 次元位置の推定例を示す．

図 4 : 生成したサンプルの例 2

RANSAC を用いて全サンプルからカメラパラメータ推定に最適なサンプルの組み合わせを選択して推定するため，成人男性の人モデルに当てはまらない身長のサンプル（子供のサンプル等）がノイズとして含まれているシーンに対しても，仮定した成人男性のモデルが 60%以上含まれる場合，RANSAC を用いることでカメラの高さを高精度に推定できる．

図 7 : 世界座標における位置の推定誤差

図 5 : シミュレーション実験の結果

5. 実画像による評価実験
提案手法の有効性を確認するために，実画像でのカメラパラメータと 3 次元位置の推定の評価実験を行う．

5.1 カメラパラメータ推定
撮影した映像からカメラの自己キャリブレーションを行
い，カメラパラメータの推定精度の比較を行う，求めるパラメータはカメラの高さ yc と水平線位置 v0 で，水平線位置 v0 からカメラの角度 θ を推定する．カメラパラメータの推定に用いたサンプル数を 600 である．図 6 にカメラパラメータの推定に用いたサンプルの人検出結果の分布を示す．表 1 にパラメータ推定結果を示す．

図 8 : 3 次元位置の推定結果例
図 7 より，セグメンテーション結果を用いてカメラパラメータを推定することで，世界座標における位置の推定誤差を小さくすることができた．図 8 より，カメラの自己キャリブレーション結果を用いることで，監視映像における検出した人の位置関係や身長を獲得することが可能となる．

6. おわりに本研究では，人検出とセグメンテーション結果に基づく，カメラの自己キャリブレーション手法を提案した．セグメンテーションの結果から画像中の人の高さと，位置を自動的に抽出することで自己キャリブレーションを行い，カメラパラメータの推定を行った．これにより推定シーンにおける物体の 3 次元位置推定が可能となり，評価実験によりその有効性を確認した．

参考文献

図 6 : 人検出結果の分布
表 1 : カメラパラメータ推定結果
カメラパラメータ

真値

カメラの高さ yc [cm]
カメラ角度 θ[degree]

184.6
10.0

セグメンテーションありなし
186.7
205.2
13.4
16.9

表 1 より，セグメンテーションありの場合にカメラ高さが真値との誤差が約 2.1 [cm]，カメラの角度が真値との誤差は約 3.4 [degree] の精度で推定できた．

[1] 村井 陽介, 安藤寛哲, 藤吉弘亘, 伊藤誠也, 数井誠人, 弱識別器の応答に基づく類似シルエット画像選択による Chamfer Matching を用いた人領域のセグメンテーション , 電子情報通信学会論文誌 Vol.
J94-D, No. 4, 2011. (掲載予定)[2] D. Hoiem et al, “Putting Objects in Perspective”, IJCV,
vol. 80, No. 1, 2008.
[3] 平成 20 年度体力・運動能力調査調査結果統計表：文部科学省,
http://www.mext.go.jp/b menu/houdou/21/10/attach/1285568.htm .

研究業績[1] 安藤寛哲, 藤吉弘亘, 人検出結果に基づく自己カメラキャリブレー
ションと 3 次元位置推定 , 電気学会論文誌 D Vol. 131, No. 4,2011．(掲載予定)（他 学会誌論文 1 件，国際会議論文 1 件，研究会技術報告 2 件，学会口頭発表 1 件）