6N-05

色情報とエッジ情報を総合的に用いたサッカー画像からの物体検出∗†

1

内海 慎久† 浜田 玲子† 井手 一郎†† 坂井 修一‡ 田中 英彦‡
東京大学大学院工学系研究科 †† 国立情報学研究所 ‡ 東京大学大学院情報理工学系研究科
はじめに

近年の放送媒体の多様化に伴い、大量の映像データが家庭に配信され、またデータベースとして蓄積されつつある。そこで、これらの膨大な映像データからユーザに必要な映像を効率的に提供するために、映像の自動解析技術が必要とされている。
本稿ではスポーツ映像の内容解析の基礎研究として、サッカー画像からオブジェクト領域を検出する手法を提案する。選手やラインなどのオブジェクト領域を検出できれば、試合内容の把握や戦略理解などに応用することができる。
提案手法の特徴は、物体／背景領域に関連した濃淡画像を生成することである。これは、従来の物体検出手法で用いられてきた輝度濃淡画像に比べ、適切に物体／背景領域を判別できるよう、画素値を配分した画像である。従って、本手法で得られた濃淡画像を従来の検出手法に適用すれば、検出精度の向上が期待できる。
実際に TV サッカー映像に対し実験を行い、輝度濃淡画像と比較したところ、提案手法の有効性を確認した。

2

これらの輝度濃淡画像の問題点に対し、本研究では、色頻度及び局所エッジ成分に着目した濃淡画像を生成することで解決する。具体的には、 3 次元 RGB ヒストグ
ラムから得られる色頻度、及び 3×3 画素の局所エッジ成分を総合した評価関数を導入し、画素単位で画素値を配分して濃淡画像を生成する。最後に濃淡画像に対し判別
閾値法による 2 値化を行い、物体領域を検出する。

3

評価関数

3.1

ファジィ演算による評価関数

評価関数は、ファジィ演算を基にした評価関数を定義する。通常の演算では絶対値が演算対象になるが、ファジィ演算では各属性の「度合い (評価)」を演算対象とする。従って、色頻度やエッジ成分といった異なる属性同士の演算に適用することができる。
ファジィ演算の代表例は min、 max 演算である。各属性の度合いは [0,1] で正規化したものなので、演算結果は必ず [0,1] に収束する。
提案手法では、画素 I(i, j) が物体領域に属する度合い(評価関数)S(i, j) を式 (1) のように定義する。
S(i, j) = max(F (i, j), min(EK (i, j)))

提案手法の概要(1)

領域分割法 [1] や動的輪郭法 [2] など、代表的な物体検

ここで K = {R, G, B} である。 F 、E はそれぞれ色頻

出手法では、入力画像として輝度濃淡画像が用いられる度、局所エッジ成分の評価である。 F 、E 、S は [0,1] のことが多い。しかし、輝度情報に変換する際に色情報が値をとるが、 1 に近いほど物体領域、 0 に近いほど背景失われるため、一部の物体領域が背景領域に吸収されて領域に着目画素が属することを意味する。 F 、E の max

しまう問題がある。これは、検出手法を適用する以前に値をとることで、ラインの切目などの、背景色と類似し検出精度を下げる要因になっている。ていてもエッジの存在する画素の評価を上げる。

さらに、画像内の強い輝度差（エッジ）の影響で、比ま た、 局 所 エッ ジ 成 分 E は、 各 RGB 成 分 で の 局 所

較的輝度差の小さい物体領域の検出に失敗することがあ

エッジの度合いを min 演算している。これは、エッジにる。例えばサッカー画像では、選手領域は輝度差が大きは全 RGB 成分に画素差がみられる、という仮定に基づいために検出し易いが、ライン領域の場合、輝度差は選いている。すなわち、全 RGB 成分に画素差がみられな手領域のそれに比べて小さいため、しばしば検出漏れのいものは、雑音と仮定している。従って着目画素がエッ対象になる。

ジならば、 min をとってもエッジ成分は残る。一方、雑∗ “Object Detection Using Color and Local Edge Information forSoccer Images”† Okihisa UTSUMI, † Reiko HAMADA, †† Ichiro IDE, ‡ Shuichi
SAKAI, ‡ Hidehiko TANAKA
utsumi@mtl.t.u-tokyo.ac.jp† Graduate School of Engineering, The University of Tokyo†† National Institute of Informatics‡ Graduate School of Information Science and Technology, The University of Tokyo音の場合、 min をとることで画素差を吸収でき、評価 Eを抑えている。

3.2

頻度の正規化

一般に頻度の少ない画素ほど物体領域であり、頻度の多い画素ほど背景領域であると考えられる。よって、色頻度が少ないほど F を上げる必要がある。

報が失われ、背 景領域に吸収されて しまったためであ

まず各 RGB 値の次元数を N レベル に粗量子化したる。また、図 2(左) ではラインの切目が目立つが、エッ後、 RGB3 次元ヒストグラム HN を計算する。これよジフィルターをかける際に、ラインのエッジ成分が背景り、 I(i, j) の F (i, j) を式 (2) で定義する。

領域に吸収されたためである。

0N (i,j)
1 − H2∗ave

F (i, j) =HN (i, j) > 2 ∗ aveotherwise

一方、提案手法では図 1,2のどちらも選手領域・ライン(2)領域ともに良好に検出することができている。これは、色情報を特徴量に使うことによって適切に物体領域を検ここで、 ave は HN の平均値である。 F (i, j) は [0,1] で出できたこと、局所領域のエッジに着目することで、画正規化された値であり、値が大きいほど物体領域、小さ面全体的には小さなエッジ成分を持つ領域を補完するこいほど背景領域であるといえる。とができたこと、などが理由にあげられる。

3.3

エッジの正規化

エッジ成分 が大きいほど物体領 域であると考えられる。本手法では、 3×3 画素の局所領域内におけるエッジ成分の度合いを求めることで、ラインの切目など、小さなエッジ成分をもつ物体領域を補完する。
着目画素を I(i, j)、周辺画素を Cn (0 ≤ n < 8) として、エッジ成分の度合い d を式 (3) で正規化する。

dKn (i, j) =図 1: (左)： Sobel オペレータによる 2 値画像例 (右)：提1|IK (i,j)−C Kn |adK

案手法による 2 値画像例

MK (i, j) > 2 ∗ adK
otherwise(3)
K = {R, G, B}、M は画像全体の各局所領域における画素差のヒストグラム、 ad はその平均値である。
これよ り、 I(i, j) の局所領域に おけるエッジ E(i, j)
を式 (4) で定義する。
8

EK (i, j) =dKn (i, j)

n=1(4)

8E(i, j) は [0,1] で正規化された値であり、値が大きいほど物体領域、小さいほど背景領域であるといえる。

3.4

図 2: (左)： Sobel オペレータによる 2 値画像例 (右)：提案手法による 2 値画像例

5むすび
本稿ではサッカー映像からの物体検出手法を提案し、領域判別実験を通してその有効性を確認した。

S は [0,1] の値なので、 255 倍して濃淡画像を生成す
本手法で得られる濃淡画像は、画像の統計的要素からる。さらにその濃淡画像に対し、判別閾値法による 2 値 機械的に領域の判別を行うものである。従って、画素成化を行う。

4

実験と考察
今回、 2 種類の映像を用いて実験を行った。いずれも320×240 画素、 24bit カラーである。また、 N は 10 とした。提案手法と比較するため、既存手法として、輝度濃淡画像に Sobel フィルターをかけた濃淡画像を判別閾
値法で 2 値化した。図 1、 2に各映像での実験結果の例を示す。
図 1(左) では、画面上方の選手領域の検出に失敗している。これ は、輝度情報に落とし たときに選手の色情分の物体の形状などの前知識は用いない。このような領域の補完は、 Hough 変換や物体の形状に関する情報を別途用いることで解決できる。今後、形状情報を補完することで、さらに精度よくオブジェクト領域を検出する。

参考文献[1] 越後冨夫, 宮森恒, 飯作俊一, “GMRF とオプティカルフ
ローを利用したサッカー映像のオブジェクト抽出”, 第 4 回
知能情報メディアシンポジウム, pp.443-448, 1998.
[2] Nikos Paragios and Rachid Deriche, “Geidesic Active
Contours and Level Sets for the Detection and Tracking of Moving Objects”, IEEE Trans. on PAMI, vol.22,
no.3,2000.