5D-08

対象の構成に着目した画像認識手法による画像検索宮崎 誠也y,

井手 一郎z,坂井 修一z,田中 英彦zfseiya,ide,sakai,tanakag@mtl.t.u-tokyo.ac.jp

y東京大学工学部

1 はじめにデジタルカメラの普及やz東京大学大学院工学系研究科 3

WWW の浸透により大量の画像が広まる基盤ができつつあり、それにともなって近D

EF.E+(¹ÝýR.E+( n·tUª" 

年ますますデジタル画像を利用する人が増えてきていh·h·h·»¹Ý

n·t¹Ý·z·t¹Ý·z·t¹Ý·z·t¹Ýý¹Ýý¿¿¿る。大量の画像の再利用時には画像検索が必要になるが、現在一般的に用いられている画像検索システムは、ファイル名や付随するテキストによる索引づけと検索からなっている（図1a ）。しかし、画像毎に索引づけをする手間や、不正確さ（記述の限界、個人の主観による曖昧性）等の問題が生じることが一般に指摘されている。
そのためテキストによらず、画像自体の情報から検索を行なう手法が活発に研究されている。ExSight[1] やImageSearcher[2] 、平田らの研究 [3] などがこれに当たる。これらの検索手法の多くは、画像の色分布やスペクトル、エッジ強度分布といった画像的特徴量をもとに画像間、もしくは検索対象物間の類似性にもとづき検索をおこなう手法である（図1b ）。

上記のような手法は、類似した画像の検索には大変有効であるが、特定の対象を検索する場合には、事前にその検索対象が写っている画像を用意する必要がある。また、画像的特徴量が近いものが必ずしも同一の物体とは限らず、さらには逆に同一の物体であっても撮影条件により画像的特徴量が大きく変わるなどの問題が残る。
本研究では、概念、構造、画像的特徴から構成される階層的知識ベースを参照しながら、検索キーを概念的、物理的に階層的に分解し、分解された構成要素ごとにボトムアップ的な認識プロセスを通して検索対象物を同定、検索するシステムの構築を目指している（図図2

1: 画像検索の様々な手法の比較

構成に着目した認識による検索

2.1

構成に着目した画像認識手法

本研究で用いる知識ベースには対象の構成や各構成要素の画像的特徴が記述されている。これをもとに画像認識を行なうには、まず画像中の物体の構成要素の抽出が必要である。ここでは明るさの影響を除き、より人間の色彩感覚に近い表現にするために画像を9

HSV 表示系で扱い、このパラメータを用いて 色に減色する。次にこの色情報と原画像のエッジ情報により領域分割を行なっている。現時点では簡単のため、分割された領域と構成要素は1 対 1 に対応、つまり構成要素の画像領域の過分割や検出洩れはないと仮定している。
次に実際の検索時には、知識ベースに基づき色情報と1c ）。 形状情報の比較により候補領域を抽出した後、検索キー

このように、検索対象物を概念レベルから検索し、構造を考慮して構成要素の認識をおこなう手法により、モデル記述が容易な状況下では、より精度の高い検索が実現される。本発表では、このような目的を持った画像認識手法と画像検索システムを紹介し、実際に構築した階層的認識システム上で、例として作成した家具に関する知識ベース及び画像データベースにおいて、実際に特定の家具を検索した実験を行なった結果を示す。
3 \Processing Image Query by Structural Image Recognition"

Seiya MIYAZAKI, Ichiro IDE, Shuichi SAKAI and Hidehiko
TANAKAyFaculty of Engineering, zGraduate School ofEngineering, The University of Tokyo
7-3-1 Hongo, Bunkyo-ku, Tokyo 113-8656, Japanに対応する構成と矛盾がない位置関係、大きさ、個数などの制約に関する知識を基に、ボトムアップ的な認識プロセスを通して認識を行なう。この過程で、合致度合により類似度を算出し、この値を検索キーと回答候補画像との類似度として用いる。

2.2

画像検索手法検索時のシステムの負担を軽減するために、あらかじめモデルに関する知識ベースと、画像群中の各画像に対して領域分割を行なった画像データベースを準備する。
利用者が検索したい対象物の検索キーを入力すると、知識ベースに基づく階層的な画像認識により、画像データベースから検索対象物の有無を検出する。

なお、検索キーとしては、対象物名の他の検索条件（構成要素の色や数、対象物の位置、大きさ）の指定も許される。

モデルの知識ベース

2.3

対象物に関するモデルを各々に付与すると、膨大な量の知識を記述することになる。そこで本手法ではフレーム表現を用いて対象の概念や画像情報などの知識を階層的に記述することで、モデルの記述を効率的にしてい2る。知識データにおけるノード間の関係には以下の つがある。

is-kind-of 関係

事物の概念的な包含関係

chair { oceChair など

例：

is-part-of 関係

事物の物理的な包含関係

4legs { caster など

例：

また、これらの関係を反映したノードと、画像的特徴を3記述するノード を合わせて、以下の 種類のノードが必要である。

Kindred ノード 事物の概念的分類
 Structure ノード 物理的構成要素
 Image ノード
構成要素の画像的特徴
2

図 にモデルの知識ベースの例を示す。現在この知識ベースは学習用画像を基に人手で記述している。

3

おわりに
本発表では、画像検索のための対象の構成に着目した画像認識手法を提案し、実装と簡単な試験により、量的、質的にモデル記述が容易な特定のド メインに限定すれば、有効であることを示した。今後、領域の過分割や検出洩れへの対応、情景把握、知識ベースの自動的学習等のより高度な処理を行なうことによって、より精度の高い検索が実現できるのではないかと考えられる。

参考文献[1] 赤間, 三井, 紺谷, 串間: 画像内オブジェクトの自動抽出を使った画像検索システム ExSight, DEWS'97,.LQGUHGFKDLU
Mar 1997.
6WUXFWXUHRIILFH&KDLU
GLQLQJ&KDLU+++[2] Aoki, A., Nakakoji, K., Suzuki, H., and Mizushima,,PDJH
ZLWKRXW(OERZ5HVW ZLWK(OERZ5HVWK.: A Case Study: The Developing of ImageLVNLQGRISearcher under Smalltalk Environment, ProceedLVSDUWRI FKDLU%DFN FKDLU%RWWRP FKDLU/HJ
HOERZ5HVW
ings of Object-Oriented Symposium, 1995.
GHIDXOW&RORU
OHJ
OHJV
[3]
平田 恭二, 原 良憲: 概略画を用いた画像検索, 信学EODFNGHIDXOW6KDSH
技報, DE-92-2, pp.9{16, Feb 1992.
OHJ
FDVWHUVTXDUH[4] 井手 一郎, 山本 晃司, 田中 英彦: ショットの分類に基づく映像データへの自動的索引付け, 第 56 回情報処
図 2: モデルの知識ベースの一例
理学会全国大会論文集 (2), pp.263{264, Mar 1998.
2.4
実験： 画像検索[5] 加藤俊一, 栗田多喜夫: 画像の内容検索 電子美術
検索例として、家具に関する知識ベース及び 110 枚館への応用, 情処論文誌 Vol.33, No.5, pp.466{477,の家具写真画像から画像データベースを作成し、「茶色May 1992.の引き出しをもつ箪笥」という条件で検索を行なった。 [6] 小野 敦史, 天野 督士, 坂内 正夫: 状態遷移モデルと図は検索結果の上位 4 件（いずれも類似度は 100% ）をシーン記述言語による自動キーワード 付与機能を持示す。
つ画像データベースとその評価, 信学論, Vol.J79本研究での画像認識手法は再現率は高くないものの
D-II, No.4,適合率は高く、「入手したい画像を選び出す」という点
pp.476{483, Apr 1996.
で、画像検索に向いていると言える。