The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3F3-02

顔画像注釈システムにおける適合性フィードバックの検討
On relevance feedback in a face image annotation system
津田 知一

伊藤 秀昭

輿水 大和

TSUDA, Tomokazu

ITO, Hideaki

KOSHIMIZU, Hiroyasu

中京大学情報科学部
School of Computer and Cognitive Sciences, Chukyo University
This paper describes an overview of relevance feedback in the face image annotation system, called FIARS. This system isdeveloped for face image annotation in terms of keywords. To archive this, the latent semantic indexing is applied to thecollection of descriptions of face images, which are specified in keywords, and sizes and/or length of the face parts. By
applying the latent semantic indexing, two latent semantic spaces are constructed. One consists of face images, and the otherconsists of keywords and face images, respectively. When a query is represented in face parts, similar face images to thequery are sought in the first semantic space. A query for retrieving keywords is constructed by means of the face images
which are retrieved using the first step. In order to improve a quality of keywords of a given face image, the relevance
feedback is provided for FIARS.

1. はじめに顔画像から得られる顔部品の大きさや長さの数値情報（本稿では部位データと呼ぶ）と，印象に基づくキーワードを統合する試みを進めてきた[津田 2004]．さらに，この試みでは顔画像と部位データが得られたとき，その顔画像に対して適切なキーワードを自動付与するために，FIARS(Face Image Annotation andRetrieval System)と呼ぶシステムの開発を進めている．
自動的なキーワード付与のために，２つの隠れ意味空間を用いたキーワード検索手法（重心検索）を開発してきた．しかし，正確なキーワード付けという観点からは不十分であった．この問題を解決するための方法の１つとして，適合性フィードバックを組み込むことが考えられる[He 2001]．本稿では，重心検索へ適用するために開発した適合性フィードバックについて述べる．

2. FIARS の概要
FIARS はソフトウェア構造の観点から顔データベース定義部，隠れ意味空間および問合せ処理部から構成される．定義部は顔記述のためのデータの定義や，顔画像の設定を行う．顔記述はベクトルで表され，顔記述ベクトルと呼ぶ．このベクトルは２種の値からなり，１つはキーワード，もう１つは部位データである（図１）． また，顔データベースは顔記述ベクトルと顔画像よりなる．後述する隠れ意味空間を構成する際には部位データは正規化され，さらに正規化後の値に 0.5 を加えている．

特異値分解を適用して得られる [伊藤 2003]．隠れ意味空間では類似する顔画像（顔画像ベクトル）や，関連のあるキーワードのベクトルのなす角度が小さい．
問合せ部では構成された隠れ意味空間を用いて，顔画像に適合するキーワードを検索する．問合せとなる顔画像ベクトルのキーワード部には 0 が割り当てられ，部位データ部には値が記入される．問合せベクトルとキーワードベクトルの類似度を求め，類似度が高いキーワードが入力された顔画像に対するキーワードとなる．

3. 重心検索FIARS は問合せ処理の方法として重心検索と呼ぶ機構を備えている[津田 2004]．重心検索は２つの手順からなる．重心検索の概略を図２に示す．まず，部位データのみで隠れ意味空間を構成する．この空間で閾値 θ1 を設定して，問合せのための顔画像と部位データが類似する顔画像ベクトルを検索する．ここまでの手順をクラス分けと呼ぶ．
次にキーワードと部位データからなる隠れ意味空間を構成する．クラス分けされた顔画像の部位データの平均ベクトルを求めて，これを問合せベクトルとする．閾値 θ 2 を設定して，キーワードベクトルを検索する．得られたキーワードを顔画像に対するキーワードとみなす．

⎡ 0 ⎤ 細い目⎫⎢1 ⎥⎪⎢ ⎥ 短い髪 ⎪⎪⎢ 0 ⎥ 丸顔 ⎬キーワード⎢ ⎥M ⎪⎢ M ⎥⎪⎢ M ⎥M ⎪⎭A=⎢ ⎥⎢1.2 ⎥ 左の瞳 ⎫⎢1.3 ⎥ 右の瞳 ⎪⎪⎪⎢ ⎥⎢6.0 ⎥ 瞳の間 ⎬部位データ⎢ M ⎥M ⎪⎪⎢ ⎥M ⎭⎪⎣⎢ M ⎦⎥

図１ 顔記述ベクトルの例（正規化前）
隠れ意味空間は顔記述ベクトルの集まりである顔記述行列に
連絡先：津田知一，中京大学情報科学部，〒470-0393 愛知県豊田市貝津町床立 101，h10506m@st.chukyo-u.ac.jp

図２ 重心検索4. 適合性フィードバック
4.1 適合性フィードバックの概要
重心検索によりキーワード付けの再現率は向上したが，精度を向上することは困難であった [津田 2004]．

-1-

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
効率の良いキーワード付けの実現のために，FIARS の備える重心検索に適用するための適合性フィードバック機構を開発した．適合性フィードバックでは重心検索の結果として得られたキーワードの適合，不適合の評価に基づき問合せベクトルを修正する（図３）．

バックフィード

問合せベクトル

重心ベクトル

検索

キーワード

適合評価

図５ 平均ベクトルの修正
図３ 適合性フィードバック

4.2 適合，不適合の判定
適合性フィードバックを行うためには，検索の結果として得られたキーワードの適合と不適合を判定する必要がある．FIARS
では，クラス分けの結果として得られるキーワードを利用している．
顔データベースにおける各顔画像にはキーワードが付与されている．初期の問合せに対して得られるキーワードのうち，そのキーワードを付与された顔画像がクラス中に存在すれば適合とみなし，そうでなければ不適合とみなす．

平均ベクトルと問合せベクトルの部位データ部とを比較して，式（３）のように問合せベクトルが大きければ値を減少し，小さければ増加する． γ は増減のための定数である．
⎧ q i + γ (q i < ave _ o i )⎪new _ q i = ⎨ q i (q i = ave _ o i ) (ave _ o i ∈ ave _ O )（３）⎪ q − γ (q > ave _ o )ii⎩ i
この操作は，問合せベクトルを平均ベクトルへ近づけることに相当する（図６）．

4.3 キーワードベクトルの修正
初期の問合せベクトルを q とする．適合性フィードバックを適用した問合せベクトルを new _ q とすると， new _ q は式(１)のように表される．
（１）
new _ q = q + α × P − β × N
このとき， α ， β は任意の定数， P は適合したキーワードを表す適合キーワードベクトルである．例えば，適合したキーワードが｛短い髪，丸顔｝であれば， P は図４のように記述される．また，N は不適合となったキーワードから構成されるベクトルである．

5. まとめ
本稿では，FIARS における適合性フィードバックについて述
べた．現在，キーワードの検索効率の評価を進めている．問合せ処理の閾値や重み調節など，各種パラメータの最適値を求めることは今後の課題である．

⎡0⎤ 細い目⎢1⎥ 短い髪⎢ ⎥P = ⎢1⎥ 丸顔⎢ ⎥⎢0⎥ 小顔⎢⎣ M ⎥⎦ M

謝辞

図４ 適合キーワードベクトルの例
適合性フィードバックを繰り返すことにより，問合せベクトルのキーワード部の値が 0 から 1 の範囲外となることがある．これを防ぐため，新しい問合せベクトルを作るときに，式(２)を適用する．
⎧ 0 (qi ≤ 0)⎪new _ qi = ⎨qi (0 < qi < 1)
⎪ 1 (q ≥ 1)i⎩

図６ 問合せベクトルの修正（２）

4.4 部位データの修正
問合せベクトルの部位データ部を修正する適合性フィードバックについて述べる．
クラス中の顔イメージのうち，適合キーワードを１つでも含む顔イメージの部位データ部の平均ベクトル ave _ O を求める（図５）．

本システムで用いた顔画像データは財団法人ソフトピアジャ
パン研究開発グループ地域結集型共同研究推進室から使用許諾を受けたものです．

参考文献[津田 2004] 津田知一，江口尚宏，坂口隆哉，伊藤秀昭，輿水大和: 二つの隠れ意味空間を用いた顔イメージに対するキーワード付け，日本顔学会会誌第４巻第１号，日本顔学会 ,2004．
[伊藤 2003] 伊藤秀昭，他:隠れ意味索引付けに基づいた顔イメージのキーワードと視覚特徴による検索，日本顔学会会誌第３巻第１号，日本顔学会 ,2003．
[He 2001]Xiaofei He, Oliver King, Wei-Ying Ma, Mingjing Li,
and Hong-Jiang Zhang: Learning a Semantic Space From
User’s Relevance Feedback for Image Retrieval, IEEE
Transactions on Circuits and Systems for Video Technology,
VOL. 13, NO. 1, 2001.

-2-