北海道地区

教育システム情報学会 2021年度学生研究発表会

画像領域に対する検索者の着目意図を反映した色彩・印象特徴による画像検索方式
An Image Retrieval Method by Color-Impression Features
Reflecting User's Focus Intentions on Image Region.
大塚ひまわり, 林康弘，清木康
Himawari Otsuka, Yasuhiro Hayashi, Yasushi Kiyoki
武蔵野大学データサイエンス学部
Faculty of Data Science, Musashino University
Email: s1922006@stu.musashino-u.ac.jp, yhayashi@musashino-u.ac.jp, y-kiyoki@musashino-u.ac.jp
あらまし：本研究は，人がある画像における特定の領域に着目する仕組みに相当する機構を画像データベースシステムの問い合わせ部分に設定し，検索者の意図に応じた画像を検索する方式を提案する．本研究では，検索者の画像における着目意図は前景と背景として検索者により描かれる 2 枚の画像の差分領域として表現される．検索者により描かれる前景と背景に用いられる色彩は問合わせ部に予め設定される配色とその印象語から成る知識ベースに格納される 3 色組が用いられる．前景と背景はそれぞれ M×N の格子画像として描かれる．検索者は，検索したいと思い描く画像の局所と全体の印象に基づき知識ベースからそれぞれの配色を選択・使用して，前景と背景の 2 枚の画像を描くことにより，検索者の特定領域に着目した画像を検索可能となる．本方式に基づく，実装とその評価を行った．その結果について示す．
キーワード：配色選択，画像検索，Query by Drawing

1.

はじめにキーワードによる画像検索では，適切なキーワードが表現、入力されない場合、一致しない場合、検索者の検索意図に適合する画像を検索できない．
本研究では、人がある画像における特定の領域に着目する仕組みに相当する機構を画像データベースシステムの問い合わせ部分に設定し，検索者の意図に応じた画像を検索する方式を提案する．本方式では，検索者が画像として想起する場面における全体的な印象（背景）と，ユーザがその場面の中で注目する部分（前景）はそれぞれ，配色とその印象語から成る知識ベースから選択される 3 色から成る配色パターンと任意の数色で表される。本システムは、検索者により描画される M×N マスからなる 2 枚の画像（全体画像と局所画像）が入力されることにより検索者の画像の着目領域を判断する。さらに、本システムは着目領域における画像間の類似度と全体における画像間の類似度の重要度を個別に設定する．
本システムの特徴は，検索者が画像検索時に，検索したい画像の局所と全体の印象に基づいて知識ベースからそれぞれの配色を選択・使用できる点，検索者の画像における着目意図が前景と背景として検索者により描かれる 2 枚の画像の差分領域として表現できる点、色彩・配置に類似する画像群を画像データベースから検索できる点である．例えばアニメ作品を対象とする場合，検索者は曖昧な記憶に基づく背景と鮮明な記憶に基づく前景（例えば、女性が中央にいる）をそれぞれクエリとして入力できる．

2.

画像領域に対する検索者の着目意図を反映した色彩・印象特徴による画像検索方式

9

本節では，本システムの概要について述べる．本
システムは検索者により検索問い合わせとして想像される画像の色彩特徴と，その色彩特徴により描かれる構図特徴をクエリとする．あわせてクエリ画像を全体印象と局所印象として 2 枚に分けて入力することにより，それら 2 枚の画像の差分領域として表現された検索者の画像における着目意図も検索の手がかりとして入力する機能を実現する．そしてクエリ画像に類似する画像群を画像データベースから検索する．想像される画像の色彩特徴とは検索者により選択される形容詞に基づき，配色とその印象語から成る知識ベースから選択される 3 色からなる配色
パターン及び注目している部分に配置されているものから連想される色である．また想像される画像の構図特徴とはユーザにより色彩特徴を用いて描画される M×N の格子画像である．本システムは出来上がった格子画像の各マスにあたる領域のピクセルデータをカラーヒストグラムに変換し，同様に格子状に領域分割した検索対象画像との類似度を計算する．
最後に類似度の大きな画像を検索結果として数枚出力する．
2.1 画像の類似度計量について
本システムは，あらかじめ全ての検索対象画像に対し減色処理を施し，M×N グリッドに分割してマスごとにカラーヒストグラム g を生成する．そして，全体意図クエリ画像 I と局所意図クエリ画像 A の各
マス i, a と検索対象画像の各マスのカラーヒストグ
ラム G の相関量 corI, corA を計算し，それぞれに重要度 W を掛け合わせその総和 s を類似度として扱う．
a において色を指定しなかった部分については透明色とし，一切値が含まれていないヒストグラムとし北海道地区

教育システム情報学会 2021年度学生研究発表会
rank

1

2

34

56

7

8

910

image

rank
image

表 2.局所意図の重要度 0.3 の場合の結果

表 1. 検索したい画像と作成したクエリて扱っている．
g, i = Histogram(c1, c2, …, ck)
a = Histogram(clear, c1, c2, …, ck)
I = (i11, i12, i11,…, i1M,…, iN1, iN2, …, iNM)
A = (a11, a12, a11,…, a1M,…, aN1, aN2, …, aNM)
G = (g11, g12, g11,…, g1M,…, gN1, gN2, …, gNM)
s = (1-W)×corI + W×corA
この相関量を算出する際は，わずかな色の差分を排除するために完全一致だけでなく，HSV 色空間における色同士の距離をもとにある程度類似した色も同じ色とみなして計量する．計算式は Godlove の色差式[1]を用いた. Godlove の色差式は以下の通り:

rank

2345678910image

rankimage

表 3. 局所意図の重要度 0.5 の場合の結果
rank

12345678910image

rank
image

表 4. 局所意図の重要度 0.7 の場合の結果の結果入力されたクエリに類似しているとされた画像上位 10 枚を出力する．
クエリ生成に用いる色選びについては著者が実際に対象画像から連想した形容詞を持つ配色パターンを選んで用いた．かつ，局所意図の重要度 W を 0.3,0.5, 0.7 の 3 通りの条件の元実験を行った．(表 1)．

𝑔𝑜𝑑𝑙𝑜𝑣𝑒(𝐻1, 𝑆1 , 𝑉1 , 𝐻2 , 𝑆2 , 𝑉2) =|𝐻 − 𝐻 |2𝑆1 𝑆2 (1 − 𝑐𝑜𝑠 (2𝜋 1100 2 )) + (|𝑆1 − 𝑆2 |)2 + (4|𝑉1 − 𝑉2|)22

2.2 配色データベースと色空間についてk-means を用いて，アニメ作品ごとの主要色 64 色空間を生成する。本方式では，配色データベース作成のためにデータベース内画像 1 枚につき 1 組，データベース内画像の総数分の配色セットが作成される．この配色セットは，各データベース内画像の色彩特徴を考慮するために，TF・IDF の考え方で各データベース内画像において重要度の高い 3 色からなる．併せて形容詞を作成した配色に定義づけるためにカラーイメージスケール[2]にて定義されている
配色パターンとの HSV 色空間における距離が計量されている．そして最も近しいものに定義づけられた形容詞を，そのまま新規作成した配色パターンに定義づけ配色とその印象語から成る知識ベースが作成される．局所印象クエリ画像を描画するために用いる色のデータベースについては，画像に登場しているキャラクターや特徴的なオブジェクトの代表色をピックアップし作成される．

3.

1

3.2 実験結果
結果は表 2，3，4 にそれぞれ表される．灰色のハイライトのある出力が探したい画像である．全ての実験結果において 1 位ではなかったものの十分な結果を得られた．ただし，全ての実験結果の 2，3 位の出力より，背景として入力したクエリの色配置が結果画像の前景と似ていた関係で思わぬ形で結果に作用してしまうことが確認できた．理由としては，検索対象画像に対して全体意図と局所意図，この場合背景と前景の考慮を加えていなかったことが原因であると考えられる．

4.

まとめ

本稿では，人がある画像における特定の領域に着目する仕組みに相当する機構を画像データベースシステムの問い合わせ部分に実現し，検索者の意図に応じた画像を検索する方式について示した．今後の展望として，被験者実験の実施や動画への適用，色彩以外の情報の入力実現が挙げられる．
参考文献

実験

3.1 実験条件
本手法の有効性を検証するために、我々は Python
言語を用いて実装した．検索者は選んだ配色セットと数色を用いて 6×12 分割されたキャンバスに，探したい画像に対する全体意図と局所意図をそれぞれ描く．クエリ画像は計 2 枚できる．配色セットと単色については，2 章 2 節にて示した方法を用いて作成した 64 色の中から提示している．また近似色の判定方法として，Godlove の色差式により算出された64 色のそれぞれの色同士の距離が 45 より小さいものを近似色として計量した．データベース内画像にはスタジオジブリ[3]が提供しているアニメ映画のシーン画像 600 枚を利用した．検索の結果は，計算(1) Godlove, I. H. "Improved color-difference formula, withapplications to the perceptibility and acceptability offadings." JOSA 41.11 pp.760-772, 1951.
(2) 小林重順, “カラーイメージスケール改訂版”，講談社（2001）．
(3) スタジオジブリ https://www.ghibli.jp/(4) Otsuka, H., Hayashi, Y., & Kiyoki, Y.”A Color andComposition-based Image Retrieval System byImage-Query Drawing Method with Color-Impression
Database.” International Electronics Symposium (IES) ,IEEE, pp. 430-437, 2021

10