メタデータと画像特徴量を用いた博物館画像検索システム
2007MI023 深谷真一朗
2007MI208 澤村
河野 浩之

岳

指導教員

1 はじめに南山大学人類学博物館*1 には数千点に及ぶ博物館資料が存在し, その資料の有意義な利用が求められている. 先行研究では, この博物館の Web サイトに資料を閲覧・検索する環境として, 2006 年, CMS (ContentsManagement System) とフォトアルバムモジュールによる博物館 Web サイトの構築が行われた. また 2008
年, 市川と河合らによってアノテーションシステムを備えた博物館 CMS の実装が行われた [1].
このように南山大学人類学博物館には, 資料を効率的に扱うための様々な試みがなされている. しかしこれらの先行研究には, 数千点にも及ぶ博物館画像資料の中から, 目的のものを探し出すための機能が不足していた.
また博物館資料は, 年代ごと, 地域ごとなどで分類分けされている場合は多いが, その資料の色, 形などの特徴で分類分けされている場合は少ない. そのため本研究では,そのような要素でも資料を検索することのできる, 南山
大学人類学博物館画像資料の検索システムを実装する.

画像を検索する際, 単にキーワードによる検索しか行えなかった. そこで本システムでは, メタデータのフィールド項目ごとにテキスト検索を行える TBIR システムを実装する. またこの検索で検出された画像の類似画像を, 下記の CBIR システムによってさらに検索できるようにもする.
CBIR は, 上記の TBIR システムを通さなくても, このシステム単体での使用も可能にする. 用いる特徴量については, 後述の 3.4 で述べる.

3.2 博物館画像検索システムの構造
図 1 は, 実装する博物館画像検索システムの構造と,データとページの移動の流れを表したものである. 色を濃くした部分は, 先行研究から拡張させる機能である.

2 画像検索システムの動向
一般に画像検索は, TBIR (Text-Based Image Retrieval) と, CBIR (Content-Based Image Retrieval) に分けられる. TBIR は画像に対してあらかじめ対応付けられたテキストに基づいてキーワード検索を行う手法であり [2], また CBIR は画像の色, 模様, 輪郭などの特徴量を抽出し, それらを比較することにより, 類似画像を検出する手法である [3].
画像検索システムには, TBIR を用いるものと, CBIRを用いるもの, そして TBIR と CBIR の両方を用いて画像検索を行うものがある. 2 つの手法を組み合わせて検索する方が目的の画像を得られやすく, 最近では TBIRと CBIR の両方を用いるものが増えてきている. TBIRと CBIR の両方を用いている画像検索システムには,WebSeer, WebSEEk, Yahoo!画像検索, Google Similar
Images などがある.

3 実装する博物館画像検索システムの構成
本研究は, CMS の Drupal を用いて博物館画像検索システムを実装する.
3.1 実装する博物館画像検索システムとその手法
本システムは, TBIR システムと CBIR システムの両方を実装する.
本研究で扱うメタデータは, 多数のフィールド項目を持っている. しかし市川らによる先行研究では, 博物館*1 http://www.ic.nanzan-u.ac.jp/MUSEUM/

図1

博物館画像検索システムの構造

画像ページと画像一覧表示ページ
画像ページと画像一覧表示ページの説明を, 以下の ➊,➋ に示す. これらは図 1 の ➊, ➋ に対応したものである.
➊ 1 枚の画像とそのメタデータが表示されたページ.

3.2.1

➋ 画像ページの画像を一覧表示するページ. 画像からその画像ページへ移動できる.
3.2.2 TBIR システム
TBIR システムは, Views を用いて実装する. 実装方法については, 後述の 4.2 で説明する. システムの構造の説明を, 以下の (1)〜(3) に示す. これらは図 1 の (1)〜(3) に対応したものである.
(1) 画像一覧表示ページに検索フォームを表示させ,検索ページとする. 検索ページから, 検索したい画像の条件をフィールド項目ごとに入力する.
(2) 入力された条件にあてはまる画像を表示する.
(3) (2) で表示された画像の類似画像を検索したい場合,その画像から画像の単体ページへ移動し, 3.2.3 のシステムを用いることによって類似画像を検出することもできる.
3.2.3 CBIR システム
CBIR システムの構造の説明を, 以下の ➀〜➃ に示す.
これらは図 1 の ➀〜➃ に対応したものである.
➀ 類似画像を検索したい画像を選び, その画像のページへ移動する.
➁ 類似画像の表示ページへ移動する.
➂ リンク元の画像の, 他画像に対する類似度データを要求する.
➃ ➂ で要求された類似度データを返し, 類似画像を表示する.
他画像との類似度は, あらかじめ Drupal のデータベースに格納しておくので, 類似画像検索をする度に類似度の計算をしなくてよい. これにより, 画像を検索する度に類似度を計算する場合に比べ, 類似画像の表示にかかる時間を短縮することができる.
3.3 Drupal による画像管理
まず Drupal のバージョンだが, 先行研究で用いられた 5.10 より新しく, 動作の安定している 7.8 を使用する.
画 像 の 管 理 に は, 先 行 研 究 で は CMS の Gallery2を用い, それを Drupal 上で扱えるようにするために,Gallery モジュールを用いていた. しかし, このモジュールは Drupal7 に対応していなかったため, 本研究では先行研究で Gallery2 を用いて実装していた画像管理環境と同等程度の環境を実装するのに, コンテンツを一覧表示することのできる, Views モジュールを用いる.
以下の表 1 は, Views と Gallery2 の機能の比較である. 比較する項目には, 今回実装するシステムに必要な機能を選んだ. 厳密には Views 単体で「単体画像ページへの新しいフィールド項目の追加」を行うことはできな
いが, コアモジュールの CCK モジュールを使用することにより, この機能は実装することができる. この比較から, Views でも Gallery2 を用いたものと同等程度の機能を備えた画像管理環境を実装できることがわかる.
3.4 特徴量の抽出手法
特徴量の抽出には, それぞれ画像の種類によって向き不向きがある. 本研究では, 人類学博物館画像全般が検索対象のため, どの種類の画像に対しても適用できるよ

表 1 Views と Gallery2 の比較

機能Views

Gallery2

格納画像の一覧表示○○

一覧表示から単体の画像ページへの移動○○

画像ページへの新しいフィールド項目の追加○ (CCk を用いて)○Drupal7 への対応

○× (6 まで)うにする必要がある. 以下の表 2 は, 色, 模様, 形状の特徴量を用いた時の利点と欠点を比較したものである. この比較から, カラー画像であり, 写っているのが資料単体で資料の形状を比べやすい人類学博物館画像には, 色と形状の特徴量を用いた類似画像検索が適していることがわかる.
これらのことから本研究での CBIR は, 画像の色と形状の特徴量を用いるものとする.
表2

特徴量の比較

特徴量利点

欠点

色

カラー画像に適用可

白黒画像に適用不可

模様模様を認識可

明確な模様が必要

形状白黒画像にも適用可
物体の形状を認識可

グラデーションを認識しづらい

エッジ検出の手法
エッジ検出には様々な手法があり, それぞれ異なったエッジ画像を作成する. そのため, エッジ検出の手法も本研究に合った手法を選択する必要がある. 本研究のCBIR システムでは色の特徴量も用いるので, 形状比較を行う際は, 物体の輪郭が似ているものを検出し, その結果を色の特徴量を用いた場合と組み合わせれば, 類似画像が検出されるものと思われる.
以下の表 3 は, エッジ検出の手法の Sobel 法, Canny法, Laplacian で作成されるエッジ画像の特徴を表したものである. この表から, 物体の輪郭に重みをおいた形状比較には, Laplacian によるエッジ画像が適しているといえるので, エッジ検出の手法には Laplacian を用いることとする.

3.5

表3

エッジ検出の比較手法作成されるエッジ画像

Sobel 法縦横どちらかの方向の輪郭が強調された画像

Canny 法物体の輪郭と中の模様との区別がつけづらい画像

Laplacian

物体の全方向の輪郭が強調された画像

4 博物館画像検索システムの実装
本システムは, Ubuntu 10.04 LTS 上で Drupal 7.8 を用いて実装する. 使用する PC のスペックは, メインメ
モリが 4GB, CPU が AMD Phenom (tm) II X6 1090T
Processor 3.20GHz である. 画像とメタデータは, 南山
大学人類学博物館から提供されたものを使用する.
4.1 画像管理環境の実装
本研究で使用するメタデータは, 「取得情報」,「状態情報」,「所在情報」などの 74 個のフィールド項目が格納されている. Drupal でデフォルトで使用できるコンテンツタイプでは, この 74 項目を格納するためのフィールドが足りないので, まずフィールドを拡張した「人類学博物館画像資料」というコンテンツタイプを作成する.
次に Feeds モジュールでメタデータを取り込む. メ
タデータを取り込む際には, ファイル形式を xls, またはxlsx から csv に変換し, また一緒に画像データも取り込めるように, メタデータに画像のパスを記述した新しいフィールドを追加しておく.
Feeds でメタデータを格納した画像ページを作成したら, Views を用いてこれらのページを一覧表示させる.
これにより以下の図 2 のように, Drupal 内に格納した博物館画像を把握することのできる環境を実装する.

図3

4.3 CBIR システムの実装
CBIR システムは, 画像ページにリンクボタンを付加し, そのボタンから, 図 4 のようにその画像ページの画像の類似画像を表示するページに移動するようにする. 類
似画像を表示する際は, 類似度データが格納されたテーブルにアクセスし, そこから表示する画像を取得する.

図4
図2

テキスト検索ページ

類似画像の表示ページ

博物館画像の一覧表示ページ

類似度の計算と格納機能の実装
特 徴 量 抽 出 と 類 似 度 の 計 算 を 行 う プ ロ グ ラ ム は,OpenCV を用いて実装する. OpenCV とは, 2006 年,Intel 社が開発したコンピュータビジョン向けライブラリのことであり, この中の画像処理の関数を用いる.
まず, 色と形状のマッチングを行うには画像を減色画像とエッジ画像に変換する必要がある. これらの動作をする C 言語プログラムをそれぞれ作成し, シェルスクリ
プトを用いて画像の減色とエッジ化を一括で行う. 作成
された減色画像とエッジ画像を基にマッチングを行う C
言語プログラムもそれぞれ作成する. マッチングプログ
ラムを用いて色と形状の類似度をそれぞれ作成したら,

4.4
4.2 TBIR システムの実装
TBIR システムの実装には, Views を用いる. Viewsには, 一覧表示したコンテンツ内でさらに様々な条件を指定して, 表示させるコンテンツを絞り込むことのできる機能が備わっている. この機能を用いて, キーワードだけで博物館画像の検索ができるページを作成する. これは以下の図 3 のように, 4.1 で実装した一覧表示ページに, メタデータの各項目に対応した検索フォームを加えたものになる. また図 3 のページでは, 検索項目を複数用いる場合に AND 検索を行うようになっているが,OR 検索を行うページも実装する.

これらを組み合わせ, 2 つの画像の類似度とする (組み合わせ方は後述の 4.5 で述べる). 次にこの類似度データを挿入する SQL 文をファイルに書き出していき, 全計算が終わったらこの SQL 文を実行し, データベースに類似度データを格納する.
これら一連の動作をする PHP コードを記述した「類似度格納ページ」を作成し, このページへ移動することで画像間の類似度を Drupal に格納するようにする. また, 画像の類似度を格納するには指定のフォルダに画像を配置する必要があり, 格納が終われば画像は格納済フォルダに移動されるようになっている. 指定のフォルダに画像を配置して格納を行うと, 指定のフォルダ内の画像間の類似度と, 指定のフォルダの画像と格納済フォルダの画像間の類似度だけが格納されるようになっているので, 新しく画像を追加する際に, 既に類似度が格納されているもの同士を再度計算・格納することはない.
4.5 類似度の組み合わせ方
色と形状の類似度を比較したところ, 色の類似度は,一番高い類似度でも 0.1…, や 0.2…など小数点以下第 1位のものが大部分を占めていたのに対して, 形状の類似度は一番高い類似度は小数点以下第 2 位や第 3 位のものが大部分を占めていた. そのため色の類似度は, 10 分の1 に縮小すれば形状の類似度と同程度の類似性を表すようになると考えたので, 色と形状の類似度の組み合わせ方は, 形状の類似度に, 色の類似度を 10 分の 1 に縮小したものを足すことにする.
また, 本研究で扱う画像のメタデータには, 資料の分類を示す項目がある. そこで, この項目に同じ記述がな
い 2 つの画像間の類似度を 0.5 だけ増やすことで, メタデータがある画像では同じ分類の画像との類似度を相対的に高くし, より類似画像を探し出し易くする.

5 博物館画像検索システムの評価
画像検索システムの評価
画像検索システムの評価にあたり, まず画像とメタデータの Drupal への取り込みと, 画像の類似度の計算と格納を行った. 取り込みと類似度の格納は, 提供された画像の中からメタデータがある 277 枚と, メタデー
タがない 1776 枚の全分類からそれぞれ数枚ずつ選んだ
360 枚の, 計 637 枚で行った.
TBIR システムは, 実際にキーワードを様々に変えながら検索を行った. その結果, AND 検索と OR 検索の両システムとも条件に適したものが間違いなく検出されることが確認できた.
CBIR システムは, 研究室の学部生 10 人を対象にアンケート評価を行った. 評価は一人当たり, メタデータがある画像とない画像でそれぞれを 5 枚ずつの, 計 10 枚行ってもらった. メタデータがある画像・ない画像ともに, 同じ分類の画像が類似画像として表示された画像の1〜5 番目に表示されたかを, ○か×で評価した. またメ
タデータがある画像では同じ分類の画像が多く表示されると思われるので, 同じ分類の中でも色・形状の類似し5.1たものが表示されたかも評価した. 1〜5 番目の画像の点数を, それぞれ 3 点, 2.5 点, 2 点, 1.5 点, 1 点とし, 10 点満点中, 平均で何点となったかを評価する. この結果, 同じ分類が表示されたかの評価では, メタデータがある画像では平均 10 点, ない画像では平均 5.9 点となった. メ
タデータがある画像で内容が類似したものが表示されたかの評価では, 平均 5.8 点となった. このことから, メタデータがある画像では上位は全て同じ分類の画像で, 内容が類似しているものは上位 5 枚に平均で 2〜3 枚ほど表示されたことになる. またメタデータがない画像では,同じ分類の画像が上位 5 枚に平均で 2〜3 枚ほど検出されたことになり, 本 CBIR システムは有用であることがわかった
類似画像の表示にかかる時間は, 表示の度に類似度を計算する場合に比べ, 約 4 分から 1〜2 秒に短縮でき, 全類似度の計算・格納には今回扱った 637 枚で約 97 時間を要した. これらから本システムにおける事前の類似度計算の有用性を検証したところ, 5 ヶ月弱以上の長期に渡って運用する場合に有用であることがわかった (類似画像検索を 1 日当たり平均 10 回行うと仮定).
5.2 先行研究と本研究の比較
先行研究 [1] との比較を行ったところ, TBIR システ
ムの性能が向上し, 先行研究にはない有用な CBIR システムが加わったことから, 資料を探し出すという目的においては, 先行研究より優れたシステムを実装することができたといえる. またシステムの実装に CMS を 1 つしか用いていないことからシステムの拡張性が向上したといえ, 加えてメタデータの一括取り込みが可能になったことから, より博物館資料の管理システムとしての利便性が高くなったといえる.

6 まとめ
今後, 博物館が持つ資料をさらに追加することで, ユーザがテキストと画像特徴量を用いて博物館画像資料を検索することのできる, 実際の博物館 Web サイトとして動作させることができる. この博物館画像検索システムが実際に動作することによって, 博物館資料の有意義な利用につながるであろう.

参考文献[1] 市川このみ, 河合理恵, アノテーションシステムを備えた博物館 CMS の実装, 2008 年度南山大学数理情報学部情報通信学科卒業論文, 2009.
[2] 竹内謹治, 黄瀬浩一, 松本啓之亮, “語の共起の統計情報を用いた画像と説明文の対応付け,” 電子情報通信学会総合大会講演論文集, 情報・システム (1), pp.39,
2005.
[3] 佐々木秀康, 清木康, “画像データを対象とした特徴量類似度計量系によるメタデータ自動生成法の拡張,” 電子情報通信学会技術研究報告, データ工学,

Vol.104, No.177, pp.159-164, 2004.