(57)【特許請求の範囲】
【請求項１】
衣服の領域を含む複数の参照用画像から、衣服の領域を含むクエリ画像と類似する前記参照用画像を検索する画像検索装置であって、
前記クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出する柄領域抽出部と、
前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出する選択特徴抽出部と、
前記選択特徴抽出部によって抽出された前記画像特徴に基づいて、前記参照用画像と前記参照用画像から抽出された前記画像特徴との組み合わせを複数記憶した衣服画像データベースから、前記クエリ画像と類似する前記参照用画像を検索する類似特徴検索部と、
を含む画像検索装置。
【請求項２】
衣服の領域を含む参照用画像を衣服画像データベースに登録する画像登録装置であって、
前記参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出する柄領域抽出部と、
前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、前記参照用画像と前記画像特徴との組み合わせを衣服画像データベースに登録する選択特徴抽出部と、
を含む画像登録装置。
【請求項３】
衣服の領域を含む複数の学習用画像であって、かつ衣服の柄クラスが予め付与された複数の学習用画像の各々に対し、前記学習用画像の衣服の柄領域に含まれる画素の各々について局所的なテクスチャパターンを抽出する画像特徴抽出部と、
前記複数の学習用画像の各々に対し、前記画像特徴抽出部によって抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出する支配的特徴抽出部と、
前記柄クラスが同一の学習用画像集合の各々に対し、前記学習用画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記学習用画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、前記柄クラスと関連する前記局所的なテクスチャパターンとして抽出する選択特徴統合部と、
を含む画像特徴選択装置。
【請求項４】
柄領域抽出部と、選択特徴抽出部と、類似特徴検索部とを含み、衣服の領域を含む複数の参照用画像から、衣服の領域を含むクエリ画像と類似する前記参照用画像を検索する画像検索装置のおける画像検索方法であって、
前記柄領域抽出部が、前記クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出し、
前記選択特徴抽出部が、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、
前記類似特徴検索部が、前記選択特徴抽出部によって抽出された前記画像特徴に基づいて、前記参照用画像と前記参照用画像から抽出された前記画像特徴との組み合わせを複数記憶した衣服画像データベースから、前記クエリ画像と類似する前記参照用画像を検索する、
画像検索方法。
【請求項５】
柄領域抽出部と、選択特徴抽出部とを含み、衣服の領域を含む参照用画像を衣服画像データベースに登録する画像登録装置における画像登録方法であって、
前記柄領域抽出部が、前記参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出し、
前記選択特徴抽出部が、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、前記参照用画像と前記画像特徴との組み合わせを衣服画像データベースに登録する、
画像登録方法。
【請求項６】
画像特徴抽出部と、支配的特徴抽出部と、選択特徴統合部とを含む画像特徴選択装置における画像特徴選択方法であって、
前記画像特徴抽出部が、衣服の領域を含む複数の学習用画像であって、かつ衣服の柄クラスが予め付与された複数の学習用画像の各々に対し、前記学習用画像の衣服の柄領域に含まれる画素の各々について局所的なテクスチャパターンを抽出し、
前記支配的特徴抽出部が、前記複数の学習用画像の各々に対し、前記画像特徴抽出部によって抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出し、
前記選択特徴統合部が、前記柄クラスが同一の学習用画像集合の各々に対し、前記学習用画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記学習用画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、前記柄クラスと関連する前記局所的なテクスチャパターンとして抽出する、
画像特徴選択方法。
【請求項７】
コンピュータを、請求項１記載の画像検索装置、請求項２記載の画像登録装置、又は請求項３記載の画像特徴選択装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラムに係り、特に、衣服の領域を含む画像を検索するための画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
服飾ショッピングサイトなどで効率的に所望の商品を検索するために、撮影画像や商品画像に基づく類似柄の検索技術の研究が取り組まれている。
【０００３】
衣服画像から柄の類似した画像を検索する技術としては、非特許文献１のような画像の衣服部分から得られる画像特徴に基づいて特徴ベクトルの類似性から求めるものが一般的である。衣服に描かれた柄の類似性を評価する場合、画像から柄の部分を抽出する必要が生じるが、その抽出方法としてはクエリ画像中の衣服領域の位置をあらかじめ決めておき、固定された領域から画像特徴を得る方法（非特許文献１）や、衣服や人体のパーツ検出器を学習し、検出されたパーツに基づいて対応する服の領域を得る方法（非特許文献２）がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S. Miura, K. Aizawa, “H-026 snapper : Fashion Coordinate Image Retrieval using Fashion Snap Photos”, 情報科学技術フォーラム講演論文集, 12(3), p.151-152, 2013.
【非特許文献２】S. Liu, T. Nguyen, J. Feng, M. Wang, S. Yan, “Hi, Magic Closet, Tell Me What to Wear!”, In Proc. of ACM MM, pp.1333-1334, 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術では、類似柄の検索に用いる柄の写る領域を、予め決められた領域によって抽出する（非特許文献１）、もしくは人体のパーツ検出に基づいて対応する位置を抽出するなどしていたが、固定された領域で抽出する場合はもちろん、パーツ検出器に基づく抽出であっても、多様な服の種類、被写体の状況を対象とした場合、柄が特徴的に表れている部分を選択的に抽出することは難しい。これは、服の種類によって柄が付与される領域が異なっていることや、服を着ている人物の姿勢によって服領域の見え方が異なることが原因である。
【０００６】
本発明では、上記問題点を解決するために成されたものであり、衣服の柄を含む画像を精度よく検索することができる画像検索装置、方法、及びプログラムを提供することを目的とする。
【０００７】
また、衣服の柄を精度よく検索するためのデータベースを生成することができる画像登録装置、方法、及びプログラムを提供することを目的とする。
【０００８】
また、衣服の柄を精度よく検索するためのパターンを抽出することができる画像特徴選択装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明に係る画像検索装置は、衣服の領域を含む複数の参照用画像から、衣服の領域を含むクエリ画像と類似する前記参照用画像を検索する画像検索装置であって、前記クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される前記支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出する柄領域抽出部と、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出する選択特徴抽出部と、前記選択特徴抽出部によって抽出された前記画像特徴に基づいて、前記参照用画像と前記参照用画像から抽出された前記画像特徴との組み合わせを複数記憶した衣服画像データベースから、前記クエリ画像と類似する前記参照用画像を検索する類似特徴検索部と、を含んで構成されている。
【００１０】
第２の発明に係る画像検索方法は、柄領域抽出部と、選択特徴抽出部と、類似特徴検索部とを含み、衣服の領域を含む複数の参照用画像から、衣服の領域を含むクエリ画像と類似する前記参照用画像を検索する画像検索装置のおける画像検索方法であって、前記柄領域抽出部が、前記クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される前記支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出し、前記選択特徴抽出部が、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、前記類似特徴検索部が、前記選択特徴抽出部によって抽出された前記画像特徴に基づいて、前記参照用画像と前記参照用画像から抽出された前記画像特徴との組み合わせを複数記憶した衣服画像データベースから、前記クエリ画像と類似する前記参照用画像を検索する。
【００１１】
第１及び第２の発明によれば、柄領域抽出部により、クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出する。
【００１２】
そして、選択特徴抽出部により、柄領域抽出部によって抽出された柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出する。
【００１３】
そして、類似特徴検索部により、選択特徴抽出部によって抽出された画像特徴に基づいて、参照用画像と参照用画像から抽出された画像特徴との組み合わせを複数記憶した衣服画像データベースから、クエリ画像と類似する参照用画像を検索する。
【００１４】
このように、クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を、衣服の柄領域として抽出し、抽出された柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、抽出された画像特徴に基づいて、衣服画像データベースから、クエリ画像と類似する参照用画像を検索することにより、衣服の柄を含む画像を精度よく検索することができる。
【００１５】
第３の発明に係る画像登録装置は、衣服の領域を含む参照用画像を衣服画像データベースに登録する画像登録装置であって、前記参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される前記支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出する柄領域抽出部と、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、前記参照用画像と前記画像特徴との組み合わせを衣服画像データベースに登録する選択特徴抽出部と、を含んで構成されている。
【００１６】
第４の発明に係る画像登録方法は、柄領域抽出部と、選択特徴抽出部とを含み、衣服の領域を含む参照用画像を衣服画像データベースに登録する画像登録装置における画像登録方法であって、前記柄領域抽出部が、前記参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、前記候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を前記候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた前記柄クラスの複数の柄領域から抽出される前記支配的特徴セットで共通する共通特徴セットに基づいて、前記柄クラスの共通特徴セットと前記抽出された支配的特徴セットとで共通する前記局所的なテクスチャパターンの数が最大となる前記候補領域を、衣服の柄領域として抽出し、前記選択特徴抽出部が、前記柄領域抽出部によって抽出された前記柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、前記柄クラスと関連する前記局所的なテクスチャパターンを、前記柄領域の画像特徴として抽出し、前記参照用画像と前記画像特徴との組み合わせを衣服画像データベースに登録する。
【００１７】
第３及び第４の発明によれば、柄領域抽出部により、参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、候補領域に含まれる画素の各々について取得される局所的なテクスチャパターンのうち、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの各々について予め定められた柄クラスの複数の柄領域から抽出される支配的特徴セットで共通する共通特徴セットに基づいて、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を、衣服の柄領域として抽出する。
【００１８】
そして、選択特徴抽出部により、柄領域抽出部によって抽出された柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、参照用画像と画像特徴との組み合わせを衣服画像データベースに登録する。
【００１９】
このように、参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を衣服の柄領域として抽出し、衣服の柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、参照用画像と画像特徴との組み合わせを衣服画像データベースに登録することにより、衣服の柄を精度よく検索するためのデータベースを生成することができる。
【００２０】
第５の発明に係る画像特徴選択装置は、衣服の領域を含む複数の学習用画像であって、かつ衣服の柄クラスが予め付与された複数の学習用画像の各々に対し、前記学習用画像の衣服の柄領域に含まれる画素の各々について局所的なテクスチャパターンを抽出する画像特徴抽出部と、前記複数の学習用画像の各々に対し、前記画像特徴抽出部によって抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出する支配的特徴抽出部と、前記柄クラスが同一の学習用画像集合の各々に対し、前記学習用画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記学習用画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、前記柄クラスと関連する前記局所的なテクスチャパターンとして抽出する選択特徴統合部と、を含んで構成されている。
【００２１】
第６の発明の係る画像特徴選択方法は、画像特徴抽出部と、支配的特徴抽出部と、選択特徴統合部とを含む画像特徴選択装置における画像特徴選択方法であって、前記画像特徴抽出部が、衣服の領域を含む複数の学習用画像であって、かつ衣服の柄クラスが予め付与された複数の学習用画像の各々に対し、前記学習用画像の衣服の柄領域に含まれる画素の各々について局所的なテクスチャパターンを抽出し、前記支配的特徴抽出部が、前記複数の学習用画像の各々に対し、前記画像特徴抽出部によって抽出された前記局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出し、前記選択特徴統合部が、前記柄クラスが同一の学習用画像集合の各々に対し、前記学習用画像集合から抽出された支配的特徴セットで共通する前記局所的なテクスチャパターンを取り出し、前記学習用画像集合の各々に対して取り出された前記局所的なテクスチャパターンの和集合を、前記柄クラスと関連する前記局所的なテクスチャパターンとして抽出する。
【００２２】
第５及び第６の発明によれば、画像特徴抽出部が、衣服の領域を含む複数の学習用画像であって、かつ衣服の柄クラスが予め付与された複数の学習用画像の各々に対し、学習用画像の衣服の柄領域に含まれる画素の各々について局所的なテクスチャパターンを抽出する。
【００２３】
そして、支配的特徴抽出部が、複数の学習用画像の各々に対し、画像特徴抽出部によって抽出された局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出する。
【００２４】
そして、選択特徴統合部が、柄クラスが同一の学習用画像集合の各々に対し、学習用画像集合から抽出された支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、学習用画像集合の各々に対して取り出された局所的なテクスチャパターンの和集合を、柄クラスと関連する局所的なテクスチャパターンとして抽出する。
【００２５】
このように、複数の学習用画像の各々に対して抽出された局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出し、衣服の柄クラスが同一の学習用画像集合の各々に対し、学習用画像集合から抽出された支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、学習用画像集合の各々に対して取り出された局所的なテクスチャパターンの和集合を、柄クラスと関連する局所的なテクスチャパターンとして抽出することにより、衣服の柄を精度よく検索するためのパターンを抽出することができる。
【００２６】
また、本発明のプログラムは、コンピュータを、上記の画像検索装置、画像登録装置及び画像特徴選択装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００２７】
以上説明したように、本発明の画像検索装置、方法、及びプログラムによれば、クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を、衣服の柄領域として抽出し、抽出された柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、抽出された画像特徴に基づいて、衣服画像データベースから、クエリ画像と類似する参照用画像を検索することにより、衣服の柄を含む画像を精度よく検索することができる、という効果が得られる。
【００２８】
また、本発明の画像登録装置、方法、及びプログラムによれば、参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を衣服の柄領域として抽出し、衣服の柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、参照用画像と画像特徴との組み合わせを衣服画像データベースに登録することにより、衣服の柄を含む画像を精度よく検索するためのデータベースを生成することができる、という効果が得られる。
【００２９】
また、本発明の画像特徴選択装置、方法、及びプログラムによれば、複数の学習用画像の各々に対して抽出された局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出し、衣服の柄クラスが同一の学習用画像集合の各々に対し、学習用画像集合から抽出された支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、学習用画像集合の各々に対して取り出された局所的なテクスチャパターンの和集合を、柄クラスと関連する局所的なテクスチャパターンとして抽出することにより、衣服の柄を含む画像を精度よく検索するための画像特徴を抽出することができる、という効果が得られる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態に係る画像特徴選択装置の機能的構成を示すブロック図である。
【図２】ＬＢＰ特徴を算出する例を示す図である。
【図３】特徴選択パラメータＧを抽出する例を示す図である。
【図４】本発明の実施の形態に係る画像登録装置の機能的構成を示すブロック図である。
【図５】衣服の領域と柄領域の候補領域とを検出する例を示す図である。
【図６】本発明の実施の形態に係る画像検索装置の機能的構成を示すブロック図である。
【図７】本発明の実施の形態に係る画像特徴選択装置における画像特徴選択処理ルーチンのフローチャートを示す図である。
【図８】本発明の実施の形態に係る画像登録装置における画像登録処理ルーチンのフローチャートを示す図である。
【図９】本発明の実施の形態に係る画像検索装置における画像検索処理ルーチンのフローチャートを示す図である。
【図１０】実施例の結果の例を示す図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３２】
＜本発明の原理＞
まず、本発明の実施の形態に係る画像特徴選択装置、画像登録装置、及び画像検索装置についての原理について説明する。
【００３３】
本実施の形態では、衣服の領域を含む画像について、認識すべき衣服の柄のクラスを限定し、衣服の柄のクラスを表す柄クラスに固有の画像特徴を設計することで、上述の課題を解決する。
【００３４】
本実施の形態では、類似の柄を検索する際に、画像中の大まかな衣服の領域については、衣服の領域を検出する検出器ベースのアプローチを用いて衣服の領域の絞り込みを行い、絞り込まれた衣服の領域内のいくつかの柄領域の候補領域から、柄クラスに固有の画像特徴を多く含む領域をクエリ領域として採用する。
【００３５】
また、柄クラスに固有の画像特徴の記述については、非特許文献３（Y. Guo, G. Zhao, M. Pietikaeinen, “Discriminative features for texture description” Pattern Recognition, 45(10), p.3834-3843, 2012）で提案されるような局所画像特徴による識別問題のための特徴選択手法を用いることができる。衣服の領域を含む画像に対して、予め定義された柄クラスのラベル付けを行い、各柄クラスに固有の局所特徴セットを獲得する。そして、類似の柄を検索する際には、検出器によって絞り込まれた衣服の領域内の柄の候補領域から、いずれかの柄クラスの固有特徴セットを最も網羅的に含む領域を、クエリ領域として用いる。
また、選択された柄クラスに固有の画像特徴を、検索時の類似度評価においても用いることで、同一の柄クラスが類似の柄として提示されやすい、という良い結果を得ることができる。
【００３６】
次に、本実施の形態に係る画像特徴選択装置、画像登録装置、及び画像検索装置の構成について説明する。本実施の形態においては、特に、衣服の領域を含む画像の検索を行うための画像特徴選択装置、画像登録装置、及び画像検索装置を適用する場合について説明する。また、本実施の形態においては、局所的なテクスチャパターンを取り出す画像特徴としては、例えば、ＬＢＰ画像特徴を用いる。
【００３７】
画像特徴選択装置においては、衣服の柄のクラスを表す柄クラスのラベルが予め付与された複数の学習用画像を用いて、柄クラスに固有の特徴を選択する。
【００３８】
画像登録装置においては、参照用画像から衣服を含む部分を検出し、検出された衣服の領域から、画像特徴選択装置において選択された画像特徴を用いて、柄クラスに固有の特徴を網羅的に含む領域を、衣服の柄を表す柄領域として抽出する。そして、画像登録装置は、抽出された柄領域から得られる画像特徴と共に、参照用画像を衣服画像データベースへ登録する。
【００３９】
画像検索装置においては、クエリ画像から衣服を含む部分を検出し、検出された衣服の領域から、画像特徴選択装置において選択された画像特徴を用いて、柄クラスに固有の特徴を網羅的に含む領域を、衣服の柄を表す柄領域として抽出する。そして、画像検索装置は、抽出された柄領域から得られる画像特徴に基づいて、衣服画像データベースから、クエリ画像と類似する参照用画像の検索を行う。
【００４０】
＜本発明の実施の形態に係る画像特徴選択装置の構成＞
まず、本発明の実施の形態に係る画像特徴選択装置の構成について説明する。図１に示すように、本発明の実施の形態に係る画像特徴選択装置１００は、ＣＰＵと、ＲＡＭと、後述する画像特徴選択処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像特徴選択装置１００は、機能的には図１に示すように入力部１０と、提示部１２と、柄領域入力部１４と、演算部２０と、出力部９０とを備えている。
【００４１】
入力部１０は、衣服の領域を含む複数の学習用画像を受け付け、画像記憶部２２に記憶する。学習用画像には衣服の柄のクラスを表す柄クラスが予め付与されている。入力部１０は、学習用画像の各々に予め付与された柄クラスを、柄クラスデータとして受け付け、柄クラスデータ記憶部３４に記憶する。なお、柄クラスデータ記憶部３４に記憶されている柄クラスデータの各々は、対応する学習用画像の各々と対応づけられて記憶されている。
【００４２】
提示部１２は、後述する学習用柄領域抽出部２８によって出力された学習用画像をユーザに提示する。
【００４３】
柄領域入力部１４は、提示部１２によって提示された学習用画像に対し、ユーザによって入力された、当該学習用画像内の衣服の柄領域の情報を受け付ける。具体的には、後述する衣服検出部２４によって検出された衣服の領域の中から、主に柄を含む領域をユーザによる手作業によって確認し、ユーザによって指定された衣服の柄領域の情報を受け付ける。
【００４４】
演算部２０は、画像記憶部２２と、衣服検出部２４と、画像正規化部２６と、学習用柄領域抽出部２８と、画像特徴抽出部３０と、支配的特徴抽出部３２と、柄クラスデータ記憶部３４と、選択特徴統合部３６と、特徴選択パラメータ記憶部３８と、を備えている。
【００４５】
画像記憶部２２には、入力部１０によって受け付けた複数の学習用画像が記憶されている。
【００４６】
衣服検出部２４は、画像記憶部２２に記憶されている学習用画像の各々に対し、当該学習用画像から衣服の領域を検出する。
具体的には、衣服検出部２４は、学習用画像中の衣服が写っている領域の位置を検出する。衣服の領域を検出する方法として、例えばDeformable Part Model（非特許文献４：P. Felzenszwalb, D. McAllester, D. Ramanan “A discriminatively trained, multiscale, deformable part model”, In Proc. of CVPR, pp.1-8, 2008.）を用いることができる。上記非特許文献４に示すような汎用的な物体の検出器を用いる場合、物体の見えを学習するための学習用の画像が必要となるため、衣服検出のための衣服の領域を手作業によって指定した学習用の画像を別途用意し、検出器を予め学習させておく。
【００４７】
画像正規化部２６は、画像記憶部２２に記憶されている学習用画像の各々に対し、衣服検出部２４によって検出された衣服の領域を用いて、学習用画像の画像サイズを調整し、正規化を行う。具体的には、画像正規化部２６は、衣服領域の横幅を一定値にするよう学習用画像全体をスケーリングする。
【００４８】
学習用柄領域抽出部２８は、画像記憶部２２に記憶されている学習用画像の各々に対し、画像正規化部２６によって正規化された学習用画像から、衣服の柄領域を抽出する。ここで、柄領域の抽出は人手によって行う。学習用柄領域抽出部２８は、画像正規化部２６によって正規化された学習用画像を提示部１２へ出力し、柄領域入力部１４によって受け付けた柄領域の情報に基づいて、正規化された学習用画像から、衣服の柄領域を抽出する。
【００４９】
画像特徴抽出部３０は、画像記憶部２２に記憶されている学習用画像の各々に対し、学習用柄領域抽出部２８によって抽出された、学習用画像の衣服の柄領域に含まれる画素の各々について、局所的なテクスチャパターンを抽出する。
具体的には、画像特徴抽出部３０は、学習用柄領域抽出部２８によって抽出された柄領域から、局所的なテクスチャパターンとして、Local Binary Pattern（ＬＢＰ）特徴を抽出する。本実施の形態では、衣服の柄を精度良く認識するために局所的なテクスチャパターンを捉える特徴量としてＬＢＰ特徴を用いるが、必ずしもＬＢＰ特徴でなくても良い。ＬＢＰ特徴は、図２に示されるように、注目画素と周辺画素との輝度値の比較を２値コード化したものであり、局所的なテクスチャパターンである。具体的には、まず、画像特徴抽出部３０は、学習用画像における柄領域に含まれる各画素について、注目画素と周辺画素との関係から１つのＬＢＰ特徴を以下の式（１）に従って算出する。
【００５０】
【数１】
0006387290.tif 000002
【００５１】
ここで、上記式（１）におけるｇｃのｃは注目画素であり、ｇｃは注目画素の輝度値である。また、ｇｐのｐは参照画素であり、ｇｐは参照画素の輝度値である。Ｐは参照点数であり、Ｒは半径を示し、参照画素ｐは、半径Ｒの円周上をＰ点に分割した画素として取得する。なお、ｐ＝０となる画素の位置と、ｐの値が増加する方向、及び位置とは予め定められているものとする。また、注目画素ｃの周辺画素としてＰ個の参照画素が存在しない場合には、当該注目画素ｃについては、ＬＢＰ特徴を算出しない。
【００５２】
次に、画像特徴抽出部３０は、学習用画像における柄領域の各画素について取得されたＬＢＰ特徴に基づいて、ＬＢＰ特徴のヒストグラムを作成し、当該ＬＢＰ特徴のヒストグラムを画像のＬＢＰ特徴ヒストグラムとする。
【００５３】
支配的特徴抽出部３２は、画像記憶部２２に記憶されている学習用画像の各々に対し、画像特徴抽出部３０によって抽出されたＬＢＰ特徴のうち、頻出するＬＢＰ特徴の各々を支配的特徴セットとして抽出する。
具体的には、支配的特徴抽出部３２は、学習用画像の各々に対し、画像特徴抽出部３０によって生成された学習用画像についてのＬＢＰ特徴ヒストグラムにおいて、ＬＢＰ特徴の検出量が大きい順に支配的特徴セットに加えていき、加算した値の総和が全体の一定割合に到達したところで加算を終了し、取得されたＬＢＰ特徴の組み合わせを学習用画像ｉの支配的特徴セットＤｉとする。
【００５４】
ここで、ＬＢＰ特徴には様々な形態があり、そのパラメータによっていくつかの種類のＬＢＰ特徴を設計することができるが、この支配的特徴抽出は設計されたＬＢＰ特徴毎に独立して実行する。ここで画像ｉから得られた支配的特徴セットをＤｉとする。ＤｉはＬＢＰ特徴の集合である。
【００５５】
柄クラスデータ記憶部３４には、入力部１０において受け付けた学習用画像の各々に対応した柄クラスデータが、学習用画像に対応づけられて記憶されている。本実施の形態においては、当該学習用画像に含まれる衣服の領域の柄のクラスを表す柄クラスを、当該学習用画像に対応する柄クラスデータとする。
【００５６】
選択特徴統合部３６は、図３に示されるように、支配的特徴抽出部３２により取得された各学習用画像ｉの支配的特徴セットＤｉから、画像検索に有用な特徴であるＬＢＰ特徴を特徴選択パラメータＧとして抽出する。
具体的には、選択特徴統合部３６は、学習用画像の各々についての支配的特徴セットＤｉから、類似する柄を含む画像の検索に有用な特徴をさらに抽出する。図３に示されるように、選択特徴統合部３６は、まず、柄クラスデータ記憶部３４に記憶された柄クラスデータを用いて、同一の柄クラスの学習用画像集合に対応する支配的特徴セット群から、共通部分を取り出し、以下の式（２）に示すように各柄クラスの共通特徴セットＬｃを算出し、特徴選択パラメータ記憶部３８に記憶する。
【００５７】
【数２】
0006387290.tif 000003
【００５８】
ここで、Ｉ（ｃ）は、柄クラスｃに含まれる学習用画像集合を示す。次に、選択特徴統合部３６は、以下の式（３）に従って、全ての柄クラスで得られた共通特徴セットの論理和を取り、同一の柄クラスの学習用画像集合の各々に対して取り出された共通特徴セットＬｃの和集合を、推定に用いる特徴選択パラメータＧとして取得し、出力部９０に出力すると共に、特徴選択パラメータ記憶部３８に記憶する。なお、特徴選択パラメータＧは、柄クラスと関連するＬＢＰ特徴の集合である。
【００５９】
【数３】
0006387290.tif 000004
【００６０】
出力部９０は、選択特徴統合部３６によって出力された特徴選択パラメータＧを結果として出力する。
【００６１】
＜本発明の実施の形態に係る画像登録装置の構成＞
次に、本発明の実施の形態に係る画像登録装置の構成について説明する。画像登録装置は、衣服の領域を含む参照用画像を衣服画像データベースに登録する。図４に示すように、実施の形態に係る画像登録装置２００は、ＣＰＵと、ＲＡＭと、後述する画像登録処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像登録装置２００は、機能的には図４に示すように入力部２１０と、演算部２２０と、出力部２９０とを備えている。
【００６２】
入力部２１０は、衣服の領域を含む参照用画像を受け付ける。
【００６３】
演算部２２０は、衣服検出部２２４と、画像正規化部２２６と、特徴選択パラメータ記憶部２２８と、柄領域抽出部２３０と、選択特徴抽出部２３２と、衣服画像データベース２３４とを備えている。
【００６４】
衣服検出部２２４は、入力部２１０によって受け付けた参照用画像について、本実施の形態に係る画像特徴選択装置１００の衣服検出部２４と同様に、当該参照用画像から衣服の領域を検出する。
【００６５】
画像正規化部２２６は、入力部２１０によって受け付けた参照用画像について、本実施の形態に係る画像特徴選択装置１００の画像正規化部２６と同様に、衣服検出部２４によって検出した衣服の領域を用いて、参照用画像の画像サイズを調整し、正規化を行う。画像正規化部２２６は、検索対象となる参照用画像の各々に対して、衣服の領域の検出と検出された衣服の領域に応じた画像サイズの正規化を行う。
【００６６】
特徴選択パラメータ記憶部２２８には、上記画像特徴選択装置１００の特徴選択パラメータ記憶部３８に記憶されている、各柄クラスの共通特徴セットＬｃ及び特徴選択パラメータＧと同一の、各柄クラスの共通特徴セットＬｃ及び特徴選択パラメータＧが記憶されている。
【００６７】
柄領域抽出部２３０は、入力部２１０によって受け付けた参照用画像について、画像正規化部２２６によって正規化された参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、候補領域に含まれる画素の各々について取得されるＬＢＰ特徴のうち、頻出するＬＢＰ特徴の各々を、候補領域に対応する支配的特徴セットとして抽出する。
【００６８】
柄領域抽出部２３０は、検出された衣服の領域から柄の検索に有用な領域の抽出を行う。具体的には、柄領域抽出部２３０は、まず、検出された衣服の領域に対して、図５に示されるように、柄領域を多く含むことが予想される候補領域を設定する。例えば、柄領域抽出部２３０は、図５に示されるように、衣服検出部２２４における検出器が衣服の領域の外接矩形を検出する検出器であった場合、衣服の領域の中心付近から候補領域を設定すると良い。当然、多様な検出結果に対応するために、検出された衣服の領域から候補領域を網羅的に取得しても良いし、候補領域は矩形である必要はなく任意形状を対象とすることができる。
【００６９】
次に、柄領域抽出部２３０は、得られた各候補領域について、特徴選択パラメータ記憶部２２８に記憶された各柄クラスｃの共通特徴セットＬｃに基づいて、各柄クラスに固有な特徴の網羅数を算出する。候補領域ｊから得られる支配的特徴セットＤｊに対して各柄クラスの共通特徴セットＬｃが何個含まれているかを算出し、最も網羅的に含まれている領域ｊ＾を柄領域として抽出する。
【００７０】
【数４】
0006387290.tif 000005
【００７１】
ここで、Ｎｕｍ（・）は集合の要素数を示す関数である。上記式（４）を満たす候補領域が複数存在する場合は、支配的特徴セットの出現数がより多い方を採用する。
【００７２】
選択特徴抽出部２３２は、柄領域抽出部２３０によって抽出された柄領域に含まれる画素の各々について取得されるＬＢＰ特徴であって、かつ、特徴選択パラメータ記憶部３２８に格納されたＬＢＰ特徴についてのＬＢＰ特徴ヒストグラムを、柄領域の画像特徴として抽出する。そして、選択特徴抽出部２３２は、参照用画像と画像特徴との組み合わせを衣服画像データベースに登録する。
【００７３】
選択特徴抽出部２３２は、柄領域抽出部２３０によって抽出された柄領域から、ＬＢＰ特徴を抽出する。この際、選択特徴抽出部２３２は、抽出するＬＢＰ特徴として、特徴選択パラメータ記憶部２２８に記憶されている特徴選択パラメータＧのみを用いる。具体的には、選択特徴抽出部２３２は、予め定められた柄クラスと関連するＬＢＰ特徴として、特徴選択パラメータ記憶部２２８に記憶されている特徴選択パラメータＧを参照し、特徴選択パラメータＧに含まれるＬＢＰ特徴のみを抽出する。
【００７４】
そして、選択特徴抽出部２３２は、柄領域から抽出されたＬＢＰ特徴の数に基づいてＬＢＰ特徴ヒストグラムを作成し、生成されたＬＢＰ特徴ヒストグラムを参照用画像の画像特徴として、参照用画像と画像特徴との組み合わせを衣服画像データベース２３４に登録する。
【００７５】
衣服画像データベース２３４には、選択特徴抽出部２３２によって登録された、参照用画像と画像特徴との組み合わせが格納される。
【００７６】
出力部２９０は、選択特徴抽出部２３２によって出力された、参照用画像と画像特徴との組み合わせを結果として出力する。
【００７７】
なお、画像登録装置は、複数の参照用画像の各々について上記の処理を行い、参照用画像と画像特徴との組み合わせが複数登録された衣服画像データベース２３４を生成する。
【００７８】
＜本発明の実施の形態に係る画像検索装置の構成＞
次に、本発明の実施の形態に係る画像検索装置の構成について説明する。画像検索装置は、衣服の領域を含む複数の参照用画像から、衣服の領域を含むクエリ画像と類似する参照用画像を検索する。図６に示すように、本実施の形態に係る画像検索装置３００は、ＣＰＵと、ＲＡＭと、後述する画像検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像検索装置３００は、機能的には図６に示すように入力部３１０と、演算部３２０と、出力部３９０とを備えている。
【００７９】
入力部３１０は、衣服の領域を含むクエリ画像を受け付ける。
【００８０】
演算部３２０は、衣服検出部３２４と、画像正規化部３２６と、特徴選択パラメータ記憶部３２８と、柄領域抽出部３３０と、選択特徴抽出部３３２と、衣服画像データベース３３４と、類似特徴検索部３３６と、を備えている。
【００８１】
衣服検出部３２４は、入力部３１０によって受け付けたクエリ画像について、本実施の形態に係る画像特徴選択装置１００の衣服検出部２４と同様に、当該クエリ画像から衣服の領域を検出する。
【００８２】
画像正規化部３２６は、衣服検出部３２４によって検出された衣服の領域を用いて、本実施の形態に係る画像特徴選択装置１００の画像正規化部２６と同様に、クエリ画像の画像サイズを調整し、正規化を行う。
【００８３】
特徴選択パラメータ記憶部３２８には、本実施の形態に係る画像特徴選択装置１００の特徴選択パラメータ記憶部３８に記憶されている、各柄クラスの共通特徴セットＬｃ及び特徴選択パラメータＧと同一の、各柄クラスの共通特徴セットＬｃ及び特徴選択パラメータＧが記憶されている。
【００８４】
柄領域抽出部３３０は、入力部３１０によって受け付けたクエリ画像について、本実施の形態に係る画像登録装置２００の柄領域抽出部２３０と同様に、当該クエリ画像に含まれる柄領域を抽出する。
【００８５】
具体的には、柄領域抽出部３３０は、クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、候補領域に含まれる画素の各々について取得されるＬＢＰ特徴のうち、頻出するＬＢＰ特徴の各々を候補領域に対応する支配的特徴セットとして抽出する。
そして、柄領域抽出部３３０は、特徴選択パラメータ記憶部３２８に記憶されている各柄クラスの共通特徴セットＬｃに基づいて、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通するＬＢＰ特徴の数が最大となる候補領域を、衣服の柄領域として抽出する。
【００８６】
選択特徴抽出部３３２は、柄領域抽出部３３０によって抽出されたクエリ画像の柄の領について、本実施の形態に係る画像登録装置２００の選択特徴抽出部２３２と同様に、柄領域抽出部３３０によって抽出された柄領域に含まれる画素の各々について取得されるＬＢＰ特徴であって、かつ、特徴選択パラメータ記憶部３２８に格納されたＬＢＰ特徴についてのＬＢＰ特徴ヒストグラムを、柄領域の画像特徴として抽出する。
【００８７】
選択特徴抽出部３３２は、柄領域抽出部３３０によって抽出された柄領域から、ＬＢＰ特徴を抽出する。この際、選択特徴抽出部３３２は、抽出するＬＢＰ特徴として、特徴選択パラメータ記憶部３２８に記憶されている特徴選択パラメータＧのみを用いる。具体的には、選択特徴抽出部３３２は、予め定められた柄クラスと関連するＬＢＰ特徴として、特徴選択パラメータ記憶部３２８に記憶されている特徴選択パラメータＧを参照し、特徴選択パラメータＧに含まれるＬＢＰ特徴のみを抽出する。
【００８８】
そして、選択特徴抽出部３３２は、柄領域から抽出されたＬＢＰ特徴の数に基づいてＬＢＰ特徴ヒストグラムを作成し、生成されたＬＢＰ特徴ヒストグラムをクエリ画像の画像特徴として抽出する。
【００８９】
衣服画像データベース３３４には、本実施の形態に係る画像登録装置２００の衣服画像データベース３３４に複数記憶されている参照用画像と画像特徴との組み合わせと同一の参照用画像と画像特徴との組み合わせが、複数記憶されている。
【００９０】
類似特徴検索部３３６は、選択特徴抽出部３３２によって生成された画像特徴に基づいて、衣服画像データベース３３４から、クエリ画像と類似する参照用画像を検索する。
【００９１】
具体的には、類似特徴検索部３３６は、画像特徴として得られたＬＢＰ特徴ヒストグラムを用いて、近傍のＬＢＰ特徴ヒストグラムを衣服画像データベース３３４より検索する。類似特徴検索部３３６は、クエリ画像のＬＢＰ特徴ヒストグラムと、衣服画像データベース３３４に格納された参照用画像のＬＢＰ特徴ヒストグラムとの距離を計算し、最も距離が近いものから順に対応する参照用画像を類似画像検索結果として出力する。クエリ画像のＬＢＰ特徴ヒストグラムと参照用画像のＬＢＰ特徴ヒストグラムとのヒストグラム間の距離指標は、ユークリッド距離、マンハッタン距離など様々な距離指標を用いることができる。また、近傍ヒストグラムの探索には、全てのＬＢＰ特徴ヒストグラムと距離を計算しても良いが、ハッシングなどの近似最近傍探索手法を用いても良い。
【００９２】
出力部３９０は、類似特徴検索部３３６によって出力された類似画像検索結果を結果として出力する。
【００９３】
＜本発明の実施の形態に係る画像特徴選択装置の作用＞
次に、本発明の実施の形態に係る画像特徴選択装置１００の作用について説明する。まず、入力部１０において、衣服の領域を含む複数の学習用画像を受け付け、画像記憶部２２に記憶する。また、入力部１０において、学習用画像の各々に対応した柄クラスデータを受け付け、柄クラスデータ記憶部３４に記憶する。そして、画像特徴選択装置１００は、画像記憶部２２から複数の学習用画像を読み込むと、図７に示す画像特徴選択処理ルーチンを実行する。
【００９４】
まず、ステップＳ１００では、柄クラスデータ記憶部３４に記憶されている、学習用画像の各々に対応する柄クラスデータの各々を読み込む。
【００９５】
次に、ステップＳ１０２では、読み込んだ複数の学習用画像から、処理対象となる学習用画像ｉを決定する。
【００９６】
次に、ステップＳ１０４では、衣服検出部２４によって、上記ステップＳ１０２で決定された学習用画像ｉから、衣服の領域を検出する。
【００９７】
次に、ステップＳ１０６では、画像正規化部２６によって、上記ステップＳ１０４で検出された衣服の領域に基づいて、学習用画像ｉの画像サイズを調整し、正規化する。
【００９８】
次に、ステップＳ１０８では、学習用柄領域抽出部２８によって、上記ステップＳ１０６で正規化された学習用画像ｉを提示部１２によりユーザに提示する。
【００９９】
次に、ステップＳ１１０では、柄領域入力部１４によりユーザによって指定された衣服の柄領域の情報を受け付け、学習用柄領域抽出部２８によって、学習用画像ｉから衣服の柄領域を抽出する。
【０１００】
次に、ステップＳ１１２では、上記ステップＳ１１０で抽出された柄領域に含まれる画素の内、処理対象となる画素を決定する。
【０１０１】
次に、ステップＳ１１４では、上記ステップＳ１１２で決定された処理対象となる画素について、上記（１）式に従って、ＬＢＰ特徴を算出し、メモリ（図示省略）に記憶する。
【０１０２】
次に、ステップＳ１１６では、上記ステップＳ１１０で抽出された柄領域に含まれる画素の全てについて上記ステップＳ１１４の処理を終了したか否かを判定する。柄領域に含まれる画素の全てについて上記ステップＳ１１４の処理を終了している場合には、ステップＳ１１８へ移行する。一方、柄領域に含まれる画素の全てについて上記ステップＳ１１４の処理を終了していない場合には、ステップＳ１１２へ移行し、処理対象となる別の画素を決定し、ステップＳ１１２〜ステップＳ１１４の処理を繰り返す。
【０１０３】
次に、ステップＳ１１８では、上記ステップＳ１１４で算出した画素の各々についてのＬＢＰ特徴に基づいて、学習用画像ｉのＬＢＰ特徴ヒストグラムを作成する。
【０１０４】
次に、ステップＳ１２０では、上記ステップＳ１１４で算出した、処理対象となる学習用画像ｉのＬＢＰ特徴の総和を算出する。
【０１０５】
次に、ステップＳ１２２では、上記ステップＳ１１８で作成したＬＢＰ特徴ヒストグラムに基づいて、前回までのステップＳ１２４の処理対象となっておらず、かつ、ＬＢＰ特徴の検出量が一番大きいＬＢＰ特徴を、処理対象となるＬＢＰ特徴として決定する。
【０１０６】
次に、ステップＳ１２４では、上記ステップＳ１２２で決定したＬＢＰ特徴の検出量の値を、初期値０又は前回の本ステップＳ１２４で加算された値に加算する。
【０１０７】
次に、ステップＳ１２６では、上記ステップＳ１２４で算出された加算値が、上記ステップＳ１２０で算出されたＬＢＰ特徴の検出量の総和の一定割合を超えたか否かを判定する。上記ステップＳ１２４で算出された加算値が、上記ステップＳ１２０で算出されたＬＢＰ特徴の検出量の総和の一定割合を超えた場合には、ステップＳ１２８へ移行する。一方、ステップＳ１２４で算出された加算値が、上記ステップＳ１２０で算出されたＬＢＰ特徴の検出量の総和の一定割合以下である場合には、ステップＳ１２２へ移行し、処理対象となる別のＬＢＰ特徴を決定し、ステップＳ１２４〜ステップＳ１２６の処理を繰り返す。
【０１０８】
次に、ステップＳ１２８では、上記ステップＳ１２２で決定されたＬＢＰ特徴の各々をまとめて、当該学習用画像ｉの支配的特徴セットＤｉと決定し、メモリ（図示省略）に記憶する。
【０１０９】
次に、ステップＳ１３０では、処理対象となる全ての学習用画像ｉについてステップＳ１０２〜ステップＳ１２８までの処理を終了したか否かを判定する。処理対象となる全ての学習用画像ｉについてステップＳ１０２〜ステップＳ１２８までの処理を終了している場合には、ステップＳ１３２へ移行する。一方、処理対象となる全ての学習用画像ｉについてステップＳ１０２〜ステップＳ１２８までの処理を終了していない場合には、ステップＳ１０２へ移行し、処理対象となる別の学習用画像ｉを決定し、ステップＳ１０４〜ステップＳ１３０までの処理を繰り返す。
【０１１０】
次に、ステップＳ１３２では、選択特徴統合部３６によって、上記ステップＳ１００で読み込まれた学習用画像ｉの各々についての柄クラスデータに基づいて、１つの柄クラスｃを設定する。
【０１１１】
次に、ステップＳ１３４では、選択特徴統合部３６によって、上記ステップＳ１３２で設定された柄クラスｃに属する学習用画像集合に含まれる学習用画像の各々に対し、上記ステップＳ１２８で決定された学習用画像の支配的特徴セットを取得する。
【０１１２】
次に、ステップＳ１３６では、選択特徴統合部３６によって、上記ステップＳ１３４で取得された柄クラスｃに属する学習用画像集合の支配的特徴セットの各々に基づいて、上記式（２）に従って、柄クラスが同一の学習用画像集合の各々に対し、学習用画像集合から抽出された支配的特徴セットで共通するＬＢＰ特徴として、共通特徴セットＬｃを算出する。また、選択特徴統合部３６によって、算出された柄クラスｃの共通特徴セットＬｃを特徴選択パラメータ記憶部３８に記憶する。
【０１１３】
次に、ステップＳ１３８では、全ての柄クラスについて上記ステップＳ１３２〜ステップＳ１３６の処理を終了したか否かを判定する。全ての柄クラスについてステップＳ１３２〜ステップＳ１３６の処理を終了している場合には、ステップＳ１４０へ移行する。一方、全ての柄クラスについてステップＳ１３２〜ステップＳ１３６の処理を終了していない場合には、ステップＳ１３２へ移行し、別の柄クラスｃを設定し、ステップＳ１３４〜ステップＳ１３８の処理を繰り返す。
【０１１４】
次に、ステップＳ１４０では、上記ステップＳ１３６で算出された各柄クラスの共通特徴セットＬｃに基づいて、上記式（３）に従って、特徴選択パラメータＧを算出する。
【０１１５】
次に、ステップＳ１４２では、上記ステップＳ１４０で算出された特徴選択パラメータＧを特徴選択パラメータ記憶部３８に記憶する。
【０１１６】
次に、ステップＳ１４４では、ステップＳ１４０で算出された特徴選択パラメータＧを出力部９０に出力して特徴選択処理ルーチンを終了する。
【０１１７】
＜本発明の実施の形態に係る画像登録装置の作用＞
次に、本発明の実施の形態に係る画像登録装置２００の作用について説明する。事前に、入力部２１０において、画像特徴選択装置１００において取得した、各柄クラスｃの共通特徴セットＬｃ及び特徴選択パラメータＧを受け付け、特徴選択パラメータ記憶部２２８に記憶しておく。そして、入力部２１０において、参照用画像を受け付けると、画像登録装置２００は、図８に示す画像登録処理ルーチンを実行する。
【０１１８】
まず、ステップＳ２００では、特徴選択パラメータ記憶部２２８に記憶されている各柄クラスｃの共通特徴セットＬｃ及び特徴選択パラメータＧを読み込む。
【０１１９】
次に、ステップＳ２０２では、衣服検出部２２４によって、受け付けた参照用画像から衣服の領域を検出する。
【０１２０】
次に、ステップＳ２０４では、画像正規化部２２６によって、受け付けた参照用画像について、上記ステップＳ２０２で検出した衣服の領域を用いて、参照用画像の画像サイズを調整し、正規化を行う。
【０１２１】
次に、ステップＳ２０６では、柄領域抽出部２３０によって、上記ステップＳ２０４で正規化された参照用画像に含まれる、衣服の柄領域の候補を表す候補領域を設定する。
【０１２２】
次に、ステップＳ２０８では、柄領域抽出部２３０によって、上記ステップＳ２０６で設定された候補領域の各々に対し、候補領域に含まれる画素の各々について取得されるＬＢＰ特徴のうち、頻出するＬＢＰ特徴の各々を、候補領域に対応する支配的特徴セットとして抽出する。
【０１２３】
次に、ステップＳ２１０では、柄領域抽出部２３０によって、特徴選択パラメータ記憶部２２８に記憶された各柄クラスｃの共通特徴セットＬｃに基づいて、何れかの柄クラスの共通特徴セットと、上記ステップＳ２０８で抽出された支配的特徴セットとで共通するＬＢＰ特徴の数が最大となる候補領域を、衣服の柄領域として抽出する。
【０１２４】
次に、ステップＳ２１２では、上記ステップＳ２１０で抽出された柄領域内の画素のうち、１つの画素を設定する。
【０１２５】
次に、ステップＳ２１４では、選択特徴抽出部２３２によって、上記ステップＳ２１２で設定された画素について、局所的なテクスチャパターンとしてＬＢＰ特徴を算出する。
【０１２６】
次に、ステップＳ２１６では、選択特徴抽出部２３２によって、上記ステップＳ２１４で算出されたＬＢＰ特徴が、上記ステップＳ２００で読み込まれた特徴選択パラメータＧに含まれているか否かを判定する。上記ステップＳ２１４で算出されたＬＢＰ特徴が、上記ステップＳ２００で読み込まれた特徴選択パラメータＧに含まれている場合には、ステップＳ２１８へ移行する。一方、上記ステップＳ２１４で算出されたＬＢＰ特徴が、上記ステップＳ２００で読み込まれた特徴選択パラメータＧに含まれていない場合には、ステップＳ２１２へ移行し、柄領域に含まれる別の画素を設定し、ステップＳ２１４〜ステップＳ２１６の処理を繰り返す。
【０１２７】
次に、ステップＳ２１８では、選択特徴抽出部２３２によって、上記ステップＳ２１４で算出されたＬＢＰ特徴をメモリ（図示省略）に記憶する。
【０１２８】
次に、ステップＳ２２０では、選択特徴抽出部２３２によって、上記ステップＳ２１０で抽出された柄領域に含まれる全ての画素について、上記ステップＳ２１２〜ステップＳ２１８の処理を終了したか否かを判定する。全ての画素についてステップＳ２１２〜ステップＳ２１８の処理を終了している場合には、ステップＳ２２２へ移行する。一方、全ての画素についてステップＳ２１２〜ステップＳ２１８の処理を終了していない場合には、ステップＳ２１２へ移行し、別の画素を設定し、ステップＳ２１４〜ステップＳ２２０の処理を繰り返す。
【０１２９】
次に、ステップＳ２２２では、選択特徴抽出部２３２によって、上記ステップＳ２１８でメモリ（図示省略）に記憶されたＬＢＰ特徴の各々に基づいて、ＬＢＰ特徴ヒストグラムを画像特徴として作成する。
【０１３０】
次に、ステップＳ２２４では、選択特徴抽出部２３２によって、上記ステップＳ２２２で作成された画像特徴と、参照画像とを衣服画像データベース２３４に登録する。
【０１３１】
次に、ステップＳ２２６では、上記ステップＳ２２２で作成された画像特徴と、参照画像とを出力部２９０に出力して画像登録処理ルーチンを終了する。
【０１３２】
なお、画像登録装置は、参照用画像を受け付ける毎に画像登録処理ルーチンを実行し、参照用画像と画像特徴との組み合わせが複数登録された衣服画像データベース２３４を生成する。
【０１３３】
＜本発明の実施の形態に係る画像検索装置の作用＞
次に、本発明の実施の形態に係る画像検索装置３００の作用について説明する。まず、事前に入力部３１０において、画像特徴選択装置１００において取得した各柄クラスｃの共通特徴セットＬｃ及び特徴選択パラメータＧを受け付け、特徴選択パラメータ記憶部３２８に記憶し、また、入力部３１０において、画像登録装置２００の衣服画像データベース２３４に格納されている参照画像と画像特徴との複数の組み合わせを受け付け、衣服画像データベース３３４に記憶する。そして、入力部３１０において、クエリ画像を受け付けると、画像検索装置３００は、図９に示す画像検索処理ルーチンを実行する。
【０１３４】
まず、ステップＳ３００では、特徴選択パラメータ記憶部３２８に記憶されている各柄クラスｃの共通特徴セットＬｃ及び特徴選択パラメータＧを読み込む。
【０１３５】
次に、ステップＳ３０２では、衣服検出部３２４によって、受け付けたクエリ画像から衣服の領域を検出する。
【０１３６】
次に、ステップＳ３０４では、画像正規化部３２６によって、受け付けたクエリ画像について、上記ステップＳ３０２で検出した衣服の領域を用いて、クエリ画像の画像サイズを調整し、正規化を行う。
【０１３７】
次に、ステップＳ３０６では、柄領域抽出部３３０によって、上記ステップＳ３０４で正規化されたクエリ画像に含まれる、衣服の柄領域の候補を表す候補領域を設定する。
【０１３８】
次に、ステップＳ３０８では、柄領域抽出部３３０によって、上記ステップＳ３０６で設定された候補領域の各々に対し、候補領域に含まれる画素の各々について取得されるＬＢＰ特徴のうち、頻出するＬＢＰ特徴の各々を、候補領域に対応する支配的特徴セットとして抽出する。
【０１３９】
次に、ステップＳ３１０では、柄領域抽出部２３０によって、特徴選択パラメータ記憶部２２８に記憶された各柄クラスｃの共通特徴セットＬｃに基づいて、何れかの柄クラスの共通特徴セットと、上記ステップＳ２０８で抽出された支配的特徴セットとで共通するＬＢＰ特徴の数が最大となる候補領域を、衣服の柄領域として抽出する。
【０１４０】
次に、ステップＳ３１２では、上記ステップＳ３１０で抽出された柄領域内の画素のうち、１つの画素を設定する。
【０１４１】
次に、ステップＳ３１４では、選択特徴抽出部３３２によって、上記ステップＳ３１２で設定された画素について、局所的なテクスチャパターンとしてＬＢＰ特徴を算出する。
【０１４２】
次に、ステップＳ３１６では、選択特徴抽出部３３２によって、上記ステップＳ３１４で算出されたＬＢＰ特徴が、上記ステップＳ３００で読み込まれた特徴選択パラメータＧに含まれているか否かを判定する。上記ステップＳ３１４で算出されたＬＢＰ特徴が、上記ステップＳ３００で読み込まれた特徴選択パラメータＧに含まれている場合には、ステップＳ３１８へ移行する。一方、上記ステップＳ３１４で算出されたＬＢＰ特徴が、上記ステップＳ３００で読み込まれた特徴選択パラメータＧに含まれていない場合には、ステップＳ３１２へ移行し、柄領域に含まれる別の画素を設定し、ステップＳ３１４〜ステップＳ３１６の処理を繰り返す。
【０１４３】
次に、ステップＳ３１８では、選択特徴抽出部３３２によって、上記ステップＳ３１４で算出されたＬＢＰ特徴をメモリ（図示省略）に記憶する。
【０１４４】
次に、ステップＳ３２０では、選択特徴抽出部３３２によって、上記ステップＳ３１０で抽出された柄領域に含まれる全ての画素について、上記ステップＳ３１２〜ステップＳ３１８の処理を終了したか否かを判定する。全ての画素についてステップＳ３１２〜ステップＳ３１８の処理を終了している場合には、ステップＳ３２２へ移行する。一方、全ての画素についてステップＳ３１２〜ステップＳ３１８の処理を終了していない場合には、ステップＳ３１２へ移行し、別の画素を設定し、ステップＳ３１４〜ステップＳ３２０の処理を繰り返す。
【０１４５】
次に、ステップＳ３２２では、選択特徴抽出部２３２によって、上記ステップＳ３１８でメモリ（図示省略）に記憶されたＬＢＰ特徴の各々に基づいて、ＬＢＰ特徴ヒストグラムを画像特徴として作成する。
【０１４６】
次に、ステップＳ３２４では、類似特徴検索部３３６によって、上記ステップＳ３２２で生成された画像特徴に基づいて、衣服画像データベース３３４から、クエリ画像と類似する参照用画像を検索する。
【０１４７】
次に、ステップＳ３２６では、上記ステップＳ３２４で得られた類似画像検索結果を結果として出力して画像検索処理ルーチンを終了する。
【０１４８】
＜実験例＞
図１０に、本実施の形態に係る画像検索装置３００によって得られる類似柄検索結果の一例を示す。図１０内の左側にクエリ画像、右側に検索結果画像を示しており、上列左から順に検索１位〜５位、下列左から順に６位〜１０位を示している。クエリ画像に含まれる柄と類似する柄を含む画像が検索されていることがわかる。
【０１４９】
以上説明したように、本実施の形態に係る画像特徴選択装置によれば、複数の学習用画像の各々に対して抽出された局所的なテクスチャパターンのうち、頻出する局所的なパターンの各々を支配的特徴セットとして抽出し、衣服の柄クラスが同一の学習用画像集合の各々に対し、学習用画像集合から抽出された支配的特徴セットで共通する局所的なテクスチャパターンを取り出し、学習用画像集合の各々に対して取り出された局所的なテクスチャパターンの和集合を、柄クラスと関連する局所的なテクスチャパターンとして抽出することにより、衣服の柄を含む画像を精度よく検索するための画像特徴を抽出することができる。
【０１５０】
また、本実施の形態に係る画像登録装置によれば、参照用画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を衣服の柄領域として抽出し、衣服の柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、参照用画像と画像特徴との組み合わせを衣服画像データベースに登録することにより、衣服の柄を含む画像を精度よく検索するためのデータベースを生成することができる。
【０１５１】
また、本実施の形態に係る画像検索装置によれば、クエリ画像に含まれる衣服の柄領域の候補を表す候補領域の各々に対し、頻出する局所的なテクスチャパターンの各々を候補領域に対応する支配的特徴セットとして抽出し、衣服の柄クラスの共通特徴セットと抽出された支配的特徴セットとで共通する局所的なテクスチャパターンの数が最大となる候補領域を、衣服の柄領域として抽出し、抽出された柄領域に含まれる画素の各々について取得される局所的なテクスチャパターンであって、かつ、予め定められた、柄クラスと関連する局所的なテクスチャパターンを、柄領域の画像特徴として抽出し、抽出された画像特徴に基づいて、衣服画像データベースから、クエリ画像と類似する参照用画像を検索することにより、衣服の柄を含む画像を精度よく検索することができる。
【０１５２】
また、服の種類や人の姿勢によらず柄が付与された領域を抽出し、柄が類似する衣服を提示することができる。
【０１５３】
また、デジタルカメラによって撮影された衣服の領域を含む画像に対して、その柄領域を抽出し、類似した柄を持つ衣服画像を閲覧することができる。
【０１５４】
また、オンラインショッピングのカタログの画像を用いて、閲覧している衣服の領域を含む画像と柄の類似した商品一覧などを取得することもできる。
【０１５５】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１５６】
例えば、本実施の形態においては、局所的なテクスチャパターンとしてＬＢＰ特徴を用いる場合を例に説明したが、これに限定されるものではなく、他の特徴を局所的なテクスチャパターンとして用いてもよい。
【０１５７】
また、本実施の形態においては、画像から抽出される柄領域の画像特徴としてＬＢＰ特徴ヒストグラムを用いる場合を例に説明したが、これに限定されるものではなく、他の特徴を柄領域の画像特徴として用いてもよい。
【０１５８】
また、本実施の形態においては、画像特徴選択装置１００、画像登録装置２００、及び画像検索装置３００を別々の装置として構成する場合について説明したが、これに限定されるものではない。例えば、画像特徴選択装置１００と画像登録装置２００とを併せて画像登録装置として構成してもよく、画像特徴選択装置１００、画像登録装置２００、及び画像検索装置３００を１つの画像検索装置として構成してもよい。
【０１５９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【０１６０】
１０   入力部
１２   提示部
１４   柄領域入力部
２０   演算部
２２   画像記憶部
２４   衣服検出部
２６   画像正規化部
２８   学習用柄領域抽出部
３０   画像特徴抽出部
３２   支配的特徴抽出部
３４   柄クラスデータ記憶部
３６   選択特徴統合部
３８   特徴選択パラメータ記憶部
９０   出力部
１００ 画像特徴選択装置
２００ 画像登録装置
２１０ 入力部
２２０ 演算部
２２４ 衣服検出部
２２６ 画像正規化部
２２８ 特徴選択パラメータ記憶部
２３０ 柄領域抽出部
２３２ 選択特徴抽出部
２３４ 衣服画像データベース
２９０ 出力部
３００ 画像検索装置
３１０ 入力部
３２０ 演算部
３２４ 衣服検出部
３２６ 画像正規化部
３２８ 特徴選択パラメータ記憶部
３３０ 柄領域抽出部
３３２ 選択特徴抽出部
３３４ 衣服画像データベース
３３６ 類似特徴検索部
３９０ 出力部
【図１】
0006387290.tif 000006
【図２】
0006387290.tif 000007
【図３】
0006387290.tif 000008
【図４】
0006387290.tif 000009
【図５】
0006387290.tif 000010
【図６】
0006387290.tif 000011
【図７】
0006387290.tif 000012
【図８】
0006387290.tif 000013
【図９】
0006387290.tif 000014
【図１０】
0006387290.tif 000015