(57)【要約】【課題】検索対象に関連するアイテムを精度よく検索する。【解決手段】検索装置１０は、第１受付部２２Ａと、取得部２６と、算出部３０と、決定部３２と、第１表示制御部３４と、を備える。第１受付部２２Ａは、検索対象の領域を示す予め定められた複数のマスク画像の内、少なくとも１つの選択を受け付ける。取得部２６は、第１画像を取得する。算出部３０は、第１画像における、選択されたマスク画像によって指定される抽出領域の第１特徴量を算出する。決定部３２は、複数のアイテムの各々の第２画像と第２特徴量とを対応づけた第２情報を検索し、第１特徴量との類似度が閾値以上の第２特徴量に対応する第２画像を決定する。第１表示制御部３４は、決定された第２画像を表示部１８へ表示する制御を行う。【選択図】図１
2015179431.tif 000002
【特許請求の範囲】
【請求項１】
検索対象の領域を示す予め定められた複数のマスク画像の内、少なくとも１つの選択を受け付ける第１受付部と、
第１画像を取得する取得部と、
前記第１画像における、選択された前記マスク画像によって指定される抽出領域の第１特徴量を算出する算出部と、
複数のアイテムの各々の第２画像と第２特徴量とを対応づけた第２情報を検索し、前記第１特徴量との類似度が閾値以上の前記第２特徴量に対応する前記第２画像を決定する決定部と、
決定された前記第２画像を表示部へ表示する制御を行う第１表示制御部と、
を備えた検索装置。
【請求項２】
選択された前記マスク画像の変形指示を受け付ける第２受付部と、
前記変形指示を受け付けたときに、選択された前記マスク画像を変形する変形部と、
を備え、
前記算出部は、前記第１画像における、変形後の該マスク画像によって指定される前記抽出領域の前記第１特徴量を算出する、
請求項１に記載の検索装置。
【請求項３】
前記変形指示は、選択された前記マスク画像の変形量、該マスク画像の拡大量または縮小量、及び、該マスク画像の回転方向の少なくとも一つを示す変形情報を含み、
前記変形部は、前記変形情報に応じて、選択された前記マスク画像を変形する、
請求項２に記載の検索装置。
【請求項４】
複数の前記マスク画像は、形状及び大きさの少なくとも一方が異なる、請求項１に記載の検索装置。
【請求項５】
前記マスク画像は、複数の前記アイテムの各々を予め定めた分類条件に従って分類した、複数のカテゴリの各々に対応する画像である、請求項１に記載の検索装置。
【請求項６】
前記マスク画像は、複数の前記カテゴリの各々に属する前記アイテムの、共通する輪郭の少なくとも一部に沿った線状の画像である、請求項５に記載の検索装置。
【請求項７】
複数の前記マスク画像の内の少なくとも１つをユーザに選択させるための選択画面を、前記表示部へ表示する制御を行う第２表示制御部を備え、
前記第１受付部は、前記選択画面が前記表示部に表示された後に、前記マスク画像の選択を受け付ける、請求項１に記載の検索装置。
【請求項８】
前記選択画面は、複数の前記マスク画像、及び複数の前記マスク画像の特定情報、の少なくとも一方を含む、請求項７に記載の検索装置。
【請求項９】
検索対象の領域を示す予め定められた複数のマスク画像の内、少なくとも１つの選択を受け付けるステップと、
第１画像を取得するステップと、
前記第１画像における、選択された前記マスク画像によって指定される抽出領域の第１特徴量を算出するステップと、
複数のアイテムの各々の第２画像と第２特徴量とを対応づけた第２情報を検索し、前記第１特徴量との類似度が閾値以上の前記第２特徴量に対応する前記第２画像を決定するステップと、
決定された前記第２画像を表示部へ表示する制御を行うステップと、
を備えた検索方法。
【請求項１０】
検索対象の領域を示す予め定められた複数のマスク画像の内、少なくとも１つの選択を受け付けるステップと、
第１画像を取得するステップと、
前記第１画像における、選択された前記マスク画像によって指定される抽出領域の第１特徴量を算出するステップと、
複数のアイテムの各々の第２画像と第２特徴量とを対応づけた第２情報を検索し、前記第１特徴量との類似度が閾値以上の前記第２特徴量に対応する前記第２画像を決定するステップと、
決定された前記第２画像を表示部へ表示する制御を行うステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索装置、検索方法、及びプログラムに関する。
【背景技術】
【０００２】
検索キーとして画像を用い、衣服や部品等の様々なアイテムの中から、ユーザ所望のアイテムを検索する技術が開示されている。例えば、画像全体を検索キーとして用い、画像全体と類似する類似画像を、検索先から検索する技術が開示されている。また、複数の商品を含む画像から、検索対象の商品以外の領域を削除することで、検索対象の領域を抽出する。そして、抽出した領域を検索キーとして、関連する商品を検索する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−５２１７５号公報
【特許文献２】特開２００９−２５１８５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来では、画像中における検索対象の少なくとも一部が、他の物品等の背面側に位置する場合、ユーザの注目する検索対象に関連するアイテムを精度よく検索することは困難であった。
【０００５】
本発明が解決しようとする課題は、検索対象に関連するアイテムを精度よく検索することができる、検索装置、検索方法、及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施の形態の検索装置は、第１受付部と、取得部と、算出部と、決定部と、第１表示制御部と、を備える。第１受付部は、検索対象の領域を示す予め定められた複数のマスク画像の内、少なくとも１つの選択を受け付ける。取得部は、第１画像を取得する。算出部は、第１画像における、選択されたマスク画像によって指定される抽出領域の第１特徴量を算出する。決定部は、複数のアイテムの各々の第２画像と第２特徴量とを対応づけた第２情報を検索し、第１特徴量との類似度が閾値以上の第２特徴量に対応する第２画像を決定する。第１表示制御部は、決定された第２画像を表示部へ表示する制御を行う。
【図面の簡単な説明】
【０００７】
【図１】検索装置のブロック図。
【図２】第２情報のデータ構造の図。
【図３】第１情報のデータ構造の図。
【図４】第１情報のデータ構造の図。
【図５】第１情報のデータ構造の図。
【図６】第１情報のデータ構造の図。
【図７】マスク画像を示す図。
【図８】マスク画像を示す図。
【図９】第１情報のデータ構造の図。
【図１０】第１情報のデータ構造の図。
【図１１】表示部に表示される画像の模式図。
【図１２】マスク画像の変形の説明図。
【図１３】マスク画像の変形の説明図。
【図１４】検索処理の手順を示すフローチャート。
【図１５】従来の検索装置の説明図。
【図１６】検索対象の領域の指定の説明図。
【図１７】検索システムを示す模式図。
【図１８】検索装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、検索装置、検索方法、及びプログラムの一の実施形態を詳細に説明する。
【０００９】
（実施の形態１）
図１は、本実施の形態の検索装置１０の機能的構成を示すブロック図である。検索装置１０は、制御部１２と、撮影部１３と、記憶部１４と、入力部１６と、表示部１８と、を備える。制御部１２と、撮影部１３、記憶部１４、入力部１６、及び表示部１８と、は、信号授受可能に接続されている。
【００１０】
本実施の形態では、検索装置１０は、制御部１２、撮影部１３、記憶部１４、入力部１６、及び表示部１８を一体的に備える携帯型端末である場合を説明する。携帯型端末は、例えば、スマートフォンやタブレット型のＰＣ（パーソナルコンピュータ）等である。検索装置１０は、携帯型端末に限られない。例えば、検索装置１０は、撮影部１３、記憶部１４、入力部１６、及び表示部１８の少なくとも１つと、制御部１２と、を別体として構成してもよい。この場合、例えば、検索装置１０としては、撮影部１３を備えたＰＣが挙げられる。
【００１１】
以下、検索装置１０について詳細に説明する。
【００１２】
撮影部１３は、撮影によって、第１画像を得る。
【００１３】
第１画像は、検索対象のアイテムを含む画像である。アイテムは、検索装置１０において検索する対象を示す。アイテムは、販売対象の商品であってもよいし、販売対象外の非商品であってもよい。アイテムは、撮影可能なものであればよい。アイテムは、例えば、服飾に関するアイテム、家具に関するアイテム、旅行に関するアイテム、家電に関するアイテム、部品に関するアイテム等であるが、これらに限定されない。
【００１４】
服飾に関するアイテムとは、服飾品や、美容に関する物などの、服飾に用いる物や髪型等であって、且つ視認可能なものを示す。服飾品とは、衣服や装飾品を示す。衣服とは、被写体が着用可能な物である。衣服としては、例えば、上着、スカート、ズボン、靴、帽子等が挙げられる。装飾品は、例えば、指輪、ネックレス、ペンダント、イヤリングなど、身を飾るための工芸品である。美容に関する物とは、髪型、皮膚等に塗布する物である化粧品、等を示す。
【００１５】
旅行に関するアイテムとは、旅行先を地理的に特定可能な画像や、旅行先を地形的に特定可能な画像や、旅行先に存在する建物や、旅行先に旅行するのに適した季節を示す画像などである。
【００１６】
第１画像は、例えば、アイテムを装着した被写体の撮影画像や、アイテムを含む屋外の風景の撮影画像や、アイテムを含む屋内の撮影画像や、アイテムの掲載された雑誌の撮影画像や、表示装置に表示された画像の撮影画像などである。
【００１７】
なお、被写体は、実際の人物に限られず、生物、生物以外の物品、生物や物品の形状を模した絵なども含む。生物は、例えば、人、犬、及び猫などである。物品は、人体や動物の形状を模したマネキン、人体または動物の形状を模した絵、等も含む。また、該表示装置には、公知のＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）等が挙げられる。
【００１８】
本実施の形態では、第１画像は、検索対象として、服飾に関するアイテムを含む場合を説明する。
【００１９】
撮影部１３は、公知のデジタルカメラ、デジタルビデオカメラ等である。撮影部１３は、撮影によって得た第１画像を、制御部１２へ出力する。
【００２０】
記憶部１４は、ハードディスクドライブ装置（ＨＤＤ）や内部メモリ等の記憶媒体である。記憶部１４は、第２情報と、第１情報と、を記憶する。
【００２１】
図２は、第２情報のデータ構造の一例を示す図である。第２情報は、複数のアイテムの各々の第２画像と、第２特徴量と、を対応づけた情報である。第２情報は、データベースであってもよいが、その形態は限定されない。
【００２２】
第２画像は、アイテムの画像である。第２画像は、１つのアイテムの画像である。例えば、第２画像は、様々な衣服や、様々な物品等のアイテムの画像である。
【００２３】
本実施の形態では、第２画像は、服飾に関するアイテムの画像である場合を説明する。このため、本実施の形態では、第２画像は、例えば、コート、スカート、上着、等の各アイテムの画像である。
【００２４】
第２特徴量は、第２画像の特徴を示す数値である。第２特徴量は、対応する第２画像を解析することにより得られる数値である。具体的には、制御部１２が、記憶部１４に記憶されている第２画像の各々について、第２特徴量を算出する。そして、制御部１２は、算出した第２特徴量を、対応する第２画像に対応づけて登録する。これにより、制御部１２は、第２情報を予め記憶部１４に記憶する。
【００２５】
制御部１２は、例えば、第２画像によって示されるアイテムの輪郭形状を数値化した値を、第２画像の第２特徴量として算出する。すなわち、制御部１２は、第２画像のＨｏＧ特徴量や、第２画像のＳＩＦＴ特徴量、またはこれらの組合せを、第２特徴量として算出する。なお、第２画像の色の特徴（Ｒ、Ｇ、Ｂの画素値）を、第２特徴量に加えてもよい。
【００２６】
図３は、第１情報のデータ構造の一例を示す図である。第１情報は、特定情報と、マスク画像と、を対応づけた情報である。第１情報は、データベースであってもよいが、その形態は限定されない。
【００２７】
第１情報には、複数のマスク画像が予め登録されている。複数のマスク画像は、互いに形状及び大きさの少なくとも一方が異なる。マスク画像は、検索対象の領域を特定することの可能な画像である。具体的には、マスク画像は、検索対象の領域の形状及び大きさを特定することの可能な画像である。例えば、マスク画像は、線状の画像である。
【００２８】
マスク画像は、複数のアイテムの各々を予め定めた分類条件に従って分類した、複数のカテゴリの各々に対応する画像である。分類条件は、任意の条件を予め設定すればよい。分類条件には、例えば、アイテムの色、アイテムの種類、アイテムの製造元、などがある。アイテムの種類には、アイテムの形状、アイテムを装着する部位、アイテムの素材、等がある。アイテムの種類としては、例えば、トップス、コート、シャツ、ボトム、スカート、小物、時計等がある。アイテムの形状としては、例えば、襟の形状、袖の長さ、袖の幅、裾の長さ、などがある。
【００２９】
本実施の形態では、マスク画像は、複数のカテゴリの各々に属するアイテムの、共通する輪郭の少なくとも一部に沿った線状の画像である。例えば、アイテムが洋服であり、カテゴリが半袖でＶネックのＴシャツであるとする。この場合、マスク画像は、カテゴリ（Ｔシャツ、半袖、Ｖネック）に属する１または複数のアイテムとしてのＴシャツの共通する輪郭形状に沿った線状の画像である。
【００３０】
なお、マスク画像の形状は、各カテゴリに属するアイテムの輪郭形状の特徴を反映させた形状であればよく、輪郭形状に沿った形状に限定されない。
【００３１】
特定情報は、カテゴリを特定する情報である。特定情報は、カテゴリの分類条件を示す１または複数の特定情報からなる。
【００３２】
すなわち、第１情報は、特定情報によって特定されるカテゴリごとに、マスク画像を予め対応付けた情報である。本実施の形態では、マスク画像は、対応する特定情報によって特定されるカテゴリに属するアイテムの、第２特徴量によって数値化された輪郭形状を示す線状の画像に相当する。
【００３３】
図４は、第１情報のデータ構造の一例を詳細に示す図である。なお、図４には、第１情報に含まれるマスク画像５０として、Ｔシャツの輪郭形状を示すマスク画像５０Ａを示した。
【００３４】
図４に示す例では、第１情報は、特定情報として、第１特定情報と、第２特定情報と、第３特定情報と、を含む。図４に示す例では、第１特定情報は、「Ｔシャツ」である（図示省略）。第２特定情報は、Ｔシャツの襟の形状を示す情報である。第３特定情報は、Ｔシャツの袖の長さを示す情報である。なお、特定情報は、この形態に限定されない。
【００３５】
図４に示す例では、第１情報には、第１特定情報、第２特定情報、及び第３特定情報によって特定されるカテゴリ毎に、マスク画像５０Ａ１〜マスク画像５０Ａ２３の各々が対応づけられている。
【００３６】
なお、本実施の形態では、マスク画像を総称する場合には、マスク画像５０として説明する。また、マスク画像のバリエーションの一例を示す場合には、符号５０の後に英数字を付与して説明する。
【００３７】
なお、第１情報は、特定情報によって特定されるカテゴリの一部についてのみ、マスク画像５０を対応づけた情報であってもよい。
【００３８】
図５は、第１情報のデータ構造の一例を詳細に示す図である。図５に示すように、第１情報を、第２特定情報を列方向とし、第３特定情報を行方向としたデータベース構造を、第１特定情報ごとに設けた構成とする。そして、第２特定情報の内の１つと、第３特定情報の各々と、によって特定されるカテゴリに対応するマスク画像５０（図５では、マスク画像５０Ａ１、マスク画像５０Ａ８、マスク画像５０Ａ１５、マスク画像５０Ａ２２）を予め定める。また、第２特定情報の各々と、第３特定情報の内の１つと、によって特定されるカテゴリに対応するマスク画像（図５では、マスク画像５０Ａ８~マスク画像５０Ａ１４）を予め定める。
【００３９】
このように、第１情報は、特定情報によって特定されるカテゴリの一部について、マスク画像５０を対応づけた情報であってもよい。
【００４０】
この場合、後述する制御部１２では、特定情報によって特定されるカテゴリに対応するマスク画像５０が第１情報に登録されていない場合（図５中、符号４０参照）、次のようにしてマスク画像５０を作成する。例えば、制御部１２では、図５に示すデータベースにおける、特定情報によって特定される、マスク画像５０の未登録のカテゴリについて、該カテゴリ（図５中、符号４０参照）に行方向に隣接した位置に登録されているマスク画像５０と、該領域に列方向に隣接した位置に登録されているマスク画像５０と、を用いて、該カテゴリに対応するマスク画像５０を作成する。そして、制御部１２は、作成したマスク画像５０を用いて、後述する処理を実行すればよい。
【００４１】
このように、第１情報のデータ構造を、カテゴリの一部についてのみマスク画像５０を対応づけた構成とすることで、第１情報のデータ量の増加を抑制することができる。
【００４２】
なお、特定情報によって特定されるカテゴリは、Ｔシャツに限定されない。図６は、第１情報のデータ構造の一例を示す図である。
【００４３】
図６に示す例では、第１特定情報は、「シャツ・ブラウス」である（図示省略）。第２特定情報は、シャツ・ブラウスの襟の形状を示す情報である。第３特定情報は、シャツ・ブラウスの袖の長さを示す情報である。図６に示す第１情報についても同様に、第１情報は、特定情報と、特定情報によって特定されるカテゴリに対応するマスク画像５０Ｂと、を予め対応づける。
【００４４】
また、特定情報によって特定されるカテゴリは、衣服の部類であるアウター、パンツ、スカート等であってもよい。
【００４５】
図７及び図８は、マスク画像５０の他の例を示す図である。
【００４６】
図７及び図８に示すように、第１情報における特定情報は、「アウター」を特定情報として含む形態であってもよい。この場合、第１情報には、特定情報によって特定されるカテゴリに対応するマスク画像５０として、オーバーオールやダウンジャケット等のアウターと称される部類に属する衣服（アイテム）の輪郭形状を示すマスク画像５０（図７中、マスク画像５０Ｃ１〜マスク画像５０Ｃ１０、図８中、マスク画像５０Ｄ１〜マスク画像５０Ｄ６）が予め対応づけられる。
【００４７】
図９及び図１０は、第１情報のデータ構造の一例を示す図である。
【００４８】
図９に示す例では、第１特定情報は、「パンツ」である（図示省略）。第２特定情報は、パンツの形状を示す情報である。第３特定情報は、パンツの丈の長さを示す情報である。図９に示す第１情報についても同様に、第１情報は、特定情報（第１特定情報、第２特定情報、第３特定情報）と、特定情報によって特定されるカテゴリに対応するマスク画像５０Ｅと、を予め対応付ける。
【００４９】
図１０に示す例では、第１特定情報は、「スカート」である（図示省略）。第２特定情報は、スカートの形状を示す情報である。第３特定情報は、スカートの丈の長さを示す情報である。図１０に示す第１情報についても同様に、第１情報は、特定情報（第１特定情報、第２特定情報、第３特定情報）と、特定情報によって特定されるカテゴリに対応するマスク画像５０Ｆと、を予め対応付ける。
【００５０】
図１に戻り、表示部１８は、記憶部１４に記憶されているマスク画像５０、制御部１２で取得した第１画像、制御部１２で検索された第２画像、などの各種画像を表示する（詳細後述）。表示部１８は、例えば、ＬＣＤ、ＣＲＴ、ＰＤＰ等の公知の表示装置である。
【００５１】
入力部１６は、ユーザが各種の操作入力を行うための手段である。入力部１６は、例えば、マウス、ボタン、リモコン、キーボード、及び、マイク等の音声認識装置等である。
【００５２】
なお、入力部１６及び表示部１８は、一体的に構成されていてもよい。具体的には、入力部１６及び表示部１８は、入力機能及び表示機能の双方を備えたＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部１７として構成されてもよい。ＵＩ部１７には、タッチパネル付ＬＣＤ等がある。
【００５３】
制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。制御部１２は、検索装置１０の全体を制御する。なお、制御部１２は、ＣＰＵ以外の回路などであってもよい。
【００５４】
制御部１２は、第２表示制御部２０と、受付部２２と、変形部２４と、取得部２６と、抽出部２８と、算出部３０と、決定部３２と、第１表示制御部３４と、更新部３６と、を備える。第２表示制御部２０、受付部２２、変形部２４、取得部２６、抽出部２８、算出部３０、決定部３２、第１表示制御部３４、及び更新部３６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【００５５】
取得部２６は、第１画像を取得する。本実施の形態では、取得部２６は、撮影部１３から第１画像を取得する。なお、取得部２６は、図示を省略する通信部を介して外部装置から第１画像を取得してもよい。また、取得部２６は、記憶部１４に予め記憶した第１画像を読取ることで、第１画像を取得してもよい。
【００５６】
第２表示制御部２０は、選択画面を表示部１８に表示する制御を行う。選択画面は、第１情報に登録されている複数のマスク画像５０の内の少なくとも１つを、ユーザに選択させるための画面である。
【００５７】
図１１は、表示部１８に表示される画像の一例を示す模式図である。図１１（Ａ）は、選択画面５５の一例を示す図である。
【００５８】
例えば、第２表示制御部２０は、記憶部１４の第１情報に登録されている全てのマスク画像５０を読取り、マスク画像５０の一覧を含む選択画面５５を生成する。そして、第２表示制御部２０は、この選択画面５５を表示部１８に表示する制御を行う。
【００５９】
なお、第２表示制御部２０は、第１情報に登録されている特定情報の一覧を含む選択画面５５を生成し、表示部１８に表示する制御を行ってもよい。なお、第２表示制御部２０は、第１情報に登録されている特定情報を、予め、大分類から小分類へと段階的に分類したツリー構造を作成する。そして、第２表示制御部２０は、大分類に属する特定情報を含む選択画面を生成し、表示部１８に表示する制御を行ってもよい。そして、ユーザによる入力部１６の指示によって、大分類から小分類に向かって段階的にユーザの指示を受け付け、最終的に１つのマスク画像５０に対応する特定情報が選択されるように、選択画面５５を動的に作成してもよい。
【００６０】
また、例えば、第２表示制御部２０は、特定情報を予め複数のグループに分類した各グループを示す情報を含む選択画面５５を作成し、表示部１８に表示する制御を行う。そして、ユーザによる入力部１６の指示によって、選択画面５５に表示されたグループの何れかが選択されたとする。このときに、第２表示制御部２０は、選択されたグループに属する特定情報によって特定される、カテゴリに対応するマスク画像５０の一覧を含む選択画面５５を、表示部１８に表示する制御を行う（図１１（Ａ）参照）。
【００６１】
図１に戻り、第２表示制御部２０は、選択されたマスク画像５０、変形後のマスク画像５０（詳細後述）、または重畳画像（詳細後述）、を、表示部１８に表示する制御を行う。
【００６２】
受付部２２は、入力部１６から各種指示を受け付ける。ユーザによって入力部１６が操作されると、入力部１６は、ユーザの操作に応じた指示を制御部１２へ出力する。受付部２２は、この指示を入力部１６から受け付ける。
【００６３】
受付部２２は、第１受付部２２Ａと、第２受付部２２Ｂと、第３受付部２２Ｃと、を含む。
【００６４】
第１受付部２２Ａは、記憶部１４に記憶された複数のマスク画像５０の内、少なくとも１つの選択を入力部１６から受け付ける。本実施の形態では、第１受付部２２Ａは、１つのマスク画像５０の選択を受け付ける。
【００６５】
第２表示制御部２０が選択画面を表示部１８に表示する制御を行うと、ユーザは、選択画面を確認しながら入力部１６を操作することによって、１つのマスク画像５０を選択する。すると、入力部１６は、選択されたマスク画像を示す指示を、制御部１２へ出力する。第１受付部２２Ａは、入力部１６から、選択されたマスク画像５０を示す指示を受け付ける。これによって、第１受付部２２Ａは、マスク画像５０の選択を受け付ける。
【００６６】
図１１（Ｂ）は、選択されたマスク画像５０の一例を示す図である。第２表示制御部２０は、選択されたマスク画像５０（図１１（Ｂ）では、マスク画像５０Ｃ）を、表示部１８に表示する制御を行う。
【００６７】
重畳画像は、取得部２６で取得された第１画像上に、第１受付部２２Ａで受け付けた、選択されたマスク画像５０を重畳した画像である。
【００６８】
図１１（Ｃ）は、重畳画像６１の一例を示す図である。ユーザは、選択したマスク画像５０が表示部１８に表示された状態で、撮影部１３を用いて被写体６０Ａを撮影する。これにより、取得部２６は、第１画像６０を取得する。第２表示制御部２０は、取得部２６で取得した第１画像６０上に、選択されたマスク画像５０Ｃを重ねた重畳画像６１を、表示部１８に表示する制御を行う。
【００６９】
図１に戻り、第２受付部２２Ｂは、選択されたマスク画像５０の変形指示を受け付ける。変形指示は、変形情報を含む。変形情報は、選択されたマスク画像５０の変形量と、該マスク画像５０の拡大量または縮小量と、該マスク画像５０の回転方向及び回転量と、の少なくとも一つを示す。マスク画像５０の変形量は、例えば、マスク画像５０のアスペクト比によって表される。
【００７０】
マスク画像５０の回転方向は、例えば、次のように表す。例えば、マスク画像５０に対応するカテゴリに属するアイテムを、正常状態で載置したときの、該アイテムにおける重力方向と一致する方向をＸ軸方向とする、また、該アイテムにおける水平方向と一致する方向をＹ軸方向とする。そして、マスク画像５０の回転方向は、このＸ軸を中心とした回転方向及び回転量、Ｙ軸を中心とした回転方向及び回転量で表される。
【００７１】
変形部２４は、変形指示に含まれる変形情報に応じて、選択されたマスク画像５０を変形する。
【００７２】
図１２は、マスク画像５０の変形の説明図である。
【００７３】
マスク画像５０が選択されると、第２表示制御部２０が、重畳画像６１を表示部１８に表示する制御を行う。図１２（Ａ）は、重畳画像６１の説明図である。図１２（Ａ）に示すように、第１画像６０に含まれる検索対象の領域であるコート６０Ａの輪郭形状と、選択されたマスク画像５０Ｃの輪郭形状と、が不一致となる場合がる。この場合、ユーザは、表示部１８に表示された重畳画像６１を確認しながら入力部１６を操作することで、マスク画像５０Ｃの裾や袖の形状や、アスペクト比の変更を指示する。すると、入力部１６は、ユーザによる操作に応じた変更情報を、制御部１２へ出力する。第２受付部２２Ｂは、変更情報を受け付ける。変形部２４は、第２受付部２２Ｂで受け付けた変更情報に応じた形状となるように、マスク画像５０Ｃを変形する。
【００７４】
第２表示制御部２０は、第１画像６０上に、変形部２４によって変形された後のマスク画像５１Ｃを重畳した重畳画像６１を作成し、表示部１８に表示する制御を行う。
【００７５】
図１２（Ｂ）は、変形後のマスク画像５１Ｃの一例を示す図である。第１画像６０に含まれる検索対象の領域であるコート６０Ａの輪郭形状とは不一致であったマスク画像５０Ｃの形状が（図１２（Ａ）参照）、ユーザによる入力部１６の指示に応じて、コート６０Ａの輪郭形状に沿った形状のマスク画像５１Ｃに変形される（図１２（Ｂ）参照）。
【００７６】
図１３は、マスク画像５０の回転による変形の説明図である。
【００７７】
変形指示が、マスク画像５０の回転方向及び回転量を示す変更情報を含むとする。
【００７８】
図１３に示すように、第１画像６０に含まれる被写体としての人物が、選択されたマスク画像５０Ｃに応じた撮影方向とは異なる方向で撮影されたとする。この場合、ユーザは、表示部１８に表示された重畳画像６１を確認しながら入力部１６を操作することで、マスク画像５０Ｃを所定方向に回転させる。このとき、回転軸、回転方向、及び回転量を指定可能とする。これにより、入力部１６は、ユーザによる操作に応じた、回転軸、回転方向、及び回転量を示す変更情報を、制御部１２へ出力する。
【００７９】
第２受付部２２Ｂは、変更情報を受け付ける。変形部２４は、第２受付部２２Ｂで受け付けた変更情報に応じた形状となるように、マスク画像５０Ｃを回転する。これにより、変形部２４は、マスク画像５０Ｃを変形する。
【００８０】
第２表示制御部２０は、第１画像６０上に、変形部２４によって変形された後のマスク画像５１Ｃを重畳した重畳画像６１を作成し、表示部１８に表示する制御を行う。
【００８１】
図１３に示すように、第１画像６０に含まれる検索対象の領域６０Ａであるコートの撮影方向とは不一致であったマスク画像５０Ｃが、コートの輪郭にあった形状に回転した形状のマスク画像５１Ｃに変形される。
【００８２】
図１に戻り、第３受付部２２Ｃは、検索開始指示を受け付ける。検索開始指示は、アイテムの検索開始を指示する信号である。ユーザによる入力部１６の操作によって、検索開始が指示される。入力部１６は、検索開始指示を、制御部１２へ出力する。第３受付部２２Ｃは、入力部１６から検索開始指示を受け付ける。
【００８３】
抽出部２８は、取得部２６で取得した第１画像６０における、選択されたマスク画像５０によって指定される抽出領域を抽出する。
【００８４】
具体的には、第３受付部２２Ｃが検索開始指示を受け付けると、抽出部２８は、表示部１８に表示されている重畳画像６１における、第１画像６０とマスク画像５０とを読取る。このマスク画像５０は、ユーザにより選択されたものである。そして、抽出部２８は、第１画像６０における、マスク画像５０によって指定される抽出領域を抽出する。
【００８５】
上述したように、本実施の形態では、マスク画像５０は、輪郭を示す線状の画像である。このため、本実施の形態では、抽出部２８は、第１画像６０における、マスク画像５０によって囲まれた領域内を抽出領域として抽出する。
【００８６】
例えば、図１２（Ａ）に示す重畳画像６１が表示された状態であるときに、第３受付部２２Ｃが検索開始指示を受け付けたとする。この場合、抽出部２８は、重畳画像６１に含まれる第１画像６０における、マスク画像５０Ｃによって囲まれた領域内を、抽出領域７０として抽出する。
【００８７】
例えば、図１２（Ｂ）に示す重畳画像６１が表示された状態であるときに、第３受付部２２Ｃが検索開始指示を受け付けたとする。この場合、抽出部２８は、重畳画像６１に含まれる第１画像６０における、変形後のマスク画像５１Ｃによって囲まれた領域内を、抽出領域７０として抽出する。
【００８８】
図１に戻り、算出部３０は、抽出領域７０の第１特徴量を算出する。
【００８９】
第１特徴量は、抽出領域７０の特徴を示す数値である。第１特徴量は、抽出領域７０を解析することにより得られる数値である。
【００９０】
例えば、算出部３０は、抽出領域７０の輪郭形状を数値化した値を、第１特徴量として算出する。すなわち、算出部３０は、抽出領域７０のＨｏＧ特徴量や、抽出領域７０のＳＩＦＴ特徴量、またはこれらの組合せを、第１特徴量として算出する。また、算出部３０は、抽出領域７０の色の特徴（Ｒ、Ｇ、Ｂの画素値）を、第１特徴量に加えてもよい。
【００９１】
なお、算出部３０は、上述した第２特徴量と同じ規則を用いて第１特徴量を算出する。例えば、第２特徴量が、第２画像によって示されるアイテムの輪郭形状を、ＳＩＦＴ特徴量を用いて数値化した値であるとする。この場合、算出部３０は、抽出領域７０の輪郭形状を、ＳＩＦＴ特徴量を用いて数値化する。そして、算出部３０は、この数値化した値を第１特徴量として算出する。
【００９２】
決定部３２は、記憶部１４に記憶された第２情報を検索する。そして、決定部３２は、算出部３０によって算出された第１特徴量との類似度が閾値以上の第２特徴量に対応する、第２画像を決定する。
【００９３】
詳細には、決定部３２は、まず、算出部３０によって算出された第１特徴量と、第２情報に登録されている複数の第２画像の各々に対応する複数の第２特徴量と、の類似度を算出する。例えば、特徴量が一致する場合を類似度「１」とし、特徴量が予め定めた値以上異なる場合を類似度「０」とする。そして、決定部３２は、特徴量の値が近いほど類似度「０」から類似度「１」に向かって値が大きくなるように、類似度を算出する。
【００９４】
具体的には、決定部３２は、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関などを用いて類似度を算出する。
【００９５】
そして、決定部３２は、第２情報に登録されている複数の第２画像の内、第１特徴量との類似度が閾値以上の類似度の第２画像を検索する。決定部３２は、検索した第２画像を、表示対象の第２画像として決定する。
【００９６】
なお、決定部３２は、第１特徴量との類似度が閾値以上の類似度の第２画像を複数検索した場合、最も高い類似度の第２画像を表示対象として決定する。なお、決定部３２は、第１特徴量との類似度が閾値以上の類似度の第２画像を複数検索した場合、これらの全ての第２画像を表示対象として決定してもよい。
【００９７】
決定部３２が用いる閾値には、予め任意の値を設定すればよい。そして、決定部３２は、この閾値を予め記憶すればよい。
【００９８】
第１表示制御部３４は、決定部３２で決定された第２画像を、表示部１８に表示する制御を行う。
【００９９】
第２画像の表示形式は、限定されない。例えば、決定部３２で複数の第２画像が決定された場合、第１表示制御部３４は、複数の第２画像の一覧を表示部１８に表示する制御を行う。例えば、第１表示制御部３４は、複数の第２画像をタイル状に配列させて表示部１８に表示する。また、第１表示制御部３４は、複数の第２画像を、フリップ式切換え、カバー式切換え、リング式切換え、グループ化、などの公知の表示形態で表示してもよい。また、第１表示制御部３４は、表示部１８に表示された複数の第２画像の内の１つが、ユーザによる入力部１６の指示によって選択されると、選択された第２画像を拡大して表示するように制御してもよい。
【０１００】
更新部３６は、記憶部１４を更新する。
【０１０１】
例えば、入力部１６の指示等によって記憶部１４における第２情報の更新指示が入力され、受付部２２が、図示を省略するＩ／Ｆ部等を介して外部装置から第２画像及び第２特徴量を受け付けるとする。このとき、更新部３６は、受け付けた第２画像及び第２特徴量を第２情報へ登録することで、記憶部１４における第２情報を更新する。
【０１０２】
また、受付部２２が、図示を省略するＩ／Ｆ部等を介して外部装置から第２画像を受け付けたとする。このとき、更新部３６は、受け付けた第２画像を第２情報へ登録することで、記憶部１４における第２情報を更新する。この場合、制御部１２は、第２画像に対応する第２特徴量を上述した方法により算出し、対応する第２画像に対応づけて第２情報を更新する。
【０１０３】
また、受付部２２が、図示を省略するＩ／Ｆ部及び通信回線を介して、コンテンツデータを受信する。この場合、受付部２２は、図示を省略する放送局からの放送電波をコンテンツデータとして受信するテレビチューナや、インターネットからコンテンツデータを受信するネットワークインターフェース等の機能を更に備えた構成とすればよい。
【０１０４】
コンテンツデータは、番組、及び番組の内容を示すメタデータ等を含むデータである。番組の例としては、ＴＶ（ｔｅｌｅｖｉｓｉｏｎ）放送番組、ＤＶＤ（ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｋ）などの記録媒体やＶＯＤ（Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）サービスの形態等で配信、販売、配布されている映画・ビデオクリップ、ＷＥＢ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）上で配信されている動画像、カメラや携帯電話で撮影した動画像、ビデオレコーダ、ＨＤＤレコーダ、ＤＶＤレコーダ、録画機能付きＴＶやＰＣなどで録画された録画番組などが挙げられる。
【０１０５】
メタデータとは、番組の内容を示すデータであり、本実施の形態では、少なくとも、番組中の各位置（フレーム）の画像に含まれる第２画像を示す情報を含む。
【０１０６】
この場合、更新部３６では、コンテンツデータから、第２画像を抽出する。そして、更新部３６は、抽出した第２画像を第２情報へ登録することで、記憶部１４における第２情報を更新する。この場合、制御部１２は、第２画像に対応する第２特徴量を上述した方法により算出し、対応する第２画像に対応づけて第２情報を更新する。
【０１０７】
同様に、入力部１６の指示等によって記憶部１４における第１情報の更新指示が入力され、受付部２２が、入力部１６または外部装置からマスク画像及び特定情報を受け付ける。更新部３６は、受け付けた特定情報及びマスク画像を対応づけて第１情報へ登録することで、記憶部１４における第１情報を更新する。
【０１０８】
次に、検索装置１０で実行する検索処理を説明する。
【０１０９】
図１４は、本実施の形態の検索装置１０で実行する検索処理の手順を示すフローチャートである。
【０１１０】
まず、第２表示制御部２０が、マスク画像５０の選択画面５５を表示部１８に表示する制御を実行する（ステップＳ１００）。
【０１１１】
ステップＳ１００の処理によって、マスク画像５０の選択画面５５が表示部１８に表示される（図１１（Ａ）参照）。
【０１１２】
次に、第１受付部２２Ａが、１つのマスク画像５０が選択されたか否かを判断する（ステップＳ１０２）。第１受付部２２Ａは、入力部１６から、ユーザによって選択されたマスク画像５０を示す信号を受け付けたか否かを判別することで、ステップＳ１０２の判断を行う。
【０１１３】
第１受付部２２Ａは、ステップＳ１０２で肯定判断するまで（ステップＳ１０２：Ｙｅｓ）、否定判断を繰り返す（ステップＳ１０２：Ｎｏ）。第１受付部２２Ａは、肯定判断すると（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０４へ進む。
【０１１４】
次に、第２表示制御部２０が、ステップＳ１０２で選択されたマスク画像５０を、表示部１８へ表示する制御を行う（ステップＳ１０４）。
【０１１５】
ステップＳ１０４の処理によって、選択されたマスク画像５０が表示部１８に表示される（図１１（Ｂ）参照）。
【０１１６】
次に、取得部２６が、第１画像６０を取得したか否かを判断する（ステップＳ１０６）。取得部２６は、撮影部１３から第１画像６０を取得したか否かを判別することで、ステップＳ１０６の判断を行う。取得部２６は、ステップＳ１０６で肯定判断するまで（ステップＳ１０６：Ｙｅｓ）、否定判断（ステップＳ１０６：Ｎｏ）を繰り返す。取得部２６は、肯定判断すると（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０８へ進む。
【０１１７】
第２表示制御部２０は、ステップＳ１０６で取得された第１画像６０上に、ステップＳ１０２で選択されたマスク画像５０を重ねた重畳画像６１を、表示部１８に表示する制御を行う（ステップＳ１０８）。
【０１１８】
ステップＳ１０８の処理によって、重畳画像６１が表示部１８に表示される（図１１（Ｃ）参照）。
【０１１９】
次に、第２受付部２２Ｂが、ステップＳ１０２で選択されたマスク画像５０の変形指示を受け付けたか否かを判断する（ステップＳ１１０）。第２受付部２２Ｂは、入力部１６から変形指示を受け付けたか否かを判別することで、ステップＳ１１０の判断を行う。
【０１２０】
ステップＳ１１０で否定判断すると（ステップＳ１１０：Ｎｏ）、後述するステップＳ１１４へ進む。一方、ステップＳ１１０で肯定判断すると（ステップＳ１１０：Ｙｅｓ）、ステップＳ１１２へ進む。ステップＳ１１２では、変形部２４が、変形指示に含まれる変形情報に応じて、ステップＳ１１２で選択されたマスク画像５０を変形する（ステップＳ１１２）。
【０１２１】
第２表示制御部２０は、重畳画像６１を表示部１８に表示する制御を行う（ステップＳ１１３）。この重畳画像６１は、ステップＳ１０６で取得した第１画像６０上に、ステップＳ１１２で変形された、ステップＳ１０２で選択されたマスク画像５０を重畳した画像である。
【０１２２】
ステップＳ１１３の処理によって、第１画像６０上に、変形後のマスク画像５０（マスク画像５１Ｃ）を重畳した重畳画像６１が、表示部１８に表示される（図１２（Ｂ）参照）。
【０１２３】
次に、第３受付部２２Ｃが、検索開始指示を受け付けたか否かを判断する（ステップＳ１１４）。第３受付部２２Ｃは、入力部１６から検索開始指示を受け付けたか否かを判別することで、ステップＳ１１４の判断を行う。
【０１２４】
ステップＳ１１４で否定判断すると（ステップＳ１１４：Ｎｏ）、上記ステップＳ１００へ戻る。一方、ステップＳ１１４で肯定判断すると（ステップＳ１１４：Ｙｅｓ）、ステップＳ１１６へ進む。
【０１２５】
ステップＳ１１６では、抽出部２８が、第１画像６０上における、選択されたマスク画像５０によって指定される抽出領域７０を抽出する（ステップＳ１１６）。なお、ステップＳ１１０で変形指示を受け付けた場合には、抽出部２８が、第１画像６０上における、選択され、且つ変形されたマスク画像５０によって指定される抽出領域７０を抽出する。
【０１２６】
すなわち、ステップＳ１１４の判断時に、表示部１８に表示されていた重畳画像６１が、図１２（Ａ）に示す重畳画像６１であるとする。この場合、抽出部２８は、図１２（Ａ）における、第１画像６０上における、マスク画像５０Ｃによって指定される抽出領域７０を抽出する。
【０１２７】
また、ステップＳ１１４の判断時に、表示部１８に表示されていた重畳画像６１が、変形されたマスク画像５０を含む重畳画像６１であったとする（図１２（Ｂ）参照）。この場合、抽出部２８は、図１２（Ｂ）における、第１画像６０上における、変形後のマスク画像５１Ｃによって指定される抽出領域７０を抽出する。
【０１２８】
次に、算出部３０が、ステップＳ１１６で抽出された抽出領域７０の第１特徴量を算出する（ステップＳ１１８）。
【０１２９】
なお、ステップＳ１１６で抽出された抽出領域７０が、変更指示によって回転されたマスク画像５０によって指定される抽出領域７０であったとする。この場合には、算出部３０は、ステップＳ１１６で抽出された抽出領域７０を、該変更指示によって回転する前の状態に変形した後に、第１特徴量を算出する。
【０１３０】
この処理により、第１画像に含まれるアイテムが、第２情報に登録されている第２画像とは異なる角度から撮影された場合であっても、精度よく、後述する類似度を算出することができる。
【０１３１】
次に、決定部３２が、記憶部１４に記憶された第２情報を検索する（ステップＳ１２０）。ステップＳ１２０では、決定部３２は、ステップＳ１１８で算出された第１特徴量と、第２情報に登録されている複数の第２画像の各々に対応する複数の第２特徴量と、の類似度を算出する。そして、決定部３２は、第２情報に登録されている複数の第２画像の内、第１特徴量との類似度が閾値以上の類似度の第２画像を検索する。
【０１３２】
すなわち、決定部３２は、第１画像６０における、ステップＳ１０２で選択されたマスク画像５０によって指定される抽出領域を、検索対象の領域として用いて、第２情報の検索を行う。
【０１３３】
次に、決定部３２は、ステップＳ１２０で検索した第２画像を、表示対象の第２画像として決定する（ステップＳ１２２）。
【０１３４】
次に、第１表示制御部３４が、ステップＳ１２２で決定された第２画像を、表示部１８に表示する制御を行う（ステップＳ１２４）。
【０１３５】
ステップＳ１２４の処理によって、第１画像６０における、ステップＳ１０２で選択されたマスク画像５０によって指定される抽出領域に関連するアイテムの第２画像が、検索結果として表示部１８に表示される。
【０１３６】
次に、受付部２２が、処理の終了指示を入力部１６から受け付けたか否かを判断する（ステップＳ１２６）。受付部２２が、処理継続または他の第２画像の表示指示を入力部１６から受け付けると（ステップＳ１２６：Ｎｏ）、上記ステップＳ１００へ戻る。一方、受付部２２が、終了指示を受け付けると（ステップＳ１２６：Ｙｅｓ）、本ルーチンを終了する。
【０１３７】
以上説明したように、本実施の形態の検索装置１０では、第１受付部２２Ａが、検索対象の領域を示す予め定められた複数のマスク画像５０の内、少なくとも１つの選択を受け付ける。取得部２６は、第１画像６０を取得する。算出部３０は、第１画像６０における、選択されたマスク画像５０によって指定される抽出領域７０の第１特徴量を算出する。決定部３２は、複数のアイテムの各々の第２画像と第２特徴量とを対応づけた第２情報を検索し、第１特徴量との類似度が閾値以上の第２特徴量に対応する第２画像を決定する。第１表示制御部３４は、決定された第２画像を表示部１８へ表示する制御を行う。
【０１３８】
このように、本実施の形態の検索装置１０では、検索対象の領域を示す複数のマスク画像５０を予め用意する。そして、この複数のマスク画像５０の内の少なくとも１つの選択を、ユーザから受け付ける。検索装置１０では、第１画像における、選択されたマスク画像５０によって指定される抽出領域を、検索キーとして用いて第２情報を検索し、該抽出領域に類似する第２画像を決定する。
【０１３９】
このため、第１画像における検索対象のアイテムの少なくとも一部が、他のアイテムなどの背面側に位置する場合であっても、検索対象のアイテムの領域を正確に指定することができる。
【０１４０】
図１５は、従来の検索装置１０１における、検索対象の領域の指定の説明図である。図１６は、本実施の形態の検索装置１０における、検索対象の領域の指定の説明図である。
【０１４１】
例えば、第１画像６０が、複数のアイテムを含む画像であったとする。そして、検索対象の領域である、複数のアイテムの内の１つが、他のアイテムの背面側に位置していたとする。
【０１４２】
図１５（Ａ）及び図１６（Ａ）に示す例では、第１画像６０には、複数のアイテムとして、ワンピース６０Ｂと、ジャケット６０Ｃが含まれる。そして、被写体は、ワンピース６０Ｂの上に、ジャケット６０Ｃを重ね着している。
【０１４３】
検索対象の領域としてワンピース６０Ｂを指定する場合（図１５（Ａ）及び図１６（Ａ）参照）、ワンピース６０Ｂの一部がジャケット６０Ｃによって隠された状態となっている。
【０１４４】
このため、従来の検索装置１０１において、検索対象の領域としてワンピース６０Ｂを指定すると、図１５（Ａ）に示すように、ワンピース６０Ｂにおける、ジャケット６０Ｃから露出した領域５００が指定されていた。この領域５００は、検索対象であるワンピース６０Ｂとは異なる形状である。このため、従来の検索装置１０１では、検索対象のアイテムの領域を正確に指定することが出来なかった。
【０１４５】
一方、本実施の形態の検索装置１０において、検索対象の領域としてワンピース６０Ｂを指定する場合、図１６（Ａ）に示すように、ユーザは、複数のマスク画像５０の内、該ワンピース６０Ｂの形状に最も近いマスク画像５０を選択する。このため、検索装置１０では、ワンピース６０Ｂの一部が他のアイテム（ここではジャケット６０Ｃ）の背面側に位置する場合であっても、検索対象のワンピース６０Ｂの形状に応じたマスク画像５０が選択されることとなる。このため、本実施の形態の検索装置１０では、検索対象のアイテムの領域を仮想的に捉えて、特徴的な領域を正確に指定することが出来る。
【０１４６】
図１５（Ｂ）及び図１６（Ｂ）に示す例では、第１画像６０には、複数のアイテムとして、シャツ６０Ｄと、カーディガン６０Ｅが含まれる。そして、被写体は、シャツ６０Ｄの上に、カーディガン６０Ｅを重ね着している。
【０１４７】
検索対象の領域としてシャツ６０Ｄを指定する場合（図１５（Ｂ）及び図１６（Ｂ）参照）、シャツ６０Ｄの一部がカーディガン６０Ｅによって隠された状態となっている。
【０１４８】
このため、従来の検索装置１０１において、検索対象の領域としてシャツ６０Ｄを指定すると、図１５（Ｂ）に示すように、シャツ６０Ｄにおける、カーディガン６０Ｅから露出した領域５００が指定されていた。この領域５００は、検索対象であるシャツ６０Ｄとは異なる形状である。このため、従来の検索装置１０１では、検索対象のアイテムの領域を正確に指定することが出来なかった。
【０１４９】
一方、本実施の形態の検索装置１０において、検索対象の領域としてシャツ６０Ｄを指定する場合、図１６（Ｂ）に示すように、ユーザは、複数のマスク画像５０の内、該シャツ６０Ｄの形状に最も近いマスク画像５０を選択する。このため、検索装置１０では、シャツ６０Ｄの一部が他のアイテム（ここではカーディガン６０Ｅ）の背面側に位置する場合であっても、検索対象のシャツ６０Ｄの形状に応じたマスク画像５０が選択されることとなる。このため、本実施の形態の検索装置１０では、検索対象のアイテムの領域を仮想的に捉えて、特徴的な領域を正確に指定することが出来る。
【０１５０】
そして、本実施の形態では、第１画像６０における、選択されたマスク画像５０によって指定された抽出領域７０を用いて、関連するアイテムの第２画像を検索する。
【０１５１】
従って、本実施の形態の検索装置１０では、検索対象に関連するアイテムを精度よく検索することができる。
【０１５２】
また、上述したように、検索装置１０において検索する対象であるアイテムは、服飾に関するものに限定されない。このため、例えば、アイテムとして、部品を用いた場合、他の部品などの背面に位置する部品に関連するアイテムを精度よく検索することができる。このため、本実施の形態の検索装置１０を、各種の点検システムなどにも適用することができる。
【０１５３】
なお、本実施の形態では、取得部２６は、撮影部１３から第１画像を取得する場合を説明した。しかし、取得部２６が第１画像を取得する形態は、撮影部１３から取得する形態に限られない。
【０１５４】
例えば、取得部２６は、図示を省略するＩ／Ｆ部（インターフェース部）や、インターネット等の通信回線を介して、外部装置から第１画像を取得してもよい。外部装置としては、公知のＰＣや、ＷＥＢサーバー等が挙げられる。また、取得部２６は、予め第１画像を記憶部１４または図示を省略するＲＡＭ等に記憶しておき、これらの記憶部１４やＲＡＭ等から第１画像を取得してもよい。
【０１５５】
また、取得部２６は、以下の方法で第１画像を取得してもよい。詳細には、まず、取得部２６を、図示を省略する放送局からの放送電波をコンテンツデータとして受信するテレビチューナや、インターネットからコンテンツデータを受信するネットワークインターフェース等の機能を更に備えた構成とする。なお、コンテンツデータについては上述したので説明を省略する。
【０１５６】
そして、制御部１２は、コンテンツデータに含まれる番組を表示部１８に表示する。そして、ユーザによる指示によって入力部１６から画像の取り込みが指示される。すなわち、ユーザは、表示部１８に表示された番組を確認しながら入力部１６を操作することにより、表示部１８に表示された番組から画像の取り込み指示を入力することができる。
【０１５７】
そして、取得部２６では、該画像の取り込み指示を入力部１６から受け付けたときに、該画像の取り込み指示の受け付け時に表示部１８に表示されているコマ画像（フレームと称する場合もある）を、第１画像として取得してもよい。また、取得部２６は、該画像の取り込み指示の受け付け時に表示部１８に表示されているコマ画像より前（例えば、数秒前）のコマ画像を、第１画像として取り込んでもよい。
【０１５８】
なお、本実施の形態では、第１表示制御部３４は、決定部３２で検索された第２画像を表示部１８に表示する場合を説明した。しかし、第１表示制御部３４は、決定部３２で検索された第２画像を、第１画像上に合成した合成画像を、表示部１８に表示してもよい。
【０１５９】
なお、合成画像の生成には、公知の方法を用いればよい。例えば、合成画像の生成には、特開２０１１−４８４６１号公報や、特開２００６−２４９６１８号公報に記載の方法を用いればよい。
【０１６０】
（実施の形態２）
なお、上記実施の形態１では、記憶部１４が、検索装置１０に設けられている場合を説明した。本実施の形態では、記憶部１４が、検索装置１０に通信回線を介して接続された記憶装置に設けられている場合を説明する。
【０１６１】
図１７は、検索システム７００を示す模式図である。検索システム７００は、検索装置７６０と、記憶装置７２０と、が通信回線７４０を介して接続されている。
【０１６２】
検索装置７６０は、制御部１２と、入力部１６と、表示部１８と、撮影部１３と、を備える。制御部１２と、入力部１６と、表示部１８と、撮影部１３と、は、実施の形態１の検索装置１０と同様である。すなわち、検索装置７６０は、記憶部１４を備えない以外は、実施の形態１の検索装置１０と同様の構成である。
【０１６３】
なお、実施の形態１と同じ機能部には同じ符号を付与して詳細な説明を省略する。
【０１６４】
通信回線７４０は、有線通信回線や、無線通信回線がある。記憶装置７２０は、記憶部１４を備えた装置であり、公知のＰＣや各種サーバー等が挙げられる。記憶部１４は、実施の形態１と同様である。
【０１６５】
図１７に示すように、記憶部１４を、検索装置７６０とは別体として構成し、通信回線７４０を介して接続された記憶装置７２０に設けた構成とする。これにより、複数の検索装置７６０から同じ記憶部１４にアクセスすることができ、記憶部１４に記憶されているデータの一元管理が可能となる。
【０１６６】
次に、実施の形態１〜実施の形態２の検索装置１０、及び検索装置７６０のハードウェア構成について説明する。図１８は、実施の形態１〜実施の形態２の検索装置１０、及び検索装置７６０のハードウェア構成例を示すブロック図である。
【０１６７】
実施の形態１〜実施の形態２の検索装置１０、及び検索装置７６０は、通信Ｉ／Ｆ部８２０、表示部８４０、入力部９４０、ＣＰＵ８６０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）８８０、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９００、及びＨＤＤ９２０等がバス９６０により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
【０１６８】
ＣＰＵ８６０は、検索装置１０及び検索装置７６０の全体の処理を制御する演算装置である。ＲＡＭ９００は、ＣＰＵ８６０による各種処理に必要なデータを記憶する。ＲＯＭ８８０は、ＣＰＵ８６０による各種処理を実現するプログラム等を記憶する。ＨＤＤ９２０は、上述した記憶部１４に格納されるデータを記憶する。通信Ｉ／Ｆ部８２０は、外部装置や外部端末に通信回線等を介して接続し、接続した外部装置や外部端末との間でデータを送受信するためのインタフェースである。表示部８４０は、上述した表示部１８に相当する。入力部９４０は、上述した入力部１６に相当する。
【０１６９】
実施の形態１〜実施の形態２の検索装置１０、及び検索装置７６０で実行される検索処理を実行するためのプログラムは、ＲＯＭ８８０等に予め組み込んで提供される。
【０１７０】
なお、実施の形態１〜実施の形態２の検索装置１０、及び検索装置７６０で実行される検索処理を実行するためのプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
【０１７１】
また、実施の形態１〜実施の形態２の検索装置１０、及び検索装置７６０で実行される検索処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に記憶し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施の形態１〜実施の形態２の検索装置１０、及び検索装置７６０で実行される検索処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１７２】
実施の形態１〜実施の形態２の検索装置１０、及び検索装置７６０で実行される検索処理を実行するためのプログラムは、上述した各部（第２表示制御部２０、受付部２２、変形部２４、取得部２６、抽出部２８、算出部３０、決定部３２、第１表示制御部３４、更新部３６）を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ８６０がＲＯＭ８８０等の記憶媒体から、上記検索処理を実行するためのプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
【０１７３】
なお、上記には、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１７４】
１０、７６０  検索装置
２０  第２表示制御部
２２  受付部
２２Ａ  第１受付部
２２Ｂ  第２受付部
２４  変形部
２６  取得部
２８  抽出部
３０  算出部
３２  決定部
３４  第１表示制御部
３６  更新部
【図１】
2015179431.tif 000003
【図２】
2015179431.tif 000004
【図３】
2015179431.tif 000005
【図４】
2015179431.tif 000006
【図５】
2015179431.tif 000007
【図６】
2015179431.tif 000008
【図７】
2015179431.tif 000009
【図８】
2015179431.tif 000010
【図９】
2015179431.tif 000011
【図１０】
2015179431.tif 000012
【図１１】
2015179431.tif 000013
【図１２】
2015179431.tif 000014
【図１３】
2015179431.tif 000015
【図１４】
2015179431.tif 000016
【図１５】
2015179431.tif 000017
【図１６】
2015179431.tif 000018
【図１７】
2015179431.tif 000019
【図１８】
2015179431.tif 000020