(57)【要約】【課題】新しい衣服や、アクセサリなどのアイテムであっても推薦することができること。【解決手段】服装を分割した複数の領域各々の第１特徴量の、少なくとも一つの他の領域の第１特徴量との組み合わせの適合度を示すモデル情報を記憶するモデル記憶部と、服装を構成するアイテムの候補各々に関する第２特徴量を記憶する候補アイテム記憶部と、服装を構成する少なくとも一つのアイテムを示す指定情報を取得する指定取得部と、複数の領域のうち、指定情報が示すアイテムに対応する領域各々の第３特徴量を算出する特徴量抽出部と、第３特徴量と、候補アイテム記憶部と、モデル記憶部とを参照して、アイテムの候補の中から、指定情報が示すアイテムとの適合度が高いアイテムの候補を選択する推薦アイテム選択部とを有するコーディネート推薦装置。【選択図】図１
2015228129.tif 000002
【特許請求の範囲】
【請求項１】
服装を分割した複数の領域各々の第１特徴量の、少なくとも一つの他の領域の第１特徴量との組み合わせの適合度を示すモデル情報を記憶するモデル記憶部と、
服装を構成するアイテムの候補各々に関する第２特徴量を記憶する候補アイテム記憶部と、
服装を構成する少なくとも一つのアイテムを示す指定情報を取得する指定取得部と、
前記複数の領域のうち、前記指定情報が示すアイテムに対応する領域各々の第３特徴量を算出する特徴量抽出部と、
前記第３特徴量と、前記候補アイテム記憶部と、前記モデル記憶部とを参照して、前記アイテムの候補の中から、前記指定情報が示すアイテムとの適合度が高いアイテムの候補を選択する推薦アイテム選択部と
を有するコーディネート推薦装置。
【請求項２】
前記第１特徴量、前記第２特徴量、および前記第３特徴量は、アイテムの色または形状に関する特徴量であることを特徴とする請求項１に記載のコーディネート推薦装置。
【請求項３】
複数の学習用画像各々から、前記複数の領域について、前記第１特徴量を算出するモデル特徴量抽出部と、
前記モデル特徴量抽出部が算出した第１特徴量を参照して、前記モデル情報を生成し、前記モデル記憶部に格納するモデル生成部と
を有することを特徴とする請求項１または請求項２に記載のコーディネート推薦装置。
【請求項４】
前記モデル情報は、前記複数の領域とは異なる基準で服装を分割した複数の領域各々の特徴量の、少なくとも一つの他の領域の特徴量との組み合わせの適合度を示す情報を含むことを特徴とする請求項１に記載のコーディネート推薦装置。
【請求項５】
コンピュータを、請求項１から請求項４のいずれか一項に記載のコーディネート推薦装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コーディネートを推薦する技術に関する。
【背景技術】
【０００２】
従来、日々のコーディネートを天気や会う人といった情報とともに記録しておき、天気予報や、スケジュール、会う人などに応じて、記録していた情報を参照して、コーディネートを推薦するシステムがある（非特許文献１参照）。
また、鏡の前に立つと、その日のコーディネートが撮影・記録され、それらの過去のユーザの履歴からコーディネートを推薦するシステムがある（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】辻田  眸、外４名、“Ａｓａ１−ｃｏｏｒｄｉｎａｔｏｒ：履歴情報を利用したファッションコーディネート支援”、ヒューマンインターフェース学会、ヒューマンインターフェースシンポジウム２００９、２００９年９月
【非特許文献２】佐藤  彩夏、外２名、“姿を利用したファッションコーディネート支援システムｓｕＧＡＴＡＬＯＧの提案と評価”、情報処理学会シンポジウムシリーズ、ISSN1344-0640、2011.3.10-12、Vol. 2011、No. 3、pp.41-48
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のシステムにおいては、今までに使ったことのない衣服や、アクセサリなどのアイテムを推薦することができないという問題があった。
【０００５】
上記事情に鑑み、本発明は、新しい衣服や、アクセサリなどのアイテムであっても推薦することができる技術を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、服装を分割した複数の領域各々の第１特徴量の、少なくとも一つの他の領域の第１特徴量との組み合わせの適合度を示すモデル情報を記憶するモデル記憶部と、服装を構成するアイテムの候補各々に関する第２特徴量を記憶する候補アイテム記憶部と、服装を構成する少なくとも一つのアイテムを示す指定情報を取得する指定取得部と、前記複数の領域のうち、前記指定情報が示すアイテムに対応する領域各々の第３特徴量を算出する特徴量抽出部と、前記第３特徴量と、前記候補アイテム記憶部と、前記モデル記憶部とを参照して、前記アイテムの候補の中から、前記指定情報が示すアイテムとの適合度が高いアイテムの候補を選択する推薦アイテム選択部とを有するコーディネート推薦装置である。
【０００７】
本発明の一態様は、上記のコーディネート推薦装置であって、前記第１特徴量、前記第２特徴量、および前記第３特徴量は、アイテムの色または形状に関する特徴量であることを特徴とする。
【０００８】
本発明の一態様は、上記のコーディネート推薦装置であって、複数の学習用画像各々から、前記複数の領域について、前記第１特徴量を算出するモデル特徴量抽出部と、前記モデル特徴量抽出部が算出した第１特徴量を参照して、前記モデル情報を生成し、前記モデル記憶部に格納するモデル生成部とを有することを特徴とする。
【０００９】
本発明の一態様は、上記のコーディネート推薦装置であって、前記モデル情報は、前記複数の領域とは異なる基準で服装を分割した複数の領域各々の特徴量の、少なくとも一つの他の領域の特徴量との組み合わせの適合度を示す情報を含むことを特徴とする。
【００１０】
本発明の一態様は、コンピュータを、上記のいずれかのコーディネート推薦装置として機能させるためのプログラムである。
【発明の効果】
【００１１】
本発明により、新しい衣服や、アクセサリなどのアイテムであっても推薦することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】この発明の第１の実施形態におけるコーディネート推薦システムのシステム構成を示す図である。
【図２】同実施形態における端末装置１０及びコーディネート推薦装置２０の機能構成を表す概略ブロック図である。
【図３】同実施形態におけるコーディネート画像をパーツ領域に分割した具体例を示す図である。
【図４】同実施形態におけるモデルＤＢ２０６が記憶するモデル情報の例を示すテーブルである。
【図５】同実施形態における候補アイテムＤＢ２０８の記憶内容例を示すテーブルである。
【図６】同実施形態におけるモデルＤＢ２０６の生成処理を説明するフローチャートである。
【図７】同実施形態におけるコーディネートの推薦処理を説明するフローチャートである。
【図８】この発明の第２の実施形態における端末装置１０及びコーディネート推薦装置２０ａの機能構成を表す概略ブロック図である。
【図９】同実施形態におけるモデルＤＢ２０６ａの記憶内容例を示すテーブルである。
【図１０】同実施形態における候補アイテムＤＢ２０８ａの記憶内容例を示すテーブルである。
【発明を実施するための形態】
【００１３】
［第１の実施形態］
以下、本発明の第１の実施形態を、図面を参照しながら説明する。
図１は、本実施形態におけるコーディネート推薦システムのシステム構成を示す図である。本実施形態のコーディネート推薦システムは、複数の端末装置１０（１０−１〜１０−Ｎ：Ｎは１以上の整数）、コーディネート推薦装置２０、ネットワーク３０及び共有サーバ４０を備える。
コーディネート推薦システムは、ユーザに対して服装のコーディネートを推薦する。まず、以下の説明において使用する文言を定義する。
コーディネート画像とは、コーディネートのモデルを生成するための学習用画像である。
アイテムとは、衣服、靴、アクセサリなど、服装を構成する要素である。
保有アイテムとは、ユーザが保有している、アイテムである。
保有アイテム画像とは、保有アイテムの画像である。
まず、コーディネートの推薦を要求したいユーザは、端末装置１０を操作してコーディネート推薦装置２０に、ベースとなるコーディネートの入力画像（指定情報）と、推薦を希望するアイテムの種別とを送信する。コーディネート推薦装置２０は、ネットワーク３０上や共有サーバ４０から取得したコーディネート画像から生成したコーディネートのモデルを参照して、受信した入力画像が表すベースとなるコーディネートに対して組み合わせる、指定された種別のアイテムを選択し、端末装置１０に提示させる。
【００１４】
端末装置１０は、例えばスマートフォン、携帯電話機、ＰＤＡ（Personal Digital Assistant）、携帯ゲーム装置、タブレット装置、パーソナルコンピュータ等の情報処理装置を用いて構成される。端末装置１０は、ユーザによって入力された入力画像と、推薦を希望するアイテムの種別とから、推薦要求情報を生成し、ネットワーク３０を介してコーディネート推薦装置２０に送信する。
【００１５】
コーディネート推薦装置２０は、情報処理装置を用いて構成される。コーディネート推薦装置２０は、端末装置１０から送信された推薦要求情報に応じて、推薦するアイテムを、保有アイテムの中から選択する。また、コーディネート推薦装置２０は、選択したアイテムを示す情報を端末装置１０に送信する。
ネットワーク３０は、どのように構成されたネットワークでもよい。例えば、ネットワーク３０はインターネットを用いて構成されてもよい。
【００１６】
共有サーバ４０は、情報処理装置を用いて構成される。共有サーバ４０は、端末装置１０から送信された保有アイテム画像を、端末装置１０のユーザに割り当てられたユーザＩＤに対応付けて蓄積する。以下の説明では、共有サーバ４０に蓄積された画像を「蓄積画像」という。共有サーバ４０は、例えば画像共有サイトを提供するサーバとして構築されてもよい。
【００１７】
図２は、本実施形態における端末装置１０及びコーディネート推薦装置２０の機能構成を表す概略ブロック図である。まず、端末装置１０の機能構成を説明する。端末装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、検索要求プログラムを実行する。検索要求プログラムの実行によって、端末装置１０は、入力部１０１、要求部１０２、通信部１０３、表示部１０４を備える装置として機能する。なお、端末装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、検索要求プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、検索要求プログラムは、電気通信回線を介して送受信されてもよい。
【００１８】
入力部１０１は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル、デジタルカメラ、メモリカードリーダ等の既存の入力装置を用いて構成される。入力部１０１は、ユーザの推薦要求の指示を端末装置１０に入力する際にユーザによって操作される。推薦要求の指示は、ベースとなるコーディネートを表す入力画像と、そのコーディネートへの組合せを推薦するアイテムの種別の指定とを含む。例えば、入力画像は、デジタルカメラが撮像することで入力され、アイテムの種別の指定は、キーボードを操作することで入力される。
【００１９】
なお、入力部１０１は、入力装置を端末装置１０に接続するためのインタフェースであってもよい。この場合、入力部１０１は、入力装置においてユーザの入力に応じて生成された入力信号を端末装置１０に入力する。
要求部１０２は、入力部１０１に入力された推薦要求の指示に基づいて推薦要求情報を生成する。
【００２０】
通信部１０３は、コーディネート推薦装置２０との間で通信を行う。通信部１０３は、例えば要求部１０２によって生成された推薦要求情報をコーディネート推薦装置２０に送信する。また、通信部１０３は、例えばコーディネート推薦装置２０から送信された、推薦するアイテムを示す情報を受信する。通信部１０３が受信するアイテムを示す情報は、例えば保有アイテム画像や、保有アイテム画像へのＵＲＬ（Uniform Resource Locator）などである。なお、通信部１０３は、アイテムを示す情報が、保有アイテム画像へのＵＲＬであるときは、そのＵＲＬが示す保有アイテム画像を、ネットワーク３０を介して取得する。
【００２１】
表示部１０４は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１０４は、例えば保有アイテム画像を表示する。表示部１０４は、画像表示装置を端末装置１０に接続するためのインタフェースであってもよい。この場合、表示部１０４は、保有アイテム画像を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
【００２２】
次に、コーディネート推薦装置２０の機能構成を説明する。コーディネート推薦装置２０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、配信プログラムを実行する。配信プログラムの実行によって、コーディネート推薦装置２０は、通信部２０１、制御部２０２、画像取得部２０３、モデル特徴量抽出部２０４、モデル生成部２０５、モデルＤＢ（データベース）２０６、保有特徴量抽出部２０７、候補アイテムＤＢ２０８、推薦アイテム選択部２０９、配信部２１０、入力特徴量抽出部２１１を備える装置として機能する。なお、コーディネート推薦装置２０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、配信プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、配信プログラムは、電気通信回線を介して送受信されてもよい。
【００２３】
通信部２０１は、端末装置１０、共有サーバ４０との間で通信を行う。コーディネート推薦装置２０の各部は、端末装置１０、共有サーバ４０などの他装置と通信をする際は、通信部２０１を介して行う。通信部２０１は、例えば端末装置１０から送信された推薦要求情報を受信する。また、通信部２０１は、例えば受信された推薦要求情報に応じたアイテムを示す情報を端末装置１０に送信する。
制御部２０２は、コーディネート推薦装置２０の各機能部を制御する。例えば、制御部２０２（指定取得部）は、通信部２０１が受信した推薦要求情報を、入力特徴量抽出部２１１に入力し、通信部２０１が受信したコーディネート画像を、画像取得部２０３に入力し、通信部２０１が受信した保有アイテム画像を、保有特徴量抽出部２０７に入力する。
【００２４】
画像取得部２０３は、共有サーバ４０に記憶されている蓄積画像に含まれているコーディネート画像やネットワーク３０上からコーディネート画像を取得する。
モデル特徴量抽出部２０４は、画像取得部２０３によって取得されたコーディネート画像各々から、服装を分割した複数の領域各々の特徴量（第１特徴量）を抽出する。この特徴量の抽出の詳細は、後述する。
【００２５】
モデル生成部２０５は、モデル特徴量抽出部２０４によって抽出されたコーディネート画像の特徴量に基づいてモデル情報を生成する。モデル情報は、服装を分割した複数の領域各々の特徴量の、少なくとも一つの他の領域の特徴量との組み合わせの適合度を示す情報である。この適合度は、画像取得部２０３が取得したコーディネート画像群における出現確率である。なお、モデル情報およびその生成方法についての詳細は、後述する。
モデルＤＢ２０６は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。モデルＤＢ２０６（モデル記憶部）は、モデル生成部２０５によって生成されたモデル情報を記憶している。
【００２６】
保有特徴量抽出部２０７は、共有サーバ４０に記憶されている蓄積画像に含まれている保有アイテム画像から、特徴量（第２特徴量）を抽出する。保有特徴量抽出部２０７は、抽出した特徴量を、保有アイテム画像へのＵＲＬ、保有アイテム画像が表すアイテムの識別情報および保有アイテム画像が表すアイテムの種別と対応付けて、候補アイテムＤＢ２０８に格納する。なお、アイテムの識別情報や、アイテムの種別は、例えば、保有アイテム画像のファイルにタグ情報として格納されていてもよいし、画像認識などにより、保有特徴量抽出部２０７が生成するようにしてもよい。
【００２７】
候補アイテムＤＢ２０８は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。候補アイテムＤＢ２０８（候補アイテム記憶部）は、保有アイテム画像のアイテムの識別情報、ＵＲＬ、アイテムの種別、および特徴量を対応付けて記憶している。
入力特徴量抽出部２１１は、推薦要求情報に含まれる入力画像から、モデル特徴量抽出部２０４と同様にして、特徴量（第３特徴量）を抽出する。
【００２８】
推薦アイテム選択部２０９は、入力特徴量抽出部２１１が抽出した入力画像の特徴量と、候補アイテムＤＢ２０８と、モデルＤＢ２０６とを参照して、入力画像のコーディネートとの適合度が高い保有アイテムを選択する。
配信部２１０は、推薦アイテム選択部２０９が選択した保有アイテムを示す情報を端末装置１０に送信する。配信部２１０は、例えば保有アイテムを示す情報として、保有アイテムのＵＲＬを端末装置１０に送信してもよい。
【００２９】
次に、モデルＤＢ２０６の生成方法について説明する。
画像取得部２０３は、ネットワーク３０上や共有サーバ４０から、手本とすべきコーディネート画像として、ユーザにより指定されたコーディネート画像を取得する。ネットワーク３０上のｗｅｂサイト（例えば、ファッション店舗のホームページなど）には、ファッション雑誌やファッション店舗が商品の宣伝をするために、商品を組み合わせたコーディネート例の画像が数多く掲載されている。また、ネットワーク３０上には、ファッションブランドのコレクションなどで発表されたコーディネート例の画像も数多く掲載されている。さらに、一般の人々が日々のコーディネート例をブログ等に掲載している場合もある。そのため、画像取得部２０３は、ネットワーク３０上から多くのコーディネート画像を取得することができる。なお、コーディネート画像は、人手で収集されてもよい。なお、コーディネート画像は、推薦したいアイテムを含むコーディネート例であることが望ましい。
【００３０】
次に、モデル特徴量抽出部２０４は、複数のコーディネート画像から特徴量を抽出する。以下、特徴量を抽出する方法について具体的に説明する。特徴量を抽出する方法は、コーディネート画像から人物領域の抽出を行うステップ、抽出された人物領域をさらに細かいパーツ領域に分割するステップ、パーツ領域ごとに特徴量を抽出するステップ、の３つのステップによって実行される。以下、各ステップの処理について説明する。人物領域とは、衣服や衣服を着用している人物が撮像されている領域である。パーツ領域とは、人物の胴や腕、足などの各部位が撮像されている領域である。
【００３１】
まず、コーディネート画像から人物領域を抽出する処理について説明する。
図３は、コーディネート画像をパーツ領域に分割した具体例を示す図である。まず、モデル特徴量抽出部２０４は、コーディネート画像に対し、参考文献１の技術を用いることでコーディネート画像から人物領域を囲む矩形領域を抽出する。参考文献１は、事前に人物領域の学習用画像と人物領域以外の学習用画像とを学習させた識別器を作成し、エッジなどの特徴量からAdaboostなどにより識別に有効な特徴量を選択する手法である。（参考文献１：信学技法2012．11．17  「サーベイ論文」  統計的学習手法による人検出）。また、Adaboostの具体例として、例えば以下の文献に開示される技術が適用されてもよい。情報処理学会研究報告2009  「人検出のためのreal AdaboostによるＨＯＧ特徴量の効率的な削減法」。
【００３２】
モデル特徴量抽出部２０４は、このようにコーディネート画像から人物領域を囲む矩形領域を抽出することによって矩形領域画像を生成する。次に、モデル特徴量抽出部２０４は、Ｇｒａｐｈ  ｃｕｔにより矩形領域画像の前景領域と背景領域とを分離する。その後、モデル特徴量抽出部２０４は、分離した前景領域を人物領域として抽出することによって人物領域画像を生成する。前景領域とは、矩形領域画像内の手前に撮像されている物体の領域である。前景領域の具体例として、人物や人物が着用している衣服の領域などがある。背景領域とは、矩形領域画像内の前景領域以外の領域である。背景領域の具体例として、壁や天井などの領域がある。モデル特徴量抽出部２０４は、このように矩形領域画像から人物領域を抽出することによって人物領域画像を生成する。Ｇｒａｐｈ  ｃｕｔの具体例として、例えば以下の文献に開示される技術が適用されてもよい。情報処理学会  研究報告  2007-CVIM-158  「グラフカット」  石川  博。
以上で、矩形領域画像から人物領域を抽出する処理についての説明を終了する。
【００３３】
次に、人物領域画像をパーツ領域に分割する処理について説明する。パーツ領域に分割する方法として、例えば、以下の文献で開示される技術を用いる。Mun Wai Lee、Ram Nevatia、「Body Part Detection for Human Pose Estimation and Tracking」、IEEE Workshop on Motion and Video Computing（WMVC'０７）。
パーツ領域は、例えば、図３に示す、頭ＰＡ１、首ＰＡ２、右腕ＰＡ３、左腕ＰＡ４、胴ＰＡ５、ひざ上ＰＡ６、ひざ下ＰＡ７、靴ＰＡ８の領域である。
以上で、人物領域画像をパーツ領域に分割する処理についての説明を終了する。
【００３４】
そして、特徴量抽出部２０４は、分割されたパーツ領域ごとに特徴量を抽出する。
抽出される特徴量としては、カラー、形状、柄といったファッションに関する特徴を捉える特徴量が好ましい。例えば、カラーを表現する方法として、カラーヒストグラムが用いられてもよい。なお、特徴量抽出部２０４は、カラーヒストグラムを、ｋ−ｍｅａｎｓ法などによりクラスタリングし、そのクラスタの重心ベクトルを特徴量としてもよい。ｋ−ｍｅａｎｓ法は、例えば、以下の文献に記載されている。八木康史・齋藤英雄編、「コンピュータビジョン最先端ガイド２」アドコムメディア株式会社、ｐｐ６５、２０１０年６月発行。また、形状を表現する方法として、ＨＯＧ（Histgrams of Oriented Gradients）特徴量が用いられてもよい。また、柄を表現する方法として、直線検出を行うことによって、検出された直線の数を柄の特徴量として用いられてもよい。また、これらの特徴量を組み合わせたものを用いてもよい。
以下では、カラーヒストグラムの重心ベクトルを特徴量とするとして説明する。
【００３５】
特徴量抽出部２０４は、上述した３つのステップを実行することによって、コーディネート画像から特徴量を抽出する。服は撮影された画像によって変形度が大きい。変形度とは、変形の度合いの高さを表す。変形度の値が高いほど、元の形状から形が変形している。例えば、肘が伸びている状態で撮影された画像と肘が曲がっている状態で撮影された画像とでは、服の形状に大きな変化が生じている。そのため、変形度が大きくなる。変形度が大きい場合、同じ衣服であっても違う衣服と判定されてしまうおそれがある。特に、腕は、動きが大きく、上述したように肘の状態などによっては衣服の変形度が大きくなってしまうため、照合が困難になる。そこで、上述したようなパーツ領域に分割することにより、コーディネート画像そのものから特徴量を抽出するよりも衣服の変形の影響を受けにくい領域の特徴量を選択して照合に用いることができる。そのため、変形度の大きさによる誤判定を軽減することが可能になる。
【００３６】
モデル生成部２０５は、パーツ領域の特徴量の組み合わせの適合度を示すモデル情報を構築する。モデル生成部２０５は、より多くのコーディネート画像に現われた組み合わせを、適合度が高いとみなし、Ｎ−グラムによるモデル情報を生成する。Ｎ−グラムは、ある特徴量の出現確率は、直前の（Ｎ−１）個の領域の特徴量にのみ影響されるという仮定をおいたモデルである。Ｎ−グラムは、例えば、以下の文献で開示されている。「フリーソフトで作る音声認識システム」、森北出版株式会社、ｐｐ１６４−１７０。
【００３７】
例えば、Ｎが３の３−グラムであれば、頭ＰＡ１、首ＰＡ２、右腕ＰＡ３、左腕ＰＡ４、胴ＰＡ５、ひざ上ＰＡ６、ひざ下ＰＡ７、靴ＰＡ８のパーツ領域を３パーツごとに区切り、その中で出現確率に影響を与えると仮定する。このとき、並びは、頭から靴へ向かってでもよいが、ファッションの場合、トップスから選ぶ場合が多いと考えられるので、並びは、胴から頭へ向かってと、胴から靴への向かってとすることが望ましい。以降、本実施形態では、並びは、胴から頭へ向かってと、胴から靴への向かってとする。
【００３８】
したがって、本実施形態では、頭ＰＡ１のある特徴量の出現確率は、首ＰＡ２および右腕ＰＡ３の特徴量に影響を受け、首ＰＡ２のある特徴量の出現確率は、右腕ＰＡ３および左腕ＰＡ４の特徴量に影響を受けるとして、モデル情報を生成する。具体的には、モデル生成部２０５は、モデル特徴量抽出部２０４が、複数のコーディネート画像から抽出した特徴量について、首ＰＡ２の特徴量と、右腕ＰＡ３の特徴量との値の組み合わせ毎に、頭ＰＡ１のある特徴量の出現確率をカウントする。
【００３９】
図４は、モデル生成部２０５が生成し、モデルＤＢ２０６が記憶するモデル情報の例を示すテーブルである。図４の例は、右腕ＰＡ３の特徴量と、首ＰＡ２の特徴量と、頭ＰＡ１の特徴量と、その出現確率とを対応付けている。例えば、右腕ＰＡ３の特徴量である右腕特徴量の値が「ＲＣ１」であり、首ＰＡ２の特徴量である首特徴量の値が「ＮＣ１」であるときは、頭ＰＡ１の特徴量である頭特徴量の値「ＨＣ１」の出現確率は「Ｐｈ１」であり、頭特徴量の値「ＨＣ２」の出現確率は「Ｐｈ２」である。図４では、頭特徴量の出現確率に関するテーブルのみを示したが、モデル生成部２０５は、その他の特徴量の出現確率についてもカウントして、モデル情報を生成する。
以上で、モデルＤＢ２０６の生成方法についての説明を終了する。
【００４０】
次に、候補アイテムＤＢ２０８の生成方法について説明する。
制御部２０２は、ユーザから指定された保有アイテム画像を、ネットワーク３０上や共有サーバ４０から取得する。この指定は、例えば、端末装置１０から行う。制御部２０２は、取得した保有アイテム画像を、保有特徴量抽出部２０７に入力する。
【００４１】
次に、保有特徴量抽出部２０７は、保有アイテム画像から特徴量を抽出する。保有特徴量抽出部２０７は、モデル特徴量抽出部２０４と同様にして、保有アイテム画像から特徴量を抽出する。ただし、保有特徴量抽出部２０７は、保有アイテム画像のうち、そのアイテムの種別に対応する領域の特徴量のみを抽出する。例えば、アイテムの種別が、帽子であれば、頭ＰＡ１の特徴量のみを抽出する。また、アイテムの種別が、スラックスやロングスカートであれば、ひざ上ＰＡ６の特徴量と、ひざ下ＰＡ７の特徴量とを抽出する。保有特徴量抽出部２０７は、抽出した特徴量と、保有アイテムに関する情報とを対応付けて候補アイテムＤＢ２０８に記憶させる。
【００４２】
図５は、候補アイテムＤＢ２０８の記憶内容例を示すテーブルである。保有アイテムに関する情報は、アイテム名、保有アイテム画像へのＵＲＬ、アイテムの種別を含む。例えば、アイテム名「帽子Ｈ１」には、ＵＲＬ「ｈｔｔｐ：・・・」と、種別「帽子」と、領域「頭」と、特徴量「ＨＣ１」とが対応付けられている。帽子の場合、このように、対応する領域は「頭」のみなので、特徴量として「ＨＣ１」のみが、保有アイテムに関する情報に対応付けられている。一方、アイテム名「スラックスＳ１」と、ＵＲＬ「ｈｔｔｐ：・・・」と、種別「帽子」とに対しては、領域「ひざ上」と特徴量「ＬＵＣ１」、および領域「ひざ下」と特徴量「ＬＢＣ１」が対応付けられている。
以上で、候補アイテムＤＢ２０８の生成方法についての説明を終了する。
【００４３】
図６は、モデルＤＢ２０６の生成処理を説明するフローチャートである。まず、画像取得部２０３は、コーディネート画像群を取得する（Ｓａ１）。次に、モデル特徴量抽出部２０４は、コーディネート画像を、パーツ領域に分割する（Ｓａ２）。次に、モデル特徴量抽出部２０４は、各パーツ領域の特徴量を抽出する（Ｓａ３）。次に、モデル特徴量抽出部２０４は、ステップＳａ１にて取得したコーディネート画像群の全画像について、特徴量の抽出が完了したか否かを判定する（Ｓａ４）。完了していないと判定したときは（Ｓａ４−Ｎｏ）、モデル特徴量抽出部２０４は、ステップＳａ２に戻り、特徴量を未抽出のコーディネート画像について処理を行う。
【００４４】
一方、ステップＳａ４にて、全画像について、特徴量の抽出が完了したと判定したときは（Ｓａ４−Ｙｅｓ）、モデル生成部２０５は、各パーツ領域のＮ−グラムを算出する（Ｓａ５）。次に、モデル生成部２０５は、算出したＮ−グラムを、モデル情報としてモデルＤＢ２０６に格納し（Ｓａ６）、処理を終了する。
【００４５】
図７は、コーディネートの推薦処理を説明するフローチャートである。まず、制御部２０２は、推薦要求情報として、ベースとなるコーディネートの入力画像と、推薦するアイテムの種別とを、通信部２０１を介して端末装置１０から取得する（Ｓｂ１）。次に、入力特徴量抽出部２１１は、入力画像を、パーツ領域に分割する（Ｓｂ２）。次に、入力特徴量抽出部２１１は、各パーツ領域の特徴量を抽出する（Ｓｂ３）。これら、ステップＳｂ２、Ｓｂ３の処理は、モデル特徴量抽出部２０４がコーディネート画像に対して行う処理と同様である。
【００４６】
次に、推薦アイテム選択部２０９は、ステップＳｂ１にて取得した、推薦するアイテムの種別の各保有アイテムについて、ステップＳｂ５の処理を行う（Ｓｂ４、Ｓｂ６）。ステップＳｂ５では、推薦アイテム選択部２０９は、パーツ領域の特徴量に該当するモデル情報のうち、対象の保有アイテムの特徴量に最も近いものの出現確率を、モデルＤＢ２０６から読み出す（Ｓｂ５）。例えば、ステップＳｂ４、Ｓｂ６によるループ中のあるループにおいて、対象の保有アイテムが、図５の帽子Ｈ１であり、ステップＳｂ３にて抽出した右腕特徴量が「ＲＣ１」、首特徴量が「ＮＣ１」であるときは、推薦アイテム選択部２０９は、モデルＤＢ２０６から、右腕特徴量「ＲＣ１」と、首特徴量「ＮＣ１」と、帽子Ｈ１による頭特徴量「ＨＣ１」と対応付けられている出現確率「Ｐｈ１」を読み出す。
【００４７】
また、ステップＳｂ４、Ｓｂ６によるループ中のあるループにおいて、対象の保有アイテムが、図５のスラックスＳ１であり、ステップＳｂ３にて抽出した胴特徴量が「ＢＣ１」であるときは、推薦アイテム選択部２０９は、モデルＤＢ２０６から、胴特徴量が「ＢＣ１」と、スラックスＳ１によるひざ上特徴量「ＬＵＣ１」とひざ下特徴量「ＬＢＣ１」と対応付けられている出現確率を読み出す。
【００４８】
そして、ステップＳｂ４、Ｓｂ６によるループが終了すると、推薦アイテム選択部２０９は、読み出した出現確率が最も大きい保有アイテムを推薦するアイテムとして選択する。配信部２１０は、推薦アイテム選択部２０９が選択した保有アイテムのＵＲＬを、推薦するアイテムを示す情報として、制御部２０２、通信部２０１を介して、端末装置１０に配信する（Ｓｂ７）。
【００４９】
以上のように構成されたコーディネート推薦装置２０によれば、服装を分割した複数の領域各々の特徴量の、少なくとも一つの他の領域の特徴量との組み合わせの適合度を示すモデル情報に基づいて、ベースとなるコーディネートとの適合度が高いアイテムを推薦する。したがって、ユーザがベースとなるコーディネートを指定すると、ユーザが着たことのない新しい衣服や、アクセサリなどのアイテムであっても、そのコーディネートに適合したアイテムを推薦することができる。
【００５０】
［第２の実施形態］
以下、本発明の第２の実施形態を、図面を参照しながら説明する。本実施形態におけるコーディネート推薦システムは、図１におけるコーディネート推薦システムと同様の構成であるが、コーディネート推薦装置２０に代えてコーディネート推薦装置２０ａを有する点が異なる。コーディネート推薦装置２０は、パーツ領域の特徴量を用いて、推薦するアイテムを選択したが、コーディネート推薦装置２０ａは、パーツ領域の特徴量に加えて、ベースカラー、アソートカラー、アクセントカラーからなるカラーモデルの特徴量を用いて、推薦するアイテムを選択する。
【００５１】
図８は、本実施形態における端末装置１０及びコーディネート推薦装置２０ａの機能構成を表す概略ブロック図である。同図にいて、図２の各部に対応する部分には、同一の符号を付し、説明を省略する。コーディネート推薦装置２０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、配信プログラムを実行する。配信プログラムの実行によって、コーディネート推薦装置２０ａは、通信部２０１、制御部２０２、画像取得部２０３、モデル特徴量抽出部２０４ａ、モデル生成部２０５ａ、モデルＤＢ２０６ａ、保有特徴量抽出部２０７ａ、候補アイテムＤＢ２０８ａ、推薦アイテム選択部２０９ａ、配信部２１０、入力特徴量抽出部２１１ａを備える装置として機能する。なお、コーディネート推薦装置２０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、配信プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、配信プログラムは、電気通信回線を介して送受信されてもよい。
【００５２】
モデル特徴量抽出部２０４ａは、図２のモデル特徴量抽出部２０４と同様に、コーディネート画像のパーツ領域の特徴量を抽出するが、さらに、コーディネート画像のベースカラー、アソートカラー、アクセントカラーの特徴量（第１特徴量）を抽出する。なお、この特徴量は、カラーヒストグラムに基づく特徴量である。例えば、この特徴量は、パーツ領域の特徴量と同様、該当する領域のカラーヒストグラムを、ｋ−ｍｅａｎｓ法などによりクラスタリングしたクラスタの重心ベクトルである。
【００５３】
また、ベースカラーとは、服装の全体的な見た目の雰囲気を決める色であり、全体の７割ほどの占める色のことである。スーツや、ワンピース、コートなど大きい面積を占める服の色がベースカラーとなる。アソートカラーとは、ベースカラーを引き立てて全体を纏める色で、全体の２割から３割ほどを占める色のことである。ブラウスやベスト、スカート、パンツ、靴、バッグなどの色がアソートカラーとなる。アクセントカラーはファッションを引き締める全体の１割ほどを占める色のことである。アクセントカラーには、ベースカラーと対照的な色や、目立つ色を選ぶとメリハリができると言われている。アクセサリやネクタイ、スカーフなどの色が、アクセントカラーとなるとことが多い。
【００５４】
モデル特徴量抽出部２０４ａは、ＳａｌｉｅｎｃｙＭａｐを用いて、コーディネート画像各々から、ベースカラーの特徴量、アソートカラーの特徴量、アクセントカラーの特徴量を抽出する。ＳａｌｉｅｃｙＭａｐとは、画像領域に対する人の注目度を表したもので、エッジや色などの特徴量を組み合わせて算出する。モデル特徴量抽出部２０４ａは、コーディネート画像の人物領域のＳａｌｉｅｎｃｙＭａｐを算出する。ＳａｌｉｅｎｃｙＭａｐの算出には、例えば以下の文献に開示される技術が適用されてもよい。L.itti, C.Koch, E.Niebur, "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.11, pp.1254-1259, Nov 1998。
【００５５】
例えば、モデル特徴量抽出部２０４ａは、Ｓａｌｉｅｎｃｙ値が閾値Ｔｈ１より低く、かつ、全体の面積を１としたときの面積が閾値Ｔｈ２よりも大きい領域をベースカラーの領域とする。また、モデル特徴量抽出部２０４ａは、Ｓａｌｉｅｎｃｙ値が閾値Ｔｈ３より高く、かつ、面積が閾値Ｔｈ４よりも小さい領域をアクセントカラーの領域とする。また、Ｓａｌｉｅｎｃｙ値が閾値Ｔｈ１より高く、閾値Ｔｈ３より低く、面積が閾値Ｔｈ４よりも大きく、閾値Ｔｈ２よりも小さい領域をアソートカラーの領域とする。モデル特徴量抽出部２０４ａは、コーディネート画像各々について、ベースカラーの特徴量、アクセントカラーの特徴量、アソートカラーの特徴量を抽出する。
【００５６】
モデル生成部２０５ａは、図２のモデル生成部２０５と同様に、パーツ領域に関するモデル情報を生成するが、さらに、ベースカラー、アソートカラー、アクセントカラーに関するモデル情報も生成する。具体的には、モデル生成部２０５ａは、コーディネート画像群における、ベースカラーの特徴量のある値と、アソートカラーの特徴量のある値と、アクセントカラーの特徴量のある値との共起数をカウントし、その組み合わせの出現確率を算出する。モデル生成部２０５ａは、算出した出現確率を、特徴量の値の組み合わせと対応付けて、モデルＤＢ２０６ａに記憶させる。
【００５７】
モデルＤＢ２０６ａは、図２のモデルＤＢ２０６と同様に、パーツ領域に関するモデル情報を記憶するが、さらに、ベースカラー、アソートカラー、アクセントカラーに関するモデル情報も記憶する。図９は、モデルＤＢ２０６ａの記憶内容例を示すテーブルである。図９に示す例は、ベースカラー、アソートカラー、アクセントカラーに関するモデル情報である。図９の例では、ベースカラー特徴量の値「ＢＣ１」と、アソートカラー特徴量の値「ＳＣ１」と、アクセントカラーの特徴量の値「ＡＣ１」と、出現確率「ＰＣ１」とが対応付けられている。同様に、ベースカラー特徴量の値「ＢＣ１」と、アソートカラー特徴量の値「ＳＣ１」と、アクセントカラーの特徴量の値「ＡＣ２」と、出現確率「ＰＣ２」とが対応付けられている。
【００５８】
保有特徴量抽出部２０７ａは、図２の保有特徴量抽出部２０７と同様に、保有アイテムのパーツ領域に関する特徴量を抽出するが、さらに、ベースカラー、アソートカラー、アクセントカラーのうち、対応するものに関する特徴量（第２特徴量）も抽出する。なお、その保有アイテムが、ベースカラー、アソートカラー、アクセントカラーのうち、どのカラー分類に対応するかは、例えば、アイテムの種別に応じて、予め決められていてもよい。保有特徴量抽出部２０７ａは、抽出した特徴量を、候補アイテムＤＢ２０８ａに記憶させる。
【００５９】
候補アイテムＤＢ２０８ａは、図２の候補アイテムＤＢ２０８と同様に、保有アイテムのパーツ領域に関する特徴量と、保有アイテムに関する情報とを記憶するが、さらに、ベースカラー、アソートカラー、アクセントカラーなどのカラー分類と、その特徴量とを記憶する。図１０は、候補アイテムＤＢ２０８ａの記憶内容例を示すテーブルである。図１０に示す例では、候補アイテムＤＢ２０８ａは、アイテム名と、カラー分類と、その特徴量とを対応付けて記憶する。例えば、アイテム名「帽子Ｈ１」には、カラー分類「アクセントカラー」と、特徴量「ＡＣ３」とを対応付けて記憶する。また、複数のカラー分類に対応するアイテム名「ジャケットＪ１」には、カラー分類「ベースカラー」と特徴量「ＢＣ２」、カラー分類「アクセントカラー」と特徴量「ＡＣ５」が対応付けられている。
【００６０】
入力特徴量抽出部２１１ａは、モデル特徴量抽出部２０４ａと同様にして、入力画像について、パーツ領域の特徴量と、カラー分類の特徴量（第３特徴量）とを抽出する。
推薦アイテム選択部２０９ａは、図２の推薦アイテム選択部２０９と同様にして、推薦要求情報で指定された種別の各保有アイテムの出現確率を、第１の出現確率として、モデルＤＢ２０６ａから読み出す。さらに、推薦アイテム選択部２０９ａは、カラー分類の特徴量に関する出現確率についても、パーツ領域の場合と同様にして、推薦要求情報で指定された種別の各保有アイテムの出現確率を、第２の出現確率として、モデルＤＢ２０６ａから読み出す。推薦アイテム選択部２０９ａは、保有アイテムごとに、第１の出現確率と第２の出現確率との和をとり、その保有アイテムの評価値とする。推薦アイテム選択部２０９ａは、この評価値が最も大きい保有アイテムを、推薦するアイテムとして選択する。なお、評価値は、第１の出現確率と、第２の出現確率との積であってもよい。
【００６１】
以上のように構成されたコーディネート推薦装置２０ａによれば、パーツ領域とは異なる基準で服装を分割した複数の領域各々の特徴量の、少なくとも一つの他の領域の特徴量との組み合わせの適合度を示すモデル情報を、パーツ領域によるモデル情報に加えて、参照して、ベースとなるコーディネートとの適合度が高いアイテムを推薦する。したがって、パーツ領域によるモデル情報のみを参照する際に比べて、そのコーディネートにより確実に適合したアイテムを推薦することができる。
【００６２】
［変形例］
なお、上述の各実施形態では、画像取得部２０３が、取得したコーディネート画像をカテゴリごとに分類し、モデル生成部２０５は、カテゴリごとにモデルを生成してもよい。この場合、ユーザは、アイテムの推薦を要求する際にカテゴリも指定し、推薦アイテム選択部２０９は、モデルＤＢ２０６を参照する際に、ユーザにより指定されたカテゴリのモデルのみを参照する。
【００６３】
カテゴリごとに分類する方法として、例えば画像を収集するサイトでカテゴリ別にタグ付されている場合には、画像取得部２０３は取得したコーディネート画像をそれぞれのカテゴリの中から適合するカテゴリに分類する。また、画像取得部２０３は、コーディネート画像を取得したサイトごとにコーディネート画像を分類してもよいし、季節や天候、出かけ先などＴＰＯ（Time Place Occasion）にあったカテゴリごとに分類してもよい。また、カテゴリは、上述したカテゴリ以外のカテゴリに分類されてもよい。例えば、カテゴリは、「春、暖かい、入学式」、「春、肌寒い、卒業式」などの季節や用途ごとのカテゴリであってもよいし、「３０代、身長低い、フェミニン」、「４０代、大柄、フォーマル」などの雰囲気ごとのカテゴリであってもよい。なお、カテゴリの分類は、人手で行われてもよい。
【００６４】
また、上述の各実施形態では、保有アイテムは、ユーザが保有しているアイテムであるとして説明したが、これに限らない。例えば、保有アイテムは、店舗が保有しているアイテムであり、販売促進のために、コーディネート推薦装置２０、２０ａが、店舗が保有しているアイテムを、ユーザに推薦するようにしてもよい。
【００６５】
また、上述の各実施形態では、コーディネート推薦装置２０、２０ａは、画像取得部２０３、モデル特徴量抽出部２０４、モデル生成部２０５を有しているが、これに限らない。例えば、これらを別の装置が有しており、モデルＤＢ２０６は、その別の装置が生成したモデル情報を格納していてもよい。
また、上述の各実施形態では、推薦要求情報に含まれる入力画像は、コーディネート画像であるとしたが、全てのアイテムが含まれているコーディネートの画像でなくてもよい。例えば、モデルが２−グラムであれば、入力画像に含まれるアイテムは一つであってもよい。また、入力画像には、推薦するアイテムと同じ種別のアイテムが含まれていてもよい。
【００６６】
また、上述の各実施形態では、パーツ領域に関するモデル情報として、Ｎ−グラムを用いたが、式（１）で表される共起確率Ｐ（ｃ１・・・ｃＱ）を用いてもよい。なお、ｃｉは、ｉ番目のパーツ領域の特徴量であり、Ｑは、パーツ領域の数である。
また、Ｎ−グラムのＮの値を、パーツ領域によって、異なる値としてもよい。
【００６７】
【数１】
2015228129.tif 000003
【００６８】
また、上述の各実施形態では、パーツ領域を、人物の胴、腕、足などの各部位が撮像されている領域としたが、これに限らない。例えば、パーツ領域は、衣服やアクセサリ毎の領域であってもよい。
また、上述の各実施形態において、推薦アイテム選択部２０９、２０９ａは、出現確率などの評価値が最も大きい保有アイテムのみを推薦しているが、最も大きいものだけでなくなく、大きい方から３番目のものまで、あるいは、評価値が所定の閾値以上のものなど、複数の保有アイテムを推薦するようにしてもよい。
また、上述の各実施形態において、パーツ領域の特徴量として、複数の特徴量（例えばカラーヒストグラムとＨＯＧ）を算出する場合は、図７のステップＳｂ７において、各特徴量についての出現確率を要素とするベクトルの大きさが最も大きい保有アイテムを推薦するようにしてもよい。
【００６９】
さらに、上述の第２の実施形態において、パーツ領域の特徴量として、複数の特徴量を算出する場合は、各特徴量の第１の出現確率を要素とするベクトルに対して、各特徴量の第２の出現確率を要素とするベクトルを以下の文献に記載されているＭａｎｉｆｏｌｄＲａｎｋｉｎｇの手法を用いて作用させることで、第１の出現確率を要素とするベクトルを修正したベクトルの大きさを評価値として用いるようにしてもよい。「Manifold-Ranking Based Image Retrieval」、MM'04, October10-16, 2004, NEW YORK。ＭａｎｉｆｏｌｄＲａｎｋｉｎｇは、式（２）で表される。ｆ＊は、修正後のベクトル、ｙは、各特徴量の第１の出現確率を要素とするベクトルであり、Ｓは、カラー分類とパーツ領域に関する共起確率行列であり、式（３）で表される。αは［０，１）の値をとるパラメータである。なお、式（３）において、Ｐ（）は、数（１）で定義される関数であり、ｃｉは、そのアイテムに対応するパーツ領域の特徴量、ｃｊは、そのアイテムに対応するカラー分類の特徴量である。パーツ領域、カラー分類の各々でＮ個の特徴量を算出している場合は、共起確率行列はＮ×Ｎの正方行列である。
【００７０】
【数２】
2015228129.tif 000004
【００７１】
【数３】
2015228129.tif 000005
【００７２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７３】
１０…端末装置，  ２０、２０ａ…コーディネート推薦装置，  ３０…ネットワーク，  ４０…共有サーバ，  １０１…入力部，  １０２…要求部，  １０３…通信部，  １０４…表示部，  ２０１…通信部，  ２０２…制御部，  ２０３…画像取得部，  ２０４、２０４ａ…モデル特徴量抽出部，  ２０５、２０５ａ…モデル生成部，  ２０６、２０６ａ…モデルＤＢ，  ２０７、２０７ａ…保有特徴量抽出部，  ２０８、２０８ａ…候補アイテムＤＢ，  ２０９、２０９ａ…推薦アイテム選択部，  ２１０…配信部，  ２１１、２１１ａ…入力特徴量抽出部
【図１】
2015228129.tif 000006
【図２】
2015228129.tif 000007
【図３】
2015228129.tif 000008
【図４】
2015228129.tif 000009
【図５】
2015228129.tif 000010
【図６】
2015228129.tif 000011
【図７】
2015228129.tif 000012
【図８】
2015228129.tif 000013
【図９】
2015228129.tif 000014
【図１０】
2015228129.tif 000015