(57)【要約】【課題】組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを自動で判定する。【解決手段】判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような種別または輪郭のアイテムが組み合わされているのかを検出するアイテム検出部と、検出された各アイテムの種別と予め記憶されている情報によって示される一組み合わせを構成する各アイテムの種別とを比較し、または検出された各アイテムが分布している領域の画像データから測定される色調の分布と、予め記憶されている情報によって示される一組み合わせによる色調の分布とを比較し、どれだけ一致しているかを示す一致度を求めることにより、判定を行う調和度判定部とを備える。【選択図】図１
2009266166.tif 000002
【特許請求の範囲】
【請求項１】
組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定する調和度判定装置であって、
予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせを構成する各アイテムの種別を示すアイテムパターン情報にアクセスが可能で、
判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような種別のアイテムが組み合わされているのかを検出するアイテム検出部と、
前記アイテム検出部によって検出された各アイテムの種別と、前記アイテムパターン情報によって示される一組み合わせを構成する各アイテムの種別とを比較し、前記検出された各アイテムの組み合わせが、前記アイテムパターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、前記判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定するアイテム調和度判定部とを備えた
ことを特徴とする調和度判定装置。
【請求項２】
組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定する調和度判定装置であって、
予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせによる色調の分布を示す色調パターン情報にアクセスが可能で、
判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような輪郭のアイテムが組み合わされているのかを検出するアイテム検出部と、
前記アイテム検出部によって検出された各アイテムが分布している領域の画像データを用いて、各アイテムの色調を測定する色調測定部と、
前記アイテム検出部による検出結果と前記色調測定部による測定結果とによって示される検出されたアイテムの組み合わせによる色調の分布と、前記色調パターン情報によって示される一組み合わせによる色調の分布とを比較し、前記検出された各アイテムの組み合わせが、前記色調パターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、前記判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する色調調和度判定部とを備えた
ことを特徴とする調和度判定装置。
【請求項３】
組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定する調和度判定装置であって、
予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせを構成する各アイテムの種別を示すアイテムパターン情報と、少なくとも該組み合わせによる色調の分布を示す色調パターン情報とにアクセスが可能で、
判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような種別および輪郭のアイテムが組み合わされているのかを検出するアイテム検出部と、
前記アイテム検出部によって検出された各アイテムが分布している領域の画像データを用いて、各アイテムの色調を測定する色調測定部と、
前記アイテム検出部によって検出された各アイテムの種別と、前記アイテムパターン情報によって示される一組み合わせを構成する各アイテムの種別とを比較し、前記検出された各アイテムの組み合わせが、前記アイテムパターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、前記判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定するアイテム調和度判定部と、
前記アイテム検出部による検出結果と前記色調測定部による測定結果とによって示される検出されたアイテムの組み合わせによる色調の分布と、前記色調パターン情報によって示される一組み合わせによる色調の分布とを比較し、前記検出された各アイテムの組み合わせが、前記色調パターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、前記判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する色調調和度判定部とを備えた
請求項１または請求項２に記載の調和度判定装置。
【請求項４】
携帯電話機に搭載される請求項１から請求項３のうちのいずれか１項に記載の調和度判定装置。
【請求項５】
組み合わせると全体として一つの概念を形成するアイテムが服装アイテムである請求項１から請求項４のうちのいずれか１項に記載の調和度判定装置。
【請求項６】
服装のアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定する調和度判定装置であって、
アイテム検出部は、１つ以上の服装アイテムを装着しているユーザを写した画像データを解析して、ユーザの特定の人体部位を検出し、人体部位として検出された各領域の画像データから、該人体部位に装着されるであろう服装アイテムを対象にした検出を行う
請求項１から請求項５のうちのいずれか１項に記載の調和度判定装置。
【請求項７】
色調測定部は、
検出された各アイテムが分布している領域の画像データを用いて、各アイテムの色相を測定するとともに、画像データ内において最も多い領域に分布している色相である主たる色相を検出する色相測定部と、
検出された各アイテムが分布している領域の画像データを用いて、各アイテムの彩度を測定するとともに、前記色相測定部によって検出された主たる色相が分布している領域の彩度である主たる彩度を測定する彩度測定部と、
検出された各アイテムが分布している領域の画像データを用いて、各アイテムの明度を測定するとともに、前記色相測定部によって検出された主たる色相が分布している領域の明度である主たる明度を測定する明度測定部とを含み、
色調調和度判定部は、前記色相測定部、彩度測定部および明度測定部による測定結果によって示される検出されたアイテムの組み合わせによる色調の分布と、色調パターン情報によって示される一組み合わせによる色調の分布のうち、前記測定された主たる色相、彩度、色調の組みによって特定される主たる色調と最も一致している組み合わせによる色調の分布とを比較し、前記検出されたアイテムの組み合わせが、前記色調パターン情報に含まれる該組み合わせとどれだけ一致しているかを示す一致度を求めることにより、前記判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する
請求項２から請求項６のうちのいずれか１項に記載の調和度判定装置。
【請求項８】
アイテム調和度判定部は、アイテムパターン情報によって示されるアイテムの組み合わせに対する、アイテム検出部によって検出されたアイテムの組み合わせの相違点を検出して提示する
請求項１から請求項７のうちのいずれか１項に記載の調和度判定装置。
【請求項９】
色調調和度判定部は、色調パターン情報によって示される色調の分布に対する、アイテム検出部によって検出されたアイテムの組み合わせによる色調の分布の相違点を検出して提示する
請求項２から請求項７のうちのいずれか１項に記載の調和度判定装置。
【請求項１０】
組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定するための調和度判定方法であって、
予め一般に好まれるアイテムの組み合わせを示す情報として、少なくとも該組み合わせを構成する各アイテムの種別を示すアイテムパターン情報を記憶しておき、
判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような種別のアイテムが組み合わされているのかを検出し、
検出された各アイテムの種別と、前記アイテムパターン情報によって示される一組み合わせを構成する各アイテムの種別とを比較し、前記検出された各アイテムの組み合わせが、前記アイテムパターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、前記判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する
ことを特徴とする調和度判定方法。
【請求項１１】
組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定するための調和度判定方法であって、
予め一般に好まれるアイテムの組み合わせを示す情報として、少なくとも該組み合わせによる色調の分布を示す色調パターン情報を記憶しておき、
判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような輪郭のアイテムが組み合わされているのかを検出し、
検出された各アイテムが分布している領域の画像データを用いて、各アイテムの色調を測定し、
検出された各アイテムの輪郭および色調によって示される前記判定対象とされたアイテムの組み合わせによる色調の分布と、前記色調パターン情報によって示される一組み合わせによる色調の分布とを比較し、前記検出された各アイテムの組み合わせが、前記色調パターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、前記判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する
ことを特徴とする調和度判定方法。
【請求項１２】
組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定するための調和度判定用プログラムであって、
予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせを構成する各アイテムの種別を示すアイテムパターン情報にアクセスが可能なコンピュータに、
判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような種別のアイテムが組み合わされているのかを検出する処理、および
検出された各アイテムの種別と、前記アイテムパターン情報によって示される一組み合わせを構成する各アイテムの種別とを比較し、前記検出された各アイテムの組み合わせが、前記アイテムパターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、前記判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する処理を
実行させるための調和度判定用プログラム。
【請求項１３】
組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定するための調和度判定用プログラムであって、
予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせによる色調の分布を示す色調パターン情報にアクセスが可能なコンピュータに、
判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような輪郭のアイテムが組み合わされているのかを検出する処理、
検出された輪郭によって特定される各アイテムが分布している領域の画像データを用いて、各アイテムの色調を測定する処理、および
検出された各アイテムの組み合わせによる色調の分布と、前記色調パターン情報によって示される一組み合わせによる色調の分布とを比較し、前記検出された各アイテムの組み合わせが、前記色調パターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、前記判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する処理
実行させるための調和度判定用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のアイテムを組み合わせて全体として一つのものを構成するものについて、その組み合わせに対する評価を行う調和度判定装置に関する。
【背景技術】
【０００２】
例えば、人が服装を決定する場合、各服装を組み合わせた全体のバランスの善し悪しは個々の感性によるところが多く、抽象的に捉えられている。しかし、大多数を占める共通の感性や流行は存在し、一個人の感性で決定した服装だと会社や繁華街で奇異の目で見られることがある。
【０００３】
一般に好まれる格好にするためには、一般に好まれる感性に即した色調バランスになるように各服装の色調を決定すればよい。
【０００４】
例えば、ユーザの服装をコーディネートする技術として、特許文献１には、試着人が写っている写真を画像データとして取り込み、ユーザに適合する色と柄の衣服画像を付与した試着画像を作成する試着画像作成システムが記載されている。
【０００５】
また、例えば、特許文献２には、顧客の試着した状態の画像を取り込み、衣服の色を顧客に似合うようにカラーコーディネートするアパレル製品販売支援方法が記載されている。
【０００６】
【特許文献１】特開２００２−０２４３１９号公報
【特許文献２】特開２００２−２０７８０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１や特許文献２に記載されている方法は、ユーザや衣類の販売者等のコーディネートの知識をもった人が操作をして、表示しているメニュー等から色や柄を選択している。例えば、ユーザが選択する方法では、個々の感性による選択になるので一般に好まれる格好にならない場合がある。また、コーディネートの知識をもった人に選択させる方法では、すぐ対応してもらえるとは限らず、即座に回答が得られないことが考えられる。特に、ユーザ数が多くなった場合にはコーディネート案を得るまでに多くの待ち時間がかかる可能性が高い。
【０００８】
そこで、本発明は、組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを自動で判定する調和度判定装置、調和度判定方法および調和度判定用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明による調和度判定装置は、組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定する調和度判定装置であって、予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせを構成する各アイテムの種別を示すアイテムパターン情報にアクセスが可能で、判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような種別のアイテムが組み合わされているのかを検出するアイテム検出部と、アイテム検出部によって検出された各アイテムの種別と、アイテムパターン情報によって示される一組み合わせを構成する各アイテムの種別とを比較し、検出された各アイテムの組み合わせが、アイテムパターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定するアイテム調和度判定部とを備えたことを特徴とする。
【００１０】
また、本発明による調和度判定装置は、組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定する調和度判定装置であって、予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせによる色調の分布を示す色調パターン情報にアクセスが可能で、判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような輪郭のアイテムが組み合わされているのかを検出するアイテム検出部と、アイテム検出部によって検出された各アイテムが分布している領域の画像データを用いて、各アイテムの色調を測定する色調測定部と、アイテム検出部による検出結果と色調測定部による測定結果とによって示される検出されたアイテムの組み合わせによる色調の分布と、色調パターン情報によって示される一組み合わせによる色調の分布とを比較し、検出された各アイテムの組み合わせが、色調パターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する色調調和度判定部とを備えたことを特徴とする。
【００１１】
また、本発明による調和度判定方法は、組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定するための調和度判定方法であって、予め一般に好まれるアイテムの組み合わせを示す情報として、少なくとも該組み合わせを構成する各アイテムの種別を示すアイテムパターン情報を記憶しておき、判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような種別のアイテムが組み合わされているのかを検出し、検出された各アイテムの種別と、アイテムパターン情報によって示される一組み合わせを構成する各アイテムの種別とを比較し、検出された各アイテムの組み合わせが、アイテムパターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定することを特徴とする。
【００１２】
また、本発明による調和度判定方法は、組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定するための調和度判定方法であって、予め一般に好まれるアイテムの組み合わせを示す情報として、少なくとも該組み合わせによる色調の分布を示す色調パターン情報を記憶しておき、判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような輪郭のアイテムが組み合わされているのかを検出し、検出された各アイテムが分布している領域の画像データを用いて、各アイテムの色調を測定し、検出された各アイテムの輪郭および色調によって示される判定対象とされたアイテムの組み合わせによる色調の分布と、色調パターン情報によって示される一組み合わせによる色調の分布とを比較し、検出された各アイテムの組み合わせが、色調パターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定することを特徴とする。
【００１３】
また、本発明による調和度判定用プログラムは、組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定するための調和度判定用プログラムであって、予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせを構成する各アイテムの種別を示すアイテムパターン情報にアクセスが可能なコンピュータに、判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような種別のアイテムが組み合わされているのかを検出する処理、および検出された各アイテムの種別と、アイテムパターン情報によって示される一組み合わせを構成する各アイテムの種別とを比較し、検出された各アイテムの組み合わせが、アイテムパターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する処理を実行させることを特徴とする。
【００１４】
また、本発明による調和度判定用プログラムは、組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを判定するための調和度判定用プログラムであって、予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせによる色調の分布を示す色調パターン情報にアクセスが可能なコンピュータに、判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような輪郭のアイテムが組み合わされているのかを検出する処理、検出された輪郭によって特定される各アイテムが分布している領域の画像データを用いて、各アイテムの色調を測定する処理、および検出された各アイテムの組み合わせによる色調の分布と、色調パターン情報によって示される一組み合わせによる色調の分布とを比較し、検出された各アイテムの組み合わせが、色調パターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する処理を実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、組み合わせると全体として一つの概念を形成するアイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かを自動で（ユーザ以外の人手を介さずに）判定する調和度判定装置、調和度判定方法および調和度判定用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明による調和度判定装置の構成例を示すブロック図である。図１に示す調和度判定装置は、例えば、予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせを構成する各アイテムの種別を示すアイテムパターン情報にアクセスが可能な調和度判定装置であって、アイテム検出部１１と、アイテム調和度判定部１２とを備える。
【００１７】
本例において、アイテム検出部１１は、判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような種別のアイテムが組み合わされているのかを検出する。アイテム検出部１１は、例えば、種別ごとに用意されたパタンマッチング用のデータを用いて、組み合わされているアイテムの検出を、種別の判別を含めて行う。
【００１８】
アイテム調和度判定部１２は、アイテム検出部１１によって検出された各アイテムの種別と、アイテムパターン情報によって示される一組み合わせを構成する各アイテムの種別とを比較し、検出された各アイテムの組み合わせが、アイテムパターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する。
【００１９】
また、アイテム調和度判定部１２は、アイテムパターン情報によって示されるアイテムの組み合わせに対する、アイテム検出部１１によって検出されたアイテムの組み合わせの相違点を検出して提示してもよい。
【００２０】
また、図２は、本発明による調和度判定装置の他の構成例を示すブロック図である。図２に示す調和度判定装置は、例えば、予め一般に好まれるアイテムの組み合わせを示す情報として記憶されている、少なくとも該組み合わせによる色調の分布を示す色調パターン情報にアクセスが可能な調和度判定装置であって、アイテム検出部１１と、色調測定部１３と、色調調和度判定部１４とを備える。
【００２１】
本例において、アイテム検出部１１は、判定対象とするアイテムが組み合わされた様を写した画像データを解析して、どのような輪郭のアイテムが組み合わされているのかを検出する。アイテム検出部１１は、例えば、色調や模様の不連続性を検出することにより、組み合わされているアイテムの検出を、輪郭の特定（より具体的には画像データにおける分布範囲の特定）を含めて行う。
【００２２】
色調測定部１３は、アイテム検出部１１によって検出された各アイテムが分布している領域の画像データを用いて、各アイテムの色調を測定する。
【００２３】
色調調和度判定部１４は、アイテム検出部１１による検出結果と色調測定部１３による測定結果とによって示される検出されたアイテムの組み合わせによる色調の分布と、色調パターン情報によって示される一組み合わせによる色調の分布とを比較し、検出された各アイテムの組み合わせが、色調パターン情報に含まれる一組み合わせとどれだけ一致しているかを示す一致度を求めることにより、判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定する。
【００２４】
また、色調調和度判定部１４は、色調パターン情報によって示される色調の分布に対する、アイテム検出部１１によって検出されたアイテムの組み合わせによる色調の分布の相違点を検出して提示してもよい。
【００２５】
また、色調測定部１３は、色相測定部１３１と、彩度測定部１３２と、明度測定部１３３とを含んでいてもよい。
【００２６】
色相測定部１３１は、検出された各アイテムが分布している領域の画像データを用いて、各アイテムの色相を測定するとともに、画像データ内において最も多い領域に分布している色相である主たる色相を検出する。
【００２７】
彩度測定部１３２は、検出された各アイテムが分布している領域の画像データを用いて、各アイテムの彩度を測定するとともに、色相測定部１３１によって検出された主たる色相が分布している領域の彩度である主たる彩度を測定する。
【００２８】
明度測定部１３３は、検出された各アイテムが分布している領域の画像データを用いて、各アイテムの明度を測定するとともに、色相測定部１３１によって検出された主たる色相が分布している領域の明度である主たる明度を測定する。
【００２９】
そのような場合に、色調調和度判定部１４は、色相測定部１３１、彩度測定部１３２および明度測定部１３３による測定結果によって示される検出されたアイテムの組み合わせによる色調の分布と、色調パターン情報によって示される一組み合わせによる色調の分布のうち、測定された主たる色相、彩度、色調の組みによって特定される主たる色調と最も一致している組み合わせによる色調の分布とを比較し、検出されたアイテムの組み合わせが、色調パターン情報に含まれる該組み合わせとどれだけ一致しているかを示す一致度を求めることにより、判定対象とされたアイテムの組み合わせが一般に好まれる組み合わせであるか否かを判定してもよい。
【００３０】
なお、図１に示す構成と図２に示す構成とを組み合わせてもよい。その際、判別精度を向上させるために、色調測定部１３の測定結果とアイテム検出部１１の検出結果とを相互にフィードバックさせてもよい。
【００３１】
また、判定対象とするアイテムの組み合わせは、服装アイテムの組み合わせであってもよい。そのような場合に、アイテム検出部１１は、例えば、１つ以上の服装アイテムを装着しているユーザを写した画像データを解析して、ユーザの特定の人体部位を検出し、人体部位として検出された各領域の画像データから該人体部位に装着されるであろう服装アイテムを対象にした検出を行ってもよい。
【００３２】
アイテム検出部１１、アイテム調和度判定部１２、色調測定部１３、色調調和度判定部１４は、例えば、プログラムに従って動作するＣＰＵによって実現される。また、調和度判定装置は、例えば、携帯電話機に搭載されてもよい。
【００３３】
以下、より具体的な実施形態について説明する。図３は、本実施形態の調和度判定装置のより具体的な構成例を示すブロック図である。図３では、調和度判定装置の一実施形態として携帯端末（より具体的には、カメラ機能付き携帯電話機）１０を例示している。なお、本実施形態では、当該携帯端末１０で撮影した画像データを対象に、該画像内に写っている服装のアイテムおよびその色調を認識して、その服装の調和度を判定する場合を例に用いて説明する。また、服装の調和度の判定として、各服装アイテムの組み合わせが一般に好まれる共通の感性に即しているかを判定するとともに、服装全体としての色調バランスが一般に好まれる共通の感性に即しているかを判定する場合を例に用いて説明する。
【００３４】
図３に示す携帯端末１０は、アンテナ１０１と、ＴＲＸ部１０２と、ＬＡＮ−ＩＦ１０３と、ＭＯＤ部１０４と、通信ＩＦ１０５と、制御部１０６と、画像処理部１０７と、撮像部１０８と、表示処理部１０９と、表示部１１０と、入力処理部１１１と、操作入力部１１２と、メモリ１１３と、データベース１１４と、画像認識部１１５と、コーディネート処理部１１６とを備える。
【００３５】
アンテナ１０１は、通信データを無線信号によって送受信する。ＴＲＸ部１０２は、アンテナ１０１に対する通信データの送受信制御や、送受信された通信データに対する変復調制御を行う。ＬＡＮ−ＩＦ１０３は、例えば、モジュラジャック等のＬＡＮに接続するためのインタフェースである。ＭＯＤ部１０４は、ＬＡＮ−ＩＦ１０３に対する通信データの送受信制御や、送受信された通信データに対する変復調制御を行う。通信ＩＦ１０５は、無線通信、ＬＡＮ通信といった通信方式を選択して、各通信方式に対応する通信制御部（ＴＲＸ部１０２やＬＡＮ−ＩＦ１０３）に対し各種制御指示を行う。
【００３６】
画像処理部１０７は、撮像部１０８から入力される画像データを、制御部１０６や画像認識部１１５の処理フォーマットに合わせてデータ変換する。撮像部１０８は、ＣＭＯＳセンサ等により構成されカメラ機能を実現する。表示処理部１０９は、制御部１０６から出力される表示データに基づき、ディスプレイ等の表示部１１０に対して表示制御を行う。表示部１１０は、表示処理部１０９からの制御によって、文字表示や図表表示といったユーザＩＦとしてのデータの表示を行う。
【００３７】
入力処理部１１１は、テンキー等の操作入力部１１２から入力されるデータを検出、解析し、制御部１０６に、ユーザ操作を示す情報として通知する。操作入力部１１２は、当該携帯端末１０に対するユーザ操作に応じてデータを入力する。
【００３８】
メモリ１１３は、当該携帯端末１０で使用するプログラムや、ユーザ情報等を記憶する。データベース１１４は、撮像部１０８で撮影した画像のデータ（画像データ）や、画像認識部１１５で行う画像認識処理やコーディネート処理部１１６で行う判定処理に用いる各種データを保持する。
【００３９】
画像認識部１１５は、指定された画像データを解析して、該画像データで示される画像内に写っている服装のアイテムを認識（判別）する。本実施形態では、画像内の頭部、顔、脚部といった人体の各部を認識し、認識された人体の各部に基づき、帽子やシャツ、パンツといった服装のアイテムを認識する。さらに、各服装アイテムの色調（色相、彩度、明度等）を認識する。
【００４０】
制御部１０６は、プログラムに従って動作するＣＰＵ等であって、当該携帯端末１０が実装する各種機能を実現するための処理を実行する。本実施形態では、制御部１０６は、少なくとも画像認識部１１５と、コーディネート処理部１１６とを含む。
【００４１】
コーディネート処理部１１６は、画像認識部１１５で認識した服装アイテムの組み合わせについて調和度を判定する。本実施形態では、アイテムの種別に基づく調和度と、色調に基づく調和度の２種類の調和度を求めることにより、当該服装の全体としての善し悪しを判定する。さらに、データベース１１４に保持されている情報を利用して、バランスのとれた（調和度の高い）服装を提案する機能を有する。
【００４２】
また、図４は、画像認識部１１５のより具体的な構成例を示す説明図である。図４に示すように、画像認識部１１５は、服装アイテム認識部１１５１と、模様認識部１１５２と、色相測定部１１５３と、彩度測定部１１５４と、明度測定部１１５５とを有していてもよい。
【００４３】
服装アイテム認識部１１５１は、指定された画像データを解析し、該画像データが示す画像に含まれる頭部、胸部、腕部、腹部、脚部といった人体の所定の構成部位を判別、認識して、画像を人体の構成部位に応じてブロック分けする。さらに、各人体ブロックから当該人体ブロックの部位に装着される服装アイテムを判別、認識する。なお、服装アイテム認識部１１５１は、図１および図２におけるアイテム検出部１１に相当する。
【００４４】
例えば、頭部ブロックからは、帽子やメガネといった服装アイテムを判別、認識する。また、例えば、胸（腹）部ブロックからは、ジャケットやシャツといった服装アイテムを判別、認識する。また、例えば、脚部ブロックからは、パンツや靴といった服装アイテムを判別、認識する。
【００４５】
服装アイテム認識部１１５１は、服装アイテムの認識として、例えば、その服装アイテムの種別を判別する。また、例えば、その服装アイテムの形状を特定してもよい。そして、服装アイテムの認識結果を示す情報として、当該服装アイテムを識別するための識別子を付加して、当該服装アイテムの種別や形状、画像において表現されている位置（領域）、サイズ等を示す情報をデータベース１１４に記憶する。
【００４６】
模様認識部１１５２は、服装アイテム認識部１１５１によって認識（判別）された各服装アイテムについて、模様の有無および模様の構成（ストライプ、格子、文字等の模様の種別や柄の形状や位置等）を判別、認識する。模様認識部１１５２は、例えば、当該服装アイテムが位置する画像領域内の画像データを解析して、該画像データによって模様が表現されているか否かを判別する。
【００４７】
色相測定部１１５３、彩度測定部１１５４、明度測定部１１５５は、服装アイテム認識部１１５１によって認識された各服装アイテムについて、その服装アイテムが位置する画像領域の色相、彩度、明度をそれぞれ色の３属性に基づき、測定する。なお、模様認識部１１５２によって模様があると判別された服装アイテムについては、模様の構成要素別に色相、彩度、明度を測定する。ここで測定された色相、彩度、明度の情報は、服装アイテム別の色彩データとして、データベース１１４に記憶される。色相測定部１１５３、彩度測定部１１５４、明度測定部１１５５は、服装アイテム認識部１１５１によって認識された人体ブロックから肌や髪の色彩データ（色相、彩度、明度）を測定してもよい。なお、色相測定部１１５３、彩度測定部１１５４、明度測定部１１５５は、それぞれ図２における色相測定部１３１、彩度測定部１３２，明度測定部１３３に相当する。
【００４８】
また、図５は、コーディネート処理部１１６のより具体的な構成例を示す説明図である。図５に示すように、コーディネート処理部１１６は、服装アイテム調和度判定部１１６１と、色調調和度判定部１１６２とを有していてもよい。
【００４９】
服装アイテム調和度判定部１１６１は、画像認識部１１５によって判別された服装アイテムの組み合わせについて、服装アイテムの種別に基づく調和度（どれだけ一般的な嗜好や感性に即しているかの度合い）を求め、当該服装のバランスの良し悪しを判定する。さらに、当該服装のバランスが悪いと判定した場合には、データベース１１４に保持されている情報を利用して、バランスの良い（調和度の高い）服装を提案する。なお、服装アイテム調和度判定部１１６１は、図１におけるアイテム調和度判定部１２に相当する。
【００５０】
色調調和度判定部１１６２は、画像認識部１１５によって判別された人体ブロックから肌や髪の色彩データや、各服装アイテムの色彩データに基づいて、服装アイテムの組み合わせについての色調調和度（色調の分布がどれだけ一般的な嗜好や感性に即しているかの度合い）を求め、当該服装のバランスの良し悪しを判定する。さらに、当該服装のバランスが悪いと判定した場合には、データベース１１４に保持されている情報を利用して、バランスの良い（調和度の高い）色調や服装を提案する。なお、色調調和度判定部１１６２は、図２における色調調和度判定部１３に相当する。
【００５１】
次に、本実施形態の動作について説明する。図６は、本実施形態における調和度判定動作の一例を示すフローチャートである。
【００５２】
本例では、ユーザが、まず、当該携帯端末１０の操作入力部１１２を操作し、当該携帯端末１０を撮像モードに遷移させ、調和度を判定したい被写体の全身または判定したい部位（例えば、胸上）を撮影する。撮像部１０８は、ユーザ操作に応じてレンズに写る被写体を撮影した画像データを生成する（ステップＳ１０１）。撮像部１０８は、その際、撮像範囲の確認として、撮影される画像を表示部１１０を介して表示してもよい。以下では、被写体の全身を撮影した場合を例に用いて説明する。撮像部１０８によって撮影された画像データは、画像処理部１０７を介して画像認識部１１５に入力される。
【００５３】
このとき、画像処理部１０７では、例えば、撮像部１０８で撮影された画像データを、色調認識処理がしやすいＬ＊ａ＊ｂ表示系やマンセル表示系等の表色系データフォーマットと、服装認識処理がしやすいＲＧＢデータフォーマットとに変換して、画像認識部１１５に入力するようにしてもよい。なお、画像認識部１１５からの依頼に応じて、指定されたフォーマットに変換して入力するようにしてもよい。
【００５４】
画像認識部１１５では、まず、服装アイテム認識部１１５１が、入力された画像データに対して画像認識処理を行う（ステップＳ１０２）。
【００５５】
服装アイテム認識部１１５１は、画像認識処理として、始めに画像データから人体ブロックを検出する処理を行う（ステップＳ１０２１：人体ブロック検出）。服装アイテム認識部１１５１は、例えば、画像データから被写体の顔となる部分を顔部ブロックとして検出してもよい。顔部ブロックの検出は、例えば、画像データで示される画像中に、円形に肌色が分布する部分かつ肌色部分の中央付近に２つの黒点（目）があるか否かを判定することにより行ってもよい。または、予めパタンマッチング用として登録されている顔画像データとの比較によるパタンマッチング等を行い、顔部分（顔部ブロック）を検出してもよい。
【００５６】
そして、検出した顔部ブロックを利用して、顔の下側にある領域から胸部および腹部となる部分を胴体部ブロックとしてパタンマッチング等により検出する。同様に、腹部の下側から細長く伸びる部分を脚部（脚部ブロック）としてパタンマッチング等により検出する。また、同様に、胸部の左右領域から細長く延びる部分を腕部（腕部ブロック）としてパタンマッチング等により検出する。なお、パタンマッチング用のデータは、データベース１１４に記憶しておくだけでなく、例えば、プログラムデータに埋め込んでおいてもよい。
【００５７】
次に、服装アイテム認識部１１５１は、各人体ブロックから当該人体ブロックの部位に装着される服装アイテムを検出する（ステップＳ１０２２：服装アイテム検出）。例えば、服装アイテム認識部１１５１は、頭部ブロックの画像データ（頭部ブロックとして検出された領域の画像データ）から、パタンマッチング等を行い帽子などの頭部ブロックに装着される服装アイテムを検出する。帽子には、野球帽、ニットキャップ、ハンティング帽等の種類が存在するため、ひさしの形状等に応じた複数種のパタンマッチングを行って、種類の判別までを含めた検出を行う。
【００５８】
同様に、例えば、胸部ブロックの画像データから、ジャケット、Ｔシャツ、セーター等の胸部ブロックに装着される服装アイテムを検出する。これらの種類は、肌色の分布状態から首や腕部の露出具合を検出し、ボタンの有無や形状等に応じた複数種のパタンマッチングを行って、検出すればよい。同様に、例えば、脚部ブロックの画像データから、スラックス、カーゴパンツ、スカート等の脚部ブロックに装着される服装アイテムを検出する。特に、スカートの場合には、人体ブロックにおいて胸部と脚部との判別が難しいが、頭部ブロックと胸部ブロックとを含めて全体における分布バランスや輪郭、色調・模様の不連続性を検出することで判別する。例えば、ワンピースやつなぎ等の服装アイテムは、胸部から脚部までの輪郭が連続していること、色調や模様が連続的であること等から判別できる。なお、色調について、後述する色調測定の結果をフィードバックして利用してもよい。また、模様について、後述する模様検出の結果をフィードバックして利用してもよい。
【００５９】
また、服装アイテム認識部１１５１は、後述する色調測定および模様検出の結果をフィードバックすることによって得られる同系色の変化に基づいて、各服装アイテムの素材についても判別してもよい。例えば、同系色の分布具合が明度の差をもって分布している場合にはシルクやナイロン、合皮等のつやのある素材、また、同系色の分布具合が明度の差および彩度をもちストライプ状に分布している場合にはコーディロイの素材というように、特徴を検出することで、各素材を判別してもよい。
【００６０】
また、服装アイテム認識部１１５１は、一般的に使用される色に基づいて、服装アイテムの種類を判別してもよい。例えば、脚部ブロックから服装アイテムとしてズボンを検出した場合に、該服装アイテムが単一でない（濃淡のある）藍色であれば、デニム（ジーンズ）であると判別してもよい。なお、さらに、すそや股部にオレンジ色の細い線の有無や、ポケットの縁取りの有無等によっても判別してもよい。また、例えば、胸部ブロックから服装アイテムとしてジャケットを検出した場合に、該服装アイテムが紺色で、左胸部に局所的な模様（エンブレム）があり、腹部に金色の点（ボタン）が縦に並んでいれば、ブレザーであると判別してもよい。また、例えば、胸部ブロックから服装アイテムとしてネクタイを検出した場合に、該服装アイテムが白色であれば、フォーマル用ネクタイであると判別してもよい。このように、検出した服装アイテムから、さらに特徴を検出することで、細目にわたる種類を判別することができる。なお、画像認識方法は、パタンマッチングに限らず、他の画像認識方法を使用してもよい。
【００６１】
次に、模様認識部１１５２は、服装アイテム認識部１１５１によって検出された各服装ブロックについて、該服装ブロックの画像データから同色、同系色の連続的な変化を抽出しパタンマッチングを行うことで、模様を検出する（ステップＳ１０２３：模様検出）。この模様検出の結果を、服装アイテム検出にフィードバックさせることで、服装アイテムの判別精度を向上させる。
【００６２】
服装アイテム検出および模様検出の結果は、クローゼットデータ（ユーザ所有服データ）として、データベース１１４のユーザ情報領域に格納してもよい。
【００６３】
次に、色相測定部１１５３、彩度測定部１１５４、明度測定部１１５５がそれぞれ色調測定処理を行う（ステップＳ１０３）。色相測定部１１５３、彩度測定部１１５４、明度測定部１１５５には、服装アイテム認識部１１５１で検出された服装アイテムの情報と、模様認識部１１５２で検出された服装アイテム別の模様の情報とが入力される。また、処理対象である画像データが入力される。ここで、例えば、画像データを色調認識処理がしやすいように、表色系データフォーマットに変換して入力するようにしてもよい。
【００６４】
色相測定部１１５３では、服装アイテム毎に色相を測定する（ステップＳ１０３１：色相測定）。また、色相測定部１１５３は、服装全体としての色相を示す情報として、各服装アイテム別の色相の平均値と主たる色相（最も多い領域に分布している色相）とを抽出する。さらに、服装アイテム内の模様毎に、色相を測定し、その平均値と主たる色相を抽出する。
【００６５】
彩度測定部１１５４では、服装アイテム毎に彩度を測定する（ステップＳ１０３２：彩度測定）。また彩度測定部１１５４は、色相測定部１１５３によって抽出された主たる色相が分布する領域の彩度を抽出する。さらに、服装アイテム内の模様毎に、彩度を測定し、その平均値をとったり、模様における主たる色相が分布する領域の彩度を主たる彩度として抽出する。
【００６６】
明度測定部１１５５では、服装アイテム毎に明度を測定する（ステップＳ１０３３：明度測定）。また、明度測定部１１５５は、色相測定部１１５３によって抽出された主たる色相が分布する領域の明度を抽出する。さらに、服装アイテム内の模様毎に、明度を測定し、その平均値をとったり、模様における主たる色相が分布する領域の明度を主たる明度として抽出する。
【００６７】
また、色相測定部１１５３、彩度測定部１１５４、明度測定部１１５５は、顔部ブロックから髪の色相、彩度、明度を測定してもよい。また、顔部ブロック、胸部ブロックおよび脚部ブロックから肌の色相、彩度、明度を測定してもよい。
【００６８】
次に、コーディネート処理部１１６の服装アイテム調和度判定部１１６１は、画像認識部１１５による服装アイテムの検出結果から示される服装アイテムの組み合わせについて、服装アイテムの種別に基づく調和度（アイテム調和度）を算出し、その善し悪しを判定する（ステップＳ１０４：服装アイテム調和度判定処理）。服装アイテム調和度判定部１１６１は、例えば、データベース１１４に記憶されている服装パターン情報を用いて、検出された服装アイテムの組み合わせに対するアイテム調和度の算出を行う。
【００６９】
図７は、服装パターン情報の例を示す説明図である。図７に示すように、一般に好まれる共通の感性や嗜好に即した服装の情報を、画像認識部１１５が認識する項目に対応するように登録してもよい。図７に示す例では、一般に好まれる共通の感性や嗜好に即した服装の組み合わせを１パターンとして扱い、各服装パターンを識別するための識別子とともに、その服装パターンを構成している服装アイテムの情報を登録している。例えば、人体ブロック別に該人体ブロックに装着される服装アイテムの種別や細目種別、色、素材といった情報を登録する。また、その服装アイテムが該当する人体ブロック全体においてどれだけの割合を占めているかといった分布割合の情報を含んでいてもよい。
【００７０】
また、このような服装パターンについての情報を、その服装パターンを着用する状況や用途等により分別してモード別に登録してもよい。例えば、”レギュラーモード”として、普段の服装に適した服装パターンを登録してもよい。また、例えば、”フォーマルモード”として、冠婚葬祭に適した適した服装パターンを登録してもよい。また、例えば、”公園モード”として、子どもやペットと公園にでかける際に適した服装パターンを登録してもよい。また、”お買い物モード”として、デパートや街中での買い物に適した服装パターンを登録してもよい。また、”流行モード”として最新のファッション情報による服装パターンを登録してもよい。なお、モードに季節による分類を含めてもよい。
【００７１】
服装パターン情報は、例えば、予めアンケートをとる等して判明した一般に好まれる格好を元に、オペレータに、画像認識部１１５で認識される項目一覧の中から該格好に一致するものを選択させることによって入力してもよい。また、例えば、その格好をした被写体を写した画像データを入力し、該画像データに対し、画像認識処理や色調測定処理を行った結果を、服装パターン情報として登録してもよい。
【００７２】
服装アイテム調和度判定部１１６１は、例えば、このようなモード別の服装パターン情報として登録されている各服装パターンを構成している服装アイテムの種別と、検出された服装アイテムの種別とを比較し、全服装アイテムに対して一致しているアイテムが占める割合を一致度として求め、それをアイテム調和度として算出してもよい。例えば、全ての服装アイテムが完全に一致している場合には、アイテム調和度は１００（％）としてもよい。また、例えば、５アイテムのうち１アイテムが異なっている場合には、アイテム調和度は８０（％）としてもよい。なお、１アイテム毎に細目種別や素材別に割り当てた重み（寄与率）を加味した一致度（一致していれば１００）を求めた後、アイテム数や各アイテムの人体ブロックにおける分布割合に応じた重みを加味して全体の一致度を求め、それをアイテム調和度としてもよい。なお、あるモードの服装パターン情報に複数の服装パターンが含まれている場合には、その中で最もアイテム調和度が高かった服装パターンについて判定結果を示すようにしてもよい。
【００７３】
服装アイテム調和度判定部１１６１は、求めたアイテム調和度が予め定めておいた基準を満たしているか否かを判断し（ステップＳ１０５）、満たしていればアイテム調和度の判定結果はＯＫであるとして、ステップＳ１０７の色調による調和度判定処理に進めばよい。一方、満たしていなければアイテム調和度の判定はＮＧであるとして、代替案を提案する（ステップＳ１０６）。服装アイテム調和度判定部１１６１は、アイテム調和度を算出する際に、どの服装アイテムが服装パターン情報のパターンと異なっているかを記憶しておき、異なっている服装アイテムを服装パターン情報の服装アイテムに変更することを示す変更服装アイテムリストを生成し、表示させてもよい。
【００７４】
例えば、下記のような変更服装アイテムリストを生成して、提案する。
・”レギュラーモード”＝アイテム調和度７０％，代替案：ジーンズ→スラックス
・”フォーマルモード”＝アイテム調和度３０％，代替案：ジーンズ→フォーマルスーツ、ネクタイ→フォーマルネクタイ
・”公園モード”＝アイテム調和度３０％，代替案：Ｙシャツ→トレーナ、ネクタイ→不要
・”お買い物モード”＝アイテム調和度７０％，代替案：ジーンズ→スラックス
・”流行モード”＝アイテム調和度１００％，代替案：なし
【００７５】
なお、調和度を判定する前に、ユーザに、比較対象とするモードを選択させてもよい。また、データベース１１４に記憶されているクローゼットデータから、服装パターン情報の服装アイテムと一致する代替服を検索して提示することも可能である。
【００７６】
ステップＳ１０７では、色調調和度判定部１１６２が、画像認識部１１５による服装アイテムの検出結果から示される服装アイテムの組み合わせについて、色調に基づく調和度（色調調和度）を算出し、その善し悪しを判定する（ステップＳ１０７：色調調和度判定処理）。色調調和度判定部１１６２は、例えば、データベース１１４に記憶されている色調パターン情報を用いて、検出された服装アイテムの組み合わせに対する色調調和度の算出を行う。
【００７７】
図８は、色調パターン情報の例を示す説明図である。図８に示すように、一般に好まれる共通の感性や嗜好に即した色調の組み合わせに関する情報を、画像認識部１１５が認識する項目に対応するように登録してもよい。図８に示す例では、一般に好まれる共通の感性や嗜好に即した色調の組み合わせを１パターンとして扱い、各色調パターンを識別するための識別子とともに、その色調パターンにおける主たる色相の情報やその色調パターンを構成している色調の情報を登録している。例えば、色調値（色相と彩度と明度とを組み合わせた値）や、分布割合、模様の有無、模様を一色調パターンとした際の色調パターンへのポインタといった情報を登録する。また、このような色調パターンについての情報を、その色調パターンの特徴により区分けしたモード別に登録してもよい。
【００７８】
色調調和度判定部１１６２は、例えば、このようなモード別の色調パターン情報として登録されている各色調パターンと、検出された色調データによって示される色調パターンとを比較し、色調パターンが一致している割合を色調調和度として算出してもよい。例えば、主たる色相・彩度・明度の組みによって示される主たる色調が最も一致している色調パターンを検索し、その色調パターンにおける色調（色相・彩度・明度の組み）の組み合わせ内容および分布割合によって示される色調の分布とどれだけ一致しているかを百分率で求めればよい。例えば、その組み合わせに含まれる色調値の種類毎に、色相と彩度と明度の差に応じた一致度（一致していれば１００）を求め、その一致度に対し分布割合に応じた重みを掛け合わせた上で、全体としての比率を求めたものを色調調和度としてもよい。なお、あるモードの色調パターン情報に複数の色調パターンが含まれている場合には、その中で最も色調調和度が高かった色調パターンについて判定結果を示すようにしてもよい。
【００７９】
色調調和度判定部１１６２は、求めた色調調和度が予め定めておいた基準を満たしているか否かを判断し（ステップＳ１０８）、満たしていれば色調調和度の判定結果はＯＫであるとして、ステップＳ１１０の結果表示に進めばよい。一方、満たしていなければアイテム調和度の判定結果はＮＧであるとして、代替案を提案する（ステップＳ１０９）。色調調和度判定部１１６２は、色調調和度を算出する際に、どのように色調を変更すれば色調調和度が１００（％）になるかを求めておき、その色調の変更の対象となった服装アイテムを変更後の色調を有する服装アイテムに変更する旨を示す変更服装アイテムリストを生成し、表示させてもよい。
【００８０】
例えば、検出結果が「グレーの帽子、黒いジャケット、白いブラウス、ショッキングピンクのスカート、黒い靴」であった場合、下記のような服装変更アイテムリストを生成して、提案する。
・”クラシックモード”＝色調調和度８０％，代替案：ショッキングピンクのスカート→黒のスカート
・”エスニックモード”＝色調調和度０％，代替案：−−
・”トロピカルモード”＝色調調和度０％，代替案：−−
・”エレガントモード”＝色調調和度６０％，代替案：グレーの帽子→白または黒の帽子、ショッキングピンクのスカート→黒のスカート
・”スポーティブモード”＝色調調和度０％，代替案：−−
【００８１】
なお、ステップＳ１１０では、試写体の服装アイテムの組み合わせについて、アイテム調和度も色調調和度も所定の基準を満たしている旨の判定結果を表示すればよい。なお、さらに高い調和度を得られる代替案が検出された場合には、その代替案を合わせて提示してもよい。
【００８２】
このように、本実施形態によれば、組み合わせると全体として一つの概念を形成する服装アイテムの組み合わせに対し、その組み合わせが一般に好まれる組み合わせであるか否かをユーザ以外の人手を介さずに判定することができるので、表示される判定結果に従ってユーザは服装をチェックし、調和のとれた服装に変更することで、一般に好まれる共通の感性に即した服装を身につけることができる。結果、周囲にそぐわない服装で奇異の目にさらされることを回避することができる。また、当該携帯端末１０が自動的に判定を行い代替案を提案することにより、ユーザが服装に迷う時間を短縮し、服装の選択にかける時間を最小限に縮めることができる。
【００８３】
なお、服装パターン情報および色調パターン情報は、例えば、本サービスを提供する事業者によってサーバに保存されていることを前提に、通信ＩＦ１０５を利用して携帯電話網やインターネット網などから受信して、データベース１１４に記憶させる。なお、事業者は、予めアンケートをとる等して判明した一般に好まれる格好やカラーコーディネートの知識を元に、オペレータに、画像認識部１１５で認識される項目一覧の中から該格好に一致するものを選択させることにより生成すればよい。また、例えば、その格好をした被写体を写した画像データを入力し、該画像データに対し、本発明と同等の画像認識処理や色調測定処理を行った結果を登録することにより生成できる。
【００８４】
また、アンテナ１０１、ＴＲＸ部１０２で使用する無線区間の送受信方式として、無線電話網だけでなく、無線ＬＡＮやＰＨＳ網を利用することも可能である。また、ＴＲＸ部１０２、ＭＯＤ部１０４で使用する有線区間の送受信方式として、ＬＡＮだけでなく、一般電話網、ＣＡＴＶ網を利用することも可能である。また、撮像部１０８は、ＣＭＯＳカメラではなく、ＣＣＤカメラによって実現されていてもよい。また、ユーザの入力方法として、キーボードやタッチパネル、マウス、タッチパッド、ペンタブレット等の操作入力部１１２を利用することも可能である。
【００８５】
また、上記説明では、デザイナー等が配色を検討する際に主に使用される表色系で調和度を判定する例を示しているが、ＹＣｂＣｒ等のデジタル画像データの表現フォーマットを用いることも可能である。
【００８６】
また、アイテム調和度判定や色調調和度判定において、模様検出処理で検出された模様の情報を判定材料に加えてもよい。また、判定結果の表示として、アイテム調和度判定の結果と色調調和度判定の結果とをまとめて表示してもよい。また、お互いの調和度の判定結果（代替案）をフィードバックしてもよい。
【００８７】
例えば、色調調和度判定において「ショッキングピンクのスカート」を「黒い水玉模様のスカート」に変更する旨の検討を行った場合に、「黒いジャケット」と「黒い靴」との調和度を判定した結果、以下のような代替案を提示することも可能である。
・”７０’ｓモード”＝調和度（総合）８０％，代替案：グレーの帽子→赤いリボン
【００８８】
また、色調測定における髪や肌の色調からパーソナルカラータイプ（スプリングタイプ，サマータイプ，・・・）等を判別して、該当するパーソナルカラーを対象にしたパターン情報を比較対象とすることで、パーソナルカラーにあった色調の服装を提案することも可能である。
【００８９】
また、代替案の提示方法として、テキスト表示だけでなく、アニメや写真などの事業者のネットワーク上のデータベースに登録されている画像データを利用してもよい。その際、コラージュ画像を生成して提示することも考えられる。
【００９０】
また、本実施の形態では、カメラ機能付きの携帯端末によって調和度判定装置を実現する例を示したが、本発明の調和度判定対象とする画像データは、当該調和度判定装置によって撮影された画像データに限らない。例えば、図９に示すようなネットワーク構成において、カメラを搭載した携帯端末５０４や、パーソナルコンピュータ（ＰＣ）５０５を用いて撮影した画像データを、メモリカードやＬＡＮ等を経由して取り込むことにより、例えば、ユーザ端末５０６によっても実現可能である。また、図３に示す例で端末内に用意していたデータベースを、データベースＡ（５０２）やデータベースＢ（５０３）のように携帯端末事業者のネットワーク５００やインターネット５０１上のサーバに設けることも可能である。
【００９１】
ユーザは、例えば、調和度を判定したい格好をした人が写っている画像データを、ネットワーク５００やインターネット５０１を介して、本発明による調和度判定装置を実現しているユーザ端末５０６に送信する。なお、ユーザ端末５０６は、例えば、当該ユーザが所有しているカメラが搭載されていない携帯端末であってもよい。
【００９２】
ユーザ端末５０６は、例えば、ＬＡＮ−ＩＦ１０３を介してインターネット５０１からその画像データを受信し、メモリ１１３に格納する。なお、アンテナ１０１およびＴＲＸ部１０２を介してネットワーク５００からその画像データを受信し、メモリ１１３に格納してもよい。
【００９３】
また、一般的なデジタルカメラを用いて撮影した画像データを、可搬メモリ（ＳＤカード等）に記憶させて、当該可搬メモリをメモリカードＩＦ１１７に接続（挿入）させることにより、該メモリカードＩＦ１１からその画像データを読み込み、メモリ１１３に格納してもよい。
【００９４】
画像認識処理では、メモリ１１３から判定対象とする画像データを読み込んで、同様の処理を行えばよい。なお、パタンマッチング用のデータがネットワーク上のデータベースＡやデータベースＢにある場合には、必要に応じてその都度、通信ＩＦ１０５を制御し、ＬＡＮ−ＩＦ１０３やアンテナ１０１およびＴＲＸ部１０２を介して該データベースにアクセスすればよい。
【００９５】
また、画像データを読み出した際に、調和度判定装置を実現している携帯端末やユーザ端末の内蔵時計や、インターネット上のＮＴＰ（Network Time Protocol ）を利用して現在の日付を読み出し、春夏秋冬を判別することにより、季節にあわせた服装による判定および提案を行うことも可能である。例えば、画像データを読み出したときの日付が４月５日であった場合には、現在の季節は春であると判別し、検出された服装アイテムにダウンジャケットが含まれていた場合には、スプリングコート等を代替として提案するよう、服装パターン情報を生成しておけばよい。なお、服装パターン情報とは別に、季節に合致する服装アイテムの種別の情報を保持しておき、その情報に基づき代替候補とする服装アイテムを決定してもよい。
【００９６】
また、例えば、事業者サーバのデータベースに天気情報を格納するようにし、画像データを読み出した際に現在の天気情報を読み出すことにより、天気に合わせた服装を提案することも可能である。例えば、服装パターン情報に含める各服装アイテムの情報に、天候による使用可否を示す情報を含めて、その情報を加味して調和度を判定すればよい。なお、服装パターン情報とは別に、天気に応じて着用不可とする服装アイテムの情報を保持しておき、その情報に基づき代替候補とする服装アイテムを決定してもよい。
【００９７】
なお、上記実施形態では、調和度を判定する対象としてユーザの着衣に主眼をおいて説明をしているが、建物の外観、家屋周り等のエクステリアや室内インテリアのように、複数の商品を組み合わせて全体として１つの物や空間を構成するものを対象にすることも可能である。なお、この場合において、例えば、色調調和度判定であれば、その物や空間を構成するアイテムが既知でなくても、画像データを色調の分布に基づき分割したものを１アイテムとすることで、全体の調和度判定に応用することが可能である。
【産業上の利用可能性】
【００９８】
本発明は、ユーザの着衣に限らず、ユーザが複数の商品を組み合わせて全体として１つの物や空間を構成するものであって、それを画像データに納めることができるものであれば、例えば、建物の外観、家屋周り等のエクステリアや室内インテリア等に対しても、その組み合わせに対するバランスの善し悪しを判定することができる。
【図面の簡単な説明】
【００９９】
【図１】本発明による調和度判定装置の構成例を示すブロック図である。
【図２】本発明による調和度判定装置の他の構成例を示すブロック図である。
【図３】調和度判定装置のより具体的な構成例を示すブロック図である。
【図４】画像認識部１１５のより具体的な構成例を示す説明図である。
【図５】コーディネート処理部１１６のより具体的な構成例を示す説明図である。
【図６】本実施形態における調和度判定動作の一例を示すフローチャートである。
【図７】服装パターン情報の例を示す説明図である。
【図８】色調パターン情報の例を示す説明図である。
【図９】本発明による調和度判定装置を含むネットワーク構成の例を示す説明図である。
【符号の説明】
【０１００】
１０  調和度判定装置
１１  アイテム検出部
１２  アイテム調和度判定部
１３  色調測定部
１４  色調調和度判定部
１０１  アンテナ
１０２  ＴＲＸ部
１０３  ＬＡＮ−ＩＦ
１０４  ＭＯＤ部
１０５  通信ＩＦ
１０６  制御部
１０７  画像処理部
１０８  撮像部
１０９  表示処理部
１１０  表示部
１１１  入力処理部
１１２  操作入力部
１１３  メモリ
１１４  データベース
１１５  画像認識部
１１５１  服装アイテム認識部
１１５２  模様認識部
１１５３  色相測定部
１１５４  彩度測定部
１１５５  明度測定部
１１６  コーディネート処理部
１１６１  服装アイテム調和度判定部
１１６２  色調調和度判定部
【図１】
2009266166.tif 000003
【図２】
2009266166.tif 000004
【図３】
2009266166.tif 000005
【図４】
2009266166.tif 000006
【図５】
2009266166.tif 000007
【図６】
2009266166.tif 000008
【図７】
2009266166.tif 000009
【図８】
2009266166.tif 000010
【図９】
2009266166.tif 000011