(57)【要約】      （修正有）【課題】ユーザ１人に対して、似合う色のグループが複数になった場合に、複数のグループに属する色と衣服の色を比較する装置を提供する。【解決手段】撮像手段が撮影した画像から顔領域を検出する顔検出手段と、顔領域から少なくとも目、口の器官を検出する器官検出手段と、すくなくとも髪色、目の色、唇の色、頬の色、肌色を検出する器官色検出手段と、予め分類された複数のカラーリストを記憶するカラーリスト記憶手段と、器官色検出手段が検出した各器官の色により、予め分類された複数のカラーリストの中で最もユーザに似合うカラーリストを判断するカラー診断手段と、顔の下にある衣服の色を検出する衣服色検出手段と、内部もしくは外部の装置で衣服色検出手段により検出した色とカラー診断手段により判断したカラーリストに含まれる色を比較し、閾値以内の色であれば同色と判断する色情報比較手段と、を有することを特徴とする。【選択図】図１
2019005093.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
撮像手段が撮影した画像から顔領域を検出する顔検出手段と、
前記顔検出手段が検出した顔領域から少なくとも目、口の器官を検出する器官検出手段と、
内部もしくは外部の装置で前記器官検出手段が検出した器官の位置結果を元に、すくなくとも髪色、目の色、唇の色、頬の色、肌色を検出する器官色検出手段と、
予め分類された複数のカラーリストを内部もしくは外部の記憶装置に記憶するカラーリスト記憶手段と、
内部もしくは外部の装置で前記器官色検出手段が検出した各器官の色により、予め分類された複数のカラーリストの中で最もユーザに似合うカラーリストを判断するカラー診断手段と、
内部もしくは外部の装置で前記顔検出手段が検出した顔領域により顔の下にある衣服の色を検出する衣服色検出手段と、
内部もしくは外部の装置で前記衣服色検出手段により検出した色と前記カラー診断手段により判断したカラーリストに含まれる色を比較し、閾値以内の色であれば同色と判断する色情報比較手段と、
を有することを特徴とする装置。
【請求項２】
前記色情報比較手段が比較した結果、同色と判断した色があった場合には似合う、同色がなかった場合には似合わないと結果を表示する表示手段を有することを特徴とする請求項１に記載の装置。
【請求項３】
撮影した画像もしくは、別の撮像装置により撮影された画像を入力として、顔を検出する顔検出手段と、
顔検出手段が検出した顔領域から少なくとも目、口の器官を検出する器官検出手段と、
ＵＩによるユーザ選択もしくは、個人認証によるユーザ認証手段と、
予め分類された複数のカラーリストを内部もしくは外部の記憶装置に記憶するカラーリスト記憶手段と、
内部もしくは外部の装置で前記器官検出手段が検出した器官の位置結果を元に、すくなくとも髪色、目の色、唇の色、頬の色、肌色を検出する器官色検出手段と、
内部もしくは外部の装置で前記器官色検出手段が検出した各器官の色により、予め分類された複数のカラーリストの中で最もユーザに似合うカラーリストを判断するカラー診断手段と、
内部もしくは外部の装置で前記器官色検出手段が検出した同一ユーザの器官の色の組合せと前記カラー診断手段が判断したカラーリストを関連付けて複数管理するカラーリスト管理手段と、
内部もしくは外部の装置で前記カラーリスト管理手段が管理する複数のカラーリストの全部もしくは１つ以上のカラーリストを選択し、選択したカラーリストに含まれる色と前記衣服色検出手段により検出した色とを比較し、閾値以内の色であれば同色と判断する色情報比較手段と、
を有することを特徴とする装置。
【請求項４】
前記カラーリスト記憶手段は、ユーザが嫌いな色の削除や、好きな色、ユーザが所有する服に少ない色の情報により優先度を付ける、カラーリストを編集して記憶する記憶手段を有することを特徴とする請求項１又は請求項３に記載の装置。
【請求項５】
前記衣服色検出手段は、前記顔検出手段が検出した顔領域により顔の下にある衣服の色を検出する、もしくは、外部装置で管理するユーザの衣服から色情報を取得する、もしくは、外部装置で管理する商品データベースの衣服から色情報を取得する手段を有することを特徴とする請求項３に記載の装置。
【請求項６】
前記色情報比較手段が比較した結果、同色と判断した色が無かった場合には、どのメイクにも似合わないと表示する、同色と判断した色があった場合には、その色が含まれるカラーリストに関連付けされている顔画像を表示する表示する手段を有することを特徴とする請求項３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、髪のカラーリングやウィッグ、カラーコンタクトを含むいろいろなメイクをするユーザに対して、そのユーザに似合う色を判定し、ユーザに衣服に関する提案をする技術に関する。
【背景技術】
【０００２】
従来、ユーザの素肌、瞳の色、髪の色、頬の色等を入力として、そのユーザの顔色を綺麗に見せてくれる色、つまり似合う色のグループを提案するパーソナルカラー診断という技術がある（特許文献１）。
【０００３】
また、そのパーソナルカラー診断のアルゴリズムを用いて、ユーザに似合うメイクを提案する技術がある（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２３２５７６号公報
【特許文献２】特開２０１０−２１１３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、１人のユーザが髪のカラーリングを変えたりウィッグを付けたり、カラーコンタクトを入れたり、チーク、口紅を変えることで、似合う色のグループが変化することを想定していない。そのため、１人のユーザに対して上記の入力条件を変える仕組みもない。
【０００６】
また、髪色等の入力条件を変化させ診断した結果、ユーザに似合う色のグループが変化し、ユーザ１人に対して、似合う色のグループが複数になった場合に、複数のグループに属する色と衣服の色を比較する仕組みもなかった。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明に係る装置は、
撮像手段と、
撮像手段が撮影した画像から顔領域を検出する顔検出手段と、
前記顔検出手段が検出した顔領域から少なくとも目、口の器官を検出する器官検出手段と、
内部もしくは外部の装置で前記器官検出手段が検出した器官の位置結果を元に、すくなくとも髪色、目の色、唇の色、頬の色、肌色を検出する器官色検出手段と、
予め分類された複数のカラーリストを内部もしくは外部の記憶装置に記憶するカラーリスト記憶手段と、
内部もしくは外部の装置で前記器官色検出手段が検出した各器官の色により、予め分類された複数のカラーリストの中で最もユーザに似合うカラーリストを判断するカラー診断手段と、
内部もしくは外部の装置で前記顔検出手段が検出した顔領域により顔の下にある衣服の色を検出する衣服色検出手段と、
内部もしくは外部の装置で前記衣服色検出手段により検出した色と前記カラー診断手段により判断したカラーリストに含まれる色を比較し、閾値以内の色であれば同色と判断する色情報比較手段と、
を有することを特徴とする。
【発明の効果】
【０００８】
本発明に係る装置によれば、ユーザのメイク等（髪のカラーリングやカラーコンタクト、日焼けを含む）の変化により似合う色のグループが変化することを考慮し、似合う色のグループをメイクと関連付けて複数管理することで、簡単に、ユーザがするメイクに似合う衣服かどうかを提案できる。
【図面の簡単な説明】
【０００９】
【図１】実施例１のシステム構成図
【図２】カラーリスト例
【図３】実施例１のフローチャート
【図４】実施例２のシステム構成図
【図５】実施例２のメイクとカラーリストの関連表
【図６】実施例２のフローチャート
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１１】
＜概要＞
本実施形態の装置はウェアラブルカメラであり、お店で買いたい服の試着時に現在のメイクに似合う服なのかを確認するユースケースを使って装置の説明をする。
【００１２】
ユーザが現在しているメイクに似合う色のグループを判定し、試着している服の色が判定したグループ内に含まれる色かを判断する。含まれる色であれば似合う服、含まれなければ似合わない服と判定し、その判定結果を表示する。そのための構成と処理の流れを以下に説明する。
【００１３】
＜ハードウェア構成＞
図１は本実施形態における撮像装置１０００のハードウェア構成を示すブロック図である。
【００１４】
各サブブロックは、バス１００１を介して電気的に接続されている。
【００１５】
本実施形態は以下のサブブロックで構成される。
画像やメニューの選択等の操作をするためのボタンやレバー等の操作部１００４。
操作部１００４からの指示やプログラムされた制御シーケンスを実行するＣＰＵ等の制御部１００２を有している。
画像やメニュー等を表示する液晶ディスプレイ等の表示部１００６。
画像や処理中のデータ等を保存するためのＤＲＡＭ等の作業メモリ１００７。
ＪＰＥＧ等の圧縮、伸長、画像の切り出し、リサイズ等を行う画像処理部１００８。
画像や画像に付随するデータを保存しておく記録媒体１００５。
画像を撮像する撮像部１００３。
画像から顔の領域を検出する顔検出部１００９。
顔検出結果を元に、頭髪、瞳、唇、頬の位置を検出する器官検出部１０１０。
器官検出結果を元に、頭髪、瞳、唇、頬、肌の色を検出する器官色検出部１０１１。
検出した頭髪、瞳、唇、頬、肌の色を元に、ユーザに似合う色のグループを判定するカラー診断部１０１２。
【００１６】
本実施形態では、横軸が色相で縦軸がトーンとなっているＰＣＣＳチャートを使い、図２の（ａ）、（ｂ）、（ｃ）、（ｄ）のように４つのグループに分け、それぞれのグループに含まれる色には丸を付けて表現した。
グループに含まれる複数の色をカラーリストと呼び、図２の（ａ）、（ｂ）、（ｃ）、（ｄ）に対応したカラーリストをカラーリストＡ，Ｂ，Ｃ，Ｄと定義する。
これらのカラーリストＡ，Ｂ，Ｃ，Ｄは記録媒体１００５記録する。
顔を検出した位置を元に、顔の下にある衣服の色を検出する衣服色検出部１０１４。
ユーザに似合うと判定したカラーリスト内の色と衣服の色を比較し、一致する色を検出する色情報比較部１０１３。
【００１７】
＜現在のメイクに似合う衣服なのか確認するシーケンス＞
図３のフローチャートを使用して処理の流れを説明する。
【００１８】
（Ｓ３００１）ユーザは操作部１００４を操作し、撮影の指示をする。制御部１００２はそれに伴い撮像部１００３を制御し、撮像部１００３は撮影する。撮影時に画像処理部１００８はホワイトバランスの補正をする。ホワイトバランスを補正する方法は公知の方法を用いることができるため説明を省略する。
【００１９】
（Ｓ３００２）制御部１００２は撮影画像を顔検出部１００９に入力し、顔検出部１００９は画像から顔領域を抽出する。
【００２０】
（Ｓ３００３）制御部１００２は顔領域を、器官検出部１０１０に入力し、器官検出部１０１０は頭髪、瞳、唇、頬の各部位の位置を検出する。器官検出に関して、様々な公知のアルゴリズムが知られており、これらの方法を用いて、目頭、目尻、黒目の境界、眉頭、眉尻、小鼻、口角、唇の略中央部、顔の輪郭、頭髪部が抽出できる。
【００２１】
（Ｓ３００４）制御部１００２は顔領域と頭髪、瞳、唇、頬の各部位の位置を器官色検出部１０１１に入力し、頭髪、瞳、唇、頬、肌の色を抽出する。
【００２２】
（Ｓ３００５）制御部１００２はカラー診断部１０１２に頭髪、瞳、唇、頬、肌の色を入力し、カラー診断部１０１２はカラーリストＡ、Ｂ、Ｃ、Ｄのいずれのカラーリストが似合うのか判定する。頭髪、瞳、唇、頬、肌の色から似合う色のグループを診断する方法自体は公知のパーソナルカラー診断の技術を用いることができるため、詳細の説明を割愛する。本実施例では、公知の分類方法である、似合う色を４つのグループに分けて、どのグループが似合う色なのかを判定する例で説明する。
【００２３】
（Ｓ３００６）制御部１００２は衣服色検出部１０１４に撮影画像と顔位置を入力し、衣服色検出部１０１４は、顔の下にある衣服の色情報を検出する。顔位置を基準にユーザの肌の色情報と閾値以内の色を首と判断し、閾値以上の色になる所を衣服の領域と判断する。衣服（トップス）の領域の色情報を検出する。色情報は例えば、ＲＧＢ等である。
柄がある場合等、色が複数含まれる場合もあるため、その場合にはヒストグラムの結果から、多く含まれる色情報を選択する。
【００２４】
（Ｓ３００７）制御部１００２は色情報比較部１０１３に衣服の色情報とカラーリストを入力し、色情報比較部１０１３は衣服の色と診断結果のカラーリスト内の色を比較する。予めシステムで決めておいた閾値以内の色情報の差であれば同じ色と判断する。
例えば、Ｓ３００５でカラーリストＡと診断された場合には、図２の（ａ）のカラーリストの丸がついている色と比較する。
【００２５】
（Ｓ３００８）制御部１００２は色情報比較部１０１３の結果により、一致する色があった場合には、似合うと判断し、表示部１００６に似合うと表示する。一致する色がなかった場合には、似合わないと判断し、表示部１００６に似合わないと表示する。
【００２６】
なお、本実施例では、似合う、似合わないかを判断して表示したが、似合わなかった場合に、店舗の服データと連携して、試着した服のカラーバリエーションを確認し、その中で似合う色を検索して提案してもよい。また、本実施例では、カラーリストは固定の例で説明したが、ユーザが嫌いな色を削除したり等、編集する機能を搭載してもよい。さらに、ユーザが好きな色や、手持ちの服で少ない色など、カラーリストの色に優先度を付け、その順で提案してもよい。
【００２７】
また、本実施例では、カラー診断を撮像装置内で実施する例で書いたが、衣服の色と、頭髪、瞳、唇、頬の色をネットワークに接続したサーバへ送信し、サーバでカラー診断を実行し、診断結果のみを受信するような構成でも良い。
【実施例２】
【００２８】
＜概要＞
本実施形態ではウェアラブルカメラであり、お店で買いたい服の試着時にどのメイクに似合う服なのかを確認たり、家で今日着ていく服を決めて、その服に似合うメイクを確認するようなユースケースを使って装置の説明をする。
【００２９】
ユーザ登録をし、ユーザに１種類以上のメイクを登録してもらい、その時に、そのメイクに似合う色（カラーリスト）を判定しメイクとカラーリストを関連付けして登録しておく。１つ以上登録されているカラーリストに含まれる色と、ユーザが現在着ている服の色を比較する。一致する色が含まれるカラーリストに関連するメイクを似合うメイク、一致する色が含まれないカラーリストに関連するメイクを似合わないメイクと判断し、その判断結果を表示する。そのための構成と処理の流れを以下で説明する。
【００３０】
＜ハードウェア構成＞
図４は本実施形態における撮像装置４０００のハードウェア構成を示すブロック図である。
【００３１】
実施例１で説明した図１のシステム構成図との差分のみ説明する。
【００３２】
ユーザにより登録された個人認証データを用いて撮影画像中の顔と同一人物かどうか認証する個人認証部４０１５。
【００３３】
＜ユーザがするメイクの登録シーケンス＞
図６の（ａ）のフローチャートを使用して処理の流れを説明する。
【００３４】
（Ｓ６１０１）ユーザは操作部４００４を操作し、メイクを登録するモードを選択する。
【００３５】
（Ｓ６１０２）制御部４００２はそれに伴い、撮像部４００３を制御し、撮像部４００３は撮影する。撮影時にホワイトバランスの補正をする。ホワイトバランスを補正する方法は公知の方法を用いることができるため説明を省略する。
【００３６】
（Ｓ６１０３）制御部４００２は撮影画像を顔検出部４００９に入力し、顔検出部４００９は画像から顔領域を抽出する。
【００３７】
（Ｓ６１０４）制御部４００２は顔領域を個人認証部４０１５へ入力し、個人認証部４０１５はユーザ認証をする。
【００３８】
（Ｓ６１０５  認証失敗）ユーザ認証を失敗した場合には、リトライのためＳ６１０２からやり直す。
【００３９】
（Ｓ６１０５  認証成功）ユーザ認証が成功した場合には、ユーザのメイクを登録するため、Ｓ６１０６へ。
【００４０】
（Ｓ６１０６）制御部４００２は顔領域を、器官検出部４０１０に入力し、器官検出部４０１０は頭髪、瞳、唇、頬の各部位の位置を検出する。
【００４１】
（Ｓ６１０７）制御部４００２は顔領域と髪、瞳、唇、頬の各部位の位置を器官色検出部４０１１に入力し、頭髪、瞳、唇、頬、肌の色を検出する。
【００４２】
（Ｓ６１０８）制御部４００２はカラー診断部４０１２に頭髪、瞳、唇、頬、肌の色を入力し、カラー診断部４０１２はカラーリストＡ、Ｂ、Ｃ、Ｄのいずれのカラーリストが似合うのか診断を行う。頭髪、瞳、唇、頬、肌の色から似合う色のグループを診断する方法自体は公知のパーソナルカラー診断の技術を用いることができるため、詳細の説明を割愛する。本実施例では、公知の分類方法である、似合う色を４つのグループに分けて、どのグループが似合う色なのかを判定する例で説明する。
【００４３】
（Ｓ６１０９）制御部４００２はカラー診断結果のカラーリストを図５のように、メイクとカラーリストを関連させてテーブルとして登録し、テーブルを記録媒体４００５に保存する。また、どのようなメイクだったのかを残すために、顔領域の画像も関連付けて保存する。
【００４４】
図５は記録される管理テーブルの例であり、メイクが１〜４パターンの４種類が登録されている場合である。
【００４５】
パターン１のメイクの場合は診断結果がカラーリストＡであり、登録時の顔領域をＡ．ｊｐｇとして関連付けしている。同様にパターン２のメイクの場合は、診断結果がカラーリストＢ、登録時の顔領域がＢ．ｊｐｇ。パターン３のメイクの場合は診断結果がカラーリストＡ、登録時の顔領域がＡ２．ｊｐｇ。パターン４のメイクの場合は診断結果がカラーリストＤ、登録時の顔領域がＤ．ｊｐｇである。
【００４６】
＜着ている服が登録済みメイクに似合うのか似合わないのか判断をするシーケンス＞
図６の（ｂ）のフローチャートを使用して処理の流れを説明する。
【００４７】
（Ｓ６２０１）ユーザは操作部４００４を操作し、撮影の指示をする。制御部４００２はそれに伴い撮像部４００３を制御し、撮像部４００３は撮影する。撮影時に画像処理部４００８はホワイトバランスの補正をする。ホワイトバランスを補正する方法は公知の方法を用いることができるため説明を省略する。
【００４８】
（Ｓ６２０２）制御部４００２は撮影画像を顔検出部４００９に入力し、顔検出部４００９は顔領域を抽出する。
【００４９】
（Ｓ６２０３）制御部４００２は顔領域を個人認証部４０１５へ入力し、個人認証部４０１５はユーザ認証をする。
【００５０】
（Ｓ６２０４  認証失敗）ユーザ認証を失敗した場合には、リトライのためＳ６２０２からやり直す。
【００５１】
（Ｓ６２０４  認証成功）ユーザ認証が成功した場合には、服を検出するため、Ｓ６２０５へ。
【００５２】
（Ｓ６２０５）制御部４００２は衣服色検出部４０１４に撮影画像と顔領域を入力し、衣服色検出部４０１４は、顔下にある衣服の色情報を検出する。顔位置を基準にユーザの肌の色情報と閾値以内の色を首と判断し、閾値以上の色になる所を衣服の領域と判断する。衣服（トップス）の領域の色情報を検出する。色情報は例えば、ＲＧＢ等である。
柄がある場合等、色が複数含まれる場合もあるため、その場合にはヒストグラムの結果から、多く含まれる色情報を使う。
【００５３】
（Ｓ６２０６）制御部４００２は色情報比較部４０１３に衣服の色と登録済みのカラーリストを入力し、色情報比較部１０１３は衣服の色情報と各カラーリスト内の色を比較する。予めシステムで決めておいた閾値以内の色情報の差であれば同じ色と判断する。例えば、図５のテーブルのようにカラーリストＡ，Ｂ，Ｃが登録されている場合には図２の（ａ）、（ｂ）、（ｄ）のテーブルで丸がついている色情報と比較する。
【００５４】
（Ｓ６２０７）比較した結果、同じ色と判断された色が無かった場合には、どのメイクにも似合わないと表示する。同じ色と判断された色があった場合には、その色が含まれるカラーリストに関連付けされている顔画像を表示する。例えば、色情報がＶの色相で２のトーンだった場合は（ａ）、（ｄ）に属するため、図５の管理テーブルより、カラーリストＡ，Ｄに関連付けされているメイク登録時の顔画像である、Ａ．ｊｐｇ、Ａ２．ｊｐｇ、Ｄ．ｊｐｇを表示する。
【００５５】
なお、本実施の形態では、ユーザ認証を自動で個人認証する例で書いたが、メニューからユーザを選択してユーザを特定してもよい。また、本実施の形態では、ユーザが登録した全メイクに対して比較する例で書いたが、ユーザに１種類以上のメイクを選択させても良い。なお、本実施例では本システム内でユーザの服の色を取得する構成で書いたが、服を管理するクローゼットアプリ等と連携して、アプリから色情報を取得して、比較を実施する構成でもよい。また、服はユーザの所有する服だけでなく、商品のデータベースと連携して、ネットでの買い物時に比較を実施する構成でもよい。
【符号の説明】
【００５６】
１０００  撮像装置、１００１  バス、１００２  制御部、１００４  操作部
【図１】
2019005093.tif 000003
【図２】
2019005093.tif 000004
【図３】
2019005093.tif 000005
【図４】
2019005093.tif 000006
【図５】
2019005093.tif 000007
【図６】
2019005093.tif 000008