(57)【要約】【課題】知人等と被らないようにコーディネートを支援する撮像装置を提供すること。【解決手段】撮影する撮像手段と、前記撮像手段により撮像した画像を用いて個人認証する個人認証手段と、前記撮影した画像を２つ以上のパーツに分けて検出するパーツ検出手段と、検出したパーツ毎に特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出した特徴量を格納する特徴量格納手段と特徴量格納手段によりあらかじめ格納された特徴量と前記特徴量抽出手段により抽出された特徴量を比較する特徴量比較手段と特徴量比較手段による比較結果を通知する通知手段と、を有することを特徴とする。【選択図】図１
2016122305.tif 000002
【特許請求の範囲】
【請求項１】
撮影する撮像手段と、
前記撮像手段により撮像した画像を用いて個人認証する個人認証手段と、
前記撮影した画像を２つ以上のパーツに分けて検出するパーツ検出手段と、
検出したパーツ毎に特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出した特徴量を格納する特徴量格納手段と
特徴量格納手段によりあらかじめ格納された特徴量と前記特徴量抽出手段により抽出された特徴量を比較する特徴量比較手段と
特徴量比較手段による比較結果を通知する通知手段
を有することを特徴とする撮像装置。
【請求項２】
前記特徴量比較手段の比較結果により比較した２つのパーツが類似すると判断し、関連付けし登録する類似登録手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特徴量検出手段は色と柄を特徴量として抽出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記パーツ検出手段は人体検出を用いて、上半身と下半身を検出するパーツ検出手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記パーツ検出手段で検出した上半身と下半身と、前記特徴量検出手段で検出した特徴量により上半身と下半身の画像を比較し、特徴量が閾値以上であれば、トップスとボトムとして分類し、特徴量が閾値以下であれば、ワンピースと分類することを特徴とする請求項１に記載の撮像装置。
【請求項６】
ユーザが前記候補パーツから類似しているもしくはしていないを選択し確定する類似確定手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項７】
人物をキーに類似していると関連付けされているパーツを検索する類似パーツ検索手段
を有することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の撮影及び再生する装置に関し、特に、服飾品を撮影した画像の管理し、ファッションコーディネイトを支援するための技術に関する。
【背景技術】
【０００２】
従来、ユーザ自身の所持する服飾品を登録、管理し、日々のコーディネートを支援するアプリケーションはあった(特許文献１) 。しかし、ユーザやユーザの知人等の所持する服飾品の類似を検出し、関連付けして管理できるような技術はなかった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１３４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
流行の服の場合や好みが似ている場合など、友達と同じもしくは似たような服を持っている場合にコーディネートが被ってしまうことがある。
【０００５】
そこで、本発明の目的は、知人等と被らないようにコーディネートを支援する撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の撮像装置は、
撮影する撮像手段と、
前記撮像手段により撮像した画像を用いて個人認証する個人認証手段と、
前記撮影した画像を２つ以上のパーツに分けて検出するパーツ検出手段と、
検出したパーツ毎に特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出した特徴量を格納する特徴量格納手段と
特徴量格納手段によりあらかじめ格納された特徴量と前記特徴量抽出手段により抽出された特徴量を比較する特徴量比較手段と
特徴量比較手段による比較結果を通知する通知手段と
を有することを特徴とする。
【発明の効果】
【０００７】
本発明の撮像装置によれば、ユーザと知人等の所持する服飾品の類似を検出、関連付けし管理することで、知人等と被らないように服をコーディネートできる。
【図面の簡単な説明】
【０００８】
【図１】実施例１のハードウェア構成図
【図２】実施例１のフローチャート
【図３】実施例１のフローチャート２
【図４】実施例１の管理テーブル
【図５】実施例２のフローチャート
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１０】
［実施例１］
＜ハードウェア構成＞
図１は本実施形態における撮像装置１０００のハードウェア構成を示すブロック図である。各サブブロックは、バス１００１を介して電気的に接続されている。
【００１１】
本実施形態は以下のサブブロックで構成される。画像やメニューの選択等の操作をするためのボタンやレバー等の操作部１００４、画像やメニュー等を表示する液晶ディスプレイ等の表示部１００６、画像や処理中のデータ等を保存するためのDRAM等の作業メモリ１００７、ＪＰＧ等の圧縮、伸長、画像の色の比較、画像のパターンマッチングを行う画像処理部１００８、画像や画像に付随するデータを保存しておく記録媒体１００５、画像を撮像する撮像部１００３。
【００１２】
登録された個人認証データを用いて撮影画像中の顔と同一人物かどうか認証する個人認証部１００９。人間の体の部分を検出する、人体検出部１０１０。操作部１００４からの指示やプログラムされた制御シーケンスを実行するＣＰＵ等の制御部１００２を有している。
【００１３】
＜概要＞
撮像装置１０００は本実施形態ではウェアラブルカメラである。ユーザ所持の服飾品は、購入する時の試着時や日常生活での服の試着時等に、撮影し、服飾品を検出し、登録する。ユーザはウェアラブルカメラを装備し、知人と対面した時に知人の服飾品を検出し、登録する。
【００１４】
検出した知人の服飾品はユーザ所持の服飾品と類似するかマッチングし、類似すると判定された服飾品はユーザの服飾品と関連付けして登録する。ユーザ及び知人の服飾品に関するデータは図４の管理テーブルに登録し管理する。これらの収集した服飾品のデータは会う予定の知人を選択し、選択した知人と類似するユーザの服飾品を通知することで、ユーザが服をコーディネートする時に使用する。
【００１５】
＜ユーザ所持の服飾品と知人所持の服飾品の類似関係を登録するフロー＞
知人と会った時に知人の所持する服飾品を検出して、ユーザ所持の服飾品との類似をマッチングして関連付けするフローについて図２と図４を使って説明する。なお、本フローは知人に会うたびに実行される。まずは図４の管理テーブルについて説明する。
【００１６】
図４はユーザと知人Aさんの所持する服飾品であるトップス、ボトム、ワンピースを管理する管理テーブルの例である。ユーザのトップスは（ａ１）、ボトムは（ａ２）、ワンピースは（ａ３）、Ａさんのトップスは（ｂ１）、ボトムは（ｂ２）、ワンピースは（ｂ３）に対応している。
【００１７】
各管理テーブルで管理する情報は、以下である。各服飾品に付ける固有番号であるID、各服飾品の全体画像、柄がある場合には服飾品の一部をアップで保存した詳細画像、色相、彩度、明度の色情報、柄の有無の柄情報、データを登録した登録日、どの服飾品どうしが類似しているのかを関連付けするために、各服飾品のIDを登録する関連情報。以上の各管理テーブルは本実施例では記録媒体１００５に保存される。
【００１８】
（Ｓ２１０１）ユーザは操作部１００４を操作し、類似関係を登録するモードを選択する。
（Ｓ２１０２）制御部１００２は撮像部１００３を制御し、定期的に撮像し、画像を個人認証部１００９に入力する。
（Ｓ２１０３）個人認証部１００９は画像から顔を検出し、登録された知人と個人認証する。
（Ｓ２１０４  認証失敗）知人の認証が失敗した（顔検出に失敗した場合も含む）場合、Ｓ２１０２へ進む。
【００１９】
（Ｓ２１０４  認証成功）知人と認証された場合、Ｓ２１０５へ進む。
（Ｓ２１０５）撮像部１００３で撮像した画像を人体検出部１０１０に入力し、上半身と下半身を検出する。制御部１００２は上半身をトップス、下半身をボトムとして２つのパーツに分類する。
（Ｓ２１０６）制御部１００２は、人体検出部１０１０で検出した結果を元に、トップスとボトムの領域を画像処理部１００８に入力する。
【００２０】
画像処理部１００８は、各パーツ内の複数部分を抽出して、それぞれの色を比較し、色相、彩度、明度の差分が閾値以上あることなどにより柄の有無を判定する。また、パーツ内の一部を抽出し、パーツの領域内でパターンマッチングを行い、繰り返し柄の有無の判定をする。
【００２１】
（Ｓ２１０７）制御部１００２はトップスとボトムの色相、彩度や明度の差を比較と、柄の有無を比較する。
（Ｓ２１０８  ＹＥＳ）制御部１００２はトップスとボトムを比較した結果、閾値以内の場合は、Ｓ２１０９へ進む。
（Ｓ２１０９）制御部１００２はワンピースと分類し、Ｓ２１１１でワンピースの登録情報の取得に使用する。
（Ｓ２１０８  ＮＯ）制御部１００２はトップスとボトムを比較した結果、閾値以上の場合は、Ｓ２１１０へ進む。
（Ｓ２１１０）制御部１００２はトップスとボトムに分類し、Ｓ２１１１でトップスとボトムの登録情報の取得に使用する。
【００２２】
（Ｓ２１１１）制御部１００２は記録媒体１００５に保存してある登録情報（図４）から分類が確定したパーツ（ワンピースもしくはトップスとボトム）の登録情報を取得する。例えば、Ａさんのトップスと分類された場合には図４（ａ１）の情報を取得する。
【００２３】
画像処理部１００８にて、同一人物において以前に同じ分類のパーツとして登録したパーツの中から、色相や彩度、明度の差が閾値以内のパーツを検索する。さらに、パーツが柄ありの場合、抽出した柄と登録した画像とパターンマッチングを行い差が閾値以内かを検出する。例えば、Ａさんのトップスと分類した場合には、図４（ｂ１）に登録してあるA_T0、A_T1の色情報と比較する。また、パーツが柄ありの場合は、A_T1の色情報の比較と詳細画像のATD_001.binとパターンマッチングを行う。
【００２４】
（Ｓ２１１２  ＹＥＳ）制御部１００２は柄の有無の情報の一致と、色情報の差が閾値以内の場合、登録済みのパーツと判定し、Ｓ２１１３へ進む。
（Ｓ２１１３）制御部１００２は記録媒体１００５に保存している登録情報を画像処理部１００８で作成したパーツの全体画像、柄を抽出した詳細画像、色情報（色相、彩度、明度）、登録日で更新し、関連付けのモードを終了する。例えば、ＡさんのトップスのA_T1と判定された場合には図４（ｂ１）のA_T1の各情報を更新する。
【００２５】
（Ｓ２１１２  ＮＯ）制御部１００２は柄の有無の情報の不一致と、色情報の差が閾値以上の場合、新規のパーツであると判定し、Ｓ２１１４へ進む。
（Ｓ２１１４）制御部１００２は記録媒体１００５に保存している登録情報に画像処理部１００８で作成したパーツの全体画像、柄を抽出した詳細画像、色情報（色相、彩度、明度）、登録日を新規に登録する。例えば、Ａさんの新規のワンピースと判定された場合には図４（ｂ３）に追加する。
【００２６】
（Ｓ２１１５）新規のパーツの場合
制御部１００２は記録媒体１００５に保存してある登録情報を取得し、画像処理部１００８にて、ユーザが所持する服飾品の同じ分類のパーツの中から、色相、彩度、明度の差が閾値以内のパーツを検索する。さらに、パーツが柄ありの場合は、抽出した柄と登録した画像とパターンマッチングを行い差が閾値以内かを検出する。例えば、Ａさんのワンピースと分類された場合には、図４（ａ３）に登録してあるユーザのワンピースのパーツから検索する。ＡさんのワンピースＡ_Ｐ0は柄ありなので、U_P0の色情報の比較と詳細画像のUPD_001.binとパターンマッチングを行う。
【００２７】
（Ｓ２１１６  ＮＯ）制御部１００２は柄の有無の情報の不一致と、色情報の差が閾値以上の場合、類似していないパーツと判断し、関連付けのモードを終了する。
（Ｓ２１１６  ＹＥＳ）制御部１００２は柄の有無の情報の一致と、色情報の差が閾値以内の場合、類似するパーツと判断し、Ｓ２１１７へ進む。（Ｓ２１１７）制御部１００２は検出したパーツとそれに類似すると判定したユーザ所有のパーツを表示部１００６に表示する。
【００２８】
（Ｓ２１１８）ユーザは操作部１００４を操作し、制御部１００２へ類似しているか、していないかを入力する。
（Ｓ２１１９  ＮＯ）制御部１００２に類似していないと入力された場合、関連付けモードを終了する。
（Ｓ２１１９  ＹＥＳ）制御部１００２に類似していると入力された場合、Ｓ２１２０へ進む。（Ｓ２１２０）制御部１００２は記録媒体１００５に保存する管理テーブルの関連情報に類似するパーツのＩＤを記載し、関連付けモードを終了する。例えば、ＡさんのワンピースA_P0がユーザのワンピースU_P0と似ていると判断された場合には図４（ｂ３）のA_P0の関連情報にU_P0と記録し、図４（ａ３）のU_P0の関連情報にA_P0と記録する。
【００２９】
＜コーディネート支援時のフロー＞
ユーザがコーディネートを決める時に会う知人を選択して、その知人と関連付けされている服飾品の場合にアラートを出すフローを図３、図４を使って説明する。また、コーディネート時にユーザの新規の服飾品を登録するフローも同時に説明する。
【００３０】
（Ｓ２３０１）ユーザは操作部１００４を操作し、コーディネートモードを選択する。（Ｓ２３０２）ユーザは操作部１００４を操作し、人物を１人以上選択する。
（Ｓ２３０３）制御部１００２は撮像部１００３を制御し、定期的に撮像し、画像を個人認証部１００９に通知する。
（Ｓ２３０４）個人認証部１００９は画像から顔を検出し、登録されたユーザと個人認証する。
（Ｓ２３０５  認証失敗）知人の認証が失敗した（顔検出に失敗した場合も含む）場合、Ｓ２３０３へ進む。
（Ｓ２３０５  認証成功）知人と認証された場合、Ｓ２３０６へ進む。
【００３１】
（Ｓ２３０６）撮像部１００３で撮像した画像を人体検出部１０１０に入力し、上半身と下半身を検出する。制御部１００２は上半身をトップス、下半身をボトムとして２つのパーツに分類する。
（Ｓ２３０７）制御部１００２は、人体検出部１０１０で検出した結果を元に、トップスとボトムの領域を画像処理部１００８に入力する。画像処理部１００８は、各パーツ内の複数部分を抽出して、それぞれの色を比較し、色相、彩度、明度の差分が閾値以上あることなどにより柄の有無を判定する。また、パーツ内の一部を抽出し、パーツの領域内でパターンマッチングを行い、繰り返し柄の有無の判定をする。
【００３２】
（Ｓ２３０８）制御部１００２はトップスとボトムの色相、彩度や明度の差を比較と、柄の有無を比較する。
（Ｓ２３０９  ＹＥＳ）制御部１００２はトップスとボトムを比較した結果、閾値以内の場合は、Ｓ２３１０へ進む。
（Ｓ２３１０）制御部１００２はワンピースと分類し、Ｓ２３１２でワンピースの登録情報の取得に使用する。
（Ｓ２３０９  ＮＯ）制御部１００２はトップスとボトムを比較した結果、閾値以上の場合、Ｓ２３１１へ進む。
（Ｓ２３１１）制御部１００２はトップスとボトムに分類し、Ｓ２３１１でトップスとボトムの登録情報の取得に使用する。
（Ｓ２３１２）制御部１００２は記録媒体１００５に保存してある登録情報（図４）から分類が確定したパーツの登録情報を取得する。
【００３３】
画像処理部１００８にて、ユーザが所持する服飾品の同じ分類のパーツの中から、色相、彩度、明度の差が閾値以内のパーツを検索する。さらに、パーツが柄ありの場合は、抽出した柄と登録した画像とパターンマッチングを行い差が閾値以内かを検出する。
【００３４】
（Ｓ２３１３  ＮＯ）制御部１００２は柄の有無の情報の不一致と、色情報の差が閾値以上の場合、新規のパーツであると判定し、Ｓ２３１４へ進む。
（Ｓ２３１４）制御部１００２は記録媒体１００５に保存している登録情報に画像処理部１００８で作成したパーツの全体画像、柄を抽出した詳細画像、色情報（色相、彩度、明度）、登録日を新規に登録し、コーディネートモードを終了する。
（Ｓ２３１３  ＹＥＳ）制御部１００２は柄の有無の情報の一致と、色情報の差が閾値以内の場合、登録済みのパーツと判定し、Ｓ２３１５へ進む。
【００３５】
（Ｓ２３１５  ＮＯ）検出したユーザの所持するパーツに関連情報がない場合、コーディネートモードを終了する。
（Ｓ２３１５  ＹＥＳ）検出したユーザの所持するパーツに関連情報がある場合、Ｓ２３１６へ進む。
（Ｓ２３１６）制御部１００２は画像処理部１００８を制御し、表示部１００６に関連付けされているパーツの画像を表示し、コーディネートモードを終了する。例えば、ユーザがボトムのU_B1を着用していた場合には、関連情報にあるA_B0の全体画像であるAB_001.jpgを表示する。
【００３６】
なお、本実施形態では、画像や管理データを記録媒体に保存したが、ネットワーク上のデータベースであってもよい。なお、人体検出により体のパーツを上半身と下半身の２つに分けて検出する例で説明したが、手先、足先や頭部等２つ以上のパーツを検出してもよい。
【００３７】
［実施例２］
コーディネート支援に関しての別の実施形態を説明する。コーディネート支援以外のフロー及び、ハードウェア構成は実施例１と同様のため説明を割愛する。
【００３８】
＜コーディネート支援時のフロー＞
図５を使用して、ユーザがコーディネートを決める時に会う知人を選択して、その知人と関連付けされている服飾品を全て表示するフローの説明をする。
【００３９】
（Ｓ２２０１）ユーザは操作部１００４を操作し、コーディネートモードを選択する。（Ｓ２２０２）ユーザは操作部１００４を操作し、人物を１人以上選択する。
（Ｓ２２０３）制御部１００２は記録媒体１００５に保存する登録情報（図４）を取得し、ユーザの所有するパーツとして登録されているパーツから、指定人物の所有するパーツとして登録されているパーツを検索する。例えば、Ａさんと指定した場合には図４（ａ１）〜（ａ３）を検索する。その場合、図４（ａ２）ではA_B0、（ａ３）ではA_P0がAさんと類似するパーツとして登録されていることが検索できる。
【００４０】
（Ｓ２２０４）制御部１００２は画像処理部１００８を制御し、表示部１００６に検索結果の画像を表示させる。例えば、Aさんと指定した場合にはU_B1とU_P0の全体画像であるUB_002.jpgとUP_001.jpgを表示する。
【００４１】
類似する服飾品をリストアップするので、ユーザは被らないように服飾品を選択することもできるが、逆に知人と被るように選択することもできる。
【符号の説明】
【００４２】
１０００  撮像装置、１００１  バス、１００２  制御部、１００３  撮像部、
１００４  操作部、１００５  記録媒体、１００６  表示部、１００７  作業メモリ、
１００８  画像処理部
【図１】
2016122305.tif 000003
【図２】
2016122305.tif 000004
【図３】
2016122305.tif 000005
【図４】
2016122305.tif 000006
【図５】
2016122305.tif 000007