(57)【要約】      （修正有）【課題】身嗜み、特にユーザの頭部の変化（メイク、ヘアスタイルの乱れ）に関するチェックを行い、チェック結果による案内をユーザに提供する案内装置及びプログラムを提供する。【解決手段】案内装置は、ユーザを撮影することで生成された第１画像と、その第１画像の撮影の後に当該ユーザを撮影することで生成された第２画像との差分（色差、ノイズ量）が差分閾値を超える場合、当該第１画像に近付くように、変化箇所を含むメイク直し等の案内を、表示画面によりユーザに提供する。【選択図】図２
2019028731.tif 000002
【特許請求の範囲】
【請求項１】
ユーザを撮影することで生成された第１画像と前記第１画像の撮影後に前記ユーザを撮影することで生成された第２画像との差分が差分閾値を超える場合、前記第１画像に近付くように案内を提供する案内手段を有する情報処理装置。
【請求項２】
前記案内手段は、前記差分閾値を超えた部位の情報を案内として提供する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記案内手段は、前記差分閾値を超えた部位の情報を前記第２画像に追加して案内することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記案内手段は、前記第１画像に近付くための解決案を提供する、
ことを特徴とする請求項１から請求項３何れかに記載の情報処理装置。
【請求項５】
前記解決案は、前記ユーザの状態を前記第１画像に表された前記ユーザの状態に近付けるための化粧の仕方である、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記化粧の後に前記ユーザを撮影することで第３画像が生成された場合において、前記第１画像と前記第３画像との差分が前記第１画像と前記第２画像との差分よりも小さい場合、前記第３画像が新たな第１画像として用いられる、
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記差分閾値は、前記第１画像の撮影時からの経過時間に応じて変化する、
ことを特徴とする請求項１から請求項５何れかに記載の情報処理装置。
【請求項８】
前記差分閾値は、前記第１画像の撮影時からの経過時間が長くなるほど大きくなる、
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記第１画像の撮影時からの経過時間が長くなるほど、差分の許容範囲が大きくなる、
ことを特徴とする請求項１から請求項５何れかに記載の情報処理装置。
【請求項１０】
前記解決案は、前記ユーザの状態を前記第１画像に表された前記ユーザの状態に近付けるための化粧の落とし方である、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項１１】
前記差分閾値は、化粧直し又は化粧落としを判定するための閾値である、
ことを特徴とする請求項１から請求項４何れかに記載の情報処理装置。
【請求項１２】
前記差分閾値は、前記ユーザの部位毎に画像の色差によって定められる、
ことを特徴とする請求項１から請求項１１何れかに記載の情報処理装置。
【請求項１３】
前記色差は、前記ユーザの顔の各部位の地肌色と化粧が施された各部位の化粧色とによって定められる、
ことを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記案内手段は、前記ユーザの地肌色の割合が予め定められた閾値を超えた場合、前記ユーザに対する案内を提供する、
ことを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
前記案内手段は、前記ユーザの化粧色の割合が予め定められた閾値を超えた場合、前記ユーザに対する案内を提供する、
ことを特徴とする請求項１３に記載の情報処理装置。
【請求項１６】
前記ユーザの各部位は、前記第１画像及び前記第２画像に表されている前記ユーザの顔の画像と予め定められた顔の画像内の各部位の意味とを紐付けることによって特定される、
ことを特徴とする請求項１２から請求項１５何れかに記載の情報処理装置。
【請求項１７】
前記差分閾値は、前記ユーザの部位毎に画像のノイズ量によって定められる、
ことを特徴とする請求項１から請求項１１何れかに記載の情報処理装置。
【請求項１８】
前記第１画像の撮影時の第１環境と前記第２画像の撮影時の第２環境とが異なる場合、前記第１環境と前記第２環境との差を補正する補正手段を更に有する、
ことを特徴とする請求項１から請求項１７何れかに記載の情報処理装置。
【請求項１９】
撮影時の環境を検出する検出手段を更に有する、
ことを特徴とする請求項１８に記載の情報処理装置。
【請求項２０】
前記環境は、照度、湿度、温度、撮影位置、撮影光、及び、撮影した画像の大きさの中の少なくとも１つである、
ことを特徴とする請求項１９に記載の情報処理装置。
【請求項２１】
前記第２環境が第１環境に近付くように誘導する誘導手段を更に有する、
ことを特徴とする請求項１８から請求項２０何れかに記載の情報処理装置。
【請求項２２】
前記誘導手段は、前記ユーザを照らす照明に関する条件を誘導する、
ことを特徴とする請求項２１に記載の情報処理装置。
【請求項２３】
コンピュータを、
ユーザを撮影することで生成された第１画像と前記第１画像の撮影後に前記ユーザ撮影することで生成された第２画像との差分が差分閾値を超える場合、前記第１画像に近付くように案内を提供する案内手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
ユーザによる化粧（メイク、メイクアップ）を支援する技術が知られている。
【０００３】
特許文献１には、ユーザの顔を撮影してユーザに適合する化粧品の色を提供する技術が開示されている。
【０００４】
特許文献２には、ユーザの体調情報等に基づいてユーザの顔の変化を提供する技術が開示されている。
【０００５】
特許文献３には、ユーザの髪が乾燥状態のときの指数と髪が濡れた状態のときの指数との比が予め定められた数値範囲内に含まれるようにヘアスタイルを整えることを推奨する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２１１３０８号公報
【特許文献２】特開２０１４−１６６２１８号公報
【特許文献３】特開２０１６−０３９８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ユーザが身嗜みを整える場合がある。その一例として、ユーザが化粧した後、化粧を直したり化粧を落としたりする場合がある。
【０００８】
本発明の目的は、身嗜みに関する案内をユーザに提供することにある。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明は、ユーザを撮影することで生成された第１画像と前記第１画像の撮影後に前記ユーザを撮影することで生成された第２画像との差分が差分閾値を超える場合、前記第１画像に近付くように案内を提供する案内手段を有する情報処理装置である。
【００１０】
請求項２に記載の発明は、前記案内手段は、前記差分閾値を超えた部位の情報を案内として提供する、ことを特徴とする請求項１に記載の情報処理装置である。
【００１１】
請求項３に記載の発明は、前記案内手段は、前記差分閾値を超えた部位の情報を前記第２画像に追加して案内することを特徴とする請求項２に記載の情報処理装置である。
【００１２】
請求項４に記載の発明は、前記案内手段は、前記第１画像に近付くための解決案を提供する、ことを特徴とする請求項１から請求項３何れかに記載の情報処理装置である。
【００１３】
請求項５に記載の発明は、前記解決案は、前記ユーザの状態を前記第１画像に表された前記ユーザの状態に近付けるための化粧の仕方である、ことを特徴とする請求項４に記載の情報処理装置である。
【００１４】
請求項６に記載の発明は、前記化粧の後に前記ユーザを撮影することで第３画像が生成された場合において、前記第１画像と前記第３画像との差分が前記第１画像と前記第２画像との差分よりも小さい場合、前記第３画像が新たな第１画像として用いられる、ことを特徴とする請求項５に記載の情報処理装置である。
【００１５】
請求項７に記載の発明は、前記差分閾値は、前記第１画像の撮影時からの経過時間に応じて変化する、ことを特徴とする請求項１から請求項５何れかに記載の情報処理装置である。
【００１６】
請求項８に記載の発明は、前記差分閾値は、前記第１画像の撮影時からの経過時間が長くなるほど大きくなる、ことを特徴とする請求項７に記載の情報処理装置である。
【００１７】
請求項９に記載の発明は、前記第１画像の撮影時からの経過時間が長くなるほど、差分の許容範囲が大きくなる、ことを特徴とする請求項１から請求項５何れかに記載の情報処理装置である。
【００１８】
請求項１０に記載の発明は、前記解決案は、前記ユーザの状態を前記第１画像に表された前記ユーザの状態に近付けるための化粧の落とし方である、ことを特徴とする請求項４に記載の情報処理装置である。
【００１９】
請求項１１に記載の発明は、前記差分閾値は、化粧直し又は化粧落としを判定するための閾値である、ことを特徴とする請求項１から請求項４何れかに記載の情報処理装置である。
【００２０】
請求項１２に記載の発明は、前記差分閾値は、前記ユーザの部位毎に画像の色差によって定められる、ことを特徴とする請求項１から請求項１１何れかに記載の情報処理装置である。
【００２１】
請求項１３に記載の発明は、前記色差は、前記ユーザの顔の各部位の地肌色と化粧が施された各部位の化粧色とによって定められる、ことを特徴とする請求項１２に記載の情報処理装置である。
【００２２】
請求項１４に記載の発明は、前記案内手段は、前記ユーザの地肌色の割合が予め定められた閾値を超えた場合、前記ユーザに対する案内を提供する、ことを特徴とする請求項１３に記載の情報処理装置である。
【００２３】
請求項１５に記載の発明は、前記案内手段は、前記ユーザの化粧色の割合が予め定められた閾値を超えた場合、前記ユーザに対する案内を提供する、ことを特徴とする請求項１３に記載の情報処理装置である。
【００２４】
請求項１６に記載の発明は、前記ユーザの各部位は、前記第１画像及び前記第２画像に表されている前記ユーザの顔の画像と予め定められた顔の画像内の各部位の意味とを紐付けることによって特定される、ことを特徴とする請求項１２から請求項１５何れかに記載の情報処理装置である。
【００２５】
請求項１７に記載の発明は、前記差分閾値は、前記ユーザの部位毎に画像のノイズ量によって定められる、ことを特徴とする請求項１から請求項１１何れかに記載の情報処理装置である。
【００２６】
請求項１８に記載の発明は、前記第１画像の撮影時の第１環境と前記第２画像の撮影時の第２環境とが異なる場合、前記第１環境と前記第２環境との差を補正する補正手段を更に有する、ことを特徴とする請求項１から請求項１７何れかに記載の情報処理装置である。
【００２７】
請求項１９に記載の発明は、撮影時の環境を検出する検出手段を更に有する、ことを特徴とする請求項１８に記載の情報処理装置である。
【００２８】
請求項２０に記載の発明は、前記環境は、照度、湿度、温度、撮影位置、撮影光、及び、撮影した画像の大きさの中の少なくとも１つである、ことを特徴とする請求項１９に記載の情報処理装置である。
【００２９】
請求項２１に記載の発明は、前記第２環境が第１環境に近付くように誘導する誘導手段を更に有する、ことを特徴とする請求項１８から請求項２０何れかに記載の情報処理装置である。
【００３０】
請求項２２に記載の発明は、前記誘導手段は、前記ユーザを照らす照明に関する条件を誘導する、ことを特徴とする請求項２１に記載の情報処理装置である。
【００３１】
請求項２３に記載の発明は、コンピュータを、ユーザを撮影することで生成された第１画像と前記第１画像の撮影後に前記ユーザ撮影することで生成された第２画像との差分が差分閾値を超える場合、前記第１画像に近付くように案内を提供する案内手段、として機能させるプログラムである。
【発明の効果】
【００３２】
請求項１，２３に記載の発明によれば、身嗜みに関する案内をユーザに提供することが可能となる。
【００３３】
請求項２に記載の発明によれば、部分毎に案内が提供される。
【００３４】
請求項３に記載の発明によれば、第２画像上で案内が提供される。
【００３５】
請求項４に記載の発明によれば、解決案が提供される。
【００３６】
請求項５に記載の発明によれば、化粧の仕方が提供される。
【００３７】
請求項６に記載の発明によれば、第１画像が化粧後の新たな画像に更新される。
【００３８】
請求項７に記載の発明によれば、経過時間に応じた案内が提供される。
【００３９】
請求項８，９に記載の発明によれば、経過時間が長くなるほど案内が提供され難くなる。
【００４０】
請求項１０に記載の発明によれば、化粧の落とし方が提供される。
【００４１】
請求項１１に記載の発明によれば、化粧直し又は化粧落としに関する案内が提供される。
【００４２】
請求項１２に記載の発明によれば、部位毎に色差によって案内提供の有無が判断される。
【００４３】
請求項１３に記載の発明によれば、部位毎の地肌色と化粧色とによって案内提供の有無が判断される。
【００４４】
請求項１４に記載の発明によれば、地肌色の割合によって案内提供の有無が判断される。
【００４５】
請求項１５に記載の発明によれば、化粧色の割合によって案内提供の有無が判断される。
【００４６】
請求項１６に記載の発明によれば、ユーザの各部位が特定される。
【００４７】
請求項１７に記載の発明によれば、部位毎に画像のノイズ量によって案内提供の有無が判断される。
【００４８】
請求項１８，１９，２０，２１，２２に記載の発明によれば、環境の差による影響が軽減される。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態に係る案内装置を示すブロック図である。
【図２】案内装置の動作の概略を説明するためのフローチャートである。
【図３】第１画像の撮影時における処理を示すフローチャートである。
【図４】第２画像の撮影時における処理を示すフローチャートである。
【図５】メイク直し時又はメイクアシスト時における処理を示すフローチャートである。
【図６】メイク落とし時における処理を示すフローチャートである。
【図７】第１画像の登録画面の一例を示す図である。
【図８】第２画像の登録画面の一例を示す図である。
【図９】案内の表示例１を示す図である。
【図１０】案内の表示例２を示す図である。
【図１１】案内の表示例３を示す図である。
【図１２】案内の表示例４を示す図である。
【図１３】第１画像、第２画像及び第３画像を示す図である。
【図１４】第１画像、第２画像及び第３画像を示す図である。
【図１５】第１画像と第２画像を示す図である。
【図１６】第１画像と第２画像を示す図である。
【図１７】画面の一例を示す図である。
【図１８】差分閾値を示す図である。
【発明を実施するための形態】
【００５０】
図１を参照して、本発明の実施形態に係る情報処理装置としての案内装置について説明する。図１には、本実施形態に係る案内装置の一例が示されている。
【００５１】
案内装置１０は、対象物を表す第１画像と第２画像との差分を検出し、対象物の状態が第１画像に表された当該対象物の状態に近付くための案内をユーザに提供する機能を有する装置である。対象物は、例えばユーザであるが、ユーザ以外の物体や道具であってもよいし、部屋等の場所であってもよい。案内装置１０は、例えば、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン、携帯電話、等の装置である。
【００５２】
本実施形態では、一例として、ユーザの状態の変化を検出するものとする。具体的には、化粧崩れ（メイク崩れ）、服装の乱れ、髪の乱れ等がユーザの状態として検出され、化粧崩れ、服装の乱れ、髪の乱れ等を直すための案内がユーザに提供される。以下では、一例として、化粧や髪の状態を検出して、化粧や髪に関する情報をユーザに案内する場合について説明する。
【００５３】
以下、案内装置１０に含まれる各部について詳しく説明する。
【００５４】
ＵＩ部１２はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えば、タッチパネル、キーボード、マウス、等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えばタッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示するものを含む）であってもよい。
【００５５】
通信部１４は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部１４は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。通信部１４は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ−Ｆｉ（登録商標）通信、近接無線通信（例えばＮＦＣ（Near Field Communication）等）、等である。近接無線通信としては、Ｆｅｌｉｃａ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）、ＲＦＩＤ（Radio Frequency Identifier）等が用いられる。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部１４は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えたり、周囲の環境に応じて通信方式や周波数帯域を切り替えたりしてもよい。
【００５６】
撮影部１６は例えばカメラであり、撮影対象を撮影することにより画像データ（例えば静止画像データや動画像データ）を生成する。案内装置１０は、外部のカメラによる撮影で得られた画像データをネットワーク等の通信経路を介して受け取ってもよい。
【００５７】
記憶部１８はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部１８には、例えば、画像データ、各種のデータ（例えば制御データ等を含む）、各種のプログラム、外部装置のアドレスを示すアドレス情報、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。
【００５８】
処理部２０は、対象物としてのユーザを表す第１画像と第２画像との差分を検出し、その差分が差分閾値を超えている場合、ユーザの状態が第１画像に表された当該ユーザの状態に近付くための案内をユーザに提供する機能を有する。ここでは一例として、処理部２０は、第１画像と第２画像の差分から化粧や髪の状態を検出し、ユーザの化粧や髪の状態が第１画像に表された状態に近付くための案内をユーザに提供する。ユーザの状態が第１画像に表された当該ユーザの状態に近付くための案内とは、化粧や髪の状態が第１画像に表された化粧や髪の状態と同じ状態又は似た状態に近付くための案内である。換言すると、その案内は、第１画像と第２画像との差を小さくするための案内である。
【００５９】
第１画像は、例えば、メイク（化粧、メイクアップ）が完了したときにユーザの顔を撮影することで得られた画像（メイク有画像）であってもよいし、ユーザがメイクをしていないときにユーザの顔を撮影することで得られた画像（メイク無画像）であってもよい。
【００６０】
第２画像は、例えば、ユーザがメイクをしている状態でユーザの顔を撮影することで得られた画像（メイク有画像）であってもよいし、ユーザがメイクを落とした状態でユーザの顔を撮影することで得られた画像（メイク無画像）であってもよい。
【００６１】
以下、処理部２０に含まれる各部について詳しく説明する。
【００６２】
比較部２２は、第１画像と第２画像とを比較し、両者の差分を検出する機能を有する。比較部２２は、例えば、ユーザの顔の部位毎に、第１画像に表された部位と第２画像に表された部位とを比較してもよいし、第１画像に表された顔の全体と第２画像に表された顔の全体とを比較してもよい。顔の部位は、例えば、目の周囲の部分、頬、唇、鼻（高部、低部）、等である。画像の比較のために用いられる評価値は、例えば、顔の各部位や全体の色差やノイズ量であり、比較部２２は、第１画像から得られた評価値と第２画像から得られた評価値を比較する。色差は、例えばＬ＊ａ＊ｂ＊色空間等の色空間によって定義される値である。ノイズ量は、フーリエ変換における画像ノイズである。
【００６３】
なお、顔の各部位は画像処理によって特定（識別）される。その画像処理として、公知の技術が用いられてもよい。例えば、予め用意された顔の画像内の各部位に、各部位の名称等の意味が予め対応付けられており、第１画像と第２画像に表されたユーザの顔の画像とその各部位の意味とを紐付けることで、第１画像と第２画像に表されたユーザの顔の各部位が特定される。また、第１画像と第２画像に表されたユーザの顔の各部位の形状や位置関係等によって、各部位が特定されてもよい。
【００６４】
比較部２２は、比較対象の部位や化粧の種類に応じて、評価値の種類を変えてもよい。例えば、ファウンデーションの浮きや唇のかさつきの差分を検出する場合には、画像ノイズが用いられてもよい。また、光の反射量を用いて判断されるメイクの種類（部位）については、色差が用いられてもよい。また、高周波画像ノイズや低周波画像ノイズが存在する場合に、ファウンデーションの浮きの有無が判断されてもよい。メイクの奥行きの違いは、ＨＳＶ空間等の奥行き推定技術を利用して判断してもよい。
【００６５】
案内部２４は、第１画像と第２画像との差分が差分閾値を超える場合、化粧や髪の状態が第１画像に表された化粧や髪の状態に近付くための案内をユーザに提供する機能を備えている。差分閾値は例えば予め定められて記憶部１８に記憶されている。部位毎に差分閾値が定められてもよい。例えば、部位毎に案内が定められており、その案内を示す案内情報が記憶部１８に予め記憶されている。また、差分に応じた案内が定められて、その案内を示す案内情報が記憶部１８に予め記憶されていてもよい。なお、案内情報は、ネットワーク等の通信経路を介して外部装置から案内装置１０に送られてもよい。
【００６６】
環境検出部２６は、環境を検出する機能を備えている。環境検出部２６は、例えば、撮影部１６による撮影時における案内装置１０の周囲の環境を検出する。環境は、例えば、照度、温度、湿度、撮影位置、撮影光等である。これら以外にも、撮影で得られた画像のサイズも、環境の範疇に含まれてもよい。
【００６７】
補正部２８は、第１画像の撮影時における第１環境と第２画像の撮影時における第２環境との差が小さくなるように、第１画像や第２画像を補正する機能を有する。補正部２８は、例えば、第１画像や第２画像に画像処理（例えば色味補正処理、画像拡大処理、縮小処理等）を適用する。
【００６８】
誘導部３０は、第２画像の撮影時において、第２環境が第１環境に近付くための誘導を行う機能を備えている。誘導部３０は、例えば、第２画像の撮影時における周囲の明るさや色味等が、第１画像の撮影時における周囲の明るさや色味等に近付くように、撮影場所や撮影方法等をユーザに提案する。
【００６９】
制御部３２は、案内装置１０の各部の動作を制御する機能を有する。
【００７０】
以下、案内装置１０の動作について説明する。
【００７１】
図２を参照して、案内装置１０の動作の概略について説明する。図２は、その動作を示すフローチャートである。まず、ユーザの顔が撮影され、ユーザの顔を表す第１画像データが生成される（ステップＳ０１）。第１画像データは、例えば記憶部１８に記憶される。次に、ユーザの顔が撮影され、ユーザの顔を表す第２画像データが生成される（ステップＳ０２）。第２画像データは、例えば記憶部１８に記憶される。なお、各撮影は撮影部１６によって行われてもよいし、別のカメラが用いられてもよい。比較部２２は、第１画像と第２画像を比較する（ステップＳ０３）。第１画像と第２画像との差分が差分閾値を超える場合（ステップＳ０４，Ｙｅｓ）、案内部２４は、化粧や髪の状態が第１画像に表されたユーザの化粧や髪の状態に近付くための案内を提供する（Ｓ０５）。例えば、制御部３２は、その案内を示す情報をＵＩ部１２の表示部に表示させる。制御部３２は、案内装置１０に設けられたスピーカや別のスピーカ等を利用することで、案内を示す音声情報を発生させてもよい。上記の差分が差分閾値を超えない場合（ステップＳ０４，Ｎｏ）、つまり、差分が差分閾値以下の場合、上記の案内は提供されない。この場合、変化がない旨を示す情報等がＵＩ部１２の表示部に表示されてもよいし、その旨を示す音声が発せられてもよい。
【００７２】
以下、案内装置１０の動作について更に詳しく説明する。
【００７３】
図３を参照して、第１画像の撮影時における処理について説明する。図３は、その処理を示すフローチャートである。まず、ユーザの顔が撮影され、ユーザの顔を表す第１画像データが生成される（ステップＳ１０）。第１画像データは、例えば記憶部１８に記憶される。次に、第１画像の撮影時にユーザの顔にメイクが施されているか否か、つまり、メイクの有無が判断される（ステップＳ１１）。メイクの有無は、例えば、ユーザの自己申告や色分析等によって判断される。自己申告の場合、ユーザは、第１画像の撮影時に、ＵＩ部１２を用いてメイクの有無を示す情報を入力する。また、比較部２２が、第１画像を色分析することで、化粧の有無を判断してもよい。メイクが有る場合、つまり、ユーザの顔にメイクが施されている場合（ステップＳ１２，Ｙｅｓ）、比較部２２は、差分閾値として第１差分閾値を設定する（ステップＳ１３）。第１差分閾値は、メイクの状態を第１画像に表されたメイクの状態に近付けるための案内を提供するか否かを判断するときに用いられる閾値である。具体的には、第１差分閾値は、メイク直しの案内を提供するか否かを判断するために用いられるメイク直し用閾値、又は、メイクアシストの案内を提供するか否かを判断するために用いられるメイクアシスト用閾値である。また、比較部２２は、第１画像データを、メイクが有る画像データとして登録する。一方、メイクが無い場合（ステップＳ１２，Ｎｏ）、比較部２２は、差分閾値として第２差分閾値を設定する（ステップＳ１４）。第２差分閾値は、メイク落としの案内を提供するか否かを判断するために用いられるメイク落とし用閾値である。また、比較部２２は、第１画像データを、メイクが無い画像データとして登録する。
【００７４】
図４を参照して、第２画像の撮影時における処理について説明する。図４は、その処理を示すフローチャートである。まず、ユーザの顔が撮影され、ユーザの顔を表す第２画像データが生成される（ステップＳ２０）。第２画像データは、例えば記憶部１８に記憶される。次に、第２画像の撮影時にユーザの顔にメイクが施されているか否か、つまり、メイクの有無が判断される（ステップＳ２１）。メイクの有無は、上述したように、ユーザの自己申告や色分析等によって判断される。第２画像の撮影時にメイクが施されている場合（メイクが有る場合）、比較部２２は、第２画像データを、メイクが有る画像データとして受け付ける。第２画像の撮影時にメイクが施されていない場合（メイクが無い場合）、比較部２２は、第２画像データを、メイクが無い画像データとして受け付ける。第２画像の撮影時におけるメイクの有無の判断に応じて、これ以降の処理が変わる。
【００７５】
以下、第２画像が撮影された後の処理について詳しく説明する。
【００７６】
図５を参照して、メイク直し時又はメイクアシスト時における処理について説明する。図５は、その処理を示すフローチャートである。例えば、第１画像データがメイク有り画像データとして登録されている場合や、ユーザがメイク直しやメイクアシストの実行を指示した場合、メイク直し時又はメイクアシスト時における処理が実行される。
【００７７】
まず、第２画像データがメイク有り画像データに該当するか否かが判断される。第２画像データがメイク有り画像データとして受け付けられた場合（ステップＳ３０，Ｙｅｓ）、つまり、第２画像の撮影時にユーザの顔にメイクが有ると判断された場合、メイク直し用の処理として、ステップＳ３１以降の処理が実行される。第２画像データがメイク無し画像データとして受け付けられた場合（ステップＳ３０，Ｎｏ）、つまり、第２画像の撮影時にユーザの顔にメイクが無いと判断された場合、メイクアシスト用の処理として、ステップＳ３５以降の処理が実行される。以下、それぞれの処理について説明する。
【００７８】
第２画像データがメイク有り画像データとして受け付けられた場合（ステップＳ３０，Ｙｅｓ）、メイク直し用の処理が実行される。この場合、比較部２２は、第１画像と第２画像とを比較し、第１画像と第２画像との差分を演算する（ステップＳ３１）。その差分と差分閾値との大小関係が判定される。メイク直し用の処理においては、その差分閾値として第１差分閾値が用いられる。差分が第１差分閾値を超える場合（ステップＳ３２，Ｙｅｓ）、案内部２４は、メイク直しのための案内、つまり、メイクの状態を第１画像に表されたメイクの状態に近付けるための案内を提供する（ステップＳ３３）。その案内を示す情報はＵＩ部１２の表示部に表示されてもよいし、その案内を示す音声が発せられてもよい。例えば、メイク落ち、容姿の乱れ等を指摘する案内が出力されたり、その解消方法が案内として出力されたりする。差分が第１差分閾値を超えない場合（ステップＳ３２，Ｎｏ）、案内部２４は、例えば、変化が無い又は少ない旨を示す情報を出力する（ステップＳ３４）。その情報はＵＩ部１２の表示部に表示されてもよいし、その旨を示す音声が発せられてもよい。差分が第１差分閾値を超えない場合、案内装置１０は何もしなくてもよいし、変化が無い又は少ないことを称える旨を示す情報を出力してもよい。
【００７９】
第２画像データがメイク無し画像データとして受け付けられた場合（ステップＳ３０，Ｎｏ）、メイクアシスト用の処理が実行される。この場合、比較部２２は、第１画像と第２画像とを比較し、第１画像と第２画像との差分を演算する（ステップＳ３５）。その差分と差分閾値との大小関係が判定される。メイクアシスト用の処理においては、その差分閾値として第１差分閾値が用いられる。差分が第１差分閾値を超える場合（ステップＳ３６，Ｙｅｓ）、案内部２４は、メイクアシスト用の案内、つまり、メイクの状態を第１画像に表されたメイクの状態に近付けるための案内を提供する（ステップＳ３７）。その案内を示す情報はＵＩ部１２の表示部に表示されてもよいし、その案内を示す音声が発せられてもよい。例えば、メイクの方法やメイクが足りていない部分を指摘する案内が出力される。差分が第１差分閾値を超えない場合（ステップＳ３６，Ｎｏ）、案内部２４は、例えば、メイクができたことを示す情報を出力する（ステップＳ３８）。その情報はＵＩ部１２の表示部に表示されてもよいし、その旨を示す音声が発せられてもよい。差分が第１差分閾値を超えない場合、案内装置１０は何もしなくてもよいし、メイクができたことを称える旨を示す情報を出力してもよい。
【００８０】
以上のように、第１画像の撮影時にユーザにメイクが施されている場合において、第２画像の撮影時にユーザにメイクが施されている場合、メイク直し用の処理が実行され、第２画像の撮影時にユーザにメイクが施されていない場合、メイクアシスト用の処理が実行される。メイク直し用の処理においては、第１画像と第２画像との差分に応じて、メイクの状態を元のメイクの状態（例えばメイク完成時の状態）に戻すための案内がユーザに提供される。例えば、一度メイクをした後に、メイクをやり直す場合に、メイク直し用の処理が実行される。メイクアシスト用の処理においては、その差分に応じて、メイクを完成するための案内がユーザに提供される。例えば、これからメイクを行う場合に、メイクアシスト用の処理が実行される。
【００８１】
図６を参照して、メイク落とし時における処理について説明する。図６は、その処理を示すフローチャートである。例えば、第１画像データがメイク無し画像データとして登録されている場合や、ユーザがメイク落としの実行を指示した場合、メイク落とし時における処理が実行される。
【００８２】
まず、比較部２２は、第１画像と第２画像とを比較し、第１画像と第２画像との差分を演算する（Ｓ４０）。その差分と差分閾値との大小関係が判定される。メイク落とし用の処理においては、その差分閾値として第２差分閾値が用いられる。差分が第２差分閾値を超える場合（Ｓ４１，Ｙｅｓ）、案内部２４は、メイク落としのための案内、つまり、メイクの状態（換言するとユーザの顔の状態）を第１画像に表されたメイクの状態（ユーザの顔の状態）に近付けるための案内を提供する（ステップＳ４２）。その案内を示す情報はＵＩ部１２の表示部に表示されてもよいし、その案内を示す音声が発せられてもよい。例えば、メイクの残りが案内される。差分が第２差分閾値を超えない場合（ステップＳ４１，Ｎｏ）、案内部２４は、変化が無い又は少ない旨を示す情報を出力する（ステップＳ４３）。その情報はＵＩ部１２の表示部に表示されてもよいし、その旨を示す音声が発せられてもよい。差分が第２差分閾値を超えない場合、案内装置１０は何もしなくてもよいし、変化が無い又は少ないことを称える旨を示す情報を出力してもよい。
【００８３】
以上のように、第１画像の撮影時にユーザにメイクが施されていない場合、メイク落とし用の処理が実行される。メイク落とし用の処理においては、第１画像と第２画像との差分に応じて、メイクを落とすための案内がユーザに提供される。
【００８４】
本実施形態によれば、第１画像に表されたユーザの状態、及び、第２画像に表されたユーザの状態に応じて、メイク直し用の案内、メイクアシスト用の案内、メイク落とし用の案内の何れかが提供される。
【００８５】
以下、案内装置１０の動作について具体例を挙げて詳しく説明する。
【００８６】
図７を参照して、第１画像の登録時の動作について説明する。図７には、第１画像の登録画面の一例が示されている。例えば、ユーザがＵＩ部１２を用いて第１画像の登録処理の実行を指示すると、制御部３２は、第１画像の登録画面３４をＵＩ部１２の表示部に表示させる。撮影部１６等によってユーザの顔が撮影された場合、制御部３２は、その撮影で生成された第１画像３６を登録画面３４に表示させる。ユーザが登録処理の実行指示を与えなくても、第１画像が登録されていない状態でユーザの顔が撮影された場合、登録画面３４がＵＩ部１２の表示部に表示され、その撮影で生成された画像が登録画面３４に表示されてもよい。
【００８７】
登録画面３４には、ユーザが各種の指示を与えるためのボタン画像（例えばアイコン等であってもよい）が表示されている。ボタン画像３８は、画像をメイク有り画像として登録するときにユーザがその指示を与えるための画像である。ボタン画像４０は、画像をメイク無し画像として登録するときにユーザがその指示を与えるための画像である。ボタン画像４２は、メイク直し用又はメイクアシスト用の処理の開始をユーザが指示するための画像である。ボタン画像４４は、メイク落とし用の処理の開始をユーザが指示するための画像である。
【００８８】
第１画像３６が登録画面３４に表示されている状態で、ユーザがボタン画像３８を押すと、第１画像３６がメイク有り画像として登録され、差分閾値として第１差分閾値が設定される。ユーザがボタン画像４０を押すと、第１画像３６がメイク無し画像として登録され、差分閾値として第２差分閾値が設定される。もちろん、第１画像３６に対して画像処理（例えば色分析）を適用することで、第１画像に表されたユーザの顔にメイクが施されているか否かが判定されてもよい。
【００８９】
図８を参照して、第２画像の登録時の動作について説明する。図８には、第２画像の登録画面の一例が示されている。例えば、ユーザがＵＩ部１２を用いて第２画像の登録処理の実行を指示すると、制御部３２は、第２画像の登録画面４６をＵＩ部１２の表示部に表示させる。撮影部１６等によってユーザの顔が撮影された場合、制御部３２は、その撮影で生成された第２画像４８を登録画面４６に表示させる。ユーザが登録処理の実行指示を与えなくても、第１画像が登録されており、かつ、第２画像が登録されていない状態でユーザの顔が撮影された場合、登録画面４６がＵＩ部１２の表示部に表示され、その撮影で生成された画像が登録画面４６に表示されてもよい。
【００９０】
登録画面４６には、ボタン画像３８，４０，４２，４４が表示されている。第２画像４８が登録画面４６に表示されている状態で、ユーザがボタン画像３８を押すと、第２画像４８がメイク有り画像として登録される。ユーザがボタン画像４０を押すと、第２画像４８がメイク無し画像として登録される。
【００９１】
また、ユーザがボタン画像４２を押すと、上述したメイク直し用又はメイクアシスト用の処理が実行される。ユーザがボタン画像４４を押すと、上述したメイク落とし用の処理が実行される。
【００９２】
なお、処理部２０は、撮影時間、過去の画像の学習、判断の履歴等に基づいて、登録対象の画像がメイク有り画像か否かを判断してもよいし、実行対象の処理がメイク直し処理又はメイク落とし処理の何れかに該当するのかを判断してもよい。例えば、撮影時間帯が６：００〜７：００の場合、その撮影で得られた登録対象の画像は、メイクが無い第１画像に該当すると判断される。撮影時間が７：００〜８：００の場合、その撮影で得られた登録対象の画像は、メイクが有る第１画像に該当すると判断される。また、撮影時間が９：００〜１８：００の場合、メイク直し用の処理が実行対象の処理として選択され、そのときの撮影で生成された画像が第２画像として登録される。撮影時間が２１：００〜２４：００の場合、メイク落とし用の処理が実行対象の処理として選択され、そのときの撮影で生成された画像が第２画像として登録される。
【００９３】
以下、案内について具体例を挙げて詳しく説明する。
【００９４】
案内がユーザに提供されるタイミングの一例について説明する。例えば、ユーザが席を立つとき、ＰＣの電源を切るとき、予め定められた時間毎に、案内がユーザに提供されてもよい。例えば、案内装置１０がＰＣによって構成されており、撮影部１６としてのカメラが表示部に設置されて、常時又は予め定められたタイミングでそのカメラによってユーザが撮影されているものとする。この場合、処理部２０は、そのカメラによる撮影で生成された画像によってユーザの動きを検知し、ユーザが席を立ったときに撮影された画像を第２画像として用い、予め登録された第１画像とその第２画像との差分に応じて案内を提供する。また、案内装置１０としてのＰＣの電源をオフする指示がユーザによって与えられた場合、処理部２０は、そのときに撮影された画像を第２画像として用い、画像の差分に応じて案内を提供してもよい。もちろん、案内装置１０がスマートフォン等の携帯型端末装置によって構成されている場合も、同様の処理が行われてもよい。
【００９５】
タイミングの別の例として、ユーザが特定の場所（例えばオフィス内の特定の場所）を通るときに、その特定の場所に設置されたカメラによってユーザが撮影され、そのときに生成された第２画像と予め登録された第１画像とが比較され、その比較結果に応じて案内がユーザに提供されてもよい。また、全身鏡、姿見、トイレに設置された鏡等の前にユーザが存在する場合にユーザが撮影され、その撮影で生成された画像が第２画像として利用されて案内がユーザに提供されてもよい。
【００９６】
案内の出力形態の一例について説明する。案内は、振動、表示、点灯、香り、及び、音の中の少なくとも１つを利用してユーザに提供されてもよい。
【００９７】
振動は、機器の振動であり、その機器は、案内装置１０であってもよいし、案内装置１０から振動指示を受けた他の機器であってもよい。他の機器は、例えばスマートフォン等の携帯型端末装置等である。例えば、案内が出力されるときに振動が発生し、案内が不要なときは振動は発生しない。案内の有無や種類（メイク直しの案内、メイク落としの案内）に応じて振動の態様が変化してもよい。
【００９８】
表示が利用される場合、例えば、案内を示す文字列、画像、イラスト等が、ＵＩ部１２の表示部に表示される。表示内容は、暗号化されてもよいし、画面上において目立ちにくい箇所に表示されてもよいし、その表示色がユーザによって設定されてもよい。例えば、案内の内容が他人に見られたくない場合、その内容が暗号化されたり、目立ちにくい箇所に表示されたりすることが想定される。
【００９９】
点灯は、機器による点灯であり、その機器は、案内装置１０であってもよいし、案内装置１０から点灯指示を受けた他の機器であってもよい。例えば、案内が出力されるときに点灯が生じ、案内が不要なときは点灯は生じない。別の例として、案内が出力されるときは第１色（例えば赤色）の点灯が生じ、案内が不要なときは第２色（例えば青色）の点灯が生じる。案内の有無や種類に応じて、点灯の色、点灯回数、点灯時間等が変化してもよい。
【０１００】
香りは、機器によって発せられる。その機器は、案内装置１０であってもよいし、案内装置１０から香りの発生指示を受けた他の機器であってもよい。例えば、案内が出力されるときは香りが発生せず、案内が不要なときに、ユーザの好みの香りが発生する。もちろん、案内が出力されるときに香りが発生し、案内が不要なときに香りが発生しなくてもよい。
【０１０１】
音は、機器によって発せられる。その機器は、案内装置１０であってもよいし、案内装置１０から音の発生指示を受けた他の機器であってもよい。例えば、案内が出力されるときに音が発せられ、案内が不要なときに音は発せられない。案内の有無や種類に応じて、音の種類（例えば、音声、音楽、鳴き声等）が変化してもよい。
【０１０２】
以下、案内の表示例について具体例を挙げて詳しく説明する。
【０１０３】
図９には、案内の表示例１が示されている。表示例１では、案内が提供されるときに、ＵＩ部１２の表示部に画面５０が表示され、その画面５０に第１画像５２が表示される。このとき、現状の評価を示す情報が画面５０に表示されてもよい。その評価は、例えば、パーセンテージ（％）（図９に示す例では「８０％」）で表現されてもよいし、点数で表現されてもよい。例えば、第１画像と第２画像との差分が小さいほど、評価は高く、その評価を表すパーセンテージや点数も高くなる。なお、評価は、比較部２２によって行われる。評価は、髪を含む顔の全体を対象として行われてもよいし、顔の部分毎に行われてもよい。全体評価の場合、比較部２２は、第１画像に表された顔の全体と第２画像に表された顔の全体とを比較して、両画像の差分に応じた評価値を演算する。部分評価の場合、比較部２２は、顔の部分毎に第１画像と第２画像とを比較し、両画像の差分に応じた評価値を演算する。
【０１０４】
また、顔の部分毎に第１画像と第２画像とが比較されて部分毎の差分が演算された場合、案内部２４は、第１画像５２上において、その差分が差分閾値を超えた部分を識別可能に表示してもよい。例えば、両目の周り、左頬、及び、唇において、差分が差分閾値を超えたものとする。この場合、目の下の部分にマーク５４，５６が表示され、左頬にマーク５８が表示され、唇にマーク６０が表示される。こうすることで、差分が差分閾値を超えた部分と、差分が差分閾値を超えていない部分とが区別され、ユーザは、差分が差分閾値を超えた部分を容易に認識することができる。案内部２４は、差分の大きさに応じて、マークの表示態様を変えてもよい。例えば、案内部２４は、差分が大きい部分ほどマークを強調して表示してもよいし、差分の大きさに応じてマークの色を変えてもよい。また、差分が差分閾値を超えた部分を示す文字列（例えば、両目の周り、左頬、唇）等を示す文字列が画面５０に表示されてもよい。
【０１０５】
図１０には、案内の表示例２が示されている。表示例２では、案内が提供されるときに、ＵＩ部１２の表示部に画面５０が表示され、その画面５０に、第２画像６２、又は、ライブ画像が表示される。ライブ画像は、案内が提供されているときに撮影部１６による撮影で生成された画像であり、例えば、ＵＩ部１２の表示部の周囲に設けられたカメラ（いわゆるインカメラ）による撮影で生成された画像である。図９を参照して説明したように、顔の部分毎に第１画像と第２画像とが比較された場合、差分が差分閾値を超えた部分が識別可能に表示される。例えば、図９に示す例と同様に、マーク６４，６６，６８，７０が表示されている。また、現在の評価を示す情報が表示されてもよい。
【０１０６】
図１１には、案内の表示例３が示されている。表示例３では、案内が提供されるときに、ＵＩ部１２の表示部に画面７２が表示され、その画面７２に、案内を示す文字列７４が表示される。例えば、メイク落ちが検出された場合、その旨を示す文字列が表示されたり、そのメイク落ちが検出された部分を示す情報が表示されたりする。
【０１０７】
図１２には、案内の表示例４が示されている。表示例４では、案内が提供されるときに、ＵＩ部１２の表示部に画面７２が表示され、その画面７２に、案内を示すイラスト７６が表示される。イラスト７６は、案内の種類毎に変化する。例えば、メイク落ちが検出された場合、メイク落ちを表すイラストが表示され、髪が乱れている場合、髪が乱れた様子を表すイラストが表示される。
【０１０８】
ユーザが表示例を選択できるようにしてもよい。例えば、表示例３のように文字列によって直接的に案内が提供されることを好むユーザもいれば、そのような直接的な案内を好まずに、表示例４のように間接的に案内が提供されることを好むユーザもいる。ユーザが表示例を選択できるようにすることで、このようなユーザの好みに応じた表示が可能となる。
【０１０９】
以下、案内の具体的な内容について詳しく説明する。
【０１１０】
第１画像と第２画像との間の差分が差分閾値を超えた部分を示す情報や、具体的な解決案を示す情報が、案内としてユーザに提供される。
【０１１１】
例えば、差分として髪に付着したゴミが検出された場合、髪にゴミが付着している旨を示す情報が案内としてユーザに提供される（例えば、その情報がＵＩ部１２の表示部に表示されたり、その情報が音声として発せられたりする）。この場合、「髪のゴミを取りましょう」といった情報が具体的な解決案として提供される。
【０１１２】
差分として髪の広がりが検出された場合、髪が広がっている旨を示す情報が案内として提供される。この場合、「髪をブラッシングしましょう」といった情報が具体的な解決案として提供される。
【０１１３】
チークが薄くなっていることが差分として検出された場合、チークが薄くなっている旨を示す情報が案内として提供される。この場合、「チークを塗り直しましょう」といった情報が具体的な解決案として提供される。
【０１１４】
アイメイク落ちが差分として検出された場合、アイメイクが落ちている旨を示す情報が案内として提供される。この場合、「目元のアイメイクを整えましょう」といった情報が具体的な解決案として提供される。更に具体的な解決案として、「下瞼のアイライン、シャドー落ちを拭きましょう」、「アイラインをもう一度引きましょう」、「アイシャドーを足しましょう」といった情報が具体的な解決案として提供されてもよい。
【０１１５】
顔の汚れが差分として検出された場合、顔が汚れている旨を示す情報が案内として提供される。この場合、「頬の汚れを拭きましょう」といった情報が具体的な解決案として提供される。
【０１１６】
リップ（口紅）が取れていることが差分として検出された場合、リップが取れている旨を示す情報が案内として提供される。この場合、「リップを塗り直しましょう」といった情報が具体的な解決案として提供される。
【０１１７】
唇の荒れが差分として検出された場合、唇が荒れている旨を示す情報が案内として提供される。この場合、「リップクリームを塗りましょう」といった情報が具体的な解決案として提供される。更に具体的な解決案として、「家に帰ったら唇パックをしたらどうでしょう」といった情報が具体的な解決案として提供されてもよい。この場合、唇パックやその作り方等が紹介されてもよい。
【０１１８】
また、案内部２４は、ユーザが所持している道具（例えばメイク道具）を利用して実行可能な解決案を提供してもよい。その道具は予め案内装置１０に登録され、登録された道具を示す情報が記憶部１８に記憶される。例えば、撮影部１６によって登録対象の道具（例えば、メイクに必要な道具が収容されるポーチ等の内部）が撮影され、処理部２０は、その撮影で生成された画像に対して画像認識処理を適用することで登録対象の道具を認識する。このようにして認識された道具が案内装置１０に登録される。また、道具のチェックリストがＵＩ部１２の表示部に表示され、ユーザは、自身が所持している道具を指定してもよい。この場合、ユーザによって指定された道具が案内装置１０に登録される。このように道具が案内装置１０に登録された場合、案内部２４は、登録された道具を利用して実行可能な解決案を提供する。例えば、髪の広がりが差分として検出された場合において、ブラシが案内装置１０に登録されている場合、案内部２４は、ブラシを用いて実行可能な解決案として、「髪をブラッシングしましょう」といった解決案を提供する。解決案に用いられる道具をユーザが所持しているとは限らず、ユーザが実際には実行できないと推測される解決案が提供される場合があるが、上記のように案内を提供することで、ユーザが実際に実行可能な解決案がユーザに提供される。例えば、ユーザが出掛けるときの用事に応じて、出掛けるときにユーザが持っていくメイク道具が異なる場合がある。上記のように解決案を提案することで、ユーザの用事等に適した案内を提供することができる。
【０１１９】
案内部２４は、気象情報に基づいて解決案を提供してもよい。気象情報は、例えば、過去の気象情報、現在の気象情報、将来の気象情報（いわゆる天気予報の情報）等であり、過去、現在、将来における、天候状態（晴れ、曇り、雨、雷、雪等）、降水確率、平均気温、最高気温、最低気温、平均湿度、最高湿度、最低湿度、紫外線の量、風力、風向き、各種の指数（例えば不快指数、洗濯指数、熱中症指数等）等を含む情報である。気象情報は、例えばインターネット等を利用して取得されてもよいし、案内装置１０に設けられた測定装置によって取得されてもよいし、他の通信経路を介して取得されてもよい。例えば、案内部２４は、現在の天気や天気予報に基づいて、メイクに使用される道具やメイクのタイミングやメイクの仕方等を解決案として提供してもよい。具体的には、案内部２４は、当日の天気として雨が降る予報を受けた場合、メイク時又はメイク直し時に水耐性の強い化粧品を用いることを推奨し、日差しが強い場合、紫外線耐性の強い化粧品を用いることを推奨してもよい。また、午前中は晴れていたが午後に雨が降る予報の場合、案内部２４は、メイク直し時に、同色のメイク直しを行うにしても、水耐性の強い化粧品を用いることを推奨してもよい。
【０１２０】
また、案内部２４は、ユーザが所持している道具（例えばメイク道具）と気象情報とに基づいて解決案を提供してもよい。案内部２４は、例えば、メイク時又はメイク直し時における気象情報を取得し、その気象情報が示す天候状態や気温等に適合するメイク道具であってユーザが所持しているメイク道具（例えば登録済みのメイク道具）を解決案として提供してもよい。天候状態等に適合するメイク道具は、上記のように、雨の日のための水耐性の強い化粧品や、紫外線が強いときのその耐性の強い化粧品等である。
【０１２１】
また、案内部２４は、天気予報を取得し、その天気予報に適合するメイク道具を所持するように推奨してもよい。案内部２４は、例えば、雨が降る予報の場合、水耐性の強い化粧品を所持するように推奨し、紫外線が強い予報の場合、紫外線耐性の強い化粧品を所持するように推奨する。
【０１２２】
また、案内部２４は、季節に基づいて解決案を提供してもよい。例えば、案内部２４は、季節が夏であれば、紫外線耐性の強いメイク道具を用いることを推奨してもよいし、そのようなメイク道具を所持するように推奨してもよい。
【０１２３】
また、案内部２４は、ユーザが外出するとき等に、所持すべき道具を案内してもよい。例えば、差分が差分閾値を超えた部分の履歴を示す情報や、解決案の提供の履歴を示す情報が記憶部１８に記憶されて、履歴が案内装置１０にて管理される。案内部２４は、その履歴を参照することで、ユーザによって使用される可能性がある道具を推測し、その道具を案内としてユーザに提供する。こうすることで、解決案がユーザに提供されたときに、ユーザはその道具を利用して解決案を実際に実行することが可能となる。また、案内部２４は、統計的に必要であると推測される道具を案内してもよい。
【０１２４】
処理部２０は、学習機能を備えて、差分閾値を変更してもよい。図１３を参照して、この処理について説明する。一例としてメイク直しの案内を例に挙げて説明する。第１画像７８と第２画像８０との差分が差分閾値（第１差分閾値）を超えておらず、メイク直しが不要であると判断された場合において、ユーザがメイク直しを行った場合、処理部２０は、設定済みの第１差分閾値よりも小さい値を新たな第１差分閾値として設定する。例えば、メイク直し後の画像として第３画像８２や第３画像８４が撮影された場合、比較部２２は、第１画像７８と第３画像８２や第３画像８４とを比較する。第１画像７８と第３画像８２や第３画像８４との差分が、第１画像７８と第２画像８０との差分よりも小さくなっている場合、比較部２２は、メイク直しが実行されたと判断する。もちろん、ユーザがＵＩ部１２を用いて、メイク直しを実行したことを示す情報を入力してもよい。メイク直しが不要と判断された後にメイク直しが実行された場合、処理部２０は、設定済みの第１差分閾値よりも小さい値を新たな第１差分閾値として設定する。例えば、第１画像７８と第２画像８０との差分が新たな第１差分閾値として設定されてもよい。なお、メイク直しによって、第１画像の撮影時よりもメイクが濃くなっている場合もある。メイクアシストやメイク落としのときも同様に差分閾値が変更されてもよい。以上のように差分閾値を変更することで、ユーザの実際の行動に適合する差分閾値が設定される。
【０１２５】
処理部２０は、第１画像の撮影時からの経過時間に応じて差分閾値を変えてもよい。例えば、処理部２０は、その経過時間が長くなるほど差分閾値を大きくしてもよい。こうすることで、経過時間が長くなるほど、第１画像と第２画像との差分が差分閾値を超えにくくなるので、案内が提供されにくくなる。つまり、経過時間が長くなるほど差分の許容範囲が大きくなる。例えば、第１画像の撮影時にユーザにメイクが施されている場合、ユーザによっては、その撮影時からの経過時間が長くなるほど、第１画像の撮影時のメイクよりも薄いメイクで納得することがある。仮に差分閾値が一定の場合、そのようなユーザに対しても不必要な案内が提供されることがある。経過時間が長くなるほど差分閾値を大きくすることで、そのようなユーザに不必要な案内が提供されにくくなる。
【０１２６】
もちろん、処理部２０は、第１画像の撮影時からの経過時間が長くなるほど差分閾値を小さくしてもよい。こうすることで、経過時間が長くなるほど、第１画像と第２画像との差分が差分閾値を超えやすくなるので、案内が提供されやすくなる。例えば、ユーザによっては、頻繁に案内の提供を受けたい場合もあり、そのようなユーザの要求に対応することが可能となる。
【０１２７】
ユーザが、経過時間が長くなるほど差分閾値が大きくなる処理、又は、差分閾値が小さくなる処理の何れかを選択できるようにしてもよい。もちろん、ユーザは、一定の差分閾値を選択してもよい。
【０１２８】
処理部２０は、第２画像の撮影後にユーザを撮影することで生成された第３画像を、新たな第１画像として登録してもよい。この場合、新たに第２画像が得られた場合、新たな第１画像（第３画像）と第２画像とが比較され、その比較結果に応じた案内が提供される。図１４を参照してこの処理について詳しく説明する。図１４には、第１画像８６、第２画像８８及び第３画像９０が示されている。例えば、第１画像の撮影時にユーザにメイクが施されており、第２画像８８の撮影時にメイク直し用の案内が提供され、第３画像９０は、メイク直し後にユーザを撮影することで生成された画像であるものとする。第２画像８８には、差分が第１差分閾値を超えた箇所を示すマーク８８ａ，８８ｂ，８８ｃ，８８ｄが重畳して表されている。比較部２２は、第１画像８６と第２画像８８との差分（第１差分）を演算し、第１画像８６と第３画像９０との差分（第２差分）を演算し、第２差分が第１差分よりも小さい場合、第３画像９０を新たな第１画像として登録する。以降、新たに第２画像が撮影された場合、その第２画像と第３画像９０との差分が演算され、その差分と差分閾値との大小関係に応じて案内が提供される。こうすることで、メイク直し後のメイク（第３画像９０の撮影時のメイク）が第１画像８６の撮影時のメイクよりも薄い場合、メイクが崩れたときに撮影された第２画像と新たな第１画像としての第３画像９０との差分は、元々の第１画像８６とその第２画像との差分よりも小さくなるので、元々の第１画像８６を用いる場合と比べて、案内が提供されにくくなる。つまり、第１画像８６の撮影時からの経過時間が長くなるほど、差分の許容範囲が大きくなる。例えば、ユーザによっては、頻繁に班内の提供を受けたくない場合もあり、そのようなユーザの要求に対応することが可能となる。
【０１２９】
第１画像８６の撮影時にユーザにメイクが施されている場合において、第３画像９０の撮影時のメイクが、第１画像８６の撮影時のメイクよりも濃くなっている場合、処理部２０は、第３画像９０を新たな第１画像として設定してもよい。メイクの濃さは、例えば、色差や画像ノイズを用いることで判断される。第１画像８６の撮影時と第３画像９０の撮影時とでユーザの状況が変化し、第３画像９０の撮影時には第１画像８６の撮影時よりもメイクが濃くなる場合がある。この場合、第３画像９０を新たな第１画像として用いることで、それ以降、第３画像９０を基準として案内が提供される。
【０１３０】
以下、図１５を参照して、差分を演算するための前処理について説明する。図１５には、第１画像と第２画像が示されている。例えば、第１画像９２と第２画像９４との間の位置ずれやサイズ違い等が生じている場合、補正部２８は、符号９２ａ，９４ａで示すように、第１画像９２に表された目の位置と第２画像９４に表された目の位置を合わせたり、第１画像９２と第２画像に表された鼻の位置を合わせたりすることで、画像のずれやサイズ違いを修正する。例えば、補正部２８は、画像を拡大又は縮小させたり、画像の向きを変えたりすることで、画像のずれやサイズ違いを修正する。第１画像９２に表された顔の向きと第２画像９４に表された顔の向き等が一致せず、画像の拡大や縮小等では画像のずれやサイズ違いを修正できない場合、誘導部３０は、第２画像を得るための再度の撮影をユーザに要求してもよい。例えば、「第２画像をもう一度撮影してください」とったメッセージが表示されたり音声が発せられたりする。また、誘導部３０は、第２画像の撮影時に、第１画像９２に透明処理等を施すことで第１画像９２をＵＩ部１２の表示部に表示させ、最適な撮影位置でユーザの顔を撮影できるようにユーザを誘導してもよい。
【０１３１】
図１６を参照して、前処理について更に説明する。図１６には、第１画像と第２画像が示されている。補正部２８は、第１画像９２と第２画像９４において顔の大きさや位置を合わせ、比較部２２は、各部位の色差や画像ノイズ量を比較する。図１６に示す例では、第１画像９２に表された頬の部分（符号９６で示す箇所）と第２画像９４に表された頬の部分（符号９８で示す箇所）とが比較され、両画像の色差や画像ノイズ量が演算される。
【０１３２】
以下、撮影時の環境に応じた処理について説明する。その環境は環境検出部２６によって検出される。例えば、第１画像の撮影時の環境と第２画像の撮影時の環境との差が、環境閾値を超える場合、補正部２８は、環境の差に起因する第１画像と第２画像との差が小さくなるように、第１画像及び第２画像の中の少なくとも一方の画像に画像処理を適用してもよい。補正部２８は、例えば、メイクによる変化が他の部分と比べて比較的に小さい部分の色（例えば、服の色、髪の色、おでこ（メイクが比較的に少ない部分）の色等）を利用して、第１画像と第２画像との間の色味の差が小さくなるように画像処理を実行する。具体的には、補正部２８は、第１画像と第２画像との間で当該小さい部分の色味の差が小さくなるように画像処理を実行する。こうすることで、第１画像の撮影時の環境と第２画像の撮影時の環境とを近付けて第１画像と第２画像との比較が可能となるので、両環境を近付けない場合と比べて、画像の差分の検出精度が向上する。
【０１３３】
また、環境検出部２６は撮影時の環境を検出し、誘導部３０は、第２画像の撮影時の環境が第１画像の撮影時の環境に近付くようにユーザを誘導してもよい。環境検出部２６は、例えば、照度や撮影光等を環境として検出する。撮影時の背景、明るさ、色等によって、その環境が自動的に認識されてもよいし、ユーザが環境を選択してもよい。例えば、白色光（室内）、暖色光（室内）、屋外、等が、環境として検出される。例えば図１７に示すように、誘導部３０は、画面１００をＵＩ部１２の表示部に表示させ、撮影で生成された画像１０２と環境に相当する撮影条件（例えば室内等）を示す情報を画面１００に表示させる。例えば、誘導部３０は、第２画像の撮影時に、第１画像の撮影時の環境（撮影条件）を示す情報を画面１００に表示させる。こうすることで、第１画像の撮影時の環境を示す情報がユーザに提供されるので、ユーザは、その情報を参考にして、第１画像の撮影時の環境により近い環境で第２画像を撮影することができる。
【０１３４】
誘導部３０は、撮影場所をユーザに提案してもよい。例えば、第１画像が室内で撮影されているものとする。第２画像も室内で撮影されているが、第１画像よりも暗い環境で撮影されている場合、誘導部３０は、例えば「光の方向を向いて撮影してください」といったメッセージをＵＩ部１２の表示部に表示させたり音声を発生させたりする。別の例として、第１画像が屋外で撮影されている場合において、光が強くてハレーションが発生している場合、誘導部３０は、例えば「日陰に移動して撮影してください」といったメッセージをＵＩ部１２の表示部に表示させたり音声を発生させたりする。このような誘導を行うことで、第１画像と第２画像との比較の精度が向上する。
【０１３５】
以下、図１８を参照して、差分閾値について詳しく説明する。図１８には、差分閾値の一例が示されている。この差分閾値は、例えば第１差分閾値として用いられる。差分閾値は、一例として、ユーザの部位毎に画像の色差によって予め定められている。その色差は、ユーザの顔の各部位の地肌色と各部位の化粧色とによって定められる。
【０１３６】
例えば、ユーザの部位として、目尻、頬、唇、鼻（高部）、鼻（低部）等が定められている。図１８中の「化粧時構成色」は、ユーザの顔にメイクが施されたときの色の構成である。例えば、目尻の化粧時構成色は、目尻の地肌色とブラウンとを合わせた色である。頬の化粧時構成色は、頬の地肌色とオレンジとを合わせた色である。唇の化粧時構成色は、唇の地肌色とピンクとを合わせた色である。鼻（高部）の化粧時構成色は、鼻（高部）の地肌色とホワイトとを合わせた色である。鼻（低部）の化粧時構成色は、鼻（低部）の地肌色とブラウンとを合わせた色である。各部位の地肌色は、部位毎に予め定められた値であってもよいし、唇以外の部位については代表的な部位（例えば頬）の地肌色であってもよい。上記のブラウン、オレンジ、ピンク、ホワイト等のメイクの色は、メイクにおいて一般的に用いられる色であり、メイクによってはこれら以外の色が用いられてもよい。例えば、流行によってメイクの色が変わる場合もある。その場合、上記以外の化粧時構成色が用いられてもよい。例えば、目尻の化粧時構成色は、地肌色とブラウン以外の色（例えば、青系の色や赤系の色等）とを合わせた色であってもよい。他の部位の化粧時構成色についても同様である。
【０１３７】
また、差分閾値は、ユーザの部位毎に地肌率によって定められてもよい。地肌率は、顔の各部位において地肌が露出している部分の割合であり、例えば、画像に表された各部位において地肌色を有する部分が占める面積の割合である。例えば、第１画像と第２画像との差分を演算することで、第２画像の撮影時における各部位の地肌率（例えば地肌色を有する部分が占める面積の割合）が求められ、その地肌率と差分閾値（地肌率）を超える場合、案内が提供される。こうすることで、例えばメイクが落ちて地肌が露出する割合が閾値を超えた場合に、メイク直し等の案内が提供される。
【０１３８】
また、化粧色の割合（例えば、画像に表された各部位において化粧色を有する部分が占める面積の割合）が閾値（第２差分閾値に相当する閾値）を超えた場合、メイク落とし等の案内が提供されてもよい。
【０１３９】
上述した実施形態では、撮影の対象は同一のユーザであるが、互いに異なるユーザの画像を比較し、その比較結果に応じた案内が提供されてもよい。例えば、目標となるユーザを撮影することで、そのユーザのメイクや髪型が表された第１画像が生成され、その第１画像と第２画像とを比較することで、その目標となるメイクや髪型に近付くための案内が提供されてもよい。
【０１４０】
メイクや髪型以外にも、服装の乱れが検出されてもよい。例えば、ユーザの全身、上半身、下半身等を撮影することで第１画像と第２画像が生成され、両画像を比較することで、服装の乱れが検出されてもよい。差分が差分閾値を超える場合、つまり、服装の乱れが閾値を超える程度に大きい場合、服装を整えるための案内が提供される。
【０１４１】
第１画像と第２画像との差分として、肌のシミの差分、しわの差分、肌荒れの差分、体形の差分等が検出されて、その差分や、その差分を解消するための案内（対策等を含む）がユーザに提供されてもよい。このような案内が予め定められたタイミングで（例えば１年毎や半年毎に）提供されてもよい。
【０１４２】
第１画像と第２画像との差分として、部屋の状況の差分が検出されてもよい。例えば、掃除が施されて綺麗な状態の部屋が撮影されて第１画像が生成され、その後、部屋が撮影されて第２画像が生成される。第１画像と第２画像との差分が差分閾値を超えた場合、部屋が汚れている旨、掃除の方法、等が案内として提供される。
【０１４３】
道具等の物体が撮影されて第１画像と第２画像が生成されてもよい。例えば、ある作業に必要な道具や忘れ物が無い状態の道具等が撮影されて第１画像が生成され、その後、道具が撮影されて第２画像が生成される。第１画像と第２画像との差分が差分閾値を超えた場合、必要な道具が足りていない旨、忘れ物がある旨、等が案内として提供される。
【０１４４】
上述した差分閾値は、ユーザの目的に応じて変更されてもよい。例えば、ユーザが客先を訪問する場合、遊びに行く場合、等に応じて差分閾値が変更されてもよい。また、処理部２０は、ユーザのスケジュールを示す情報を取得し、そのスケジュールに応じて差分閾値を変えてもよい。こうすることで、ユーザの目的やスケジュールに応じた案内が提供される。
【０１４５】
案内部２４は、案内に優先順位を付けて提供してもよい。例えば、メイクに関する案内を提供する場合、案内部２４は、顔の部位毎に優先順位を定める。例えば、目やその周辺は人に強い印象を与えると推測されるため、目やその周辺の優先順位が最も高い。次に、口の印象が強いと推測されるため、口の優先順位は２番に設定され、頬の優先順位は３番に設定される。案内部２４は、顔の部位毎に差分を演算し、優先順位の高い部位ほど優先的に案内を提供する。例えば、案内部２４は、優先順位が最も高い目やその周辺における差分が差分閾値を超えた場合、案内を提供し、目やその周辺における差分が差分閾値を超えていない状態で、頬における差分が差分閾値を超えた場合、案内を提供しなくてもよい。
【０１４６】
案内部２４は、案内を提供するときに第１画像をＵＩ部１２の表示部に表示させて、第１画像との比較で案内を提供してもよい。また、案内部２４は、案内を提供するときに、ユーザの作業の達成度（例えば、メイク直しの達成度やメイク落としの達成度等）を示す情報（例えば数値）をＵＩ部１２の表示部に表示させたり音声を発生させたりしてもよい。達成度は、第１画像に表されたユーザのメイクの状態に近付いた程度を示す指標である。達成度を提供することで、第１画像に近付けた程度をユーザに提供することができる。
【０１４７】
複数の差分閾値が定められてもよい。この場合、案内部２４は、第１画像と第２画像との差分と各差分閾値とを比較し、差分が超えた差分閾値に応じた案内を提供してもよい。例えば、差分が最小の差分閾値を超えた段階では、差分がそれほど大きくないとして、その小さな差分を解消するための案内が提供される。差分が更に大きな差分閾値を超えた場合、差分がより大きくなったとして、その大きな差分を解消するための案内が提供される。こうすることで、差分の大きさに応じた案内が段階的に提供される。
【０１４８】
処理部２０は、メイクの明るさに応じて差分閾値を変えてもよい。一般的に、明るい雰囲気のメイクは、差分が目立ちにくく、暗い雰囲気のメイクは、差分が目立ちやすい。明るい雰囲気のメイクがユーザに施されている場合、暗い雰囲気のメイクがユーザに施されている場合と比べて、より大きい差分閾値が設定されてもよい。こうすることで、明るい雰囲気のメイクが施されているときは、暗い雰囲気のメイクが施されているときよりも、案内が提供されにくくなる。それとは逆に、暗い雰囲気のメイクが施されているときは、案内が提供されやすくなる。
【０１４９】
上記以外の処理として、処理部２０は、例えば、第１画像と第２画像との差分に基づいて、ユーザの血色の変化や疲れ具合を検出し、血色の変化に応じた案内や疲れ具合に応じた案内を提供してもよい。例えば、昼休みの開始時刻にそのような案内が提供されてもよい。
【０１５０】
上記の案内装置１０は、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、案内装置１０は、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、案内装置１０の各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、案内装置１０の各部は、例えばプロセッサや電子回路やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、案内装置１０の各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。
【符号の説明】
【０１５１】
１０  案内装置、２０  処理部、２２  比較部、２４  案内部、２６  環境検出部、２８  補正部、３０  誘導部。
【図１】
2019028731.tif 000003
【図２】
2019028731.tif 000004
【図３】
2019028731.tif 000005
【図４】
2019028731.tif 000006
【図５】
2019028731.tif 000007
【図６】
2019028731.tif 000008
【図７】
2019028731.tif 000009
【図８】
2019028731.tif 000010
【図９】
2019028731.tif 000011
【図１０】
2019028731.tif 000012
【図１１】
2019028731.tif 000013
【図１２】
2019028731.tif 000014
【図１３】
2019028731.tif 000015
【図１４】
2019028731.tif 000016
【図１５】
2019028731.tif 000017
【図１６】
2019028731.tif 000018
【図１７】
2019028731.tif 000019
【図１８】
2019028731.tif 000020