(57)【要約】【課題】顔の形状に応じた化粧ガイド画像を表示できる化粧支援プログラムの提供。【解決手段】人物の顔を含む撮像画像を取得し、取得した前記撮像画像における、顔の部位又は顔の複数の部位に対応する位置を通る線上の部位に、前記顔の形状に応じた形状を有する領域を表示する、処理をコンピュータに実行させる化粧支援プログラムである。【選択図】図１１
2019057045.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔を含む撮像画像を取得し、
取得した前記撮像画像における、顔の部位又は顔の複数の部位に対応する位置を通る線上の部位に、前記顔の形状に応じた形状を有する領域を表示する、
処理をコンピュータに実行させることを特徴とする化粧支援プログラム。
【請求項２】
前記領域は、前記顔の複数の部位に対応する位置を通る線上であって、顔の他の部位を通る所定の線との交点に対応する部位を含む領域である、
ことを特徴とする、請求項１に記載の化粧支援プログラム。
【請求項３】
前記撮像画像の前記顔の形状を分類し、
分類した形状の顔を含む他の撮像画像を、前記撮像画像と並べて表示する、
ことを特徴とする、請求項１又は２に記載の化粧支援プログラム。
【請求項４】
前記領域は、前記他の撮像画像から抽出した化粧部位を示す範囲と相似形であり、
前記撮像画像における顔の大きさに応じて前記撮像画像上に前記領域を表示する、
ことを特徴とする、請求項３に記載の化粧支援プログラム。
【請求項５】
前記領域の形状に関するアドバイスを表示する、
ことを特徴とする、請求項１から４のいずれか一項に記載の化粧支援プログラム。
【請求項６】
前記撮像画像における顔の肌の色に応じた化粧の色彩の候補を表示する、
ことを特徴とする、請求項１から５のいずれか一項に記載の化粧支援プログラム。
【請求項７】
前記顔の形状は、面長形状、丸顔形状、及び逆三角形形状のいずれかである、
ことを特徴とする、請求項１から６のいずれか一項に記載の化粧支援プログラム。
【請求項８】
前記領域として枠を表示する、
ことを特徴とする、請求項１から７のいずれか一項に記載の化粧支援プログラム。
【請求項９】
人物の顔を含む撮像画像を取得し、
取得した前記撮像画像における、顔の部位又は顔の複数の部位に対応する位置を通る線上の部位に、前記顔の形状に応じた形状を有する領域を表示する、
処理を実行する制御部を有することを特徴とする化粧支援装置。
【請求項１０】
人物の顔を含む撮像画像を取得し、
取得した前記撮像画像における、顔の部位又は顔の複数の部位に対応する位置を通る線上の部位に、前記顔の形状に応じた形状を有する領域を表示する、
処理をコンピュータが実行することを特徴とする化粧支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、化粧支援プログラム、化粧支援装置、及び化粧支援方法に関する。
【背景技術】
【０００２】
近年、スマートフォンなどの携帯端末にカメラが搭載され、多数の人に撮像画像が取得されるようになると共に、撮像画像を処理する画像処理技術が発達してきている。この撮像画像を処理する画像処理技術を用いて、化粧を支援する装置や方法などに関する様々な提案がされている。
【０００３】
例えば、モデルやタレントの化粧などを参考にする目的で、ユーザ自身の顔を撮影した画像の特定部位と、参考にする画像の特定部位とを重ね合わせて表示する装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１４９６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術において、ユーザが化粧の参考にする参考画像が他人の顔の画像であれば、その他人と顔の形状が異なっていると参考にしにくい場合がある。
【０００６】
一つの側面では、顔の形状に応じた化粧ガイド画像を表示できる化粧支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの実施態様では、化粧支援プログラムは、人物の顔を含む撮像画像を取得し、取得した前記撮像画像における、顔の部位又は顔の複数の部位に対応する位置を通る線上の部位に、前記顔の形状に応じた形状を有する領域を表示する、処理をコンピュータに実行させる。
【発明の効果】
【０００８】
一つの側面では、顔の形状に応じた化粧ガイド画像を表示できる化粧支援プログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、化粧支援装置を有するシステムの構成の一例を示すブロック図である
【図２】図２は、化粧支援装置が設置された化粧台の一例を示す説明図である。
【図３】図３は、化粧支援装置の一例を示す概略外観図である。
【図４】図４は、化粧支援装置のハードウェア構成の一例を示すブロック図である。
【図５】図５は、化粧支援装置の機能構成の一例を示すブロック図である。
【図６】図６は、画像ＤＢに格納されているカメラ画像の情報の一例を示す説明図である。
【図７】図７は、検出対象ＤＢに格納されている検出対象部位情報の一例を示す説明図である。
【図８】図８は、補助線ＤＢに格納されている補助線描画情報の一例を示す説明図である。
【図９】図９は、アドバイスＤＢに格納されているアドバイス情報の一例を示す説明図である。
【図１０】図１０は、チークの色の候補に関する情報の一例を示す説明図である。
【図１１】図１１は、化粧前のユーザの顔を含むカメラ画像にチーク領域を表示する流れの一例を示すフローチャートである。
【図１２】図１２は、カメラ画像を表示したときの化粧支援装置の画面の一例を示す説明図である。
【図１３】図１３は、図１２のカメラ画像に補助線を表示したときの化粧支援装置の画面の一例を示す説明図である。
【図１４】図１４は、図１３のカメラ画像にチーク領域を表示したときの化粧支援装置の画面の一例を示す説明図である。
【図１５】図１５は、図１４のカメラ画像にアドバイスを表示したときの化粧支援装置の画面の一例を示す説明図である。
【図１６】図１６は、図１５のカメラ画像にチークの色彩の候補を表示したときの化粧支援装置の画面の一例を示す説明図である。
【図１７】図１７は、チークを入れたときのユーザの顔を表示したときの化粧支援装置の画面の一例を示す説明図である。
【図１８】図１８は、参考画像に基づく形状を有するチーク領域をカメラ画像に重畳させて表示する流れの一例を示すフローチャートである。
【図１９】図１９は、画像ＤＢに格納される参考画像の情報の一例を示す説明図である。
【図２０】図２０は、化粧支援装置の他の一例を示す概略外観図である。
【図２１】図２１は、図２０の参考画像においてチークを入れている領域を特定したときの化粧支援装置の画面の一例を示す説明図である。
【図２２】図２２は、図２１の参考画像に補助線を表示したときの化粧支援装置の画面の一例を示す説明図である。
【図２３】図２３は、図２２のカメラ画像に補助線を表示したときの化粧支援装置の画面の一例を示す説明図である。
【図２４】図２４は、図２３のカメラ画像にチーク領域を表示したときの化粧支援装置の画面の一例を示す説明図である。
【図２５】図２５は、化粧支援装置の画面の他の一例を示す説明図である。
【図２６】図２６は、顔の形状が丸顔形状のときの化粧支援装置の画面の一例を示す説明図である。
【図２７】図２７は、顔の形状が面長形状のときの化粧支援装置の画面の他の一例を示す説明図である。
【図２８】図２８は、顔の形状が逆三角形形状のときの化粧支援装置の画面の他の一例を示す説明図である。
【図２９】図２９は、顔の形状がホームベース形状のときの化粧支援装置の画面の他の一例を示す説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施例を説明するが、本発明は、この実施例に何ら限定されるものではない。
【実施例】
【００１１】
（第１の実施例）
図１は、化粧支援装置１００を有するシステム１０の構成の一例を示すブロック図である。
図１に示すように、システム１０は、化粧支援装置１００と、画像情報を格納している情報処理装置２００と、を有する。化粧支援装置１００は、ネットワーク３００を介して情報処理装置２００と通信可能に接続されている。即ち、化粧支援装置１００は、インターネットに接続されている。なお、情報処理装置２００は、サーバ装置と称することもあり、複数存在してもよい。
【００１２】
（化粧支援装置）
図２は、化粧支援装置１００が設置された化粧台５００の一例を示す説明図である。
図２に示すように、化粧支援装置１００は、本実施例では、いわゆるタブレット端末装置である。化粧支援装置１００は、化粧台５００の三面鏡４００のユーザの正面に位置する鏡の上部に設置されている。
図２では、化粧支援装置１００はユーザの顔より上方に設置されているため、化粧支援装置１００に搭載されているカメラでユーザの顔を撮影すると斜め上からユーザの顔が撮影される。このため、本実施例では、公知の角度補正の技術を用いて、化粧支援装置１００のタッチパネル１０５のディスプレイにはユーザの顔を正面から撮影したように表示する。
以下、化粧支援装置１００の詳細について図３を参照しながら説明する。
【００１３】
図３は、化粧支援装置１００の一例を示す概略外観図である。
図３に示すように、化粧支援装置１００は、タッチパネル１０５と、カメラ１０６と、を有する。
タッチパネル１０５は、カメラ１０６が取得した化粧前あるいは化粧中のユーザの顔を含む撮像画像を表示するカメラ画像表示領域１０５ａを有する。
なお、ユーザの顔を含む撮像画像を、以下では「カメラ画像」と称することがある。
カメラ画像としては、本実施例では、化粧支援装置１００のカメラ１０６でユーザの顔を撮像した画像とするが、これに限ることなく、目的に応じて適宜選択することができる。カメラ画像としては、例えば、顔の形状、肌の色などを加工処理された画像、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）画像などが挙げられる。
【００１４】
本実施例の化粧支援装置１００は、カメラ画像のユーザの顔の形状に応じた形状としたチークを入れる領域を、ユーザの顔の画像に重畳させて表示することにより、化粧を支援する。
なお、チークを入れる領域を、以下では「チーク領域」と称することがある。
また、顔の形状に応じた形状を有する領域は、本実施例では、チーク領域を示すが、これに限ることなく、例えば、ハイライト、ノーズシャドウ、アイライン、アイシャドウなどを入れる範囲としてもよい。
【００１５】
具体的には、化粧支援装置１００は、まず、カメラ１０６によりユーザの顔を含む撮像画像をカメラ画像として取得する。
次に、化粧支援装置１００は、取得したカメラ画像を画像処理することにより、ユーザの顔の形状を分類する。図３に示すように、本実施例では、ユーザの顔の形状を「たまご形状」とする。
次に、化粧支援装置１００は、取得したカメラ画像において、黒目の周縁部のうち最右端からの垂線Ａ１、並びに右小鼻下端及び右耳中心に対応する位置を通る線Ａ２上の右頬に該当する部位に、ユーザの顔の形状に応じた形状としたチーク領域Ｂの枠を表示する。また、左頬のチーク領域も、チーク領域Ｂと同様に表示する。
このように、化粧支援装置１００は、チーク領域を垂線Ａ１などとともにカメラ画像に重畳して表示することで、顔の部位又は顔の複数の部位との相対的な位置関係についてユーザが視覚的に把握しやすくすることができる。また、化粧支援装置１００は、チーク領域Ｂを枠として表示することにより、ユーザの顔の形状に応じたチーク領域の位置及び大きさをユーザに対し明確に示すことができる。
なお、顔の部位としては、本実施例では、目、鼻、及び耳としたが、これらに限ることなく、例えば、口、眉などとしてもよい。
また、ユーザの黒目の周縁部からの垂線Ａ１、並びに小鼻の下端及び耳の中心に対応する位置を通る線Ａ２は、以下では「補助線Ａ１」及び「補助線Ａ２」と称することもあり、区別しないときは単に「補助線」と称する。
補助線は、本実施例では直線とするが、これに限ることなく、例えば、曲線などであってもよい。
【００１６】
カメラ画像に含まれるユーザの顔の形状は、本実施例では、化粧支援装置１００の画像処理により、面長形状、丸顔形状、逆三角形形状、たまご形状、又はホームベース形状に分類される。
顔の形状の種類については、本実施例では上記の５種類とするが、これに限ることなく、目的に応じて適宜設定することができる。
【００１７】
なお、顔の形状を分類する画像処理の方法としては、特に制限はなく、目的に応じて公知の方法を選択することができ、例えば、エッジ抽出などが挙げられる。
また、カメラ画像は、本実施例では、ユーザの指示により静止画像か動画かを選択することができる。カメラ画像が動画であっても、化粧支援装置１００は、公知の画像の特徴点を抽出する技術などにより、顔の動きに追従して、領域や補助線を表示することができる。
【００１８】
次に、化粧支援装置１００のハードウェア構成及び機能構成についてそれぞれ説明する。
【００１９】
＜化粧支援装置のハードウェア構成＞
図４は、化粧支援装置１００のハードウェア構成の一例を示すブロック図である。
図４に示すように、化粧支援装置１００は以下の各部を有する。各部は、バス１０７を介してそれぞれ接続されている。
【００２０】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１は、主記憶装置１０２などが記憶するＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や各種プログラムを実行することにより、種々の制御や演算を行うプロセッサである。即ち、ソフトウェアを実行するプロセッサは、ハードウェアである。
また、ＣＰＵ１０１は、本実施例では、化粧支援プログラムを実行することにより、後述する制御部１４０として機能する。
なお、化粧支援プログラムは、必ずしも最初から主記憶装置１０２、補助記憶装置１０３などに記憶されていなくともよい。また、インターネットなどを介して化粧支援装置１００に接続される他の情報処理装置などに化粧支援プログラムを記憶させ、化粧支援装置１００がこれらから化粧支援プログラムを取得して実行するようにしてもよい。
【００２１】
また、ＣＰＵ１０１は、化粧支援装置１００全体の動作を制御する。なお、本実施例では、化粧支援装置１００全体の動作を制御する装置をＣＰＵ１０１としたが、これに限ることなく、例えば、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などとしてもよい。
【００２２】
主記憶装置１０２は、各種プログラムを記憶し、各種プログラムを実行するために必要なデータ等を記憶する。
主記憶装置１０２は、図示しない、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、を有する。
ＲＯＭは、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）等の各種プログラムなどを記憶している。
ＲＡＭは、ＲＯＭに記憶された各種プログラムがＣＰＵ１０１により実行される際に展開される作業範囲として機能する。ＲＡＭとしては、特に制限はなく、目的に応じて適宜選択することができる。ＲＡＭとしては、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などが挙げられる。
【００２３】
補助記憶装置１０３としては、各種情報を記憶できれば特に制限はなく、目的に応じて適宜選択することができ、例えば、ソリッドステートドライブ、ハードディスクドライブなどが挙げられる。また、補助記憶装置１０３は、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）ドライブ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）ドライブ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）ドライブなどの可搬記憶装置としてもよい。
【００２４】
通信インターフェイス１０４としては、特に制限はなく、適宜公知のものを用いることができ、例えば、無線又は有線を用いた通信デバイスなどが挙げられる。
【００２５】
タッチパネル１０５としては、特に制限はなく、適宜公知のものを用いることができる。
なお、本実施例では、入出力装置としてタッチパネル１０５としたが、これに限ることなく、例えば、入力装置と出力装置を組み合わせた装置であってもよい。
入力装置としては、特に制限はなく、適宜公知のものを用いることができ、例えば、キーボード、マウスなどが挙げられる。
出力装置としては、特に制限はなく、適宜公知のものを用いることができ、例えば、ディスプレイ、スピーカーなどが挙げられる。ディスプレイとしては、特に制限はなく、適宜公知のものを用いることができ、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどが挙げられる。
【００２６】
カメラ１０６としては、特に制限はなく、適宜公知のものを用いることができ、例えば、デジタルカメラ、デジタルビデオカメラなどが挙げられる。
【００２７】
＜化粧支援装置の機能構成＞
図５は、化粧支援装置１００の機能構成の一例を示すブロック図である。
図５に示すように、化粧支援装置１００は、通信部１１０と、記憶部１２０と、入出力部１３０と、制御部１４０と、を有する。
【００２８】
通信部１１０は、制御部１４０の指示に基づき、図１に示した情報処理装置２００にネットワーク３００を介して各種情報や要求を送受信する。
【００２９】
記憶部１２０は、制御部１４０の指示に基づき、化粧支援装置１００にインストールされた各種プログラムや、プログラムを実行することにより生成されるデータ等を記憶する。
記憶部１２０は、本実施例では、画像データベース１２１と、検出対象データベース１２２と、補助線データベース１２３と、アドバイスデータベース１２４と、を有する。以下、データベースを「ＤＢ」と称することもある。
また、記憶部１２０は、チークの色の候補に関する情報を予め格納している。
【００３０】
図６は、画像ＤＢ１２１に格納されているカメラ画像の情報の一例を示す説明図である。
画像ＤＢ１２１には、カメラ１０６を用いて取得したカメラ画像の情報が格納される。
図６に示すように、本実施例では、カメラ画像の情報は、「ファイル名」、「取得日時」、及び「取得方法」の項目の情報をカメラ画像のデータに対応付けて格納される。
「ファイル名」は、カメラ画像のファイル名である。「取得日時」は、カメラ画像を取得した日時の情報である。「取得方法」は、カメラ画像を取得した方法の情報である。
【００３１】
図７は、検出対象ＤＢ１２２に格納されている検出対象部位情報の一例を示す説明図である。検出対象部位情報は、本実施例では、カメラ画像において顔の部位又は顔の複数の部位を画像処理により検出するために予め検出対象ＤＢ１２２に格納されている。
図７に示すように、本実施例では、検出対象部位情報は、「部位名称」、「詳細部位１」、「詳細部位２」、及び「詳細部位３」の項目を含む。
「部位名称」は、カメラ画像において検出する顔の部位の名称を示す情報である。「詳細部位１」、「詳細部位２」、及び「詳細部位３」は、カメラ画像の顔の部位において詳細に抽出する各箇所の情報である。
【００３２】
図８は、補助線ＤＢ１２３に格納されている補助線描画情報の一例を示す説明図である。補助線描画情報は、本実施例では、カメラ画像に補助線を描画するために予め補助線ＤＢ１２３に格納されている。
図８に示すように、本実施例では、補助線描画情報は、「名称」、「線の種類」、「線の色」、「線の太さ」、「描画ルール」の項目を含む。
「名称」は、補助線の名称の情報である。「線の種類」は、補助線における線の種類の情報である。「線の色」は、補助線の色の情報である。「線の太さ」は、補助線の太さの情報である。「描画ルール」は、補助線を描画するルールを示す情報である。
【００３３】
図９は、アドバイスＤＢ１２４に格納されているアドバイス情報の一例を示す説明図である。アドバイス情報は、本実施例では、チークを入れる際のアドバイスを記載した欄に表示する内容である。アドバイス情報は、予めアドバイスＤＢ１２４に格納されている。
図９に示すように、本実施例では、アドバイス情報は、「顔の形状」及び「アドバイス」の項目を含む。
「顔の形状」は、本実施例では、面長形状、丸顔形状、逆三角形形状、たまご形状、又はホームベース形状に分類される顔の形状の情報である。「アドバイス」は、顔の形状に応じたチーク領域の形状に関する情報である。
【００３４】
図１０は、チークの色の候補に関する情報の一例を示す説明図である。チークの色の候補に関する情報は、ユーザの顔の肌の色に応じたチークの色の候補を表示する際に用いられる。
図１０に示すように、本実施例では、チークの色の候補に関する情報は、「肌の色空間座標」及び「似合うチークの色候補」の項目を含む。
「肌の色空間座標」は、カメラ画像から得られたＲＧＢ信号によるユーザの肌の色を、Ｌ＊ａ＊ｂ＊表色系の色座標に変換して示した情報である。「似合うチークの色候補」は、色座標で示した肌の色に似合うチークの色の候補を示す情報である。
なお、ＲＧＢ信号をＬ＊ａ＊ｂ＊表色系の色座標に変換する方法としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、Ｂｒａｄｆｏｒｄ変換による方法などが挙げられる。
また、「肌の色空間座標」から「似合うチークの色候補」を人工知能により選定するようにしてもよい。具体的には、チークを入れたモデルを撮影した画像を教師画像データ群、チークを入れたモデルを撮影した画像のなかでユーザがお気に入りの画像を教師正解データ群として人工知能が学習して導出した学習済み重みパラメータを取得する。このようにすると、化粧支援装置１００は、導出した学習済み重みパラメータを用いて推論し、ユーザ好みの「似合うチークの色候補」を表示することができる。
【００３５】
入出力部１３０は、タッチパネル１０５によりユーザの接触による入力を受け付けるほか、制御部１４０の指示に基づき、ディスプレイによる表示を行う。
【００３６】
＜制御部＞
制御部１４０は、記憶部１２０に記憶された各種プログラムを実行し、化粧支援装置１００全体を制御する。制御部１４０は、本実施例では、以下に説明する処理を行う。
【００３７】
図１１は、化粧前のユーザの顔を含むカメラ画像にチーク領域を表示する流れの一例を示すフローチャートである。
以下、図１１に示すフローチャートにしたがって、化粧支援装置１００が、カメラ画像に、ユーザの顔の形状に応じてチーク領域を表示し、更に、アドバイス及びチークの色彩の候補を表示する流れについて説明する。なお、化粧前のユーザのカメラ画像は静止画像とする。
【００３８】
ステップＳ１０１では、制御部１４０は、カメラ１０６により、化粧前のユーザの顔を含むカメラ画像を取得して画像ＤＢ１２１に格納する。制御部１４０は、図１２に示すように、取得したユーザの顔のカメラ画像をカメラ画像表示領域１０５ａに表示すると、処理をＳ１０２に移行する。
【００３９】
ステップＳ１０２では、制御部１４０は、取得したカメラ画像を画像処理することにより、ユーザの顔の形状を「たまご形状」として分類すると、処理をＳ１０３に移行する。
なお、顔の形状を分類する画像処理の方法としては、特に制限はなく、目的に応じて公知の方法を選択することができ、例えば、エッジ抽出などが挙げられる。
【００４０】
ステップＳ１０３では、まず、制御部１４０は、カメラ画像において、検出対象部位情報に基づき、両目、両耳、及び鼻を検出する。次に、制御部１４０は、検出した顔の部位から、補助線描画情報に基づき、図１３に示すように、カメラ画像における右目外縁の最右端からの垂線を補助線Ａ１として引き、更に右小鼻下端及び右耳中心を通る線を補助線Ａ２として引く。次に、制御部１４０は、ユーザの顔の左側についても上述のように補助線を引くと、処理をＳ１０４に移行する。
なお、顔の部位及び特定の部位を検出する方法としては、特に制限はなく、目的に応じて公知の方法を選択することができ、例えば、エッジ抽出などが挙げられる。
【００４１】
ステップＳ１０４では、制御部１４０は、図１４に示すように、カメラ画像に、チーク領域Ｂを示す枠を、ユーザの顔の形状に応じた形状で補助線に基づいた位置に表示すると、処理をＳ１０５に移行する。
このように、化粧支援装置１００は、カメラ画像に、チーク領域Ｂを示す枠を、ユーザの顔の形状に応じた形状で補助線に基づいた位置に表示することにより、ユーザの顔の形状に応じたチーク領域の位置及び大きさをユーザに対し明確に示すことができる。
【００４２】
ステップＳ１０５では、制御部１４０は、図１５に示すように、カメラ画像表示領域１０５ａに、チークを入れる際のアドバイスを記載した欄Ｃを図９に示したアドバイス情報に基づいて表示すると、処理をＳ１０６に移行する。
このように、化粧支援装置１００は、ユーザごとに顔の形状が異なる場合であっても、チークを入れる際のアドバイスを記載した欄Ｃを表示することにより、顔の形状に応じた化粧を支援することができる。
【００４３】
ステップＳ１０６では、制御部１４０は、図１６に示すように、チーク領域の肌の色に応じたチークの色の候補を表示する。
このように、化粧支援装置１００は、チーク領域の肌の色に応じたチークの色彩の候補を表示することにより、ユーザがチーク領域に入れるチークの色彩を迷いにくくすることができる。
制御部１４０は、チークの色彩の候補を表示すると、本処理を終了させる。
なお、ユーザがチーク領域にチークを入れると、図１７に示すようになる。
【００４４】
以上説明したように、化粧支援装置は、人物の顔を含む画像を取得し、取得した画像における、顔の部位又は顔の複数の部位に対応する位置を通る線上の部位に、顔の形状に応じた形状の領域を表示することにより、顔の形状に合う化粧ガイド画像を表示できる。
【００４５】
（第２の実施例）
第２の実施例では、まず、第１の実施例と同様に、化粧支援装置１００は、取得したカメラ画像を画像処理によりユーザの顔の形状を分類する。次に、化粧支援装置１００は、分類した顔の形状を有するモデルなどの人物の顔を含む他の撮像画像をインターネット上から抽出して、ユーザにより選定された他の撮像画像をカメラ画像と並べて表示する。次に、化粧支援装置１００は、選定された他の撮像画像から特定したチークが入っている範囲及び位置に基づき、カメラ画像のユーザの顔にチーク領域を重畳させて表示する。
なお、モデルなどの人物の顔を含む他の撮像画像を、以下では「参考画像」と称することがある。
また、参考画像としては、本実施例では、インターネット上から抽出した画像としたが、これに限ることなく、カメラ画像と同様に目的に応じて適宜選択することができる。
以下では、主に第１の実施例と比較して相違する点を、図１８のフローチャートにしたがいながら説明する。
【００４６】
図１８は、参考画像に基づく形状を有するチーク領域をカメラ画像に重畳させて表示する流れの一例を示すフローチャートである。
以下、図１８に示すフローチャートにしたがって、化粧支援装置１００が、ユーザの顔の形状に応じて抽出した参考画像に補助線及びチーク領域を表示し、更にカメラ画像に補助線及びチーク領域を表示する流れについて説明する。
なお、Ｓ２０１及びＳ２０２は、図１１に示したフローチャートのＳ１０１及びＳ１０２と同様であるため、説明を省略する。また、化粧前のユーザのカメラ画像は静止画像とする。
【００４７】
ステップＳ２０３では、ユーザの顔の形状を「たまご形状」として分類した制御部１４０は、顔の形状が「たまご形状」である参考画像をインターネット上から抽出し、複数の参考画像をタッチパネル１０５に表示すると、処理をＳ２０４に移行する。
本ステップでは、通信部１１０は、本実施例では、ユーザにより指定された参考画像のデータ送信要求を、情報処理装置２００に出力するとともに、要求に応じた参考画像の情報を情報処理装置２００から受信する。記憶部１２０の画像ＤＢ１２１には、通信部１１０が受信した参考画像の情報が格納される。図１９に示すように、参考画像を「ファイル名」、「取得日時」、「取得方法」の項目の情報を対応付けて画像ＤＢ１２１に格納する。参考画像の各項目の情報については、上述した参考画像の項目の情報の説明と同様であるため、説明を省略する。
【００４８】
また、第２の実施例では、タッチパネル１０５は、図２０に示すように、カメラ画像表示領域１０５ａの横に、参考画像を表示する参考画像表示領域１０５ｂを有する。
したがって、化粧支援装置１００は、ユーザと同じ形状の顔を含む参考画像、及びユーザの顔を含むカメラ画像を並べて表示することにより、化粧の参考にしたい人物の顔とユーザの顔とをユーザが比較しやすくなる。
【００４９】
ステップＳ２０４では、制御部１４０は、表示した複数の参考画像のうち１つの参考画像がユーザによりタッチパネル１０５を介して選択されたと判定すると、図２０に示したように、選択された参考画像を参考画像表示領域１０５ｂに表示する。このように、制御部１４０は、選択された参考画像とユーザの顔を含むカメラ画像を並べて表示すると、処理をＳ２０５に移行する。
【００５０】
ステップＳ２０５では、制御部１４０は、図２１に示すように、参考画像のチークの輪郭Ｆを画像処理により抽出すると、処理をＳ２０６に移行する。
【００５１】
ステップＳ２０６では、まず、制御部１４０は、参考画像において、検出対象部位情報に基づき、両目、両耳、及び鼻を検出する。次に、制御部１４０は、図２２に示すように、補助線描画情報に基づき、参考画像における右目外縁の最右端からの垂線を補助線Ｅ１として引き、更に右小鼻下端及び右耳中心を通る線を補助線Ｅ２として引く。また、制御部１４０は、参考画像における左目外縁の最左端からの垂線を補助線として引き、更に左小鼻下端及び左耳中心を通る線を補助線として引くと、処理をＳ２０７に移行する。
【００５２】
ステップＳ２０７では、制御部１４０は、図２３に示すように、参考画像と同様に、補助線描画情報に基づいてカメラ画像のユーザの顔に補助線を引くと、処理をＳ２０８に移行する。
【００５３】
ステップＳ２０８では、制御部１４０は、図２４に示すように、抽出したチークの輪郭と相似形の領域を、ユーザの顔の大きさに応じた大きさで、補助線に基づいた位置のカメラ画像に表示する。
このように、制御部１４０は、ユーザと同じ形状の顔を含む参考画像における人物の顔とチークを入れた領域との大きさの関係に基づき、カメラ画像におけるユーザの顔の大きさに応じたチーク領域を、カメラ画像上に表示することにより、ユーザは、参考画像の人物に倣ったチークを入れることが容易になる。
制御部１４０は、抽出したチークの輪郭と相似形の領域をカメラ画像に表示すると、本処理を終了する。
なお、ユーザがチーク領域にチークを入れると、図２５に示すようになる。
【００５４】
以上説明したように、化粧支援装置は、ユーザと同じ形状の顔を含む参考画像における人物の顔とチークを入れた領域との大きさの関係に基づき、カメラ画像におけるユーザの顔の大きさに応じたチーク領域を、カメラ画像上に表示することにより、ユーザは、参考画像の人物に倣ったチークを入れることが容易になる。
【００５５】
なお、第１及び第２の実施例では、ユーザの顔の形状をたまご形状としたが、これに限ることなく、丸顔形状、面長形状、逆三角形形状、又はホームベース形状としてもよい。図２６〜図２９には、ユーザの顔の形状を丸顔形状、面長形状、逆三角形形状、又はホームベース形状とした場合のカメラ画像表示領域１０５ａを示す。
図２６〜図２９において、左の図から、ユーザの顔を撮影したとき、カメラ画像に補助線及びチーク領域を表示したとき、表示されたチーク領域に基づいてユーザがチークを入れたときのカメラ画像表示領域１０５ａの表示を示す。
このように、化粧支援装置は、人物の顔を含む画像を取得し、取得した画像における、顔の部位又は顔の複数の部位に対応する位置を通る線上の部位に、顔の形状に応じた形状の領域を表示することにより、顔の形状に合う化粧ガイド画像を表示できる。
【００５６】
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
人物の顔を含む撮像画像を取得し、
取得した前記撮像画像における、顔の部位又は顔の複数の部位に対応する位置を通る線上の部位に、前記顔の形状に応じた形状を有する領域を表示する、
処理をコンピュータに実行させることを特徴とする化粧支援プログラム。
（付記２）
前記領域は、前記顔の複数の部位に対応する位置を通る線上であって、顔の他の部位を通る所定の線との交点に対応する部位を含む領域である、
ことを特徴とする、付記１に記載の化粧支援プログラム。
（付記３）
前記撮像画像の前記顔の形状を分類し、
分類した形状の顔を含む他の撮像画像を、前記撮像画像と並べて表示する、
ことを特徴とする、付記１又は２に記載の化粧支援プログラム。
（付記４）
前記領域は、前記他の撮像画像から抽出した化粧部位を示す範囲と相似形であり、
前記撮像画像における顔の大きさに応じて前記撮像画像上に前記領域を表示する、
ことを特徴とする、付記３に記載の化粧支援プログラム。
（付記５）
前記領域の形状に関するアドバイスを表示する、
ことを特徴とする、付記１から４のいずれか一項に記載の化粧支援プログラム。
（付記６）
前記撮像画像における顔の肌の色に応じた化粧の色彩の候補を表示する、
ことを特徴とする、付記１から５のいずれか一項に記載の化粧支援プログラム。
（付記７）
前記顔の形状は、面長形状、丸顔形状、及び逆三角形形状のいずれかである、
ことを特徴とする、付記１から６のいずれか一項に記載の化粧支援プログラム。
（付記８）
前記領域として枠を表示する、
ことを特徴とする、付記１から７のいずれか一項に記載の化粧支援プログラム。
（付記９）
人物の顔を含む撮像画像を取得し、
取得した前記撮像画像における、顔の部位又は顔の複数の部位に対応する位置を通る線上の部位に、前記顔の形状に応じた形状を有する領域を表示する、
処理を実行する制御部を有することを特徴とする化粧支援装置。
（付記１０）
前記領域は、前記顔の複数の部位に対応する位置を通る線上であって、顔の他の部位を通る所定の線との交点に対応する部位を含む領域である、
ことを特徴とする、付記９に記載の化粧支援装置。
（付記１１）
前記撮像画像の前記顔の形状を分類し、
分類した形状の顔を含む他の撮像画像を、前記撮像画像と並べて表示する、
ことを特徴とする、付記９又は１０に記載の化粧支援装置。
（付記１２）
前記領域は、前記他の撮像画像から抽出した化粧部位を示す範囲と相似形であり、
前記撮像画像における顔の大きさに応じて前記撮像画像上に前記領域を表示する、
ことを特徴とする、付記１１に記載の化粧支援装置。
（付記１３）
前記領域の形状に関するアドバイスを表示する、
ことを特徴とする、付記９から１２のいずれか一項に記載の化粧支援装置。
（付記１４）
前記撮像画像における顔の肌の色に応じた化粧の色彩の候補を表示する、
ことを特徴とする、付記９から１３のいずれか一項に記載の化粧支援装置。
（付記１４）
人物の顔を含む撮像画像を取得し、
取得した前記撮像画像における、顔の部位又は顔の複数の部位に対応する位置を通る線上の部位に、前記顔の形状に応じた形状を有する領域を表示する、
処理をコンピュータが実行することを特徴とする化粧支援方法。
（付記１５）
前記領域は、前記顔の複数の部位に対応する位置を通る線上であって、顔の他の部位を通る所定の線との交点に対応する部位を含む領域である、
ことを特徴とする、付記１４に記載の化粧支援方法。
（付記１６）
前記撮像画像の前記顔の形状を分類し、
分類した形状の顔を含む他の撮像画像を、前記撮像画像と並べて表示する、
ことを特徴とする、付記１４又は１５に記載の化粧支援方法。
（付記１７）
前記領域は、前記他の撮像画像から抽出した化粧部位を示す範囲と相似形であり、
前記撮像画像における顔の大きさに応じて前記撮像画像上に前記領域を表示する、
ことを特徴とする、付記１６に記載の化粧支援方法。
（付記１８）
前記領域の形状に関するアドバイスを表示する、
ことを特徴とする、付記１４から１７のいずれか一項に記載の化粧支援方法。
（付記１９）
前記撮像画像における顔の肌の色に応じた化粧の色彩の候補を表示する、
ことを特徴とする、付記１４から１８のいずれか一項に記載の化粧支援方法。
【符号の説明】
【００５７】
１０    システム
１００    化粧支援装置
１１０    通信部
１２０    記憶部
１３０    入出力部
１４０    制御部
【図１】
2019057045.tif 000003
【図２】
2019057045.tif 000004
【図３】
2019057045.tif 000005
【図４】
2019057045.tif 000006
【図５】
2019057045.tif 000007
【図６】
2019057045.tif 000008
【図７】
2019057045.tif 000009
【図８】
2019057045.tif 000010
【図９】
2019057045.tif 000011
【図１０】
2019057045.tif 000012
【図１１】
2019057045.tif 000013
【図１２】
2019057045.tif 000014
【図１３】
2019057045.tif 000015
【図１４】
2019057045.tif 000016
【図１５】
2019057045.tif 000017
【図１６】
2019057045.tif 000018
【図１７】
2019057045.tif 000019
【図１８】
2019057045.tif 000020
【図１９】
2019057045.tif 000021
【図２０】
2019057045.tif 000022
【図２１】
2019057045.tif 000023
【図２２】
2019057045.tif 000024
【図２３】
2019057045.tif 000025
【図２４】
2019057045.tif 000026
【図２５】
2019057045.tif 000027
【図２６】
2019057045.tif 000028
【図２７】
2019057045.tif 000029
【図２８】
2019057045.tif 000030
【図２９】
2019057045.tif 000031