(57)【要約】教師がメイクの方法の説明にかかる手間や時間を低減し、生徒がメイクの方法について理解を深められるようにする。画像処理装置（１００）は、所定装置から顔画像を入力する画像入力部（１０１）と、顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する画像解析部（１０２）と、顔型、プロポーションライン、または、ブロッキングラインのいずれかに基づいて、顔画像におけるメイクパーツ画像の重畳領域を決定し、重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する画像生成部（１０３）と、を有する。
2018079255.tif 000002
【特許請求の範囲】
【請求項１】
所定装置から顔画像を入力する画像入力部と、  前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する画像解析部と、  前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定し、該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する画像生成部と、を有する、  画像処理装置。
【請求項２】
前記画像生成部は、  前記顔型が予め定められた基準顔型からはみ出しているはみ出し領域と、前記顔型が前記基準顔型に対して不足している不足領域とを算出し、  前記顔画像において前記はみ出し領域に対応する領域を、第１のメイクパーツ画像の重畳領域に決定し、  前記顔画像において前記不足領域に対応する領域を、前記第１のメイクアイテムとは異なる第２のメイクパーツ画像の重畳領域に決定する、  請求項１に記載の画像処理装置。
【請求項３】
前記画像生成部は、  前記ブロッキングラインにより分割された前記顔画像における各分割領域の輝度を算出し、  前記顔画像において前記輝度が第１閾値より大きい分割領域を、第２のメイクパーツ画像の重畳領域に決定し、  前記顔画像において前記輝度が前記第１閾値より小さい第２閾値未満である分割領域を、前記第２のメイクアイテムとは異なる第１のメイクパーツ画像の重畳領域に決定する、  請求項１に記載の画像処理装置。
【請求項４】
前記第１のメイクパーツ画像は、ローライトの画像であり、  前記第２のメイクパーツ画像は、ハイライトの画像である、  請求項２または３に記載の画像処理装置。
【請求項５】
前記画像解析部は、  前記顔画像を縦方向に分割する、第１プロポーションライン、該第１のプロポーションラインより下方の第２プロポーションライン、および、該第２プロポーションラインより下方の第３プロポーションラインを算出し、  前記画像生成部は、  前記第１プロポーションラインと前記第２プロポーションラインとの間の第１距離が、前記第２プロポーションラインと前記第３プロポーションラインとの間の第２距離より長い場合、前記メイクパーツ画像が上寄りに配置されるように該メイクパーツ画像の重畳位置を決定し、  前記第２距離が前記第１距離より長い場合、前記メイクパーツ画像が下寄りに配置されるように該メイクパーツ画像の重畳位置を決定する、  請求項１に記載の画像処理装置。
【請求項６】
前記画像解析部は、  顔画像の最大縦幅を示す第４プロポーションライン、および、前記顔画像の最大横幅を示す第５プロポーションラインを算出し、  前記画像生成部は、  前記第４プロポーションラインが前記第５プロポーションラインより長い場合、前記メイクパーツ画像の長手方向が前記顔画像の横幅に沿って配置されるように該メイクパーツ画像の重畳位置を決定し、  前記第５プロポーションラインが前記第４プロポーションラインより長い場合、前記メイクパーツ画像が頬から口角に向けて斜めに配置されるように該メイクパーツ画像の重畳位置を決定する、  請求項１に記載の画像処理装置。
【請求項７】
前記メイクパーツ画像は、チークの画像である、  請求項５または６に記載の画像処理装置。
【請求項８】
前記画像生成部は、  前記プロポーションラインの画像を前記顔画像に重畳した前記シミュレーション画像を生成する、  請求項１に記載の画像処理装置。
【請求項９】
前記画像生成部は、  前記ブロッキングラインの画像を前記顔画像に重畳した前記シミュレーション画像を生成する、  請求項１に記載の画像処理装置。
【請求項１０】
前記画像生成部は、  前記プロポーションラインの位置の変更指示を受け付けた場合、変更後の前記プロポーションラインの位置に基づいて、前記顔画像における顔部品の形状および位置の少なくとも一方を変化させた顔画像を生成する、  請求項１に記載の画像処理装置。
【請求項１１】
前記画像解析部は、  少なくとも３つ以上の前記プロポーションラインを算出し、  前記画像生成部は、  前記顔画像における顔バランスの理想化の指示を受け付けた場合、前記プロポーションライン間の各距離が予め定められた割合になるように前記プロポーションラインの位置を変更し、  変更後の前記プロポーションラインの位置に基づいて、前記顔画像における顔部品の形状および位置の少なくとも一方を変化させた顔画像を生成する、  請求項１に記載の画像処理装置。
【請求項１２】
前記画像生成部は、  前記シミュレーション画像を所定の表示装置へ出力する、  請求項１に記載の画像処理装置。
【請求項１３】
所定装置から顔画像を入力し、  前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出し、  前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定し、  該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する、  画像処理方法。
【請求項１４】
所定装置から顔画像を入力する処理と、  前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する処理と、  前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定する処理と、  該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する処理と、をコンピュータに実行させる、  画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、メイクアップのシミュレーション画像を生成する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】  一般的に、美容学校では、顔のメイクアップ（以下、単に「メイク」という）の授業の際、教師は、紙媒体のテキストに掲載されている写真やイラスト（メイクの具体例が示されたもの）を用いて、メイクの方法を説明する。【０００３】  最適なメイクの方法は、顔の特徴に応じて様々であるため、より多くのメイクの具体例がテキストに掲載されることが望ましい。しかしながら、テキストの持ち運びやすさ等を考慮すると、テキストに掲載するメイクの具体例を増やすには限界がある。よって、生徒は、様々な顔の特徴に適したメイクの具体例について理解を深めることができない。また、教師にとっても、様々な顔の特徴に適したメイクの具体例を説明しようとすると、手間や時間がかかってしまう。また、生徒は、テキストに掲載されている顔とは異なる顔に対してテキストに示されているメイクを施した場合の顔をイメージしにくい。【０００４】  そこで、様々な顔の特徴に応じたより多くのメイクの具体例を説明するために、例えば特許文献１に開示されている技術を用いることが考えられる。特許文献１の技術は、顔画像から抽出される特徴量を変化させて顔画像の見た目の印象を変える技術である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−８１０７５号公報
【発明の概要】
【０００６】  しかしながら、特許文献１の技術を用いたとしても、教師は、変更後の顔画像に対する適切なメイクの方法を口頭などで具体的に説明しなければならない。よって、教師にとって説明に手間や時間がかかってしまうという問題は解消されない。また、教師が口頭などでメイクの方法を説明することになるため、生徒の理解を深める点でも十分ではない。
【０００７】  本開示の一態様は、教師がメイクの方法の説明にかかる手間や時間を低減でき、生徒がメイクの方法について理解を深めることができる画像処理装置、画像処理方法、および画像処理プログラムを提供する。
【０００８】  本開示の画像処理装置は、所定装置から顔画像を入力する画像入力部と、前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する画像解析部と、前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定し、該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する画像生成部と、を有する。
【０００９】  なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００１０】  本開示によれば、教師がメイクの方法の説明にかかる手間や時間を低減でき、生徒がメイクの方法について理解を深めることができる。
【００１１】  本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【００１２】
【図１】本開示に係る画像処理装置の構成例を示すブロック図
【図２】本開示に係る顔特徴点および顔部品の一例を示す図
【図３】本開示に係る動作例１を示すフローチャート
【図４】本開示に係るプロポーションラインの一例を示す図
【図５Ａ】本開示に係るチーク画像の重畳領域の例を示す図
【図５Ｂ】本開示に係るチーク画像の重畳領域の例を示す図
【図６】本開示に係るプロポーションラインの他の例を示す図
【図７】本開示に係るプロポーションラインの他の例を示す図
【図８Ａ】本開示に係るプロポーションラインの他の例を示す図
【図８Ｂ】本開示に係るプロポーションラインの他の例を示す図
【図８Ｃ】本開示に係るプロポーションラインの他の例を示す図
【図９】本開示に係る均等化前と均等化後のシミュレーション画像の表示例を示す図
【図１０】本開示に係る動作例２を示すフローチャート
【図１１Ａ】本開示に係る顔型の照合例を示す図
【図１１Ｂ】本開示に係る顔型のローライト画像およびハイライト画像の重畳領域の例を示す図
【図１２Ａ】本開示に係る顔型の照合例を示す図
【図１２Ｂ】本開示に係る顔型のローライト画像およびハイライト画像の重畳領域の例を示す図
【図１３】本開示に係る動作例３を示すフローチャート
【図１４】本開示に係るブロッキングラインの一例を示す図
【発明を実施するための形態】
【００１３】  以下、本開示の一実施の形態について、図面を参照して詳細に説明する。
【００１４】  ＜画像処理装置の構成＞  まず、図１を用いて、画像処理装置１００の構成について説明する。
【００１５】  図１は、画像処理装置１００の構成の一例を示すブロック図である。
【００１６】  画像処理装置１００は、据え置き型の装置でもよいし、容易に持ち運ぶことも可能なポータブル型の装置でもよい。また、画像処理装置１００、記憶装置２００、および表示装置３００は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等に備えられてもよい。
【００１７】  また、本実施の形態では、画像処理装置１００のユーザは、例えば、美容学校等でメイク方法を教える教師、または、美容学校等でメイク方法を学ぶ生徒である場合を例に挙げて説明する。
【００１８】  図１に示すように、画像処理装置１００は、画像入力部１０１、画像解析部１０２、および画像生成部１０３を有する。
【００１９】  図示は省略するが、画像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、画像入力部１０１、画像解析部１０２、および画像生成部１０３の各機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００２０】  画像入力部１０１は、所定装置（図示略）から、人の顔の画像（以下、顔画像という）を入力し、その顔画像を画像解析部１０２へ出力する。所定装置は、例えば、カメラでもよいし、記憶装置２００でもよい。また、顔画像は、動画でも、静止画でもよい。また、顔画像における顔は、メイクが施されていない顔が望ましい。
【００２１】  画像解析部１０２は、画像入力部１０１から顔画像を受け取り、その顔画像から顔特徴点を抽出する。また、画像解析部１０２は、顔特徴点に基づいて、顔部品（例えば、目、まぶた、頬、鼻、唇、おでこ、あご等）を抽出する。
【００２２】  ここで、図２を用いて、顔特徴点および顔部品の一例について説明する。
【００２３】  例えば図２に示すように、顔画像からは、複数の顔特徴点（図中の丸印）が抽出される。例えば、顔特徴点７０１〜７０４は、右目を構成する。したがって、画像解析部１０２は、顔特徴点７０１〜７０４により囲まれる領域７０５を、右目（顔部品の一例）として抽出する。また、例えば、顔特徴点７０１〜７０３、７０６〜７０８は、右まぶたを構成する。したがって、画像解析部１０２は、顔特徴点７０１〜７０３、７０６〜７０８により囲まれる領域７０９を、右まぶた（顔部品の一例）として抽出する。
【００２４】  なお、各顔特徴点の座標は、例えば、複数の顔特徴点を基準として設定された顔座標系における座標である。座標は、二次元座標または三次元座標のいずれでもよい。
【００２５】  以上、顔特徴点および顔部品の一例について説明した。図１の説明に戻る。
【００２６】  また、画像解析部１０２は、顔特徴点に基づいて、顔型（正面顔の輪郭の形状）、顔のバランス（顔全体のバランス、または、顔部品のバランス）を分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割（ブロッキング）するブロッキングラインのいずれかを算出する。顔型、プロポーションライン、およびブロッキングラインの具体例については、後述の各動作例で説明する。
【００２７】  そして、画像解析部１０２は、顔画像と、その顔画像の解析結果を示す解析結果情報とを画像生成部１０３へ出力する。解析結果情報は、例えば、抽出された各顔部品の種類を示す情報、抽出された各顔部品を特定可能な顔特徴点の座標を示す情報を含む。また、解析結果情報は、例えば、顔型、プロポーションライン、またはブロッキングラインを特定可能な顔特徴点の座標を示す情報を含む。
【００２８】  画像生成部１０３は、画像解析部１０２から顔画像および解析結果情報を受け取り、解析結果情報に基づいて、顔画像にメイクパーツ画像を重畳したシミュレーション画像を生成する。
【００２９】  メイクパーツ画像は、所定色のメイクアイテム（例えば、アイシャドウ、チーク、コンシーラ、口紅、ハイライト、ローライト等）を顔画像上に載せてメイクシミュレーションを行うための、メイクの領域と濃淡を示す画像である。メイクパーツ画像は、記憶装置２００に記憶されており、画像生成部１０３によって記憶装置２００から読み出される。
【００３０】  なお、記憶装置２００は、メイクアイテム毎に色、形状が異なる複数種類のメイクパーツ画像を記憶しており、画像生成部１０３は、それらの中からユーザにより指定されたメイクパーツ画像を読み出してもよい。
【００３１】  そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する。表示装置３００は、シミュレーション画像を表示する。なお、表示されるシミュレーション画像の顔画像は、通常の鏡に映る顔の画像であってもよいし、リバーサルミラー（左右反転ミラー）に映る顔の画像であってもよい。
【００３２】  シミュレーション画像の生成処理の例については、後述の各動作例で説明する。
【００３３】  以上、画像処理装置１００の構成について説明した。
【００３４】  ＜画像処理装置の動作＞  次に、画像処理装置１００の動作について説明する。以下では、動作例１〜３のそれぞれについて説明する。
【００３５】  （動作例１）  まず、図３を用いて、画像処理装置１００の動作例１について説明する。
【００３６】  図３は、画像処理装置１００の動作例１を示すフローチャートである。
【００３７】  まず、画像入力部１０１は、所定装置（例えば、カメラ）から顔画像を入力する（ステップＳ１０１）。そして、画像入力部１０１は、その顔画像を画像解析部１０２へ出力する。
【００３８】  次に、画像解析部１０２は、画像入力部１０１から受け取った顔画像から顔特徴点を抽出する（ステップＳ１０２）。また、画像解析部１０２は、顔特徴点に基づいて、顔部品を抽出する。
【００３９】  次に、画像解析部１０２は、顔特徴点に基づいて、プロポーションラインを算出する（ステップＳ１０３）。
【００４０】  ここで、図４を用いて、プロポーションラインの一例について説明する。
【００４１】  例えば、画像解析部１０２は、図４に示すように、プロポーションラインＬ１〜Ｌ４を算出する。プロポーションラインＬ１〜Ｌ４は、顔の横幅に対して水平な直線であり、顔画像を縦方向に分割する線である。プロポーションラインＬ１〜Ｌ４は、顔全体のバランスの分析に用いられるプロポーションラインである。
【００４２】  プロポーションラインＬ１は、額における髪の生え際の顔特徴点を通る直線である。プロポーションラインＬ２は、眉頭の顔特徴点を通る直線である。プロポーションラインＬ３は、鼻先の顔特徴点を通る直線である。プロポーションラインＬ４は、顎先の顔特徴点を通る直線である。
【００４３】  また、画像解析部１０２は、プロポーションライン間の幅（距離）を算出する。例えば、画像解析部１０２は、図４に示すように、プロポーションラインＬ１とプロポーションラインＬ２との間の幅ｗ１、プロポーションラインＬ２とプロポーションラインＬ３との間の幅ｗ２、および、プロポーションラインＬ３とプロポーションラインＬ４との間の幅ｗ３を算出する。
【００４４】  以上、プロポーションラインの一例について説明した。以下、図３の説明に戻る。
【００４５】  次に、画像解析部１０２は、顔画像および解析結果情報を画像生成部１０３へ出力する。この解析結果情報には、例えば、各顔部品の種類、各顔部品を特定可能な顔特徴点の座標、プロポーションラインＬ１〜Ｌ４を特定可能な顔特徴点の座標、プロポーションライン間の幅ｗ１〜ｗ３などの情報が含まれる。
【００４６】  次に、画像生成部１０３は、解析結果情報に基づいてプロポーションラインを示す画像（以下、プロポーションライン画像という）を生成し、そのプロポーションライン画像を顔画像に重畳したシミュレーション画像を生成する（ステップＳ１０４）。そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する（ステップＳ１０４）。例えば、プロポーションライン画像は、図４に示したプロポーションラインＬ１〜Ｌ４それぞれの画像である。
【００４７】  表示装置３００は、画像生成部１０３から受け取ったシミュレーション画像を表示する。これにより、ユーザは、顔画像においてプロポーションライン画像を視認することができる。
【００４８】  次に、画像生成部１０３は、解析結果情報に基づいて、顔画像におけるメイクパーツ画像（ここでは例として、チーク画像とする）の重畳領域を決定する（ステップＳ１０５）。
【００４９】  ここで、重畳領域決定処理（ステップＳ１０５）の一例について説明する。
【００５０】  まず、画像生成部１０３は、図４に示した幅ｗ１と幅ｗ３のどちらが長いかを判定する。
【００５１】  幅ｗ１の方が長い場合、図５Ａに示すように、チーク画像が上寄り（チーク画像の一端が目尻に近く、かつ、他端が目頭から遠く）に配置されるように、顔画像におけるチーク画像の重畳領域ＣＨ１、ＣＨ２を決定する。
【００５２】  一方、幅ｗ３の方が長い場合、図５Ｂに示すように、チーク画像が下寄り（チーク画像の一端が目頭に近く、かつ、他端が目尻から遠く）に配置されるように、顔画像におけるチーク画像の重畳領域ＣＨ３、ＣＨ４を決定する。
【００５３】  以上、重畳領域決定処理の一例について説明した。以下、図３の説明に戻る。
【００５４】  次に、画像生成部１０３は、記憶装置２００からチーク画像（例えば、ピンク色で楕円形のチークを示す画像）を読み出す。次に、画像生成部１０３は、重畳領域に合わせてチーク画像の大きさ、形状を調整し、そのチーク画像を重畳領域に重畳したシミュレーション画像を生成する（ステップＳ１０６）。そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する（ステップＳ１０６）。
【００５５】  表示装置３００は、画像生成部１０３から受け取ったシミュレーション画像を表示する。これにより、ユーザは、顔画像においてチーク画像を視認することができる。
【００５６】  なお、表示装置３００は、ステップＳ１０４で生成されたシミュレーション画像に代えて、ステップＳ１０６で生成されたシミュレーション画像を表示してもよい。この場合、プロポーションライン画像は顔画像上から消去され、顔画像上にはチーク画像のみが重畳表示される。
【００５７】  または、表示装置３００は、ステップＳ１０４で生成されたシミュレーション画像にチーク画像を重畳して表示してもよい。この場合、プロポーションライン画像およびチーク画像の両方が顔画像上に重畳表示される。
【００５８】  以上、画像処理装置１００の動作例１について説明した。
【００５９】  以下、動作例１の変形例について説明する。
【００６０】  （動作例１の変形例１）  図３のステップＳ１０４の処理は省略されてもよい。すなわち、プロポーションライン画像の重畳表示は行われなくてもよい。
【００６１】  （動作例１の変形例２）  図３のステップＳ１０４の処理は、ステップＳ１０６の処理と同時に行われてもよい。すなわち、プロポーションライン画像とメイクパーツ画像（例えば、チーク画像）の両方を顔画像に重畳したシミュレーション画像を生成し、表示装置３００へ出力してもよい。
【００６２】  （動作例１の変形例３）  上記説明では、メイクパーツ画像がチーク画像である場合を例に挙げて説明したが、メイクパーツ画像は、例えば上述したアイシャドウ等、チーク以外のメイクアイテムの画像であってもよい。
【００６３】  （動作例１の変形例４）  算出されるプロポーションラインは、図４に示したプロポーションラインＬ１〜Ｌ４に限定されない。以下、プロポーションラインのその他の例について説明する。
【００６４】  まず、図６を用いて、プロポーションラインＬ５〜Ｌ８について説明する。
【００６５】  図６に示すプロポーションラインＬ５〜Ｌ８は、顔全体のバランスの分析に用いられるプロポーションラインである。プロポーションラインＬ５〜Ｌ８は、顔の縦幅に対して水平な直線であり、顔画像を横方向に分割する線である。
【００６６】  プロポーションラインＬ５は、右目の目尻の顔特徴点を通る直線である。プロポーションラインＬ６は、右目の目頭の顔特徴点を通る直線である。プロポーションラインＬ７は、左目の目頭の顔特徴点を通る直線である。プロポーションラインＬ８は、左目の目尻の顔特徴点を通る直線である。
【００６７】  また、画像解析部１０２は、プロポーションラインＬ５とプロポーションラインＬ６との間の幅ｗ４、プロポーションラインＬ６とプロポーションラインＬ７との間の幅ｗ５、および、プロポーションラインＬ７とプロポーションラインＬ８との間の幅ｗ６を算出する。
【００６８】  次に、図６を用いて、プロポーションラインＬ９、Ｌ１０について説明する。
【００６９】  図６に示すプロポーションラインＬ９、Ｌ１０は、顔全体のバランスの分析に用いられるプロポーションラインである。プロポーションラインＬ９、Ｌ１０は、顔の横幅に対して水平な直線であり、顔画像を縦方向に分割する線である。
【００７０】  プロポーションラインＬ９は、上唇の顔特徴点を通る直線である。プロポーションラインＬ１０は、下唇の顔特徴点を通る直線である。
【００７１】  また、画像解析部１０２は、例えば、プロポーションラインＬ３とプロポーションラインＬ９との間の幅ｗ７、プロポーションラインＬ９とプロポーションラインＬ４との間の幅ｗ８、プロポーションラインＬ３とプロポーションラインＬ１０との間の幅ｗ９、および、プロポーションラインＬ１０とプロポーションラインＬ４との間の幅ｗ１０を算出する。
【００７２】  次に、図７を用いて、プロポーションラインＬ１１〜Ｌ１４について説明する。なお、図７に示すプロポーションラインＬ１〜Ｌ４は、図４を用いて説明済みであるので、ここでの説明は省略する。
【００７３】  図７に示すプロポーションラインＬ１１〜Ｌ１４は、顔全体のバランスの分析に用いられるプロポーションラインである。
【００７４】  プロポーションラインＬ１１は、鼻筋（例えば、鼻根、鼻背、鼻尖）の顔特徴点を通る直線である。プロポーションラインＬ１２は、眉尻の顔特徴点、目尻の顔特徴点、および小鼻の外側の顔特徴点を通る直線である。プロポーションラインＬ１３は、右の瞳の上端の顔特徴点および左の瞳の上端の顔特徴点を通る直線である。プロポーションラインＬ１４は、プロポーションラインＬ１１とプロポーションラインＬ１３との交点および小鼻の外側の特徴点を通る直線である。
【００７５】  次に、図８Ａ〜図８Ｃを用いて、プロポーションラインＬ１５〜Ｌ２９について説明する。
【００７６】  図８Ａに示すプロポーションラインＬ１５〜Ｌ１７は、眉（顔部品の一例）のバランスの分析に用いられるプロポーションラインである。プロポーションラインＬ１５〜Ｌ１７は、顔の縦幅に対して水平な直線である。
【００７７】  図８Ａにおいて、プロポーションラインＬ１５は、右の眉尻の顔特徴点を通る直線である。プロポーションラインＬ１６は、右の眉山の顔特徴点を通る直線である。プロポーションラインＬ１７は、右の眉頭の顔特徴点を通る直線である。
【００７８】  また、画像解析部１０２は、プロポーションラインＬ１５とプロポーションラインＬ１６との間の幅ｗ１１、および、プロポーションラインＬ１６とプロポーションラインＬ１７との間の幅ｗ１２を算出する。
【００７９】  図８Ｂに示すプロポーションラインＬ１８〜Ｌ２３は、目（顔部品の一例）のバランスの分析に用いられるプロポーションラインである。プロポーションラインＬ１８〜Ｌ２１は、顔の縦幅に対して水平な直線であり、プロポーションラインＬ２２およびＬ２３は、顔の横幅に対して水平な直線である。
【００８０】  図８Ｂにおいて、プロポーションラインＬ１８は、右目の目尻の顔特徴点を通る直線である。すなわち、プロポーションラインＬ１８は、図６に示したプロポーションラインＬ５と同じである。プロポーションラインＬ１９は、右目の瞳の右端の顔特徴点を通る直線である。プロポーションラインＬ２０は、右目の瞳の左端の顔特徴点を通る直線である。プロポーションラインＬ２１は、右目の目頭の顔特徴点を通る直線である。すなわち、プロポーションラインＬ２１は、図６に示したプロポーションラインＬ６と同じである。プロポーションラインＬ２２は、右の瞳の下端の顔特徴点を通る直線である。プロポーションラインＬ２３は、右の瞳の上端の顔特徴点を通る直線である。
【００８１】  また、画像解析部１０２は、プロポーションラインＬ１８とプロポーションラインＬ１９との間の幅ｗ１３、プロポーションラインＬ１９とプロポーションラインＬ２０との間の幅ｗ１４、プロポーションラインＬ２０とプロポーションラインＬ２１との間の幅ｗ１５、および、プロポーションラインＬ２２とプロポーションラインＬ２３との間の幅ｗ１６を算出する。
【００８２】  図８Ｃに示すプロポーションラインＬ２４〜Ｌ２９は、口（顔部品の一例）のバランスの分析に用いられるプロポーションラインである。プロポーションラインＬ２４〜Ｌ２６は、顔の縦幅に対して水平な直線であり、プロポーションラインＬ２７〜Ｌ２９は、顔の横幅に対して水平な直線である。
【００８３】  図８Ｃにおいて、プロポーションラインＬ２４は、鼻尖の顔特徴点と唇の中心の顔特徴点を通る直線である。プロポーションラインＬ２５は、左の鼻孔の中心の顔特徴点を通る直線である。プロポーションラインＬ２６は、唇の左端の顔特徴点を通る直線である。プロポーションラインＬ２７は、下唇の下端を通る直線である。プロポーションラインＬ２８は、上唇と下唇の境界の顔特徴点を通る直線である。プロポーションラインＬ２９は、上唇の上端を通る直線である。
【００８４】  また、画像解析部１０２は、プロポーションラインＬ２４とプロポーションラインＬ２５との間の幅ｗ１７、プロポーションラインＬ２５とプロポーションラインＬ２６との間の幅ｗ１８、プロポーションラインＬ２７とプロポーションラインＬ２８との間の幅ｗ１９、および、プロポーションラインＬ２８とプロポーションラインＬ２９との間の幅ｗ２０を算出する。
【００８５】  （動作例１の変形例５）  上述したプロポーションラインＬ１〜Ｌ２９の位置は、例えばユーザの指示に基づいて変更されてもよい。
【００８６】  具体的には、画像生成部１０３は、所定のプロポーションラインの位置の変更指示を受け付けた場合、変更後のプロポーションラインの位置に基づいて、顔画像における顔部品の形状および位置の少なくとも一方を変化させた顔画像（以下、変化後顔画像という）を生成し、変化後顔画像を表示装置３００へ出力してもよい。または、画像生成部１０３は、変化後顔画像にプロポーションラインの画像を重畳したシミュレーション画像を生成し、表示装置３００へ出力してもよい。
【００８７】  また、画像生成部１０３は、顔画像における顔バランスの均等化（以下、単に「均等化」ともいう）の指示を受け付けた場合、プロポーションライン間の各幅が同じ割合になるように所定のプロポーションラインの位置を変更してもよい。
【００８８】  例えば、図４に示したプロポーションラインＬ１〜Ｌ４および図６に示したプロポーションラインＬ５〜Ｌ８が算出された後で均等化の指示を受け付けた場合、画像生成部１０３は、図４に示した幅ｗ１〜ｗ３の割合が１：１：１になるようにプロポーションラインＬ１〜Ｌ４のうち少なくとも１つの位置を変更し、図６に示した幅ｗ４〜ｗ６の割合が１：１：１になるようにプロポーションラインＬ５〜Ｌ８のうち少なくとも１つの位置を変更する。
【００８９】  ここで、上述した均等化の結果得られるシミュレーション画像の表示例を図９に示す。
【００９０】  図９に示したシミュレーション画像Ａは、均等化前のシミュレーション画像の一例である。一方、図９に示したシミュレーション画像Ｂは、均等化後のシミュレーション画像の一例である。図９に示すように、シミュレーション画像Ａ、Ｂは、顔画像にプロポーションラインＬ１〜Ｌ８の画像が重畳された画像である。
【００９１】  シミュレーション画像Ｂは、シミュレーション画像Ａと比べて、プロポーションラインＬ２、Ｌ３の位置が変更され、眉、目の位置が変更されている。このように、２つのシミュレーション画像を並べて表示することで、ユーザは、顔バランスが均等化されていない顔と、顔バランスが均等化された顔とを容易に比較できる。
【００９２】  なお、上記説明では、各幅が同じ割合（例えば、１：１：１）となるようにプロポーションラインの位置を変更する均等化処理について説明したが、例えば、各幅の割合が予め定められた理想的な割合となるようにプロポーションラインの位置を変更する理想化処理が行われてもよい。以下、顔画像における顔バランスの理想化の指示を受け付けた場合の、プロポーションラインの位置の変更例についてそれぞれ説明する。
【００９３】  例えば、図６において、幅ｗ７と幅ｗ８の割合が１：３となるように、プロポーションラインＬ３、Ｌ９、およびＬ４のうち少なくとも１つの位置が変更されてもよい。また、図６において、幅ｗ９と幅ｗ１０の割合が１：１となるように、プロポーションラインＬ３、Ｌ１０、およびＬ４のうち少なくとも１つの位置が変更されてもよい。
【００９４】  また、例えば、図８Ａにおいて、幅ｗ１１と幅ｗ１２の割合が１：２となるように、プロポーションラインＬ１５〜Ｌ１７のうち少なくとも１つの位置が変更されてもよい。
【００９５】  また、例えば、図８Ｂにおいて、幅ｗ１３〜幅ｗ１６の割合が１：１：１：１となるように、プロポーションラインＬ１８〜Ｌ２３のうち少なくとも１つの位置が変更されてもよい。
【００９６】  また、例えば、図８Ｃにおいて、幅ｗ１７と幅ｗ１８の割合が１：２となるように、プロポーションラインＬ２４〜Ｌ２６のうち少なくとも１つの位置が変更されてもよい。また、例えば、図８Ｃにおいて、幅ｗ１９と幅ｗ２０の割合が１.５：１となるように、プロポーションラインＬ２７〜Ｌ２９のうち少なくとも１つの位置が変更されてもよい。
【００９７】  以上、理想化が指示された場合におけるプロポーションラインの位置変更の各例について説明したが、これらの例においても、上述したとおり、変更後のプロポーションラインに基づいて、顔部品の位置および形状の少なくとも一方を変化させた変化後顔画像が生成される。
【００９８】  （動作例１の変形例６）  上記説明では、チーク画像の重畳領域を、幅ｗ１と幅ｗ３との比較結果に基づいて決定する場合を例に挙げて説明したが、これに限定されない。その他の例について以下に説明する。
【００９９】  例えば、画像解析部１０２は、プロポーションラインの算出処理（図３のステップＳ１０３）の際に、顔特徴点に基づいて輪郭の縦幅（例えば、最大縦幅を示すプロポーションラインでもよい）および輪郭の横幅（例えば、最大横幅を示すプロポーションラインでもよい）を算出する。この算出結果は、解析結果情報に含まれ、画像生成部１０３へ出力される。
【０１００】  そして、画像生成部１０３は、重畳領域の決定処理（図３のステップＳ１０５）の際、算出された縦幅と横幅のどちらが長いかを判定する。
【０１０１】  縦幅の方が長い場合（顔型が面長である場合）、例えば、楕円形のチーク画像が真横に配置されるように（楕円の長軸が顔の横幅と並行に配置されるように）、顔画像におけるチーク画像の重畳領域を決定する。
【０１０２】  一方、横幅の方が長い場合（顔型が丸型である場合）、例えば、楕円形のチーク画像が頬から口角に向けて斜めに配置されるように、顔画像におけるチーク画像の重畳領域を決定する。
【０１０３】  以上、動作例１の変形例について説明した。
【０１０４】  （動作例２）  次に、図１０を用いて、画像処理装置１００の動作例２について説明する。
【０１０５】  図１０は、画像処理装置１００の動作例２を示すフローチャートである。
【０１０６】  ステップＳ１０１、Ｓ１０２については動作例１で説明済みであるので、ここでの説明は省略する。
【０１０７】  次に、画像解析部１０２は、顔特徴点に基づいて、顔型を算出する（ステップＳ２０３）。ここで算出される顔型（以下、算出顔型という）は、例えば、逆三角形、菱形、丸型、面長、ベース型、八角形等である。
【０１０８】  次に、画像解析部１０２は、顔画像および解析結果情報を画像生成部１０３へ出力する。この解析結果情報には、例えば、各顔部品の種類、各顔部品を特定可能な顔特徴点の座標、算出顔型を特定可能な顔特徴点の座標などの情報が含まれる。
【０１０９】  次に、画像生成部１０３は、記憶装置２００から基準顔型の情報を読み出す。基準顔型は、予め定められた顔型であり、例えば、理想的な顔型である卵型である。
【０１１０】  次に、画像生成部１０３は、基準顔型の大きさを算出顔型の大きさに合わせ、算出顔型と基準顔型とを照合し、はみ出し領域と不足領域を算出する（ステップＳ２０４）。
【０１１１】  次に、画像生成部１０３は、はみ出し領域と不足領域に基づいて、顔画像に重畳すべきメイクパーツ画像（ここでは例として、ローライト画像とハイライト画像とする）の重畳領域を決定する（ステップＳ２０５）。
【０１１２】  ここで、図１１Ａ、図１１Ｂおよび図１２Ａ、図１２Ｂを用いて、領域算出処理（ステップＳ２０４）および重畳領域決定処理（ステップＳ２０５）の各例について説明する。
【０１１３】  図１１Ａ、図１１Ｂを用いて、算出顔型が逆三角形である場合における領域算出処理および重畳領域決定処理について説明する。
【０１１４】  まず、画像生成部１０３は、図１１Ａに示すように、逆三角形の算出顔型ｔ１と、卵型の基準顔型Ｔとを照合する。そして、画像生成部１０３は、算出顔型ｔ１が基準顔型Ｔからはみ出しているはみ出し領域Ｘ１、Ｘ２を算出する。また、画像生成部１０３は、算出顔型ｔ１が基準顔型Ｔに対して不足している不足領域Ｙ１、Ｙ２を算出する。
【０１１５】  次に、画像生成部１０３は、図１１Ｂに示すように、顔画像のうちはみ出し領域Ｘ１、Ｘ２に対応する領域Ｌ１、Ｌ２を、ローライト画像の重畳領域に決定する。また、画像生成部１０３は、図１１Ｂに示すように、顔画像のうち不足領域Ｙ１、Ｙ２に対応する領域Ｈ１、Ｈ２をハイライト画像の重畳領域に決定する。
【０１１６】  また、画像生成部１０３は、図１１Ｂに示すように、領域Ｈ３（額と鼻筋の領域）、領域Ｈ４（右目の下方の領域）、領域Ｈ５（左目の下方の領域）、領域Ｈ６（顎の領域）を、ハイライト画像の重畳領域に決定する。これら領域Ｈ３〜Ｈ６は、全ての顔型に共通するハイライト画像の重畳領域として予め定められているが、顔画像（算出顔型）の特徴に応じて、大きさ、形状が適宜変更される。
【０１１７】  図１２Ａ、図１２Ｂを用いて、算出顔型が菱形である場合における領域算出処理および重畳領域決定処理について説明する。
【０１１８】  まず、画像生成部１０３は、図１２Ａに示すように、菱形の算出顔型ｔ２と、卵型の基準顔型Ｔとを照合する。そして、画像生成部１０３は、算出顔型ｔ２が基準顔型Ｔからはみ出しているはみ出し領域Ｘ３、Ｘ４を算出する。また、画像生成部１０３は、算出顔型ｔ２が基準顔型Ｔに対して不足している不足領域Ｙ３、Ｙ４を算出する。
【０１１９】  次に、画像生成部１０３は、図１２Ｂに示すように、顔画像のうちはみ出し領域Ｘ３、Ｘ４に対応する領域Ｌ３、Ｌ４を、ローライト画像の重畳領域に決定する。また、画像生成部１０３は、図１２Ｂに示すように、顔画像のうち不足領域Ｙ３、Ｙ４に対応する領域Ｈ７、Ｈ８をハイライト画像の重畳領域に決定する。また、画像生成部１０３は、図１２Ｂに示すように、領域Ｈ３〜Ｈ６をハイライト画像の重畳領域に決定する。
【０１２０】  以上、領域算出処理および重畳領域決定処理の各例について説明した。以下、図１０の説明に戻る。
【０１２１】  次に、画像生成部１０３は、記憶装置２００からローライト画像およびハイライト画像を読み出す。次に、画像生成部１０３は、各重畳領域に合わせてローライト画像およびハイライト画像の大きさ、形状を調整し、ローライト画像およびハイライト画像を各重畳領域に重畳したシミュレーション画像を生成する（ステップＳ２０６）。そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する（ステップＳ２０６）。
【０１２２】  表示装置３００は、画像生成部１０３から受け取ったシミュレーション画像を表示する。これにより、ユーザは、顔画像においてローライト画像およびハイライト画像を視認することができる。
【０１２３】  以上、画像処理装置１００の動作例２について説明した。
【０１２４】  以下、動作例２の変形例について説明する。
【０１２５】  （動作例２の変形例１）  上記説明では、メイクパーツ画像がローライト画像およびハイライト画像である場合を例に挙げて説明したが、メイクパーツ画像は、ローライトおよびハイライト以外のメイクアイテムの画像であってもよい。
【０１２６】  （動作例２の変形例２）  上記説明では、算出顔型が逆三角形または菱形である場合を例に挙げて説明したが、算出顔型は、丸型、面長、ベース型、または八角形であってもよい。
【０１２７】  （動作例２の変形例３）  上記説明では、はみ出し領域と不足領域の両方が算出される場合を例に挙げて説明したが、照合結果によっては、はみ出し領域または不足領域のいずれかのみが算出される場合もありうる。
【０１２８】  また、はみ出し領域および不足領域の両方が算出された場合であっても、算出された全ての領域を重畳領域に決定する必要はない。例えば、顔画像において不足領域に対応する領域にハイライト画像を重畳すると、不自然な見栄えになる場合には、その不足領域は重畳領域に決定されない。
【０１２９】  以上、動作例２の変形例について説明した。
【０１３０】  （動作例３）  次に、図１３を用いて、画像処理装置１００の動作例３について説明する。
【０１３１】  図１３は、画像処理装置１００の動作例３を示すフローチャートである。
【０１３２】  ステップＳ１０１、Ｓ１０２については動作例１で説明済みであるので、ここでの説明は省略する。
【０１３３】  次に、画像解析部１０２は、顔特徴点に基づいて、二次特徴点を算出する（ステップＳ３０３）。二次特徴点は、例えば、顔特徴点間の線分（以下、単に「線分」という）を分割する点、線分の延長線上の点、２つの線分の交点などである。
【０１３４】  次に、画像解析部１０２は、顔特徴点および二次特徴点に基づいて、ブロッキングラインを算出する（ステップＳ３０４）。
【０１３５】  次に、画像解析部１０２は、ブロッキングラインにより区切られた各分割領域の輝度を算出する（ステップＳ３０５）。
【０１３６】  ここで、図１４を用いて、ブロッキングラインおよび分割領域の一例について説明する。
【０１３７】  例えば、画像解析部１０２は、図１４に示すように、ブロッキングラインＢＬを算出する。図１４において、丸印は顔特徴を示し、四角の印は二次特徴点を示している。
【０１３８】  また、図１４において、分割領域ＤＡは、ブロッキングラインＢＬによって区切られた複数の分割領域のうちの１つを示している。
【０１３９】  以上、ブロッキングラインおよび分割領域の一例について説明した。以下、図１３の説明に戻る。
【０１４０】  次に、画像解析部１０２は、顔画像および解析結果情報を画像生成部１０３へ出力する。この解析結果情報には、例えば、各顔部品の種類、各顔部品を特定可能な顔特徴点の座標、ブロッキングラインＢＬを特定可能な顔特徴点および二次特徴点の座標、分割領域を特定可能な顔特徴点および二次特徴点の座標、各分割領域の輝度などの情報が含まれる。
【０１４１】  次に、画像生成部１０３は、解析結果情報に基づいて、ブロッキングラインを示す画像（以下、ブロッキングライン画像という）を生成し、そのブロッキングライン画像を顔画像に重畳したシミュレーション画像を生成する（ステップＳ３０６）。そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する（ステップＳ３０６）。例えば、ブロッキングライン画像は、図１４に示したプロポーションラインＢＬを示す画像である。なお、このブロッキングライン画像には、顔特徴点および二次特徴点を示す画像が含まれてもよい。
【０１４２】  表示装置３００は、画像生成部１０３から受け取ったシミュレーション画像を表示する。これにより、ユーザは、顔画像においてブロッキングライン画像を視認することができる。
【０１４３】  次に、画像生成部１０３は、解析結果情報に基づいて、顔画像におけるメイクパーツ画像（ここでは例として、ローライト画像およびハイライト画像とする）の重畳領域を決定する（ステップＳ３０７）。
【０１４４】  ここで、重畳領域決定処理（ステップＳ３０７）の一例について説明する。
【０１４５】  まず、画像生成部１０３は、各分割領域の輝度が、予め定められた第１閾値より大きいか否かを判定する。そして、画像生成部１０３は、輝度が第１閾値より大きい分割領域を、ハイライト画像の重畳領域に決定する。
【０１４６】  一方、画像生成部１０３は、輝度が第１閾値未満である場合、その輝度が第２閾値未満であるか否かを判定する。第２閾値は、第１閾値より小さい値である。そして、画像生成部１０３は、輝度が第２閾値未満である分割領域を、ローライト画像の重畳領域に決定する。
【０１４７】  一方、画像生成部１０３は、輝度が第１閾値未満かつ第２閾値以上である分割領域を、非重畳領域に決定する。非重畳領域は、ハイライト画像およびローライト画像のいずれも重畳されない領域である。
【０１４８】  以上、重畳領域決定処理の一例について説明した。以下、図１３の説明に戻る。
【０１４９】  次に、画像生成部１０３は、記憶装置２００からローライト画像およびハイライト画像を読み出す。次に、画像生成部１０３は、各重畳領域に合わせてローライト画像およびハイライト画像の大きさ、形状を調整し、ローライト画像およびハイライト画像を各重畳領域に重畳したシミュレーション画像を生成する（ステップＳ３０８）。そして、画像生成部１０３は、シミュレーション画像を表示装置３００へ出力する（ステップＳ３０８）。
【０１５０】  表示装置３００は、画像生成部１０３から受け取ったシミュレーション画像を表示する。これにより、ユーザは、顔画像においてローライト画像およびハイライト画像を視認することができる。
【０１５１】  以上、画像処理装置１００の動作例３について説明した。
【０１５２】  以下、動作例３の変形例について説明する。
【０１５３】  （動作例３の変形例１）  上記説明では、メイクパーツ画像がローライト画像およびハイライト画像である場合を例に挙げて説明したが、メイクパーツ画像は、ローライトおよびハイライト以外のメイクアイテムの画像であってもよい。
【０１５４】  （動作例３の変形例２）  上記説明では、ブロッキングラインが顔特徴点および二次特徴点に基づいて算出される場合を例に挙げて説明したが、ブロッキングラインは、顔特徴点のみに基づいて算出されてもよい。
【０１５５】  以上、動作例３の変形例について説明した。
【０１５６】  以上、画像処理装置１００の動作について説明した。
【０１５７】  ＜本実施の形態の効果＞  以上説明したように、本実施の形態の画像処理装置１００は、メイクのシミュレーション画像を生成する装置である。画像処理装置１００は、所定装置から顔画像を入力する画像入力部１０１と、顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する画像解析部１０２と、顔型、プロポーションライン、ブロッキングラインのいずれかに基づいて、顔画像にメイクパーツ画像を重畳したシミュレーション画像を生成し、シミュレーション画像を表示装置３００に出力する画像生成部１０３と、を有する。
【０１５８】  以上により、本実施の形態によれば、教師がメイクの方法の説明にかかる手間や時間を低減でき、生徒がメイクの方法について理解を深めることができる。
【０１５９】  ＜本発明の変形例＞  以上、本発明の実施の形態について説明したが、本発明は上記説明に限定されず、種々の変形が可能である。以下、各変形例について説明する。
【０１６０】  （変形例１）  画像処理装置１００は、シミュレーション画像の表示中、そのシミュレーション画像に含まれるメイクパーツ画像がユーザに選択された場合、そのメイクアイテムの塗り方などを、顔画像上に重畳するメイクガイド画像、または、テキスト、写真、イラスト、音声等で示すガイド情報を表示装置３００へ出力してもよい。ガイド情報は、メイクパーツ画像毎に関連付けられて、記憶装置２００に記憶されている。なお、ガイド情報は、静止画でもよいし、動画でもよい。また、表示装置３００は、音声出力（スピーカ）機能を備えてもよい（以下の各変形例においても同様）。
【０１６１】  例えば、画像生成部１０３は、シミュレーション画像を生成する際、記憶装置２００から、メイクパーツ画像とともに、そのメイクパーツ画像に関連付けられているガイド情報を読み出しておく。その後、シミュレーション画像の表示中に、ユーザによりメイクパーツ画像を選択する操作が行われた場合、画像生成部１０３は、選択されたメイクパーツ画像に対応するガイド情報を表示装置３００へ出力する。そして、表示装置３００は、ガイド情報を表示する。
【０１６２】  これにより、ユーザは、メイクアイテムの塗り方等を容易に把握することができる。
【０１６３】  （変形例２）  画像処理装置１００は、メイクパーツ画像が重畳されたシミュレーション画像に従って実際にメイクが施された顔を示す顔画像を入力し、その顔画像とシミュレーション画像とを比較することで、実際に行われたメイクの評価を行ってもよい。
【０１６４】  例えば、ユーザは、メイクパーツ画像が重畳されたシミュレーション画像（以下、手本画像という）の表示を見ながら、自分の顔に実際にメイクを施し、その顔をカメラで撮影する。
【０１６５】  そして、画像入力部１０１は、カメラから顔画像（以下、メイク済画像という）を入力し、そのメイク済画像を画像解析部１０２へ出力する。
【０１６６】  次に、画像解析部１０２は、メイク済画像から、実際にメイクが施されている領域（以下、メイク領域という）を抽出する。そして、画像解析部１０２は、メイク済画像と、メイク領域を特定可能な座標などの情報を含む解析結果情報とを、画像生成部１０３へ出力する。
【０１６７】  次に、画像生成部１０３は、解析結果情報に示されるメイク領域（例えば、実際にチークが塗布された領域）と、手本画像に含まれるメイクパーツ画像の重畳領域（例えば、チーク画像の重畳領域）とを照合する。そして、画像生成部１０３は、メイク領域と重畳領域とが一致する割合（以下、評価値という）を算出する。評価値は、高い値である程、メイクが正確に行われたことを示す。
【０１６８】  次に、画像生成部１０３は、評価値を示す情報（以下、メイク評価情報という）を生成し、表示装置３００へ出力する。表示装置３００は、メイク評価情報を表示する。
【０１６９】  これにより、ユーザは、メイクをどの程度正確に行うことができたかを把握することができる。
【０１７０】  なお、上記説明では、メイク評価情報が評価値である場合を例に挙げて説明したが、これに限定されない。例えば、メイク評価情報は、評価値を基に決定された、メイクの正確性を示すメッセージやイラスト等であってもよい。
【０１７１】  また、上記説明では、メイク領域と重畳領域とを照合することで、メイクの評価が行われる場合を例に挙げて説明したが、これに限定されない。例えば、メイク領域の色とメイクパーツ画像の色とを照合することで、メイクの評価が行われてもよい。照合の結果、色差が所定値以上の部分（例えば、色ムラがある部分）が存在する場合、評価値が低くなるように算出されてもよい。また、メイク評価情報には、色ムラがあるメイク領域をテキスト、矢印、音声などで示す情報が含まれてもよい。
【０１７２】  （変形例３）  画像処理装置１００は、顔画像から肌の色を抽出し、その肌の色に応じて、顔画像に重畳されるメイクパーツ画像を選択してもよい。
【０１７３】  例えば、画像解析部１０２は、顔画像から肌領域（例えば、頬、額、顎等）の色を抽出する。そして、画像解析部１０２は、肌領域の色の情報を含む解析結果情報を画像生成部１０３へ出力する。
【０１７４】  画像生成部１０３は、解析結果情報に示される肌領域の色と同じ色を有するメイクパーツ画像（例えば、コンシーラ画像、ファンデーション画像等）を記憶装置２００から読み出す。そして、画像生成部１０３は、メイクパーツ画像の形状、大きさを変色領域に合わせて調整し、そのメイクパーツ画像を顔画像に重畳したシミュレーション画像を生成し、そのシミュレーション画像を表示装置３００へ出力する。表示装置３００は、そのシミュレーション画像を表示する。
【０１７５】  これにより、画像処理装置１００は、ユーザに対して、実際の肌の色に適合した色のメイクパーツ画像を提案することができる。
【０１７６】  なお、上記説明では、画像生成部１０３が肌領域の色と同じ色を有するメイクパーツ画像を選択する場合を例に挙げて説明したが、これに限定されない。例えば、画像生成部１０３は、肌領域の色の近似色を有するメイクパーツ画像を選択してもよい。近似色は、例えば、肌領域の色よりも、１〜２段階明るい色または１〜２段階暗い色である。
【０１７７】  （変形例４）  画像処理装置１００は、顔画像に重畳される１つのメイクパーツ画像（ユーザにより指定されたメイクパーツ画像でもよい）を選択した場合、そのメイクパーツ画像の色に基づいて、他のメイクパーツ画像を選択してもよい。
【０１７８】  例えば、記憶装置２００には、１つのメイクパーツ画像に対して少なくとも１以上のメイクパーツ画像が関連付けて記憶されている。この関連付けは、例えば、マルセル表色系に基づいて、メイクパーツ画像同士の色が調和するように予め定められている。
【０１７９】  画像生成部１０３は、例えば、顔画像に重畳するメイクパーツ画像として所定色のファンデーション画像を選択し、記憶装置２００から読み出した場合、そのファンデーション画像に関連付けられている所定色のチーク画像、アイシャドウ画像等を記憶装置２００から読み出す。そして、画像生成部１０３は、それらのメイクパーツ画像の形状、大きさを変色領域に合わせて調整し、各メイクパーツ画像を顔画像に重畳したシミュレーション画像を生成し、そのシミュレーション画像を表示装置３００へ出力する。表示装置３００は、そのシミュレーション画像を表示する。
【０１８０】  これにより、画像処理装置１００は、ユーザに対して、色の調和がとれた複数のメイクパーツ画像を提案することができる。
【０１８１】  （変形例５）  画像処理装置１００は、顔画像において肌領域に変色領域が存在する場合、その変色領域をカバーするメイクパーツ画像を顔画像に重畳したシミュレーション画像を生成してもよい。変色領域は、例えば、色素斑、肝斑、扁平母斑、色素細胞性母斑、太田母斑、後天性真皮メラノサイトーシス、紅斑、紫斑、白斑、青あざ、ほくろ、毛穴の黒ずみ、日焼け領域、ざ瘡（ニキビ）、ニキビ痕、摩擦や炎症による色素沈着、しわ、雀卵斑（そばかす）、タトゥー、疣贅、瘢痕等である。
【０１８２】  例えば、画像解析部１０２は、顔画像において、周辺領域（肌領域のうち、変色領域の周辺の領域）と比べて色差が所定値以上異なる領域を、変色領域として抽出する。そして、画像解析部１０２は、周辺領域の色、変色領域を特定可能な顔特徴点の座標などの情報を含む解析結果情報を画像生成部１０３へ出力する。
【０１８３】  画像生成部１０３は、解析結果情報に示される周辺領域の色を有するメイクパーツ画像（例えば、色素斑等のシミ部分に対しては肌の色または実際に塗布しているファンデーションの色に近似したコンシーラ画像またはファンデーション画像等）を記憶装置２００から読み出す。そして、画像生成部１０３は、メイクパーツ画像の形状、大きさを変色領域に合わせて調整し、そのメイクパーツ画像を顔画像に重畳したシミュレーション画像を生成し、そのシミュレーション画像を表示装置３００へ出力する。表示装置３００は、そのシミュレーション画像を表示する。
【０１８４】  これにより、ユーザは、変色領域をカバーする適切な色のメイクアイテムを把握することができる。
【０１８５】  （変形例６）  画像処理装置１００は、顔画像が静止画であるシミュレーション画像の表示中に、ユーザによる切替指示を受け付けた場合、顔画像を静止画から動画へ切り替えてもよい。
【０１８６】  これにより、ユーザは、様々な角度に傾けられた顔のシミュレーション画像を視認できるので、メイクパーツ画像の色、形状、位置などをさらに捉えやすくなる。
【０１８７】  また、画像処理装置１００は、顔画像が動画であるシミュレーション画像の表示中に、ユーザによる切替指示を受け付けた場合、顔画像を動画から静止画へ切り替えてもよい。
【０１８８】  これにより、ユーザは、所望の角度に傾けられた顔のシミュレーション画像を、時間をかけて視認できるので、メイクパーツ画像の色、形状、位置などをさらに捉えやすくなる。
【０１８９】  （変形例７）  画像処理装置１００は、複数のシミュレーション画像を表示装置３００へ出力し、表示装置３００は、複数のシミュレーション画像を並べて表示してもよい。
【０１９０】  並べて表示される複数のシミュレーション画像は、同じ種類であってもよいし、異なる種類であってもよい。
【０１９１】  例えば、所定の顔画像にプロポーションライン画像が重畳されたシミュレーション画像（動作例１参照）と、上記所定の顔画像と異なる顔画像にプロポーションライン画像が重畳されたシミュレーション画像（動作例１参照）とが並べて表示されてもよい。
【０１９２】  または、例えば、所定の顔画像にプロポーションライン画像が重畳されたシミュレーション画像（動作例１参照）と、上記所定の顔画像と同じ顔画像にブロッキングライン画像が重畳されたシミュレーション画像（動作例３参照）とが並べて表示されてもよい。
【０１９３】  これにより、ユーザは、複数のシミュレーション画像を比較しやすくなる。
【０１９４】  （変形例８）  画像処理装置１００（例えば、画像生成部１０３。本変形において以下同じ）は、顔画像のみを表示装置３００へ出力し、表示装置３００は、顔画像のみを表示してもよい。
【０１９５】  さらに、画像処理装置１００は、顔画像のみの表示中に、ユーザによってメイクパーツ画像が選択され、そのメイクパーツ画像の重畳指示を受け付けた場合、表示中の顔画像にメイクパーツ画像を重畳したシミュレーション画像を生成し、表示装置３００へ出力してもよい。
【０１９６】  また、画像処理装置１００は、顔画像のみを出力する場合、メイクパーツ画像を重畳できる範囲（以下、重畳可能範囲という）を示した顔画像を表示装置３００へ出力してもよい。重畳可能範囲は、例えば、正面顔の顔画像を縦方向に２等分した範囲のうち、右側の半顔の画像（以下、右顔画像という）または左側の半顔の画像（左顔画像という）のいずれかである。例えば、右顔画像が重畳可能範囲である場合、画像処理装置１００は、左顔画像の輝度を右顔画像の輝度よりも低下させた顔画像を生成し、表示装置３００へ出力する。ユーザは、右顔画像が重畳可能範囲であることを認識できる。
【０１９７】  そして、例えば、生徒は、画像処理装置１００を備える端末において、所望のメイクパーツ画像を選択し、そのメイクパーツ画像を右顔画像の所望の位置に重畳するように指示する操作を行う。
【０１９８】  一方、教師も、画像処理装置１００を備える端末（生徒が使用する端末と同じ端末でもよいし、別の端末でもよい）において、所望のメイクパーツ画像を選択し、そのメイクパーツ画像を左顔画像の所望の位置に重畳するように指示する操作を行う。なお、生徒および教師は、メイクパーツ画像を選択し、その重畳位置を指定する方法以外に、例えば、電子ペン等を用いて、端末に表示された左顔画像上に直接メイクパーツ画像を描いてもよい。
【０１９９】  画像処理装置１００は、生徒と教師による上記操作を受け付けると、生徒により選択されたメイクパーツ画像を右顔画像に重畳したシミュレーション画像（以下、右顔シミュレーション画像という）を生成する。また、画像処理装置１００は、教師により選択されたメイクパーツ画像を左顔画像に重畳したシミュレーション画像（以下、左顔シミュレーション画像という）を生成する。そして、画像処理装置１００は、右顔シミュレーション画像および左顔シミュレーション画像を表示装置３００へ出力する。
【０２００】  表示装置３００は、右顔シミュレーション画像と左顔シミュレーション画像とを合わせて１つの顔のシミュレーション画像として表示する。このとき、右顔シミュレーション画像と左顔シミュレーション画像は同じ輝度で表示される。なお、例えば、右顔シミュレーション画像は左顔シミュレーション画像よりも低い輝度で表示されてもよいし、左顔シミュレーション画像は右顔シミュレーション画像よりも低い輝度で表示されてもよい。
【０２０１】  これにより、生徒は、自分の操作によって生成された右顔シミュレーション画像と、教師の操作によって生成された左顔シミュレーション画像とを同時に視認でき、容易に比較することができる。
【０２０２】  なお、画像処理装置１００は、右顔シミュレーション画像および左顔シミュレーション画像を、学習履歴として、記憶装置２００に記憶させてもよい。なお、学習履歴として記憶装置２００に記憶されるシミュレーション画像は、右顔シミュレーション画像および左顔シミュレーション画像に限定されず、例えば、顔全体のシミュレーション画像であってもよい。
【０２０３】  また、画像処理装置１００は、学習履歴として記憶された、複数の右顔シミュレーション画像に対して画像解析を行い、生徒のメイクの傾向（例えば、メイクパーツ画像の配置のされ方、選択されたメイクパーツ画像の色等）を評価してもよい。また、画像処理装置１００は、評価の結果を示す情報を表示装置３００へ出力し、表示装置３００は、その情報を表示してもよい。これにより、生徒は、自分のメイクの傾向を知ることができる。
【０２０４】  また、画像処理装置１００は、右顔シミュレーション画像と左顔シミュレーション画像とを比較し、生徒が選択したメイクパーツ画像の位置、色などが、教師が選択したメイクパーツ画像の位置、色などと合っているか否かを判定してもよい。また、画像処理装置１００は、判定の結果を、テキスト、イラスト、または音声等で示す判定結果情報を、表示装置３００へ出力してもよい。そして、表示装置３００は、判定結果情報を表示する。これにより、生徒は、自分が選択したメイクパーツ画像の位置、色などについて間違い等を把握することができる。
【０２０５】  （変形例９）  画像処理装置１００および表示装置３００を備えた端末同士が通信を行ってもよい。
【０２０６】  例えば、生徒が使用する端末と、教師が使用する端末との間で、シミュレーション画像（例えば、変形例８で説明した右顔シミュレーション画像、左顔シミュレーション画像）の送受信を行ってもよい。これにより、遠隔地に居住または滞在する生徒が、教師によるメイクの指導を受けることができる。
【０２０７】  また、例えば、教師は、遠隔学習（通信学習）用のテキストの進め方（例えば、ページ送りの速度、重要なポイントの強調表示など）を示す進行データを予め作成し、その進行データを端末に記憶させる。遠隔地の生徒が用いる端末は、その進行データを受信し、進行データに基づいてテキストの表示を行う。これにより、生徒は直接授業を受けているような臨場感のある遠隔学習を行うことができる。なお、教師は、リアルタイムで、テキストの進め方を指示する操作を行ったり、生徒が作成したシミュレーション画像に対する指導操作を行ったりしてもよい。生徒が用いる端末は、それらの操作を示す情報を受け取り、その情報に基づいて表示等を行う。
【０２０８】  （変形例１０）  顔特徴点の抽出方法および顔部品の抽出方法は、上記実施の形態の説明に限定されず、既知の分類方法、パターン認識方法、クラスタリング方法、および最適化方法を採用することができる。
【０２０９】  既知の分類方法としては、例えば、決定木分析、ニューラルネットワーク（深層学習を含む）、およびナイーブベイズが挙げられる。既知のパターン認識方法としては、例えば、ニューラルネットワーク（深層学習を含む）およびサポートベクターマシン（ＳＶＭ）が挙げられる。既知のクラスタリング方法としては、例えば、ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ（ｋ−ＮＮ、ｋ近傍法）、ｋ−ｍｅａｎｓ、および階層的クラスタリングが挙げられる。また、既知の最適化方法としては、例えば、遺伝的アルゴリズムが挙げられる。
【０２１０】  （変形例１１）  画像処理装置１００の構成の一部は、当該装置の構成の他の部分と物理的に離隔していてもよい。この場合、それらの離隔した複数の部分は、互いに通信を行うための通信部をそれぞれ備える必要がある。例えば、画像処理装置１００の機能の一部は、クラウド化されていてもよい。また、画像処理装置１００は、記憶装置２００および表示装置３００の少なくとも一方を含んでもよい。また、画像処理装置１００は、画像入力部１０１へ顔画像を出力する装置（例えば、カメラ）を含んでもよい。
【０２１１】  例えば、画像処理装置１００および表示装置３００を備えた端末がネットワークに接続されている場合、作成したデータおよび操作履歴を端末内だけではなく、ネットワーク上のクラウドに保存してもよい。クラウドに収集される情報には、ベースとなる顔形状、顔特徴点情報、作成したメイクパーツ形状、ブラシのタッチや塗り方の履歴、使用した色情報、メイクアイテムの商品情報等がある。クラウドでは、これらの情報を学習し、数か月単位、または年単位でのトレンド分析を行う。顔形状、特徴点情報およびメイクパーツ形状及びブラシの操作履歴からは、ラインの形状、チークの入れ方等、その時のトレンドとなる顔形状やメイクの入れ方を分析し、色情報やメイクアイテムの商品情報からは、人気の色遣いや商品情報を抽出する。
【０２１２】  これらの学習データは、トレンドのメイク方法、色情報として蓄積され、端末に自動でダウンロードされる。端末では、常に最新のメイク情報の参照、利用ができ、例えば図５Ａ、図５Ｂ、図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂに示すようなメイクの仕方のガイドラインは自動で最新のメイクに更新される。
【０２１３】  ＜本開示のまとめ＞  本開示の画像処理装置は、所定装置から顔画像を入力する画像入力部と、前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する画像解析部と、前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定し、該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する画像生成部と、を有する。
【０２１４】  なお、上記画像処理装置において、前記画像生成部は、前記顔型が予め定められた基準顔型からはみ出しているはみ出し領域と、前記顔型が前記基準顔型に対して不足している不足領域とを算出し、前記顔画像において前記はみ出し領域に対応する領域を、第１のメイクパーツ画像の重畳領域に決定し、前記顔画像において前記不足領域に対応する領域を、前記第１のメイクアイテムとは異なる第２のメイクパーツ画像の重畳領域に決定してもよい。
【０２１５】  また、上記画像処理装置において、前記画像生成部は、前記ブロッキングラインにより分割された前記顔画像における各分割領域の輝度を算出し、前記顔画像において前記輝度が第１閾値より大きい分割領域を、第２のメイクパーツ画像の重畳領域に決定し、前記顔画像において前記輝度が前記第１閾値より小さい第２閾値未満である分割領域を、前記第２のメイクアイテムとは異なる第１のメイクパーツ画像の重畳領域に決定してもよい。
【０２１６】  また、上記画像処理装置において、前記第１のメイクパーツ画像は、ローライトの画像であり、前記第２のメイクパーツ画像は、ハイライトの画像であってもよい。
【０２１７】  また、上記画像処理装置において、前記画像解析部は、前記顔画像を縦方向に分割する、第１プロポーションライン、該第１のプロポーションラインより下方の第２プロポーションライン、および、該第２プロポーションラインより下方の第３プロポーションラインを算出し、前記画像生成部は、前記第１プロポーションラインと前記第２プロポーションラインとの間の第１距離が、前記第２プロポーションラインと前記第３プロポーションラインとの間の第２距離より長い場合、前記メイクパーツ画像が上寄りに配置されるように該メイクパーツ画像の重畳位置を決定し、前記第２距離が前記第１距離より長い場合、前記メイクパーツ画像が下寄りに配置されるように該メイクパーツ画像の重畳位置を決定してもよい。
【０２１８】  また、上記画像処理装置において、前記画像解析部は、顔画像の最大縦幅を示す第４プロポーションライン、および、前記顔画像の最大横幅を示す第５プロポーションラインを算出し、前記画像生成部は、前記第４プロポーションラインが前記第５プロポーションラインより長い場合、前記メイクパーツ画像の長手方向が前記顔画像の横幅に沿って配置されるように該メイクパーツ画像の重畳位置を決定し、前記第５プロポーションラインが前記第４プロポーションラインより長い場合、前記メイクパーツ画像が頬から口角に向けて斜めに配置されるように該メイクパーツ画像の重畳位置を決定してもよい。
【０２１９】  また、上記画像処理装置において、前記メイクパーツ画像は、チークの画像であってもよい。
【０２２０】  また、上記画像処理装置において、前記画像生成部は、前記プロポーションラインの画像を前記顔画像に重畳した前記シミュレーション画像を生成してもよい。
【０２２１】  また、上記画像処理装置において、前記画像生成部は、前記ブロッキングラインの画像を前記顔画像に重畳した前記シミュレーション画像を生成してもよい。
【０２２２】  また、上記画像処理装置において、前記画像生成部は、前記プロポーションラインの位置の変更指示を受け付けた場合、変更後の前記プロポーションラインの位置に基づいて、前記顔画像における顔部品の形状および位置の少なくとも一方を変化させた顔画像を生成してもよい。
【０２２３】  また、上記画像処理装置において、前記画像解析部は、少なくとも３つ以上の前記プロポーションラインを算出し、前記画像生成部は、前記顔画像における顔バランスの理想化の指示を受け付けた場合、前記プロポーションライン間の各距離が予め定められた割合になるように前記プロポーションラインの位置を変更し、変更後の前記プロポーションラインの位置に基づいて、前記顔画像における顔部品の形状および位置の少なくとも一方を変化させた顔画像を生成してもよい。
【０２２４】  また、上記画像処理装置において、前記画像生成部は、前記シミュレーション画像を所定の表示装置へ出力してもよい。
【０２２５】  本開示の画像処理方法は、所定装置から顔画像を入力し、前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出し、前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定し、該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する。
【０２２６】  本開示の画像処理プログラムは、所定装置から顔画像を入力する処理と、前記顔画像から抽出された顔特徴点に基づいて、顔型、顔のバランスを分析するために顔の上に引く線であるプロポーションライン、または、顔の骨格に沿って顔面を顔に当たる光による陰の明暗で複数の領域に分割するブロッキングラインのいずれかを算出する処理と、前記顔型、前記プロポーションライン、または、前記ブロッキングラインのいずれかに基づいて前記顔画像におけるメイクパーツ画像の重畳領域を決定する処理と、該重畳領域に前記メイクパーツ画像を重畳したシミュレーション画像を生成する処理と、をコンピュータに実行させる。
【産業上の利用可能性】
【０２２７】  本開示に係る画像処理装置、画像処理方法、および画像処理プログラムは、メイクアップのシミュレーション画像を生成する画像処理装置、画像処理方法、および画像処理プログラムとして有用である。
【符号の説明】
【０２２８】  １００  画像処理装置  １０１  画像入力部  １０２  画像解析部  １０３  画像生成部  ２００  記憶装置  ３００  表示装置
【図１】
2018079255.tif 000003
【図２】
2018079255.tif 000004
【図３】
2018079255.tif 000005
【図４】
2018079255.tif 000006
【図５Ａ】
2018079255.tif 000007
【図５Ｂ】
2018079255.tif 000008
【図６】
2018079255.tif 000009
【図７】
2018079255.tif 000010
【図８Ａ】
2018079255.tif 000011
【図８Ｂ】
2018079255.tif 000012
【図８Ｃ】
2018079255.tif 000013
【図９】
2018079255.tif 000014
【図１０】
2018079255.tif 000015
【図１１Ａ】
2018079255.tif 000016
【図１１Ｂ】
2018079255.tif 000017
【図１２Ａ】
2018079255.tif 000018
【図１２Ｂ】
2018079255.tif 000019
【図１３】
2018079255.tif 000020
【図１４】
2018079255.tif 000021
【国際調査報告】
2018079255.tif 000022
2018079255.tif 000023
2018079255.tif 000024
2018079255.tif 000025