(57)【特許請求の範囲】
【請求項１】
肌に貼り付け可能なシートへの画像の印刷を行う印刷装置の動作を制御する画像処理装置であって、
前記肌を撮影した肌画像を取得する画像取得部と、
前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出する画像解析部と、
前記変色領域の色および大きさのうち少なくとも一方に基づいて、白色顔料を含む下地材料の使用の有無、前記印刷における印刷材料の粒形、印刷工法、およびラメの使用の有無のうち少なくとも１つを含む、印刷種別を決定する印刷種別決定部と、
前記シートのうち前記変色領域に対応する領域に対して前記周辺色の印刷材料を印刷する内容の画像データを前記印刷装置へ出力し、決定された前記印刷種別に従って前記印刷装置の動作を制御する印刷制御部と、を有する、
画像処理装置。
【請求項２】
前記印刷種別決定部は、
前記変色領域の面積が所定値以上である事を条件として、球状結晶／不定形結晶の印刷材料を優先的に選択し、前記変色領域の面積が前記所定値未満である事を条件として、板状結晶の印刷材料を優先的に選択する、
請求項１に記載の画像処理装置。
【請求項３】
前記印刷種別決定部は、
前記変色領域の濃さが所定のレベル以上である事を条件として、白色の印刷材料を前記周辺色の印刷材料の下地として印刷する旨を決定する、
請求項１に記載の画像処理装置。
【請求項４】
前記印刷種別決定部は、
隣接する複数の前記変色領域の濃さの差異が所定のレベル以上である事を条件として、白色の印刷材料を前記周辺色の印刷材料の下地として印刷する旨を決定する、
請求項１に記載の画像処理装置。
【請求項５】
前記印刷種別決定部は、
前記変色領域の面積が所定値以上である事を条件として、スプレー印刷／凸版印刷を優先的に選択し、前記変色領域の面積が前記所定値未満である事を条件として、インクジェット印刷を優先的に選択する、
請求項１に記載の画像処理装置。
【請求項６】
前記印刷種別決定部は、
前記変色領域の面積が所定値以上である事を条件として、ラメを印刷する旨を決定する、
請求項１に記載の画像処理装置。
【請求項７】
肌に貼り付け可能なシートへの画像の印刷を行う印刷装置の動作を制御する画像処理方法であって、
前記肌を撮影した肌画像を取得するステップと、
前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出するステップと、
前記変色領域の色および大きさのうち少なくとも一方に基づいて、白色顔料を含む下地材料の使用の有無、前記印刷における印刷材料の粒形、印刷工法、およびラメの使用の有無のうち少なくとも１つを含む、印刷種別を決定するステップと、
前記シートのうち前記変色領域に対応する領域に対して前記周辺色の印刷材料を印刷する内容の画像データを前記印刷装置へ出力し、決定された前記印刷種別に従って前記印刷装置の動作を制御するステップと、を有する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、肌に貼り付け可能なシートに画像を印刷するための画像データを生成する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、頬のシミといった肌の変色領域を目立たなくするための技術が存在している（例えば、特許文献１参照）。特許文献１に記載の技術（以下「従来技術」という）は、肌を撮影した画像から肌の変色領域を識別し、肌に貼り付け可能であって非変色領域の色の印刷材料が印刷されたシートを、変色領域と同一または変色領域よりも大きいサイズで生成する。このような従来技術によれば、シートを肌に貼り付けるといった簡単な作業で、肌の変色領域を目立たなくする事ができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−４３８３６号公報
【特許文献２】特開２０１２−８６４７５号公報
【特許文献３】特開平１０−４６０７３号公報
【特許文献４】特開２００５−１２６７２９号公報
【特許文献５】特開２０１２−２０３４２５号公報
【特許文献６】特開２００３−４４８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、濃い変色領域をカバーするためには、印刷材料を厚目に印刷しなければならず、印刷材料を大量に消費する事になる。コスト低減や自然な外観の確保の観点から、より少ない印刷材料で肌の変色領域を目立たなくさせる事が可能な技術が望まれる。
【０００５】
本開示の目的は、より少ない印刷材料で肌の変色領域を目立たなくさせる事を可能にする画像処理装置および画像処理方法を提供する事である。
【課題を解決するための手段】
【０００６】
本開示の画像処理装置は、肌に貼り付け可能なシートへの画像の印刷を行う印刷装置の動作を制御する画像処理装置であって、前記肌を撮影した肌画像を取得する画像取得部と、前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出する画像解析部と、前記変色領域の色および大きさのうち少なくとも一方に基づいて、白色顔料を含む下地材料の使用の有無、前記印刷における印刷材料の粒形、印刷工法、およびラメの使用の有無のうち少なくとも１つを含む、印刷種別を決定する印刷種別決定部と、前記シートのうち前記変色領域に対応する領域に対して前記周辺色の印刷材料を印刷する内容の画像データを前記印刷装置へ出力し、決定された前記印刷種別に従って前記印刷装置の動作を制御する印刷制御部と、を有する。
【０００８】
本開示の画像処理方法は、肌に貼り付け可能なシートへの画像の印刷を行う印刷装置の動作を制御する画像処理方法であって、前記肌を撮影した肌画像を取得するステップと、前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出するステップと、前記変色領域の色および大きさのうち少なくとも一方に基づいて、白色顔料を含む下地材料の使用の有無、前記印刷における印刷材料の粒形、印刷工法、およびラメの使用の有無のうち少なくとも１つを含む、印刷種別を決定するステップと、前記シートのうち前記変色領域に対応する領域に対して前記周辺色の印刷材料を印刷する内容の画像データを前記印刷装置へ出力し、決定された前記印刷種別に従って前記印刷装置の動作を制御するステップと、を有する。
【発明の効果】
【０００９】
本開示によれば、より少ない印刷材料で肌の変色領域を目立たなくさせる事を可能にする。
【図面の簡単な説明】
【００１０】
【図１】本開示に係るメイク支援システムの一例の概要を示す模式図
【図２】本開示における印刷手法の一例を示す模式図
【図３】本開示における白色顔料を含む下地材料による効果を説明するための模式図
【図４】本開示における白色材料と肌色材料との位置関係の第１の例を示す図
【図５】本開示における白色材料と肌色材料との位置関係の第２の例を示す図
【図６】本開示に係る画像処理装置の構成の一例を示すブロック図
【図７】本開示における下地決定ルール情報の一例を示す図
【図８】本開示における粒形決定ルール情報の一例を示す図
【図９】本開示における工法決定ルール情報の一例を示す図
【図１０】本開示におけるラメ決定ルール情報の一例を示す図
【図１１】本開示に係る画像処理装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００１１】
以下、本開示の一実施の形態について、図面を参照して詳細に説明する。
【００１２】
＜システム構成＞
まず、本実施の形態に係る画像処理装置を含むメイク支援システムの概要について説明する。
【００１３】
図１は、メイク支援システムの一例の概要を示す模式図である。
【００１４】
図１において、メイク支援システム１００は、照明部２０１、カメラ２０２、およびタッチパネル付き液晶ディスプレイ等の表示部２０３を備えた画像処理装置２００と、画像処理装置２００と通信可能に接続された印刷装置３００とを含む。画像処理装置２００および印刷装置３００は、例えば、工場、化粧品販売店舗、美容室、医療機関、身だしなみを整えるメイクルーム、イベント会場、および個人宅等に配置される。なお、画像処理装置２００は、容易に持ち運ぶことも可能なポータブル型の装置であってもよい。
【００１５】
画像処理装置２００は、表示部２０３の正面に位置するユーザ４００の顔を、照明部２０１により照明した状態で、表示部２０３の近傍に配置されたカメラ２０２により撮影する。そして、画像処理装置２００は、撮影された画像を左右方向において反転された画像（以下「顔画像」という）５１０を、表示部２０３に表示させる。すなわち、画像処理装置２００は、鏡を覗き込んでいるような感覚をユーザ４００に与えるように構成されている。
【００１６】
また、画像処理装置２００は、得られた顔画像５００から（あるいは反転前の画像から）、顔画像５１０の変色領域５１１を抽出し、変色領域５１１を包含する包含領域５１５を決定する。そして、画像処理装置２００は、変色領域５１１の周辺５１３の色（以下「周辺色」という）の領域を、包含領域５１５の形状および大きさで形成する画像の画像データを生成し、印刷装置３００へ出力する。
【００１７】
周辺色は、画像処理装置２００により、分光測色計などの外部測定機器で取得した包含領域等の色情報の測定値に基づき決定されてもよく、事前に用意されたカラーサンプルから選択することにより決定されてもよい。または、ユーザが使用しているファンデーションやコンシーラー等の色情報を画像処理装置２００が取得して、周辺色として画像処理装置２００により決定されてもよい。その場合、メイクシートと併用する化粧品との色なじみが良くなる効果が期待できる。
【００１８】
印刷装置３００は、画像処理装置２００から出力された画像データに基づいて、肌４１０に貼り付け可能なメイクシート５２０への画像の印刷を行う。例えば、印刷装置３００は、メイクシート５２０が剥離可能な支持体（台紙）に貼り付けられた状態において、メイクシート５２０に対する印刷を行う。
【００１９】
より具体的には、印刷装置３００は、周辺色に近似する色の色素材料（化粧料等）を、包含領域５１５に対応する領域に付与する事により、カバー領域（遮蔽層、肌色補正カラー層）５２１が形成されたメイクシート５２０を生成する。
【００２０】
メイクシート５２０には、肌４１０に密着して貼り付けられる側の面（以下「肌側面」という）と、反対側の面（以下「外側面」という）とが存在する。印刷装置３００は、肌側面および外側面のうち、予め定められた側の面に対してカバー領域５２１の印刷を行う。例えば、メイクシート５２０は、肌４１０への密着により、肌側面に印刷されたカバー領域５２１を、肌４１０に転写させる。あるいは、メイクシート５２０は、肌４１０に密着したままの状態に保たれる事により、肌側面あるいは外側面に印刷されたカバー領域５２１を、肌４１０の上に担持する。
【００２１】
カバー領域５２１は、上述の通り、変色領域５１１の周辺色で形成されている。したがって、包含領域５１５に対応する肌の領域５３２は、カバー領域５２１に覆われ、変色領域５１１がより目立たない状態となる。
【００２２】
すなわち、メイク支援システム１００は、メイクシート５２０を肌４１０に貼るといった簡単かつ短時間で済む動作により、肌４１０の色を均一化するメイクを行う事を可能にする。
【００２３】
なお、メイクシート５２０は、人の肌に貼り付けても違和感が無く、無色透明に近く、かつ、生体適合性を有するシートである。具体的には、メイクシート５２０は、例えば、ポリ乳酸、ポリグリコール酸、ポリカプロラクトン、あるいはこれらの共重合体、ヒアルロン酸、およびキトサン等の、生体適合性ポリマーから成る層を有する、厚さ１０ｎｍ〜５００ｎｍの薄膜である。メイクシート５２０として用いる事ができる薄膜については、例えば特許文献２に記載されているため、ここでの詳細な説明を省略する。
【００２４】
また、印刷装置３００において印刷に用いられる印刷材料（インク）および各部の具体的構成については、例えば特許文献３〜特許文献５に記載されているため、ここでの詳細な説明を省略する。
【００２５】
カバー領域５２１による変色領域５１１に対するカバー力（目立たなくする効果）は、白色顔料を含む下地材料の使用の有無、印刷材料の粒形、印刷工法、およびラメの使用の有無（以下、適宜「印刷種別」という）に応じて大きく異なる。すなわち、これらの印刷種別を適切に選択する事により、カバー領域５２１のカバー力を高め、より少ない印刷材料で変色領域を十分に目立たなくする事が可能となる。
【００２６】
ここで、白色顔料を含む下地材料の使用の効果について説明する。
【００２７】
図２は、カバー領域５２１を形成する際の印刷手法の一例を示す模式図である。
【００２８】
図２に示すように、顔画像５１０から抽出された変色領域５１１に基づいて、メイクシート５２０のうち各変色領域５１１に対応する位置に、周辺色のカバー領域５２１を形成する事が決定される。印刷装置３００は、シアン（Ｃ）、マゼンダ（Ｍ）、イエロー（Ｙ）、およびブラック（Ｋ）といった限られた色の色素材料（インク等）を塗布する事で、任意の色（例えば肌色）を再現する。より具体的には、印刷装置３００は、画像データに基づき、シアンのカバー領域５２１Ｃ、マゼンダのカバー領域５２１Ｍ、イエローのカバー領域５２１Ｙ、およびブラックのカバー領域５２１Ｋを、それぞれに必要な濃度で重ねて印刷する。
【００２９】
ところが、印刷による色の混合は減色混合であるため、印刷装置３００が形成する事ができるカバー領域５２１の色の明るさ（明度）には限界がある。また、仮に周辺色と全く同じ明度のカバー領域５２１を形成する事ができたとしても、変色領域５１１が濃い、つまり、周辺色との色の差異が大きい場合、カバー領域５２１を厚くして十分に不透明にしなければ、変色領域５１１の色が透けて目立ってしまう。
【００３０】
そこで、画像処理装置２００は、例えば変色領域５１１が濃い場合、印刷装置３００に対して、メイクシート５２０のカバー領域５２１に対応する領域に、白色顔料を含む下地材料を追加して印刷させる。なお、本実施の形態において、「白色」とは、白色および肌色よりも白色に近い色を含む概念とする。また、変色領域５１１の色の濃さとは、例えば、周辺色に対する変色領域５１１の色の差異であり、例えば、ＲＧＢ等の所定の色空間における色座標の距離である。
【００３１】
図３は、カバー領域５２１における白色顔料を含む下地材料による効果を説明するための模式図であり、肌およびメイクシート５２０の断面の様子を示している。
【００３２】
図３に示すように、例えば、メイクシート５２０の外側面に、周辺色に近い色の色素材料（以下「肌色材料」という）５２１Ｐと、白色に近い色の色素材料（以下「白色材料」という）５２１Ｗとから成るカバー領域５２１が形成される。メイクシート５２０は、カバー領域５２１が肌４１０の変色領域５１１を覆う位置で、肌４１０に貼り付けられる。この状態において、白色材料５２１Ｗは、肌４１０と肌色材料５２１Ｐとの間に配置されている。
【００３３】
外界からカバー領域５２１への入射光５３１は、肌色材料５２１Ｐあるいはその奥の白色材料５２１Ｗにおいて反射し、それぞれの色を可視化する。すなわち、肌色材料５２１Ｐの色に白色材料５２１Ｗの白色が混合され、肌色材料５２１Ｐの色に比べて明度が高い色が、カバー領域５２１全体の色として知覚される。かかる明度の増加は、変色領域５１１の色と周辺色との明度の差を小さくする効果を生む。また、同等の効果を奏するために必要な肌色材料５２１Ｐの増加量に対して、白色材料５２１Ｗの量は少なくて済む。したがって、白色材料５２１Ｗの追加（白色顔料を含む下地材料）は、印刷材料の増大を抑えた状態で、変色領域５１１をより目立たなくするという効果を奏する。
【００３４】
なお、白色材料５２１Ｗを肌色材料５２１Ｐの外側に配置すると、白浮きが発生し易くなる。したがって、白色材料５２１Ｗは、肌色材料５２１Ｐよりも肌４１０により近い側（内側）に配置される事が望ましい。
【００３５】
図４は、メイクシート５２０の外側面にカバー領域５２１を配置する場合の、白色材料５２１Ｗと肌色材料５２１Ｐとの位置関係の一例を示す図である。また、図５は、メイクシート５２０の肌側面にカバー領域５２１を配置する場合の、白色材料５２１Ｗと肌色材料５２１Ｐとの位置関係の一例を示す図である。
【００３６】
メイクシート５２０の外側面にカバー領域５２１を配置する場合、図４に示すように、印刷装置３００は、先に白色材料５２１Ｗを印刷し、次に、肌色材料５２１Ｐを印刷する。なお、かかる場合のメイクシート５２０は、肌４１０にメイクシート５２０を長時間密着させるための接着機能（図示せず）を肌側面に有するため、その厚みは、４００ｎｍ以上と成り得る。したがって、白色材料５２１Ｗによる白浮きが目立ち易くなるため、白色材料５２１Ｗを内側に配置する事は重要である。
【００３７】
メイクシート５２０の肌側面にカバー領域５２１を配置する場合、図５に示すように、印刷装置３００は、先に肌色材料５２１Ｐを印刷し、次に、白色材料５２１Ｗを印刷する。なお、かかる場合のメイクシート５２０であって、カバー領域５２１の肌４１０への転写を行う場合、その厚みは、例えば４００ｎｍ未満となる。
【００３８】
なお、本実施の形態において抽出の対象となる変色領域５１１には、その変色の要因が異なるものが含まれる。すなわち、変色領域５１１は、その変色の要因の種別により、色素斑、肝斑、扁平母斑、色素細胞性母斑、太田母斑、後天性真皮メラノサイトーシス、紅斑、紫斑、白斑、青あざ、ほくろ、毛穴の黒ずみ、日焼け領域、ざ瘡（ニキビ）、ニキビ痕、摩擦や炎症による色素沈着、しわ、雀卵斑（そばかす）、タトゥー、疣贅、瘢痕等に区分される。
【００３９】
＜装置の構成＞
次に、画像処理装置２００の構成について説明する。
【００４０】
図６は、画像処理装置２００の構成の一例を示すブロック図である。
【００４１】
図６において、画像処理装置２００は、情報格納部２１０、画像取得部２２０、画像解析部２３０、印刷種別決定部２４０、および印刷制御部２５０を有する。
【００４２】
情報格納部２１０は、画像解析部２３０による画像解析に必要な各種情報、および、印刷種別決定部２４０による印刷種別の決定に必要な各種情報を、予め格納する。
【００４３】
画像取得部２２０は、例えば上述のカメラ２０２（図１参照）を含み、撮影を行い、撮影された画像を画像解析部２３０へ取得する。撮影画像には、顔を撮影した顔画像、および、肌を撮影した肌画像が含まれ得る。
【００４４】
画像解析部２３０は、顔を撮影した顔画像から顔部品を抽出し、抽出された顔部品の顔画像における位置に基づいて、顔画像から肌領域の画像（肌画像）を抽出する。更に、画像解析部２３０は、画像解析部２３０は、肌画像から、当該肌画像に含まれる肌（肌画像）のうち、周辺との色の差異が所定レベル以上である変色領域５１１と、変色領域５１１の周辺色とを抽出する。そして、画像解析部２３０は、抽出された顔部品の位置、変色領域５１１、および周辺色を示す解析結果情報を、印刷種別決定部２４０へ出力する。
【００４５】
印刷種別決定部２４０は、変色領域５１１毎に、変色領域５１１を包含する包含領域５１５を決定する。包含領域５１５は、例えば、変色領域５１１に外接する楕円領域である。また、印刷種別決定部２４０は、解析結果情報が示す変色領域５１１の色および大きさのうち少なくとも一方に基づいて、印刷種別を決定する。ここで、印刷種別とは、白色顔料を含む下地材料（白色材料５２１Ｗ、図３〜図５参照）の使用の有無、使用する印刷材料の粒形、印刷工法、およびラメの使用の有無のうち少なくとも１つを含む。そして、印刷種別決定部は、顔画像における、顔部品の位置、包含領域５１５の位置、および決定された印刷種別を、印刷制御部２５０へ出力する。
【００４６】
印刷種別決定部２４０は、上述の印刷種別の決定を、例えば、情報格納部２１０に格納された、粒形決定ルール情報、下地決定ルール情報、工法決定ルール情報、およびラメ決定ルール情報に基づいて行う。これらの情報の詳細については、後述する。
【００４７】
印刷制御部２５０は、メイクシート５２０のうち変色領域５１１に対応する領域に対して周辺色の印刷材料を印刷する内容の画像データを印刷装置３００へ出力し、決定された印刷種別に従って印刷装置３００の動作を制御する。印刷制御部２５０は、かかる画像データの印刷装置３００への出力および印刷装置３００の動作制御を、例えば、印刷装置３００との間の無線通信および／または有線通信等を介して行う。
【００４８】
なお、印刷制御部２５０は、生成された画像データを必ずしも直接に印刷装置３００に送信する必要はなく、他の情報記録デバイス等を介して間接的に送信してもよい。例えば、印刷制御部２５０は、生成された画像データをポータブルメモリーデバイスなどの記録媒体に記録してもよく、または、ポータブルデバイス（スマートフォン、タブレット、ＰＣ等）に送信してもよい。この場合、ユーザは、当該記録媒体やポータブルデバイスを介して印刷装置３００に画像データを送信し、ユーザの指示等により適宜必要な印刷を行う。
【００４９】
画像処理装置２００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。
【００５０】
このような画像処理装置２００は、変色領域５１１の色および大きさのうち少なくとも一方に基づいて、白色顔料を含む下地材料の使用の有無、印刷材料の粒形、印刷工法、およびラメの使用の有無等を決定する事ができる。
【００５１】
＜各種情報の内容＞
ここで、粒形決定ルール情報、下地決定ルール情報、工法決定ルール情報、およびラメ決定ルール情報のそれぞれの内容について説明する。
【００５２】
粒形決定ルール情報は、複数のタイプの粒形を有する印刷材料の中から、どの粒形の印刷材料を使用するかの決定基準を定義する情報である。下地決定ルール情報は、白色顔料を含む下地材料を使用するか否かの決定基準を定義する情報である。工法決定ルール情報は、複数の印刷工法の中から、どの印刷工法を適用するかの決定基準を定義する情報である。ラメ決定ルール情報は、ラメ（光沢材料）を使用するか否かの決定基準を定義する情報である。
【００５３】
図７は、下地決定ルール情報の一例を示す図である。
【００５４】
図７に示すように、下地決定ルール情報６１０は、変色領域５１１の面積および隣接変色領域の濃さの差に対応して、白色顔料を含む下地材料（以下、適宜「白色の下地材料」という）を使用するか否かを定義している。例えば、「濃さが第１の所定値未満」という条件に対応付けて、「周辺色のカラー材料の印刷を決定」という内容が記述され、「濃さが第１の所定値以上」という条件に対応付けて、「白色の下地材料＋周辺色のカラー材料の印刷を決定」という内容が記述されている。
【００５５】
図３で説明した通り、白色顔料を含む下地材料（白色材料５２１Ｗ）を追加する事により、カバー領域５２１の明度を上げる事ができる。したがって、例えば、下地決定ルール情報６１０に従って印刷を制御する事により、カバー領域５２１の厚さ（塗布量）の増大を抑制した状態で、カバー領域５２１の変色領域５１１に対する色カバー力を向上させる事ができる。
【００５６】
なお、下地決定ルール情報６１０は、複数の色や厚さ等が異なる白色材料に対して、１つの単一の色や厚さの肌色材料を組み合わせたカバー領域５２１を形成する事を規定していてもよい。すなわち、白色材料の層と肌色材料の層とは、必ずしも一対一でなくてもよい。
【００５７】
例えば、下地決定ルール情報６１０は、複数の変色領域が所定の間隔以下で隣接している場合、これらの複数の変色領域に対して、個別に白色材料の塗布領域および厚さ等を決定すると共に、これらを包含する１つの肌色材料の塗布領域を決定する。
【００５８】
ここで、複数の変色領域の間の間隔とは、例えば、顔画像のピクセル距離、あるいは、カメラ２０２からユーザ４００の顔まで（図１参照）の距離とピクセル距離から算出される、顔表面における変色領域５１１間の最小距離である。カメラ２０２からユーザ４００の顔までの距離は、例えば、ステレオカメラにより得られる顔部品の視差、撮影画像上の顔の大きさ、および赤外線や超音波を用いた各種測距センサのセンサ情報等から、推定する事ができる。あるいは、カメラ２０２からユーザ４００の顔までの距離は、事前にユーザの顔の、顔特徴点および各特徴点間の実寸距離等を含む３Ｄスキャンデータを取得しておき、画像取得部２２０で取得した顔画像の特徴点間のピクセル距離から相対的に求める事も可能である。
【００５９】
このような下地決定ルール情報６１０によれば、変色領域毎に個別に白色材料の層を形成し、複数の変色領域に対して単一の肌色材料の層を形成して、一枚のメイクシート５２０を提供する事ができる。すなわち、濃さが異なる隣接する複数の変色領域のそれぞれについて、メイクシートを個別に一枚一枚貼り付ける煩わしさを回避して、当該複数の変色領域を簡単にカバーする事が可能となる。また、下地条件（白色材料の色や厚さ等）が異なる、つまり、明度調整の度合いが異なる複数のメイクシート５２０が生成され、当該複数のメイクシート５２０の貼付領域に重複部分が生じたとしても、当該条幅部分の明度が明るくなり過ぎるのを防止する事ができる。
【００６０】
図８は、粒形決定ルール情報の一例を示す図である。
【００６１】
図８に示すように、粒形決定ルール情報６２０は、変色領域５１１の面積および変色領域５１１の濃さに対応して、所定の粒形を有する印刷材料の使用を定義している。例えば、「面積が第２の所定値未満」という条件、および、「濃さが第３の所定値未満」という条件に対応付けて、「球状結晶／不定形結晶の印刷材料を選択」という内容が記述されている。また、「面積が第２の所定値以上」という条件、および、「濃さが第３の所定値以上」という条件に対応付けて、「板状結晶の印刷材料を選択」という内容が記述されている。
【００６２】
ここで「面積」とは、例えば、顔画像におけるピクセル数、あるいは、カメラ２０２からユーザ４００の顔までの距離とピクセル距離から算出される、顔表面における変色領域５１１の面積である。
【００６３】
球状結晶／不定形結晶の印刷材料は、板状結晶の印刷材料に比べて、より緻密で均一な濃度で印刷を行う事が可能である。一方、板状結晶の印刷材料は、球状結晶／不定形結晶の印刷材料に比べて、広い範囲での印刷、あるいは、厚みのある印刷を、短時間で行う事が可能である。したがって、粒形決定ルール情報６２０に従って印刷を制御する事により、適切な厚さ（塗布量）で印刷材料をメイクシート５２０に付与する事が可能となる。
【００６４】
図９は、工法決定ルール情報の一例を示す図である。
【００６５】
図９に示すように、工法決定ルール情報６３０は、変色領域５１１の面積に対応して、使用する印刷工法を定義している。例えば、「面積が第４の所定値未満」という条件に対応付けて、「インクジェット印刷を選択」という内容が記述されており、「面積が第４の所定値以上」という条件に対応付けて、「スプレー印刷／凸版印刷を選択」という内容が記述されている。
【００６６】
インクジェット印刷用インクには、顔料のレーザ回折法で測定される粒度分布の積算値の中央値（メディアン径（Ｄ５０））は、０.００１〜０.６μｍのインクが使用される。したがって、インクジェット印刷は、スプレー印刷あるいは凸版印刷に比べて、より緻密で均一な濃度で印刷を行う事が可能である。一方、スプレー印刷あるいは凸版印刷は、インクジェット印刷に比べて、広い範囲での印刷、あるいは、厚みのある印刷を、短時間で行う事が可能である。したがって、工法決定ルール情報６３０に従って印刷を制御する事により、適切な厚さ（塗布量）で印刷材料をメイクシート５２０に付与する事が可能となる。
【００６７】
図１０は、ラメ決定ルール情報の一例を示す図である。
【００６８】
図１０に示すように、ラメ決定ルール情報６４０は、変色領域５１１の面積に対応して、ラメの印刷を行うか否かを定義している。例えば、「面積が第５の所定値以上」という条件に対応付けて、「ラメの印刷を決定」という内容が記述されている。
【００６９】
変色領域５１１の面積が大きい場合、ラメを付与して光沢を持たせた方が、変色領域５１１がより目立たなくなる。したがって、ラメ決定ルール情報６４０に従って印刷を制御する事により、カバー領域５２１の厚さ（塗布量）の増大を抑制した状態で、カバー領域５２１の変色領域５１１に対する色カバー力を向上させる事ができる。また、ラメの適用により、シマー効果により美肌に見せる効果を奏する事もできる。
【００７０】
なお、図９で説明した、工法決定ルール情報６３０は、白色顔料を含む下地材料を使用する場合において、インクジェットで白色顔料を含む下地材料（遮蔽層）を塗布し、スプレーで周辺色の色素材料（肌色インク）を印刷する事を、更に規定している事が望ましい。
【００７１】
また、複数の工法から選択する事ができる印刷装置３００としては、工場ラインに設置され、様々な印刷工法に対応した大型の装置が現実的である。印刷装置３００がグラビア印刷およびインクジェット印刷に対応した装置の場合、工法決定ルール情報６３０は、例えば、より複雑な印刷工法を定義していてもよい。
【００７２】
例えば、前工程で、下地材料のグラビア印刷により高遮蔽性を付与し（インク層を厚くし）、次工程で、カバー領域５２１の肌なじみをよくするために肌色材料のインクジェット印刷により下地材料の縁から外に掛けてグラデーションを施し、後工程で、ラメ等の光沢剤のスプレー印刷を行う工法である。このような印刷工法によれば、高遮蔽性を有しながら肌なじみのよい下地材料が形成されたメイクシート５２０を生成する事ができる。
【００７３】
また、印刷装置３００を卓上において一般家庭でも使えるような小型のものとする場合、かかる印刷装置３００には、印刷工法として、インクジェット印刷およびスプレー印刷が向いている。したがって、このような場合、インクジェット印刷およびスプレー印刷を組み合わせた印刷工法が定義されている事が望ましい。なお、このような場合でも、インクジェットヘッドまたはステージを複数回走査して印刷材料を積層させる事で、カバー領域５２１の遮蔽性能を向上させる事ができる。
【００７４】
＜装置の動作＞
次に、画像処理装置２００の動作について説明する。
【００７５】
図１１は、画像処理装置２００の動作の一例を示すフローチャートである。
【００７６】
ステップＳ１１００において、画像取得部２２０は、顔画像（肌画像）を取得する。
【００７７】
ステップＳ１２００において、画像解析部２３０は、顔画像から、顔部品、変色領域５１１、および各変色領域５１１の周辺色を抽出する。
【００７８】
具体的には、例えば、画像解析部２３０は、まず、所定のカラーチャートを撮影した画像を取得し、画像中のカラーチャートの色に基づいて、撮影環境に応じた色補正の補正値を決定する。そして、決定された補正値により色補正を行った上で、画像解析部２３０は、パターンマッチング等の既知の画像認識処理により、顔画像から、顔部品の位置を検出する。画像からの顔部品の抽出手法については、例えば、特許文献６に記載されているため、ここでの詳細な説明を省略する。
【００７９】
更に、画像解析部２３０は、顔画像のうち顔部品を除いた領域から、予め定められた色範囲の領域を肌領域として取得し、かかる肌領域を、所定の画素値（例えば明度）を境界として、変色領域５１１と非変色領域とに区分する事により、変色領域５１１を抽出する。なお、このとき、画像解析部２３０は、所定の面積以下の変色領域５１１については、非変色領域として取り扱うようにしてもよい。そして、画像解析部２３０は、変色領域５１１の近傍の非変色領域の平均値を、周辺色として抽出する。なお、画像解析部２３０は、特許文献１に記載の手法により、変色領域５１１および周辺色の抽出を行ってもよい。
【００８０】
ステップＳ１３００において、画像解析部２３０は、顔部品の配置から、シート形状を決定する。具体的には、画像解析部２３０は、顔部品の位置（鼻の穴、目、口、眉毛等）を避けて、抽出された１つまたは複数の変色領域５１１（あるいは、変色領域５１１の外側に所定の幅を持たせた領域）を覆う事ができる閉じた形状（例えば、図２〜図６に示すメイクシート５２０のような形状）を、シート形状として決定する。なお、顔は立体形状を有し、シートは基本形状が平面であるため、シート形状の大きさには５ｃｍ×５ｃｍ以下等の制限が設けられている事が望ましい。
【００８１】
ステップ１４００において、印刷種別決定部２４０は、変色領域５１１の色および大きさのうち少なくとも一方に基づいて、印刷種別を決定する。すなわち、印刷種別決定部２４０は、上述の粒形決定ルール情報６２０、下地決定ルール情報６１０、工法決定ルール情報６３０、およびラメ決定ルール情報６４０（図７〜図１０）に従って、印刷種別を決定する。かかる印刷種別には、色の下地材料の使用の有無、印刷における印刷材料の粒形、印刷工法、およびラメの使用の有無のうち少なくとも１つが含まれる。
【００８２】
なお、印刷種別決定部２４０は、上記ルールの一部のみに基づいて印刷種別を決定してもよいし、全部に基づいて印刷種別を決定してもよい。また、印刷種別決定部２４０は、どのようなルールに基づいて印刷種別を決定するかについての設定を、ユーザから受け付けてもよい。更に、印刷種別決定部２４０は、各ルール間に予め設定された優先順位に従って、各ルールを選択的に採用してもよい。
【００８３】
例えば、印刷種別決定部２４０は、メイクシート５２０の印刷に使用される印刷設備の種別を示す情報を取得し、使用される印刷設備の種別に適した印刷種別を優先的に選択する。
【００８４】
具体的には、印刷種別決定部２４０は、例えば、インクジェット印刷のみを行うといった工法選択の余地が少ない印刷設備の場合、下地決定ルール情報６１０（図７参照）のみを用いて印刷種別を決定する。また、印刷種別決定部２４０は、例えば、インクジェット印刷およびスプレー印刷等の複数の印刷工法が可能な印刷設備の場合、工法決定ルール情報６３０（図９参照）に基づいて工法を選択し、下地決定ルール情報６１０（図７参照）に基づいて下地材料の有無を決定し、粒形決定ルール情報６２０（図８参照）に基づいて粒形を決定し、そして、ラメ決定ルール情報６４０（図１０参照）に基づいてラメ印刷の有無を決定する。
【００８５】
また、例えば、印刷種別決定部２４０は、スピード、品質、コスト等のうちいずれの条件を優先するかの指定を受け付け、指定された条件に適した印刷種別を優先的に選択する。
【００８６】
具体的には、印刷種別決定部２４０は、例えば、スピード優先あるいはコスト優先の場合、インクジェット印刷を行う前提で、下地決定ルール情報６１０（図７参照）のみを用いて印刷種別を決定する。また、印刷種別決定部２４０は、例えば、品質優先の場合、複数の工法を使用する前提で、下地決定ルール情報６１０（図７参照）に基づいて下地材料の有無を決定し、粒形決定ルール情報６２０（図８参照）に基づいて粒形を決定し、そして、ラメ決定ルール情報６４０（図１０参照）に基づいてラメ印刷の有無を決定する。
【００８７】
ステップＳ１５００において、印刷制御部２５０は、メイクシート５２０のうち変色領域５１１に対応する領域に対して周辺色の印刷材料を印刷する内容の画像データを、生成する。画像データは、例えば、ＣＭＹＫ形式のデータである。また、印刷制御部２５０は、決定された印刷種別に基づき、かかる印刷種別に従った動作を指示する制御情報を、画像データに含める。
【００８８】
例えば、印刷制御部２５０は、カバー領域５２１よりも一回り大きい領域（包含領域５１５）に白色材料でグラビア印刷を行い、次に、更に一回り大きい領域に肌色材料で外周をぼかしたインクジェット印刷を行うという、２段階の印刷処理を指示する画像データを生成する。
【００８９】
なお、印刷種別決定部２４０あるいは印刷制御部２５０は、情報格納部２１０に予め格納された、変色領域の周辺色との色の差異（色差）と白色材料の単位面積当たりの塗布量との関係を規定したテーブル（図示せず）を参照して、白色材料の単位面積当たりの塗布量を決定する。かかるテーブルは、例えば、色差と白色材料の塗布濃度とを、線形の関係で対応付けている。
【００９０】
ステップＳ１６００において、印刷制御部２５０は、生成された画像データを、印刷装置３００へ出力する。
【００９１】
そして、ステップＳ１７００において、画像取得部２２０は、ユーザ操作等により処理の終了を指示されたか否かを判断する。画像取得部２２０は、処理の終了を指示されていない場合（Ｓ１７００：ＮＯ）、処理をステップＳ１１００へ戻す。また、画像取得部２２０は、処理の終了を指示された場合（Ｓ１７００：ＹＥＳ）、一連の処理を終了する。
【００９２】
このような動作により、画像処理装置２００は、顔の変色領域５１１を自動で抽出し、変色領域５１１の色／大きさに基づいて印刷種別を決定し、変色領域５１１を効率的にカバーするメイクシート５２０を、印刷装置３００を使用して生成する事ができる。特に、画像処理装置２００は、白色の印刷材料を肌色の印刷材料の下地として印刷する事により、任意の明度でカバー領域５２１を形成する事が容易となり、変色領域の明度が周辺色に比べて著しく低い場合であってもこれをより目立ち難くする事ができる。
【００９３】
＜本実施の形態の効果＞
以上説明したように、本実施の形態に係る画像処理装置２００は、メイクシート５２０への画像の印刷を行う印刷装置３００の動作を制御する装置である。画像処理装置２００は、肌画像を取得する画像取得部２２０と、肌画像から変色領域５１１およびその周辺色を抽出する画像解析部２３０とを有する。また、画像処理装置２００は、変色領域の色および大きさのうち少なくとも一方に基づいて、白色顔料を含む下地材料の使用の有無、印刷における印刷材料の粒形、印刷工法、およびラメの使用の有無のうち少なくとも１つを含む、印刷種別を決定する印刷種別決定部２４０を有する。そして、画像処理装置２００は、メイクシート５２０のうち変色領域に対応する領域に対して周辺色の印刷材料を印刷する内容の画像データを印刷装置３００へ出力し、決定された印刷種別に従って印刷装置３００の動作を制御する印刷制御部２５０を有する。
【００９４】
これにより、本実施の形態に係る画像処理装置２００は、変色領域５１１に対して適用する印刷種別を、変色領域５１１の色あるいは大きさに応じて変更する事ができる。変色領域５１１の色や大きさによっては、印刷種別の変更により印刷材料の塗布量を減らしつつ同等以上のカバー効果を実現できる可能性がある。したがって、画像処理装置２００は、より少ない印刷材料で肌の変色領域５１１を目立たなくさせる事を可能にする。
【００９５】
＜本実施の形態の変形例＞
なお、変色領域５１１の抽出手法、印刷種別の決定手法、および印刷手法は、上述の例に限定されない。例えば、変色領域５１１の抽出手法および印刷種別の決定手法としては、既知の分類手法、パターン認識手法、クラスタリング手法、および最適化手法を採用する事ができる。
【００９６】
既知の分類手法としては、例えば、決定木分析、ニューラルネットワーク（深層学習を含む）、およびナイーブベイズが挙げられる。既知のパターン認識手法としては、例えば、ニューラルネットワーク（深層学習を含む）およびサポートベクターマシン（ＳＶＭ）が挙げられる。既知のクラスタリング手法としては、例えば、ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ（ｋ−ＮＮ、ｋ近傍法）、ｋ−ｍｅａｎｓ、および階層的クラスタリングが挙げられる。また、既知の最適化手法としては、例えば、遺伝的アルゴリズムが挙げられる。
【００９７】
また、選択可能な印刷種別は、上述の例に限定されない。例えば、選択可能な印刷工法は、インクジェット印刷、スプレー印刷、グラビア印刷、凸版印刷、フレキソ印刷、シルクスクリーン印刷、パッド印刷、熱印刷、エルコグラフィ、トナージェット、マグネトグラフィ、およびイオノグラフィ等を含んでもよい。また、例えば、選択可能な白色材料は、酸化チタン、硫酸バリウム、および炭酸カルシウム等を含んでもよい。また、選択可能な印刷材料の粒形は、例えば、針状形状、不定形、球状形状、および板状等を含んでもよい。
【００９８】
また、シート形状の決定手法は、上述の例に限定されない。例えば、画像解析部２３０は、メイクシート５２０のカバー領域５２１以外の部分に、メイクシート５２０を持つための担持部を形成してもよい。
【００９９】
また、画像データの生成手法は、上述の例に限定されない。例えば、画像解析部２３０は、目尻や口角といった顔特徴点を取得し、これらの顔特徴点に近接する位置まで拡張したメイクシート形状を決定してもよい。そして、印刷制御部２５０は、かかる顔特徴点に合わせるべき位置を示すマーカを、メイクシート５２０に対して印刷する内容の画像データを生成してもよい。なお、肌に貼り付けた状態が保持されるメイクシート５２０を採用する場合、マーカは、無色透明に近い支持体に印刷されるか、温度や乾燥等により時間の経過と共に視認されなくなる素材から成る事が望ましい。
【０１００】
また、画像処理装置２００が処理の対象とする画像は、顔画像以外であってもよく、例えば、手の甲や腕の肌を撮影した画像であってもよい。
【０１０１】
また、画像処理装置２００の構成の一部は、当該装置の構成の他の部分と物理的に離隔していてもよい。この場合、それらの離隔した複数の部分は、互いに通信を行うための通信部をそれぞれ備える必要がある。例えば、画像処理装置２００の機能の一部は、クラウド化されていてもよい。また、画像処理装置２００および印刷装置３００は、一体的に構成されていてもよい。また、画像処理装置２００および印刷装置３００の配置は、上述の例に限定されない。例えば、印刷装置３００は、印刷工場等、画像処理装置２００から離隔した場所に配置され、インターネット等の通信網を介して画像データを受信してもよい。
【０１０２】
＜本開示のまとめ＞
本開示の画像処理装置は、肌に貼り付け可能なシートへの画像の印刷を行う印刷装置の動作を制御する画像処理装置であって、前記肌を撮影した肌画像を取得する画像取得部と、前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出する画像解析部と、前記変色領域の色および大きさのうち少なくとも一方に基づいて、白色顔料を含む下地材料の使用の有無、前記印刷における印刷材料の粒形、印刷工法、およびラメの使用の有無のうち少なくとも１つを含む、印刷種別を決定する印刷種別決定部と、前記シートのうち前記変色領域に対応する領域に対して前記周辺色の印刷材料を印刷する内容の画像データを前記印刷装置へ出力し、決定された前記印刷種別に従って前記印刷装置の動作を制御する印刷制御部と、を有する。
【０１０３】
なお、上記画像処理装置において、前記印刷種別決定部は、前記変色領域の面積が所定値以上である事を条件として、球状結晶／不定形結晶の印刷材料を優先的に選択し、前記変色領域の面積が前記所定値未満である事を条件として、板状結晶の印刷材料を優先的に選択してもよい。
【０１０４】
また、上記画像処理装置において、前記印刷種別決定部は、前記変色領域の濃さが所定のレベル以上である事を条件として、白色の印刷材料を前記周辺色の印刷材料の下地として印刷する旨を決定してもよい。
【０１０５】
また、上記画像処理装置において、前記印刷種別決定部は、隣接する複数の前記変色領域の濃さの差異が所定のレベル以上である事を条件として、白色の印刷材料を前記周辺色の印刷材料の下地として印刷する旨を決定してもよい。
【０１０６】
また、上記画像処理装置において、前記印刷種別決定部は、前記変色領域の面積が所定値以上である事を条件として、スプレー印刷／凸版印刷を優先的に選択し、前記変色領域の面積が前記所定値未満である事を条件として、インクジェット印刷を優先的に選択してもよい。
【０１０７】
また、上記画像処理装置において、前記印刷種別決定部は、前記変色領域の面積が所定値以上である事を条件として、ラメを印刷する旨を決定してもよい。
【０１０８】
本開示の印刷装置は、肌に貼り付け可能なシートへの画像の印刷を行う印刷装置であって、前記肌のうち周辺との色の差異が所定レベル以上である変色領域の色および大きさのうち少なくとも一方に基づいて決定された、白色顔料を含む下地材料の使用の有無、前記印刷における印刷材料の粒形、印刷工法、およびラメの使用の有無のうち少なくとも１つを含む、印刷種別と、前記シートのうち前記変色領域に対応する領域に対して、前記変色領域の周辺の色である周辺色の印刷材料を印刷する内容の画像データと、を取得する情報取得部と、取得された印刷種別に従って動作する事により、前記画像データが示す内容の印刷を行う印刷処理部と、を有する。
【０１０９】
本開示の画像処理方法は、肌に貼り付け可能なシートへの画像の印刷を行う印刷装置の動作を制御する画像処理方法であって、前記肌を撮影した肌画像を取得するステップと、前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出するステップと、前記変色領域の色および大きさのうち少なくとも一方に基づいて、白色顔料を含む下地材料の使用の有無、前記印刷における印刷材料の粒形、印刷工法、およびラメの使用の有無のうち少なくとも１つを含む、印刷種別を決定するステップと、前記シートのうち前記変色領域に対応する領域に対して前記周辺色の印刷材料を印刷する内容の画像データを前記印刷装置へ出力し、決定された前記印刷種別に従って前記印刷装置の動作を制御するステップと、を有する。
【産業上の利用可能性】
【０１１０】
本開示に係る画像処理装置、印刷装置、および画像処理方法は、より少ない印刷材料で肌の変色領域を目立たなくさせる事を可能にする画像処理装置、印刷装置、および画像処理方法として有用である。
【符号の説明】
【０１１１】
１００  メイク支援システム
２００  画像処理装置
２０１  照明部
２０２  カメラ
２０３  表示部
２１０  情報格納部
２２０  画像取得部
２３０  画像解析部
２４０  印刷種別決定部
２５０  印刷制御部
３００  印刷装置
【図１】
0006655789.tif 000002
【図２】
0006655789.tif 000003
【図３】
0006655789.tif 000004
【図４】
0006655789.tif 000005
【図５】
0006655789.tif 000006
【図６】
0006655789.tif 000007
【図７】
0006655789.tif 000008
【図８】
0006655789.tif 000009
【図９】
0006655789.tif 000010
【図１０】
0006655789.tif 000011
【図１１】
0006655789.tif 000012