(57)【要約】adversarial examplesの発生を回避しつつ、評価モデルによる評価値が向上する画像を生成する。画像生成装置は、画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、１又は複数の合成項目をそれぞれパラメータにより表現するパラメータ表現部と、入力された画像データに１又は複数の合成項目を合成する画像合成部と、合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出する評価値算出部であって、評価モデルは、入力された画像データの評価値を出力するように学習されたモデルである、評価値算出部と、算出された評価値が向上するように１又は複数の合成項目のパラメータのうち１又は複数のパラメータを更新する帰還部と、更新された１又は複数のパラメータに基づいて合成された合成画像を生成する画像生成部と、を含む。
2019221293.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、前記１又は複数の合成項目をそれぞれパラメータにより表現するパラメータ表現部と、
入力された画像データに、パラメータにより表現された前記１又は複数の合成項目を合成する画像合成部と、
前記画像合成部により合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出する評価値算出部であって、前記評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、評価値算出部と、
前記評価値算出部により算出された評価値が向上するように、前記１又は複数の合成項目の前記パラメータのうち１又は複数のパラメータを更新する帰還部と、
前記帰還部により更新された１又は複数のパラメータに基づいて合成された合成画像を生成する画像生成部と、
を含む、画像生成装置。
【請求項２】
前記１又は複数の合成項目において、前記１又は複数の構成要素のそれぞれの分散に基づいて、各パラメータが取り得る範囲を決定する範囲決定部をさらに備える、
請求項１に記載の画像生成装置。
【請求項３】
前記帰還部は、前記１又は複数の合成項目のうちユーザにより選択された一部の合成項目のパラメータを固定し、残りの合成項目のパラメータを更新する、
請求項１又は２に記載の画像生成装置。
【請求項４】
前記画像データは、人の顔画像を含み、前記評価値は、人の顔の魅力度を含む、
請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
前記１又は複数の合成項目は、前記人の顔画像に施すことにより人の顔の魅力度を高める化粧を含む、
請求項４に記載の画像生成装置。
【請求項６】
前記１又は複数の構成要素は、化粧を施す領域を示すマスク及び当該マスクに対応する色を含み、
前記パラメータ表現部は、前記マスク及び前記色のそれぞれに主成分分析を施す、
請求項５に記載の画像生成装置。
【請求項７】
前記１又は複数の合成項目は、入力された画像データの肌に相当する領域を平滑化させた平滑画像を含み、
前記パラメータ表現部は、入力された前記画像データと前記平滑画像とを合成する際の割合を前記合成項目のパラメータとする、
請求項４から６のいずれか一項に記載の画像生成装置。
【請求項８】
画像生成装置を制御する方法であって、前記画像生成装置が、
入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、前記１又は複数の合成項目をそれぞれパラメータにより表現するステップと、
入力された画像データに、パラメータにより表現された前記１又は複数の合成項目を合成するステップと、
前記合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出するステップであって、前記評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、ステップと、
前記算出された評価値が向上するように、前記１又は複数の合成項目の前記パラメータのうち１又は複数のパラメータを更新するステップと、
前記更新された１又は複数のパラメータに基づいて合成された合成画像を出力するステップと、
を含む、方法。
【請求項９】
コンピュータを、
入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、前記１又は複数の合成項目をそれぞれパラメータにより表現するパラメータ表現部と、
入力された画像データに、パラメータにより表現された前記１又は複数の合成項目を合成する画像合成部と、
前記画像合成部により合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出する評価値算出部であって、前記評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、評価値算出部と、
前記評価値算出部により算出された評価値が向上するように、前記１又は複数の合成項目の前記パラメータのうち１又は複数のパラメータを更新する帰還部と、
前記帰還部により更新された１又は複数のパラメータに基づいて合成された合成画像を出力する画像生成部と、
として機能させるプログラム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１８年５月１８日に出願された日本特許出願番号２０１８−０９６５９１号に基づくもので、ここにその記載内容を援用する。
【技術分野】
【０００２】
本発明は、画像生成装置、画像生成方法及び画像生成プログラムに関する。
【背景技術】
【０００３】
近年、多層のニューラルネットワーク等のモデルを用いて、画像認識や音声認識、自然言語処理を行う研究が進展している。例えば、画像を入力として、その画像をある基準に則って評価した評価値を算出する評価モデルが知られている。この評価モデルは、例えば、予め評価値が定められた複数の学習用データセットを入力して、正しい評価値を再現するようにモデルのパラメータを更新していくことで学習される。
このような画像認識の適用例として、例えば下記非特許文献１には、人の顔画像を入力として、その人の顔の魅力度を算出するように学習された評価モデルが開示されている。このような評価モデルによる顔の魅力度の算出により、例えば人の顔に様々な化粧を施したときの魅力度をそれぞれ評価することが可能となる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S.Shen, R.Furuta, T.Yamasaki, and K.Aizawa. Fooling neural networks in face attractiveness evaluation: Adversarial examples with high attractiveness score but low subjective score. BigMM, pp.66-69, 2017.
【発明の概要】
【０００５】
しかしながら、非特許文献１に示されるように、ニューラルネットワークによる評価モデルでは、ある画像（元画像）に特定の画像を掛け合わせることにより、元画像と生成された画像とを比較しても、人には違いがほぼ認識できないにもかかわらず、生成された画像に対して評価モデルが高い確信度を持って誤った結果を出力するという、いわゆる敵対的入力（adversarial examples）が発生し得る。例えば人の顔画像を入力として当該顔画像より魅力度が向上した顔画像を生成しようとする場合に、このようなadversarial examplesが発生すると、人が感じる魅力度と評価モデルから出力される魅力度が乖離し、評価モデルにとっては魅力度が向上していても、すなわち、評価モデルによる評価値が高くても、人が感じる魅力度が元画像とほぼ変わらない顔画像が出力されるおそれがある。
【０００６】
そこで、本発明は、adversarial examplesの発生を回避しつつ、評価モデルによる評価値が向上する画像を生成する画像生成装置、画像生成方法及び画像生成プログラムを提供することを目的とする。
【０００７】
本発明の一態様に係る画像生成装置は、入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、１又は複数の合成項目をそれぞれパラメータにより表現するパラメータ表現部と、入力された画像データに、パラメータにより表現された１又は複数の合成項目を合成する画像合成部と、画像合成部により合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出する評価値算出部であって、評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、評価値算出部と、評価値算出部により算出された評価値が向上するように、１又は複数の合成項目のパラメータのうち１又は複数のパラメータを更新する帰還部と、帰還部により更新された１又は複数のパラメータに基づいて合成された合成画像を生成する画像生成部と、を含む。
【０００８】
この態様によれば、各合成項目に含まれる複数のサンプルパターンを構成する構成要素に主成分分析が施されることにより、各構成要素が主成分ベクトルに基づいたパラメータによって表現される。これにより、主成分ベクトルの方向に沿ってパラメータが更新されるため、adversarial examplesを回避しつつ、評価モデルによる評価値が向上する画像を生成することができる。
【０００９】
上記態様において、画像生成装置は、１又は複数の合成項目において、１又は複数の構成要素のそれぞれの分散に基づいて、各パラメータが取り得る範囲を決定する範囲決定部をさらに備えていてもよい。
【００１０】
この態様によれば、範囲決定部により各パラメータの取り得る範囲が制限されるため、画像として不自然な画像が生成されることが抑制される。
【００１１】
上記態様において、帰還部は、１又は複数の合成項目のうちユーザにより選択された一部の合成項目のパラメータを固定し、残りの合成項目のパラメータを更新してもよい。
【００１２】
この態様によれば、ユーザが選択した合成項目のパラメータを固定しつつ、他の合成項目のパラメータを更新することによって評価値が向上する画像を生成することができる。
【００１３】
上記態様において、画像データは、人の顔画像を含み、評価値は、人の顔の魅力度を含んでいてもよい。
【００１４】
この態様によれば、入力された画像に比べて人の顔の魅力度が向上する画像を出力することができる。
【００１５】
上記態様において、１又は複数の合成項目は、人の顔画像に施すことにより人の顔の魅力度を高める化粧を含んでいてもよい。
【００１６】
この態様によれば、入力された画像に電子的に付与される化粧により人の顔の魅力度が向上する画像を出力することができる。
【００１７】
上記態様において、１又は複数の構成要素は、化粧を施す領域を示すマスク及び当該マスクに対応する色を含み、パラメータ表現部は、マスク及び色のそれぞれに主成分分析を施してもよい。
【００１８】
この態様によれば、入力された顔画像に加減算される各化粧の領域や色の調整により、顔画像の評価値が向上する画像を出力することができる。
【００１９】
上記態様において、１又は複数の合成項目は、入力された画像データの肌に相当する領域を平滑化させた平滑画像を含み、パラメータ表現部は、入力された画像データと平滑画像とを合成する際の割合を合成項目のパラメータとしてもよい。
【００２０】
この態様によれば、入力された顔画像の肌領域の平滑化の度合の調整により、顔画像の評価値が向上する画像を出力することができる。
【００２１】
本発明の一態様に係る画像生成方法は、画像生成装置を制御する方法であって、画像生成装置が、入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、１又は複数の合成項目をそれぞれパラメータにより表現するステップと、入力された画像データに、パラメータにより表現された１又は複数の合成項目を合成するステップと、合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出するステップであって、評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、ステップと、算出された評価値が向上するように、１又は複数の合成項目のパラメータのうち１又は複数のパラメータを更新するステップと、更新された１又は複数のパラメータに基づいて合成された合成画像を出力するステップと、を含む。
【００２２】
この態様によれば、各合成項目に含まれる複数のサンプルパターンを構成する構成要素に主成分分析が施されることにより、各構成要素が主成分ベクトルに基づいたパラメータによって表現される。これにより、主成分ベクトルの方向に沿ってパラメータが更新されるため、adversarial examplesを回避しつつ、評価モデルによる評価値が向上する画像を生成することができる。
【００２３】
本発明の一態様に係る画像生成プログラムは、コンピュータを、入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、１又は複数の合成項目をそれぞれパラメータにより表現するパラメータ表現部と、入力された画像データに、パラメータにより表現された１又は複数の合成項目を合成する画像合成部と、画像合成部により合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出する評価値算出部であって、評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、評価値算出部と、評価値算出部により算出された評価値が向上するように、１又は複数の合成項目のパラメータのうち１又は複数のパラメータを更新する帰還部と、帰還部により更新された１又は複数のパラメータに基づいて合成された合成画像を出力する画像生成部と、として機能させる。
【００２４】
この態様によれば、各合成項目に含まれる複数のサンプルパターンを構成する構成要素に主成分分析が施されることにより、各構成要素が主成分ベクトルに基づいたパラメータによって表現される。これにより、主成分ベクトルの方向に沿ってパラメータが更新されるため、adversarial examplesを回避しつつ、評価モデルによる評価値が向上する画像を生成することができる。
【発明の効果】
【００２５】
本発明によれば、adversarial examplesの発生を回避しつつ、評価モデルによる評価値が向上する画像を生成する画像生成装置、画像生成方法及び画像生成プログラムが提供される。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係る画像生成装置のネットワーク構成を示す図である。
【図２】本実施形態に係る画像生成装置の物理構成を示す図である。
【図３】本実施形態に係る画像生成装置の機能ブロックを示す図である。
【図４Ａ】ある化粧項目における複数のサンプルパターンの画像データ分布のイメージを示す図である。
【図４Ｂ】ある化粧項目における複数のサンプルパターンの画像データ分布のイメージを示す図である。
【図５】各パラメータを更新することにより評価値を最適化するステップを示す図である。
【図６Ａ】本実施形態に係る画像生成装置で実行される前処理のフローチャートである。
【図６Ｂ】本実施形態に係る画像生成装置で実行される画像生成処理のフローチャートである。
【図７】人により化粧が付与された画像と、本実施形態に係る画像生成装置により化粧が付与された画像の魅力度に関する主観評価実験の結果を示した図である。
【発明を実施するための形態】
【００２７】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００２８】
図１は、本発明の実施形態に係る画像生成装置のネットワーク構成を示す図である。本実施形態において、画像生成システム１００は、入力された顔画像に基づいて、当該顔画像の魅力度が最適化されるように、顔に電子的に化粧を施した画像を生成して出力する。なお、本明細書において「最適化」とは、評価モデルによる魅力度等の評価値がより好ましい（本実施形態においてはより高い）状態又はその近傍に少なくとも局所的に至ることを示す。また、本明細書において「電子的に化粧を施す」とは、顔の魅力度を向上すべく、あたかも化粧が施されたかのように顔画像を合成、編集又は修正等することである。
【００２９】
本実施形態において、画像生成システム１００は、複数の画像データと各画像データの評価値が対応付けられたデータセットが格納されたデータベースＤＢと、入力された画像の評価値を算出する評価モデル２０と、データベースＤＢに格納されたデータセットを用いて、各画像データに対応付けられた評価値に近い評価値が算出されるように評価モデル２０を学習させ、新たな画像データが入力された場合に、その画像データに基づいて評価値が最適化された画像データを生成する画像生成装置１０と、を備える。
【００３０】
本実施形態において、画像データは、人の顔をカメラで撮影した画像を用いるものとする。もっとも、画像データは、ある評価基準に則って評価値が付与され得る画像データであればどのようなものであってもよく、例えば食べ物、風景、商品の広告、その他任意の画像データであってもよい。
【００３１】
画像生成システム１００は、通信ネットワークＮに接続され、ユーザ端末３０から取得した画像データを、データベースＤＢに格納したり、画像生成装置１０に入力したりする。また、画像生成システム１００は、通信ネットワークＮを介して、生成された画像データをユーザ端末３０に出力する。また、画像生成システム１００は、ユーザ端末３０からの指示に基づいて、データベースＤＢに記憶されたデータセットの追加や編集を行ったり、評価モデル２０の学習を行ったりしてもよい。ここで、通信ネットワークＮは、有線又は無線の通信網であり、例えばインターネットやＬＡＮ（Local Area Network）であってよい。画像生成システム１００は、いわゆるクラウドコンピューティングの形で全部又は一部の構成要素がリモートコンピュータによって構成されてよいが、全部又は一部の構成要素がローカルコンピュータによって構成されてもよい。
【００３２】
評価モデル２０は、新たな画像データが入力された場合に、当該画像の評価値を出力するモデルである。本実施形態において、画像の評価値は、人の顔の魅力度を示す値であるが、評価の対象及び基準はこれらに限られない。評価モデル２０は、例えばニューラルネットワークを用いたモデルであってよく、具体的には、例えばＲｅｓＮｅｔ（Residual Network）を含んでよい。
【００３３】
図２は、本実施形態に係る画像生成装置１０の物理構成を示す図である。画像生成装置１０は、ハードウェアプロセッサに相当するＣＰＵ（Central Processing Unit）１０ａと、メモリに相当するＲＡＭ（Random Access Memory）１０ｂと、メモリに相当するＲＯＭ（Read Only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続される。
【００３４】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、評価モデル２０を用いて画像を生成するプログラム（画像生成プログラム）を実行する演算装置である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
【００３５】
ＲＡＭ１０ｂは、データの書き換えが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するアプリケーション等のプログラムやデータを記憶する。
【００３６】
ＲＯＭ１０ｃは、データの読み出しのみが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＯＭ１０ｃは、例えばファームウェア等のプログラムやデータを記憶する。
【００３７】
通信部１０ｄは、画像生成装置１０を通信ネットワークＮに接続する通信インタフェースである。
【００３８】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボードやマウス、タッチパネルで構成される。
【００３９】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えばＬＣＤ（Liquid Crystal Display）により構成される。
【００４０】
画像生成プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークＮを介して提供されてもよい。画像生成装置１０では、ＣＰＵ１０ａが画像生成プログラムを実行することにより、次図を用いて説明する様々な機能が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像生成装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。また、画像生成装置１０は、ＣＰＵ１０ａに代えて、又はＣＰＵ１０ａに加えて、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等の演算回路を備えてもよい。
【００４１】
図３は、本実施形態に係る画像生成装置１０の機能ブロックを示す図である。画像生成装置１０は、学習部１１と、パラメータ表現部１２と、範囲決定部１３と、画像合成部１４と、評価値算出部１５と、帰還部１６と、画像生成部１７と、サンプルパターン１８と、を備える。以下、画像生成装置１０の各機能について説明する前に、電子的な化粧の付与について説明する。
【００４２】
顔画像に付与される化粧は、例えば「アイシャドウ」、「アイラッシュ」、「アイライン」、「アイブラウ」、「ファンデーション」、「チーク」、「リップ」、「コントア」、及び「美肌」等の様々な化粧項目の足し合わせにより表される。すなわち、これらの各化粧項目は、入力される顔画像に合成される合成項目の一具体例である。これらの各化粧項目のうち「美肌」以外の各化粧項目の付与は、化粧付与前の顔画像における各化粧に相当する領域に、化粧を示す色を所定の濃さで加減算することによって実現される。すなわち、「美肌」以外の各化粧項目は、化粧が付与される領域と、当該領域に加減算される化粧の色と、化粧の濃さによって構成される。言い換えると、各化粧項目ｉ（ｉは「アイシャドウ」、「アイラッシュ」、・・・等を示す序数）に含まれる様々なパターンｍｉは、以下の式（１）によって表される。ここで、ｆｉは化粧を施す領域を示すマスク画像を示し、ｃｉはマスクに対応する色を示し、βｉは化粧の濃さを示す。なお、パターンの画素数が例えばＭ×Ｎ（Ｍ，Ｎは整数）である場合、本実施形態において、ｍはＭＮ×３の行列であり、ｆはＭＮ次元の列ベクトルであり、ｃは３次元の列ベクトルであり、βは定数である。これらの領域及び色は、パターンｍｉを構成する構成要素の一具体例であるが、構成要素はこれらに限定されない。
【数１】
2019221293.tif 000003
【００４３】
他方、化粧項目のうち「美肌」の付与は、化粧付与前の顔画像の肌領域に平滑フィルタをかけて肌領域を平滑化した平滑画像を、化粧付与前の顔画像に所定の割合で加算することによって実現される。すなわち、「美肌」を施した後の美肌画像ｇｓｋｉｎは、下記式（２）によって表される。ここで、ｇｂｅｆｏｒｅは「美肌」を施す前の画像を示し、ｇｓｍｏｏｔｈは肌領域に平滑フィルタをかけた平滑画像を示し、αは「美肌」の効果のかけ具合を示す。なお、本実施形態において、ｇはＭＮ×３の行列であり、αは定数である。また、平滑フィルタは、例えばバイラテラルフィルタであってよい。
【数２】
2019221293.tif 000004
【００４４】
これらの各化粧項目を足し合わせることにより、以下の式（３）によって表される化粧付与画像ｇａｆｔｅｒが得られる。
【数３】
2019221293.tif 000005
【００４５】
ここで、本実施形態においては、「美肌」以外の各化粧項目について、領域及び色の少なくとも一方が互いに異なる複数のパターンが生成され、サンプルパターン１８として画像生成装置１０の記憶部に格納されている。例えば、「チーク」であれば、チークが付与される領域やチークの色が異なる、数個〜数十個の「チーク」のサンプルパターンが格納されている。以上の前提を踏まえ、画像生成装置１０の各機能について説明する。
【００４６】
学習部１１は、複数の顔画像データと、当該複数の顔画像データにそれぞれ対応付けられた評価値データとを含むデータセットを学習用データとして、新たな顔画像データが入力された場合に、当該新たな顔画像データの評価値を出力するように評価モデル２０を学習させる。評価モデル２０の学習に用いられる顔画像データＤ１及び評価値データＤ２は、データベースＤＢに初期データセットとして記憶されているものであってよい。
【００４７】
本実施形態において、顔画像データＤ１は、魅力度が互いに異なる複数の人々の顔画像のデータを含む。なお、複数の顔画像間において、顔の位置合わせ及び正規化が予めなされているものとする。評価値データＤ２は、顔画像データＤ１に含まれる顔画像のそれぞれについて、例えば所定の数の評価者により１から５までの５段階で評価された顔の魅力度の平均値であってもよい。このように、データベースＤＢには、ある顔画像データＤ１とその魅力度を示す評価値データＤ２の組み合わせが多数格納されている。
【００４８】
パラメータ表現部１２は、記憶部に格納された上述のサンプルパターン１８に基づいて、各化粧項目をパラメータにより表現する。具体的に、パラメータ表現部１２は、化粧項目ごとに、マスク及び色のそれぞれについてサンプルパターン１８の画像データに主成分分析を施すことにより、各化粧項目を主成分ベクトルに基づいたパラメータにより表現する。
【００４９】
図４Ａ及び図４Ｂは、ある化粧項目における複数のサンプルパターンの画像データ分布のイメージを示す図である。なお、各サンプルパターンの画素数が例えばＭ×Ｎ（Ｍ，Ｎは整数）である場合、各サンプルパターンはＭ×Ｎ次元空間における１点として表現されるが、ここでは簡単のため２次元空間により示されている。
【００５０】
図４Ａに示される複数（同図においては数十個）のサンプルパターンの各画像データについて主成分分析を施すことにより、これらの各画像データは、新たな軸である主成分ベクトル（図４Ｂにおいては、第１主成分ベクトル及び第２主成分ベクトル）に基づいて表現される。当該主成分ベクトルは、データの分散が大きい（すなわち、データの説明力が高い）順に割り当てられる。当該主成分分析により、「美肌」以外の各化粧項目のマスク及び色は、それぞれ下記式（４）及び式（５）により表される。ここで、ｆｉ＿ｍｅａｎ，ｃｉ＿ｍｅａｎはそれぞれ化粧項目ｉにおける複数のサンプルパターン間のマスク及び色の平均を示し、ｘｉｊ，ｙｉｊはそれぞれ化粧項目ｉにおけるマスク及び色を構成する第ｊ主成分（第１主成分、第２主成分、・・・）を示し、ｋｉｊ，ｌｉｊはそれぞれ各主成分ベクトルの係数を示す。なお、本実施形態において、ｘはＭＮ次元の列ベクトルであり、ｙは３次元の列ベクトルであり、ｋ及びｌは定数である。
【数４】
2019221293.tif 000006
【数５】
2019221293.tif 000007
【００５１】
本実施形態では、当該主成分ベクトルの係数ｋｉｊ，ｌｉｊを、「美肌」以外の各化粧項目のパラメータとする。このように、上記式（３）〜式（５）から、「美肌」を含む各化粧項目は４つのパラメータ（α，βｉ，ｋｉｊ，ｌｉｊ）により表現される。
【００５２】
範囲決定部１３は、複数のサンプルパターンの画像データの分散に基づいて、各パラメータが取り得る範囲を決定する。すなわち、例えば肌の色はより白い方が魅力度が上がると一般的に考えられている一方、過度に白ければ不自然な顔となり、魅力度が下がるといったように、化粧には人が自然だと感じる所定の範囲がある。従って、範囲決定部１３は、顔画像データに付与される化粧が自然な範囲に収まるように、各パラメータが取り得る範囲に制限を設ける。例えば、「美肌」の効果のかけ具合を示すαは［０，１］の範囲に制限する。「美肌」以外の化粧項目を規定するｋｉｊ，ｌｉｊは、これらの各々の平均をμｉｊ、標準偏差をσｉｊとすると、［μｉｊ−ｍｉσｉｊ，μｉｊ＋ｍｉσｉｊ］の範囲に制限する。これにより、各化粧が平均から所定の範囲以内に収まる。また、化粧の濃さを示すβｉは、所定の範囲に制限する。なお、ｍｉ及びβｉは、例えばユーザが自然だと感じる範囲に収まるようにユーザにより調整されてもよい。
【００５３】
このように、各化粧項目に主成分分析を施した後にパラメータの範囲を決定することにより、画像生成装置１０により付与される化粧の範囲が、図４Ａに示される破線領域から図４Ｂに示される破線領域に狭められる。言い換えると、付与される化粧項目の範囲が、予め生成されたサンプルパターン１８が存在する領域により適した範囲に制限されるため、不自然な化粧の付与を抑制することができる。
【００５４】
画像合成部１４は、ユーザ端末３０から入力された新たな顔画像データに、各化粧項目を合成し、化粧付与画像を得る。なお、化粧付与画像は、合成画像の一具体例である。合成される各化粧項目は、上述のとおりパラメータ表現部１２によりパラメータ表現され、かつ範囲決定部１３によりパラメータの取り得る範囲が制限されている。
【００５５】
評価値算出部１５は、学習部１１により学習された評価モデル２０に、画像合成部１４により得られた化粧付与画像を入力し、当該化粧付与画像の魅力度（すなわち、評価値データ）を算出する。
【００５６】
帰還部１６は、評価値算出部１５により算出された評価値が最適化（本実施形態においては、最大化）されるように、各化粧項目の１又は複数のパラメータを更新する。具体的には、例えば、誤差逆伝搬法等を用いて評価値の変化に対する各パラメータの勾配を求め、勾配降下法等を用いてパラメータを当該勾配方向に変化させる。なお、パラメータを更新する際に、範囲決定部１３において定められた範囲の上限値又は下限値を超える場合は、当該上限値又は下限値をパラメータの値としてもよい。
【００５７】
図５は、各パラメータを更新することにより評価値を最適化するステップを示す図である。なお、同図においては各化粧項目のうち「美肌」及び「チーク」が例として示されているが、「美肌」及び「チーク」以外の各化粧項目については「チーク」と同様であるため、詳細な説明を省略する。同図に示されるように、「美肌」の効果のかけ具合を示すパラメータαと、「美肌」以外の各化粧項目のマスク及び色の各係数を示すｋｉｊ，ｌｉｊ（例えば、「チーク」の場合ｋｃｈｅｅｋｊ，ｌｃｈｅｅｋｊ）と、「美肌」以外の各化粧項目の濃さを示すβｉ（例えば、「チーク」の場合βｃｈｅｅｋ）から得られた化粧付与画像を評価モデル２０に入力し、評価値を得る。そして、得られた評価値が最適化されるまで、これらの４つのパラメータの更新と評価値の算出が繰り返される。
【００５８】
なお、パラメータの更新において、帰還部１６は、各化粧項目のうちユーザにより選択された一部の化粧項目のパラメータを固定し、残りの化粧項目のパラメータを更新してもよい。例えばユーザがあるチークを所有している場合には、画像生成装置１０における化粧項目のうちチークのパラメータを、ユーザが所有するチークに合わせて固定し、他の化粧項目のパラメータを更新してもよい。これにより、ユーザが所有するチークを含みつつ、他の化粧項目によって評価値が最適化された顔画像を生成することができる。
【００５９】
画像生成部１７は、評価値が最適化された際のパラメータに基づいて合成された化粧付与画像を生成し、ユーザ端末３０に出力する。
【００６０】
図６Ａは、本実施形態に係る画像生成装置で実行される前処理のフローチャートである。ここで、前処理とは、図６Ｂに示される画像生成処理に先立って行われる処理である。はじめに、パラメータ表現部１２は、各化粧項目の複数のサンプルパターンに基づいて、これらのサンプルパターンの画像データに主成分分析を施すことにより、各化粧項目をパラメータにより表現する（Ｓ１０）。続いて、範囲決定部１３は、これらのサンプルパターンの画像データの分散に基づいて、各パラメータがとり得る範囲を決定する（Ｓ１１）。以上により、前処理が終了する。なお、前処理は画像生成処理に先立って一度行われていればよく、画像生成処理のたびに繰り返されなくてもよい。
【００６１】
図６Ｂは、本実施形態に係る画像生成装置で実行される画像生成処理のフローチャートである。なお、当該画像生成処理の開始前に、上述の前処理が終了しているものとする。まず、画像合成部１４は、ユーザ端末３０から入力された新たな顔画像と、パラメータ表現された各化粧項目とを合成し、化粧付与画像を取得する（Ｓ２０）。続いて、評価値算出部１５は、評価モデル２０を用いて、得られた化粧付与画像の評価値を算出する（Ｓ２１）。
【００６２】
そして、評価値が最適化されていない場合（Ｓ２２：Ｎｏ）、帰還部１６は、１つ又は複数のパラメータを更新し（Ｓ２４）、ステップＳ２０に戻る。他方、評価値が最適化された場合（Ｓ２２：Ｙｅｓ）、画像生成部１７は化粧付与画像を生成し、ユーザ端末３０に出力する（Ｓ２３）。以上により、画像生成処理が終了する。
【００６３】
上述のとおり、画像生成装置１０では、各化粧項目に含まれる複数のサンプルパターンを構成する構成要素に主成分分析が施されることにより、各構成要素が主成分ベクトルに基づいたパラメータによって表現される。これにより、画像生成装置１０では、主成分ベクトルの方向（すなわち、データの分散が大きい方向）に沿ってパラメータが更新されるため、主成分分析を施さずに化粧項目を付与する方法に比べてadversarial examplesを回避しつつ、評価値が最適化された画像を生成することができる。また、画像生成装置１０では、範囲決定部１３によりパラメータの取り得る範囲が制限されることにより、人の顔画像として不自然な画像が生成されることが抑制される。
【００６４】
図７は、ある同一人物において、人により実際に化粧が付与された顔の画像（比較画像）と、画像生成装置１０により化粧が電子的に付与された化粧付与画像（提案画像）の魅力度に関し、５段階の主観評価実験を行った結果を示した図である。具体的に、同図に示されるグラフは、紙面の左から順に「比較画像の方がとても魅力的／比較画像の方が魅力的／同じくらい／提案画像の方が魅力的／提案画像の方がとても魅力的」と答えた割合（％）を示す。
【００６５】
同図に示されるように、提案画像の方がとても魅力的又は魅力的であると答えた割合が、比較画像の方がとても魅力的又は魅力的と答えた割合より高いことが分かる。このことから、本実施形態によれば、人にとって自然であり、かつ人により実際に付与された化粧よりも魅力度が高い化粧を電子的に付与し得ることが示唆される。
【００６６】
なお、例えば化粧においては、仕事用、就職活動用又はプライベート用等、状況に応じて適した化粧が異なることも考えられる。この点、本実施形態では、評価モデル２０の学習に用いる学習用データセットを適宜変更することにより、様々な評価軸による評価値を算出し、様々な化粧付与画像を生成することができる。具体的には、例えば仕事用の化粧として最適な化粧付与画像を生成したい場合は、仕事用の化粧としての適性度が評価値として対応付けられた顔画像データを学習用のデータセットとすればよい。これにより、画像生成装置１０は、仕事用の化粧としての適性度が高い顔画像を生成することができる。
【００６７】
また、本実施形態においては、人の顔画像に付与される要素として化粧を例として説明したが、人の顔画像に付与される要素は化粧に限られず、例えばメガネやアクセサリー等の装飾品であってもよい。さらに、本発明を応用することにより、人の顔画像に限られず他の種々の画像に基づいて、当該画像の評価値を向上させた画像を生成することができる。
【００６８】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【図１】
2019221293.tif 000008
【図２】
2019221293.tif 000009
【図３】
2019221293.tif 000010
【図４Ａ】
2019221293.tif 000011
【図４Ｂ】
2019221293.tif 000012
【図５】
2019221293.tif 000013
【図６Ａ】
2019221293.tif 000014
【図６Ｂ】
2019221293.tif 000015
【図７】
2019221293.tif 000016
【国際調査報告】
2019221293.tif 000017
2019221293.tif 000018
2019221293.tif 000019