(57)【要約】      （修正有）【課題】個性的な顔か否かの判定を支援する顔画像判定システムを提供する。【解決手段】顔画像判定システムにおいて、顔画像判定装置１は、顔画像の複数の評価指標の評価値を含む学習データを用いて学習することで、入力された人物の顔画像から、この人物の顔の複数の評価値を出力する学習器１０１と、学習器１０１から出力された複数の評価値を表示装置に表示させる表示処理部１４と、を備える。表示処理部１４は、複数の人物の顔画像の評価値と、判定対象の人物の顔画像の評価値とをマッピング表示する。【選択図】図１
2020197844.tif 000002
【特許請求の範囲】
【請求項１】
顔画像及び前記顔画像の複数の評価指標の評価値を含む学習データを用いて学習することで、入力された人物の顔画像から、この人物の顔の複数の評価値を出力する学習器と、
前記学習器から出力された複数の評価値を表示装置に表示させる表示処理部と、
を備え、
前記表示処理部は、複数の人物の顔画像の評価値と、判定対象の人物の顔画像の評価値とをマッピング表示することを特徴とする顔画像判定システム。
【請求項２】
前記表示処理部は、評価指標の選択を受け付けると、選択された評価指標の評価値をマッピング表示することを特徴とする請求項１に記載の顔画像判定システム。
【請求項３】
前記複数の人物の顔画像及び前記判定対象の人物の顔画像を教師なし学習によって分類する分類部をさらに備え、
前記表示処理部は、前記学習器から出力された評価値と、前記分類部による分類結果とを前記表示装置に切り替え可能に表示することを特徴とする請求項１又は２に記載の顔画像判定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像判定システムに関する。
【背景技術】
【０００２】
近年、ドラマや映画では、ハンサムな俳優、美麗な女優だけでなく、個性のある容姿を持った俳優・女優の需要が高まっている。芸能界では、スカウトやオーディションで新人を発掘するケースが多いが、スカウトマンや審査員の主観で判断するため、既に人気のある顔立ちや、ハンサム・美麗の基準に基づいた同じような顔立ちの人を無難に選んでしまいがちであった。
【０００３】
個性的な顔か否かを判断するための一定の基準は無く、また、基準から外れているからこそ個性的となる。スカウトマンや審査員の主観に頼る従来の手法では、個性的な顔の人を探し出すことが困難であった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６４２７９７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、個性的な顔か否かの判定を支援する顔画像判定システムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の顔画像判定システムは、顔画像及び前記顔画像の複数の評価指標の評価値を含む学習データを用いて学習することで、入力された人物の顔画像から、この人物の顔の複数の評価値を出力する学習器と、前記学習器から出力された複数の評価値を表示装置に表示させる表示処理部と、を備え、前記表示処理部は、複数の人物の顔画像の評価値と、判定対象の人物の顔画像の評価値とをマッピング表示するものである。
【０００７】
本発明の一態様において、前記表示処理部は、評価指標の選択を受け付けると、選択された評価指標の評価値をマッピング表示する。
【０００８】
本発明の一態様において、前記複数の人物の顔画像及び前記判定対象の人物の顔画像を教師なし学習によって分類する分類部をさらに備え、前記表示処理部は、前記学習器から出力された評価値と、前記分類部による分類結果とを前記表示装置に切り替え可能に表示する。
【発明の効果】
【０００９】
本発明によれば、個性的な顔か否かの判定を支援できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る顔画像判定システムの概略構成図である。
【図２】学習器の概略構成図である。
【図３】判定結果表示画面の一例を示す図である。
【図４】判定結果表示画面の一例を示す図である。
【図５】判定結果表示画面の一例を示す図である。
【図６】分類結果表示画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１２】
図１に示すように、本発明の実施形態に係る顔画像判定システムは、顔画像判定装置１と、表示装置２とを備え、判定対象の顔画像を受け付け、顔画像内の顔の美形度やコミカル度などを判定し、判定結果を表示する。
【００１３】
顔画像判定装置１は、例えばＣＰＵ、通信部、記憶部Ｍ等を備えたコンピュータにより構成されている。記憶部Ｍは、例えばＲＡＭ、ＲＯＭ、ハードディスク等を有する。記憶部Ｍに格納された判定プログラムが実行されることで、画像取得部１２、判定部１３及び表示処理部１４等の機能が実現され、画像データ格納領域１０３が記憶部Ｍに確保される。各部による処理については後述する。
【００１４】
記憶部Ｍには、学習器１０１が記憶される。学習器１０１は、各ユニット（ニューロン）に関する重み及びバイアスなどの各パラメータ、並びに、入力データに対して処理を行うための処理実行プログラムである。記憶部Ｍに学習器１０１が記憶されるとは、学習器１０１に関する各種パラメータと処理実行プログラムが記憶部Ｍに記憶されることを意味する。
【００１５】
学習処理部１１は、記憶部Ｍに格納された学習データ１０２を用いて、学習器１０１の学習処理を実行する。学習データ１０２は、人物の顔画像と、その顔が美形（男前、美麗）であるか、又はコミカルであるかというラベル（教師データ）とを含む。ラベルは、どの程度美形であるか、どの程度コミカルであるかの評価値（点数）であってもよい。顔画像とラベルとを組み合わせた学習データ１０２は、多数準備される。例えば、１０，０００人分の美形な顔画像と、１０，０００人分のコミカルな顔画像とが学習データ１０２として記憶部Ｍに格納される。
【００１６】
顔画像に対応付けられるラベルは、美形度やコミカル度に限定されない。例えば、動物に例えると、どの系統に属するかを示すラベルであってもよい。例えば、耳や口が大きく、鼻の下が長い顔にはサル顔というラベルが付される。目が大きく、たれ目、鼻筋が通り、おでこが広い顔にはイヌ顔というラベルが付される。小顔かつ丸顔で、額が狭く、ツリ目の顔にはネコ顔というラベルが付される。面長で、鼻が大きく、目が離れている顔にはウマ顔というラベルが付される。また、姉系、弟系や、塩顔度、醤油顔度といった評価値であってもよい。また、髪型やメイクから、１９９０年代、２０００年代といったラベル付けすることもできる。
【００１７】
学習データ１０２の顔画像データを学習器１０１に入力し、学習器１０１の出力データがラベルに適合するように、学習器１０１を学習する。
【００１８】
学習器１０１は、ニューラルネットワークを用いたものとなっている。図２は、学習器１０１の構造を示す図である。学習器１０１の入力データは、複数の入力変数ｘ１、ｘ２、ｘ３・・・を含んでいる。各入力データの入力変数は、顔画像データの各画素の画素値である。
【００１９】
学習器１０１は、それぞれが複数のユニットＵを含む複数の層を含んで構成される。通常、最も入力側に位置する入力層、最も出力側に位置する出力層、及び、入力層と出力層の間に設けられる中間層を含んで構成される。図２の例では、中間層は１層となっているが、中間層は複数あってもよい。
【００２０】
各入力変数は、入力層の各ユニットＵに入力される。各ユニットＵにおいては、各入力変数に対する重みｗ１、ｗ２、ｗ３・・・、及びバイアスｂが定義されている。各入力変数と対応する重みが掛け合わされた値の合計にバイアスを加算した値が当該ユニットＵの入力ｕとなる。例えば、入力ｕは以下の式で表すことができる。
ｕ＝ｘ１×ｗ１＋ｘ２×ｗ２＋・・・＋ｘｎ×ｗｎ＋ｂ
【００２１】
各ユニットＵは、入力ｕに対する、活性化関数と呼ばれる関数ｆの出力ｆ（ｕ）を出力する。活性化関数としては、例えばシグモイド関数、ランプ関数、あるいはステップ関数などを利用することができる。入力層の各ユニットＵからの出力は、中間層の各ユニットに入力される。すなわち、入力層の各ユニットＵと中間層の各ユニットは全結合される。
【００２２】
中間層の各ユニットは、入力層の各ユニットＵの出力を入力として、上記と同様の処理を行う。すなわち、中間層の各ユニットには、入力層の各ユニットＵに対する重みとバイアスが設定されている。中間層の各ユニットからの出力は、出力層の各ユニットに入力される。すなわち、中間層の各ユニットと出力層の各ユニットも全結合される。
【００２３】
また、中間層が複数ある場合の入力と出力は、出力側に位置する中間層の各ユニットは、入力側に位置する中間層の各ユニットの出力を入力として、上記と同様の処理を行う。すなわち、出力側に位置する中間層の各ユニットには、入力側に位置する中間層の各ユニットに対する重みとバイアスが設定されている。すなわち、入力側に位置する中間層の各ユニットと出力側に位置する中間層の各ユニットも全結合される。
【００２４】
出力層の各ユニットも、中間層の各ユニットの出力を入力として、上記と同様の処理を行う。すなわち、出力層の各ユニットには、中間層の各ユニットに対する重みとバイアスが設定されている。
【００２５】
出力層の各ユニットの出力が学習器１０１の出力データとなる。出力データに含まれる出力変数ｙ１、ｙ２、ｙ３・・・は、美形度、コミカル度、動物顔度（サル顔度、イヌ顔度、・・・）等の顔の評価値を含む画像判定結果である。
【００２６】
学習処理部１１は、顔画像データに対する出力データにおいて、出力変数の値が、ラベルの情報に近付くように、各層の各ユニットの重み及びバイアスを調整する。
【００２７】
画像取得部１２は、判定対象の人物の顔画像データを取得し、記憶部Ｍの画像データ格納領域１０３に格納する。
【００２８】
判定部１３は、十分に学習された学習器１０１に対して、判定対象の顔画像データを入力データとして入力し、学習器１０１から出力される画像判定結果を取得する。表示処理部１４は、画像判定結果を、液晶ディスプレイ等の表示装置２に表示させる。
【００２９】
例えば、この顔画像判定システムを新人俳優のオーディションに用いる場合、事前に、比較対象となる複数の既存の俳優の顔画像を学習器１０１に入力し、判定結果を求め、記憶部Ｍに格納しておく。そして、オーディションに応募してきた候補者（判定対象）の顔画像を学習器１０１に入力し、判定結果を求める。
【００３０】
図３は、画像判定結果の表示画面の一例を示す。候補者Ａの顔の美形度やコミカル度が、既存の俳優の美形度やコミカル度と共にマッピングして表示される。候補者Ａの美形度及びコミカル度のマッピング位置が、他の俳優のマッピング位置の集合と離れている場合、既存の俳優と異なる個性的な顔をしていると推定される。このようにして、個性的な顔をした候補者を選ぶことが可能となる。
【００３１】
図４に示すように、美形度やコミカル度それぞれの分布を表示してもよい。それぞれの評価指標について、判定対象の候補者が全体のどの位置にあるかを視覚的に把握できる。視覚的に判断することによって、それぞれの集団から代表となる１名を選出して、個性の重ならないグループを作成することもできる。
【００３２】
また、図５に示すように、任意の２種類の評価指標の選択を受け付けると、顔の評価値を２次元平面上にマッピング表示するようにしてもよい。例えば、ユーザが、マウスやタッチパネル等を操作してチェックボックスにチェックを付けると、その評価指標が選択される。
【００３３】
図４に示す評価指標毎の分布と、図３、図５に示すマップは、切り替えて表示してもよいし、同一画面に表示してもよい。
【００３４】
判定部１３は、既存の俳優の顔画像や候補者の顔画像から、人種、年齢、性別等の情報を推定し、推定した情報を、学習器１０１から出力された判定結果と共に記憶部Ｍに格納してもよい。人種、年齢、性別等が候補者と同じ既存の俳優に絞り込んで、顔の評価値をマッピング表示することが可能となる。
【００３５】
顔画像判定装置１は、候補者の顔画像と、既存の多数の俳優の顔画像とを教師なし学習によって分類する分類部（図示せず。）をさらに備えていてもよい。教師なし学習として、例えば、異なる性質のものが混ざり合った集団から、互いに似た性質を持つものを集め、クラスターを作るクラスター分析を用いることができる。表示処理部１４は、図６に示すように、分類結果を２次元平面上にマッピングする。例えば、集団から外れている点にカーソルを合わせた際に、それが候補者であることがわかるように表示される。
【００３６】
表示処理部１４は、図３〜図５に示すような教師あり学習による判定結果と、図６に示すような教師なし学習による分類結果とを、ユーザからの指示に基づいて切り替えて表示するようにしてもよい。
【００３７】
上記実施形態では、人間の顔を対象にしていたが、アニメや漫画のキャラクターの顔を対象にしてもよい。例えば、既存のアニメや漫画のキャラクターの顔画像と、新しく描かれた漫画のキャラクターの顔画像とを分類してマッピングし、個性的な顔のキャラクターか判定する。これにより、既存のアニメや漫画のパクリと指摘される可能性を抑えることができる。また、週刊誌の連載であれば、作風の偏りをなくすことができ、読者を飽きさせないようにすることができる。
【００３８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００３９】
１  顔画像判定装置
２  表示装置
１１  学習処理部
１２  画像取得部
１３  判定部
１４  表示処理部
１０１  学習器
１０２  学習データ
１０３  画像データ格納領域
【図１】
2020197844.tif 000003
【図２】
2020197844.tif 000004
【図３】
2020197844.tif 000005
【図４】
2020197844.tif 000006
【図５】
2020197844.tif 000007
【図６】
2020197844.tif 000008