(57)【要約】【課題】様々な状況下で種々の見え方をしている識別対象の画像であっても、より高い精度でこの識別対象の状態を識別することが可能な装置を提供する。【解決手段】識別対象に係る画像を用い、識別モデルによって識別対象の状態を識別する本状態識別装置は、入力された識別対象に係る１つの画像に対し、この１つの画像における識別対象の見え方を変更し且つその状態を維持する処理を施し、この処理で生成された画像を含む画像群を生成する画像群生成手段と、識別モデルを構築する際、及び／又は識別モデルを用いて状態を識別する際に、生成された画像群を使用する識別処理手段とを有する。ここで、画像群生成手段は、この１つの画像に対し、見え方に係る少なくとも１つの種別について、この１つの画像における方向とは反対の方向への変更を少なくとも行うことも好ましい。【選択図】図１
2018116589.tif 000002
【特許請求の範囲】
【請求項１】
識別対象に係る画像を用い、識別モデルによって当該識別対象の状態を識別する状態識別装置であって、
入力された当該識別対象に係る１つの画像に対し、当該１つの画像における当該識別対象の見え方を変更し且つ当該状態を維持する処理を施し、当該処理で生成された画像を含む画像群を生成する画像群生成手段と、
当該識別モデルを構築する際、及び／又は当該識別モデルを用いて当該状態を識別する際に、生成された当該画像群を使用する識別処理手段と
を有することを特徴とする状態識別装置。
【請求項２】
前記画像群生成手段は、当該１つの画像に対し、当該見え方に係る少なくとも１つの種別について、当該１つの画像における方向とは反対の方向への変更を少なくとも行うことを特徴とする請求項１に記載の状態識別装置。
【請求項３】
前記画像群生成手段は、当該１つの画像に対し、当該見え方に係る少なくとも１つの種別について、該少なくとも１つの種別に関し予め設定された方向であって識別に好適な方向への変更を少なくとも行うことを特徴とする請求項１又は２に記載の状態識別装置。
【請求項４】
前記画像群生成手段は、当該１つの画像に対し、当該見え方に係る複数の種別のうちの複数について合わせて変更を行うことを特徴とする請求項１から３のいずれか１項に記載の状態識別装置。
【請求項５】
前記画像群生成手段は、当該１つの画像に対し、当該見え方に係る少なくとも１つの種別について、該少なくとも１つの種別に関し予め設定された方向への変更を行い、当該方向によって特徴付けられる当該識別モデルを構築するための画像群を生成し、
前記識別処理手段は、生成された当該画像群を使用して当該識別モデルを構築する
ことを特徴とする請求項１から４のいずれか１項に記載の状態識別装置。
【請求項６】
前記画像群生成手段は、当該１つの画像に対し、当該見え方に係る少なくとも１つの種別について、該少なくとも１つの種別に関しとり得る全ての方向への変更を行い、該少なくとも１つの種別についての方向毎の識別結果のばらつきが抑制された当該識別モデルを構築するための画像群を生成し、
前記識別処理手段は、生成された当該画像群を使用して当該識別モデルを構築する
ことを特徴とする請求項１から４のいずれか１項に記載の状態識別装置。
【請求項７】
前記画像群生成手段は、正解として１つの状態が対応付けられた１つの画像に対し、当該見え方に係る少なくとも１つの種別について、当該１つの状態に対し予め設定された変更数だけの変更を行い、所定のサンプル数の当該画像群を生成することを特徴とする請求項１から６のいずれか１項に記載の状態識別装置。
【請求項８】
前記画像群生成手段は、当該１つの状態が対応付けられた画像のサンプル数が、他の状態が対応付けられた画像のサンプル数よりも小さい場合、当該１つの状態が対応付けられた画像について、当該他の状態が対応付けられた画像についてよりも大きい変更数だけの変更を行うことを特徴とする請求項７に記載の状態識別装置。
【請求項９】
前記識別処理手段は、当該識別モデルを構築する際、及び当該識別モデルを用いて当該状態を識別する際に、生成された当該画像群を使用し、
前記画像群生成手段は、当該状態の識別の際に使用される画像群を生成する場合、入力された１つの画像に対し、当該識別対象の見え方に係るいずれの種別についても、当該識別モデル構築の際に使用された画像群を生成する際に行われた当該種別についての変更と同じ方向への変更を行い、一方、該画像群を生成する際に当該種別についての変更が行われなかった場合には変更を行わない
ことを特徴とする請求項１から８のいずれか１項に記載の状態識別装置。
【請求項１０】
前記識別処理手段は、当該識別モデルを用いて、生成された当該画像群に含まれる画像の各々について当該状態を決定し、当該画像が変更前の元画像か否かに応じて予め設定された重み、及び／又は当該画像における変更された種別に応じて予め設定された重みによって、決定された当該状態の重み付け平均を行い、当該重み付け平均結果を当該状態の識別結果とする
ことを特徴とする請求項１から９のいずれか１項に記載の状態識別装置。
【請求項１１】
前記画像群生成手段は、当該識別対象に係る１つの画像を含む当該画像群を生成することを特徴とする請求項１から１０のいずれか１項に記載の状態識別装置。
【請求項１２】
前記状態識別装置は、入力された当該識別対象に係る１つの画像に対し、当該識別対象に係る画像領域を抽出し、当該画像領域に基づいて当該見え方に係る少なくとも１つの種別における当該種別発生の有無及び／又は度合いを判定する度合い判定手段を更に有し、
前記画像群生成手段は、当該少なくとも１つの種別について、判定された当該有無の状態及び／又は当該度合いを変えることによって変更を行う
ことを特徴とする請求項１から１１のいずれか１項に記載の状態識別装置。
【請求項１３】
前記画像群生成手段は、当該見え方に係る複数の種別として、当該１つの画像における当該識別対象の表れている度合い、当該識別対象の表れている向き若しくは傾き、当該識別対象を遮蔽するものの有無若しくは種類、当該識別対象の明度、当該識別対象の色合い、及び当該識別対象と背景とのコントラストの度合いのうちの少なくとも１つについて変更を行うことを特徴とする請求項１から１２のいずれか１項に記載の状態識別装置。
【請求項１４】
当該識別対象は顔であって、当該状態は顔の表情であり、
前記画像群生成手段は、入力された当該識別対象に係る１つの画像に対し、当該１つの画像における顔の見え方を変更し且つ該顔の表情を維持する処理を施し、
前記識別処理手段は、当該識別モデルを用いて、入力された１つの画像における顔の表情を識別する
ことを特徴とする請求項１から１３のいずれか１項に記載の状態識別装置。
【請求項１５】
識別対象に係る画像を用い、識別モデルによって当該識別対象の状態を識別する状態識別システムであって、
入力された当該識別対象に係る１つの画像に対し、当該１つの画像における当該識別対象の見え方を変更し且つ当該状態を維持する処理を施し、当該処理で生成された画像を含む画像群を生成する画像群生成手段と、
生成された当該画像群によって当該識別モデルを構築する識別モデル構築手段と、
生成された当該画像群を使用し、当該識別モデルによって当該状態を識別する識別処理手段と
を有することを特徴とする状態識別システム。
【請求項１６】
識別対象に係る画像を用い、識別モデルによって当該識別対象の状態を識別する装置に搭載されたコンピュータを機能させる状態識別プログラムであって、
入力された当該識別対象に係る１つの画像に対し、当該１つの画像における当該識別対象の見え方を変更し且つ当該状態を維持する処理を施し、当該処理で生成された画像を含む画像群を生成する画像群生成手段と、
当該識別モデルを構築する際、及び／又は当該識別モデルを用いて当該状態を識別する際に、生成された当該画像群を使用する識別処理手段と
してコンピュータを機能させることを特徴とする状態識別プログラム。
【請求項１７】
識別対象に係る画像を用い、識別モデルによって当該識別対象の状態を識別する装置に搭載されたコンピュータにおいて実施される状態識別方法であって、
入力された当該識別対象に係る１つの画像に対し、当該１つの画像における当該識別対象の見え方を変更し且つ当該状態を維持する処理を施し、当該処理で生成された画像を含む画像群を生成するステップと、
当該識別モデルを構築する際、及び／又は当該識別モデルを用いて当該状態を識別する際に、生成された当該画像群を使用するステップと
を有することを特徴とする状態識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定対象の状態を、当該所定対象に係る画像に基づいて識別する技術に関する。
【背景技術】
【０００２】
従来、所定対象の状態、例えば人間の表情を、この所定対象に関する画像、例えば顔を撮影した写真画像を用いて識別する技術は、種々考案されてきた。
【０００３】
特に、人間の表情認識の分野では、ポジティブ、ネガティブ、ニュートラルの３分類モデルや、Paul Ekman の７分類モデル（ニュートラル、喜び、嫌悪、怒り、サプライズ、悲しみ、恐怖）等を用いて、多くの研究者が表情認識技術の向上に取り組んでいる。
【０００４】
このような取り組みの一例として、特許文献１には、上記の分類モデルに基づく大量の顔画像データの特徴量を学習し、その特徴量に基づいて表情を識別する技術が開示されている。この技術では、特に、意図的に作った顔ではなく自然な顔表情の学習データを効率良く収集し、認識精度の良い識別器を作成することを目的としている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１５０３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載されたような従来技術では、実際の表情認識環境に耐え得る高い識別精度を達成するために、様々な状況下で撮影された、種々の撮影具合の大量の顔画像が、学習データとして必要となってくる。
【０００７】
この学習データが大量に得られず、識別器が現実の様々な状況での種々の撮影具合の顔画像を十分に学習することができない場合、顔の表情を誤って判定するケースも多く発生し、結果として識別精度が低下し、実用に堪えない又は汎用性の低い識別器となってしまう。
【０００８】
例えば、真正面を向いた顔の画像における表情識別では、ある一定の識別精度に達している識別器においても、識別すべき顔画像において、顔の一部が画像範囲（画像枠）からはみ出ていたり、顔が上下左右のいずれかの方に向いていたり、頭部の傾きが大きかったり、帽子やサングラス等の部品が付いていたり、さらには、画像の顔部分の照度（明度）が低すぎたり高すぎたりしている場合、識別精度が顕著に低下してしまうことも少なくない。
【０００９】
また一方で、このような様々な状況での種々の撮影具合の顔画像を、学習データとして大量に準備することは極めて困難なのが実情となっている。その結果、ある顔画像における表情の識別において、当該顔画像の撮影された状況や撮影の具合によっては、表情の識別精度が低いまま処理を行い、表情を誤って識別してしまう事態が数多く発生してしまう。
【００１０】
そこで、本発明は、様々な状況下で種々の見え方をしている識別対象の画像であっても、より高い精度でこの識別対象の状態を識別することが可能な装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明によれば、識別対象に係る画像を用い、識別モデルによって当該識別対象の状態を識別する状態識別装置であって、
入力された当該識別対象に係る１つの画像に対し、当該１つの画像における当該識別対象の見え方を変更し且つ当該状態を維持する処理を施し、当該処理で生成された画像を含む画像群を生成する画像群生成手段と、
当該識別モデルを構築する際、及び／又は当該識別モデルを用いて当該状態を識別する際に、生成された当該画像群を使用する識別処理手段と
を有する状態識別装置が提供される。
【００１２】
この本発明による状態識別装置の一実施形態として、画像群生成手段は、当該１つの画像に対し、当該見え方に係る少なくとも１つの種別について、当該１つの画像における方向とは反対の方向への変更を少なくとも行うことも好ましい。
【００１３】
また、本発明による状態識別装置の他の実施形態として、画像群生成手段は、当該１つの画像に対し、当該見え方に係る少なくとも１つの種別について、この少なくとも１つの種別に関し予め設定された方向であって識別に好適な方向への変更を少なくとも行うことも好ましい。
【００１４】
さらに、本発明による状態識別装置の更なる他の実施形態として、画像群生成手段は、当該１つの画像に対し、当該見え方に係る複数の種別のうちの複数について合わせて変更を行うことも好ましい。
【００１５】
また、本発明による状態識別装置の更なる他の実施形態として、画像群生成手段は、当該１つの画像に対し、当該見え方に係る少なくとも１つの種別について、この少なくとも１つの種別に関し予め設定された方向への変更を行い、当該方向によって特徴付けられる当該識別モデルを構築するための画像群を生成し、
識別処理手段は、生成された当該画像群を使用して当該識別モデルを構築する
ことも好ましい。
【００１６】
さらに、本発明による状態識別装置の更なる他の実施形態として、画像群生成手段は、当該１つの画像に対し、当該見え方に係る少なくとも１つの種別について、この少なくとも１つの種別に関しとり得る全ての方向への変更を行い、この少なくとも１つの種別についての方向毎の識別結果のばらつきが抑制された当該識別モデルを構築するための画像群を生成し、
識別処理手段は、生成された当該画像群を使用して当該識別モデルを構築する
ことも好ましい。
【００１７】
また、本発明による状態識別装置の更なる他の実施形態として、画像群生成手段は、正解として１つの状態が対応付けられた１つの画像に対し、当該見え方に係る少なくとも１つの種別について、当該１つの状態に対し予め設定された変更数だけの変更を行い、所定のサンプル数の当該画像群を生成することも好ましい。
【００１８】
ここで、上記の変更数設定に係る実施形態において、画像群生成手段は、当該１つの状態が対応付けられた画像のサンプル数が、他の状態が対応付けられた画像のサンプル数よりも小さい場合、当該１つの状態が対応付けられた画像について、当該他の状態が対応付けられた画像についてよりも大きい変更数だけの変更を行うことも好ましい。
【００１９】
さらに、本発明による状態識別装置の更なる他の実施形態として、識別処理手段は、当該識別モデルを構築する際、及び当該識別モデルを用いて当該状態を識別する際に、生成された当該画像群を使用し、
画像群生成手段は、当該状態の識別の際に使用される画像群を生成する場合、入力された１つの画像に対し、当該識別対象の見え方に係るいずれの種別についても、当該識別モデル構築の際に使用された画像群を生成する際に行われた当該種別についての変更と同じ方向への変更を行い、一方、この画像群を生成する際に当該種別についての変更が行われなかった場合には変更を行わない
ことも好ましい。
【００２０】
また、本発明による状態識別装置の更なる他の実施形態として、識別処理手段は、当該識別モデルを用いて、生成された当該画像群に含まれる画像の各々について当該状態を決定し、当該画像が変更前の元画像か否かに応じて予め設定された重み、及び／又は当該画像における変更された種別に応じて予め設定された重みによって、決定された当該状態の重み付け平均を行い、当該重み付け平均結果を当該状態の識別結果とすることも好ましい。
【００２１】
さらに、本発明による状態識別装置の更なる他の実施形態として、画像群生成手段は、当該識別対象に係る１つの画像を含む当該画像群を生成することも好ましい。
【００２２】
また、本発明による状態識別装置の更なる他の実施形態として、状態識別装置は、入力された当該識別対象に係る１つの画像に対し、当該識別対象に係る画像領域を抽出し、当該画像領域に基づいて当該見え方に係る少なくとも１つの種別における当該種別発生の有無及び／又は度合いを判定する度合い判定手段を更に有し、
画像群生成手段は、当該少なくとも１つの種別について、判定された当該有無の状態及び／又は当該度合いを変えることによって変更を行う
ことも好ましい。
【００２３】
さらに、本発明による状態識別装置において、具体的に、画像群生成手段は、当該見え方に係る複数の種別として、当該１つの画像における当該識別対象の表れている度合い、当該識別対象の表れている向き若しくは傾き、当該識別対象を遮蔽するものの有無若しくは種類、当該識別対象の明度、当該識別対象の色合い、及び当該識別対象と背景とのコントラストの度合いのうちの少なくとも１つについて変更を行うことも好ましい。
【００２４】
また、本発明による状態識別装置において、具体的に、当該識別対象は顔であって当該状態は顔の表情であり、
画像群生成手段は、入力された当該識別対象に係る１つの画像に対し、当該１つの画像における顔の見え方を変更し且つこの顔の表情を維持する処理を施し、
識別処理手段は、当該識別モデルを用いて、入力された１つの画像における顔の表情を識別する
ことも好ましい。
【００２５】
本発明によれば、また、識別対象に係る画像を用い、識別モデルによって当該識別対象の状態を識別する状態識別システムであって、
入力された当該識別対象に係る１つの画像に対し、当該１つの画像における当該識別対象の見え方を変更し且つ当該状態を維持する処理を施し、当該処理で生成された画像を含む画像群を生成する画像群生成手段と、
生成された当該画像群によって当該識別モデルを構築する識別モデル構築手段と、
生成された当該画像群を使用し、当該識別モデルによって当該状態を識別する識別処理手段と
を有する状態識別システムが提供される。
【００２６】
本発明によれば、さらに、識別対象に係る画像を用い、識別モデルによって当該識別対象の状態を識別する装置に搭載されたコンピュータを機能させる状態識別プログラムであって、
入力された当該識別対象に係る１つの画像に対し、当該１つの画像における当該識別対象の見え方を変更し且つ当該状態を維持する処理を施し、当該処理で生成された画像を含む画像群を生成する画像群生成手段と、
当該識別モデルを構築する際、及び／又は当該識別モデルを用いて当該状態を識別する際に、生成された当該画像群を使用する識別処理手段と
してコンピュータを機能させる状態識別プログラムが提供される。
【００２７】
本発明によれば、さらにまた、識別対象に係る画像を用い、識別モデルによって当該識別対象の状態を識別する装置に搭載されたコンピュータにおいて実施される状態識別方法であって、
入力された当該識別対象に係る１つの画像に対し、当該１つの画像における当該識別対象の見え方を変更し且つ当該状態を維持する処理を施し、当該処理で生成された画像を含む画像群を生成するステップと、
当該識別モデルを構築する際、及び／又は当該識別モデルを用いて当該状態を識別する際に、生成された当該画像群を使用するステップと
を有する状態識別方法が提供される。
【発明の効果】
【００２８】
本発明の状態識別装置、プログラム及び方法によれば、様々な状況下で種々の見え方をしている識別対象の画像であっても、より高い精度でこの識別対象の状態を識別することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明による状態識別装置の一実施形態における機能構成を示す機能ブロック図である。
【図２】本発明による状態識別方法の一実施形態の概略を示すフローチャートである。
【図３】見え方度合判定部での判定に係る見え方種別の例を説明するための顔画像データである。
【図４】本発明に係る変更画像作成・画像群生成処理の一実施形態を示すフローチャートである。
【図５】識別モデル構築部で構築される識別モデルの一実施形態を示す模式図である。
【図６】本発明による状態識別システムの一実施形態を示す模式図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００３１】
［状態識別装置］
図１は、本発明による状態識別装置の一実施形態における機能構成を示す機能ブロック図である。
【００３２】
図１によれば、本実施形態の状態識別装置としてのスマートフォン１は、公知の構成を有するカメラ１０２を内蔵しており、このカメラ１０２を用いて、例えばユーザの顔を撮影してこの顔の写真画像を生成し、生成した写真画像に映ったユーザの顔の表情を識別して、例えばタッチパネル・ディスプレイ（ＴＰ・ＤＰ）１０６に識別結果を表示することができる。また、当然に、このような表情識別対象である顔の写真画像を、外部から通信ネットワーク経由で通信インタフェース部１０１を介して取得し、表情識別処理を行うことも可能である。
【００３３】
さらに、１つの応用例として、スマートフォン１のアプリケーション１２１、例えば対話ＡＩアプリが、この表情の識別結果を利用して、例えば対話しているユーザの感情（発話意図）を理解し、その応答内容を調整したり、当該ユーザとの対話内容をパーソナライズしたりすることも可能になる。
【００３４】
さらに、スマートフォン１は、本実施形態において、表情識別のための表情識別処理部１１４における学習用の（人間の顔の写真）画像を、画像管理サーバ２から通信インタフェース部１０１を介して取得することも好ましい。この際、スマートフォン１は、画像群生成部１１３によって、取得した学習用の画像をベースとして学習に供する学習画像群を生成する。その結果、従来ほど大量の画像サンプルを外部から取り込まずとも、十分な量の学習用画像を準備することができるのである。
【００３５】
このような本発明による状態識別装置としてのスマートフォン１は、識別対象（例えば人間の顔）に係る画像を用い、識別モデルによって識別対象の状態（例えば顔の表情）を識別する装置であって、
（Ａ）入力された識別対象に係る１つの画像に対し、この１つの画像における識別対象（例えば顔）の見え方を変更し且つその状態（例えば表情）を維持する処理を施し、この処理で生成された画像を含む画像群を生成する画像群生成手段（画像群生成部１１３）と、
（Ｂ）識別モデルを構築する際、及び／又は識別モデルを用いて状態（例えば表情）を識別する際に、上記（Ａ）で生成された画像群を使用する識別処理手段（表情識別処理部１１４）と
を有することを特徴としている。
【００３６】
ここで、識別モデルを構築する際には、実用に堪える識別精度を達成するために、通常、学習データとして大量の識別対象に係る画像が必要となる。しかも、識別対象の見え方について互いに異なっている画像も大量に含まれることが好ましい。しかしながら、現実には、種々の見え方をしている識別対象画像を大量に準備することは極めて困難であった。また、識別モデルを用いて状態を識別する際にも、識別対象画像における識別対象の見え方によっては、識別モデルによる状態識別結果がその影響を受け、状態を誤って識別する場合も少なくないのが実情であった。
【００３７】
これに対し、上記構成（Ａ）及び（Ｂ）を備えたスマートフォン１によれば、識別対象の見え方を変更し且つその状態を維持する処理で生成された画像を含む画像群を生成する。これにより、例えば、種々の見え方をしている識別対象に係るより多数の画像である学習用及び／又は識別用の画像群を、確実に準備することも可能となる。その結果、様々な状況下で種々の見え方をしている識別対象の画像であっても、より高い精度でこの識別対象の状態を識別することができるのである。
【００３８】
なお、上記のスマートフォン１に具現された本発明による状態識別装置は、当然に、識別すべき対象の状態が人間の顔の表情である場合にのみ適用されるものではない。本発明によれば、１つの状態を表した画像におけるその見え方によって状態識別結果が影響を受けるような識別対象の状態であっても、より高い精度で識別可能となる。例えば、人間や動物の性別、年齢、人種（種別）や、服装等を識別すべき状態とすることもできる。さらには、家具、日用品や、自動車等の種々の物体認識にも本発明を適用することが可能である。従来、そのような状態識別の結果が、画像での見え方によって大きな誤差を含んでいたり間違ったりしてきたのに対し、本発明によれば、そのような状態をより精度良く識別することができるのである。
【００３９】
さらに、スマートフォン１に具現された本発明による状態識別装置は、当然にスマートフォンに限定されるものではない。例えば、この状態識別装置として、タブレット型コンピュータ、ノート型コンピュータ、パーソナルコンピュータ（ＰＣ）、セットトップボックス（ＳＴＢ）、ロボット、デジタルサイネージ等を採用することもできる。例えば、カメラを内蔵したこれらの装置（端末）において、様々な実環境下においても、ユーザの表情を読み取ることによって、読み取った表情に係る情報に応じた応答を行ったり、読み取った表情に係る情報から先に実施されたユーザに対するアクション等の評価を行ったりすることも可能となる。
【００４０】
［状態識別方法］
図２は、本発明による状態識別方法の一実施形態の概略を示すフローチャートである。ここで、本実施形態において、識別対象は人間の顔であって、識別対象の状態はこの顔の表情となっている。また、図２（Ａ）は、本発明に係る学習画像群を用いた表情識別モデル構築処理（学習処理）のフローを示しており、図２（Ｂ）は、本発明に係る判定画像群を用いた表情識別処理のフローを示している。以下、最初に、図２（Ａ）を用いて表情識別モデル構築処理の概略を説明する。
【００４１】
（Ｓ１０１）学習用画像を取得する。この学習用画像は、この後、学習画像群を生成して学習処理時の画像サンプル数を増加させるための元画像となる。
【００４２】
（Ｓ１０２）取得した学習用画像から顔画像領域を抽出する。
（Ｓ１０３）抽出した顔画像領域において、予め設定された見え方種別毎に、当該見え方種別発生の有無及び／又は度合いを判定する。
【００４３】
ここで、見え方種別としては、例えば、顔が正面を向いている１つの状態、及び顔が正面を向いた状態から見て上下左右の各々の方に向いている４つの状態を含む、顔の向きに係る種別を予め設定することができる。また、この見え方種別における度合いとして、正面向きを基準（ゼロ度）として顔が向いている向きのなす角度としてもよい。なお、この見え方種別については、後に図３を用いて詳細に説明する。
【００４４】
（Ｓ１０４、Ｓ１０５）取得した学習用画像における、見え方種別毎における当該見え方種別発生の有無及び／又は度合いの判定結果に基づいて、変更画像を作成し、当該変更画像を含む学習画像群を生成する。これらの変更画像作成処理及び学習画像群生成処理については、後に図４を用いて詳細に説明する。
（Ｓ１０６）生成した学習画像群を用いて表情識別モデルを構築する。これで、表情識別モデル構築処理が完了する。
【００４５】
次いで、図２（Ｂ）を用いて表情識別処理の概略を説明する。
（Ｓ２０１）識別対象画像を取得する。この識別対象画像は、状態識別の対象であるとともに、この後、判定画像群を生成して状態識別処理時の画像サンプル数を増加させるための元画像となる。
【００４６】
（Ｓ２０２）取得した識別対象画像から顔画像領域を抽出する。
（Ｓ２０３）抽出した顔画像領域において、予め設定された見え方種別毎に、当該見え方種別発生の有無及び／又は度合いを判定する。この見え方種別については、ステップＳ１０３で説明したものと同様とすることができる。いずれにしても、この見え方種別について、後に図３を用いて詳細に説明する。
【００４７】
（Ｓ２０４、Ｓ２０５）取得した識別対象画像における、見え方種別毎における当該見え方種別発生の有無及び／又は度合いの判定結果に基づいて、変更画像を作成し、当該変更画像を含む判定画像群を生成する。これらの変更画像作成処理及び学習画像群生成処理は、ステップＳ１０４及びＳ１０５での処理と同様のものとしたり、互いに関連付けられた連携した処理としたりすることができる。いずれにしても、これらの処理について、後に図４を用いて詳細に説明する。
【００４８】
（Ｓ２０６）生成した判定画像群の各々に対し、生成された表情識別モデルを用いて、その顔の表情についての判定を行う。ここで使用する表情識別モデルは、ステップＳ１０６で構築されたものとすることができる。または、別途、例えば公知の方法で予め生成された表情識別モデルを利用することも可能である。
【００４９】
（Ｓ２０７）ステップＳ２０６での判定結果を総合して、取得した識別対象画像における顔の表情の識別を行う。これで、表情識別処理が完了する。
【００５０】
［装置構成］
次に図１に戻って、以下、本発明による状態識別装置の具体的構成について説明を行う。同図の機能ブロック図に示すように、状態識別装置（表情識別装置）である本実施形態のスマートフォン１は、通信インタフェース部１０１と、カメラ１０２と、画像データベース１０３と、変更画像記憶部１０４と、判定結果記憶部１０５と、タッチパネル・ディスプレイ（ＴＰ・ＤＰ）１０６と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、スマートフォン１のコンピュータを機能させるプログラムを実行することによって、状態識別機能（表情識別機能）を実現させる。
【００５１】
さらに、このプロセッサ・メモリは、機能構成部として、画像管理部１１１と、見え方度合判定部１１２と、画像変更部１１３ａ、学習画像群生成部１１３ｂ及び判定画像群生成部１１３ｃを含む画像群生成部１１３と、識別モデル構築部１１４ａ及び表情判定部１１４ｂを含む表情識別処理部（状態識別処理部）１１４と、アプリケーション１２１と、入出力制御部１２２とを有する。ここで、図１におけるスマートフォン１の機能構成部間を矢印で接続して示した処理の流れは、本発明による状態識別方法（表情識別方法）の一実施形態としても理解される。
【００５２】
通信インタフェース部１０１は、
（ａ）学習画像群生成の元画像となる学習用画像や、表情識別処理部１１４での学習用の大量の画像のデータ、さらには、
（ｂ）判定画像群生成の元画像となる識別対象画像や、表情識別処理部１１４でそのまま識別処理を受ける識別対象画像のデータ
を、例えば外部の画像管理サーバ２からインターネット等の通信ネットワークを介して取得し、画像管理部１１１に出力する。また、この通信インタフェース部１０１を介して、本発明に係る表情識別プログラム（アプリ）や、当該表情識別結果を利用したサービスを提供可能なアプリケーション・プログラム、例えば対話ＡＩアプリ、をダウンロードすることも可能となっている。
【００５３】
カメラ１０２は、例えばユーザの顔を撮影し、識別対象画像としての顔画像データを画像管理部１１１に出力することができる。
【００５４】
画像管理部１１１は、通信インタフェース部１０１やカメラ１０５から上述したような画像データを入力し、画像データベース１０３に保存して管理する。また、ユーザ等による指示や装置内処理からの要請等に応じて、画像群生成の元画像となる学習用画像又は識別対象画像を、見え方度合判定部１１２に出力する。
【００５５】
同じく図１において、見え方度合判定部１１２は、入力された識別対象（例えば顔）に係る１つの画像（学習用画像又は識別対象画像）に対し、識別対象（例えば顔）に係る画像領域を抽出し、この画像領域に基づいて、見え方に係る少なくとも１つの種別における当該種別発生の有無及び／又は度合いを判定する。ここで、種別発生有りを（度合い）＝１とし、種別発生無しを（度合い）＝０と解釈することも可能である。ちなみに、この後、画像群生成部１１３は、当該種別につき、ここで判定された有無の状態及び／又は度合いを変えることによって元画像の変更を行い、変更画像を作成するのである。
【００５６】
なお、これらの画像領域の抽出、及び見え方種別に係る判定は、例えば、画像をスキャンし、画素値が急激に変化するエッジを取り出して識別対象（例えば顔）を検知する公知の方法を用いて実施することができる。また、このような抽出を可能とするオープンソースを利用してもよい。さらには、公知の深層学習（Deep Learning）等の機械学習を用いた抽出手法を利用することも可能である。
【００５７】
図３は、見え方度合判定部１１２での判定に係る見え方種別の例を説明するための顔画像データである。
【００５８】
見え方種別の一例として、図３（Ａ）には、顔が画面からはみ出している画像が示されている。このように、見え方種別として例えば、顔が画面からはみ出していない１つの状態、及び顔が画面の上下左右の各々の辺からはみ出している状態を含む、顔のはみ出しに係る種別を設定することができる。ここで、この見え方種別における度合いとしては、例えば、顔全体の（推定）面積又は画素数に対する、画像の外にはみ出した顔部分の面積又は画素数（(顔全体面積又は画素数)−(画像内に残っている顔部分の面積又は画素数)）の割合としてもよい。
【００５９】
また、見え方種別の他の例として、図３（Ｂ）には、顔の向き・傾きの角度が大きい画像が示されている。このように、見え方種別として例えば、顔が正面を向いている１つの状態、及び顔が正面を向いた状態から見て上下左右の各々の方に向いている状態を含む、顔の向き・傾きに係る種別を設定してもよい。ここで、この見え方種別における度合いとしては、例えば、正面向きを基準（ゼロ度）として顔が向いている向きのなす角度（及び顔の傾き具合を表す傾き角）とすることができる。
【００６０】
なお、顔の向きに係る見え方種別の判定は、例えば、上下左右の各々の方に向いている顔の画像によって、予めこれら４つの向きのパターンを学習した識別モデルを生成し、この識別モデルを用いて顔の向きを判定する手法を利用することにより実施可能である。また、顔の傾きに係る見え方種別の判定についても、同様に傾き具合の異なる複数のパターンを学習した識別モデルを生成し、この識別モデルを用いて顔の傾きを判定する手法を利用することにより実施可能である。
【００６１】
さらに、見え方種別の更なる他の例として、図３（Ｃ）には、顔又は顔付近にサングラス、帽子やマスクといった装着物が付された画像が示されている。このように、見え方種別として例えば、顔又は顔付近に装着物が何ら付されていない１つの状態、並びに顔又は顔付近に眼鏡、サングラス、ゴーグル、帽子、頬かむり、スカーフ、マスク及びその他の装着物の各々が付された状態を含む、装着物付加に係る種別を設定することができる。ここで、この見え方種別における度合いとしては、例えば、顔全体の（推定）面積又は画素数に対する、装着物によって遮蔽された顔部分の面積又は画素数（(顔全体面積又は画素数)−(遮蔽されていない露出した顔部分の面積又は画素数)）の割合としてもよい。
【００６２】
なお、このような装着物付加に係る見え方種別の判定も、例えば、所定の装着物を付された顔の画像によって、予め当該装着物の有無を学習した識別モデルを生成し、この識別モデルを用いて装着物の有無を判定する手法を利用することにより実施可能である。
【００６３】
また、見え方種別の更なる他の例として、図３（Ｄ）には、顔の照度（明度）が高すぎたり低すぎたりする画像が示されている。このように、見え方種別として例えば、顔画像領域の全画素における明度（照度）の平均が所定の基準範囲内である１つの状態、及び顔画像領域の全画素における明度（照度）の平均が所定の基準範囲を超えて高すぎる又は低すぎる状態を含む、顔の照度（明度）に係る種別を設定してもよい。ここで、この見え方種別における度合いとしては、例えば、この照度（明度）の平均値と、照度（明度）基準値との差とすることができる。
【００６４】
なお、当然に、見え方度合判定部１１２での判定に係る見え方種別は、上述した４つに限定されるものではない。そのうちの１つ、２つ又は３つであってもよく、また、他の見え方種別を含んでいてもよい。ここで、他の見え方種別としては、例えば、顔画像領域の全画素における色（彩度）の平均に係る見え方種別、顔画像における顔画像領域と背景領域との明度／彩度のコントラストに係る見え方種別や、顔部分のサイズ（例えば、画像全体に対する顔部分の面積又は画素数の割合）を挙げることができる。
【００６５】
すなわち、見え方種別の例をまとめると、１つの画像における（ａ）識別対象の表れている度合い、（ｂ）識別対象の表れている向き若しくは傾き、（ｃ）識別対象を遮蔽するものの有無若しくは種類、（ｄ）識別対象の明度、（ｅ）識別対象の色合い、及び（ｆ）識別対象と背景とのコントラストの度合い等のうちの少なくとも１つを、見え方種別として採用することができる。このように、画像中において、識別対象が、その識別対象となる状態を維持したままで判別可能な変化を生じ得るならば、その変化に係る一連の見え方を、見え方種別とすることが可能である。
【００６６】
図１に戻って、画像群生成部１１３の画像変更部１１３ａは、入力された識別対象（例えば顔）に係る１つの画像（学習用画像又は識別対象画像）に対し、この１つの画像における識別対象（例えば顔）の見え方を変更し且つ当該状態を維持する処理を施す。
【００６７】
次いで、画像群生成部１１３の学習画像群生成部１１３ｂ及び判定画像群生成部１１３ｃはそれぞれ、画像変更部１１３ａでの処理で作成された変更画像を含む学習画像群及び判定画像群を生成する。生成された画像群（及び元画像）は、変更画像記憶部１０４に保存され、適宜読み出されて使用されることも好ましい。
【００６８】
ここで、学習画像群に含まれる各画像には、元画像である学習用画像に付与されている「正解情報」がそのまま付加されている。識別対象の状態として顔の表情を識別する場合、この正解情報としては、ポジティブ、ニュートラル、及びネガティブという表情に関する３つのカテゴリを表す値（例えばそれぞれ１、０及び−１）を用いることができる。当然に、他の表情分類モデル、例えばPaul Ekmanの７つのカテゴリ（ニュートラル、喜び、嫌悪、怒り、サプライズ、悲しみ、恐怖）に基づく感情分類モデルや、さらに細分化された感情分類モデル（例えば、Paul Ekmanモデルの７つのカテゴリに対し、さらに、おもしろさ、軽蔑、満足、困惑、興奮、罪悪感、功績に基づく自負心、安心、納得感、喜び、及び恥を追加したモデル）におけるカテゴリを表す値を、正解情報とすることも可能である。
【００６９】
なお、生成される画像群には、入力された１つの画像（元画像）を含めることも好ましい。勿論、元画像を含まない画像群を生成してもよいが、元画像を含めた画像群を用いることによって、より識別精度の高い識別モデルを構築したり、識別モデルによる識別精度を向上させたりすることが可能となる。ここで、以上に説明した画像群生成部１１３における画像変更・画像群生成処理がとり得る種々の実施形態について、以下に説明する。
【００７０】
（形態ａ）入力された１つの画像（学習用画像又は識別対象画像）に対し、少なくとも１つの見え方種別について、この１つの画像における方向とは反対の方向への変更を少なくとも行う。
【００７１】
この形態ａでは、例えば、（図３（Ｂ）で説明した）顔の向き・傾きに係る見え方種別について、入力された１つの画像が左向きの顔の画像である場合、この左向きの顔を右向きに変更する（例えば反転させる）処理を行った変更画像を作成し、この変更画像を少なくとも含む画像群を生成することができる。例えば、左向きの顔の画像（元画像）と、右向きの顔の画像（変更画像）とを含む画像群（学習画像群又は判定画像群）を生成してもよい。ちなみにこのような処理によって、構築する識別モデルの汎用性（画像での見え方に対するロバスト性）を向上させたり、識別モデルの偏向性に対応して識別精度を向上させたりすることも可能となる。
【００７２】
（形態ｂ）入力された１つの画像（学習用画像又は識別対象画像）に対し、少なくとも１つの見え方種別について、当該見え方種別に関し予め設定された方向であって識別に好適な方向への変更を少なくとも行う。
【００７３】
この形態ｂでは、例えば、（図３（Ｄ）で説明した）顔の照度（明度）に係る見え方種別について、入力された１つの画像における顔画像領域の全画素での明度（照度）の平均値が所定の基準明度（照度）範囲を超えて高すぎる場合、この明度（照度）平均値がこの基準明度（照度）範囲の値となるように各画素での明度（照度）を変更する処理を行った変更画像を作成し、この変更画像を少なくとも含む画像群を生成することができる。例えば、明度（照度）の平均値が高すぎる画像（元画像）と、明度（照度）の平均値を所定の基準明度（照度）範囲内に収めた画像（変更画像）とを含む画像群（学習画像群又は判定画像群）を生成してもよい。ちなみにこのような処理によって、より識別性能の高い識別モデルを構築したり、識別モデルによる識別結果の精度を向上させたりすることも可能となる。
【００７４】
（形態ｃ）入力された１つの画像（学習用画像又は識別対象画像）に対し、予め設定された複数の見え方種別のうちの複数について合わせて変更を行う。
【００７５】
この形態ｃでは、例えば、（図３（Ｂ）で説明した）顔の向き・傾きに係る見え方種別と、（図３（Ｄ）で説明した）顔の照度（明度）に係る見え方種別との両種別について、同時に変更の施された変更画像を作成することができる。具体的には、例えば、左向きの顔の画像であって且つ顔画像領域での明度（照度）の平均値が高すぎる画像（元画像）から、右向きの顔の画像であって且つ明度（照度）の平均値が所定の基準明度（照度）範囲内に収まった画像（変更画像）を作成し、画像群（学習画像群又は判定画像群）に含めてもよい。ちなみにこのような処理によって、構築する識別モデルの汎用性（見え方の種々の変化に対するロバスト性）を向上させたり、識別モデルによる識別結果の精度を向上させたりすることも可能となる。
【００７６】
（形態ｄ）入力された１つの画像（学習用画像又は識別対象画像）に対し、少なくとも１つの見え方種別について、当該見え方種別に関し予め設定された方向への変更を行い、当該方向によって特徴付けられる識別モデルを構築するための画像群を生成する。
【００７７】
この形態ｄでは、例えば、（図３（Ｂ）で説明した）顔の向き・傾きに係る見え方種別について、入力された１つの画像が下向きではない顔の画像である場合、この顔を下向きに変更する処理を行った変更画像を作成し、この変更画像を少なくとも含む画像群を生成することができる。すなわち、この場合、下向きの顔の画像を必ず（又は高い頻度で）含む画像群（学習画像群又は判定画像群）を生成することができる。ちなみにこのような処理によって、所定の方向によって特徴付けられる（例えば、特に下向きの顔の表情を精度良く識別可能な）識別モデルを構築したり、所定の方向によって特徴付けられた識別モデルの当該特徴に合わせた画像入力を行うことにより識別精度を向上させたりすることも可能となる。
【００７８】
（形態ｅ）入力された１つの画像（学習用画像又は識別対象画像）に対し、少なくとも１つの見え方種別について、当該見え方種別に関しとり得る全ての方向への変更を行い、当該見え方種別についての方向毎の識別結果のばらつきが抑制された識別モデルを構築するための画像群を生成する。
【００７９】
この形態ｅでは、例えば、（図３（Ｂ）で説明した）顔の向き・傾きに係る見え方種別について、入力された１つの画像が左向きの顔の画像である場合、この左向きの顔を、右向き、上向き、及び下向きに変更する処理を行った変更画像を作成し、元画像とこれらの変更画像とを含む画像群（学習画像群又は判定画像群）を生成することができる。ちなみにこのような処理によって、識別精度のより高い識別モデルを構築し、識別モデルの汎用性（画像での見え方に対するロバスト性）を向上させたり、識別モデルによる識別の精度を向上させたりすることも可能となる。
【００８０】
（形態ｆ）正解として１つの状態が対応付けられた１つの画像（学習用画像）に対し、少なくとも１つの見え方種別について、この１つの状態に対し予め設定された変更数だけの変更を行い、所定のサンプル数の学習画像群を生成する。
【００８１】
この形態ｆによれば、例えば、（正解としての）ある１つの状態が対応付けられた学習用の画像サンプルを、必要とするサンプル数だけ準備することが可能となる。ここで、設定された変更数だけの変更は、例えば、見え方種別における見え方の「度合い」を段階的に変化させ、当該見え方種別について複数（変更数だけ）の互いに異なる度合いを有する変更画像を作成することによって達成される。
【００８２】
ここで、１つの状態が対応付けられた画像のサンプル数が、他の状態が対応付けられた画像のサンプル数よりも小さい場合、当該１つの状態が対応付けられた画像について、当該他の状態が対応付けられた画像についてよりも大きい変更数だけの変更を行うことも好ましい。例えば、顔の表情がポジティブ、ニュートラル及びネガティブのうちのいずれの状態であるかを識別する表情識別モデルを構築する際、正解としてネガティブ状態である表情の顔画像サンプルが、他の状態に比べて比較的に取得し難いとする。この場合、ネガティブ状態の元画像については、他の状態の元画像と比較して、例えば（図３（Ｄ）で説明した）顔の照度（明度）に係る見え方種別において、顔画像領域での明度（照度）の平均値をより細かく変化させ、より多くの変更画像を作成することができる。これにより、表情識別モデルに対し、より偏りの少ない良好な学習を行わせることも可能となる。
【００８３】
（形態ｇ）識別モデルを構築する際、及びこの識別モデルを用いて状態を識別する際の両方で画像群を使用するケースにおいて、状態識別の際に使用される判定画像群を生成する場合、入力された１つの画像（識別対象画像）に対し、識別対象の見え方に係るいずれの種別についても、識別モデル構築の際に使用された学習画像群を生成する際に行われた種別についての変更と同じ方向への変更を行い、一方、学習画像群を生成する際に当該種別についての変更が行われなかった場合には変更を行わない。
【００８４】
この形態ｇによれば、学習画像群と判定画像群とにおいて、いずれの見え方種別についても同方向への変更処理の施された画像が準備可能となる。すなわち、学習画像群と判定画像群との間で、見え方の変更の傾向を揃えることができる。その結果、例えば、所定の方向によって特徴付けられた（例えば、特に下向きの顔の表情を精度良く識別可能な）識別モデルを構築した上で、この識別モデルの当該特徴に合わせた画像入力を行うことによって、識別精度を向上させることも可能となるのである。
【００８５】
図４は、本発明に係る変更画像作成・画像群生成処理の一実施形態を示すフローチャートである。なお、同図に示されたフローは、図２に示されたステップＳ１０４及びＳ２０４と、ステップＳ１０５及びＳ２０５との処理フローに対応している。
【００８６】
（Ｓ３０１）元画像に対する変更処理について、変更すべき見え方種別、並びに当該種別についての変更における方向及び度合いを設定する。
（Ｓ３０２）ここで、どの見え方種別について変更処理を行うかを決定し、設定された見え方種別について順次処理を進める。
【００８７】
なお、設定された見え方種別、及び当該種別についての変更における方向及び度合い（属性）は、見え方種別一覧データベースに登録され、適宜参照されることも好ましい。ちなみに、本実施形態では、顔のはみ出しに係る種別、顔の向き・傾きに係る種別、装着物付加に係る種別、及び顔の照度（明度）に係る種別の４つの見え方種別が設定され、これらの見え方種別について順次処理が実施される。
【００８８】
（Ｓ３０３ａ、Ｓ３０４ａ）顔のはみ出しに係る見え方種別につき、入力画像（元画像）において抽出された顔（画像領域）が、画面からはみ出ているか否かを判定する。ここで、真の判定（はみ出ているとの判定）を行った場合、当該見え方種別については変更処理を行わない。一方、偽の判定を行った場合、顔のはみ出していない入力画像（元画像）に対し、所定の方向に所定量だけ顔（画像領域）を画面からはみ出させるセグメンテーション処理を実施する。
【００８９】
（Ｓ３０３ｂ、Ｓ３０４ｂ、Ｓ３０４ｃ）顔の向き・傾きに係る見え方種別につき、入力画像（元画像）において抽出された顔（画像領域）が、上下左右のいずれかの方向に向いているか否か、及び顔が傾いているか否かを判定する。ここで、いずれについても偽の判定（正面向きであって傾いていないとの判定）を行った場合、所定の方向に所定の角度だけ顔を傾ける（例えば顔画像領域を回転させる）処理を行う。またはこの場合に、当該見え方種別について変更処理を行わないとしてもよい。一方、いずれかについて偽以外の判定を行った場合、顔の向き若しくは傾きを変化させる（例えば反転させる）処理を行ったり、所定の方向に所定の角度だけ顔を傾ける（例えば顔画像領域を回転させる）処理を行ったりする。
【００９０】
（Ｓ３０３ｃ、Ｓ３０４ｄ）装着物付加に係る種別につき、入力画像（元画像）において抽出された顔画像領域又はその付近に、所定の装着物（例えば眼鏡又は帽子）が存在するか否かを判定する。ここで、真の判定（所定装着物が存在するとの判定）を行った場合、当該見え方種別については変更処理を行わない。一方、偽の判定を行った場合、所定の装着物の付されていない入力画像（元画像）に対し、顔画像領域又はその付近における所定の位置に所定の装着物を付加する処理を実施する。
【００９１】
（Ｓ３０３ｄ、Ｓ３０４ｅ、Ｓ３０４ｆ、Ｓ３０４ｇ）顔の照度（明度）に係る種別につき、入力画像（元画像）において抽出された顔画像領域の全画素での明度（照度）の平均値が所定の基準明度（照度）範囲内であるか、当該範囲を超えて高すぎるのか、又は当該範囲を下回って低すぎるのかを判定する。ここで、当該範囲内であるとの判定を行った場合、当該見え方種別については変更処理を行わない。またはこの場合に、所定の明度（照度）変更処理を行ってもよい。一方、明度（照度）平均値が当該範囲を超えて高すぎる又は下回って低すぎるとの判定を行った場合、照度（明度）の高すぎる入力画像（元画像）に対し、明度（照度）の平均値が所定の基準明度（照度）範囲内となるように照度（明度）変更処理を実施する。
【００９２】
（Ｓ３０５）設定した全ての見え方種別について、変更処理の判断を行ったか否か又は変更処理を行ったか否かの判定を行う。ここで、偽の判定を行った場合、変更処理（の判断）を行っていない見え方種別について当該処理を実施すべく、ステップＳ３０２に移行する。なお、１つの入力画像（元画像）に対し、複数の見え方種別についての変更処理を実施することも可能である。この場合、このステップＳ３０５において、すでに１つの見え方種別に関して変更処理の実施された入力画像について、残りの見え方種別に関する変更処理を受けさせる判断をすることになる。
【００９３】
（Ｓ３０６）一方、ステップＳ３０５で真の判定を行った場合、作成された変更画像を含む学習画像群又は判定画像群を生成する。これで、変更画像作成・画像群生成処理が完了する。
【００９４】
なお、当然に、本発明に係る変更画像作成・画像群生成処理は、以上に説明した実施形態に限定されるものではない。例えば、上述した形態ａ〜形態ｇのうちの少なくとも１つを適用し、又は複数を組み合わせて、様々な処理形態を設定することが可能となる。いずれにしても、本発明に係る変更画像作成・画像群生成処理によれば、従来と比較してより少ない元画像をもって、十分な数の画像サンプルを準備することができる。または、従来と比較してより多量の画像サンプルを準備することも可能となるのである。
【００９５】
図１に戻って、表情識別処理部１１４は、本実施形態において、識別モデル構築部１１４ａと、表情判定部１１４ｂとを有する。このうち、識別モデル構築部１１４ａは、生成された学習画像群を用いて学習を行い、（表情）識別モデルを構築する。この際、学習画像群に含まれる各画像サンプルには、（そもそも元画像の有していた）正解情報が付加されている。識別モデル構築部１１４ａでは、この正解情報を参照し照合して学習を進めることになる。
【００９６】
ここで、構築される識別モデルは、例えば、ディープラーニングの一種である畳み込みニューラルネットワーク（ＣＮＮ，Convolutional Neural Network）を含む識別器とすることができる。なお当然に、本発明に係る学習画像群によって構築される識別モデルは、ＣＮＮを含む識別器に限定されず、状態識別の可能な他の機械学習手法に係る識別器としてもよい。さらには、例えば表情を判定する識別モデルとして、顔画像領域における目、鼻、口や、眉毛等の部位の特徴量を生成し、基準画像領域の特徴量との類似度に基づいて表情を判定する方式のものを採用することも可能である。
【００９７】
一方、表情判定部１１４ｂは、生成された判定画像群を構築された識別モデルに入力し、判定画像群に含まれる変更画像、及び識別対象画像（元画像）における識別対象の状態（表情）を判定し、判定状態（例えば表情がポジティブならば１、ニュートラルならば０、及びネガティブならば−１）並びに判定値（スコア）を出力する。なお、識別モデル構築部１１４ａ及び表情判定部１１４ｂのいずれか一方においては、生成された画像群を用いず、通常の学習用の多数の画像や識別対象画像を用いて処理を行うことも可能である。
【００９８】
図５は、識別モデル構築部１１４ａで構築される識別モデルの一実施形態を示す模式図である。
【００９９】
図５に示すように、本実施形態において、識別モデル構築部１１４ａで構築される識別モデルは、順伝播型の一種であるＣＮＮに基づいて構成されている。このＣＮＮは複数の畳み込み層を含んでいるが、この畳み込み層は、動物の視覚野の単純細胞の働きを模しており、画像に対しカーネル（重み付け行列フィルタ）をスライドさせて特徴マップを生成する畳み込み処理を実行する層である。この畳み込み処理によって、画像の解像度を段階的に落としながら、エッジや勾配等の基本的特徴を抽出し、局所的な相関パターンの情報を得ることができる。
【０１００】
また、このＣＮＮにおいて、各畳み込み層がプーリング層（サブサンプリング層）と対になっていて、畳み込み処理とプーリング処理とが繰り返し実施されることも好ましい。ここで、プーリング処理とは、動物の視覚野の複雑細胞の働きを模した処理であり、畳み込み層から出力される特徴マップ（一定領域内の畳み込みフィルタの反応）を最大値や平均値等でまとめ、調整パラメータを減らしつつ、局所的な平行移動不変性を確保する処理である。これにより、画像における多少のズレによる見え方の違いを吸収し、本来の特徴を捉えた適切な特徴量を獲得することができる。
【０１０１】
学習画像群生成部１１３ｂは、このＣＮＮに対し学習を行わせるべく、生成した学習画像群を識別モデル構築部１１４ａに出力するのである。具体的には、多数の元画像から生成された大量の学習画像群に含まれる画像サンプルを入力し、ＣＮＮ内の複数の層のうち最終層を除いたいくつかの層分による多層ネットワークとしての反応を特徴量として出力し、この出力を正解と照合して、ニューロンの結合荷重やネットワーク構成のパラメータ等を生成・更新することにより学習を行う。
【０１０２】
通常、このようなＣＮＮの学習は、例えば一般画像データベースに蓄積された大量の識別対象画像からなる大規模画像データセットを用いて行われる。これに対し、本実施形態では、元画像から学習画像群が生成された上でＣＮＮへの入力が行われるので、通常必要とされる学習用画像のサンプル数に比べ、より少ない画像数（元画像数）で必要とされる大量の画像サンプルを準備することができるのである。
【０１０３】
図１に戻って、表情識別処理部１１４の表情判定部１１４ｂは、生成された判定画像群を構築された識別モデルに入力し、判定画像群に含まれる変更画像、及び識別対象画像（元画像）における識別対象の状態（表情）を判定する。ここで、構築された表情の識別モデルが、学習画像群に付加された正解情報として、例えば、ポジティブ、ニュートラル及びネガティブという表情に関する３つのカテゴリに対応する値（例えば１、０及び−１）で学習されている場合を説明する。この場合、表情判定部１１４ｂにおける各画像に対する判定状態（例えば表情がポジティブならば１、ニュートラルならば０、及びネガティブならば−１）は、この３つのカテゴリのうちで、対応する判定値（スコア）が最も高くなっているカテゴリの状態に決定される。なお、この判定値（スコア）は、対応するカテゴリのコンフィデンス（信頼度）を示す指標となっており、合計値が１となるように規格化されていることも好ましい。
【０１０４】
表情識別処理部１１４は、構築した識別モデルを用いて、生成された判定画像群に含まれる画像の各々についての状態（表情）を判定して、判定状態（例えば表情がポジティブならば１、ニュートラルならば０、及びネガティブならば−１）と、各カテゴリに対応する判定値とを出力し、これらの決定された判定値（スコア）に基づいて、最終的な状態識別を行う。例えば、これらの判定画像群の画像毎に決定された判定値（スコア）の平均値を、状態識別結果とすることも好ましい。
【０１０５】
また、変更態様として、
（ａ）状態を判定された画像が変更前の元画像か否かに応じて、
互いに異なる「重み」を予め設定し、この重みを用いて、判定画像群の画像毎に決定された判定値（スコア）の重み付け平均を行い、この重み付け平均結果を状態識別結果としてもよい。例えば、元画像の判定値に対する重みを、他の画像（変更画像）に対する重みよりも大きい値として重み平均処理を行うことによって、最終的な状態識別結果に、元画像の判定結果をより強く反映させることも可能となる。
【０１０６】
また、更なる変更態様として、
（ｂ）当該画像における変更された種別に応じて、
互いに異なる「重み」を予め設定し、この重みを用いて、判定画像群の画像毎に決定された判定値（スコア）の重み付け平均を行い、この重み付け平均結果を状態識別結果としてもよい。例えば、顔の表情の判定結果が顔の向き・傾きの具合に最も強く影響を受けることが分かったとすると、顔の向き・傾きに係る見え方種別について変更した変更画像の判定値に対する重みを、他の見え方種別について変更した変更画像の判定値に対する重みよりも大きい値として重み平均処理を行ってもよい。これにより、顔の向き・傾き具合の強い影響を考慮した状態識別結果を得ることも可能となる。
【０１０７】
さらに、上記（ａ）及び（ｂ）の両方に基づく「重み」を設定し、この重みによって状態識別結果を導出することも好ましい。また、各画像の判定値に対し、（重み）平均以外の演算処理、例えば多数決、を行って最終的な状態識別結果を決定することも可能である。
【０１０８】
ここで、以上に説明した状態識別結果（及び状態判定結果）は、直接例えばアプリケーション１２１に出力されて使用されてもよく、または、判定結果記憶部１０５に保存され、その後適宜、例えばアプリケーション１２１によって読み出されて使用されることも好ましい。アプリケーション１２１は、取得した状態識別結果（及び状態判定結果）を、例えば所定のアプリケーション・プログラムにおける表情判断データとして利用することができる。さらに、この利用結果（処理結果）や元の状態識別結果（及び状態判定結果）は、入出力制御部１２２を介して、タッチパネル・ディスプレイ１０６に表示されてもよく、通信インタフェース部１０１を通して外部の情報処理装置へ送信されてもよい。
【０１０９】
［状態識別システム］
図６は、本発明による状態識別システムの一実施形態を示す模式図である。
【０１１０】
図６によれば、本実施形態の状態識別システムは、サーバとしての表情識別準備装置３と、本発明による状態識別装置としてのスマートフォン５とを有している。
【０１１１】
このうち、表情識別準備装置３は、見え方度合い判定部３１２と、画像群生成部３１３と、識別モデル構築部３１４ａを含む表情識別処理部３１４とを有する。これらの機能構成部は、図１に示したスマートフォン１における同名の機能構成部と同様の機能・構成を有している。したがって、表情識別準備装置３は、例えば外部の画像管理サーバ２から取得した学習用画像を元画像として学習画像群を生成し、生成した学習画像群を用いて識別モデルを構築し、構築した識別モデル（の情報）を、例えばスマートフォン５に送信することができる。ちなみに、このような構成を有する本実施形態の表情識別準備装置３は、識別モデルに学習させるための学習画像群を生成するので、本発明による状態識別装置として把握することも可能である。
【０１１２】
一方、スマートフォン５は、通信インタフェース部５０１と、カメラ５０２と、タッチパネル・ディスプレイ５０３と、画像管理部５１１と、見え方度合判定部５１２と、画像群生成部５１３と、表情判定部５１４ｂを含む表情識別処理部５１４と、アプリケーション５２１と、入出力制御部５２２とを有する。これらの機能構成部は、図１に示したスマートフォン１における同名の機能構成部と同様の機能・構成を有している。したがって、スマートフォン５は、例えば、表情識別準備装置３から構築された識別モデル（の情報）を受信し、例えばカメラ５０２で撮影された識別対象画像を元画像として判定画像群を生成し、生成した判定画像群によって、取得した識別モデルを用いて状態の識別を行い、この状態識別結果をアプリケーション５２１で利用することができる。
【０１１３】
以上説明したように、本実施形態では、識別モデルの構築（学習）は、表情識別準備装置３が実施している。したがって、スマートフォン５は、画像管理サーバ２等から大量の画像サンプルを取得しなくてもよく、また、処理負担の大きい識別モデル構築処理を実施する必要もない。その結果、スマートフォン５では、装置内で実行する情報処理量、及び装置内に取り込むべき情報量が格段に小さくて済む。言い換えれば、スマートフォン５は、携帯端末レベルのサイズ及び処理能力をもって好適な表情識別を実現可能とするのである。
【０１１４】
なお、更なる他の実施形態として、スマートフォン５は、見え方度合判定部５１２、画像群生成部５１３、及び表情識別処理部５１４のいずれも備えておらず、表情識別準備装置３がこれらの機能構成部を全て備えていて、スマートフォン５は、表情識別準備装置３から状態識別結果（の情報）を取得して利用してもよい。このような実施形態では、表情識別準備装置３が本発明に係る状態識別装置として機能する。
【０１１５】
ちなみに、上述したようなサーバ（表情識別準備装置３）から出力された表情識別結果を享受する端末は当然、スマートフォンに限定されるものではない。例えば、タブレット型コンピュータ、ノート型コンピュータ、ＰＣや、ＩＯＴ（Internet Of Things）環境での使用に適したデバイスとしてのシンクライアント（Thin client）端末であってもよく、さらには、ＳＴＢ、サイネージ、ロボット等、種々の形態の端末を採用することが可能である。
【０１１６】
以上、詳細に説明したように、本発明によれば、識別対象の見え方を変更し且つその状態を維持する処理で生成された画像を含む画像群を生成する。これにより、従来と比較して、種々の見え方をしているより多くの識別対象の画像を確実に準備することが可能となる。その結果、様々な状況下で種々の見え方をしている識別対象の画像であっても、当該状況や当該見え方による影響を調整し、より高い精度でこの識別対象の状態を識別することができるのである。
【０１１７】
具体的に、本発明によれば、例えば、学習用の画像サンプル数が少ないため識別モデルの識別精度が低いままであるという従来の問題に対し、その学習用の画像サンプル数（さらには画像パターン数）を増やすことによって、高い識別精度を有する（さらには状況や見え方に対するロバスト性の高い）識別モデルを構築することが可能となる。また、識別モデルを用いた状態識別の際に、入力する画像数（さらには画像パターン数）を増やし、識別精度を向上させる（さらには状況や見え方に対するロバスト性を高める）ことも可能となるのである。
【０１１８】
ちなみに、本発明に基づいて実現された高精度の表情識別結果を利用することによって、様々なサービスを提供可能なアプリケーション・プログラムを開発することもできる。そのようなアプリとして、例えば、この表情識別結果を利用して、対話している端末ユーザの感情（発話意図）を理解し、その応答内容を調整したり、当該ユーザとの対話内容をパーソナライズしたりすることが可能な対話ＡＩアプリが挙げられる。
【０１１９】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。
【符号の説明】
【０１２０】
１、５  スマートフォン（状態識別装置）
１０１、５０１  通信インタフェース部
１０２、５０２  カメラ
１０３  画像データベース
１０４  変更画像記憶部
１０５  判定結果記憶部
１０６、５０３  タッチパネル・ディスプレイ（ＴＰ・ＤＰ）
１１１、５１１  画像管理部
１１２、３１２、５１２  見え方度合判定部
１１３、３１３、５１３  画像群生成部
１１３ａ  画像変更部
１１３ｂ  学習画像群生成部
１１３ｃ  判定画像群生成部
１１４、３１４、５１４  表情識別処理部
１１４ａ、３１４ａ  識別モデル構築部
１１４ｂ、５１４ｂ  表情判定部
１２１、５２１  アプリケーション
１２２、５２２  入出力制御部
２  画像管理サーバ
３  表情識別準備装置
【図１】
2018116589.tif 000003
【図２】
2018116589.tif 000004
【図３】
2018116589.tif 000005
【図４】
2018116589.tif 000006
【図５】
2018116589.tif 000007
【図６】
2018116589.tif 000008