(57)【要約】【課題】データに対する複数のタスクの結果を１つのモデルから取得することができる。【解決手段】タスク処理部２８は、入力された画像情報を、画像情報を評価する評価用タスクと画像情報からキーポイントを抽出する情報提示用タスクとを行うためのマルチタスクＣＮＮに適用して、入力された画像情報を評価し、かつ、入力された画像情報のキーポイントを抽出する。【選択図】図８
2018055377.tif 000002
【特許請求の範囲】
【請求項１】
入力されたデータに対して、データを評価する評価用タスクと、データから情報を抽出する情報提示用タスクとを含む複数のタスクを処理するためのマルチタスクモデルを用いて、前記評価用タスクと、前記情報提示用タスクとについての出力を得るタスク処理部を含むマルチタスク処理装置。
【請求項２】
前記マルチタスクモデルは、前記評価用タスクと前記情報提示用タスクとで特徴空間を共有し、前記特徴空間の特徴量に基づいて、データを評価する前記評価用タスクを行い、前記特徴空間の特徴量に基づいて、データから情報を抽出する前記情報提示用タスクを行うマルチタスクＤＮＮ（Deep Neural Network）である請求項１記載のマルチタスク処理装置。
【請求項３】
前記複数のタスクのうちの複数または一つの評価用タスクに対して、目標値を与えたときに、前記目標値に近づくように、前記情報提示用タスクの出力を計算し、
前記タスク処理部による前記情報提示用タスクの出力の計算結果と、前記目標値に近づくように計算された、前記情報提示用タスクの出力の計算結果とに基づいて、前記情報提示用タスクの出力に関する情報を提示するフィードバック生成部を更に含む請求項１又は２記載のマルチタスク処理装置。
【請求項４】
前記データは、画像情報である請求項１〜請求項３の何れか１項記載のマルチタスク処理装置。
【請求項５】
前記マルチタスクモデルは、複数層を有するＤＮＮ（Deep Neural Network）であり、
前記フィードバック生成部は、前記タスク処理部によって前記入力されたデータを前記マルチタスクモデルに適用したときの前記複数層のうちの何れか１つの層の出力を修正することにより、前記マルチタスクモデルの前記評価用タスクによって前記目標値であると評価されるときに、前記マルチタスクモデルの前記情報提示用タスクによって抽出される情報を計算する請求項３記載のマルチタスク処理装置。
【請求項６】
データと、前記データに対する複数のタスクの結果とからなる学習データに基づいて、前記複数のタスクで特徴空間を共有するマルチタスクＤＮＮ（Deep Neural Network）であって、かつ、前記特徴空間の特徴量に基づいて、前記複数のタスクを行うマルチタスクＤＮＮを学習する学習部
を含むマルチタスクモデル学習装置。
【請求項７】
前記データは、画像情報である請求項６記載のマルチタスクモデル学習装置。
【請求項８】
コンピュータを、請求項１〜請求項５の何れか１項記載のマルチタスク処理装置、及び請求項６又は７記載のマルチタスクモデル学習装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチタスク処理装置、マルチタスクモデル学習装置、及びプログラムに関する。
【背景技術】
【０００２】
入力データに対して評価を行いフィードバックするシステムにおいて、ルールベースに基づくフィードバックシステムや、比較ベースに基づくフィードバックシステムが知られている。ルールベースに基づくフィードバックシステムでは、評価基準をヒューリスティックに設定してフィードバックが行われる。例えば「○○は△△以内であるべき」といった評価基準が設定される。また、比較ベースに基づくフィードバックシステムでは、プロフェッショナルによる実施例を基準にして差分によって評価が行われる。また、学習ベースに基づくフィードバックシステムも知られている（例えば、非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Pirsiavash,“Assessing the Quality of Actions”,ECCV2014
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ルールベースに基づくフィードバックシステムは、プロフェッショナルによる知識が必要であり、比較ベースに基づくフィードバックシステムは、個人差があることによる差分の定義が困難であるとの問題点がある。
【０００５】
また、上記非特許文献１に記載の学習ベースに基づくフィードバックシステムを、顔領域が映った入力画像に対し表情改善のフィードバックを行うフィードバックシステムに適用させた場合、図２４に示すように、入力画像から目や鼻の位置を表すキーポイントが検出され、キーポイントに応じたスコアが算出される。そして、キーポイントの検出とスコアとの関係に応じてフィードバックに関する値が算出される。
【０００６】
しかし、先にキーポイント抽出を行うことが必要であるため、スコアの算出はキーポイントの検出精度に依存してしまう。また、フィードバックに関する値の算出に使える情報はキーポイントのみであるため、入力画像の情報を反映することができないといった問題がある。
【０００７】
本発明は、上記問題点を解決するために成されたものであり、データに対する複数のタスクの結果を、１つのモデルから取得することができるマルチタスク処理装置及びプログラムを提供することを目的とする。
【０００８】
また、本発明は、複数のタスクの結果を取得するためのマルチタスクモデルを得ることができるマルチタスクモデル学習装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明に係るマルチタスク処理装置は、入力されたデータに対して、データを評価する評価用タスクと、データから情報を抽出する情報提示用タスクとを含む複数のタスクを処理するためのマルチタスクモデルを用いて、前記評価用タスクと、前記情報提示用タスクとについての出力を得るタスク処理部含んで構成されている。
【００１０】
前記マルチタスクモデルは、前記評価用タスクと前記情報提示用タスクとで特徴空間を共有し、前記特徴空間の特徴量に基づいて、データを評価する前記評価用タスクを行い、前記特徴空間の特徴量に基づいて、データから情報を抽出する前記情報提示用タスクを行うマルチタスクＤＮＮ（Deep Neural Network）であるようにすることができる。
【００１１】
第１の発明に係るマルチタスク処理装置は、前記複数のタスクのうちの複数または一つの評価用タスクに対して、目標値を与えたときに、前記目標値に近づくように、前記情報提示用タスクの出力を計算し、前記タスク処理部による前記情報提示用タスクの出力の計算結果と、前記目標値に近づくように計算された、前記情報提示用タスクの出力の計算結果とに基づいて、前記情報提示用タスクの出力に関する情報を提示するフィードバック生成部を更に含むようにすることができる。
【００１２】
前記データは、画像情報であるようにすることができる。
【００１３】
前記マルチタスクモデルは、複数層を有するＤＮＮ（Deep Neural Network）であり、前記フィードバック生成部は、前記タスク処理部によって前記入力されたデータを前記マルチタスクモデルに適用したときの前記複数層のうちの何れか１つの層の出力を修正することにより、前記マルチタスクモデルの前記評価用タスクによって前記目標値であると評価されるときに、前記マルチタスクモデルの前記情報提示用タスクによって抽出される情報を計算するようにすることができる。
【００１４】
第２の発明に係るマルチタスクモデル学習装置は、データと、前記データに対する複数のタスクの結果とからなる学習データに基づいて、前記複数のタスクで特徴空間を共有するマルチタスクＤＮＮ（Deep Neural Network）であって、かつ、前記特徴空間の特徴量に基づいて、前記複数のタスクを行うマルチタスクＤＮＮを学習する学習部を含んで構成されている。
【００１５】
また、前記データは、画像情報であるようにすることができる。
【００１６】
本発明に係るプログラムは、コンピュータを、上記のマルチタスク処理装置、及び上記のマルチタスクモデル学習装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１７】
本発明のマルチタスク処理装置及びプログラムによれば、入力されたデータに対して、データを評価する評価用タスクと、データから情報を抽出する情報提示用タスクとを含む複数のタスクを処理するためのマルチタスクモデルを用いて、評価用タスクと情報提示用タスクとについての出力を得ることにより、データに対する複数のタスクの結果を１つのモデルから取得することができる、という効果が得られる。
【００１８】
本発明のマルチタスクモデル学習装置及びプログラムによれば、データと、データに対する複数のタスクの結果とを含んで構成される学習データに基づいて、複数のタスクで特徴空間を共有するマルチタスクモデルであって、かつ、特徴空間の特徴量に基づいて、複数のタスクを行うマルチタスクモデルを学習することにより、複数のタスクの結果を取得するためのマルチタスクモデルを得ることができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】顔領域の画像情報に対し笑顔を生成するための具体的な指示をフィードバックするシステムを説明するための説明図である。
【図２】異なる顔領域の画像情報毎にフィードバック情報を提示するシステムの一例を説明するための説明図である。
【図３】本実施の形態におけるフィードバックシステムの概念図である。
【図４】ルールベース及び比較ベースと比べた学習ベースのフィードバックシステムの利点を説明するための説明図である。
【図５】学習データの与え方を説明するための説明図である。
【図６】情報提示の方法の例を説明するための説明図である。
【図７】本実施の形態の処理の概要を説明するための説明図である。
【図８】本発明の実施の形態に係るマルチタスク処理装置の構成を示すブロック図である。
【図９】マルチタスクモデルにおける３つの定式化のパートについての説明図である。
【図１０】表情認識とキーポイント抽出との同時学習の説明図である。
【図１１】マルチタスクＣＮＮの処理の概要の説明図である。
【図１２】マルチタスクＣＮＮの学習処理の概要の説明図である。
【図１３】フィードバック生成部３０による処理を説明するための説明図である。
【図１４】フィードバック生成部３０による処理を説明するための説明図である。
【図１５】フィードバック生成部３０による処理を説明するための説明図である。
【図１６】本実施の形態の処理の概要を説明するための説明図である。
【図１７】本発明の実施の形態に係るマルチタスク処理装置における学習処理ルーチンを示すフローチャートである。
【図１８】本発明の実施の形態に係るマルチタスク処理装置におけるマルチタスク処理ルーチンを示すフローチャートである。
【図１９】マルチタスク処理ルーチンの擬似チャートの一例を示す図である。
【図２０】本発明の実施の形態に係るマルチタスク処理装置におけるフィードバック生成処理ルーチンを示すフローチャートである。
【図２１】実験の概要を説明するための説明図である。
【図２２】実験の概要を説明するための説明図である。
【図２３】実験結果の例を説明するための説明図である。
【図２４】表情改善のフィードバックを行うフィードバックシステムに適用させた場合の例を説明するための説明図である。
【発明を実施するための形態】
【００２０】
＜本発明の実施の形態の概要＞
本実施の形態では、フィードバックシステムの実現を目指す。例えば、表情改善に関するフィードバックシステムの場合、図１に示すように、入力データの一例である顔領域の画像情報に対し、笑顔を生成するための具体的な指示をユーザへフィードバックする。顔領域の画像情報のフィードバックシステムを実現することにより、例えば以下の（１）〜（４）に示すようなアプリケーションに応用することが想定される。
【００２１】
（１）役者がある状況ですべき表情は？
（２）面接の時にすべき表情は？
（３）英語を発音する時の正しい口の動きは？
（４）表情操作に障害がある方の支援
【００２２】
本実施の形態では、特に、多様な入力データに対して、適応的にフィードバックを生成するフィードバックシステムの実現を試みる。例えば、図２に示すように、異なる顔領域の画像情報毎に、画像情報に応じたフィードバック情報を提示する。
【００２３】
図３に、本実施の形態におけるフィードバックシステムの概念図を示す。図３に示すように、［1.Input］において画像や動画等の入力データが入力されると、［2-1.Evaluation］における評価基準と目的状態である［Target］とに基づいて、［2-2.Check of Achievement］において達成の度合いが確認される。そして、目的状態が達成されていない場合には［3-1.Formulation of improvement Plan］の改善計画に応じて、［3-2.Feedback Proposal］においてフィードバックが生成され、入力データに対する修正が行われる。
【００２４】
ここで、上記図３に示すように、評価基準をどうやって求めるかという点と、具体的な指示をどうやって求めるかが問題となる。
【００２５】
これに対し、本実施の形態では、学習ベースに基づくフィードバックシステムを用いて、評価基準を大量のデータから学習する。これにより、プロフェッショナルの知識は不要となり、評価基準はデータからうまく抽出される。また、図４に示すように、学習ベースに基づくフィードバックシステムは、ルールベース及び比較ベースと比べ、未だ発見されていない領域に対して有効である。
【００２６】
また、従来技術においては、Recognition、Detection、Localizationが対象とされている。例えば、Recognitionの一例である表情認識では、Happy, Sad, Angry…といった表情に応じた感情が認識される。また、Detectionの一例としては顔検出が行われている。また、Localizationの一例としては、顔領域の目や鼻の位置を表すキーポイントの検出が行われている。このように、従来技術においては、現状（What people do）を認識するのが目的となっている。
【００２７】
一方、本実施の形態では、Feedback Generationを行い、例えば表情改善に必要な指示を提示する。本実施の形態では、どう変えればいいか（How people can improve）を学習するのが目的であり、従来技術とは対象としているタスクが大きく異なるため、新しい学習法が必要となる。
【００２８】
また、フィードバックシステムを構築する場合、学習データの与え方としては２つの方法が考えられる。１つ目の方法としては、１人のユーザから全パターンの学習データを収集することである。２つ目の方法としては、１人のユーザから１つのパターンの学習データを収集することである。例えば、図５に示すように、１人のユーザから全パターンの学習データを収集する場合、各人において正解例が存在するというメリットがあるが、一人一人の負担が大きいというデメリットがある。また、１人のユーザから１つのパターンの学習データを収集する場合、一人一人の負担は小さいというメリットがあるが、各人の正解例が存在しないというデメリットがある。また、データを収集した後に人が正解をアノテーションすることも可能だが、専門的知識が必要でありスケーラブルではないという問題がある。そのため、本実施の形態では、データ収集のスケーラビリティを考え、１人のユーザから１つのパターンの学習データを収集することを選択する。
【００２９】
また、情報提示の方法としては、図６に示すような形式が考えられる。図６に示すように、特定のユーザの顔の画像情報が入力され、ユーザが笑顔になるようなフィードバックを提示する場合を考える。この場合、同一ユーザの顔の画像情報を変形した画像情報をフィードバックとして提示するのか、同一ユーザの顔の画像情報に対し指標を付加してフィードバックとして提示するのか、異なるユーザの顔の画像情報を変形した画像情報をフィードバックとして提示するのか、異なるユーザの顔の画像情報に対し指標を付加してフィードバックとして提示するのかを選択する必要がある。
【００３０】
本実施の形態では、提示情報の分かりやすさを考え、同一ユーザの顔の画像情報に対し指標を付加してフィードバックとして提示する方法を選択した。
【００３１】
本実施の形態は、図７に示すように、ユーザの顔の画像情報が入力されると、画像情報を評価する評価用タスクの一例である表情認識と、画像情報からキーポイントの一例である目や鼻等を抽出する情報提示用タスクが行われる。そして、目標として「笑顔」を設定し、ユーザが笑顔になるために、方略を活用してフィードバックプランニングを生成し、生成されたフィードバックプランニングを画像情報に矢印として表示する。
【００３２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３３】
＜本発明の実施の形態に係るマルチタスク処理装置の構成＞
【００３４】
本発明の実施の形態に係るマルチタスク処理装置の構成について説明する。図８に示すように、本発明の実施の形態に係るマルチタスク処理装置１００は、ＣＰＵと、ＲＡＭと、後述する各処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このマルチタスク処理装置１００は、機能的には図８に示すように入力部１０と、演算部２０と、出力部４０とを備えている。
【００３５】
入力部１０は、学習データを受け付ける。また、入力部１０は、入力されたデータを受け付ける。学習データには、データと当該データに対する複数のタスクの結果が含まれている。本実施の形態では、学習データ及び入力されたデータが人の顔領域の画像情報である場合を例に説明する。
【００３６】
演算部２０は、学習データ記憶部２２と、学習部２４と、モデル記憶部２６と、タスク処理部２８と、フィードバック生成部３０とを含んで構成されている。
【００３７】
学習データ記憶部２２には、入力部１０により受け付けた学習データが格納される。学習データは、データの一例である画像情報と、データに対する複数のタスクの結果の一例である、画像情報の評価及び画像情報のキーポイントとを含んで構成されている。画像情報のキーポイントとしては、両目、鼻、及び口の両端の位置に関する情報が画像情報に対し付与されている。また、画像情報の評価としては表情（例えば、怒り、幸せ、普通）を表す情報が、画像情報に対して付与されている。
【００３８】
学習部２４は、学習データ記憶部２２に記憶された学習データに基づいて、複数のタスクで特徴空間を共有するマルチタスクモデルであって、かつ、特徴空間の特徴量に基づいて、複数のタスクを行うマルチタスクモデルを学習する。本実施の形態では、画像情報を評価する評価用タスクと画像情報からキーポイントを抽出する情報提示用タスクとで特徴空間を共有するマルチタスクモデルの一例である、マルチタスクＤＮＮ（Deep Neural Network）を学習する。マルチタスクモデルを用いることにより、複数のタスクを処理し、複数のタスクについての出力を得ることができる。本実施の形態では、複数のタスクの一例である、評価用タスク及び情報提示用タスクを処理する場合を例に説明する。そのため、マルチタスクＤＮＮは、特徴空間の特徴量に基づいて、評価用タスクを行い、特徴空間の特徴量に基づいて、情報提示用タスクを行う。
【００３９】
本実施の形態のマルチタスクモデルは、画像情報を評価する評価用タスクと、画像情報から、情報の一例であるキーポイントを抽出する情報提示用タスクとを行うためのモデルである。本実施の形態では、マルチタスクモデルが、複数層を有するＤＮＮ（Deep Neural Network）の一例である、ＣＮＮ（Convolutional Neural Network）である場合を例に説明する。従って、本実施の形態で用いるマルチタスクモデルは、複数層を有するマルチタスクＣＮＮである。
【００４０】
図９に、マルチタスクモデルにおける３つの定式化のパートについての説明図を示す。図９に示すように、本実施の形態では、評価用タスクの一例である表情認識と、情報提示用タスクであるキーポイント抽出と、フィードバックプランニングとについて、定式化を行う必要がある。
【００４１】
表情認識では、画像情報ｘ０が入力された場合に、画像情報ｘ０が表す表情を識別する識別問題として定式化する。例えば、以下の式（１）に従って算出されるｙｃが、画像情報ｘ０が表す表情であると識別する。なお、ｆはマルチタスクＣＮＮを表し、ｗはマルチタスクＣＮＮのパラメータを表す。また、添え字のｃは評価用タスクの一例である表情認識を表し、添え字ｒは情報提示用タスクであるキーポイント抽出を表す。
【００４２】
【数１】
2018055377.tif 000003
（１）
【００４３】
また、キーポイント抽出では、画像情報ｘ０が入力された場合に、画像情報ｘ０のキーポイント抽出を回帰問題として定式化する。例えば、以下の式（２）に従って算出されるｙｒが、画像情報ｘ０のキーポイントであるとして抽出する。
【００４４】
【数２】
2018055377.tif 000004
（２）
【００４５】
また、フィードバックプランニングでは、画像情報ｘ０と目標となる表情認識の結果である目標値ｙｃ＊とが入力された場合、例えば、以下の式（３）に従ってフィードバックプランニングが行われる。
【００４６】
【数３】
2018055377.tif 000005
（３）
【００４７】
この問題設定では、フィードバックの正解ｙｒ＊は未知であるため、明示的な学習は不可であるが、本実施の形態では同時学習によって方略を暗黙的に獲得する。
【００４８】
具体的には、図１０に示すように、表情認識とキーポイント抽出との同時学習により、表情ｙｃとキーポイントｙｒとの関係（方略）を暗黙的に獲得する。そして、獲得された方略を活用し、フィードバックプランニングを行う。
【００４９】
マルチタスクＣＮＮの具体的な処理としては、図１１に示すように、入力部１０によって受け付けた画像情報ｘ０がマルチタスクＣＮＮに適用され、画像情報ｘ０が何れかの表情へ評価されることで表情認識が行われ、画像情報ｘ０のキーポイントが抽出される。なお、図１１に示すconvは畳込み層を表し、ｆｃは全結合層を表す。また、入力された画像情報ｘ０は、マルチタスクＣＮＮによって以下の式に示すように処理が行われ、特徴量ｘＬが抽出される。
【００５０】
【数４】
2018055377.tif 000006
【００５１】
そして、マルチタスクＣＮＮによって、抽出された特徴量ｘＬを入力として、以下の式（４）に従って表情認識が行われる。
【００５２】
【数５】
2018055377.tif 000007
（４）
【００５３】
また、マルチタスクＣＮＮによって、抽出された特徴量ｘＬを入力として、以下の式（５）に従ってキーポイント抽出が行われる。
【００５４】
【数６】
2018055377.tif 000008
（５）
【００５５】
図１２に具体的な学習処理の例を示す。本実施の形態では、図１２に示すように、表情認識とキーポイント抽出とが同時に学習される。また、表情とキーポイントとの関係は共有特徴空間内に埋め込まれる。
【００５６】
そして、表情認識に関しては以下の式（６）に示す交差エントロピー誤差を最小化するように、マルチタスクＣＮＮのパラメータｗｓ１，…，ｗｓＬ，ｗｃの学習が行われる。なお、ｙｉｃは表情を表すラベルであり、笑顔である場合は１をとり、笑顔でない場合には０をとる。また、Ｎは学習データの数である。
【００５７】
【数７】
2018055377.tif 000009
（６）
【００５８】
また、キーポイント抽出に関しては以下の式（７）に示す最小二乗誤差を最小化するように、マルチタスクＣＮＮのパラメータｗｓ１，…，ｗｓＬ，ｗｒの学習が行われる。
【００５９】
【数８】
2018055377.tif 000010
（７）
【００６０】
モデル記憶部２６には、学習部２４によって学習されたマルチタスクＣＮＮのパラメータｗｓ１，…，ｗｓＬ，ｗｃ，ｗｒが格納される。
【００６１】
タスク処理部２８は、入力部１０によって受け付けた画像情報に対して、モデル記憶部２６に格納されたマルチタスクＣＮＮを用いて、複数のタスクについての出力を得る。本実施の形態では、画像情報を表情認識によって評価し、かつ画像情報のキーポイントを抽出する。
【００６２】
フィードバック生成部３０は、複数のタスクのうちの評価用タスクの一例である表情認識に対して、目標値を与えたときに、目標値に近づくように、情報提示用タスクの一例であるキーポイント抽出の出力を計算する。そして、フィードバック生成部３０は、タスク処理部２８によるキーポイント抽出の出力の計算結果と、目標値に近づくように計算された、キーポイント抽出の出力の計算結果とに基づいて、キーポイント抽出の出力に関する情報を提示する。
【００６３】
具体的には、タスク処理部２８による評価結果と、表情認識に関する評価の目標値と、モデル記憶部２６に格納されたマルチタスクＣＮＮとに基づいて、マルチタスクＣＮＮの表情認識によって目標値であると評価されるときに、マルチタスクＣＮＮによって抽出されるキーポイントを計算し、タスク処理部２８によって抽出されたキーポイントと、計算されたキーポイントとの差分を提示する。
【００６４】
より詳細には、フィードバック生成部３０は、タスク処理部２８によって入力された画像情報をマルチタスクＣＮＮに適用したときの複数層のうちの何れか１つの層の出力を修正する。マルチタスクＣＮＮの表情認識によって目標値であると評価されるまで、当該何れか１つの層の出力の修正を繰り返す。これにより、フィードバック生成部３０は、マルチタスクＣＮＮの表情認識によって目標値であると評価されるときに、マルチタスクＣＮＮによって抽出されるキーポイントを計算する。
【００６５】
図１３に、フィードバック生成部３０による処理を説明するための説明図を示す。図１３に示すように、タスク処理部２８による評価結果として「Not Smile」という現在状態が得られた場合、フィードバック生成部３０は、目標値である「Smile」を正解として、以下の式（６Ａ）に示す損失関数を計算する。
【００６６】
【数９】
2018055377.tif 000011
（６Ａ）
【００６７】
次に、フィードバック生成部３０は、図１４に示すように、バックプロパゲーションにより交差エントロピー誤差を伝播させ、マルチタスクＣＮＮの複数層のうちの何れか１つの層の出力（何れか１つの層の入力）ｘｌを修正する。なお、マルチタスクＣＮＮのパラメータである重みｗは固定のまま使用される。
【００６８】
そして、フィードバック生成部３０は、図１５に示すように、フォワードプロパゲーションにより、修正された出力ｘｌを用いて、特徴量ｘＬを計算し、計算された特徴量ｘＬに基づいて、目標値を正解とした損失関数を計算する。
【００６９】
また、フィードバック生成部３０は、損失関数の値が閾値未満となるまで、バックプロパゲーションによる何れか１つの層の出力の修正処理と、特徴量ｘＬの計算と、損失関数の計算とを繰り返す。
そして、フィードバック生成部３０は、損失関数の値が閾値未満となったとき、修正された出力ｘｌを用いてフォワードプロパゲーションにより得られた特徴量ｘＬに基づいて、キーポイントの再計算を行う。
【００７０】
そして、フィードバック生成部３０は、タスク処理部２８によって抽出されたキーポイントと、再計算されたキーポイントとの差分を画像情報に付加して、フィードバックとして出力する。
【００７１】
このように、本実施の形態では、タスク処理部２８による評価結果である現在状態と目標値との差分を、マルチタスクＣＮＮ内に深く伝播させてキーポイントの再計算に反映する（図１６参照）。
【００７２】
出力部４０は、フィードバック生成部３０によって得られたフィードバックを提示する。
【００７３】
＜本発明の実施の形態に係るマルチタスク処理装置の作用＞
【００７４】
次に、本発明の実施の形態に係るマルチタスク処理装置１００の作用について説明する。マルチタスク処理装置１００では、マルチタスクＣＮＮを学習する学習処理と、マルチタスクＣＮＮを用いてフィードバックを提示するマルチタスク処理とが実行される。
【００７５】
まず、マルチタスクＣＮＮを学習する学習処理について説明する。入力部１０において学習データを受け付けると、入力部１０は学習データ記憶部２２に学習データを格納する。そして、マルチタスク処理装置１００は、図１７に示す学習処理ルーチンを実行する。
【００７６】
＜学習処理ルーチン＞
まず、ステップＳ１００において、学習部２４は、学習データ記憶部２２に記憶された学習データに基づいて、上記式（６）に示す交差エントロピー誤差を最小化し、かつ、上記式（７）に示す最小二乗誤差を最小化するように、マルチタスクＣＮＮのパラメータｗｓ１，…，ｗｓＬ，ｗｃ，ｗｒを学習する。これにより、表情認識とキーポイント抽出とで特徴空間を共有するマルチタスクＣＮＮが取得される。
【００７７】
次に、ステップＳ１０２において、学習部２４は、上記ステップＳ１００で学習されたマルチタスクＣＮＮのパラメータｗｓ１，…，ｗｓＬ，ｗｃ，ｗｒをモデル記憶部２６に格納して、学習処理ルーチンを終了する。
【００７８】
次に、マルチタスクＣＮＮを用いてフィードバックを提示するマルチタスク処理について説明する。以下では、入力部１０において画像情報を逐次受け付ける場合を例に説明する。入力部１０において画像情報を受け付けると、マルチタスク処理装置１００は、図１８に示すマルチタスク処理ルーチンを実行する。なお、図１８に示すマルチタスク処理ルーチンは、図１９に示すアルゴリズムの擬似チャートに従って実行される処理の一例である。
【００７９】
＜マルチタスク処理ルーチン＞
ステップＳ２００において、表情認識に関する評価の目標値を設定する。目標値としては、例えば「Smile」が設定される。
【００８０】
ステップＳ２０２において、入力部１０は入力された画像情報を取得する。
【００８１】
ステップＳ２０３において、タスク処理部２８は、上記ステップＳ２０２で受け付けた画像情報を、モデル記憶部２６に格納されたマルチタスクＣＮＮに適用して、画像情報の特徴量を計算する。
【００８２】
ステップＳ２０４において、タスク処理部２８は、上記ステップＳ２０３で計算された特徴量に基づいて、モデル記憶部２６に格納されたマルチタスクＣＮＮにより、画像情報を表情認識によって評価し、評価結果を現在状態として取得する。
【００８３】
ステップＳ２０６において、タスク処理部２８は、上記ステップＳ２０３で計算された特徴量に基づいて、モデル記憶部２６に格納されたマルチタスクＣＮＮにより、画像情報のキーポイントを抽出する。
【００８４】
ステップＳ２０８において、フィードバック生成部３０は、上記ステップＳ２００で設定された目標値と上記ステップＳ２０４で取得された現在状態とが一致しているか否かを判定する。目標値と現在状態とが一致している場合には、ステップＳ２１０へ進む。一方、目標値と現在状態とが一致していない場合には、ステップＳ２１２へ進む。
【００８５】
ステップＳ２１０において、フィードバック生成部３０は、上記ステップＳ２０６で抽出されたキーポイントを表示する。
【００８６】
ステップＳ２１２において、フィードバック生成部３０は、上記ステップＳ２００で設定された表情認識に関する評価の目標値と、モデル記憶部２６に格納されたマルチタスクＣＮＮと、上記ステップＳ２０３で計算されたマルチタスクＣＮＮの各層の出力ｘ１，…，ｘＬとに基づいて、マルチタスクＣＮＮの表情認識によって目標値であると評価されるときに、マルチタスクＣＮＮによって抽出されるキーポイントを再計算する。ステップＳ２１２は、図２０に示すフィードバック生成処理ルーチンによって実現される。
【００８７】
＜フィードバック生成処理ルーチン＞
ステップＳ３００において、フィードバック生成部３０は、特徴量ｘＬと、表情認識に関する評価の目標値と、モデル記憶部２６に格納されたマルチタスクＣＮＮとに基づいて、損失関数を計算し、計算結果Ｌｓを取得する。
【００８８】
ステップＳ３０２において、フィードバック生成部３０は、上記ステップＳ３００で取得された損失関数の計算結果Ｌｓに基づいて、例えば以下の式（８）に従ったバックプロパゲーションにより、特定の層の入力ｘｌを修正する。
【００８９】
【数１０】
2018055377.tif 000012
（８）
【００９０】
ステップＳ３０４において、フィードバック生成部３０は、上記ステップＳ３０２での修正結果に基づいて、フォワードプロパゲーションにより特徴量ｘＬを計算する。
【００９１】
ステップＳ３０６において、フィードバック生成部３０は、上記ステップＳ３００で計算されたＬｓの値が予め設定された閾値以下であるか否かを判定する。Ｌｓの値が予め設定された閾値以下である場合には、ステップＳ３０７へ進む。一方、Ｌｓの値が予め設定された閾値より大きい場合には、ステップＳ３００へ戻る。
【００９２】
ステップＳ３０７において、フィードバック生成部３０は、画像情報のキーポイントを抽出する。
【００９３】
ステップＳ３０８において、フィードバック生成部３０は、上記ステップＳ３０３で計算された特徴量ｘＬに基づいて、モデル記憶部２６に格納されたマルチタスクＣＮＮにより、キーポイントを再計算し、再計算されたキーポイントを出力し、フィードバック生成処理ルーチンを終了する。
【００９４】
次に、図１８のマルチタスク処理ルーチンのステップＳ２１４へ戻り、上記ステップＳ２０６で抽出されたキーポイントと上記ステップＳ２１２で得られたキーポイントとの差分をフィードバックとして表示する。例えば、上記ステップＳ２０６で抽出されたキーポイントから、上記ステップＳ２１２で得られたキーポイントへ向かう矢印をフィードバックとして表示する。
【００９５】
ステップＳ２１６において、フィードバック生成部３０は、処理を終了するか否かを判定する。例えば、画像情報の入力が終了した場合には、マルチタスク処理ルーチンを終了する。画像情報の入力が続いている場合には、ステップＳ２０２へ戻る。
【００９６】
［実験結果］
【００９７】
次に、本実施の形態に係るマルチタスク処理装置１００に関する実験結果について説明する。図２１に示すように、（ａ）〜（ｄ）の４種類のマルチタスクＣＮＮを用いて実験を行った。
【００９８】
（ａ）のマルチタスクＣＮＮは、浅い層の出力を修正するものである。また、（ｂ）のマルチタスクＣＮＮは、（ａ）のマルチタスクＣＮＮに比べ深い層の出力を修正するものである。また、（ｃ）のマルチタスクＣＮＮは、最も深い層の出力を修正するものである。従って、（a）〜（ｃ）のモデルはフィードバックを生成するときにバックプロパゲーションによる修正の層の位置を変更したものである。一方、（ｄ）のマルチタスクＣＮＮは、評価用タスクである表情認識と、情報提示用タスクであるキーポイント抽出とを分けたＣＮＮであり、表情認識とキーポイント抽出とが別々のネットワークによって学習される。
【００９９】
実験に用いたＣＮＮのネットワーク構造の詳細を表１に示す。
【０１００】
【表１】
2018055377.tif 000013
【０１０１】
また、図２２に示すように、口角の動く向きについて評価の定義をＦＡＣＳ（Facial Action Coding System）により行った。ＦＡＣＳは、ある表情の時の顔の物理的な変化に関する基準を定義するものであり、例えば、「Anger: Lip tightener, Happiness: Lip corner puller」というように、表情と口角の動く向きについての対応付けにより基準が定義される。
【０１０２】
表２に、実験結果の概要を示す。表２に示されるように、バックプロパゲーションによる修正が行われる層が浅いほど精度が良く、深いほど精度が悪いことがわかる。これにより、顔領域内の目印であるキーポイントと顔の感情を表す表情との関係は、これらの層（マルチタスクＣＮＮの浅い層又は後段の層）に保持されていることがわかる。また、２つのタスクを分けたネットワークのモデルである（ｄ）は最も悪い結果となった。これにより、マルチタスクモデルによる学習が有用であることがわかる。
【０１０３】
【表２】
2018055377.tif 000014
【０１０４】
また、図２３に、マルチタスクＣＮＮによって得られたフィードバックの提示の例を示す。「To happiness」は、笑顔になるためのフィードバックを表しており、適切にフィードバックの提示がなされていることがわかる。また、様々な入力、ターゲットの表情に対して適応的にフィードバック生成が可能であることがわかる。
【０１０５】
以上説明したように、本発明の実施の形態に係るマルチタスク処理装置によれば、入力された画像情報に対して、複数のタスクを処理するためのマルチタスクモデルを用いて、複数のタスクについての出力を得ることにより、画像情報について、適切な評価結果及びキーポイントを１つのモデルから取得することができる。
【０１０６】
また、本発明の実施の形態に係るマルチタスク処理装置によれば、入力された画像情報を、画像情報を評価する評価用タスクと画像情報からキーポイントを抽出する情報提示用タスクとを行うためのマルチタスクＣＮＮに適用して、入力された画像情報を評価し、かつ、入力された画像情報のキーポイントを抽出することにより、画像情報について、適切な評価結果及びキーポイントを１つのモデルから取得することができる。
【０１０７】
また、本発明の実施の形態に係るマルチタスク処理装置によれば、タスク処理部による評価結果と、評価用タスクによる評価の目標値と、マルチタスクＣＮＮとに基づいて、マルチタスクＣＮＮの評価用タスクによって目標値であると評価されるときに、マルチタスクＣＮＮの情報提示用タスクによって抽出されるキーポイントを計算し、タスク処理部によって抽出されたキーポイントと、計算されたキーポイントとの差分を提示することにより、適切なフィードバックを提示することができる。
【０１０８】
また、本発明の実施の形態に係るマルチタスク処理装置によれば、画像情報と、画像情報の評価と、画像情報のキーポイントとを含んで構成される学習データに基づいて、画像情報を評価する評価用タスクと画像情報からキーポイントを抽出する情報提示用タスクとで特徴空間を共有するマルチタスクＣＮＮであって、かつ、特徴空間の特徴量に基づいて、評価用タスクを行い、特徴空間の特徴量に基づいて、情報提示用タスクを行うマルチタスクＣＮＮを学習することにより、適切な評価結果及びキーポイントを取得するためのマルチタスクモデルを得ることができる。
【０１０９】
また、マルチタスクＣＮＮの複数層のうち後段の層の出力を修正することにより、画像情報の評価と画像情報のキーポイントとの関係を保持している層の出力が修正され、適切な評価結果及びキーポイントを取得することができる。また、後段の層のうち出力層からより深い層を修正すると、出力まで多数の非線形変換が行われるため、多様性を含む出力を得ることができる。一方、後段の層のうち出力層からより浅い層を修正すると、出力まで少数の非線形変換または線形変換が行われるため、フィードバック結果を直接反映した出力を得ることができる。
【０１１０】
また、本実施の形態のマルチタスクＣＮＮは１入力に対して２出力を行うことができ、二つの出力間で情報を伝播することで、フィードバックを生成することができる。また、ネットワークを深く伝播することで、入力の画像情報も反映することができる。
【０１１１】
また、多様な入力データに対して適応的にフィードバック生成を行うことができ、フィードバック生成に必要な「ルール」はデータから学習することができる。
【０１１２】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１１３】
例えば、上記の実施の形態では、マルチタスクモデルの一例として、マルチタスクＣＮＮを用いる場合を例に説明したが、これに限定されるものではない。例えば、他のマルチタスクＤＮＮを用いてもよいし、ＤＮＮに限らず他のマルチタスクモデルを用いてもよい。
【０１１４】
また、上記の実施の形態では、データの一例として画像情報を用いる場合を例に説明したが、これに限定されるものではなく、例えば、音響信号や農業分野で用いる観測データにも使えるような信号を用いてもよい。
【０１１５】
また、上記の実施の形態では、学習処理とマルチタスク処理とを行うマルチタスク処理装置を例に説明したが、学習処理を行うマルチタスクモデル学習装置とマルチタスク処理を行うマルチタスク処理装置とを別々の装置として構成してもよい。この場合には、マルチタスクモデル学習装置は、学習データ記憶部２２と学習部２４とを備え、マルチタスク処理装置は、タスク処理部２８とフィードバック生成部とを備える。
【０１１６】
また、上記の実施の形態では、評価用タスクの評価の処理の一例として、表情認識が笑顔であるか否かを評価する場合を例に説明したが、これに限定されるものではない。例えば、「回帰（Regression）」（例：表情の場合、笑顔度）、「順位付け（Ranking）」（例：表情の場合、Ａさんよりも笑顔で、Ｂさんよりも笑顔でない）などを、評価用タスクの評価の処理としてもよい。
【０１１７】
また、上記の実施の形態では、情報提示用タスクの情報の抽出の処理の一例として、画像情報からのキーポイント抽出の処理を例に説明したが、これに限定されるものではない。例えば、本実施の形態のキーポイントは点で表されるが、Bounding Boxのような領域で表される情報を抽出するようにしてもよい。
【０１１８】
また、上記の実施の形態では、評価用タスクが一つであり、情報提示用タスクが一つである場合について説明したが、これに限定されるものではなく、評価用タスクが複数あり、情報提示用タスクが複数あってもよい。この場合には、複数または一つの評価用タスクに対して目標値を与えたときに、目標値に近づくように、情報提示用タスクの出力を計算する。
【０１１９】
また、上記の実施の形態では、タスク処理部２８によって抽出されたキーポイントと、再計算されたキーポイントとの差分を、フィードバックとして提示する場合を例に説明したが、これに限定されるものではない。例えば、フィードバックに関係する領域を提示する場合は、差分で提示するのではなく、目標値に対して再計算した結果そのものを提示するようにしてもよい。
また、複数の情報提示用タスクの結果を組み合わせて情報提示してもよい。例えば、フィードバックに関係する領域を提示するものと、キーポイントを抽出するものがあった場合、領域内のキーポイントだけを提示するようにしてもよい。
【０１２０】
上述のマルチタスク処理装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１２１】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１２２】
１０   入力部
２０   演算部
２２   学習データ記憶部
２４   学習部
２６   モデル記憶部
２８   タスク処理部
３０   フィードバック生成部
４０   出力部
１００ マルチタスク処理装置
【図１】
2018055377.tif 000015
【図２】
2018055377.tif 000016
【図３】
2018055377.tif 000017
【図４】
2018055377.tif 000018
【図５】
2018055377.tif 000019
【図６】
2018055377.tif 000020
【図７】
2018055377.tif 000021
【図８】
2018055377.tif 000022
【図９】
2018055377.tif 000023
【図１０】
2018055377.tif 000024
【図１１】
2018055377.tif 000025
【図１２】
2018055377.tif 000026
【図１３】
2018055377.tif 000027
【図１４】
2018055377.tif 000028
【図１５】
2018055377.tif 000029
【図１６】
2018055377.tif 000030
【図１７】
2018055377.tif 000031
【図１８】
2018055377.tif 000032
【図１９】
2018055377.tif 000033
【図２０】
2018055377.tif 000034
【図２１】
2018055377.tif 000035
【図２２】
2018055377.tif 000036
【図２３】
2018055377.tif 000037
【図２４】
2018055377.tif 000038