(57)【要約】【課題】一部のモーダルからの入力情報が欠損しても、精度を落とすことなく学習を行うことができる情報処理装置を提供する。【解決手段】情報処理装置は、ＣＧ映像及びその付随データから仮説生成が可能な第１モデルを生成する第１の学習装置と、実写映像及び第１モデルから仮説生成が可能な第２モデルを生成する第２の学習装置と、を備える。第１の学習装置は、第１映像及び付随データに応じて獲得した生成モデルに応じて、第１映像及び付随データを再現できる仮説である映像仮説及び付随データ仮説に応じて生成モデルを修正することで第１モデルを生成する。第２の学習装置は、次時刻の第２映像及び第１モデルに応じて、次時刻の映像仮説及び付随データ仮説を生成し、次時刻の第２映像と次時刻の映像仮説とに応じて第１モデルを更新することで第２モデルを生成する。【選択図】図１
2019056957.tif 000002
【特許請求の範囲】
【請求項１】
第１映像及びその付随データから仮説生成が可能な第１モデルを生成する第１の学習手段と、第２映像及び前記第１モデルから仮説生成が可能な第２モデルを生成する第２の学習手段と、を備え、
前記第１の学習手段は、
前記第１映像及び前記付随データに応じて、生成モデルを獲得する仮説モデル学習手段と、
前記生成モデルに応じて、前記第１映像及び前記付随データを再現できる仮説である映像仮説及び付随データ仮説を生成する第１仮説生成手段と、
前記映像仮説及び前記付随データ仮説に応じて前記生成モデルを修正することで前記第１モデルを生成する第１モデル更新手段と、を備え、
前記第２の学習手段は、
次時刻の第２映像及び前記第１モデルに応じて、次時刻の映像仮説及び付随データ仮説を生成する第２仮説生成手段と、
次時刻の前記第２映像と、前記次時刻の映像仮説とに応じて前記第１モデルを更新することで前記第２モデルを生成する第２モデル更新手段と、を備えることを特徴とする、
情報処理装置。
【請求項２】
第１映像及びその付随データから仮説生成が可能な第１モデルを生成する第１の学習手段と、第２映像及び前記第１モデルから仮説生成が可能な第２モデルを生成する第２の学習手段と、を備え、
前記第１の学習手段は、
前記第１映像及び前記付随データに応じて、一定時間先の生成モデルを獲得する仮説モデル学習手段と、
前記生成モデルに応じて、前記第１映像及び前記付随データを再現できる仮説である映像仮説及び付随データ仮説を生成する第１仮説生成手段と、
前記映像仮説及び前記付随データ仮説に応じて前記生成モデルを修正することで前記第１モデルを生成する第１モデル更新手段と、を備え、
前記第２の学習手段は、
次時刻の第２映像及び前記第１モデルに応じて、次時刻の映像仮説及び付随データ仮説を生成する第２仮説生成手段と、
次時刻の前記第２映像と、前記次時刻の映像仮説とに応じて前記第１モデルを更新することで前記第２モデルを生成する第２モデル更新手段と、を備えることを特徴とする、
情報処理装置。
【請求項３】
前記仮説モデル学習手段は、前記第１映像から抽出される第１映像特徴量及び前記付随データから抽出される付随データ特徴量に応じて、前記生成モデルを獲得し、
前記第２仮説生成手段は、前記次時刻の第２映像から抽出される第２映像特徴量及び前記第１モデルに応じて、次時刻の映像仮説及び付随データ仮説を生成することを特徴とする、
請求項１又は２記載の情報処理装置。
【請求項４】
前記第２モデル更新手段は、前記次時刻の前記第２映像と、前記次時刻の映像仮説とを比較して、比較結果に応じて前記第１モデルを更新することで前記第２モデルを生成する、
請求項１〜３のいずれか１項記載の情報処理装置。
【請求項５】
前記第１映像はＣＧ映像であり、前記第２映像は実写映像であることを特徴とする、
請求項１〜４のいずれか１項記載の情報処理装置。
【請求項６】
前記付随データはモーションデータであることを特徴とする、
請求項５記載の情報処理装置。
【請求項７】
前記モーションデータは人体のボーンデータであることを特徴とする、
請求項６記載の情報処理装置。
【請求項８】
第１映像及びその付随データから仮説生成が可能な第１モデルを生成する第１の学習手段と、第２映像及び前記第１モデルから仮説生成が可能な第２モデルを生成する第２の学習手段と、を備える情報処理装置により実行される方法であって、
前記第１の学習手段が、
前記第１映像及び前記付随データに応じて、生成モデルを獲得し、
前記生成モデルに応じて、前記第１映像及び前記付随データを再現できる仮説である映像仮説及び付随データ仮説を生成し、
前記映像仮説及び前記付随データ仮説に応じて前記生成モデルを修正することで前記第１モデルを生成し、
前記第２の学習手段が、
次時刻の第２映像及び前記第１モデルに応じて、次時刻の映像仮説及び付随データ仮説を生成し、
次時刻の前記第２映像と、前記次時刻の映像仮説とに応じて前記第１モデルを更新することで前記第２モデルを生成することを特徴とする、
情報処理方法。
【請求項９】
第１映像及びその付随データから仮説生成が可能な第１モデルを生成する第１の学習手段と、第２映像及び前記第１モデルから仮説生成が可能な第２モデルを生成する第２の学習手段と、を備える情報処理装置により実行される方法であって、
前記第１の学習手段が、
前記第１映像及び前記付随データに応じて、一定時間先の生成モデルを獲得し、
前記生成モデルに応じて、前記第１映像及び前記付随データを再現できる仮説である映像仮説及び付随データ仮説を生成し、
前記映像仮説及び前記付随データ仮説に応じて前記生成モデルを修正することで前記第１モデルを生成し、
前記第２の学習手段が、
次時刻の第２映像及び前記第１モデルに応じて、次時刻の映像仮説及び付随データ仮説を生成し、
次時刻の前記第２映像と、前記次時刻の映像仮説とに応じて前記第１モデルを更新することで前記第２モデルを生成することを特徴とする、
情報処理方法。
【請求項１０】
コンピュータを、
第１映像及びその付随データから仮説生成が可能な第１モデルを生成する第１の学習手段、
第２映像及び前記第１モデルから仮説生成が可能な第２モデルを生成する第２の学習手段、として機能させ、
前記第１の学習手段を、
前記第１映像及び前記付随データに応じて、生成モデルを獲得する仮説モデル学習手段、
前記生成モデルに応じて、前記第１映像及び前記付随データを再現できる仮説である映像仮説及び付随データ仮説を生成する第１仮説生成手段、
前記映像仮説及び前記付随データ仮説に応じて前記生成モデルを修正することで前記第１モデルを生成する第１モデル更新手段、として機能させ、
前記第２の学習手段を、
次時刻の第２映像及び前記第１モデルに応じて、次時刻の映像仮説及び付随データ仮説を生成する第２仮説生成手段、
次時刻の前記第２映像と、前記次時刻の映像仮説とに応じて前記第１モデルを更新することで前記第２モデルを生成する第２モデル更新手段、
として機能させるコンピュータプログラム。
【請求項１１】
コンピュータを、
第１映像及びその付随データから仮説生成が可能な第１モデルを生成する第１の学習手段、
第２映像及び前記第１モデルから仮説生成が可能な第２モデルを生成する第２の学習手段、として機能させ、
前記第１の学習手段を、
前記第１映像及び前記付随データに応じて、一定時間先の生成モデルを獲得する仮説モデル学習手段、
前記生成モデルに応じて、前記第１映像及び前記付随データを再現できる仮説である映像仮説及び付随データ仮説を生成する第１仮説生成手段、
前記映像仮説及び前記付随データ仮説に応じて前記生成モデルを修正することで前記第１モデルを生成する第１モデル更新手段、として機能させ、
前記第２の学習手段を、
次時刻の第２映像及び前記第１モデルに応じて、次時刻の映像仮説及び付随データ仮説を生成する第２仮説生成手段、
次時刻の前記第２映像と、前記次時刻の映像仮説とに応じて前記第１モデルを更新することで前記第２モデルを生成する第２モデル更新手段、
として機能させるコンピュータプログラム。
【請求項１２】
請求項１０又は１１記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に付帯する情報を学習に組み込む情報処理方法に関する。
【背景技術】
【０００２】
近年、ディープラーニング（deep learning）技術の普及に伴い、急速に情報処理装置を用いた認識学習の性能向上が見られる。非特許文献１、非特許文献２、非特許文献３、及び非特許文献４に開示されるように、ディープラーニングは、従来の手法を大きく上回る性能を示す事例が確認されている。特許文献１には、大規模な学習を実用的に行うデータ処理装置が開示される。
【０００３】
これらの手法は、データ主導であることから大量のデータを必要とすることが前提となっていることが多い。そのために、十分なデータ量がなければ適切な特徴や内部表現を獲得することができない。例えば、医療の臨床データの解析やスポーツシーンの監視などにおける人物行動・姿勢検出など、複数のモーダルの入力を前提とした認識学習では、大量のデータ処理及びそれらのタグ付けなど、データ処理に対する課題は多い。
【０００４】
医療現場では、詳細な検査は、高額であり、すべての患者が受けられるわけではない。そのために、簡単な単一の検査のみで診断が行われることも少なくない。例えば、医療現場では、ＭＲＩ（Magnetic Resonance Imaging）、ＰＥＴ（Positron Emission Tomography）、ＣＴ（Computed Tomography）スキャン等の複数の検査装置がある。しかし、これらの装置による検査をすべて同時に行う患者は少ない。そのためにすべての検査結果が揃っているような臨床データはほとんど存在しないことが現状である。
【０００５】
スポーツや動作・行動認識では、モーションキャプチャのような詳細な計測装置やＧＰＳ（Global Positioning System）ロガー等のプロフェッショナル向けの計測装置がある。しかし、これらの装置で取得されたデータが映像とともに記録されていることは、圧倒的に少ない。これは、装置が高価なため、プロフェッショナルプレイヤやオリンピック候補等のトップクラスの選手のみしかこれらの計測装置による恩恵を享受できず、一般人が使用することは稀であるためである。プロフェッショナルプレイヤにしても、モーションキャプチャの計測装置を着けて試合を行うことはできない。ＧＰＳロガーは、屋内では使用できない。赤外線計測装置は、屋外では使用できない。このようなあらゆる制約によって、マルチモーダルな情報と映像がセットになった画像を、ディープラーニングの学習に用いるデータとして揃えることは困難である。さらにサッカー等にみられるように、データロガーを身に着けて練習することは可能だが、公式戦ではルール上禁止されているスポーツも多い。試合中のデータこそ取得したい情報であるにも関わらず、それらのデータは、マルチモーダルなデータセットとなっていないのが現状である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２９９３６５号公報
【非特許文献】
【０００７】
【非特許文献１】Jiquan Ngiam, Aditya Khosla, Mingyu Kim, Juhan Nam, Honglak Lee andAndrew Ng, " Multimodal ディープラーニング", NIPS 2015
【非特許文献２】Quoc V. Le, Will Y. Zou, Serena Y. Yeung, Andrew Y. Ng, " Learninghierarchical invariant spatio-temporal features for action recognition withindependent subspace analysis", CVPR 2011
【非特許文献３】Nitish Srivastava, Elman Mansimov, RuslanSalakhutdinov, " Unsupervised Learning of Video Representations using LSTMs", ICML 2015
【非特許文献４】https://deeplearningworkshopnips2010.files.wordpress.com/2010/09/nips10-workshop-tutorial-final.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００８】
学習においては、複数のモーダルを用いて生成したモデルに対して、スポーツや医療等のように、実際の計測が一部のモーダルでしか行われず十分な情報を獲得できない場合に、その精度が落ちてしまう。映像と映像の付随データとをマルチモーダルに学習する場合、複数の入力（特に付随データ）が欠損する。特許文献１や非特許文献１、２、３では、マルチモーダルな入力に対する内部表現獲得について検討している。
【０００９】
特許文献１は、ロボットの画像データとモータの運動データとの両方から、ロボット自身の内部表現を獲得する試みを開示する。しかし、特許文献１は、データ入力が単一になってしまった場合に欠損したモダリティのデータを保全する仕組みを考慮していない。
非特許文献２は、口の周りの映像と音声とによるマルチモーダル入力に対して、学習を行う技術を開示する。この場合も映像に対して音声が入らない状況を考えているわけではなく、音声と映像とによって認識の精度を向上することが目的となっている。
非特許文献３のように、入力と同一の状態を再構成し、入力と再構成結果が同一になるように内部表現を獲得する方法もある。代表的なものとしては、オートエンコーダ（Auto Encoder）や制限付きボルツマンマシン（Restricted Boltzmann Machine）などを用いた教師無し学習の仕組みである。しかし、検出時に一部のモーダルが欠損することを前提にしたモデル生成方法について検討しているような手法は存在しない。
【００１０】
本発明は、このような従来の問題を解決するため、一部のモーダルからの入力情報が欠損しても、精度を落とすことなく学習を行うことができる情報処理装置を提供することを主たる目的とする。
【課題を解決するための手段】
【００１１】
本発明の情報処理装置は、第１映像及びその付随データから仮説生成が可能な第１モデルを生成する第１の学習手段と、第２映像及び前記第１モデルから仮説生成が可能な第２モデルを生成する第２の学習手段と、を備え、前記第１の学習手段は、前記第１映像及び前記付随データに応じて、生成モデルを獲得する仮説モデル学習手段と、前記生成モデルに応じて、前記第１映像及び前記付随データを再現できる仮説である映像仮説及び付随データ仮説を生成する第１仮説生成手段と、前記映像仮説及び前記付随データ仮説に応じて前記生成モデルを修正することで前記第１モデルを生成する第１モデル更新手段と、を備え、前記第２の学習手段は、次時刻の第２映像及び前記第１モデルに応じて、次時刻の映像仮説及び付随データ仮説を生成する第２仮説生成手段と、次時刻の前記第２映像と、前記次時刻の映像仮説とに応じて前記第１モデルを更新することで前記第２モデルを生成する第２モデル更新手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、一部のモーダルからの入力情報が欠損しても、精度を落とすことなく学習を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】第１の学習装置の説明図。
【図２】第１の学習フェーズの説明図。
【図３】第２の学習装置の説明図。
【図４】第２の学習フェーズの説明図。
【図５】第１の学習フェーズの処理を表すフローチャート。
【図６】第２の学習フェーズの処理を表すフローチャート。
【図７】第１の学習フェーズの処理を表すフローチャート。
【図８】第１の学習フェーズの説明図。
【図９】第２の学習フェーズの処理を表すフローチャート。
【図１０】第２の学習フェーズの説明図。
【図１１】簡易症状診断システムの説明図。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、実施形態を詳細に説明する。
【００１５】
モーションキャプチャにより取得した実際の人体の運動情報（モーションデータ）を、ＣＧ（Computer Graphics）で作成した人体モデルに適用することで、実際の人物が動いているような人物映像が得られる。このようなＣＧを学習に使用することは、以下の２点において優位性がある。そのために、ＣＧ映像を用いた認識学習への活用の期待が高まっている。
（１）ＣＧを用いたデータ水増し
（２）ＣＧによる付随データの活用
【００１６】
（１）では、ＣＧ映像によって作成された人物の仮想３次元空間内における運動情報により、ユーザを任意のアングルから見たＣＧ映像が生成可能となる。同じことを現実の実写映像により行う場合、大量のカメラをユーザの周囲に配置しなければならず、長距離を移動するような運動等には、適用できない。ＣＧ映像に実際の人物のモーションデータを適用することで、同一の動作シーケンスから大量のカメラアングルにより取得した映像を生成できるために、大量の映像データを取得することが可能となる。また、モーションデータを適用するＣＧオブジェクト（人体モデル）の身長、体格、服装等を変更することで、同一データソースから大量のバリエーションを生成することが可能となる。
【００１７】
（２）では、ＣＧを用いることで、ＣＧ映像に付随するモーションデータや奥行きデータ等の３次元の情報を取得可能となる。また、この他に、動画フレームをより細かくレンダリングすることで、付属情報として、ビデオでは取得できない細かいフレームの映像を取得することが可能となる。これに対して通常の実写映像の場合、ビデオカメラによるＲＧＢの２次元映像しか獲得することはできない。
【００１８】
（２）に示すように、ＣＧ映像に対して、モーションデータのような３次元の付随データを活用する場合、以下のような課題がある。
ＣＧ映像で学習を行う場合、ＣＧ映像にはモーションデータ等の付随データが存在する。しかし実際に認識対象となるのは実写映像であり、通常、実写映像には、モーションデータのような３次元データは付随しないことが多い。仮にKinect（登録商標）等の３次元計測装置を用いて実写映像からモーションデータに相当するデータを取得する場合であっても、精度、フォーマット等が異なるために、ＣＧ映像から取得するデータと同一として扱うことは困難である。また、このようなシステムを実際に屋外等で使用する場合、Kinectが使用できないことも多く、実質上モーションと映像を同時取得をすることを前提としたシステムでは汎用性が下がってしまう。それにより、実写映像（２次元映像情報）のみで３次元構造を推定するのは、不良設定問題となってしまい推定精度が低下する。
【００１９】
そこで本実施形態では、２回の学習（２つの学習フェーズ）を通して３次元構造を知識として取り入れつつ、２次元の情報で推定を行う。１回目の学習では、ＣＧ映像とＣＧ映像の付随データ（本実施形態ではモーションデータ）とにより学習を行うことで、３次元の情報を加味した映像とモーションデータによる生成モデルとを自己組織的に構築する。２回目の学習では、実写映像等の１回目とは異なる映像データを用いて付随データ無しの学習を行う。２回目の学習では、欠損している付随データを１回目の学習で獲得した生成モデルを用いて仮説推定し、その推定結果を付随データとして入力することで、３次元構造を推定しながら２次元映像のみからの映像情報による認識を行う。
【００２０】
（第１実施形態）
図１は、１回目の学習（第１の学習フェーズ）を行う情報処理装置である第１の学習装置の説明図である。図２は、第１の学習フェーズをニューラルネットワーク（Neural Network）で行う場合の説明図である。第１の学習装置１００は、ＣＧ映像とそれに付随する情報である付随データとが複数入力され、入力情報をより少ないパラメータで再現できるモデルを生成することができるオートエンコーダに相当するマルチモーダル仮説生成部である。本実施形態では、第１の学習フェーズにおける映像がＣＧによって生成された仮想の映像（ＣＧ映像）であり、付随データはＣＧ映像を作成する際に使用されたボーンデータである。ボーンデータは、関節の角度情報や、関節もしくは体節の位置情報であり、ＣＧオブジェクトの各関節に対して適用することで、ＣＧオブジェクトに所望の姿勢を適用することができるデータである。付随データは、ボーンデータの他に、ＣＧをレンダリングする際に必要なデプスマップによる奥行き情報やテクスチャの情報等、初期学習時には準備できるが実際の計測時には取得できないようなデータであってもよい。
【００２１】
第１の学習装置１００は、ＣＧ映像とそれに同期して付随する情報である付随データとを取得、解析するために、ＣＧ映像入力部１１０、映像特徴量抽出部１２０、付随データ入力部１３０、及び付随データ特徴量抽出部１４０を備える。また、第１の学習装置は、仮説モデル学習部１５０、仮説生成部１６０、映像入出力比較部１７０、付随データ入出力比較部１８０、及びモデル更新部１９０を備える。
【００２２】
ＣＧ映像入力部１１０は、ＣＧ映像２１１を取得する。ＣＧ映像入力部１１０は、ＣＧレンダリングによって作成されたレンダリング画像を元にした映像生成装置となる。
映像特徴量抽出部１２０は、ＣＧ映像入力部１１０で取得したＣＧ映像からＣＧ映像特徴量２２０を抽出する。ＣＧ映像特徴量２２０は、非特許文献１、２で示すようなディープラーニングによるＣＮＮ（Convolutional Neural Network）特徴量や、Dense TrajectoriesやＨＯＧ特徴量などのハンドクラフトな特徴量である。本実施形態では、映像特徴量抽出部１２０は、予め静止画等で学習したConvNetを用いてＣＧ映像特徴量２２０を抽出する。
【００２３】
付随データ入力部１３０は、ＣＧ映像をレンダリングする際に必要となるモーションデータを付随データ２１２として取得する。モーションデータは、各関節の値もしくは関節の角度情報等を含むことが一般的である。本実施形態でもモーションデータは、そのような関節角度情報を含むファイルとして扱う。一般的にモーションデータは、bvh形式、c3d形式等の単独で存在するファイルフォーマットや、fbx形式、VRMLanguage形式等の、形状データも含んだデータ形式も存在する。本実施形態のモーションデータは、c3d形式のような単体のボーンデータである。
【００２４】
付随データ特徴量抽出部１４０は、付随データ２１２から付随データ特徴量２４０を抽出する。ボーンデータが時系列情報であるため、付随データ特徴量抽出部１４０は、周波数解析や成分分析手法等により付随データをヒストグラム化して、付随データ特徴量２４０を抽出することが可能である。周波数解析は、例えばＦＦＴ（Fast Fourier transform）等により行われる。成分分析は、例えばＰＣＡ（Principle Component Analysis）やＩＣＡ（Independent Component Analysis）により行われる。また、付随データ特徴量２４０は、付随データ２１２からConvNet等のディープニューラルネットワーク（Deep Neural Network）を用いて抽出されても良い。本実施形態では、そのままボーンの位置プロファイルを付随データ特徴量２４０として用いる場合について説明する。
【００２５】
仮説モデル学習部１５０は、ＣＧ映像２１１及び付随データ２１２の両方の情報に応じて、人体の行動特徴を抽出して、ＣＧ映像２１１と同一時刻或いは一定時間先の生成モデルを獲得する。本実施形態では、生成モデルの獲得にオートエンコーダによる自己組織化の教師無学習の仕組みを用いるが、これに限定するものではない。入力されたＣＧ映像２１１から付随データ仮説２６２及び映像仮説２６１を正しく推定できるモデルを獲得できる方法であれば、どのような方法であってもよい。例えば、制限付きボルツマンマシン等の確率的な教師無学習の仕組みや、部分空間法やスパースコーディング（Sparce Coding）法等の教師無し、教師有に限らない。ここでの学習方法は、入力にＣＧ映像２１１及び付随データ２１２の両方を用いた学習構造を採用するが、これに限定するものではない。第１の学習フェーズにおける学習方法は、付随データ仮説２６２が最も正しく推定できる手法であればどのような方法でも良く、画像のみの入力に対して付随データ仮説２６２を正しく推定することを優先した手法を用いても良い。第１の学習フェーズでは、映像仮説２６１の推定結果よりも付随データ仮説２６２の推定結果を優先するべきであるため、それぞれの仮説に対して重み付けを行う手法を採用しても良い。
【００２６】
仮説生成部１６０は、仮説モデル学習部１５０により獲得した生成モデルに応じて、入力されたＣＧ映像及び付随データを再現できる仮説である映像仮説２６１及び付随データ仮説２６２を生成する。
映像入出力比較部１７０は、仮説生成部１６０が推定した映像仮説２６１と、入力されたＣＧ映像２１１とを比較する。
付随データ入出力比較部１８０は、仮説生成部１６０が推定した付随データ仮説２６２と入力された付随データ２１２とを比較する。
モデル更新部１９０は、映像入出力比較部１７０及び付随データ入出力比較部１８０による比較結果に応じて、仮説モデル学習部１５０において獲得された生成モデルを修正するためのパラメータを算出する。モデル更新部１９０は、算出したパラメータにより仮説モデル学習部１５０において獲得された生成モデルを修正して、生成モデルを更新する。
【００２７】
本実施形態では、動画像を対象とするために、時系列の情報を獲得するためのＬＳＴＭ（Long Short-Term Memory）を採用し、学習にＢＰＴＴ（Back-Propagation Through Time）を用いる。ＬＳＴＭは、ＲＮＮ（Recurrent Neural Network）の一種である。他にもＣＮＮやＨＭＭ（Hidden Markov Model）等の複数のモーダルの情報を用いてそれぞれの仮説を生成できる仕組みであればどのような方法を用いても良い。
【００２８】
以上のような構成の第１の学習装置１００は、ＣＧ映像２１１をベースにした大量の学習データを用いて、ＣＧ映像入力と付随データ入力とから適切な仮説を生成できる生成モデルを獲得することができる。
【００２９】
図３は、２回目の学習（第２の学習フェーズ）を行う情報処理装置である第２の学習装置の説明図である。図４は、第２の学習フェーズをニューラルネットワークで行う場合の説明図である。第２の学習装置３００は、第１の学習装置１００の映像特徴量抽出部１２０、付随データ特徴量抽出部１４０、仮説モデル学習部１５０、仮説生成部１６０、映像入出力比較部１７０、及び付随データ入出力比較部１８０の構成を流用する。この他に第２の学習装置３００は、実写映像入力部３１０、付随仮説入力部３３０、及びモデル更新部３９０を備える。
【００３０】
実写映像入力部３１０は、ＣＧ映像入力部１１０とは異なり、人の行動映像という同一目的の映像データではあるが、ＣＧ映像とは異なる実写映像４１１を取得する。ＣＧ映像と実写映像との大きな差異は主に画質である。その差異は、ＣＮＮ等のディープラーニングの学習の仕組みにある程度吸収されるものと期待される。
映像特徴量抽出部１２０は、第１の学習装置１００と同一の機能を有し、実写映像入力部３１０が取得した実写映像４１１から実写映像特徴量４２０を抽出する。
【００３１】
付随仮説入力部３３０は、仮説生成部１６０で生成された付随データ仮説２６２を取得する。第２の学習装置３００では入力に実写映像を用いるため、付随データであるモーションデータは存在しない。そのために学習のイテレーションにおいて、初回には付随データが使用されず、実写映像のみが単独で用いられる。
【００３２】
仮説モデル学習部１５０は、第１の学習装置１００にて獲得した生成モデルに対して実写映像４１１を入力する。仮説生成部１６０は、その入力に応じて映像仮説４６１及び付随データ仮説４６２を生成する。第２の学習装置３００では、仮説生成部１６０で生成される付随データ仮説４６２が２回目のインテレーションの入力４１２として付随仮説入力部３３０に入力される。第２の学習装置３００は、モデルを更新することで生成モデルを学習する。その際にモデル更新部３９０は、映像仮説４６１と実写映像４１１とを比較し、比較結果に応じてモデルを更新する。
【００３３】
第１の学習装置１００により、大量に取得可能なＣＧ映像を用いて、その付随データの３次元情報も加味した学習データを生成することができる。第２の学習装置３００により、実写映像及び付随データなしの映像入力に対しても対応できる生成モデルを獲得することができる。第１の学習装置１００及び第２の学習装置３００は、学習装置にとどまらず、映像からモーションデータを生成することが可能な姿勢推定装置としても利用可能である。第１の学習装置１００及び第２の学習装置３００は、それぞれ単体の情報処理装置であってもよいが、１つの情報処理装置であってもよい。第１の学習装置１００及び第２の学習装置３００の各機能ブロックは、ハードウェアにより実現される他に、ＣＰＵ（Central Processing Unit）が所定のコンピュータプログラムを実行することで実現されてもよい。
【００３４】
図５は、第１の学習装置１００による第１の学習フェーズの処理を表すフローチャートである。
【００３５】
第１の学習装置１００は、時刻ｔにおけるＣＧ映像２１１から、ＣＮＮによりＣＧ映像特徴量２２０を抽出する（Ｓ１１０１）。第１の学習装置１００は、ＣＧ映像入力部１１０により時刻ｔにおけるＣＧ映像２１１を取得し、映像特徴量抽出部１２０により該ＣＧ映像２１１からＣＧ映像特徴量２２０を抽出する。
【００３６】
同時に第１の学習装置１００は、時刻ｔにおける付随データ２１２としてＣＧ映像２１１に写るプレイヤの姿勢を生成するために使用したbvhファイル等のモーションデータを取得し、付随データ特徴量２４０を抽出する（Ｓ１１０２）。第１の学習装置１００は、付随データ入力部１３０により時刻ｔにおけるＣＧ映像２１１の付随データ２１２を取得し、付随データ特徴量抽出部１４０により該付随データ２１２から付随データ特徴量２４０を抽出する。本実施形態では、モーションデータの３次元位置情報を、付随データ特徴量２４０として扱う。
【００３７】
第１の学習装置１００は、抽出したＣＧ映像特徴量２２０及び付随データ特徴量２４０を、過去のＬＳＴＭ及び重みと併せて、ＬＳＴＭ２５０へ入力する（Ｓ１１０３）。これにより仮説モデル学習部１５０は、ＣＧ映像特徴量２２０及び付随データ特徴量２４０を取得する。
【００３８】
第１の学習装置１００は、ＬＳＴＭ２５０の重み情報に基づいて、再構成部２６０にて時刻ｔにおける自身の映像仮説２６１及び付随データ仮説２６２をオートエンコーダの仕組みを用いて推定する（Ｓ１１０４）。仮説モデル学習部１５０及び仮説生成部１６０によりこの処理は実行される。本実施形態では、再構成する仮説として映像及び付随データの特徴量を再構成するが、これに限定するものではなく映像や付随データを直接再構成しても良い。
【００３９】
第１の学習装置１００は、再構成した映像仮説２６１及び付随データ仮説２６２に対して、ＣＧ映像特徴量２２０及び付随データ特徴量２４０を教師とした学習と見なして、ＬＳＴＭの重みを更新する（Ｓ１１０５）。映像入出力比較部１７０、付随データ入出力比較部１８０、及びモデル更新部１９０によりこの処理は実行される。
【００４０】
第１の学習装置１００は、映像仮説２６１とＣＧ映像特徴量２２０との誤差、及び付随データ仮説２６２と付随データ特徴量２４０との誤差が、所定の範囲内に収まるまで、オートエンコーダによる重み更新処理を繰り返す（Ｓ１１０６）。第１の学習装置１００は、以上の処理をＣＧ映像の最終フレームまで繰り返し行い、次時刻の入力に対してＬＳＴＭの重みを蓄積することで、自身の状態を推定可能な仮説生成モデルを得る（Ｓ１１０７）。
【００４１】
図６は、第２の学習装置３００による第２の学習フェーズの処理を表すフローチャートである。第２の学習フェーズは、映像入力としてＣＧ映像ではなく実写映像を用いる。そのためにモーションデータなどの付随データは存在せず、映像単体の入力となる。
【００４２】
第２の学習装置３００は、実写映像４１１に対して実写映像特徴量４２０を抽出する（Ｓ１２０１）。第２の学習装置３００は、実写映像入力部３１０により実写映像４１１を取得し、映像特徴量抽出部１２０により該実写映像４１１から実写映像特徴量４２０を抽出する。実写映像４１１には付随データ（モーションデータ）が付随しないため、付随データ特徴量４４０は空となる。
【００４３】
第２の学習装置３００は、第１の学習装置１００において獲得した仮説モデルであるＬＳＴＭ２５０に対して、過去のＬＳＴＭの入力と実写映像特徴量４２０及び空の付随データ特徴量４４０とを入力する（Ｓ１２０２）。これにより仮説モデル学習部１５０は、実写映像特徴量４２０及び空の付随データ特徴量４４０を取得する。
【００４４】
第２の学習装置３００は、ＬＳＴＭ２５０からデコーダを形成することで映像仮説４６１及び付随データ仮説４６２を生成する（Ｓ１２０３）。仮説モデル学習部１５０及び仮説生成部１６０によりこの処理は実行される。第２の学習装置３００は、実写映像４１１から抽出した実写映像特徴量４２０と、映像仮説４６１との比較を行い、その誤差を最小化する仮説モデルであるＬＳＴＭ２５０の更新を行う（Ｓ１２０４）。映像入出力比較部１７０、付随データ入出力比較部１８０、及びモデル更新部３９０によりこの処理は実行される。
【００４５】
第２の学習装置３００は、実写映像４１１から抽出した実写映像特徴量４２０と、映像仮説４６１との誤差が所定の閾値を下回るまで、Ｓ１２０３、Ｓ１２０４の処理を繰り返し行い、仮説モデルであるＬＳＴＭ２５０を更新する（Ｓ１２０５）。第２の学習装置３００は、以上の処理を実写映像の最終フレームまで繰り返し行い、動画シーケンスにおける仮説生成モデルの学習を終了する（Ｓ１２０６）。
【００４６】
（第２実施形態）
第１実施形態では、オートエンコーダによって現時刻の状態を推定する学習を行っている。これに対して第２実施形態では、次時刻の予測器を学習する際に、ＣＧ映像及びその付随データである関節位置データによる学習結果を用い、実写映像による付随データの無い状態からのファインチューン（fine tune）微調整を行う。図７及び図８により第２実施形態の第１の学習装置１００による処理を説明する。
【００４７】
図７は、第１の学習装置１００による第１の学習フェーズの処理を表すフローチャートである。図８は、第１の学習フェーズの説明図である。
【００４８】
第１の学習装置１００は、映像特徴量抽出部１２０によりＣＧ映像入力部１１０で取得したＣＧ映像２１１からＣＧ映像特徴量２２０を抽出する（Ｓ８０１）。ＣＧ映像特徴量２２０は、ConvNet等のディープニューラルネットワークに対してImageNetやCIFAR10等の画像データセットを用いて予め学習を行ったＣＮＮの中間出力に対してsoftmaxをかけたものである。本実施形態では、映像特徴量抽出部１２０は、時刻ｔ〜時刻ｔ-ｎまでの範囲のフレーム画像による映像ボリュームから、ＣＮＮによるＣＧ映像特徴量２２０を抽出する。映像特徴量抽出部１２０は、この時刻範囲の映像特徴量をヒストグラム化したものを、当該時刻範囲におけるＣＧ映像特徴量２２０として抽出する。
【００４９】
第１の学習装置１００は、付随データ入力部１３０によりＳ８０１の処理と同時刻におけるＣＧ映像２１１の付随データ２１２を取得し、付随データ特徴量抽出部１４０により該付随データ２１２から付随データ特徴量２４０を抽出する（Ｓ８０２）。本実施形態では、付随データ特徴量抽出部１４０は、ＣＧ映像２１１をレンダリングする際に使用する人物データの姿勢を定義するボーンデータ（bvh形式やfbx形式等の様々な方式）を付随データとして用いる。この場合、付随データ特徴量抽出部１４０は、映像特徴量抽出部１２０で使用した時系列ボリュームと同範囲の時刻ｔ〜時刻ｔ-ｎまでの範囲の人体モデル関節位置の軌跡に対して、付随データ特徴量を抽出する。付随データ特徴量抽出部１４０は、ＦＦＴにより周波数解析した結果と、ＰＣＡやＩＣＡ等を用いて成分分析した結果と、を付随データ特徴量とする。
【００５０】
第１の学習装置１００は、抽出したＣＧ映像特徴量２２０及び付随データ特徴量２４０をＬＳＴＭ９５０へ入力する（Ｓ８０３）。これにより仮説モデル学習部１５０は、ＣＧ映像特徴量２２０及び付随データ特徴量２４０を取得する。
【００５１】
第１の学習装置１００は、一定時間先（次の時刻単位ｍ先）の時刻ｔ＋ｍにおけるＣＧ映像９１１及び付随データ９１２から抽出したＣＧ映像特徴量９７１及び付随データ特徴量９７２を、過去の時刻分を含めたＬＳＴＭ９５１に入力する（Ｓ８０４）。その際に、仮説モデル学習部１５０は、前時刻のＬＳＴＭ９５０にて学習した出力をそのままＬＳＴＭ９５１の入力に加えて学習を行うことで、過去の状態を踏まえた学習を行うことが可能となる。仮説モデル学習部１５０は、学習をＢＰＴＴにより行い、時系列情報を踏まえたＬＳＴＭの重みを学習する。仮説モデル学習部１５０は、非特許文献３に開示されるLSTM Future Predictor Modelを用いて、ＬＳＴＭの重みを学習する。LSTM Future Predictor
Modelでは、現在の入力ｖ１，ｖ２，ｖ３に対してその次時刻にあたる入力ｖ４，ｖ５，ｖ６を最適に推定するモデルを用いて、ＬＳＴＭの重みを学習する。
【００５２】
第１の学習装置１００は、仮説生成部１６０により、予測部９６０にてそれぞれのＳ８０４の処理における次時刻のＣＧ映像特徴量９７１及び付随データ特徴量９７２の予測値（映像予測値９６１、付随データ予測値９６２）を生成する（Ｓ８０５）。この場合、仮説生成部１６０は、ＬＳＴＭ９４０まで過去Ｋステップ（本実施形態ではＫ＝３）分学習した結果がＬＳＴＭ９５０には格納されているものとして処理を行う。本実施形態では、仮説生成部１６０は、特徴量を予測するが、これに限定するものではなく、入力とまったく同等のＣＧ映像及び付随データを推定しても良い。
【００５３】
第１の学習装置１００は、Ｓ８０４、Ｓ８０５の処理による特徴量の予測を、Ｋステップ後まで行う（Ｓ８０６）。
第１の学習装置１００は、次時刻の入力を教師として重みを更新する（Ｓ８０７）。第１の学習装置１００は、予測部９６０により予測した映像予測値９６１及び付随データ予測値９６２と、時刻ｔ＋ｍに入力されるＣＧ映像９１１から抽出したＣＧ映像特徴量９７１及び付随データ９１２から抽出した付随データ特徴量９７２との誤差を比較する。この比較は、映像入出力比較部１７０及び付随データ入出力比較部１８０により行われる。第１の学習装置１００は、誤差を最小化することでＬＳＴＭの重みを更新する。重みの更新は、モデル更新部１９０により行われる。
【００５４】
第１の学習装置は、Ｋステップ分の予測とその入力に対する誤差が最小となるように仮説生成モデル（ＬＳＴＭ９５０）の重みを更新し、その誤差が閾値を下回るまでＳ８０３〜Ｓ８０７の処理を繰り返す（Ｓ８０８）。第１の学習装置１００は、以上の処理をＣＧ映像の最終フレームまで繰り返し行い、仮説生成モデルの学習を完了する（Ｓ８０９）。
【００５５】
第２の学習フェーズでは、第１の学習フェーズで獲得された仮説生成モデルを用いて、実写映像のみを入力する場合における予測モデルの更新を行う。図９は、第２の学習装置３００による第２の学習フェーズの処理を表すフローチャートである。図１０は、第２の学習フェーズの説明図である。第２の学習フェーズは、入力映像としてＣＧ映像ではなく実写映像を用いる。そのためにモーションデータなどの付随データは存在せず、映像単体の入力となる。仮説生成モデルには、第１の学習フェーズにて獲得したＬＳＴＭ９５０が用いられる。
【００５６】
第２の学習装置３００は、実写映像４１１に対して実写映像特徴量６２１を抽出する（Ｓ５０１）。第２の学習装置３００は、実写映像入力部３１０により実写映像４１１を取得し、映像特徴量抽出部１２０により該実写映像４１１から実写映像特徴量６２１を抽出する。実写映像４１１には付随データ（間接位置情報）が付随しないため、付随データ特徴量６２２は空となる。
【００５７】
第２の学習装置３００は、現フレームまでに第１の学習装置１００において獲得した仮説生成モデルであるＬＳＴＭ９５０の重み情報と、実写映像特徴量６２１及び空の付随データ特徴量６２２を入力する（Ｓ５０２）。これにより仮説モデル学習部１５０は、実写映像特徴量６２１及び空の付随データ特徴量６２２を取得する。
【００５８】
第２の学習装置３００は、仮説生成モデルであるＬＳＴＭ９５０を用いて、映像及び付随データの次時刻ｔ＋ｍにおける映像情報仮説６６１及び付随データ仮説６６２を推定する（Ｓ５０３）。第２の学習装置３００は、この推定処理をＫ回繰り返すことで、時刻ｔ＋（ｋ＊ｍ）までの映像情報仮説６６１及び付随データ仮説６６２を生成する（Ｓ５０４）。第２の学習装置３００は、そのＫ個の映像情報仮説に対して、同時刻における実写映像との比較を行い、その誤差が小さくなるように仮説生成モデルの重みの更新を行う（Ｓ５０５）。
【００５９】
第２の学習装置３００は、Ｋ個の映像情報仮説と、同時刻における実写映像との誤差が所定の閾値を下回るまで、Ｓ５０３〜Ｓ５０５の処理を繰り返し行い、仮説生成モデルを更新する（Ｓ５０６）。第２の学習装置３００は、以上の処理を実写映像の最終フレームまで繰り返し行い、実写映像に対する仮説生成モデルを学習によって獲得する（Ｓ５０７）。
【００６０】
以上の処理により、ＣＧ映像の付随データである関節位置と実写映像によって獲得したＬＳＴＭ（仮説生成モデル）から、実写映像単一の入力のみによる学習にファインチューンすることができる。これにより、実写映像のみから付随データの入力を加味した次時刻の学習を最適化することが可能となる。
【００６１】
（第３実施形態）
第３実施形態では、映像及び付随データの組み合わせに、ＣＧ映像及びとモーションデータを用いない例を説明する。近年、多くのラップトップ型パーソナルコンピュータやスマートフォン等の情報処理装置は、カメラが取り付けられている。この状況に対して、実写映像のみからユーザのバイタル情報を取得する試みがある。バイタル情報を取得するバイタルセンサには、心電計、筋電計、血糖値センサ、脈拍センサ、呼吸センサ、脳波計など、多くのものが販売されている。ユーザがこのようなバイタルセンサを装着することで、ユーザの詳細なバイタル情報を実写映像と同期して取得することが可能である。
【００６２】
実写映像のみでは微細な変化を学習することはできず、専用のバイタルセンサを併用する必要がある。しかし、ユーザは、いつもそのようなセンサを装着することはできない。また、すべてのユーザがバイタルセンサを所有しているとは限らない。装置を販売する側では、両方を装備した状態のデータを取得して学習することで、映像と付随データ（バイタルセンサ値）の両方を取得することが可能であるため、それらのデータを臨床データとして取得することができる。
そこで、第３実施形態では、第１の学習装置１００が、カメラを有する情報処理装置からの実写映像と、バイタルセンサからの付随データ（バイタルセンサ値）と、を用いて、内部表現モデルを学習し、付随データをデコードする。ここでは、具体例として簡易症状診断システムについて説明する。
【００６３】
図１１は、カメラとバイタルセンサとを組み合わせた簡易症状診断システムの説明図である。簡易症状診断システム１１００は、患者１１１０が装着するバイタルセンサ１１３０と、患者を撮影するカメラ１１２０とを含む。糖尿病の患者１１１０を例に、糖尿病の症状として血糖値の変化による低血糖症状の症例を用いて説明する。低血糖状態は、糖尿病患者が薬を飲み間違えた、食事が不規則になった、激しい運動を行った、など日常生活における行動によって引き起こされる状態である。そのために、低血糖状態は、いつ発症するかを予測することが難しく、症状が発生した場合には速やかにインスリン注射などの対処を行う必要がある。患者の血糖状態を常時モニタリングすることは難しく、基本的には採血を行うことが最も確実な方法である。しかし、日常生活に置いて常時採血することはほぼ不可能に近い。
【００６４】
第１の学習フェーズでは、第１の学習装置１００は、バイタルセンサ１１３０を用いて、常時血糖状態をモニタリングする。この際のモニタリング方法はどのような方法でも良く、近赤外を用いる方法や侵襲的に血液を採取する方法などがある。本実施形態では、第１の学習装置１００は、血糖値のモニタリングと同時にビデオカメラ１０２０による実写映像を取得する。
【００６５】
血糖値が急激に変化した場合、交感神経刺激症状として、患者１１１０には、手指の震え、動悸、顔面蒼白、瀕脈、発汗などが発生する。また、中枢神経系のブドウ糖欠乏による症状として、患者１１１０には、頭痛、霞み目、めまい、眠気など様々な症状が表出する。しかし、これらの症状は、例えば更年期障害などの他症状においても発現し、インスリン注射などの糖尿病対応処置を必要としない場合にも顕現する。そこで第１の学習装置１００は、取得した血糖値のモニタリングと実写映像とを合わせた学習を行い、糖尿病の症状を知覚するモデルを生成する。
【００６６】
第２の学習フェーズでは、第２の学習装置３００は、カメラ１１２０から取得する実写映像単体から血糖状態を予測するモデルを生成する。これにより、実写映像のみから患者１１１０の血糖状態を推定することが可能な学習モデルが生成される。学習モデルは、第１実施形態に示す同一時間の予測モデルでも、第２実施形態に示す未来の予測モデルでも、どちらであってもよい。第２の学習装置３００は、付随データを用いずに実写映像のみから付随データの仮説を生成し、該仮説と実写映像とを入力として内部表現モデルを更新することで、映像のみから付随データを予測することが可能な、内部表現モデルを獲得することができる。
【００６７】
以上説明した第１〜第３実施形態では、映像及び付随データというデータセットが予め存在するが、実際に計測する際には映像しか取得することができないような状況に対して、欠損した付随データを適切に予測することができる、という効果がある。
【００６８】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019056957.tif 000003
【図２】
2019056957.tif 000004
【図３】
2019056957.tif 000005
【図４】
2019056957.tif 000006
【図５】
2019056957.tif 000007
【図６】
2019056957.tif 000008
【図７】
2019056957.tif 000009
【図８】
2019056957.tif 000010
【図９】
2019056957.tif 000011
【図１０】
2019056957.tif 000012
【図１１】
2019056957.tif 000013