(57)【要約】【課題】ディープラーニング（深層学習）を用いて異なるモダリティ間でのデータの変換を行うことにより、各種のモダリティを有効活用して、その活用範囲を広げることができるデータ予測装置及びデータ予測方法を提供する。【解決手段】トレーニング時に、第１データ及び第１データに対応する第１データラベルと、第２データ及び第２データに対応する第２データラベルとが対をなして入力されるデータ処理手段１１と、データ処理手段１１で処理されたデータに基づいて予め機械学習を行う機械学習手段１２とを備え、テスト時に、データ処理手段１１に入力されるテスト時第１データをデータ処理手段１１で処理し、第１予測部１４によりテスト時第１データと対となる第２データを予測する。【選択図】図２
2020061145.tif 000002
【特許請求の範囲】
【請求項１】
トレーニング時に、第１データ及び該第１データに対応する第１データラベルと、第２データ及び該第２データに対応する第２データラベルとが、入出力ペアとして対をなして入力されることにより機械学習を行い、テスト時に、入力されるテスト時第１データと、前記トレーニング時に予め学習された学習結果とに基づいてデータ予測を行うデータ予測装置であって、
データ処理手段と、機械学習手段とを有し、
前記第１データ及び前記テスト時第１データは、第１デバイスが第１の測定方法によって取得した測定対象に関する時系列のデータであり、前記第２データは、第２デバイスが第２の測定方法によって取得した前記測定対象に関する時系列のデータであり、
前記データ処理手段は、前記トレーニング時に、前記第１データ及び前記第２データそれぞれの中から、予め設定した複数の時間帯におけるデータである複数の部分第１データ及び複数の部分第２データを抽出してそれぞれを複数のクラスタに変換し、前記部分第１データが属する前記各クラスタに、該各クラスタを識別する識別子を付与して第１識別子の列を作成し、前記部分第２データが属する前記各クラスタに、該各クラスタを識別する識別子を付与して前記第１識別子の列と対になる第２識別子の列を作成すると共に、前記テスト時に、入力される前記テスト時第１データの中から、予め設定した複数の時間帯におけるデータである複数のテスト時部分第１データを抽出して複数のクラスタに変換し、前記テスト時部分第１データが属する前記各クラスタに、該各クラスタを識別する識別子を付与してテスト時第１識別子の列を作成するデータ変換部を備え、
前記機械学習手段は、前記トレーニング時に前記第１識別子の列と前記第２識別子の列に基づいて機械学習を行い、前記テスト時に、前記テスト時第１識別子の列が示す情報と、前記トレーニング時に予め学習された学習結果とに基づき、第１の機械学習のアルゴリズムによって、前記テスト時第１識別子の列と対になる第２識別子の列を予測する第１予測部を備えたことを特徴とするデータ予測装置。
【請求項２】
請求項１記載のデータ予測装置において、前記測定対象は可動物であり、前記第１データ、前記第２データ及び前記テスト時第１データは、前記測定対象の動作に関するデータであることを特徴とするデータ予測装置。
【請求項３】
請求項２記載のデータ予測装置において、前記測定対象は人、動物又はロボットのいずれかであることを特徴とするデータ予測装置。
【請求項４】
請求項１〜３のいずれか１記載のデータ予測装置において、前記第１の機械学習のアルゴリズムは、エンコーダデコーダアーキテクチャであることを特徴とするデータ予測装置。
【請求項５】
請求項４に記載のデータ予測装置において、前記エンコーダデコーダアーキテクチャは、ＬＳＴＭであることを特徴とするデータ予測装置。
【請求項６】
請求項１〜５のいずれか１記載のデータ予測装置において、前記第１データ、前記テスト時第１データ又は前記第２データが二次元画像の時系列のデータである時に、前記データ処理手段は、前記第１データ、前記テスト時第１データ又は前記第２データから個々に特徴量を抽出してこれらを時系列に並べ、第１時間帯データ、テスト時第１時間帯データ又は第２時間帯データとして構成することを特徴とするデータ予測装置。
【請求項７】
請求項６記載のデータ予測装置において、前記第１時間帯データ、前記テスト時第１時間帯データ又は前記第２時間帯データは、スライディングウィンドウの実行によって抽出することを特徴とするデータ予測装置。
【請求項８】
請求項１〜７のいずれか１記載のデータ予測装置において、前記第１予測部は、Ｌｅｎｇｔｈ  Ａｔｔｅｎｔｉｏｎのアルゴリズムに基づいて、前記各テスト時部分第１データの大きさにより、前記テスト時第１識別子の列と対になる第２識別子の列の大きさに制約をかけながら、該第２識別子の列を予測することを特徴とするデータ予測装置。
【請求項９】
請求項１〜７のいずれか１記載のデータ予測装置において、前記第１予測部は、Ｇｌｏｂａｌ  Ａｔｔｅｎｔｉｏｎのアルゴリズムに基づいて、前記テスト時第１識別子の列と対になる第２識別子の列を予測することを特徴とするデータ予測装置。
【請求項１０】
請求項１〜７のいずれか１記載のデータ予測装置において、前記第１予測部は、Ｍｕｌｔｉ−Ｓｃａｌｅ  Ｆｅａｔｕｒｅ  Ｐｙｒａｍｉｄのアルゴリズムに基づいて、前記テスト時第１識別子の列と対になる第２識別子の列を予測することを特徴とするデータ予測装置。
【請求項１１】
請求項１〜１０のいずれか１記載のデータ予測装置において、前記テスト時に、前記第１予測部で予測した第２識別子の列に対応する前記各クラスタを前記データ処理手段で第２データに逆変換することを特徴とするデータ予測装置。
【請求項１２】
請求項１〜１０のいずれか１記載のデータ予測装置において、前記テスト時に、前記機械学習手段は、前記第１予測部で予測した第２の識別子の列が示す情報と、前記トレーニング時に予め学習された学習結果とに基づき、第２の機械学習のアルゴリズムによって、前記テスト時第１識別子の列と対になる第２識別子の列に対応する第１データラベル又は第２データラベルを予測する第２予測部を備えたことを特徴とするデータ予測装置。
【請求項１３】
請求項１２記載のデータ予測装置において、前記第２の機械学習のアルゴリズムは、Ｍｕｌｔｉｐｌｅ  Ｉｎｓｔａｎｃｅ  Ｌｅａｒｎｉｎｇであることを特徴とするデータ予測装置。
【請求項１４】
請求項１〜１３のいずれか１記載のデータ予測装置において、前記第２データが多次元のデータであれば、前記トレーニング時に、前記第２データを１次元ずつに分解して機械学習を行うことを特徴とするデータ予測装置。
【請求項１５】
トレーニング時に、入出力ペアとして対をなす第１データ及び該第１データに対応する第１データラベルと、第２データ及び該第２データに対応する第２データラベルとに基づいて機械学習を行い、テスト時に、テスト時第１データと、前記トレーニング時に予め学習された学習結果とに基づいてデータ予測を行うデータ予測方法であって、
前記第１データ及び前記テスト時第１データは、第１デバイスが第１の測定方法によって取得した測定対象に関する時系列のデータであり、前記第２データは、第２デバイスが第２の測定方法によって取得した前記測定対象に関する時系列のデータであり、
前記トレーニング時に、前記第１データ及び前記第２データそれぞれの中から、予め設定した複数の時間帯におけるデータである複数の部分第１データ及び複数の部分第２データを抽出してそれぞれを複数のクラスタに変換し、前記部分第１データが属する前記各クラスタに、該各クラスタを識別する識別子を付与して第１識別子の列を作成し、前記部分第２データが属する前記各クラスタに、該各クラスタを識別する識別子を付与して前記第１識別子の列と対になる第２識別子の列を作成するトレーニング時データ変換工程と、
前記トレーニング時に、前記第１識別子の列と前記第２識別子の列に基づいて機械学習を行う機械学習工程と、
前記テスト時に、前記テスト時第１データの中から、予め設定した複数の時間帯におけるデータである複数のテスト時部分第１データを抽出して複数のクラスタに変換し、前記テスト時部分第１データが属する前記各クラスタに、該各クラスタを識別する識別子を付与してテスト時第１識別子の列を作成するテスト時データ変換工程と、
前記テスト時に、前記テスト時第１識別子の列が示す情報と、前記機械学習工程で予め学習された学習結果とに基づき、第１の機械学習のアルゴリズムによって、前記テスト時第１識別子の列と対になる第２識別子の列を予測する第１予測工程とを備えたことを特徴とするデータ予測方法。
【請求項１６】
請求項１５記載のデータ予測方法において、前記テスト時に、前記第１予測工程で予測した第２識別子の列に対応する前記各クラスタを第２データに逆変換するデータ復元工程を備えたことを特徴とするデータ予測方法。
【請求項１７】
請求項１５記載のデータ予測方法において、前記テスト時に、前記第１予測工程で予測した第２識別子の列が示す情報と、前記機械学習工程で予め学習された学習結果とに基づき、第２の機械学習のアルゴリズムによって、前記テスト時第１識別子の列と対になる第２識別子の列に対応する第１データラベル又は第２データラベルを予測する第２予測工程を備えたことを特徴とするデータ予測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ予測装置及びデータ予測方法に関し、特に、ディープラーニング（深層学習）を用いた異なるモダリティ（センサ、計測手段等のデバイス）間でのデータの変換（翻訳）及びアクティビティ（行動）認識（データ予測）に関する。
【背景技術】
【０００２】
ディープラーニングのアーキテクチャは、アクティビティ認識のための複数のモダリティの処理を容易にする可能性がある。ここで、モダリティとは、ターゲット（測定対象）を観察することによって各種のデータ（情報）を取得するデバイスであり、例えば、加速度センサ、モーションキャプチャ、ビデオカメラ等を挙げることができる。これらの異なるモダリティ間のデータの変換として、例えば、３軸位置データと慣性計測装置（ＩＭＵ）の３軸加速度データとの３次元信号間での変換が考えられている。
また、ディープラーニングにおける変換としては、ソース−ターゲット表現間の機械翻訳のためのエンコーダデコーダアーキテクチャが知られている。そして、ソース側を画像内のオブジェクト表現に置き換えた画像キャプション生成システムも考えられている。
一方、例えば特許文献１には、車両内を撮影した車内画像を基に機械学習を行い、車両内乗員の行動を認識する行動認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７-２１５８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えばビデオカメラのように、測定対象の動作を直接的（視覚的）に捉えることが可能なモダリティであれば、取得したデータから直ちに測定対象の動作を把握することができるが、プライバシーの問題等でビデオカメラが設置できない場合には、動作の把握が困難になる。また、１つの測定対象に対し、異なる複数のモダリティでデータを取得することにより、測定対象の動作確認等を行っている場面では、いずれかのモダリティの故障や動作不良等によりデータが取得できない場合や、いずれかのモダリティのデータが破損した場合に、動作確認できなくなるおそれがある。さらに、あるモダリティのデータのみが保存されていてラベル付けされていない（データの内容が不明である）場合、そのままではデータを活用することや整理することができない。
そこで、１つのモダリティのデータを基に他のモダリティのデータを予測することや予測したデータから更にアクティビティ（行動）認識を行うことができれば、各種のモダリティの活用範囲を広げることや様々なモダリティのデータを有効活用することが可能になる。
【０００５】
本発明は、かかる事情に鑑みてなされたもので、ディープラーニング（深層学習）を用いて異なるモダリティ間でのデータの変換を行うことにより、各種のモダリティを有効活用して、その活用範囲を広げることができるデータ予測装置及びデータ予測方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的に沿う第１の発明に係るデータ予測装置は、トレーニング時に、第１データ及び該第１データに対応する第１データラベルと、第２データ及び該第２データに対応する第２データラベルとが、入出力ペアとして対をなして入力されることにより機械学習を行い、テスト時に、入力されるテスト時第１データと、前記トレーニング時に予め学習された学習結果とに基づいてデータ予測を行うデータ予測装置であって、
データ処理手段と、機械学習手段とを有し、
前記第１データ及び前記テスト時第１データは、第１デバイスが第１の測定方法によって取得した測定対象に関する時系列のデータであり、前記第２データは、第２デバイスが第２の測定方法によって取得した前記測定対象に関する時系列のデータであり、
前記データ処理手段は、前記トレーニング時に、前記第１データ及び前記第２データそれぞれの中から、予め設定した複数の時間帯におけるデータである複数の部分第１データ及び複数の部分第２データを抽出してそれぞれを複数のクラスタに変換し、前記部分第１データが属する前記各クラスタに、該各クラスタを識別する識別子を付与して第１識別子の列を作成し、前記部分第２データが属する前記各クラスタに、該各クラスタを識別する識別子を付与して前記第１識別子の列と対になる第２識別子の列を作成すると共に、前記テスト時に、入力される前記テスト時第１データの中から、予め設定した複数の時間帯におけるデータである複数のテスト時部分第１データを抽出して複数のクラスタに変換し、前記テスト時部分第１データが属する前記各クラスタに、該各クラスタを識別する識別子を付与してテスト時第１識別子の列を作成するデータ変換部を備え、
前記機械学習手段は、前記トレーニング時に前記第１識別子の列と前記第２識別子の列に基づいて機械学習を行い、前記テスト時に、前記テスト時第１識別子の列が示す情報と、前記トレーニング時に予め学習された学習結果とに基づき、第１の機械学習のアルゴリズムによって、前記テスト時第１識別子の列と対になる第２識別子の列（以下、「予測第２識別子の列」ともいう）を予測する第１予測部を備える。
【０００７】
ここで、第１デバイス及び第２デバイスは、それぞれモダリティの一種であり、各種のセンサ若しくは計測手段である。具体的には、加速度センサ、モーションキャプチャ及びビデオカメラ等が挙げられるが、これらに限定されるものではなく、組合せも適宜、選択することができる。第１デバイス及び第２デバイスは、第１の測定方法及び第２の測定方法で測定対象に関する時系列のデータである第１データ及び第２データを取得する。第１データと第２データは入出力ペアとして対をなすものであり、トレーニング時に第１データ及び第１データに対応する第１データラベルを入力データとし、第２データ及び第２データに対応する第２データラベルを出力データとして機械学習を行う。テスト時第１データは、第１データと同様に、第１デバイスが第１の測定方法で取得した測定対象に関する時系列のデータであり、このテスト時第１データがテスト時に入力された時に、機械学習の結果に基づいてテスト時第１データと対をなす第２データ（実際には測定されていない第２デバイスによる測定データ）を予測することができる。
機械学習の前処理として、入力されたデータの中から特性の似た要素を得るために、データから複数の部分データを抽出して複数のクラスタに変換する。このとき、各部分データは、データを予め設定した複数の時間帯に区切って得られるが、オーバーラップする部分があってもよい。このとき、第１データ及び第２データから複数の部分第１データ及び複数の部分第２データを抽出する際のそれぞれの時間帯は一致している。なお、第１識別子の列に含まれる第１識別子の数と、第２識別子の列に含まれる第２識別子の数は必ずしも一致するとは限らない。
クラスタの大きさは、例えば１００〜１００００であるが、この範囲に限定されるものではなく、選択パラメータによっても変化する（以上、第１、第２の発明において同じ）。
【０００８】
第１の発明に係るデータ予測装置において、前記測定対象は可動物であり、前記第１データ、前記第２データ及び前記テスト時第１データは、前記測定対象の動作に関するデータであることが好ましい。
ここで、可動物は動作を行うものであればよく、人や動物等の自然物でもよいし、車やロボット等の人工物でもよい。（以上、第１、第２の発明において同じ）。
【０００９】
第１の発明に係るデータ予測装置において、前記測定対象は人、動物又はロボットのいずれかであることがさらに好ましい。
【００１０】
第１の発明に係るデータ予測装置において、前記第１の機械学習のアルゴリズムは、エンコーダデコーダアーキテクチャとすることができる。
【００１１】
第１の発明に係るデータ予測装置において、前記エンコーダデコーダアーキテクチャは、ＬＳＴＭ（Ｌｏｎｇ  ｓｈｏｒｔ  ｔｅｒｍ  ｍｅｍｏｒｙ）若しくはそれと同等であることが好ましい。
【００１２】
第１の発明に係るデータ予測装置において、前記第１データ、前記テスト時第１データ又は前記第２データが二次元画像の時系列のデータである時に、前記データ処理手段は、前記第１データ、前記テスト時第１データ又は前記第２データから個々に特徴量を抽出してこれらを時系列に並べ、第１時間帯データ、テスト時第１時間帯データ又は第２時間帯データとして構成することが好ましい。
【００１３】
第１の発明に係るデータ予測装置において、前記第１時間帯データ、前記テスト時第１時間帯データ又は前記第２時間帯データは、スライディングウィンドウの実行によって抽出することができる。
【００１４】
第１の発明に係るデータ予測装置において、前記第１予測部は、Ｌｅｎｇｔｈ  Ａｔｔｅｎｔｉｏｎのアルゴリズムに基づいて、前記各テスト時部分第１データの大きさにより、前記テスト時第１識別子の列と対になる第２識別子の列の大きさに制約をかけながら、該第２識別子の列を予測することが好ましい。
【００１５】
第１の発明に係るデータ予測装置において、前記第１予測部は、Ｇｌｏｂａｌ  Ａｔｔｅｎｔｉｏｎのアルゴリズムに基づいて、前記テスト時第１識別子の列と対になる第２識別子の列を予測することができる。
【００１６】
第１の発明に係るデータ予測装置において、前記第１予測部は、Ｍｕｌｔｉ−Ｓｃａｌｅ  Ｆｅａｔｕｒｅ  Ｐｙｒａｍｉｄのアルゴリズムに基づいて、前記テスト時第１識別子の列と対になる第２識別子の列を予測することもできる。
【００１７】
第１の発明に係るデータ予測装置において、前記テスト時に、前記第１予測部で予測した第２識別子の列に対応する前記各クラスタを前記データ処理手段で第２データに逆変換することが好ましい。
第１予測部で予測した第２の識別子の列に対応する各クラスタを第２データに逆変換することにより、テスト時第１データを実際には測定していない第２データに変換（翻訳）して利用することができる。
【００１８】
第１の発明に係るデータ予測装置において、前記テスト時に、前記機械学習手段は、前記第１予測部で予測した第２の識別子の列が示す情報と、前記トレーニング時に予め学習された学習結果とに基づき、第２の機械学習のアルゴリズムによって、前記テスト時第１識別子の列と対になる第２識別子の列に対応する第１データラベル又は第２データラベルを予測する第２予測部を備えてもよい。
第１予測部で予測した第２の識別子の列から、さらに第２予測部によって第１データラベル又は第２データラベルを予測することにより、テスト時第１データの内容を容易に把握することができる。
ここで、予測第２識別子の列からは、その基となる第２データに対応した第２データラベルを予測することができる。また、第１データ及び第１データラベルと第２データ及び第２データラベルは対をなしているので、第２データラベルの代わりに第１データラベルを予測して利用することもできる。
【００１９】
第１の発明に係るデータ予測装置において、前記第２の機械学習のアルゴリズムは、Ｍｕｌｔｉｐｌｅ  Ｉｎｓｔａｎｃｅ  Ｌｅａｒｎｉｎｇとすることができる。
【００２０】
第１の発明に係るデータ予測装置において、前記第２データが多次元のデータであれば、前記トレーニング時に、前記第２データを１次元ずつに分解して機械学習を行うことが好ましい。
【００２１】
前記目的に沿う第２の発明に係るデータ予測方法は、トレーニング時に、入出力ペアとして対をなす第１データ及び該第１データに対応する第１データラベルと、第２データ及び該第２データに対応する第２データラベルとに基づいて機械学習を行い、テスト時に、テスト時第１データと、前記トレーニング時に予め学習された学習結果とに基づいてデータ予測を行うデータ予測方法であって、
前記第１データ及び前記テスト時第１データは、第１デバイスが第１の測定方法によって取得した測定対象に関する時系列のデータであり、前記第２データは、第２デバイスが第２の測定方法によって取得した前記測定対象に関する時系列のデータであり、
前記トレーニング時に、前記第１データ及び前記第２データそれぞれの中から、予め設定した複数の時間帯におけるデータである複数の部分第１データ及び複数の部分第２データを抽出してそれぞれを複数のクラスタに変換し、前記部分第１データが属する前記各クラスタに、該各クラスタを識別する識別子を付与して第１識別子の列を作成し、前記部分第２データが属する前記各クラスタに、該各クラスタを識別する識別子を付与して前記第１識別子の列と対になる第２識別子の列を作成するトレーニング時データ変換工程と、
前記トレーニング時に、前記第１識別子の列と前記第２識別子の列に基づいて機械学習を行う機械学習工程と、
前記テスト時に、前記テスト時第１データの中から、予め設定した複数の時間帯におけるデータである複数のテスト時部分第１データを抽出して複数のクラスタに変換し、前記テスト時部分第１データが属する前記各クラスタに、該各クラスタを識別する識別子を付与してテスト時第１識別子の列を作成するテスト時データ変換工程と、
前記テスト時に、前記テスト時第１識別子の列が示す情報と、前記機械学習工程で予め学習された学習結果とに基づき、第１の機械学習のアルゴリズムによって、前記テスト時第１識別子の列と対になる第２識別子の列を予測する第１予測工程とを備える。
【００２２】
第２の発明に係るデータ予測方法において、前記テスト時に、前記第１予測工程で予測した第２識別子の列に対応する前記各クラスタを第２データに逆変換するデータ復元工程を備えることが好ましい。
【００２３】
第２の発明に係るデータ予測方法において、前記テスト時に、前記第１予測工程で予測した第２識別子の列が示す情報と、前記機械学習工程で予め学習された学習結果とに基づき、第２の機械学習のアルゴリズムによって、前記テスト時第１識別子の列と対になる第２識別子の列に対応する第１データラベル又は第２データラベルを予測する第２予測工程を備えてもよい。
【発明の効果】
【００２４】
第１の発明に係るデータ予測装置及び第２の発明に係るデータ予測方法は、対をなす第１データ及び第１データに対応する第１データラベルと、第２データ及び第２データに対応する第２データラベルとに基づいて予め機械学習を行い、第１データの取得に用いられた第１デバイスで新たに取得されたテスト時第１データから、対となる第２データを予測することができる。更には必要によりテスト時第１データが示す内容を予測する（テスト時第１データに対応するデータラベルを予測する）こともできる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施の形態に係るデータ予測装置の構成及びトレーニング時の動作を示すブロック図である。
【図２】同装置の構成及びテスト時の動作を示すブロック図である。
【図３】同装置で用いるデータ処理手段の説明図である。
【図４】本発明の第２の実施の形態に係るデータ予測装置の構成及びトレーニング時の動作を示すブロック図である。
【図５】同装置の構成及びテスト時の動作を示すブロック図である。
【図６】同装置で用いる機械学習手段の説明図である。
【発明を実施するための形態】
【００２６】
続いて、本発明を具体化した実施の形態について説明し、本発明の理解に供する。
本発明の第１の実施の形態に係るデータ予測装置１０及びデータ予測方法は、図１、図２に示すように、トレーニング時に、入出力ペアとして対をなす第１データ及び第１データに対応する第１データラベル（ラベル付きの第１データ）と、第２データ及び第２データに対応する第２データラベル（ラベル付きの第２データ）とに基づいて予め機械学習を行い、テスト時（実行時又は使用時）に、テスト時第１データ（ラベル無し）と、トレーニング時の機械学習の学習結果から、テスト時第１データと対となる第２データを予測するものである。
なお、第１データ及びテスト時第１データは、第１デバイスが第１の測定方法によって取得した測定対象に関する時系列のデータであり、第２データは、第２デバイスが第２の測定方法によって取得した測定対象に関する時系列のデータである。
【００２７】
データ予測装置１０は、図１、図２に示すように、データ処理手段１１と、機械学習手段１２を有している。データ処理手段１１はデータ変換部１３を備えており、トレーニング時に、入力された第１データの中から、予め設定した複数の時間帯におけるデータである複数の部分第１データを抽出して複数のクラスタに変換（クラスタリング）する。そして、部分第１データが属する各クラスタに、各クラスタを識別する識別子を付与して第１識別子の列を作成する。同様に、第２データの中から、予め設定した複数の時間帯におけるデータである複数の部分第２データを抽出して複数のクラスタに変換（クラスタリング）する。そして、部分第２データが属する各クラスタに、各クラスタを識別する識別子を付与して第１識別子の列と対になる第２識別子の列を作成する（以上、トレーニング時データ変換工程）。
【００２８】
また、データ変換部１３は、テスト時に、テスト時第１データが入力された際にも、上記と同様に、入力されたテスト時第１データの中から、予め設定した複数の時間帯におけるデータである複数のテスト時部分第１データを抽出して複数のクラスタに変換（クラスタリング）する。そして、テスト時部分第１データが属する各クラスタに、各クラスタを識別する識別子を付与してテスト時第１識別子の列を作成する（以上、テスト時データ変換工程）。
【００２９】
以下、図３により、データ処理手段１１について、測定対象を人（可動物の一例）とし、第１デバイス及び第２デバイスをそれぞれ加速度センサ（ＡＣＣＥＬＥＲＯＭＥＴＥＲ）、モーションキャプチャ（ＭＯＣＡＰ）又はビデオカメラ（ＶＩＤＥＯ）のいずれかとして、人の動作に関するデータを取得する場合を説明する。なお、第１デバイス及び第２デバイスは異なる方法（第１の測定方法及び第２の測定方法）で測定対象に関する時系列のデータを取得するものであればよく、その組合せは適宜、選択することができる。例えば、上記の３種類のデバイスの中から第１デバイス及び第２デバイスをそれぞれ選択すれば、６通りのパターンが考えられる。
【００３０】
第１デバイス又は第２デバイスとして加速度センサを用いる場合、例えば測定対象である人の身体の６箇所に３軸加速度センサを装着してデータを取得すれば、そのデータの信号は、１８次元の空間表現と３０Ｈｚの時間的表現を含んだ形式となる。つまり、１８次元の実測値ベクトル（図３中のデータ処理手段１１を示す枠の中段）が、加速度センサの表現となる。
光学式のモーションキャプチャを用いる場合、例えば測定対象である人の身体にある１２９箇所のキーポイント（特徴点）の位置（座標）をデータとして取得すれば、そのデータの信号は、１２９次元の空間表現と４８０Ｈｚの時間的表現を含んだ形式となる。この１２９次元の実測値ベクトルが、モーションキャプチャの表現となる。
【００３１】
第１デバイス又は第２デバイスとしてビデオカメラを用いる場合、撮影によって得られるデータは、二次元画像の時系列のデータであるため、ウィンドウ部１６でそれらの中から測定対象である人の姿勢表現（特徴量）を抽出する必要がある。具体的には、第１データ、テスト時第１データ又は第２データが二次元画像の時系列のデータである時に、第１データ、テスト時第１データ又は第２データから個々に特徴量を抽出してこれらを時系列に並べ、第１時間帯データ、テスト時第１時間帯データ又は第２時間帯データとして構成する。このウィンドウ部１６は、スライディングウィンドウの実行によって特徴量を抽出することができる。ここで、例えば、静止画から人の関節等の位置を抽出する技術（手法）であるＯｐｅｎ  Ｐｏｓｅを用いることにより、測定対象である人の身体にある４８箇所のポイントを抽出することができる。そして、各ポイントの位置（座標）をデータとして取得すれば、そのデータの信号は、４８次元の空間表現と２０Ｈｚの時間的表現を含んだ形式となる。この４８次元の姿勢ベクトルが、ビデオカメラの表現となる。なお、ウィンドウ部１６は、第１データ、テスト時第１データ又は第２データが二次元画像の時系列のデータである時に必要であるが、それ以外では不要である。また、ウィンドウ部１６では、二次元画像の時系列のデータの中から特徴量を抽出することができればよく、Ｏｐｅｎ  Ｐｏｓｅ以外の技術（手法）を用いてもよい。
以上のようにして得られたデータを先に説明したように、データ変換部１３で複数のクラスタに変換（クラスタリング）して、各クラスタに識別子を付与することにより、識別子の列が得られる。
データ変換部１３では、クラスタリングの手法としてアフィニティプロパゲーションが好適に用いられるが、これに限定されるものではない。
【００３２】
機械学習手段１２は、トレーニング時に第１識別子の列と第２識別子の列に基づいて機械学習を行う。図１に示すように、第１識別子の列（ｚ）を第１予測部１４に入力することによって予測される第２識別子の列（ｙ）と、第１識別子の列（ｚ）に対応する実際の第２識別子の列（ｙａ）とを比較した時の誤差を小さくするようにパラメータを変更しながら繰り返し予測し直すことにより、パラメータが決定される（以上、機械学習工程）。
その後、図２に示すように、テスト時に、データ処理手段１１にテスト時第１データが入力されると、先に説明したように、データ変換部１３でデータの変換（テスト時データ変換工程）が行われ、作成されたテスト時第１識別子の列（ｚ）が第１予測部１４に入力される。そして、第１予測部１４は、テスト時第１識別子の列が示す情報と、トレーニング時に予め学習された学習結果とに基づき、第１の機械学習のアルゴリズム（図６参照）によって、テスト時第１識別子の列と対になる第２識別子の列（予測第２識別子の列）（ｙ）を予測することができる（第１予測工程）。この第１予測部１４で用いられる第１の機械学習のアルゴリズムの詳細については、後述する。
なお、トレーニング時及びテスト時に、第１予測部１４で予測した第２の識別子の列に対応する各クラスタをデータ処理手段１１で第２データに逆変換して、予測された第２データを得ることができる（データ復元工程）。つまり、データ予測装置１０により、テスト時第１データを実際には測定していない第２データに変換（翻訳）することができる。
【００３３】
従って、例えば、病院や介護施設等で患者や要介護者の見守りを行う場合、風呂やトイレにはビデオカメラを設置することができないが、第１デバイスを加速度センサとし、第２デバイスをビデオカメラとして、人の様々な動きについてトレーニングを行っておけば、テスト時（実際にデータ予測装置１０を使用する場合）には、対象者に取付けた第１デバイス（加速度センサ）で取得されたテスト時第１データを基に、対象者の動きに対応したビデオカメラの映像を得ることができ、直ちに対象者の動きを確認することができる。これにより、ビデオカメラを設置しなくても、対象者の転倒等を把握して対処することが可能となる。また、第１デバイスで取得したデータ（数値やグラフ等）を見ただけでは、測定対象の動きを把握することが困難な場合でも、第２デバイスのデータ（映像等）に変換（翻訳）することにより、直感的に測定対象の動きを把握することが可能となり、各種デバイスで取得したデータの処理能力の向上やデータ活用範囲の拡大に役立てることができる。
【００３４】
次に、本発明の第２の実施の形態に係るデータ予測装置２０及びデータ予測方法について説明する。なお、第１の実施の形態と同様のものについては同一の符号を付して説明を省略する。
図４、図５に示すデータ予測装置２０がデータ予測装置１０と異なる点は、機械学習手段２１が第１予測部１４に加え、第２予測部２２を備えている点である。
第２予測部２２は、テスト時に、第１予測部１４で予測した第２の識別子の列が示す情報と、トレーニング時に予め学習された学習結果とに基づき、第２の機械学習のアルゴリズム（図６参照）によって、テスト時第１識別子の列と対になる第２識別子の列に対応する第２データラベルを予測するものである。
【００３５】
第２予測部２２以外はデータ予測装置１０と同様なので、ここでは、第２予測部２２のみについて説明する。
トレーニング時には、図４に示すように、第１予測部１４から出力される第２識別子の列（ｙ）が第２予測部２２に入力されることによって予測される第２データラベル（ｕ）と、トレーニング時に入力された第２データに対応する実際の第２データラベル（ｕａ）とを比較した時の誤差を小さくするようにパラメータを変更しながら繰り返し予測し直すことにより、パラメータが決定される（＝学習）。
そして、テスト時には、図５に示すように、第１予測部１４で予測された第２の識別子の列（ｙ）が示す情報と、トレーニング時に予め学習された学習結果とに基づき、第２の機械学習のアルゴリズム（図６参照）によって、テスト時第１識別子の列と対になる第２識別子の列に対応する第２データラベルを予測することができる（第２予測工程）。この第２予測部２２で用いられる第２の機械学習のアルゴリズムの詳細については、後述する。
このように第２データラベルが予測されることにより、テスト時第１データの内容を直ちに把握することができる。
本実施の形態では、第２予測部２２（第２予測工程）で、テスト時第１識別子の列と対になる第２識別子の列に対応する第２データラベルを予測する場合について説明したが、トレーニング時に、第１データ及び第１データに対応する第１データラベルと、第２データ及び第２データに対応する第２データラベルとを対をなす入出力ペアとして機械学習を行っているので、第２データラベルの代わりに、テスト時第１識別子の列に対応する第１データラベルを予測することも可能である。
【００３６】
以下、第１の機械学習のアルゴリズムについて説明する。
第１の機械学習のアルゴリズムとして、エンコーダデコーダアーキテクチャが好適に用いられる。
ＲＮＮ（再帰（リカレント）型ニューラルネットワーク）エンコーダデコーダアーキテクチャは、（ａ）各ソース文の表現ｃを計算するＲＮＮエンコーダと、（ｂ）一度に一つのターゲットワードを生成し、条件付き確率を分解するＲＮＮデコーダからなっている。ソース文をｘｉ（＝｛ｘ１，・・・，ｘｎ｝）とし、ｘｉに対応するターゲット文をｙｉ（＝｛ｙ１，・・・，ｙｍ｝）とすると、エンコーダデコーダアーキテクチャは次式（１）に示すように、ソース文をターゲット文に変換する条件付き確率ｐ（ｙ｜ｘ）を計算する。
【００３７】
【数１】
2020061145.tif 000003
【００３８】
ＲＮＮエンコーダは、次式（２）に示すように、前の隠れ状態ｈｊ−１と現在の入力ｘｊから、現在の隠れ状態ｈｊを計算する。
【００３９】
【数２】
2020061145.tif 000004
【００４０】
ここでＲＮＮｅｎｃはＲＮＮユニットを示し、各ソース文｛ｘ０，・・・，ｘｔ｝の表現ｃを生成する。ＲＮＮデコーダは、次式（３）により、表現ｃを有する前の隠れ状態から、現在の隠れ状態ｈｊを計算する。
【００４１】
【数３】
2020061145.tif 000005
【００４２】
ここで、ＲＮＮｄｅｃは条件付きＲＮＮユニットを示す。コスト関数は、次式（４）に示す通りである。
【００４３】
【数４】
2020061145.tif 000006
【００４４】
ここで、Ｍは並列コーパスの大きさである。
エンコーダデコーダアーキテクチャは、ＲＮＮの一種であるＬＳＴＭであることが好ましいが、これに限定されるものではない。
【００４５】
次に、第１予測部１４で用いられるＧｌｏｂａｌ  Ａｔｔｅｎｔｉｏｎ（グローバルアテンション）のアルゴリズムについて説明する。
グローバルアテンションモデルにおけるアライメントベクトルａｙは、次式（５）で示され、ソース側のタイムステップの数に等しい可変長を有する。
【００４６】
【数５】
2020061145.tif 000007
【００４７】
スコアは、次式（６）で示すように、ｃｏｎｔｅｎｔ−ｂａｓｅｄの関数である。
【００４８】
【数６】
2020061145.tif 000008
【００４９】
ここで、初期アライメントａｔは、ソフトマックス（Ｗａｈｄｅｃ）により計算される。
【００５０】
次に、第１予測部１４で用いられるＬｅｎｇｔｈ  Ａｔｔｅｎｔｉｏｎ（レングスアテンション）のアルゴリズムについて説明する。
ターゲット側の長さ（予測第２識別子の列の大きさ）は、ソース側の長さ（テスト時第１識別子の列の大きさ）によってほぼ決まるため、ターゲット側に長さ制限を設けるのが自然である。これは、第１デバイスのセンサ信号と第２デバイスのセンサ信号の比率が、双方のデバイスの周波数が変わらない限り一定だからである。この長さに関する情報は、追加入力の形式でＲＮＮｄｅｃに提供される。従って、次式（７）における埋め込みがデコーダに供給される。
【００５１】
【数７】
2020061145.tif 000009
【００５２】
次に、第１予測部１４で用いられるＭｕｌｔｉ−Ｓｃａｌｅ  Ｆｅａｔｕｒｅ  Ｐｙｒａｍｉｄ（マルチスケール特徴ピラミッド）のアルゴリズムについて説明する。
モダリティ（デバイス）全体のフレームシーケンスが特定の時間的ステップｖで同期及びサンプリングされ、連結されて時空間的３次元ボリュームを形成するという仮定を採用した。値ｖは、適宜、選択することができ、ステップｖに関わらず、各スケールで同じ数のフレームを使用できる。これを多重解像度空間ピラミッドと呼ぶ。
エンコーダデコーダアーキテクチャとマルチスケール特徴ピラミッドとの組合せにより、テスト時第１識別子の列と対になる第２識別子の列を精度良く予測することができる。
【００５３】
次に、第２予測部２２で用いられる第２の機械学習のアルゴリズムであるＭｕｌｔｉｐｌｅ  Ｉｎｓｔａｎｃｅ  Ｌｅａｒｎｉｎｇ（ＭＩＬ、マルチインスタンス学習）のアルゴリズムについて説明する。
図６に示すように、マルチインスタンス学習（第２予測部２２）は、エンコーダデコーダアーキテクチャ（第１予測部１４）の出力（予測第２識別子の列（ｙ））に対して適用される。マルチクラスＭＩＬでは、多数のインスタンス｛ｙｉｊ｝及びラベル｛Ｕｉ｝を持つバッグ｛Ｙｉ｝に対して、ｙを入力とし、ｕを出力とする分類ルールを求めることができる。
まず、エンコーダデコーダによる出力のｉ番目のシーケンス（ｉ番目の入力シーケンスに対応）を｛ｙｉ１，・・・，ｙｉＮ｝とする。そして、これをシーケンスではなくインスタンスのバッグＢｉ＝｛ｕｉｊ｝として扱う。全てのフレームラベルをバッグに割り当てて、各バッグにＵｉ＝｛ｕｉｎ｝のラベルを付ける。
次に、ＭＩＬ向けの畳み込みニューラルネットワークのアプローチを採用する。図６に示すように、３つの畳み込み層とそれに続く２つの完全につながった層を用いる。各畳み込み層の後にバッチ正規化を追加し、全ての層にＲｅＬＵ活性化関数を用いる。出力は、各クラスの独立した事後確率推定とみなされる。バッグに最大スコアリングインスタンスのラベルを割り当てるため、次式（８）のように最大プーリング層を使用する。
【００５４】
【数８】
2020061145.tif 000010
【００５５】
ここで、ｆｎ（ｙｉｊ）は、インスタンスｙｉｊのクラスの予測確率である。マルチクラスＭＩＬの場合は、次式（９）に示すように、全てのクラスにわたって合計されたクロスエントロピー損失を使用する。
【００５６】
【数９】
2020061145.tif 000011
【００５７】
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
上記実施の形態では、測定対象が人である場合について説明したが、測定対象は人以外の動物（鳥、魚及び昆虫等を含む）でもよいし、ロボット等の機械でもよい。
また、第２データが多次元のデータである場合、トレーニング時に、第２データを１次元ずつに分解して機械学習を行うことにより、予測精度を高めることができる。
【符号の説明】
【００５８】
１０：データ予測装置、１１：データ処理手段、１２：機械学習手段、１３：データ変換部、１４：第１予測部、１６：ウィンドウ部、２０：データ予測装置、２１：機械学習手段、２２：第２予測部
【図１】
2020061145.tif 000012
【図２】
2020061145.tif 000013
【図３】
2020061145.tif 000014
【図４】
2020061145.tif 000015
【図５】
2020061145.tif 000016
【図６】
2020061145.tif 000017