(57)【要約】【課題】予測分析のための時系列のデータ・セットを、時系列データから生成する方法を提供すること。【解決手段】本方法は、時系列データを、均等なサイズでオーバーラップするデータのセグメントに分割し、各々のセグメントに関し、セグメントのデータを表現する画像を生成し、時系列データを利用して、各々の画像に関連するトレンドを決定し、生成された各画像及び関連するトレンドを前記データ・セットとして保存する工程を含む。方法の一実施形態では、各々保存されるデータ・セットからの画像は、予めトレーニングされた畳み込みニューラル・ネットワークを利用する特徴抽出プロセスにより、数値ベクトルに変換される。数値ベクトルはデータ・セットに関連付けて保存され、データ・セット及び関連する数値ベクトルは、何らかの時系列データから生成される新たな時系列画像に対するトレンドを予測するために使用される。【選択図】図２
2017157213.tif 000002
【特許請求の範囲】
【請求項１】
予測分析のための時系列のデータ・セットを、時系列データから生成するために、コンピュータで実行される方法であって：
前記時系列データを、均等なサイズでオーバーラップするデータのセグメントに分割する工程；
各々のセグメントに関し、前記セグメント内のデータを表現する画像を生成する工程；
前記時系列データを利用して、各々の画像に関連するトレンドを決定する工程；及び
生成された各画像及び関連するトレンドを前記データ・セットとして保存する工程；
を有する方法。
【請求項２】
予めトレーニングされた畳み込みニューラル・ネットワークを利用して特徴抽出プロセスにより、保存された各データ・セットからの画像を数値ベクトルに変換し、前記データ・セットに関連付けて前記数値ベクトルを保存する工程を更に有する請求項１に記載の方法。
【請求項３】
前記データ・セット及び関連する数値ベクトルを利用して、何らかの時系列データから生成された新たな時系列画像に対するトレンドを予測する工程を更に有する請求項２に記載の方法。
【請求項４】
深層学習法を利用して、保存されたデータ・セットの各々について又は生成された画像のサブセットについて、前記数値ベクトル及びトレンドからトレンド予測モデルを導出する工程；
導出されたトレンド予測モデルを利用して、前記新たな時系列画像に対するトレンドを予測する工程；及び
前記新たな時系列画像に対して予測されたトレンドを出力する工程；
を更に有する請求項３に記載の方法。
【請求項５】
生成された画像の各々について又は生成された画像のサブセットについて、前記生成された画像の数値ベクトルを利用して、画像と他の生成された画像各々との間の類似度を決定する工程を更に有する請求項３に記載の方法。
【請求項６】
生成された画像のうち前記新たな時系列画像に最も類似する所定数ｋ個の画像を識別する工程（ｋは整数）；
ｋ個の識別された画像に関連するトレンドを利用して、平均トレンドを決定する工程；
前記新たな時系列画像に対する予測トレンドとして、前記平均トレンドを出力する工程；
を更に有する請求項５に記載の方法。
【請求項７】
各々のセグメントは、隣接する第１及び第２のサブ・セグメントのデータを有し、前記第１のサブ・セグメントのデータは前記セグメントの画像を生成するために使用され、前記第２のサブ・セグメントのデータは前記画像に関連するトレンドを決定するために使用される、請求項１ないし６のうち何れか一項に記載の方法。
【請求項８】
予測分析のための時系列のデータ・セットを、時系列データから生成するように構成されるデータ処理装置であって、データ準備手段を有し、前記データ準備手段は：
前記時系列データを、均等なサイズでオーバーラップするデータのセグメントに分割し；
各々のセグメントに関し、前記セグメント内のデータを表現する画像を生成し；
前記時系列データを利用して、各々の画像に関連するトレンドを決定し；及び
生成された各画像及び関連するトレンドを前記データ・セットとして保存する；
ように動作することが可能である、データ処理装置。
【請求項９】
前記データ準備手段は、更に、予めトレーニングされた畳み込みニューラル・ネットワークを利用して特徴抽出プロセスにより、保存された各データ・セットからの画像を数値ベクトルに変換し、前記データ・セットに関連付けて前記数値ベクトルを保存するように動作することが可能である、請求項８に記載のデータ処理装置。
【請求項１０】
前記データ・セット及び関連する数値ベクトルを利用して、何らかの時系列データから生成された新たな時系列画像に対するトレンドを予測するように構成されるトレンド予測手段を更に有する請求項９に記載のデータ処理装置。
【請求項１１】
深層学習法を利用して、保存されたデータ・セットの各々について又は生成された画像のサブセットについて、前記数値ベクトル及びトレンドからトレンド予測モデルを導出するように動作する分類器トレーニング手段；
を更に有し、前記トレンド予測手段は、
導出されたトレンド予測モデルを利用して、前記新たな時系列画像に対するトレンドを予測し、前記新たな時系列画像に対して予測されたトレンドを出力するように動作することが可能である；
請求項１０に記載のデータ処理装置。
【請求項１２】
生成された画像の各々について又は生成された画像のサブセットについて、前記生成された画像の数値ベクトルを利用して、画像と他の生成された画像各々との間の類似度を決定することにより、画像類似度の結果を取得するように動作することが可能な分類器トレーニング手段を更に有する請求項１０に記載のデータ処理装置。
【請求項１３】
前記トレンド予測手段は：
前記分類器トレーニング手段により取得された画像類似度の結果を利用して、生成された画像のうち前記新たな時系列画像に最も類似する所定数ｋ個の画像を識別し（ｋは整数）；
ｋ個の識別された画像に関連するトレンドを利用して、平均トレンドを決定し；及び
前記新たな時系列画像に対する予測トレンドとして、前記平均トレンドを出力する；
ように動作することが可能である請求項１２に記載のデータ処理装置。
【請求項１４】
各々のセグメントは、隣接する第１及び第２のサブ・セグメントのデータを有し、前記データ準備手段は、前記第１のサブ・セグメントのデータを利用して前記セグメントの画像を生成し、前記第２のサブ・セグメントのデータを利用して前記画像に関連するトレンドを決定するように動作することが可能である、請求項８ないし１３のうち何れか一項に記載のデータ処理装置。
【請求項１５】
コンピュータで実行される場合に、請求項１ないし７のうち何れか一項に記載の方法を前記コンピュータに実行させるコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は予測分析のための時系列データ・セットを生成する方法及び装置に関連する。
【背景技術】
【０００２】
時系列データの将来的な傾向(又はトレンド)を予測するための現在の試みは、処理前数値データ又は処理前データの数学的な変換に基づいている。株式市場トレンド予測のような時系列データに明確なパターンが存在しないようなアプリケーション分野では、予測精度はしばしば相対的に低い。
【０００３】
時系列予測に対する多くの機械学習アプローチが過去に提案されており、例えば、回帰法又はニューラル・ネットワークに基づくものもある。しかしながら、これらのアプローチは、明らかなパターン又はトレンドが不足している時系列データについては苦戦を強いられ、そのようなデータの一例は、株式市場の時系列データである。ベンチマーク・モデルを凌ぐために、株式市場の変動方向を予測する多くのアプローチが提案されているが、テスト・データについて50％ないし65％というヒット率(すなわち、特定のモデルにより為された全ての予測のうち、正しい予測の割合)は、依然として平凡なものであり、このレンジのうち低い方はランダムな推測と大差のない同等なものでしかない。
【発明の概要】
【０００４】
データにおけるパターン又はトレンドが容易には認識できない状況において、時系列予測の精度を改善することが望ましい。
【０００５】
本発明の一側面による実施形態によれば、予測分析のための時系列のデータ・セットを、時系列データから生成するために、コンピュータで実行される方法が提供され、本方法は：前記時系列データを、均等なサイズでオーバーラップするデータのセグメントに分割する工程；各々のセグメントに関し、前記セグメントのデータを表現する画像を生成する工程；前記時系列データを利用して、各々の画像に関連するトレンドを決定する工程；及び、生成された各画像及び関連するトレンドを前記データ・セットとして保存する工程；を有する方法である。
【０００６】
本発明の実施形態による予測分析のためのデータ準備は、従来必要とされていたものと比較して複雑さを低減し、その理由は、差分化、統合、平滑化、外挿、ノイズ除去などのような処理前データを取り扱う際に必要とされていた従来の予備処理ステップを回避できるからである。
【０００７】
本発明を利用する方法は、予めトレーニングされた畳み込みニューラル・ネットワークを利用する特徴抽出プロセスにより、保存された各データ・セットからの画像を数値ベクトルに変換し、前記データ・セットに関連付けて前記数値ベクトルを保存する工程を更に有してもよい。畳み込みニューラル・ネットワーク(CNN)は、画像認識を実行することに非常に適しており、任意の画像データベースの分類に関して予めトレーニングすることが可能であり、これにより、画像間の類似性の識別を促進する。
【０００８】
データ・セット及び関連する数値ベクトルは、何らかの時系列データから生成された新たな時系列画像に対するトレンドを予測するために使用されてもよい。例えば、履歴データのうちの隣接する時間ウィンドウのトレンドは、問い合わせられた時間ウィンドウのトレンド・ラベルを予測することが可能な教師有り又は教師無し学習法をトレーニングするために使用されることが可能である。特に、本方法は：深層学習法を利用して、保存されたデータ・セットの各々について又は生成された画像のサブセットについて、数値ベクトル及びトレンドからトレンド予測モデルを導出し；導出された予測モデルを利用して、前記新たな時系列画像に対するトレンドを予測し；及び、新たな時系列画像に対して予測されたトレンドを出力する工程を更に有してもよい。
【０００９】
代替的に、最も類似する上位k個の過去の画像に対応する重み付けされた平均トレンドは、問い合わせられた期間の将来のトレンドについての予測として採用されることが可能である。特に、本方法は、生成された画像の各々について又は生成された画像のサブセットについて、生成された画像の数値ベクトルを利用して、画像と他の生成された画像各々との間の類似度を決定する工程を更に含んでもよい。生成された画像のうち新たな時系列画像に最も類似する所定数k個(kは整数)の画像が識別され、k個の識別された画像に関連するトレンドを利用は、平均トレンドを決定するために使用され、平均トレンドは、新たな時系列画像に対する予測トレンドとして出力される。
【００１０】
本発明の第2側面の実施形態によれば、予測分析のための時系列のデータ・セットを、時系列データから生成するように構成されるデータ処理装置が提供され、本装置は、データ準備手段を有し、データ準備手段は：時系列データを、均等なサイズでオーバーラップするデータのセグメントに分割し；各々のセグメントに関し、セグメントのデータを表現する画像を生成し；時系列データを利用して、各々の画像に関連するトレンドを決定し；及び、生成された各画像及び関連するトレンドをデータ・セットとして保存する；ように動作する。
【００１１】
本発明を組み込む装置において、データ準備手段は、予めトレーニングされた畳み込みニューラル・ネットワークを利用する特徴抽出プロセスにより、保存された各データ・セットからの画像を数値ベクトルに変換し、データ・セットに関連付けて数値ベクトルを保存するように動作してもよい。
【００１２】
本発明を組み込む装置は、データ・セット及び関連する数値ベクトルを利用して、何らかの時系列データから生成された新たな時系列画像に対するトレンドを予測するように構成されるトレンド予測手段を更に有してもよい。
【００１３】
この場合において、本装置は、深層学習法を利用して、保存されたデータ・セットの各々について又は生成された画像のサブセットについて、数値ベクトル及びトレンドからトレンド予測モデルを導出するように動作する分類器トレーニング手段を更に有し、トレンド予測手段は、導出されたトレンド予測モデルを利用して、新たな時系列画像に対するトレンドを予測し、新たな時系列画像に対して予測されたトレンドを出力するように動作する。
【００１４】
代替的に、本装置は、生成された画像の各々について又は生成された画像のサブセットについて、生成された画像の数値ベクトルを利用して、画像と他の生成された画像各々との間の類似度を決定することにより、画像類似度の結果を取得するように動作することが可能な分類器トレーニング手段を更に有してもよい。
【００１５】
この場合において、トレンド予測手段は、分類器トレーニング手段により取得された画像類似度の結果を利用して、生成された画像のうち新たな時系列画像に最も類似する所定数k個の画像を識別し(kは整数)；k個の識別された画像に関連するトレンドを利用して、平均トレンドを決定し；及び、新たな時系列画像に対する予測トレンドとして、前記平均トレンドを出力する；ように動作することが可能である。
【００１６】
本発明を組み込む方法又は装置において、各セグメントは隣接する第1及び第2のサブ・セグメントのデータを有してもよく、第1のサブ・セグメントのデータはセグメントの画像を生成するために利用され、第2のサブ・セグメントのデータは画像に関連するトレンドを決定するように利用される。
【００１７】
本発明の第3側面の実施形態によれば、コンピュータで実行される場合に、本発明の第1側面を組み込む方法をコンピュータに実行させるコンピュータ・プログラムが提供される。
【図面の簡単な説明】
【００１８】
一例として、添付図面が参照される。
【図１】畳み込みニューラル・ネットワーク・アーキテクチャの一例を示す図。
【図２】本発明を組み込む装置を示す図。
【図３】本発明を組み込む装置における処理前時系列データの初期処理ステージを説明するための図。
【図４】本発明を組み込む装置における処理前時系列データの初期処理ステージを説明するための別の図。
【図５】本発明の実施形態で使用するルックアップ・テーブルの一例を示す図。
【図６】本発明を組み込む装置における初期処理ステージに続く画像変換ステージを示す図。
【図７】本発明の第1実施形態による画像類似度算出プロセスを示す図。
【図８】本発明の第2実施形態による教師あり学習プロセスを示す図。
【図９】本発明の第1実施形態によるトレンド予測を示す図。
【図１０】本発明の第2実施形態によるトレンド予測を示す図。
【図１１】本発明の第1及び第2実施形態の詳細な説明に使用する処理データのテーブルを示す図。
【図１２】本発明の実施形態による図11のデータ処理の結果を示すテーブル。
【図１３】図12のテーブルに記録される結果のルックアップ・テーブル。
【図１４】図12のテーブルに示される結果に対応する特徴ベクトルを示すテーブル。
【図１５】図12に記録される結果に対して実行される本発明を組み込むトレンド予測プロセスの結果を示すテーブル。
【図１６】図3ないし6に関して説明されるプロセスを示すフローチャート。
【図１７】図7及び8に関して説明されるプロセスを示すフローチャート。
【図１８】図9及び10に関して説明されるプロセスを示すフローチャート。
【図１９】本発明を組み込む方法を実行するのに適したコンピューティング・デバイスのブロック図。
【発明を実施するための形態】
【００１９】
この特許出願は、時系列データ・セットを生成する方法及び装置を提示し、その時系列データ・セットは時系列データの(ポジティブ又はネガティブな)将来的なトレンドの予測を支援するために使用されることが可能である。一実施形態において、方法/装置は、畳み込みニューラル・ネットワーク(convolutional  neural  networks：CNN)の機能を活用して画像認識を実行し、これにより、画像同士の間の類似度を識別する。
【００２０】
畳み込みニューラル・ネットワークは1つ以上の畳み込みレイヤを有する多層ニューラル・ネットワーク・アーキテクチャであり、その後にサブ・サンプリング・レイヤ(プーリング)及び1つ以上の完全に接続されたレイヤが続く。CNNは、深層学習(又はディープ・ラーニング)の形式によるものであり、画像分類タスクにおいて非常に良好に動作することが判明している。ディープ・ラーニング(Deep  Learning：DL)は、所与のトレーニング・データ・セットに対する表現の複数のレベルを学習する機械学習法である。この方法は、その表現についての高いレベルで、データについてのより抽象的で本質的な特徴を抽出する。最も一般的なタイプのディープ・ラーニングは、ディープ・マルチレイヤ・ニューラル・ネットワークにより実行されるが、他のアーキテクチャを構成することも可能である。
【００２１】
数値データを利用する時系列予測は、例えば金融などのような或る種の分野では困難になることが判明しているが、本願において、発明者等は、時系列データで将来的なトレンドを予測する問題が、このデータを画像として表現することにより解決できることを提案している。本願では、処理前の数値的な時系列データを、特定の時間ウィンドウ(複数)のプロットを表現する一連の画像に変換するプロセスを、処理前データの「時系列画像化(time  series  imagification)」と呼び、その時間ウィンドウ(複数)は、プロセスのパラメータに依存して、時間的にオーバーラップしてもしなくてもよい。予めトレーニングされた畳み込みニューラル・ネットワーク(CNN)を利用して、複合的な特徴が、特徴ベクトルとして画像から抽出されることが可能であり、これらの特徴ベクトルは、予測アルゴリズムの入力として使用されることが可能である。CNNは、何らかの画像データベースの分類に関して予めトレーニングされることが可能である。所与の時間ウィンドウ内の時系列データの画像を仮定して、画像類似法を利用し、過去のものから類似する時系列データを読み出し、畳み込みニューラル・ネットワークにより取り出される特徴ベクトルを入力として使用する。各画像に関連するトレンドは、曲線フィッティング関数を利用して、未処理時系列データに基づいて決定されることが可能である。そして、k個の最も類似する過去の画像に対応する重み付け平均トレンドが、対象期間の将来的なトレンドの予測として採用されることが可能である。代替的に、履歴データからの隣接する時間ウィンドウのトレンドは、教師あり学習法(supervised  learning  method)をトレーニングするために使用されることが可能であり、教師あり学習法は対象の時間ウィンドウのトレンド・ラベルを予測することが可能である。
【００２２】
本発明の一実施形態では、入力データ(すなわち、ニューラル・ネットワーク又は他の機械学習に基づく予測システムへの入力用のデータ。このデータから対応する予測が為される。目下の例では、画像。)、及び、ターゲット・データ(すなわち、入力データである所与のベクトルに対応する予想される出力。目下の例では、画像に続くトレンド。)が、時系列の周期的なセグメントについて生成される。言い換えれば、数値的な時系列データの(複数の)画像による時系列である「メタ−時−系列(meta-time-series)」が生成される。
【００２３】
本願において、「特徴(feature)」という用語は、観測されるデータ又は現象の性質  (property)として定義されてよい。特徴は、数値的な値又は分類の値を有し、通常、アルゴリズム処理のためのN次元ベクトル空間として表現される(ここで、Nは特徴の総数に対応する)。「特徴抽出(feature  extraction)」という用語は、元の未処理データの特徴についての何らかの変換により新たな特徴が導出されるデータ処理ステップとして、本願では定義される。ゴールは、有益な一群の特徴(又は特徴セット)を構築することであり、その特徴セットは、データの本質的な特性を表現することが可能であると同時に、特定のデータ・セットに対する過剰適合(overfitting)を避ける程度に十分に一包括的である。
【００２４】
提案される方法の実施形態が始まると、反復的に、利用可能な全ての時系列データを通じて循環し、規則的なオーバーラップ・インターバルでデータのプロットを保存する、又は、所定量の時間だけシフトされるウィンドウをスライドする。各々の画像に関し、後続の時間ウィンドウに関するトレンドも記録される。トレンドは、(例えば、0.21，-0.93等のように)数値形式で表現されてもよいし、或いは、(例えば、ポジティブ，ニュートラル，ネガティブ等のように)分類別の仕方で表現されてもよい。
【００２５】
生成される全ての画像は、その後、予めトレーニングされている畳み込みニューラル・ネットワーク(CNN)に与えられ、CNNは、特徴抽出のプロセスにより、全ての画像を数値ベクトルに変換する。
【００２６】
一実施形態では、所与の時系列セグメントに従うトレンドを予測するために、対応する画像のベクトル表現に類似尺度が適用され、類似する上位k個の画像を過去のデータから取り出す。これらの画像の各々に従う平均トレンドは、対象の時系列セグメントに従う予想されるトレンドとして使用される。平均トレンドは、各々の関連する画像の類似度により、或いは、適切な任意の他の数学的な関数により、重み付けされることが可能である。例えば、特定のアプリケーションが、より最近のデータを優遇するように意図される場合、より大きな重みを最近のトレンドに与えるために、時間減衰指数関数が使用されてもよい。
【００２７】
代替的な実施形態では、教師あり学習法を利用して、トレンド予測が実現されることも可能である。この場合、過去の画像及び各自のトレンドのサンプルが、教師あり分類器をトレーニングするために使用され、その分類器は、将来のトレンド・カテゴリ・ラベルをどのように予測するかを学習する(例えば、ポジティブなトレンドについては「1」；ニュートラルなトレンドについては「0」；或いは、ネガティブなトレンドについては「-1」)。
【００２８】
以下、本発明を組み込む方法及び装置を詳細に説明する。
【００２９】
図2は、画像類似及び機械学習法に基づいて、時系列予測システムを実現するデータ処理装置1を示す。図2に示されるように、本発明を組み込む装置は、データ準備、分類器トレーニング、及び、トレンド予測という3つの異なるステージに分けられ、これらの観点から以下詳細に説明される。
【００３０】
＜データ準備＞
本発明の実施形態によれば、データ準備ユニット10(データ準備手段)は、時系列データを、均等なサイズのオーバーラップするデータ・セグメントに分割すること；各々のセグメントのデータを表現する画像を生成すること；時系列データを利用して、各画像に関連するトレンドを決定すること；及び、生成された画像及び関連するトレンドのそれぞれをデータ・セットとして保存すること；を実行するように動作することが可能である。
【００３１】
「データ準備」及び「特徴抽出」については、図3ないし6を参照しながら説明される。図16は図3ないし6に関連して説明されるプロセスを示すフローチャートである。
【００３２】
図3に示されるように、利用可能な全ての時系列データにわたって反復的にサイクリング(又は循環)し、それを規則的に重複するインターバルWに分割することにより、或いは、所与の期間sだけシフトしたLwのウィンドウ長さを有するウィンドウをスライドさせることにより、一実施形態のプロセスが始まる。各々のインターバルWは、それ自身、次の2つの更に短いウィンドウに分割される：長さがLpである「現在ウィンドウ」Wp及び長さがLfである「将来ウィンドウ」Wf(ステップ1Aないし6)。
【００３３】
Wp内のデータは、そのデータのプロットを描写する画像に変換され、Wf内のデータは、最良に適合する直線の勾配として、そのデータのトレンドTfを算出するために使用される。トレンドは、(例えば、0.21，0.93等のように)数値の形式で表現されることも、或いは、(例えば、ポジティブ，ニュートラル，ネガティブ等のように)分類形式で表現されることも可能である。すなわち、Wpは或る画像を生成し、その画像に関する時系列データの類似度が比較され、Wfは、対応する画像が生成される期間に続く将来のトレンドを生成する。
【００３４】
図4に示されるように、長さLwで時間差sを有するオーバーラップする時間ウィンドウWiのスナップショットをn個取得するスライディング・ウィンドウ法を利用することで、時系列の画像化は、全てのデータが表現されるまで、固定期間sだけWの位置をシフトしながら、時系列全体に渡って反復される(注：図面に示される数値は単に説明を意図しているに過ぎない)(ステップ7ないし11)。
【００３５】
好ましくは、全ての画像が保存され(ステップ9)、それによって、画像はエンティティによって識別されることが可能になり、画像は、データを表現し且つプロットされたデータの開始及び終了の時点を表現する。例えば、株式市場予測の分野において、「AAPL_20150801_20150831.png」は、01/08/2015ないし31/08/2015の日付に対する株価AAPL(アップル・インコーポレーテッド)の終値のプロットを示す。
【００３６】
各々のウィンドウWに関するデータは、例えば、図5に示されるようにそれぞれ行形式で構造化されるルックアップ・テーブルに書き込まれ、各々の画像をデータにマッピングし、データはそれが表現する時間期間に関連して記録されるものである。
【００３７】
本実施形態のデータ準備ユニット10は、予めトレーニングされた畳み込みニューラル・ネットワークを利用して、特徴抽出プロセスにより、それぞれ保存されたデータ・セットから数値ベクトルへ画像を変換し、データ・セットに関連付けて数値ベクトルを保存するように動作することも可能である。
【００３８】
図6に示されるように、生成された全ての画像は、次に、事前にトレーニングされた畳み込みニューラル・ネットワーク(CNN)に与えられ、CNNは「深層」特徴抽出のプロセスにより、全ての画像を数値ベクトルに変換する(すなわち、機械学習技術により、モデルは、処理前入力ベクトルを新しいベクトル空間へ変換するようにトレーニングされる)。抽出される特徴ベクトルは、ニューラル・ネットワークの最後の完全結合層(fully-  connected  layer)の出力に対応するが、代替実施形態では、何れの完全結合層から抽出されてもよい(注：図に示されている数値は単なる例示に過ぎない)(ステップ12ないし14)。
【００３９】
＜分類器トレーニング＞
本実施形態のデータ処理装置1は分類器トレーニング・ユニット20(分類器トレーニング手段)を更に有し、分類器トレーニング・ユニット20は、図7に関連して後述されるような画像類似度算出プロセス、或いは、図8に関して後述されるようなトレンド予測学習プロセスに関する入力として数値ベクトルを使用するように動作する。図17は図7及び図8を参照しながら説明されるプロセスのフローチャートを示す。
【００４０】
特に、分類器トレーニング・ユニット20は次の(a)及び(b)のように動作する：(a)生成される画像の各々又は生成される画像のサブセットに関し、生成された画像に対する数値ベクトルを利用して、画像と他の生成された画像との間の類似度を決定する；及び/又は(b)深層学習法を利用して、数値ベクトルからのトレンド予測モデル、及び、保存されたデータ・セットの各々について又は生成された画像のサブセットについてのトレンドを導出する。すなわち、抽出された「深層」学習ベクトルは、類似度サーチ及び/又はトレンド予測学習プロセスに対する入力として使用される。
【００４１】
類似度サーチは、コサイン距離などのような簡易なベクトル類似尺度を利用して、或いは、k近傍法(k-Nearest  Neighbours)等のような基本的な機械学習アルゴリズムにより、実行されることが可能であり(その機械学習アルゴリズムは、自動分類及び回帰タスクのために使用されることが可能であり、データ項目は、例えばコサイン尺度のようなベクトル類似度関数に基づいて、k個の近傍のクラスに応じて分類される)、それらは何れも、過去の時系列データのプールの中で、所与の時系列画像ベクトルに関し、上位k個の最も類似するベクトル(及びそれ故にk個の最も類似する画像)を識別する。図7は、CNNから抽出される「深層」特徴ベクトルに基づく画像類似度プロセスを示す。N×N型の類似度マトリクスのうち暗く影を伴う要素は、より高い類似スコアを示す(ここで、Nは時間ウィンドウ画像の総数である)(ステップ15，16，17A，18A)。
【００４２】
トレンド予測は、数値又は分類であるとすることが可能であり、教師無し又は教師有り学習アプローチを利用して実行されることが可能である。図8に示される教師あり学習アプローチでは、分類器トレーニング・ユニットは、データ予測ユニットにより提供される算出されたトレンド値/ラベル及びCNNを利用して抽出される「深層」特徴ベクトルを、トレーニング・データ・セットとして使用してトレーニングされ、そして、将来のトレンドの分類ラベル(例えば、ポジティブなトレンドについては「1」；ニュートラルなトレンドについては「0」；或いは、ネガティブなトレンドについては「-1」)に関して「深層」学習(deep  learning：DL)モデルを導出する(ステップ15，16，17B，18B)。
【００４３】
＜トレンド予測＞
本実施形態のデータ処理装置1はトレンド予測モジュール30(トレンド予測手段)を更に有し、トレンド予測モジュール30は、データ・セット及び関連する数値ベクトルを利用して、新たな時系列データに対するトレンドを予測するように構成され、新たな時系列データは、処理された時系列データから生成されていてもいなくてもよい。
【００４４】
トレンド予測ユニットにより実行されるプロセスは、図9及び図10を参照しながら説明される。図18は図9及び図10を参照しながら説明されるプロセスのフローチャートを示す。
【００４５】
先ず、新たな時系列画像が新たな時間ウィンドウから導出され、「深層」特徴が画像から抽出される(ステップ19，20)。
【００４６】
一実施形態において、トレンド予測ユニットは、分類器トレーニング・ユニットにより決定される画像類似度の結果を利用して、生成された画像のうち、新たな時系列画像に最も類似する所定数個(k個)を識別し(ここでkは整数である)；k個の識別された画像に関連するトレンドを使用して平均トレンドを決定し、新たな時系列画像に対する予測トレンドとして、平均トレンドを出力するように動作することが可能である。
【００４７】
特に、図9に示されるように、特定の時系列セグメントに従う将来のトレンドを予測するために、類似尺度が使用され、そのセグメントのプロットに対して最も類似する上位k個の画像(「上位k近傍の画像」)を抽出してもよい。対象とされるセグメントについての将来的なトレンド予測は、k個の類似画像の各々に関する平均トレンド(ポジティブ、ニュートラル又はネガティブ)として使用される。(ステップ21A，22A，23A)。
【００４８】
代替的な実施形態において、トレンド予測ユニットは、導出されたトレンド予測モデルを利用して新たな時系列画像に対するトレンドを予測し、新たな時系列画像に対する予測されたトレンドを出力するように動作することが可能である。
【００４９】
特に、図10に示されるように、トレーニングDLモデル(「教師あり学習アプローチ」)が、将来的なトレンドの予測に使用される。この場合において、「ディープ(又は深層)」特徴ベクトルが、CNNから対象とされる時間セグメントについて抽出される。そして、このベクトルは、トレンドの予測を出力するDLモデルを通じて伝達される。(ステップ21B，22B)
次に、本発明の実施形態がどのように実施されるかについての特定の具体例を説明する。この場合において、使用される具体例は、株式市場のトレンド(又は傾向)を予測することであるが、本発明の実施形態は他の分野でのデータ準備及びトレンド予測に適用されてよいことに留意を要する。
【００５０】
図11における時系列は、02/01/2014ないし31/12/2014のそれぞれの取引日に関するABBV(アッヴィ社(AbbVie  Inc.))の株についての一群の終値である。
【００５１】
先ず、パラメータLp=10，Lf=5，s=3を利用して、上記のデータ準備法に従って、入力日及びターゲット日が図11の時系列から準備され(具体的なアプリケーションに応じて、他のパラメータが選択されることが可能である)、このデータに対して記録されている最初の3つの画像及びトレンドが図12に与えられており、図12からの値は、図13に示されるルックアップ・テーブルに保存される。
【００５２】
次に、生成された全ての株式市場時系列データが、予めトレーニングされた畳み込みニューラル・ネットワーク(CNN)に与えられ、CNNは、図14に示されるような特徴抽出のプロセスにより、全ての画像を数値ベクトルに変換する(注：図に示される数値は単なる一例に過ぎない)。この例は「ディープ」特徴ベクトルの抽出を示す。
【００５３】
提供されたクエリ画像(対象の画像)に関し、例えば、類似尺度は、図15の例に示されるような各画像に続く期間の関連するトレンドに沿って、上位k個の類似画像を抽出するために使用されてもよい。図15は、クエリ画像「ACE_2014-08-12_2014-08-25.png」について発見された上位k個の類似画像及び関連するトレンドを示し、その画像は12/08/2014ないし25/08/2014に渡る取引日の株価をプロットしている。クエリ画像に対する後続トレンドは、上位k個の類似画像の平均トレンドとして計算される。
【００５４】
図15の例を利用すると、25/08/2014以降のLf=5日間にわたる予測トレンドは、(0.92  +  0.87  +  0.79  +  0.91)  /  4  =  0.8725という値をとる。
【００５５】
本発明の実施形態は、任意の時系列予測問題に適用されることが可能であり、以下、その具体例に言及する(ただし、具体例はそれらに限定されない)。
【００５６】
例えば、株式市場予測に加えて、他の金融アプリケーションは、為替レート予測、ビットコイン価格予測、あるいは、時系列に基づく任意のキー・パフォーマンス・インジケータ(key  performance  indicators：KPI)の予測を含む。これは、売上高、利益、損失などの予測のような他の商業分野に適用されてもよい。
【００５７】
可能性のある他のアプリケーションは、所定の話題に関する投稿数、同じ話題に投稿したユーザー数などのようなソーシャル・メディア・トレンドの予測を含む。
【００５８】
本発明は、ウェアラブル及びスマート・デバイス等のような様々な領域のデバイスから収集されるデータ、又は、オーディオ波形に関する予測及び分析を実行する手段も提供する。
【００５９】
本願で説明される実施形態は、本発明に従う時系列データから準備される画像からのトレンドの予測を含むが、過去のデータのうち類似するトレンドの画像を単に取り出すことでさえ、それは、各自の専門的な分析を行うためにそれらの画像を利用しようとする者にとって有用であろう。
【００６０】
例えば、画像類似サーチ法は、たとえ機械学習を当てにすることを希望しない場合でさえ、それ自体、データ分析のために有用なツールである。類似する過去の振る舞いの時系列セグメントを取り出す能力は、各自自身の分析及び予測を為すデータを発見する専門家にとって有益であろう。類似する画像に対応する日付についての情報は、ルックアップ・テーブルにおいて見出されることが可能である。
【００６１】
図19は本発明を組み込むデータ・ストレージ・サーバーのようなコンピューティング・デバイスのブロック図を示し、コンピューティング・デバイスは、実施形態による方法を実現するように使用され且つ実施形態による方法のタスクを実行するように使用されてよい。コンピューティング・デバイスは、コンピュータ処理ユニット(CPU)993、ランダム・アクセス・メモリ(RAM)995等のようなメモリ、及び、ハード・ディスク996等のようなストレージを有する。選択的に、コンピューティング・デバイスは、実施形態のそのような他のコンピューティング・デバイスと通信するためのネットワーク・インターフェース999も含む。例えば、実施形態はそのようなコンピューティング・デバイスのネットワークにより構成されてよい。選択的に、コンピューティング・デバイスは、リード・オンリ・メモリ994、キーボード及びマウス998等のような1つ以上の入力機構、1つ以上のモニタ997等のようなディスプレイ・ユニットも含んでいる。コンポーネントはバス992を介して互いに接続可能である。
【００６２】
CPU993は、コンピューティング・デバイスを制御し、処理動作を実行するように構成される。RAM995は、CPU993により読み込まれ及び書き込まれるデータを保存する。ストレージ・ユニット996は、例えば、不揮発性ストレージ・ユニットであってもよく、データを保存するように構成される。
【００６３】
ディスプレイ・ユニット997は、コンピューティング・デバイスにより保存されるデータの表現を表示し、且つ、ユーザーとコンピューティング・デバイスに保存されるプログラム及びデータとの間でやり取りを可能にするカーソル、ダイアログ・ボックス及びスクリーンを表示する。入力機構998は、コンピューティング・デバイスにデータ及び命令を入力することをユーザーに可能にする。
【００６４】
ネットワーク・インターフェース(ネットワークI/F)999は、インターネットのようなネットワークに接続され、ネットワークを介してそのような他のコンピューティング・デバイスと接続されることが可能である。ネットワークI/F999は、ネットワークを介する他の装置から/へのデータ入力/出力を制御する。マイクロフォン、スピーカ、プリンタ、電源ユニット、ファン、ケース、スキャナ、トラックボール等のような他のペリフェラル・デバイスが、コンピューティング・デバイスに含まれてもよい。
【００６５】
本発明を組み込む方法は、図19に示されるもののようなコンピューティング・デバイスで実行されてよい。そのようなコンピューティング・デバイスは、図19に示される全てのコンポーネントを有することは必須ではなく、これらのコンポーネントのうちの一部分により構成されてもよい。本発明を組み込む方法は、ネットワークを介して1つ以上のデータ・ストレージ・サーバーと通信する単独のコンピューティング・デバイスにより実行されてもよい。コンピューティング・デバイスは、少なくとも一部のデータを保存するデータ・ストレージ自体であってもよい。本発明を組み込む方法は、互いに協働して動作する複数のコンピューティング・デバイスにより実行されてもよい。複数のコンピューティング・デバイスのうちの1つ以上が、少なくとも一部のデータを保存するデータ・ストレージ・サーバーであってもよい。
【００６６】
本発明の実施形態は、ハードウェアで実現されてもよいし、1つ以上のプロセッサ上で動作するソフトウェア・モジュールとして実現されてもよいし、或いは、それらの組み合わせとして実現されてもよい。すなわち、マイクロプロセッサ又はディジタル信号プロセッサ(DSP)は、実際には、上記の機能のうちの全部又は一部を実現するために使用されてよいことを、当業者は認めるであろう。
【００６７】
本発明は本願で説明される方法のうちの全部又は一部を実行する1つ以上のデバイス又は装置のプログラム(例えば、コンピュータ・プログラム及びコンピュータ・プログラム・プロダクト)として組み込まれてもよい。本発明を組み込むそのようなプログラムは、コンピュータ読み取り可能な媒体に保存されてもよいし、或いは、例えば1つ以上の信号の形式で存在することも可能である。そのような信号は、インターネット・ウェブサイトからダウンロードされるデータ信号であってもよいし、或いは、キャリア信号又はその他の任意の形態で提供されてもよい。
【００６８】
本発明についての上記の実施形態は、有利なことに、他の任意の実施形態と独立して使用されてもよいし、或いは、1つ以上の他の実施形態と実現可能な任意の組み合わせで使用されてもよい。
【００６９】
以上の実施の形態に関し、更に以下の付記を開示する。
【００７０】
（付記１）
予測分析のための時系列のデータ・セットを、時系列データから生成するために、コンピュータで実行される方法であって：
前記時系列データを、均等なサイズでオーバーラップするデータのセグメントに分割する工程；
各々のセグメントに関し、前記セグメント内のデータを表現する画像を生成する工程；
前記時系列データを利用して、各々の画像に関連するトレンドを決定する工程；及び
生成された各画像及び関連するトレンドを前記データ・セットとして保存する工程；
を有する方法。
【００７１】
（付記２）
予めトレーニングされた畳み込みニューラル・ネットワークを利用して特徴抽出プロセスにより、保存された各データ・セットからの画像を数値ベクトルに変換し、前記データ・セットに関連付けて前記数値ベクトルを保存する工程を更に有する付記１に記載の方法。
【００７２】
（付記３）
前記データ・セット及び関連する数値ベクトルを利用して、何らかの時系列データから生成された新たな時系列画像に対するトレンドを予測する工程を更に有する付記２に記載の方法。
【００７３】
（付記４）
深層学習法を利用して、保存されたデータ・セットの各々について又は生成された画像のサブセットについて、前記数値ベクトル及びトレンドからトレンド予測モデルを導出する工程；
導出されたトレンド予測モデルを利用して、前記新たな時系列画像に対するトレンドを予測する工程；及び
前記新たな時系列画像に対して予測されたトレンドを出力する工程；
を更に有する付記３に記載の方法。
【００７４】
（付記５）
生成された画像の各々について又は生成された画像のサブセットについて、前記生成された画像の数値ベクトルを利用して、画像と他の生成された画像各々との間の類似度を決定する工程を更に有する付記３に記載の方法。
【００７５】
（付記６）
生成された画像のうち前記新たな時系列画像に最も類似する所定数ｋ個の画像を識別する工程（ｋは整数）；
ｋ個の識別された画像に関連するトレンドを利用して、平均トレンドを決定する工程；
前記新たな時系列画像に対する予測トレンドとして、前記平均トレンドを出力する工程；
を更に有する付記５に記載の方法。
【００７６】
（付記７）
各々のセグメントは、隣接する第１及び第２のサブ・セグメントのデータを有し、前記第１のサブ・セグメントのデータは前記セグメントの画像を生成するために使用され、前記第２のサブ・セグメントのデータは前記画像に関連するトレンドを決定するために使用される、付記１ないし６のうち何れか一項に記載の方法。
【００７７】
（付記８）
予測分析のための時系列のデータ・セットを、時系列データから生成するように構成されるデータ処理装置であって、データ準備手段を有し、前記データ準備手段は：
前記時系列データを、均等なサイズでオーバーラップするデータのセグメントに分割し；
各々のセグメントに関し、前記セグメント内のデータを表現する画像を生成し；
前記時系列データを利用して、各々の画像に関連するトレンドを決定し；及び
生成された各画像及び関連するトレンドを前記データ・セットとして保存する；
ように動作することが可能である、データ処理装置。
【００７８】
（付記９）
前記データ準備手段は、更に、予めトレーニングされた畳み込みニューラル・ネットワークを利用して特徴抽出プロセスにより、保存された各データ・セットからの画像を数値ベクトルに変換し、前記データ・セットに関連付けて前記数値ベクトルを保存するように動作することが可能である、付記８に記載のデータ処理装置。
【００７９】
（付記１０）
前記データ・セット及び関連する数値ベクトルを利用して、何らかの時系列データから生成された新たな時系列画像に対するトレンドを予測するように構成されるトレンド予測手段を更に有する付記９に記載のデータ処理装置。
【００８０】
（付記１１）
深層学習法を利用して、保存されたデータ・セットの各々について又は生成された画像のサブセットについて、前記数値ベクトル及びトレンドからトレンド予測モデルを導出するように動作する分類器トレーニング手段；
を更に有し、前記トレンド予測手段は、
導出されたトレンド予測モデルを利用して、前記新たな時系列画像に対するトレンドを予測し、前記新たな時系列画像に対して予測されたトレンドを出力するように動作することが可能である；
付記１０に記載のデータ処理装置。
【００８１】
（付記１２）
生成された画像の各々について又は生成された画像のサブセットについて、前記生成された画像の数値ベクトルを利用して、画像と他の生成された画像各々との間の類似度を決定することにより、画像類似度の結果を取得するように動作することが可能な分類器トレーニング手段を更に有する付記１０に記載のデータ処理装置。
【００８２】
（付記１３）
前記トレンド予測手段は：
前記分類器トレーニング手段により取得された画像類似度の結果を利用して、生成された画像のうち前記新たな時系列画像に最も類似する所定数ｋ個の画像を識別し（ｋは整数）；
ｋ個の識別された画像に関連するトレンドを利用して、平均トレンドを決定し；及び
前記新たな時系列画像に対する予測トレンドとして、前記平均トレンドを出力する；
ように動作することが可能である付記１２に記載のデータ処理装置。
【００８３】
（付記１４）
各々のセグメントは、隣接する第１及び第２のサブ・セグメントのデータを有し、前記データ準備手段は、前記第１のサブ・セグメントのデータを利用して前記セグメントの画像を生成し、前記第２のサブ・セグメントのデータを利用して前記画像に関連するトレンドを決定するように動作することが可能である、付記８ないし１３のうち何れか一項に記載のデータ処理装置。
【００８４】
（付記１５）
コンピュータで実行される場合に、付記１ないし７のうち何れか一項に記載の方法を前記コンピュータに実行させるコンピュータ・プログラム。
【符号の説明】
【００８５】
１０：データ準備ユニット
２０：分類器トレーニング・ユニット
３０：トレンド予測ユニット
【図１】
2017157213.tif 000003
【図２】
2017157213.tif 000004
【図３】
2017157213.tif 000005
【図４】
2017157213.tif 000006
【図５】
2017157213.tif 000007
【図６】
2017157213.tif 000008
【図７】
2017157213.tif 000009
【図８】
2017157213.tif 000010
【図９】
2017157213.tif 000011
【図１０】
2017157213.tif 000012
【図１１】
2017157213.tif 000013
【図１２】
2017157213.tif 000014
【図１３】
2017157213.tif 000015
【図１４】
2017157213.tif 000016
【図１５】
2017157213.tif 000017
【図１６】
2017157213.tif 000018
【図１７】
2017157213.tif 000019
【図１８】
2017157213.tif 000020
【図１９】
2017157213.tif 000021