【手続補正書】
【提出日】令和1年10月17日(2019.10.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１入力層と、第１出力層と、前記第１入力層と前記第１出力層との間において前段の層からのデータと第１学習パラメータとを第１活性化関数に与えて計算して後段の層に計算結果を出力する２層以上の第１中間層と、により構成される第１ニューラルネットワークを用いたデータ分析装置であって、
前記各第１中間層からの出力データを受け付けて、前記各出力データと第２学習パラメータとに基づいて、前記各第１中間層の重みを設定して、前記第１出力層に出力する設定部と、
前記第１出力層に含まれ、前記各出力データを、前記設定部によって設定された前記第１中間層ごとの重みにより、それぞれ重み付けする重み付け処理部と、
前記第１出力層に含まれ、前記重み付け処理部によって重み付けされた各出力データと第３学習パラメータとに基づいて、予測データを算出する算出部と、
を有することを特徴とするデータ分析装置。
【請求項２】
請求項１に記載のデータ分析装置であって、
前記設定部は、前記第１入力層からの出力データを受け付けて、当該出力データと前記第２学習パラメータとに基づいて、前記各第１中間層の重みを設定して、前記第１出力層に出力することを特徴とするデータ分析装置。
【請求項３】
請求項１に記載のデータ分析装置であって、
前記各第１中間層からの出力データを受け付けて、前記各出力データの次元数を縮退させて、縮退後の各出力データを前記設定部に出力する第１縮退部を有し、
前記設定部は、前記第１縮退部からの縮退後の各出力データを受け付けて、前記縮退後の各出力データと前記第２学習パラメータとに基づいて、前記各第１中間層の重みを設定して、前記第１出力層に出力することを特徴とするデータ分析装置。
【請求項４】
請求項１に記載のデータ分析装置であって、
前記第１入力層に訓練データが与えられた場合に、前記第１学習パラメータ、前記第２学習パラメータ、および前記第３学習パラメータを調整する学習部を有することを特徴とするデータ分析装置。
【請求項５】
請求項３に記載のデータ分析装置であって、
前記各第１中間層からの出力データを受け付けて、前記各出力データの次元数を縮退させて、縮退後の各出力データを前記重み付け処理部に出力する第２縮退部を有し、
前記重み付け処理部は、前記第２縮退部からの縮退後の各出力データを、前記第１中間層ごとの重みにより、それぞれ重み付けすることを特徴とするデータ分析装置。
【請求項６】
請求項４に記載のデータ分析装置であって、
前記学習部は、
前記訓練データを受け付ける第２入力層と、前記第１ニューラルネットワークのハイパーパラメータを出力する第２出力層と、前記第２入力層と前記第２出力層との間において前段の層からのデータと第４学習パラメータとを第２活性化関数に与えて計算して後段の層に計算結果を出力する第２中間層と、により構成される第２ニューラルネットワークを用い、前記第２入力層に前記訓練データが与えられた場合に、前記第４学習パラメータを調整し、
前記訓練データを、前記第４学習パラメータが調整された前記第２ニューラルネットワークの前記第２入力層に与えることにより、前記第２出力層から前記ハイパーパラメータを出力し、
前記ハイパーパラメータにより前記第１ニューラルネットワークの構造を決定し、
前記構造が決定された前記第１ニューラルネットワークの前記第１入力層に前記訓練データが与えられた場合に、前記第１学習パラメータ、前記第２学習パラメータ、および前記第３学習パラメータを調整することを特徴とするデータ分析装置。
【請求項７】
請求項６に記載のデータ分析装置であって、
前記ハイパーパラメータは、前記第１ニューラルネットワークを構成する要素のパターンを決定するハイパーパラメータであることを特徴とするデータ分析装置。
【請求項８】
請求項７に記載のデータ分析装置であって、
前記パターンを決定するハイパーパラメータは、前記第１活性化関数の種類を示すパラメータであることを特徴とするデータ分析装置。
【請求項９】
請求項６に記載のデータ分析装置であって、
前記ハイパーパラメータは、前記第１ニューラルネットワークを構成する要素の順序を決定するハイパーパラメータであることを特徴とするデータ分析装置。
【請求項１０】
請求項９に記載のデータ分析装置であって、
前記順序を決定するハイパーパラメータは、前記第１中間層の層数を示すパラメータであることを特徴とするデータ分析装置。
【請求項１１】
第１入力層と、第１出力層と、前記第１入力層と前記第１出力層との間において前段の層からのデータと第１学習パラメータとを第１活性化関数に与えて計算して後段の層に計算結果を出力する２層以上の第１中間層と、により構成される第１ニューラルネットワークを用いたデータ分析装置によるデータ分析方法であって、
前記データ分析装置は、プロセッサと、前記第１ニューラルネットワークを記憶する記憶デバイスと、を有し、
前記プロセッサは、
前記各第１中間層からの出力データを受け付けて、前記各出力データと第２学習パラメータとに基づいて、前記各第１中間層の重みを設定して、前記第１出力層に出力する設定処理と、
前記各出力データを、前記設定処理によって設定された前記第１中間層ごとの重みにより、それぞれ重み付けする重み付け処理と、
前記重み付け処理によって重み付けされた各出力データと第３学習パラメータとに基づいて、予測データを算出する算出処理と、
を実行することを特徴とするデータ分析方法。
【請求項１２】
第１入力層と、第１出力層と、前記第１入力層と前記第１出力層との間において前段の層からのデータと第１学習パラメータとを第１活性化関数に与えて計算して後段の層に計算結果を出力する２層以上の第１中間層と、により構成される第１ニューラルネットワークが記憶された記憶デバイスにアクセス可能なプロセッサに、
前記各第１中間層からの出力データを受け付けて、前記各出力データと第２学習パラメータとに基づいて、前記各第１中間層の重みを設定して、前記第１出力層に出力する設定処理と、
前記各出力データを、前記設定処理によって設定された前記第１中間層ごとの重みにより、それぞれ重み付けする重み付け処理と、
前記重み付け処理によって重み付けされた各出力データと第３学習パラメータとに基づいて、予測データを算出する算出処理と、
を実行させることを特徴とするデータ分析プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
＜ニューラルネットワーク＞
図１は、実施例１にかかるニューラルネットワーク１００の構造例を示す説明図である。ニューラルネットワーク１００は、データユニット群ＤＵと、レポーティングユニット群ＲＵと、サジェスチョンユニットＳＵと、識別ユニットＩＵと、を有する。データユニット群ＤＵは、複数のデータユニットＤＵｌ（ｌは、階層番号であり、０≦ｌ≦Ｌ。Ｌは最下層の階層番号であり、図１では、Ｌ＝３）を直列に接続した構成である。最上段であるｌ＝０のデータユニットＤＵ０は、ニューラルネットワーク１００の入力層であり、ｌ≧１のデータユニットＤＵｌは、ニューラルネットワーク１００の中間層（隠れ層ともいう）に相当する。データユニットＤＵｌは、前段のデータユニットＤＵ（ｌ−１）からの入力データを自データユニットＤＵｌの学習パラメータを用いて計算して出力データを出力するパーセプトロンである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
サジェスチョンユニットＳＵは、各レポーティングユニットＲＵｌからの出力ベクトルｈｌＲを用いて、各データユニットＤＵｌの重み（出力ベクトルｈＳ）を計算する。サジェスチョンユニットＳＵにおける出力ベクトルｈＳの計算は、下記式（３）で実施される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
式（３）中、行列ＷＳはサジェスチョンユニットＳＵの学習パラメータである。下記式（４）に示すように、活性化関数の１つであるｓｏｆｔｍａｘ関数では、層数Ｌ（本例ではＬ＝３）に等しい次元のベクトルｈＳを計算する。右辺のベクトルｈＲはｈｌＲを垂直方向にスタックしたベクトルである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
したがって、行列ＷＳは、Ｌ行Ｍ列（Ｍは、ベクトルｈＲの要素数）の行列となる。サジェスチョンユニットＳＵにｓｏｆｔｍａｘ関数を採用することにより、要素数ＬのベクトルｈＳの各要素（全要素の和は１）は、対応するデータユニットＤＵｌの重みをあらわすことになる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
識別ユニットＩＵは、各層のデータユニットＤＵｌ（ｌ≧１）の出力ベクトルｈｌＤを識別する。具体的には、たとえば、識別ユニットＩＵは、ベクトルｈＳにより、中間層のデータユニットＤＵｌ（ｌ≧１）の各出力ベクトルｈｌＤを重み付けする。具体的には、たとえば、識別ユニットＩＵは、中間層のデータユニットＤＵｌ（ｌ≧１）の出力ベクトルｈｌＤを統合して統合ベクトルｈを算出する。統合ベクトルｈの計算は、下記式（５）で実施される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
本実施例では、式（１）から式（６）の計算方法と、その際に用いた学習パラメータである行列ＷｌＤ，行列ＷｌＲ，行列ＷＳ，行列Ｗの値を含めて予測モデルと呼称する。予測モデルの学習パラメータは、ニューラルネットワーク１００に訓練データ｛ｘｎ，ｙｎ｝を与えることにより生成される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
なお、データ分析装置２２０は複数台で構成されてもよい。たとえば、負荷分散のため、データ分析装置２２０が複数存在してもよい。また、データ分析装置２２０は、機能ごとに複数台で構成されてもよい。たとえば、学習部２６１およびサーバＤＢ２６３を含む第１のサーバと、予測部２６２およびサーバＤＢ２６３を含む第２のサーバとで構成されてもよい。また、また、学習部２６１および予測部２６２を含む第１のデータ分析装置と、サーバＤＢ２６３を含む第２のデータ分析装置とで構成されてもよい。また、学習部２６１を含む第１のデータ分析装置と、予測部２６２を含む第２のデータ分析装置と、サーバＤＢ２６３を含む第３のデータ分析装置とで構成されてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
図８は、実施例３にかかるニューラルネットワークの構造例を示す説明図である。ニューラルネットワーク８００には、レポーティングユニットＲＵｌが存在しない。このため、実施例３では、式（２）は不要となる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
また、中間層のデータユニットＤＵｌ（ｌ≧１）からの出力データは、識別ユニットＩＵにのみ入力される。入力層のデータユニットＤＵ０からの訓練データｘｎなどの出力データは、サジェスチョンユニットＳＵに入力される。したがって、実施例２では、式（３），式（４）のかわりに、下記式（１６）が適用される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
図９は、実施例４にかかるニューラルネットワークの構造例を示す説明図である。ニューラルネットワーク９００は、実施例１のニューラルネットワークに、ハーモナイジングユニットが追加された構造となる。ハーモナイジングユニットＨＵｌ（ｌ≧１）は、中間層のデータユニットＤＵｌ（ｌ≧１）と識別ユニットとの間に、中間層のデータユニットＤＵｌ（ｌ≧１）ごとに設けられる。ハーモナイジングユニットＨＵｌは、レポーティングユニットＲＵｌと同様、中間層のデータユニットＤＵｌ（ｌ≧１）からの出力データを次元縮退させる縮退部９０１である。したがって、識別ユニットＩＵには、ハーモナイジングユニットＨＵｌで次元縮退されたデータが入力される。
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2018181187.tif 000001