(57)【要約】  本発明を適用した特徴量変換モジュール（特徴量変換手段）（５００）は、学習データ入力部（５１０）と、光演算制約条件を満たす第二の次元数を有する重みとバイアスとを因子にもつ式からなる関数より構成された学習モデルに、前記学習データ入力部に入力された学習データを入力し、前記第二の次元数を有する中間層を設定する中間層設定部（５２０）と、出力算出部（５３０）と、誤差算出部（５４０）と、判定部（５５０）と、重みバイアス変更部（５６０）と、学習モデル出力部（５７０）と、制御部（５８０）と、を備えている。
2017141997.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワークにおける学習によって学習データの特徴量を変換する特徴量変換モジュールであって、
任意の第一の次元数および任意の特徴量を有する学習データが入力される学習データ入力部と、
所定の光演算制約条件を満たす第二の次元数を有する重みとバイアスとを因子にもつ式からなる関数より構成された学習モデルに、前記学習データ入力部に入力された前記学習データを入力し、前記第二の次元数を有する中間層を設定する中間層設定部と、
前記中間層設定部で設定された前記中間層から前記第一の次元数を有する出力層を計算し、前記ニューラルネットワークの出力を算出する出力算出部と、
前記出力算出部によって算出された前記ニューラルネットワークの出力と前記学習データとの誤差を算出する誤差算出部と、
前記誤差算出部によって算出された前記誤差が所定の条件を満たすか否かを判定する判定部と、
前記誤差に基づいて前記重みと前記バイアスとをそれぞれ変更し、変更後の前記重みと前記バイアスとを得る重みバイアス変更部と、
前記変更後の前記重みと前記バイアスとを因子にもつ式からなる関数によって構成された学習モデルを出力する学習モデル出力部と、
前記判定部において前記誤差が所定の条件を満たすと判定された場合には、前記出力部から前記変更後の前記重みと前記バイアスとを因子にもつ式からなる関数によって構成された学習モデルを出力させ、前記判定部において前記誤差が所定の条件を満たさないと判定された場合には、前記出力算出部において前記学習モデルの前記式に含まれる前記重みと前記バイアスを前記重みバイアス変更部で得られた前記変更後の前記重みと前記バイアスにそれぞれ変更し、前記ニューラルネットワークの出力を算出させる制御部と、
を備え、
前記光演算制約条件は、前記ニューラルネットワークの出力を用いて行う光演算における所定の量子化数、前記光演算に用いられる光相関器の光学パラメータ、および所定のエネルギー数によって決まることを特徴とする特徴量変換モジュール。
【請求項２】
前記光相関器は、前記ニューラルネットワークの出力に基づく光演算用データを表示する表示素子と、前記演算用データが反映された光を集光するレンズと、を備え、
前記光学パラメータには、前記表示素子のピクセルピッチおよび前記レンズの半径が含まれることを特徴とする請求項１に記載の特徴量変換モジュール。
【請求項３】
前記光相関器は、前記表示素子に表示された前記光演算用データが反映された光のビーム径を縮小し、該ビーム径が縮小された光を前記レンズに向けて出射する縮小光学系をさらに備え、
前記光学パラメータには、前記縮小光学系の縮小倍率が含まれることを特徴とする請求項２に記載の特徴量変換モジュール。
【請求項４】
前記第二の次元数は、以下の（１）式を満たすことを特徴とする前記請求項３に記載の特徴量変換モジュール。
【数１】
2017141997.tif 000015
なお、上述の（１）式において、zは前記第二の次元数、aは前記表示素子のピクセルピッチ［ｍｍ］、rは前記レンズの半径［ｍｍ］、ｂは前記縮小光学系の縮小倍率を示す。
【請求項５】
請求項１から請求項４のいずれかに記載の特徴量変換モジュールと、
クラスラベルの付加された学習用データを入カとし、光演算用制約条件を備えた前記学習用データの識別精度を最大化するような特徴抽出器を学習する学習手段と、
前記特徴抽出器より抽出された特徴量を特徴抽出器に変換する光演算用データ変換部と、
光演算用データを記憶する光記憶部と、複数の光演算用データ聞における類似度を算出することによって光相関機能を提供する類似度計算部による光演算手段と、
識別対象データの辞書となる登録用データを入力とし、前記学習手段により得られた特徴抽出器を用いて抽出した特徴量を、前記光演算用データ変換部において光演算用に光演算用特徴量として変換し、前記光演算手段における光記憶部に登録する登録手段と、
識別対象データを入力とし、前記学習手段で生成された特徴抽出器より抽出した特徴量と前記登録手段において光記憶部に登録した特徴量聞の類似度を前記光演算手段における類似度計算部において算出し、出力部より識別結果を出力する識別手段と、
を備えることを特徴とするパターン識別装置。
【請求項６】
クラスラベルの付加された学習用データを入カとし、光演算用制約条件を備えた前記学習用データの識別精度を最大化するような特徴抽出器を学習する学習手段と、
前記特徴抽出器より抽出された特徴量を特徴抽出器に変換する光演算用データ変換部と光演算用データを記憶する光記憶部と、複数の光演算用データ聞における類似度を算出することによって光相関機能を提供する類似度計算部による光演算手段と、
識別対象データの辞書となる登録用データを入力とし、前記学習手段により得られた特徴抽出器を用いて抽出した特徴量を、前記光演算用データ変換部において光演算用に光演算用特徴量として変換し、前記光演算手段における光記憶部に登録する登録手段と、
識別対象データを入力とし、前記学習手段で生成された特徴抽出器より抽出した特徴量と前記登録手段において光記憶部に登録した特徴量聞の類似度を前記光演算手段における類似度計算部において算出し、出力部より識別結果を出力する識別手段と、
を備えることを特徴とするパターン識別装置。
【請求項７】
前記学習手段において、特徴抽出器の生成における学習の過程において、学習後に生成される特徴抽出器による出力がバイナリ近似された特徴量となるように、前記特徴抽出器生成部における活性化関数にステップ関数、もしくはシグモイド関数で近似したステップ関数のような特徴量の各次元の値を０から１の値の範囲に分布させる関数を適用することを特徴とする請求項５または請求項６に記載のパターン識別装置。
【請求項８】
前記学習手段において、特徴抽出器の生成における学習の過程において、学習後に生成される特徴抽出器による出力がバイナリ近似された特徴量となりかっ、特徴量のもつ表現力がフロート値のような多値である場合と比較しでも劣らない特徴量となるように、前記特徴抽出器生成部の学習により更新が行われるパラメータ部分の数を、多値の特徴量を抽出する特徴抽出器を生成する場合と比較し、大きな数とすることを特徴とする請求項５から請求項７のいずれか１項に記載のパターン識別装置。
【請求項９】
前記学習手段における特徴抽出器生成部の学習の結果得られた特徴抽出器から得られる０から１の範囲に各次元の特徴量が分布するバイナリ近似された特徴量を、前記光演算用データ変換部において特定の闇値でバイナリ化することを特徴とする請求項５から請求項８のいずれか１項に記載のパターン識別装置。
【請求項１０】
前記学習手段における特徴抽出器生成部の光演算制約付加部において、前記学習手段より得られた特徴量抽出器に対して、入力データを与え抽出した特徴量を線形識別器による最適化をおこなった重みベクトルをバイナリ化する手法を備えたことを特徴とする請求項５または請求項６に記載のパターン識別装置。
【請求項１１】
前記学習手段における特徴抽出器生成部の光演算制約付加部において、前記学習手段より得られた特徴量抽出器に対して、入力データを与え抽出した特徴量を、複数閥値において、それぞれの闇値と各次元の特徴量値の大小関係を利用してバイナリ化する手法を備えることを特徴とする請求項１０に記載のパターン識別装置。
【請求項１２】
前記光記憶部はホログラフィック記録媒体であることを特徴とする請求項５から請求項１１のいずれか１項に記載のパターン識別装置。
【請求項１３】
前記光記憶部におけるホログラブイツク記録媒体は円盤状に形成され、前記ホログラフィック記録媒体を回転させつつ、前記識別対象データ照射することを特徴とする請求項５から請求項１２のいずれか１項に記載のパターン識別装置。
【請求項１４】
前記光演算手段において、光演算用データ変換部の特徴抽出を、光演算で行うことを特徴とする請求項５から請求項１３のいずれか１項に記載のパターン識別装置。
【請求項１５】
入力されたデータを何らかのクラスに識別するパターン識別装置のパターン識別方法において、前記パターン識別装置によるクラスラベルの付加された学習用データを入力とし、光演算用制約条件を備えた前記学習用データの識別精度を最大化するような特徴抽出器を学習する学習ステップと、
前記特徴抽出器より抽出された特徴量を特徴抽出器に変換する光演算用データ変換部と光演算用データを記憶する光記憶部と、複数の光演算用データ聞における類似度を算出することによって光相関機能を提供する類似度計算部による光演算ステップと、識別対象データの辞書となる登録用データを入力とし、前記学習ステップにより得られた特徴抽出器を用いて抽出した特徴量を、前記光演算用データ変換部において光演算用に光演算用特徴量として変換し、前記光演算ステップにおける光記憶部に登録する登録ステップと、
識別対象データを入力とし、前記学習ステップで生成された特徴抽出器より抽出した特徴量と前記登録ステップにおいて光記憶部に登録した特徴量問の類似度を前記光演算ステップにおける類似度計算部において算出し、出力部より認識結果を出力する識別ステップと、
を含むパターン識別方法。
【請求項１６】
コンピュータを、クラスラベルの付加された学習用データを入力とし、光演算用制約条件を備えた前記学習用データの識別精度を最大化するような特徴抽出器を学習する学習ステップと、
前記特徴抽出器より抽出された特徴量を特徴抽出器に変換する光演算用データ変換部と光演算用データを記憶する光記憶部と、複数の光演算用データ聞における類似度を算出することによって光相関機能を提供する類似度計算部による光演算ステップと、
識別対象データの辞書となる登録用データを入力とし、前記学習ステップにより得られた特徴抽出器を用いて抽出した特徴量を、前記光演算用データ変換部において光演算用に光演算用特徴量として変換し、前記光演算ステップにおける光記憶部に登録する登録ステップと、
識別対象データを入力とし、前記学習ステップで生成された特徴抽出器より抽出した特徴量と前記登録ステップにおいて光記憶部に登録した特徴量聞の類似度を前記光演算ステップにおける類似度計算部において算出し、出カ部より識別結果を出力する識別ステップとして機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意の多次元ベクトルの特徴量変換モジュール、前述の多次元ベクトルに関するパターン識別学習装置、パターン識別装置、光演算用データ生成装置、光記憶装置、パターン識別学習処理方法とパターン識別処理方法、光演算用データ生成方法およびパターン識別学習プログラム、並びにそれらを記録した記憶装置に関するものである。本願は、２０１６年２月１５日に、日本に出願された特願２０１６−０２５８９２号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
近年、大規模データ群から新たな知見・知識を得ることを目的とした研究開発が注目されている。コンビュータービジョンにおける機械学習では、学習器の構築によって二次元画像からの物体認識・照合・検出を実現する。物体認識・照合・検出における精度を高めるためには、学習用の良質かつ膨大なデータ群および学習のための高速演算処理技術が必要とされ、汎用プロセッサの動作周波数の向上が求められる。しかしながら、半導体製造プロセスの微細化に伴う回路の発熱などの問題があるため、汎用プロセッサの動作周波数のさらなる向上は困難になっている。そこで、プロセッサコアや演算器を並列化して学習器の性能向上を図る技術や、得意な部分を専用プロセッサで担わせるなど、既存の技術と新たなコンピューティング技術とを効率的に組み合わせた融合システムに関する研究開発が行われている。【０００３】
例えば、多次元ベクトルの内積演算を高速に実現する処理として、光演算処理が挙げられる(非特許文献１参照)。光演算処理は汎用性に乏しいが、特定のアルゴリズムにおいては、アナログ特性による並列高速演算と、情報の大容量記憶に秀でている。例えば特許文献１や非特許文献１には、前述のように並列高速演算と情報の大容量記憶との両立を実現可能なホログラフィック光ディスクを用いた光相関システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国特開２００８−２８２３７４号公報
【非特許文献】
【０００５】
【非特許文献１】K. Ikeda and E. Watanabe， “High-speed optical correlator with coaxial holographic system" Jpn. J. Appl. Phys. 54，09ME02 (2015).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、大量の映像や画像などの多次元ベクトルのパターン識別を高速かつ高精度かつ省エネルギーで実現するためには、多次元ベクトル同士の内積演算の高速化、および多次元ベクトル同士の内積演算結果を保存しておく記憶装置の効率化が求められる。特許文献１や非特許文献１に開示されている光演算処理に基づくパターン識別では、多次元ベクトル同士の内積演算が高速に行われるが、これらの光演算処理に基づくパターン識別の適用範囲は特定の画像照合に限られており、汎用的な物体認識・照合・検出への適用が難しいという問題があった。また、汎用的な物体認識・照合・検出への適用を可能にすると共に、任意の学習データから光演算処理に適した学習モデルを円滑に作成可能なモジュールが望まれていた。【０００７】
上記事情に鑑み、本発明では、任意の学習データから光演算処理に適した学習モデルを円滑に作成し、光演算処理を用いて、超大規模データからの特定の画像照合に限定されず、任意の多次元パターンに関する識別を超高速に実現することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するため、以下の手段を採用する。【０００９】
本発明に係る特徴量変換モジュールは、ニューラルネットワークにおける学習によって学習データの特徴量を変換する特徴量変換モジュールであって、任意の第一の次元数および任意の特徴量を有する学習データが入力される学習データ入力部と、所定の光演算制約条件を満たす第二の次元数を有する重みとバイアスとを因子にもつ式からなる関数より構成された学習モデルに、前記学習データ入力部に入力された前記学習データを入力し、前記第二の次元数を有する中間層を設定する中間層設定部と、前記中間層設定部で設定された前記中間層から前記第一の次元数を有する出力層を計算し、前記ニューラルネットワークの出力を算出する出力算出部と、前記出力算出部によって算出された前記ニューラルネットワークの出力と前記学習データとの誤差を算出する誤差算出部と、前記誤差算出部によって算出された前記誤差が所定の条件を満たすか否かを判定する判定部と、前記誤差に基づいて前記重みと前記バイアスとをそれぞれ変更し、変更後の前記重みと前記バイアスとを得る重みバイアス変更部と、前記変更後の前記重みと前記バイアスとを因子にもつ式からなる関数によって構成された学習モデルを出力する学習モデル出力部と、前記判定部において前記誤差が所定の条件を満たすと判定された場合には、前記出力部から前記変更後の前記重みと前記バイアスとを因子にもつ式からなる関数によって構成された学習モデルを出力させ、前記判定部において前記誤差が所定の条件を満たさないと判定された場合には、前記出力算出部において前記学習モデルの前記式に含まれる前記重みと前記バイアスを前記重みバイアス変更部で得られた前記変更後の前記重みと前記バイアスにそれぞれ変更し、前記ニューラルネットワークの出力を算出させる制御部と、を備え、前記光演算制約条件は、前記ニューラルネットワークの出力を用いて行う光演算における所定の量子化数、前記光演算に用いられる光相関器の光学パラメータ、および所定のエネルギー数によって決まることを特徴とする。
本明細書では、出力算出部により得られたニューラルネットワークの出力に対して学習データとの誤差を算出し、誤差が所定の条件を満たすようになるまで重み・バイアス変更部によって学習モデルを更新する行程を学習と呼ぶ。【００１０】
本発明に係るパターン識別装置は、上述の特徴量変換モジュールと、クラスラベルの付加された学習用データを入カとし、光演算用制約条件を備えた前記学習用データの識別精度を最大化するような特徴抽出器を学習する学習手段と、前記特徴抽出器より抽出された特徴量を特徴抽出器に変換する光演算用データ変換部と、光演算用データを記憶する光記憶部と、複数の光演算用データ聞における類似度を算出することによって光相関機能を提供する類似度計算部による光演算手段と、識別対象データの辞書となる登録用データを入力とし、前記学習手段により得られた特徴抽出器を用いて抽出した特徴量を、前記光演算用データ変換部において光演算用に光演算用特徴量として変換し、前記光演算手段における光記憶部に登録する登録手段と、識別対象データを入力とし、前記学習手段で生成された特徴抽出器より抽出した特徴量と前記登録手段において光記憶部に登録した特徴量聞の類似度を前記光演算手段における類似度計算部において算出し、出力部より識別結果を出力する識別手段と、を備えることを特徴とする。【００１１】
本発明に係るパターン識別装置は、クラスラベルの付加された学習用データを入カとし、光演算用制約条件を備えた前記学習用データの識別精度を最大化するような特徴抽出器を学習する学習手段と、前記特徴抽出器より抽出された特徴量を特徴抽出器に変換する光演算用データ変換部と、光演算用データを記憶する光記憶部と、複数の光演算用データ聞における類似度を算出することによって光相闘機能を提供する類似度計算部による光演算手段と、識別対象データの辞書となる登録用データを入力とし、前記学習手段により得られた特徴抽出器を用いて抽出した特徴量を、前記光演算用データ変換部において光演算用に光演算用特徴量として変換し、前記光演算手段における光記憶部に登録する登録手段と、識別対象データを入力とし、前記学習手段で生成された特徴抽出器より抽出した特徴量と前記登録手段において光記憶部に登録した特徴量聞の類似度を前記光演算手段における類似度計算部において算出し、出力部より識別結果を出力する識別手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、超大規模データを学習データとして該学習データから光演算処理に適した学習モデルを円滑に作成し、超大規模データからの任意の多次元パターンに関する識別を超高速に実現することができる。また、識別の高速性および省エネルギー化により、光演算の効率を高めることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係るパターン識別装置の構成例を示すブロック図である。
【図２】本発明に係るパターン識別方法の学習処理、登録処理、識別処理のそれぞれの処理のフローチャートである。
【図３】本発明の実施例１に係る学習手段１００の実装例である。
【図４】図３に示す学習済み学習手段のフィードフォワード処理により得られた特徴量の値分布である。
【図５】図３に示す学習済み学習手段のフィードフォワード処理により得られた特徴量を用いた識別精度を示す図である。
【図６】図１の光演算処理によるｋ近傍識別器をスケッチベース３次元照合に適用した場合の、本発明の実施例１における光演算による類似度計算結果を示す図である。
【図７】図１の光演算処理によるｋ近傍識別器をスケッチベース３次元照合に適用した場合の、本発明の実施例１における光演算による多クラス識別結果を示す図である。
【図８】図１の光演算処理によるｋ近傍識別器をスケッチベース３次元照合に適用した場合の、本発明の実施例１における光相関演算によるｋ近傍法による識別結果を示す図である。
【図９】図１に示す光演算手段３００におけるフローチャートである。
【図１０】図１に示す光演算用データ変換部３１０における変換の一例を示す模式図である。
【図１１】図１に示す光演算用特徴ベクトル光記録部３２０と類似度計算３３０に用いる光学手段の一例を示す概略図である。
【図１２】本発明の実施例２に係る光演算処理による線形識別器のフローチャートである。
【図１３】本発明の実施例２に係る特徴抽出学習部１２１の実装例を示す図である。
【図１４】本発明の実施例２に係る光演算用データ変換部１２２の実装例を示す図である。
【図１５】本発明の実施例２に係る光演算用データ変換部３１０の実装例を示す図である。
【図１６】本発明の実施例２に係る線形識別器においてＢ−ＨＯＧ特徴量を使ったときの識別関数の出力結果である。
【図１７】本発明に係る特徴量変換モジュールおよび該特徴量変換モジュールを備えたパターン識別装置の構成例を示すブロック図である。
【図１８】本発明に係るパターン識別方法の学習処理、特徴量変換処理、登録処理、識別処理のそれぞれの処理のフローチャートである。
【図１９】本発明の実施例３におけるネットワーク構造の一例を示す図である。
【図２０】本発明の実施例３における光演算用特徴変換部から出力される光演算用データの値分布を示す図である。
【図２１】本発明の実施例３における識別精度を示す図である。
【図２２】本発明の実施例３に係る内積演算結果例を示すグラフである。
【図２３】本発明の実施例３に係る光相関器の構成の一例を示すグラフである。
【発明を実施するための形態】
【００１４】
以下本発明の実施形態および実施例を、図面を参照して説明するが、本発明は下記の例に限定されるものではない。
【００１５】
図１は、本発明のパターン識別装置を示すブロック図である。
図２は、パターン認識の流れを概略的に示すフローチャートである。
【００１６】
本発明に係るパターン識別装置１は、学習処理を行う学習手段１００、光記憶部に特徴抽出部、光演算用データ生成部を介してデータ登録処理を行う登録手段２００、光演算用データ変換部３１０、光演算用特徴ベクトル光記憶部３２０を保持し、類似度計算３３０を行う光演算手段３００、および識別対象データから特徴量を抽出する特徴抽出部２２０、光演算用データ変換部３１０を介して類似度計算３３０を行う識別処理を行う識別手段４００から構成されている。
【００１７】
学習手段１００では、予め用意されたクラスラベルの付加された学習データが学習データ入力部１１０から入力され、特徴抽出器生成部１２０に伝送され、特徴抽出部１２１と光演算用制約付加部１２２を介し、学習用データの識別精度を最大化するように学習される。特徴抽出器生成部１２０により生成された特徴抽出部１２１は、登録手段２００、識別手段４００、光演算手段３００に組み込まれる。
【００１８】
登録手段２００では、識別対象データの辞書となる登録用データが入力部２１０から入力される。また、登録手段２００では、学習手段１００により得られた特徴抽出器を用いて抽出した特徴量は光演算用に光演算用特徴量として変換され、光演算手段３００において光演算用特徴ベクトル光記憶部３２０に登録される。
【００１９】
光演算手段３００は、光演算用データ変換部３１０と光演算用データを記憶する光記憶部３２０と、複数の光演算対応データ間における類似度を算出する類似度計算部３３０により構成され、光相関演算による類似度計算結果を出力する機能を有する。
【００２０】
光演算用データ変換部３１０では、電子データを光データに変換する処理が行われる。光演算用データに変換する際、データは空間光変調デバイスに表示され、レーザ光などを照射することによりデータの電子・光変換を行われる。そのため空間光変調器のデバイス仕様に依存するデータ変換が行われる。空間光変調器としては、液晶空間光変調器やデジタルマイクロミラーデバイスなどが用いられる。高速応答に対応する空間光変調器は２値であることが多いため、バイナリ変換が行われる。
【００２１】
識別手段４００では、識別対象データ入力部４１０において、識別対象データが入力され、学習手段１００で生成した特徴抽出部２２０により特徴量が抽出され、抽出された特徴量が光演算用データ変換部３１０に伝送される。登録手段２００において、光記憶部３２０に登録した特徴量間の類似度は光演算手段３００における類似度計算部３３０において算出される。その後、出力部４２０により識別結果が出力される。
【実施例１】
【００２２】
光演算処理によるk近傍識別法の一実施例に図１のブロック図をもとに説明する。【００２３】
実施例における光演算処理によるｋ近傍識別法は、学習手段１００、登録手段２００、光演算手段３００、識別手段４００により構成されている。【００２４】
学習手段１００は、登録手段２００及び識別手段４００において用いる特徴抽出部を生成するための手段である。【００２５】
具体的には、学習手段１００は、学習データ入力部１１０、学習データ入力部１１０より取得したデータから特徴量を抽出する特徴抽出器生成部１２０、特徴抽出器生成部１２０より得られた特徴量をもとに識別判定を行う識別部１３０、識別部１３０による識別結果を評価する学習系評価部１４０、特徴抽出器生成部１２０において光相関用に適用可能な特徴量にデータを変換する光演算制約付加部１２２と学習の進行状態を評価するための検証用データを入力するための検証データ入力部（図示略）から構成されている。【００２６】
学習手段１００における学習用データ入力部１１０では、学習用データと識別において教師となる情報がセットとして入力される。【００２７】
学習手段１００における特徴量抽出部１２０は、複数の特徴量抽出層からなる。各々の特徴量抽出層では、それぞれ学習用データに対する畳み込み、次元削減、全結合の処理が行われる。【００２８】
学習手段１００における識別部１３０では、得られる特徴量次元が識別対象クラス分の次元となる全結合層となることが好ましい。【００２９】
学習手段１００における学習系評価部１４０では、識別部１３０において得られた識別結果の出力と教師となる情報との正誤の判定が行われる。もし、識別結果が誤っていた場合は、正解との誤差を求める。【００３０】
学習手段１００における特徴抽出部１２１では、学習系評価部１４０において求めた誤差を最小化するように特徴抽出部における重みの更新を行う。【００３１】
ここで、光演算手段３００における光演算で扱うデータは、バイナリデータとする。多値データから抽出した特徴量は多値であり、この特徴量をバイナリ化する変換においては、一般に、情報量が損なわれることが知られている。この情報量の欠損は、光演算による識別性能に影響を及ぼす可能性が高い。したがって、学習手段１００における特徴抽出部１２１および光演算用制約付加部１２２では、あらかじめ最終的に特徴抽出部１２１から出力できる特徴量がバイナリデータ変換処理を施されても、限りなく情報量を維持できるような学習を行うように設計する。【００３２】
具体的には、特徴抽出部１２１で得られる各特徴量抽出層の少なくとも最終層の１つ入力側に近い層、もしくはそれより入力側に近い複数の層における活性化関数をシグモイド関数で近似したステップ関数とすることで、最終的に特徴量抽出器生成部１２０から出力される特徴量の各次元の値は限りなく０もしくは１に近い値、つまりバイナリ近似特徴量となるように学習をすすめることができる。【００３３】
ここで、バイナリ近似特徴量となるように学習をすすめる手法について詳細に説明する。【００３４】
図３は、図１の光演算処理における学習手段１００の実装例である。【００３５】
学習手段１００における特徴抽出部１２１及び光演算用制約付加部１２２の実装は、畳込み層を、ｍａｘプーリングをはさんで３層重ねた後、全結合層を４層重ねて最終出力層をクラス数と同じ１０ユニットとした。【００３６】
実装の特徴的な点は、最終出力層ｆｃ（ｎ） の１つ手前の層ｆｃ（ｎ−ｌ）で活性化関数にｓｔｅｐ関数を用いて、さらにそのユニット数を２０，０００とし、ｆｃ（ｎ−２）層よりも圧倒的に多くしている点である。【００３７】
前記学習器実装における特徴は、光相関用のバイナリデータに落としこむことを目的として、活性化関数をステップ関数とした。活性化関数としてデータを限りなくバイナリ化するステップ関数では、多値データを'恒等的に反映するＲｅｌｕ (Rectified linear unit)関数に比べて表現力が落ちることを懸念し、前記懸念事項を補う目的でｆｃ（ｎ−１）層におけるユニット数をｆｃ（ｎ−２）よりも増やした。【００３８】
前述の実装における活性化関数にステップ関数を適用した点の詳細について説明する。前記ステップ関数は、シグモイド関数におけるネイピア数の指数ｋを実数倍することで近似的にステップ関数に近づけることで代替した。本実験では、学習の収束具合の観測よりｋ＝１００とした（次に示す式（２）参照）。【００３９】
【数１】
2017141997.tif 000003
【００４０】
一方で、以上のフィードフォワードにおける活性化関数で用いた近似ステップ関数の微分は式（３）で表せる。【００４１】
【数２】
2017141997.tif 000004
【００４２】
つまり、誤差逆伝播における重みの更新式は、式（４）となり、実数倍部分が更新重みに直接関与するため、学習による重みベクトルの移動が極端に大きくなってしまい、学習が進まないことを確認した。【００４３】
【数３】
2017141997.tif 000005
【００４４】
したがって、実際の誤差逆伝播では、この実数倍部分を取り除いて重み更新を行った。また、上述したように前述の実装における最終出力層ｆｃ（ｎ）の１つ手前の層ｆｃ（ｎ−１）において、そのユニット数を２０，０００とした。【００４５】
ユニット数の実装は、活性化関数としてシグモイド関数で近似したステップ関数を適用するだけでは、情報量として十分なバイナリ近似特徴量を抽出することはできないためである。【００４６】
具体的には、多値データでは、特徴量の各次元における表現数は無限であるのに対して、バイナリ特徴量の各次元における表現数は０と１のみであることによる。【００４７】
そこで、各特徴量抽出層の少なくとも最終層もしくは、シグモイド関数で近似したステップ関数を適用しているその他の複数層におけるユニット数を激的に増やすこととした。【００４８】
前記ユニット数の増加の実装は、バイナリ特徴量の次元を増やすことになり、結果として次元数の増加は、バイナリ特徴量のもつ表現量を増加させることになる。【００４９】
一般にデジタル処理においては、特徴量の次元数を増やすことは計算量の増加につながるため避けられるが、光演算においては、各次元データを直接光として取り出し並列的に処理できるため特徴量の次元数の増加は問題にならない。【００５０】
登録手段２００は、登録用データを光演算用データへと変換し、光演算用特徴ベクトル光記憶部３２０に記憶するための手段である。登録手段２００及び識別手段４００における特徴抽出部２２０では、学習手段１００で学習した特徴量を取り出し特徴量抽出器として転移利用する。前述の特徴量抽出器を備えた特徴抽出部２２０に登録用入力データ部２１０に入力されたデータを入力し、フィードフォワード処理により学習手段の最終出力層の1層手間の層から得られた出力を特徴量として抽出する。【００５１】
図３の学習済み学習手段を特徴抽出器として利用し、特定のスケッチ入力に対するフィードフォワード処理により得られた特徴量の値分布について図４に示す。【００５２】
図４は、横軸で特徴量の各次元、縦軸で各次元の特徴量の大きさを示している。図４から分かる通り、特徴量の大きさは０から１の範囲に分布し、全次元の９０％近くは、限りなく０もしくは１に近似していることを確認した。本実装では、図４に示す特徴量を中間点０．５で闘値処理を施し、バイナリ化した。【００５３】
次に、光演算手段３００における光演算用データ変換部３１０では、特徴抽出部２２０で得られたバイナリ特徴量に対し、０は黒、１は白として色変換を行なった上でデータの画像化を行った。【００５４】
図１０（ａ）は要素数が１２のときの色変換を行った後の座標変換例であり、図１０（ｂ)は登録用データを図１０（ｃ）は識別対象データをそれぞれ実際に変換した例である。中心から外側に向かってスパイラル状に配置することで光演算用データを生成する。【００５５】
光演算手段３００における光演算用特徴ベクトル光記憶部３２０では、光演算用データ変換部３１０で生成した光演算用データをホログラムとして記憶する。【００５６】
図１１は、図１に示す光演算用特徴ベクトル光記録部３２０と類似度計算部３３０に用いる概略光学手段の一例を示す図である。【００５７】
ホログラム記録用光源３４１から出射された光は、ピーム形成光学手段３４２によって十分に広がった平行光に形成される。例えばビームエキスパンダーなどが含まれる。平行光は波長板３４３によって位相差を与えられ、ミラー３４４によって折り返され、波長板３４６によって位相差を与えられ、偏光ビームスプリッタ３４７で折り返されたのちに空間光変調素子３４８に入射する。この時、光演算用データ変換部３１０で生成した記録するデータにホログラム作成のための参照光となる画像をデータに付加したデータを空間光変調素子に入力する。【００５８】
入射した光は空間光変調素子によって白ピクセルのみ位相差が与えられ、白ピクセルの光のみが偏光ビームスプリッタ３４７を通過し、レンズ３４９とレンズ３５３によって像はリレーされ、アクチュエータ３５５に搭載された対物レンズによってフーリエ変換され、ホログラム記録媒体３５６にデータが記録される。ここで、用いる空間光変調素子によっては、不図示の１／４波長板を組み合わせることで白ピクセルのみを通過させてもよい。【００５９】
ここで、ディスクを回転する機構とした場合、記録時や照合時とは異なる波長を持つサーボ用の光源３６４を保持し、ミラー３６６で折り返し、波長板３６７で位相差を与え、ダイクロイックピームスプリッタ３５４によって折り返され、アクチュエータ３５５によってホログラム記録媒体に照射された光が記録媒体の反射面から戻り、偏光ビームスプリッタ３６５によって折り返され、光受光素子３６８によって検出され、その強度によってアクチュエータ上の対物レンズの位置を動かす、フォーカスやトラッキングのサーボ機能を付加する。【００６０】
ここで、光演算用データをホログラムとして記憶する媒体は、ホログラフィック光ディスクに限定されない。例えば、前述の媒体には多角形のものも含まれ、媒質の材質にはフォトポリマー、結晶、液晶なども含まれる。【００６１】
次に、識別手段４００では、識別対象データ入力部４１０より入力されたデータと、登録手段２００において光演算用特徴ベクトル光記憶部３２０に記憶されたデータとの相関照合により識別を行う。【００６２】
識別手段４００における特徴抽出においても、登録手段２００で用いたものと同じ特徴抽出部２２０を用いて、識別対象データ入力部４１０より入力されたデータの特徴量を抽出する。【００６３】
識別手段４００における光演算用データ変換部３１０においても、登録手段２００で用いたものと同じ光演算用データ変換部３１０を用いて、特徴抽出部２２０より抽出した特徴量を光演算用データへと変換する。【００６４】
識別手段４００における類似度計算部３３０では、識別対象データ入力部４１０で入力したデータから特徴抽出部２２０で得た特徴量を光演算用データ変換部３１０で光演算用データ化したデータと、登録手段２００において登録用データを記憶した前記光演算用特徴ベクトル光記憶部３２０に記憶されたデータとの間で類似度を算出する。【００６５】
図１１に示した光学手段例においては、照合用光源３５７から出射された光はピーム形成光学手段３５８によって十分に広がった平行光に形成される。平行光は波長板３５９によって位相差を与えられ、偏光ピームスプリッタ３４５によって折り返され、波長板３４６によって位相差を与えられ、偏光ビームスプリッタ３４７で折り返されたのちに空間光変調素子３４８に入射する。【００６６】
この時、識別対象データ入力部４１０から入力されたデータから光演算用データ変換部３１０で生成したデータを空間光変調素子に入力する。白ピクセルの光のみが偏光ビームスプリッタ３４７を通過し、レンズ３４９とレンズ３５３によって像はリレーされ、アクチュエータ３５５に搭載された対物レンズによってフーリエ変換され、データが記録されたホログラム記録媒体３５６に照射される。ディスクの鏡面で反射された光は、偏光ビームスプリッタ３５０によって折り返され、レンズ３６０とミラー３６１、レンズ３６２を通過し、光受光素子３６３によって光強度が検出される。【００６７】
類似度計算部３３０で求めた類似度は、類似性が高いものほど大きな光強度、類似性が低いものほど小さな光強度として、識別手段４００における出力部４２０より出力される。【００６８】
識別手段４００における出力部４２０より出力された光強度の大きい方からｋ個の記憶データに属するクラスの多数決投票により得られる結果を識別結果として用いると、本手法は、デジタルにおいてｋ近傍法を実装したことと同義である。【００６９】
図１の光演算処理によるｋ近傍識別器をスケッチベース３次元照合に適用して実験を行った。【００７０】
具体的な実験手法は、学習データを３次元モデルの概形データとスケッチデータの一定の割合での混合データとし、クラス数１０クラスの識別用学習器を学習手段１００に基づいて生成し、スケッチデータを検証データとして学習を進め、得られた学習済み学習手段の特徴抽出部を特徴抽出器として用いた。前述の特徴抽出器に３次元モデルの概形データを入力し、抽出した光演算用特徴ベクトルを光演算手段３００の光演算用特徴ベクトル光記憶部３２０に記憶した。【００７１】
ここで、識別対象データとなるスケッチデータを識別手段４００の識別対象データ入力部４１０より入力し、得られた光記憶用特徴ベクトルを、光演算用特徴ベクトル光記憶部３２０に記憶された特徴ベクトルとの聞で類似度計算を行う、その出力結果を前記出力部４２０から得た。得られた出力は、前述したとおり類似性が高いものほど大きな光強度、類似性が低いものほど小さな光強度の出力となる。【００７２】
したがって、出力された光強度の大きい方からｋ個記憶データの属するクラスの多数決投票により得られる結果を識別し、さらにｋ個の３次元モデルデータを、入力したスケッチデータに対して類似形状をもつ３次元モデル照合結果とした。【００７３】
図５では、得られた特徴量の識別精度を示している。図５より、学習手段における識別精度は、テストデータで約８６％となった。その学習手段の学習済み特徴抽出部を特徴抽出器として利用して得た特徴量をバイナリ化した特徴量によるｋ近傍法の識別精度はテストデータで約８７％となっており、本学習手段で得られた特徴量はパイナリ化しでもその表現力を維持できる特徴量となっていることを確認した。【００７４】
また、実際のデジタルｋ近傍におけるスケッチベース３次元モデルデータの照合では、t r e eクラスのスケッチ２種類(スケッチデータＡ、スケッチデータＢ) を入力したとき、スケッチデータＡに対して類似形状をもつ３次元モデルの照合結果は、スケッチデータＡに類似した形状をもつ３次元モデルとなっていた。【００７５】
一方で、スケッチデータＢに対して類似形状をもつ３次元モデルの照合結果は、スケッチデータＢには、あまり類似していないがｔｒｅｅクラスに属する３次元モデルとなっていた。このとき、スケッチデータＡとｋ近傍の距離とスケッチデータＢとｋ近傍の距離は、前者の方が小さく後者の方が大きかった。つまり、本学習手段で得られた特徴量は、類似形状の表現量をもつバイナリ化特徴量となっていることを確認した。【００７６】
図６は、図１の光演算処理によるｋ近傍識別器をスケッチベース３次元照合に適用したとき、イスクラスの記憶部にポジティブデータであるイスのスケッチを識別対象データとして入力した場合と、ネガティブデータであるイス以外のスケッチを識別対象データとして入力した場合の光演算による類似度計算結果を縦軸の光強度で示した図である。【００７７】
図６から、わかるようにポジティブクラスの識別対象データを入カとした場合光強度が大きくなる一方で、ネガティブクラスの識別対象データを入カとした場合、光強度が小さくなることが確認でき、光演算による類似度計算が可能であることを示している。【００７８】
図７は、図１の光演算処理によるｋ近傍識別器をスケッチベース３次元照合に適用した場合の、光演算による多クラス識別結果を示した図である。【００７９】
図７（ａ），（ｂ） において左側はタイヤクラスの３次元モデル概形データより抽出した光演算用特徴ベクトルを記憶した部分、右側はギタークラスの３次元モデル概形データより抽出した光演算用特徴ベクトルを記憶した部分である。【００８０】
図７（ａ），（ｂ） からわかるように、ギターのスケッチデータを識別対象データとして入力した場合、記憶部の右側と類似度が高いが、左側とは類似度が小さいことがわかる。また、タイヤのスケッチデータを識別対象データとして入力した場合、記憶部の左側と類似度が高いが、右側とは類似度が小さいことがわかる。このことから、多識別にも光演算による類似度計算が適用可能であることを確認した。【００８１】
図８は、図１の光演算処理によるｋ近傍識別器をスケッチベース３次元照合に適用した場合の、光相関演算によるｋ近傍法による３次元モデル照合結果を示した図である。【００８２】
前述したように、光相関演算では、類似性が高いものほど大きな光強度、類似性が低いものほど小さな光強度として、識別手段４００における出力部４２０より出力される。識別手段４００における出力部４２０より出力された光強度の大きい方からｋ個記憶データの属するクラスの多数決投票により得られる結果を識別結果として用いると、本手法は、デジタルにおいてｋ近傍法を実装したことと同義である。つまり、本光演算によるｋ近傍法によるスケッチベースで類似形状をもつ３次元モデルデータ照合の結果を示した図が図８である。【００８３】
図８はｋ＝５として、５近傍識別を行った結果を示す。
図８より、スケッチベース３次元モデルデータの照合部分に光演算を適用した場合でも、入力したスケッチデータに対して、精度よく類似形状をもつ３次元モデル照合が可能であることを確認した。【００８４】
次に、図２をもとに本実施例に関わる光演算処理によるk近傍識別器のフローチャートを説明する。説明及び各ステップを「Ｓ」と略記する。【００８５】
前述の光演算処理によるｋ近傍識別器のフローチャートは、学習処理、登録処理、識別処理からなる。【００８６】
学習処理においては、はじめにＳ１０１において教師ラベルと学習データとをセットにして入力する。次に、Ｓ１０２において、Ｓ１０１で入力されたデータに対して前処理を施す。具体的には、学習データ全ての配列値を学習データの各配列値のなかでの最大値で割ることで値を正規化する。【００８７】
Ｓ１０２の前処理により正規化されたデータを用いて、Ｓ１０３において特徴量抽出を行う。Ｓ１０３で得られた特徴量を、Ｓ１０４において識別関数にかけることで識別結果を取得し、識別結果をもとに重みベクトルの最適化を行う。学習が終了したと判断されるまで、Ｓ１０１，Ｓ１０２，Ｓ１０３およびＳ１０４を一定回数繰り返す。【００８８】
登録処理においては、まず、Ｓ２０１において教師ラベルとセットとして登録用データを入力する。そして、Ｓ２０２においてＳ１０２と同様の前処理を施す。【００８９】
Ｓ２０３では、学習処理において重みベクトルを最適化した学習済みの特徴抽出部を取り出し特徴抽出器として利用することで、Ｓ２０２の前処理で得られたデータより特徴量を抽出する。抽出した特徴量に対して、Ｓ２０４において闘値処理を施し、特徴量をバイナリ化することでバイナリ特徴量を得る。得られたバイナリ特徴量を、０を黒、１を白のピクセル値として光演算用データ化し、Ｓ２０５においてホログラムに記憶する。【００９０】
識別処理においては、まず、Ｓ３０１においてラベルのない識別したい対象となるデータを入力する。次に、Ｓ３０２においてＳ１０２と同様の前処理を施す。Ｓ３０３においても、Ｓ２０３と同様に、学習処理により重みベクトルを最適化した学習済みの特徴抽出部を取り出し特徴抽出器として利用することで、Ｓ３０２の前処理で得られたデータより特徴量を抽出する。【００９１】
抽出した特徴量に対して、Ｓ３０４において闘値処理を施し特徴量を光演算用データ変換することでバイナリ特徴量を得る。得られたバイナリ特徴量を用いてＳ３０５において、登録手段２００におけるＳ２０５においてホログラムに記憶したバイナリ特徴量との類似度を光演算により算出する。光演算により得られた類似度をもとにＳ３０６において識別判定を行う。【００９２】
次に、図９をもとに光演算手段３００におけるフローチャートを説明する。【００９３】
図９（ａ） は登録手段２００における光演算手段３００のフローチャートである。Ｓ４０１において特徴抽出部によって得られた特徴量を入力し、Ｓ４０２においてバイナリ変換を施す。Ｓ４０３においては、得られた特徴量を空間光変調器や光学系に合わせてアドレス再配置を行う。【００９４】
Ｓ４０３で得られたパターンに対して、Ｓ４０４において参照光を付加し、Ｓ４０５において空間光変調素子へ表示し、Ｓ４０６において光照射する。このＳ４０１からＳ４０６までのステップが登録手段２００および光演算用データ変換処理３１０である。【００９５】
Ｓ４０６ののちは、光演算用特徴量記憶処理３２０であり、Ｓ４０６で照射した光が記録媒体に到達し、登録用データから生成された特徴量が登録される。登録用のデータすべてに対して記憶処理が終了したと判断されるまで、Ｓ４０１，Ｓ４０２，Ｓ４０３，Ｓ４０４，Ｓ４０５およびＳ４０６を繰り返す。【００９６】
図９（ｂ）は識別手段４００における光演算手段３００のフローチャートである。Ｓ５０１において特徴抽出部によって得られた特徴量を入力し、Ｓ５０２においてバイナリ変換を施す。Ｓ５０３においては、得られた特徴量を空間光変調器や光学系に合わせてアドレス再配置を行う。【００９７】
Ｓ５０３で得られたパターンをＳ５０４において空間光変調素子へ表示し、Ｓ５０５において光照射する。このＳ５０１からＳ５０５までのステップが識別手段４００における光演算用データ変換部３１０の処理である。【００９８】
Ｓ５０５の後は、類似度計算部３３０で処理を行い、Ｓ５０５で照射した光がＳ４０７で登録用データの特徴量が記憶されている記録媒体に到達し、照合が実施され、Ｓ５０６において照合結果として光強度が受光され、Ｓ５０７において類似度が判定される。
【実施例２】
【００９９】
光演算処理による線形識別器による識別法の実施例２について図１の構成図をもとに説明する。【０１００】
実施例１における光演算処理による線形識別器は、学習手段１００、登録手段２００、光演算手段３００、識別手段４００により構成され、図１２は各手段のフローチャートである。【０１０１】
学習手段１００は、登録手段２００及び識別手段４００において用いる特徴抽出部１２１及び光演算用制約付加部１２２を構築するための手段である。【０１０２】
具体的には、学習手段１００は、学習データ入力部１１０、前記学習データ入力部１１０より取得したデータから特徴量を抽出する抽出器を生成する特徴抽出器生成部１２０、特徴抽出器生成部１２０より得られた特徴抽出器から抽出される特徴量をもとに識別判定を行う識別部１３０、識別部１３０による識別結果を評価する学習系評価部１４０、学習系評価部１４０による評価をもとに特徴抽出部の重みの更新を行う特徴抽出部１２１、特徴抽出部１２０において光演算に適用可能な特徴量にデータを変換する光演算用制約付加部１２２と学習の進行状態を評価するための検証用データを入力するための検証データ入力部１５０からなる手段である。【０１０３】
学習手段１００における学習用データ入力部１１０では、学習用データと識別において正解となる情報をセットして入力する。また、特徴抽出器生成部１２０は、複数の特徴量抽出層からなる。各特徴量抽出層は、それぞれ学習用データに対する畳み込み、次元削減、全結合の処理を行う。【０１０４】
学習手段１００における識別部１３０では、得られる特徴量次元が識別対象クラス数分の次元となる全結合層となることが好ましい。また、学習系評価部１４０では、識別部１３０において得られた識別結果の正誤の判定を行う。もし、識別が誤っていた場合は、正解との誤差を求める。さらに、学習手段１００における特徴抽出部１２１では、学習系評価部１４０において求めた誤差を最小化するように特徴抽出部における重みの更新を行う。【０１０５】
学習手段１００における光演算用制約付加部１２２では、学習データ入力部１１０から入力した学習用データに特徴抽出部１２１を適用したデータと識別において正解となる情報をセットして入力し、入力されたデータを適切なクラスに分類する最適な重みベクトルを求める。また求めた前述の重みベクトルを複数のバイナリベクトルと実数係数に分解する。【０１０６】
ここで、光演算手段３００における光演算で扱うデータは実施例２では、パイナリデータである。多値データから抽出した特徴量は多値であり、これをバイナリ化する変換においては、データ表現力が落ちるので情報量を損なってしまうことが知られている。この情報量の欠損は、光演算による識別性能に影響をおよぼす可能性が高い。したがって、学習手段１００における前記特徴抽出部１２１において情報量を保持する特徴量を設計する、または複数の関値を設定しバイナリ化を行うことでデータ次元数を多値のものより増やし、データの表現力を向上させバイナリデータ変換処理を施されても、情報量を維持できるようにした。【０１０７】
具体的には、特徴量抽出部１２１では多値データによる特徴量を得られるように学習を進め、特徴量抽出学習部で得られた多値データによる特徴量を闇値よってバイナリ化し、それを闘値数分繰り返すことで表現力の高いバイナリ特徴量を得る。【０１０８】
ここで、多値データの特徴量を得る手法、得られた特徴量を２値化する手法について説明する。【０１０９】
図１３および図１４は、図１の学習手段１００の特徴量抽出部１２１の実装例を示す図である。【０１１０】
学習手段１００における特徴量抽出部１２１の実装は、畳込み層を、マックスプーリング処理を挟んで１層、全結合層を２層重ねて最終出力層をクラス数と同じ２ユニットとした。【０１１１】
前述の実装における活性化関数にはＲｅＬＵ(Rectified Linear Unit) 関数を用いた。【０１１２】
前述の実装の各層の重みを最適化し、畳込み層の出力によって多値による特徴量を算出することができる。ただし、特徴抽出する際には光学演算による畳み込みを行った。これは畳み込み処理は光学計算によって置き換え可能であるからである。【０１１３】
前述のように算出した特徴量を図１４に示すバイナリ処理によって光演算用にデータ変換する。多値データの中で闇値より大きいものを１、そうでないものを０とすることでバイナリ化し、前記のバイナリ化を複数の闘値により行う。【０１１４】
前述のように算出されるバイナリ化特徴量から識別関数の最適な重みベクトルを算出する学習手段１００における光演算制約付加部１２２では、最適化アルゴリズムとして線形ＳＶＭ(Support Vector Machine) を用いた。【０１１５】
重みベクトルを算出することで得られる識別関数は式（５）となる。ここでωが重みベクトル、ｘが識別対象データである。【０１１６】
【数４】
2017141997.tif 000006
【０１１７】
次に、光演算手段３００における光演算用データ変換部３２０では、前記光演算制約付加部１２２で生成した重みベクトルを図１５に示した分解アルゴリズムによってバイナリベクトルと実数係数に分解し、バイナリベクトルを前記光演算用データ変換部に入力し。０は黒、１は白として色変換を行い中心から外側に向かつてスパイラル状に配置することで光演算用データをホログラム光メモリ上に記憶する。【０１１８】
図１５に示した分解アルゴリズムでは、多値の重みベクトルの内正の数を１、負の数を０に対応させてバイナリ化し、元の多値の重みベクトルとバイナリ化したベクトルが同じ大きさになるように実数係数を求め、求めた実数係数とバイナリベクトルの積を再び正負によってバイナリ化する。以上を繰り返すことにより多値の重みベクトルをバイナリベクトルと実数係数に分解する。【０１１９】
バイナリベクトルと実数係数に分解すると、識別関数は式（６）のように変形される。【０１２０】
【数５】
2017141997.tif 000007
【０１２１】
光演算手段３００における光演算用特徴ベクトル光記憶部３２０では、光演算用データ変換部３１０で生成した光演算用データをホログラム光メモリ上に記憶する。【０１２２】
次に、識別手段４００では、識別対象データ入力部４１０より入力されたデータと、登録手段２００において光演算用特徴ベクトル光記憶部３２０に記憶されたデータとの類似度照合により識別を行う。【０１２３】
識別手段４００における特徴抽出においては、特徴抽出部２２０を用いて、識別対象データ入力部４１０より入力されたデータの特徴量を抽出する。【０１２４】
実施例２における前記特徴抽出部２２０は前記学習手段１００の特徴抽出器生成部１２０の特徴抽出部１２１を用いる。【０１２５】
識別手段４００における光演算用データ変換部３１０においては、特徴抽出部２２０によって得られたバイナリベクトルを０は黒、１は白として色変換を行い、中心から外側に向かってスパイラル状に配置することで光演算用データへ変換する。【０１２６】
識別手段４００における類似度計算部３３０では、前述の識別対象データ入力部４１０で入力したデータから特徴抽出部２２０で得た特徴量を光演算用データ変換部３３０で光演算用データ化したデータと、登録手段２００において登録用データを記憶した前記光演算用特徴ベクトル光記憶部３２０に記憶されたデータとの聞で類似度を算出する。【０１２７】
前記類似度計算部３３０で求めた類似度は、類似度が高いものほど大きな光強度、類似度が低いものほど小さな光強度として、識別手段４００における出力部４２０に出力される。【０１２８】
得られた出力に対して、前記光演算用データ変換部で得られる実数係数を付加し、式（７）の計算をすることで、識別関数の出力を得る。ここで、βは実数係数、ｂは光演算用特徴ベクトル光記憶部３２０に記憶されたバイナリベクトル、ｘは識別対象データ入力部４１０から入力された識別対象データに対して特徴抽出部２２０の処理を施したベクトルである。【０１２９】
【数６】
2017141997.tif 000008
【０１３０】
次に図１２に示したフローチャートについて説明する。説明及び各ステップを「Ｓ」と略記する。【０１３１】
前述の光演算処理における線形識別器による識別法は学習処理、学習処理における光演算制約付加部、登録処理、識別処理からなる。【０１３２】
学習処理においては、はじめにＳ１０１おいて教師ラベルとセットとして学習データを入力する。次に、Ｓ１０２において、Ｓ１０１で入力されたデ}タに対して前処理を施す。具体的には、学習データ全ての配列値を学習データの各配列値のなかでの最大値で割ることによる値の正規化と、グレースケール化である。【０１３３】
Ｓ１０２の前処理により正規化されたデータを用いて、Ｓ１０３において特徴量抽出を行う。Ｓ１０３で得られた特徴量を、Ｓ１０４において識別関数にかけることで識別結果を取得し、識別結果をもとに重みベクトルの最適化を行う。学習が終了したと判断されるまで、Ｓ１０１，１０２，Ｓ１０３およびＳ１０４を一定回数繰り返す。【０１３４】
光演算制約付加部においてはＳ２０１において教師ラベルとセットとして学習データを入力する。次に、Ｓ２０２において、Ｓ２０１で入力されたデータに対して前処理を施す。具体的には、学習データ全ての配列値を学習データの各配列値のなかでの最大値で割ることによる値の正規化と、グレースケール化である。【０１３５】
Ｓ２０２の前処理により正規化されたデータを用いて、Ｓ２０４においてバイナリ化を行い、Ｓ２０５において線形ＳＶＭにより識別関数の重みベクトルを、入力データをクラス毎に分類できるように最適化する。【０１３６】
Ｓ２０５の学習によって求めた重みベクトルを前記パイナリ分解手法によって複数のバイナリベクトルと複数の実数係数に分解する。【０１３７】
登録処理においては、まず、Ｓ３０１において光演算制約付加部のＳ２０６で得られたバイナリベクトルを登録用データとして入力する。【０１３８】
Ｓ３０２，Ｓ３０３，Ｓ２０４では、光演算制約付加部のＳ２０６で得られたバイナリベクトルベクトルを、０を黒、１を白のピクセル値として光演算用データ化し、Ｓ２０５においてホログラムに記憶する。【０１３９】
識別処理においては、まず、Ｓ４０１においてラベルのない識別したい対象となるデータを入力する。次に、Ｓ４０２においてＳ１０２と同様の前処理を施す。Ｓ４０３においても、Ｓ２０３と同様に、学習処理により重みベクトルを最適化した学習済みの特徴抽出部を取り出し入力データ対して適用することで特徴量を抽出する。【０１４０】
Ｓ４０４では抽出した特徴量に対して、Ｓ２０４と同様の処理により特徴量をバイナリ化することでバイナリ特徴量を取得し、得られたパイナリ特徴量に対してＳ３０４と同様の処理により、光演算用データに変換する。得られたバイナリ特徴量を用いてＳ４０５において、登録処理におけるＳ３０５においてホログラムに記憶したバイナリ特徴量との類似度を光演算により算出する。光演算により得られた類似度をもとにＳ４０６において識別判定を行う。【０１４１】
学習手段１００の前記特徴抽出部１２１においてＣＮＮ（Convolutional Neural Network）の学習によって得られる特徴量をバイナリ化したものではなく、Ｂ−ＨＯＧ特徴量を使い人検出の実験を行った。Ｂ−ＨＯＧ特徴量はＨＯＧ特徴量から得られる勾配ヒストグラムを関値により正負で２値化し、さらに情報の欠損を防ぐためにHOG特徴量の各ブロック内でXORの共起表現を付加したものである。【０１４２】
具体的な実験方法は、人画像とそれ以外の画像からなる学習データから学習手段に１００に基づき、Ｂ−ＨＯＧ特徴量を算出し、その特徴量から識別関数を生成する。学習手段１００の光演算制約付加部１２２で得られるバイナリベクトルを光演算手段３００の光演算用データ変換部に入力し、光演算用特徴ベクトル光記憶部３２０に記憶した。ここで、識別対象データとなる画像を識別手段４００の識別対象データ入力部４１０より入力し、得られた光記憶用特徴ベクトルを、光演算用特徴ベクトノレ光記憶部３２０に記憶されたバイナリベクトルとの問で類似度計算を行う。その出力結果を前記出力部４２０から得た。得られた出力は、前述した通り類似度が高いものほど大きな光強度、類似度が低いものほど小さな光強度の出力となる。得られた出力に対して光演算用制約付加部１２２の分解手法により得られる実数係数を付加し、識別関数の出力を計算する。得られた出力を闘値判定することにより、識別結果が得られる。【０１４３】
学習手段１１０においてＢ−ＨＯＧ特徴量を使った識別関数の識別精度は約９２％となった。【０１４４】
識別手段４００の出力部４２０の出力から計算した識別関数の出カは図１６となった。図１６から闇値判定することで、人とそれ以外の画像データを判別可能であることが確認できる。
【実施例３】
【０１４５】
本発明に係る実施例３（すなわち、光演算処理によるパターン認識手法の一実施例）について図１７の構成図をもとに説明する。【０１４６】
実施例３における光演算処理によるパターン認識装置２は、図１７に示すように、学習手段１００、特徴量変換手段（特徴量変換モジュール）５００、登録手段２００、光演算手段３００、識別手段４００により構成され、図１８は前述の各手段のフローチャートである。【０１４７】
学習手段１００は、光相関用データ変換部の変換関数を決定することを目的とする手段である。具体的には、学習手段１００は、学習データ入力部１１０、学習データ入力部１１０より取得したデータを変換する特徴抽出器生成部１２０、特徴抽出器生成部１２０より得られた変換後データをもとに判定を行う識別部１３０、識別部１３０による判定結果を評価する学習系評価部１４０と学習の進行状態を評価するための検証用データを入力するための検証データ入力部１５０からなる。また様々な学術機関が配布しているディープラーニングを電子計算機上で実行するためのソフトウェアには、学習済みの重みやバイアスを出力したり、読み込んで利用したりできるような機能が搭載されており、学習手段１００を経ずに学習済み特徴量抽出器を用いることもできる。【０１４８】
特徴量変換手段５００は、ニューラルネットワーク（単に、「ネットワーク」という場合がある）における学習によって学習データの特徴量を変換する特徴量変換モジュールであって、任意の第一の次元数および任意の特徴量を有する学習データが入力される学習データ入力部５１０と、所定の光演算制約条件を満たす第二の次元数を有する重みとバイアスとを因子にもつ多項式（式）からなる非線形関数（関数）より構成された学習モデルに、学習データ入力部５１０に入力された学習データを入力し、第二の次元数を有する中間層を設定する中間層設定部５２０と、中間層設定部５２０で設定された中間層から第一の次元数を有する出力層を計算し、ニューラルネットワークの出力を算出する出力算出部５３０と、出力算出部５３０によって算出されたニューラルネットワークの出力と学習データとの誤差を算出する誤差算出部５４０と、誤差算出部５４０によって算出された誤差が所定の条件を満たすか否かを判定する判定部５５０と、誤差に基づいて重みとバイアスとをそれぞれ変更し、変更後の重みとバイアスとを得る重みバイアス変更部５６０と、変更後の重みとバイアスとを因子にもつ多項式からなる非線形関数によって構成された学習モデルを出力する学習モデル出力部５７０と、を備えている。また、特徴量変換手段５００は、判定部５５０において誤差が所定の条件を満たすと判定された場合には、学習モデル出力部５７０から変更後の重みとバイアスとを因子にもつ式からなる関数によって構成された学習モデルを出力させ、判定部５５０において誤差が所定の条件を満たさないと判定された場合には、出力算出部５３０において学習モデルの多項式に含まれる重みとバイアスを重みバイアス変更部５６０で得られた変更後の重みとバイアスにそれぞれ変更し、ニューラルネットワークの出力を算出させる制御部５８０を備えている。【０１４９】
前述の光演算制約条件は、ニューラルネットワークの出力を用いて行う光演算における所定の量子化数、光演算に用いられる光相関器の光学パラメータ、および所定のエネルギー数によって決まる。【０１５０】
具体的には、光演算制約条件としては、
（１）量子化数が制限されている
（２）次元数が光相関システム（光相関器）に最適な値を満たしている
（３）エネルギー量が一定である
（４）特徴量の情報を失わない
が挙げられる。本実施例では、（１）についてはバイナリデータによって量子数が２に制限されている。また、（３）についてはホワイトレート一定と等価としている。【０１５１】
上述の制約条件（２）については、図２３に示すように、光源６０２、ビーム径拡大レンズ系６０４、ミラー６０６、空間光変調器（表示素子）６０８、偏光ビームスプリッタ６１２、縮小光学系６１４、対物レンズ（レンズ）６１６が配置された光相関器６００では、式（１）を満たすことが好ましい。ただし、縮小光学系６１４は省略可能である。
【数７】
2017141997.tif 000009
【０１５２】
なお、（１）式において、zは第二の次元数、aは空間光変調器６０８のピクセルピッチ［ｍｍ］、rはレンズ対物レンズ６１６の半径［ｍｍ］、ｂは縮小光学系６１４の縮小倍率を示す。【０１５３】
学習データ入力部５１０においては、制御部が、特徴情報を持つ任意の次元数（第一の次元数）ｎを持つデータを、教師情報として入力する。ニューラルネットワークの層は１つでもよいし、複数層で構成してもよい。各層は、それぞれ学習データに対する畳み込み、次元削減、全結合の処理を行う。【０１５４】
中間層設定部５２０は、教師情報を受け取り、初期ネットワーク格納部に格納されているニューラルネットワークに対し、以下の設定を行う。まず、教師情報と同じ次元数ｎを入力層と出力層に設定する。加えて、上述の制約条件（２）を満たすために中間層に対して光相関演算に適した次元数（第二の次元数、すなわち式（１）におけるｚ）ｍを設定する。本実施例では、図１９に示すような入力層、中間層、出力層の三つの層からなるネットワークを用いた。【０１５５】
ネットワーク初期設定部では前記初期ネットワーク格納部に格納されている重みｗ，ｗ´とバイアスｂ，ｂ´に対して任意の値を初期値として設定する。ここで、中間層の活性化関数として光相関システム用活性化関数ｙを設定し、教師情報の値域と同じ値域を出力として持つ活性化関数を出力層の活性化関数ｇとして設定する。【０１５６】
光相関用活性化関数は制約条件１を満たすためにシグモイド関数のネイピア数の指数ｋ
を実数倍することで、近似的にステップ関数に近づけている（式（８）参照）。近似的にステップ関数に近づけることで入力データの近似バイナリ化を実現している。本研究では、学習の収束具合の観測よりｋ＝１０００
としている。【０１５７】
【数８】
2017141997.tif 000010
【０１５８】
さらに、入力値オフセットｃによって制約条件（３）を適用する。シグモイド関数では入力値の０を基準として、出力値が０または１へと緩やかに変化して行くが、制約条件（３）を満たすために、この活性化関数では入力値を減算するオフセットｃを入力値に応じて動的に設定することで基準値を変動させ、ホワイトレートを２０％に設定した。【０１５９】
ここで、使用する光相関器に合わせて設定するホワイトレートを変えてもよい。また、入力データ群を降順にソートしたあと入力に応じて動的に設定することによってホワイトレートを完全均一にすることも容易である。【０１６０】
学習を行う際に用いられる誤差逆伝播法では活性化関数の微分を計算する。前述の活性化関数を微分すると式（９）となり誤差逆伝播法における重みの更新式は式（１０）となる。式（１０）では、実数倍部分が更新重みに直接関与する。このことは学習による重みの更新が極端に大きくなることに繋がり、学習が進まない。そのため、この実数倍部分を取り除いた式（１１）を活性化関数ｆにおける重みの更新式として用いた。【０１６１】
【数９】
2017141997.tif 000011
【０１６２】
【数１０】
2017141997.tif 000012
【０１６３】
【数１１】
2017141997.tif 000013
【０１６４】
ネットワーク初期化部で初期化されたネットワークを受け取ったネットワーク出力算出部では、教師情報を入力層に通し、中間層、出力層へと伝播させる。入力層のユニットの出力が中間層のユニットへ伝播する際には、ユニットの出力に対して第一の重みｗがかけられ、第一のバイアスｂが加算され、さらにこの結果を活性化関数ｆに入力し、活性化関数ｆの出力が中間層のユニットの出力とする。つまり、第一の重みｗ＝［ｗ１１，ｗ１２，…，ｗｍｎ−１，ｗｍｎ］、第一のバイアスｂ＝［ｂ１，ｂ２，…，ｂｍ−１，ｂｍ］とすると、中間層の出力は式（１２）で表される。【０１６５】
【数１２】
2017141997.tif 000014
【０１６６】
中間層のユニットの出力が出力層へ伝播する際には、中間層のユニットの出力に対して第二の重みｗ´がかけられ、バイアスｂ´が加算され、さらにこの結果を入力値の値域と同じ値域を持つ活性化関数ｇに入力し、この活性化関数ｇの出力が出力層のユニットの出力、つまりネットワークの出力となる。【０１６７】
誤差算出部５４０は、出力算出部５３０からネットワークの出力と学習データ入力部５１０から受け取った教師情報を用いて、ネットワークの出力と教師情報とが同じ値となるように２つの間の誤差を計算する。【０１６８】
判定部５５０は、誤差算出部５４０から誤差を受け取り、誤差の変化がほぼなくなったか、または処理が指定回数だけ繰り返されたかを判定する。前述のいずれも満たさない場合にはネットワークと誤差を重みバイアス変更部５６０に渡す。いずれかを満たす場合には、ネットワークから出力層と第二の重みｗ´とバイアスｂ´を取り除き、入力層と第一の重みｗとバイアスｂと中間層のみを残し、光相関演算用データ変換器として出力する。【０１６９】
重みバイアス変更部５６０は、判定部５５０からネットワークと誤差を受け取り、誤差を元に重みｗ，ｗ´、バイアスｂ，ｂ´を変更し、変更したネットワークを再度、出力算出部５３０に渡す。【０１７０】
実際には、判定部５５０における判定に基づき、制御部５８０によって、重みバイアス変更部５６０と出力算出部５３０とのやりとりがなされる。【０１７１】
中間層の次元数や活性化関数に対して光演算制約条件を加えた上で教師情報とネットワークの出力が同じとなるように学習を行わせることで、上述の制約条件（１）−（３）を満たしつつも、制約条件4の情報損失を防止する条件を満たしたデータを中間層から出力可能な変換器を特徴抽出部と光相関用データ変換部の間に組み込んだ。【０１７２】
登録手段２００は、まず特徴抽出部へ登録用データを入力することで特徴量抽出を行い、次にこの特徴量を特徴量変換手段へ入力し、その後光演算用データ変換部へ入力し光演算用データへと変換、そして光演算用データを光記憶部に記録するための手段である。【０１７３】
識別手段４００は、まず特徴抽出部へ識別対象データを入力することで特徴量抽出を行い、この特徴量を特徴量変換モジュールへ変換した後、光演算用データ変換部へ入力し光演算用データへと変換、そして前記登録手段において光演算用特徴ベクトル記憶部に記憶されたデータとの相関照合を類似度計算部により行い、識別を行うための手段である。【０１７４】
識別手段４００においては、登録手段２００で用いたものと同じ特徴抽出部、特徴量変換モジュール及び、光演算用データ変換部を用いて、識別対象データ入力部より入力されたデータの特徴量を抽出し、光演算用データへ変換した。また類似度計算部で求めた類似度は、類似性が高いものほど大きな光強度を示し、逆に類似性が低いものほど小さい光強度として出力部へ出力される。【０１７５】
次に図１８に示したフローチャートについて説明する。説明及び書くステップを「Ｓ」と略記する。【０１７６】
光演算処理によるパターン認識手法における識別は、よりよい特徴量抽出のための学習処理、特徴量に光相関制約条件を付加した上で変換する特徴量変換手段、登録処理、識別処理からなる。前述のように様々な学術機関が配布しているディープラーニングを電子計算機上で実行するためのソフトウェアには、学習済みの重みやバイアスを出力したり、読み込んで利用したりできるような機能が搭載されており、前述の学習手段を経ずに学習済み特徴量抽出器を用いることも可能である。このため、学習処理はあってもなくてもよい。【０１７７】
学習処理１００においては、Ｓ１０２の前処理により正規化されたデータを用いて、Ｓ１０３において特徴量抽出を行なう。Ｓ１０３で得られた特徴量を、Ｓ１０４において識別関数にかけることで識別結果を取得し、識別結果をもとに特徴抽出器の最適化を行なう。学習が終了したと判断されるまで、Ｓ１０１，１０２，Ｓ１０３およびＳ１０４を一定回数繰り返す。【０１７８】
特徴量変換手段においては、光制約を付加するための学習をおこなう。Ｓ２０１において特徴量抽出器で特徴抽出済みのデータを入力する。次に、Ｓ２０２において、Ｓ２０１で入力されたデータに対してS２０２において符号化を施す。その後Ｓ２０３において複合し、Ｓ２０１で入力したデータとＳ２０３で複合したデータの差分を用いてＳ２０４にて特徴量変換器を最適化する。【０１７９】
登録処理においては、まず、Ｓ３０１において登録データを入力し、Ｓ１０２と同様の前処理を施す。Ｓ３０３において学習処理１または予め用意してあった特徴抽出器を用いて特徴量抽出した後、Ｓ３０５にて特徴量変換手段で作成した特徴量変換器を用いて光演算制約付加しＳ３０４で得られたバイナリベクトルを登録用データとして変換する。得られた登録用データをＳ３０６においてホログラムに記憶する。【０１８０】
識別処理においては、まず、Ｓ４０１において識別したい対象となるデータを入力する。次に、Ｓ４０２においてＳ１０２と同様の前処理を施す。Ｓ４０３においても、Ｓ２０３と同様に、学習処理１により最適化した学習済みの特徴量抽出器または予め用意した特徴量抽出器を取り出し入力データ対して適用することで特徴量を抽出する。【０１８１】
Ｓ４０４では抽出した特徴量に対して、Ｓ３０５と同様の処理により特徴量をバイナリ化することでバイナリ特徴量を取得し、得られた特徴量に対してＳ３０４と同様に、光演算用データに変換する。得られたバイナリ特徴量を用いてＳ４０６において、登録処理におけるＳ３０６においてホログラムに記憶したバイナリ特徴量との類似度を光演算により算出する。光演算により得られた類似度をもとにＳ４０７において識別判定を行う。【０１８２】
本実施例では、光演算処理によるパターン認識をスケッチベースの商品画像検索システムに適用して実験を行った。【０１８３】
具体的な実験手法は、特徴抽出部にスケッチによる商品画像検索を行う学習済みＣＮＮネットワークを用い、更に光演算用特徴変換部の符号化部における中間の全結合層のユニット数を、２５６０次元で表現可能な入力データに対して４００００ユニットにすることで２５６０次元のままバイナリ化するよりも１５倍以上の表現力を持たせた。【０１８４】
データセットとして椅子の商品画像とスケッチ画像の９７ペア用いた。ここでペアと記したのは、スケッチ画像が商品画像を基に描かれたものであり、商品画像とスケッチの一対一の対応がついているためである。【０１８５】
ここで、登録手段においては、椅子の商品画像を特徴抽出部に入力することで特徴量を抽出し、特徴量変換モジュールを通した後に、前述の特徴量を光演算用特徴変換部により光演算用データへ変換し、この光演算用データを光演算手段の光演算用特徴ベクトル記憶部に記憶した。【０１８６】
実験における識別手段においては、椅子のスケッチを特徴抽出部に入力することで特徴量を抽出し、この特徴量を光演算用特徴変換部により光演算用データへ変換、この変換した椅子のスケッチの光演算用データと、前記光演算用特徴ベクトル記憶部に記憶した椅子の商品画像の光演算用データとの間で類似度計算を行い、その出力結果を出力部より得た。【０１８７】
ここで特定の椅子のスケッチを入力した際に、特徴抽出部で抽出された多値特徴量の値分布及び、光演算用特徴変換部から出力される光演算用データの値分布を図２０に示す。【０１８８】
図２０（ａ）は特徴抽出部より抽出された多値特徴量の値分布であり、図２０（ｂ）が光演算用特徴変換部から出力された光演算用データの値分布である。どちらも横軸が特徴量の大きさを、縦軸がその特徴量の大きさの出現回数を示している。特徴抽出部により抽出された−２．５から２までの広い値域を持つ特徴量は、光演算用特徴変換部により値域が０から１へ制限され、更に限りなく０または１に近似していることを確認した。【０１８９】
ここで、データセットにおいて商品画像とスケッチの一対一の対応が存在することを利用して、スケッチ画像を入力した際の出力のうち上位Ｋ番以内に対応する商品画像がデータセット全体で何割存在するかを示すacc@Kを評価指標として導入した。この評価指標を基に、光演算用特徴変換の評価を行った。【０１９０】
図２１に識別精度を示す。図２１に示す結果より、光演算処理によるパターン認識においては、表現力を維持可能な特徴量となっていることがわかる。【０１９１】
図２２に、横軸はデータベースのインデックス、縦軸は内積値の大きさである。図２２に示す結果より、スケッチ画像に対応した商品画像の相関度が大きく表れ、それ以外は抑制されていることを確認した。【０１９２】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲内に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【０１９３】
１００  学習手段
１１０  学習データ入力部
１２０  特徴抽出器生成部
１２１  特徴抽出部
１２２  光演算用制約付加部
１３０  識別部
１４０  学習系評価部
１５０  検証データ入力部
２００  登録手段
２１０  登録用データ入力部
３００  光演算手段
３１０  光演算用データ変換部
３２０  光演算用特徴ベクトノレ光記憶部
３３０  類似度計算部
５００  特徴量変換手段（特徴量変換モジュール）
５１０  学習データ入力部
５２０  中間層設定部
５３０  出力算出部
５４０  誤差算出部
５５０  判定部
５６０  重みバイアス変更部
５７０  学習モデル出力部
５８０  制御部
【図１】
2017141997.tif 000016
【図２】
2017141997.tif 000017
【図３】
2017141997.tif 000018
【図４】
2017141997.tif 000019
【図５】
2017141997.tif 000020
【図６】
2017141997.tif 000021
【図７】
2017141997.tif 000022
【図８】
2017141997.tif 000023
【図９】
2017141997.tif 000024
【図１０】
2017141997.tif 000025
【図１１】
2017141997.tif 000026
【図１２】
2017141997.tif 000027
【図１３】
2017141997.tif 000028
【図１４】
2017141997.tif 000029
【図１５】
2017141997.tif 000030
【図１６】
2017141997.tif 000031
【図１７】
2017141997.tif 000032
【図１８】
2017141997.tif 000033
【図１９】
2017141997.tif 000034
【図２０】
2017141997.tif 000035
【図２１】
2017141997.tif 000036
【図２２】
2017141997.tif 000037
【図２３】
2017141997.tif 000038
【国際調査報告】
2017141997.tif 000039
2017141997.tif 000040
2017141997.tif 000041
2017141997.tif 000042