(57)【要約】【課題】多次元データを入力とするニューラルネットワークにおけるネットワーク規模および計算コストを低減する。【解決手段】入力される多次元データに基づく出力を行う、単数あるいは複数の次元を有するニューロンから構成されるニューラルネットワークを用いて状態推定を行う推定部、を備え、前記ニューラルネットワークは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備え、前記第２型のニューロンは、前記第１型のニューロンと比較して低次元のデータに基づく処理を行う、情報処理装置が提供される。【選択図】図１
2018055514.tif 000002
【特許請求の範囲】
【請求項１】
入力される多次元データに基づく出力を行う、単数あるいは複数の次元を有するニューロンから構成されるニューラルネットワークを用いて状態推定を行う推定部、
を備え、
前記ニューラルネットワークは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備え、
前記第２型のニューロンは、前記第１型のニューロンと比較して低次元のデータに基づく処理を行う、
情報処理装置。
【請求項２】
前記第１型のニューロンは、複素数型ニューロンであり、
前記第２型のニューロンは、実数型ニューロンである、
請求項１に記載の情報処理装置。
【請求項３】
前記ニューラルネットワークは、
複素数データを入力層に持つ少なくとも１層以上の複素数型ネットワーク層と、
実数データを出力層に持つ少なくとも１層以上の実数型ネットワーク層と、
をさらに備え、
前記変換層は、前記複素数型ネットワーク層と前記実数型ネットワーク層とを接続する、
請求項２に記載の情報処理装置。
【請求項４】
前記変換層は、前記実数型ネットワーク層における誤差情報を前記複素数型ネットワーク層に逆伝播する、
請求項３に記載の情報処理装置。
【請求項５】
前記変換層は、前記複素数型ニューロンの出力を実部および虚部に基づいて分割し、前記実数型ニューロンの入力に対応する次元に変換する、
請求項２〜４のいずれかに記載の情報処理装置。
【請求項６】
前記変換層は、前記複素数型ニューロンの出力を位相および振幅に基づいて分割し、前記実数型ニューロンの入力に対応する次元に変換する、
請求項２〜５のいずれかに記載の情報処理装置。
【請求項７】
前記変換層は、位相に基づいて分割した実数型ニューロンの出力を、正弦波および余弦波に基づいてさらに分割し、前記実数型ニューロンの入力に対応する次元に変換する、
請求項６に記載の情報処理装置。
【請求項８】
前記変換層は、位相に基づいて前記実数型ニューロンの数を決定する、
請求項２〜７のいずれかに記載の情報処理装置。
【請求項９】
多次元データを入力とする、単数あるいは複数の次元を有するニューロンで構成されるニューラルネットワークを用いた情報処理方法であって、
第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換すること、
を含み、
前記変換することにおいて、前記第２型のニューロンは、前記第１型のニューロンと比較し低次元のデータに基づく処理を行うこと、
をさらに含む、
情報処理方法。
【請求項１０】
コンピュータを、
入力される多次元データに基づく出力を行う、単数あるいは複数の次元を有するニューロンで構成されるニューラルネットワークを用いて状態推定を行う推定部、
を備え、
前記ニューラルネットワークは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備え、
前記第２型のニューロンは、前記第１型のニューロンと比較し低次元のデータに基づく処理を行う、
情報処理装置、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、脳神経系の仕組みを模した数学モデルであるニューラルネットワークが注目されている。また、ニューラルネットワークを用いて種々の識別を行う装置が開発されている。例えば、特許文献１には、アレーアンテナから得られる受信信号ベクトルの位相差から、先行車両の台数を、ニューラルネットワークを用いて推定するレーダ信号処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−７５５５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の技術では、実数型または複素数型ニューラルネットワークにおいて、受信信号ベクトルの自己相関行列の対角成分を除いた上三角行列を入力としている。このため、特許文献１に記載の技術では、受信信号ベクトルの要素数に対応する全通りの組み合わせペアを入力することが求められ、ニューラルネットワークの規模が大型化する傾向がある。
【０００５】
また、特許文献１に記載の技術では、要素数の組み合わせ演算自体に係る計算コストの増大が問題となる。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、多次元データを入力とするニューラルネットワークにおけるネットワーク規模および計算コストを低減することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、入力される多次元データに基づく出力を行う、単数あるいは複数の次元を有するニューロンから構成されるニューラルネットワークを用いて状態推定を行う推定部、を備え、前記ニューラルネットワークは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備え、前記第２型のニューロンは、前記第１型のニューロンと比較して低次元のデータに基づく処理を行う、情報処理装置が提供される。
【０００８】
前記第１型のニューロンは、複素数型ニューロンであり、前記第２型のニューロンは、実数型ニューロンであってもよい。
【０００９】
前記ニューラルネットワークは、複素数データを入力層に持つ少なくとも１層以上の複素数型ネットワーク層と、実数データを出力層に持つ少なくとも１層以上の実数型ネットワーク層と、をさらに備え、前記変換層は、前記複素数型ネットワーク層と前記実数型ネットワーク層とを接続してもよい。
【００１０】
前記変換層は、前記実数型ネットワーク層における誤差情報を前記複素数型ネットワーク層に逆伝播してもよい。
【００１１】
前記変換層は、前記複素数型ニューロンの出力を実部および虚部に基づいて分割し、前記実数型ニューロンの入力に対応する次元に変換してもよい。
【００１２】
前記変換層は、前記複素数型ニューロンの出力を位相および振幅に基づいて分割し、前記実数型ニューロンの入力に対応する次元に変換してもよい。
【００１３】
前記変換層は、位相に基づいて分割した実数型ニューロンの出力を、正弦波および余弦波に基づいてさらに分割し、前記実数型ニューロンの入力に対応する次元に変換してもよい。
【００１４】
前記変換層は、位相に基づいて前記実数型ニューロンの数を決定してもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、多次元データを入力とする、単数あるいは複数の次元を有するニューロンで構成されるニューラルネットワークを用いた情報処理方法であって、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換すること、を含み、前記変換することにおいて、前記第２型のニューロンは、前記第１型のニューロンと比較し低次元のデータに基づく処理を行うこと、をさらに含む、情報処理方法が提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、入力される多次元データに基づく出力を行う、単数あるいは複数の次元を有するニューロンで構成されるニューラルネットワークを用いて状態推定を行う推定部、を備え、前記ニューラルネットワークは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備え、前記第２型のニューロンは、前記第１型のニューロンと比較し低次元のデータに基づく処理を行う、情報処理装置、として機能させるためのプログラムが提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、多次元データを入力とするニューラルネットワークにおけるネットワーク規模および計算コストを低減することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係るニューラルネットワークの構成例を示す図である。
【図２】従来の実数型ニューラルネットワークの結合関係を示す図である。
【図３】従来の複素数型ニューラルネットワークの結合関係を示す図である。
【図４】同実施形態に係る情報処理装置の機能ブロック図である。
【図５Ａ】同実施形態に係るウィルティンガー微分による誤差逆伝播法について説明するための図である。
【図５Ｂ】同実施形態に係るウィルティンガー微分による誤差逆伝播法について説明するための図である。
【図６】同実施形態に係る実部・虚部方式によるニューロンの入出力の変換について説明するための図である。
【図７】同実施形態に係る振幅・位相方式によるニューロンの入出力の変換について説明するための図である。
【図８】同実施形態に係る複合方式によるニューロンの入出力の変換について説明するための図である。
【図９】同実施形態に係る位相Ｎ分割方式によるニューロンの入出力の変換について説明するための図である。
【図１０】同実施形態に係る位相Ｎ分割方式による分割領域の一例を示す図である。
【図１１】同実施形態に係る多元数型ニューロンの入出力の変換について説明するための図である。
【図１２】同実施形態に係る全結合パターンについて説明するための図である。
【図１３】同実施形態に係る分離結合パターンについて説明するための図である。
【図１４】同実施形態に係る一部分離結合パターンについて説明するための図である。
【図１５】同実施形態に係る比較対象に用いた実数型ニューラルネットワークの構成を示す図である。
【図１６】同実施形態に係る従来の実数型ニューラルネットワークによる位相差学習の結果を示す図である。
【図１７】同実施形態に係るニューラルネットワークによる位相差の学習結果を示す図である。
【図１８】本発明に係る情報処理装置のハードウェア構成例である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
＜１．第１の実施形態＞
＜＜１．１．実施形態の概要＞＞
近年、情報処理技術の発展に伴い、種々のニューラルネットワークモデルが提案されている。また、上記のようなニューラルネットワークモデルには、入力される複素数や四元数などの多次元データに基づいて識別を行うモデルも存在する。
【００２１】
一方、上述したとおり、多次元データを入力とするニューラルネットワークでは、ネットワーク規模や計算コストが増大する傾向があり、当該問題を解決する手法が求められていた。
【００２２】
本発明の一実施形態に係る情報処理装置、情報処理方法、およびプログラムは、上記の点に着目して発想されたものであり、多次元データを入力とするニューラルネットワークにおいて、ネットワーク規模および計算コストを抑えながら、精度の高い推定を行うことを可能とする。このために、本実施形態に係るニューラルネットモデルは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備えることを特徴の一つとする。ここで、上記第２型のニューロンは、第１型のニューロンと比較して低次元のデータに基づく処理を行うニューロンであってよい。
【００２３】
図１は、本実施形態に係るニューラルネットワークＮＮ０の構成例を示す図である。図１を参照すると、本実施形態に係るニューラルネットワークＮＮ０は、第１型のニューラルネットワークＮＮ１、変換層ＴＬ、および第２型のニューラルネットワークＮＮ２を備える。
【００２４】
なお、ここで、本実施形態に係る多次元データとは、１つの観測対象に対して１つ以上の観測値が得られるもの指す。例えば、ｘ、ｙ、ｚ座標上の点を含む観測値は、３つの次元を持つ多次元データといえる。また、以下の説明で言及されるニューロンの入力あるいは出力の次元とは、多次元ニューロンの次元を意味する。上記の多次元ニューロンとは、１つの多次元データを１つのニューロンに対応付けたものであり、例えば、複素平面のｘ、ｙ座標上の点（２つの次元を持つ多次元データ）を１つのニューロンに対応付けたものは、１つの多次元ニューロン（複素数型ニューロン）となる。
【００２５】
また、多次元データは、多次元ニューロンの入力の次元と同じ次元を持つ。一般にニューラルネットワークでは、各層は複数のニューロンで構成されることから、複数個の多次元ニューロンで一つの層を構成し、その層の出力値は、複数個分の多次元データとなる。この際、複数の層で構成されるニューラルネットワークにおいて、各層に含まれるニューロンの数は同一であってもよいし。異なっていてもよい。
【００２６】
また、層間の接続は、全結合であってもよいし、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のような局所的な結合であってもよい。また、一般にニューラルネットワークでは、一つの結合には一つの重みを持たせ、ニューロンの出力値が重み付き結合を介して次層のニューロンの入力となるが、この際、上記の重みは、多次元ニューロンと同じ数の次元を持ち、前後の層のニューロンの次元数は一致する。ここで、多次元データの入力データ配列を多次元ニューロンの入力層と考えると、当該入力層は、複数の多次元ニューロンが個々にニューラルネットワークの入力値としての多次元データを有し、次の層へは多次元の結合を通して同じ次元数の次の層へ接続することとなる。
【００２７】
（第１型のニューラルネットワークＮＮ１）
本実施形態に係る第１型のニューラルネットワークＮＮ１は、多次元データを入力とするニューラルネットワークであってよい。また、本実施形態に係る第１型のニューラルネットワークＮＮ１は、第２型のニューラルネットワークＮＮ２と比較して高次元のデータに基づく処理を実行する。例えば、本実施形態に係る第１型のニューラルネットワークＮＮ１は、複素数に基づく処理を実行する複素数型ニューラルネットワークであってもよいし、四元数に基づく処理を実行する四元数型ニューラルネットワークであってもよい。また、本実施形態に係る第１型のニューラルネットワークＮＮ１は、２以上の次元を有するニューロンに対して異なる次元のデータ間で任意の演算処理を実行するタイプのニューラルネットワークであってもよい。
【００２８】
以下、本実施形態に係る第１型のニューラルネットワークＮＮ１が複素数型ニューラルネットワークである場合を例に説明する。すなわち、本実施形態に係る第１型のニューラルネットワークＮＮ１は、複素数データを入力層に持つ少なくとも１層以上の複素数型ネットワーク層であってよい。
【００２９】
図１を参照すると、本実施形態に係る第１型のニューラルネットワークＮＮ１は、入力層ＩＬおよび中間層ＭＬ１を備える。この際、上記の入力層ＩＬおよび中間層ＭＬ１では、入力、結合荷重、出力などの処理がすべて複素数で定義されてよい。図１に示す一例では、入力層ＭＬおよび中間層ＭＬ１における第１型のニューロン、すなわち複素数型ニューロンがドットのハッチングで示されている。
【００３０】
（変換層ＴＬ）
本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２を接続する機能を有する。また、本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１における第１型のニューロンの出力を、第２のニューラルネットワークＮＮ２における第２型のニューロンの入力に対応する次元に変換する機能を有する。例えば、本実施形態に係る変換層ＴＬは、複素数型ニューロンを実数型ニューロンに変換してよい。本実施形態に係る変換層ＴＬの有する機能の詳細については後述する。
【００３１】
（第２型のニューラルネットワークＮＮ２）
本実施形態に係る第２型のニューラルネットワークＮＮ２は、第１型のニューラルネットワークＮＮ１と比較して低次元のデータに基づく処理を実行する。例えば、第１型のニューラルネットワークＮＮ１が複素数型ニューラルネットワークである場合、本実施形態に係る第１型のニューラルネットワークＮＮ１は、実数型ニューラルネットワークであってよい。
【００３２】
以下、本実施形態に係る第２型のニューラルネットワークＮＮ２が実数型ニューラルネットワークである場合を例に説明する。すなわち、本実施形態に係る第２型のニューラルネットワークＮＮ２は、実数データを出力層に持つ少なくとも１層以上の実数型ネットワーク層であってよい。
【００３３】
図１を参照すると、本実施形態に係る第２型のニューラルネットワークＮＮ２は、中間層ＭＬ２および出力層ＯＬを備える。この際、上記の中間層ＭＬ２および出力層ＯＬでは、入力、結合荷重、出力などの処理がすべて実数で定義されてよい。図１に示す一例では、中間層ＭＬ２および出力層ＯＬにおける第２型のニューロン、すなわち実数型ニューロンが斜線のハッチングで示されている。
【００３４】
以上、本実施形態に係るニューラルネットワークＮＮ０の構成例について説明した。上述したとおり、本実施形態に係るニューラルネットワークＮＮ０は、例えば、複素数型である第１型のニューラルネットワークＮＮ１、変換層ＴＬ、および実数型である第２型のニューラルネットワークＮＮ２を備える。また、本実施形態に係る変換層ＴＬは、例えば、複素数型である第１型のニューロンの出力を実数型である第２型のニューロンの入力に対応する次元に変換する機能を有する。
【００３５】
本実施形態に係るニューラルネットワークＮＮ０によれば、上述したような組み合わせペアの入力が不要となり、複素数などの多次元データを直接入力することができるため、ネットワーク規模や計算コストを大きく低減することが可能となる。
【００３６】
また、本実施形態に係るニューラルネットワークＮＮ０では、従来の複素数型ニューラルネットワークや実数型ニューラルネットワークを単独で用いる場合と比較して、推定精度の向上が期待される。
【００３７】
図２は、従来の実数型ニューラルネットワークの結合関係を示す図である。図２に示すように、実数型ニューラルネットワークでは、入力ｘＲ、結合荷重ｗＲ、および出力ｙＲは、すべて実数で定義される。すなわち、実数型ニューラルネットワークの結合関係は、下記の数式（１）により表現され得る。ここで、図２および下記の数式（１）におけるＲは実数であってよい。
【００３８】
【数１】
2018055514.tif 000003
【００３９】
このため、実数型ニューラルネットワークでは、複素数データをそのまま入力することができず、予め複素数データから実数を抽出する処理が求められる。
【００４０】
一方、図３は、従来の複素数型ニューラルネットワークの結合関係を示す図である。図３に示すように、複素数型ニューラルネットワークでは、入力ｘＣ、結合荷重ｗＣ、および出力ｙＣは、すべて複素数で定義される。すなわち、複素数型ニューラルネットワークの結合関係は、下記の数式（２）により表現され得る。ここで、図３および下記の数式（２）におけるＣは複素数であってよい。
【００４１】
【数２】
2018055514.tif 000004
【００４２】
このため、複素数型ニューラルネットワークは、複素数データを入力とする処理に優れている。ここで、上記の複素数データとは、例えば、電波や音波など、波動の大きさや位相の進み・遅れに意味を持つデータや、風向きなど特定の方向に意味を持つデータを指す。しかし、複素数型ニューラルネットワークでは、出力も複素数データとなるため、例えば、位相差のような実数データを直接的に出力することができない。従って、複素数型ニューラルネットワークにおいて、上記のような実数値に対する回帰を行う場合、出力の振動または位相の値がどのような実数値に対応するかを予めルール付けするなどの工夫が求められる。
【００４３】
また、上記のような方法では、本来実数として表現できないデータに対して実数を当てはめるため、位相における０〜２πのような折り返し性や、振幅の正値性を考慮することが困難であり、精度が劣化してしまう。
【００４４】
他方、本実施形態に係るニューラルネットワークＮＮ０は、複素数型ニューロンの出力を実数型ニューロンの入力に対応する次元に変換する変換層ＴＬを備えることで、上記のような課題を解決することが可能となる。なお、本実施形態に係る変換層ＴＬが有する機能については、別途詳細に説明する。
【００４５】
以上、本実施形態に係るニューラルネットワークＮＮ０の概要について説明した。なお、上記では、ニューラルネットワークＮＮ０が第１型および第２型の２つのニューラルネットワークと、１つの変換層ＴＬを有する場合を例に説明した。一方、本実施形態に係るニューラルネットワークＮＮ０は、３つ以上の型のニューラルネットワークと、２つ以上の変換層を備えてもよい。また、以下の説明では、第１型のニューラルネットワークＮＮ１が複素数型であり、第２型のニューラルネットワークＮＮ２が実数型である場合を例に説明するが、本実施形態に係るニューラルネットワークＮＮ０の構成は、係る例に限定されない。本実施形態に係る第１型のニューラルネットワークＮＮ１は、例えば、四元数型であってもよい。本実施形態に係るニューラルネットワークＮＮ０の構成は、扱うデータの性質により柔軟に変更され得る。
【００４６】
＜＜１．２．情報処理装置１０の機能構成＞＞
次に、本実施形態に係る情報処理装置１０の機能構成について説明する。図４は、本実施形態に係る情報処理装置１０の機能ブロック図である。図４を参照すると、本実施形態に係る情報処理装置１０は、入力部１１０、推定部１２０、記憶部１３０、および出力部１４０を備える。以下、上記構成について、当該構成が有する機能を中心に説明する。
【００４７】
（入力部１１０）
入力部１１０は、操作者による種々の入力操作を検出する機能を有する。本実施形態に係る入力部１１０は、例えば、後述する推定部１２０による推定に用いるデータを指定する操作者の入力操作を検出してよい。このために、本実施形態に係る入力部１１０は、操作者による入力操作を検出するための各種の装置を含んでよい。入力部１１０は、例えば、各種のボタン、キーボード、タッチパネル、マウス、スイッチなどにより実現され得る。
【００４８】
（推定部１２０）
推定部１２０は、入力される多次元データを用いて、機械学習モデルに基づく状態推定を行う機能を有する。このため、本実施形態に係る推定部１２０は、上述したニューラルネットワークＮＮ０を含んで構成される。本実施形態に係る推定部１２０は、例えば、入力される複素数データに基づいて、２つの信号における位相差などを推定してよい。
【００４９】
（記憶部１３０）
記憶部１３０は、情報処理装置１０の各構成で用いられるプログラムやデータなどを記憶する機能を有する。本実施形態に係る記憶部１３０は、例えば、推定部１２０が含むニューラルネットワークＮＮ０に用いられる種々のパラメータや、推定部１２０が出力する出力結果などを記憶してよい。
【００５０】
（出力部１４０）
出力部１４０は、操作者に対し種々の情報出力を行う機能を有する。本実施形態に係る出力部１４０は、例えば、推定部１２０による推定結果を出力してよい。このために、本実施形態に係る出力部１４０は、視覚情報を出力するディスプレイ装置を含んで構成され得る。ここで、上記のディスプレイ装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置、タッチパネル、プロジェクタなどにより実現され得る。
【００５１】
以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。なお、上記で説明した機能構成例はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成例は係る例に限定されない。本実施形態に係る情報処理装置１０は、図４に示す以外の構成をさらに備えてもよい。情報処理装置１０は、例えば、他の情報処理端末との情報通信を行う通信部などをさらに備えるように構成されてもよい。本実施形態に係る情報処理装置１０の機能構成は、柔軟に設計変更され得る。
【００５２】
＜＜１．３．変換層ＴＬによるニューロンの入出力変換＞＞
次に、本実施形態に係る変換層ＴＬによるニューロンの入出力変換について詳細に説明する。上述したとおり、本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１における複素数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型のニューロンの入力に対応する次元に変換する機能を有する。この際、推定精度を向上させるためには、第１型のニューラルネットワークＮＮ１が出力する情報を可能な限り損失させることなく、第２型のニューラルネットワークＮＮ２に順伝播することが重要となる。
【００５３】
また、この際、情報損失を最小化するためには、入力データの性質に応じて変換方法を選択することが望ましい。例えば、入力される複素数データを実部成分と虚部成分とで解釈する場合、抽出される実数は実軸および虚軸にどの程度近いかを示す指標となり得る。具体的には、入力される複素数データが、風向や風量のように方位性に意味を持つデータである場合には、実部および虚部に基づいた変換を行うことで、情報損失を最小化することが期待できる。
【００５４】
また、例えば、複素数データを振幅成分および位相成分で解釈する場合、抽出される実数は回転成分の大きさ、および方向を示す指標となり得る。具体的には、入力される複素数データが、電波データのような特定の位相方向に意味を持たないデータである場合、振幅および位相に基づく変換を行うことで、情報損失を最小化することが期待できる。
【００５５】
このため、本実施形態に係る変換層ＴＬは、入力される複素数データの性質に応じて、複数の変換方式を用いてよい。本実施形態に係る変換層ＴＬは、例えば、上述したような実部・虚部方式や振幅・位相方式、上記の２方式を複合した複合方式、また、位相値に基づいて振幅を分割する位相Ｎ分割方式などを選択し得る。
【００５６】
また、上述した通り、本実施形態に係るニューラルネットワークＮＮ０は、複素数型である第１型のニューラルネットワークＮＮ１および実数型である第２型のニューラルネットワークＮＮ２を備える。このため、学習の整合性を確保するためには、第２型のニューラルネットワークＮＮ２で算出された誤差情報が変換層ＴＬを介して第１型のニューラルネットワークＮＮ１まで正しく伝達されることが求められる。このため、本実施形態に係る変換層ＴＬは、第２型のニューラルネットワークにおける誤差情報を複素数型ネットワークにおける誤差情報の形式に変換して第１型のニューラルネットワークに逆伝播する機能を有する。
【００５７】
2018055514.tif 000005
【００５８】
【数３】
2018055514.tif 000006
【００５９】
また、複素数を実数に変換する関数ｆＲを用いると複素数から実部を抽出することができる。ここで、上記の関数ｆＲ、および関数ｆＲを用いた実部の抽出は、下記の数式（４）および数式（５）のように表される。
【００６０】
【数４】
2018055514.tif 000007
【００６１】
この際、図５Ｂに示すような実数型ニューロンｘの上層からの誤差勾配をδｘとし、当該変換を図５Ａに示した逆伝播に当てはまると、ｘ＝ｘ＊、となる。このため、誤差勾配δｚ１は、下記の数式（６）により求められる。
【００６２】
【数５】
2018055514.tif 000008
【００６３】
以上、本実施形態に係る誤差情報の逆伝播について説明した。上述したように、本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２との間における順伝播および逆伝播を実現する。以下では、変換層ＴＬが用いる各変換方式における順伝播および逆伝播の手法について詳細に説明する。
【００６４】
（実部・虚部方式）
まず、本実施形態に係る実部・虚部方式について説明する。本実施形態に係る変換層ＴＬは、複素数型ニューロンの出力を実部および虚部に基づいて分割し、実数型ニューロンの入力に対応する次元に変換してよい。上述したように、本実施形態に係る実部・虚部方式は、実部・虚部への近さに意味を持つデータに特に有効である。
【００６５】
図６は、本実施形態に係る実部・虚部方式によるニューロンの入出力の変換について説明するための図である。図６に示すように、本実施形態に係る変換層ＴＬは、第１のニューラルネットワークＮＮ１における複素数型ニューロンｚＡの出力に複素重みｗを掛けたｚＢ（＝ＷｚＡ）の出力を、第２型のニューラルネットワークにおける実数型ニューロンｘおよびｙの入力に対応する次元に変換することができる。ただし、上記のｚＢは、ｚＢ＝ｘ＋ｉｙ、とする。
【００６６】
この際、本実施形態に係る変換層ＴＬは、順伝播において、実部を抽出する関数ｆＲ、および虚部を抽出する関数ｆＩを用いることで、複素数型ニューロンの出力を実数型ニューロンの入力に対応する次元に変換してよい。関数ｆＲおよび関数ｆＩは、それぞれ下記の数式（７）および数式（８）で表される。
【００６７】
【数６】
2018055514.tif 000009
【００６８】
また、逆伝播においては、実数型ニューロンｘから伝播する誤差勾配をδｘ、実数型ニューロンｙから伝播する誤差勾配をδｙとすると、複素重みｗの更新量Δｗは、下記の数式（９）により表される。ただし、この際、偏微分は、下記の数式（１０）となる。
【００６９】
【数７】
2018055514.tif 000010
【００７０】
このように、本実施形態に係る変換層ＴＬは、上記の数式（９）により、第２型のニューラルネットワークＮＮ２における誤差情報を第１型のニューラルネットワークＮＮ１の重みまで伝播することができる。
【００７１】
（振幅・位相方式）
次に、本実施形態に係る振幅・位相方式について説明する。本実施形態に係る変換層ＴＬは、複素数型ニューロンの出力を振幅および位相に基づいて分割し、実数型ニューロンの入力に対応する次元に変換してよい。上述したように、本実施形態に係る振幅・位相方式は、特定の位相方向に意味を持たないデータに特に有効である。
【００７２】
図７は、本実施形態に係る振幅・位相方式によるニューロンの入出力の変換について説明するための図である。図７に示すように、本実施形態に係る変換層ＴＬは、第１のニューラルネットワークＮＮ１における複素数型ニューロンｚＣの出力を、振幅に対応する実数型ニューロンＡおよび位相に対応する実数型ニューロンθの入力に変換することができる。
【００７３】
この際、本実施形態に係る変換層ＴＬは、順伝播において、ｚＢの出力をｚＣの入力に変換する複素対数関数ｆｌ、実部・虚部方式で用いた関数ｆＲと関数ｆＩ、および実部に対応するｘの出力を振幅に対応するＡの入力に変換する指数関数ｆｅを用いることで、複素数型ニューロンの出力を実数型ニューロンの入力に対応する次元に変換してよい。ここで、複素対数関数ｆｌと指数関数ｆｅは、それぞれ下記の数式（１１）および（１２）で表される。
【００７４】
【数８】
2018055514.tif 000011
【００７５】
また、逆伝播においては、実数型ニューロンＡから伝播する誤差勾配をδＡ、実数型ニューロンθから伝播する誤差勾配をδθとすると、複素重みｗの更新量Δｗは、下記の数式（１３）により表される。ただし、この際、偏微分は、下記の数式（１４）となる。
【００７６】
【数９】
2018055514.tif 000012
【００７７】
このように、本実施形態に係る変換層ＴＬは、上記の数式（１３）により、第２型のニューラルネットワークＮＮ２における誤差情報を第１型のニューラルネットワークＮＮ１の重みまで伝播することができる。
【００７８】
（複合方式）
次に、本実施形態に係る複合方式について説明する。本実施形態に係る複合方式は、上述した実部・虚部方式および振幅・位相方式を組み合わせた方式であってよい。具体的には、本実施形態に係る変換層ＴＬは、振幅・位相方式で変換した位相に対応する実数型ニューロンの出力を、正弦波および余弦波に対応する実数型ニューロンの入力にさらに分割することができる。このため、本実施形態に係る複合方式は、実部・虚部の近さとその際の振幅の大きさに意味を持つデータに特に有効である。
【００７９】
図８は、本実施形態に係る複合方式によるニューロンの入出力の変換について説明するための図である。図８に示すように、本実施形態に係る変換層ＴＬは、振幅・位相方式と同様の変換を行ったのち、位相に対応する実数型ニューロンθの出力を、正弦波および余弦波に対応する実数型ニューロンｓｉｎθおよびｃｏｓθの入力にさらに分割することができる。
【００８０】
この際、本実施形態に係る変換層ＴＬは、順伝播において、正弦波関数ｆｓおよび余弦波関数ｆｃを用いることで、上記の変換を実現することができる。なお、正弦波関数ｆｓおよび余弦波関数ｆｃは下記の数式（１５）および数式（１６）で表される。
【００８１】
【数１０】
2018055514.tif 000013
【００８２】
また、逆伝播においては、実数型ニューロンＡから伝播する誤差勾配をδＡ、実数型ニューロンｓｉｎθおよびｃｏｓθから伝播する誤差勾配をδｓおよびδｃとすると、複素重みｗの更新量Δｗは、下記の数式（１７）により表される。ただし、この際、偏微分は、下記の数式（１８）となる。
【００８３】
【数１１】
2018055514.tif 000014
【００８４】
このように、本実施形態に係る変換層ＴＬは、上記の数式（１７）により、第２型のニューラルネットワークＮＮ２における誤差情報を第１型のニューラルネットワークＮＮ１の重みまで伝播することができる。
【００８５】
（位相Ｎ分割方式）
次に、本実施形態に係る位相Ｎ分割方式について説明する。本実施形態に係る位相Ｎ分割方式を採用する場合、変換層ＴＬは、複素数型ニューロンｚＢの位相値に基づいて、振幅に対応する実数型ニューロンの分割数を決定することができる。本実施形態に係る位相Ｎ分割方式は、特定の位相方向に意味を持つデータに特に有効である。
【００８６】
図９は、本実施形態に係る位相Ｎ分割方式によるニューロンの入出力の変換について説明するための図である。図９に示すように、本実施形態に係る変換層ＴＬは、複素数型ニューロンｚＢの出力を、振幅に対応する複数の実数型ニューロンＡｎ（ｎ＝１，・・・，Ｎ）の入力に対応する次元に変換することができる。
【００８７】
この際、本実施形態に係る変換層ＴＬは、順伝播において、複素数型ニューロンｚＢ＝Ａｅｉθの出力をＮ個の実数型ニューロンの入力に対応する次元に変換する場合、ｎ番目の実数型ニューロンＡｎの入力を下記の数式（１９）により表される分割関数ｇｎを用いて決定してよい。ただし、θｓ（０≦θｓ＜２π）を所与の初期位相とする。また、図１０は、Ｎ＝４、θｓ＝０である場合の分割領域を示している。
【００８８】
【数１２】
2018055514.tif 000015
【００８９】
また、逆伝播においては、実数型ニューロンＡｎから伝播する誤差勾配をδＡｎとすると、複素重みｗの更新量Δｗは、下記の数式（２０）により表される。ただし、この際、偏微分∂ｆｎ／∂ｚＢは、下記の数式（２１）となり、条件を満たすニューロン以外に対しては０となる。
【００９０】
【数１３】
2018055514.tif 000016
【００９１】
このように、本実施形態に係る変換層ＴＬは、上記の数式（２０）により、第２型のニューラルネットワークＮＮ２における誤差情報を第１型のニューラルネットワークＮＮ１の重みまで伝播することができる。
【００９２】
（多元数型ニューロンの入出力の変換）
次に、本実施形態に係る多元数型ニューロンの入出力の変換について説明する。上記の説明では、本実施形態に係る変換層ＴＬが、第１型のニューラルネットワークＮＮ１における複素数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型ニューロンの入力に対応する次元に変換する場合を中心に述べた。一方、本実施形態に係る変換層ＴＬは、多元数型ニューロンに係る入出力の変換を行うことも可能である。本実施形態に係る変換層ＴＬは、例えば、第１型のニューラルネットワークＮＮ１における四元数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型ニューロンの入力に対応する次元に変換してもよい。
【００９３】
図１１は、本実施形態に係る多元数型ニューロンの入出力の変換について説明するための図である。図１１には、本実施形態に係る変換層ＴＬが四元数型ニューロンｑの出力を、関数ｆ１を用いて実数型ニューロンａの入力に対応する次元に変換する場合の例が示されている。ここで、例えば、四元数型ニューロンｑは、ｑ＝ａ＋ｂｉ＋ｃｊ＋ｄｋ、と表現することができる。なお、上記のｉ、ｊ、およびｋは、虚数単位である。
【００９４】
この際、本実施形態に係る変換層ＴＬは、ｑと共役四元数であるｑ＊（ｑ＊＝ａ−ｂｉ−ｃｊ−ｄｋ）を用いて実部を抽出する関数ｆ１や、ノルムを抽出する関数ｆ２を用いて、四元素型ニューロンｑの出力を実数型ニューロンａの入力に対応する次元に変換することができる。なお、関数ｆ１および関数ｆ２は、それぞれ下記の数式（２２）および数式（２３）で表される。
【００９５】
【数１４】
2018055514.tif 000017
【００９６】
このように、本実施形態に係る変換層ＴＬは、多元数を実数に写像する関数を用いることで、複素数型ニューロンの場合と同様に、多元数型ニューロンの入力に対応する次元に変換することが可能である。
【００９７】
＜＜１．４．変換後のニューロンの結合パターン＞＞
次に、本実施形態に係る変換後のニューロンの結合パターンについて説明する。上記の説明では、本実施形態に係る変換層ＴＬがニューロンの入出力の変換に複数の方式を選択し得ることについて述べた。同様に、本実施形態に係る第２型のニューラルネットワークＮＮ２では、変換された実数型ニューロンの結合パターンを複数の方式から選択してよい。本実施形態に係る第２型のニューラルネットワークＮＮ２は、例えば、実数型ニューロンの結合パターンとして、全結合パターン、分離結合パターン、および一部分離結合パターンを採用し得る。
【００９８】
（全結合パターン）
まず、本実施形態に係る全結合パターンについて説明する。図１２は、本実施形態に係る全結合パターンについて説明するための図である。図１２には、２つの複素数型ニューロンが図中左列にドットのハッチングで示されている。上述したとおり、本実施形態に係る変換層ＴＬは、上記の複素数型ニューロンの出力を実数ニューロンの入力に対応する次元に変換することができる。図１２の中央列には、変換層ＴＬにより変換された４つの実数型ニューロンが斜線のハッチングで示されている。この際、図１２に示すように、本実施形態に係る第２型のニューラルネットワークＮＮ２では、変換後の実数型ニューロンを次の層ですべて結合してもよい。図１２には、複素数型ニューロンから変換された４つの実数型ニューロンが、次層における４つの実数型ニューロンと全結合する様子が示されている。
【００９９】
（分離結合パターン）
次に、本実施形態に係る分離パターンについて説明する。図１３は、本実施形態に係る分離結合パターンについて説明するための図である。図１３には、図１２と同様に、２つの複素数型ニューロンの出力から変換された４つの実数型ニューロンへの入力が中央列に示されている。一方、図１３に示す分離結合パターンでは、図１２とは異なり、変換された実数型ニューロンの出力を振幅・位相などに分離して学習を進め、後に結合してよい。図１３には、振幅に係る第２型のニューラルネットワークＮＮ２−１と、位相に係る第２型のニューラルネットワークＮＮ２−２とが示されている。このように、本実施形態に係る分離結合パターンでは、実数データの特性に応じて学習を分離することができる。本実施形態に係る分離結合パターンは、振幅や位相などが独立に意味を持つデータに対し特に有効である。
【０１００】
（一部分離結合パターン）
次に、本実施形態に係る一部分離結合パターンについて説明する。図１４は、本実施形態に係る一部分離結合パターンについて説明するための図である。図１４には、図１３と同様に、振幅に係る第２型のニューラルネットワークＮＮ２−１と、位相に係る第２型のニューラルネットワークＮＮ２−２とが示されている。一方、図１４に示す一部分離結合パターンでは、振幅に係る第２型のニューラルネットワークＮＮ２−１と位相に係る第２のニューラルネットワークＮＮ−２における実数型ニューロンの結合レベルが異なっている。すなわち、本実施形態に係る一部分離結合パターンでは、実数データの特性に応じて異なる結合レベルの学習を行うことが可能である。例えば、本実施形態に係る一部分離結合パターンでは、位相のみがより抽象化するよう結合レベルが設定されてもよい。本実施形態に係る一部分離結合パターンによれば、実数データの特性に応じた抽象化を実現することが可能である。
【０１０１】
＜＜１．５．実施形態の効果＞＞
次に、本実施形態の効果について説明する。上述したとおり、本実施形態に係るニューラルネットワークＮＮ０は、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２、および当該２つのニューラルネットワークを接続する変換層ＴＬを備える。本実施形態に係るニューラルネットワークＮＮ０によれば、複素数データおよび実数データの学習を同時に行うことが可能となり、推定精度の向上が期待される。
【０１０２】
一方、従来の実数型ニューラルネットワークにおいても、複素数データを分割して扱うことで、複素数データに基づく処理を行うことは可能である。しかし、この場合、複素数データを２次元ベクトルのように捉えるのみであり、例えば、位相回転などの学習を行うことは困難である。従って、従来の実数型ニューラルネットワークにおいて複素数データに基づく処理を行う場合、推定精度が劣化することが予想される。
【０１０３】
そこで、上記の検証のため、本実施形態に係るニューラルネットワークＮＮ０、および従来の実数型ニューラルネットワークにおける推定精度の比較を実施した。以下、周波数の異なる２信号に係る位相差学習における推定精度の比較結果について述べる。なお、当該検証では、訓練データおよびテストデータとして、それぞれ３００００サンプルを使用した。ここで、訓練データには、周波数６．５Ｈｚ、および周波数４．０Ｈｚの２信号を用い、教師データには、上記の２信号から求めた位相差を用いた。また、テストデータには、周波数５．５Ｈｚ、および周波数５．０Ｈｚの２信号を用い、正解データには、上記の２信号から求めた位相差を用いている。
【０１０４】
また、検証には、図１に示す構成を備えるニューラルネットワークＮＮ０を利用した。この際、入力層ＩＬにおいては２つの複素数型ニューロンを、中間層ＭＬ１およびＭＬ２においては、それぞれ５０の複素数型ニューロンおよび１００の実数型ニューロンを用いた。
【０１０５】
また、比較対象とした実数型ニューラルネットワークの構成を図１５に示す。図１５に示すように、比較対象とした実数型ニューラルネットワークは、入力層ＩＬ２、中間層ＭＬ１−２とＭＬ２−２、および出力層ＯＬ２を備える。この際、入力層ＩＬ２においては、４つの実数型ニューロンを、中間層ＭＬ１−２およびＭＬ２−２においては、それぞれ１００の実数型ニューロンを用いた。
【０１０６】
図１６は、従来の実数型ニューラルネットワークによる位相差学習の結果を示す図である。図１６には、上述した正解データＡ１が破線で、テストデータＴ１が点線で示されている。また、図１６では、縦軸に位相差が、横軸に時間（サンプル）がそれぞれ示されている。図１６を参照すると、従来の実数型ニューラルネットワークによる学習結果では、位相端における振動が目立つことがわかる。
【０１０７】
一方、図１７は、本実施形態に係るニューラルネットワークＮＮ０による位相差の学習結果を示す図である。図１７には、正解データＡ１が破線で、テストデータＴ２が点線で示されている。また、図１７では、図１６と同様に、縦軸に位相差が、横軸に時間（サンプル）がそれぞれ示されている。図１７を参照すると、本実施形態に係るニューラルネットワークＮＮ０による学習結果では、従来の実数型ニューラルネットワークによる学習結果と比較し、特に位相端における位相ずれが緩やかとなっていることがわかる。すなわち、当該結果は、本実施形態に係るニューラルネットワークＮＮ０が、位相の折り返し性など複素数データの持つ特性に基づいた精度の高い推定を行っていることを示している。
【０１０８】
＜２．ハードウェア構成例＞
次に、本発明に係る情報処理装置１０のハードウェア構成例について説明する。図１８は、本発明に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１８を参照すると、情報処理装置１０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力部８７８と、出力部８７９と、記憶部８８０と、ドライブ８８１と、接続ポート８８２と、通信部８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１０９】
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、記憶部８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１１０】
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１１１】
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
【０１１２】
（入力部８７８）
入力部８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
【０１１３】
（出力部８７９）
出力部８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置（表示装置）、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【０１１４】
（記憶部８８０）
記憶部８８０は、各種のデータを格納するための装置である。記憶部８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１１５】
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１１６】
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１１７】
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１１８】
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１１９】
（通信部８８３）
通信部８８３は、ネットワーク９０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。
【０１２０】
＜３．まとめ＞
以上説明したように、本発明に係るニューラルネットワークＮＮ０は、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２、および上記の２つのニューラルネットワークを接続する変換層ＴＬを備える。第１型のニューラルネットワークＮＮ１は、例えば、複素数型ニューラルネットワークであり、第２型のニューラルネットワークＮＮ２は、例えば、実数型のニューラルネットワークであってもよい。この際、本発明に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１における複素数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型ニューロンの入力に対応する次元に変換することができる。係る構成によれば、多次元データを入力とするニューラルネットワークにおけるネットワーク規模および計算コストを低減することが可能となる。
【０１２１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１２２】
１０      情報処理装置
１１０    入力部
１２０    推定部
１３０    記憶部
１４０    出力部
ＮＮ０    ニューラルネットワーク
ＮＮ１    第１型のニューラルネットワーク
ＮＮ２    第２型のニューラルネットワーク
ＴＬ      変換層
【図１】
2018055514.tif 000018
【図２】
2018055514.tif 000019
【図３】
2018055514.tif 000020
【図４】
2018055514.tif 000021
【図５Ａ】
2018055514.tif 000022
【図５Ｂ】
2018055514.tif 000023
【図６】
2018055514.tif 000024
【図７】
2018055514.tif 000025
【図８】
2018055514.tif 000026
【図９】
2018055514.tif 000027
【図１０】
2018055514.tif 000028
【図１１】
2018055514.tif 000029
【図１２】
2018055514.tif 000030
【図１３】
2018055514.tif 000031
【図１４】
2018055514.tif 000032
【図１５】
2018055514.tif 000033
【図１６】
2018055514.tif 000034
【図１７】
2018055514.tif 000035
【図１８】
2018055514.tif 000036