(57)【要約】【課題】本発明の実施例はニューラルネットワークの中間情報分析装置、最適化装置及び特徴可視化装置、並びに方法、電子機器を提供する。【解決手段】次元削減アルゴリズムを用いてニューラルネットワークにおける長短期記憶層により出力された隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及び出力結果に基づいて該ニューラルネットワークの中間情報を分析することで、該中間情報に基づいて該ニューラルネットワークの原理を根本的に分析でき、長短期記憶層を有するニューラルネットワークの各応用を最適化、改善できる。また、該中間情報に基づいてパラメータを最適化することで、該ニューラルネットワークの応用効果を向上でき、該中間情報に基づいて該隠れ状態に含まれる特徴の可視化を実現でき、長短期記憶層を有するニューラルネットワークの研究及び学習に有利である。【選択図】図１０
2019046453.tif 000002
【特許請求の範囲】
【請求項１】
長短期記憶層を有するニューラルネットワークの中間情報分析装置であって、
前記ニューラルネットワークにおける前記長短期記憶層により出力された隠れ状態を取得する取得手段と、
次元削減アルゴリズムを用いて前記隠れ状態を簡略化する簡略化手段と、
簡略化された前記隠れ状態、前記ニューラルネットワークの入力データ及び前記ニューラルネットワークの出力結果に基づいて、前記ニューラルネットワークの中間情報を分析する第１分析手段と、を含む、装置。
【請求項２】
前記次元削減アルゴリズムは、主成分分析アルゴリズム、独立成分分析アルゴリズム又は部分的最小二乗法を含む、請求項１に記載の装置。
【請求項３】
前記次元削減アルゴリズムは、主成分分析アルゴリズムであり、
前記簡略化手段は、
前記隠れ状態の行列における各要素から前記要素の所在する列の平均値を減算し、計算結果に基づいて行列を構築する構築手段と、
構築された前記行列の共分散行列を算出する第１計算手段と、
前記共分散行列の固有値を算出する第２計算手段と、
最大の所定数の固有値の固有ベクトルを算出する第３計算手段と、
前記固有ベクトルに基づいて射影行列を算出し、前記射影行列を簡略化された前記隠れ状態とする第４計算手段と、を含む、請求項２に記載の装置。
【請求項４】
前記射影行列の各列の要素のデータ寄与率は、列ごとに低くなる、請求項３に記載の装置。
【請求項５】
長短期記憶層を有するニューラルネットワークの最適化装置であって、
請求項１に記載のニューラルネットワークの中間情報分析装置と、
前記ニューラルネットワークの前記中間情報に基づいて、前記ニューラルネットワークの入力データの変化による前記中間情報の変化規則、及び前記中間情報の変化の前記ニューラルネットワークの出力結果への影響を分析する第２分析手段と、
前記中間情報の変化規則及び前記中間情報の変化の前記ニューラルネットワークの出力結果への影響に基づいて、前記ニューラルネットワークのパラメータを最適化する最適化手段と、を含む、装置。
【請求項６】
長短期記憶層を有するニューラルネットワークの特徴可視化装置であって、
請求項１に記載のニューラルネットワークの中間情報分析装置と、
前記ニューラルネットワークの前記中間情報に基づいて、前記ニューラルネットワークにおける前記長短期記憶層により出力された前記隠れ状態に含まれる特徴の物理的意味及び前記特徴の経時的変化状況を視覚的に表現する可視化手段と、を含む、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報技術分野に関し、特にニューラルネットワークの中間情報分析装置、最適化装置及び特徴可視化装置、並びに方法、電子機器に関する。
【背景技術】
【０００２】
近年、ニューラルネットワーク（ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）に基づくディープラーニング（ｄｅｅｐ  ｌｅａｒｎｉｎｇ）はマシンビジョン（ｍａｃｈｉｎｅ  ｖｉｓｉｏｎ）分野に広く応用されている。ニューラルネットワークの１つとして、長短期記憶（ＬＳＴＭ：Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ）ネットワーク、即ち長短期記憶層を有するニューラルネットワークは、ビデオのイベント検出分野において他の方法より良好な効果を有する。これは、長短期記憶層を有するニューラルネットワークが経時的に有用な情報を覚えておき、無用な情報を忘れることができるからである。長短期記憶層を有するニューラルネットワークのキーポイントとして、長短期記憶層により出力された情報は隠れ状態と称され、該隠れ状態は長短期記憶層から抽出された特徴を示す多次元行列である。
【０００３】
なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、イベント検出などの応用のために長短期記憶層を有するニューラルネットワークを用いることができるが、長短期記憶層を有するニューラルネットワークは「ブラックボックス」のようなものであり、長短期記憶層を根本的に分析することができず、経験や数学的原理の観点のみから、長短期記憶層を有するニューラルネットワークに対する解釈を試みることができる。
【０００５】
本発明の実施例は、次元削減アルゴリズムを用いてニューラルネットワークにおける長短期記憶層により出力された隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及びニューラルネットワークの出力結果に基づいて該ニューラルネットワークの中間情報を分析することで、該中間情報に基づいて該ニューラルネットワークの原理を根本的に分析でき、長短期記憶層を有するニューラルネットワークの各応用を最適化、改善でき、該中間情報に基づいて該ニューラルネットワークのパラメータを最適化することで、該ニューラルネットワークの応用効果を効果的に向上でき、また、該中間情報に基づいて該隠れ状態に含まれる特徴の可視化を実現でき、長短期記憶層を有するニューラルネットワークの研究及び学習に有利である、ニューラルネットワークの中間情報分析装置、最適化装置及び特徴可視化装置、並びに方法、電子機器を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施例の第１態様では、長短期記憶層を有するニューラルネットワークの中間情報分析装置であって、前記ニューラルネットワークにおける前記長短期記憶層により出力された隠れ状態を取得する取得手段と、次元削減アルゴリズムを用いて前記隠れ状態を簡略化する簡略化手段と、簡略化された前記隠れ状態、前記ニューラルネットワークの入力データ及び前記ニューラルネットワークの出力結果に基づいて、前記ニューラルネットワークの中間情報を分析する第１分析手段と、を含む、装置を提供する。
【０００７】
本発明の実施例の第２態様では、長短期記憶層を有するニューラルネットワークの最適化装置であって、本発明の実施例の第１態様に記載のニューラルネットワークの中間情報分析装置と、前記ニューラルネットワークの前記中間情報に基づいて、前記ニューラルネットワークの入力データの変化による前記中間情報の変化規則、及び前記中間情報の変化の前記ニューラルネットワークの出力結果への影響を分析する第２分析手段と、前記中間情報の変化規則及び前記中間情報の変化の前記ニューラルネットワークの出力結果への影響に基づいて、前記ニューラルネットワークのパラメータを最適化する最適化手段と、を含む、装置を提供する。
【０００８】
本発明の実施例の第３態様では、長短期記憶層を有するニューラルネットワークの特徴可視化装置であって、本発明の実施例の第１態様に記載のニューラルネットワークの中間情報分析装置と、前記ニューラルネットワークの前記中間情報に基づいて、前記ニューラルネットワークにおける前記長短期記憶層により出力された前記隠れ状態に含まれる特徴の物理的意味及び前記特徴の経時的変化状況を視覚的に表現する可視化手段と、を含む、装置を提供する。
【０００９】
本発明の実施例の第４態様では、本発明の実施例の第１態様に記載のニューラルネットワークの中間情報分析装置、を含む、電子機器を提供する。
【００１０】
本発明の実施例の第５態様では、長短期記憶層を有するニューラルネットワークの中間情報分析方法であって、前記ニューラルネットワークにおける前記長短期記憶層により出力された隠れ状態を取得するステップと、次元削減アルゴリズムを用いて前記隠れ状態を簡略化するステップと、簡略化された前記隠れ状態、前記ニューラルネットワークの入力データ及び前記ニューラルネットワークの出力結果に基づいて、前記ニューラルネットワークの中間情報を分析するステップと、を含む、方法を提供する。
【００１１】
本発明の実施例の第６態様では、長短期記憶層を有するニューラルネットワークの最適化方法であって、前記ニューラルネットワークにおける前記長短期記憶層により出力された隠れ状態を取得するステップと、次元削減アルゴリズムを用いて前記隠れ状態を簡略化するステップと、簡略化された前記隠れ状態、前記ニューラルネットワークの入力データ及び前記ニューラルネットワークの出力結果に基づいて、前記ニューラルネットワークの中間情報を分析するステップと、前記ニューラルネットワークの前記中間情報に基づいて、前記ニューラルネットワークの入力データの変化による前記中間情報の変化規則、及び前記中間情報の変化の前記ニューラルネットワークの出力結果への影響を分析するステップと、前記中間情報の変化規則及び前記中間情報の変化の前記ニューラルネットワークの出力結果への影響に基づいて、前記ニューラルネットワークのパラメータを最適化するステップと、を含む、方法を提供する。
【００１２】
本発明の実施例の第７態様では、長短期記憶層を有するニューラルネットワークの特徴可視化方法であって、前記ニューラルネットワークにおける前記長短期記憶層により出力された隠れ状態を取得するステップと、次元削減アルゴリズムを用いて前記隠れ状態を簡略化するステップと、簡略化された前記隠れ状態、前記ニューラルネットワークの入力データ及び前記ニューラルネットワークの出力結果に基づいて、前記ニューラルネットワークの中間情報を分析するステップと、前記ニューラルネットワークの前記中間情報に基づいて、前記ニューラルネットワークにおける前記長短期記憶層により出力された前記隠れ状態に含まれる特徴の物理的意味及び前記特徴の経時的変化状況を視覚的に表現するステップと、を含む、方法を提供する。
【００１３】
本発明の有益な効果としては、次元削減アルゴリズムを用いてニューラルネットワークにおける長短期記憶層により出力された隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及びニューラルネットワークの出力結果に基づいて該ニューラルネットワークの中間情報を分析することで、該中間情報に基づいて該ニューラルネットワークの原理を根本的に分析でき、長短期記憶層を有するニューラルネットワークの各応用を最適化、改善でき、該中間情報に基づいて該ニューラルネットワークのパラメータを最適化することで、該ニューラルネットワークの応用効果を効果的に向上でき、また、該中間情報に基づいて該隠れ状態に含まれる特徴の可視化を実現でき、長短期記憶層を有するニューラルネットワークの研究及び学習に有利である。
【００１４】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。
【００１５】
ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
【００１６】
なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
【図面の簡単な説明】
【００１７】
ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
【図１】本発明の実施例１のニューラルネットワークの中間情報分析装置を示す図である。
【図２】本発明の実施例１のニューラルネットワークの構成を示す図である。
【図３】本発明の実施例１の簡略化部１０２を示す図である。
【図４】本発明の実施例１の簡略化された隠れ状態を示す図である。
【図５】本発明の実施例１の隠れ状態の各領域のフレーム画像である。
【図６】本発明の実施例２のニューラルネットワークの最適化装置を示す図である。
【図７】本発明の実施例３のニューラルネットワークの特徴可視化装置を示す図である。
【図８】本発明の実施例４の電子機器を示す図である。
【図９】本発明の実施例４の電子機器のシステム構成を示すブロック図である。
【図１０】本発明の実施例５のニューラルネットワークの中間情報分析方法を示す図である。
【図１１】本発明の実施例６のニューラルネットワークの最適化方法を示す図である。
【図１２】本発明の実施例７のニューラルネットワークの特徴可視化方法を示す図である。
【発明を実施するための形態】
【００１８】
本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。
【００１９】
＜実施例１＞
本発明の実施例はニューラルネットワークの中間情報分析装置を提供し、該ニューラルネットワークは長短期記憶層を有する。図１は本発明の実施例１のニューラルネットワークの中間情報分析装置を示す図である。図１に示すように、ニューラルネットワークの中間情報分析装置１００は、取得部１０１、簡略化部１０２及び第１分析部１０３を含む。
【００２０】
取得部１０１は、該ニューラルネットワークにおける該長短期記憶層により出力された隠れ状態を取得する。
【００２１】
簡略化部１０２は、次元削減アルゴリズムを用いて該隠れ状態を簡略化する。
【００２２】
第１分析部１０３は、簡略化された前記隠れ状態、該ニューラルネットワークの入力データ及び該ニューラルネットワークの出力結果に基づいて、該ニューラルネットワークの中間情報を分析する。
【００２３】
本実施例では、該ニューラルネットワークは、長短期記憶層を有する任意のニューラルネットワークであってもよく、本発明の実施例はニューラルネットワークの構成に具体的に限定されない。以下は、該ニューラルネットワークの構成を例示的に説明する。
【００２４】
図２は本発明の実施例１のニューラルネットワークの構成を示す図である。図２に示すように、該ニューラルネットワーク２００は、データ入力層２０１、５つの畳み込み層からなる層２０２、第１全結合層２０３、長短期記憶層（ＬＳＴＭ層）２０４、第２全結合層２０５及び出力層２０６を有する。
【００２５】
例えば、該ニューラルネットワークに入力するデータはビデオの複数のフレームであり、データ入力層２０１に入力するデータの次元数は１６×３×２２７×２２７であってもよく、ここで、１６は入力のフレーム数を表し、３は各フレームが赤、緑、青という３つのカラーチャネルを表し、各フレームのサイズは２２７×２２７であり、ＬＳＴＭ層２０４は１６個のＬＳＴＭユニットを有し、これはＬＳＴＭ層２０４が１６個の連続的な時刻の情報を記憶できることを表し、ＬＳＴＭ層２０４により出力された隠れ状態は１６×２５６の行列であり、２５６はＬＳＴＭ層から抽出された特徴の数を表し、１６は１６個のＬＳＴＭユニットを表す。
【００２６】
本実施例では、取得部１０１は、該ニューラルネットワークにおける長短期記憶層により出力された隠れ状態を取得し、例えば図２におけるＬＳＴＭ層２０４により出力された１６×２５６の行列を取得し、該行列における各要素は該隠れ状態の特徴を表し、該行列に含まれる特徴の次元は２５６である。
【００２７】
本実施例では、簡略化部１０２は、次元削減アルゴリズムを用いて該隠れ状態を簡略化する。ここで、各種の次元削減アルゴリズム、例えば主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐｌｅ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）アルゴリズム、独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）アルゴリズム又は部分的最小二乗法（Ｐａｒｔｉａｌ  Ｌｅａｓｔ  Ｓｑｕａｒｅｓ  Ｍｅｔｈｏｄ）を用いて簡略化処理を行ってもよい。
【００２８】
本実施例では、主成分分析アルゴリズムを一例にして簡略化処理のプロセスを説明する。
【００２９】
図３は本発明の実施例１の簡略化部１０２を示す図である。図３に示しように、簡略化部１０２は、構築部３０１、第１計算部３０２、第２計算部３０３、第３計算部３０４及び第４計算部３０５を含む。
【００３０】
構築部３０１は、該隠れ状態の行列における各要素から該要素の所在する列の平均値を減算し、計算結果に基づいて行列を構築する。
【００３１】
第１計算部３０２は、構築された該行列の共分散行列を算出する。
【００３２】
第２計算部３０３は、該共分散行列の固有値（特徴値）を算出する。
【００３３】
第３計算部３０４は、最大の所定数の固有値の固有ベクトル（特徴ベクトル）を算出する。
【００３４】
第４計算部３０５は、該固有ベクトルに基づいて射影行列を算出し、該射影行列を簡略化された該隠れ状態とする。
【００３５】
例えば、該ＬＳＴＭ層２０４により出力された隠れ状態の行列Ｘは以下のように表してもよい。
【数１】
2019046453.tif 000003
【００３６】
ここで、ＸはＬＳＴＭ層により出力された隠れ状態の行列を表し、ｍは該行列の行数を表し、行列Ｘにおける各要素は隠れ状態の１つの特徴を表す。
【００３７】
本実施例では、構築部３０１は、行列Ｘにおける各要素から該要素の所在する列の平均値を減算し、計算結果に基づいて行列を構築する。例えば、以下の式（２）及び（３）に従って構築された行列
（外１）
2019046453.tif 000004
【数２】
2019046453.tif 000005
【数３】
2019046453.tif 000006
【００３８】
ここで、
（外２）
2019046453.tif 000007
は行列Ｘにおける要素ｘｉ，ｊから該要素の所在する列の平均値
（外３）
2019046453.tif 000008
を減算した結果を表し、
（外４）
2019046453.tif 000009
は構築された行列を表し、ｍは該行列の行数を表す。
【００３９】
本実施例では、第１計算部３０２は、構築された該行列の共分散行列を算出する。例えば、以下の式（４）に従って共分散行列を算出してもよい。
【数４】
2019046453.tif 000010
【００４０】
ここで、Ｓは構築された行列
（外５）
2019046453.tif 000011
の共分散行列を表し、ｍは該行列の行数を表し、
（外６）
2019046453.tif 000012
は行列
（外７）
2019046453.tif 000013
の転置行列を表す。
【００４１】
本実施例では、第２計算部３０３は、該共分散行列の固有値（特徴値）を算出する。例えば、以下の式（５）に従って固有値を算出してもよい。
【００４２】
｜λＥ−Ｓ｜＝０            （５）
ここで、λは固有値を表し、Ｅは単位行列を表し、Ｓは共分散行列を表す。
【００４３】
本実施例では、第３計算部３０４は、最大の所定数の固有値の固有ベクトル（特徴ベクトル）を算出する。
【００４４】
例えば、以下の式（６）に従って固有値の固有ベクトルを算出してもよい。
【００４５】
Ｓω−λω＝０            （６）
ここで、ωは固有ベクトルを表し、Ｓは共分散行列を表し、λは固有値を表す。
【００４６】
本実施例では、該所定数は実際の需要に応じて設定されてもよく、例えば該所定数は３であり、最大の３つの固有値の固有ベクトルは既に元の隠れ状態の９５％以上の情報を有することができる。
【００４７】
例えば、以下の式（７）を用いて最大の３つの固有値の固有ベクトルを表してもよい。
【００４８】
Ｗ＝［ω１，ω２，ω３］            （７）
ここで、Ｗは最大の３つの固有値の固有ベクトルを表し、ω１、ω２及びω３はそれぞれ最大の固有値、２番目に大きい固有値及び３番目に大きい固有値の固有ベクトルを表す。
【００４９】
本実施例では、第４計算部３０５は、該固有ベクトルに基づいて射影行列を算出し、該射影行列を簡略化された該隠れ状態とする。例えば、以下の式（８）に従って射影行列を算出してもよい。
【００５０】
Ｙ＝ＸＷ            （８）
ここで、Ｙは射影行列を表し、ＸはＬＳＴＭ層により出力された隠れ状態の行列を表し、Ｗは最大の３つの固有値の固有ベクトルを表す。
【００５１】
本実施例では、射影行列Ｙのサイズはｍ×３であるため、隠れ状態の特徴の次元を２５６から３に低減させ、隠れ状態を大幅に簡略化し、簡略化された隠れ状態に基づいて中間情報を分析することができる。
【００５２】
本実施例では、射影行列Ｙの１番目の列の要素を第１のＰＣＡ成分と称し、ＰＣＡ１と記載し、２番目の列の要素を第２のＰＣＡ成分と称し、ＰＣＡ２と記載し、３番目の列の要素を第３のＰＣＡ成分と称し、ＰＣＡ３と記載する。ＰＣＡ１、ＰＣＡ２及びＰＣＡ３は何れも隠れ状態の数値を表す。
【００５３】
本実施例では、該射影行列の各列の要素のデータ寄与率は、列ごとに低くなる。即ち、射影行列Ｙについて、ＰＣＡ１、ＰＣＡ２及びＰＣＡ３のデータ寄与率は徐々に低くなる。
【００５４】
本実施例では、第１分析部１０３は、簡略化された隠れ状態、該ニューラルネットワークの入力データ及び該ニューラルネットワークの出力結果に基づいて、該ニューラルネットワークの中間情報を分析する。
【００５５】
本実施例では、該中間情報は、該ニューラルネットワークのＬＳＴＭ層により出力された隠れ状態の情報を示してもよい。
【００５６】
本実施例では、具体的な分析方法はニューラルネットワークの応用シナリオ、入力データのフォーマット及び実際の需要に応じて決定されてもよい。以下は、本実施例のニューラルネットワークの中間情報の分析プロセスを例示的に説明する。
【００５７】
例えば、該ニューラルネットワークは交通イベントを検出するためものであり、その入力データは交通監視ビデオの時間順で並び替えられた複数のフレームである。図４は本発明の実施例１の簡略化された隠れ状態を示す図である。図４に示すように、実線はＰＣＡ１の経時的変化の（フレームごとに変化する）曲線を表し、点線はＰＣＡ２の経時的変化の（フレームごとに変化する）曲線を表し、鎖線はＰＣＡ３の経時的変化の（フレームごとに変化する）曲線を表し、この３つの曲線の変化状況に基づいて、隠れ状態全体を領域１〜７（丸付き数字、以下は同じ）という７つの領域に分割する。分析を行うために各領域から１フレームの画像をそれぞれ選択、表示する。
【００５８】
図５は本発明の実施例１の隠れ状態の各領域のフレーム画像である。図５に示すように、符号１〜７（丸付き数字、以下は同じ）のフレーム画像は図４における領域１〜７のそれぞれから選択されたフレーム画像である。
【００５９】
本実施例では、該ニューラルネットワークの出力結果は例えば４種類の交通事象の分類結果、即ち正常（ｎｏｒｍａｌ）、事故（ａｃｃｉｄｅｎｔ）、違反（ｖｉｏｌａｔｉｏｎ）及び渋滞（ｊａｍ）を含む。図５に示すように、符号１〜７のフレーム画像には、これらのフレーム画像をニューラルネットワークに入力した後の出力結果、即ち各種の交通事象の確率がそれぞれ示されている。
【００６０】
図４及び図５に示すように、実線で示されているＰＣＡ１の曲線は、その数値が領域１、３及び５において比較的に高く、領域２、４、６及び７において明らかに低くなり、一方、対応するフレーム画像１、２、３、５及び６における最大の確率を有する交通事象は共に正常（ｎｏｒｍａｌ）であり、フレーム画像４及び７における最大の確率を有する交通事象は共に事故（ａｃｃｉｄｅｎｔ）である。フレーム画像４から分かるように、２つの車の間の距離が非常に近いので、事故が発生したように見える。しかし、ＰＣＡ１の数値が比較的に低い数値に維持する期間が非常に短く、これはＬＳＴＭ層のニューラルネットワークが情報の経時的変化を考慮したことを意味し、該ニューラルネットワークは、この２つの車が既に離れていることを検出し、先ほどこの２つの車の距離が非常に近いことを検出したという情報を忘れるように調整し、事故が発生していないと判断した。フレーム画像２では、自転車とモーターバイクの接近もＰＣＡ１値の降下に繋がり、該ニューラルネットワークは該シーンについて事故の予測確率が上昇したと判断するが、自転車とモーターバイクの接近シーンがすぐ終了するため、該シーンが正常であると最終的に判断した。フレーム画像７から分かるように、モーターバイクとトラックの衝突が発生しており、且つＰＣＡ１の数値が領域７においてビデオの最後までずっと比較的に低い数値に維持しているため、該ＬＳＴＭ層を有するニューラルネットワークは領域７において該シーンが事故（ａｃｃｉｄｅｎｔ）であると正確に判断した。以上の分析から分かるように、交通事象の検出結果が変化するか否かはＰＣＡ１の数値変化及び変化後の値の維持期間に依存するため、ＰＣＡ１の曲線はイベント認識として解釈されてもよい。
【００６１】
点線で示されているＰＣＡ２の曲線は、殆どの期間内で比較的に安定的な数値に維持している。領域１、３及び７では、ＰＣＡ２の曲線の数値の変化幅が比較的に小さく、特に領域７において、その数値が非常に安定している。これは、１及び３のフレーム画像内に動いている車がなく、或いは車がシーンのエッジに出現し、且つ継続期間が非常に短く、７には車があるが、車が長期間で静止しており、これらの期間内でシーンの内容が基本的に変化していないからである。一方、領域２、４、５及び６のＰＣＡ２値が大幅に変化している。これは、新たな移動物体が長期間で画面に出現し、ＰＣＡ２は新たな移動物体へ強く反応せず、画像全体の変化を強調する。従って、ＰＣＡ２の曲線は画像全体の表現として解釈されてもよく、新たに出現する物体の画像全体への影響を理解するのに役立つ。
【００６２】
鎖線で示されているＰＣＡ３の曲線は、その数値が領域２、４、５及び６において急激に変化し、且つ変化幅がＰＣＡ２よりも大きく、これらの領域では新たな移動物体が出現している。フレーム画像４から２つの車の接近が新たに出現することが分かり、フレーム画像２から自転車とモーターバイクが接近することが分かり、画像６においてモーターバイクとトラックの接近が出現する。領域１、３及び７において、ＰＣＡ３の数値の変化幅が非常に小さく、且つこれらのシーンには新たに出現する車がない。以上から分かるように、ＰＣＡ３の曲線の数値の変化はＬＳＴＭ層の新たな移動物体への反応を表し、ＰＣＡ１及びＰＣＡ２の数値に影響を与える。ＰＣＡ３の曲線に基づいて、新たな移動物体による影響及び新たな移動物体により検出結果が変わるか否かを知ることができる。
【００６３】
以上から分かるように、上記プロセスは例えば「イベント認識」、「画像全体表現」、「新たな移動物体」と解釈可能な中間情報を取得し、これらの中間情報に基づいて、ニューラルネットワークにおけるデータの流れを追跡、監視することができ、該ニューラルネットワークの原理を根本的に分析できる。
【００６４】
本実施例によれば、次元削減アルゴリズムを用いてニューラルネットワークにおける長短期記憶層により出力された隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及びニューラルネットワークの出力結果に基づいて該ニューラルネットワークの中間情報を分析することで、該中間情報に基づいて該ニューラルネットワークの原理を根本的に分析でき、長短期記憶層を有するニューラルネットワークの各応用を最適化、改善できる。
【００６５】
＜実施例２＞
本発明の実施例はニューラルネットワークの最適化装置をさらに提供し、該ニューラルネットワークは長短期記憶層を有する。図６は本発明の実施例２のニューラルネットワークの最適化装置を示す図である。図６に示すように、ニューラルネットワークの最適化装置６００は、ニューラルネットワークの中間情報分析装置６０１、第２分析部６０２及び最適化部６０３を含む。
【００６６】
ニューラルネットワークの中間情報分析装置６０１は、該ニューラルネットワークの中間情報を出力する。
【００６７】
第２分析部６０２は、該ニューラルネットワークの該中間情報に基づいて、該ニューラルネットワークの入力データの変化による該中間情報の変化規則、及び該中間情報の変化の該ニューラルネットワークの出力結果への影響を分析する。
【００６８】
最適化部６０３は、該中間情報の変化規則及び該中間情報の変化の該ニューラルネットワークの出力結果への影響に基づいて、該ニューラルネットワークのパラメータを最適化する。
【００６９】
本実施例では、該ニューラルネットワークの構成は実施例１に記載されたものと同じであり、例えば図２に示す構成を有する。
【００７０】
本実施例では、ニューラルネットワークの中間情報分析装置６０１の構成及び機能は実施例１に記載されたものと同じであり、ここでその説明を省略する。
【００７１】
本実施例では、ニューラルネットワークの中間情報分析装置６０１が分析により該ニューラルネットワークの中間情報を取得した後に、第２分析部６０２は、該ニューラルネットワークの該中間情報に基づいて、該ニューラルネットワークの入力データの変化による該中間情報の変化規則、及び該中間情報の変化の該ニューラルネットワークの出力結果への影響を分析する。
【００７２】
例えば、ニューラルネットワークに入力する交通監視ビデオの特定の時点において特定のフレーム画像の特定の領域を遮蔽し、或いは新たな物体を手動で追加して、ニューラルネットワークの入力データを変更し、このような場合の簡略化された隠れ状態の変化及び該ニューラルネットワークの出力結果の変化を観察し、ＬＳＴＭ層の入力データの変化への反応を取得してもよい。
【００７３】
本実施例では、最適化部６０３は、該中間情報の変化規則及び該中間情報の変化の該ニューラルネットワークの出力結果への影響に基づいて、該ニューラルネットワークのパラメータを最適化する。
【００７４】
例えば、簡略化された隠れ状態が有用情報の変化に敏感であり、即ちＬＳＴＭ層の出力が有用情報の変化に敏感であるように、該ニューラルネットワークのパラメータを最適化する。例えば、簡略化された隠れ状態の反応が交通事象の変化よりも遅れる場合は、ＬＳＴＭユニットの数を増やして記憶を強化してもよい。
【００７５】
本実施例によれば、次元削減アルゴリズムを用いてニューラルネットワークにおける長短期記憶層により出力された隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及びニューラルネットワークの出力結果に基づいて該ニューラルネットワークの中間情報を分析することで、該中間情報に基づいて該ニューラルネットワークの原理を根本的に分析でき、長短期記憶層を有するニューラルネットワークの各応用を最適化、改善でき、該中間情報に基づいて該ニューラルネットワークのパラメータを最適化することで、該ニューラルネットワークの応用効果を効果的に向上できる。
【００７６】
＜実施例３＞
本発明の実施例はニューラルネットワークの特徴可視化装置をさらに提供し、該ニューラルネットワークは長短期記憶層を有する。図７は本発明の実施例３のニューラルネットワークの特徴可視化装置を示す図である。図７に示すように、ニューラルネットワークの特徴可視化装置７００は、ニューラルネットワークの中間情報分析装置７０１及び可視化部７０２を含む。
【００７７】
ニューラルネットワークの中間情報分析装置７０１は、該ニューラルネットワークの中間情報を出力する。
【００７８】
可視化部７０２は、該ニューラルネットワークの該中間情報に基づいて、該ニューラルネットワークにおける該長短期記憶層により出力された隠れ状態に含まれる特徴の物理的意味及び該特徴の経時的変化状況を視覚的に表現する。
【００７９】
本実施例では、該ニューラルネットワークの構成は実施例１に記載されたものと同じであり、例えば図２に示す構成を有する。
【００８０】
本実施例では、ニューラルネットワークの中間情報分析装置７０１の構成及び機能は実施例１に記載されたものと同じであり、ここでその説明を省略する。
【００８１】
本実施例では、ニューラルネットワークの中間情報分析装置７０１が分析により該ニューラルネットワークの中間情報を取得した後に、可視化部７０２は、該ニューラルネットワークの中間情報に基づいて、該ニューラルネットワークにおける長短期記憶層により出力された隠れ状態に含まれる特徴の物理的意味及び該特徴の経時的変化状況を視覚的に表現する。
【００８２】
例えば、実施例１に記載されているように、該隠れ状態に含まれる特徴は「イベント認識」、「画像全体表現」、「新たな移動物体」と解釈されてもよく、該可視化部７０２は、該特徴を可視化するように、例えば図４に示す各種の特徴の経時的な曲線を作成してもよい。
【００８３】
本実施例によれば、次元削減アルゴリズムを用いてニューラルネットワークにおける長短期記憶層により出力された隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及びニューラルネットワークの出力結果に基づいて該ニューラルネットワークの中間情報を分析することで、該中間情報に基づいて該ニューラルネットワークの原理を根本的に分析でき、長短期記憶層を有するニューラルネットワークの各応用を最適化、改善でき、該中間情報に基づいて該隠れ状態に含まれる特徴の可視化を実現でき、長短期記憶層を有するニューラルネットワークの研究及び学習に有利である。
【００８４】
＜実施例４＞
本発明の実施例は電子機器をさらに提供し、図８は本発明の実施例４の電子機器を示す図である。図８に示すように、電子機器８００はニューラルネットワークの中間情報分析装置８０１を含み、該ニューラルネットワークは長短期記憶層を有する。ニューラルネットワークの中間情報分析装置８０１の構成及び機能は実施例１に記載されたものと同じであり、ここでその説明を省略する。
【００８５】
図９は本発明の実施例４の電子機器のシステム構成を示すブロック図である。図９に示すように、電子機器９００は、中央処理装置（中央制御装置）９０１及び記憶装置９０２を含んでもよく、記憶装置９０２は中央処理装置９０１に接続される。該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。
【００８６】
図９に示すように、電子機器９００は、入力部９０３、ディスプレイ９０４及び電源９０５をさらに含んでもよい。
【００８７】
１つの態様では、実施例１のニューラルネットワークの中間情報分析装置の機能は中央処理装置９０１に統合されてもよい。ここで、中央処理装置９０１は、ニューラルネットワークにおける長短期記憶層により出力された隠れ状態を取得し、次元削減アルゴリズムを用いて隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及びニューラルネットワークの出力結果に基づいて、ニューラルネットワークの中間情報を分析するように構成されてもよい。
【００８８】
例えば、次元削減アルゴリズムは、主成分分析アルゴリズム、独立成分分析アルゴリズム又は部分的最小二乗法を含む。
【００８９】
例えば、次元削減アルゴリズムは、主成分分析アルゴリズムであり、次元削減アルゴリズムを用いて隠れ状態を簡略化する際に、隠れ状態の行列における各要素から要素の所在する列の平均値を減算し、計算結果に基づいて行列を構築し、構築された行列の共分散行列を算出し、共分散行列の固有値を算出し、最大の所定数の固有値の固有ベクトルを算出し、固有ベクトルに基づいて射影行列を算出し、射影行列を簡略化された隠れ状態とする。
【００９０】
例えば、射影行列の各列の要素のデータ寄与率は、列ごとに低くなる。
【００９１】
もう１つの態様では、実施例１に記載のニューラルネットワークの中間情報分析装置は中央処理装置９０１とそれぞれ構成されてもよく、例えば該ニューラルネットワークの中間情報分析装置は中央処理装置９０１に接続されたチップであり、中央処理装置９０１の制御により該ニューラルネットワークの中間情報分析装置の機能を実現してもよい。
【００９２】
本実施例における電子機器９００は、図９に示されている全ての構成部を含まなくてもよい。
【００９３】
図９に示すように、中央処理装置９０１は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでもよく、中央処理装置９０１は入力を受信し、電子機器９００の各部の操作を制御する。
【００９４】
記憶装置９０２は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の１つ又は複数であってもよい。また、中央処理装置９０１は、記憶装置９０２に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の部材は従来技術に類似するため、ここでその説明が省略される。電子機器９００の各部は、本発明の範囲から逸脱することなく、特定のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。
【００９５】
本実施例によれば、次元削減アルゴリズムを用いてニューラルネットワークにおける長短期記憶層により出力された隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及びニューラルネットワークの出力結果に基づいて該ニューラルネットワークの中間情報を分析することで、該中間情報に基づいて該ニューラルネットワークの原理を根本的に分析でき、長短期記憶層を有するニューラルネットワークの各応用を最適化、改善できる。
【００９６】
＜実施例５＞
本発明の実施例は、実施例１のニューラルネットワークの中間情報分析装置に対応するニューラルネットワークの中間情報分析方法をさらに提供する。図１０は本発明の実施例５のニューラルネットワークの中間情報分析方法を示す図である。図１０に示すように、該方法は以下のステップを含む。
【００９７】
ステップ１００１：該ニューラルネットワークにおける該長短期記憶層により出力された隠れ状態を取得する。
【００９８】
ステップ１００２：次元削減アルゴリズムを用いて該隠れ状態を簡略化する。
【００９９】
ステップ１００３：簡略化された該隠れ状態、該ニューラルネットワークの入力データ及び該ニューラルネットワークの出力結果に基づいて、該ニューラルネットワークの中間情報を分析する。
【０１００】
本実施例では、上記の各ステップの具体的な実現方法は実施例１に記載されたものと同じであり、ここでその説明を省略する。
【０１０１】
本実施例によれば、次元削減アルゴリズムを用いてニューラルネットワークにおける長短期記憶層により出力された隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及びニューラルネットワークの出力結果に基づいて該ニューラルネットワークの中間情報を分析することで、該中間情報に基づいて該ニューラルネットワークの原理を根本的に分析でき、長短期記憶層を有するニューラルネットワークの各応用を最適化、改善できる。
【０１０２】
＜実施例６＞
本発明の実施例は、実施例２のニューラルネットワークの最適化装置に対応するニューラルネットワークの最適化方法をさらに提供する。図１１は本発明の実施例６のニューラルネットワークの最適化方法を示す図である。図１１に示すように、該方法は以下のステップを含む。
【０１０３】
ステップ１１０１：該ニューラルネットワークにおける該長短期記憶層により出力された隠れ状態を取得する。
【０１０４】
ステップ１１０２：次元削減アルゴリズムを用いて該隠れ状態を簡略化する。
【０１０５】
ステップ１１０３：簡略化された該隠れ状態、該ニューラルネットワークの入力データ及び該ニューラルネットワークの出力結果に基づいて、該ニューラルネットワークの中間情報を分析する。
【０１０６】
ステップ１１０４：該ニューラルネットワークの該中間情報に基づいて、該ニューラルネットワークの入力データの変化による該中間情報の変化規則、及び該中間情報の変化の該ニューラルネットワークの出力結果への影響を分析する。
【０１０７】
ステップ１１０５：該中間情報の変化規則及び該中間情報の変化の該ニューラルネットワークの出力結果への影響に基づいて、該ニューラルネットワークのパラメータを最適化する。
【０１０８】
本実施例では、上記の各ステップの具体的な実現方法は実施例１及び実施例２に記載されたものと同じであり、ここでその説明を省略する。
【０１０９】
本実施例によれば、次元削減アルゴリズムを用いてニューラルネットワークにおける長短期記憶層により出力された隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及びニューラルネットワークの出力結果に基づいて該ニューラルネットワークの中間情報を分析することで、該中間情報に基づいて該ニューラルネットワークの原理を根本的に分析でき、長短期記憶層を有するニューラルネットワークの各応用を最適化、改善でき、該中間情報に基づいて該ニューラルネットワークのパラメータを最適化することで、該ニューラルネットワークの応用効果を効果的に向上できる。
【０１１０】
＜実施例７＞
本発明の実施例は、実施例３のニューラルネットワークの特徴可視化装置に対応するニューラルネットワークの特徴可視化方法をさらに提供する。図１２は本発明の実施例７のニューラルネットワークの特徴可視化方法を示す図である。図１２に示すように、該方法は以下のステップを含む。
【０１１１】
ステップ１２０１：該ニューラルネットワークにおける該長短期記憶層により出力された隠れ状態を取得する。
【０１１２】
ステップ１２０２：次元削減アルゴリズムを用いて該隠れ状態を簡略化する。
【０１１３】
ステップ１２０３：簡略化された該隠れ状態、該ニューラルネットワークの入力データ及び該ニューラルネットワークの出力結果に基づいて、該ニューラルネットワークの中間情報を分析する。
【０１１４】
ステップ１２０４：該ニューラルネットワークの該中間情報に基づいて、該ニューラルネットワークにおける該長短期記憶層により出力された隠れ状態に含まれる特徴の物理的意味及び該特徴の経時的変化状況を視覚的に表現する。
【０１１５】
本実施例では、上記の各ステップの具体的な実現方法は実施例１及び実施例３に記載されたものと同じであり、ここでその説明を省略する。
【０１１６】
本実施例によれば、次元削減アルゴリズムを用いてニューラルネットワークにおける長短期記憶層により出力された隠れ状態を簡略化し、簡略化された隠れ状態、ニューラルネットワークの入力データ及びニューラルネットワークの出力結果に基づいて該ニューラルネットワークの中間情報を分析することで、該中間情報に基づいて該ニューラルネットワークの原理を根本的に分析でき、長短期記憶層を有するニューラルネットワークの各応用を最適化、改善でき、該中間情報に基づいて該隠れ状態に含まれる特徴の可視化を実現でき、長短期記憶層を有するニューラルネットワークの研究及び学習に有利である。
【０１１７】
本発明の実施例は、ニューラルネットワークの中間情報分析装置又は電子機器においてプログラムを実行する際に、コンピュータに、該ニューラルネットワークの中間情報分析装置又は電子機器において上記実施例５に記載のニューラルネットワークの中間情報分析方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。
【０１１８】
本発明の実施例は、コンピュータに、ニューラルネットワークの中間情報分析装置又は電子機器において上記実施例５に記載のニューラルネットワークの中間情報分析方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。
【０１１９】
本発明の実施例を参照しながら説明したニューラルネットワークの中間情報分析装置又は電子機器において実行されるニューラルネットワークの中間情報分析方法は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図１に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図１０に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。
【０１２０】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ−ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。
【０１２１】
図１に記載されている機能的ブロック図における一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図１に記載されている機能的ブロック図における一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。
【０１２２】
以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。
【０１２３】
また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
長短期記憶層を有するニューラルネットワークの中間情報分析装置であって、
前記ニューラルネットワークにおける前記長短期記憶層により出力された隠れ状態を取得する取得手段と、
次元削減アルゴリズムを用いて前記隠れ状態を簡略化する簡略化手段と、
簡略化された前記隠れ状態、前記ニューラルネットワークの入力データ及び前記ニューラルネットワークの出力結果に基づいて、前記ニューラルネットワークの中間情報を分析する第１分析手段と、を含む、装置。
（付記２）
前記次元削減アルゴリズムは、主成分分析アルゴリズム、独立成分分析アルゴリズム又は部分的最小二乗法を含む、付記１に記載の装置。
（付記３）
前記次元削減アルゴリズムは、主成分分析アルゴリズムであり、
前記簡略化手段は、
前記隠れ状態の行列における各要素から前記要素の所在する列の平均値を減算し、計算結果に基づいて行列を構築する構築手段と、
構築された前記行列の共分散行列を算出する第１計算手段と、
前記共分散行列の固有値を算出する第２計算手段と、
最大の所定数の固有値の固有ベクトルを算出する第３計算手段と、
前記固有ベクトルに基づいて射影行列を算出し、前記射影行列を簡略化された前記隠れ状態とする第４計算手段と、を含む、付記２に記載の装置。
（付記４）
前記射影行列の各列の要素のデータ寄与率は、列ごとに低くなる、付記３に記載の装置。
（付記５）
長短期記憶層を有するニューラルネットワークの最適化装置であって、
付記１に記載のニューラルネットワークの中間情報分析装置と、
前記ニューラルネットワークの前記中間情報に基づいて、前記ニューラルネットワークの入力データの変化による前記中間情報の変化規則、及び前記中間情報の変化の前記ニューラルネットワークの出力結果への影響を分析する第２分析手段と、
前記中間情報の変化規則及び前記中間情報の変化の前記ニューラルネットワークの出力結果への影響に基づいて、前記ニューラルネットワークのパラメータを最適化する最適化手段と、を含む、装置。
（付記６）
長短期記憶層を有するニューラルネットワークの特徴可視化装置であって、
付記１に記載のニューラルネットワークの中間情報分析装置と、
前記ニューラルネットワークの前記中間情報に基づいて、前記ニューラルネットワークにおける前記長短期記憶層により出力された前記隠れ状態に含まれる特徴の物理的意味及び前記特徴の経時的変化状況を視覚的に表現する可視化手段と、を含む、装置。
（付記７）
付記１に記載のニューラルネットワークの中間情報分析装置、を含む、電子機器。
（付記８）
長短期記憶層を有するニューラルネットワークの中間情報分析方法であって、
前記ニューラルネットワークにおける前記長短期記憶層により出力された隠れ状態を取得するステップと、
次元削減アルゴリズムを用いて前記隠れ状態を簡略化するステップと、
簡略化された前記隠れ状態、前記ニューラルネットワークの入力データ及び前記ニューラルネットワークの出力結果に基づいて、前記ニューラルネットワークの中間情報を分析するステップと、を含む、方法。
（付記９）
前記次元削減アルゴリズムは、主成分分析アルゴリズム、独立成分分析アルゴリズム又は部分的最小二乗法を含む、付記８に記載の方法。
（付記１０）
前記次元削減アルゴリズムは、主成分分析アルゴリズムであり、
前記次元削減アルゴリズムを用いて前記隠れ状態を簡略化するステップは、
前記隠れ状態の行列における各要素から前記要素の所在する列の平均値を減算し、計算結果に基づいて行列を構築するステップと、
構築された前記行列の共分散行列を算出するステップと、
前記共分散行列の固有値を算出するステップと、
最大の所定数の固有値の固有ベクトルを算出するステップと、
前記固有ベクトルに基づいて射影行列を算出し、前記射影行列を簡略化された前記隠れ状態とするステップと、を含む、付記９に記載の方法。
（付記１１）
前記射影行列の各列の要素のデータ寄与率は、列ごとに低くなる、付記１０に記載の方法。
（付記１２）
長短期記憶層を有するニューラルネットワークの最適化方法であって、
前記ニューラルネットワークにおける前記長短期記憶層により出力された隠れ状態を取得するステップと、
次元削減アルゴリズムを用いて前記隠れ状態を簡略化するステップと、
簡略化された前記隠れ状態、前記ニューラルネットワークの入力データ及び前記ニューラルネットワークの出力結果に基づいて、前記ニューラルネットワークの中間情報を分析するステップと、
前記ニューラルネットワークの前記中間情報に基づいて、前記ニューラルネットワークの入力データの変化による前記中間情報の変化規則、及び前記中間情報の変化の前記ニューラルネットワークの出力結果への影響を分析するステップと、
前記中間情報の変化規則及び前記中間情報の変化の前記ニューラルネットワークの出力結果への影響に基づいて、前記ニューラルネットワークのパラメータを最適化するステップと、を含む、方法。
（付記１３）
長短期記憶層を有するニューラルネットワークの特徴可視化方法であって、
前記ニューラルネットワークにおける前記長短期記憶層により出力された隠れ状態を取得するステップと、
次元削減アルゴリズムを用いて前記隠れ状態を簡略化するステップと、
簡略化された前記隠れ状態、前記ニューラルネットワークの入力データ及び前記ニューラルネットワークの出力結果に基づいて、前記ニューラルネットワークの中間情報を分析するステップと、
前記ニューラルネットワークの前記中間情報に基づいて、前記ニューラルネットワークにおける前記長短期記憶層により出力された前記隠れ状態に含まれる特徴の物理的意味及び前記特徴の経時的変化状況を視覚的に表現するステップと、を含む、方法。
【図１】
2019046453.tif 000014
【図２】
2019046453.tif 000015
【図３】
2019046453.tif 000016
【図４】
2019046453.tif 000017
【図５】
2019046453.tif 000018
【図６】
2019046453.tif 000019
【図７】
2019046453.tif 000020
【図８】
2019046453.tif 000021
【図９】
2019046453.tif 000022
【図１０】
2019046453.tif 000023
【図１１】
2019046453.tif 000024
【図１２】
2019046453.tif 000025