(57)【要約】【課題】認識処理に用いられるニューラルネットワークの学習効率及び学習精度を向上させる。【解決手段】実施形態の認識装置は、抽出部と生成部と加工部と識別部とを備える。抽出部は、センサデータから第１特徴量データを抽出する。生成部は、前記第１特徴量データのクラス識別貢献度に基づいて、アテンション情報を生成する。加工部は、前記第１特徴量データを前記アテンション情報により加工することによって第２特徴量データを生成し、前記第１特徴量データと前記第２特徴量データとを含む加工特徴量データを生成する。識別部は、クラス識別ネットワークを使用して、前記加工特徴量データから、認識対象のクラス識別をする。【選択図】図２
2020190960.tif 000002
【特許請求の範囲】
【請求項１】
センサデータから第１特徴量データを抽出する抽出部と、
前記第１特徴量データのクラス識別貢献度に基づいて、アテンション情報を生成する生成部と、
前記第１特徴量データを前記アテンション情報により加工することによって第２特徴量データを生成し、前記第１特徴量データと前記第２特徴量データとを含む加工特徴量データを生成する加工部と、
クラス識別ネットワークを使用して、前記加工特徴量データから、認識対象のクラス識別をする識別部と、
を備える認識装置。
【請求項２】
前記抽出部は、コンボリューション層の処理によって、前記センサデータから前記第１特徴量データを抽出する、
請求項１に記載の認識装置。
【請求項３】
前記生成部は、前記クラス識別ネットワークに含まれるコンボリューション層を共有するアテンションネットワークを使用して、クラスが識別されたときの前記アテンションネットワークの出力に基づき前記コンボリューション層からネットワーク出力を得るための微分伝達関数に基づいて、前記クラス識別貢献度を算出する、
請求項１に記載の認識装置。
【請求項４】
前記生成部は、クラス毎に算出された前記クラス識別貢献度のうち、正の値を有する前記クラス識別貢献度により、前記アテンション情報を生成する、
請求項３に記載の認識装置。
【請求項５】
前記生成部は、センサモダリティ又はセンサの装着部位毎に、前記アテンション情報を生成し、
前記加工部は、前記第１特徴量データが抽出されたセンサのセンサモダリティ、又は、センサの装着部位毎に、前記第２特徴量データの生成に使用される前記アテンション情報を変える、
請求項１に記載の認識装置。
【請求項６】
前記生成部は、クラス識別のタスク毎に、前記アテンション情報を生成し、
前記加工部は、前記タスクに応じて、前記第２特徴量データの生成に使用される前記アテンション情報を変える、
請求項１に記載の認識装置。
【請求項７】
前記生成部は、クラス識別のタスク毎に、前記アテンション情報を生成し、
前記加工部は、前記タスク毎に生成された前記アテンション情報を合成し、合成された前記アテンション情報により前記第１特徴量データを加工することによって前記第２特徴量データを生成する、
請求項１に記載の認識装置。
【請求項８】
前記生成部は、異なる時系列長のデータから前記アテンション情報を生成し、
前記加工部は、前記異なる時系列長に応じて、前記第２特徴量データの生成に使用される前記アテンション情報を変える、
請求項１に記載の認識装置。
【請求項９】
前記アテンションネットワークを学習するアテンションネットワーク学習部と、
前記クラス識別ネットワークを学習するクラス識別ネットワーク学習部と、
を更に備える請求項３に記載の認識装置。
【請求項１０】
センサデータから第１特徴量データを抽出するステップと、
前記第１特徴量データのクラス識別貢献度に基づいて、アテンション情報を生成するステップと、
前記第１特徴量データを前記アテンション情報により加工することによって第２特徴量データを生成し、前記第１特徴量データと前記第２特徴量データとを含む加工特徴量データを生成するステップと、
クラス識別ネットワークを使用して、前記加工特徴量データから、認識対象のクラス識別をするステップと、
を含む認識方法。
【請求項１１】
コンピュータを、
センサデータから第１特徴量データを抽出する抽出部と、
前記第１特徴量データのクラス識別貢献度に基づいて、アテンション情報を生成する生成部と、
前記第１特徴量データを前記アテンション情報により加工することによって第２特徴量データを生成し、前記第１特徴量データと前記第２特徴量データとを含む加工特徴量データを生成する加工部と、
クラス識別ネットワークを使用して、前記加工特徴量データから、認識対象のクラス識別をする識別部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は認識装置、認識方法及びプログラムに関する。
【背景技術】
【０００２】
近年、プロセッサやセンサ性能の高度化、小型低消費電力化によって、低価格なウェアラブル機器が身近になり、日々の身体行動をロギング（ライフログ）するヘルスケアサービスが盛んに提案されている。また、その活用範囲を社会インフラ分野に拡げる動きも加速している。例えば、製造、物流及び点検等の作業現場において、作業者の身体行動をウェアラブル機器等のセンサにより取得し、ニューラルネットワークを用いてセンサデータから作業者の作業行動を認識する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１８／１６３５５５号
【非特許文献】
【０００４】
【非特許文献１】Ｒｅｓｉｄｕａｌ  Ａｔｔｅｎｔｉｏｎ  Ｎｅｔｗｏｒｋ  ｆｏｒ  Ｉｍａｇｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，  Ｆｅｉ  Ｗａｎｇ  ｅｔ  ａｌ．  ＩＣＶＲ  ２０１７
【非特許文献２】Ｇｒａｄ−ＣＡＭ：  Ｖｉｓｕａｌ  Ｅｘｐｌａｎａｔｉｏｎｓ  ｆｒｏｍ  Ｄｅｅｐ  Ｎｅｔｗｏｒｋｓ  ｖｉａ  Ｇｒａｄｉｅｎｔ−Ｂａｓｅｄ  Ｌｏｃａｌｉｚａｔｉｏｎ，    Ｒａｍｐｒａｓａａｔｈ  Ｒ．  Ｓｅｌｖａｒａｊｕ  ｅｔ  ａｌ．  ＩＣＣＶ  ２０１７
【非特許文献３】Ｏｎ  Ａｔｔｅｎｔｉｏｎ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｈｕｍａｎ  Ａｃｔｉｖｉｔｙ  Ｒｅｃｏｇｎｉｔｉｏｎ，  Ｖｉｓｈｖａｋ  Ｓ  Ｍｕｒａｈａｒｉ  ａｎｄ  Ｔｈｏｍａｓ  Ｐｌｏｅｔｚ  ＩＳＷＣ  ２０１８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、認識処理に用いられるニューラルネットワークの学習効率及び学習精度を向上させることが難しかった。
【課題を解決するための手段】
【０００６】
実施形態の認識装置は、抽出部と生成部と加工部と識別部とを備える。抽出部は、センサデータから第１特徴量データを抽出する。生成部は、前記第１特徴量データのクラス識別貢献度に基づいて、アテンション情報を生成する。加工部は、前記第１特徴量データを前記アテンション情報により加工することによって第２特徴量データを生成し、前記第１特徴量データと前記第２特徴量データとを含む加工特徴量データを生成する。識別部は、クラス識別ネットワークを使用して、前記加工特徴量データから、認識対象のクラス識別をする。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態の認識システムの装置構成の例を示す図。
【図２】第１実施形態の認識装置の機能構成の例を示す図。
【図３】第１実施形態のネットワーク構造の例を示す図。
【図４】第１実施形態のアテンション適用学習の概念図。
【図５】第１実施形態の認識装置の動作例を示すフローチャート。
【図６】第２実施形態の認識システムの装置構成の例を示す図。
【図７】第２実施形態の認識装置の動作例を示すフローチャート。
【図８】第３実施形態のネットワーク構造の例を示す図。
【図９】第４実施形態のネットワーク構造の例を示す図。
【図１０】第５実施形態のネットワーク構造の例を示す図。
【図１１】第１乃至第５実施形態の認識装置のハードウェア構成の例を示す図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、認識装置、認識方法及びプログラムの実施形態を詳細に説明する。
【０００９】
（第１実施形態）
［システム構成の例］
図１は第１実施形態の認識システム１００の装置構成の例を示す図である。第１実施形態の認識システム１００は、センサ１−１〜１−ｎ、及び、認識装置２を備える。センサ１−１〜１−ｎ、及び、認識装置２は、ネットワーク３を介して接続されている。ネットワーク３の通信方式は、有線方式でも無線方式でもよい。また有線方式と無線方式とが組み合わされていてもよい。以下、センサ１−１〜１−ｎを区別しない場合は単にセンサ１という。
【００１０】
センサ１は、認識対象の情報等を示すセンサデータを取得し、当該センサデータを認識装置２に送信する。センサデータは、例えば加速度、ジャイロ、地磁気、体温、心拍、３次元骨格データ、及び、画像等である。センサ１は、例えばウェアラブルセンサである。認識対象の情報は、例えば人の行動情報等である。
【００１１】
ウェアラブルセンサを装着した人の行動を推定（認識）する場合に、対象となる動作や作業は工場、フィールド、家庭、オフィス、フィットネスでそれぞれ異なり多岐に渡る。ここでは、作業種でくくられる作業環境を作業ドメインと呼ぶ。工場などの作業ドメインでは「台車移動」や「運搬」、「タッチパネル操作」、「筆記操作」、「スイッチ操作」などが主要で共通した作業動作と想定することが出来る。一方で、倉庫等の物流現場では、荷物の「運搬」以外に「バーコード読込」、「ピッキング」、「梱包」、さらには「フォークリフト操作」といった作業が主要な作業種となる。異なるドメイン間で学習モデルを再利用する際には、ドメインにより異なる作業種への対応が求められる。また、センサ構成が異なることによる影響も考慮しておく必要がある。今までは片腕に装着したセンサを前提としていたが、精度を優先することを考えて足や体幹など複数のセンサを装着することも考えられる。
【００１２】
認識装置２は、センサデータから、認識対象の情報（例えば人の行動情報等）を認識する。
【００１３】
［機能構成の例］
図２は第１実施形態の認識装置２の機能構成の例を示す図である。認識装置２は、取得部２１、記憶部２２、抽出部２３、生成部２４、加工部２５及び識別部２６を備える。
【００１４】
取得部２１は、センサ１からセンサデータを取得する。
【００１５】
記憶部２２は、学習モデル等の情報を記憶する。第１実施形態の記憶部２２に記憶される学習モデルは、アテンションネットワーク学習モデル及びクラス識別ネットワーク学習モデルである。
【００１６】
アテンションネットワーク学習モデルは、アテンション情報を取得するニューラルネットワーク（アテンションネットワーク）である。アテンション情報は、クラス識別において注目すべき特徴量データを示す。
【００１７】
クラス識別ネットワーク学習モデルは、認識対象のクラス識別をするニューラルネットワーク（クラス識別ネットワーク）である。クラスの定義は任意でよい。クラスは、例えば行動、作業種別及び作業動作等である。具体的には、例えば工場などの作業ドメインで行動認識をする場合には、各クラスは、「台車移動」や「運搬」、「タッチパネル操作」、「筆記操作」、「スイッチ操作」等を示す。
【００１８】
抽出部２３は、センサデータから第１特徴量データを抽出する。
【００１９】
生成部２４は、第１特徴量データのクラス識別貢献度に基づいて、アテンション情報を生成する。クラス識別貢献度の詳細については後述する。
【００２０】
加工部２５は、第１特徴量データをアテンション情報により加工することによって第２特徴量データを生成し、第１特徴量データと第２特徴量データとを含む加工特徴量データを生成する。加工特徴量データの詳細については後述する。
【００２１】
識別部２６は、クラス識別ネットワークを使用して、加工特徴量データから、認識対象のクラス識別をする。識別部２６によるクラス識別結果は、ディスプレイ等に表示しても良いし、記憶装置に記憶させても良いし、無線または有線接続された他の装置へ送信しても良い。認識部２６によるクラス識別結果は、例えば製造、物流及び点検等の作業現場の場合、作業者の作業行動を認識することによる生産性の改善（時間のかかっている作業の特定等）に利用できる。
【００２２】
［ネットワーク構造の例］
図３は第１実施形態のネットワーク構造の例を示す図である。第１実施形態に使用されるニューラルネットワークは、アテンションネットワーク２０１及びクラス識別ネットワーク２０２を含む。図３の例では、アテンションネットワーク２０１のＣｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒ（コンボリューション層）と、クラス識別ネットワーク２０２のＣｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒが共有されている。
【００２３】
抽出部２３は、コンボリューション層の処理によって、センサデータから第１特徴量データ（特徴マップ）を抽出する。
【００２４】
生成部２４は、アテンション情報として、アテンションネットワーク２０１のネットワーク構造が反映されたクラス統合特徴マップ貢献度を生成する。ここで、アテンション情報の生成方法について説明する。
【００２５】
図４は第１実施形態のアテンション適用学習の概念図である。図４中の記号は、後述の参照式に含まれる記号に対応する。各記号の説明は、後述の参照式で説明する。
【００２６】
まず、生成部２４は、特徴空間である第１特徴量データ（特徴マップ）におけるクラス識別貢献度を表す特徴マップ貢献度ｗをコンボリューション層からクラス識別出力にいたるネットワーク伝達関数の微分情報として算出する。
【００２７】
【数１】
2020190960.tif 000003
【００２８】
ここで、ｙはクラスＣと判定されたときのアテンションネットワーク２０１の出力（Ｓｏｆｔｍａｘ適用前）、Ａはコンボリューション層における特徴マップ、ｋは特徴マップ次元、ｔは時間方向の次元、ｃｈはチャネル方向の次元、Ｚは特徴マップにおける時間方向の次元数を表す。コンボリューション処理はチャネル毎に適用されるため、ネットワーク伝達関数の微分情報において時間方向成分を特徴マップ全体で平均化して求める。生成部２４は、クラス毎に算出した特徴マップ貢献度ｗのうち正の成分のみを統合することでクラス統合特徴マップ貢献度ｗ’を算出する。
【００２９】
【数２】
2020190960.tif 000004
【００３０】
ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）はネットワークの活性化関数の１種で入力した値が０以下のとき０になり、１より大きいとき入力をそのまま出力するものである。Ｃは対象となるクラス総数を表す。
【００３１】
クラス統合特徴マップ貢献度ｗ’を算出するにあたって、ここではクラス毎に算出した特徴マップ貢献度ｗを全クラスに渡って加算平均化して求めたが、これに限らず学習データ全体におけるクラスに属する学習データの構成割合を各クラスの特徴マップ貢献度ｗに掛け合わせた後、全クラスで合計するなど、学習データにおけるクラス構成に基づいて加重平均する形で統合しても良い。
【００３２】
次に、生成部２４は、上記で求めたクラス統合特徴マップ貢献度ｗ’を特徴マップ次元と同じになるように次元を拡張して最終的なクラス統合特徴マップ貢献度ｗ”を算出する。
【００３３】
【数３】
2020190960.tif 000005
【００３４】
Ｒｅｐｅａｔとはクラス統合特徴マップ貢献度を時間方向に繰り返し適用してデータ次元を拡張する処理を表す。
【００３５】
すなわち、生成部２４は、クラス識別ネットワーク２０２に含まれるコンボリューション層を共有するアテンションネットワーク２０１を使用して、クラスが識別されたときの特徴マップ各要素におけるクラス識別貢献度を算出する。生成部２４は、クラスが識別されたときのアテンションネットワーク２０１の出力に基づきコンボリューション層からネットワーク出力を得るための微分伝達関数に基づいて、クラス識別貢献度を算出する。具体的には、生成部２４は、コンボリューション層からネットワーク出力を得るための伝達傾向をアテンションネットワーク２０１の出力からコンボリューション層出力である特徴マップまでの微分勾配を逆伝播することでクラス識別貢献度を算出する。
【００３６】
アテンション情報であるクラス統合特徴マップ貢献度ｗ”は、上述の参照式（１）〜（３）の計算によって算出されるので、センサデータ（学習データ）に依存することなくアテンションネットワーク２０１（アテンションネットワーク学習モデル）の構造のみから定まる。
【００３７】
加工部２５は、クラス統合特徴マップ貢献度ｗ”を第１特徴量データ（特徴マップＡ）に要素毎に掛け合わせることで特徴マップにおけるクラス識別貢献度を反映した第２特徴量データ（特徴空間アテンションマップＬ）を作成する。
【００３８】
【数４】
2020190960.tif 000006
【００３９】
上記参照式（４）で求めた第２特徴量データ（特徴空間アテンションマップＬ）では特徴空間における正のクラス識別貢献のみが考慮される（負の貢献は他クラスへの貢献なので考慮されない）。
【００４０】
また、加工部２５は、第１特徴量データに第２特徴量データを特定のアテンション評価係数αを加味して加算することにより、加工特徴量データ（特徴マップＡ’）を生成する。
【００４１】
【数５】
2020190960.tif 000007
【００４２】
加工部２５は、加工特徴量データを後段のＬＳＴＭ（Ｌｏｎｇ  ｓｈｏｒｔ−ｔｅｒｍ  ｍｅｍｏｒｙ）ｌａｙｅｒに入力する。
【００４３】
識別部２６は、ＬＳＴＭ層の処理、及び、Ｓｏｆｔｍａｘ処理によって、加工特徴量データから、認識対象のクラス識別をする。
【００４４】
図５は第１実施形態の認識装置２の動作例を示すフローチャートである。はじめに、生成部２４が、第１特徴量データのクラス識別貢献度に基づいて、上述のアテンション情報を生成する（ステップＳ１）。
【００４５】
次に、取得部２１が、センサ１からセンサデータを取得する（ステップＳ２）。
【００４６】
次に、抽出部２３が、ステップＳ２の処理により取得されたセンサデータから第１特徴量データを抽出する（ステップＳ３）。
【００４７】
次に、加工部２５が、ステップＳ１の処理により生成されたアテンション情報に基づいて、上述の加工特徴量データを生成する（ステップＳ４）。
【００４８】
次に、加工部２５が、ステップＳ４の処理により生成された加工特徴量データを後段のＬＳＴＭ  ｌａｙｅｒに入力することにより、クラス識別ネットワークへアテンション情報を適用する（ステップＳ５）。
【００４９】
次に、識別部２６が、ＬＳＴＭ層の処理、及び、Ｓｏｆｔｍａｘ処理によって、加工特徴量データから、認識対象のクラス識別をする（ステップＳ６）。次に、処理はステップＳ２のセンサデータの取得処理に戻る。
【００５０】
以上説明したように、第１実施形態の認識装置２では、抽出部２３が、センサデータから第１特徴量データを抽出する。生成部２４が、第１特徴量データのクラス識別貢献度に基づいて、アテンション情報を生成する。加工部２５が、第１特徴量データをアテンション情報により加工することによって第２特徴量データを生成し、第１特徴量データと第２特徴量データとを含む加工特徴量データを生成する。そして、識別部２６が、クラス識別ネットワークを使用して、加工特徴量データから、認識対象のクラス識別をする。
【００５１】
これにより第１実施形態の認識装置２によれば、認識処理に用いられるニューラルネットワークの学習効率及び学習精度を向上させることができる。具体的には、事前学習したアテンションネットワーク（アテンションネットワーク学習モデル）のみからアテンション情報を生成することが可能であり、転移学習や追加学習時に学習データ量が少なくて済み、また注目情報（アテンション情報）を事前に取得することが出来るなど学習効率を高められる。従来の技術では、識別する際に注目するべき情報（アテンション情報）を事前に取得およびに再利用することはしておらず、対象の学習データが変わる度にアテンション情報を生成する必要があった。
【００５２】
また第１実施形態の認識装置２によれば、センサや識別クラスの構成に応じてアテンション情報を再構成することができるので、ネットワークの再利用性が高まり、認識精度向上やノイズ頑健性を高められる（異なるドメイン間のアテンション転移や少量データの認識強化等）。従来の技術では、作業ドメインで使われているセンサの構成や識別対象となるクラス構成が異なることは多く、その場合、あるドメインで学習させた識別モデルの再利用が困難で別ドメインではネットワークの再学習が必要だった。
【００５３】
（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略する。
【００５４】
［機能構成の例］
図６は第２実施形態の認識装置２−２の機能構成の例を示す図である。認識装置２−２は、取得部２１、記憶部２２、抽出部２３、生成部２４、加工部２５、識別部２６、アテンションネットワーク学習部２７及びクラス識別ネットワーク学習部２８を備える。第２実施形態では、第１実施形態の構成に更にアテンションネットワーク学習部２７及びクラス識別ネットワーク学習部２８が追加されている。
【００５５】
アテンションネットワーク学習部２７は、アテンションネットワーク２０１（アテンションネットワーク学習モデル）を学習する。
【００５６】
クラス識別ネットワーク学習部２８は、クラス識別ネットワーク２０２（クラス識別ネットワーク学習モデル）を学習する。クラス識別ネットワーク学習部２８は、特徴空間アテンションマップの時間方向あるいはセンサチャネル方向、あるいは両方向において、特徴空間アテンションマップの強度が連続性を保持するように損失関数を定義してクラス識別ネットワークの学習を行う。また、クラス識別ネットワーク学習部２８は、学習エポック毎に特徴空間アテンションマップの一貫性を保持するような損失関数を定義してクラス識別ネットワークの学習を行う。
【００５７】
図７は第２実施形態の認識装置２−２の動作例を示すフローチャートである。ステップＳ２１〜ステップＳ２５の説明は、第１実施形態のステップＳ１〜ステップＳ５の説明（図５参照）と同じなので省略する。
【００５８】
クラス識別ネットワーク学習部２８が、クラス識別ネットワーク２０２（クラス識別ネットワーク学習モデル）におけるクラス識別損失Ｌｏｓｓ＿ｍａｉｎを以下にように算出する（ステップＳ２６）。
【００５９】
【数６】
2020190960.tif 000008
【００６０】
【数７】
2020190960.tif 000009
【００６１】
ただし、ｙは正解のクラス、ｙ＾はネットワークによる予測クラス、ＬＳＴＭはＬＳＴＭ型のニューラルネットワーク、ｓｏｆｔｍａｘはニューラルネットワーク出力を各クラスの生起確率に変換する処理を表す。
【００６２】
次に、アテンションネットワーク学習部２７が、アテンションネットワーク２０１（アテンションネットワーク学習モデル）におけるクラス識別損失Ｌｏｓｓ＿ａｔｔｅｎｔｉｏｎは以下のように算出する（ステップＳ２７）。
【００６３】
【数８】
2020190960.tif 000010
【００６４】
【数９】
2020190960.tif 000011
【００６５】
ただし、ｙは正解のクラス、ｙ＾はネットワークによる予測クラス、ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｎｅｔｗｏｒｋ）は全結合型のニューラルネットワーク、ｓｏｆｔｍａｘはニューラルネットワーク出力を各クラスの生起確率に変換する処理を表す。
【００６６】
クラス識別ネットワーク学習部２８はさらに第２特徴量データ（特徴空間アテンションマップＬ）に時間方向の連続性や学習過程での一貫性の制約を設けることで学習汎化性能を高めることができる。
【００６７】
上記の制約に対応した損失（連続性損失、一貫性損失）をそれぞれ以下のように求めて学習に反映させることができる。
【００６８】
【数１０】
2020190960.tif 000012
【００６９】
【数１１】
2020190960.tif 000013
【００７０】
ここで、Ｈは特徴マップにおけるチャネル方向の次元数である。ＬＥＭＡはネットワーク学習時に更新されるエポック毎の誘目度マップを訓練データ毎に指数移動平均（Ｅｘｐｏｎｅｎｔｉａｌ  Ｍｏｖｉｎｇ  Ａｖｅｒａｇｅ）して求めたものである。
【００７１】
最後に、アテンションネットワーク学習部２７及びクラス識別ネットワーク学習部２８は先に求めたクラス識別ネットワークのクラス識別損失、損失評価係数であるβ＿ａｔｔｅｎｔｉｏｎを掛け合わせたアテンションネットワークのクラス識別損失、およびに損失評価係数であるβ＿ｃｏｎｔｉｎｕｉｔｙ，β＿ｃｏｎｓｉｓｔｅｎｃｙをそれぞれ掛け合わせて求めたアテンション制約損失（連続性損失と一貫性損失）から参照式（１２）に基づき総合学習損失Ｌｏｓｓを算出し（ステップＳ２８）、誤差逆伝播を行う（ステップＳ２９）。
【００７２】
【数１２】
2020190960.tif 000014
【００７３】
次に、アテンションネットワーク学習部２７が、アテンションネットワーク２０１（アテンションネットワーク学習モデル）を更新する（ステップＳ３０）。
【００７４】
次に、アテンションネットワーク学習部２８が、クラス識別ネットワーク２０２（クラス識別ネットワーク学習モデル）を更新する（ステップＳ３１）。
【００７５】
次に、識別部２６が、ＬＳＴＭ層の処理、及び、Ｓｏｆｔｍａｘ処理によって、加工特徴量データから、認識対象のクラス識別をする（ステップＳ３２）。第２実施形態では、ステップＳ３０の処理によってアテンションネットワーク２０１が更新されているので、次に、処理は、ステップＳ２１のアテンション情報の生成処理に戻る。
【００７６】
第２実施形態の認識装置２−２によれば、アテンションネットワーク学習部２７及びクラス識別ネットワーク学習部２８を備えることにより、アテンションネットワーク学習モデル及びクラス識別ネットワーク学習モデルを更新することができる。
【００７７】
また第２実施形態の認識装置２−２によれば、第２特徴量データ（特徴空間アテンションマップＬ）に時間方向の連続性や学習過程での一貫性の制約を設けることで学習汎化性能を高めることができる。
【００７８】
（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第１実施形態と同様の説明については省略する。第３実施形態では、第１実施形態と異なるネットワーク構造を用いる場合（センサ構成は同じで、クラス構成が異なる場合）について説明する。
【００７９】
［ネットワーク構造の例］
図８は第３実施形態のネットワーク構造の例を示す図である。第３実施形態に使用されるニューラルネットワークは、アテンションネットワーク２０１−２及びクラス識別ネットワーク２０２−２を含む。図８の例では、アテンションネットワーク２０１−２のＣｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒと、クラス識別ネットワーク２０２−２のＣｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒが共有されている。
【００８０】
図８の例では、入力されるセンサデータから、２つのタスクで認識処理をする場合を示す。タスクは、例えば下記のように、異なる作業行動表現、及び、異なる作業関係の違いを示す。
【００８１】
タスクの例１：異なる作業行動表現
ｔａｓｋ１  （「手を伸ばす」、「つかむ」）、ｔａｓｋ２（「ものを運ぶ」）
タスクの例２：異なる作業環境
ｔａｓｋ１  （実験室作業データ）、ｔａｓｋ２（工場作業データ）
【００８２】
生成部２４は、上述の参照式（３）により、ｔａｓｋ１のクラス統合特徴マップ貢献度ｗ”ｔａｓｋ１、及び、ｔａｓｋ２のクラス統合特徴マップ貢献度ｗ”ｔａｓｋ２を生成する。
【００８３】
加工部２５は、クラス統合特徴マップ貢献度ｗ”ｔａｓｋ１、及び、クラス統合特徴マップ貢献度ｗ”ｔａｓｋ２を第１特徴量データに重畳することにより、第２特徴量データを生成する。また、加工部２５は、第１特徴量データに第２特徴量データを加算することにより、加工特徴量データを生成する。加工部２４は、加工特徴量データを後段のＬＳＴＭ層に入力する。
【００８４】
識別部２６は、ＬＳＴＭ層の処理、及び、Ｓｏｆｔｍａｘ処理をｔａｓｋ毎にすることによって、加工特徴量データから、認識対象のクラス識別をする。
【００８５】
なお、ネットワーク構造が図８の場合の総合学習損失Ｌｏｓｓ＿ｔａｓｋは、参照式（１３）により表される。
【００８６】
【数１３】
2020190960.tif 000015
【００８７】
以上説明したように、第３実施形態では、生成部２４が、クラス識別のタスク毎に、アテンション情報を生成する。加工部２４は、タスク毎に生成されたアテンション情報を合成（加算）し、合成されたアテンション情報により第１特徴量データを加工することによって第２特徴量データを生成する。
【００８８】
これにより第３実施形態によれば、センサデータ（学習データ）に依存しないアテンション情報が使用されるので、認識処理に用いられるニューラルネットワークの学習効率及び学習精度を向上させることができる。
【００８９】
なお、各タスクで実行される認識処理に関連がない場合などは、アテンション情報を合成せずに、別々に適用してもよい。すなわち、生成部２４が、クラス識別のタスク毎に、アテンション情報を生成し、加工部２４は、タスクに応じて、第２特徴量データの生成に使用されるアテンション情報を変えてもよい。
【００９０】
（第４実施形態）
次に第４実施形態について説明する。第４実施形態の説明では、第１実施形態と同様の説明については省略する。第４実施形態では、第１実施形態と異なるネットワーク構造を用いる場合（クラス構成は同じで、センサ構成が異なる場合）について説明する。
【００９１】
［ネットワーク構造の例］
図９は第４実施形態のネットワーク構造の例を示す図である。第４実施形態に使用されるニューラルネットワークは、アテンションネットワーク２０１−３及びクラス識別ネットワーク２０２−３を含む。図９の例では、アテンションネットワーク２０１−３のＣｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒと、クラス識別ネットワーク２０２−３のＣｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒが共有されている。
【００９２】
図９の例では、入力される２種類のセンサデータから、２つのモダリティでアテンション情報を生成する場合を示す。モダリティは、例えば下記のように、センサモダリティ、及び、センサ装着部位の違いを示す。
【００９３】
モダリティの例１：センサモダリティ
ｍｏｄｅ１  （加速度）、ｍｏｄｅ２（ジャイロ）
モダリティの例２：センサ装着部位
ｍｏｄｅ１  （頭部装着センサ群）、ｍｏｄｅ２（腕装着センサ群）
ｍｏｄｅ１  （右手装着センサ群）、ｍｏｄｅ２（左手装着センサ群）
【００９４】
生成部２４は、上述の参照式（３）により、ｍｏｄｅ１のクラス統合特徴マップ貢献度ｗ”ｍｏｄｅ１、及び、ｍｏｄｅ２のクラス統合特徴マップ貢献度ｗ”ｍｏｄｅ２を生成する。
【００９５】
加工部２５は、クラス統合特徴マップ貢献度ｗ”ｍｏｄｅ１を第１センサデータの第１特徴量データに重畳することにより、第１センサデータの第２特徴量データを生成し、当該第２特徴量データを第１センサデータの第１特徴量データに加算することにより、第１センサデータの加工特徴量データを生成する。同様に、加工部２５は、クラス統合特徴マップ貢献度ｗ”ｍｏｄｅ２を第２センサデータの第１特徴量データに重畳することにより、第２センサデータの第２特徴量データを生成し、当該第２特徴量データを第２センサデータの第１特徴量データに加算することにより、第２センサデータの加工特徴量データを生成する。
【００９６】
加工部２５は、第１センサデータの加工特徴量データと、第２センサデータの加工特徴量データとを連結し、連結された加工特徴量データを後段のＬＳＴＭ層に入力する。
【００９７】
識別部２６は、ＬＳＴＭ層の処理、及び、Ｓｏｆｔｍａｘ処理をすることによって、連結された加工特徴量データから、認識対象のクラス識別をする。
【００９８】
なお、ネットワーク構造が図９の場合の総合学習損失Ｌｏｓｓ＿ｍｏｄｅは、参照式（１４）により表される。
【００９９】
【数１４】
2020190960.tif 000016
【０１００】
以上説明したように、第４実施形態では、生成部２４が、センサモダリティ又はセンサの装着部位毎に、アテンション情報を生成する。加工部２５が、第１特徴量データが抽出されたセンサのセンサモダリティ、又は、センサの装着部位毎に、第２特徴量データの生成に使用されるアテンション情報を変える。
【０１０１】
これにより第４実施形態によれば、センサデータ（学習データ）に依存しないアテンション情報が使用されるので、認識処理に用いられるニューラルネットワークの学習効率及び学習精度を向上させることができる。
【０１０２】
（第５実施形態）
次に第５実施形態について説明する。第５実施形態の説明では、第１実施形態と同様の説明については省略する。第４実施形態では、第１実施形態と異なるネットワーク構造を用いる場合（クラス構成は同じ、センサ構成同じ、時系列長が異なる場合）について説明する。
【０１０３】
［ネットワーク構造の例］
図１０は第５実施形態のネットワーク構造の例を示す図である。第５実施形態に使用されるニューラルネットワークは、アテンションネットワーク２０１−４及びクラス識別ネットワーク２０２−４を含む。図１０の例では、アテンションネットワーク２０１−４のＣｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒと、クラス識別ネットワーク２０２−４のＣｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒが共有されている。
【０１０４】
図１０の例では、入力される同じセンサデータから抽出した異なる時系列長のセンサデータから、それぞれアテンション情報を生成する場合を示す。第１センサデータと第２センサデータの時系列長は異なり、１つの識別タスクで認識処理をする場合を示す。
【０１０５】
加工部２５は、クラス統合特徴マップ貢献度ｗ”ｌｅｎｇｔｈ１を第１センサデータの第１特徴量データに重畳することにより、第１センサデータの第２特徴量データを生成し、当該第２特徴量データを第１センサデータの第１特徴量データに加算することにより、第１センサデータの加工特徴量データを生成する。同様に、加工部２５は、クラス統合特徴マップ貢献度ｗ”ｌｅｎｇｔｈ２を第２センサデータの第１特徴量データに重畳することにより、第２センサデータの第２特徴量データを生成し、当該第２特徴量データを第２センサデータの第１特徴量データに加算することにより、第２センサデータの加工特徴量データを生成する。
【０１０６】
加工部２５は、第１センサデータの加工特徴量データと、第２センサデータの加工特徴量データとを、異なる時系列長のデータ毎に後段のＬＳＴＭ層に入力する。
【０１０７】
識別部２６は、ＬＳＴＭ層の処理、及び、Ｓｏｆｔｍａｘ処理を時系列長の異なるセンサデータ毎に行うことによって、加工特徴量データから、認識対象のクラス識別をする。
【０１０８】
なお、ネットワーク構造が図１０の場合の総合学習損失Ｌｏｓｓ＿ｌｅｎｇｔｈは、参照式（１５）により表される。
【０１０９】
【数１５】
2020190960.tif 000017
【０１１０】
以上説明したように、第５実施形態では、生成部２４が、異なる時系列長のデータからアテンション情報を生成する。加工部２４は、異なる時系列長に応じて、第２特徴量データの生成に使用されるアテンション情報を変える。
【０１１１】
これにより第５実施形態によれば、センサデータ（学習データ）に依存しないアテンション情報が使用されるので、認識処理に用いられるニューラルネットワークの学習効率及び学習精度を向上させることができる。
【０１１２】
最後に、第１乃至第５実施形態の認識装置２のハードウェア構成の例について説明する。
【０１１３】
［ハードウェア構成の例］
図１１は第１乃至第５実施形態の認識装置２のハードウェア構成の例を示す図である。
【０１１４】
認識装置２は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。
【０１１５】
制御装置３０１は、補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、及び、メモリカード等である。
【０１１６】
表示装置３０４は表示情報を表示する。表示装置３０４は、例えば液晶ディスプレイ等である。入力装置３０５は、コンピュータを操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。コンピュータがスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置３０４及び入力装置３０５は、例えばタッチパネルである。通信装置３０６は、他の装置と通信するためのインタフェースである。
【０１１７】
コンピュータで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。
【０１１８】
またコンピュータで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またコンピュータで実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
【０１１９】
またコンピュータで実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１２０】
コンピュータで実行されるプログラムは、上述の認識装置２の機能構成（機能ブロック）のうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置３０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置３０２上にロードされる。すなわち上記各機能ブロックは主記憶装置３０２上に生成される。
【０１２１】
なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。
【０１２２】
また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。
【０１２３】
また認識装置２を実現するコンピュータの動作形態は任意でよい。例えば、認識装置２を１台のコンピュータにより実現してもよい。また例えば、認識装置２を、ネットワーク上のクラウドシステムとして動作させてもよい。
【０１２４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１２５】
１  センサ
２  認識装置
３  ネットワーク
２１  取得部
２２  記憶部
２３  抽出部
２４  生成部
２５  加工部
２６  識別部
２７  アテンションネットワーク学習部
２８  クラス識別ネットワーク学習部
１００  認識システム
２０１  アテンションネットワーク
２０２  クラス識別ネットワーク
３０１  制御装置
３０２  主記憶装置
３０３  補助記憶装置
３０４  表示装置
３０５  入力装置
３０６  通信装置
【図１】
2020190960.tif 000018
【図２】
2020190960.tif 000019
【図３】
2020190960.tif 000020
【図４】
2020190960.tif 000021
【図５】
2020190960.tif 000022
【図６】
2020190960.tif 000023
【図７】
2020190960.tif 000024
【図８】
2020190960.tif 000025
【図９】
2020190960.tif 000026
【図１０】
2020190960.tif 000027
【図１１】
2020190960.tif 000028