(57)【要約】      （修正有）【課題】時空間データの畳込み演算の演算負荷を軽減し、また、学習のための勾配計算の負荷を軽減する。【解決手段】時空間データＩ（ｘ，ｔ）の畳込みを行う畳込み演算装置１０は、時空間データＩ（ｘ，ｔ）を入力する入力部１１と、時空間データＩ（ｘ，ｔ）に対して時空間フィルタｗ（ｘ，ｔ）で畳込み演算を行う畳込み演算部１２とを備えている。時空間フィルタｗ（ｘ，ｔ）は、時刻ｔ＝０の空間フィルタｗ（ｘ，０）に群作用を施して得られるフィルタｗ（ｇｔ−１ｘ，０）である。【選択図】図１
2020067942.tif 000002
【特許請求の範囲】
【請求項１】
時空間データの畳込みを行う畳込み演算装置であって、
時空間データを入力する入力部と、
前記時空間データに対して時空間フィルタで畳込み演算を行う畳込み演算部と、
を備え、
前記時空間フィルタは、起点時刻の空間フィルタに群作用を施して得られるフィルタである、畳込み演算装置。
【請求項２】
前記時空間フィルタは、既約ユニタリ表現が群要素を指定する座標θについてｅｉγθの形で与えられる群又はそれらの直積群の群作用を施して得られるフィルタである、請求項１の畳込み演算装置。
【請求項３】
前記時空間データは、時系列の複数の画像フレームからなる映像信号、又はイベントカメラで得られた時系列のイベントデータである、請求項１に記載の畳込み演算装置。
【請求項４】
時空間データの畳込み演算に用いる時空間フィルタを学習する学習装置であって、
時空間データを入力する入力部と、
前記時空間データに対して時空間フィルタで畳込み演算を行って特徴マップを得る畳込み演算部と、
前記特徴マップの勾配を計算する勾配計算部と、
前記勾配に基づいて前記時空間フィルタのパラメータを学習する学習部と、
を備え、
前記時空間フィルタは、起点時刻の空間フィルタに群作用を施して得られるフィルタであり、
前記勾配計算部は、前記特徴マップに対して、起点時刻の空間フィルタについて微分するとともに、前記群作用の速度パラメータについて微分する、学習装置。
【請求項５】
時空間データの畳込みを行う畳込み演算プログラムであって、コンピュータに、
時空間データを入力する入力ステップと、
前記時空間データに対して時空間フィルタで畳込み演算を行う畳込み演算ステップと、
とを実行させ、
前記時空間フィルタは、起点時刻の空間フィルタに群作用を施して得られるフィルタである、畳込み演算プログラム。
【請求項６】
時空間データの畳込み演算に用いる時空間フィルタを学習する学習プログラムであって、コンピュータに、
時空間データを入力する入力ステップと、
前記時空間データに対して時空間フィルタで畳込み演算を行って特徴マップを得る畳込み演算ステップと、
前記特徴マップの勾配を計算する勾配計算ステップと、
前記勾配に基づいて前記時空間フィルタのパラメータを学習する学習ステップと、
を実行させ、
前記時空間フィルタは、起点時刻の空間フィルタに群作用を施して得られるフィルタであり、
前記勾配計算ステップは、前記特徴マップに対して、起点時刻の空間フィルタについて微分するとともに、前記群作用の速度パラメータについて微分する、学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時空間データに対して畳込み演算を行う畳込み演算装置及びその学習装置に関する。
【背景技術】
【０００２】
従来より、映像などの空間の２次元と時間の１次元とからなる時空間データに対して畳込ニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を適用する際には、計算量及び学習パラメータ数の点で効率的なモデル（畳込フィルタ）を決定することは重要である。
【０００３】
非特許文献１には、人の動きを認識するための３次元ＣＮＮが紹介されている。非特許文献１の３次元ＣＮＮでは、３次元カーネルを時空間データに対して移動させながら適用して畳込計算を行っている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, Learning Spatiotemporal Features with 3D Convolutional Networks, ICCV 2015
【非特許文献２】L. Sun, K. Jia, D.-Y. Yeung, and B. Shi. Human Action Recognition Using Factorized Spatio-Temporal Convolutional Networks, ICCV, 2015
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１の３次元ＣＮＮでは、３次元のカーネル（以下、「フィルタ」ともいう。）の３次元のうちの２次元が空間であり、１次元が時間であるという入力信号の構造を活かした形になっておらず、パラメータの無駄が多い。また、非特許文献１の３次元ＣＮＮは、畳込み演算の演算負荷が大きく、学習負荷も大きいという問題がある。
【０００６】
非特許文献２には、３次元カーネルＫを２次元の空間カーネルＫｘ，ｙと１次元の時間カーネルｋｔとのクロネッカ積に因数分解して扱うことが開示されている。しかしながら、非特許文献２の畳込み演算は、例えば、オプティカルフローが時間的に一定である等速直線運動を表現できないなど、自然な運動を表現できない場合がある。
【０００７】
本発明は、上記の問題に鑑みてなされたものであり、時空間データの畳込み演算の演算負荷を軽減し、また、学習のための勾配計算の負荷を軽減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様の畳込み演算装置は、時空間データの畳込みを行う畳込み演算装置であって、時空間データを入力する入力部と、前記時空間データに対して時空間フィルタで畳込み演算を行う畳込み演算部とを備え、前記時空間フィルタは、起点時刻の空間フィルタに群作用を施して得られるフィルタである。
【０００９】
時空間データに適用する時空間フィルタは、空間フィルタが時間方向に一致の変化規則に従って時間変化するモデルに従うものとして扱うことができる。よって、上記の構成により、時空間フィルタを、起点時刻の空間フィルタに群作用を施して得られるフィルタとすることで、空間の自然な時間変化を表現しつつ時空間フィルタのパラメータ数を大幅に削減して、畳込み演算の負荷を軽減できる。
【００１０】
上記の畳込み演算装置において、前記時空間フィルタは、既約ユニタリ表現がｅｉγθの形で与えられる群又はそれらの直積群の群作用を施して得られるフィルタであってよい。
【００１１】
この構成により、群要素を指定する座標が時間に線形に依存する３次元畳込みフィルタの時間依存性は、ｅｉγθの形でのみ現れるため、時空間データを通常の意味で時間フーリエ変換したものと合わせて時間畳込みを解析的に実行することが可能となる。
【００１２】
上記の畳込み演算装置において、前記時空間データは、時系列の複数の画像フレームからなる映像信号、又はイベントカメラで得られた時系列のイベントデータであってよい。
【００１３】
この構成により、映像信号やイベントデータにおける自然な運動を表現しつつ３次元畳込みフィルタのパラメータ数を大幅に削減できる。
【００１４】
本発明の一態様の学習装置は、時空間データの畳込み演算に用いる時空間フィルタを学習する学習装置であって、時空間データを入力する入力部と、前記時空間データに対して時空間フィルタで畳込み演算を行って特徴マップを得る畳込み演算部と、前記特徴マップの勾配を計算する勾配計算部と、前記勾配に基づいて前記時空間フィルタのパラメータを学習する学習部とを備え、前記時空間フィルタは、起点時刻の空間フィルタに群作用を施して得られるフィルタであり、前記勾配計算部は、前記特徴マップに対して、起点時刻の空間フィルタについて微分するとともに、前記群作用の速度パラメータについて微分する。
【００１５】
時空間データに適用する時空間フィルタは、空間フィルタが時間方向に一致の変化規則に従って時間変化するモデルに従うものとして扱うことができる。よって、上記の構成により、時空間フィルタを、空間フィルタに群作用を施して得られるフィルタとすることで、空間の自然な時間変化を表現でき、特徴マップに対して起点時刻の空間について微分するとともに、前記群作用の速度パラメータについて微分することで特徴マップの勾配を求めることができ、時空間フィルタの学習負荷を軽減できる。
【００１６】
本発明の一態様の畳込み演算プログラムは、時空間データの畳込みを行う畳込み演算プログラムであって、コンピュータに、時空間データを入力する入力ステップと、前記時空間データに対して時空間フィルタで畳込み演算を行う畳込み演算ステップとを実行させ、前記時空間フィルタは、起点時刻の空間フィルタに群作用を施して得られるフィルタである。
【００１７】
本発明の一態様の学習プログラムは、時空間データの畳込み演算に用いる時空間フィルタを学習する学習プログラムであって、コンピュータに、時空間データを入力する入力ステップと、前記時空間データに対して時空間フィルタで畳込み演算を行って特徴マップを得る畳込み演算ステップと、前記特徴マップの勾配を計算する勾配計算ステップと、前記勾配に基づいて前記時空間フィルタのパラメータを学習する学習ステップとを実行させ、前記時空間フィルタは、起点時刻の空間フィルタに群作用を施して得られるフィルタであり、前記勾配計算ステップは、前記特徴マップに対して、起点時刻の空間フィルタについて微分するとともに、前記群作用の速度パラメータについて微分する。
【発明の効果】
【００１８】
本発明によれば、畳込み演算装置においては畳込み演算の負荷を軽減でき、学習装置において学習負荷を軽減できるという効果を有する。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の実施の形態の畳込み演算装置の構成を示すブロック図である。
【図２】図２は、時空間データの例を示す図である。
【図３】図３は、運動モデルが与えられた空間フィルタの例を示す図である。
【図４】図４は、本実施の形態の学習装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
【００２１】
（畳込み演算装置）
図１は、本発明の実施の形態の畳込み演算装置の構成を示すブロック図である。畳込み演算装置１０は、時空間データを入力信号として、この時空間データの畳込み演算（ＣＮＮ）を行う。時空間データは、空間のデータが時間的に変化するデータであり、例えば、時系列の複数の画像フレームからなる映像信号、又はイベントカメラで得られた時系列のイベントデータである。時空間データは、これらに限られず、画像や映像に関係しないデータ、例えば、地球上の複数の地点の温度の時系列データ等であってもよく、空間のデータは２次元データに限らず、３次元以上のデータであってもよい。
【００２２】
この畳込み演算装置は、プロセッサ、メモリ等の構成を備えたコンピュータが本実施の形態の畳込み演算プログラムを実行することで構成される。また、そのようなコンピュータが畳込み演算プログラムを実行することで、本実施の形態の畳込み演算方法が実行される。
【００２３】
畳込み演算装置１０は、入力部１１と、畳込み演算部１２とを備えている。入力部１１は、畳込み演算の対象である時空間データを入力する。時空間データは、一定の時間にわたる撮影、観測等によって得られた時系列の空間データである。入力部１１には、過去の一定の時間帯に得られた空間データが時空間データとして入力されるが、これに代えて、空間データが得られるたびに入力部１１に入力されて畳込み演算装置１０にてそれらを時系列に並べることで時空間データとされてもよい。本実施の形態では、時空間データとして、２次元の空間データ（例えば、ビデオカメラで得られるフレーム画像やイベントカメラで得られるイベントデータ）が時間的に変化する３次元のデータを考える。
【００２４】
畳込み演算部１２は、空間データに対して時空間フィルタで畳込み演算を行う。本実施の形態では、入力データである時空間データが３次元データであるので、時空間フィルタも、空間２次元及び時間１次元からなる３次元のフィルタである。畳込み演算部１２による畳込み演算は、下式（１）で定義できる。なお、以下では、２次元座標（ｘ，ｙ）を単にｘと表記する。
【００２５】
【数１】
2020067942.tif 000003
ここで、Ｉは入力データとしての時空間データであり、ｗは畳込み演算に用いられる畳み込みフィルタとしての時空間フィルタであり、Ｆ（ｘ，ｔ）は時空間データＩ（ｘ，ｔ）に対する畳込み演算によって得られる特徴マップである。
【００２６】
畳込み演算部１２は、時空間フィルタｗを、空間フィルタが時間方向に一定の変化規則に従って時間変化するモデルに従うフィルタとする。時空間データＩが、画像やイベントデータが時間変化するデータである場合には、この変化規則は画像やイベントデータで観測される物体の運動規則ということができ、時空間フィルタが従うモデルは当該物体の運動モデルということができる。
【００２７】
図２は、時空間データの例を示す図であり、図３は、運動モデルが与えられた空間フィルタの例を示す図である。図２に示すように、本実施の形態の畳込み演算部１２は、時空間フィルタを、時間方向に運動モデルを与えた空間フィルタとする。
【００２８】
畳込み演算部１２は、運動モデルとして、例えば、２次元並進や２次元回転等の２次元空間に対するＬｉｅ群Ｇの群作用の運動モデルを採用する。このとき、運動モデルは下式（２）で定義される。
【数２】
2020067942.tif 000004
ここで、群要素ｇｔは、既約ユニタリ表現がｅｉγθの形で与えられる群Ｇの要素である。
【００２９】
即ち、空間フィルタｗ（ｘ，ｔ）は、起点時刻である時刻ｔ＝０の空間座標ｘに、既約ユニタリ表現での行列要素のなす空間で線形に時間変化する群要素ｇを作用させる形（ｗｇｔ−１ｘ，０）で記述される。なお、式（２）では空間座標ｘに群要素ｇの逆行列ｇ−１を作用させているが、群要素ｇをそのまま作用させてもよい。
【００３０】
起点時刻の空間フィルタに群作用を施して得られるフィルタｗ（ｇ−１ｘ，０）は、群要素ｇ及び空間座標ｘの関数とみなすことができる。本実施の形態では、このような空間フィルタを群要素ｇについて群フーリエ変換して得られるフィルタ
【数３】
2020067942.tif 000005
は、群Ｇがｅｉγθ型の既約ユニタリ表現又はその直積表現を持つものとしているので、下式（３）のように記述することができる。
【００３１】
【数４】
2020067942.tif 000006
そして、式（３）のフィルタの逆変換は、下式（４）となる。
【数５】
2020067942.tif 000007
ここで、θは、群要素ｇを指定する座標であり、並進、回転、拡大縮小等の度合いを表す。
【００３２】
まず、座標θの線形依存関係を下式（５）で定義する。
【数６】
2020067942.tif 000008
このωやω０は、速度パラメータであり、これを学習パラメータとしてもよいが、ユーザが指定することも可能である。
【００３３】
畳込み演算部１２による時空間畳込みの群フーリエ変換の計算は、下式（６）のようになる。
【数７】
2020067942.tif 000009
【００３４】
このように、座標θが時間ｔに線形に依存する運動を考えると、時空間フィルタｗ（ｘ，ｔ）の時間依存性は、ｅｉγｔの形でのみ現れるため、ディラックのデルタ関数δ（ｓ＋ｌω）が現れて積分が可能となり、入力された時空間データを通常の意味で時間フーリエ変換したものと合わせて時間畳込みを解析的に実行することができる。以上のとおり、畳込み演算部１２による畳込み演算は、式（６）に示すように簡略化されて、効率的に畳込み演算を行うことができる。
【００３５】
なお、運動モデルとしては、並進、回転、拡大縮小があるが、これらが同時に存在する運動モデルを考える場合には、上記の群要素ｇｔとして、既約ユニタリ表現がｅｉγθの形で与えられる群の直積群を採用すればよく、特徴マップＦ（ｘ，ｔ）は、群ごとに式（６）の演算で求めればよい。
【００３６】
また、運動モデルが並進運動の場合には、空間畳込み積分（式（６）のｄｘ’積分）と両立するため、群フーリエ変換ではなく、ｘ’（及びｘ’−ｘ）について通常の（即ち、空間的）フーリエ変換が用いられる。
【００３７】
また、入力データである時空間データが離散データである場合には、式（６）におけるデルタ関数δは、時空間データの時間長とフィルタのウィンドウ長から決まるディリクレ（Dirichlet）カーネルになるので、畳込み演算部１２は、一点ではない広がった範囲について数値的に和をとる。このとき、畳込み演算部１２は、全周波数帯域について和をとってもよいし、演算量を抑えるためにディリクレカーネルの値が大きいところに限定してメインローブのみの和をとってもよい。また、ディリクレカーネルは学習パラメータに依存しないため、事前に計算しておくことができ、そのようにすることで畳込み演算を高速に行うことができる。
【００３８】
（学習装置）
図４は、本発明の実施の形態の学習装置の構成を示すブロック図である。学習装置２０は、上記の畳込み演算装置１０の構成（即ち、入力部１１及び畳込み演算部１２）に加えて、勾配計算部２３と、学習部２４とを備えている。
【００３９】
この学習装置は、プロセッサ、メモリ等の構成を備えたコンピュータが本実施の形態の学習プログラムを実行することで構成される。また、そのようなコンピュータが学習プログラムを実行することで、本実施の形態の学習方法が実行される。
【００４０】
勾配計算部２３は、畳込み演算部１２にて得られた特徴マップＦ（ｘ，ｔ）の勾配を計算する。具体的には、勾配計算部２３は、特徴マップＦ（ｘ，ｔ）に対して、時空間フィルタのパラメータである起点時刻（時刻ｔ＝０）の空間フィルタｗ（ｘ，０）及び群作用の速度パラメータωについての勾配を計算する。
【００４１】
起点時刻の空間フィルタｗ（ｘ，０）についての勾配は、特徴マップＦ（ｘ，ｔ）を起点時刻の空間フィルタｗ（ｘ，０）で微分することで計算する。特徴マップＦ（ｘ，ｔ）のフィルタｗ（ｘ，０）についての微分は、式（６）から明らかなように、フィルタ
【数８】
2020067942.tif 000010
のｗ（ｘ，０）についての微分ができれば計算可能である。フィルタ
【数９】
2020067942.tif 000011
のｗ（ｘ，０）についての微分は、下式（７）で行うことができる。
【数１０】
2020067942.tif 000012
【００４２】
また、速度パラメータωについての勾配は、特徴マップＦ（ｘ，ｔ）を速度パラメータωで微分することで計算する。特徴マップＦ（ｘ，ｔ）の速度パラメータωについての微分は、下式（８）で行うことができる。
【数１１】
2020067942.tif 000013
【００４３】
学習部２４は、時刻ｔ＝０の空間フィルタｗ（ｘ，０）及び群作用の速度パラメータωを学習パラメータとして、勾配計算部２３にて計算された勾配に基づいて、コスト関数を最小にするパラメータを学習により取得する。
【００４４】
このように、本実施の形態の学習装置２０では、時空間フィルタを空間フィルタが時間方向に一定の運動規則（Ｌｉｅ群Ｇの群作用）に従って運動するものとして扱うので、群要素ｇｔが群Ｇの既約ユニタリ表現としてｅｉγθと書けるような群Ｇ又はその直積によって記述される。これにより、学習において時間方向に学習パラメータを考える必要がなくなり、学習負荷を軽減できる。
【産業上の利用可能性】
【００４５】
本発明は、畳込み演算装置においては畳込み演算の負荷を軽減でき、学習装置において学習負荷を軽減できるという効果を有し、時空間データに対して畳込み演算を行う畳込み演算装置及びその学習装置等として有用である。
【符号の説明】
【００４６】
１０  畳込み演算装置
１１  入力部
１２  畳込み演算部
２０  学習装置
２３  勾配計算部
２４  学習部
【図１】
2020067942.tif 000014
【図２】
2020067942.tif 000015
【図３】
2020067942.tif 000016
【図４】
2020067942.tif 000017