(57)【要約】【課題】評価者の評価に基づいて、動画像データから動作の評価を自動的にかつ高精度で行うことができる動作評価装置を提供すること。【解決手段】動作評価装置は、動画像データからフレーム毎に差分２値化データを生成する手段、差分２値化データからフレーム毎に立体高次局所自己相関特徴CHLACを抽出し、時系列CHLACデータを生成する手段、時系列CHLACデータからフーリエ級数展開などによる時間重み付きCHLACデータを生成する手段、多変量解析により予め求められた最適な時間重みを用いて時系列CHLACデータから映像特徴データを求める手段、多変量解析により予め求められた係数行列を用いて映像特徴データから評価値を予測する手段とを備える。従来自動化が困難であった動作の評価を自動的に行うことができ、動作の時間や位置の差に依存せず、正確な評価が可能である。【選択図】図１
2010061376.tif 000002
【特許請求の範囲】
【請求項１】
評価対象を撮影した動画像データからフレーム毎に差分・２値化データを生成する差分・２値化手段と、
複数の前記差分・２値化データからフレーム毎に立体高次局所自己相関特徴を抽出し、時系列の立体高次局所自己相関特徴データを生成する特徴抽出手段と、
前記時系列立体高次局所自己相関特徴データから多変量解析により予め求められた時間重みを用いて時間重み付き映像特徴データを生成する映像特徴生成手段と、
前記映像特徴データの多変量解析により予め求められた係数行列を用いて対象動作を評価する評価手段と
を備えたことを特徴とする動作評価装置。
【請求項２】
更に、評価情報が付与された学習用データから多変量解析により前記時間重みおよび前記係数行列を求める学習手段を備えていることを特徴とする請求項１に記載の動作評価装置。
【請求項３】
前記時間重みは、時系列のフレームに対する重みに帰着し、または時間重みをフーリエ級数展開しフーリエ周波数基底関数の重みに帰着し、学習的に求められることを特徴とする請求項２に記載の動作評価装置。
【請求項４】
前記学習手段は、前記時系列の立体高次局所自己相関特徴データをフーリエ基底関数へ射影して周波数重み表現へと変換することにより、時間重みの連続関数をフーリエ級数で近似構成することを特徴とする請求項３に記載の動作評価装置。
【請求項５】
前記学習手段は、
質的評価情報に基づきフィッシャー判別基準を用いた線形判別分析により前記周波数重みを最適化する周波数重み生成手段と、
前記周波数重み生成手段により生成された周波数重みを用いて前記時系列立体高次局所自己相関特徴データから映像特徴データを求める映像特徴生成手段と、
前記映像特徴および前記評価情報から多変量解析により前記係数行列を生成する係数行列生成手段と
を備えていることを特徴とする請求項４に記載の動作評価装置。
【請求項６】
前記周波数重み生成手段は、主成分分析により前記周波数重み付き立体高次局所自己相関特徴データの次元数を削減する次元数削減手段を備えていることを特徴とする請求項５に記載の動作評価装置。
【請求項７】
前記学習手段は、
量的評価情報に基づき最小二乗基準により前記フーリエ基底関数の重みを最適化する周波数重み生成手段と、
前記周波数重み生成手段により生成された周波数重みを用いて前記時系列立体高次局所自己相関特徴データから映像特徴データを求める映像特徴生成手段と、
前記映像特徴および前記評価情報から多変量解析により前記係数行列を生成する係数行列生成手段と
を備えていることを特徴とする請求項４に記載の動作評価装置。
【請求項８】
評価対象を撮影した動画像データからフレーム毎に差分・２値化データを生成するステップ、
複数の前記差分・２値化データからフレーム毎に立体高次局所自己相関特徴を抽出し、時系列の立体高次局所自己相関特徴データを生成するステップ、
前記時系列立体高次局所自己相関特徴データから多変量解析により予め求められた時間重みを用いて時間重み付き映像特徴データを生成するステップ、
前記映像特徴データの多変量解析により予め求められた係数行列を用いて対象動作を評価するステップ
を含むことを特徴とする動作評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作評価装置および動作評価方法に関するものであり、特に動作を撮影した動画像データの立体高次局所自己相関（CHLAC）特徴を時間重みで積分した映像特徴と外的規準（評価情報）を用いた動作評価装置および動作評価方法に関するものである。
【背景技術】
【０００２】
動作に関する認識技術として、本出願人は動作の認識方法の研究を行い、本出願人が出願した下記の特許文献１には、立体高次局所自己相関特徴（以下、CHLACとも記す）を用いた動画像における動作の認識技術が開示されている。この技術は、ビデオカメラから入力される動画像データからフレーム間差分データを生成し、複数のフレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出し、抽出した特徴データを多変量解析などの統計的手法によって変換することによって新たな特徴データを生成し、登録データと比較することによって判定を行うものである。
【特許文献１】特開２００５−０９２３４６号公報
【０００３】
また、本出願人が出願した下記の特許文献２には、動画像からCHLAC特徴を抽出し、それを用いて異常動作を検出する異常動作検出装置が開示されている。この技術は、ビデオカメラから入力される動画像データからフレーム間差分データを生成し、複数のフレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出し、過去のCHLAC特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間と、最新の特徴データとの距離を計算する。そして、この距離が所定値よりも大きい場合に異常と判定するものである。
【特許文献２】特開２００６−０７９２７２号公報
【０００４】
動作評価に関しては、例えば体操競技等の競技会における得点の付与、各種スポーツにおけるフォームの評価、リハビリにおける運動姿勢の評価などの分野において、どの程度理想のフォームに近いかによって合否を決めたり得点付与が行われている。しかしこれらの評価は熟練したエキスパートである評価者が行っており、上記したような従来の技術では動作の種別の判定や異常動作の検出は可能であるが、評価者が評価した外的基準に基づいて動作の評価を自動的に行うことはできなかった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来は動作の評価を自動的にかつ高精度で行う装置や方法は存在せず、そのため運動フォームの評価には熟練したエキスパートの臨席が必要であるので、エキスパートの臨席が困難な場合や多数の被評価者がいる場合などには適切な評価を得ることが困難であるという問題があった。また、動作を装置で評価する場合には、被評価者によって動作の位置や開始から終了までの時間が異なるので、この位置や動作時間の差を吸収しないと正確な評価が出来ないという問題点もあった。更に、動作の開始から終了までの間には評価に重要な時間位置部分とそうでない部分があり、これらも考慮しないと正確な評価が出来ないという問題点もあった。
【０００６】
本発明の目的は、上記したような従来の問題点を解決し、評価者の評価（外的基準）に基づいて、動作を撮影した動画像データから動作の評価を自動的にかつ高精度で行うことができる動作評価装置および動作評価方法を提供する点にある。
【課題を解決するための手段】
【０００７】
本発明の動作評価装置においては、位置不変性を持つ立体高次局所自己相関特徴（CHLAC）を用いて時系列の動作特徴を抽出し、映像の時間的な重要性の変化を考慮し、かつ映像の時間伸縮を吸収するために、連続関数として時間重みを導入する。ここではこの連続関数をフーリエ級数展開することで、時間重みを周波数成分への重みに帰着させる。そして、学習処理によってそれらの周波数成分重み（フーリエ係数）を外的規準（エキスパートの評価者が付与した学習データの評価値）に基づいて最適化している。更に、得られた時間重みを用いて映像全体の特徴を算出し、これを再び外的規準と多変量解析により動作評価を行なっている。
【０００８】
本発明の動作評価装置は、評価対象を撮影した動画像データからフレーム毎に差分・２値化データを生成する差分・２値化手段と、複数の前記差分・２値化データからフレーム毎に立体高次局所自己相関特徴を抽出し、時系列の立体高次局所自己相関特徴データを生成する特徴抽出手段と、前記時系列立体高次局所自己相関特徴データから多変量解析により予め求められた時間重みを用いて時間重み付き映像特徴データを生成する映像特徴生成手段と、前記映像特徴データの多変量解析により予め求められた係数行列を用いて対象動作を評価する評価手段とを備えたことを主要な特徴とする。
【０００９】
また、上記した動作評価装置において、更に、評価情報が付与された学習用データから多変量解析により前記時間重みおよび前記係数行列を求める学習手段を備えている点にも特徴がある。
【００１０】
また、上記した動作評価装置において、前記時間重みは、時系列のフレームに対する重みに帰着し、または時間重みをフーリエ級数展開しフーリエ周波数基底関数の重みに帰着し、学習的に求められる点にも特徴がある。
【００１１】
また、上記した動作評価装置において、前記学習手段は、前記時系列の立体高次局所自己相関特徴データをフーリエ基底関数へ射影して周波数重み表現へと変換することにより、時間重みの連続関数をフーリエ級数で近似構成する点にも特徴がある。
【００１２】
また、上記した動作評価装置において、前記学習手段は、質的評価情報に基づきフィッシャー判別基準を用いた線形判別分析により前記周波数重みを最適化する周波数重み生成手段と、前記周波数重み生成手段により生成された周波数重みを用いて前記時系列立体高次局所自己相関特徴データから映像特徴データを求める映像特徴生成手段と、前記映像特徴および前記評価情報から多変量解析により前記係数行列を生成する係数行列生成手段とを備えている点にも特徴がある。
【００１３】
また、上記した動作評価装置において、前記周波数重み生成手段は、主成分分析により前記周波数重み付き立体高次局所自己相関特徴データの次元数を削減する次元数削減手段を備えている点にも特徴がある。
【００１４】
また、上記した動作評価装置において、前記学習手段は、量的評価情報に基づき最小二乗基準によりフーリエ基底関数の重みを最適化する周波数重み生成手段と、前記周波数重み生成手段により生成された周波数重みを用いて前記時系列立体高次局所自己相関特徴データから映像特徴データを求める映像特徴生成手段と、前記映像特徴および前記評価情報から多変量解析により前記係数行列を生成する係数行列生成手段とを備えている点にも特徴がある。
【００１５】
本発明の動作評価方法は、評価対象を撮影した動画像データからフレーム毎に差分・２値化データを生成するステップ、複数の前記差分・２値化データからフレーム毎に立体高次局所自己相関特徴を抽出し、時系列の立体高次局所自己相関特徴データを生成するステップ、前記時系列立体高次局所自己相関特徴データから多変量解析により予め求められた時間重みを用いて時間重み付き映像特徴データを生成するステップ、前記映像特徴データの多変量解析により予め求められた係数行列を用いて対象動作を評価するステップを含むことを主要な特徴とする。
【発明の効果】
【００１６】
本発明によれば、以下のような効果がある。
（１）従来自動化が困難であった動作の評価を自動的に行うことができる。
（２）動作の時間や位置の差に依存せず、正確な評価が可能である。
（３）同じ学習結果を使用することにより同じ基準で評価できる。
（４）装置構成が簡単であり、安価に構成可能である。
（５）画像上での対象物の切り出しやマッチング処理を行わずに処理でき、特徴抽出や評価のための計算量が少なく、実時間処理が可能である。
【発明を実施するための最良の形態】
【００１７】
まず、本発明の原理について説明する。映像から抽出されるCHLACは、時系列データであり、動作に関する豊富な情報を含んでいる。しかし、このデータを評価するにはフレーム数も多く、評価に無関係な動作なども含まれており、単純にこの時系列データの和をとるなどすると動作評価の性能が低下することもある。
【００１８】
そこで本発明においては、時系列のCHLACから動作評価に有効な情報を抽出するため、同様な動作の各映像で共通の時間（フレーム）重みを導入し、CHLACの重み付き時間積分によりコンパクトな映像特徴を抽出する手法を採用する。基本的には、τフレームの映像から抽出される時系列のCHLACをｘt、時間重みをωtとしたとき、下記の式１により映像特徴x~を抽出する。
【００１９】
【数１】
2010061376.tif 000003
【００２０】
この際、如何にして時間重みωtの値を決定するかが課題となる。しかし、映像の時間（フレーム）長τがサンプルによって異なる場合、時系列CHLACのデータ数や時間重みの次元がサンプルによって異なることになり、時間重みωtの最適化が困難となる。そのため、時間重みを連続関数φ(t)として表現し、映像の時間的な伸縮を吸収できるように数式１を拡張する。
【００２１】
まず、時間重み関数のフーリエ級数展開を考える。一般的に、周期２πの周期関数ｆ(t)のフーリエ級数展開φ(t)は下記の式２で定義される。
【００２２】
【数２】
2010061376.tif 000004
【００２３】
ただし、ａk、ｂkは下記の式３で表される。
【００２４】
【数３】
2010061376.tif 000005
【００２５】
一方、時間重みωtは離散的でかつ有限区間（周期）[0,τ-1]で定義されるため、そのフーリエ級数展開ω~tを、式２、３を変形し、下記の式４として定義する。
【００２６】
【数４】
2010061376.tif 000006
【００２７】
ここで、フーリエ級数の基底関数ｆt(n)を式５に示すように表し、更に式４のフーリエ係数ａkおよびｂkを式６に示すように表すと、式４の時間重みのフーリエ級数展開ω~t は、これらの積によって、式７に示すように簡潔に表現できる。
【００２８】
【数５】
2010061376.tif 000007
【００２９】
【数６】
2010061376.tif 000008
【００３０】
【数７】
2010061376.tif 000009
【００３１】
よって、時間重み関数ω~tをフーリエ級数展開として表現した場合に、時系列のCHLAC（ｘ0，・・・，ｘτ-1）から映像特徴x~を抽出する問題（式１）は、以下の数式８で表現できる。
【００３２】
【数８】
2010061376.tif 000010
【００３３】
次に時間重みの最適化について説明する。時間重みのフーリエ級数展開ω~t に対して最適化を行う場合、フーリエ級数の基底関数ｆt(n)は最適化の影響を受けない。つまり、最適化するパラメータはフーリエ係数のξ(n)のみである。そこで、フーリエ級数の基底関数ｆt(n)と時系列のCHLAC（ｘ0，・・・，ｘτ-1）の積を式９に示すように定義する。
【００３４】
【数９】
2010061376.tif 000011
【００３５】
ｈ(n)∈Rdを用いて式８を書き直すと、下記の式１０となる。
【００３６】
【数１０】
2010061376.tif 000012
【００３７】
更に、最適化するフーリエ係数ξ(n)の個数を映像間で統一するために、式１０の基底関数の数を上位ｍ個に限定する。つまり、式１１とする。
【００３８】
【数１１】
2010061376.tif 000013
【００３９】
基底関数を低周波に限定することで、時間重み関数の形に自然と滑らかさの制約が導入され、重み関数のオーバーフィッティング（overfitting）を避けることができる。これは一般にノイズが高周波成分であることからも合理的であることが分かる。
【００４０】
ここで、上位ｍ個の基底関数により計算されるｍ個のh(n)を各列に持つ行列Ｈ∈Rd×mを式１２により定義する。
【００４１】
【数１２】
2010061376.tif 000014
【００４２】
この行列Ｈはフーリエ級数の各周波数成分へのCHLACの射影であり、フーリエ周波数成分CHLACと呼ぶことにする。また、このフーリエ周波数成分CHLACに対応する上位ｍ個のフーリエ係数ξ(n)を並べたベクトルである「周波数重み」ξ∈Rmを式１３により定義する。
【００４３】
【数１３】
2010061376.tif 000015
【００４４】
式１２、１３より、フーリエ級数展開による連続関数としての時間重みを用いて時系列CHLACから映像特徴ｘ~を抽出する過程は、最終的に下記の式１４で表現される。映像特徴ｘ~はフーリエ重み付きCHLAC（FW-CHLAC）である。式１４は映像の時間的な伸縮を吸収した映像特徴の抽出手法となる。よって、式１の時間重みを求める（最適化する）問題は、式１４の周波数重みξを求める（最適化する）問題へと帰着される。
【００４５】
【数１４】
2010061376.tif 000016
【００４６】
次に、導入した周波数重みξの最適化方法について説明する。最適化方法は外的評価が例えば「合格」、「不合格」というような質的データで与えられる場合と、例えば５段階評価などの量的データで与えられる場合で処理が異なるので、以下それぞれについて説明する。
【００４７】
＜＜外的評価が質的データで与えられる場合＞＞
外的評価が質的データで与えられる場合の重みの最適化方法として公知のフィッシャー判別規準を利用して最適化を行う。今、外的評価として質的データ（合格、不合格のクラスラベルなど）が付いたＮ個の学習用映像が与えられているものとし、それぞれの映像から計算されるフーリエ周波数成分CHLACをＨi、映像特徴をｘ~iと表す。このとき、映像特徴のクラス内共分散行列ΣWとクラス間共分散行列ΣBは、それぞれ式１５により定義される。
【００４８】
【数１５】
2010061376.tif 000017
【００４９】
ただし、ｃはクラス数、Ｃjはｊ番目のクラス、ＮjはＣjに属するサンプル数、μjはＣjに属するx~(i)の平均、μは全平均である。このとき、映像特徴ｘ~のフィッシャー判別規準は、クラス間分散とクラス内分散の比である式１６で定義される。
【００５０】
【数１６】
2010061376.tif 000018
【００５１】
ここで、式１６の分母と分子はそれぞれ、式１７のように変形することができる。
【００５２】
【数１７】
2010061376.tif 000019
【００５３】
ただし、ＭjはＣjに属するＨiの平均、ＭはＨiの全平均である。また、ΣWはＨiのクラス内共分散行列、ΣBはＨiのクラス間共分散行列である。式１７を用いて式１６のフィッシャー判別規準を書き直すと、式１８を得る。
【００５４】
【数１８】
2010061376.tif 000020
【００５５】
このフィッシャー判別規準を最大化する周波数重みξは、下記の式１９に示す一般化固有値問題の固有ベクトルとして得られる。
【００５６】
【数１９】
2010061376.tif 000021
【００５７】
しかし、パターン認識においては周波数重みξの次元に対して学習サンプル数Ｎが不足し、式１９のΣWが非正則となることも想定される。そして、非正則の場合には式１９の一般化固有値問題を解くことができない。この問題を回避するため、必要に応じて一般化固有値問題を解く前に主成分分析によりフーリエ周波数成分CHLACのデータ次元を削減する（正則化）。
【００５８】
以下に主成分分析に基づくデータ次元の削減方法について説明する。今、Ｎ個の学習用映像が与えられているものとし、それぞれの映像から計算されるフーリエ周波数成分CHLACをＨi、映像特徴をｘ~(i)と表すことにする。このとき、前記ξをｕと置き換えて、映像特徴ｘ~(i)の全分散は式２０で定義される。
【００５９】
【数２０】
2010061376.tif 000022
【００６０】
ただし、μ∈Rdはx~(i)の平均、Ｍ∈Rd×mはＨiの平均、ΣHはＨiの全共分散行列である。このとき、制約条件ｕTｕ=1（Tは転置行列）の下で分散σ2T(ｕ)を最大化する周波数重みｕは、固有値問題である式２１の固有ベクトルとして求められる。
【００６１】
【数２１】
2010061376.tif 000023
【００６２】
固有値問題の固有ベクトルのうち、上位ｐ（＜ｍ）個の固有値に対応するものを{u1，・・・，up}とおき、これらp個の固有ベクトルを用いて式２２により、Ｈi∈Rd×mからＨ~i∈Rd×pへと次元を削減する。
【００６３】
【数２２】
2010061376.tif 000024
【００６４】
このＨ~iに対する時間重みｖ∈Rpは、フィッシャー判別規準である式２３の最大化問題を解くことで得られる。
【００６５】
【数２３】
2010061376.tif 000025
【００６６】
ここで、式２３の最大化問題の解のうち、上位(c-1)の固有値に対応するものを{v1,・・・ ,vc-1}とおくと、求めるべき周波数重み{ξ1,・・・ ,ξc-1}は、式２４により得られる。
【００６７】
【数２４】
2010061376.tif 000026
【００６８】
なお、クラス数ｃが３以上の場合は時間重みξが複数得られるが、(c-1)本のξにより生成される(c-1)本の映像特徴{x~1, ・・・ ,x~c-1}を、式２５のように並べ、ベクトルx~∈Rd(c-1)を新たな映像特徴とし、x~に対して線形判別分析により学習を行う。
【００６９】
【数２５】
2010061376.tif 000027
【００７０】
＜＜外的評価が量的データで与えられる場合＞＞
外的評価が量的データで与えられる場合、周波数重みの最適化方法には判別規準ではなく最小二乗規準を用いるのが望ましい。そこで、以下に最小二乗規準による時間重みの最適化手法について説明する。
【００７１】
今、外的評価として量的データ（総合評価値など）が付与されているＮ個の学習用映像が与えられているものとし、それぞれの映像から計算されるフーリエ周波数成分CHLACをＨi、映像特徴徴ｘ~(i)と表す。このとき、映像特徴ｘ~(i)の最小二乗規準Ｊ(ξ)は式２６で定義される。
【００７２】
【数２６】
2010061376.tif 000028
【００７３】
ただし、βは偏回帰係数（特徴ベクトルの各要素への重み）、y(i)はｘ~(i)の外的評価である。ここで偏回帰係数β、周波数重み係数ξが最適化する変数となっている。まずξを最適化するが、ここでは、β =(1,・・・ ,1)Tとする。ここで、zi=(βTHi)T=HiTβと定義すると、式２６は式２７と書き換えることができ、公知の重回帰分析と同様の式が得られる。
【００７４】
【数２７】
2010061376.tif 000029
【００７５】
重回帰分析においては、ベクトルzの次元が大きい場合、もしくはサンプルＮが小さい場合には、非正則なり解くことが困難になり、また過学習も起こりやすい。そこで、式２７にξ~に関する正則化項を加えた公知のリッジ回帰を行う。リッジ回帰は数式２８のようになる。
【００７６】
【数２８】
2010061376.tif 000030
【００７７】
式２８をξで偏微分し、０とおくことで，最適なξ~は数式２９として求められる。
【００７８】
【数２９】
2010061376.tif 000031
【００７９】
よって、最適な時間重みξは、y =(y(1),・・・ ,y(N))T、Z=z1,・・・ ,zNとおくと、式３０により求めることができる。
【００８０】
【数３０】
2010061376.tif 000032
【００８１】
次に、周波数重みにより抽出した映像特徴から、動作の識別や評価の予測を行う処理について説明する。予測処理もは外的評価が質的データで与えられる場合と量的データで与えられる場合で処理が異なるので、以下それぞれについて説明する。
【００８２】
＜＜外的評価が質的データの場合＞＞
外的評価が質的データの場合、フィッシャー判別規準により最適化された時間重みを用いて抽出した映像特徴は、線形判別分析とｋ近傍法（k-NN:k-Nearest Neighbour法）により、動作の識別を行う。
【００８３】
今、時間重みを用いて抽出したＮ個の映像特徴をx~iとする。映像特徴x~iのクラス内共分散行列ΣWとクラス間共分散行列ΣBは式１５により表される。このとき線形判別分析は、以下の判別規準J(a)を最大化するａを求める問題となる。このとき、ΣWが非正則でない場合は、前記と同様に主成分分析を行い正則化する。
【００８４】
【数３１】
2010061376.tif 000033
【００８５】
式３１を最大化するａは、フィッシャー判別規準による周波数重みの最適化の場合と同様に、一般化固有値問題である式３２の固有ベクトルとして得られる。
【００８６】
【数３２】
2010061376.tif 000034
【００８７】
一方、新たに入力された映像に対する動作の識別は、固有値問題により求められる固有ベクトルのうち、上位(c-1)の固有値に対応する{a1,・・・,ac-1}によって張られる判別特徴空間における距離に基づいて行う。
【００８８】
ここで、A =[a1・・・ac-1]と定義し、Ｎ個の学習用映像の映像特徴をx~i、判別特徴ベクトルをｃ(i)=ATx~(i)とおく。さらに、入力された映像の映像特徴をx~、それに対応する判別特徴ベクトルをｃ=ATx~とおく。このときｋ-NN法による動作の識別は、以下のようにして行われる。
【００８９】
まず、識別対象の判別特徴ベクトルｃと全学習サンプルの判別特徴ベクトルｃ(i)との距離を求め、学習サンプルの中からｃに最も近いｋ個のサンプルを選ぶ。次に、選んだｋ個のサンプルが属するクラスのうち最も多いクラスを識別対象ｃのクラスとする。なお、ｋは例えば３であってもよい。
【００９０】
＜＜外的評価が量的データの場合＞＞
外的評価が量的データの場合、最小二乗規準により最適化された時間重み（周波数重み）を用いて抽出した映像特徴に対して、重回帰分析により評価の予測を行う。今、時間重みを用いて抽出したＮ個の映像特徴をx~(i)、映像特徴x~(i)の外的評価をy(i)とすると、重回帰分析は最小二乗規準である式３３を最小化するβ∈Rdを求める問題となる。
【００９１】
【数３３】
2010061376.tif 000035
【００９２】
最適なβは、前述した重回帰分析、最小二乗規準重みの最適化と同様に、y=(y(1),・・・,y(N))T、X=x~(1),・・・,x~(N)を用いて、式３４により求めることができる。なお、ここでは公知のステップワイズ法を用いて、評価に採用する映像特徴の成分を選択しながら、重回帰分析を行う。
【００９３】
【数３４】
2010061376.tif 000036
【００９４】
一方、新たに入力された映像に対する評価値の予測は、映像特徴と式３４により求めたβとの内積を計算することにより行う。すなわち、入力された映像の外的評価の予測値y~は、その映像特徴ｘ~とβとの内積により、以下の式３５のように求められる。
【００９５】
【数３５】
2010061376.tif 000037
【００９６】
以下、例えば被評価者が行う側転動作について合格／不合格という質的評価あるいは５段階評価等の量的評価を行う実施例について説明する。
【実施例１】
【００９７】
図１は、本発明の動作評価装置のハードウェア構成の一例を示すブロック図である。図１（ａ）は学習時におけるハードウェア構成の一例を示している。ビデオカメラ１０は被評価者１６の行う動作を撮影してデジタル動画データを出力する周知の動画像撮影装置である。画像はカラーであってもよいし、モノクロであってもよい。
【００９８】
コンピュータ（ＰＣ）１１は例えば周知の汎用デジタルインターフェイス回路を備えた周知のパソコン（ＰＣ）である。コンピュータ１１はビデオカメラ１０からのデジタル動画データをリアルタイムで読み込み、保存する。なお、動作のスタート／ストップの情報と同期してその間の動画像のみを記録してもよいし、動画像を連続して記録しておき、必要な部分のみを後から切り出してもよい。
【００９９】
本発明は、後述する処理を実行するプログラムを作成し、パソコンなどの周知のコンピュータ１１にインストールして起動することにより実現される。モニタ装置１２はコンピュータ１１の周知の出力装置である。キーボード１３およびマウス１４は、オペレータが評価情報や動作のスタート／ストップ情報の入力に使用する周知の入力装置である。図１（ｂ）は評価時におけるハードウェア構成の一例を示している。評価時にはモニタ装置１２を使用して例えば対象の評価結果をオペレータに表示する。
【０１００】
図２は、本発明における質的評価を行う動作評価処理の学習時の処理の概要を示す説明図である。まず、ビデオカメラ１０によって例えば３６０画素×２４０画素のグレースケール（モノクロ多値）動画像が撮影され、コンピュータ１１に取り込まれる。取り込まれた動画像の各フレームデータ（ａ）から直前のフレームの同じ画素の輝度値との差分の絶対値を求め、この値が例えば所定の閾値以上である場合に１、そうでない場合に０とする差分２値化フレームデータ（ｃ）を得る。
【０１０１】
次に、隣接する３枚の差分２値化フレームデータ（ｄ）から後述する方法で画素毎にCHLACデータを計算し、この画素対応CHLACデータを１フレーム分積算して２５１次元のフレーム対応CHLACデータを得る。このフレーム対応CHLACデータτ個を時系列に並べたものが時系列CHLACデータ（ｆ）である。τはフレーム数と対応しており、動作開始から終了までの時間は人によって異なるので、τも動画像毎に異なっている。
【０１０２】
次に、処理（ｇ）において前述した方法で時系列CHLACデータ（ｆ）からフーリエ周波数成分CHLACデータＨを生成する。このデータは前述したように、τを基本周期とするフーリエ級数展開によって時間重み関数を近似した結果である。なお、ｍは予め定められた基底関数の数である。この処理により特徴データの時間差が吸収される。以上の処理は学習モードと認識モード共通の処理である。
【０１０３】
学習モードにおいては、学習用の複数のフーリエ周波数成分CHLACデータが生成され、必要な場合にはこれらのデータに基づいて処理（ｈ）において主成分分析によって次元数が削減される。処理（ｉ）においては評価上重要な部分がより強調されるように周波数重みξを最適化する。
【０１０４】
処理（ｊ）においてはフーリエ周波数成分CHLACデータおよび最適化された周波数重みを用いて各学習データについて映像特徴ｘ~を求める。最後に、この映像特徴ｘ~から線形判別分析により係数行列Ａを求め、更に、この係数行列Ａを使用して各学習データの判別特徴ベクトルｙを求める。
【０１０５】
図３は、本発明における量的評価を行う動作評価処理の学習時の処理の概要を示す説明図である。処理（ｇ）までは前述した質的評価を行う図２の処理と同一である。量的評価を行う場合、学習モードにおいては、学習用の複数のフーリエ周波数成分CHLACデータが生成され、処理（ｌ）において評価上重要な部分がより強調されるように周波数重みξを最適化する。処理（ｍ）においては、フーリエ周波数成分CHLACデータおよび最適化された周波数重みを用いて各学習データについて映像特徴ｘ~を求める。最後に、処理（ｎ）においてはこの映像特徴ｘ~から重回帰分析により係数行列ａを求める。
【０１０６】
図４は、本発明における質的評価を行う動作評価処理の評価時の処理内容を示す説明図である。評価時の処理も処理（ｇ）のフーリエ周波数成分CHLACデータＨの生成までは図２の学習時の処理と同一である。評価時においては、生成されたフーリエ周波数成分CHLACデータおよび学習モードの処理において最適化された周波数重みξから映像特徴ｘ~を生成する。
【０１０７】
質的評価の場合には、処理（ｏ）において生成した映像特徴ｘ~から、処理（ｐ）において学習処理で求めた係数行列Ａを用いて判別特徴ベクトルｙを求める。そして、処理（ｑ）において、ｋ−NN法を使用して、求めた判別特徴ベクトルの最近傍の所定個数の判別特徴ベクトルの判定値から多数決で判定予測値を求める。
【０１０８】
図５は、本発明における量的評価を行う動作評価処理の評価時の処理内容を示す説明図である。量的評価の場合も処理（ｇ）のフーリエ周波数成分CHLACデータＨの生成までは図２の学習時の処理と同一である。量的評価の場合には、処理（ｒ）において生成した映像特徴ｘ~から、処理（ｓ）において学習処理で求めた係数行列ａを用いて評価予測値を求める。
【０１０９】
図８は、本発明におけるFW-CHLAC生成処理の内容を示すフローチャートである。なお、この処理においては、予め動画像データがコンピュータ内に取り込まれているものとする。Ｓ１０においては、未処理の動画データを選択する。Ｓ１１においては、動画フレームデータを入力する。
【０１１０】
Ｓ１２においては、フレーム間差分データを生成し、２値化する。まず、動画像データに対して「動き」の情報を検出し、背景など静止しているものを除去する目的で差分データを生成する。差分の取り方としては、隣接するフレーム間の同じ位置の画素の輝度の変化の絶対値を抽出するフレーム間差分方式を採用するが、フレーム内における輝度の変化部分を抽出するエッジ差分、あるいは両方を採用してもよい。なお、画素毎にＲＧＢのカラーデータを持っている場合には、２つの画素の差分データとして、２つのＲＧＢカラーベクトル間の距離を算出してもよい。
【０１１１】
更に、「動き」に無関係な色情報やノイズを除去するために自動閾値選定による２値化を行う。２値化の方法としては、例えば一定閾値、下記非特許文献１に開示されている判別最小二乗自動閾値法、閾値０及びノイズ処理方式（濃淡画像において差が０以外を全て動き有り＝１とし、公知のノイズ除去法によってノイズを除去する方法）を採用可能である。以上の前処理により、入力動画データは画素値に「動いた（１）」「動かない（０）」の論理値をもつフレームデータ（２値画像）の列となる。
【非特許文献１】大津展之、“判別および最小２乗規準に基づく自動しきい値選定法”電子通信学会論文誌Ｄ、J63-D-4、P349-356、1980年。
【０１１２】
Ｓ１３においては、１フレームの画素それぞれについて画素CHLACデータを抽出し、積算して２５１次元のフレーム対応CHLACデータを得る。ここで、立体高次局所自己相関(CHLAC) 特徴について説明する。Ｎ次の立体高次局所自己相関特徴(CHLAC) は次の数式３６のようになる。
【０１１３】
【数３６】
2010061376.tif 000038
【０１１４】
ここでｆ(r) は差分２値化画像の画素値、ｒは位置ベクトル、ａ1、ａ2、…ａNは変位ベクトルを表す。参照点（注目画素位置）ｒおよび参照点からみたＮ個の変位ａi（ｉ＝１，…，Ｎ）は三次元のベクトルである。
【０１１５】
高次自己相関関数は変位方向、次数のとり方により無数に考えられるが、これを局所領域に限定したものが高次局所自己相関関数である。CHLAC（立体高次局所自己相関特徴）では変位方向を参照点ｒを中心とする３×３×３画素の局所領域内、即ち参照点ｒの２６近傍に限定している。１組の変位方向に対応する数式３６の積分値が特徴量の１つの要素になる。従って変位方向の組み合わせ（＝マスクパターン）の数だけ特徴量の要素が生成される。
【０１１６】
図６は、３次元空間における自己相関処理座標を示す説明図である。図６においては、ｚ−１層、ｚ層、ｚ＋１層の３つの層のｘｙ平面を並べて図示してある。本発明においては、注目する参照画素を中心とする３×３×３（＝２７）画素の立方体の内部の画素について相関を取る。
【０１１７】
特徴量の要素数、つまり特徴ベクトルの次元はマスクパターンの種類に相当する。マスクパターンは、相関を取る画素の組合せを示す情報であり、マスクパターンによって選択された画素のデータは相関値の計算に使用されるが、マスクパターンによって選択されなかった画素は無視される。マスクパターンでは注目画素（中心の画素：参照点）は必ず選択される。
【０１１８】
差分２値化画像の値の場合、画素値１を何回乗算しても１であるので、二乗以上の項は乗数のみが異なる１乗の項と重複するものとして削除する。また数式３６の積分操作（平行移動：スキャン）で重複するパターンは１つの代表パターンを残して他を削除する。数式３６右辺の式は参照点（ｇ(r)：局所領域の中心）を必ず含むので、代表パターンとしては中心点を含み、パターン全体が３×３×３画素の局所領域内に収まるものを選択する。
【０１１９】
この結果、中心点を含むマスクパターンの種類は、選択画素数が１個のもの（０次）：１個、２個のもの（１次）：２６個、３個のもの（２次）：２６×２５／２＝３２５個の計３５２個あるが、数式３６の積分操作（平行移動：スキャン）で重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、１つの３次元データに対するCHLACベクトルは２５１次元となる。
【０１２０】
図７は、自己相関マスクパターンの例を示す説明図である。図７（１）は注目画素のみの最も簡単な０次のマスクパターンである。（２）はハッチングを施した２つの画素が選択されている１次マスクパターン例、（３）、（４）はハッチングを施した３つの画素が選択されている３次マスクパターン例であり、この他に多数のパターンがある。そして、前記したように、重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、３×３×３画素の３次元データに対するCHLACベクトルは２５１次元となり、要素の値は０か１である。
【０１２１】
CHLACには、対象の切り出しを必要とせず、画像内における対象の位置によらず同一の対象から同一の特徴量が得られるという位置不変性、および画像内に複数の対象がある場合、この画像全体から得られる特徴量がそれぞれの対象から得られる特徴量の和となる加法性がある。
【０１２２】
図９は、Ｓ１３のフレーム対応CHLACデータ抽出処理の詳細を示すフローチャートである。Ｓ２０においては、２５１個の相関パターン対応の相関値群データをクリアする。Ｓ２１においては、未処理の画素（参照点）を１つ選択する（対象空間内において参照点である立方体を順にスキャンする）。Ｓ２２においては、未処理の相関マスクパターンを１つ選択する。
【０１２３】
Ｓ２３においては、前記した数式３６を用いてパターンと対応する位置の画素値（０または１）を乗算して相関値を計算する。なお、この処理は前記した数式３６におけるｆ(r)ｆ(r+a1)…ｆ(r+aN)の演算に相当する。Ｓ２４においては、相関値は１か否かが判定され、判定結果が肯定の場合にはＳ２５に移行するが、否定の場合にはＳ２６に移行する。Ｓ２５においては、マスクパターンと対応する相関値データに１を加算する。
【０１２４】
Ｓ２６においては、全てのマスクパターンについて処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ２７に移行するが、否定の場合にはＳ２２に移行する。Ｓ２７においては、全ての画素について処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ２８に移行するが、否定の場合にはＳ２１に移行する。Ｓ２８においては、相関値群データをフレーム対応CHLACデータとして出力する。
【０１２５】
図８に戻って、Ｓ１４においてはフレーム対応CHLACデータを保存する。Ｓ１５においては、全フレームについて処理が完了したか否かが判定され、判定結果が否定の場合にはＳ１３に移行するが、肯定の場合にはＳ１６に移行する。Ｓ１６においては、学習データ対応時系列CHLACデータを保存する。
【０１２６】
Ｓ１７においては、時系列CHLACデータから前述したフーリエ周波数成分CHLACＨを求める。具体的には時系列CHLACデータをフレーム数τから前述した数式５で定義したフーリエ級数の基底関数に射影し、前述した数式９、数式１２によってフーリエ周波数成分CHLACを集めた行列Ｈを求める。Ｓ１８においては、処理すべき動画データ全てについて処理が完了したか否かが判定され、判定結果が否定の場合にはＳ１０に移行するが、肯定の場合には処理を終了する。
【０１２７】
図１０は、図２の処理（ｈ）〜（ｋ）の学習処理（質的評価）の内容を示すフローチャートである。Ｓ３０においては、前述したように、主成分分析によって学習用のフーリエ周波数成分CHLACデータの次元数を削減する。具体的には前述した数式２１の固有値問題を解くことによって、固有ベクトルが得られ、固有ベクトルのうち、上位ｐ（＜ｍ）個の固有値に対応するものを{u1,・・・ ,up}とおき、これらp個の固有ベクトルを用いて式２２により、Hi∈Rd×mからH~i ∈Rd×pへと次元を削減する。
【０１２８】
Ｓ３１においては、評価値に基づき、フィッシャー判別基準を用いた線形判別分析により周波数重みξを最適化する。具体的にはクラス内共分散行列ΣWとクラス間共分散行列ΣBを前述した数式１７によって求め、前述した数式１９の固有値問題を解くことによって、固有ベクトルとして最適化された周波数重みξが得られる。Ｓ３２においては、フーリエ周波数成分CHLACおよび周波数重みξから前述した数式１４により映像特徴ｘ~を求める。
【０１２９】
Ｓ３３においては、特徴ｘ~および評価値から前述した線形判別分析によって係数行列Ａおよび判別特徴ベクトルｙを求める。具体的には、前述した数式１５によってクラス内共分散行列ΣWとクラス間共分散行列ΣBを求め、数式３２の固有値問題を解くことによって得られる。
【０１３０】
図１１は、図３の処理（ｌ）〜（ｎ）の学習処理（量的評価）の内容を示すフローチャートである。Ｓ４０においては、評価値に基づき、最小二乗基準により周波数重みξを最適化する。具体的には、数式３０によって周波数重みξが得られる。
【０１３１】
Ｓ４１においては、数式１４により映像特徴ｘ~を求める。Ｓ４２においては、映像特徴ｘ~および評価値から前述した重回帰分析によって係数行列ａを求める。具体的には、映像特徴ｘ~のコンポーネントの最後に１を追加し、ステップワイズ法によって映像特徴ｘ~の変数選択を行いつつ、切片付きの重回帰分析を行って、係数行列ａを求める。
【０１３２】
図１２は、図４の処理（ｏ）〜（ｑ）の評価処理（質的評価）の内容を示すフローチャートである。Ｓ５０においては、最適化されたξを用いて映像特徴ｘ~＝Ｈξを求める。Ｓ５１においては、学習処理において求めた係数行列Ａを用いて映像特徴ｘ~から判別特徴ベクトルｙを求める。Ｓ５２においては、判別特徴ベクトルからｋ−ＮＮ法によって判定予測値を求める。
【０１３３】
公知の最近傍（ＮＮ、Nearest Neighbor）法とは、入力特徴点に最も近い学習サンプル点を求め、そのクラスに識別する手法であり、より一般的な方法としてｋ−最近傍（ｋ−ＮＮ、k-Nearest Neighbor）法がある。ｋ−ＮＮ法では入力特徴点に最も近いｋ個の学習サンプル点を求め、その中で最も多数を占めたクラスに識別する手法である。
【０１３４】
図１３は、図５の処理（ｒ）、（ｓ）の評価処理（量的評価）の内容を示すフローチャートである。Ｓ６０においては、最適化されたξを用いて映像特徴ｘ~＝Ｈξを求める。Ｓ６１においては、映像特徴ｘ~から学習処理において求めた係数行列ａにより評価予測値を求める。
【０１３５】
以上、実施例を開示したが、本発明には以下のような変形例も考えられる。実施例においては、評価値を自動的に求める例を開示したが、元の動画データにおいて、評価に大きな影響を与える、注目すべき時間位置を求め、表示することも可能である。この場合には、求めた周波数重みξを時間重みに変換して表示することによって注目時間位置を表示することができる。これにより選手の運動技能向上へのアドバイスなどを行うことが容易となる。
【０１３６】
また、フィッシャー判別規準および最小二乗規準による時間重みの最適化を、そのフーリエ係数だけではなく、基底関数に位相を加えることで時間重みの位相も同時に行う手法への応用が考えられる。実施例では予め対象となる動作の動画を時間的に切り出して使用する例を開示したが、位相を含めた最適化により、映像の時間的な切り出しが不要となり、より実用的かつ汎用的な手法になると考えられる。更に、時間重み関数の構成法として、実施例において開示したフーリエ級数展開以外にも、ハールやアダマールなどの他の級数展開を用いても良い。
【産業上の利用可能性】
【０１３７】
本発明は体操競技等の競技会における得点の付与、各種スポーツにおけるフォームの評価、リハビリにおける運動姿勢の評価、工場等における作業動作、伝統工芸品の製作動作、ゲームにおけるアクションの評価などの人の動作の評価の他、動物やロボットなど任意の対象物の動作の評価に適用可能である。
【図面の簡単な説明】
【０１３８】
【図１】本発明の動作評価装置のハードウェア構成の一例を示すブロック図である。
【図２】本発明における質的評価を行う動作評価処理の学習時の処理の概要を示す説明図である。
【図３】本発明における量的評価を行う動作評価処理の学習時の処理の概要を示す説明図である。
【図４】本発明における質的評価を行う動作評価処理の評価時の処理内容を示す説明図である。
【図５】本発明における量的評価を行う動作評価処理の評価時の処理内容を示す説明図である。
【図６】３次元空間における自己相関処理座標を示す説明図である。
【図７】自己相関マスクパターンの例を示す説明図である。
【図８】本発明におけるFW-CHLAC生成処理の内容を示すフローチャートである。
【図９】Ｓ１３のフレーム対応CHLACデータ抽出処理の詳細を示すフローチャートである。
【図１０】図２の処理（ｈ）〜（ｋ）の学習処理（質的評価）の内容を示すフローチャートである。
【図１１】図３の処理（ｌ）〜（ｎ）の学習処理（量的評価）の内容を示すフローチャートである。
【図１２】図４の処理（ｏ）〜（ｑ）の評価処理（質的評価）の内容を示すフローチャートである。
【図１３】図５の処理（ｒ）、（ｓ）の評価処理（量的評価）の内容を示すフローチャートである。
【符号の説明】
【０１３９】
１０…ビデオカメラ
１１…コンピュータ
１２…モニタ装置
１３…キーボード
１４…マウス
【図１】
2010061376.tif 000039
【図２】
2010061376.tif 000040
【図３】
2010061376.tif 000041
【図４】
2010061376.tif 000042
【図５】
2010061376.tif 000043
【図６】
2010061376.tif 000044
【図７】
2010061376.tif 000045
【図８】
2010061376.tif 000046
【図９】
2010061376.tif 000047
【図１０】
2010061376.tif 000048
【図１１】
2010061376.tif 000049
【図１２】
2010061376.tif 000050
【図１３】
2010061376.tif 000051