(57)【要約】【課題】動作映像に含まれる特徴的な動作を分離して映像として提示する動作確認装置及び方法を提供する。【解決手段】動作映像の時系列をなす各フレームの画素値を動作映像特徴量として抽出する動作映像特徴量抽出部11と、動作映像特徴量の時系列に主成分分析を施して主成分ごとに主成分得点時系列に変換する主成分得点変換部12と、主成分得点時系列をその特徴量に基づいてクラスタリングするクラスタリング部21と、同一クラスタに属すると判定された主成分を原空間の映像に復元して各クラスタ毎に最終復元映像を生成する最終復元部22とを備えた動作評価装置1を提供する。最終復元映像は特徴的な動作が含まれた映像となっている。【選択図】図1
2012137937.tif 000002
【特許請求の範囲】
【請求項１】
動作映像から特徴的な動作を分離した各映像を出力して確認できるようにする動作確認装置であって、
前記動作映像の時系列をなす各フレームより、前記動作映像の特徴量の時系列を抽出する動作映像特徴量抽出部と、
前記特徴量の時系列に対して主成分分析を施し、固有値毎の主成分得点の時系列に変換する主成分得点変換部と、
前記固有値毎の主成分得点の時系列を該時系列の特徴量に基づいてクラスタリングするクラスタリング部と、
前記クラスタリング部にて同一クラスタに属すると判定された前記固有値毎の主成分得点の時系列を原空間の映像に復元して各クラスタ毎に最終復元映像を生成し、該最終復元映像の各々を前記特徴的な動作を分離した各映像として出力する最終復元部とを備えることを特徴とする動作確認装置。
【請求項２】
前記動作映像特徴量抽出部にて抽出される前記特徴量が、各画素のフレーム内位置に基づく所定の順に、各画素の画素値を並べたベクトルであることを特徴とする請求項1に記載の動作確認装置。
【請求項３】
前記クラスタリング部にて用いられる特徴量が、前記固有値毎の主成分得点の時系列をそれぞれ原空間の映像に復元した中間復元映像の動画特徴量であることを特徴とする請求項1または2に記載の動作確認装置。
【請求項４】
前記クラスタリング部にて用いられる特徴量が、前記固有値毎の主成分得点の時系列そのものであることを特徴とする請求項1または2に記載の動作確認装置。
【請求項５】
前記クラスタリング部にて用いられる特徴量が、前記固有値毎の主成分得点の時系列のスペクトルに基づく特徴量であることを特徴とする請求項1または2に記載の動作確認装置。
【請求項６】
前記クラスタリング部が、前記スペクトルのピーク位置の周波数が概ね整数倍同士である前記固有値毎の主成分得点の時系列同士を類似しているとしてクラスタリングを行うことを特徴とする請求項5に記載の動作確認装置。
【請求項７】
動作映像から特徴的な動作を分離した各映像を出力して確認できるようにする動作確認方法であって、
前記動作映像の時系列をなす各フレームより、前記動作映像の特徴量の時系列を抽出する動作映像特徴量抽出ステップと、
前記特徴量の時系列に対して主成分分析を施し、固有値毎の主成分得点の時系列に変換する主成分得点変換ステップと、
前記固有値毎の主成分得点の時系列を該時系列の特徴量に基づいてクラスタリングするクラスタリングステップと、
前記クラスタリングステップにて同一クラスタに属すると判定された前記固有値毎の主成分得点の時系列を原空間の映像に復元して各クラスタ毎に最終復元映像を生成し、該最終復元映像の各々を前記特徴的な動作を分離した各映像として出力する最終復元ステップとを備えることを特徴とする動作確認方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動作確認装置及び方法に関し、特に、動作映像を固有空間にマッピングした上で、一部の固有空間のみの情報を利用して映像を復元することで、動作映像に含まれる特徴的な動作を分離して確認することのできる動作確認装置及び方法に関する。
【背景技術】
【０００２】
ダンスやエアロビクスのような動き（以下、まとめてダンスと呼ぶとする）の練習をする練習者がダンスを上達させるためには、現在の自分の動きを把握して改善していくことが重要である。自分のダンスの習熟度を評価するという観点では、以下の特許文献1がある。特許文献1では、ダンスゲームを想定した上で、出題ダンスの判定基準データカメラで撮影した練習者であるプレーヤの動作画像から得られた入力データを比較し、2つの動作の類似度を求めることで、動きの正確さを評価する。具体的には、画像のオプティカルフローから強い動きを持つ領域を求め、その領域全体の動きの方向、強さ、及び速さを求める。また、インストラクタキャラクタの動作画像およびプレーヤの動作を反映させたプレーヤキャラクタの動作画像（またはプレーヤの動画そのもの）を提示しながらダンスをする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2008-18287号公報（ゲーム装置及び情報記憶媒体）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この特許文献1においては出題ダンスに対しての類似度という技能レベルを把握することはでき、また自分のダンスをカメラで撮影したものを確認することもできる。これは、動きの把握のためのひとつの方法であることは言うまでもないが、ダンスの情報は高次のため複雑であり、単純に撮影した映像を見ただけでは、自分の動きの特徴を細かく把握することは難しい。自分がどのような動作をしているかを細かく把握するためのフィードバックができる仕組みはなかった。そこで、映像中の複雑な動きを分離して、提示できれば練習者にとって有用である。
【０００５】
本発明の主たる目的は、上記の従来技術の課題を解決し、複雑な動きを分離した上でそれぞれの特徴的な動きを映像として視覚化する動作確認装置及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記の従来技術の課題を解決するため、本発明は、動作映像から特徴的な動作を分離した各映像を出力して確認できるようにする動作確認装置であって、前記動作映像の時系列をなす各フレームより、前記動作映像の特徴量の時系列を抽出する動作映像特徴量抽出部と、前記特徴量の時系列に対して主成分分析を施し、固有値毎の主成分得点の時系列に変換する主成分得点変換部と、前記固有値毎の主成分得点の時系列を該時系列の特徴量に基づいてクラスタリングするクラスタリング部と、前記クラスタリング部にて同一クラスタに属すると判定された前記固有値毎の主成分得点の時系列を原空間の映像に復元して各クラスタ毎に最終復元映像を生成し、該最終復元映像の各々を前記特徴的な動作を分離した各映像として出力する最終復元部とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明の動作映像確認装置によれば、動作映像に含まれる特徴的な動作を映像として分離して出力することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の動作映像確認装置の機能ブロック図である。
【図２】動作映像特徴量抽出部及び主成分得点変換部を備える動作分析部による処理の概要を示す図である。
【図３】クラスタリング部及び最終復元部を備える復元部による処理の概要を示す図である。
【図４】動作映像より分離・抽出する特徴的な動作の例を示す図である。
【図５】主成分得点時系列そのものが、クラスタリングのための特徴量として利用できることを説明する図である。
【図６】クラスタリングのための特徴量に中間復元映像より得られる動画特徴量を用いる場合の、当該動画特徴量の一例としての、時間方向のヒストグラムを説明する図である。
【発明を実施するための形態】
【０００９】
以下に、図面を参照して本発明を詳細に説明する。図1に本発明の動作確認装置の機能ブロック図を示す。図1に示すように動作確認装置1は、概略的な構成として、確認しようとしている動作映像を固有空間にマッピングすることで、当該固有空間における動作分析結果（固有値、固有ベクトル及び主成分得点）を得る動作分析部10と、当該動作分析結果を用いることで、動作映像から特徴的な動作が分離された映像として最終復元映像を得る復元部20とを備える。
【００１０】
さらに図1に示すように、動作分析部10は動作映像特徴量抽出部11及び主成分得点変換部12を備え、復元部20はクラスタリング部21及び最終復元部22を備える。図2に動作分析部10による処理の概要を、図3に復元部20による処理の概要を示す。
【００１１】
図2の(1)〜(3)が動作映像特徴量抽出部11による処理を、(4)〜(5)が主成分得点変換部12による処理を示している。また図3の(5)〜(7)がクラスタリング部21による処理を、(8)が最終復元部22による処理を示している。図より明らかなように、図2の(5)と図3の(5)とは、同一の処理途中状態を示している。以下、図2の(1)〜(5)及び図3の(5)〜(8)に関して、図2及び図3を省略して(1)〜(8)として、各段階の処理を説明する。
【００１２】
(1)に示すような動作映像は、例えば手本に従った練習者のダンスの映像であり、(a)に示すようなダンスとしては好ましくないブレの動作（例えば、頭の左右への動き）や(b)に示すようなダンス本来の各動作（例えば、手足の動き）が特徴的な動作として含まれている。動作確認装置10による以下のような(1)〜(8)の処理によって、これらの特徴的な各動作を分離抽出して、映像として提示することが可能となる。なお、分離する特徴的な動作の数は、(a)及び(b)として例示したような2種類に限定されず、より多数を一般に分離することができる。
【００１３】
(1)のような動作映像からまず動作映像の特徴量を抽出するため、動作映像特徴量抽出部11では当該動作映像を(2)に示すようなフォーマットで扱う。すなわち、動作映像はフレームのN個の時系列をなし、各i(1≦i≦N)番目のフレームのサイズMすなわち画素数Mは、フレームの縦の画素数heightと横の画素数widthとの積（height×width）である。
【００１４】
(3)は動作映像特徴量抽出部11が抽出する動作映像の特徴量を示している。すなわち、時系列i番目のフレームからは、動作映像の特徴量として列ベクトルViが抽出される。当該i番目のフレームから抽出された列ベクトルViは、次の主成分得点変換部12での処理のため、行列B'のi列目の列ベクトルとして扱われる。
【００１５】
当該列ベクトルVi(1≦i≦N)は、i番目のフレームを構成する画素の値を直接用いて、各画素のフレーム内位置に基づく所定の順でベクトルの要素として並べることにより作られる。すなわち、i番目のフレームの全画素M個の値をもれなく用いて、サイズMの列ベクトルViが作られる。前述のとおり、行列B'は各フレームより得られるViをフレーム総数N個分に渡ってフレーム時系列順に並べることで得られ、サイズM×Nの行列となる。
【００１６】
なお、本発明は、このような直接の画素値からなるベクトルViをi番目のフレームに対応する動作映像の特徴量として、全Nフレームの特徴量のデータ集合（行列B'）に対して、主成分得点変換部12により次の(4)〜(5)に示す主成分分析を施すだけで、確認対象となる動作映像の特徴的な動作が固有空間において分離される、という知見に基づく。本発明の1つの効果としてこのように、特別な動作特徴量を用いずに、汎用的な処理である主成分分析を用いて特徴的な動作が分離できる、という点がある。
【００１７】
(4)に示すように、主成分得点変換部12ではまず、データ集合である行列B'の分散共分散行列Ｓ（サイズＭ×Ｍ）の固有値λi(i=1,2,…)と固有ベクトルvi(i=1,2,…)を求める。
【００１８】
ここで、評価対象の動作映像サイズM（画素数）は、縦×横＝（height×width＝）＝３２０×２４０＝８万画素程度、であり、フレームN（時系列数）＝３００程度、であることが想定される。すなわちM＞Ｎであることが想定される。この場合、サイズＭ×Ｍの分散共分散行列Ｓの固有値問題を直接解くのではなく、後述のサイズN×Nの行列Ｃの固有値問題を解いて、その結果から行列Ｓの固有値と固有ベクトルを、固有値の大きい側の所定数のみ求めるようにしてもよい。
【００１９】
主成分得点変換部12は、分散共分散行列Ｓの固有値問題を解いた結果を用いて、(5)に示すように、動作映像の特徴量の時系列（行列B'）を主成分の空間の値（主成分得点）に変換した時系列を求める。当該時系列は図示するように、動作映像のフレーム数と同じN個のデータの時系列となる。
【００２０】
また、(5)に示すように、固有値問題を解いた結果、当然、第1主成分得点の時系列であれば対応する固有ベクトルv1と固有値λ1といったように、各固有空間の固有ベクトル及び固有値も求められる。これらは(8)における最終復元のため、又は(6)(7)におけるクラスタリングの一実施形態で用いられる中間復元映像作成のために利用される。
【００２１】
続いて(6)(7)にてクラスタリングを行う。まず(6)ではクラスタリングを実施するための類似度を与えるための特徴量を求める。該特徴量は各種のものが利用でき、基本的には主成分得点時系列からそのまま算出するが、別実施形態では後述の中間復元映像を求めて、該中間復元映像の動画特徴量から算出することもできる。
【００２２】
(6)で求めた特徴量に基づいてクラスタリングを行った結果の例が(7)である。すなわち、互いに類似すると判定された第1クラスタC_1(第1、3及び6主成分x_1、x_3及びx_6が属する)と、第2クラスタ(第2及び4主成分x_2及びx_4が属する)と、等が得られている。
【００２３】
以上、(6)(7)のクラスタリング部21によるクラスタリングの結果を用いて、(8)に示すように最終復元部22が各クラスタに対して最終復元映像を生成する。該最終復元映像は、その例を図4に示すように、動作映像に含まれる特徴が明瞭に確認できる映像となっている。図4は元の動作映像がダンスの映像である例であって、(A)のダンスとしては好ましくない横ブレや(B)のダンス本来の手足の動きが求められた例である。
【００２４】
(8)では、各クラスタに属する主成分の主成分得点時系列と固有ベクトルとを用いて、(2)〜(5)に至るまで示した処理と逆の処理が行われることにより、映像として確認できる原空間への復元(Reconstruction)が行われ、最終復元映像が生成される。例えば、第1クラスタC_1からは、第1、3及び6主成分x_1、x_3及びx_6の時系列とその各々の固有ベクトルとを用いて最終復元動画xC_1が生成される。第2クラスタC_2からは、第2及び4主成分x_2及びx_4の時系列と各々の固有ベクトルとを用いて最終復元動画xC_2が生成される。
【００２５】
次に、図2に概略を示した動作分析部10（動作映像特徴量抽出部11及び主成分得点変換部12）の処理の詳細を説明する。
【００２６】
動作分析部10では、評価対象の動作映像に含まれる、高次元で複雑な動きを評価するために、低次元空間に一度圧縮して、動きの特徴量（動き特徴量）を抽出する。高次元特徴量から合成変量を生成して解析を行う手法として、主成分分析が周知である。主成分分析とは、データの分散を最大とするような軸（合成変量）を求めて、データの解析をする手法である。動作分析部10では主成分分析を利用する。
【００２７】
K次元ベクトルx={x1,x2,...,xK}が存在したときに、分散最大となる合成変量yをそれらの線形和で表す。この時の係数v={ a1,a2,...,aK}を求めることが主成分軸を求めることになる（数1）。
【００２８】
【数１】
2012137937.tif 000003
具体的には、データの分散共分散行列の固有値問題として解くことができる。分散共分散行列をSとした場合に、次の数2、すなわち、
【００２９】
【数２】
2012137937.tif 000004
を満たす、λを固有値、vを固有ベクトルと呼ぶ。まず固有方程式を解いて固有値λを求め、各固有値に対応する固有ベクトルvを求めるといった解法が一般的である。
【００３０】
ここで、本発明の対象である動作映像に、この主成分分析を適用することを考える。図2の(2)に示したように、動作映像はフレーム毎の画像（静止画像）を時系列に並べたものであり、画像は、各画素の画素値の集まりである。したがって、ある1フレームの画像は、位置を考慮しなければ、画素数だけの次元を持つ画素値のベクトル（画素値ベクトル）で表現できる。例えば(2)のような、Nフレームのheight×widthの解像度の動画の場合には、M (＝height×width)次元の画素値ベクトルがNフレーム分存在するという風に考えられる。
【００３１】
なお、各フレームの画像を構成する画素の画素値から、画素値ベクトルを作成するには、前述のとおり、各画素のフレーム内位置に基づく所定の順に、例えばラスタスキャン順に、各画素の画素値を並べたベクトルを作成すればよい。すなわち、フレーム内位置が（i, j）[ここで、i=1,2,…,height, j=1,2,…,width]である各画素の画素値を、画素ベクトルのn(n=1,2,…,M)番目の各要素へと一対一の写像関係で対応付けるようにする。そして、当該対応付けには、全Nフレームに渡って共通の対応づけを用いる。
【００３２】
この画素値ベクトルの各次元の時間方向に対する分散及び共分散行列Sの固有値・固有ベクトルを求めればよい。しかしながら、画像の大きさMは通常大きいため(例えば320×240の動画でも76800次元)、行列Sの固有値問題を直接解くことは実計算上好ましくない。このような高次元データに対する主成分分析は、以下のようにして行うことができることが知られている。
【００３３】
まず、図2の(3)にも示したように、M次元空間上のNフレームのデータ行列をB' (サイズM×N)とする（数3）。このデータ行列の行平均（フレーム方向に対する平均）をmean (サイズM×N)として（数4）、行列B'の1行ずつ抽出して平均ベクトルmeanを引いて，行方向に結合した行列Bを定義すると（数5）、
【００３４】
【数３】
2012137937.tif 000005
【００３５】
【数４】
2012137937.tif 000006
【００３６】
【数５】
2012137937.tif 000007
となる。この行列Bを利用して、分散共分散行列Sを表すと（数6）、
【００３７】
【数６】
2012137937.tif 000008
であり、固有方程式は、
【００３８】
【数７】
2012137937.tif 000009
となる（数7）。
さらに、両辺に左から行列Bをかけると（数8）、
【００３９】
【数８】
2012137937.tif 000010
ここで、Bv=uと考えると（数9）、
【００４０】
【数９】
2012137937.tif 000011
数9は、行列(N^-1)BB^T（=行列Cとする）の固有方程式であり、この行列Cに対する固有ベクトルuを求めてから、それを使って分散共分散行列Sに対する固有値vを求める。この行列の大きさを考えると、N×Nとなっており、通常は画素値ベクトルの次元数Mよりもフレーム数Nが圧倒的に小さいことから、行列Sから直接固有値を求めるよりはるかに少ない計算量で計算できる。
【００４１】
求めた固有ベクトルuから、行列Sの固有ベクトルvを求めるには、上式（数9）に左からB^Tをかけて（数10）、
【００４２】
【数１０】
2012137937.tif 000012
【００４３】
この上式（数10）より、B^Tuが、Sの固有ベクトルvであることがわかる。ただし、規格化はされていないので、規格化も含めて表すと（数11）、
【００４４】
【数１１】
2012137937.tif 000013
【００４５】
したがって、行列C (N×N)に対する固有ベクトルuを求めることで，行列S (M×M)に対する固有ベクトルvを求めることができることがわかる。(ただし、M個の固有値のうち、固有値の大きい方からN番目以上の固有値は0と考える。)
【００４６】
この方法により，動きの動画に対する主成分分析も実計算上可能であることがわかる。なおまた、評価対象映像のサイズ形式がM<Nとなる場合には、上記のように行列Cの固有値問題を解くことを経由せずに、行列Sの固有値問題を直接解いてもよい。
【００４７】
主成分得点変換部12では、当該求めた固有ベクトルを用いて、元の空間から主成分空間に射影した際の主成分軸上の値の大きさである、主成分得点を求める。固有値の大きい方から順に固有値を並べた時に、l番目に大きい固有値λlに対する（第l主成分軸に対する）nフレーム目の主成分得点z(n,λl)は以下の式（数12）で表される。
【００４８】
【数１２】
2012137937.tif 000014
【００４９】
この主成分得点が固有空間における動きを表す特徴量となる。なお、（数12）右辺において、係数a[m,λl]は、l番目の固有ベクトルの第m成分であり、（xm(n)−上バー付きxm）は、（数5）の行列Bのm行n列成分である。
【００５０】
次に、図3に概略を示した復元部20（クラスタリング部21及び最終復元部22）の処理の詳細を説明するが、以上の(数1)〜(数12)の逆の処理となる最終復元部22から説明する。クラスタリング部21の詳細については後述する。最終復元部22では、各クラスタに属する主成分の主成分時系列と固有ベクトルとを用いて、次のような処理を行う。
【００５１】
元の画像空間での画素値ベクトルxの時間（フレーム）方向に対する分散共分散行列に対する各固有値に対応する固有ベクトルを並べた行列をWとすると、フレーム番号iにおける各固有値（各主成分軸）に対する主成分得点ベクトルz (i)は、
【００５２】
【数１３】
2012137937.tif 000015
となる（数13）。上バー付きxは、x (i)の時間平均ベクトルである。なお、（数13）は（数12）をベクトルの等式として書き直したものである。
【００５３】
行列Wは、固有ベクトルを並べたものなので、直交行列であるから転置行列W^Tを上式の両辺に左からかけて移項して、元の空間での画素値ベクトルを復元すると、画素値ベクトルの推定値 は、
【００５４】
【数１４】
2012137937.tif 000016
と表すことができる（数14）。
【００５５】
例えば、２次元データで考えると、主成分得点は、
【００５６】
【数１５】
2012137937.tif 000017
である（数15）。この第１主成分得点z1(i)のみから画像を復元する場合、
【００５７】
【数１６】
2012137937.tif 000018
となる（数16）。また、第1主成分得点z1(i)と第2主成分得点z2(i)とを利用して画像を
復元する場合、
【００５８】
【数１７】
2012137937.tif 000019
となる（数17）。
【００５９】
このように、存在する全主成分を利用すれば、完全に画素値ベクトルを復元できる。一方で、一部の主成分のみで復元すれば、その主成分が何を主に表現する軸なのかということが分析可能となる。例えば、第2主成分のみを利用した画像（動画）の復元が可能である。そして、最終復元部22では、各クラスタに属する主成分を利用して復元を行い、各最終復元映像を生成する。
【００６０】
次に、クラスタリング部21によるクラスタリングの各実施形態につき具体的に説明する。クラスタリングによって、どの主成分同士を組み合わせるかを自動で決定できる。当該クラスタリングによって後述のように、より明瞭に動作の特徴を確認できる最終復元映像を得ることができるようになる。いずれのクラスタリング実施形態であっても、クラスタ分けの結果に基づいて最終復元映像を生成することは共通である。クラスタリング部21は、特徴量に基づいてクラスタリングを行うので、利用できる各種の特徴量を説明するが、当該説明に限定されず、同様の類似指標を与えるような任意の特徴量が利用可能である。
【００６１】
特徴量としては主成分得点時系列から（ほぼ）直接求められるものと、後述の中間復元映像を利用して求められるものとがあるが、これらは互いに関連している。中間復元映像とは、クラスタリング部21で最終復元部と同様の処理を単一の主成分の主成分得点時系列と固有ベクトルとについて施して得られる、各主成分単一での復元映像である。当該映像は次の図5の説明のように、人が見た場合に必ずしも動作特徴を確認できるとは限らないが、一般に動作特徴を部分的に含んでいる映像である。
【００６２】
図5は各主成分に対応する主成分得点時系列から復元した中間復元映像(a1)(a2)と、その主成分得点時系列(b1)(b2)と、その主成分得点時系列のパワースペクトル(c1)(c2)と、の関係例を示している。図5ではそのような関係例として第1主成分の例(a1)〜(c1)と第2主成分の例(a2)〜(c2)とを示している。元の動作映像がダンス映像であったとし、中間復元映像として（必ずしも明瞭に判別できるわけではないにせよ、）(a1)の第1主成分では当該ダンスによる手足の動きに関連する動きの映像が、(a2)の第2主成分では当該ダンスにおいてはこのましくない重心の横ブレに関連する動きの映像が得られている。なおこのような映像の内容の解釈は、動作確認装置1において最後の最終復元部22まで全ての処理を行って得られる、最終復元映像に基づいて、明瞭に行うことが可能となる。
【００６３】
そして、本発明における1つの知見として、中間復元映像に含まれる動作における特徴的な周波数が、対応する主成分得点時系列そのものに表れている、ということがある。すなわち、(a1)の手足の動きに対しては対応する第1主成分得点時系列が(b1)に示すように、当該手足の動きの周波数と同様の周波数で変動しており、そのパワースペクトルが1Hz付近にピークの見られる(c1)である。同様に、(a2)の横ブレに対しては、当該横ブレの動きにあまり明確な周期性が見られないのに対応して、第2主成分得点時系列も(b2)に示すようにあまり明確な周期性は見られず、そのパワースペクトルは(c2)に示すとおりである。
【００６４】
以上、図5の例のように、各主成分得点の時系列は対応する中間復元映像に含まれる動作と同様の周波数特徴を有しているので、主成分得点時系列そのものを特徴量として用いることができる。例えば、主成分得点時系列そのものを高次元空間内の点として扱い、それらの点の間の距離に基づいてクラスタリングを行うことができる。
【００６５】
また主成分得点時系列の特徴量として、主成分得点時系列の周期（パワースペクトルのピークを与える周波数に対応する周期、複数ピークがある場合は最大パワー密度のものを選ぶ）を特徴量とし、その周期の値の差をクラスタリング時の類似指標に用いてもよく、同様にピーク周波数の差を類似指標に用いてもよい。
【００６６】
さらに、主成分得点時系列の特徴量として、主成分得点時系列同士が有することのある高調波構造に基づいて類似指標を与えるものを利用してもよい。すなわち、主成分中には、動きを表す最も低い周期（基本周期）を持つ主成分の2倍、3倍、4倍、…、N倍（Nは整数）を持つことがあるため、このような基本周期のx倍（x=2, 3, 4, …,N）倍の周期を持つ主成分同士は似ていると判断する類似指標を利用してクラスタリングを行ってもよい。なお、整数倍であるかの判定は所定の誤差を許容して行うものとする。例えば1.9〜2.1倍の範囲では2倍であるとみなす、などといった概ね整数倍である関係に基づいて判定するものとする。
【００６７】
当該高調波構造の利用において、基本周期を持つ主成分の判定については、所定の閾値以下の周期を持つ主成分とする（あまりにも周期が大きい（低周波な）ものは周期的な動きではない可能性があるため）。基本周期を持つ主成分は複数存在してもよい。例えば、基本周期1.0 [sec]の主成分A、基本周期1.5 [sec]の主成分Bをそれぞれ基本周期として、それぞれ高調波に主成分が存在するか判定することで、主成分の類似性を判断し、クラスタリングすることも可能である。
【００６８】
周期3.0[sec]を持つ主成分Xについては、主成分A、Bに対してそれぞれ3倍、2倍という高調波でありどちらも似ていると判断できるが、その場合は他の高調波成分との距離などに基づいてどちらに属するか判断できる。例えば、主成分Aの2倍の周期2.0[sec]の主成分と比べて、主成分Ｂの周期 1.5[sec]は、主成分Xの周期3.0[sec]との距離が遠いため、主成分Aと主成分Xは、同じクラスタに属するとするといったことが判断できる。
【００６９】
以上のように、主成分得点時系列の各種の特徴量が利用できる。なおまた、図5の説明より明らかなように、別実施形態として主成分得点時系列の各々を中間復元映像に復元して、該中間復元映像より求められる動画特徴量を、主成分得点時系列の特徴量として利用することもできる。
【００７０】
中間復元映像より求められる動画特徴量として、例えば、ヒストグラムを利用する場合を図6に模式的に示す。第k主成分得点からの中間復元映像x_kから、各画素i(1≦i≦M)につきフレーム時間方向に渡って現れる画素値(例えば0-255のいずれかの値)頻度のヒストグラムh(k,i)を求める。ここでM=height(縦画素数)×width(横画素数)=フレーム内の総画素数、である。すなわち、フレームの時間方向に渡る数をNとすると、各ヒストグラムh(k,i)において頻度の総和を取るとNとなり、各主成分得点の中間復元映像につきそのようなヒストグラムが総画素数M個求まる。
【００７１】
このようにして、第k主成分得点の中間復元映像の動画特徴量として、上述のようなヒストグラムに基づく高次元空間内の点の位置{h(k,1),h(k,2),…,h(k,M)}を利用することができる。そして図6に示すように、そのような点の位置から算出される距離などを用いて、クラスタリングを行う。同様にしてその他、各画素の平均、分散、（時間方向ではなく）画素方向のヒストグラム、オプティカルフローなど、各種の周知の動画特徴量を利用することができる。
【００７２】
以上、クラスタリング時の類似指標として用いるための各種の特徴量について説明した。クラスタリング手法自体に関しては、周知の各種のものを利用できる。周知のウォード法などの階層的クラスタリングやK-means法などの非階層クラスタリングを利用してもよい。
【００７３】
クラスタリング部21はこのようにクラスタリングを行い、最終復元部22は同一クラスタに属する主成分を用いて各クラスタ毎に最終復元映像として出力する。得られる最終復元映像の数は、クラスタリングの設定に依存する。得られた最終復元映像は全て出力してもよい。また、各最終復元映像に対して主成分分析における情報量、すなわち各最終復元映像を得るにあたって同一クラスタに属するとして組み合わせた主成分の固有値の当該クラスタ内での和、が大きい方から順に所定数を出力してもよい。
【００７４】
また当該情報量が大きいほど対応する最終復元映像における動きも一般に大きいので、最終復元映像と当該情報量とを対応づけて共に出力してもよく、この場合動作確認装置1を利用して動作映像の確認を行うユーザは、最終復元映像を実際に再生して確認する前に、対応付けられた情報量を見ることで、あらかじめ最終復元映像に含まれる動きが大きいか細かいかなどの目安とすることができる。
【００７５】
以上のようなクラスタリングにより、動作の特徴を確認しやすい最終復元映像が得られる。例えば動作映像として、上述図4の「ダンス」を想定して、「ダンス」のおおよその動きが第1主成分に表れ、「横ブレ」のおおよその動きが第2主成分に（中間復元映像へ変換して確認した結果）表れるとする。その際に、第1主成分で復元した映像と第2主成分で復元した映像を利用するだけでもよい。しかし、第3主成分以降にもこれらの動きを表す成分は含まれている。そのため、他の主成分の情報も加えれば、図4の(A)(B)のような、より（人間にとってわかりやすいという意味で）高品質な復元映像が得られる。クラスタリングはこのような効果を有する。
【００７６】
また、動作映像によっては、動作全体に関わるような動きを第1主成分のみでは十分に捉えられず、それを復元した映像を見ても人間にとってどんな動作をしているかわからない場合がある。そういった場合に、第2、第3主成分と組み合わせることで、より高品質な映像を復元することができる。必ずしも固有値の大きい主成分から組み合わせる必要はなく、第2、第5主成分を組み合わせることで、わかりやすい映像が復元されることも考えられる。クラスタリングはこのような作業を自動にて可能とする。
【００７７】
さらに、複数の動きを含む動作映像に対して、それぞれの動きをよりわかりやすく復元することも可能である。これは例えば、「かがむ」という動作Aと「手を広げる」という動作Bがあった際に、動作Aに関しては第1、第3主成分を利用すれば動作Aを十分復元でき、一方、動作Bに関しては第2、第４主成分を利用することで十分復元できるといったことが考えられる。このような場合にもクラスタリングが有効である。
【００７８】
以上のような、本発明の動作確認装置1を利用するユーザは、確認したい動作映像のみを単独で処理して特徴的な動作の映像を得ることができる。また、確認したい動作映像が例えばユーザ自身のダンス映像で、手本となる模範動作映像に近いかを確認したい場合、当該模範動作映像も処理させてその特徴的な動作の映像を比較対象として利用することもできる。例えばユーザの動作映像が特徴的な動作に図4(A)に示すような横ブレを含むが、模範動作映像では特徴的な動作にそのような横ブレが含まれない場合、当該ユーザはそのような横ブレをなくすようダンス練習にフィードバックすることができる。
【００７９】
以上、本発明によれば、動作映像を画素値ベクトルと見なし主成分分析することで得られた各主成分に対する固有ベクトルと主成分得点の一部を利用することで、原空間での画像を復元し、ユーザにフィードバックすることで、ユーザに対してユーザ自身の動きの特徴をよりわかりやすく提示することができる。
【００８０】
ダンスなどの練習者に対しては、練習者自身の動きの特徴をわかりやすく高品質に反映した復元動画を視覚的にフィードバックでき、ダンス練習のモチベーション向上につながる。また、模範映像と練習者映像のそれぞれの復元映像の差異によって、模範の動きと比較して、練習者の動きのどこが違うのか直感的に把握することができる。応用分野として、ダンスやエアロビクスといった動きの把握の支援があるが、他の動きに関しても応用可能である。比較的複雑な動きについても分析できる。
【符号の説明】
【００８１】
1…動作確認装置、11…動作映像特徴量抽出部、12…主成分得点変換部、21…クラスタリング部、22…最終復元部
【図１】
2012137937.tif 000020
【図２】
2012137937.tif 000021
【図３】
2012137937.tif 000022
【図４】
2012137937.tif 000023
【図５】
2012137937.tif 000024
【図６】
2012137937.tif 000025