(57)【要約】    【構成】  身体動作解析装置１０はコンピュータ１２を含み、コンピュータ１２にはモーションキャプチャシステム１４が接続される。モーションキャプチャシステム１４は、被験者の各身体部位についての３次元位置の時系列変化を検出し、コンピュータ１２に与える。コンピュータ１２は、その時系列変化に基づいて、被験者の動作を検出する。次に、コンピュータ１２は、被験者の動作を多重解像度解析し、その解析結果についての相関関係を求める。    【効果】  多重解像度解析と相関解析とを組み合わせるので、身体の身体部位のどのレベルの動きが適切であるか否かを正確に判定することができる。【選択図】  図１
2007121217.tif 000002
【特許請求の範囲】
【請求項１】
所定の身体動作を行う被験者の複数の身体部位についての３次元位置を時系列に従って検出する３次元位置検出手段、
前記３次元位置検出手段によって検出された前記被験者の複数の身体部位についての３次元位置に基づいて、少なくとも１つの関節についての関節角度データを算出する関節角度データ算出手段、
前記関節角度データ算出手段によって算出された関節角度データを多重解像度解析する解析手段、および
前記解析手段によって多重解像度解析された関節角度データの自己相関関数および相互相関関数の少なくとも一方を算出する相関関数算出手段を備える、身体動作解析装置。
【請求項２】
前記解析手段はウェーブレット変換を用いて前記関節角度データを多重解像度解析し、
各レベルのウェーブレット・ディテールが前記関節角度データをどの程度説明しているのかについての寄与率を算出する寄与率算出手段をさらに備え、
前記相関関数算出手段は、前記寄与率算出手段によって算出された寄与率が所定値以上のレベルについてのウェーブレット・ディテールについての自己相関関数および相互相関関数の少なくとも一方を算出する、請求項１記載の身体動作解析装置。
【請求項３】
前記相関関数算出手段は、同じ周期で動くべき身体部位について前記相互相関関数を算出する、請求項１または２記載の身体動作解析装置。
【請求項４】
(a)所定の身体動作を行う被験者の複数の身体部位についての３次元位置を時系列に従って検出し、
(b)前記ステップ(a)によって検出された前記被験者の複数の身体部位についての３次元位置に基づいて、少なくとも１つの関節についての関節角度データを算出し、
(c)前記ステップ(b)によって算出された関節角度データを多重解像度解析し、そして
(d)前記ステップ(c)によって多重解像度解析された関節角度データの自己相関関数および相互相関関数の少なくとも一方を算出する、身体動作解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は身体動作解析装置および身体動作解析方法に関し、特にたとえば、リズムに従ってダンスを踊る被験者の身体動作を解析する、身体動作解析装置および身体動作解析方法に関する。
【背景技術】
【０００２】
従来のこの種の身体動作解析装置の一例が非特許文献１に開示される。この非特許文献１によれば、カメラで撮影されたダンサーのシルエット画像を生成し、生成したシルエット画像をスケルトン化処理する。次にスケルトン画像をハフ(Hough)変換し、ハフ変換により得られた上半身の主軸（上半身主軸）のハフパラメータを追跡処理する。この追跡処理では、ハフパラメータの時間的な連続性を仮定して、ハフ空間上での近傍処理を利用し、近隣領域から最適なハフパラメータを選択する。その結果、ハフパラメータの時系列集合が得られ、これがダンサーの動き情報を表すパラメータとなる。そして、ハフパラメータのθ成分に着目し、その時系列データをフーリエ変換し、ダンサーの身体動作のリズム性を検証（解析）していた。
【０００３】
また、人の身体動作を認識する手法としては、非特許文献２に開示されるような、身体部位間の動作相関解析が広く用いられている。
【非特許文献１】「動作解析に基づいたダンスの評価手法」，苗村  昌秀，鈴木  雅実，画像電子学会研究開予稿  03-05-07,pp.39-44,2003
【非特許文献２】「身体運動の時間分節化と行動認識：身体部位の動作相関分析による方法」，中田  亨，計測自動制御学会  第３２回知能システムシンポジウム資料，pp.449-453,2005
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、非特許文献１に記載された評価では、上半身部分の主軸部分を追跡処理した結果得られるパラメータに基づいて、ダンサーの身体動作のリズム性を検証するようにしてあるため、身体動作のリズム性を正確に検証できているとは言えなかった。つまり、ダンスにおいては、上半身部分の主軸部分のみならず、頭部、手および足の動きも重要な要素であり、より広範な身体部位の動き情報を取得する必要があった。また、各身体部位の動きが正確なリズムで動いているとしても、他の身体部位に関係なくばらばらに動いている場合には、全体としてまとまりのないダンスになってしまう。
【０００５】
また、ダンス動作は、単調な１つの動きだけで構成されているわけではなく、大きな動きや小さな動きが複雑に絡み合っている。このため、非特許文献２に開示された動作相関解析では、大小様々な動きの要因が相互に影響し、結果として相関が弱くなる可能性がある。
【０００６】
それゆえに、この発明の主たる目的は、新規な、身体動作解析装置および身体動作解析方法を提供することである。
【０００７】
この発明の他の目的は、身体動作についてのリズム性を詳細に解析することができる、身体動作解析装置および身体動作解析方法を提供することである。
【課題を解決するための手段】
【０００８】
請求項１の発明は、３次元位置検出手段、関節角度データ算出手段、解析手段、および相関関数算出手段を備える、身体動作解析装置である。３次元位置検出手段は、所定の身体動作を行う被験者の複数の身体部位についての３次元位置を時系列に従って検出する。関節角度データ算出手段は、３次元位置検出手段によって検出された被験者の複数の身体部位についての３次元位置に基づいて、少なくとも１つの関節についての関節角度データを算出する。解析手段は、関節角度データ算出手段によって算出された関節角度データを多重解像度解析する。相関関数算出手段は、解析手段によって多重解像度解析された関節角度データの自己相関関数および相互相関関数の少なくとも一方を算出する。
【０００９】
請求項１の発明では、身体動作解析装置（１０：実施例で相当する参照符号。以下、同じ。）は、３次元位置検出手段（１４）、関節角度データ算出手段（１２）、解析手段（１２）、および相関関数算出手段（１２）を備える。３次元位置検出手段（１４）は、所定の身体動作を行う被験者の複数の身体部位についての３次元位置を時系列に従って検出する。関節角度データ算出手段（１２）は、３次元位置検出手段（１４）によって検出された被験者の複数の身体部位についての３次元位置に基づいて、少なくとも１つの関節についての関節角度データを算出する。解析手段（１２）は、関節角度データ算出手段（１２）によって算出された関節角度データを多重解像度解析する。相関関数算出手段（１２）は、解析手段（１２）によって多重解像度解析された関節角度データの自己相関関数および相互相関関数の少なくとも一方を算出する。たとえば、算出した自己相関関数から各身体部位のリズム感を評価し、また、算出した相互相関関数からダンス全体のまとまりの良さを評価する。
【００１０】
請求項１の発明によれば、多重解像度解析と相関関数とを組み合わせるので、どの身体部位のどのレベル（周期）の動き（動きの大きさ）が適切であるかどうかを判定することができる。
【００１１】
請求項２の発明は請求項１に従属し、解析手段はウェーブレット変換を用いて関節角度データを多重解像度解析し、各レベルのウェーブレット・ディテールが関節角度データをどの程度説明しているのかについての寄与率を算出する寄与率算出手段をさらに備え、相関関数算出手段は、寄与率算出手段によって算出された寄与率が所定値以上のレベルについてのウェーブレット・ディテールについての自己相関関数および相互相関関数の少なくとも一方を算出する。
【００１２】
請求項２の発明では、解析手段（１２）はウェーブレット変換を用いて関節角度データを多重解像度解析する。寄与率算出手段（１２）は、各レベルのウェーブレット・ディテールが関節角度データをどの程度説明しているのかについての寄与率を算出する。したがって、相関関数算出手段（１２）は、寄与率算出手段（１２）によって算出された寄与率が所定値以上のレベルについてのウェーブレット・ディテールについての自己相関関数および相互相関関数の少なくとも一方を算出する。
【００１３】
請求項２の発明によれば、寄与率が所定値以上のレベルについてのみ相関関数を算出するので、処理コストを削減することができる。
【００１４】
請求項３の発明は請求項１または２に従属し、相関関数算出手段は、同じ周期で動くべき身体部位について相互相関関数を算出する。
【００１５】
請求項３の発明では、相関関数算出手段（１２）は、同じ周期で動くべき身体部位について相互相関関数を算出する。つまり、各身体部位の相関を調べて、ダンス全体としてのまとまりの良さを評価するのである。
【００１６】
請求項３の発明によれば、同じ周期で動くべき身体部位についての相互相関を算出するので、ダンス全体のとしてのまとまりの良さを知ることができ、その評価を正確に行うことができる。
【００１７】
請求項４の発明は、(a)所定の身体動作を行う被験者の複数の身体部位についての３次元位置を時系列に従って検出し、(b)ステップ(a)によって検出された被験者の複数の身体部位についての３次元位置に基づいて、少なくとも１つの関節についての関節角度データを算出し、(c)ステップ(b)によって算出された関節角度データを多重解像度解析し、そして(d)ステップ(c)によって多重解像度解析された関節角度データの自己相関関数および相互相関関数の少なくとも一方を算出する、身体動作解析方法。
【００１８】
請求項４の発明においても、請求項１の発明と同様に、どの身体部位のどのレベル（周期）の動き（動きの大きさ）が適切であるかどうかを判定することができる。
【発明の効果】
【００１９】
この発明によれば、多重解像度解析と相関解析とを実行するうため、身体部位毎のリズム性および他の身体部位との関係を正確に解析することができる。
【００２０】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００２１】
図１を参照して、この実施例の身体動作解析装置１０は、コンピュータ１２を含み、コンピュータ１２には、モーションキャプチャシステム１４およびディスプレイ１６が接続される。ただし、ディスプレイ（スクリーン）１６は接続されなくてもよい。コンピュータ１２は、汎用のＰＣ或いはワークステーションのようなコンピュータである。モーションキャプチャシステム１４は、被験者Ａの身体部位の３次元位置を時系列に従って検出する。このモーションキャプチャシステム（３次元動作計測装置）１４としては、公知のモーションキャプチャシステムが適用される。たとえば、ＶＩＣＯＮ社（http://www.vicon.com/）の光学式のモーションキャプチャシステムを用いることができる。
【００２２】
なお、コンピュータ１２による身体動作についての解析結果などが、ディスプレイ１６に必要に応じて表示され、被験者Ａ等に提示される。
【００２３】
図示は省略するが、モーションキャプチャシステム１４は、ＰＣ或いはワークステーションのようなコンピュータを含み、当該コンピュータとコンピュータ１２とが、有線または無線ＬＡＮによって通信可能に接続される。
【００２４】
モーションキャプチャシステム１４においては、図２に示すように、複数（１２台）のカメラ１４ａが被験者Ａを前後左右から撮影可能な位置に設定される。ただし、図２はモーションキャプチャシステム１４が設置される部屋を上面から見た場合を示してあり、被験者Ａは位置Ｐ（部屋の中心）で身体動作（この実施例では、ダンス）を行う。カメラ１４ａは、赤外線照射機能を有し、被験者Ａに装着される複数（この実施例では、２０個）の赤外線反射マーカ３０の３次元位置を検出する。図３（Ａ）および図３（Ｂ）に示すように、複数（２０個）の赤外線反射マーカ３０は、被験者Ａの所定の身体部位に装着される。具体的には、図３（Ａ）に示すように、被験者Ａを正面から見て、右前頭部、左前頭部、右肩、左肩、右肘、左肘、右手首、左手首、鎖骨中央部、鳩尾、右腰、左腰、右膝、左膝、右足首、左足首の１６箇所に、また、図３（Ｂ）に示すように、被験者Ａを背面から見て、右後頭部、左後頭部、背中、背中の４箇所に、赤外線反射マーカ３０が装着される。
【００２５】
なお、分かり易く示すために、図３（Ｂ）では、肩、肘、手首、腰、膝、足首に装着された赤外線反射マーカ３０を省略してあるが、これらの身体部位に装着された赤外線反射マーカ３０は背面からも見える（撮影可能な）位置に装着される。
【００２６】
モーションキャプチャシステム１４のコンピュータは、カメラ１４ａから画像データをたとえば１２０Hz（１秒間に１２０フレーム）で取得し、画像データを画像処理することによって、その計測時の全ての画像データにおける各マーカ３０の２次元位置を取得する。そして、コンピュータは、画像データにおける各マーカ３０の２次元位置に基づいて、実空間における各マーカ３０の３次元位置を算出する。次いで、コンピュータは、算出した３次元位置の座標データ（位置データ）をコンピュータ１２の要求に応じて、或いは、定期的に、コンピュータ１２に送信する。
【００２７】
なお、この実施例で用いたモーションキャプチャシステム１４の空間分解能は約１ｍｍである。
【００２８】
ここで、人の身体動作を認識する手法としては、身体部位間の動作相関解析が広く知られている。しかし、ダンス動作は、単調な１つの動きだけで構成されているわけではなく、大きな動きや小さな動きが複雑に絡み合っている。このため、モーションキャプチャシステム１４から得られた位置データに基づいて算出された各関節角度データをそのまま用いて動作相関解析を行っても、大小様々な（周期の異なる）動きの要因が相互に影響し、結果として相関が弱くなる可能性がある。
【００２９】
そこで、この実施例では、コンピュータ１２は、モーションキャプチャシステム１４から得られた位置データに基づいて各関節角度データを算出し、算出した各関節角度データをウェーブレット変換を用いて多重解像度解析し、特定の周波数帯域を持つ単一動作データに分解する。そして、コンピュータ１２は、周波数レベル毎に分解された単一動作データに対し、動作相関解析を行う。このように、多重解像度解析と相関解析との２段構えで、身体動作解析装置１０（コンピュータ１２）は、被験者Ａの身体動作を解析するようにしてある。
【００３０】
ここで、ウェーブレット解析は、マザー・ウェーブレット関数を用いて、時間と周波数との両面から信号（この実施例では、関節角度データ）を分解して分析する手法である。ここで、マザー・ウェーブレット関数Ψ（ｔ）は数１を満たす関数の総称である。
【００３１】
【数１】
2007121217.tif 000003
【００３２】
ここで、マザー・ウェーブレット関数としては、様々なものが提案されているが、この実施例では、Ｄａｕｂｅｃｈｉｅｓのウェーブレット関数を用いてある。また、マザー・ウェーブレット関数をΨ（ｔ）とするとき、離散ウェーブレット変換に基づくウェーブレット展開係数ｄj,kは数２で示される。
【００３３】
【数２】
2007121217.tif 000004
【００３４】
ただし、ウェーブレット展開係数ｄj,kは、ｘ（ｔ）の時点２ｊｋ、周波数レベル２−ｊにおける成分を抽出したものである。このとき、ｘ（ｔ）の周波数レベル２−ｊの成分ｘｊ（ｔ）は、数３で表現することができる。これがレベルｊのウェーブレット・ディテールと呼ばれている。
【００３５】
【数３】
2007121217.tif 000005
【００３６】
上述したような構成の身体動作装置１０では、たとえば、ダンスを踊る被験者Ａの複数の身体部位についての３次元位置の時系列変化がモーションキャプチャシステム１４で検出される。コンピュータ１２は、モーションキャプチャシステム１４で検出された２０箇所の身体部位についての３次元位置の座標データの時系列変化に基づいて、９つの関節角度のデータ（関節角度データ）の時系列変化を算出する。
【００３７】
ここで、９つの関節角度は、右肘の角度、左肘の角度、右脇の角度、左脇の角度、右膝の角度、左膝の角度、右大腿部の角度、左大腿部の角度、そして、身体中心線の傾き（角度）である。右肘（左肘）の角度は、右（左）手首と右（左）肘とを結ぶ直線と、右（左）肘と右（左）肩とを結ぶ直線とがなす角度である。右脇（左脇）の角度は、右（左）肘と右（左）肩とを結ぶ直線と、身体中心線とがなす角度である。ただし、身体中心線は、胴体（鎖骨中央部、鳩尾、背中、背中）に装着された４つの赤外線反射マーカ３０の３次元位置に基づいて算出される。以下、同様である。
【００３８】
また、右膝（左膝）の角度は、右（左）足首と右（左）膝とを結ぶ直線と、右（左）膝と右（左）腰とを結ぶ直線とがなす角度である。右大腿部（左大腿部）の角度は、右（左）膝と右（左）腰を結ぶ直線と、身体中心線とがなす角度である。身体中心線の傾き（角度）は、身体中心線と、地面に垂直な線とがなす角度である。
【００３９】
図４（Ａ）は、ダンス動作における専門家の右肘の関節角度についての時系列データ（元データ）を示すグラフである。ただし、図４（Ａ）に示すグラフにおいて（図４（Ｂ），図５（Ａ），図５（Ｂ），図６も同様。）、縦軸は平均値周りの角度（ラジアン）であり、横軸は経過時間（フレーム）である。図４（Ａ）に示す時系列データを多重解像度解析した結果の一部が、図４（Ｂ）、図５（Ａ）、図５（Ｂ）および図６に示される。図４（Ｂ）はレベル４（周期が０．２５ｓｅｃ程度）の動作を抽出したウェーブレット・ディテールであり、図５（Ａ）はレベル５（周期が０．５ｓｅｃ程度）の動作を抽出したウェーブレット・ディテールであり、図５（Ｂ）はレベル６（周期が１．０ｓｅｃ程度）の動作を抽出したウェーブレット・ディテールであり、図６はレベル７（周期が２．０ｓｅｃ程度）の動作を抽出したウェーブレット・ディテールである。
【００４０】
ところで、ウェーブレット変換はエネルギー保存の法則を満たすことが知られている。このため、エネルギーを分析することで、レベルｊのウェーブレット・ディテールがどの程度元データを説明しているのかを知ることができる。具体的には、レベルｊのウェーブレット・ディテールがどの程度元データを説明しているかの度合い（以下、「寄与率」という。）Ｃｊは、数４で算出することができる。
【００４１】
【数４】
2007121217.tif 000006
【００４２】
この数４に従って算出された寄与率Ｃｊの一例が図７に示される。この寄与率Ｃｊは、上述したように、専門家がダンスを踊った際の時系列データに基づいて算出されたものである。図７では、各身体部位について、レベルｊに対応して寄与率Ｃｊが記述される。ただし、各身体部位は、上述した９つの関節である。
【００４３】
この実施例では、ダンスの巧拙を評価する際の尺度として、（１）ダンスのリズム感と、（２）ダンス動作全体のまとまりの良さとに着目し、これらの尺度を定量化する。ただし、寄与率Ｃｊが所定の閾値（たとえば、１０％）を超えるウェーブレット・ディテールのみを用いて相関解析を行うようにしてある。また、相互相関解析では、相関を取る２つの身体部位の両方の寄与率Ｃｊが所定の閾値を超える場合に解析対象とするようにしてある。
【００４４】
なお、後述する専門家のダンス動作の解析結果は、図７に示す寄与率Ｃｊに基づいて解析対象にするか否かを判断するようにしてある。
【００４５】
たとえば、ヒップホップ系のダンスでは、音楽のリズムにあわせて踊ることが重要視される。リズムにあわせて、ダンスの基本動作を踊った場合、各身体部位はリズム間隔の整数倍周期で同じ動きを繰り返すと考えられる。そこで、この実施例では、音楽のテンポ（１分間のビート回数：ＢＰＭ）と自己相関関数とを組み合わせることにより、ダンス動作のリズム感を評価するようにしてある。
【００４６】
レベルｊのウェーブレット・ディテールをｘｊ（ｔ）とすると、自己相関関数Ｒｘｘ，ｊ（τ）は数５のように定義される。
【００４７】
【数５】
2007121217.tif 000007
【００４８】
ここで、自己相関関数Ｒｘｘ，ｊ（τ）はＲｘｘ，ｊ（０）のときに最大値をとり、ウェーブレット・ディテールｘｊ（ｔ）が周期的であれば、自己相関関数Ｒｘｘ，ｊ（τ）も同じ周期でピークを示す。したがって、たとえば、音楽のビート間隔をτＢとすると、リズムに乗ったダンス動作の場合における動作データの自己相関関数Ｒｘｘ（τ）はτ＝ατＢ（αは整数）のときにピークを示すと考えられる。そこで、この実施例では、自己相関関数Ｒｘｘ，ｊ（τ）がピークを示す時のτの値τＰと、ατＢとの乖離を調べ、リズム感を評価する尺度とする。ただし、この実施例では、自己相関関数Ｒｘｘ，ｊ（τ）をτ＝０で規格化した自己相関係数ｒｘｘ，ｊ（τ）を用いて解析を行うようにしてある。
【００４９】
また、各身体部位の動きがリズムに乗っていたとしても、それぞれの動きに関連がなく、ばらばらに動いている場合には、全身運動のダンス動作として見ると、まとまりに欠けてしまう。つまり、良いダンスとは言いがたい。そこで、この実施例では、身体部位の相互の動きについてどの程度関連性があるのかを相互相関関数によって定量化し、ダンス動作全体のまとまりの良さを評価するようにしてある。ただし、この実施例では、身体部位の相互の関連性を、図８に示すような２４個の組み合わせについて調べた。この図８では、相互相関を調べるための２つの身体部位が示され、それに対応して調べる内容について説明してある。また、図８の左欄に記載の２つの身体部位は、同じ周期で動くべき身体部位の組み合わせである。
【００５０】
また、動作データｘ（ｔ），ｙ（ｔ）のレベルｊのウェーブレット・ディテールをそれぞれｘｊ（ｔ），ｙｊ（ｔ）とすると、ｘｊ（ｔ），ｙｊ（ｔ）の相互相関関数Ｒｘｙ，ｊ（τ）は数６のように定義される。
【００５１】
【数６】
2007121217.tif 000008
【００５２】
ここで、この実施例では、相互相関関数Ｒｘｙ，ｊ（τ）を√｛Ｒｘｘ，ｊ（０）Ｒｙｙ，ｊ（０）｝で規格化した相互相関係数ｒｘｙ，ｊ（τ）を用いて解析を行うようにしてある。
【００５３】
以下、専門家のダンス動作の解析結果とアマチュアのダンス動作の解析結果とを図示し、アマチュアのダンス動作について評価することにする。ただし、前提として、専門家およびアマチュアは同じ振り付けで同じ音楽にあわせてダンスを踊った場合について説明する。
【００５４】
図９〜図１２は、専門家のダンスについての自己相関関数を図示したものである。また、図１３〜図１６は、アマチュアのダンスについての自己相関関数を図示したのものである。横軸は各身体部位であり、縦軸は自己相関関数のパラメータτ（時間（フレーム））である。ただし、レベルは動きの周期（大きさ）を示し、上述したように、レベル４では周期が０．２５ｓｅｃ程度であり、レベル５では周期が０．５ｓｅｃ程度であり、レベル６では周期が１．０ｓｅｃであり、そして、レベル７では周期が２．０ｓｅｃである。また、各図面において、前腕は肘に対応し、上腕は脇に対応し、そして、下腿は膝に対応する。さらに、各図面においては、画素値が白に近づくほど正の相関が強く、黒に近づくほど負の相関が強いことを示している。ただし、灰色の身体部位は無相関を示す。また、各図面において、黒色で網掛けて（塗り潰して）あるのは、解析対象外（寄与率１０％未満）であることを示す。以下、同じ。
【００５５】
図９〜図１２を見ると、専門家のダンスでは、いずれのレベルの動きにおいても、すべての身体部位について自己相関関数のピークと音楽のビート間隔とがぴったりと一致していることが分かる。これに対して、図１３〜図１６に示すように、アマチュアのダンスは、ほとんどの身体部位の動きがリズムに乗れていないことが分かる。ただし、図１４に示すレベル５および図１６に示すレベル７の自己相関関数を見ると、右膝（右下腿部）および左膝（左下腿部）の動きは或る程度リズムに乗ることができていると言える。これらの身体部位（膝）の寄与率は、レベル５では５０％であり、レベル７では１５％程度であり、このことからも、膝の動きは或る程度リズムに乗ることができていると言える。また、膝以外の身体部位の動きについては、レベル７の自己相関関数（大まかな動き）においては、リズムに乗っていると判断することができる。しかし、それ以外のレベル（レベル４〜レベル６）では、寄与率の高い動きができていないことが分かる。
【００５６】
図１７〜図２０は、図１３〜図１６に示した自己相関関数についての被験者と同じ被験者に、ダンスの専門家によるレッスンを何回か受けてもらい、レッスン後に踊ったダンスについての自己相関関数を示す。
【００５７】
図１７〜図２０を見ると、レッスンの結果、アマチュアのダンスに大きな改善が見られることが分かる。ただし、両大腿部については、依然としてリズムに上手く乗れていない。また、左上腕に関しても、図１９に示すレベル６の動きにおいて、ややリズムに乗れていないことが分かる。
【００５８】
なお、アマチュアのダンスに改善が見られた点は他人による主観評価でも明らかであり、また、自己相関関数によってリズムに乗れていないことが分かる身体部位は、専門家が指摘する身体部位と同じであった。
【００５９】
また、ウェーブレット解析による多重解像度解析を用いなかった場合における通常の自己相関関数の結果が図２１および図２２に示される。ただし、図２１は専門家のダンスについての自己相関関数であり、図２２はアマチュアのダンス（レッスン後）についての自己相関関数である。多重解像度解析を用いなかった場合には、図２１および図２２に示すように、専門家とアマチュアとの違いを判定することができず、レッスン後のアマチュアのダンスには何ら欠点が無いように見える。つまり、多重解像度解析を用いない場合には、ダンスを踊った際の各身体部位の動きを適切に評価することができないと言える。
【００６０】
次に、寄与率を考慮に入れて、相互相関関数と音楽のビート情報とを併用して、ダンスの評価（まとまり評価）を行う。上述したように、身体部位の相互の動きについての関連を調べるために、図８に示した２４の組み合わせについてそれぞれ相互相関関数を算出した。
【００６１】
図２３〜図２６は専門家のダンスについての相互相関関数を示す。また、図２７〜図３０はアマチュアのダンスについての相互相関関数を示す。図２３〜図２６を見ると、専門家のダンスでは、特に寄与率の高いレベル（レベル５，６）では、各身体部位の動きがビートと合致し、互いに密接に関連して動いていることが分かる。また、細かい動き（レベル４）に関しても、それぞれの動きに強い相関が見られる。一方、図２７〜図３０を見ると、アマチュアは右膝（右大腿）と左膝（左大腿）との関連は、寄与率の高いレベル５において認められるが、それ以外の身体部位の関連はいずれのレベルにおいても認められない。
【００６２】
図３１〜図３４は、レッスン後のアマチュアのダンスについての相互相関関数を示す。図３１〜図３４を見ると、レッスンを受けたことによって、各身体部位が互いに関連して動くようになったことが分かる。ただし、図３３に示すレベル６の結果を見ると、横縞が波打っているため、関連して動くタイミングがばらばらであるということが分かる。同じくレベル６においては、図２５と図３３と比較すると、左上腕と左大腿部との相関が、専門家と逆の符号になっていることが分かる。
【００６３】
また、どのレベルにおいても、上腕（脇の角度）と大腿部との動きが連動するタイミング（相関がピークを示すτの値）は専門家とアマチュアとでかなり差があり、レッスンを受けたものの、これらの身体部位の動きが上達していないことが分かる。さらに、身体傾き（図中では「胴体」と表記してある。）と大腿部との動きが、寄与率の高いレベル６およびレベル７では関連していると認められるが、レベル５では関連していると認められなかった。つまり、細かい動きについては関連が取れていないことが分かる。
【００６４】
また、ウェーブレット解析による多重解像度解析を用いなかった場合における通常の相互相関関数の結果が図３５および図３６に示される。ただし、図３５は専門家のダンスについての相互相関関数であり、図３６はアマチュアのダンス（レッスン後）についての相互相関関数である。
【００６５】
図３５を見ると、専門家のダンスであっても、通常の相互相関関数ではさほど高い相関は観測されないことが分かる。これは、様々な大きさ（周期）の動きが相互に関連して相関を打ち消していることが原因と考えられる。しかし、ウェーブレット解析による多重解像度解析を行うと、大きさ（周期）の同じ動きのみで相関を見るため、図２３〜図２６に示したような強い相関が認めるのである。
【００６６】
また、専門家とアマチュアとでは、左上腕と左大腿部との相関を比較して見ると、通常の相互相関関数では、アマチュアはこれらの身体部位の動きに関連が無いということしか分からない。しかし、図２５と図３３と比較して見ると、アマチュアは比較的寄与率の高いレベル６においては、相関が認められるが、その符号は専門家のダンス動作についての相関と逆であり、アマチュアは専門家と逆の動きをしていることが分かる。このように、ウェーブレット変換を利用した多重解像度解析と相互相関関数とを用いると、アマチュアのダンスのどの身体部位の動きが適切でないのかを判定できるだけでなく、どの大きさ（周期）の動きがどのように適切でないのかまでを判定することができる。
【００６７】
この実施例によれば、ウェーブレット変換を利用した多重解像度解析と相関関数とを組み合わせるので、どの身体部位のどのレベル（周期）の動き（動きの大きさ）が適切であるかどうかを判定することができる。また、音楽のリズムを相関解析の結果の評価に利用することにより、リズム感、ダンスのまとまりを定量的に評価することができる。
【００６８】
なお、この実施例では、ダンスの専門家およびアマチュアがそれぞれダンスを踊った場合にはおけるダンス動作の自己相関関数および相互相関関数を比較することにより、ダンスを評価するようにしてある。しかし、これに限定される必要はなく、図７に示したような寄与率を専門家およびアマチュアについて算出し、寄与率が一致するか否かでダンスを評価することもできる。
【００６９】
また、この実施例では、ダンス動作を評価するようにしたが、これに限定される必要はない。たとえば、リハビリを行っている患者の歩行動作を評価（判定）することもできる。また、ダンス動作のように、専門家の動作と対比することが可能であれば、当該動作を判定するものとして使用することができる。たとえば、野球やゴルフのスウィング動作、ボーリングの投球動作、体操などの動作が該当する。
【図面の簡単な説明】
【００７０】
【図１】図１はこの発明の身体動作解析装置の一例を示す図解図である。
【図２】図２は図１実施例に示すモーションキャプチャシステムが適用される環境の一例を示す図解図である。
【図３】図３は図１実施例に示すモーションキャプチャシステムで検出するマーカの被験者への装着状態を示す図解図である。
【図４】図４（Ａ）はダンスを踊る専門家の右肘の関節角度の時系列変化（元データ）を示すグラフであり、図４（Ｂ）は図４（Ａ）に示す元データについてのレベル４のウェーブレット・ディテールを示すグラフである。
【図５】図５（Ａ）は図４（Ａ）に示す元データについてのレベル５のウェーブレット・ディテールを示すグラフであり、図５（Ｂ）は図４（Ａ）に示す元データについてのレベル６のウェーブレット・ディテールである。
【図６】図６は図４（Ａ）に示す元データについてのレベル７のウェーブレット・ディテールである。
【図７】図７は専門家がダンスした際の各身体部位についてのウェーブレット・ディテールの寄与率を示す図解図である。
【図８】図８は相互相関関係を調べる対象および調べる内容を示す図解図である。
【図９】図９は専門家のレベル４のダンス動作についての自己相関関数を示す図解図である。
【図１０】図１０は専門家のレベル５のダンス動作についての自己相関関数を示す図解図である。
【図１１】図１１は専門家のレベル６のダンス動作についての自己相関関数を示す図解図である。
【図１２】図１２は専門家のレベル７のダンス動作についての自己相関関数を示す図解図である。
【図１３】図１３はアマチュアのレベル４のダンス動作についての自己相関関数を示す図解図である。
【図１４】図１４はアマチュアのレベル５のダンス動作についての自己相関関数を示す図解図である。
【図１５】図１５はアマチュアのレベル６のダンス動作についての自己相関関数を示す図解図である。
【図１６】図１６はアマチュアのレベル７のダンス動作についての自己相関関数を示す図解図である。
【図１７】図１７はレッスン後におけるアマチュアのレベル４のダンス動作についての自己相関関数を示す図解図である。
【図１８】図１８はレッスン後におけるアマチュアのレベル５のダンス動作についての自己相関関数を示す図解図である。
【図１９】図１９はレッスン後におけるアマチュアのレベル６のダンス動作についての自己相関関数を示す図解図である。
【図２０】図２０はレッスン後におけるアマチュアのレベル７のダンス動作についての自己相関関数を示す図解図である。
【図２１】図２１は専門家のダンス動作における通常の自己相関関数を示す図解図である。
【図２２】図２２はアマチュアのダンス動作における通常の自己相関関数を示す図解図である。
【図２３】図２３は専門家のレベル４のダンス動作についての相互相関関数を示す図解図である。
【図２４】図２４は専門家のレベル５のダンス動作についての相互相関関数を示す図解図である。
【図２５】図２５は専門家のレベル６のダンス動作についての相互相関関数を示す図解図である。
【図２６】図２６は専門家のレベル７のダンス動作についての相互相関関数を示す図解図である。
【図２７】図２７はアマチュアのレベル４のダンス動作についての相互相関関数を示す図解図である。
【図２８】図２８はアマチュアのレベル５のダンス動作についての相互相関関数を示す図解図である。
【図２９】図２９はアマチュアのレベル６のダンス動作についての相互相関関数を示す図解図である。
【図３０】図３０はアマチュアのレベル７のダンス動作についての相互相関関数を示す図解図である。
【図３１】図３１はレッスン後におけるアマチュアのレベル４のダンス動作についての相互相関関数を示す図解図である。
【図３２】図３２はレッスン後におけるアマチュアのレベル５のダンス動作についての相互相関関数を示す図解図である。
【図３３】図３３はレッスン後におけるアマチュアのレベル６のダンス動作についての相互相関関数を示す図解図である。
【図３４】図３４はレッスン後におけるアマチュアのレベル７のダンス動作についての相互相関関数を示す図解図である。
【図３５】図３５は専門家のダンス動作における通常の相互相関関数を示す図解図である。
【図３６】図３６はアマチュアのダンス動作における通常の相互相関関数を示す図解図である。
【符号の説明】
【００７１】
１０  …身体動作解析装置
１２  …コンピュータ
１４  …モーションキャプチャシステム
１６  …ディスプレイ
【図１】
2007121217.tif 000009
【図２】
2007121217.tif 000010
【図３】
2007121217.tif 000011
【図４】
2007121217.tif 000012
【図５】
2007121217.tif 000013
【図６】
2007121217.tif 000014
【図７】
2007121217.tif 000015
【図８】
2007121217.tif 000016
【図９】
2007121217.tif 000017
【図１０】
2007121217.tif 000018
【図１１】
2007121217.tif 000019
【図１２】
2007121217.tif 000020
【図１３】
2007121217.tif 000021
【図１４】
2007121217.tif 000022
【図１５】
2007121217.tif 000023
【図１６】
2007121217.tif 000024
【図１７】
2007121217.tif 000025
【図１８】
2007121217.tif 000026
【図１９】
2007121217.tif 000027
【図２０】
2007121217.tif 000028
【図２１】
2007121217.tif 000029
【図２２】
2007121217.tif 000030
【図２３】
2007121217.tif 000031
【図２４】
2007121217.tif 000032
【図２５】
2007121217.tif 000033
【図２６】
2007121217.tif 000034
【図２７】
2007121217.tif 000035
【図２８】
2007121217.tif 000036
【図２９】
2007121217.tif 000037
【図３０】
2007121217.tif 000038
【図３１】
2007121217.tif 000039
【図３２】
2007121217.tif 000040
【図３３】
2007121217.tif 000041
【図３４】
2007121217.tif 000042
【図３５】
2007121217.tif 000043
【図３６】
2007121217.tif 000044