(57)【要約】      （修正有）【課題】動作とそれに伴う筋活動の適切さとを可視的にフィードバックする装置を提供する。【解決手段】重畳画像作成部１１６が、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像を用い、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像を生成する。筋活動度画像生成部１１７が、当該特定の動作タイミングで得られた動作主体の複数の筋電位に由来する筋活動度画像を生成する。合成部１１８は、重畳画像と筋活動度画像とを合成した合成画像を生成して出力する。【選択図】図１
2015221134.tif 000002
【特許請求の範囲】
【請求項１】
特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、前記特定の動作タイミングで得られた前記動作主体の複数の筋電位に由来する筋活動度画像と、の合成画像を出力する運動可視化装置。
【請求項２】
請求項１の運動可視化装置であって、
前記複数の筋電位は、前記動作主体による複数回の動作過程で得られたものである、運動可視化装置。
【請求項３】
請求項１または２の運動可視化装置であって、
前記複数の筋電位は、前記動作主体の複数の測定箇所で得られたものである、運動可視化装置。
【請求項４】
請求項１から３の何れかの運動可視化装置であって、
複数の筋活動度のそれぞれが前記複数の筋電位のそれぞれに対応し、
前記筋活動度画像は、前記複数の筋活動度の関係から得られる値を表す画像、前記複数の筋活動度のばらつきを表す画像、前記複数の筋活動度の相対値を表す画像、または前記複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む、運動可視化装置。
【請求項５】
請求項１から４の何れかの運動可視化装置であって、
前記複数の筋電位は、前記動作主体の主動筋の筋電位および前記主動筋に対応する拮抗筋の筋電位を含み、
前記筋活動度画像は、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の関係から得られる値を表す画像、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値を表す画像、または、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像の少なくとも何れかを含む、運動可視化装置。
【請求項６】
請求項５の運動可視化装置であって、
前記筋活動度画像は、前記拮抗筋の筋電位に対応する筋活動度を前記主動筋の筋電位に対応する筋活動度で除した値を表す画像、または、前記拮抗筋の筋電位に対応する筋活動度を前記主動筋の筋電位に対応する筋活動度で除した値のばらつきを表す画像である、運動可視化装置。
【請求項７】
請求項１から６の何れかの運動可視化装置であって、
前記筋活動度画像は、前記複数の筋電位から得られる複数の筋の活動開始時点に由来する画像を含む、運動可視化装置。
【請求項８】
請求項１から７の何れかの運動可視化装置であって、
前記筋活動度画像は、前記複数の筋電位から得られる複数の筋の活動開始時点の順序関係に由来する画像を含む、運動可視化装置。
【請求項９】
請求項１から８の何れかの運動可視化装置であって、
前記筋活動度画像は、複数の統合特徴量に由来する画像を含み、
前記統合特徴量のそれぞれは、前記特定の動作タイミングで得られた前記複数の画像のそれぞれと、前記特定の動作タイミングで得られた前記複数の筋電位のそれぞれと、の両方に由来する特徴量である、運動可視化装置。
【請求項１０】
請求項１から９の何れかの運動可視化装置であって、
前記動作主体の画像と前記動作主体の筋電位との両方に由来する特徴量に基づいて、前記動作主体の時系列の画像から前記特定の動作タイミングで得られた動作主体の複数の画像を抽出し、前記動作主体の時系列筋の電位から前記特定の動作タイミングで得られた前記動作主体の複数の筋電位を抽出する、運動可視化装置。
【請求項１１】
請求項１から１０の何れかの運動可視化装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、身体動作を可視的にフィードバックする技術に関する。
【背景技術】
【０００２】
身体動作を可視的にフィードバックする手法が提案されている。例えば、非特許文献２には、ＭＨＩ（Motion History Image)と呼ばれる特徴量（非特許文献１等参照）を用い、運動（例えば、投球運動）を撮影した映像から特定の動作イベント（例えば、足挙げやボールリリースなど）の映像を抽出し、これを手本となる動作映像に同期させて提示する手法が開示されている。また、非特許文献３には、筋の活動に伴う筋電位信号を可視的に提示する着用型発光センサスーツが開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Md. A. R. Ahad et al., Motion history images: its variants and applications, Machine Vision and Applications, 2012.
【非特許文献２】三上ら，動作学習のための遅延同期ビデオフィードバックシステム，情報処理学会 コンシューマ・デバイス＆システム（CDS）研究会，CDS8-2, 2013.
【非特許文献３】五十嵐ら,下肢運動状態の認知を支援する着用型発光センサスーツ, 情報処理学会インタラクション2011.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献２の手法では姿勢の適切さをフィードバックすることはできるが、そのときにどのように身体部位、つまり筋を使っていたかをフィードバックすることはできない。また、非特許文献３の手法ではどのように筋を使っていたかをフィードバックすることはできるが、筋の活動の適切さをフィードバックすることはできない。
【０００５】
本発明はこのような点に鑑みてなされたものであり、動作とそれに伴う筋活動の適切さとを可視的にフィードバックすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、当該特定の動作タイミングで得られた動作主体の複数の筋電位に由来する筋活動度画像と、の合成画像を出力する。
【発明の効果】
【０００７】
これにより、動作とそれに伴う筋活動の適切さを可視的にフィードバックできる。
【図面の簡単な説明】
【０００８】
【図１】図１は実施形態の運動可視化装置の機能構成を例示するためのブロック図である。
【図２】図２は実施形態の動作タイミング照合部の機能構成を例示するためのブロック図である。
【図３】図３Ａは実施形態の事前処理を説明するためのフロー図である。図３Ｂは実施形態の運動可視化処理を説明するためのフロー図である。
【図４】図４は図３Ｂの動作タイミング照合処理を説明するためのフロー図である。
【図５】図５は動作タイミングを例示するためのブロック図である。
【図６】図６Ａおよび図６Ｂは実施形態で得られた画像を例示した図である。
【図７】図７Ａおよび図７Ｂは実施形態で得られた画像を例示した図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態を説明する。
［概要］
まず概要を説明する。実施形態では、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、特定の動作タイミングで得られた当該動作主体の複数の筋電位に由来する（言い換えると、複数の筋電位から導き出される）筋活動度画像とを合成し、それによって得られる合成画像を表示する。合成画像は「複数」の画像や筋電位に由来する。そのため、「単数」の画像や筋電位のみに由来する情報からは判断が困難な「動作とそれに伴う筋活動の適切さ」の可視的なフィードバックが可能となる。
【００１０】
「動作主体」は人であってもよいし、人以外（例えば、動物）であってもよい。単数の「動作主体」の例は、動作のフィードバック対象となる一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行うフィードバック対象の動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体（フィードバック対象の動作主体を含む）とからなる複数の動作主体、または手本となる動作主体以外の複数の動作主体（フィードバック対象の動作主体を含む）などである。
【００１１】
複数の画像は、単数または複数の動作主体の複数回の動作過程で撮影されたものであってもよいし、複数の動作主体の１回の動作過程で撮影されたものであってもよい。これらの画像は動作主体の全身の画像であってもよいし、動作主体の一部の部位（例えば、上半身や足など）の画像であってもよい。
【００１２】
「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の１回の動作過程で得られたものであってもよい。「複数の筋電位」は、例えば、「複数の画像」に表された動作主体の動作に関与（寄与）する単数または複数の筋の筋電位（例えば、この動作主体の動作に関与する主動筋の筋電位やそれに対応する拮抗筋の筋電位）を含む。
【００１３】
「筋活動度画像」は、例えば、複数の筋活動度の関係から得られる値を表す画像、複数の筋活動度のばらつきを表す画像、複数の筋活動度の相対値を表す画像、または複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。ただし、複数の筋活動度のそれぞれが、複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値（例えば、単調増加関数値）である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。あるいは、「筋活動度画像」が、筋電位または筋活動度を周波数領域に変換して得られた複数の値に由来するもの（周波数スペクトル等）でもよい。以上のような画像により、動作に伴う筋活動の適切さを可視的にフィードバックできる。
【００１４】
複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で複数回の動作の試行過程で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。
【００１５】
複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。
【００１６】
「ばらつきを表す画像」は、ばらつきの大きさを表した画像である。「ばらつきを表す画像」の例は、（Ｆ−１）縦軸と横軸とを時間軸とし、各時間に対応する座標に、当該時間でのばらつきの大きさに応じた「色合い」の点をプロットした等高線プロットや、（Ｆ−２）横軸を時間軸とし、縦軸を各時間でのばらつきの大きさを表す軸とし、各時間に対応するばらつきの大きさプロットした時系列グラフや、（Ｆ−３）横軸をばらつきの大きさを表す軸とし、縦軸をばらつきの頻度を表す軸とし、各ばらつきの頻度を棒グラフで表したヒストグラムなどである。「相対値を表す画像」は、相対値またはその大きさを表した画像である。「相対値を表す画像」の例は、上記の（Ｆ−１）〜（Ｆ−３）の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した画像等である。
【００１７】
「複数の筋電位」が、動作主体の主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「筋活動度画像」が、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の関係から得られる値を表す画像、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値を表す画像、または当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像の少なくとも何れかを含んでもよい。この画像によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値（割った値）とした場合、拮抗筋の活動水準（主動筋活動に対する拮抗筋活動の割合）を定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。上述の「筋活動度画像」では、動作に伴う主動筋活動と拮抗筋活動との関係を提示できるため、この力み度合をフィードバックできる。
【００１８】
「筋活動度画像」が複数の筋電位から得られる複数の筋（例えば、ある動作主体の動作または一連の動作に関与する複数の筋）の「活動開始時点」に由来する画像を含んでもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この筋活動度画像により、筋活動の開始タイミングに関する情報（例えば、筋活動の開始タイミングのばらつきや相対値や適切さ）を表現できる。例えば、筋活動度画像が複数の筋の「活動開始時点」のばらつきを表す画像を含んでもよいし、相対値を表す画像を含んでもよいし、相対値のばらつきを表す画像を含んでもよいし、複数の筋の活動開始時点の順序関係に由来する画像を含むことにしてもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係に由来する画像の例は、（Ｆ−４）各筋に対応する色合いの点を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、（Ｆ−５）各筋に対応する識別子（番号等）を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、（Ｆ−６）複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで「色合い」や「明るさ」が相違する画像や、（Ｆ−７）複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど、特定の「色合い」や「明るさ」に近づく画像や、（Ｆ−８）複数の筋の活動開始時点の順序関係が適切な順序関係にどれだけ近いかを表すスコアやその大きさを表す図形を含む画像などである。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したかをフィードバックできる。
【００１９】
筋活動度画像が複数の「統合特徴量」に由来する画像を含んでもよい。ただし、「統合特徴量」のそれぞれは、特定の動作タイミングで得られた複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位のそれぞれと、の両方に由来する特徴量である。例えば、各統合特徴量は、特定の動作タイミングで得られた画像とその画像に表れた動作に関与する筋の筋電位との両方に由来する。これにより、動作イベントでの姿勢と筋活動との相関関係を可視化してフィードバックできる。
【００２０】
「特定の動作タイミング」とは、一連の動作イベントからなる動作（例えば、投球運動）における特定の動作イベント（例えば、足挙げやボールリリースなど）のタイミング（時間または時間区間）を意味する。実施形態では、動作主体の画像、動作主体の筋電位、またはそれらの両方に由来する特徴量に基づいて、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の「複数の画像」を抽出し、動作主体の時系列の筋電位から特定の動作タイミングで得られた動作主体の「複数の筋電位」を抽出する。特に、画像と筋電位との両方に由来する特徴量に基づくことで、「特定の動作タイミング」での「複数の画像」および「複数の筋電位」を精度よく抽出できる。以下、図面を用いて各実施形態を詳細に説明する。
【００２１】
［第１実施形態］
第１実施形態を説明する。
＜構成＞
図１に例示するように、本形態のシステムは、例えば運動可視化装置１１と画像提示装置１２とを有する。運動可視化装置１１は、動作タイミング検出部１１１と特徴量算出部１１２と特徴量記憶部１１３と動作タイミング照合部１１４と照合結果記憶部１１５と重畳画像作成部１１６と筋活動度画像生成部１１７と合成部１１８とを有する。図２に例示するように、動作タイミング照合部１１４は、特徴量抽出部１１４１と類似度算出部１１４２と動作タイミング検出部１１４３と画像抽出部１１４４と筋活動度抽出部１１４５と終了判定部１１４６とを有する。運動可視化装置１１は、例えば、プロセッサ（例えば、１個以上のＣＰＵ（central processing unit）を含むハードウェア）やメモリ（例えば、ＲＡＭ（random-access memory）やＲＯＭ（read-only memory））を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。画像提示装置１２は、例えば、液晶ディスプレイ等の表示装置である。
【００２２】
＜事前処理（図３Ａ）＞
事前処理では、特定の動作タイミングでの動作イベントに対応する特徴量を取得する。まず、動作タイミング検出部１１１に、特定の動作主体の一連の動作をカメラで撮影して得られた時系列の画像（映像）およびこの動作主体の一連の筋活動を測定して得られた時系列の筋電位を表す筋電位信号の少なくとも一方、ならびに、１個以上の動作タイミングを指定するためのタイミング指定情報が入力される。映像および筋電位信号は、事前に得られて記憶装置（図示せず）に格納されていたものであってもよいし、リアルタイムに得られるものであってもよい。
【００２３】
筋電位信号は、例えば、動作主体の動作に関与する単数または複数の筋（主動筋や拮抗筋等）の近傍の単数または複数の測定箇所（例えば、皮膚表面）に電極を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。例えば、１個の測定箇所からは１系統の時系列の筋電位を表す筋電位信号が得られる。例えば、主動筋の筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋の筋電位信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。
【００２４】
タイミング指定情報は、例えば、ユーザによって任意に選択された特定の動作タイミングを表す時間または時間区間を指定する情報である。これらの時間や時間区間は、相対的な時間であってもよいし、絶対的な時間であってもよい。例えば、図５に例示するように、投球運動は「（ａ）脚上げ」「（ｂ）踏み出し」「（ｃ）接地」「（ｄ）ボールリリース」といった複数の動作イベントからなる。このとき「（ｄ）ボールリリース」の動作タイミングを表す時間（または時間区間）を指定するのであれば、投球運動の開始時（「（ａ）脚上げ」の開始時）に対する「（ｄ）ボールリリース」の開始時（または開始時と終了時）の相対的な時間を指定してもよいし、「（ｄ）ボールリリース」の開始時（または開始時と終了時）の絶対的な時間を指定してもよい。また、タイミング指定情報が２以上の動作タイミングの時間または時間区間を指定してもよい。例えば、タイミング指定情報が「（ｂ）踏み出し」と「（ｄ）ボールリリース」の動作タイミングの時間または時間区間を指定してもよい。また、動作タイミングが時間区間である場合、特定の時間を指定することでこの時間区間が指定されてもよい。この「特定の時間」は、動作タイミングである時間区間を特定するための基準となる時間であり、例えば、動作タイミングである時間区間の開始時間や中心時間などを例示できる。
【００２５】
動作タイミング検出部１１１は、入力された時系列の画像および／または時系列の筋電位信号から、タイミング指定情報で特定される動作タイミングの画像および／または筋電位信号を抽出する。動作タイミング検出部１１１は、タイミング指定情報で特定される時間または時間区間の画像および／または筋電位信号のみを抽出してもよいし、さらにその時間または時間区間よりも前の時間区間や後の時間区間の画像および／または筋電位信号を抽出してもよい。あるいは、動作タイミング検出部１１１は、タイミング指定情報で特定される時間区間よりも狭い時間区間の画像および／または筋電位信号を抽出してもよい。例えば、タイミング指定情報が図５の「（ｂ）踏み出し」の開始時と終了時を指定する場合、動作タイミング検出部１１１は、「（ｂ）踏み出し」の開始時から終了時までの画像および／または筋電位信号のみを抽出してもよいし、さらに「（ｂ）踏み出し」の開始時よりも前や後の時間区間の画像および／または筋電位信号を抽出してもよい。あるいは、「（ｂ）踏み出し」の開始時から終了時までの時間区間よりも狭い時間区間の画像および／または筋電位信号のみを抽出してもよい。抽出された画像および／または筋電位信号は特徴量算出部１１２に送られる。複数の動作タイミングに対して画像および／または筋電位信号が抽出された場合には、抽出された画像および／または筋電位信号とそれに対応する動作タイミングを識別する情報とが関連付けられて出力される（ステップＳ１１１）。
【００２６】
特徴量算出部１１２は、入力された画像および／または筋電位信号が表す筋電位に由来する特徴量（動作タイミングの特徴量）を算出して出力する（ステップＳ１１２）。入力された画像および／または筋電位信号が複数の動作タイミング（例えば、「（ｂ）踏み出し」と「（ｄ）ボールリリース」の動作タイミング）に対応する場合には、特徴量算出部１１２は、各動作タイミングに対応する特徴量を算出して出力する。この特徴量は、画像に由来するものであってもよいし、筋電位に由来するものであってもよいし、画像と筋電位との両方に由来するものであってもよい。画像と筋電位との両方に由来する特徴量は、画像に由来する特徴量と筋電位に由来する特徴量と含むものであってもよいし、画像に対応する値と筋電位に対応する値との関数値（例えば、相対値）に由来するものであってもよい。筋電位の測定箇所の近傍の筋が関与する動作部位（上半身や足等）の画像に対応する値と、当該測定箇所で得られた筋電位に対応する値と、に由来する特徴量であってもよい。「筋電位に対応する値」は、筋電位または筋電位の関数値である。「筋電位に対応する値」は「筋活動度」と同じであってもよいし、異なっていてもよい。以下に各特徴量を例示する。
【００２７】
《動作タイミングの画像に由来する特徴量の例》
画像に由来する特徴量としては前述のＭＨＩがある。以下にＭＨＩによる特徴量を例示する。
【数１】
2015221134.tif 000003
ただし、Ｈ（ｘ，ｙ，ｔ）は時間ｔでの座標（ｘ,ｙ）の特徴量（ＭＨＩのピクセル値）を表す。ｄ（ｘ，ｙ，ｔ）は動き検出関数であり、ｄ（ｘ，ｙ，ｔ）＝１は時間ｔで画像の座標（ｘ,ｙ）のピクセル値に変化があったことを示す。大きいｔほど新しい時間を表す。ρは正値の減衰量である。ｍａｘ（α，β）はα≧βのときαを返し、α＜βのときにβを返す。Ｈ（ｘ，ｙ，ｔ）の初期値は例えば０とする。例えば、動作タイミングが特定の時間ｔである場合、この時間ｔでのすべての座標（ｘ，ｙ）でのＨ（ｘ，ｙ，ｔ）（ただし、ｘ＝ｘ１，…，ｘ２、ｙ＝ｙ１，…，ｙ２、ｘ１＜ｘ２、ｙ１＜ｙ２）を要素とする集合を特徴量とする。例えば、図５では、「（ａ）脚上げ」「（ｂ）踏み出し」「（ｃ）接地」「（ｄ）ボールリリース」という４個の動作イベントにそれぞれ対応する時間ｔでのＨ（ｘ１，ｙ１，ｔ），…，Ｈ（ｘ２，ｙ２，ｔ）からなる集合を特徴量としている。例えば、動作タイミングが特定の時間区間［ｔ１，ｔ２］である場合、この時間区間［ｔ１，ｔ２］でのすべての座標（ｘ,ｙ）（ただし、ｘ＝ｘ１，…，ｘ２、ｙ＝ｙ１，…，ｙ２、ｘ１＜ｘ２、ｙ１＜ｙ２）でのＨ（ｘ，ｙ，ｔ）（ただし、ｔ＝ｔ１，…，ｔ２）を要素とする集合を特徴量とする。あるいは、時間区間［ｔ１，ｔ２］でのすべての座標（ｘ,ｙ）でのＨ（ｘ，ｙ，ｔ）を所定の時間区間Ｔごとに時間平均した値Ｈ（ｘ，ｙ，Ｔ）（ただし、ｘ＝ｘ１，…，ｘ２、ｙ＝ｙ１，…，ｙ２、ｘ１＜ｘ２、ｙ１＜ｙ２）を要素とする集合を特徴量としてもよい。あるいは、ある時間区間においてＨ（ｘ，ｙ，ｔ）やＨ（ｘ，ｙ，Ｔ）を周波数領域に変換したものを特徴量としてもよい。
【００２８】
《動作タイミングの筋電位に由来する特徴量の例１》
動作タイミングで筋活動に特徴的な変化があるような場合（例えば、「（ｄ）ボールリリース」で上肢筋活動に大きなピークが現れる）、筋電位信号が表す筋電位に対応する値の時間変化量、または、筋電位に対応する値の時間変化量を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさの時間変化量、または、筋電位の大きさの時間変化量を要素とする集合を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間ｔであり、Ｉ個（ただし、Ｉは１以上の整数）の測定箇所で得られた筋電位信号Ｖｉ（ｔ）およびＶｉ（ｔ−１）（ただし、ｉは測定箇所に対応するチャネルｉ＝１，…，Ｉ）が入力される場合、筋電位信号Ｖｉ（ｔ），Ｖｉ（ｔ−１）がそれぞれ示す筋電位の大きさＭｉ（ｔ），Ｍｉ（ｔ−１）の時間変化量ΔＭｉ（ｔ）＝Ｍｉ（ｔ）−Ｍｉ（ｔ−１）または時間変化量ΔＭ１（ｔ），・・・，ΔＭＩ（ｔ）からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間［ｔ１，ｔ２］である場合、時間区間［ｔ１，ｔ２］での時間変化量ΔＭｉ（ｔ）＝Ｍｉ（ｔ）−Ｍｉ（ｔ−１）からなる集合を特徴量としてもよいし、時間変化量ΔＭｉ（ｔ）を所定の時間区間Ｔごとに時間平均した時間変化量ΔＭｉ（Ｔ）からなる集合を特徴量としてもよい。あるいは、筋電位信号が表す筋電位に対応する値を周波数領域に変換した値の時間変化量、または、このような周波数領域に変換した値の時間変化量を要素とする集合を特徴量としてもよい。
【００２９】
《動作タイミングの筋電位に由来する特徴量の例２》
入力された筋電位信号が表す筋電位に対応する値、または、筋電位に対応する値を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさ、または、筋電位の大きさを要素とする集合を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間ｔであり、Ｉ個の測定箇所で得られた筋電位信号Ｖｉ（ｔ）が示す筋電位の大きさＭｉ（ｔ）またはＭ１（ｔ），・・・，ＭＩ（ｔ）からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間［ｔ１，ｔ２］である場合、時間区間［ｔ１，ｔ２］での筋電位の大きさＭｉ（ｔ）からなる集合を特徴量としてもよいし、筋電位の大きさＭｉ（ｔ）を所定の時間区間Ｔごとに時間平均したＭｉ（Ｔ）からなる集合を特徴量としてもよい。あるいは、筋電位信号が表す筋電位に対応する値を周波数領域に変換した値、または、このような周波数領域に変換した値を要素とする集合を特徴量としてもよい。
【００３０】
《動作タイミングの画像と筋電位との両方に由来する特徴量の例１》
画像に由来する特徴量と筋電位信号が表す筋電位に対応する値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のＨ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）との相対値や、Ｈ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）との相対値や、このような相対値を要素とする集合を特徴量としてもよい。具体的には、例えば、チャネルｉの測定箇所の近傍の筋が関与する動作部位の単数または複数の座標のＨ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）との相対値（例えば、Ｈ（ｘ，ｙ，ｔ）／ΔＭｉ（ｔ））や、このようなＨ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）との相対値（例えば、Ｈ（ｘ，ｙ，Ｔ）／ΔＭｉ（Ｔ））や、このような相対値を要素とする集合を特徴量としてもよい。また、上述のように時間区間Ｔごとに時間平均して得られたＨ（ｘ，ｙ，Ｔ）とＭｉ（Ｔ）との相対値や、Ｈ（ｘ，ｙ，Ｔ）とＭｉ（Ｔ）との相対値や、このような相対値を要素とする集合を特徴量としてもよい。また、これらの例においてＨ（ｘ，ｙ，ｔ）やΔＭｉ（ｔ）やＨ（ｘ，ｙ，Ｔ）やΔＭｉ（Ｔ）を周波数領域の値に置換した特徴量であってもよい。あるいは、画像に由来する特徴量と筋電位信号が表す筋電位に対応する値を周波数領域に変換した値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。
【００３１】
《動作タイミングの画像と筋電位との両方に由来する特徴量の例２》
画像に由来する特徴量と筋電位信号が表す筋電位に対応する値との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のＨ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，ｔ）とΔＭｉ（ｔ）とＭｉ（ｔ）とを要素とする集合や、Ｈ（ｘ，ｙ，Ｔ）とΔＭｉ（Ｔ）とＭｉ（Ｔ）とを要素とする集合を特徴量としてもよい。さらにこのような集合に、動作タイミングの画像と筋電位との両方に由来する特徴量の例１の特徴量を加えた集合を特徴量としてもよい。また、これらの例においてＨ（ｘ，ｙ，ｔ）やΔＭｉ（ｔ）やＨ（ｘ，ｙ，Ｔ）やΔＭｉ（Ｔ）を周波数領域の値に置換した特徴量であってもよい。
【００３２】
上述のように得られた動作タイミングの特徴量は特徴量記憶部１１３に格納される（ステップＳ１１３）。
【００３３】
＜画像生成処理（図３Ｂ）＞
動作タイミング照合部１１４に、特定の動作主体の一連の動作（例えば、投球運動）をカメラで撮影して得られた時系列の画像、および当該動作主体の一連の筋活動を測定して得られた時系列の筋電位を表す筋電位信号が入力される。これらの画像および筋電位信号は、単数の動作主体が上述の一連の動作を複数回繰り返し行って得られたもの（単数の動作主体による複数回の動作過程で得られたもの）であってもよいし、複数の動作主体のそれぞれが順番に上述の一連の動作を単数回または複数回行って得られたもの（複数の動作主体による複数回の動作過程で得られたもの）であってもよい。複数の筋電位は、動作主体の単数の測定箇所で得られたものであってもよいし、複数の測定箇所で得られたものであってもよい。動作タイミング照合部１１４は、特徴量記憶部１１３から読み出した特徴量を用い、入力された画像および筋電位信号から、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の複数の画像を抽出し、動作主体の時系列の筋電位から特定の動作タイミングで得られた動作主体の複数の筋電位を抽出する。動作タイミング照合部１１４は、抽出した複数の筋電位のそれぞれに対応する筋活動度を得、複数の画像および筋活動度を照合結果記憶部１１５に格納する（ステップＳ１１４）。以下、この処理の詳細を例示する。
【００３４】
≪動作タイミング照合（ステップＳ１１４）の詳細の例示（図４）≫
動作タイミング照合部１１４（図２）の特徴量抽出部１１４１に、未処理（ステップＳ１１４の処理が実行されていない）の時間区間［ｔｓ，ｔｅ］（ただし、ｔｓ＜ｔｅ）での時系列の画像および時系列の筋電位を表す筋電位信号の少なくとも一方が入力される。時間区間［ｔｓ，ｔｅ］は、１回の一連の動作（例えば、投球動作）が行われる時間区間、またはそれと仮定された時間区間である。時間区間［ｔｓ，ｔｅ］の決定は、例えば、ユーザからの入力に基づいて行われてもよいし、予め定められた時間ごとに区分することによって行われてもよいし、入力された時系列の画像に付加された時間区間を表す情報に基づいて行われてもよい。特徴量抽出部１１４１は、時間区間［ｔｓ，ｔｅ］に属する複数の時間または時間区間について、当該時間または時間区間での画像および／または筋電位信号が表す筋電位に由来する特徴量を算出して出力する。ただし、特徴量抽出部１１４１は、前述の特徴量算出部１１２と同じ方法で特徴量を算出する。特徴量は類似度算出部１１４２に送られる（ステップＳ１１４１）。
【００３５】
類似度算出部１１４２は、ステップＳ１１４１で得られた各時間または各時間区間での特徴量と、特徴量記憶部１１３から読み出した動作タイミングの特徴量との類似度を、各時間または各時間区間について算出して出力する。特徴量記憶部１１３に複数の動作タイミングの特徴量が格納されている場合には、類似度算出部１１４２は、それぞれの動作タイミングの特徴量について類似度を算出して出力する。類似度は動作タイミング検出部１１４３に送られる（ステップＳ１１４２）。
【００３６】
動作タイミング検出部１１４３は、時間区間［ｔｓ，ｔｅ］内において類似度がピークとなる時間または時間区間を検出する。動作タイミング検出部１１４３に複数の動作タイミングの類似度が送られる場合には、それぞれの動作タイミングの類似度についてピークとなる時間または時間区間を検出する。なお、ピークの類似度が所定の閾値を超えるという制限を課してもよい。動作タイミング検出部１１４３は、検出した時間または時間区間を、動作タイミングを表す時間または時間区間として出力する。検出された動作タイミングを表す時間または時間区間は、画像抽出部１１４４および筋活動度抽出部１１４５に送られる（ステップＳ１１４３）。
【００３７】
画像抽出部１１４４には、時間区間［ｔｓ，ｔｅ］での時系列の画像と動作タイミングを表す時間または時間区間とが入力される。画像抽出部１１４４は、動作タイミングを表す時間または時間区間での画像（特定の動作タイミングで得られた画像）を抽出し、照合結果記憶部１１５（図１）に格納する（ステップＳ１１４４）。
【００３８】
筋活動度抽出部１１４５には、時間区間［ｔｓ，ｔｅ］での時系列の筋電位を表す筋電位信号と動作タイミングを表す時間または時間区間とが入力される。筋活動度抽出部１１４５は、動作タイミングを表す時間または時間区間での筋電位信号を抽出し、抽出した筋電位信号が表す筋電位（特定の動作タイミングで得られた動作主体の筋電位）に対応する値を筋活動度として算出し、照合結果記憶部１１５に格納する。「筋活動度」の例は前述の通りであり、例えば、筋電位の絶対振幅値や平均二乗振幅値を筋活動度とすることができる（ステップＳ１１４５）。
【００３９】
終了判定部１１４６は、動作タイミング照合部１１４に入力された時系列の画像および筋電位信号に未処理の時間区間［ｔｓ，ｔｅ］が存在するかを判定する（ステップＳ１１４６）。ここで、未処理の時間区間［ｔｓ，ｔｅ］が存在する場合にはステップＳ１１４１に戻る。一方、未処理の時間区間［ｔｓ，ｔｅ］が存在しない場合にはステップＳ１１４の処理を終了する
【００４０】
以上により、照合結果記憶部１１５には、特定の動作タイミングで得られた動作主体の画像と当該動作タイミングで得られた動作主体の筋電位に対応する筋活動度とが複数個格納される（≪動作タイミング照合（ステップＳ１１４）の詳細の例示≫の終わり）。
【００４１】
動作タイミングでのすべての画像と筋活動度とが照合結果記憶部１１５に格納されると、次に合成画像の生成に移る。
【００４２】
重畳画像作成部１１６（図１）は、照合結果記憶部１１５に格納された動作主体の複数の画像を読み出し、これらを重畳した重畳画像（特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像）を生成して出力する。重畳画像は合成部１１８に送られる（図３Ｂ：ステップＳ１１６）。
【００４３】
筋活動度画像生成部１１７は、少なくとも、照合結果記憶部１１５に格納された複数の筋活動度を読み出し、これら複数の筋電位度に由来する筋活動度画像を生成して出力する（ステップＳ１１７）。以下に筋活動度画像の具体例を示す。
【００４４】
≪筋活動度画像の例１≫
筋活動度画像は、例えば、複数の筋活動度の関係から得られる値を表す画像を含む。例えば、筋活動度画像は、（１−ａ）複数の筋活動度のばらつきを表す画像、（１−ｂ）複数の筋活動度の相対値を表す画像、または（１−ｃ）複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。相対値やそのばらつきを表す画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。
【００４５】
（１−ａ）複数の筋活動度のばらつきを表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングでの筋活動度のばらつきを表す画像である。このような画像は、筋電位の測定箇所ごとに得られてもよい。他の例は、同一の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度のばらつきを表す画像である。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度のばらつきを表す画像である。他の例は、複数の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度のばらつきを表す画像である。「ばらつき」の意味は前述の通りであり、例えば、分散や標準偏差等である。
【００４６】
（１−ｂ）複数の筋活動度の相対値を表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングの筋活動度の相対値を表す画像である。具体的には、例えば１回目の動作での筋活動度と２回目以降に行われた動作での筋活動度との相対値を表す画像である。このような画像は、筋電位の測定箇所ごとに得られてもよい。なお、相対値の例は前述の通りであり、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。他の例は、同一の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度の相対値を表す画像である。具体的には、例えば、主動筋の筋電位に対応する筋活動度と、当該拮抗筋の筋電位に対応する筋活動度と、の間の相対値を表す画像である。この画像によって「力み」を表すことができる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す画像では、「力み」を明確に表すことができる。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度の相対値を表す画像である。他の例は、複数の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度の相対値を表す画像である。
【００４７】
（１−ｃ）複数の筋活動度の相対値のばらつきを表す画像の例は、上述の（１−ｂ）複数の筋活動度の相対値の具体例のばらつきを表す画像である。具体例としては、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像である。より具体的には、例えば、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値のばらつきを表す画像である。これらの具体例では「力み」のばらつきを表現できる。
【００４８】
≪筋活動度画像の例２≫
筋活動度画像生成部１１７が、さらに照合結果記憶部１１５に格納された動作主体の複数の画像（特定の動作タイミングで得られた複数の画像）を読み出し、これら複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位のそれぞれと、の両方に由来する統合特徴量を得、複数の統合特徴量に由来する筋活動度画像を生成してもよい。統合特徴量の例は、前述の特徴量算出部１１２が算出する特徴量として例示した「画像と筋電位との両方に由来する特徴量」である（ステップＳ１１２）。例えば、統合特徴量は、筋電位の測定箇所の近傍の筋が関与する動作部位の画像に対応する値と、当該測定箇所で得られた筋電位に対応する筋活動度と、に由来する特徴量である。特徴量算出部１１２が生成する特徴量と筋活動度画像生成部１１７が生成する特徴量とは、互いに同一であってもよいし、異なっていてもよい。複数の統合特徴量に由来する筋活動度画像の例は、複数の統合特徴量のばらつきを表す画像、複数の統合特徴量の相対値を表す画像、複数の統合特徴量の相対値のばらつきを表す画像である。このような筋活動度画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。
【００４９】
≪筋活動度画像の例３≫
その他、上述の筋活動度画像の例１の何れかの画像と筋活動度画像の例２の何れかの画像とが生成されてもよい。
【００５０】
合成部１１８は、入力された重畳画像および筋活動度画像を合成して合成画像を生成して出力する（ステップＳ１１８）。重畳画像と筋活動度画像とが重畳した合成画像であってもよいし、これらが重畳していない合成画像であってもよい。重畳画像と筋活動度画像とを重畳する場合、筋活動度画像に対応する筋の位置またはその近傍に当該筋活動度画像を配置することが望ましい。これにより、動作と筋活動との空間的な位置関係の把握が容易になる。画像提示装置１２はこの合成画像を表示する。これにより特定の動作タイミングでの動作主体の画像と筋活動とを同時に表示できる。図６および図７に、画像提示装置１２に表示された合成画像を例示する。
【００５１】
図６は重畳画像１２１ａ，１２２ａに等高線プロットの筋活動度画像１２１ｂａ，１２１ｂｂ，１２２ｂａ，１２２ｂｂを重畳した合成画像１２１，１２２の例である。筋活動度画像１２１ｂａ，１２１ｂｂ，１２２ｂａ，１２２ｂｂの縦軸および横軸は時間を表し、色合いは筋活動度の「ばらつき」の大きさを表している。図６Ａの重畳画像１２１ａの輪郭のぼやけ具合から動作の「ぶれ」が小さいことが分かり、筋活動度画像１２１ｂａ，１２１ｂｂの色合いから筋活動の「ばらつき」が小さいことが分かる。一方、図６Ｂの重畳画像１２２ａの輪郭のぼやけ具合から動作の「ぶれ」が大きいことが分かり、筋活動度画像１２２ｂａ，１２２ｂｂの色合いから筋活動の「ばらつき」が大きいことが分かる。これらより、図６Ａの合成画像１２１では動作主体が安定した動作を行っていることが分かり、図６Ｂ合成画像１２２では動作主体が不安定な動作を行っていることが分かる。また、筋活動度画像１２１ｂａ，１２１ｂｂ，１２２ｂａ，１２２ｂｂを等高線プロットとすることで、ばらつきの大小を直感的に把握できる。
【００５２】
図７は重畳画像１２３ａ，１２４ａと時系列グラフの筋活動度画像１２３ｂａ，１２３ｂｂ，１２４ｂａ，１２４ｂｂとを並べた合成画像１２３，１２４の例である。筋活動度画像１２３ｂａ，１２３ｂｂ，１２４ｂａ，１２４ｂｂの横軸は時間を表し、縦軸はばらつきの大きさを表している。図７Ａの重畳画像１２３ａから動作の「ぶれ」が小さいことが分かり、筋活動度画像１２３ｂａ，１２３ｂｂの縦軸の値から筋活動の「ばらつき」が小さいことが分かる。一方、図７Ｂの重畳画像１２４ａから動作の「ぶれ」が大きいことが分かり、筋活動度画像１２４ｂａ，１２４ｂｂの縦軸の値から筋活動の「ばらつき」が大きいことが分かる。これらより、図７Ａの合成画像１２３では動作主体が安定した動作を行っていることが分かり、図７Ｂ合成画像１２４では動作主体が不安定な動作を行っていることが分かる。また、筋活動度画像１２３ｂａ，１２３ｂｂ，１２４ｂａ，１２４ｂｂを時系列グラフとすることで、動作区間における筋活動の「ばらつき」の変動を把握できる。
【００５３】
［第１実施形態の変形例］
筋活動度画像生成部１１７は、少なくとも、照合結果記憶部１１５に格納された複数の筋活動度を読み出し、これら複数の筋電位度に由来する筋活動度画像を生成した。これに代えて、動作タイミング照合のために生成した特徴量を筋活動度として筋活動度画像が生成されてもよい。以下では、第１実施形態との相違点を中心に説明し、これまで説明した事項については同じ参照番号を割り当てて説明を簡略化する。
【００５４】
＜構成＞
図１に例示するように、本変形例の運動可視化装置１１’は、運動可視化装置１１の特徴量算出部１１２が特徴量算出部１１２’に置換され、動作タイミング照合部１１４が動作タイミング照合部１１４’に置換され、筋活動度画像生成部１１７が筋活動度画像生成部１１７’に置換されたものである。図２に例示するように、本変形例の動作タイミング照合部１１４’は、特徴量抽出部１１４１が特徴量抽出部１１４１’に置換され、筋活動度抽出部１１４５が筋活動度抽出部１１４５’に置換されたものである。
【００５５】
＜事前処理（図３Ａ）＞
本変形例の事前処理は、第１実施形態のステップＳ１１２をステップＳ１１２’に置換したものである。ステップＳ１１２’のステップＳ１１２からの相違点は、特徴量算出部１１２’が、筋電位に由来する特徴量を算出するか、または、画像と筋電位との両方に由来する特徴量を算出する点のみである。これら特徴量の具体例は第１実施形態と同じである。
【００５６】
＜画像生成処理（図３Ｂ）＞
本変形例の画像生成処理は、第１実施形態のステップＳ１１４をステップＳ１１４’に置換し、ステップＳ１１７をステップＳ１１７’に置換したものである。また、ステップＳ１１４’は、ステップ１１４のステップＳ１１４１をステップＳ１１４１’に置換し、ステップＳ１１４５をステップＳ１１４５’に置換したものである。それ以外は第１実施形態と同じである。以下では、ステップＳ１１４１’、ステップＳ１１４５’、およびステップＳ１１７’のみを説明する。
【００５７】
≪ステップＳ１１４１’≫
特徴量抽出部１１４１’は、時間区間［ｔｓ，ｔｅ］に属する複数の時間または時間区間について、当該時間または時間区間での筋電位信号が表す筋電位に由来する特徴量、または、画像および筋電位信号が表す筋電位に由来する特徴量を算出して出力する。ただし、特徴量抽出部１１４１’は、前述の特徴量算出部１１２’と同じ方法で特徴量を算出する。
【００５８】
≪ステップＳ１１４５’≫
筋活動度抽出部１１４５’は、ステップＳ１１４３で検出された動作タイミングを表す時間または時間区間に対応する、ステップＳ１１４１’で得られた特徴量を筋活動度として取得する。これはステップＳ１１４１’で生成された特徴量を記憶部（図示せず）に格納しておくことで実現できる。筋活動度抽出部１１４５’が取得した筋活動度は照合結果記憶部１１５に格納される。
【００５９】
≪ステップＳ１１７’≫
筋活動度画像生成部１１７７’は、照合結果記憶部１１５に格納された複数の筋活動度を読み出し、これら複数の筋電位度に由来する筋活動度画像を生成して出力する（ステップＳ１１７）。本変形例の筋活動度は、特定の動作タイミングでの筋電位に由来する特徴量、または画像と筋電位との両方に由来する特徴量である。複数の筋電位度に由来する筋活動度画像の例は、複数の筋電位度のばらつきを表す画像、複数の筋電位度の相対値を表す画像、複数の筋電位度の相対値のばらつきを表す画像である。このような筋活動度画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。
【００６０】
［第２実施形態］
本形態では、複数の筋電位から得られる複数の筋の活動開始時点に由来する画像を含む筋活動度画像を生成する。
【００６１】
＜構成＞
図１に例示するように、本形態の運動可視化装置２１は、運動可視化装置１１の筋活動度画像生成部１１７が筋活動度画像生成部２１７に置換されたものである。
＜事前処理（図３Ａ）＞
第１実施形態では動作タイミングが時間または時間区間であったが、本形態の動作タイミングは時間区間のみである。それ以外は、第１実施形態と同じである。
【００６２】
＜画像生成処理（図３Ｂ）＞
本変形例の画像生成処理は、第１実施形態のステップＳ１１７をステップＳ２１７に置換したものである。また、本形態の動作タイミングは時間区間のみである。それ以外は第１実施形態と同じである。以下では、ステップＳ２１７のみを説明する。
【００６３】
《ステップＳ２１７》
筋活動度画像生成部２１７は、照合結果記憶部１１５に格納された複数の筋活動度を読み出す。これらの複数の筋活動度は、例えば、同じ動作または一連の動作に関与する複数の筋の筋活動度である。具体的には、例えば「（ｄ）ボールリリース」に関与する腕の複数の筋の筋活動度である。また本形態の動作タイミングは時間区間であるため、各筋に対して当該時間区間内の複数個の筋活動度が対応する。筋活動度画像生成部２１７は、まず、これらの複数の筋活動度を用い、対応する複数の筋の活動開始時点を算出する。例えば、筋活動度画像生成部２１７は、（Ｓ−１）ある筋に対応する筋活動度が、筋活動度のベースライン（例えば、筋活動度の平均値や安静時の筋活動度）よりも、閾値以上大きくなった時点をこの筋の活動開始時点としてもよいし、（Ｓ−２）ある筋に対応する筋活動度の変動（例えば、分散や標準偏差）が閾値を超えた時点をこの筋の活動開始時点としてもよいし、（Ｓ−３）ある筋に対応する筋活動度の変化量が閾値を超えた時点をこの筋の活動開始時点としてもよいし、（Ｓ−４）ある筋に対応する筋活動度とその変動の組み合わせが閾値を超えた時点をこの筋の活動開始時点としてもよい。次に、筋活動度画像生成部２１７は、複数の筋の活動開始時点に由来する筋活動度画像を生成して出力する。以下にこのような筋活動度画像を例示する。
【００６４】
《複数の筋の活動開始時点に由来する筋活動度画像の例１》
筋活動度画像が、複数の筋の活動開始時点のばらつきを表す画像、複数の筋の活動開始時点の相対値を表す画像、複数の筋の活動開始時点の相対値のばらつきを表す画像、の何れかを含んでいてもよい。このような筋活動度画像の例は、前述の等高線プロットや時系列グラフやヒストグラムなどである。これにより、動作のばらつきと筋活動の時間的な要因の関係を可視化することができる。
【００６５】
《複数の筋の活動開始時点に由来する筋活動度画像の例２》
筋活動度画像が、複数の筋の活動開始時点の順序関係に由来する画像を含んでもよい。このような筋活動度画像の例は、前述の通りである（Ｆ−４〜Ｆ−８）。
【００６６】
［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力、あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００６７】
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００６８】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６９】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００７０】
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【符号の説明】
【００７１】
１１，１１’，２１  運動可視化装置
【図１】
2015221134.tif 000004
【図２】
2015221134.tif 000005
【図３】
2015221134.tif 000006
【図４】
2015221134.tif 000007
【図５】
2015221134.tif 000008
【図６】
2015221134.tif 000009
【図７】
2015221134.tif 000010