振り の練習を支援するインタラクティブシステム
高橋 雅人

林 貴宏

尾内 理紀夫

電気通信大学大学院 電気通信学研究科 情報工学専攻
電気通信大学 電気通信学部 情報工学科
踊り，スポーツにおけるフォーム，手話など特定の型に沿った身振り練習を支援するインタラクティブシステムを開発した．本システムは，動作と音声を組み合わせた振りを対象とし，最終的にユーザが手本を見なくても振りができるようになることを支援し，さらにユーザに練習の退屈感を感じさせないことを目的としたものである．本システムは，ユーザが行った振りに対してマッチングにより採点を行い，さらにリプレイ動画で 秒毎にユーザの動作のどこが悪かったか，どうすればよいかを指摘する．また，練習中に映像効果や効果音を用いて退屈感を解消する．評価実験により，本システムの練習効果を確認した．

はじめにトがない状態でその動作ができなければ意味がな

近年，生涯学習への関心が高まっており，趣味，い．しかし，これらでは，ゴーストを頼り健康，ボランティアなどに役立つ技能を学びたいにするあまり，ゴーストを消したときにユーザが．これらの技能の中にどの程度うまく動作できるのか疑問が残る．まは踊り，スポーツ，手話など，身振りや手振りとた，歌や掛け声などを含む動作の練習を考えた場

いった特定の型 本研究では動作と音声を組み合合，動作に加えて音声も採点する必要があるが，を覚えること従来の振り練習支援システムで動作と音声を組みで習得できるものも多い．そこで，ユーザの振り合わせて採点するものはない．また，練習の繰りを採点し，振りの上達に必要な情報を的確に示す返しによって生じる退屈感も問題であると考えている人が多い

わせた特定の型を 振り と呼ぶ．

ようなシステムがあれば，効果的な練習ができ，以上のことから，本研究では動作と音声を組み個人でも振りを短期間に習得でき有用と考えられ合わせた振りを対象とし，ユーザがゴーストがなる．これまで，振りの練習を支援するシステムとい状態で，すなわち何も見ないで動作できるようで提案されたものがある．これらになることを支援し，さらに練習の退屈感をユーのシステムの特徴は，画面上にユーザのと手ザに感じさせないシステムの実現を目標とする．

本となる動作 モデル動作が同よって，提案システムではユーザが振りを行って時に映し出され，モデル動作に合わせてユーザがいる最中はゴーストを表示せずに，ユーザのみの体を動かすことである．なお，モデル動作を行う表示にとどめる．ユーザとゴーストの表示についして文献

人のは文献を行う人のではゴーストと呼ばれ，本ては，を用いる方法ではなく，両者の実際の論文でも同様にゴーストと呼ぶことにする．振り姿がモニタに映る 鏡像の習得という目標からすると，最終的にはゴースのを導入し，姿勢などでは伝わりにくい部分をより具体的に伝えられるようにする．ユーザが振りを一通り終える

動作の採点は動作採点部が行い，音声の採点と，今行った振りを採点し，振りの良否をユーザは音声採点部が行い，動作と音声のスコアをに伝える．その後，今行った振りをリプレイ動画計算する．これらのスコアを振り採点部が総によって見られるようにする．このとき，半透明合的に判断し，振りのスコアをのゴーストを重ねることで動作が合っていたかどうかを具体的に確認できるようにする．さらに，算出する．
今行った振りの良否をユーザに提示するため，リプレイ動画の再生中に動作の誤りに対して文

フィードバック部が振りのスコアを画面に表字情報を使って動作を補正する指示を行う．練習における退屈感に対しては，エフェクトを用いて示し，スコアに応じた効果音を鳴らす．
今行った振りがいつどのように誤っていてどを導入し，振のように補正すればよいかをユーザに提示すりの採点結果に応じて映像エフェクトや効果音をるため，リプレイ動画を用いる．提示に用い出力することでユーザに振りの上達に対する達成

るものは，ユーザ動作に対して「もっと速く」感を与え，退屈感を解消する．

「もっとゆっくり」「もっと大きく」「もっと小ユーザの向上心を刺激する方法

点満点で

本稿では， 章で提案システム， 章で評価実さく」「素晴らしい」「もっと手本を見て」の験について述べる．実験では，従来の練習方法と種類の文字情報と着色したゴーストである．
その後続けて練習するときに，フィードバッ

本論文で提案する練習方法について上達度の違いを測定した結果について述べ， 章でまとめる．

ク部が練習の最中に前回の振りのスコアに応じて映像エフェクトをユーザが映し出される提案するシステム
本章では，本論文で提案する振り練習支援シス

出力映像に出力する．
各部について以下の各節で詳しく述べる．

テムの構成と各部について述べる．

動作採点部

システム構成動作採点部は，カメラよりユーザ動作を取得し，ユーザ動作とモデル動作の類似度を採点し，動作のスコアとして出力する．
動作の定量化
ユーザおよびモデル動作を定量化したものとして，本システムでは体のある箇所 マーカによって示される の位置および移動方向の時系列を用いる．具体的には，時刻 でのマーカ位置を用いて，位置の時系列の時系列
図

カメラ台，マイク 本，スピーカ 組

個 ，ディスプレイ 台，計算機，台で構成される 図
×を次式で定義する．

システム構成本システムは，家庭用はおよび移動方向．カメラ映像の解像度，入力時のフレームレートは，カメラからユーザまでの距離は約である．本システムにおける処理の流れを以下に述べる 図 参照 ．
ユーザがカメラの前に立ち，振りを行う．
ユーザが振りを一通り終えると，システムは今行った振りを動作と音声に分けて採点する．

ここで，は動作開始から終了までのメラにおけるフレーム数である．時刻

カでのマーカの移動方向を表す

はマーカ位置から見が相対的にどの位置にあるかで決まる．図てを用いて直観的な説明をする．例えば，図を中心として平面をつの領域はに分

モデル動作に対するユーザ動作の遅延あるいは先行などの情報を取得できる

指示を与えるためにこの情報を使うことができるが各領域にある場合の動作の採点を表す．

ならばは図で，の領域マッチングを採用した．と考え，けたものである．各領域に書かれているベクトルはとなのにあるため，になる．

ユーザに適切な動作に対してマッチングを適用すると，移動方向の推移に関するスコアを採点できる．この 番目の要素

こで，の 番目の要素との距離を以下のように定義する．

マーカが複数の場合は，マーカによりに対して式を求め，その総和を距離と定義する．すなわち，

図

前式の移動方向およびを決定するつの領域の定義に従って求めたモデル

動作におけるマーカの位置および移動方向の時系である．

マッチングの計算は以下のような 次元のマッチング行列を用いて行う．とし ユーザ動作におけるマーカの位列を置および移動方向の時系列をとする マー

カを複数使用する場合は，以下のように定義する．
マーカの位置の時系列

マーカの移動方向の時系列

初期条件

マーカ数
モデル動作
ユーザ動作

上式により

はモデル動作とユーザ動作の移動方向のマッチングによる動作の採点
ユーザ動作とモデル動作の類似度を採点するたマッチングの値が小さいほど類似度を表し，移動方向はより類似していると判断できる．本シ

マッチング
めにを計算する．

を用いる．

マッチングの値をもとに移動方

ステムでは，を向のスコア
仮にはパターンマッチング法の つであり， つの文字と点満点で算出する．

が一致したとするならば，上記列を比較し文字列間の類似度を求めることができのことから両者の移動方向は一致すると考えられマッチングには，類似度を求める過る．しかし，ユーザ動作とモデル動作の移動方向る．また，程でつの文字列が全体的にできるだけ等しくなが一致しても軌跡が異なる場合がある 図．

るように，モデルとなる文字列の一部に対して入力された文字列の一部の要素を伸縮して対応づける特徴がある．この特徴を利用して，モデル動作とユーザ動作におけるマーカの移動方向の時系列，に対して

図マッチングを適用するとにおける各時点での移動方向を時間的に遅延ある
いは先行させてにおける各時点と対応づけを行う これにより フィードバック部で必要となる移動方向は一致するが軌跡が異なる動作の軌跡

そこで，軌跡の違いを考慮した動作の採点も必要となる．とマッチングによって得られたの各時点での対応づけをそのままモデルとユーザのマーカ位置の時系列，にあてはめ，マッチングで対応づけた各時点でのとのユークリッド距離の総和を求めることで，両者軸正方向に推移する．このような特徴から以下のことがわかる．
グラフの推移が平均して理想直線から上下に以内に収まる場合，のマーカ位置についてずれの累積が求まり，軌跡節より，移動方向の違いを表す量とすることができる．この軌跡のが一致すると考えられる．グラフの推移が平均違いをもとに，軌跡の類似度に関するスコアして理想直線から上下にを以内に収まる場合，グラフの推移の特徴から，モ点満点で算出する．

以上かつ以上から，動作スコアは動作の移動方向のス

デル動作に対してユーザ動作の先行または遅延と軌跡のスコアをもとに算出される．

を判定できる．グラフがそれ以外の領域に推移

コア

具体的には式，重みのようにこれらつのスコアにをつけて計算される．

する場合，動作はタイミングが合わず類似しな，いと判定する．また，経験により程度が適当であるとわかった．

ただし，音声採点部を変えることで柔軟な動作採点が可

振りの音声部分を評価，採点するためにマイク能となる．例えば，モデルとユーザの体の大きさから入力される音声からリアルタイムに特徴量を，として動作抽出する．用いる特徴量は現時点では各フレームの移動方向を重視した採点を行うなど，目的に合内でマイクから入力される音声のパワーの平均値わせて適切に決定する．

である．パワーを採用した理由は，振りのある決

ユーザ動作の判定まった時点で手本と同様に発声ができているかどが異なる場合，本節では，マッチングの結果をもとに，ユーザ動作がモデル動作に比べて遅延あるいは先行するなどを判定する方法について述べる．図 はうかについて，パワーの特徴量で評価できると考えたためである．
音声評価，採点においては，特徴量が前フレーマッチングにより求められたモデル動作とユーザムから閾値以上変化しているフレームに注目す動作の対応づけを示している．図 の 軸はユーザる．モデル音声においてこのようなフレームをすを表し，べて検出し，ユーザ音声においても同様の処理を軸はモデル動作におけるマーカ移動方向の時系行う．モデル音声とユーザ音声から検出された各動作におけるマーカ移動方向の時系列列を表す．

フレームについて両者のパワーの変化がどの程度一致しているかを判定する．そこで，モデル音声において特徴量が閾値以上変化しているフレーム数を，モデル音声において特徴量が閾値以上変化しているフレームの中で，さらにユーザ音声とモデル音声の特徴量の変化が一致しているフレー
ム数をとすると，ユーザ音声において特徴量の変化が検出されたフレームのうちモデル音声と特徴量の変化が一致している割合が式のように求まる．
図

マッチングによる移動方向の対応づけ

モデル動作とユーザ動作の移動方向が完全に一致する場合，グラフは，とを結ぶ直線 以降，理想直線と呼ぶ となる．ユーザ動作がモデル動作よりも遅延する場
合，グラフは軸正方向に推移し，逆にユーザ動作がモデル動作よりも先行する場合，グラフは一致率 を倍して音声のスコアを点満点で算出する．
振り採点部
振りのスコアは，動作と音声の各スコアと両者を組み合わせたスコア，の つのスコアをもとに算出される．具体的には，振りのスコア

は式のようにこれら，つのスコアに重み，をつけて計算される．と指示し赤く着色したゴーストを表示し，ユーザ動作が遅延していれば「もっとゆっくり」と指示し青く着色したゴーストを表示する 図．モデ

ル動作とユーザ動作の移動方向が一致する場合，ただし，さらに位置について評価する．ユーザ動作の軌跡が小さいならば「もっと大きく」，ユーザ動作

重み，，を変えることで様々な振りがの軌跡が大きいならば「もっと小さく」と指示す評価できるようになる．例えば，動作のみの振りる 図の場合や，音声と動作が共に含まれる振りであっ「素晴らしい」と褒める．両者の移動方向が一致，しなければ「もっと手本を見て」と指示しつつ緑ても，動作のみを採点したい場合は，とすればよい．振りにおける音．さらに，両者の軌跡が一致するならばに着色したゴーストを表示する 図．

，音声については，リプレイ動画の下部にモデル，動作と音声の両者ができないと意味がな

音声のパワー波形の推移をあらかじめ表示してお，声のみを採点したい場合は，いような振りの場合は，とする．また，動作と音声を独立に評価したい場，合は，の値をそれぞれとする．

き，前回行った振りのユーザ音声をリプレイ動画と同時に重ねて表示していく．これによりユーザは前回どのタイミングで発声し，モデル音声とどの程度ずれているのか理解できる 図

フィードバック部．

フィードバック部には，以下の機能がある．
振りを一通り終えた時に振りのスコアを表示
し 図，スコアに応じてエフェクト 効果音

を鳴らす
リプレイ動画を再生するときに，ユーザに対する動作指示を表示する
振りを行っている最中に振りのスコアに応じ

図「もっと速く」 左 と「もっとゆっくり」 右

図「もっと大きく」 左 と「もっと小さく」 右

図「素晴らしい」 左 と「もっと手本を見て」 右てエフェクト 映像 を表示する

図

振りに関するスコアの表示

以下，リプレイ動画機能およびエフェクト機能について説明する．
リプレイ動画機能
リプレイ動画によりユーザが今行った振りについて，を節をもとに種類の動作指示 図

エフェクト機能振りのスコアに応じて次回の練習時にエフェク秒毎に表示する．ここで，リプレイ動画にはトを適用し，ユーザに振りの上達に対する達成感

ユーザおよびモデル動作のゴーストを重ねたものを与え，練習における退屈感を解消する．エフェ倍速で再生する．これにより，ユークトには，練習の最中にリアルタイムに出力映像

ザは自分とモデルの動作を同時に見ることがでを加工する映像エフェクトと，練習を終えて振りき，直観的にどこが誤りなのかを理解し易くなのスコアを表示するとき鳴らす効果音がある．以る．ユーザ動作が先行していれば「もっと速く」

下，本システムで用いる各エフェクトについて述を用いてべる．のように映像エフェクトを切り替える．総合

表

背景エフェクト 黒一色

綺麗な背景評価

出力映像のユーザを除いた背景を切り替える映，のときは，ユーザを誉めるということのときはさで，綺麗な背景を表示し，総合評価像エフェクトである．背景エフェクトは，出力映像らにユーザのマーカ軌跡に炎を描画する映像エフ

から背景差分を用いてユーザ映像を切り出し，あェクトを加える 図

らかじめ用意された綺麗な映像あるいは黒一色のだまだという印象を与えるために出力映像全体を映像にユーザ映像を上書きして実現する．

ぼかす映像エフェクトを加える 図ぼかしエフェクト．総合評価のときは，ま左 ．総合評のときは，ユーザにまったく駄目であるとい

価

出力映像全体をぼかす映像エフェクトである．

う印象を与えるために，出力映像全体をぼかす映ぼかしエフェクトは，出力映像に平均値フィルタ像エフェクトと黒一色の背景映像を表示する映像を適用して実現する．平均値フィルタとは，注目エフェクトを加える 図

画素とその近隣の画素の平均画素値を注目画素に像エフェクトの他，総合評価のときは明るい代入する手法である．

印象の効果音を鳴らし，評価のときは暗い印

炎エフェクト右 ．また，これらの映象の効果音を鳴らす．

出力映像において，ユーザが装着するマーカ部分に炎を描画する映像エフェクトである．炎エフェクトは，炎の芯となる白い円を描画し，毎フレーム画像の下から上に向かって画素ずつ平均値フィルタを適用して画素値を減少させてゆく．
すると画素値の性質上，白が黄色になりさらに赤図

評価のエフェクト 左 と評価のエフェクト 右図

評価のエフェクト 左 と評価のエフェクト 右になるため，炎の芯を始点にして上に向かって黄色と赤の画素が流れていく様子を描画でき，まるで炎のような映像エフェクトが描画される．炎はある程度成長してから消えるため，ユーザがマーカを動かすと炎による軌跡ができる．
効果音エフェクト
振りのスコアに応じた効果音を出力する．スコ

実験と評価

アが高ければ明るい印象の効果音を鳴らし，スコ本システムにおける練習支援方法の有効性を検

アが低ければ暗い印象の効果音を鳴らす．
表証する実験として，振りの練習を実際に被験者に振りのスコアと総合評価の対応総合評価行ってもらい，振りのスコアの推移を測定した．

振りのスコア

実験方法
被験者は大学生名である．対象となる振りは，応援団経験者による応援の振りの一部 約秒 であり，掛け声を含む．被験者は対象の振りに表ついて前知識がなく，本システムを用いて初めて映像エフェクトの切替振りの練習を行った．また，被験者は以下に示す

エフェクト 総合評価
炎
綺麗な背景
ぼかし
黒一色背景

つのグループにそれぞれに振りの練習を人ずつに分かれ，個々回行ってもらい，振りのスコアの推移を測定した．振り採点における重みづけは，では式式で得られた振りのスコアによりからの段階で総合評価を決定する．振りのスコアと総合評価の対応を表 に示す．総合評価により，ではグループとし，式とした．
鏡像とビデオによる実験

鏡とビデオを使った練習方法である．ユーザは

手本となるモデル動作のビデオを見て振りを覚

回数の少ない内のスコアの上昇度が他のグループ

え，次にカメラの前でディスプレイに鏡像としてよりも高く，全体的に高いスコアを得ていること表示される自分の振りを確認しながら練習する．

から，本システムが振りの練習に有効であることが確認できた．グループゴーストを用いた実験

グループ

は，グループ，のように，練習の最中のユーザがよりもスコアは上昇していることからリプレイ動映っている映像にゴーストを重ねて表示すること画を見ることによる練習効果が確認できた．ただで，ユーザはゴーストに自分の姿を重ね，ゴースし，グループトに合わせて体を動かし，振りを練習する．

から，本システムにおけるリプレイ動画のゴース

従来研究

トの表示が学習支援に有効であると考えられる．

本システムを用いた実験

グループ

また，各グループに対して実験後に退屈感に関本システムを用いて練習する．
ゴーストなしのリプレイ動画を用いグループ

よりは低いスコアに留まったことするアンケートに答えてもらった．ユーザはアンケート項目に対してた実験

段階評価で降順に，非常にと同様に本システムを用いて練習

そう思う，そう思う，どちらでもない，そう思わを行う．ただし，リプレイ動画ではユーザが今行っない，まったくそう思わないと答えるものとした．

た振りのみが再生され，ゴーストは表示されない．

表

ユーザはそのリプレイ動画を見て振りの誤りを認

字は評価値の平均である．炎エフェクトに関して識し，次回の練習を行う．

は振りのスコアがグループに示す．グラフは各グループについて被験者の振りのスコアの平均をとり，その推移を対数近似したものである．どのグループについても試行回数が増えるにつれてスコアが上昇していく傾向が見られた．
グループ

は，安定してスコアが上昇しているが，グループの中で一番低いスコアである．グループは，グループれるが，グループとほぼ同じ推移が見らよりも高いスコアを安定して得ている．また，ゴーストを消しても振りが正確にできるかどうかを確認するために，ゴーストを用いた回の練習後にゴーストを消して練習を 回行ったところ，平均でスコアが下降した．

このことから，ゴーストを用いた練習では，一定のスコアまでは早く到達できるが，回数を重ねてもグループはグループ番号であり，枠内の数に達しなかった被験者は考慮しない．また，本システムを用いたグループ実験結果と評価実験結果を図のとほとんど同じ程度までしか覚えられないことが確認できた．グループ

は，試行，については映像エフェクトと効果音についての印象を聞いた．
では，モデル動作を見るときに自グループ分の姿も同時に見たいという意見が多かった．また，鏡像とビデオを見て練習する方法はユーザが一方的にシステムに振りを採点されるだけでつまらないという感想があった．グループ

では，ゴーストを目で追って追跡するためにどうしてもゴーストが先行してしまい体を合わせるのが難しいという感想があった．一方で，ゴーストを追跡する行為にはユーザの興味を引きつける効果があることがわかった．グループ

では，ゴーストを重ねるリプレイ動画を用いることで動作の誤りについて理解でき，次回の練習時に参考になったという感想があった．逆に，リプレイ動画で動作と音声の誤りを同時に指摘されると両方を理解するのは難しいという感想もあった．グループ

では，リプレイ動画で自分の姿を見るだけではモデル動作との違いを具体的に把握できないので，リ表

アンケート結果

アンケート項目 グループ番号
飽きずに練習を続けられた炎のエフェクトが面白いと感じた
ぼかしエフェクトが面白いと感じた
背景が切り替わるエフェクトが面白いと感じた
効果音が面白いと感じた

プレイ動画よりもモデル動作のビデオを重視して見る被験者が多かった．

おわりに本 研 究 で は ，個 人 で 振 り を 練 習 す る 場 合 に ，ユーザの動作と音声を評価，採点し，動作の誤りを補正する

種類の指示を行うことで練習を支援するシステムを提案，実装，評価した．評価のた図各グループにおける振りのスコアの推移

めに，実際に被験者に振りの練習をしてもらい振謝辞

りのスコアの推移を調べる実験とアンケート調査

画像処理に関し御指導いただいた，電気通信大学小池英樹助教授，東京農工大学中西泰人助教授，ソニー
コンピュータサイエンス研究所高田哲司アソシエイト
リサーチャーに深謝する．

を行った．
本研究で提案する練習支援方法を用いると，ユーザは具体的に動作の誤りを把握でき，早い段階である程度の振りができるようになることがわかった．また，エフェクトについてはユーザの動参考文献
総理府 教育アンケート調査年鑑
創育社年版下きに反応する炎エフェクトなどの映像エフェクトを用いることにより，練習時に没入感を与えることができた．
実験により，グループのように振りの最中にゴーストを用いても到達できるスコアは本システムを用いる場合よりも低かったが，本システ
ムよりも没入感が得られることがわかった．そこ
で，振りを覚えていない序盤はゴーストを用いて練習し，慣れてきたところでゴーストなしで練習していき，確認するときにリプレイ動画にゴーストを用いる本手法へと切り替える練習方法を今後検討していきたい．
今後の課題として，リプレイ動画においては動作と音声の両方の誤りを同時に表示するとユーザの混乱を招く可能性があるため，両方をわかり易く指摘する方法の検討がある．音声採点においては，現在は単純な特徴量を用いて掛け声など，発声のタイミングを重視する判定を行っているが，音韻情報やピッチ情報などより多くの特徴量を用いることで，より精度の高い採点ができるようにする必要がある．また，動作の奥行きを採点する必要がある振りの場合は，カメラを複数台使用するなどし，改善する必要があると考えている．

西本卓也 園順一 浅野令子 高木治夫 視覚障害者のためのタイピング練習ソフトの設計と評価 電子
情報通信学会技術研究報告
吉本優子 香川順子 杉本圭優 前迫考憲 黒田卓
森川治 超鏡対話における教示行為に関する事例分析―「おりがみ」と「福笑い」を通して― 日本教育工学会誌
福地健太郎
メガデモ技術のリアルタイムビデオエフェクトへの応用
エンタテインメントコンピューティング
論文集
中川聖一 パターン情報処理 丸善