GS3-2-5
LIFE2012

2012 年 11 月 2 日－4 日 愛知 (名古屋大学)

オプティカルフローを用いた音楽療法評価システムの研究
Study on Evaluation System for Music Therapy using Optical Flow
○ 鈴木真（東京電機大学）

片岡幸代（(株)HALCA ラボ）

下川英子（埼玉療育園）
Makoto SUZUKI, Tokyo Denki University
Sachiyo KATAOKA, HALCA Laboratory
Eiko SHIMOKAWA, Saitama Medical Center for Children with Disabled
Abstract: Music therapy is used to improve physical and mental condition of people. To be performed effectively,evaluation of result is essential for the therapy. At this moment, evaluation method is mainly subjective opinion of thetherapist. Therefore, establishment of objective method is necessary. We studied application of motion analysis to thistherapy for handicapped children, and found its effectiveness for the evaluation. Though the results were compromising,cumbersome operation is problem in the practical use. In this report, we studied the use of optical flow for processing themovie of music therapy. Image processing system was developed based on Lucas-Kanade method to calculate flow vectors
between consecutive images. Tracking points were detected using a mask image. Comparing to conventional motion
analysis software, the developed system could measure the motion of the subjects sufficiently with less operation. Becauseof the many tracking points, the developed system showed more robustness against occlusion.
Key Words: Motion Analysis, Image Processing, OpenCV
1. 序論
音楽は昔から、日常生活の中で様々な効果を人間に与えてきた．これを人々の心身の状態を改善するために利用しようという目的で、より積極的に音楽の持つ効果を用いる「音楽療法」が注目されている．今日では障害者や高齢者、子どもや健常成人まで、幅広い対象に対して行われており、その内容も音楽を聴くことが主体の受動的な音楽療法から、本人が歌ったり楽器を演奏したりする能動的なものまで様々なものがある．
この音楽療法は、レクリエーションとしての側面も有するものであるが、有効に実施するためには、理学療法などと同様に、毎回のセッションで対象者への効果を評価検討し、次回の実施計画を検討することが重要である．しかし音楽療法においては、術者と対象者との相互作用という、質的な要素が重きを占めることから、術者の主観的な判断によっているのが現状であり、その定量的な評価は未だ確立されていない部分が多い．
そこで我々は、工学的な立場からこの問題を解決する試みに取り組んでいる．これまで、障害を持つ子どもの自発的な動作を促す能動的な音楽療法について、運動解析の応用可能性を検討してきた(1)．対象となったのは Rett 症候群と脳性麻痺の事例で、音楽療法セッションで打楽器を用いていたことから、対象者の上肢運動に注目した．記録されたビデオ画像からの 2 次元運動解析によって、対象者の手首にまきつけた色テープを追跡し、その移動量を計測した．
計測データをグラフ化し、さらに手首が往復する際の振幅と頻度を抽出することで、療法士の主観的判断を裏付ける数値的な結果を得ることができた．これは誰にとっても把握しやすい情報であったため、療法計画に役立つだけでなく、保護者への説明の際にも有効であることが明らかとなった．
課題点として、汎用的な運動解析ソフトウェアを用いたため、追跡点の指定など多くの設定を行わなければならず、実際の臨床に用いるためには、このままでは負担が大きいことが挙げられた．そこで本報では、このような音楽療法に用いることを前提に、設定作業を簡略化し、より安定した結果を得られるようにするための動画像処理として、オプティカルフローを用いた結果を報告する．
2. オプティカルフローの利用
従来用いられている運動解析ソフトウェアでは、二値化の閾値などにより対象領域を抽出し、その重心位置を順次計算していくことで、追跡対象の運動を計測している．汎用的なソフトウェアでは、様々な状況に対応するために、追跡すべき対象を一つ一つ指定するようになっており、これが音楽療法評価で用いる際の課題となっていた．
そこで我々は、画像中の動きを分析する処理手法であるオプティカルフローに着目した．時間的に連続する二つの画像の間で、対応するピクセルの移動ベクトルを求めるのがオプティカルフローである．そのアルゴリズムは様々なものがあるが、ここでは代表的なものとして Lucas-Kanade法(2)を用いた．これは画像全体ではなく、あらかじめ与えられた特徴点群の移動を追跡する「疎な」オプティカルフローを得るアルゴリズムとして知られている．追跡すべき特徴点は、Shi らの手法(3)によって抽出される画像中の「コーナー」を用いた．コーナーとは水平、垂直方向の微分値によって抽出される点であり、単なるエッジ（輪郭）よりも追跡に適しており、前述の Lucas-Kanade 法と組み合わせて用いられている．
ここで音楽療法の評価に応用することを考えると、解析に用いる映像には、対象児以外にも様々な人物や物体が含まれているため、コーナーを抽出する範囲を限定する必要がある．ただし、対象児がどのような位置、姿勢にあるかは事例ごとに異なるため、ここではマスク画像を用いることとした．具体的には、解析したい対象児の身体部位を内包するような領域を示す二値画像を作成し、これを特徴点抽出の際に処理マスクとして指定する．
また、追跡したい部位に色テープが巻かれていることから 、 解 析 す る 映 像 は HSV 色 空 間 に 変 換 し 、 彩 度 成 分（Saturation）に対して特徴点抽出と追跡処理を行うことと−1−ものとなった．

Fig. 2 Example image ofmusic therapy

Read movie for analysis
and mask image

Fig. 3 Mask image used forthe case shown in Fig.2

Motion Analysis Result [pixel]

6

Convert movie into HSV
image
Detect feature points to track inSaturation channel using mask image
Calculate flow between
consecutive images

Motion Analysis

5

Optical Flow

43

2.5
23

1.5

211

0.5

000

Average length of flow
vectors as output

3.5

Optical Flow Result [pixel]

した．これにより照明などによる明暗差の影響を受けにくくなると考えられる．
出力として対象児の運動を表す値は、オプティカルフローにより得られたフローベクトル群から、その大きさの平均を求めた．これは汎用運動解析ソフトウェアで得られる結果のうち、追跡点の速度に対応するものとなる．
以上による画像処理の流れを Fig. 1 に示す．実装にあたっては、開発環境として Visual C++ 2008 を、画像処理ライブラリには OpenCV2.3.1 を用いた．

123Time [sec]4

Fig. 4 Comparison of average velocity of tracked points

Fig. 1 Diagram of image processing
3. 汎用運動解析ソフトウェアとの比較本研究で開発したオプティカルフローによる画像処理プ
ログラムを実際の映像に適用し、既報で用いられた運動解析ソフトウェア（(株)ライブラリー、MoveTR2D/7.0）による結果と比較して、その有用性を検討した．比較項目として、全追跡点を平均した移動速度と、追跡した点数を用いた．
Fig. 2 に解析映像の一例を、対応するマスク画像を Fig. 3に示す．この映像事例から得られた移動速度グラフを Fig. 4に示す．
開発したプログラムで検出された特徴点は 95 個であるのに対し、汎用ソフトウェアで指定できた点は 4 個であった．
Fig. 4 に見られるように、移動速度のピーク時刻は、開発したプログラムと、運動解析ソフトウェアとでほぼ同一の結果を得ることができた．従って、音楽療法の評価に十分用いることができると考えられる．
また、追跡に用いられた点の数を見ると、開発したプログラムではマスク画像を与えるだけで多数の点を自動検出できており、一つ一つを手入力で指定する運動解析ソフトウェアに比べ、より良い結果が得られることができると考えられる．
特に、運動解析においてしばしば問題となる「オクルージョン」に対して、頑健な方法を実現することができた．
オクルージョンは、追跡点が他の物体の背後に隠れて見えなくなるために、以降の追跡が不可能になる現象であるが、今回の方法では多数の追跡点を用いることができるため、そのうちの一部が隠れても、残りの点で追跡を続行可能な

4. まとめ自発運動を促す能動的音楽療法の評価のため、オプティカルフローを用いることで、マスク画像を指定するだけの操作で多数の点を追跡できる画像処理方法を考案した．
その方法に基づくプログラムを開発し、実際の音楽療法中の映像に適用した．従来の解析ソフトウェアによる結果との比較から、考案した方法は注目する部位の動きの頻度を十分に計測可能であり、さらにオクルージョンに対して、より頑健になっていることが明らかとなった．
今後はさらに検証事例を増やすとともに、マスク画像の作成などの操作において使いやすさを向上させ、音楽療法の現場で広く有効に利用できるようなシステムの実現を目指す．
謝辞
音楽療法中の撮影および解析の適用、結果の引用をご承諾くださった実験協力者およびご家族の皆様に、心より感謝いたします．
参考文献(1) 鈴木真ほか, 音楽療法における自発動作評価への上肢運動解析の応用, ライフサポート, vol. 21, no. 4, pp.
142-148, 2009.
(2) B. D. Lucas et al., An iterative image registration techniquewith an application to stereo vision, Proc. Of the 1981
DARPA Imaging Understanding Workshop, pp.121-130,
1981.
(3) J. Shi et al., Good features to track, 9 th IEEE Conf. on
Computer Vision and Pattern Recognition, 1994.

−2−