HAI シンポジウム 2017
Human-Agent Interaction Symposium 2017P-15

介護老人保健施設の入居者と自動伴奏システムとのインタラクション
Interaction between the Residents of a Long-Term Care HealthFacility and an Automatic Music Accompaniment System
齋藤 康之 1∗
坂井 康二 2
五十嵐 優 3
Yasuyuki SAITO1
Yasuji SAKAI2 Yuu IGARASHI3
阿方 俊 4
嵯峨山 茂樹 5
4
Suguru AGATA
Shigeki SAGAYAMA5
木更津工業高等専門学校 情報工学科
Dept. of Information Engineering, National Institute of Technology, Kisarazu College2
厚木市いきいきサポーター
2
Atsugi-city Animated Supporter
3
昭和音楽大学附属音楽・バレエ教室
3
School of Music and Ballet attached to Showa University of Music
4
アジア・パシフィック電子キーボード協会
4
Asia Pacific Electronic Keyboard Association5
明治大学 総合数理学部 先端メディアサイエンス学科
5Scool of Interdisciplinary Mathematical Sciences, Meiji University
1

1

Abstract: 介護老人保健施設において，人の演奏に追従する自動伴奏システム「ユリディス」を用いた．奏者が電子ピアノのどの鍵を打鍵しても演奏が順次進行するように工夫して Standard MIDI
File を作成した．従来は，楽譜に沿った演奏が求められるが，読譜能力や演奏技術がない施設入居者でも演奏を楽しめる．施設入居者が積極的に演奏に参加したり，他者との交流が活性化したりする様子が見て取れている．

1

はじめに

介護老人保健施設とは，主に医療ケアや機能訓練（リハビリテーション）を必要とする要介護者が入居できる施設のことであり，食事の補助，入浴や着替え，排泄などの生活・身体介護や，医師・看護師による医療ケアなどのサービスを提供する [1]．その大きな特徴は，理学療法士や作業療法士による充実したリハビリテーションが受けられることであり，歩行器や車椅子を使った実用的なリハビリテーションが行われる．病院と自宅の中間的な役割があり，在宅復帰を前提としたリハビリテーションが中心となることから，入所可能な期間は短めで，3 カ月〜1 年程度となっている．また，入所だけではなくショートステイや通所もできるので，介護者の負担軽減につながっている．
∗ 連絡先：木更津工業高等専門学校 情報工学科〒 292-0041 千葉県 木更津市 清見台東 2-11-1
E-mail: saito@j.kisarazu.ac.jp

作業療法士や理学療法士が指導する本格的なリハビ
リテーションによって日常生活への回復を目指すことができるだけでなく，医療体制が充実しているため，緊急時に専門家による迅速な対応を受けられる．入所期間に，自宅で介護をしやすいように家族が家をリフォームすることもできるので，在宅介護の準備期間として活用可能である．また、介護保険が利用できる点や，民営の施設より料金が安めに設定されていることもメリットとして挙げられる．
その一方で，3 カ月ごとに行われる判定で「退所できる」と判断された場合，継続して住み続けることはできない．また，入所期間中はリハビリテーションが中心の生活となるため，個人の自由時間は少なく，イベントやレクリエーションなども少なくなりがちである．
そのような中，本稿第 2 著者の坂井は，ボランティアとして介護老人保険施設にて音楽レクリエーションの取り組みを行っている．本稿では，自動伴奏システ

図 1: Eurydice のシステム概念図．
ム Eurydice（ユリディス）を併用した参加型の歌唱レクリエーションについて述べ，介護老人保健施設の入居者（以下，施設入居者と略す）と自動伴奏システムとのインタラクションについて示す．

2

図 2: Eurydice のウィンドウの外観．

自動伴奏システム Eurydice

従来の自動伴奏システムは，設定したテンポでただ機械的に演奏するだけであり，奏者が伴奏に合わせる必要があり，いわばカラオケのようなものである．我々が研究開発している自動伴奏システム Eurydice（ユリディス）は，これとは全く異なっており，自動伴奏システムが奏者の演奏に合わせるものである [2]．Eurydiceには，予め奏者パートと伴奏パートの楽譜を与えておき，奏者の演奏位置を推定して，適切な伴奏を与える．
Eurydice のシステム概念図を図 1 に，Eurydice のウィンドウの外観を図 2 に示す．
人の演奏は画一的ではなく，たとえ同一の楽譜を演奏したとしても，毎回様々な差異があり，これは演奏の不確定性と呼ばれる．演奏の不確定性には意図的に行うものと偶発的に生じるものがあるが，代表的なものを以下に挙げる．

1. 発音時刻の微妙な変動
2. テンポ
3. 強弱やアーティキュレーション
4. 装飾音などにおける，音数や音高
5. 弾き誤り
6. 弾き直しや弾き飛ばし
そのため，あらかじめ楽譜が与えられていたとしても，このような不確定な要素を含んだ演奏の演奏位置を推定することは，容易ではない．
楽譜からある演奏がなされることを順問題とすれば，演奏から楽譜位置を推定することは逆問題として扱われる．Eurydice では，この逆問題を解く方法として，
隠れマルコフモデル（hidden Markov model; HMM）を用いて奏者の演奏をモデル化し，確率的に奏者の演奏位置を推定している．図 3 に楽譜追跡のための HMMの概念図を示す．各音符（和音）を 1 つの状態とみなし，各状態から演奏楽譜に対応する和音が出力されると考えるが，低い確率でそれ以外の和音も出力される

図 3: 楽譜追跡のための HMM の概念図．
ものとする．これにより，音高誤りを吸収できる．現在の楽譜位置に対応する状態 i に対し，次の和音の状態を i + 1 とする．したがって，順次進行であれば，状態番号 i が 1 つずつ増加することになる．和音は自己遷移として扱い，すなわち，同じ状態から複数の音高が出力されると考える．同様に，余分な音の挿入も，自己遷移として扱うことでその演奏誤りを吸収できる．必要な和音の脱落は小さな状態遷移として扱い，楽曲の前または後ろへのジャンプは大きな状態遷移として扱う．
奏者の演奏に合わせるには，楽譜位置のほか，テンポについても推定する必要がある．テンポとは，楽譜時間の実時間に対する速度であり，τ を楽譜時刻を表す変数とし，t を実時刻とすると，r=δτδt(1)と表せる．テンポを基に，音符ごとにその音符に与えられた楽譜上の音符の長さ（音価）と 2 音間の発音時間間隔（Inter-onset interval; IOI）の比で求められる
局所テンポは，

rm =τm+1 − τmtm+1 − tm(2)と表され，m 番目と m + 1 番目の発音時刻と楽譜時刻が分かれば求められる [2, 3]．また，m 番目の発音時刻を知っていれば，m + 1 番目の発音時刻を予測できる．

①((ぽ お 来 み つ 証 し 狸証
ん い い な つ 城 ょ 囃城寺
ぽ ら 来 で寺 し子
こ の い て 月 の ょ たしょ
夜 庭 証ぬぽ 友
きう
だ は 城 ばじん 達 来やょの ア い寺 しう
じぽ⑶のん))

MC76

図 4: 歌詞スライドの例．

3

図 5: 歌唱をしている様子．

MC80

介護老人保健施設での歌唱レク活動

本稿第 2 著者の坂井は，ボランティアとして介護老人保健施設にて音楽レクリエーションの取り組みを行っている [4]．2012〜2013 年は，高齢者施設でピアノ伴奏による歌唱レク活動のアシスタントを務めた．2014 年
からは，歌唱レク活動の講師が諸事情のため参加できなくなり，代行を打診され，自ら考案した歌唱伴奏システムを用いた歌唱活動を開始した．現在までに，活動回数は厚木市聖和会関係施設では 500 回，その他で200 回を超えている．
歌唱レクの方法としては，Microsoft PowerPoint により歌詞のスライドを作成し，施設の大型液晶テレビでそれを表示している．伴奏は，SMF（Standard MIDIFile）として作成した楽曲を，PowerPoint に埋め込んで関連づけておき，Windows Media Player で再生している．スライドの例を図 4 に示す．図 4 では，BPM= 76 と，それよりも少しテンポの速い BPM = 80 の伴奏のリンクを設定している．
また，皆で歌っている様子を図 5 に示す．車椅子を使用している施設入居者も多い．なお，坂井は，ただ歌を歌わせるだけではなく，歌詞の意味や，時代背景など，楽曲について説明を加えており，その楽曲について理解を深めたり，あるいは昔を思い出して感情を顕にして涙を流す施設入居者もいる．
ここで，坂井の持つ歌詞の指示棒は，細い木製の棒の先端に毛糸球を取り付けたものである．この指示棒を用いている理由としては，かつてレーザ・ポインタを使用したところ，施設入居者が口々に「あれは何だ」と言い出し，会場が騒然となってレクリエーションが成立しなくなったからである．現在の指示棒を用いてからは，どの施設においても混乱は生じていない．

4

介護老人保健施設での Eurydiceの適用方法

Eurydice は，第 2 章で述べたように，不確定な演奏に対しても追従する強力な楽譜追跡機能を有している．
奏者がメロディを多少間違いながらも演奏できれば，それに追従するが，施設入居者はピアノ演奏経験がなく，楽譜（五線譜）も読めない方が多い．また，そのような技能を持っていても，年齢とともに指の動きが衰えてしまうこともありうる．そこで，どのような演奏をしても楽曲を進行させるような工夫を施した．
SMF の中に，メロディと伴奏のほか，奏者からのテンポ情報を獲得するための特別なトラックを準備し，88鍵のピアノにおける最低音（C1）を与えておく．たとえば，図 6 のように，44 拍子であれば，四分音符を並べる．この音高は，実際には，音楽キーボード（KORG社 microKEY–25）の扱う音高の範囲外である．そのため，音楽キーボード上のどの鍵を打鍵しても，その音高を演奏できないことになる．しかし，それは以下に述べるように，実はそれが今回の取り組みにおいては好都合である．
Eurydice にとっては，楽曲の順次進行であるならば，現在の楽譜位置の次の音を期待しているが，実際に音楽キーボードから入力される MIDI 信号の音高は，常に誤っている．このとき，楽譜上での奏者の演奏する音高は，全て C1 であるため，どの位置の C1 が最も尤もらしいかは不定である．このような状況下においては，Eurydice は，全ての音符位置にジャンプしうるために均一の確率を算出することになるが，特に音高誤りが生じたとして次の音符の確率が最も高くなるため，順次進行した音符位置を新たな演奏位置と推定する．もしもこれが，音楽キーボードで演奏できる音高（またはその範囲から少しだけ外れた音高）であるならば，同じ音符位置の弾き直しや，楽譜の前または後ろの位置への大きなジャンプと推定される可能性がある．
したがって，ここでは，音高範囲の限られた小型の音図 6: SMF の楽譜の例（きらきら星）．一番上のパートが，Eurydice で演奏するために追加したもので，MIDIピアノの最低音を並べている．
楽キーボードを用いることにより，常に大きな音高誤りが生じることを逆手に取り，どの鍵を打鍵しても楽曲が順次進行していくことを実現している．
また，Eurydice には，奏者が次の音符を演奏するのを待ち続ける「waiting モード」と，任意のジャンプを許容しつつも奏者の演奏を待たずに楽曲を順次進行していく「non-waiting モード」がある．楽曲の最初から最後まで自分の思うテンポで演奏し続けるのであれば「waiting モード」を用いる．一方，「non-waiting モード」に設定しておけば，楽曲の冒頭部分だけテンポを与えて，演奏は途中で止めてしまい，歌唱に専念できる．
その場合，冒頭で与えたテンポを保ったまま，Eurydiceが演奏を継続する．これらの演奏モードを適宜使い分けて，施設入居者に演奏してもらう．

5

実践例

KORG 社 microKEY–25 をコンピュータに USB で接続し，Eurydice の演奏制御を行っている様子を図 7に示す．microKEY–25 を首から吊り下げられるようにストラップとメッシュパネルを組み合わせている．
また，施設入居者が音楽キーボードを演奏している様子を図 8 に示す．実際に演奏を体験した施設入居者からは，「とても楽しい」や「自分が全ての楽器を演奏しているかのようだ」などの好意的な意見が得られている．さらに，演奏を体験した施設入居者に他の施設入居者が「よかったよ」や「上手だったよ」などと声を掛ける場面も見受けられ，個人レベルでの音楽の楽しみや関心だけに留まらず，施設入居者の相互のコミュニケーションの活性化にも役立っている．

6

考察

現在は，坂井が単独で歌詞や Eurydice の SMF を準備しており，歌詞の作成には 30 分，SMF の作成には

図 7: Eurydice の演奏制御を行っている様子．

図 8: 施設入居者が演奏している様子．

2 時間程度かかっている．特に SMF の作成に時間を要しているのは，音量調節のためである．メロディ・パー
トと伴奏パートの音量のバランス調節について，エムアイセブンジャパン社の Finale 上で強弱記号を書き加えて，SMF に書き出して再生して確認するという作業を繰り返している．これを，Eurydice 上で再生しながら各パートの音量を調節できるようにすれば，作業効率は格段に向上するであろう．各パートの楽譜を見やすく表示するには，連桁，タイ，付点などを再現する必要がある．さらに，たとえば，歯切れのよい演奏とするために，SMF 上では楽譜上の音価よりも短く表現することも多いことから，SMF から楽譜本来の音価を推定する逆問題を解く必要がある．この問題を回避する一つの方法としては，たとえば，ピアノロール形式で表示し，SMF の持つ音価をそのまま表示すればよいと考えられる（図 9）．
また，準備作業を少しでも軽減するために，追加する奏者のパートを自動的に生成する仕組みを実装する必要がある．SMF には拍子の情報が埋め込まれているので，その情報を利用すればよいと考えられる．たとえば， 44 拍子や 34 拍子のように，分母が 4 の拍子は四分音符を並べ， 68 の場合には，一般には 83 の音価に相当する音符を並べればよい．
また，坂井はすでに 100 曲を越える楽曲を準備して図 9: ピアノロール形式の例（フリーソフト Domino のウィンドウの一部を抜粋）．

図 11: MIDI パッドの例（Roland SPD-8）．

図 10: 体を横たえている状態での演奏の様子．
おり，その中から所望の楽曲を選択することは容易ではなくなりつつある．現在，Eurydice は実行可能ファイルの存在するフォルダ（ディレクトリ）にある「MIDI」という名称のフォルダ以下にある全ての SMF をリストアップするようにしている．これに対して，ファイル選択ダイアログや検索機能を実装すれば，ジャンルや曲名に応じて SMF を格納するフォルダを分けて表示できるようにすれば，手早く選曲できるようになることが期待できる．従来の楽曲選択方法にも相応の利便性はあるので，両者の楽曲選択方法を切り替えられるように実装する予定である．
施設入居者が積極的に演奏に参加することにより，手指を中心とした身体機能のリハビリテーションや，鍵の触覚やリズム感など脳への刺激による認知症の予防などの効果が期待される．また，精神的な疾患に対しても音楽療法が促進し，歌うこと，笑うこと，他者との会話などは，身体面（脳機能，内臓機能など）と精神面の向上・安定に寄与し，また，両面の改善は相乗効果として表れて，心身ともに健康になると考えられる．現在は，起きている状態での演奏を行っているが，将来的には，図 10 に示すように，寝たきりになった場合についても検討したい．
施設の職員が機器を操作できればよいが，コンピュー

図 12: ウィンド・シンセサイザーの例（YAMAHA WX7）．
タの心得のない職員には扱いが難しく，施設内の他の業務もあることから，操作を覚えるために要する時間を捻出することは厳しい．そのため，ボランティアを中心とした対応が今後も展開されることが予想される．
本取り組みを継続・広く展開するためには，ボランティ
アを養成する必要があり，たとえば，定年を迎えたての方は貴重な人材となるだろう．
Eurydice は，MIDI 信号を受け取ることさえできれば，どのような楽器であっても対応でき，必ずしも対象がピアノ形態でなくとも構わない．したがって，MIDIドラム／ MIDI パッド（図 11）や，ウィンド・シンセサイザー（図 12）なども使用可能である．しかしながら，施設入居者にとっては，ピアノは楽器としての「憧れの対象」という様子である．鍵盤に直接触れることに喜びを感じ，演奏そのものを楽しめるというコンタク
ト性に優れている．一方，MIDI ドラム／ MIDI パッドの場合は，スティックを介して間接的に楽器に触れることになる．その上，手にしたスティックを落としたり振り回したりする恐れがないとはいえず，取り回しや安全面から使用に至ってはいない．ウィンド・シンセサイザーについては，息を吹き込む必要があり，施設入居者の身体機能の状態によっては扱うことが難しい．また，運指もピアノに比べると難易度が高く，全体的に必要とする技能レベルが高いといわざるを得ない．そのため，今後の歌唱レク活動においても，基本的に MIDI ピアノを使用していく予定である．
今回は，介護老人保健施設で適用したが，幼稚園・保育園・託児所などの未就学児に対して適用することも検討している．鍵盤を叩きさえすれば曲が進行していくので，楽譜を読めない幼児でも手軽に楽しめ，また，音楽に関心を持つことが期待される．

7

まとめ

本研究では，介護老人保健施設での歌唱レクリエーションにおける，施設入居者の方と自動伴奏システムEurydice とのインタラクションについて検討した．これまでは，歌唱レクリエーションはカラオケとして楽曲を再生して施設入居者が歌っていたが，より積極的に楽曲の制御に関与することで，より大きな喜びや，施設入居者間でのコミュニケーションの活性化が図られている．
今後は，第 6 章でも述べたように，各パートの音量調節を Eurydice 上で実施できるようにすること，奏者用の追加トラックを準備しなくても済むようにシステ
ムを拡張すること，楽曲選択方法を改善することなどに取り組む予定である．また，寝たきりになった方への対応，ボランティアの育成，未就学児への適用についても検討したい．

謝辞
本研究の一部は，日本学術振興会の科学研究費補助金 16K00501，17H00749 によります．ここに記し，謝意を表します．

参考文献[1] 長谷川介護サービス, “介護老人保健施設とは？
サービス内容と特別養護老人ホームとの違い”,
https://www.irs.jp/article/?p=94[2] 中村 栄太, 武田 晴登, 山本 龍一, 齋藤 康之, 酒向慎司, 嵯峨山茂樹, “任意箇所への弾き直し・弾き飛ばしを含む演奏に追従可能な楽譜追跡と自動伴奏”,
情報処理学会 論文誌, vol.54, no.4, pp.1338-1349,
Apr. 2013.

[3] 長野 亜美, 齋藤 康之, 中村 栄太, 嵯峨山 茂樹, “楽譜上で演奏者が休止時の自動伴奏のテンポ制御”,
映像情報メディア学会 メディア工学研究会技術報
告, ME2016-5, pp.17-20, Feb. 2016.
[4] 坂井 康二, 五十嵐 優, 阿方 俊, “高齢者施設における音楽活動 〜タテ線譜とユリディス活用による新しい試みへ向けて〜”, 日本電子キーボード音楽学会 第 13 回全国大会, p.21, Sep. 2017.