(57)【要約】    【課題】  歌唱者の歌唱状態に応じて歌唱補助音を適切に選択することのできる音楽療法に適したシステムを提供する。    【解決手段】  歌唱補助音送信手段４は、再生リストＬにしたがって、歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中から複数の楽曲の歌唱補助音を順番に、端末装置２０に送信する。端末装置２０の再生手段２２は、受信した歌唱補助音をスピーカ２４から再生する。歌唱者３０は、スピーカ２４から出力された歌唱補助音にあわせて、歌唱する。カメラ２８は、この歌唱中の歌唱者３０の顔を撮像する。歌唱状態取得手段２６は、撮像した顔画像をサーバ装置１０に送信する。サーバ装置１０の再生リスト修正手段６は、この顔画像に基づいて、顔の表情を評価し、再生リストＬにいずれの楽曲の歌唱補助音を含めるかを変更する。【選択図】  図１
2020014716.tif 000002
【特許請求の範囲】
【請求項１】
サーバ装置と端末装置を備えた音楽療法システムであって、
前記サーバ装置は、
複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、通信部によって、端末装置に送信する歌唱補助音送信手段と、
前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正する再生リスト修正手段とを備え、
前記端末装置は、
前記サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段とを備えたことを特徴とする音楽療法システム。
【請求項２】
音楽療法システムのためのサーバ装置であって、
複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、通信部によって、端末装置に送信する歌唱補助音送信手段と、
前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正する再生リスト修正手段と、
を備えたサーバ装置。
【請求項３】
音楽療法システムのためのサーバ装置をコンピュータによって実現するためのサーバプログラムであって、コンピュータを、
複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、通信部によって、端末装置に送信する歌唱補助音送信手段と、
前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正する再生リスト修正手段として機能させるためのサーバプログラム。
【請求項４】
音楽療法システムのための端末装置であって、
サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
前記サーバ装置において前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正するために、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段と、
を備えた端末装置。
【請求項５】
音楽療法システムのための端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
前記サーバ装置において前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正するために、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段として機能させるための端末プログラム。
【請求項６】
請求項１〜５のいずれかのシステム、装置またはプログラムにおいて、
前記端末装置は、歌唱者の歌唱状態を撮像して撮像画像を前記サーバ装置に送信し、
前記サーバ装置は、当該撮像画像に基づいて歌唱状態の評価を取得することを特徴とするシステム、装置またはプログラム。
【請求項７】
請求項６のシステム、装置またはプログラムにおいて、
前記サーバ装置は、歌唱者の顔画像に基づく歌唱状態の評価を取得することを特徴とするシステム、装置またはプログラム。
【請求項８】
請求項７のシステム、装置またはプログラムにおいて、
前記サーバ装置は、歌唱者の顔画像を評価サーバ装置に送信し、評価サーバ装置から評価を取得することを特徴とするシステム、装置またはプログラム。
【請求項９】
請求項６〜８のいずれかのシステム、装置またはプログラムにおいて、
前記歌唱状態の評価は、当該楽曲について歌唱者の歌唱直前の顔画像の評価と歌唱直後の顔画像の評価との差に基づくことを特徴とするシステム、装置またはプログラム。
【請求項１０】
請求項９のシステム、装置またはプログラムにおいて、
前記顔画像の評価が楽曲に対して否定的であることが増加した場合であったとしても、当該楽曲を再生リストに含める確率を上げることを特徴とするシステム、装置またはプログラム。
【請求項１１】
請求項１〜４のいずれかのシステム、装置またはプログラムにおいて、
前記端末装置は、ユーザによる歌唱者の歌唱状態の入力を受けて、前記サーバ装置に送信することを特徴とするシステム、装置またはプログラム。
【請求項１２】
請求項１１のシステム、装置またはプログラムにおいて、
前記顔画像の評価が楽曲に対して否定的であったとしても、当該楽曲を再生リストに含める確率を上げることを特徴とするシステム、装置またはプログラム。
【請求項１３】
請求項１〜１２のいずれかの装置またはプログラムにおいて、
前記再生リストの修正において、対象となる曲を歌唱した際の評価が同一であっても、当該歌唱者の疾病の種類に基づいて、当該楽曲の歌唱補助音を次回に再生する再生リストに含める確率を変化させることを特徴とするシステム、装置またはプログラム。
【請求項１４】
請求項１〜１３いずれかの装置またはプログラムにおいて、
前記再生リストの修正において、対象となる曲を歌唱した際の評価として、嫌悪感が高いと判断されても、当該歌唱補助音を次回に再生する再生リストに含める確率をゼロにしないことを特徴とするシステム、装置またはプログラム。
【請求項１５】
コンピュータを用いた音楽療法であって、
コンピュータが、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、再生部によって再生し、
コンピュータが、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、
前記歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正することを特徴とする音楽療法。
【請求項１６】
サーバ装置と端末装置を備えた音楽療法システムであって、
前記サーバ装置は、
記録部から読み出された歌唱補助音を、通信部によって、端末装置に送信する歌唱補助音送信手段と、
前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定する歌唱補助音選択手段と、
前記端末装置は、
前記サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段とを備えたことを特徴とする音楽療法システム。
【請求項１７】
音楽療法システムのためのサーバ装置であって、
記録部から読み出された歌唱補助音を、通信部によって、端末装置に送信する歌唱補助音送信手段と、
前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定する歌唱補助音選択手段と、
を備えたサーバ装置。
【請求項１８】
音楽療法システムのためのサーバ装置をコンピュータによって実現するためのサーバプログラムであって、コンピュータを、
記録部から読み出された歌唱補助音を、通信部によって、端末装置に送信する歌唱補助音送信手段と、
前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定する歌唱補助音選択手段として機能させるためのサーバプログラム。
【請求項１９】
音楽療法システムのための端末装置であって、
サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
前記サーバ装置においていずれの歌唱補助音を端末装置に送信するかを決定するために、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段と、
を備えた端末装置。
【請求項２０】
音楽療法システムのための端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
前記サーバ装置においていずれの歌唱補助音を端末装置に送信するかを決定するために、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段として機能させるための端末プログラム。
【請求項２１】
コンピュータを用いた音楽療法であって、
コンピュータが、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、再生部によって再生し、
コンピュータが、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、
前記歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定することを特徴とする音楽療法。
【請求項２２】
音楽療法のための歌唱補助装置であって、
楽曲の歌唱補助音を再生する歌唱補助音再生手段と、
前記再生された歌唱補助音に合わせて歌唱する歌唱者の脈拍を取得するセンサから脈拍情報を取得する脈拍情報取得手段と、
を備えた歌唱補助装置において、
前記歌唱補助音再生手段は、前記歌唱者の脈拍に応じて、前記歌唱補助音のテンポを変化させることを特徴とする歌唱補助装置。
【請求項２３】
コンピュータによって音楽療法のための歌唱補助装置を実現するための歌唱補助プログラムであって、コンピュータを、
楽曲の歌唱補助音を再生する歌唱補助音再生手段と、
前記再生された歌唱補助音に合わせて歌唱する歌唱者の脈拍を取得するセンサから脈拍情報を取得する脈拍情報取得手段として機能させ、
前記歌唱補助音再生手段は、前記歌唱者の脈拍に応じて、前記歌唱補助音のテンポを変化させることを特徴とする歌唱補助プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音楽療法において伴奏などを再生する歌唱補助装置に関するものである。
【背景技術】
【０００２】
音楽を聴いたり歌ったりすることで、音楽の生理的・心理的・社会的な効果を用いて、心身の健康の回復、向上を図ることが行われている。認知症患者に音楽を聴かせたり歌わせたりすることで、脳の働きを活性化させて、その進行を抑えるなどの効果が期待されている。
【０００３】
たとえば、複数の楽曲を患者に連続的に歌わせる音楽療法がある。このような音楽療法においては、楽曲を適切に選曲することが大切であるものの、その選曲基準は療法士各人の経験や勘によるところが多かった。また、歌っている時の患者の様子を観察して、次に用意する楽曲を選択することが好ましいが、これも各人の能力差が大きく、恣意的な要素が入り込まないように客観的な楽曲選択を行うことは難しかった。
【０００４】
一方、特許文献１に示すように、歌を歌っている時の歌唱者の顔や、ダンスを踊っている時の顔を撮像して、これを評価するシステムが提案されている。これによれば、歌を歌っている時やダンスをしている時の満足度などを判定することができる。
【０００５】
さらに、特許文献２には、ユーザが普段からよく聞いている曲をカラオケ曲としてリコメンドする装置が開示されている。これによれば、ユーザの好みに合致したカラオケ曲を示すことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１８−１０３０５
【特許文献２】特開２０１７−２０１３３７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の装置では、歌っている時の状態を顔から評価することはできたとしても、これを用いて、認知症などの治療に適した楽曲の選択にどのように反映すればいいのか明らかではなかった。
【０００８】
また、特許文献２の装置では、ユーザがよく聞いている楽曲をカラオケ曲としてリコメンドするので、当該ユーザに合致したカラオケ曲を提案することはできる。しかし、音楽療法においては、好き嫌いだけで楽曲を選択することが治療のために必ずしも好ましいわけではなく、この装置によるリコメンドをそのまま音楽療法に用いることはできない。
【０００９】
この発明は、上記のような問題点を解決して、音楽療法に適したシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
この発明の独立して適用可能な側面を以下に列挙する。
【００１１】
(1)-(5)この発明に係る音楽療法システムは、
前記サーバ装置が、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、通信部によって、端末装置に送信する歌唱補助音送信手段と、前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正する再生リスト修正手段とを備え、
前記端末装置が、前記サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段とを備えたことを特徴としている。
【００１２】
したがって、歌唱者の歌唱状態に基づいて、再生する曲の再生リストを修正することができる。
【００１３】
(6)この発明に係るシステムは、端末装置は、歌唱者の歌唱状態を撮像して撮像画像を前記サーバ装置に送信し、サーバ装置は、当該撮像画像に基づいて歌唱状態の評価を取得することを特徴としている。
【００１４】
したがって、端末装置の側において撮像画像に基づく歌唱状態の評価を行う必要がない。
【００１５】
(7)この発明に係るシステムは、サーバ装置が、歌唱者の顔画像に基づく歌唱状態の評価を取得することを特徴としている。
【００１６】
したがって、歌唱者の表情などに基づいて歌唱状態の評価を行うことができる。
【００１７】
(8)この発明に係るシステムは、サーバ装置が、歌唱者の顔画像を評価サーバ装置に送信し、評価サーバ装置から評価を取得することを特徴としている。
【００１８】
したがって、サーバ装置において、顔画像に基づく評価を行う必要がない。
【００１９】
(9)この発明に係るシステムは、歌唱状態の評価が、当該楽曲について歌唱者の歌唱直前の顔画像の評価と歌唱直後の顔画像の評価との差に基づくことを特徴としている。
【００２０】
したがって、歌唱による効果をより正確に評価することができる。
【００２１】
(10)この発明に係るシステムは、顔画像の評価が楽曲に対して否定的であることが増加した場合であったとしても、当該楽曲を再生リストに含める確率を上げることを特徴としている。
【００２２】
したがって、歌唱による感情などの変化に基づいて、治療効果を高めることのできるシステムを提供できる。
【００２３】
(11)この発明に係るシステムは、端末装置が、ユーザによる歌唱者の歌唱状態の入力を受けて、前記サーバ装置に送信することを特徴としている。
【００２４】
したがって、ユーザによる評価に基づいて再生リストの修正を行うことができる。
【００２５】
(12)この発明に係るシステムは、顔画像の評価が楽曲に対して否定的であったとしても、当該楽曲を再生リストに含める確率を上げることを特徴としている。
【００２６】
したがって、歌唱による感情に基づいて、治療効果を高めることのできるシステムを提供できる。
【００２７】
(13)この発明に係るシステムは、再生リストの修正において、対象となる曲を歌唱した際の評価が同一であっても、当該歌唱者の疾病の種類に基づいて、当該楽曲の歌唱補助音を次回に再生する再生リストに含める確率を変化させることを特徴としている。
【００２８】
したがって、疾病に応じた歌唱補助音の提供を行うことができる。
【００２９】
(14)この発明に係るシステムは、再生リストの修正において、対象となる曲を歌唱した際の評価として、嫌悪感が高いと判断されても、当該歌唱補助音を次回に再生する再生リストに含める確率をゼロにしないことを特徴としている。
【００３０】
したがって、嫌悪間のある楽曲に対しても治療効果を見極めながら再生を行うことができる。
【００３１】
(15)この発明に係るコンピュータを用いた音楽療法は、コンピュータが、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、再生部によって再生し、コンピュータが、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、前記歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正することを特徴としている。
【００３２】
したがって、歌唱者の歌唱状態に基づいて、再生する曲の再生リストを修正することができる。
【００３３】
(16)-(20)この発明に係る音楽療法システムは、
サーバ装置が、記録部から読み出された歌唱補助音を、通信部によって、端末装置に送信する歌唱補助音送信手段と、前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定する歌唱補助音選択手段とを備え、
端末装置が、前記サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段とを備えたことを特徴としている。
【００３４】
したがって、歌唱者の歌唱状態に基づいて、再生する曲を適切に選択することができる。
【００３５】
(21)この発明に係るコンピュータを用いた音楽療法は、コンピュータが、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、再生部によって再生し、コンピュータが、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、前記歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定することを特徴としている。
【００３６】
(22)(23)この発明に係る音楽療法のための歌唱補助装置は、楽曲の歌唱補助音を再生する歌唱補助音再生手段と、前記再生された歌唱補助音に合わせて歌唱する歌唱者の脈拍を取得するセンサから脈拍情報を取得する脈拍情報取得手段とを備え、前記歌唱補助音再生手段は、前記歌唱者の脈拍に応じて、前記歌唱補助音のテンポを変化させることを特徴としている。
【００３７】
したがって、歌唱者の脈拍に応じて再生のテンポを修正することができる。
【００３８】
「歌唱補助音送信手段」は、実施形態においては、ステップＳ６２がこれに対応する。
【００３９】
「再生リスト修正手段」は、実施形態においては、ステップＳ３３がこれに対応する。
【００４０】
「再生手段」は、実施形態においては、ステップＳ１３がこれに対応する。
【００４１】
「歌唱状態取得手段」は、実施形態においては、ステップＳ１５がこれに対応する。
【００４２】
「歌唱補助音選択手段」は、実施形態においては、ステップＳ７１がこれに対応する。
【００４３】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【００４４】
【図１】第１の実施形態による音楽療法システムの機能ブロック図である。
【図２】システム構成である。
【図３】歌唱補助サーバ装置ＳＡのハードウエア構成である。
【図４】端末装置Ｔのハードウエア構成である。
【図５Ａ】ユーザ登録処理のフローチャートである。
【図５Ｂ】初期再生リスト生成処理のフローチャートである。
【図６】再生・撮像処理のフローチャートである。
【図７Ａ】再生リスト修正処理のフローチャートである。
【図７Ｂ】再生リスト修正処理のフローチャートである。
【図８Ａ】図８Ａ〜図８Ｄは、ユーザ登録画面例である。
【図８Ｅ】図８Ｅ、図８Ｆは、歌唱のための画面例である。
【図９】歌唱補助音６６のメタデータの例である。
【図１０】再生リストの例である。
【図１１】顔画像による評価例である。
【図１２】第２の実施形態による音楽療法システムの機能ブロック図である。
【図１３】システム構成である。
【図１４】ユーザ登録処理のフローチャートである。
【図１５】再生・撮像処理のフローチャートである。
【図１６】評価テーブルの例である。
【発明を実施するための形態】
【００４５】
１．第１の実施形態
1.1機能ブロック図
図１に、この発明の一実施形態による音楽療法システムの機能ブロック図を示す。このシステムは、サーバ装置１０と端末装置２０を備えている。サーバ装置１０の記録部２には、音楽療法として、歌唱者３０が歌唱する際の補助となる歌唱補助音（たとえば、カラオケ伴奏音など）Ｋ1、Ｋ2・・・Ｋnが記録されている。また、再生リストＬも記録されている。
【００４６】
歌唱補助音送信手段４は、歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中から、再生リストＬの指定順にしたがって、複数の楽曲の歌唱補助音を順次、端末装置２０に送信する。端末装置２０の再生手段２２は、受信した歌唱補助音をスピーカ２４から再生する。
【００４７】
歌唱者３０は、スピーカ２４から出力された歌唱補助音にあわせて、歌唱する。
【００４８】
カメラ２８は、この歌唱中の歌唱者３０の顔を撮像する。歌唱状態取得手段２６は、撮像した顔画像をサーバ装置１０に送信する。
【００４９】
サーバ装置１０の再生リスト修正手段６は、この顔画像に基づいて、顔の表情を評価する。たとえば、当該表情によって怒り、嫌悪感、恐怖、喜び、中立、哀しみのいずれが示されているかを評価する。さらに、再生リスト修正手段６は、上記表情の評価に基づき、再生リストＬにいずれの楽曲の歌唱補助音を含めるかを変更する。
【００５０】
たとえば、喜びの表情と評価された場合には当該歌唱補助音の再生頻度を高くする。なお、認知症など歌唱者の疾病の種類によっては、怒りなどの否定的な表情と評価された場合であっても、再生頻度を低くしないようにする。疾病によっては、何らかの反応があること自体が、治療につながるからである。
【００５１】
あるいは、歌い始めと歌い終わりの表情の変化があれば当該補助音の再生頻度を高くするようにしてもよい。
【００５２】
変更された再生リストＬは、当該歌唱者３０の次回の音楽療法の際に用いられる。
【００５３】
1.2ハードウエア構成
図２に、音楽療法システムの構成図を示す。歌唱補助サーバ装置ＳＡには、歌唱補助音であるカラオケ演奏音が記録されている。表情評価サーバ装置ＳＢは、顔画像を受けて顔の評価を行い、その結果を返送するものである。これらは、インターネット上のサーバ装置として構築されている。この実施形態では、歌唱補助サーバ装置ＳＡは自ら表情を評価するのではなく、表情評価サーバ装置ＳＢから評価結果を取得するようにしている。
【００５４】
これらサーバ装置ＳＡ、ＳＢと通信可能に、端末装置Ｔが設けられている。端末装置Ｔは、歌唱補助サーバ装置ＳＡからのカラオケ演奏データを受けてこれを再生する。端末装置Ｔは、歌唱中の歌唱者１２の顔画像を撮像して、歌唱補助サーバ装置ＳＡに送信する。歌唱補助サーバ装置ＳＡは、顔画像を表情評価サーバ装置ＳＢに送信し、評価結果を得る。歌唱補助サーバ装置ＳＡは、この評価結果に基づいて、再生リストに含める楽曲の歌唱補助音を変更する。
【００５５】
図３に、歌唱補助サーバ装置ＳＡのハードウエア構成を示す。ＣＰＵ４０には、メモリ４２、ディスプレイ４４、ハードディスク４８、ＤＶＤ−ＲＯＭドライブ５０、通信回路５２が接続されている。
【００５６】
通信回路５２は、インターネットと接続するためのものである。ハードディスク４８には、オペレーティングシステム６０、歌唱補助サーバプログラム６２、再生リスト６４、複数の楽曲の歌唱補助音６６が記録されている。歌唱補助サーバプログラム６２は、オペレーティングシステム６０と協働してその機能を発揮するものである。これらプログラムは、インターネット上のサーバ装置（たとえば、バージョン管理システム）に記録されていたものを、ハードディスク４８にインストールしたものである。
【００５７】
図４に、端末装置Ｔのハードウエア構成を示す。この実施形態では、端末装置Ｔとしてスマートフォンを用いている。しかし、据え置き型のＰＣやカラオケ再生端末装置などを用いてもよい。
【００５８】
ＣＰＵ７０には、メモリ７２、タッチディスプレイ７４、スピーカ７６、不揮発性メモリ７８、通信回路８０、カメラ８２、マイク８４が接続されている。
【００５９】
通信回路８０は、インターネット接続するためのものである。不揮発性メモリ７８には、オペレーティングシステム９０、歌唱補助端末プログラム９２が記録されている。歌唱補助端末プログラム９２は、オペレーティングシステム９０と協働してその機能を発揮するものである。これらプログラムは、インターネットを介して、ダウンロードしたものである。
【００６０】
1.3音楽療法処理
図５Ａ、図５Ｂ、図６、図７に、歌唱補助サーバプログラム６２、歌唱補助端末プログラム９２のフローチャートを示す。
【００６１】
図５Ａは、ユーザ登録処理のフローチャートである。音楽療法を受ける本人またはその家族など（ユーザ）が、端末装置Ｔを操作して歌唱補助サーバ装置ＳＡにアクセスし、ユーザ登録を行う。
【００６２】
ユーザは、端末装置ＴのＣＰＵ７０（以下端末装置Ｔと省略することがある）は、タッチディスプレイ７４を操作し、歌唱補助サーバ装置ＳＡにアクセスする（ステップＳ１）。歌唱補助サーバ装置ＳＡのＣＰＵ４０（以下歌唱補助サーバ装置ＳＡと省略することがある）は、これを受けて登録画面を送信する（ステップＳ５１）。端末装置Ｔは、タッチディスプレイ７４にこの登録画面を表示する。
【００６３】
登録画面の例を、図８Ａ〜図８Ｄに示す。この実施形態では、性別、年齢（生年月日）、出身地、好きなジャンル、音楽経験（歌唱、カラオケ、楽器演奏などの経験の有無）、疾病の度合い（もの忘れの度合い）などを入力するようにしている。ユーザが入力を完了し送信ボタンを押すと、端末装置Ｔは、入力された情報を歌唱補助サーバ装置ＳＡに送信する（ステップＳ２）。
【００６４】
歌唱補助サーバ装置ＳＡは、ユーザに対してユーザＩＤを発行する（ステップＳ５２）。歌唱補助サーバ装置ＳＡは、発行したユーザＩＤに対応付けて、端末装置から送信されてきたユーザ情報を記録する（ステップＳ５３）。
【００６５】
また、歌唱補助サーバ装置ＳＡは、発行したユーザＩＤを端末装置Ｔに送信する（ステップＳ５２）。端末装置Ｔは、受信したユーザＩＤを不揮発性メモリ７８に記録する（ステップＳ３）。
【００６６】
次に、歌唱補助サーバ装置ＳＡは、ユーザ情報に基づいて再生リストを生成し、ユーザＩＤに対応付けて、ハードディスク４８に記録する（ステップＳ５４）。
【００６７】
図５Ｂに、歌唱補助サーバ装置ＳＡにおける初期再生リスト生成処理のフローチャートを示す。図９に、ハードディスク４８に記録された歌唱補助音６６のデータを示す。各歌唱補助音６６には、メタデータとして、ジャンル、性別、世代、地域などのメタデータが記録されている。これらのメタデータは、再生リストの生成や修正に用いられる。なお、ユーザの疾病に合致した楽曲がいずれであるかをメタデータとして記録し、再生リスト生成などに用いてもよい。また、それぞれの歌唱補助音６６には、歌詞データ（文字テキストデータ）が付随して記録されている。この歌詞データには、歌唱補助音の再生時にその進行と合致するように表示色を変化させるためのタイミングデータも含まれている。
【００６８】
まず、歌唱補助サーバ装置ＳＡは、当該ユーザのユーザ情報と、歌唱補助音６６のメタデータに基づいて、歌唱補助音６６を選択して初期再生リストを生成する。
【００６９】
歌唱補助サーバ装置ＳＡは、まず、ユーザの性別に基づいて、所定数の歌唱補助音６６を選択する（ステップＳ２１）。たとえば、ユーザが女性であれば、歌唱補助音６６のメタデータの「女性向け」に丸印が入っているものの中から、ランダムに所定数を選択する。ここで、再生リストに２０曲の歌唱補助音６６を含めるのであれば、その所定割合（たとえば１５％で３曲）の歌唱補助音６６を選択する。
【００７０】
同様にして、ユーザの年齢から３曲、ユーザの好みのジャンルから３曲、ユーザの出身地から３曲をランダムに選択する（ステップＳ２２〜Ｓ２４）。残りの８曲については、上記にて選択した歌唱補助音６６以外の歌唱補助音６６からランダムに選択する（ステップＳ２６）。
【００７１】
歌唱補助サーバ装置ＳＡは、上記のようにして選択した２０曲の歌唱補助音６６をランダムに並び替えて、初期再生リストを生成し、ユーザＩＤと対応付けてハードディスク４８に記録する（ステップＳ２６）。
【００７２】
このようにして生成された初期再生リストは、当該ユーザの最初の音楽療法の際に用いられることになる。図１０に、生成された初期再生リストの例を示す。
【００７３】
図６に、音楽療法として歌唱補助音６６を再生し、カメラによって歌唱者を撮像する時のフローチャートを示す。
【００７４】
ユーザの操作により端末装置Ｔは、歌唱補助サーバ装置ＳＡにアクセスする（ステップＳ１１）。この際、端末装置Ｔは、記録されているユーザＩＤを読み出して、歌唱補助サーバ装置ＳＡに送信する。なお、ユーザＩＤをユーザが入力するようにしてもよい。
【００７５】
続いて、端末装置Ｔは、カメラ８２によるユーザ（歌唱者）の動画撮像を開始する（ステップＳ１２）。静止画を撮像するようにしてもよい。なお、端末装置Ｔのカメラ８２によってユーザが撮像できるように、端末装置Ｔを支持台（図示せず）などに固定するようにしてもよい。
【００７６】
歌唱補助サーバ装置ＳＡは、受信したユーザＩＤに基づいて、対応して記録されている再生リストを、ハードディスク４８から読み出す（ステップＳ６１）。さらに、歌唱補助サーバ装置ＳＡは、再生リストの最初に記述されている楽曲の歌唱補助音６６（歌詞データを含む）を読み出して、端末装置Ｔに送信する（ステップＳ６２）。図１０の例であれば、「青い山脈」の歌唱補助音６６（たとえばカラオケ演奏）を送信する。
【００７７】
歌唱補助音６６を受信した端末装置Ｔは、これをスピーカ７６から再生する（ステップＳ１３）。同時に、歌詞をタッチディスプレイ７４に表示する。したがって、端末装置Ｔから歌唱補助音６６が出力され、タッチディスプレイ７４に歌詞が表示される（歌唱補助音の進行にあわせて歌うべき箇所の色が変化する）ので、これにあわせてユーザが歌を歌う。この時のユーザの顔は、カメラ８２によって撮像されている。
【００７８】
なお、この実施形態では、図８Ｅに示すように、画面に歌詞のみを表示するようにしている。画像などを表示しないことで、歌唱者が歌詞に集中できるようにするためである。なお、適用状況に応じて画像などを表示するようにしてもよい。
【００７９】
また、図８Ｅのように歌詞は画面最上部から表示してもよいが、図８Ｆに示すように、中央部分から表示するようにしてもよい。これは、歌唱者が高齢者である場合、眼瞼下垂により上方向が見えにくいことがあるからである。
【００８０】
なお、画面最上部から歌詞を表示する場合であっても、歌詞の色を変化させる部分（歌うべき部分）は、中央部分付近に持ってくることが好ましい。
【００８１】
図８Ｅにおいて、ユーザがメロディボタン１５０を押すごとに、端末装置Ｔは歌唱補助音６６に含まれる主旋律の再生をオンにしたりオフにしたりする。ボーカルボタン１５２を押すごとに、ガイドボーカルの再生をオンにしたりオフにしたりする。さらに、先読みボタン１５４を押すごとに、歌詞データに基づいて、次に歌うべき歌詞を音声として先に出力する機能（歌詞の先読み機能）をオンにしたりオフにしたりする。歌詞が見づらい場合など、歌詞の先読み機能で歌唱を誘導することが可能となる。
【００８２】
また、続きボタン１５６がクリックされると、端末装置Ｔは、１番が終了した後、その楽曲の２番の歌唱補助音６６を再生する。１番が終了するまでに、続きボタン１５６がクリックされなければ、端末装置Ｔは、当該楽曲について１番の終了で１曲が終了したものとして次の処理に進む。
【００８３】
１曲の歌唱補助音６６の再生が終了すると、端末装置Ｔは、当該曲（ここでは青い山脈）の歌唱補助音６６の再生開始直前のユーザの顔画像と、再生終了直後のユーザの顔画像を、前記動画から抽出する。さらに、抽出した顔画像（静止画）を、歌唱補助サーバ装置ＳＡに送信する（ステップＳ１５）。
【００８４】
歌唱補助サーバ装置ＳＡは、この顔画像を受信し、当該曲に対応付けて記録する。図１０の再生リストには、顔画像を記録する領域が設けられているので、ここに記録する。なお、顔画像１は再生開始直前のユーザの顔画像、顔画像２は再生終了直後のユーザの顔画像である。
【００８５】
歌唱補助サーバ装置ＳＡは、再生リストの次の楽曲の再生補助音６６を読み出して、端末装置に送信する（ステップＳ６２）。
【００８６】
以後、上記と同様の処理を繰り返す。再生リストの全曲について再生補助音６６を再生し終わると（ステップＳ６５）、歌唱補助サーバ装置ＳＡは処理を終了する。端末装置Ｔは、再生を終了し、動画撮像を終了する（ステップＳ１７）。
【００８７】
以上のようにして、当該ユーザの再生リストの各楽曲につき、再生開始直前のユーザの顔画像、再生終了直後のユーザの顔画像が記録されることになる。
【００８８】
歌唱補助サーバ装置ＳＡは、上記の顔画像に基づいて、当該ユーザの再生リストに含まれる楽曲を修正する。図７Ａに、再生リスト修正処理のフローチャートを示す。この処理は、たとえば、夜間などにまとめて行うことが好ましい。
【００８９】
歌唱補助サーバ装置ＳＡは、各楽曲についての直前・直後の顔画像を読み出して、表情評価サーバ装置ＳＢに送信する（ステップＳ３１）。表情評価サーバ装置ＳＢとしては、マイクロソフト社のFace API（商標）などを利用することができる。
【００９０】
表情評価サーバ装置ＳＢは、送られてきた顔画像を評価し（ステップＳ７１）、その評価結果を歌唱補助サーバ装置ＳＡに返信する（ステップＳ７２）。この実施形態では、顔画像に含まれる「怒り」「軽蔑」「嫌悪」「恐怖」「喜び」「中立」「悲しみ」「驚き」の８つの要素の度合いを算出するようにしている。たとえば、図１１Ａに示すように、各要素について、その適合率を算出して送信する。
【００９１】
次に、端末装置Ｔは、楽曲ごとに、顔画像１と顔画像２の評価の差を算出する（ステップＳ３２）。端末装置Ｔは、楽曲ごとに、もっとも差分の絶対値の大きかった要素を一つ選択する。図１１Ａの例であれば、３５％の差がある喜びが選択されることになる。なお、この実施形態では、「中立」の要素は考慮しないようにしている。感情が表れていないからである。
【００９２】
いずれの要素であっても、最大差が第１の所定割合（たとえば５０％）を超えていれば効果ありとし、第２の所定割合〜第１の所定割合（たとえば１５％以上５０％以下）であればどちらでもない、第２の所定割合（たとえば１５％）未満であれば効果なしとする。ここでは、効果あり、どちらでもない、効果なしの３段階としたが、２段階としたり、４段階以上としてもよい。ポジティブな要素（喜び）だけで無く、ネガティブな要素（悲しみ、怒りなど）についても差分が大きければ効果ありとしたのは、楽曲によって感情の変化がもたらされたと考えられるからである。したがって、例えば恐怖が減少した場合だけでなく、恐怖が増大したような場合も、それが第１の所定割合（たとえば５０％）を超えていれば効果ありと判断する。疾病によっては、何らかの反応があること自体が、治療につながるからである。
【００９３】
端末装置Ｔは、上記のようにして算出した各曲の評価「効果あり」「どちらでもない」「効果無し」を、図１０に示すように記録する。図においては、○が効果あり、□がどちらでもない、×が効果無しである。次に、端末装置Ｔは、各曲の評価に基づいて、当該ユーザの再生リストの修正を行う（ステップＳ３３）。
【００９４】
図７Ｂに、再生リスト修正処理の詳細を示す。まず、歌唱補助サーバ装置ＳＡは、過去の評価において、効果ありの評価回数が１位〜１０位の楽曲からランダムに５曲を選択する（ステップＳ４１）。なお、図１０においては、１回だけ再生した後の評価であるから、評価は１回だけ行われている。しかし、複数回音楽療法を繰り返すと、評価も複数回得られることになる。これら複数回の評価をまとめて各楽曲について効果ありが何回評価されたかを算出し、１位〜１０位までの楽曲の中からランダムに５曲（所定数の曲）を選択する。
【００９５】
次に、歌唱補助サーバ装置ＳＡは、効果ありの評価回数が１１位以下の楽曲の中からランダムに５曲を選択する（ステップＳ４２）。
【００９６】
以上の処理で１０曲選択できなければ、つまり、効果ありの評価を得た楽曲が１０曲に満たない場合には、ステップＳ４６以下を実行する（ステップＳ４３）。１０曲選択できた場合には、効果ありの評価回数１位〜１０位の楽曲から３曲を選択する（ステップＳ４４）。ただし、ステップＳ４１・Ｓ４２での選択曲は除く。さらに、効果ありの評価回数１１位以下の楽曲から３曲を選択する（ステップＳ４５）。ただし、ステップＳ４１・Ｓ４２・Ｓ４４での選択曲は除く。
【００９７】
以上のようにして、効果ありと評価された楽曲の歌唱補助音から所定数をリストに含ませるようにする。音楽療法の効果が見込まれる楽曲を優先したものである。ただし、効果ありの楽曲のみから選択すると、再生リストが固定化され、結果的に治療効果が低下する可能性がある。そこで、以下のように、どちらでもないや全ての楽曲（効果なし含む）からもランダムに選択して楽曲リストに含めるようにしている。
【００９８】
ステップＳ４６において、歌唱補助サーバ装置ＳＡは、どちらでもないの評価回数１位〜１０位の楽曲からランダムに２曲を選択する。さらに、どちらでもないの評価回数１１以下の楽曲からランダムに１曲を選択する（ステップＳ４７）。
【００９９】
最後に、歌唱補助サーバ装置ＳＡは、再生リストに含める残りの曲を、全ての曲（上記にて選択された曲を除く）からランダムに選択する（ステップＳ４８）。全ての曲であるから、効果なしとされた楽曲も含んで全体から、ランダムに選択されることになる。
【０１００】
以上のようにして、当該ユーザについての再生リストが修正されて、ハードディスク４８に記録されることになる。なお、この修正された再生リストは、当該ユーザの次の音楽療法の際に用いられる。
【０１０１】
1.4その他
(1)上記実施形態では、事前と事後の顔画像に基づいて表情の評価を行い、その差に基づいて楽曲の評価を行うようにしている。しかし、歌唱中（例えばさび部分など）のユーザの顔画像に基づいて表情の評価を行って、楽曲の評価を行うようにしてもよい。
【０１０２】
また、最も変化の大きかった要素を一つだけ選択して楽曲を評価しているが、変化の大きい方から複数個の要素を選択して楽曲を評価し、再生リスト修正に反映するようにしてもよい。
【０１０３】
また、歌唱中の顔画像を所定回数（たとえば１０秒ごと）取得し、各回の顔画像を評価するようにしてもよい。この場合、前回の評価との差の絶対値を各回について求めて、各回の平均値または最大値に基づいて判断のための要素を決定することができる。たとえば、図１１Ｂに示すように４回の顔画像を評価した場合、図１１Ｃのように各回の差分の絶対値を算出する。要素ごとに平均値を求め、平均値が最も大きい要素を再生リスト修正のために用いる。図１１Ｃであれば、４０％の平均値の「喜び」が選択されることになる。また、最大値を用いる場合であれば、４３％の「怒り」が選択されることになる。なお、平均値を最大値の双方を用いるようにしてもよい。
【０１０４】
(2)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、動画として評価を行うようにしてもよい。たとえば、マイクロソフト社のVideo Indexer（商標）などを用いることができる。
【０１０５】
また、ユーザの動画から判断できる動作に基づいて当該曲の評価を行うようにしてもよい。たとえば、身体全体でリズムをとっている、手拍子をしているなどの動作によって、当該曲の評価を行ってもよい。
【０１０６】
(3)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、これに代えて、あるいはこれに加えて、歌唱者の音声（動画に含まれるものであってもよい）に基づいて評価を行うようにしてもよい。声が出ていれば（大きな声が出ていれば）効果ありとするなどである。
【０１０７】
また、歌唱者の音声をマイクで収録してテキストデータ化し、本来の歌詞に対する正確性を評価するようにしてもよい。正確性が高いと効果ありとするなどである。
【０１０８】
(4)上記実施形態では、歌唱補助サーバ装置ＳＡが顔画像を表情評価サーバ装置ＳＢに送信し、顔画像の評価を得るようにしている。しかし、端末装置Ｔから表情評価サーバ装置ＳＢに顔画像を送信して評価を得て、当該評価を端末装置Ｔから歌唱補助サーバ装置ＳＡに送信するようにしてもよい。また、端末装置Ｔにおいて、顔画像を評価し、当該評価を端末装置Ｔから歌唱補助サーバ装置ＳＡに送信するようにしてもよい。
【０１０９】
(5)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、各曲の歌唱終了後に、歌唱者もしくはその家族、治療者などによって、「効果あり」「どちらでもない」「効果無し」を、端末装置Ｔから入力して、歌唱補助サーバ装置ＳＡに送信するようにしてもよい。
【０１１０】
この際、「効果あり」「どちらでもない」「効果無し」に代えて、「好き」「どちらでもない」「嫌い」を入力するようにしてもよい。
【０１１１】
また、顔画像に基づく評価と、ユーザもしくは家族などによって入力された評価の双方を用いて、再生リストの修正を行うようにしてもよい。この場合、たとえば、いずれか一方において「効果あり」との評価が得られれば、その評価に基づいて、再生確率を変えるようにすればよい。
【０１１２】
(6)上記実施形態では、「嫌悪」の変化が最も絶対値が大きく、しかも、「嫌悪」が直前よりも直後において増えている場合（上記変形例の「嫌い」の場合も同様である）であっても、「効果あり」との判定を行うようにしている。しかし、このような場合には、再生リストに当該曲を含めないようにしてもよい。ユーザによる「嫌悪」の感情が、音楽療法の妨げになる可能性があるからである。ただし、上記のような場合であっても、物忘れが大きいユーザ（重度認知症や中等度認知症）に対しては、当該曲を再生リストに含めるようにしてもよい。物忘れが大きいので、当該曲に対する「嫌悪」の感情を維持していないからである。ただし、「嫌悪」が所定回数以上続くようであれば、再生リストに含める確率を０％にしてもよい。
【０１１３】
(7)上記実施形態では、端末装置Ｔ、サーバ装置ＳＡ、ＳＢによってシステムを構築している。しかし、端末装置Ｔおよびサーバ装置ＳＡまたはサーバ装置ＳＢまたはその双方の機能を、１台のＰＣ等によって実現するようにしてもよい。
【０１１４】
(8)上記実施形態に加えて、あるいはこれに代えて、歌唱者であるユーザの歌唱中の脈拍を取得するセンサを設け、当該脈拍に合致するように端末装置Ｔにて再生する歌唱補助音のテンポをリアルタイムで調整するようにしてもよい。これにより、歌唱者によって、テンポが取りやすく歌を歌いやすい環境を提供することができる。
【０１１５】
また、歌唱中の脈拍を取得し、その平均値や最大値に基づいて、再生リストの修正に反映するようにしてもよい。たとえば、当該歌唱者の平常時の脈拍よりも速ければ（遅ければ）、次の再生リストに含める曲としてテンポの遅い（速い）曲を選択する確率を高くするようにする。この場合、歌唱補助音に標準テンポをメタデータとして記録しておいてこれを元に選択するようにする。あるいは、標準テンポとは関係なく、再生時にテンポを調整するようにしてもよい。
【０１１６】
なお、上記において、脈拍が速ければテンポの遅い曲を選択する確率を高めているのは、脈拍を落ち着かせたり、興奮状態から気持ちを落ち着かせるためである。
【０１１７】
(9)上記実施形態では、歌唱補助音としてカラオケ伴奏を用いている。しかし、ユーザの歌唱補助のために伴奏だけでなく歌（ガイドボーカルなど）を含めるようにしてもよい。また、歌唱補助になるのであれば、打楽器などによるリズムだけでもよい。
【０１１８】
(10)上記実施形態では、再生リストに２０曲の歌唱補助音を含めるようにしている。しかし、１９曲以下、２１曲以上としてもよい。また、ユーザによって曲数を入力させて指定するようにしてもよい。
【０１１９】
(11)上記実施形態では、端末装置としてスマートフォンを用い、スマートフォン内蔵のスピーカを用いている。しかし、ブルーツース通信などによって、外部のスピーカ（スマートスピーカでもよい）を用いるようにしてもよい。
【０１２０】
また、端末装置として据え置き型のディスプレイとスピーカを備えた機器を用いてもよい。
【０１２１】
さらに、端末装置として、スマートスピーカとディスプレイ（テレビのディスプレイでもよい）を用いることができる。スマートスピーカに話しかけることにより（たとえば、「音楽療法をしたい」と話す）、スマートスピーカがネットワーク上にある本システムのサーバ装置１０にアクセスする。サーバ装置１０から画像（歌詞情報など）が送られてくるので、スマートスピーカは、近傍にあるテレビなどのディスプレイを立ち上げる。歌唱補助音は、スマートスピーカにて再生する。カメラはスマートスピーカに付属のもの、またはスマートフォンのものを用いる。
【０１２２】
(12)上記実施形態およびその変形例は、その本質に反しない限り、他の実施形態や変形例を組み合わせて実施可能である。
【０１２３】
２．第２の実施形態
2.1機能ブロック図
図１２に、この発明の第２の実施形態による音楽療法システムの機能ブロック図を示す。このシステムは、サーバ装置１０と端末装置２０を備えている。サーバ装置１０の記録部２には、音楽療法として、歌唱者３０が歌唱する際の補助となる歌唱補助音（たとえば、カラオケ伴奏音など）Ｋ1、Ｋ2・・・Ｋnが記録されている。
【０１２４】
歌唱補助音取得手段６は、歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中から歌唱補助音を選択する。歌唱補助音送信手段４は、選択された歌唱補助音を端末装置２０に送信する。端末装置２０の再生手段２２は、受信した歌唱補助音をスピーカ２４から再生する。
【０１２５】
歌唱者３０は、スピーカ２４から出力された歌唱補助音にあわせて、歌唱する。
【０１２６】
カメラ２８は、この歌唱中の歌唱者３０の顔を撮像する。歌唱状態取得手段２６は、撮像した顔画像をサーバ装置１０に送信する。
【０１２７】
サーバ装置１０の歌唱補助音取得手段６は、この顔画像に基づいて、顔の表情を評価する。たとえば、当該表情によって怒り、嫌悪感、恐怖、喜び、中立、哀しみのいずれが示されているかを評価する。さらに、歌唱補助音取得手段６は、上記表情の評価に基づき、記録部２に記録されている歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中からいずれを選択するかを決定する。
【０１２８】
たとえば、喜びの表情と評価された場合には当該歌唱補助音の再生頻度を高くする。なお、認知症など歌唱者の疾病の種類によっては、怒りなどの否定的な表情と評価された場合であっても、再生頻度を低くしないようにする。疾病によっては、何らかの反応があること自体が、治療につながるからである。
【０１２９】
あるいは、歌い始めと歌い終わりの表情の変化があれば当該補助音の再生頻度を高くするようにしてもよい。
【０１３０】
2.2ハードウエア構成
図１３に、システム構成を示す。インターネットを介して、端末装置Ｔと歌唱補助サーバ装置ＳＡが接続されている。これら装置のハードウエア構成は、第１の実施形態の図３、図４に示すものと同様である。
【０１３１】
2.3音楽療法処理
図１４、図１５に、歌唱補助サーバプログラム６２、歌唱補助端末プログラム９２のフローチャートを示す。
【０１３２】
図１４は、ユーザ登録処理のフローチャートである。音楽療法を受ける本人またはその家族など（ユーザ）が、端末装置Ｔを操作して歌唱補助サーバ装置ＳＡにアクセスし、ユーザ登録を行う。
【０１３３】
なお、ユーザ登録処理は、第１の実施形態と同様である。ただし、この実施形態では、歌唱補助サーバ装置ＳＡにおいて再生リストは生成されない。
【０１３４】
図１５に、音楽療法として歌唱補助音６６を再生し、カメラによって歌唱者を撮像する時のフローチャートを示す。
【０１３５】
ユーザの操作により端末装置Ｔは、歌唱補助サーバ装置ＳＡにアクセスする（ステップＳ１１）。この際、端末装置Ｔは、記録されているユーザＩＤを読み出して、歌唱補助サーバ装置ＳＡに送信する。なお、ユーザＩＤをユーザが入力するようにしてもよい。
【０１３６】
続いて、端末装置Ｔは、カメラ８２によるユーザ（歌唱者）の動画撮像を開始する（ステップＳ１２）。なお、端末装置Ｔのカメラ８２によってユーザが撮像できるように、端末装置Ｔを支持台（図示せず）などに固定するようにしてもよい。
【０１３７】
歌唱補助サーバ装置ＳＡは、受信したユーザＩＤに基づいて、対応して記録されている評価テーブルを、ハードディスク４８から読み出す。図１６に、評価テーブルの例を示す。評価テーブルには、当該ユーザがこれまでに歌唱した曲についての評価が記録されている。図１６では、１回目から５回目の歌唱についての評価が示されている。○は効果あり、□はどちらでもない、×は効果無しを示している。
【０１３８】
歌唱補助サーバ装置ＳＡは、この評価テーブルを参照して、端末装置Ｔに送信する歌唱補助音を選択する（ステップＳ８１）。選択処理は、以下のとおりである。
【０１３９】
まず、各曲について、効果あり（○）の回数から効果無し（×）の回数を減算する。これを数値の大きい順に並べる。したがって、上位には効果ありと多数回評価された曲が入り、下位には効果なしと多数回評価された曲が入ることになる。
【０１４０】
歌唱補助サーバ装置ＳＡは、上位半分から歌唱補助音を選択する確率を７０％とし、下位半分から歌唱補助音を選択する確率を２０％とし、その他の歌唱補助音から選択する確率を１０％として、ランダムに歌唱補助音を１曲選択する。
【０１４１】
歌唱補助サーバ装置ＳＡは、このようにして選択した歌唱補助音を、ハードディスク４８から読み出して、端末装置Ｔに送信する（ステップＳ８２）。
【０１４２】
歌唱補助音６６を受信した端末装置Ｔは、これをスピーカ７６から再生する（ステップＳ１３）。したがって、端末装置Ｔから歌唱補助音６６が出力されるので、これにあわせてユーザが歌を歌う。この時のユーザの顔は、カメラ８２によって撮像されている。
【０１４３】
１曲の歌唱補助音６６の再生が終了すると、端末装置Ｔは、当該曲の歌唱補助音６６の再生開始直前のユーザの顔画像と、再生終了直後のユーザの顔画像を、前記動画から抽出する。さらに、抽出した顔画像（静止画）を、歌唱補助サーバ装置ＳＡに送信する（ステップＳ１５）。
【０１４４】
歌唱補助サーバ装置ＳＡは、この顔画像を受信し、当該曲に対応付けて記録する（ステップＳ８４）。さらに、歌唱補助サーバ装置ＳＡは、顔画像を評価して、当該曲に対する評価を行う。この評価は、第１の実施形態における評価と同じように、直前・直後の顔画像の評価の変化度合いに基づいて行う。
【０１４５】
端末装置Ｔは、上記のようにして算出した各曲の評価「効果あり」「どちらでもない」「効果無し」を、図１６に示す当該ユーザの評価テーブル中の、当該曲の評価に追加して記録する（ステップＳ８５）。
【０１４６】
次に、歌唱補助サーバ装置ＳＡは、予め定められた曲数（たとえば２０曲）を送信したかどうかを判断する（ステップＳ８６）。所定曲数に達していなければ、ステップＳ８１に戻り、評価テーブルに基づいて歌唱補助音を選択して、端末装置Ｔに送信する処理を繰り返す。
【０１４７】
所定曲数の再生補助音６６を送信し終わると（ステップＳ８６）、歌唱補助サーバ装置ＳＡは処理を終了する。端末装置Ｔは、再生を終了し、動画撮像を終了する（ステップＳ１７）。
【０１４８】
この実施形態によれば、リアルタイムに評価テーブルが修正され、次の歌唱補助音の選択に反映される。
【０１４９】
2.4その他
(1)上記実施形態では、事前と事後の顔画像に基づいて表情の評価を行い、その差に基づいて楽曲の評価を行うようにしている。しかし、歌唱中（例えばさび部分など）のユーザの顔画像に基づいて表情の評価を行って、楽曲の評価を行うようにしてもよい。
【０１５０】
また、最も変化の大きかった要素を一つだけ選択して楽曲を評価しているが、変化の大きい方から複数個の要素を選択して楽曲を評価し、再生リスト修正に反映するようにしてもよい。
【０１５１】
また、歌唱中の顔画像を所定回数（たとえば１０秒ごと）取得し、各回の顔画像を評価するようにしてもよい。この場合、前回の評価との差の絶対値を各回について求めて、各回の平均値または最大値に基づいて判断のための要素を決定することができる。たとえば、図１１Ｂに示すように４回の顔画像を評価した場合、図１１Ｃのように各回の差分の絶対値を算出する。要素ごとに平均値を求め、平均値が最も大きい要素を再生リスト修正のために用いる。図１１Ｃであれば、４０％の平均値の「喜び」が選択されることになる。また、最大値を用いる場合であれば、４３％の「怒り」が選択されることになる。なお、平均値を最大値の双方を用いるようにしてもよい。
【０１５２】
(2)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、動画として評価を行うようにしてもよい。たとえば、マイクロソフト社のVideo Indexer（商標）などを用いることができる。
【０１５３】
また、ユーザの動画から判断できる動作に基づいて当該曲の評価を行うようにしてもよい。たとえば、身体全体でリズムをとっている、手拍子をしているなどの動作によって、当該曲の評価を行ってもよい。
【０１５４】
(3)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、これに代えて、あるいはこれに加えて、歌唱者の音声（動画に含まれるものであってもよい）に基づいて評価を行うようにしてもよい。声が出ていれば（大きな声が出ていれば）効果ありとするなどである。
【０１５５】
また、歌唱者の音声をマイクで収録してテキストデータ化し、本来の歌詞に対する正確性を評価するようにしてもよい。正確性が高いと効果ありとするなどである。
【０１５６】
(4)上記実施形態では、歌唱補助サーバ装置ＳＡにて顔画像を評価するようにしている。しかし、歌唱補助サーバ装置ＳＡが顔画像を表情評価サーバ装置ＳＢに送信し、顔画像の評価を得るようにしてもよい。また、端末装置Ｔにおいて、顔画像を評価し、当該評価を端末装置Ｔから歌唱補助サーバ装置ＳＡに送信するようにしてもよい。
【０１５７】
(5)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、各曲の歌唱終了後に、歌唱者もしくはその家族、治療者などによって、「効果あり」「どちらでもない」「効果無し」を、端末装置Ｔから入力して、歌唱補助サーバ装置ＳＡに送信するようにしてもよい。
【０１５８】
この際、「効果あり」「どちらでもない」「効果無し」に代えて、「好き」「どちらでもない」「嫌い」を入力するようにしてもよい。
【０１５９】
また、顔画像に基づく評価と、歌唱者もしくは家族などによって入力された評価の双方を用いて、再生確率を変えるようにしてもよい。
【０１６０】
(6)上記実施形態では、「嫌悪」の変化が最も絶対値が大きく、しかも、「嫌悪」が直前よりも直後において増えている場合（上記変形例の「嫌い」の場合も同様である）であっても、「効果あり」との判定を行うようにしている。しかし、このような場合には、「効果無し」と判定し、再生確率を下げるようにしてもよい。ユーザによる「嫌悪」の感情が、音楽療法の妨げになる可能性があるからである。ただし、上記のような場合であっても、物忘れが大きいユーザ（重度認知症や中等度認知症）に対しては、当該曲を再生リストに含めるようにしてもよい。物忘れが大きいので、当該曲に対する「嫌悪」の感情を維持していないからである。ただし、「嫌悪」が所定回数以上続くようであれば、再生確率を０％にしてもよい。
【０１６１】
(7)上記実施形態では、端末装置Ｔ、サーバ装置ＳＡ、ＳＢによってシステムを構築している。しかし、端末装置Ｔおよびサーバ装置ＳＡまたはサーバ装置ＳＢまたはその双方の機能を、１台のＰＣ等によって実現するようにしてもよい。
【０１６２】
(8)上記実施形態に加えて、あるいはこれに代えて、歌唱者であるユーザの歌唱中の脈拍を取得するセンサを設け、当該脈拍に合致するように端末装置Ｔにて再生する歌唱補助音のテンポをリアルタイムで調整するようにしてもよい。これにより、歌唱者によって、テンポが取りやすく歌を歌いやすい環境を提供することができる。
【０１６３】
また、歌唱中の脈拍を取得し、その平均値や最大値に基づいて、次に再生する歌唱補助音の選択に反映するようにしてもよい。たとえば、当該歌唱者の平常時の脈拍よりも速ければ（遅ければ）、次の楽曲としてテンポの遅い（速い）曲を選択する確率を高くするようにする。この場合、歌唱補助音に標準テンポをメタデータとして記録しておいてこれを元に選択するようにする。あるいは、標準テンポとは関係なく、再生時にテンポを調整するようにしてもよい。
【０１６４】
なお、上記において、脈拍が速ければテンポの遅い曲を選択する確率を高めているのは、脈拍を落ち着かせたり、興奮状態から気持ちを落ち着かせたりするためである。
【０１６５】
(9)上記実施形態では、歌唱補助音としてカラオケ伴奏を用いている。しかし、ユーザの歌唱補助のために伴奏だけでなく歌を含めるようにしてもよい。また、歌唱補助になるのであれば、打楽器などによるリズムだけでもよい。
【０１６６】
(10)上記実施形態では、端末装置としてスマートフォンを用い、スマートフォン内蔵のスピーカを用いている。しかし、ブルーツース通信などによって、外部のスピーカ（スマートスピーカでもよい）を用いるようにしてもよい。
【０１６７】
また、端末装置として据え置き型のディスプレイとスピーカを備えた機器を用いてもよい。
【０１６８】
さらに、端末装置として、スマートスピーカとディスプレイ（テレビのディスプレイでもよい）を用いることができる。スマートスピーカに話しかけることにより（たとえば、「音楽療法をしたい」と話す）、スマートスピーカがネットワーク上にある本システムのサーバ装置１０にアクセスする。サーバ装置１０から画像（歌詞情報等）が送られてくるので、スマートスピーカは、近傍にあるテレビなどのディスプレイを立ち上げる。歌唱補助音は、スマートスピーカにて再生する。カメラはスマートスピーカに付属のもの、またはスマートフォンのものを用いる。
【０１６９】
(11)上記実施形態およびその変形例は、その本質に反しない限り、他の実施形態や変形例を組み合わせて実施可能である。
【図１】
2020014716.tif 000003
【図２】
2020014716.tif 000004
【図３】
2020014716.tif 000005
【図４】
2020014716.tif 000006
【図５Ａ】
2020014716.tif 000007
【図５Ｂ】
2020014716.tif 000008
【図６】
2020014716.tif 000009
【図７Ａ】
2020014716.tif 000010
【図７Ｂ】
2020014716.tif 000011
【図８Ａ】
2020014716.tif 000012
【図８Ｅ】
2020014716.tif 000013
【図９】
2020014716.tif 000014
【図１０】
2020014716.tif 000015
【図１１】
2020014716.tif 000016
【図１２】
2020014716.tif 000017
【図１３】
2020014716.tif 000018
【図１４】
2020014716.tif 000019
【図１５】
2020014716.tif 000020
【図１６】
2020014716.tif 000021