(57)【要約】【課題】外部で奏でる音と再生音との混合によって混合音を奏でることの補助を行うことを可能とした音楽再生装置、音楽再生システム、音楽再生方法、および、音楽再生プログラムを提供する。【解決手段】各音源の奏でる音が混ざり合った混合音を再生するための楽曲データと、音量が変えられる対象である対象音を前記混合音の中から特定するためのマスクデータとを記憶するためのデータ記憶部４４と、音量の設定を行う音量設定部４１１と、前記混合音の音量に対する前記対象音の相対的な音量が前記音量設定部の設定に追従して変わるように、前記音量設定部による設定と前記マスクデータとを用いて前記楽曲データから前記混合音を再生するための再生信号生成部４１２とを備える。【選択図】図１
2017156749.tif 000002
【特許請求の範囲】
【請求項１】
音量の設定を行う音量設定部と、
各音源の奏でる音が混ざり合った混合音を再生するための楽曲データと、音量が変えられる対象である対象音を前記混合音の中から特定するためのマスクデータとを用い、前記混合音の音量に対する前記対象音の相対的な音量が前記音量設定部の設定に追従して変わるように、前記音量設定部による設定に基づいて前記楽曲データから前記混合音を再生する再生処理部と、
音楽再生装置に入力された演奏音の音量について前記混合音の再生中に検出を繰り返す音量検出部と、を備え、
前記音量設定部は、
前記演奏音の音量に関する上限音量および下限音量と、前記再生処理部が前記マスクデータを用いて前記対象音の音量を下げる度合いであるマスク度の固定値と、前記固定値よりも小さい前記マスク度である最小値と、前記固定値と前記最小値との間で変わる前記マスク度である変動値とを設定し、
前記再生処理部は、
前記音量検出部が検出した音量が前記上限音量を上回るとき、前記固定値を用いた再生を行い、
前記音量検出部が検出した音量が前記下限音量を下回るとき、前記最小値を用いた再生を行い、
前記音量検出部が検出した音量が前記下限音量以上、かつ、前記音量検出部が検出した音量が前記上限音量以下であるとき、前記変動値を用いた再生を行う
音楽再生装置。
【請求項２】
前記音量設定部は、
前記音量検出部が検出した音量が前記下限音量以上、かつ、前記音量検出部が検出した音量が前記上限音量以下であるとき、
前記音量検出部が前回検出した音量よりも前記音量検出部が今回検出した音量が上がった場合には、前記演奏音の音量を補うための前記対象音の音量を緩やかに大きくするように、前記変動値を設定し、
前記音量検出部が前回検出した音量よりも前記音量検出部が今回検出した音量が下がった場合には、前記演奏音の音量を補うための前記対象音の音量を急峻に大きくするように、前記変動値を設定する
請求項１に記載の音楽再生装置。
【請求項３】
前記再生処理部は、前記混合音の再生中であって、前記対象音が含まれない期間に関する情報を用い、当該期間には、前記最小値を用いた再生を行う
請求項１または２に記載の音楽再生装置。
【請求項４】
前記音量設定部は、前記音量設定部の設定を前記楽曲データの再生ごとに設定候補として記憶すると共に、前記記憶された設定候補を用いて今回の再生における設定を行う
請求項１から３のいずれか一項に記載の音楽再生装置。
【請求項５】
音楽再生装置と、
前記音楽再生装置と接続されると共に、音量の設定に関する履歴を利用者ごとに管理して前記履歴を前記音楽再生装置へ送信する履歴管理装置とを備え、
前記音楽再生装置は、
今回の利用者に対して管理された前回の利用までの前記履歴を前記履歴管理装置から受信すると共に、今回行われた設定に関する情報を前記履歴管理装置へ送信する通信部と、
前記通信部が受信した前記履歴を用いて今回の設定を行う音量設定部と、
各音源の奏でる音が混ざり合った混合音を再生するための楽曲データと、音量が変えられる対象である対象音を前記混合音の中から特定するためのマスクデータとを用い、前記混合音の音量に対する前記対象音の相対的な音量が、前記今回の設定に追従して変わるように、今回の設定に基づいて前記楽曲データから前記混合音を再生する再生処理部と、
音楽再生装置に入力された演奏音の音量について前記混合音の再生中に検出を繰り返す音量検出部と、を備え、
前記音量設定部は、
前記演奏音の音量に関する上限音量および下限音量と、前記再生処理部が前記マスクデータを用いて前記対象音の音量を下げる度合いであるマスク度の固定値と、前記固定値よりも小さい前記マスク度である最小値と、前記固定値と前記最小値との間で変わる前記マスク度である変動値とを設定し、
前記再生処理部は、
前記音量検出部が検出した音量が前記上限音量を上回るとき、前記固定値を用いた再生を行い、
前記音量検出部が検出した音量が前記下限音量を下回るとき、前記最小値を用いた再生を行い、
前記音量検出部が検出した音量が前記下限音量以上、かつ、前記音量検出部が検出した音量が前記上限音量以下であるとき、前記変動値を用いた再生を行う
音楽再生システム。
【請求項６】
音量の設定を行う音量設定部と、
各音源の奏でる音が混ざり合った混合音を再生するための楽曲データと、音量が変えられる対象である対象音を前記混合音の中から特定するためのマスクデータとを用い、前記楽曲データから前記混合音を再生する再生処理部と、
音楽再生装置に入力された演奏音の音量について前記混合音の再生中に検出を繰り返す音量検出部と、を備える音楽再生装置が音楽を再生する方法であって、
前記音量設定部が、前記演奏音の音量に関する上限音量および下限音量と、前記再生処理部が前記マスクデータを用いて前記対象音の音量を下げる度合いであるマスク度の固定値と、前記固定値よりも小さい前記マスク度である最小値と、前記固定値と前記最小値との間で変わる前記マスク度である変動値とを設定することと、
前記再生処理部が、前記音量検出部が検出した音量が前記上限音量を上回るとき、前記固定値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量を下回るとき、前記最小値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量以上、かつ、前記音量検出部が検出した音量が前記上限音量以下であるとき、前記変動値を用いた再生を行うことと
を含む音楽再生方法。
【請求項７】
音量の設定を行う音量設定部と、
各音源の奏でる音が混ざり合った混合音を再生するための楽曲データと、音量が変えられる対象である対象音を前記混合音の中から特定するためのマスクデータとを用い、前記音量設定部による設定に基づいて前記楽曲データから音楽を再生する再生処理部と、
音楽再生装置に入力された演奏音の音量について前記混合音の再生中に検出を繰り返す音量検出部と、
を備える音楽再生装置を用いて、音楽を再生するプログラムであって、
前記音量設定部を、前記演奏音の音量に関する上限音量および下限音量と、前記再生処理部が前記マスクデータを用いて前記対象音の音量を下げる度合いであるマスク度の固定値と、前記固定値よりも小さい前記マスク度である最小値と、前記固定値と前記最小値との間で変わる前記マスク度である変動値とを設定する手段として機能させ、
前記再生処理部を、前記混合音の音量に対する前記対象音の相対的な音量が前記音量設定部の設定に追従して変わるように、前記音量設定部による設定と前記マスクデータとを用いて前記楽曲データから前記混合音を再生する手段であって、前記音量検出部が検出した音量が前記上限音量を上回るとき、前記固定値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量を下回るとき、前記最小値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量以上、かつ、前記音量検出部が検出した音量が前記上限音量以下であるとき、前記変動値を用いた再生を行う手段として機能させる
音楽再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽を再生する音楽再生装置、音楽再生システム、音楽再生プログラム、および、音楽再生方法に関する。
【背景技術】
【０００２】
音楽を提供するサービスの一例として、伴奏音やコーラス音などを楽曲データから再生するカラオケサービスが知られている（例えば、特許文献１を参照）。カラオケサービスに用いられる音源には、ボーカル音と伴奏音などとが混ざり合った混合音である原盤音楽の楽曲データではなく、伴奏音やコーラス音のみが別途記憶されたカラオケ用の楽曲データが広く用いられる。
【０００３】
楽曲データから再生される再生音は、各音源の奏でる音が混ざり合った混合音である。近年では、特定の音源が奏でる音をこうした混合音から分離する技術も知られる。例えば、混合音信号に対するマルチレート信号処理を通じて、混合音に含まれる瞬時周波数を算出し、瞬時周波数に関連した尺度に基づいて周波数成分の候補を抽出する。次に、周波数成分の候補に対して各基本周波数の確率密度関数を求め、各基本周波数の確率密度関数のなかで有望なピークを、各々が相互に異なるエージェントに追跡させ、最も信頼度の高いエージェントが持つ基本周波数の軌跡を分離の対象として出力する（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−９９２９０号公報
【特許文献２】特開２００１−１２５５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、カラオケサービスが提供する楽曲では、ボーカル音の音高が高い楽曲、ボーカル音の音高が低い楽曲、ボーカル音の音域が広い楽曲、ボーカル音の音域が狭い楽曲などのように、ボーカルに求められる音域が多様である。そして、ボーカルに求められる音高が利用者の声域外である場合には、利用者はボーカルを演じられず、カラオケサービス用に作成された伴奏音のみが空間に流れてしまう。そのため、上述したカラオケサービスには、こうした場合に、利用者がボーカルを演じることの補助を行う機能が求められている。
【０００６】
なお、上述した課題は、伴奏音を再生するカラオケサービスに限らず、コンサートの公演や演劇の公演などのように、楽曲データから混合音を再生することを用いた技術において共通する。
【０００７】
本発明は、外部で奏でる音と再生音との混合によって混合音を奏でることの補助を行うことを可能とした音楽再生装置、音楽再生システム、音楽再生プログラム、および、音楽再生方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための音楽再生装置は、音量の設定を行う音量設定部と、各音源の奏でる音が混ざり合った混合音を再生するための楽曲データと、音量が変えられる対象である対象音を前記混合音の中から特定するためのマスクデータとを用い、前記混合音の音量に対する前記対象音の相対的な音量が前記音量設定部の設定に追従して変わるように、前記音量設定部による設定に基づいて前記楽曲データから前記混合音を再生する再生処理部と、音楽再生装置に入力された演奏音の音量について前記混合音の再生中に検出を繰り返す音量検出部と、を備え、前記音量設定部は、前記演奏音の音量に関する上限音量および下限音量と、前記再生処理部が前記マスクデータを用いて前記対象音の音量を下げる度合いであるマスク度の固定値と、前記固定値よりも小さい前記マスク度である最小値と、前記固定値と前記最小値との間で変わる前記マスク度である変動値とを設定し、前記再生処理部は、前記音量検出部が検出した音量が前記上限音量を上回るとき、前記固定値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量を下回るとき、前記最小値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量以上、かつ、前記音量検出部が検出した音量が前記上限音量以下であるとき、前記変動値を用いた再生を行う。
【０００９】
上記課題を解決するための音楽再生システムは、音楽再生装置と、前記音楽再生装置と接続されると共に、音量の設定に関する履歴を利用者ごとに管理して前記履歴を前記音楽再生装置へ送信する履歴管理装置とを備え、前記音楽再生装置は、今回の利用者に対して管理された前回の利用までの前記履歴を前記履歴管理装置から受信すると共に、今回行われた設定に関する情報を前記履歴管理装置へ送信する通信部と、前記通信部が受信した前記履歴を用いて今回の設定を行う音量設定部と、各音源の奏でる音が混ざり合った混合音を再生するための楽曲データと、音量が変えられる対象である対象音を前記混合音の中から特定するためのマスクデータとを用い、前記混合音の音量に対する前記対象音の相対的な音量が、前記今回の設定に追従して変わるように、今回の設定に基づいて前記楽曲データから前記混合音を再生する再生処理部と、音楽再生装置に入力された演奏音の音量について前記混合音の再生中に検出を繰り返す音量検出部と、を備え、前記音量設定部は、前記演奏音の音量に関する上限音量および下限音量と、前記再生処理部が前記マスクデータを用いて前記対象音の音量を下げる度合いであるマスク度の固定値と、前記固定値よりも小さい前記マスク度である最小値と、前記固定値と前記最小値との間で変わる前記マスク度である変動値とを設定し、前記再生処理部は、前記音量検出部が検出した音量が前記上限音量を上回るとき、前記固定値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量を下回るとき、前記最小値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量以上、かつ、前記音量検出部が検出した音量が前記上限音量以下であるとき、前記変動値を用いた再生を行う。
【００１０】
上記課題を解決するための音楽再生方法は、音量の設定を行う音量設定部と、各音源の奏でる音が混ざり合った混合音を再生するための楽曲データと、音量が変えられる対象である対象音を前記混合音の中から特定するためのマスクデータとを用い、前記楽曲データから前記混合音を再生する再生処理部と、音楽再生装置に入力された演奏音の音量について前記混合音の再生中に検出を繰り返す音量検出部と、を備える音楽再生装置が音楽を再生する方法であって、前記音量設定部が、前記演奏音の音量に関する上限音量および下限音量と、前記再生処理部が前記マスクデータを用いて前記対象音の音量を下げる度合いであるマスク度の固定値と、前記固定値よりも小さい前記マスク度である最小値と、前記固定値と前記最小値との間で変わる前記マスク度である変動値とを設定することと、前記再生処理部が、前記音量検出部が検出した音量が前記上限音量を上回るとき、前記固定値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量を下回るとき、前記最小値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量以上、かつ、前記音量検出部が検出した音量が前記上限音量以下であるとき、前記変動値を用いた再生を行うこと、とを含む。
【００１１】
上記課題を解決するための音楽再生プログラムは、音量の設定を行う音量設定部と、各音源の奏でる音が混ざり合った混合音を再生するための楽曲データと、音量が変えられる対象である対象音を前記混合音の中から特定するためのマスクデータとを用い、前記音量設定部による設定に基づいて前記楽曲データから音楽を再生する再生処理部と、音楽再生装置に入力された演奏音の音量について前記混合音の再生中に検出を繰り返す音量検出部と、を備える音楽再生装置を用いて、音楽を再生するプログラムであって、前記音量設定部を、前記演奏音の音量に関する上限音量および下限音量と、前記再生処理部が前記マスクデータを用いて前記対象音の音量を下げる度合いであるマスク度の固定値と、前記固定値よりも小さい前記マスク度である最小値と、前記固定値と前記最小値との間で変わる前記マスク度である変動値とを設定する手段として機能させ、前記再生処理部を、前記混合音の音量に対する前記対象音の相対的な音量が前記音量設定部の設定に追従して変わるように、前記音量設定部による設定と前記マスクデータとを用いて前記楽曲データから前記混合音を再生する手段であって、前記音量検出部が検出した音量が前記上限音量を上回るとき、前記固定値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量を下回るとき、前記最小値を用いた再生を行い、前記音量検出部が検出した音量が前記下限音量以上、かつ、前記音量検出部が検出した音量が前記上限音量以下であるとき、前記変動値を用いた再生を行う手段として機能させる。
【００１２】
上記音楽再生装置において、前記音量設定部は、前記音量検出部が検出した音量が前記下限音量以上、かつ、前記音量検出部が検出した音量が前記上限音量以下であるとき、前記音量検出部が前回検出した音量よりも前記音量検出部が今回検出した音量が上がった場合には、前記演奏音の音量を補うための前記対象音の音量を緩やかに大きくするように、前記変動値を設定し、前記音量検出部が前回検出した音量よりも前記音量検出部が今回検出した音量が下がった場合には、前記演奏音の音量を補うための前記対象音の音量を急峻に大きくするように、前記変動値を設定してもよい。
【００１３】
上記音楽再生装置において、前記再生処理部は、前記混合音の再生中であって、前記対象音が含まれない期間に関する情報を用い、当該期間には、前記最小値を用いた再生を行ってもよい。
【００１４】
上記音楽再生装置において、前記音量設定部は、前記音量設定部の設定を前記楽曲データの再生ごとに設定候補として記憶すると共に、前記記憶された設定候補を用いて今回の再生における設定を行ってもよい。
【発明の効果】
【００１５】
本発明によれば、外部で奏でる音と再生音との混合によって混合音を奏でることの補助を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態における音楽再生システムの構成を機能的に示すブロック図。
【図２】第１実施形態における原盤記憶部が記憶するデータを示す構成図。
【図３】第１実施形態における歌詞情報記憶部が記憶するデータを示す構成図。
【図４】第１実施形態における楽曲記憶部が記憶するデータを示す構成図。
【図５】第１実施形態における再生実績記憶部が記憶するデータを示す構成図。
【図６】第１実施形態にてカラオケデータを生成する処理の流れを示すフロー図。
【図７】第１実施形態にてマスクデータを生成する処理の流れを示すフロー図。
【図８】第１実施形態にて第１マスクデータの生成処理の流れを示すフロー図。
【図９】第１実施形態にて第２マスクデータの生成処理の流れを示すフロー図。
【図１０】第１実施形態にて第３マスクデータの生成処理の流れを示すフロー図。
【図１１】第１実施形態におけるマスクデータを説明する音階図であって、（ａ）第１マスクデータの生成処理においてボーカル音の音域を特定する音階図、（ｂ）第２マスクデータの生成処理においてボーカル音の音域を特定する音階図、（ｃ）第３マスクデータの生成処理においてボーカル音の音域を特定する音階図。
【図１２】第１実施形態におけるマスクデータの生成処理を説明するデュエット楽曲での音階図であって、（ａ）楽曲データから再生されるボーカル音を示す音階図、（ｂ）楽曲データから再生されるボーカル音のなかで女性のボーカル音がマスクされた音を示す音階図、（ｃ）楽曲データから再生されるボーカル音のなかで男性のボーカル音がマスクされた音を示す音階図、（ｄ）楽曲データから再生されるボーカル音のなかで両ボーカル音がマスクされた音を示す音階図。
【図１３】第１実施形態にて同期歌詞処理の流れを示すフロー図。
【図１４】第１実施形態におけるＸＭＬファイルの内容を示すファイル構成図。
【図１５】第１実施形態における再生判定処理の流れを示すフロー図。
【図１６】第１実施形態にて楽曲再生処理の流れを示すフロー図。
【図１７】第１実施形態における楽曲再生処理での音量の推移を示す音量推移図。
【図１８】第１実施形態における楽曲再生処理での音量の推移を示す音量推移図。
【図１９】第１実施形態における楽曲再生処理での音量の推移を示す音量推移図。
【図２０】第２実施形態における音楽再生システムの構成を機能的に示すブロック図。
【図２１】第２実施形態にて楽曲再生処理の流れを示すフロー図。
【図２２】他の形態における音楽再生システムの構成を機能的に示すブロック図。
【図２３】他の形態における音楽再生処理の作用を示す作用図。
【発明を実施するための形態】
【００１７】
［第１実施形態］
図１から図１９を参照して第１実施形態における音楽再生装置、音楽再生システム、音楽再生方法、および、音楽再生プログラムを説明する。
【００１８】
第１実施形態は、音楽再生システムが、レコードレーベルなどのレコード会社が提供する音楽原盤ファイルを用いて、カラオケサービスの１つである原盤カラオケサービスを提供することを想定する。第１実施形態における音楽原盤ファイルは、ボーカルを演じる歌手の歌声であるボーカル音のデータと伴奏音のデータとを１つの楽曲データとして含む。音楽原盤ファイルに含まれる楽曲データから再生される音は、ボーカル音と伴奏音とが混ざり合った混合音の一例である楽曲である。音楽再生システムは、楽曲データから再生される音のなかで、対象音の一例であるボーカル音の音量を伴奏音の音量に対して変更し、それによって、楽曲データをカラオケ音源として利用する。
【００１９】
［楽曲再生システム］
図１から図５を参照して楽曲再生装置、楽曲再生プログラム、および、それを備える楽曲再生システムについて説明する。
図１が示すように、音楽再生システムは、コンテンツサーバー１０、管理サーバー２０、担当者端末３０、および、音楽再生装置の一例である音楽再生端末４０を備える。
【００２０】
コンテンツサーバー１０は、音楽原盤ファイルを含むコンテンツを提供するコンピューターシステムである。コンテンツサーバー１０から提供されるコンテンツは、ボーカル音のデータと伴奏音のデータとを楽曲データとして含む音楽原盤ファイルの他、複数のアーティストの演奏音をデータとして含む音楽原盤ファイルや、プロモーションビデオなどのように、音楽原盤ファイルと動画原盤ファイルとを含むボックス形式のファイルなどである。
【００２１】
担当者端末３０は、サービス提供者の担当者がカラオケファイルを生成することに用いるコンピューター端末である。担当者端末３０は、管理サーバー２０に格納された楽曲データを用い、楽曲データから再生される音に対して歌詞表示の同期を取る処理や、楽曲データから再生される混合音のなかの対象音をマスクするマスクデータを生成する処理を行う。
【００２２】
[音楽再生端末]
音楽再生端末４０は、カラオケサービスの利用者が使用するコンピューター端末である。音楽再生端末４０は、例えば、ビジネス向け（ＢｔｏＢ）、カスタマ向け（ＢｔｏＣ）に用いられる。ビジネス向けに用いられる音楽再生端末４０は、例えば、カラオケボックスなどに設置されるコンピューター端末である。カスタマ向けに用いられる音楽再生端末４０は、個人利用者のスマートフォンやパソコンなどのコンピューター端末である。
【００２３】
音楽再生端末４０は、管理サーバー２０から、楽曲ファイルや映像ファイルなどからなるカラオケファイルをダウンロードする。音楽再生端末４０は、ダウンロードされたカラオケファイルから楽曲や映像の再生を行なう。
【００２４】
音楽再生端末４０は、制御部４１、通信部４２、入力部４３、データ記憶部４４、音量検出部４５、および、楽曲出力部４６を備える。制御部４１は、ＣＰＵ、ＤＳＰ、ＲＯＭ、ＲＡＭなどから構成される。制御部４１は、入力部４３、通信部４２、データ記憶部４４、音量検出部４５、および、楽曲出力部４６などの各部が実行する処理を制御する。
【００２５】
入力部４３は、例えば、操作ボタンなどを供えるリモートコントローラやボリュームスイッチなどである。入力部４３は、制御部４１が処理できる形式で各種の情報を制御部４１に入力する。入力部４３が入力する情報は、指定モード、指定マスク度、および、指定期間を含む。
【００２６】
マスク度は、楽曲データに基づき楽曲の再生が行われている期間において、ボーカル音のみがマスクされる度合いを示す。言い換えれば、マスク度は、混合音の一例である楽曲の音量に対してボーカル音の音量が相対的に下げられる度合いである。
【００２７】
なお、楽曲の音量に対するボーカル音の音量のなかで、マスクされていないときのボーカル音の音量は、音楽原盤ファイルから再生されている音量と等しい原盤音量である。これに対して、マスクされているときのボーカル音の音量は、原盤音量よりも小さいサポート音量である。
【００２８】
指定マスク度は、カラオケサービスの利用者が音楽再生端末４０に入力するマスク度である。指定マスク度は、楽曲データを用いる楽曲の再生が行われる前に、その楽曲に含まれるボーカル音に対して、１つずつ入力することが可能である。例えば、楽曲が独唱楽曲である場合、ボーカル音に対して１つの指定マスク度を入力することが可能である。楽曲がデュエット曲である場合、２種類のボーカル音の各々に対して１つずつ指定マスク度を入力することが可能である。
【００２９】
指定モードは、カラオケサービスの利用者が音楽再生端末４０に入力する再生の形式である。指定モードは、楽曲データを用いる楽曲の再生が行われる前に、その楽曲の再生に対して、１つずつ入力することが可能である。指定モードは、例えば、固定モード、第１変動モード、および、第２変動モードのなかのいずれか１つである。
制御部４１は、固定モードにおいて、マスク度として固定値を採用し、楽曲データから楽曲を再生する際に、ボーカル音を固定値でマスクする。
【００３０】
制御部４１は、第１変動モードにおいて、マスク度として変動値を採用し、楽曲データから楽曲を再生する際に、ボーカル音を変動値に基づきマスクする。第１変動モードにおける変動値は、音量検出部４５の検出した音量である演奏音の検出音量に従って変わる。具体的には、第１変動モードにおける変動値は、例えば基準音量よりも検出音量が大きいほど、サポート音量が小さいように変わり、また、例えば基準音量よりも検出音量が小さいほどサポート音量が大きいように変わる。基準音量は、原盤音量を一定の割合でマスクすることによって得られる音量であってもよいし、一定の音量であってもよい。
【００３１】
制御部４１は、第２変動モードにおいて、マスク度として変動値を採用し、楽曲データから楽曲を再生する際に、ボーカル音を変動値でマスクする。第２変動モードにおける変動値は、音量検出部４５の検出した音量である検出音量に従って変わる。具体的には、第２変動モードにおける変動値は、検出音量とサポート音量との総量を原盤音量に合わせるように変わる。
【００３２】
入力部４３は、楽曲が再生される期間のなかで指定モードが適用される期間、すなわち、固定モード、第１変動モード、および、第２変動モードのなかのいずれか１つが適用される期間である適用期間を、制御部４１が処理できる形式で制御部４１に入力する。適用期間は、例えば、楽曲を構成するＡメロ、Ｂメロ、Ｃメロ、サビ、チャプターの少なくとも１つである。
【００３３】
通信部４２は、管理サーバー２０に対するカラオケファイルの送信要求や、管理サーバー２０に対するカラオケファイルの受信連絡を実行する。制御部４１は、通信部４２が実行するデータの送信と、通信部４２が実行するデータの受信とを制御する。
【００３４】
データ記憶部４４は、入力部４３が制御部４１に入力した各種のデータ、および、通信部４２が受信したカラオケファイルなどの各種のデータを記憶するための記憶領域を備える。データ記憶部４４は、ボーカル音の音量を変えるために制御部４１が実行する音楽再生プログラム、および、ボーカル音の音量を変えるために制御部４１が用いる各種のデータを記憶する。
【００３５】
データ記憶部４４が記憶するデータは、マスク度のデフォルトとして標準マスク度を含む。また、データ記憶部４４が記憶するデータは、適用期間のデフォルトとして標準期間を含む。
【００３６】
標準マスク度は、楽曲の再生に際して、その楽曲の再生に対して指定マスク度が入力されなかったときに、制御部４１において指定マスク度に代えて採用される。標準期間は、楽曲の再生に際して、その楽曲の再生に対して指定期間が入力されなかったときに、制御部４１において指定期間に代えて採用される。なお、データ記憶部４４が記憶するデータは、制御部４１が指定モードを特定するための識別子に関するデータを含む。
【００３７】
制御部４１は、データ記憶部４４が実行するデータの記憶と、データ記憶部４４に記憶されたデータのデータ記憶部４４からの読み出しとを制御する。制御部４１は、データ記憶部４４が記憶する音楽再生プログラムを読み出し、読み出された音楽再生プログラムに従って、楽曲データから楽曲を再生するための音楽再生信号を生成する。制御部４１は、生成された楽曲再生信号を楽曲出力部４６に入力し、楽曲再生信号に基づく再生を楽曲出力部４６に実行させる。制御部４１、および、楽曲出力部４６は、楽曲再生プログラムを実行することによって、音量設定部、および、再生処理部として機能する。
【００３８】
音量検出部４５は、音楽再生端末４０に入力された演奏音の音量を検出音量として検出する。音量検出部４５は、例えば、ボーカルを演じる利用者がマイクに入力した歌声の音量を検出音量として検出する。制御部４１は、第１変動モードや第２変動モードにおいて、音量検出部４５が検出した音量に基づいてサポート音量を変える。
【００３９】
制御部４１は、音量設定部４１１と、再生信号生成部４１２とを備える。
音量設定部４１１は、カラオケファイルに含まれる楽曲データ、および、マスクデータと、データ記憶部４４が記憶する指定マスク度、および、標準マスク度を用い、ボーカル音の音量を変えるための処理を実行する。
【００４０】
マスクデータは、ボーカル音の音階を含む音域であるボーカルラインを、再生音の音域のなかで特定するためのデータである。マスクデータは、ボーカル音の音域をデータとして含み、ボーカル音の音域は、楽曲の再生時間であるタイムインデックスに対して規定される。ボーカルラインに含まれる音は、マスクデータに基づいて特定され、特定された音の音量は、マスク度に基づいて変えられ、それによって、サポート音量が変わる。
【００４１】
音量設定部４１１は、固定モードや第１変動モードにおいて、指定マスク度が入力されている場合、音量の設定として、指定マスク度を用いるマスク度の設定を実行する。一方、音量設定部４１１は、指定マスク度が入力されていない場合、音量の設定として、標準マスク度を用いるマスク度の設定を実行する。音量設定部４１１が実行する音量設定のなかで、第１変動モード、および、第２変動モードによる設定は、変動するマスク度を用いた補助設定である。
【００４２】
音量設定部４１１は、固定モード、第１変動モード、および、第２変動モードにおいて、指定期間が入力されている場合、音量の設定として、指定期間を用いるマスク期間の設定を実行する。一方、音量設定部４１１は、指定期間が入力されていない場合、標準期間を用いるマスク期間の設定を実行する。
【００４３】
例えば、音楽再生端末４０の実行する設定の形式が固定モードであり、かつ、指定マスク度が入力されておらず、また、指定期間が入力されていない場合、音量設定部４１１は、ボーカル音の音量を変えるための設定の処理を以下のように実行する。
【００４４】
すなわち、音量設定部４１１は、楽曲データ、マスクデータ、標準マスク度、標準期間を参照し、楽曲データから再生されるボーカル音の音量が標準マスク度でマスクされたサポート音量となるように、再生信号生成部４１２が採用するマスク度に標準マスク度を設定する。そして、音量設定部４１１は、再生信号生成部４１２が標準マスク度を採用する期間として、標準期間を設定する。
【００４５】
例えば、音楽再生端末４０の実行する設定の形式が固定モードであり、かつ、指定マスク度が入力されており、また、指定期間が入力されている場合、音量設定部４１１は、ボーカル音の音量を変えるための設定の処理を以下のように実行する。
【００４６】
すなわち、音量設定部４１１は、楽曲データ、マスクデータ、指定マスク度、指定期間を参照し、楽曲データから再生されるボーカル音の音量が指定マスク度でマスクされたサポート音量となるように、再生信号生成部４１２が採用するマスク度に指定マスク度を設定する。そして、音量設定部４１１は、再生信号生成部４１２が指定マスク度を採用する期間として、指定期間を設定する。
【００４７】
例えば、音楽再生端末４０の実行する設定の形式が第１変動モードであり、かつ、指定マスク度が入力されており、また、指定期間が入力されている場合、音量設定部４１１は、ボーカル音の音量を変えるための設定の処理を以下のように実行する。
【００４８】
すなわち、音量設定部４１１は、楽曲データ、マスクデータ、指定マスク度、指定期間を参照し、楽曲データからボーカル音の再生が開始されるとき、楽曲データから再生されるボーカル音の音量がサポート音量となるように、再生信号生成部４１２が採用するマスク度に指定マスク度を設定する。そして、ボーカル音の再生が開始されて以降、音量検出部４５の検出した音量が下がるときにサポート音量を上げるよう、音量設定部４１１は、再生信号生成部４１２が採用するマスク度を下げる。反対に、音量設定部４１１は、音量検出部４５の検出した音量が上がるときにサポート音量を下げるよう、再生信号生成部４１２が採用するマスク度を上げる。なお、音量設定部４１１は、再生信号生成部４１２がこれらのマスク度を採用する期間として、指定期間を設定する。
【００４９】
例えば、音楽再生端末４０の実行する設定の形式が第２変動モードであり、指定期間が入力されている場合、音量設定部４１１は、ボーカル音の音量を変えるための設定の処理を以下のように実行する。
【００５０】
すなわち、音量設定部４１１は、楽曲データ、マスクデータ、指定期間を参照し、再生信号生成部４１２が採用するマスク度の調整を逐次実行する。この際、音量検出部４５が検出した音量とサポート音量との総量が原盤音量となるように、音量設定部４１１はマスク度を調整する。また、音量設定部４１１は、再生信号生成部４１２がこうしたマスク度を採用する期間として、指定期間を設定する。
【００５１】
再生信号生成部４１２は、管理サーバー２０からダウンロードされた楽曲データから、楽曲を再生するための信号である楽曲再生信号を生成する。再生信号生成部４１２は、管理サーバー２０からダウンロードされた映像データから、映像を再生するための信号である映像再生信号を生成する。
【００５２】
再生信号生成部４１２は、楽曲データとマスクデータとを用い、楽曲データから再生する楽曲のなかからボーカル音を特定する。すなわち、再生信号生成部４１２は、楽曲を再生するための信号を楽曲データから生成すると共に、生成された信号のなかでボーカル音に相当する信号を特定する。また、再生信号生成部４１２は、音量設定部４１１が設定したマスク度を採用する。そして、再生信号生成部４１２は、ボーカル音として特定される信号がマスク度でマスクされた信号となるように、楽曲を再生するための信号を加工し、それを楽曲再生信号とする。なお、再生信号生成部４１２は、マスク度が採用される期間として、音量設定部４１１が設定した期間を採用し、その設定された期間でのみ上記加工の処理を実行する。
【００５３】
[管理サーバー]
管理サーバー２０は、カラオケサービス提供者がカラオケファイルを提供するためのコンピューターシステムである。管理サーバー２０は、制御部２１、原盤記憶部２２、歌詞情報記憶部２３、楽曲記憶部２４、および、再生実績記憶部２５を備えている。
【００５４】
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備え、管理処理、ボーカル処理、歌詞管理、エディタ、再生管理の各処理を行なう。管理部２１１は、コンテンツサーバー１０から取得した音楽原盤ファイルを原盤記憶部２２に格納する処理を実行する。ボーカル処理部２１２は、音楽原盤ファイルに含まれる楽曲データからボーカル音の音域を特定し、ボーカル音の音量を変えるためのマスクデータの生成処理を実行する。
【００５５】
歌詞管理部２１３は、楽曲に含まれるボーカルに合わせて、同期させた歌詞を付加する処理を実行する。エディタ２１４は、マスクデータを調節する処理や、歌詞が付加された位置の調整を支援する処理を実行する。エディタ２１４は、編集担当者が使用する担当者端末３０に接続される。編集担当者は、担当者端末３０を用いて、マスクデータによってマスクされる対象の音域や、タイムインデックスに対する歌詞の位置を確認する。マスクされる対象の音域や歌詞の位置が適切でない場合、担当者端末３０は、編集担当者の操作に従って、マスクされる対象の音域や歌詞の位置を調節する。
【００５６】
再生管理部２１５は、音楽再生端末４０における楽曲の再生状況を管理する処理を実行する。再生管理部２１５は、再生の有無を判定するための再生判定時間を算出するための情報を保持している。
【００５７】
図２が示すように、原盤記憶部２２は、音楽原盤ファイルや映像原盤ファイルを含むプロモーションビデオなどの原盤ファイル２２０を記憶する。原盤ファイル２２０は、コンテンツサーバー１０から原盤ファイル２２０を取得した場合に記憶される。原盤ファイル２２０は、楽曲コード、属性、圧縮動画に関するデータを含む。
【００５８】
楽曲コードデータ領域は、楽曲を特定するための識別子に関するデータを記憶する。属性データ領域は、楽曲の属性に関するデータを記憶する。楽曲の属性は、例えば、レコードレーベルを含むレコード会社、歌手などのアーティスト、作曲家、作詞家などに関するデータである。圧縮動画データ領域は、楽曲の圧縮データや映像の圧縮データを記憶し、本実施形態では、ｍｐ４フォーマットで記憶する。
【００５９】
図３が示すように、歌詞情報記憶部２３は、楽曲の歌詞に関する歌詞ファイル２３０を記憶する。歌詞ファイル２３０は、楽曲の歌詞情報が登録された場合に記憶される。歌詞ファイル２３０は、楽曲コード、歌詞に関するデータを含む。楽曲コードデータ領域は、楽曲を特定するための識別子に関するデータを記憶する。歌詞データ領域は、楽曲の歌詞テキストやルビなどの歌詞情報を記憶する。
【００６０】
図４が示すように、楽曲記憶部２４は、音楽再生端末４０に提供するための楽曲管理データ２４０を記憶する。楽曲管理データ２４０は、原盤ファイル２２０からカラオケデータが生成された場合に記憶される。楽曲管理データ２４０は、楽曲コードに関連付けられて、ＨＬＳファイル２４１、ＸＭＬファイル２４２、上記マスクデータ２４３、楽曲管理レコード２４４を含む。
【００６１】
楽曲コードデータ領域は、楽曲を特定するための識別子に関するデータを記憶する。ＨＬＳファイル２４１は、原盤の圧縮動画をトランスコードしたデータを含む。本実施形態におけるＨＬＳファイル２４１は、高速回線用のＨＤフォーマットと、低速回線用のＳＤフォーマットの２種類を含む。ＸＭＬファイル２４２は、楽曲の属性情報や、再生時間であるタイムインデックスに関連付けられた歌詞同期情報を含む。また、ＸＭＬファイル２４２は、楽曲の構成要素であるＡメロ、Ｂメロ、Ｃメロの各々をタイムインデックスに関連付けた楽曲構成情報を含む。また、ＸＭＬファイル２４２は、メドレー楽曲における各チャプターをタイムインデックスに関連付けたチャプター情報を含む。具体的には、ＸＭＬファイル２４２は、以下の記述を含む。
・リリックス（ｌｙｒｉｃｓ）：歌詞ファイルのバージョンが規定される。
・ヘッダ（ｈｅａｄｅｒ）：楽曲のメタ情報やスタイル定義が記憶される。
・ソングメタ（Ｓｏｎｇ＿ｍｅｔａ）：楽曲のメタ情報が記憶される。
・スタイル（Ｓｔｙｌｅ）：スタイル定義と参照が記憶される。
・リリックストラック（ｌｙｒｉｃｓ＿ｔｒａｃｋ）：歌詞の本体が記憶される。
・バース（ｖｅｒｓｅ）：歌詞の区切りが記憶される。
・ページ（ｐａｇｅ）：１頁分の歌詞及び表示、消去タイミングが定義される。
・ライン（ｌｉｎｅ）：１行分の歌詞定義が記憶される。
・ルビ（ｒｕｂｙ）：ルビ定義が記憶される。
・ワード（ｗｏｒｄ）：歌詞テキストおよびワイプ処理タイミングが定義される。
【００６２】
楽曲管理レコード２４４は、アーティスト、声質、曲調、演奏時間、映像利用、メドレー属性、ステータス、情景、音域に関するデータを記憶する。アーティストデータ領域は、楽曲のボーカルを演じる歌手などのアーティストを特定するための歌手名などの識別子に関するデータを記憶する。声質データ領域は、楽曲のボーカルを演じる歌手の声における特徴量に関するデータを記憶する。声質データ領域は、例えば、主旋律から算出された統計値をデータとして記憶する。曲調データ領域は、楽曲のテンポやリズムに関するデータを記憶する。曲調データ領域は、例えば、楽曲から算出された統計値などの特徴量を用いることができる。情景データ領域は、例えば、楽曲から連想される季節、楽曲から連想される海や山や空などの景色、楽曲から連想される喜びや悲しみや憤りなどの感情などを識別するための情報を記憶する。音域データ領域は、楽曲のボーカルに求められる音域に関するデータを記憶する。
【００６３】
演奏時間データ領域は、楽曲を最初から最後まで再生することに要する時間である演奏時間に関するデータを記憶する。映像利用データ領域は、楽曲のＨＬＳファイル２４１において、音楽原盤の映像の利用の有無を識別するためのフラグを記憶する。メドレー属性データ領域は、楽曲がメドレーか否かを識別するための情報を記憶する。楽曲がメドレーである場合、メドレー属性データ領域は、メドレーを構成する楽曲の楽曲コードを記憶する。ステータスデータ領域は、楽曲のＨＬＳファイル２４１やＸＭＬファイル２４２についての作成状況を特定するためのフラグを記憶する。本実施形態におけるステータスデータ領域は、登録直後のファイルに対して「編集前」フラグを記憶し、編集後のファイルに対して「提供可能」フラグを記憶する。
【００６４】
再生実績記憶部２５は、カラオケファイルの利用の実績に関する再生実績データ２５０を記憶する。再生実績データ２５０は、音楽再生端末４０でカラオケファイルが利用されたときに記憶される。再生実績データ２５０は、再生日時、利用者コード、楽曲コードに関するデータを含む。再生日時データ領域は、音楽再生端末４０において、楽曲が再生された年月日、および、時刻に関するデータを記憶する。利用者コードデータ領域は、楽曲を再生した利用者を特定するための識別子に関するデータを記憶する。楽曲コードデータ領域は、再生された楽曲を特定するための識別子に関するデータを記憶する。
【００６５】
［楽曲再生方法］
図６から図１９を参照して楽曲再生装置が実行する楽曲再生方法を説明する。以下では、楽曲再生システムが実行するカラオケファイルの生成処理、マスクデータの生成処理、同期歌詞処理、再生判定処理、および、楽曲再生処理を順に説明する。
【００６６】
［カラオケファイルの生成処理］
図６が示すように、管理サーバー２０の制御部２１は、原盤ファイルの一例であるプロモーションビデオを取得する処理を実行する（ステップＳ１−１）。具体的には、制御部２１の管理部２１１は、コンテンツサーバー１０から、ｍｐ４形式で作成されたファイルであるプロモーションビデオを取得する。さらに、管理部２１１は、取得されたプロモーションビデオの属性情報を取得する。そして、管理部２１１は、取得されたプロモーションビデオやそれの属性情報を、原盤記憶部２２に登録する。
【００６７】
次に、管理サーバー２０の制御部２１は、トランスコード処理を実行する（ステップＳ１−２）。具体的には、制御部２１の管理部２１１は、原盤記憶部２２に登録されたｍｐ４ファイルを、ＨＬＳファイル２４１に変換する。この場合、高速回線に用いるＨＤ用と、低速回線に用いるＳＤ用に変換する。そして、管理部２１１は、生成されたＨＬＳファイル２４１を、それの楽曲コードに関連付けて、楽曲記憶部２４に登録する。
【００６８】
また、管理サーバー２０の制御部２１は、主旋律の推定処理を実行する（ステップＳ１−３）。具体的には、制御部２１のボーカル処理部２１２は、取得されたプロモーションビデオを所定のファイルフォーマットに変換する。そして、ボーカル処理部２１２は、例えば、特許文献２に記載された技術などの技術を用いて、楽曲における主旋律を推定する。ここで、主旋律としてボーカルラインを特定する。
【００６９】
次に、管理サーバー２０の制御部２１は、マスクデータを作成する処理を実行する（ステップＳ１−４）。具体的には、制御部２１のボーカル処理部２１２は、推定した主旋律に基づいて、ボーカル音の音域を特定する。次に、ボーカル処理部２１２は、特定されたボーカル音の音域を記憶したマスクデータを作成する。そして、ボーカル処理部２１２は、作成されたマスクデータを、楽曲コードに関連付けて、楽曲記憶部２４に記憶する。
【００７０】
次に、管理サーバー２０の制御部２１は、声質の登録処理を実行する（ステップＳ１−５）。具体的には、制御部２１のボーカル処理部２１２は、楽曲に含まれるボーカルの声質の特徴量を算出する。そして、ボーカル処理部２１２は、算出された声質を、楽曲記憶部２４に記憶された楽曲管理レコード２４４に登録する。
【００７１】
また、管理サーバー２０の制御部２１は、歌詞の割り当て処理を実行する（ステップＳ１−６）。具体的には、制御部２１の歌詞管理部２１３は、歌詞情報記憶部２３から、処理の対象となる楽曲の楽曲コードが記憶された歌詞ファイル２３０を取得する。そして、歌詞管理部２１３は、ボーカル処理部２１２によって特定されたボーカル音の音域に対応するタイムラインと歌詞とを対応付け、歌詞を割り付けた歌詞同期ファイルであるＸＭＬファイル２４２を生成する。そして、歌詞管理部２１３は、ＸＭＬファイル２４２を楽曲記憶部２４に登録する。
【００７２】
次に、管理サーバー２０の制御部２１は、編集処理を実行する（ステップＳ１−７）。具体的には、制御部２１の管理部２１１は、声質の登録処理、歌詞の割り当て処理を終了した場合、楽曲記憶部２４に記憶された楽曲管理レコード２４４に「編集前」フラグを記憶する。そして、エディタ２１４は、作成されたＨＬＳファイル２４１、ＸＭＬファイル２４２、マスクデータ２４３を、担当者端末３０に提供する。この場合、編集担当者は、担当者端末３０において、カラオケファイルから楽曲を再生し、ボーカル音の音量がマスクデータによって変わるか否か、ボーカル音と歌詞とが同期しているか否かなどを確認する。マスクデータによるボーカル音の変調が不十分な場合や、ボーカル音と歌詞との同期が取れていない場合には、編集担当者がエディタ２１４を用い、ＸＭＬファイル２４２やマスクデータ２４３が修正される。担当者端末３０から、編集終了情報を取得した場合、エディタ２１４は、楽曲管理レコード２４４に「提供可能」フラグを記憶する。
【００７３】
［マスクデータの生成処理］
図７を参照して上記マスクデータの生成処理を説明する。
図７が示すように、まず、管理サーバー２０の制御部２１は、歌手の特定処理を実行する（ステップＳ２−１）。具体的には、制御部２１のボーカル処理部２１２は、原盤記憶部２２に記憶された原盤ファイル２２０の属性データ領域に記憶されているアーティスト情報を取得する。ここで、単一の歌手によるソロ楽曲の場合には、この歌手情報を取得する。一方、例えば、デュエット楽曲などのように複数の歌手によって演奏される楽曲の場合には、複数の歌手情報を取得する。そして、管理サーバー２０の制御部２１は、特定したアーティストを処理対象歌手として特定し、以下の処理を繰り返す。
【００７４】
ここでは、管理サーバー２０の制御部２１は、類似楽曲の検索処理を実行する（ステップＳ２−２）。具体的には、制御部２１のボーカル処理部２１２は、処理対象楽曲の曲調を特定する。次に、ボーカル処理部２１２は、楽曲記憶部２４から、処理対象歌手が歌手データ領域に記憶されている楽曲管理レコード２４４を抽出する。次に、ボーカル処理部２１２は、抽出した楽曲管理レコード２４４において、処理対象楽曲の曲調が類似している楽曲を類似楽曲として特定する。
次に、管理サーバー２０の制御部２１は、歌手の声質の特定処理を実行する（ステップＳ２−３）。本実施形態では、２つの方法により、声質を特定する。
【００７５】
まず、管理サーバー２０の制御部２１は、類似楽曲による声質の特定処理を実行する（ステップＳ３−１）。具体的には、制御部２１のボーカル処理部２１２は、類似楽曲の楽曲管理レコード２４４に記憶された歌手の声質であるボーカル音の音域を取得する。
【００７６】
次に、管理サーバー２０の制御部２１は、独唱箇所により声質の特定処理を実行する（ステップＳ３−２）。具体的には、制御部２１のボーカル処理部２１２は、ＨＬＳファイル２４１に含まれる音声において、処理対象歌手の単独の音声が含まれるソロ領域、すなわち、独唱領域を特定する。そして、単独歌手による楽曲の場合には、ボーカル処理部２１２は、この独唱領域において、ボーカル音の音域を特定する。また、複数の歌手による楽曲の場合、類似楽曲の楽曲管理レコード２４４に記憶されている声質に近い独唱領域においてボーカル音の音域を特定する。
【００７７】
次に、管理サーバー２０の制御部２１は、第１マスク生成処理を実行する（ステップＳ２−４）。ここでは、特定した声質であるボーカル音の音域を用いて、楽曲の全体を通し、ボーカル音の音域であることとタイムインデックスとを対応付けた第１マスクデータを生成する。
【００７８】
次に、管理サーバー２０の制御部２１は、第１マスクデータが十分か否かについての判定処理を実行する（ステップＳ２−５）。具体的には、制御部２１のボーカル処理部２１２は、生成された第１マスクデータを用いて、マスク度を上げた場合の楽曲、すなわち、ボーカル音の音量を下げた楽曲を再生し、ボーカル音を認知できるか否かを確認する。また、楽曲の主旋律が、第１マスクデータの適用前後において歪んでいないことを確認する。ボーカル音を認知できない場合や主旋律が歪んでいない場合には、第１マスクデータは十分であると判定される。
【００７９】
第１マスクデータが十分であると判定された場合（ステップＳ２−５において「ＹＥＳ」の場合）、管理サーバー２０の制御部２１は、第１マスクデータを上記マスクデータとして取り扱い、処理対象楽曲についてのマスクデータの生成処理を終了する。
【００８０】
一方、第１マスクデータが不十分であると判定された場合（ステップＳ２−５において「ＮＯ」の場合）、管理サーバー２０の制御部２１は、第２マスク生成処理を実行する（ステップＳ２−６）。ここでは、ボーカル音のフレーズごとにボーカル音の音域を特定し、各ボーカル音の音域に対応したマスクデータを第２マスクデータとして生成する。次に、管理サーバー２０の制御部２１は、ステップＳ２−５と同様に、第２マスクデータが十分であるか否かについての判定処理を実行する（ステップＳ２−７）。
【００８１】
マスクデータが十分であると判定された場合（ステップＳ２−７において「ＹＥＳ」の場合）、管理サーバー２０の制御部２１は、第２マスクデータを上記マスクデータとして取り扱い、処理対象楽曲についてのマスクデータの生成処理を終了する。
【００８２】
一方、第２マスクデータが不十分であると判定された場合（ステップＳ２−７において「ＮＯ」の場合）、管理サーバー２０の制御部２１は、第３マスク生成処理を実行する（ステップＳ２−８）。ここでは、ボーカル音の音域を所定の時間間隔ごとに推定し、動的に特定したボーカル音の音域に対応した第３マスクデータを生成する。
処理対象楽曲に含まれるすべての歌手について、以上の処理を繰り返す。
【００８３】
図８および図９を参照して上記第１マスクデータを生成する処理、第２マスクデータを生成する処理、および、第３マスクデータを生成する処理を説明する。
図８が示すように、第１マスク生成処理では、まず、管理サーバー２０の制御部２１は、ボーカル音の音域の推定処理を実行する（ステップＳ４−１）。具体的には、制御部２１のボーカル処理部２１２は、類似楽曲や独唱箇所に基づいて特定した歌手の声質を、この楽曲におけるボーカル音の音域と推定する。次に、管理サーバー２０の制御部２１は、マスク生成処理を実行する（ステップＳ４−２）。具体的には、制御部２１のボーカル処理部２１２は、楽曲の全体にわたるタイムインデックスに対して、推定した単一のボーカル音の音域をマスクする第１マスクデータを生成する。
【００８４】
図９が示すように、第２マスク生成処理では、まず、管理サーバー２０の制御部２１は、楽曲のタイムインデックスのなかでフレーズの位置を特定する処理を実行する（ステップＳ５−１）。具体的には、制御部２１のボーカル処理部２１２は、推定された主旋律であるボーカルラインに基づいて、ボーカル音が含まれる再生時間帯を楽曲データのなかで特定する。この場合、歌唱が連続している一つのまとまりの再生時間帯がフレーズであると特定される。そして、制御部２１は、フレーズの位置を順次特定して、以下の処理を実行する。
【００８５】
すなわち、管理サーバー２０の制御部２１は、ボーカル音の音域の推定処理を実行する（ステップＳ５−２）。具体的には、制御部２１のボーカル処理部２１２は、特定されたフレーズごとに、推定した主旋律であるボーカルラインに基づいて、ボーカル音の音域を特定する。次に、管理サーバー２０の制御部２１は、マスク生成処理を実行する（ステップＳ５−３）。具体的には、制御部２１のボーカル処理部２１２は、特定されたフレーズごとに、推定されたボーカル音の音域をマスクする第２マスクデータを生成する。
【００８６】
図１０が示すように、第３マスク生成処理では、まず、管理サーバー２０の制御部２１は、楽曲の分割処理を実行する（ステップＳ６−１）。具体的には、制御部２１のボーカル処理部２１２は、所定の間隔を有するタイムステップごとに、楽曲データを分割する。そして、処理対象のタイムステップを順次特定し、以下の処理を繰り返す。
【００８７】
すなわち、管理サーバー２０の制御部２１は、ボーカル音の音域を特定する処理を実行する（ステップＳ６−２）。具体的には、制御部２１のボーカル処理部２１２は、推定した主旋律（ボーカルライン）に基づいて、処理対象のタイムステップに含まれるボーカル音の音域を楽曲データのなかで特定する。次に、管理サーバー２０の制御部２１は、マスク生成処理を実行する（ステップＳ６−３）。具体的には、制御部２１のボーカル処理部２１２は、所定の間隔を有するタイムステップごとに推定したボーカル音の音域をマスクする第３マスクデータを生成する。
【００８８】
図１１、および、図１２を参照して上記第１マスクデータ、第２マスクデータ、および、第３マスクデータの一例を説明する。なお、図１１は、独唱楽曲の楽曲データから生成された各マスクデータを示し、図１２は、デュエット楽曲の楽曲データに対してマスクデータが適用された際の再生音における音階推移を示す。
【００８９】
図１１（ａ）の音階推移グラフ５００が示すように、第１マスク生成処理によって生成された第１マスクデータ５０１は、楽曲の全体を通じて、各タイムインデックスに対して単一のボーカル音の音域をマスクの対象とする。音階推移グラフ５００において、横軸はタイムインデックスであり、縦軸は音域である。なお、音階推移グラフ５００において、上方の太線はギター音における音階の推移を示し、下方の破線はドラム音における音階の推移を示す。
【００９０】
図１１（ｂ）の音階推移グラフ５１０が示すように、第２マスク生成処理によって生成された第２マスクデータ５１１，５１２は、楽曲の全体のなかで、フレーズと推定された再生時間帯の各々において、ボーカル音の音域をマスクの対象とするマスクデータ部分を備える。第２マスクデータ５１１，５１２は、相互に異なる音域の幅をマスクの対象として、例えば、第２マスクデータ５１１は、第２マスクデータ５１２よりも広い音域をマスクの対象とする。
【００９１】
図１１（ｃ）の音階推移グラフ５２０が示すように、第３マスク生成処理によって生成された第３マスクデータ５２１，５２２は、タイムステップごとにマスクする音域を定め、それゆえに、ボーカル音の音域を楽曲の全体にわたり動的にマスクする。
【００９２】
なお、図１２（ａ）の音階推移グラフ６００は、女性ボーカル音と男性ボーカル音とが含まれるデュエット楽曲における音階の推移を示す。図１２（ｂ）が示すように、女性ボーカル音のマスクデータが用いられ、ボーカル音の音量が下がるように楽曲が再生される場合、ボーカル音のなかで男性ボーカル音のみが残る音階推移グラフ６０１が得られる。
【００９３】
また、図１２（ｃ）が示すように、男性ボーカル音のマスクデータが用いられ、ボーカル音の音量が下がるように楽曲が再生される場合、ボーカル音のなかで女性ボーカル音のみが残る音階推移グラフ６０２が得られる。さらに、図１２（ｄ）が示すように、女性ボーカル音のマスクデータ、および、男性ボーカル音のマスクデータが用いられ、ボーカル音の音量が下がるように楽曲が再生される場合、いずれのボーカル音も残らない音階推移グラフ６０３が得られる。
【００９４】
［同期歌詞処理］
図１３が示すように、同期歌詞処理において、まず、管理サーバー２０の制御部２１は、割り付ける歌詞の特定処理を実行する（ステップＳ７−１）。具体的には、制御部２１の歌詞管理部２１３は、歌詞情報記憶部２３から、処理対象楽曲の楽曲コードが記憶された歌詞ファイル２３０を抽出し、楽曲に割り付ける歌詞のフレーズを取得する。
【００９５】
次に、管理サーバー２０の制御部２１は、開始位置の特定処理と終了位置の特定処理とを実行する（ステップＳ７−２）。具体的には、制御部２１の歌詞管理部２１３は、主旋律であるボーカルラインに基づいて、ボーカル音が含まれている歌声区間と、ボーカル音が含まれていない非歌声区間とを推定する。そして、歌詞管理部２１３は、歌声区間を用いて、タイムインデックスにおけるフレーズの開始位置、および、タイムインデックスにおけるフレーズの終了位置を特定する。
【００９６】
次に、管理サーバー２０の制御部２１は、開始位置、終了位置に応じて、歌詞割り付け処理を実行する（ステップＳ７−３）。具体的には、制御部２１の歌詞管理部２１３は、ＸＭＬファイル２４２において、フレーズの開始位置とフレーズの終了位置とに対して、文字やルビを割り当てた記述を生成する。
【００９７】
次に、管理サーバー２０の制御部２１は、すべての歌詞を割り付けたか否かについての判定処理を実行する（ステップＳ７−４）。具体的には、制御部２１の歌詞管理部２１３は、歌詞ファイル２３０に含まれる歌詞のかなで割り付けられていない歌詞があるか否かによって判定する。
【００９８】
また、割り付けていない歌詞が残っていると判定された場合（ステップＳ７−４において「ＮＯ」の場合）、管理サーバー２０の制御部２１は、割り付ける歌詞の特定処理（ステップＳ７−１）以降の処理を繰り返す。一方、すべての歌詞が割り付けられたと判定された場合（ステップＳ７−４において「ＹＥＳ」の場合）、管理サーバー２０の制御部２１は、同期歌詞処理を終了する。
図１４は、上述した同期歌詞処理によって生成されたＸＭＬファイル７００の一例を示す。ＸＭＬファイル７００には、複数の記述が含まれる。
【００９９】
例えば、記述７０１には、原盤ファイル２２０の属性データ領域に記憶された作詞、作曲、編曲などに関する楽曲メタデータを含める。記述７０２には、原盤ファイル２２０の属性データ領域に記憶されたテンポに関する楽曲メタデータを含める。記述７０３には、ルビとして「はちがつ」が付加された「８月」を、所定期間にかけてワイプするための記述を含める。記述７０４には、ルビとして「たいよう」が付加された「太陽」を、所定期間にかけてワイプするための記述を含める。記述７０５には、「の」を所定期間にかけてワイプするための記述、記述７０６には、「ように」を所定期間にかけてワイプするための記述を含める。記述７０７には、カラオケ再生時において、一画面に表示させるページを変更するための記述を含める。
このように、楽曲の再生時に再生進行に合わせて、歌詞を表示させるためのＸＭＬファイル２４２が生成される。
【０１００】
［再生判定処理］
再生判定処理は、音楽再生端末４０がカラオケファイルを再生した場合に行われる。
図１５が示すように、まず、管理サーバー２０の制御部２１は、再生開始処理を実行する（ステップＳ８−１）。具体的には、制御部２１の再生管理部２１５は、音楽再生端末４０に対してカラオケファイルを提供し、そのカラオケファイルの再生を音楽再生端末４０に指示する。
【０１０１】
次に、管理サーバー２０の制御部２１は、再生終了の検知処理を実行する（ステップＳ８−２）。具体的には、制御部２１の再生管理部２１５は、音楽再生端末４０から、カラオケファイルの再生状況を取得し、再生終了を判定する。制御部２１は、楽曲における全ての旋律が終了した場合や楽曲が途中で終了した場合に、再生終了と判定する。
【０１０２】
次に、管理サーバー２０の制御部２１は、再生時間の算出処理を実行する（ステップＳ８−３）。具体的には、制御部２１の再生管理部２１５は、楽曲の開始時刻から、再生終了を検知した時刻までの再生時間を算出する。
【０１０３】
次に、管理サーバー２０の制御部２１は、楽曲の長さの特定処理を実行する（ステップＳ８−４）。具体的には、制御部２１の再生管理部２１５は、楽曲記憶部２４を用いて、再生された楽曲の楽曲コードが記憶された楽曲管理レコード２４４を抽出する。そして、再生管理部２１５は、抽出した楽曲管理レコード２４４から楽曲が演奏される時間を楽曲の長さとして取得する。
【０１０４】
次に、管理サーバー２０の制御部２１は、再生判定時間の特定処理を実行する（ステップＳ８−５）。具体的には、制御部２１の再生管理部２１５は、演奏時間に基づいて、再生判定時間を特定する。本実施形態では、演奏時間が６０秒未満の楽曲の場合には、再生判定時間として、演奏時間の〔２／３〕を用いる。一方、演奏時間が６０秒以上の楽曲については、再生判定時間として４０秒を用いる。
【０１０５】
次に、管理サーバー２０の制御部２１は、再生判定時間が経過したか否かの判定処理を実行する（ステップＳ８−６）。具体的には、制御部２１の再生管理部２１５は、再生時間と再生判定時間とを比較する。ここで、再生時間が再生判定時間を経過していると判定された場合（ステップＳ８−６において「ＹＥＳ」の場合）、管理サーバー２０の制御部２１は、再生カウント処理を実行する（ステップＳ８−７）。具体的には、制御部２１の再生管理部２１５は、利用者実績レコードを生成し、再生実績記憶部２５に登録する。さらに、再生管理部２１５は、今回登録された楽曲の楽曲実績レコードにおける再生回数をインクリメントする。なお、今回登録された楽曲が初めて再生された場合には、再生管理部２１５は、新たに楽曲実績レコードを生成し、再生実績記憶部２５に登録する。この場合、楽曲実績レコードの再生回数には初期値「１」が設定される。
【０１０６】
一方、再生時間が再生判定時間を経過していないと判定された場合（ステップＳ８−６において「ＮＯ」の場合）、管理サーバー２０の制御部２１は、再生カウント処理（ステップＳ８−７）をスキップして再生判定処理を終了する。
【０１０７】
［楽曲再生処理］
楽曲再生処理は、管理サーバー２０の制御部２１が、音楽再生端末４０に対してカラオケファイルを提供し、そのカラオケファイルの再生を音楽再生端末４０に指示したときに実行される。
【０１０８】
図１６が示すように、まず、音楽再生端末４０の制御部４１は、提供されたカラオケファイルから楽曲データを読み込む（ステップＳ９−１）。具体的には、制御部４１の音量設定部４１１は、管理サーバー２０から提供されたカラオケファイルに含まれる楽曲データをデータ記憶部４４から読み出す。
【０１０９】
次に、音楽再生端末４０の制御部４１は、提供されたカラオケファイルからマスクデータを読み出す（ステップＳ９−２）。具体的には、制御部４１の音量設定部４１１は、管理サーバー２０から提供されたカラオケファイルに含まれるマスクデータをデータ記憶部４４から読み出す。
【０１１０】
次に、音楽再生端末４０の制御部４１は、今回の楽曲再生に採用する指定モード、マスク度、および、そのマスク度を採用する期間を読み出す（ステップＳ９−３）。具体的には、制御部４１の音量設定部４１１は、今回の楽曲再生に際して入力部４３から入力された指定モードをデータ記憶部４４から読み出し、読み出された指定モードを再生信号生成部４１２に設定する。
【０１１１】
制御部４１の音量設定部４１１は、指定期間が入力されたか否かをデータ記憶部４４が記憶するデータに基づいて判断する。指定期間が入力されている場合、今回の楽曲再生に採用されるマスク度の採用期間として、指定期間を再生信号生成部４１２に設定する。指定期間が入力されていない場合、今回の楽曲再生に採用されるマスク度の採用期間として、標準期間を再生信号生成部４１２に設定する。
【０１１２】
制御部４１の音量設定部４１１は、指定モードが固定モードである場合、指定マスク度が入力されたか否かを、データ記憶部４４が記憶するデータに基づいて判定する。指定マスク度が入力されている場合、今回の楽曲再生に採用されるマスク度を指定マスク度として再生信号生成部４１２に設定する。指定マスク度が入力されていない場合、今回の楽曲再生に採用されるマスク度を標準マスク度として再生信号生成部４１２に設定する。
【０１１３】
制御部４１の音量設定部４１１は、指定モードが第１変動モードである場合、指定マスク度が入力されたか否かを、データ記憶部４４が記憶するデータに基づいて判定する。指定マスク度が入力されている場合、今回の楽曲再生に採用されるマスク度を指定マスク度として再生信号生成部４１２に設定する。指定マスク度が入力されていない場合、今回の楽曲再生に採用されるマスク度を標準マスク度として再生信号生成部４１２に設定する。
次に、音楽再生端末４０の制御部４１は、今回の楽曲再生に採用される指定モードが固定モードか否かを判定する（ステップＳ９−４）。
【０１１４】
今回の楽曲再生に採用される指定モードが第１変動モード、もしくは、第２変動モードであると判定された場合（ステップＳ９−４において「ＮＯ」の場合）、音楽再生端末４０の制御部４１は、指定モードである第１変動モード、もしくは、第２変動モードによる楽曲の再生を開始する（ステップＳ９−５）。一方、今回の楽曲再生に採用される指定モードが固定モードであると判定された場合（ステップＳ９−４において「ＹＥＳ」の場合）、音楽再生端末４０の制御部４１は、指定モードである固定モードによる楽曲の再生を開始する（ステップＳ９−１５）。
【０１１５】
次に、音楽再生端末４０の制御部４１は、第１変動モードでの楽曲の再生、あるいは、第２変動モードでの楽曲の再生において、再生時間が指定期間に到達するごとに、指定期間内において、音量検出部４５が検出する音量に基づいて、以下の処理を繰り返す。
【０１１６】
すなわち、制御部４１の音量設定部４１１は、第１変動モードでの楽曲の再生において、音量検出部４５が音量を検出するごとに、音量検出部４５の検出した音量が基準音量よりも下がるときにサポート音量を上げるよう、再生信号生成部４１２が採用するマスク度を下げる。反対に、音量設定部４１１は、音量検出部４５の検出した音量が基準音量よりも上がるときにサポート音量を下げるよう、再生信号生成部４１２が採用するマスク度を上げる。
【０１１７】
また、制御部４１の音量設定部４１１は、第２変動モードでの楽曲の再生において、音量検出部４５が音量を検出するごとに、音量検出部４５が検出した音量とサポート音量との総量が原盤音量となるように、マスク度を調整する（ステップＳ９−６）。
【０１１８】
次に、音楽再生端末４０の制御部４１は、新たに設定されたマスク度を用いて楽曲再生信号を生成する（ステップＳ９−７）。具体的には、制御部４１の再生信号生成部４１２は、音量検出部４５による今回の検出結果が反映されたマスク度を用い、ボーカル音の新たな音量での再生音を生成するための楽曲再生信号を生成する。
【０１１９】
なお、音楽再生端末４０の制御部４１は、固定モードでの楽曲の再生において、再生時間が指定期間に到達するごとに、楽曲データから再生されるボーカル音の音量が今回のマスク度でマスクされるように、再生信号生成部４１２が採用するマスク度に標準マスク度を設定する（ステップＳ９−１７）。そして、制御部４１の再生信号生成部４１２は、今回の設定されたマスク度を用い、ボーカル音の新たな音量での再生音を生成するための楽曲再生信号を生成する（ステップＳ９−１８）。
【０１２０】
図１７から図１９を参照して固定モード、第１変動モード、および、第２変動モードによる楽曲の再生結果の一例を説明する。なお、図１７から図１９の各々において、実線は、音量検出部４５が検出した音量である検出音量の再生時間に対する推移を示す。破線は、音楽再生端末４０が再生した楽曲のなかのボーカル音であるサポート音量の再生時間に対する推移を示す。二点鎖線は、マスクされていないボーカル音の音量である原盤音量の再生時間に対する推移を示す。図１７は、固定モードにおける各音の音量の推移を示す。図１８は、第１変動モードにおける各音の音量の推移を示す。図１９は、第２変動モードにおける各音の音量の推移を示す。
【０１２１】
図１７が示すように、再生時間が経過することに伴い、検出音量は原盤音量の変化に追従するように変化する。一方で、再生時間が期間Ｔであるとき、例えば、ボーカルに求められる声域から利用者の声域が外れたり、利用者の声が枯れたりすることに伴って、利用者がボーカル音を奏でることができず、それによって、検出音量がほとんど検出されないレベルにまで下がる。
【０１２２】
ここで、一定のマスク度でマスクされたサポート音量は、原盤音量よりも小さい音量で、それの変化に追従するように、再生時間の全体にわたり変化する。結果として、利用者がボーカルを演じるべき期間Ｔにおいては、利用者がボーカル音を奏でることができないとしても、音楽再生端末４０の再生するサポート音と、それ以外の音とによって楽曲は構成される。そのため、楽曲を奏でることが音楽再生端末４０によって補助される。
【０１２３】
図１８が示すように、ここでもまた、再生時間が経過することに伴い、検出音量は原盤音量の変化に追従するように変化する。一方で、再生時間が期間Ｔであるとき、検出音量がほとんど検出されないレベルにまで下がる。
【０１２４】
ここで、変動するマスク度によるサポート音量は、固定されたマスク度によるサポート音量を基準として、検出音量と原盤音量との差ｄＶ１の変化に追従して変わる。指定マスク度が入力されている場合、固定されたマスク度は指定マスク度であり、指定マスク度が入力されていない場合、固定されたマスク度は標準マスク度である。そして、変動するマスク度で生成されたサポート音量は、歌声の音量が原盤音量よりも小さいほど、大きいレベルである。また、変動するマスク度で生成されたサポート音量は、歌声の音量が原盤音量よりも大きいほど、小さいレベルである。すなわち、制御部４１は、固定されたマスク度で原盤音量をマスクした音量を基準となる音量とし、また、検出音量と原盤音量との差ｄＶ１に１以下の所定値αを乗算した音量を変動分とし、これらの合計となるレベルをサポート音量とする。こうして得られるサポート音量は、固定されたマスク度で原盤音量をマスクした音量よりも大きいときもあれば、小さいときもある。なお、所定値αは、指定モード、指定マスク度、および、指定期間などと共に、入力部４３が入力する構成であってもよいし、標準マスク度などと同じく、データ記憶部４４が予め記憶する構成であってもよい。
【０１２５】
結果として、上述したように、利用者がボーカル音を奏でることができない場合であっても、音楽再生端末４０の生成するサポート音と、それ以外の音とによって楽曲を構成すること、ひいては、楽曲を奏でることを補助することが可能となる。しかも、利用者がボーカル音を十分に奏でることができる期間では、固定されたマスク度で生成されるサポート音量よりも十分に小さい音量でサポート音が生成される。そのため、音楽再生端末４０によるサポート音の再生が、利用者によるボーカル音の演奏を妨げることが抑えられる。
【０１２６】
図１９が示すように、ここでもまた、再生時間が経過することに伴い、検出音量は原盤音量の変化に追従するように変化する。一方で、再生時間が期間Ｔであるとき、検出音量がほとんど検出されないレベルにまで下がる。
【０１２７】
ここで、変動するマスク度によるサポート音量は、検出音量が原盤音量よりも小さいときに再生され、その音量のレベルは、検出音量と原盤音量との差ｄＶ２に相当する値に設定されて、検出音量と原盤音量との差ｄＶ２の変化に追従して変わる。そして、変動するマスク度によるサポート音量は、原盤音量と同じレベルにまで、期間Ｔでは増える。一方、利用者がボーカル音を十分に奏でることができる期間では、こうしたサポート音量が十分に抑えられる。結果として、上述したように、利用者がボーカル音を奏でることができない場合であっても、音楽再生端末４０の生成するサポート音と、それ以外の音とによって楽曲を構成すること、ひいては、楽曲を奏でることを補助することができる。しかも、音楽再生端末４０によるボーカル音の再生が、利用者によるボーカル音の演奏を妨げることがさらに抑えられる。
【０１２８】
なお、第１変動モードや第２変動モードであれば、例えば、女性ボーカル音と男性ボーカル音とが含まれるデュエット楽曲において、これらの双方のマスクデータが用いられ、いずれか一方の検出音量がほとんど検出されないレベルであっても、そのパートをサポート音量で補助することもできる。そのため、男性ボーカル音のみを再生するために、女性ボーカル音のみをマスクするためのマスクデータや、女性ボーカル音のみを再生するために、男性ボーカル音のみをマスクするためのマスクデータを、別途生成することを要しない。
【０１２９】
以上、第１実施形態によれば、以下に示す効果を得ることができる。
（１）利用者がボーカルを演じられない場合であっても、伴奏音のみが空間に流れることがサポート音の生成によって抑えられる。しかも、原盤音楽に含まれるボーカル音などの対象音がサポート音として採用されるため、再生音を利用者と共に聴く共用者が、サポート音に違和感を覚えることが抑えられる。
【０１３０】
（２）固定されたマスク度で生成されるサポート音量と検出音量との乖離を小さくするように変動マスク度が生成されるため、楽曲データから再生された音と利用者の歌声とが奏でる音楽は、楽曲として調和が図られたものとなる。
【０１３１】
（３）検出音量とサポート音量との総量が原盤音量となるようにサポート音量が変動するため、楽曲データから再生された音と利用者の歌声とが奏でる音楽は、楽曲としてさらに調和が図られたものとなる。
【０１３２】
（４）制御部２１が、歌手の特定処理、類似楽曲の検索処理、歌手の声質の特定処理を実行し、それによって、マスクデータを生成する。そのため、複数の歌手のボーカルを演じる楽曲においても、各歌手に１つずつマスクデータを生成することが可能ともなる。
【０１３３】
（５）制御部２１が、楽曲の全体にわたり単一音域をマスクするための第１マスクデータを生成するため、ボーカル音の音量を効率的に調節することが可能となる。
（６）制御部２１が、フレーズごとにマスクを行うための第２マスクデータを生成するため、楽曲の全体において歪が生じることを抑制することが可能となる。
（７）制御部２１が、ボーカル音の音階に追従する動的な第３マスクデータを生成するため、より精緻なマスクデータを用いた楽曲の再生が可能となる。
【０１３４】
（８）制御部２１が、再生時間の算出処理、楽曲の長さの特定処理、再生判定時間の特定処理を実行するため、楽曲の利用状況に合った的確な再生回数をカウントすることが可能となる。
【０１３５】
［第２実施形態］
図２０、および、図２１を参照して第２実施形態における音楽再生装置、音楽再生システム、音楽再生方法、および、音楽再生プログラムを説明する。なお、第２実施形態における音楽再生装置は、前回までの音量の設定を履歴として取り扱う点において、第１実施形態における音楽再生装置とは異なる。以下では、第１実施形態で説明した各構成とは異なる点を主に説明し、第１実施形態で説明した構成と同じ機能を有する構成に関しては、同じ符号を付してそれの説明を省略する。
【０１３６】
音楽再生端末４０の通信部４２は、楽曲データを用いた今回の再生において、音量設定部４１１が実行した音量の設定を次回以降の設定候補として管理サーバー２０に送信する。音楽再生端末４０の制御部４１は、楽曲データを用いた楽曲の再生が実行されるごとに、通信部４２による設定候補の送信を実行する。
【０１３７】
管理サーバー２０の管理部２１１は、音楽再生端末４０から受信した設定候補を再生実績記憶部２５に格納する処理を実行する。再生実績記憶部２５は、再生日時、利用者コード、楽曲コード、および、設定候補を再生実績データ２５０に含める。
【０１３８】
再生実績データ２５０に含まれる設定候補は、今回の再生における指定モードを特定するための識別子に関するデータを含む。また、再生実績データ２５０に含まれる設定候補は、指定マスク度や標準マスク度のように、サポート音量の再生に用いられたマスク度を含む。また、再生実績データ２５０に含まれる設定候補は、指定期間や標準期間のようにサポート音量の再生に用いられた適用期間を含む。
【０１３９】
管理サーバー２０の制御部２１は、音楽再生端末４０に対してカラオケファイルを提供する際に、再生実績記憶部２５が記憶する再生実績データ２５０を参照し、今回の再生に関わる利用者コードと、楽曲コードとに対応する設定候補の有無を判定する。再生実績記憶部２５に設定候補が記憶されていると判定された場合、管理サーバー２０の制御部２１は、今回の再生に関わる利用者コードと楽曲コードとに対応する全ての設定候補を、カラオケファイルに含めて音楽再生端末４０に送信する。一方、再生実績記憶部２５に設定候補が記憶されていないと判定された場合、管理サーバー２０の制御部２１は、設定候補がない旨をカラオケファイルに含めて音楽再生端末４０に送信する。
【０１４０】
音楽再生端末４０は、管理サーバー２０から受信した設定候補を解析するための履歴解析部４１３を備える。履歴解析部４１３は、管理サーバー２０から受信した各設定候補を利用者による設定の履歴として取り扱い、所定のアルゴリズムに従って、利用者による設定の履歴から今回の再生における音量の設定を生成する。履歴解析部４１３は、例えば、採用された回数が最も多い設定を複数の設定候補の中から抽出し、抽出された設定を今回の設定とする。例えば、履歴解析部４１３は、採用された回数が最も多い指定モードを設定候補の中から抽出し、抽出された指定モードを今回の指定モードとして設定する。また、例えば、履歴解析部４１３は、再生日時が最も新しい設定候補から順に、連続している指定モードの有無を判断し、連続している最新の指定モードを今回の指定モードとして設定する。また、例えば、履歴解析部４１３は、設定候補に含まれるマスク度を用い、それらの平均値や最頻値を代表値として算出し、算出された代表値を今回の指定マスク度として設定する。
【０１４１】
［楽曲再生処理］
図２１が示すように、まず、音楽再生端末４０の制御部４１は、提供されたカラオケファイルから楽曲データ、および、マスクデータを読み込む（ステップＳ１０−１）。この際、音楽再生端末４０の制御部４１は、カラオケファイルに設定候補が含まれているか否かを判定する（ステップＳ１０−２）。
【０１４２】
次に、カラオケファイルに設定候補が含まれていない場合（ステップＳ１０−２において「ＮＯ」の場合）、音量設定部４１１は、再生信号生成部４１２が採用する指定モードに固定モードを設定する。また、音量設定部４１１は、再生信号生成部４１２が採用するマスク度に標準マスク度を設定し、再生信号生成部４１２が採用する適用期間に標準期間を設定する（ステップＳ９−３）。
【０１４３】
一方、カラオケファイルに設定候補が含まれている場合（ステップＳ１０−２において「ＹＥＳ」の場合）、音楽再生端末４０の履歴解析部４１３は、今回の楽曲再生に採用する指定モード、マスク度、および、適用期間を、読み出された設定候補から生成する（ステップＳ１０−３）。また、音量設定部４１１は、履歴解析部４１３による解析の結果に従って、再生信号生成部４１２が採用する指定モード、マスク度、および、指定期間を仮設定する。また、音量設定部４１１は、仮設定された内容を表示部などに出力させることによって、今回の再生における設定の確認を利用者に促す（ステップＳ１０−４）。
【０１４４】
この際、音量設定部４１１は、音楽再生端末４０の入力部４３に対する外部からの操作によって、指定モード、マスク度、および、指定期間の変更を許可する。そして、音量設定部４１１は、再生信号生成部４１２が採用する指定モード、マスク度、および、適用期間に、確認された内容を設定する（ステップＳ９−３）。
【０１４５】
以降、音楽再生端末４０の制御部４１は、第１実施形態と同様に、音量設定部４１１による音量の設定に従って、カラオケファイルに含まれる楽曲データから楽曲を再生する。そして、音楽再生端末４０の制御部４１は、今回の再生における音量の設定を次回の設定候補として管理サーバー２０に送信する（ステップＳ１０−５）。
以上、第２実施形態によれば、以下に列挙する効果が得られる。
【０１４６】
（９）サポート音の音量として今回の再生に求められる大きさやその適用期間は、再生する楽曲が同じであれば、前回の再生までに行われた設定のいずれかと同じ大きさや同じ適用期間であることが少なくない。この点、前回の再生までに行われた音量の設定を用いて、音量設定部４１１が今回の音量の設定を行うため、新たな設定を入力する利用者の負荷が軽減される。
【０１４７】
なお、上記第１実施形態、および、第２実施形態は、以下の態様に変更してもよい。
［音楽再生装置］
・音楽再生装置は、ネットワークを介して管理サーバー２０に接続された端末に限らず、例えば、ネットワークに接続されていない装置であってもよい。この際、音楽再生装置は、管理サーバー２０が備えるマスクデータの生成機能を備えてもよい。すなわち、音楽再生装置は、管理サーバー２０が備えるボーカル処理部２１２に相当する機能部を備え、音楽原盤ファイルに含まれる楽曲データからボーカル音の音域を特定し、ボーカル音の音量を変えるためのマスクデータの生成処理を実行してもよい。
【０１４８】
・音楽再生装置が行う楽曲の再生は、楽曲記憶部２４に記憶された楽曲データやマスクデータを用いる処理に限らない。音楽再生装置は、例えば、混合音を再生するための楽曲用のストリーミングファイルと、混合音のなかの対象音をマスクするためのマスク用のストリーミングファイルとを管理サーバー２０から取得し、これら取得したファイルを用いて楽曲をストリーミング再生してもよい。
【０１４９】
［対象音］
・対象音は、ボーカル音に限らず、楽器が奏でる楽器音であってもよい。要は、各音源の奏でる音が混ざり合った混合音の中からマスクデータによって特定される音であればよい。
【０１５０】
・対象音は、例えば、オーケストラを構成する楽器であって各々が相互に異なる二つ以上の楽器によって奏でられる音であってもよい。このように、各々が共通するタイムインデックスに対応付けられた２つ以上の音域に、対象音が別々に含まれてもよい。この際、音楽再生装置は、各々が相互に異なる音域をマスクするための複数のマスクデータと、各マスクデータに１つずつのマスク度を用いてもよく、あるいは、相互に異なる音域をマスクするように定義された１つのマスクデータと、各音域に１つずつのマスク度を用いてもよい。このように、２つ以上の音域に別々の対象音が含まれる構成であれば、各々が相互に異なる音階を有して外部で奏でられる複数の音と、それ以外の再生音とによって生成される混合音に関して、それを奏でることの補助を行うことが可能である。
【０１５１】
［マスクデータ］
・各々が相互に異なる音域をマスクする複数のマスクデータが、１つの楽曲の再生に際して採用されてもよい。この際、各マスクデータと、それが採用される適用期間とは、入力部４３に入力される操作などに基づいて、音楽再生端末４０においてマスクデータに１つずつ対応付けられる。
【０１５２】
こうしたマスクデータの採用の形態であれば、例えば、マスクデータによるマスクの精度が高いことが求められる適用期間には、第３マスクデータのような動的なマスクデータが用いられ、マスクデータによるマスクの精度が求められない適用期間には、第１マスクデータのような静的マスクデータが用いられる。それによって、第３マスクデータのような動的なマスクデータのみが用いられる構成と比べて、マスクデータの記憶に求められる記憶容量を抑えることが可能であり、また、マスクデータの生成に要する手間を軽減することも可能である。
【０１５３】
・データ記憶部４４が記憶した楽曲データから所定のアルゴリズムに従ってマスクデータを生成すると共に、生成されたマスクデータをデータ記憶部４４に記憶させるデータ処理部を、音楽再生端末４０がさらに備えてもよい。この際、データ処理部は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭを備え、マスクデータを生成するためのアルゴリズムを記憶すると共に、入力部４３から入力された楽曲データから所定のアルゴリズムに従ってマスクデータを生成する。再生処理部は、データ処理部の処理の結果を受けて、データ記憶部４４から楽曲データとマスクデータとを読み出し、マスクデータとマスク度とを用いて楽曲データから楽曲を再生する。
【０１５４】
［音量の設定］
・適用期間は、Ａメロ、Ｂメロ、サビ、チャプターに限らず、例えば、ボーカル音の音域のなかで所定の音階よりも高い音域である期間や、ボーカル音の音域のなかで所定の音階よりも低い音域である期間として予め定められてもよい。こうした期間の設定は、例えば、図１１を用いて説明されたマスクデータの生成処理において行うことが可能である。具体的には、まず、適用期間を定めるためのボーカル音の音域を定め、ボーカル音の音階がその音域に含まれるタイムインデックスを適用期間とする。
【０１５５】
人声の音域は、例えば、高音域や低音域に分けられ、高音域に声域を有しない利用者は、高音域にサポート音を必要とされ、低音域に声域を有しない利用者は、低音域にサポート音を必要とされる。この点、適用期間がボーカル音の音域によって定められる構成であれば、サポート音が本来必要とされる適用期間のみでサポート音の生成が実行されるため、サポート音をマスク度でマスクする音量の制御において、それの負荷を軽減することが可能ともなる。なお、こうした適用期間において第１変動モードや第２変動モードによる補助設定が行われる構成であれば、サポート音が本来必要とされる適用期間でも、さらにサポート音量として好ましい音量で補助を行うことが可能でもある。
【０１５６】
・図２２が示すように、音楽再生装置は、演奏者がマイクに入力する音から、その演奏者が奏でる音の音域を特定する音域特定部４７をさらに備えてもよい。音域特定部４７が行う音域を特定するための処理は、楽曲を再生する前に行われてもよいし、楽曲の再生中に逐次行われてもよい。
【０１５７】
例えば、音域特定部４７は、演奏者が奏でる音の音域を予め特定し、音量設定部４１１は、指定モードに基づく補助を、予め特定された音域以外の音域で行うためのモード適用特定部４１４を備えてもよい。このモード適用特定部４１４は、例えば、対象音が対応付けられるタイムインデックスのなかで、音域特定部４７が特定した音域以外の音域が対応付けられるタイムインデックスを、楽曲データに基づき特定する。そして、モード適用特定部４１４は、指定マスク度や標準マスク度を採用する期間を、その特定されたタイムインデックスに設定する。こうした再生によれば、対象音がサポート音量で再生される期間を、演奏者の演奏できない音域に特化させたものとすることが可能でもある。
【０１５８】
例えば、音域特定部４７は、演奏者が奏でる音の音域を演奏中に逐次特定し、音量設定部４１１は、指定モードに基づく補助を、逐次特定された音域に基づいて行うためのモード適用特定部４１４を備えてもよい。このモード適用特定部４１４は、例えば、音域特定部４７が逐次特定する演奏者の音域と、楽曲ファイルに基づく対象音の音域との差が、所定範囲内であるか否かの判断を、楽曲の再生中に繰り返す。そして、音域特定部４７が特定する演奏者の音域と、楽曲ファイルに基づく対象音の音域との差が、所定範囲外であるとき、モード適用特定部４１４は、そのときの指定モードに基づくマスク度を設定する。なお、音域特定部４７が特定する演奏者の音域と、楽曲ファイルに基づく対象音の音域との差の許容される範囲である上記所定範囲は、指定マスク度などと同じく、入力部４３から入力される構成であってもよいし、データ記憶部４４が予め記憶する構成であってもよい。こうした再生によれば、演奏者が奏でる音の音域と、対象音の音域との乖離が大きいときに、サポート音で対象音が再生される。そのため、演奏者の奏でる音の音域が、その楽曲に本来求められる音域から外れていることを、演奏者に把握させることが可能となる。また、その楽曲に本来求められる音域で対象音を再生するため、これらの混合音を鑑賞する鑑賞者に対して、上記乖離による違和感を抑えることが可能ともなる。
【０１５９】
例えば、音域特定部４７は、演奏者が奏でる音の音域を予め特定し、制御部４１は、通信部４２の通信を介して、特定された演奏者の音域を制御部２１に送信してもよい。この際、制御部２１は、各楽曲管理データ２４０のなかで音域に関するデータを参照し、音域に関するデータが示す音域が演奏者の音域の含まれる楽曲管理データ２４０を特定する。また、制御部２１は、その特定された楽曲管理データ２４０を、推奨曲の楽曲管理データ２４０として通信部４２に送信する。そして、制御部４１は、通信部４２が受信した推奨曲の楽曲管理データ２４０に基づき、推奨曲のリストを表示部などに出力させてもよい。こうした楽曲の推奨によれば、演奏者が奏でられる音域に適した楽曲を、演奏者に推奨することが可能ともなる。
【０１６０】
なお、制御部４１は、演奏者が奏でる音の音域に加え、さらに、通信部４２の通信を介して、演奏者が求める情景などに関する情報を、制御部２１に送信してもよい。そして、制御部２１は、各楽曲管理データ２４０のなかで情景に関するデータを参照し、演奏者が求める情景に含まれる情景が記憶された楽曲管理データ２４０を特定する。また、制御部２１は、その特定された楽曲管理データ２４０を、推奨曲の楽曲管理データ２４０として通信部４２に送信する。こうした楽曲の推奨によれば、演奏者が奏でられる音域に適した楽曲であり、かつ、演奏者が求める情景に適した楽曲を、演奏者に推奨することが可能ともなる。
【０１６１】
［その他］
・再生判定処理が実行する再生判定方法は、再生判定時間による方法に限定されるものではない。例えば、楽曲におけるサビの位置に基づいて、再生判定を行なうようにしてもよい。この場合には、管理サーバー２０の制御部２１が、主旋律の推定処理（ステップＳ１−３）において、特定のパターンに基づいてサビ位置を特定する。そして、楽曲管理データ２４０に、特定したサビ位置を記憶しておく。そして、再生管理部２１５は、タイムインデックスとサビ位置とに基づいて、再生判定を行なう。ここでは、再生判定時間を経過していない場合であっても、サビが再生された場合には、再生と判定する。
【０１６２】
［楽曲再生処理］
・上記第１変動モードは、タイミングｔ（ｊ）における検出音量ＭＶＡ（ｊ）と原盤音量ＯＶＡ（ｊ）との差ｄＶ１に所定値αを乗算して得られる音量を変動値とする。そして、固定されたマスク度ＶＣＦ０によって原盤音量ＯＶＡ（ｊ）をマスクした音量に、この変動値を積算する。この際、マスク度の取り得る範囲が１以上０以下であり、ボーカル音の全てをマスクするマスク度が１であるとき、新たなマスク度ＶＣＦ（ｊ＋１）は、下式によって示される。
ＶＣＦ（ｊ＋１）＝ＶＣＦ０＋（１-α）*（ＭＶＡ（ｊ）−ＯＶＡ（ｊ））／ＯＶＡ（ｊ）
【０１６３】
また、上記第２変動モードは、タイミングｔ（ｊ）における検出音量ＭＶＡ（ｊ）と原盤音量ＯＶＡ（ｊ）との差ｄＶ２に相当する音量をボーカル音として再生するためのマスク度を採用する。この際、新たなマスク度ＶＣＦ（ｊ＋１）は、下式によって示される。
ＶＣＦ（ｊ＋１）＝１＋（ＭＶＡ（ｊ）−ＯＶＡ（ｊ））／ＯＶＡ（ｊ）
これら第１変動モードや第２変動モードは、上述した固定モードに続いて連続することも可能である。
【０１６４】
図２３が示すように、例えば、タイミングｔ０からタイミングｔ１までは、ボーカル音以外の音が再生される間奏期間であり、タイミングｔ１からタイミングｔ３までが、ボーカル音を含む歌唱期間であるとき、音楽再生端末４０の制御部４１は、タイミングｔ１からタイミングｔ２まで、固定されたマスク度ＶＣＦ０を用いた再生を行う。そして、音楽再生端末４０の制御部４１は、タイミングｔ２からタイミングｔ３まで、第１変動モードや第２変動モードによる再生を行うことも可能である。
【０１６５】
・音楽再生端末４０の制御部４１は、検出音量ＭＶＡ（ｊ）のしきい値として所定の上限音量ＶＳ１を用い、検出音量ＭＶＡ（ｊ）が上限音量ＶＳ１を越えるときに、固定されたマスク度ＶＣＦ０を用いた再生を行うことも可能である。検出音量ＭＶＡ（ｊ）が上限音量ＶＳ１を越えるときの状態は、ボーカルを演じる利用者が意図した程度の大きさで、その利用者の声量が出力されていると推定される。この際、ボーカルを演じる利用者が設定したマスク度ＶＣＦ０でボーカル音の再生が行われる構成であれば、ボーカルを演じる利用者が意図する程度の大きさで利用者の声量が出力され、かつ、ボーカルを演じる利用者が意図する程度の大きさでサポート音の音量が出力される。結果として、ボーカルを演じる利用者が意図する音量でその利用者の歌声を含む楽曲が、音楽再生端末４０によって提供される。
【０１６６】
・音楽再生端末４０の制御部４１は、直近の検出期間における演奏音の音量の平均値を検出音量ＭＶＡ（ｊ）として取り扱い、検出音量ＭＶＡ（ｊ）のしきい値として、所定の下限音量ＶＳ０と所定の上限音量ＶＳ１とを用い、下記式（１）および式（２）に基づき、新たなマスク度ＶＣＦ（ｊ＋１）を用いることも可能である。
【０１６７】
【数１】
2017156749.tif 000003
【０１６８】
【数２】
2017156749.tif 000004
【０１６９】
すなわち、音楽再生端末４０の制御部４１は、検出音量ＭＶＡ（ｊ）が下限音量ＶＳ０を下回るときに、新たなマスク度ＶＣＦ（ｊ＋１）として、マスク度の最小値である「０」を用いた再生を行う。また、音楽再生端末４０の制御部４１は、検出音量ＭＶＡ（ｊ）が上限音量ＶＳ１を上回るときに、新たなマスク度ＶＣＦ（ｊ＋１）として、固定されたマスク度ＶＣＦ０を用いた再生を行う。検出音量ＭＶＡ（ｊ）が下限音量ＶＳ０を下回るときの状態は、ボーカルを演じる利用者の出力できる音域と、ボーカルの音域との間に、大きな乖離があると推定される。この際、最小値である「０」を用いたボーカル音の再生が行われる構成であれば、ボーカルを演じる利用者の声量が自身の意図に反して出力できないとしても、ボーカルを演じる利用者が意図する程度の大きさでサポート音の音量が出力される。結果として、ボーカルを演じる利用者が意図する音量による楽曲が、音楽再生端末４０によって提供される。
【０１７０】
なお、音楽再生端末４０の制御部４１は、上述した間奏期間において、最小値である「０」を用いた再生を行うことも可能である。こうした構成であれば、伴奏音の音量を不要に下げること、また、伴奏音に含まれる音を不要に除くことを抑えることが可能ともなる。
【０１７１】
また、音楽再生端末４０の制御部４１は、上記式（１）に基づき、上述したタイミングｔ２以降において、検出音量ＭＶＡ（ｊ−１）に対する下限音量ＶＳ０の差分値を、上限音量ＶＳ１と下限音量ＶＳ０との差分値で規格化した補間量Ｆ（ｊ）を算出する。そして、音楽再生端末４０の制御部４１は、上記式（２）に基づき、定数Ｋｐと定数Ｋｉとを用い、補間量Ｆ（ｊ）に比例し、かつ、今回の検出音量ＭＶＡ（ｊ）が前回よりも下がった場合には、今回の検出音量ＭＶＡ（ｊ）が前回よりも上がった場合よりも大きくなるように、新たなマスク度ＶＣＦ（ｊ＋１）を算出する。すなわち、音楽再生端末４０の制御部４１は、今回の検出音量ＭＶＡ（ｊ）が小さいほど、次回のサポート音量を大きくすると共に、今回の検出音量ＭＶＡ（ｊ）が前回から上がった場合には、緩やかにサポート音量を大きくし、反対に、今回の検出音量ＭＶＡ（ｊ）が前回から下がった場合には、急峻にサポート音量を大きくする。また、音楽再生端末４０の制御部４１は、今回の検出音量ＭＶＡ（ｊ）が大きいほど、次回のサポート音量を小さくすると共に、今回の検出音量ＭＶＡ（ｊ）が前回から上がった場合には、緩やかにサポート音量を小さくし、反対に、今回の検出音量ＭＶＡ（ｊ）が前回から下がった場合には、急峻にサポート音量を小さくする。
【０１７２】
上述した制御部４１による再生によれば、検出音量ＭＶＡ（ｊ）の推移をより適切に反映させたサポート音量を次回のサポート音量として再生することが可能ともなる。
［マスク生成処理］
【０１７３】
・管理サーバー２０の制御部２１は、上述したマスクデータを以下のように生成することも可能である。すなわち、管理サーバー２０の制御部２１は、ボーカル音が含まれる期間である歌唱期間に関する情報を用い、歌唱期間のなかに、所定の時間幅を有した複数の窓を配置し、各窓での周波数成分と位相成分とを算出する。また、管理サーバー２０の制御部２１は、音域を複数の音域区分の集合として取り扱うと共に、各音域区分を所定の位相範囲と所定の周波数帯域とによって定まる領域とし、窓ごとに、その窓での周波数成分が属する周波数帯域と、その窓での位相成分が属する位相範囲とによって定まる音域区分に、その音域区分での振幅を対応付ける。また、管理サーバー２０の制御部２１は、全ての窓における音域区分ごとに、音域区分に対応付けられた振幅の積算値を算出する。そして、管理サーバー２０の制御部２１は、ボーカル音の音量として基準とする基準値よりも積算値が大きい音域区分を、ボーカル音の音域として推定する。
【０１７４】
このような音域の推定によるマスクデータの生成において、歌唱期間における窓ごとの振幅は、複数の音域区分のうち、窓での周波数成分が属する周波数帯域と、窓での位相成分が属する位相範囲とによって定まる音域区分に対応付けられて、音域区分ごとに積算される。ボーカル音が含まれる歌唱期間は、ボーカル音を聞き手に伝える期間であるから、歌唱期間でのボーカル音の振幅は、ボーカル音以外の音の振幅よりも大きい傾向を有する。結果として、ボーカル音の音域に含まれる音域区分での振幅の積算値と、ボーカル音の音域以外の音域区分での振幅の積算値との間では、音域区分間での差異が際立つ。そのため、ボーカル音の音量として予め推定される上記積算値の基準値よりも積算値が大きい音域区分を、ボーカル音の音域として推定する構成であれば、ボーカル音が有する音域の推定において、その推定の精度を高めることが可能となる。
【符号の説明】
【０１７５】
１０…コンテンツサーバー、２０…管理サーバー、２１…制御部、２２…原盤記憶部、２３…歌詞情報記憶部、２４…楽曲記憶部、２５…再生実績記憶部、３０…担当者端末、４０…音楽再生端末、４１…制御部、４２…通信部、４３…入力部、４４…データ記憶部、４５…音量検出部、４６…楽曲出力部、２１１…管理部、２１２…ボーカル処理部、２１３…歌詞管理部、２１４…エディタ、２１５…再生管理部、２２０…原盤ファイル、２３０…歌詞ファイル、２４０…楽曲管理データ、２４１…ＨＬＳファイル、２４２…ＸＭＬファイル、２４３…マスクデータ、２４４…楽曲管理レコード、２５０…再生実績データ、４１１…音量設定部、４１２…再生信号生成部、５００，５１０，５２０，６００，６０１，６０２，６０３…音階推移グラフ、５０１…第１マスクデータ、５１１…第２マスクデータ、５２１…第３マスクデータ、７００…ＸＭＬファイル。
【図１】
2017156749.tif 000005
【図２】
2017156749.tif 000006
【図３】
2017156749.tif 000007
【図４】
2017156749.tif 000008
【図５】
2017156749.tif 000009
【図６】
2017156749.tif 000010
【図７】
2017156749.tif 000011
【図８】
2017156749.tif 000012
【図９】
2017156749.tif 000013
【図１０】
2017156749.tif 000014
【図１１】
2017156749.tif 000015
【図１２】
2017156749.tif 000016
【図１３】
2017156749.tif 000017
【図１４】
2017156749.tif 000018
【図１５】
2017156749.tif 000019
【図１６】
2017156749.tif 000020
【図１７】
2017156749.tif 000021
【図１８】
2017156749.tif 000022
【図１９】
2017156749.tif 000023
【図２０】
2017156749.tif 000024
【図２１】
2017156749.tif 000025
【図２２】
2017156749.tif 000026
【図２３】
2017156749.tif 000027