(57)【要約】  【課題】  音楽をパケットにより伝送した場合に、長期間にわたるパケットの欠落が発生しても、音楽の連続性を維持するとともに、音楽のリズム周期の変動を抑制することのできる音楽データ補完装置および音楽情報再生装置を提供する。  【解決手段】  音楽情報を含むパケットの欠落を検知する欠落検知手段１１と、パケットの欠落が検知されたときは仮想音楽データを生成して蓄積し、パケットの欠落が検知されなかったときはパケットに含まれる音楽データを蓄積する音楽データ蓄積手段１２と、蓄積された音楽データの結合である音楽情報が有するリズム周期を検出するリズム周期検出手段１３と、仮想音楽データを、リズム周期長さの音楽データの連なりから選択される音楽データと置換する音楽データ置換手段１４を含む。【選択図】  図１
2005062339.tif 000002
【特許請求の範囲】
【請求項１】
音楽データを含むパケットの欠落を検知する欠落検知手段と、前記欠落検知手段で前記パケットの欠落が検知されたときは仮想音楽データを蓄積し、前記欠落検知手段で前記パケットの欠落が検知されなかったときは前記パケットに含まれる前記音楽データを蓄積する音楽データ蓄積手段と、前記音楽データ蓄積手段に蓄積されている前記音楽データおよび前記仮想音楽データの結合である結合音楽データからリズム周期を検出するリズム周期検出手段と、前記結合音楽データの中の前記仮想音楽データを、前記リズム周期検出手段で検出された前記リズム周期に相当する時間長さの前記結合音楽データ中の前記音楽データの連なりに含まれる音楽データと置換する音楽データ置換手段とを含むことを特徴とする音楽データ補完装置。
【請求項２】
前記リズム周期検出手段が、前記結合音楽データから予め定められた遮断周波数未満の低周波成分を除去する低周波成分除去部を備えることを特徴とする請求項１に記載の音楽データ補完装置。
【請求項３】
前記リズム周期検出手段が、前記結合音楽データを整流する整流部と、前記整流部で整流された前記結合音楽データの振幅が予め定められた閾値以上となる時間間隔を前記リズム周期に設定するリズム周期設定部とを備えることを特徴とする請求項１または請求項２に記載の音楽データ補完装置。
【請求項４】
前記リズム周期検出手段が、前記結合音楽データの自己相関関数値を、時間間隔を変数として算出する自己相関関数値算出部と、前記自己相関関数値算出部で算出された前記自己相関関数値が最大となる時間間隔を前記リズム周期に設定するリズム周期設定部とを備えることを特徴とする請求項１または請求項２に記載の音楽データ補完装置。
【請求項５】
前記リズム周期検出手段が、前記リズム周期設定部で設定された前記リズム周期の移動時間平均値を前記リズム周期として再設定するリズム周期再設定部を備えることを特徴とする請求項３または請求項４に記載の音楽データ補完装置。
【請求項６】
前記音楽データ置換手段が、前記音楽データ蓄積手段に蓄積されている前記音楽データの数と前記仮想音楽データの数との総和を前記リズム周期検出手段で検出されたリズム周期に含まれる前記音楽データの数と前記仮想音楽データの数との総和で除した余りを算出する余り算出部と、前記音楽データ蓄積手段の先頭に前記仮想音楽データが蓄積されたときは、前記仮想音楽データを、前記結合音楽データの中の前記リズム周期に相当する時間長さの前記音楽データの連なりから前記余り算出部で算出された前記余りに基づいて選択される音楽データと置換する音楽データ置換部とを備えることを特徴とする請求項１から請求項５の何れかに記載の音楽データ補完装置。
【請求項７】
圧縮された音楽データを含むパケットを伝送する伝送線から前記パケットを受信するパケット受信手段と、前記パケット受信手段で予め定められた時間内に前記パケットが受信されなかったときは前記パケットが欠落したことを検知する欠落検知手段と、前記パケット受信手段で前記パケットが受信されたときは受信された前記パケットに含まれる音楽データを解凍する音楽データ解凍手段と、前記欠落検知手段で前記パケットの欠落が検知されたときは、仮想音楽データを蓄積し、前記音楽データ解凍手段で前記音楽データが解凍されたときは、前記音楽データを蓄積する音楽データ蓄積手段と、前記音楽データ蓄積手段に蓄積されている前記音楽データおよび前記仮想音楽データの結合である結合音楽データからリズム周期を検出するリズム周期検出手段と、前記結合音楽データの中の前記仮想音楽データを、前記リズム周期検出手段で検出された前記リズム周期に相当する時間長さの前記結合音楽データ中の前記音楽データの連なりに含まれる音楽データと置換する音楽データ置換手段と、前記音楽データ置換手段による置換完了後に、前記音楽データ蓄積手段に蓄積された音楽データを可聴化する可聴化手段とを含む音楽情報再生装置。
【請求項８】
前記リズム周期検出手段が、前記結合音楽データから予め定められた遮断周波数以下の低周波成分を除去する低周波成分除去部を備えることを特徴とする請求項７に記載の音楽情報再生装置。
【請求項９】
前記リズム周期検出手段が、前記結合音楽データを整流する整流部と、前記整流部で整流された前記結合音楽データの振幅が予め定められた閾値以上となる時間間隔を前記リズム周期に設定するリズム周期設定部とを備えることを特徴とする請求項７または請求項８に記載の音楽情報再生装置。
【請求項１０】
前記リズム周期検出手段が、前記結合音楽データの自己相関関数値を、時間間隔を変数として算出する自己相関関数値算出部と、前記自己相関関数値算出部で算出された自己相関関数値部が最大となる時間間隔を前記リズム周期に設定するリズム周期設定部を備えることを特徴とする請求項７または請求項８に記載の音楽情報再生装置。
【請求項１１】
前記リズム周期検出手段が、前記リズム周期設定部で設定された前記リズム周期の移動時間平均値を前記リズム周期に再設定するリズム周期再設定部を備えることを特徴とする請求項９または請求項１０に記載の音楽情報再生装置。
【請求項１２】
前記音楽データ置換手段が、前記音楽データ蓄積手段に蓄積されている前記音楽データの数および前記仮想音楽データの数の総和を前記リズム周期検出手段で検出されたリズム周期に含まれる前記音楽データの数および前記仮想音楽データの数の総和で除した余りを算出する余り算出部と、前記音楽データ蓄積手段の先頭に前記仮想音楽データが蓄積されたときは、前記仮想音楽データを、前記結合音楽データの中の前記リズム周期に相当する時間長さの前記音楽データの連なりから前記余り算出部で算出された余りに基づいて選択される前記音楽データと置換する音楽データ置換部とを備えることを特徴とする請求項７から請求項１１の何れかに記載の音楽情報再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パケットにより配信される音楽情報用の音楽データ補完装置および音楽情報再生装置に係り、特にパケットが欠落してもリズム周期の変動を防止することのできる音楽データ補完装置および音楽情報再生装置に関する。
【背景技術】
【０００２】
従来、この種の欠落パケット補完装置としては、図１５に示すように、音声パケットに符号化された音声信号を伝送するパケット通信系において、音声信号を受信するために受信された音声信号の音声パケットを順次蓄積して出力するバッファ部Ｂ１と、バッファ部Ｂ１から読み出される音声パケットの１ピッチ周期分のピッチパターンを抽出するピッチパターン抽出部Ｂ７と、バッファ部Ｂ１から読み出される音声パケットのパワー変動を測定するパワー変動測定部Ｂ４と、バッファ部Ｂ１から読み出される音声パケットのピッチ周期の揺らぎを推定するピッチ揺らぎ推定部Ｂ６と、音声信号から抽出された１ピッチ周期分のピッチパターンに基づいて作成した音声信号に音声パケットのパワー変動とピッチ周期の揺らぎの推定特性を付与して置換データを作成して出力するデータ作成部Ｂ８と、受信された音声信号の音声パケットが伝送中に欠落したか、または予め定められた時間内に到達しなかったときに選択信号を出力する判定部Ｂ２と、判定部Ｂ２が選択信号を出力しないとき、即ちパケットの欠落がないときは、バッファ部Ｂ１からの音声パケットを選択して出力音声パケットとして出力し、判定部Ｂ２が選択信号を出力したとき、即ちパケットの欠落があるときは、データ作成部Ｂ８からの置換データまたは置換データを修正した修正置換データを選択して出力音声パケットとして出力するデータ置換部Ｂ９とを備えるものが知られていた（例えば、特許文献１参照）。
【０００３】
そして、この欠落パケット補完装置は、音声をパケットとして伝送する際にパケットが欠落した場合には、欠落前の音声パケットのピッチパターンに基づいて作成した音声パケットにパワー変動とピッチ周期の揺らぎの推定値を付与した音声パケットで補完することにより、不整合による異音が生じることなく、自然に連続した音声を再生することが可能となる。
【特許文献１】特開２００１−２２８８９６号公報（［０００７］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の欠落パケット補完装置は、音声のパケットによる伝送を目的としたものであり、音楽情報の伝送を目的としたものではない。
【０００５】
したがって、上記の欠落パケット補完装置を、パケットを使用して配信される音楽情報の受信に適用した場合には、長時間にわたるパケットの欠落が発生すると、音楽は中断しないものの、音楽のリズム周期が変動し、聞き手に違和感を与えるおそれがある。
【０００６】
本発明は、上記従来の問題を解決するためになされたものであって、音楽をパケットにより伝送した場合に、長期間にわたるパケットの欠落が発生しても、音楽の連続性を維持するとともに、音楽のリズム周期の変動を抑制し、聞き手に違和感を与えることのない音楽データ補完装置および音楽情報再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の音楽データ補完装置は、音楽データを含むパケットの欠落を検知する欠落検知手段と、前記欠落検知手段で前記パケットの欠落が検知されたときは仮想音楽データを蓄積し、前記欠落検知手段で前記パケットの欠落が検知されなかったときは前記パケットに含まれる前記音楽データを蓄積する音楽データ蓄積手段と、前記音楽データ蓄積手段に蓄積されている前記音楽データおよび前記仮想音楽データの結合である結合音楽データからリズム周期を検出するリズム周期検出手段と、前記結合音楽データ中の前記仮想音楽データを、前記リズム周期検出手段で検出された前記リズム周期に相当する時間長さの前記結合音楽データ中の前記音楽データの連なりに含まれる音楽データと置換する音楽データ置換手段とを含む構成を有している。
【０００８】
この構成により、音楽データを含むパケットが欠落した場合には、欠落したパケットに含まれていた音楽データが、音楽のリズム周期に基づいて補完されることとなる。
【０００９】
また、本発明の音楽データ補完装置は、前記リズム周期検出手段が、前記結合音楽データから予め定められた遮断周波数未満の低周波成分を除去する低周波成分除去部を備える構成を有している。
【００１０】
この構成により、音楽のリズム周期が検出し易くなることとなる。
【００１１】
さらに、本発明の音楽データ補完装置は、前記リズム周期検出手段が、前記結合音楽データを整流する整流部と、前記整流部で整流された前記結合音楽データの振幅が予め定められた閾値以上となる時間間隔を前記リズム周期に設定するリズム周期設定部とを備える構成を有している。
【００１２】
この構成により、音楽情報の振幅に基づいてリズム周期が検出されることとなる。
【００１３】
さらに、本発明の音楽データ補完装置は、前記リズム周期検出手段が、前記結合音楽データの自己相関関数値を、時間間隔を変数として算出する自己相関関数値算出部と、前記自己相関関数値算出部で算出された前記自己相関関数値が最大となる時間間隔を前記リズム周期に設定するリズム周期設定部とを備える構成を有している。
【００１４】
この構成により、音楽情報の自己相関関数値に基づいてリズム周期が検出されることとなる。
【００１５】
さらに、本発明の音楽データ補完装置は、前記リズム周期検出手段が、前記リズム周期設定部で設定された前記リズム周期の移動時間平均値を前記リズム周期として再設定するリズム周期再設定部を備える構成を有している。
【００１６】
この構成により、リズム周期の細かい変動が抑制されることとなる。
【００１７】
さらに、本発明の音楽データ補完装置は、前記音楽データ置換手段が、前記音楽データ蓄積手段に蓄積された前記音楽データの数および前記仮想音楽データの数の総和を前記リズム周期検出手段で検出されたリズム周期に含まれる前記音楽データの数および前記仮想音楽データの数の総和で除した余りを算出する余り算出部と、前記音楽データ蓄積手段に最新に蓄積された前記音楽データが前記仮想音楽データであるときは、前記仮想音楽データを、前記余り算出部で算出された前記余りに基づいて選択される前記リズム・フレーム中の前記音楽データに置換する音楽データ置換部とを備える構成を有している。
【００１８】
この構成により、欠落した音楽データを補完する補完用音楽データが、リズム・フレームの中の音楽データから選択されることとなる。
【００１９】
さらに、本発明の音楽情報再生装置は、圧縮された音楽データを含むパケットを伝送する伝送線から前記パケットを受信するパケット受信手段と、前記パケット受信手段で予め定められた時間内に前記パケットが受信されなかったときは前記パケットが欠落したことを検知する欠落検知手段と、前記パケット受信手段で前記パケットが受信されたときは受信された前記パケットに含まれる音楽データを解凍する音楽データ解凍手段と、前記欠落検知手段で前記パケットの欠落が検知されたときは、仮想音楽データを蓄積し、前記音楽データ解凍手段で前記音楽データが解凍されたときは、前記音楽データを蓄積する音楽データ蓄積手段と、前記音楽データ蓄積手段に蓄積されている前記音楽データおよび前記仮想音楽データの結合である結合音楽データからリズム周期を検出するリズム周期検出手段と、前記結合音楽データの中の前記仮想音楽データを、前記リズム周期検出手段で検出された前記リズム周期に相当する時間長さの前記結合音楽データ中の前記音楽データの連なりに含まれる音楽データと置換する音楽データ置換手段と、前記音楽データ置換手段による置換完了後に、前記音楽データ蓄積手段に蓄積された音楽データを可聴化する可聴化手段とを含む構成を有している。
【００２０】
この構成により、音楽データを含むパケットが伝送中に欠落した場合には、欠落したパケットに含まれていた音楽データが、音楽のリズム周期に基づいて補完された後に、可聴化されることとなる。
【００２１】
さらに、本発明の音楽情報再生装置は、前記リズム周期検出手段が、前記音楽データ蓄積手段に蓄積された前記音楽データを結合した前記音楽情報から予め定められた遮断周波数未満の低周波成分を除去する低周波成分除去部を備える構成を有している。
【００２２】
この構成により、音楽のリズム周期が検出し易くなることとなる。
【００２３】
さらに、本発明の音楽情報再生装置は、前記リズム周期検出手段が、前記結合音楽データを整流する整流部と、前記整流部で整流された前記結合音楽データの振幅が予め定められた閾値以上となる時間間隔を前記リズム周期に設定するリズム周期設定部とを備える構成を有している。
【００２４】
この構成により、音楽情報の振幅に基づいてリズム周期が検出されることとなる。
【００２５】
さらに、本発明の音楽情報再生装置は、前記リズム周期検出手段が、前記結合音楽データの自己相関関数値を、時間間隔を変数として算出する自己相関関数値算出部と、前記自己相関関数値算出部で算出された前記自己相関関数値が最大となる時間間隔を前記リズム周期に設定するリズム周期設定部とを備える構成を有している。
【００２６】
この構成により、音楽情報の自己相関関数値に基づいてリズム周期が検出されることとなる。
【００２７】
さらに、本発明の音楽情報再生装置は、前記リズム周期検出手段が、前記リズム周期設定部で設定された前記リズム周期の予め定められた時間間隔の移動平均値を前記リズム周期として再設定するリズム周期再設定部を備える構成を有している。
【００２８】
この構成により、リズム周期の細かい変動が抑制されることとなる。
【００２９】
さらに、本発明の音楽情報再生装置は、前記音楽データ置換手段が、前記音楽データ蓄積手段に蓄積されている前記音楽データの数と前記仮想音楽データの数との総和を前記リズム周期検出手段で検出されたリズム周期に含まれる前記音楽データの数と前記仮想音楽データの数との総和で除した余りを算出する余り算出部と、前記音楽データ蓄積手段の先頭に前記仮想音楽データが蓄積されたときは、前記仮想音楽データを、前記結合音楽データの中の前記リズム周期に相当する時間長さの前記音楽データの連なりから前記余り算出部で算出された前記余りに基づいて選択される音楽データと置換する音楽データ置換部とを備える構成を有している。
【００３０】
この構成により、欠落した音楽データを補完する補完用音楽データが、リズム周期の長さの音楽データの連なりから選択されることとなる。
【発明の効果】
【００３１】
本発明は、欠落検知手段と、音楽データ蓄積手段と、リズム周期検出手段と、音楽データ置換手段とを設けることにより、音楽をパケットにより伝送したときに、長期間にわたるパケットの欠落が発生した場合でも、音楽の連続性を維持し、聞き手に違和感を与えることのない音楽データ補完装置および音楽情報再生装置音楽を提供できるものである。
【発明を実施するための最良の形態】
【００３２】
以下、図を参照して本発明の実施の形態を説明する。
【００３３】
最初に、本発明に係る第一の実施の形態の音楽データ補完装置について説明する。
【００３４】
本発明に係る第一の実施の形態の音楽データ補完装置は、図１に示すように、音楽データを含むパケットの欠落を検知する欠落検知手段１１と、欠落検知手段１１でパケットの欠落が検知されたときは仮想音楽データを蓄積し、欠落検知手段１１でパケットの欠落が検知されなかったときはパケットに含まれる音楽データを蓄積する音楽データ蓄積手段１２と、音楽データ蓄積手段１２に蓄積されている音楽データおよび仮想音楽データの結合である結合音楽データからリズム周期を検出するリズム周期検出手段１３と、結合音楽データの中の仮想音楽データを、リズム周期検出手段１３で検出されたリズム周期に相当する時間長さの結合音楽データ中の音楽データの連なりに含まれる音楽データと置換する音楽データ置換手段１４とを含む。
【００３５】
ここで、「音楽データ」は、実際の音楽情報を予め定められた時間長さに分割した音楽情報の一部分のデータを意味する。
【００３６】
また、「仮想音楽データ」は、仮想の音楽データであり、音楽データと区別可能なデータを意味する。
【００３７】
さらに、「結合音楽データ」は、音楽データ・バッファに蓄積されている音楽データおよび仮想音楽データを結合したものを意味する。
【００３８】
さらに、「リズム周期」は、音楽情報に含まれるリズムの周期を意味する。
【００３９】
さらに、「パケット」は、圧縮されたまたは非圧縮の音楽データをデータフィールドに含むパケットを意味する。
【００４０】
本発明に係る第一の実施の形態の音楽データ補完装置は、図２に示すように、ハードウエアとしてパーソナル・コンピュータ（以下単にＰＣと呼ぶ）２０を使用するが、ＰＣ２０はバス２１、ならびにバス２１に接続されたCPU２２、メモリ２３、ハードディスク２４および周辺機器インターフェイス（以下単にＩ／Ｆと呼ぶ）２５を備える。
【００４１】
なお、周辺機器Ｉ／Ｆ２５には、使用者がＰＣ２０に対する操作指令を入力するキーボード２６およびマウス２７、ならびにＰＣ２０の動作状況を表示する表示装置２８が接続される。
【００４２】
そして、ＰＣ２０に音楽データ補完プログラムをインストールすることにより、ＰＣ２０は、音楽データ補完装置として動作する。
【００４３】
次に、音楽データ補完プログラムについて説明する。
【００４４】
図３に示すように、CPU２２がメモリ２３に記憶された音楽データ補完プログラムを実行すると、欠落検知手段１１がパケットの欠落を検知（ステップＳ１）し、音楽データ蓄積手段１２が、音楽データまたは仮想音楽データを、メモリ２３中に形成される音楽データ・バッファに蓄積する（ステップＳ２）。
【００４５】
次に、リズム周期検出手段１３が、音楽データ・バッファに蓄積されている音楽データおよび仮想音楽データを結合した結合音楽データに含まれるリズム周期を検出する（ステップＳ３）。
【００４６】
そして、音楽データ置換手段１４が、結合音楽データの中の仮想音楽データをリズム周期長さの音楽データの連なりに含まれる音楽データと置換（ステップＳ４）する。この結果、欠落したパケットに含まれていた音楽データがリズム周期を損なうことなく補完されることとなる。
【００４７】
以下、詳細に各手段の動作を説明するが、パケットには、予め定められた時間（例えば２０ミリ秒）長さの音楽データが格納されているものとする。また、パケットはＰＣ２０のハードディスク２４に記憶されているものとする。
【００４８】
欠落検知手段１１は、図４に示すように、まずハードディスク２４に記憶されているパケットを読み出し（ステップＳ１１）、読み出したパケットに付与されているパケット番号が連番であるか否かを判定する（ステップＳ１２）。
【００４９】
次に、音楽データ蓄積手段１２は、パケット番号が連番であるときは、パケットに含まれている音楽データを取り出す（ステップＳ２１）。
【００５０】
逆に、音楽データ蓄積手段１２は、パケット番号が連番でないときは、パケットが欠落したものとして、仮想音楽データを生成する（ステップＳ２２）。なお、仮想音楽データは、音楽データと区別できるものであれば、データの形式は規定されない。
【００５１】
そして、音楽データ蓄積手段１２は、同じく図４に示すように、複数の記憶領域を有する音楽データ・バッファのアドレスを示すインデックスｉを“１”に初期化する（ステップＳ２３）。音楽データ・バッファの容量は特に規定されないが、音楽のリズム周期を検出できる長さ（例えば２秒）を蓄積できる容量とする必要がある。音楽データ・バッファに２秒分の音楽情報を蓄積させる場合は、１つのパケットが２０ミリ秒の音楽データを含む場合には、音楽データ・バッファは１００個の音楽データを蓄積する容量となる。
【００５２】
そして、音楽データ蓄積手段１２は、音楽データ・バッファに記憶されている音楽データまたは仮想音楽データを後方に順送りし（ステップＳ２４ないしステップＳ２６）、音楽データ・バッファの先頭ＭＢ（１）に、欠落検知手段１１で生成された音楽データまたは仮想音楽データを蓄積する（ステップＳ２７）。
【００５３】
次に、図５を参照してリズム周期検出手段１３の動作を説明する。なお、リズム周期検出手段１３は、結合音楽データ生成部と、整流部と、リズム周期設定部とを備える。
【００５４】
最初に、リズム周期検出手段１３は、結合音楽データ生成部において、音楽データ・バッファに記憶されている音楽データおよび仮想音楽データを結合して、音楽データ・バッファの容量から定まる時間長さの結合音楽データを生成する（ステップＳ３１）。したがって、音楽データ・バッファが１００パケットを蓄積できるものであれば、図６の（ａ）に示すように２秒分の音楽情報が生成されることとなる。
【００５５】
次に、リズム周期検出手段１３は、生成した結合音楽データを、整流部で整流する（ステップＳ３２）。ここで「整流」とは、零を中心として正負の振幅を有する結合音楽データの負側を削除する処理（半波整流）、あるいは負側を正側に折り返す処理（全波整流）を意味する。
【００５６】
次に、リズム周期検出手段１３は、リズム周期設定部において、図６の（ｂ）に示す整流後の結合音楽データの中から予め定められた閾値以上の振幅を有する音楽データを検索し、閾値以上の振幅を有する二つの音楽データまたは仮想音楽データの間に含まれる音楽データおよび仮想音楽データの総数に１を加えた数をリズム周期Ｊとする（ステップＳ３３）。
【００５７】
そして、結合音楽データの中からＪ個の音楽データの連なり、ＭＤ（ｉ＋１）、ＭＤ（ｉ＋２）、ＭＤ（ｉ＋３）・・・ＭＤ（ｉ＋Ｊ−１）、ＭＤ（ｉ＋Ｊ）を抽出する（ステップＳ３４）。なお、ｉは音楽データの連なりの先頭アドレスである。
【００５８】
最後に、音楽データ置換手段１４は、結合音楽データに含まれる仮想音楽データを、抽出された音楽データの連なりに含まれる音楽データと置換するが、リズム周期が損なわれないように、リズム周期中の仮想音楽データの位置に基づいて音楽データの連なりから補完用音楽データを選択する必要がある。
【００５９】
ここで、音楽データ置換方法の一つとして、音楽データ・バッファの先頭に仮想音楽データが蓄積された場合は、直ちに音楽データと置換する方法がある。
【００６０】
そして、上記方法によれば、音楽データ・バッファは仮想音楽データを含まず、すべて音楽データであることが保証されるので、音楽データの連なりの抽出、および補完用音楽データを選択の選択が容易になる。
【００６１】
例えば、音楽データの連なりを、音楽データ・バッファの最終段ＭＤ（Ｉ）を末尾に含むＪ個の音楽データＭＤ（Ｉ−Ｊ）、ＭＤ（Ｉ−Ｊ＋１）・・・・・ＭＤ（Ｉ−１）、ＭＤ（Ｉ）とすることができる。
【００６２】
図７を参照して、音楽データ置換手段１４の動作を説明する。なお、音楽データ置換手段１４は、余り算出部と、音楽データ置換部とを備える。
【００６３】
まず、音楽データ置換手段１４は、余り算出部において、音楽データ・バッファの先頭に蓄積されているＭＤ（１）を読み出す（ステップＳ４１）。そして、（１）式に基づき音楽データ・バッファに蓄積されている音楽データの数Ｉをリズム周期に含まれる音楽データの数Ｊで除した余りをｋとして算出する（ステップＳ４２）。すなわち、Ｊを法とするＩのモジュロ値をｋとして算出する。
ｋ  ＝  Ｉ（ｍｏｄ  Ｊ）                    （１）
そして、音楽データ置換手段１４は、音楽データ置換部において、ＭＤ（１）が仮想音楽データか否かを判定し（ステップＳ４３）、仮想音楽データであると判定したときは、ｋが“０”であるか否かを判定する（ステップＳ４４）。
【００６４】
ステップＳ５４において、ｋが“０”であると判定したときは、ＭＤ（１）をＭＤ（Ｉ−Ｊ＋１）で置換する（ステップＳ４５）。これは、音楽データ・バッファは“Ｉ段”までしかなく、“Ｉ＋１段”は存在しないので、ＭＤ（Ｉ＋１）からリズム周期遡った音楽データＭＤ（Ｉ−Ｊ＋１）と置換する必要があるからである。
【００６５】
逆に、ステップＳ５４において、ｋが“０”でないと判定したときは、ＭＤ（１）をリズム・フレームの末尾ＭＤ（Ｉ）から（ｋ−１）個遡った音楽データＭＤ（Ｉ−ｋ＋１）で置換する（ステップＳ４６）。
【００６６】
なお、音楽データ置換手段１４は、ステップＳ４３で、音楽データであると判定したときは、ＭＤ（１）を置換せず、動作を終了する。
【００６７】
さらに、図８を参照して、音楽データ置換部の動作を説明する。
【００６８】
なお、図８は、音楽データ・バッファが３０個の音楽データを蓄積する容量を有する場合を示している。そして、音楽データ・バッファの先頭ＭＤ（１）に仮想音楽データが蓄積され、リズム周期Ｊは“９”であり、ＭＤ（２２）からＭＤ（３０）までがリズム・フレームとして抽出されているものとする。
【００６９】
この場合、（１）式のＩは“３０”であり、Ｊは“９”であるので、ｋは“３”となる。
【００７０】
したがって、仮想音楽データＭＤ（１）はＭＤ（３０−ｋ＋１）、即ち、ＭＤ（２８）と置換されることとなる。
【００７１】
なお、リズム周期Ｊが１０の場合には、ｋは“０”となるので、ＭＤ（１）をＭＤ（３１）で置換するここととなるが、上記に説明したように、ＭＤ（３１）は存在しないので、実際にはＭＤ（３１）からリズム周期Ｊ＝１０遡ったＭＤ（２１）と置換する必要がある。
【００７２】
また、リズム周期検出手段１３は、結合音楽データ生成部と、音楽データ・バッファに蓄積された音楽情報の自己相関関数値を、時間間隔を変数として算出する自己相関関数値を算出する自己相関関数値算出部と、自己相関値が最大となる時間間隔をリズム周期とするリズム周期設定部により構成することも可能である。
【００７３】
この場合、自己相関関数値算出部では、結合音楽データ生成部で生成された結合音楽データの音楽情報の自己相関関数値を、時間間隔を変数として算出する。
【００７４】
結合音楽データ中には、リズム周期を刻む特徴的な波形が音楽情報のテンポに応じた時間間隔で含まれており、テンポに対応する時間間隔で自己相関関数値は最大となる。そこで、リズム周期設定部において、自己相関関数値が最大となる時間間隔をリズム周期として設定する。
【００７５】
上記に説明したリズム周期検出手段１３では、パケットを読み込むたびにリズム周期およびリズム・フレームが更新されるので、リズム周期のわずかな変動によってもリズム周期が変化し、欠落した音楽データをリズム周期に基いて補完してもリズム周期が細かく変動するおそれがある。
【００７６】
リズムの細かい変動を防止するために、リズム周期は相当の時間にわたって一定である場合が多いことを考慮し、リズム周期を移動時間平均してリズム周期の細かい変動を防ぐことが必要となる。
【００７７】
また、リズム周期は音楽情報の比較的高周波成分から検出されると考えられるので、リズム周期の検出に先立って予め低周波成分を除去しておくことが望ましい。
【００７８】
そこで、リズム周期検出手段１３に、音楽情報から低周波成分を除去する低周波成分除去部と、リズム周期の時間平均値をリズム周期として再設定するリズム周期再設定部を追加することが有効である。
【００７９】
ここで、図９を参照して、低周波成分除去部とリズム周期再設定部とを追加したリズム周期検出手段１３の動作を説明する。
【００８０】
なお、図９において、図５と同一の処理については同一のステップ番号を付して、その説明を省略する。
【００８１】
リズム周期検出手段１３は、ステップＳ３１で結合音楽データを生成したのち、低周波成分除去部において、音楽情報に含まれる所定の遮断周波数以下の低周波成分を除去（ステップＳ３５）する。低周波成分の除去には、（２）式で示されるデジタルハイパスフィルタを使用することができる。
ｘ’（ｎ）＝ｘ（ｎ）−ζｘ（ｎ−１）          （２）
ここで、ｘ（ｎ）は時刻ｎにおける音楽情報
ｘ（ｎ−１）は時刻（ｎ−１）における音楽情報
ｘ’（ｎ）は時刻ｎにおける低周波成分除去後の音楽情報
ζは遮断周波数から決定される定数
次に、低周波成分が除去された結合音楽データを整流部で整流し（ステップS３２）、リズム周期設定部において、前回算出されたリズム周期をＪＢに記憶し（ステップＳ３６）、整流後の音楽データの振幅に基づき今回のリズム周期Ｊを検出する（ステップＳ３３）。次に、リズム周期検出手段１３は、リズム周期再設定部において、（３）式を用いてリズム周期の時間移動平均値をリズム周期に再設定する（ステップＳ３７）。
Ｊ＝α・Ｊ＋（１−α）・ＪＢ                  （３）
ここで、αは０＜α≦１の重み係数であり、小さい値に設定するほど、リズム周期の変動は穏やかとなる。
【００８２】
そして、最後にＭＤ（ｉ）、ＭＤ(ｉ＋１)・・・・・ＭＤ（ｉ＋Ｊ）を音楽データの連なりとして抽出する。
【００８３】
なお、図９は音楽情報の振幅からリズム周期を検出する場合を示しているが、自己相関関数値からリズム周期を検出する場合にも、低周波成分除去部およびリズム周期再設定部を設けることが有効である。
【００８４】
以上説明したように、本発明に係る第一の実施の形態の音楽データ補完装置は、音楽情報が含むリズム周期を検出するリズム周期検出手段とリズム周期に基づいて音楽データを置換する音楽データ置換手段とを設けているので、音楽情報を含むパケットが欠落した場合にも、リズム周期を損なうことなく欠落した音楽データを補完することが可能となる。
【００８５】
次に、図１０を参照して、本発明の第二の実施の形態の音楽情報再生装置を説明する。
【００８６】
本発明の第二の実施の形態の音楽情報再生装置は、圧縮された音楽データを含むパケットを伝送する伝送線から前記パケットを受信するパケット受信手段１６と、パケット受信手段１６で予め定められた時間内に前記パケットが受信されなかったときはパケットが欠落したことを検知する欠落検知手段１１と、パケット受信手段１６でパケットが受信されたときは受信されたパケットに含まれる音楽データを解凍する解凍手段１７と、欠落検知手段１１でパケットの欠落が検知されたときは、仮想音楽データを蓄積し、解凍手段１７で音楽データが解凍されたときは、音楽データを蓄積する音楽データ蓄積手段１２と、音楽データ蓄積手段１２に蓄積されている音楽データおよび仮想音楽データの結合である結合音楽データからリズム周期を検出するリズム周期検出手段１３と、結合音楽データの中の仮想音楽データを、リズム周期検出手段１３で検出されたリズム周期に相当する時間長さの結合音楽データ中の音楽データの連なりに含まれる音楽データと置換する音楽データ置換手段１４と、音楽データ置換手段１４による置換完了後に、音楽データ蓄積手段１２に蓄積された音楽データを可聴化する可聴化手段１５とを含む。
【００８７】
本発明に係る第二の実施の形態の音楽情報再生装置は、図１１に示すように、ハードウエアとしてＰＣ２０を使用するが、ＰＣ２０はバス２１に接続されたCPU２２、メモリ２３、伝送線６１を介して配信されるパケットを受信する受信Ｉ／Ｆ６２、音楽データをアナログ音楽信号に変換するデジタル・アナログ変換器（以下単にＤ／Ａと呼ぶ）６３および周辺機器Ｉ／Ｆ２５を備える。
【００８８】
なお、周辺機器Ｉ／Ｆ２５には、キーボード２６およびマウス２７、ならびに表示装置２８が接続される。また、Ｄ／Ａ６３から出力されるアナログ音楽信号は、増幅器６４で増幅された後、音楽出力器６５から音楽として出力される。
【００８９】
そして、ＰＣ２０に音楽情報再生プログラムをインストールすることにより、ＰＣ２０は音楽情報再生装置として動作する。
【００９０】
次に、図１２を参照して、音楽情報再生プログラムの動作を説明する。
【００９１】
図１２に示すように、CPU２２がメモリ２３に記憶されている音楽情報再生補完プログラムを実行すると、パケット受信手段１６がパケットを受信し、欠落検知手段１１がパケットの欠落を検知して仮想音楽データを生成し、解凍手段１７がパケットを解凍して音楽データを生成する（ステップＳ０）。
【００９２】
そして、音楽データ蓄積手段１２が音楽データまたは仮想音楽データを音楽データ・バッファに蓄積する（ステップＳ２）。
【００９３】
次に、リズム周期検出手段１３が、音楽データ・バッファに蓄積された音楽データおよび仮想音楽データを結合した結合音楽データに含まれるリズム周期を検出する（ステップＳ３）。
【００９４】
次に、音楽データ置換手段１４が、結合音楽データの中の仮想音楽データをリズム周期の長さの音楽データの連なりに含まれる音楽データと置換（ステップＳ４）して、欠落したパケットに含まれていた音楽データを補完し、最後に可聴化手段１５が音楽データを可聴化する（ステップＳ６）。この結果、欠落したパケットに含まれていた音楽データがリズム周期を損なうことなく補完され、再生されることとなる。
【００９５】
ここで、図１３を参照して、パケット受信手段１６、欠落検知手段１１および解凍手段１７の動作を説明する。
【００９６】
まず、パケット受信手段１６は、伝送線６１からパケットを受信するための入力ポートを開とし（ステップＳ０１）、パケットを受信したか否かを判定する（ステップＳ０２）。
【００９７】
パケット受信手段１６がパケットを受信したと判定したときは、欠落検知手段１１がパケット番号は連番であるか否かを判定する（ステップＳ１２）。
【００９８】
欠落検知手段１１がパケット番号は連番であると判定したときは、解凍手段１７が圧縮された音楽データを取り出すために、パケットを解凍する（ステップＳ７１）。
【００９９】
パケット受信手段１６がパケットを受信していないと判定したときは、パケット受信手段１６は、入力ポートを開としてから、予め定められた時間が経過したか否かを判定する（ステップＳ０３）。
【０１００】
パケット受信手段１６が入力ポートを開としてから予め定められた時間が経過していないと判定したときは、パケット受信手段１６は、入力ポートの開状態を維持する（ステップＳ０１）。
【０１０１】
一方、パケット受信手段１６が入力ポートを開としてから予め定められた時間が経過したと判定したときは、欠落検知手段１１はパケットの欠落が発生したものと判定する。
【０１０２】
なお、ステップＳ１２において欠落検知手段１１がパケット番号は連番でないと判定したときも、欠落検知手段１１はパケットの欠落が発生したものと判定する。
【０１０３】
そして、音楽データ蓄積手段１２は、解凍手段１７で音楽データが解凍されたときは、解凍された音楽データを、パケットの欠落が発生したときは仮想音楽データを蓄積する。
【０１０４】
なお、音楽データ蓄積手段１２、リズム周期検出手段１３、および音楽データ置換手段１４の動作は、第一の実施の形態の音楽データ補完装置と同一であるので、詳細な動作説明を省略する。
【０１０５】
次に、図１４を参照して、可聴化手段１５の動作を説明する。
【０１０６】
可聴化手段１５は、音楽データ・バッファの最後段に蓄積されている音楽データＭＤ（Ｉ）を読み出し（ステップＳ５１）、Ｄ／Ａ６３からアナログ音楽情報を出力する（ステップＳ５２）。
【０１０７】
なお、第一の実施の形態の音楽データ補完装置に適用した、音楽データ・バッファに含まれる音楽データを結合した音楽情報からの低周波成分の除去、結合音楽データの自己相関値に基づくリズム周期の検出、およびリズム周期の細かい変動を防止するためにリズム周期の移動時間平均値をリズム周期として再設定する発明を、第二の実施の形態の音楽情報再生装置に適用することは、本発明の範囲に含まれる。
【０１０８】
さらに、第一の実施の形態の音楽データ補完装置に適用した、音楽データ・バッファの段数Ｉをリズム周期に含まれる音楽データの数Ｊで除した余りｋに基づいて補完音楽データを決定する発明を、第二の実施の形態の音楽情報再生装置に適用することも、本発明の範囲に含まれる。
【０１０９】
以上説明したように、本発明に係る第二の実施の形態の音楽情報再生装置は、パケット受信手段、解凍手段、および可聴化手段を備えたので、ストリーム配信される音楽情報を音楽のリズム感を損なうことなく実時間再生することが可能となる。
【産業上の利用可能性】
【０１１０】
以上のように、本発明に係る音楽データ補完装置および音楽情報再生装置は、長期間にわたるパケットの欠落が発生した場合でも、音楽の連続性を維持し、聞き手に違和感を与えることがないという効果を有し、デジタル音楽情報の音楽データ補完装置および音楽情報再生装置等として有効である。
【図面の簡単な説明】
【０１１１】
【図１】本発明の第一の実施の形態の音楽データ補完装置のブロック図
【図２】本発明の第一の実施の形態の音楽データ補完装置のハードウエア構成図
【図３】音楽データ補完プログラムのフローチャート
【図４】欠落検知手段および音楽データ蓄積手段のフローチャート
【図５】第一のリズム周期検出手段のフローチャート
【図６】振幅によるリズム周期検出の説明図
【図７】音楽データ置換手段のフローチャート
【図８】音楽データ置換部の動作の説明図
【図９】第二のリズム周期検出手段のフローチャート
【図１０】本発明の第二の実施の形態の音楽情報再生装置のブロック図
【図１１】本発明の第二の実施の形態の音楽情報再生装置のハードウエア構成図
【図１２】音楽情報再生プログラムのフローチャート
【図１３】受信手段、欠落検知手段および解凍手段のフローチャート
【図１４】音楽データ出力手段のフローチャート
【図１５】従来の欠落パケット補完装置のブロック図
【符号の説明】
【０１１２】
１１  欠落検知手段
１２  音楽データ蓄積手段
１３  リズム周期検出手段
１４  音楽データ置換手段
１５  可聴化手段
１６  パケット受信手段
１７  解凍手段
２０  パーソナル・コンピュータ
２１  バス
２２  CPU
２３  メモリ
２４  ハードディスク
２５  周辺機器インターフェイス
２６  キーボード
２７  マウス
２８  表示装置
６１  伝送線
６２  受信インターフェイス
６３  デジタル・アナログ変換器
６４  増幅器
６５  音楽出力器
【図１】
2005062339.tif 000003
【図２】
2005062339.tif 000004
【図３】
2005062339.tif 000005
【図４】
2005062339.tif 000006
【図５】
2005062339.tif 000007
【図６】
2005062339.tif 000008
【図７】
2005062339.tif 000009
【図８】
2005062339.tif 000010
【図９】
2005062339.tif 000011
【図１０】
2005062339.tif 000012
【図１１】
2005062339.tif 000013
【図１２】
2005062339.tif 000014
【図１３】
2005062339.tif 000015
【図１４】
2005062339.tif 000016
【図１５】
2005062339.tif 000017