(57)【要約】【課題】簡単な構成で、容易に音声データのミキシング処理を行う。【解決手段】ＣＰＵ３０２は、ＲＡＭ３０４に保持されている第１音声データよりもサンプリングレートが低い第２音声データを例えばＲＯＭ３０３から読み出してデータ毎の繰り返しを行い、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成してＲＡＭ３０４に保持させる。ＲＡＭ３０４に保持されている第１音声データと第３音声データを１サンプル毎に読み出して混合することによりミキシングデータを生成してＤ／Ａ変換部３０７に供給する。第２音声データのサンプリングレートは、例えば第１音声データのサンプリングレートの約数とすることで、第３音声データの生成が容易となる。さらに、音声をサンプリングしたときのサンプリングレート以上のレートとすることで音質の劣化を防止できる。また、約数の最小値とすることで、第２音声データのデータ量が少なくなる。【選択図】        図２
2005148312.tif 000002
【特許請求の範囲】
【請求項１】
第１音声データよりもサンプリングレートが低い第２音声データを用いてデータ毎の繰り返しを行い、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成するデータ繰り返し手段と、
前記データ繰り返し手段で生成された第３音声データと、前記第１音声データを混合するデータ混合手段とを有する
ことを特徴とするミキシング装置。
【請求項２】
前記第２音声データのサンプリングレートは、音声をサンプリングしたときのサンプリングレート以上のレートである
ことを特徴とする請求項１記載のミキシング装置。
【請求項３】
前記第２音声データのサンプリングレートは、前記第１音声データのサンプリングレートの約数である
ことを特徴とする請求項１記載のミキシング装置。
【請求項４】
前記第２音声データのサンプリングレートは、音声をサンプリングしたときのサンプリングレート以上のレートであって前記約数の最小値である
ことを特徴とする請求項３記載のミキシング装置。
【請求項５】
前記第２音声データのサンプリングレートは、所定の繰り返しパターンで前記データ毎の繰り返しを行ったとき、単位時間当たりのデータ数が前記第１音声データと等しくなるレートである
ことを特徴とする請求項１記載のミキシング装置。
【請求項６】
サンプリングレートの異なる複数の第２音声データを保持するデータ保持手段を設け、
前記データ繰り返し手段は、前記第１音声データのサンプリングレートに応じて、前記データ保持手段に保持されている第２音声データの選択を行い、該選択した第２音声データを用いて単位時間当たりのデータ数が前記第１音声データと等しい第３音声データを生成する
ことを特徴とする請求項１記載のミキシング装置。
【請求項７】
第１音声データよりもサンプリングレートが低い第２音声データを用いてデータ毎の繰り返しを行い、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成するステップと、
前記音声データを生成するステップで生成された第３音声データと、前記第１音声データを混合するステップとを有する
ことを特徴とするミキシング方法。
【請求項８】
前記第２音声データのサンプリングレートは、音声をサンプリングしたときのサンプリングレート以上のレートである
ことを特徴とする請求項７記載のミキシング方法。
【請求項９】
前記第２音声データのサンプリングレートは、前記第１音声データのサンプリングレートの約数である
ことを特徴とする請求項７記載のミキシング方法。
【請求項１０】
前記第２音声データのサンプリングレートは、音声をサンプリングしたときのサンプリングレート以上のレートであって前記約数の最小値である
ことを特徴とする請求項９記載のミキシング方法。
【請求項１１】
前記第２音声データのサンプリングレートは、所定の繰り返しパターンで前記データ毎の繰り返しを行ったとき、単位時間当たりのデータ数が前記第１音声データと等しくなるレートである
ことを特徴とする請求項７記載のミキシング方法。
【請求項１２】
サンプリングレートの異なる複数の第２音声データを保持するものとし、
前記音声データを生成するステップでは、前記第１音声データのサンプリングレートに応じて、前記保持されている複数の第２音声データから音声データを選択し、該選択された第２音声データを用いて単位時間当たりのデータ数が前記第１音声データと等しい第３音声データを生成する
ことを特徴とする請求項７記載のミキシング方法。
【請求項１３】
コンピュータに、
第１音声データよりもサンプリングレートが低い第２音声データを用いてデータ毎の繰り返しを行い、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成するステップと、
前記音声データを生成するステップで生成された第３音声データと、前記第１音声データを混合するステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ミキシング装置とミキシング方法およびプログラムに関する。詳しくは、第１音声データよりもサンプリングレートが低い第２音声データを用いてデータ毎の繰り返しを行い、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成し、この第３音声データを第１音声データと混合するものである。
【背景技術】
【０００２】
従来、複数のディジタル音声データを用いてミキシング処理を行う場合、パルス符号変調（ＰＣＭ:Pulse Code Modulation）方式の音声データをハード・ディスク装置等の記憶装置に記憶させておき、この記憶されている音声データを読み出して混合することが行われている。また、リアルタイムでミキシング処理を行うことができるように、特許文献１の発明では、複数の記録媒体に記録された音声データをそれぞれ読み出して一時的に記憶させ、この記憶されたそれぞれの音声データに所定の音声加工処理を施して、音声加工処理が施されたそれぞれの音声データを混合して再生することが示されている。
【０００３】
【特許文献１】特開２００２−２３６５８０
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、複数の音声データを用いてミキシング処理を行うとき、音声データのサンプリングレートがそれぞれ異なる場合には、サンプリングレートを一致させるためのサンプリングレート変換を行う必要がある。このサンプリングレート変換は負荷の高い処理であり、処理能力が低い機器でサンプリングレート変換を行うと、変換に時間を要してしまい、リアルタイムでミキシング処理を行うことができない。このため、例えば入力音声データのサンプリングレートが複数種類であるときは、入力音声データと混合する音声データを各サンプリングレート毎に予め記憶させておき、入力音声データと等しいサンプリングレートの音声データを選択して用いることによりミキシング処理が行われる。
【０００５】
しかし、入力音声データのサンプリングレートが高いと、予め記憶させておく音声データのデータ量も大きくなり、記憶容量の大きな記憶装置等が必要となってしまう。例えば、入力音声データと混合する音声データが操作音などの効果音データのように低サンプリングレートの音声データであっても、入力音声データと等しいサンプリングレートに変換されて記憶されることから、記憶させておく効果音データのデータ量は大きくなってしまう。また、記憶させておく音声データのデータ量が大きくなると、機器の記憶領域を圧迫するという問題も生じてしまうおそれがある。さらに、音声データのファイルサイズの肥大化に伴い、ファイルアクセス時の負荷が大きくなり、ミキシング処理時に音途切れを発生させるという問題を生じるおそれもある。
【０００６】
また、サンプリングレートが異なる複数の音声データをアナログ信号に変換して、このアナログ信号を混合すれば、負荷の高いサンプリングレート変換を行う必要がない。しかし、アナログ信号を混合する混合回路や音声データ毎にＤ／Ａ変換器を設けなければならないことから、安価な構成でミキシング処理を行うことができない。また、小型化も困難である。
【０００７】
そこで、この発明では、簡単な構成で、容易に音声データのミキシング処理を行うことができるミキシング装置とミキシング方法およびプログラムを提供するものである。
【課題を解決するための手段】
【０００８】
この発明に係るミキシング装置は、第１音声データよりもサンプリングレートが低い第２音声データを用いてデータ毎の繰り返しを行い、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成するデータ繰り返し手段と、データ繰り返し手段で生成された第３音声データと、第１音声データを混合するデータ混合手段とを有するものである。
【０００９】
また、この発明に係るミキシング方法は、第１音声データよりもサンプリングレートが低い第２音声データを用いてデータ毎の繰り返しを行い、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成するステップと、音声データを生成するステップで生成された第３音声データと、第１音声データを混合するステップとを有するものである。
【００１０】
さらに、この発明に係るプログラムは、コンピュータに、第１音声データよりもサンプリングレートが低い第２音声データを用いてデータ毎の繰り返しを行い、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成するステップと、音声データを生成するステップで生成された第３音声データと、第１音声データを混合するステップを実行させるものである。
【００１１】
この発明においては、第１音声データよりもサンプリングレートが低く、例えば音声をサンプリングしたときのサンプリングレート以上のレートであって、第１音声データのサンプリングレートの約数とされている第２音声データのデータ毎に所定回数の繰り返しが行われて、あるいは所定の繰り返しパターンでデータ毎の繰り返しが行われて、単位時間当たりのデータ数が第１音声データと等しい第３音声データが生成される。この単位時間当たりのデータ数が等しい第１音声データと第３音声データが混合される。また、サンプリングレートの異なる複数の第２音声データが保持されて、保持されている第２音声データから、第１音声データのサンプリングレートに応じたサンプリングレートの第２音声データが選択されて、この選択された第２音声データを用いて単位時間当たりのデータ数が第１音声データと等しい第３音声データが生成される。
【発明の効果】
【００１２】
この発明によれば、第１音声データよりもサンプリングレートが低い第２音声データを用いてデータ毎の繰り返しを行い、単位時間当たりのデータ数が第１音声データと等しい第３音声データが生成されて、この生成された第３音声データと第１音声データを混合してミキシングデータが生成される。このため、第１音声データと第２音声データに基づく音声を容易に混合することができる。また、第２音声データのサンプリングレートを第１音声データのサンプリングレートにリアルタイムで変換する処理が不要となり、ミキシング処理時の負荷を軽減させることができる。また、第１音声データのサンプリングレートが異なる場合であっても、繰り返し回数を変えることで、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成できる。さらに、サンプリングレートが異なる第１音声データと第２音声データに基づいてミキシングデータを生成できることから、例えば第１音声データをアナログ信号に変換するＤ／Ａ変換器と第２音声データをアナログ信号に変換するＤ／Ａ変換器をそれぞれ設けて、アナログ信号を用いてミキシング処理を行う場合に比べて、Ｄ／Ａ変換器を少なくできるので、構成が簡単で安価なミキシング装置を提供できる。
【００１３】
また、第２音声データのサンプリングレートは、音声をサンプリングしたときのサンプリングレート以上のレートとすることで、音質の劣化を防止できる。また、第２音声データのサンプリングレートを第１音声データのサンプリングレートの約数とすることで、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成する際のデータ毎の繰り返しを簡単とすることができる。さらに、第２音声データのサンプリングレートは、音声をサンプリングしたときのサンプリングレート以上のレートであって約数の最小値とすることで、第２音声データのデータ量を小さくできる。
【００１４】
また、第２音声データのサンプリングレートは、所定の繰り返しパターンでデータ毎の繰り返しを行ったとき、単位時間当たりのデータ数が第１音声データと等しくなるレートとすることで、第２音声データのサンプリングレートを第１音声データのサンプリングレートの約数としなくとも、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成できる。
【００１５】
さらに、サンプリングレートの異なる複数の第２音声データを保持し、第１音声データのサンプリングレートに応じて、保持されている第２音声データの選択を行い、選択した第２音声データを用いて単位時間当たりのデータ数が第１音声データと等しい第３音声データが生成される。このため、第１音声データのサンプリングレートが異なる場合であっても、単位時間当たりのデータ数が第１音声データと等しい第３音声データを容易に生成できる。
【発明を実施するための最良の形態】
【００１６】
以下、図を参照しながら、この発明の形態について説明する。ミキシング装置では、第１と第２の音声を混合する際に、第１の音声の信号である第１音声データと、第２の音声の信号であり、第１音声データよりもサンプリングレートが低い第２音声データを用い、この第２音声データのデータ毎の繰り返しを行うことにより、単位時間当たりのデータ数が第１音声データと等しい第３音声データを生成して、この生成した第３音声データと第１音声データを混合する。
【００１７】
この第１音声データや第２音声データとしては、記録媒体を再生して得られる音声データやネットワークを介して供給される音声データなど、種々の音声データを用いることができる。また、予め記憶されている音声データと外部から供給された音声データを用いるものとしても良い。以下、ネットワークを介して第１音声データや第２音声データの供給が行われる音声コンテンツ配信システムにミキシング装置を適用した場合について、図を用いて詳細に説明する。
【００１８】
図１は、音声コンテンツ配信システムの構成を示している。音声コンテンツのコンテンツデータ例えば音楽データを配信するコンテンツサーバ１０や効果音データを配信するコンテンツサーバ１５は、ネットワーク２０を介してコンテンツ再生装置３０と接続されている。コンテンツ再生装置３０は、ミキシング機能を有しており、例えば音楽データや効果音データを混合してコンテンツの提示を行う。
【００１９】
図２は、コンテンツ再生装置３０の構成を示している。コンテンツ再生装置３０は、通信インタフェース３０１、ＣＰＵ(Central Processing Unit)３０２、ＲＯＭ(Read Only Memory)３０３、ＲＡＭ(Random Access Memory)３０４、Ｄ／Ａ変換部３０５、入力部３０６を有しており、各部はバス３１０を介して接続されている。また、Ｄ／Ａ変換部３０５には、出力調整部３０７が接続される。さらに、出力調整部３０７には音声出力部３０８が接続されている。
【００２０】
通信インタフェース３０１は、ネットワーク２０を介してコンテンツサーバ１０，１５と通信を行い、例えば音楽データ等を受信してＲＡＭ３０４に保持させる。ＣＰＵ３０２は、ＲＯＭ３０３に記憶されているプログラムを実行して、音楽データと効果音データのミキシング処理を行い、ミキシングデータを生成してＤ／Ａ変換部３０５に供給する。
【００２１】
ここで、音楽データを第１音声データ、音楽データよりもサンプリングレートが低い効果音データを第２音声データとして用いる場合、効果音データをＲＯＭ３０３あるいはＲＡＭ３０４に記憶させておく。また、効果音データのサンプリングレートは、データ毎の繰り返しを行うことで単位時間当たりのデータ数が音楽データと等しい第３音声データ（以下「混合用効果音データ」という）を容易に生成できるように設定する。例えば、効果音データのサンプリングレートを音楽データのサンプリングレートの約数に設定すれば、効果音データの各データを同じ回数だけ繰り返すことで、単位時間当たりのデータ数が音楽データと等しい混合用効果音データを生成できる。また、繰り返し回数をパターン化できるように、効果音データのサンプリングレートを設定してもよい。この場合、パターン化された繰り返し回数で効果音データを繰り返すことにより、単位時間当たりのデータ数が音楽データと等しい混合用効果音データを生成できる。
【００２２】
図３は、音楽データと効果音データのサンプリングレートに対する繰り返し回数の関係を示した図である。例えば、音楽データのサンプリングレートが「４８ｋＨｚ」であるとき、約数は「２４ｋＨｚ，１６ｋＨｚ，１２ｋＨｚ，８ｋＨｚ，６ｋＨｚ・・・」である。このため、効果音データのサンプリングレートを例えば「２４ｋＨｚ」として、効果音データをデータ毎に２回繰り返すことにより、単位時間当たりのデータ数が音楽データと等しい混合用効果音データを生成できる。このとき、音楽データと等しいサンプリングレートの効果音データを保持する場合に比べて、効果音データのデータ量は半分となる。また、効果音データのサンプリングレートを例えば「８ｋＨｚ」とすれば、効果音データをデータ毎に６回繰り返すことにより、音楽データと等しいサンプリングレートの混合用効果音データを生成できる。また、効果音データのデータ量は６分の１となる。
【００２３】
また、音楽データのサンプリングレートが「４４．１ｋＨｚ」や「２４ｋＨｚ，２２．０５ｋＨｚ」であるときも同様に、効果音データのサンプリングレートを音楽データのサンプリングレートの約数に設定することで、効果音データをデータ毎に繰り返すことにより、単位時間当たりのデータ数が音楽データと等しい混合用効果音データを生成できる。
【００２４】
さらに、繰り返し回数をパターン化しても、単位時間当たりのデータ数が音楽データと等しい混合用効果音データを生成できる。例えば、音楽データのサンプリングレートが「３２ｋＨｚ」であるとき、効果音データのサンプリングレートを「２４ｋＨｚ」として、効果音データのデータ数が（４／３）倍となるようにデータの繰り返しを行う。すなわち、連続する３個のデータから１つのデータを２回繰り返すことでデータ数を（４／３）倍とする。なお、図３では、例えば「２回，１回，１回」の順に効果音データをパターン化して繰り返すことで、単位時間当たりのデータ数が音楽データと等しくなることを示している。効果音データのサンプリングレートを「１２ｋＨｚ」としたときには、効果音データのデータ数が（８／３）倍となるようにデータの繰り返しを行う。すなわち、連続する３個のデータから２つのデータを３回繰り返し、残りのデータを２回繰り返すことでデータ数を（８／３）倍とする。なお、図３では、例えば「３回，２回，２回」の順に効果音データをパターン化して繰り返すことで、単位時間当たりのデータ数が音楽データと等しくなることを示している。
【００２５】
また、効果音データのサンプリングレートは、効果音をサンプリングしたときのサンプリングレート以上として音質の劣化を防止する。例えば、効果音を「１０ｋＨｚ」でサンプリングしたとき、このサンプリングデータに対してサンプリングレート変換を行い、サンプリングレートを「８ｋＨｚ」に変換すると、効果音の音質劣化を招いてしまう。このため、効果音データのサンプリングレートは、効果音をサンプリングしたときのサンプリングレート以上とする。例えば、音楽データのサンプリングレートの約数が「２４ｋＨｚ，１６ｋＨｚ，１２ｋＨｚ，８ｋＨｚ，６ｋＨｚ・・・」であるときには、「２４ｋＨｚ，１６ｋＨｚ，１２ｋＨｚ」の何れかのサンプリングレートとする。さらに、効果音をサンプリングしたときのサンプリングレート以上である約数の最小値「１２ｋＨｚ」とすれば、効果音データのデータ量を最も少なくできる。なお、効果音データに対して所定の繰り返しパターンでデータ毎の繰り返しを行うときも、効果音データのサンプリングレートを、効果音をサンプリングしたときのサンプリングレート以上とすることで、音質の劣化を防止できる。
【００２６】
さらに、音楽データのサンプリングレートが異なる場合、ミキシング処理を容易に行うことができるように、サンプリングレートが異なる複数の効果音データを記憶させておき、音楽データのサンプリングレートに応じて、効果音データを選択して繰り返すことにより混合用効果音データを容易に生成できる。例えば、効果音を「１０ｋＨｚ」でサンプリングしたときには、サンプリングレートが「１１．０２５ｋＨｚ」と「１２ｋＨｚ」である効果音データを保持する。さらに、音楽データのサンプリングレートが「１６ｋＨｚ，２４ｋＨｚ，３２ｋＨｚ，４８ｋＨｚ」のときには、サンプリングレートが「１２ｋＨｚ」である効果音データを選択して、図３に示す繰り返しパターンあるいは繰り返し数でデータ毎の繰り返しを行うことで、単位時間当たりのデータ数が音楽データと等しい混合用効果音データを生成できる。また、音楽データのサンプリングレートが「２２．０５ｋＨｚ，４４．１ｋＨｚ」のときには、サンプリングレートが「１１．０２５ｋＨｚ」である効果音データを選択して、図３に示す繰り返し数でデータ毎の繰り返しを行うことで、単位時間当たりのデータ数が音楽データと等しい混合用効果音データを生成できる。
【００２７】
音声データ繰り返し手段およびデータ混合手段であるＣＰＵ３０２は、効果音データのデータ毎の繰り返しを行い、単位時間当たりのデータ数が音楽データと等しい混合用効果音データを生成して、この生成した混合用効果音データを音楽データと混合してミキシングデータを生成しＤ／Ａ変換部３０５に供給する。なお、単位時間当たりのデータ数が音楽データと等しい混合用効果音データの生成や、生成した混合用効果音データと音楽データの混合は、例えばＲＡＭ３０４をワークメモリとして用い、音楽データや、単位時間当たりのデータ数が音楽データと等しい混合用効果音データをＲＡＭ３０４に一時的に保存して行う。
【００２８】
Ｄ／Ａ変換部３０５は、ミキシングデータをアナログの音声信号Ｓmixに変換して出力調整部３０７に供給する。出力調整部３０７は、音声信号Ｓmixを用いて音量調整やトーン調整等を行い音声出力信号Ｓoutを生成して音声出力部３０８に供給する。音声出力部３０８は、スピーカ等を用いて構成されており、音声出力信号Ｓoutに基づき、ミキシング処理後の音声を出力する。
【００２９】
次に、ＣＰＵ３０２で行うミキシングデータ生成動作について説明する。ミキシングデータ生成動作では、図４のフローチャートに示す音楽データ受信処理と、図５のフローチャートに示す混合用効果音データ生成処理を行い、音楽データと生成した混合用効果音データを用いて図６のフローチャートに示すデータ混合処理を行い、ミキシングデータを生成する。
【００３０】
図４において、ＣＰＵ３０２は、入力部３０６から音楽データの再生要求がなされたとき、通信インタフェース３０１やネットワーク２０を介してコンテンツサーバ１０に対して音楽データの要求をステップＳＴ１で行う。
【００３１】
次に、ステップＳＴ２でＣＰＵ３０２は、コンテンツサーバ１０とのリンクを確立して、コンテンツサーバ１０から音楽データを入手できるか否かを判別する。ここで、コンテンツサーバ１０とのリンクが確立できないとき、あるいはコンテンツサーバ１０から音楽データの配信を拒否されたときは処理を終了する。また、コンテンツサーバ１０とのリンクが確立されて、コンテンツサーバ１０から音楽データを入手できるときにはステップＳＴ３に進む。
【００３２】
ステップＳＴ３でＣＰＵ３０２は、音楽データのサンプリングレートを判別する。このサンプリングレートの判別は、例えば音楽データにサンプリングレートを示す情報を有したヘッダ情報を付加してコンテンツサーバ１０から配信し、このヘッダ情報を利用して音楽データのサンプリングレートを判別する。また、コンテンツサーバ１０に対してサンプリングレートを示す情報の要求を行うことで、コンテンツサーバ１０から配信される音楽データのサンプリングレートを判別することもできる。
【００３３】
ステップＳＴ４でＣＰＵ３０２は、判別された音楽データのサンプリングレートが、対応可能なサンプリングレートであるか否かを判別する。ここで、判別された音楽データのサンプリングレートが、予め記憶されている複数の効果音データを繰り返し読み出すことで対応可能なサンプリングレートであるときには、対応可能なサンプリングレートであるとしてステップＳＴ５に進む。また、判別された音楽データのサンプリングレートが、効果音データを繰り返し読み出すことで対応可能なサンプリングレートでないときは、対応可能なサンプリングレートでないとして処理を終了する。
【００３４】
ステップＳＴ５でＣＰＵ３０２は、音楽データがパルス符号変調方式のデータであるか否かを判別して、音楽データがパルス符号変調方式のデータであるときはステップＳＴ７に進む。また、音楽データがパルス符号変調方式のデータでないときはステップＳＴ６に進む。
【００３５】
ステップＳＴ６でＣＰＵ３０２は、音楽データをパルス符号変調方式のデータに変換してステップＳＴ７に進む。
【００３６】
ステップＳＴ７でＣＰＵ３０２は、パルス符号変調方式の音楽データをバッファ、例えばＲＡＭ３０４に保持してステップＳＴ１に戻る。
【００３７】
このように、図４に示す音楽データ受信処理を行うことで、対応可能なサンプリングレートであるパルス符号変調方式の音楽データをコンテンツ再生装置３０に保持させることができる。
【００３８】
図５は、混合用効果音データ生成処理を示しており、ＣＰＵ３０２は、入力部３０６から効果音データの再生要求がなされたとき、ステップＳＴ１１で音楽データの再生か否かを判別する。ここで、音楽データの再生中あるいは再生する音楽データの設定がなされているときは、ステップＳＴ１２に進む。また、音楽データの再生が行われないときは処理を終了する。
【００３９】
ステップＳＴ１２でＣＰＵ３０２は、再生中あるいは再生される音楽データのサンプリングレートを判別してステップＳＴ１３に進む。なお。サンプリングレートの判別は、図４のステップＳＴ３行ったサンプリングレート判別結果を用いれば、容易に判別を完了できる。
【００４０】
ステップＳＴ１３でＣＰＵ３０２は、判別したサンプリングレートに対応するサンプリングレートの効果音データを選択してステップＳＴ１４に進む。例えば、図３に示すサンプリングレートが「１１．０２５ｋＨｚ」と「１２ｋＨｚ」の効果音データが記憶されており、音楽データのサンプリングレートが「４４．１ｋＨｚ」と判別されたとき、効果音データのデータ毎の繰り返しを行うことで、単位時間当たりのデータ数が音楽データと等しい混合用効果音データを生成できるサンプリングレート「１１．０２５ｋＨｚ」の効果音データを選択する。また、音楽データのサンプリングレートが「３２ｋＨｚ」と判別されたときは、サンプリングレート「１２ｋＨｚ」の効果音データを選択する。
【００４１】
ステップＳＴ１４でＣＰＵ３０２は、単位時間当たりのデータ数が音楽データと等しくなるように効果音データの繰り返し回数あるいは繰り返し回数のパターンを決定する。上述のように、音楽データのサンプリングレートが「４４．１ｋＨｚ」と判別されて、サンプリングレート「１１．０２５ｋＨｚ」の効果音データを選択したときには、単位時間当たりのデータ数が音楽データと等しくなるように、効果音データのデータ毎の繰り返し回数を「４回」に設定する。また、音楽データのサンプリングレートが「３２ｋＨｚ」と判別されて、サンプリングレート「１２ｋＨｚ」の効果音データを選択したときには、単位時間当たりのデータ数が音楽データと等しくなるように、効果音データの繰り返し回数を「３回，２回，２回」の繰り返しパターンとして設定する。なお、図３に示す音楽データと効果音データのサンプリングレートに対する繰り返し回数や繰り返しパターンを、ＲＯＭ３０３等に記憶させておけば、音楽データのサンプリングレートに基づいた効果音データの選択や効果音データの繰り返し回数や繰り返しパターンの決定を、音楽データのサンプリングレートに基づいて容易行うことができる。
【００４２】
ステップＳＴ１５でＣＰＵ３０２は、ステップＳＴ１４で決定された繰り返し回数あるいは繰り返し回数のパターンに基づき効果音データをデータ毎に繰り返し、バッファに保持させて処理を終了する。
【００４３】
このように、図５に示す混合用効果音データ生成処理を行うことで、単位時間当たりのデータ数が配信された音楽データと等しい混合用効果音データをコンテンツ再生装置３０で一時的に保持させることができる。
【００４４】
図６はデータ混合処理を示している。ステップＳＴ２１でＣＰＵ３０２は、バッファに音楽データが保持されているか否かを判別する。ここで、音楽データがバッファに保持されていると判別したときにはステップＳＴ２２に進む。また、音楽データがバッファに保持されていると判別されないときにはステップＳＴ２３に進む。
【００４５】
ステップＳＴ２２でＣＰＵ３０２は、音楽データがバッファに保持されているか否かを示す音楽データバッファフラグを「１」に設定し、バッファから音楽データを再生順に１サンプル読み出してステップＳＴ２４に進む。ステップＳＴ２３でＣＰＵ３０２は、音楽データバッファフラグを「０」、音楽データのデータ値を「０」にそれぞれ設定してステップＳＴ２４に進む。
【００４６】
ステップＳＴ２４でＣＰＵ３０２は、バッファに混合用効果音データが保持されているか否かを判別する。ここで、混合用効果音データがバッファに保持されていると判別したときにはステップＳＴ２５に進む。また、混合用効果音データがバッファに保持されていると判別されないときにはステップＳＴ２６に進む。
【００４７】
ステップＳＴ２５でＣＰＵ３０２は、混合用効果音データをバッファから再生順に１サンプル読み出してステップＳＴ２８に進む。
【００４８】
ステップＳＴ２６でＣＰＵ３０２は、混合用効果音データのデータ値を「０」に設定してステップＳＴ２７に進む。ステップＳＴ２７でＣＰＵ３０２は、音楽データバッファフラグが「０」に設定されているか否かを判別する。ここで、音楽データバッファフラグが「０」でないとき、すなわち、バッファに音楽データが残っているときにはステップＳＴ２８に進む。
【００４９】
ステップＳＴ２８でＣＰＵ３０２は、音楽データと混合用効果音データを混合することによりミキシングデータを生成してステップＳＴ２９に進む。なお、ステップＳＴ２１で音楽データがバッファに保持されていると判別されないときには、ステップＳＴ２２で音楽データのデータ値が「０」に設定されるので、このときのミキシングデータは混合用効果音データと等しくなる。また、ステップＳＴ２４で混合用効果音データがバッファに保持されていると判別されないときには、ステップＳＴ２６で混合用効果音データのデータ値が「０」に設定されるので、このときのミキシングデータは音楽データと等しくなる。
【００５０】
ステップＳＴ２９でＣＰＵ３０２は、ステップＳＴ２８で生成したミキシングデータをＤ／Ａ変換部３０５に出力してステップＳＴ２１に戻る。
【００５１】
その後、音楽データや混合用効果音データの読み出しが行われてバッファに保持されている音楽データと混合用効果音データがなくなると、ステップＳＴ２４からステップＳＴ２６を介してステップＳＴ２７に進み、音楽データバッファフラグが「０」であると判別されて処理を終了する。
【００５２】
このように、上述の形態では、効果音データのデータ毎の繰り返しを行うだけで、単位時間当たりのデータ数が音楽データと等しい混合用効果音データが生成されて、この生成された混合用効果音データが音楽データと混合される。このため、サンプリングレート変換をリアルタイムで行うことができないような処理能力の低い機器であっても、単位時間当たりのデータ数が音楽データと等しい混合用効果音データをリアルタイムで生成して音楽データと混合することが可能となり、簡単な構成で、容易に音声データのミキシング処理を行うことができる。
【００５３】
また、予め保持させておく効果音データは、音楽データよりも低サンプリングレートで良いことから、効果音データが機器の記憶領域を圧迫してしまうことも防止できる。さらに、効果音データのファイルサイズを小さくできることから、ファイルアクセス時の負荷も大きくならない。さらに、単位時間当たりのデータ数を等しくして音声データの混合を行うものであることから、アナログ信号を混合する混合回路や音声データ毎にＤ／Ａ変換器を設ける必要がなく、安価な構成でミキシング処理を行うことができる。また、小型化も容易となる。
【００５４】
なお、上述の形態では、操作音などの効果音データをコンテンツ再生装置３０に予め保持させておくものとしたが、コンテンツサーバ１０からサンプリングレートの異なる複数の効果音データをコンテンツ再生装置３０に配信して、この配信された効果音データを選択して用いて混合用効果音データを生成するものとしても良い。この場合、コンテンツ再生装置３０は、予め記憶されている操作音だけでなく内容の異なる種々の音声を音楽に混合させることができる。さらに、コンテンツサーバ１０から効果音データをコンテンツ再生装置３０に配信して、この配信された効果音データのサンプリングレート変換を予め実施して、複数のサンプリングレートの効果音データを記憶させておくものとしても良い。この場合、サンプリングレートのみが異なる複数の効果音データをコンテンツサーバ１０からコンテンツ再生装置３０に配信する必要がなくなり、配信処理を容易とすることができる。さらに、ミキシング処理に用いる音声データは、楽曲等の音楽データや操作音等の効果音データに限られるものはなく、楽器毎の音声データやＢＧＭ等の音声データとを用いても良いことは無論である。
【産業上の利用可能性】
【００５５】
以上のように、本発明にかかるミキシング装置とミキシング方法およびプログラムは、音声データを混合する際に有用であり、混合する音声データのサンプリングレートが異なる場合に適している。
【図面の簡単な説明】
【００５６】
【図１】音声コンテンツ配信システムの構成を示すブロック図である。
【図２】コンテンツ再生装置の構成を示すブロック図である。
【図３】音楽データと効果音データのサンプリングレートに対する繰り返し回数を示す図である。
【図４】音楽データ受信処理を示すフローチャートである。
【図５】混合用効果音データ生成処理を示すフローチャートである。
【図６】データ混合処理を示すフローチャートである。
【符号の説明】
【００５７】
１０，１５・・・コンテンツサーバ、２０・・・ネットワーク、３０・・・コンテンツ再生装置、３０１・・・通信インタフェース、３０２・・・ＣＰＵ、３０３・・・ＲＯＭ、３０４・・・ＲＡＭ、３０５・・・Ｄ／Ａ変換部、３０６・・・入力部、３０７・・・出力調整部、３０８・・・音声出力部
【図１】
2005148312.tif 000003
【図２】
2005148312.tif 000004
【図３】
2005148312.tif 000005
【図４】
2005148312.tif 000006
【図５】
2005148312.tif 000007
【図６】
2005148312.tif 000008