(57)【要約】【課題】複数のチャンネル間でパケットの揺らぎが顕在している状態で、バッファの上限蓄積量を無駄に大きくすることなく、安定したミキシング処理を実行する。【解決手段】ミキシング装置１３０は、通信網１２０を通じて伝送された複数のチャンネルの音信号をパケット単位で取得するパケット取得部と、取得された複数のチャンネルにおけるパケットの到着時刻の遅れが所定時間を超えるとそのパケットは欠落したとみなすパケットロス判定部２１８と、欠落したとみなされたパケットを補完するパケット補完部２２０と、複数のチャンネルのパケットを一時的に保持するミキシングバッファ２１６と、複数のチャンネルのパケットを加算して１つのパケットを生成するミキシング処理部２２２と、を備え、所定時間は、複数のチャンネルの優先度に従ってチャンネル毎に異ならせる。【選択図】図２
2011044924.tif 000002
【特許請求の範囲】
【請求項１】
通信網を通じて伝送された複数のチャンネルの音信号を加算し、新たに音信号を生成するミキシング装置であって、
前記通信網を通じて伝送された複数のチャンネルの音信号をパケット単位で取得するパケット取得部と、
取得された前記複数のチャンネルにおけるパケットの、最先に取得された他のチャンネルのパケットに対する到着時刻の遅れと所定時間とを比較し、前記パケットの到着時刻の遅れが前記所定時間を超えるとそのパケットは欠落したとみなすパケットロス判定部と、
欠落したとみなされた前記パケットを補完するパケット補完部と、
前記パケットの到着時刻の遅れを吸収するため前記複数のチャンネルのパケットを一時的に保持するミキシングバッファと、
前記ミキシングバッファによって時間軸が揃えられた前記複数のチャンネルのパケットを加算して１つのパケットを生成するミキシング処理部と、
を備え、
前記所定時間は、前記複数のチャンネルの優先度に従って前記チャンネル毎に異ならせることを特徴とするミキシング装置。
【請求項２】
前記所定時間は、優先度の低いチャンネルに対して、優先度の高いチャンネルよりも短く設定されることを特徴とする請求項１に記載のミキシング装置。
【請求項３】
前記パケット補完部は、無音のパケットもしくはダミーパケットへの置換処理、過去のパケットを繰り返す処理、または、補間パケットの生成および置換処理のいずれかの処理によって前記欠落したとみなされたパケットを補完することを特徴とする請求項１または２に記載のミキシング装置。
【請求項４】
通信網を通じて伝送された複数のチャンネルの音信号を加算し、新たに音信号を生成するミキシング方法であって、
前記複数のチャンネルにおけるパケットの、他のチャンネルのパケットに対する到着時刻の遅れの許容時間を示す所定時間を、前記複数のチャンネルの優先度に従って前記チャンネル毎に異ならせて設定し、
前記通信網を通じて伝送された複数のチャンネルの音信号をパケット単位で取得し、
取得された前記複数のチャンネルにおけるパケットの、最先に取得された他のチャンネルのパケットに対する到着時刻の遅れと、前記複数のチャンネル毎に設定された前記所定時間とを比較し、
前記パケットの到着時刻の遅れが前記所定時間を超えるとそのパケットは欠落したとみなし、
欠落したとみなされた前記パケットを補完し、
前記パケットの到着時刻の遅れを吸収するため前記複数のチャンネルのパケットを一時的にミキシングバッファに保持し、
前記ミキシングバッファに保持されることによって時間軸が揃えられた前記複数のチャンネルのパケットを加算して１つのパケットを生成することを特徴とするミキシング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のチャンネルの音信号を加算し、新たに音信号を生成するミキシング装置およびミキシング方法に関する。
【背景技術】
【０００２】
近年、楽曲や音声といった音信号をＩＰ（Internet Protocol）を用いた通信網（ＩＰ網）を通じて伝達する技術が様々なサービスに採用されるようになった。かかる通信網を通じた伝達技術の場合、例えば、音信号は所定データ量のパケットに一旦分割され、分割された各パケットは個々に通信網を経由し伝達先で元の音信号に復号される。
【０００３】
このような通信網では、その伝達経路が特定されないため、各パケットの到達時間が一様にならず、特にルータ等のネットワーク機器を経由する場合には到達時間にジッタ（音信号の揺らぎ）が生じ得る。パケットから音信号を復号する際、音信号を出力すべきタイミングにパケットが到着していない場合には、そのパケットは欠落したと見なされ、音切れを招き、その音信号を聴いているユーザに違和感を生じさせていた。そこで、パケットの受信装置において、単一の音信号に関するパケットを一時的に保持するバッファを設け、通信網を経由したパケットの時間的な揺らぎを吸収させ、音切れを防止する技術が知られている（例えば、特許文献１）。
【０００４】
また、単一の音信号に関する到着したパケットの揺らぎがバッファで吸収可能か否かを判定し、吸収できないと判定された場合に、到着したパケットそれぞれの重要度を判定して、重要度が低い音声パケットを破棄し、重要度が高い音声パケットを再生する技術が開示されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２５９４７１号公報
【特許文献２】特開２００７−２５８９２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方、音信号の用いられ方に関しては、上述した単一の音信号（１チャンネルの音信号）のみならず、音源や音質等が異なる複数のチャンネルの音信号を加算し、新たに音信号を生成する、所謂ミキシングの用途も存在する。このとき、複数のチャンネルの音信号を同期した状態で取得できれば、取得した音信号をそのままミキシング処理することで所望する音信号を得ることが可能である。このような複数のチャンネルに関する音信号の伝送には、従来、専用ケーブルが用いられていた。しかし、専用ケーブルを用いた場合、チャンネル数や送受信装置の増加に伴って専用ケーブル数も増やさなくてはならず、工事が必要になるなど再構築に手間がかかっていた。
【０００７】
そこで、上述した通信網を利用して音信号を配信することを検討する。通信網では、チャンネル数の増加や送受信装置の再構築の際にも配線の物理的な変更を伴わずに済み、音信号以外の映像信号や制御情報を追加できるなど柔軟な対応が可能である。しかし、通信網を通じて複数のチャンネルの音信号に基づくパケットを取得する場合、一様な時刻に到着しない複数のチャンネルのパケットを時間軸を合わせてミキシング処理するためには未達のパケットを待たなければならないので、最終的な音信号の遅延を抑えるためにミキシング処理には時間を割くことができなかった。
【０００８】
また、任意のチャンネルのパケットが到着する前に、他のチャンネルにおける次のパケットが到着してしまうと、かかる他のチャンネルの前のパケットが欠落する事態に陥る。上述した従来技術では１チャンネルの音信号に関する前後パケットの揺らぎは吸収できるものの、このような複数のチャンネル間のパケットの到達時刻の揺らぎを吸収する手段までは言及されていない。
【０００９】
本発明は、このような課題に鑑み、複数のチャンネル間でパケットの揺らぎが顕在している状態で、バッファの上限蓄積量を無駄に大きくすることなく、安定したミキシング処理を実行することが可能なミキシング装置およびミキシング方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、通信網を通じて伝送された複数のチャンネルの音信号を加算し、新たに音信号を生成するミキシング装置は、通信網を通じて伝送された複数のチャンネルの音信号をパケット単位で取得するパケット取得部と、取得された複数のチャンネルにおけるパケットの、最先に取得された他のチャンネルのパケットに対する到着時刻の遅れと所定時間とを比較し、パケットの到着時刻の遅れが所定時間を超えるとそのパケットは欠落したとみなすパケットロス判定部と、欠落したとみなされたパケットを補完するパケット補完部と、パケットの到着時刻の遅れを吸収するため複数のチャンネルのパケットを一時的に保持するミキシングバッファと、ミキシングバッファによって時間軸が揃えられた複数のチャンネルのパケットを加算して１つのパケットを生成するミキシング処理部と、を備え、所定時間は、複数のチャンネルの優先度に従ってチャンネル毎に異ならせる。
【００１１】
かかるチャンネル毎にミキシングバッファを設ける構成により、チャンネル間のパケット到着時刻の揺らぎを吸収することができ、パケットの欠落を回避することが可能となる。一方、ミキシングバッファを設けることで、ミキシング処理が実行されるまでミキシングバッファの上限蓄積量に相当する遅延が生じ得る。このような場合であっても、ミキシング処理後の最終的な音信号の遅延を抑えるため、ミキシング処理時間を短時間で実行しなければならないが、それは音切れ等の聴感上のノイズ発生の可能性を高める。しかし、ミキシング処理に余裕を持たせるためパケットロスの判定を全てのチャンネルに対して一律に早めると優先度の高いチャンネルまで早期にパケットが欠落したと判定されてしまい、音切れの原因となる。ここでは、優先度に従って、パケットの欠落とみなす時間を異ならせる、即ち、優先度の高いチャンネルはミキシング処理時間を短縮しても可能な限りパケットを欠落させないようにし、優先度の低いチャネルは早めにパケットロス判定を行い、余裕を持ったミキシング処理を実行させることで、安定したミキシング処理を遂行することを可能にする。
【００１２】
上述した所定時間は、優先度の低いチャンネルに対して、優先度の高いチャンネルよりも短く設定されるとしてもよい。ここでは、優先度の低いチャンネルに対して、優先度の高いチャンネルよりも、遅れを判定するための所定時間を短く設定し、パケットロス判定を早めることで、優先度の低いチャンネルのパケット遅延に拘わらず、優先度の高いチャンネルのミキシング処理を早期に実行することができる。このような安定したミキシング処理によって、少なくとも優先度の高いチャンネルの音信号を確実かつ安定して出力することが可能となる。
【００１３】
また、パケット補完部は、無音のパケットもしくはダミーパケットへの置換処理、過去のパケットを繰り返す処理、または、補間パケットの生成および置換処理のいずれかの処理によって欠落したとみなされたパケットを補完してもよい。かかる構成により、欠落したとみなされたパケットに、再生可能な他のパケットを補完することができ、正常な再生処理を継続することが可能となる。
【００１４】
上記課題を解決するために、通信網を通じて伝送された複数のチャンネルの音信号を加算し、新たに音信号を生成するミキシング方法では、複数のチャンネルにおけるパケットの、他のチャンネルのパケットに対する到着時刻の遅れの許容時間を示す所定時間を、複数のチャンネルの優先度に従ってチャンネル毎に異ならせて設定し、通信網を通じて伝送された複数のチャンネルの音信号をパケット単位で取得し、取得された複数のチャンネルにおけるパケットの、最先に取得された他のチャンネルのパケットに対する到着時刻の遅れと、複数のチャンネル毎に設定された所定時間とを比較し、パケットの到着時刻の遅れが所定時間を超えるとそのパケットは欠落したとみなし、欠落したとみなされたパケットを補完し、パケットの到着時刻の遅れを吸収するため複数のチャンネルのパケットを一時的にミキシングバッファに保持し、ミキシングバッファに保持されることによって時間軸が揃えられた複数のチャンネルのパケットを加算して１つのパケットを生成する。
【００１５】
上述した、ミキシング装置の技術的思想に基づく構成要素やその説明は、当該ミキシング方法にも適用可能である。
【発明の効果】
【００１６】
以上説明したように本発明によれば、複数のチャンネル間でパケットの揺らぎが顕在している状態で、バッファの上限蓄積量を無駄に大きくすることなく、安定したミキシング処理を実行することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】音信号出力システムの概略的な接続関係を示した説明図である。
【図２】ミキシング装置の概略的な構成を示した機能ブロック図である。
【図３】ミキシングバッファの動作を説明するための説明図である。
【図４】パケットロス判定部の動作を説明するための説明図である。
【図５】チャンネル毎に所定時間を異ならせた場合のパケットロス判定部の動作を説明するための説明図である。
【図６】ミキシング方法の処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１９】
（音信号出力システム１００）
図１は、本実施形態にかかる音信号出力システム１００の概略的な接続関係を示した説明図である。音信号出力システム１００は、配信サーバ１１０と、通信網１２０と、ミキシング装置１３０と、音出力装置１４０とを含んで構成される。
【００２０】
配信サーバ１１０は、楽曲や音声等の音信号を既存の様々な符号化方式で圧縮しパケット化して通信網１２０に伝送する所謂ＶｏＩＰ（Voice over Internet Protocol）を用いて、ミキシング装置１３０のユーザが所望する音信号を通信網１２０に出力する。本実施形態では、理解を容易にするため、音信号の参照元を配信サーバ１１０としているが、サーバに限るものではなく、通信網１２０に接続可能な様々な電子機器を採用することができる。また、通信網１２０を通じた伝送プロトコルとしてＶｏＩＰを用いているが、かかる場合に限られず、音信号（音声データ）のパケット単位の伝送が可能な様々なプロトコルを採用することができる。本実施形態では、このような配信サーバ１１０が、単独または複数連携して複数のチャンネルの音信号を出力している。
【００２１】
通信網１２０は、任意の装置間を通信接続し、例えばＩＰを用いる場合、ＩＰヘッダとペイロードで構成されるパケット単位で情報を伝達する役割を担う。ただし、通信網１２０ではパケットの伝達経路が特定されないため、配信サーバ１１０から出力された各パケットのミキシング装置１３０における到達時間が一様にならず、特にルータ等のネットワーク機器を経由する場合には到達時間にジッタ（音信号の揺らぎ）が生じ得る。さらに、通信網１２０ではパケットの到達すら保証されていないので、パケットの欠落も考慮しなければならない。
【００２２】
ミキシング装置１３０は、通信網１２０を通じて複数のチャンネルの音信号をパケット単位で取得し、その複数のチャンネルの音信号を加算（ミキシング処理）して１または複数の出力ライン毎に音信号を生成し、音出力装置１４０に出力する。また、ミキシング装置１３０は、ミキシング処理を実行する単体の装置として構成することもできるが、ＢＤ（Blu-ray Disc）レコーダ／プレーヤ、ＤＶＤレコーダ／プレーヤ、ＣＤプレーヤ、ＨＤＤ（Hard disk drive）レコーダ／プレーヤ、パーソナルコンピュータ、ノート型パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話、ＰＨＳ（Personal Handy phone System）端末、デジタルカメラ、デジタルビデオカメラ、テレビジョン、ゲーム機器等、通信網１２０に接続可能な様々な電気機器で構成することもできる。
【００２３】
音出力装置１４０は、ダイナミックスピーカ、コンデンサスピーカ、骨伝導スピーカ、ヘッドホン等で構成され、ミキシング装置１３０から出力された電気的な音信号を物理振動に変換して音（音声）を出力する。
【００２４】
音信号出力システム１００では、１または複数の配信サーバ１１０から伝送された複数のチャンネルの音信号をミキシング装置１３０でミキシング処理し、１または複数の出力ラインに対する音信号を音出力装置１４０から出力している。ここでは、ミキシング装置１３０において、複数のチャンネルそれぞれにバッファを設けることで、通信網１２０を経由することに基づくチャンネル間のパケット到着時刻の揺らぎを吸収する。しかし、バッファの総量を各チャンネルに一様に分割して割り当てると、各チャンネルのバッファのデータ量は制限され、所定時間を超えても到着しないパケットは欠落したと見なさざるを得なくなる。このような、パケットが欠落していると判断するタイミングを、チャンネルの優先度に拘わらず各チャンネルに一律に設定すると、優先度の低いチャンネルの遅れによってミキシング処理が滞り、一緒にミキシング処理されるはずの優先度の高いチャンネルの音切れを招くおそれがある。従って、本実施形態においては、単にチャンネル毎にバッファを設けるだけでなく、チャンネルの優先度に応じたパケット処理を遂行している。
【００２５】
こうして、本実施形態のミキシング装置１３０は、複数のチャンネル間でパケットの揺らぎが顕在している状態で、バッファの上限蓄積量を無駄に大きくすることなく、安定したミキシング処理を実行することが可能となる。以下、このような目的を達成するためのミキシング装置１３０の具体的構成を述べ、その処理の流れを後ほど詳述する。
【００２６】
（ミキシング装置１３０）
図２は、ミキシング装置１３０の概略的な構成を示した機能ブロック図である。ミキシング装置１３０は、通信部２１０と、制御部２１２と、操作部２１４と、ミキシングバッファ２１６と、パケットロス判定部２１８と、パケット補完部２２０と、ミキシング処理部２２２と、出力バッファ２２４とを含んで構成される。
【００２７】
通信部２１０は、有線、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ等の無線によって通信網１２０に接続され、配信サーバ１１０とＶｏＩＰによる通信を確立する。また、通信部２１０は、パケット取得部として機能し、通信網１２０を通じて伝送された複数のチャンネルの音信号をパケット単位で取得する。
【００２８】
制御部２１２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、ミキシング装置１３０全体を制御する。特に本実施形態において、制御部２１２は、通信部２１０が取得する各チャンネルの優先度に応じて後述するミキシングバッファ毎の所定時間を設定する。かかる構成の詳細な説明は後で行う。
【００２９】
操作部２１４は、キーボード、十字キー、ジョイスティック等のスイッチ、ディスプレイを有する場合そのディスプレイの表示面上に設置されたタッチパネル等で構成され、ミキシング装置１３０へのユーザの操作入力を受け付ける。
【００３０】
ミキシングバッファ２１６は、ミキシング装置１３０で取得された複数のチャンネルのパケットをミキシング処理する前段で一時的に保持する。
【００３１】
図３は、ミキシングバッファ２１６の動作を説明するための説明図である。図３では横軸が時間軸となっており、左側ほど到着が早いこととなる。また、ここでは、理解を容易にするため２つのチャンネルＡ、Ｂのみ挙げて説明するが、３以上のチャンネルにも対応可能であることは言うまでもない。
【００３２】
例えば、図３（ａ）に示すように、ミキシングバッファ２１６を設けていない状態で、複数のチャンネルＡ、Ｂにおける音信号のパケットＡ１、Ａ２、Ａ３、…、Ａｎ、Ｂ１、Ｂ２、Ｂ３、…、Ｂｎ（到着順が早いパケットには若い番号を付している。）を取得することを想定する。複数のチャンネルＡ、Ｂの音信号をミキシングするため、ミキシング処理を実行する前に各チャンネルのパケットの時間軸を合わせる必要がある。ここでは、チャンネルＡのパケットＡ１とチャンネルＢのパケットＢ１とが揃った時点（１）でミキシング処理が遂行される。
【００３３】
しかし、同図３（ａ）に示すように、チャンネルＡのパケットＡ２が到達しているが（２）、チャンネルＢのパケットＢ２が未だ到達していない状態で、パケットＢ２より先にチャンネルＡのパケットＡ３を取得してしまうと、パケットＡ２かパケットＡ３のいずれかを破棄しなくてはならなくなる（４）。
【００３４】
本実施形態では、ミキシングバッファ２１６を備えているので、図３（ｂ）に示すように、上記の状態であっても、パケットＡ２とパケットＡ３のいずれもミキシングバッファ２１６に保持でき（５）（６）、パケットＢ２が到来したとき、パケットを欠落させることなしに、ミキシングバッファ２１６内のパケットＡ２とパケットＢ２とをミキシング処理することが可能となる（７）。
【００３５】
かかるミキシングバッファ２１６の構成により、通信網１２０を経由したことに基づく、複数のチャンネルそれぞれの到着時刻の揺らぎのみならず、複数のチャンネル間の音信号のパケットの到着時刻の遅れを吸収することができ、パケットの欠落を回避し音切れを防止することが可能となる。
【００３６】
このようなミキシングバッファ２１６の容量は大きいほど良いが、リソースには限界があり、また、ミキシングバッファ２１６を設けたことによる時間軸の遅れが大きくなると、それに伴ってミキシング処理後の音信号を出力するタイミングも遅延するので、ミキシングバッファ２１６の上限蓄積量は音信号出力システム１００で要求される遅延時間との兼ね合いで設定される。
【００３７】
従って、上述したミキシングバッファ２１６を設けたとしても、通信網１２０を経由することによるパケットの揺らぎを完全に吸収することはできない。ミキシング処理を実行するまでに許容される遅延量は各チャンネルに準備された上限蓄積量に相当するので、各チャンネルに準備された上限蓄積量を超えてパケットの到達が遅れた場合、そのパケットを待つことなく、ミキシング処理を遂行しなければならない。そこで、パケットの到着が上限蓄積量を超えているか否かを判定する手段が必要となる。
【００３８】
パケットロス判定部２１８は、取得された複数のチャンネルにおけるパケットの、最先に取得された他のチャンネルのパケットに対する到着時刻の遅れと、制御部２１２によって設定された所定時間とをチャンネル毎に比較し、パケットの到着時刻の遅れが所定時間を超えるとそのパケットは欠落したとみなす。かかるパケット間の到着時刻の遅れは、パケットに示されたタイムスタンプの差分により算出してもよいし、最先に取得されたチャンネルのパケット到着からの時間をカウントすることによって算出してもよい。
【００３９】
図４は、パケットロス判定部２１８の動作を説明するための説明図である。図４でも横軸が時間軸となっている。例えば、複数のチャンネルＡ、Ｂから図４（ａ）に示すような時間配分で、複数のチャンネルＡ、Ｂにおける音信号のパケットＡ１、Ａ２、…、Ａｎ、Ｂ１、Ｂ２、…、Ｂｎを取得したとする。ここでは、同タイミングに出力すべきパケット間、即ち、パケットＡ１、Ｂ１やパケットＡ２、Ｂ２の時間差（図４（ａ）で白抜き両矢印で記載される。）が到着時刻の遅れとなる。
【００４０】
ここで、それぞれのチャンネルに割り振られたミキシングバッファ２１６の上限蓄積量が、パケットＡ１、Ａ２、…、Ａｎまでしか蓄積できない量である場合に、図４（ｂ）に示すように、チャンネルＡのパケットに対してチャンネルＢのパケットが大幅に遅れ、例えば、チャンネルＡのパケットＡ１、Ａ２、…、Ａｎが到達しているがチャンネルＢのパケットＢ１は未だ到達していないとする。すると、パケットＢ１の到着を待っている間にチャンネルＡの新たなパケットＡｎ＋１が到達してしまうと、ミキシングバッファ２１６のチャンネルＡに関するデータ領域がオーバーフローしてしまう。従って、パケットロス判定部２１８は、パケットＡ１との到達時間の遅れが所定時間を超えたパケットＢ１を欠落したパケットとみなし、パケットＡ１、Ｂ１のミキシング処理を進める。このときパケットＢ１は存在しないが、ミキシング処理を遂行するためパケットＢ１に代わる何らかのデータが必要となる。
【００４１】
パケット補完部２２０は、欠落したとみなされたパケットを、ミキシング処理や再生が可能となる何らかのデータで補完する。従って、その後到達するであろう真のパケットは当該ミキシング処理に利用されずに破棄されることになる。ここで、補完処理としては、無音のパケットもしくは所定のダミーパケットへの置換処理、１または複数の過去のパケットを繰り返す処理、または、前後のパケットから補間パケットを生成しその補間パケットへの置換処理等、様々な処理を適用することができる。かかる構成により、正常な再生処理を継続することが可能となる。
【００４２】
従って、図４（ｂ）に示すように、任意のパケット、ここではパケットＢ１が他のチャンネルＡに対して大幅に到達が遅れ、所定時間を超えてしまうと、例えばパケットＢ１のダミーパケットが生成され、生成されたダミーパケットはミキシングバッファ２１６にパケットＢ１として保持される。こうして、パケットＡ１、Ｂ１が揃うとその２つのパケットＡ１、Ｂ１に関してミキシング処理を遂行することが可能となる。
【００４３】
ところで、図４（ｂ）に示した状態では、ミキシング処理が実行されるまで、ミキシングバッファ２１６の上限蓄積量に相当する遅延が生じる。従って、ミキシング処理後の最終的な音信号はかかる遅延を許容できる程度遅らせて出力される。ここで、ミキシング処理後の最終的な音信号の遅延を可能な限り抑えるため、ミキシング処理時間を短時間で実行する必要が生じる。しかし、それは音切れ等の聴感上のノイズ発生の可能性を高める。
【００４４】
例えば、本実施形態のミキシング装置１３０では、複数のチャンネルそれぞれにおける、パケットの送受信、パケットロス判定、パケット補完、ミキシング等の複数の処理を、処理能力に限界がある制御部２１２で実行している。従って、任意の処理によって待ち時間が生じると他の処理に影響を及ぼし、ミキシング処理を短時間で実行しなればならないのに反して、ミキシング処理が間に合わなくなる。すると、後述するミキシング処理部２２２が、出力バッファ２２４にミキシング後のパケットを適切なタイミングで伝達することができなくなる可能性が生じる。これが音切れの原因となる。
【００４５】
このようなミキシング処理に余裕を持たせるため、パケットロスと判定するタイミングを全てのチャンネルに対して一律に早めようとすると優先度の高いチャンネルまで早期にパケットが欠落したと判定されてしまい、主要な音信号の音切れを招き、その音信号を聴いているユーザに違和感を生じさせることとなる。
【００４６】
ここでは、優先度に従って、各チャネルのパケットの欠落とみなす時間を異ならせる、即ち、優先度の高いチャンネルはミキシング処理時間を短縮しても可能な限りパケットを欠落させないようにし、優先度の低いチャネルは早めにパケットロス判定を行い、余裕を持ったミキシング処理を実行させることで、安定したミキシング処理を遂行することを可能にする。
【００４７】
まず、制御部２１２は、各チャンネルの優先度に応じて、チャンネルにおけるパケットの、他のチャンネルのパケットに対する到着時刻の遅れの許容時間を示す所定時間を予め設定しておく。
【００４８】
具体的に、ミキシングバッファ２１６には、複数のチャンネルに対応したデータ領域毎に異なる所定時間が予め設定されており、パケットのＩＰヘッダ等に示された優先度を参照して、チャンネルをミキシングバッファ２１６に割り当てる。例えば、アナウンス等、優先度の高いチャンネルの音信号のパケットを任意の所定時間のデータ領域に対応付け、ＢＧＭ（Back-Ground Music）等、優先度の低いチャンネルの音信号のパケットを上記任意の所定時間より短い所定時間のデータ領域に対応付ける。
【００４９】
また、他の例として、まず、チャンネルをミキシングバッファ２１６の複数のデータ領域に割り当て、その後、テーブル等を参照して優先度に応じた所定時間をそれぞれデータ領域毎に設定することもできる。
【００５０】
さらに具体的には、所定時間を、優先度の低いチャンネルに対して、優先度の高いチャンネルよりも短く設定する。このように、優先度の低いチャンネルに対して、優先度の高いチャンネルよりも、遅れを判定するための所定時間を短く設定し、パケットロス判定を早めることで、優先度の低いチャンネルのパケット遅延に拘わらず、優先度の高いチャンネルのミキシング処理を早期に実行することができる。このような安定したミキシング処理によって、少なくとも優先度の高いチャンネルの音信号を確実かつ安定して出力することが可能となる。ここでは、優先度が低いチャンネルに対する所定時間を短くする構成を述べたが、当然、優先順位が高いチャンネルに対する所定時間を延ばすことでも目的を達成することができる。
【００５１】
図５は、チャンネル毎に所定時間を異ならせた場合のパケットロス判定部２１８の動作を説明するための説明図である。複数のチャンネルＡ、ＢにおいてチャンネルＡの優先度がチャンネルＢより高い場合、チャンネルＢのパケットＢ１、Ｂ２、…、Ｂｎがミキシングバッファ２１６の上限蓄積量と等しくなるまで（最長の所定時間まで）チャンネルＡのパケットを待つこととなるので、図５（ａ）に示すように、パケットロス判定部２１８は、チャンネルＡのパケットの到達が、ミキシングバッファ２１６の上限蓄積量に相当する長い所定時間を超えて初めてパケットが欠落したと判定する。そして、パケット補完部２２０は、パケットが欠落したと判定されたパケットを再生可能なパケットで補完する。
【００５２】
これに対して、チャンネルＡより優先度が低いチャンネルＢでは、所定時間がチャンネルＡより短く設定され、図５（ｂ）に示すように、チャンネルＡのパケットがミキシングバッファ２１６の上限蓄積量に至っていない、例えばパケットＡ１、Ａ２のみがミキシングバッファ２１６に保持されている状態であっても、チャンネルＢのパケットのチャンネルＡのパケットに対する到着時刻の遅れがチャンネルＢの短い所定時間を超えるので、パケットロス判定部２１８は、チャンネルＢのパケットが欠落したと判定する。ここでもパケット補完部２２０は、パケットが欠落したと判定されたパケットを再生可能なパケットで補完する。
【００５３】
こうして、優先度の低いチャンネル、例えばチャンネルＢに関しては、ミキシングバッファ２１６の上限蓄積量に相当する時間待たなくとも、図５（ｂ）に示すように、それより短い時間で再生可能なパケットＢ１が生成され、優先度の高いチャンネルのパケットＡ１をパケットＢ１と共に速やかにミキシング処理部２２２に渡すことができる。従って、早期にパケットＡ１、Ｂ１をミキシング処理できるので、ミキシング処理に余裕が生じ、音切れの頻度を低減すると共に聴感上の音質の向上を図ることが可能となる。
【００５４】
優先度の異なるチャンネルの例としては、例えば、アナウンス等の音声で形成されたチャンネルと、ＢＧＭ等のチャンネルとがある。図５を用いて説明した構成を用いると、優先度の高いチャンネルであるアナウンス等は、ミキシングバッファ２１６の上限蓄積量に相当する所定時間分パケットの到着を待ってもらえるので、パケットの欠落を回避することができる。一方、優先度の低いチャネルであるＢＧＭ等は、早めにパケットロス判定を行いミキシング処理部２２２に早期に渡すことで余裕を持ったミキシング処理を実行させることが可能となる。
【００５５】
この場合、優先度の低いチャンネルであるＢＧＭは、パケット補完部２２０によってパケットが補完される可能性、即ち、真のパケットが破棄される可能性が高くなるが、優先度の高いアナウンスと比較して再生音量そのものが低い場合が多く、連続的に聴く必要性も低いので、アナウンスとＢＧＭとをミキシング処理した結果に影響を及ぼさない。
【００５６】
このような優先度の異なるチャンネルの他の組み合わせは、例えば、地震速報等、緊急度の高いアナウンスや時報等とＢＧＭ、カラオケにおける音声と演奏、販売店舗専用の個別宣伝音楽とＢＧＭ等、様々採用することができる。また、後述するように、出力バッファ２２４からの出力ラインが複数ある場合、任意の出力ラインでは、アナウンスとＢＧＭの両チャンネルをミキシング処理した結果を出力し、他の出力ラインでは、ＢＧＭのみをミキシング処理した結果を出力するとしてもよい。
【００５７】
ミキシング処理部２２２は、ミキシングバッファ２１６によって各チャンネルのパケット（パケット補完部２２０によって補完されたパケットを含む）の時間軸が揃えられると、各チャンネルのパケットを加算して１つのパケットを生成する。各チャンネルのパケットが揃っているか否かは、パケットのタイムスタンプによって確認してもよいし、ミキシングバッファ２１６内の所定の位置にパケットが存在するか否かで確認してもよい。
【００５８】
出力バッファ２２４は、ミキシング処理部２２２に対応して設けられ、ミキシング処理部２２２によってミキシング処理されたパケットを一時的に保持して出力ライン間の揺らぎを吸収する。出力ライン間の揺らぎは、配信サーバ１１０の起動タイミングのずれ、ミキシング装置１３０における各種コマンド発行またはパケットの取得タイミングのずれ、基準クロックの微少なずれ、チャンネル毎のミキシング処理の消費時間の違い等から生じ得る。
【００５９】
そして、出力バッファ２２４は、出力ライン毎のパケットの出力タイミングが到来すると、パケットを復号してそれぞれ音出力装置１４０に出力する。こうして、音信号の出力ラインが複数あった場合であってもその出力ライン毎の揺らぎを吸収し、音信号のリアルタイム性を維持することが可能となる。
【００６０】
以上、説明したミキシング装置１３０によって、複数のチャンネル間でパケットの揺らぎが顕在している状態で、バッファの上限蓄積量を無駄に大きくすることなく、安定したミキシング処理を実行することが可能となる。
【００６１】
（ミキシング方法）
次に、上述したミキシング装置１３０を用い、通信網１２０を通じて伝送された複数のチャンネルの音信号を加算し、新たに音信号を生成するミキシング方法について説明する。
【００６２】
図６は、ミキシング方法の処理の流れを示したフローチャートである。制御部２１２は、図６に示す処理が開始される前に、予め、複数のチャンネルにおけるパケットの、他のチャンネルのパケットに対する到着時刻の遅れの許容時間を示す所定時間を、複数のチャンネルの優先度に従ってチャンネル毎に異ならせて設定している。
【００６３】
ユーザが、ミキシング装置１３０による音信号の再生開始を所望すると（Ｓ３０２のＹＥＳ）、配信サーバ１１０は、通信網１２０を通じて複数のチャンネルの音信号のパケットを伝送し、パケット取得部（通信部２１０）は、かかるパケットを取得する（Ｓ３０４）。
【００６４】
続いて、パケットロス判定部２１８は、複数のチャンネルにおけるパケットの、最先に取得された他のチャンネルのパケットに対する到着時刻の遅れと、複数のチャンネル毎に予め設定されている所定時間とを比較し（Ｓ３０６）、パケットの到着時刻の遅れが所定時間を超えると（Ｓ３０８のＹＥＳ）、そのパケットは欠落したとみなし、パケット補完部２２０は、欠落したとみなされたパケットを補完する（Ｓ３１０）。
【００６５】
ミキシングバッファ２１６は、パケット取得部に取得されたパケットまたはパケット補完部２２０に補完されたパケットを一時的に保持し（Ｓ３１２）、ミキシング処理部２２２は、ミキシングバッファ２１６に保持されることによって時間軸が揃えられた複数のチャンネルのパケットを加算（ミキシング処理）して１つのパケットを生成する（Ｓ３１４）。
【００６６】
出力バッファ２２４は、ミキシング処理部２２２によってミキシング処理されたパケットを一時的に保持し（Ｓ３１６）、復号後、他の出力ラインと時刻同期させて出力する（Ｓ３１８）。かかるミキシング処理は、ユーザが音信号の再生停止を所望するまで（Ｓ３２０のＹＥＳ）繰り返される。
【００６７】
かかるミキシング方法によっても複数のチャンネル間でパケットの揺らぎが顕在している状態で、バッファの上限蓄積量を無駄に大きくすることなく、安定したミキシング処理を実行することが可能となる。
【００６８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６９】
なお、本明細書のミキシング方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７０】
本発明は、複数のチャンネルの音信号を加算し、新たに音信号を生成するミキシング装置およびミキシング方法に利用することができる。
【符号の説明】
【００７１】
１００  …音信号出力システム
１１０  …配信サーバ
１２０  …通信網
１３０  …ミキシング装置
１４０  …音出力装置
２１０  …通信部（パケット取得部）
２１２  …制御部
２１４  …操作部
２１６  …ミキシングバッファ
２１８  …パケットロス判定部
２２０  …パケット補完部
２２２  …ミキシング処理部
２２４  …出力バッファ
【図１】
2011044924.tif 000003
【図２】
2011044924.tif 000004
【図３】
2011044924.tif 000005
【図４】
2011044924.tif 000006
【図５】
2011044924.tif 000007
【図６】
2011044924.tif 000008