(57)【特許請求の範囲】
【請求項１】
音声信号を送信部で符号化して伝送路を介して伝送し受信部で受信して復号することより前記音声信号を再生する音声符号化伝送方式において、
前記送信部は、前記音声信号を符号化して得た符号化出力を、前記音声信号を逐次再生可能な低ビットレートの概略データと、この概略データと組み合わせて前記音声信号を高品質で再生するための詳細データとに分割し、前記概略データを前記詳細データに先立ってまとめて伝送し、その後に前記詳細データをまとめて伝送するものであり、
前記受信部は、受信された前記概略データを前記詳細データの受信を待つことなく逐次復号して前記音声信号を逐次再生し、前記概略データ及び詳細データが共に伝送されたら、両者を合成して前記音声信号を高品質で再生するものである
ことを特徴とする音声符号化伝送方式。
【請求項２】
前記送信部は、前記伝送路の状況に応じて前記概略データのビットレートを制御するものであることを特徴とする請求項１記載の音声符号化伝送方式。
【請求項３】
前記送信部は、前記音声信号をアナログ・ディジタル変換して得られたｎビット（ｎは２以上の整数）のＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）データの上位ｍビット（ｍ＜ｎ）を前記概略データ、下位ｎ−ｍビットを前記詳細データとするものであり、
前記受信部は、前記ＰＣＭデータの上位ｍビットから前記音声信号を逐次再生し、前記ＰＣＭデータの上位ｍビットと下位ｎ−ｍビットの合成データから前記音声信号を高品質で再生するものである
ことを特徴とする請求項１又は２記載の音声符号化伝送方式。
【請求項４】
前記送信部は、ステレオ音声を得るための複数チャネルの音声信号を加算したモノラル音声信号を前記概略データ、前記複数チャネルの音声信号の差分信号を前記詳細データとするものであり、
前記受信部は、前記モノラル信号から前記音声信号を逐次再生し、前記モノラル信号及び差分信号からステレオ音声を再生するものである
ことを特徴とする請求項１又は２記載の音声符号化伝送方式。
【請求項５】
前記送信部は、音声信号の低域成分を前記概略データ、前記音声信号の高域成分を前記詳細データとするものであり、
前記受信部は、前記音声信号の低域成分から前記音声信号を逐次再生し、前記音声信号の低域成分及び高域成分から前記音声信号を高品質に再生するものである
ことを特徴とする請求項１又は２記載の音声符号化伝送方式。
【請求項６】
前記送信部は、第１及び第２の符号帳を有し、前記音声信号に基づくターゲットベクトルに対して第１の符号帳から最適なベクトル選択を行い、次にそのベクトルと組み合わせて最もターゲットベクトルに近づくサブベクトルを第２の符号帳から選択する２段ベクトル量子化処理を実行し、前記第１の符号帳から選択されたベクトルのインデックスを前記概略データ、前記第２の符号帳から選択されたベクトルのインデックスを前記詳細データとするものであり、
前記受信部は、前記第１の符号帳から選択されたベクトルのインデックスから前記音声信号を逐次再生し、前記第１及び第２の符号帳から選択されたベクトルのインデックスから前記音声信号を高品質に再生するものである
ことを特徴とする請求項１又は２記載の音声符号化伝送方式。
【請求項７】
前記送信部は、前記受信部から送られる詳細データの伝送要求を待って前記詳細データを前記受信部に伝送するものであることを特徴とする請求項１乃至６のいずれか１項記載の音声符号化伝送方式。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、音声信号を符号化して伝送する音声符号化伝送方式に関し、特に音声情報のリアルタイム伝送を行うのに好適な音声符号化伝送方式に関する。
【０００２】
【従来の技術】
音声情報を通信回線を介して伝送する場合、従来は、全ての音声情報が伝送されないと音声情報の再生が行われない。このため、音声情報をリアルタイムに伝送して再生する場合には、通信帯域を考慮して最適な伝送ビットレート、即ち符号化圧縮率を選択することが重要となる。例えば、ある程度の再生品質を望む場合、符号化圧縮率をあまり高めることができず、音声情報が全て伝送されるまでに待ち時間が発生する。再生品質を多少落としても、軽く試聴してみたいという要求に対しては、符号化圧縮率を高めて再生品質を低下させればよい。
【０００３】
従来、このような目的で、復号時の再生品質や符号化圧縮率を任意に選択できるスケーラブルな音声符号化方式が提案されている（例えば「スケーラブルな階層構造を持つ楽音・音声の符号化」神明夫、三樹聡：日本音響学会講演論文集，Ｈ７．９音声Ｂ３−１−５，ｐｐ２７７−２７８）。この方式は、３階層の符号化方式を用い、第１階層では入力信号をダウンサンプリングした狭帯域信号を符号化し、その他の上位階層では、下位層よりも帯域を広げた入力信号から下位層までの再生音の差分をとり、これを符号化する。このような階層構造によって、低ビットレートの場合（通信帯域に余裕がない場合）は、下位層のみの情報を用いて低品質の符号化を実行し、高ビットレートの場合（通信帯域に余裕がある場合）は、上位層の情報も用いて、再生音を広帯域且つ高品質で再生する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来の音声符号化伝送方式では、受信側で音声情報をリアルタイムで軽く試聴した結果、より品質の良い音声情報の伝送を望む場合には、再度、高ビットレートのビットストリームを最初から伝送し直す必要があり、その際の待ち時間が長くなるという問題がある。
【０００５】
この発明は、このような問題点に鑑みなされたもので、低速な伝送路であっても受信側で待ち時間なしに音声情報を試聴することができ、試聴の結果、同じ音声情報を高品質で再度聴きたい場合にも、少ない待ち時間で高品質の音声情報を聴くことが出来る音声符号化伝送方式を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る音声符号化伝送方式は、音声信号を送信部で符号化して伝送路を介して伝送し受信部で受信して復号することより前記音声信号を再生する音声符号化伝送方式において、前記送信部が、前記音声信号を符号化して得た符号化出力を、前記音声信号を逐次再生可能な低ビットレートの概略データと、この概略データと組み合わせて前記音声信号を高品質で再生するための詳細データとに分割し、前記概略データを前記詳細データに先立ってまとめて伝送し、その後に前記詳細データをまとめて伝送するものであり、前記受信部が、受信された前記概略データを前記詳細データの受信を待つことなく逐次復号して前記音声信号を逐次再生し、前記概略データ及び詳細データが共に伝送されたら、両者を合成して前記音声信号を高品質で再生するものであることを特徴とする。
【０００７】
この発明によれば、送信部が逐次再生可能な低ビットレートの概略データを送信すると、受信部がこの概略データを、詳細データの受信を待つことなく逐次再生するので、音楽情報の概要を待ち時間なしに軽く試聴することができる。この結果、受信側のユーザが、更に高品質で同じ音声情報を聴きたい場合には、詳細データの伝送を待って音声情報の再生を行えばよい。詳細データは、概略データと合成されて再生されるので、従来のように全ての音声情報を再度伝送する場合に比べ、待ち時間は格段に軽減される。また、受信された概略データの試聴の結果、受信側のユーザの期待に添わなかった場合には、以後のデータの受信を中止することができ、これによるデータの無駄な伝送が防止できる。
【０００８】
なお、インターネットのように通信帯域が刻々と変動するようなネットワークを使用して音声情報を伝送する場合には、伝送路の状況に応じて概略データのビットレートを調整すればよい。この場合、伝送するビットストリームにデータレートの情報又はその変化の情報を適宜挿入しておけばよい。
【０００９】
概略データとしては、例えばｎビットのＰＣＭデータの上位ｍビットのデータ、ステレオ音声における左右チャネルの加算データ、音声信号の低域成分、２段ベクトル量子化における第１段のベクトルインデックス等を用いることができる。また、詳細データとしては、これらに対応して例えば上記ＰＣＭデータの下位ｎ−ｍビットのデータ、上記ステレオ音声における左右チャネルの差分データ、音声信号の高域成分、２段ベクトル量子化における第２段のベクトルインデックス等をそれぞれ用いることができる。このように、詳細データは、音声情報の一部を構成するものであるから、それ自体の情報量は、同一の品質を得るために再送する場合の音声情報の全情報量に比べて格段に少なく、その結果、待ち時間も少なくすることができる。
【００１０】
また、送信部が受信部から送られる詳細データの転送要求を待って詳細データを受信部に伝送するものであれば、無駄なデータの伝送を更に効果的に防ぐことができる。
【００１１】
【発明の実施の形態】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。
図１は、この発明の実施例に係る音声符号化伝送方式における送信部の構成を示すブロック図である。なお、この送信部としては、ネットワークの状況の如何に拘わらず、固定的な低速ビットレートの概略データを最初に送信する方式と、ネットワークの状況に応じて概略データのビットレートを調整する方式とが考えられる。そこで、以下、上記２通りの方式について送信部の構成をそれぞれ説明する。
【００１２】
（１）概略データのビットレートが固定の場合
音声入力信号は、スケーラブル・エンコーダ１に入力され、ここで所定の符号化方式に基づいて符号化されると共に、予め指示されたビットレート情報に基づいて固定的なビットレートの概略データと、この概略データを補完して高品質の再生を可能にするための詳細データとに分割される。概略データは、ヘッダや境界識別子等の付加情報と共にマルチプレクサ２に供給される。詳細データは、記憶装置３に一旦記憶されたのち、並べ替え部４の制御のもとで読み出され、マルチプレクサ２に供給される。マルチプレクサ２は、供給されたデータをヘッダ、概略データ、境界識別子、詳細データの順番に、データ送信部５に順次供給する。データ送信部５は、マルチプレクサ２から供給されたビットストリームを伝送路を介して受信部に送信する。ビットレート制御部６は、指示入力に従って概略データのビットレートを決定し、ビットレート情報をスケーラブル・エンコーダ１に与える。なお、ビットレートは、伝送を行うネットワークが低速であっても、リアルタイム伝送が可能な情報量となるように送信側で設定する。
【００１３】
この送信部のマルチプレクサ２で組み立てられるビットストリームのフォーマット例を図２（ａ）に示す。ビットストリームは、ヘッダ、概略データ、境界識別子、詳細データの順に組み立てられる。
【００１４】
（２）概略データのビットレートが可変の場合
この場合、ネットワーク状況監視部７がデータ送信部５を介してネットワークの状況を常に監視し、通信帯域が変動した場合には、ビットレート制御部６に指示情報を与えて概略データのビットレートを調整する。ビットレートの調整方法としては、符号化ビット数を落としたり、部分的にデータを間引く等の方法が考えられる。この場合、概略データと対をなす詳細データのビットレートは、概略データのビットレートの変化を吸収するような形で作成されることになる。
【００１５】
ビットレートが可変の場合のマルチプレクサ２で組み立てられるビットストリームのフォーマットは、図２（ｂ）のようになる。即ち、ヘッダに続く概略データには、ビットレートの変化する直前にビットレートが変化することを示す情報が挿入される。これにより、受信部で概略データのビットレートを認識することが可能になる。
【００１６】
なお、詳細データは、更にいくつかに分割され、重要度の高い順に並び替えて読み出されるようにしても良いし、曲の中の重要度の高い部分が最初に送信されるようにフレームを並べ替えるようにしても良い。音楽データの場合、例えば図３（ａ）に示すように、データ作成者がリスナに高品質で聴いてほしい、いわゆる“さび”の部分（この例ではフレーム番号１６〜２０）を、同図（ｂ）に示すように詳細データの最初に配置する。これにより、詳細データのダウンロードを途中で中止した場合でも、作成者が聴いてほしい部分については、高品質な再生音で聴くことが出来る。このような詳細データの並べ替えは、並べ替え部４にて行われる。
【００１７】
図４は、受信部の構成を示すブロック図である。
ネットワークを介して伝送されたビットストリームは、データ受信部１１で受信され、記憶装置１２に一旦格納されたのち、逐次デコーダ１３に供給される。逐次デコーダ１３は、ヘッダが検出されてから境界識別子が検出されるまでのデータを概略データであると認識して、逐次デコードを開始する。これにより、リアルタイムでのデコードが実現され、再生品質は若干落ちるものの、軽く試聴するには十分の再生音がリアルタイムで得られる。
【００１８】
また、ネットワークの混雑状況によっては、ビットレートをかなり下げてもリアルタイムの伝送が不可能になる場合がある。この場合には、ネットワーク状況監視部１４がネットワークの状況を監視して、その監視結果をデコード制御部１５に伝送する。デコード制御部１５は、ネットワークの状況に応じて、例えば１分待ち、２分待ち、…のように、待ち時間を設定し、この待ち時間の間は、データを受信するだけで逐次デコードを行わないようにすると共に、待ち時間が経過した後は連続的な逐次デコードを開始するように逐次デコーダ１５を制御する。これにより、音切れのないほぼリアルタイムに近いデコードが可能になる。
【００１９】
詳細データは、この概略データに続いて受信されることになるが、受信部での試聴結果によってリスナが更に高品質の音声情報の伝送を希望するか否かを選択できるようにしておき、この選択要求が受信部から送信部に伝送されるのを待って、詳細データを送信するようにしても良い。
【００２０】
詳細データの送信も完了し、記憶装置１２に詳細データが全て格納された場合には、データ合成部１６が既に伝送されている概略データと伝送が終了した詳細データとを合成する。詳細データを更に複数に分割した場合には、データ合成部１６で概略データと複数の詳細データとが合成されることになる。合成されたデータは、デコーダ１７によってデコードされる。これにより、音声信号を高品質で再生することができる。
【００２１】
次に、スケーラブル・エンコーダ１の更に具体的な実施例について説明する。
図５は、ＰＣＭデータを上位ビットと下位ビットとに分割し、上位ビットを概略データ、下位ビットを詳細データとしたスケーラブル・エンコーダ１の構成例を示す図である。
音声入力信号は、Ａ／Ｄ変換器２１で所定サンプリング周波数でアナログ・ディジタル変換され、例えば１６ビットのＰＣＭデータとなる。このＰＣＭデータは、ビット分割部２２において、例えば上位８ビットの概略データと、下位８ビットの詳細データとに分割される。付加情報生成部２３は、ヘッダや境界識別子等の付加情報を生成するもので、音声入力信号の先頭にヘッダを生成して出力し、音声入力信号の終わりに境界識別子を生成して出力する。
【００２２】
ビットレートが固定的である場合には、図６（ａ）に示すように、ビットストリームは、ヘッダ、ＰＣＭデータの上位８ビットのデータ、境界識別子、ＰＣＭデータの下位８ビットのデータの順に並べられて伝送され、受信部では、上位８ビットのＰＣＭデータをディジタル・アナログ変換してリアルタイムで音声を再生し、下位８ビットのＰＣＭデータも伝送されたら、対応するフレームの上位８ビットと下位８ビットとで１６ビットのＰＣＭデータを合成してディジタル・アナログ変換することにより、高品質の音声を再生する。概略データとしての上位８ビットのＰＣＭデータは、フルビットで送信する場合に比べてビットレートを１／２まで低下させることができるので、低速のネットワークでもリアルタイムでの音声伝送が可能になる。また、詳細データとしての下位８ビットのＰＣＭデータの伝送待ち時間も、フルビットのデータを再送する場合に比べ、１／２に短縮することができる。
【００２３】
ネットワーク状況に応じてビットレートを変更する場合には、ビットレート情報に応じてビット分割部２２が上位のビット数と下位のビット数とを変更し、付加情報生成部２３は、ビットレートの変更を示す情報を出力する。ＰＣＭデータが１６ビットであるとすると、例えば図６（ｂ）に示すように、ヘッダに続く最初の概略データは、上位８ビットに固定しておき、８ビットのデータの境界に“０”（ビットレート変更なし）又は“１”（ビットレートの変更あり）のデータを挿入しておく。そして、“１”（ビットレートの変更あり）が挿入された場合には、それに続く２ビットをビットレートの変更を示す情報として、
００  →  １ビット増加
０１  →  ２ビット増加
１０  →  １ビット減少
１１  →  ２ビット減少
のように、増減するビット数を指示するようにすればよい。
【００２４】
図７は、多チャネルの音声信号のうち１チャネルを概略データ、残りのチャネルを詳細データとした場合のスケーラブル・エンコーダ１の例である。
第１及び第２チャネルの音声信号は、例えば左右チャネルのステレオ信号であり、第３チャネルは、例えばスーパーウーハー信号である。これら各チャネルの信号は、Ａ／Ｄ変換器３１，３２，３３でそれぞれＡ／Ｄ変換される。第１及び第２チャネルのディジタルデータは、加算器３４で加算されてモノラル信号となり、このモノラル信号が概略データとして出力される。一方、第１及び第２チャネルのディジタルデータは、減算器３５で差分信号（１ｃｈ−２ｃｈ）となる。そして、この差分信号と第３チャネルの信号とが詳細データとして出力される。付加情報生成部３６は、モノラル信号の先頭でヘッダを生成出力し、末尾で境界識別子を生成出力する。これにより、生成されるビットストリームは、図８のように、ヘッダ、（１ｃｈ＋２ｃｈ）のデータ、境界識別子、（１ｃｈ−２ｃｈ）及び３ｃｈのデータの順に続くデータとなる。
【００２５】
図９は、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−Ａｕｄｉｏにこの発明を適用した場合のスケーラブル・エンコーダ１のブロック図である。
入力音声は、サブバンド分割部４１で例えば３２の周波数帯域に分割され、各バンド毎にサブサンプリングされて１バンド１２サンプル程度のデータとなる。このデータがスケーリング部４２で、正規化された波形と倍率とに分離され、量子化部４３に供給される。一方、入力信号は、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）部４４において、高速フーリエ変換される。求められた音声スペクトラムと、スケーリング部４２で求められたバンド毎の波形及び倍率とに基づき、マスキング効果も加味した聴覚心理モデル４５に応じたビット割り当てがビット割り当て部４６にて行われる。このビット割り当てに応じて量子化部４３が各バンド毎の波形と倍率とを量子化する。ビットストリーム構成部４７は、このうち、低域部分のデータを概略データとして出力し、高域部分のデータを詳細データとして出力する。低域部分にどの程度のビットレートを割り当てるかは、ビットレート情報に基づき、ビット割り当て部４６及びビットストリーム構成部４７が決定する。生成されたビットストリームのフォーマットは、図１０（ａ）のように、ヘッダ、低域部分のデータ、境界識別子、高域部分のデータが順に並んだものとなる。また、ビットレートを可変にした場合には、同図（ｂ）のように、ヘッダに続く低域部分のデータのビットレートの変化の直前部分にビットレートの変化を示す情報が挿入されることになる。
【００２６】
図１１は、多段ベクトル量子化にこの発明を適用した場合のスケーラブル・エンコーダ１の構成を示すブロック図である。
音声入力信号又はこれをＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）等で直交変換したデータをターゲットベクトルとし、第１段出力ベクトル決定部５１では、このターゲットベクトルに対して第１の符号帳５２から最適なベクトル選択を行い、第２段出力ベクトル決定部５３では、前段で選択されたベクトルとの組み合わせで最もターゲットベクトルに近づくサブベクトルを歪計算部５５での歪計算結果に基づいて第２の符号帳５４から選択する。第１の符号帳５２から選択されたメインインデックスと第２の符号帳５４から選択されたサブインデックスとがビットストリーム構成部５６でビットレート情報に基づいて合成されてビットストリームが生成される。この場合、メインインデックスだけでも、ある程度の品質の音声の再生は可能であるため、メインインデックスを概略データ、サブインデックスを詳細データとして用いることができる。
【００２７】
ビットレートを固定的に設定した場合には、ビットストリームは、図１２に示すように、ヘッダ情報、概略データとしてのメインインデックス、境界識別子、詳細データとしてのサブインデックスの順に伝送される。ビットレートをネットワーク状況に応じて変化させる場合には、メインインデックスを適当に間引きしたり、メインインデックスにサブインデックスも加えて概略データとすればよい。
【００２８】
【発明の効果】
以上述べたように、この発明によれば、送信部が逐次再生可能な低ビットレートの概略データを送信し、受信部がこの概略データを、詳細データの受信を待つことなく逐次再生するので、音楽情報の概要を待ち時間なしに軽く試聴することができ、しかも受信側のユーザが更に高品質で同じ音声情報を聴きたい場合には、詳細データの伝送を待って音声情報の再生を行えばよく、この場合の待ち時間も従来に比べて格段に軽減され、且つ受信された概略データの試聴の結果、受信側のユーザの期待に添わなかった場合には、以後のデータの受信を中止することができ、これによるデータの無駄な伝送が防止できるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の一実施例に係る音声符号化伝送方式の送信部のブロック図である。
【図２】同送信部から送信されるビットストリームのフォーマットを示す図である。
【図３】同ビットストリームにおける詳細データの並べ替えの例を示す図である。
【図４】同音声符号化伝送方式の受信部のブロック図である。
【図５】同送信部におけるスケーラブル・エンコーダの第１の実施例を示すブロック図である。
【図６】同エンコーダにより生成されるビットストリームのフォーマットを示す図である。
【図７】同送信部におけるスケーラブル・エンコーダの第２の実施例を示すブロック図である。
【図８】同エンコーダにより生成されるビットストリームのフォーマットを示す図である。
【図９】同送信部におけるスケーラブル・エンコーダの第３の実施例を示すブロック図である。
【図１０】同エンコーダにより生成されるビットストリームのフォーマットを示す図である。
【図１１】同送信部におけるスケーラブル・エンコーダの第４の実施例を示すブロック図である。
【図１２】同エンコーダにより生成されるビットストリームのフォーマットを示す図である。
【符号の説明】
１…スケーラブル・エンコーダ、２…マルチプレクサ、３，１２…記憶装置、４…並べ替え部、５…データ送信部、６…ビットレート制御部、７，１４…ネットワーク状況監視部、１１…データ受信部、１３…逐次デコーダ、１５…デコード制御部、１６…データ合成部、１７…デコーダ。
【図１】
0003622365.tif 000002
【図２】
0003622365.tif 000003
【図３】
0003622365.tif 000004
【図４】
0003622365.tif 000005
【図５】
0003622365.tif 000006
【図６】
0003622365.tif 000007
【図７】
0003622365.tif 000008
【図８】
0003622365.tif 000009
【図９】
0003622365.tif 000010
【図１０】
0003622365.tif 000011
【図１１】
0003622365.tif 000012
【図１２】
0003622365.tif 000013