(57)【特許請求の範囲】
【請求項１】
ユーザにマルチメディア信号を呈示する呈示手段を有するマルチメディア信号再生装置であって、当該装置局は、前記マルチメディア信号を搬送するパケットの到着遅延を示す遅延測定値を判定する遅延判定手段を有し、前記呈示手段は、前記遅延測定値と基準値との差を示す差信号を判定する比較手段を具備する制御手段を有し、前記呈示手段は、前記差信号に基づいて呈示速度を調整する調整手段を有する、ことを特徴とする装置。
【請求項２】
請求項１に記載の装置であって、前記マルチメディア信号は、オーディオ信号を有し、前記呈示手段は、前記オーディオ信号の検知されたイントネーションを実質的に変えることなく前記オーディオ信号の呈示速度を変えるよう構成されていることを特徴とする装置。
【請求項３】
請求項２に記載の装置であって、前記オーディオ信号は、少なくとも当該振幅及び周波数によって規定されている複数の信号を有する複数のセグメントによって表され、前記呈示手段は、当該遅延測定値に基づいて当該セグメントの存続期間を変更するよう構成されることを特徴とする装置。
【請求項４】
請求項１に記載の装置であって、前記呈示手段は、前記差信号の変動に基づいて前記基準値を適応させる適応手段を有する、ことを特徴とする装置。
【請求項５】
請求項１に記載の装置であって、前記マルチメディア信号は、ビデオ信号を有することを特徴とする装置。
【請求項６】
請求項５に記載の装置であって、前記ビデオ信号は、少なくとも１つのオブジェクトにより表され、前記呈示手段は、前記ビデオ信号における少なくとも１つのオブジェクトの移動速度を調整することにより前記呈示速度を変化させるよう構成される、ことを特徴とする装置。
【請求項７】
請求項１に記載の装置であって、前記マルチメディア信号は、少なくとも２つのコンポーネントを有し、前記遅延測定値は、当該少なくとも２つのコンポーネント間におけるタイミング差を表し、前記呈示手段は、そのタイミング差を減らすべく前記呈示速度を変化させるよう構成される、ことを特徴とする装置。
【請求項８】
マルチメディア信号を再生し、ユーザにそのマルチメディア信号を呈示する方法であって、当該方法はさらに、前記マルチメディア信号を搬送するパケットの到着遅延を表す遅延測定値を判定し、当該方法はさらに、前記遅延測定値と基準値との差を示す差信号を判定し、前記差信号に基づいて呈示速度を調整する、ことを特徴とする方法。
【請求項９】
請求項８に記載の方法であって、前記マルチメディア信号は、オーディオ信号を有し、当該方法は、前記オーディオ信号の知覚されるイントネーションを実質的に変えることなく前記オーディオ信号の呈示速度を変えることを特徴とする方法。
【請求項１０】
請求項９に記載の方法であって、前記オーディオ信号は、少なくとも当該振幅及び周波数によって規定されている複数の波形を有する複数のセグメントによって表され、当該方法は、当該遅延測定値に基づいて当該セグメントの存続期間を変更することを特徴とする方法。
【請求項１１】
請求項８に記載の方法であって、前記マルチメディア信号は、ビデオ信号を有することを特徴とする方法。
【請求項１２】
請求項１１に記載の方法であって、前記ビデオ信号は、少なくとも１つのオブジェクトにより表され、当該方法は、前記ビデオ信号における少なくとも１つのオブジェクトの移動速度を調整することによって前記呈示速度を変えることを特徴とする方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチメディア信号を再生する装置に関する。かかる装置は、ユーザにそのマルチメディア信号を呈示（ないしは再生）するための呈示手段を有するものである。本発明はまた、マルチメディア信号を再生する方法に関する。
【０００２】
【従来の技術】
このようなシステムは、１９９５年５月４日、Ｖ．ハードマン（Hardman）らにより、ＵＲＬ：http://www.isoc.org/HMP/PAPER/2070/html/paper.htmlにおけるＩＳＯＣウェブサイト上で発表された論文「インターネット上の使用に確実なオーディオ（Reliable Audio for Use over the Inernet）」から知られる。
【０００３】
上記論文において記述されているシステムは、（例えばインターネット、ＡＴＭネットワーク又はＭＰＥＧ−２トランスポートストリームのような）パケット交換網（packet switched network）においてオーディオ及びビデオ情報の如きマルチメディア信号を伝送するのに用いられる。
【０００４】
パケット交換網上にマルチメディア信号の実時間伝送に伴う主要な問題は、パケット損失、パケット遅延及びパケット遅延分散が生じることである。パケット損失は、不完全パケット系列がユーザに呈示される前にそれらを完成させるための復元技術を用いることによって防止される。
【０００５】
パケット遅延分散は、ユーザに呈示されるために利用可能なパケットを常に持つための大規模受信バッファを用いることによって処理される。これを実現可能にするために、受信バッファは、起こりうる最大遅延分散を処理するのに十分大きくされなければならない。これにより、マルチメディア信号がユーザに呈示される前に当該マルチメディア信号の十分な遅延をもたらすのである。
【０００６】
マルチメディア信号の大きい遅延は、インターネット電話通信システムのような全二重通信システム、及びビデオ会議システムやネットワークゲームのような複数関係者システム（マルチパーティシステム）において特に問題となっている。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、かかる序文によるタイプの伝送システムであって、終端間遅延全部が大幅に短縮された伝送システムを提供することである。
【０００８】
【課題を解決するための手段】
この目的を達成するために、本発明による伝送システムは、当該第２の局が、前記マルチメディア信号を搬送するパケットの到着遅延を判定する遅延判定手段を有し、前記呈示手段は、前記マルチメディア信号を搬送するパケットの到着遅延に基づいてその呈示速度を変えるよう構成されていることを特徴としている。
【０００９】
かかるパケット遅延を判定して呈示速度を当該パケット遅延に依存させることにより、より小さいサイズのバッファは、遅延分散を処理するために当該第２の局に用いることができる。第２の局におけるこの小さくなったバッファサイズにより、全体の末端間遅延が大幅に低減される。
【００１０】
実験により、約２４０％の呈示速度変化が、ユーザには殆ど気がつかないことが分かったのである。
【００１１】
Ｈ．サネック（Sanneck）氏らによる「オーディオパケット損失補正のための新技術（A New Technique for Audio Packet Loss Concealment）」なる記事を見聞すると、この記事は、IEEE Globecom 219296 conference, London, November 218-222, 219296 において提示され、the Gloval Internet ’296 Conference Record, pp. 248-252において発表されたものであり、原オーディオ信号の時間伸張により損失したパケットを復元する方法を提示している。しかしながら、この記事は、マルチメディア信号を伝送する通信システムの全体の端末間遅延を低減するツールとして時間伸張（技術）を使用することは述べていない。
【００１２】
本発明の思想は、マルチメディア信号へのジッタを誘うネットワーク上でのマルチメディア信号の伝送へ適用可能なだけではなく、マルチメディアの利用可能性が何らかのジッタを呈するような全ての状況において適用可能である。
【００１３】
これの１つ目の例は、マルチメディア信号の内容が、プログラマブルプロセッサにおいて計算される必要がある場合である。その演算時間は、当該マルチメディアの実際の内容に依存することとなり、これによりマルチメディア信号は、必ずしも正確な規則正しい瞬間で利用可能であることにはならならない。これは例えば、マルチタスキングオペレーティングシステムを実行しているコンピュータの場合であり、当該技術の全ての状態においてコンピュータがゲームをする場合であって当該マルチメディア信号の計算に詳細な３Ｄ画像の描画が伴うときである。２つ目の例は、ＣＤ−ＲＯＭ又はハードディスクのような記憶装置からのマルチメディア信号を検索する場合である。
【００１４】
読取ヘッドの実際の位置に応じて、そのアクセス時間は変わりうるものであり、これによりマルチメディア信号にジッタが入る。
【００１５】
呈示速度をマルチメディア信号の利用可能性（又は可用性ないし稼働率）に基づくものとすれば、マルチメディア信号のより円滑な呈示がなされうる。
【００１６】
本発明の一実施例は、前記マルチメディア信号は、オーディオ信号を有し、前記呈示手段は、前記オーディオ信号の検知されたイントネーションを実質的に変えることなく前記オーディオ信号の呈示速度を変えるよう構成されていることを特徴としている。
【００１７】
オーディオ信号のイントネーションを変更することなく呈示速度を変更することは、当該変更された呈示速度の可聴性を低減するものである。オーディオ信号のイントネーションを変更することなくオーディオ信号の呈示速度を変更する方法は、先行技術において幾つか知られている。その１つの例は、上記Globecomの記事に提示されている。
【００１８】
本発明による通信システムの好ましい実施例は、前記オーディオ信号は、少なくとも当該振幅及び周波数によって規定されている複数の信号を有する複数のセグメントによって表され、前記呈示手段は、当該パケットの利用可能性（又は可用性ないし稼働率）に基づいて当該セグメントの存続期間を変更するよう構成されることを特徴としている。
【００１９】
このようにオーディオ信号の呈示をなすことにより、オーディオ信号のイントネーションを変更することなく呈示速度の変更を極めて容易に変更することが可能となる。こうした呈示において、オーディオ信号の基本周波数は、当該信号を表すのに用いられる信号の特性により規定され、オーディオ信号を復元するときに用いられるセグメントの長さが呈示速度を規定するのである。
【００２０】
かかる復元装置に用いられるセグメントの長さが当該セグメントの公称の長さよりも長いときは、再生呈示速度は、オリジナルの呈示速度よりも低くなる。
【００２１】
かかる復元装置に用いられるセグメントの長さが当該セグメントの公称の長さよりも短いときは、再生呈示速度は、オリジナルの呈示速度よりも高くなる。
【００２２】
本発明の他の実施例は、前記呈示手段は、前記遅延測定値と基準値との差を示す差信号を判定する比較手段を具備する制御手段を有し、前記呈示手段は、前記差信号に基づいて呈示速度を調整する調整手段を有する、ことを特徴としている。
【００２３】
この実施例は、遅延測定値から呈示速度を判断するための容易かつ有効な方法を提供するものである。
【００２４】
本発明のさらに他の実施例は、前記呈示手段は、前記差信号の変動に基づいて前記基準値を適応させる適応手段を有する、ことを特徴としている。
【００２５】
当該基準値を当該差信号の変動（成分）に依存して基準値を変更することによって、平均バッファサイズは、マルチメディア信号に存在するジッタの実際の量に基づいたものとすることができる。ジッタが高い場合、当該基準値は大きな値を持つことになり、バッファに存在するパケットが多くなる。ジッタが低い場合、当該基準値は低い値を持つことになり、バッファに存在するパケットが少数となる。
【００２６】
このように、バッファの実際のサイズは、マルチメディア信号に存在するジッタの実際量を処理するのに必要なものよりも、決して大きくならないのである。
【００２７】
本発明のまた別の実施例は、マルチメディア信号がビデオ信号を有している場合に有用であり、前記ビデオ信号は、少なくとも１つのオブジェクトにより表され、前記呈示手段は、前記ビデオ信号における少なくとも１つのオブジェクトの移動速度を調整することにより前記呈示速度を変化させるよう構成される、ことを特徴としている。
【００２８】
本発明のこの実施例は、ＭＰＥＧ−４のビデオ信号における場合のように、分離した複数のオブジェクトにより表されるビデオ信号に有用である。このようなビデオ信号において、呈示速度は、当該オブジェクト以上の移動速度を調整することにより簡単に変えることができる。呈示速度を変更するこの手法は、当該装置のユーザには殆ど気づかれない。
【００２９】
本発明のまた別の実施例は、前記マルチメディア信号は、少なくとも２つのコンポーネントを有し、前記遅延測定値は、当該少なくとも２つのコンポーネント間におけるタイミング差を表し、前記呈示手段は、そのタイミング差を減らすべく前記呈示速度を変化させるよう構成される、ことを特徴としている。
【００３０】
本発明はまた、マルチメディア信号の２以上のコンポーネントに同期させるのに適している。そして遅延測定値は、その２つのコンポーネントの間におけるタイミング差を表すものとなる。このタイミング差は、例えば、マルチメディア信号のコンポーネントの各々が含まれたタイムスタンプから得ることができるのである。
【００３１】
【発明の実施の形態】
以下、本発明を図面を参照して説明する。
【００３２】
図１による通信システムにおいて、伝送されるべきマルチメディア信号は、第１の局又は端末３におけるエンコーダ１に供給される。エンコーダ１は、かかる入力信号から符号化されたマルチメディア信号を得るように構成される。エンコーダ１の出力は、送信器２の入力に接続される。送信器２は、伝送に適した送信信号を得るよう構成される。この送信器の出力は、当該第１の局の出力を構成し、パケット交換伝送ネットワーク４に接続されている。
【００３３】
また、第２の局６も、パケット交換ネットワーク４に接続される。第２の局６は、ネットワーク４から符号化マルチメディア信号を有するパケットを受信する受信器８を有する。受信器８は、バッファメモリ１０に当該マルチメディア信号を有するパケットを転送する。一般に、バッファメモリ１０は、ＦＩＦＯメモリとされることが多い。かかるＦＩＦＯメモリでは、パケットがバッファメモリ１０に書き込まれるのと同じ順番でバッファメモリ１０からパケットが読み出される。バッファメモリ１０の第１の出力は、一時的にバッファメモリ１０に記憶されたバッファ記憶パケットを搬送するものであり、呈示手段１４と接続される。
【００３４】
バッファメモリ１０の第２の出力は、マルチメディア信号を搬送するパケットの到着遅延を示す測定値を搬送するものであり、制御装置１２の第１の入力に接続される。かかる到着遅延を示す測定値は、バッファにおける現在のパケット数を有することが可能である。当該遅延が増加すると、バッファ１０のパケット数が減り、当該遅延が減少すると、当該バッファのパケット数は、増加することになる。バッファに存在するパケット数は、読出ポインタと書込ポインタとの位置間の差を計算することによって容易に判定可能である。
【００３５】
マルチメディア信号がタイムスタンプを有する場合、当該マルチメディア信号の所定の部分の実際の到着時間と、当該マルチメディア信号の当該所定の部分に関連したタイムスタンプとの比較から遅延測定値を得ることもできる。
【００３６】
制御装置１２の第１の出力は、読出制御信号を搬送するものであり、バッファメモリ１０の第２の入力に接続される。かかる読出制御信号は、バッファメモリ１０に対しその出力に次のパケットを出力するよう指示する。制御装置１２の第２の出力は、呈示速度を示すものであり、呈示手段１４におけるデコーダ１６の制御入力に接続される。本発明の発明性に係るコンセプトによれば、制御装置１２は、伝送遅延を示す測定値に基づいて呈示速度を判定する。かかる伝送遅延の測定尺度は、ここではバッファ１０に存在するパケット数である。セグメント長さ指示子は、合成すべきセグメントの実際の長さをデコーダ１６に知らせる。
【００３７】
デコーダ１６は、バッファ１０から受信した符号化信号からマルチメディア信号のサンプルのセグメントを得る。セグメントの持続期間は一定である必要がないが、マルチメディア信号の呈示速度を変更するためにセグメント長さ指示子に応答して変わるようにしてもよい。デコーダ１６の出力は、ある呈示装置１８に接続される。かかる呈示装置は、マルチメディア信号がオーディオ信号を有する場合にはスピーカとすることができ、マルチメディア信号がビデオ信号を有する場合には表示装置とすることができる。
【００３８】
図２による制御装置１２において、伝送遅延を示す入力信号は、コンパレータ２０の第１の入力に供給される。本実施例において、この入力信号は、バッファにおけるパケット数を示す。コンパレータ２０は、バッファにおけるパケット数を基準値ＲＥＦと比較する。コンパレータ２０の出力は、ローパスフィルタ２２を介してクロック信号発生器２４の制御入力端に結合する。クロック信号発生器２４は、バッファ１０の読出制御信号と、デコーダ１６のフレーム長さ指示子とを発生する。
【００３９】
バッファにおけるパケット数が基準値より小さい場合、それは伝送遅延が増加したことを意味する。従って、コンパレータ２０は、クロック信号発生器をして読出制御信号の周波数を低減せしめかつ当該フレーム長指示子により示されるフレーム長を増大せしめる出力信号を発生する。これにより、呈示速度が低下することになる。こうして呈示速度が低下することにより、バッファの読み出しは少なくなり、割に頻繁にバッファにパケットを詰め込む機会を与えることとなる。従って、バッファにおけるパケット数は、しばらくして増加することになる。
【００４０】
バッファにおけるパケット数が基準値ＲＥＦを超える場合には、コンパレータの出力信号は、クロック信号発生器をして読出制御信号の周波数を増大せしめかつフレーム長さ指示子によって示されるフレーム長を減少せしめる出力信号を発生することとなる。このように基準値を超えることは、例えば、突発的に減少する伝送遅延によって生じうる。読出制御信号の周波数が増えると、呈示速度が上昇することになる。このような呈示速度の上昇により、バッファ内のパケット数は、しばらくして減ることになる。
【００４１】
このように、それ相応に呈示速度を変えることによって、遅延変化を補正する制御ループが得られる。フィルタ２２は、クロック信号発生器に供給される前にコンパレータの出力信号のある種の平滑化をなすようコンパレータ２０とクロック信号発生器との間に設けられる。また、フィルタ２２を省略することも考えられる。
【００４２】
バッファ１０の最小遅延で遅延変化の補償をなすために、基準値ＲＥＦは、（平均化された）遅延分散の関数として変更可能である。
【００４３】
殆ど遅延分散を示していない伝送チャネルのために呈示速度が殆ど一定の場合、バッファのサイズを非常に小さくすることができる。この場合、基準値を低い値にセットすることができる。
【００４４】
呈示速度が、相当に大なる遅延分散を示している伝送チャネルのために大きく変化する場合、バッファのサイズは、そのバッファが空になることを防ぐために、より大きくすべきである。この場合、基準値ＲＥＦは、大幅により高い値へ設定すべきである。
【００４５】
値ＲＥＦを呈示速度の変化に依存したものとすることにより、遅延分散に対応するバッファサイズが用いられる。これら測定値は、マルチメディア信号おける知覚可能な瞬時降下を伴うことなく、末端から末端への遅延を低くすることとなる。
【００４６】
かかる遅延分散は、遅延測定値の最大値と最小値との間の差を計算することによって容易に判定可能である。この最大及び最小遅延値は、所与の測定時間において判定される。
【００４７】
高速のレスポンスを得るために、マルチメディア信号の再生の開始において低い値に基準値を設定することもできる。この方法により、当該応答時間を、±２００のｍｓに対応する、数１０パケットの期間に短縮することができる。
【００４８】
図３によるコントローラ１２の代替実施例において、各パケットがタイムスタンプを有するものと考えられる。カウンタ３５３によって、人工のタイムスタンプは、呈示速度も決定するクロック発振器３５２によって生成されるクロック信号から得られる。加算器３５０は、パケットにおける実際のタイムスタンプとカウンタ３５３の出力に得られる人工のタイムスタンプとの間の差を判定する。この差は、本発明の発明性に係るコンセプトによる遅延測定値である。
【００４９】
実際のタイムスタンプが人工のタイムスタンプより大きい場合、呈示速度は新たなパケットが到着する速度よりも低い。バッファのオーバーフローを防ぐために、呈示速度は増大せしめられる。実際のタイムスタンプが人工のタイムスタンプより小さい場合、呈示速度は新たなパケットが到着する速度より高い。バッファがエンプティ（空）となるのを防ぐため、呈示速度は、減少せしめられる。ローパスフィルタ３５１は、呈示速度の変動を平滑化するために設けられている。
【００５０】
受信レートｆｒから呈示レートｆｐを判定する代替アルゴリズムは、以下に示される。受信レートｆｒは、１／（Ｔreceive［ｋ］−Ｔreceive［ｋ−１］）によって規定される。ここで、Ｔreceive［ｋ］−Ｔreceive［ｋ−１］は、２つ連続パケットの到着時間の差である。呈示レートｆｐは、１／（Ｔpresentation［ｋ］−Ｔpresentation［ｋ−１］）により規定される。ここで、Ｔpresentation［ｋ］−Ｔpresentation［ｋ−１］は、２つの連続パケットの呈示時間の差である。
【００５１】
以下においては、２つの連続パケットの到着時間差値が前回の２つの到着時間差値の和より決して大きくないと仮定したものである。これは、次のように書くことができる。
【数１】
0004485690.tif 000002
このアルゴリズムおいては、バッファに３つのパケットを維持することが目標である。このアルゴリズムは、次のように動作する。
【００５２】
Ａ．  時間ＴＰ［ｉ−２］で３つのパケット（パケットｉ−２，パケットｉ−１及びパケットｉ）がバッファにある場合、パケットｉ−２はバッファから出されて前回パケットｉ−３を受信したレートで呈示される。これは、ｆＰ［ｉ−２］＝ｆｒ［ｉ−３］によって表すことができる。
【００５３】
Ｂ．  時間ＴＰ［ｉ−１］ではパケットｉ−２の呈示が完了している。ＴＰ［ｉ−１］は次のように書くことができる。
【数２】
0004485690.tif 000003
こうして、２つの状況が識別可能となる。ＴＰ［ｉ−］でパケットｉ＋１が既に再び到来している場合、３つのパケットがバッファに存在し、次のパケットｉ−１に用いられる呈示レートがＡによって判定される。パケットｉ＋１が未だ到着しておらずこれによりｆｒ［ｉ］が認識されていないとき、上記仮定（１）は、遅くともパケットｉ＋１の到着ＴＲ［ｉ＋１］について
【数３】
0004485690.tif 000004
と導く。
【００５４】
この場合、パケットｉ−１がバッファから取り出され
【数４】
0004485690.tif 000005
なるレートで呈示される。
【００５５】
パケットｉ−１は、前回パケットを受信したときのレートで、ある伸張期間をもって伸張して呈示される。
【００５６】
Ｃ．  時間ＴＰ［ｉ］では、パケットｉ−１の呈示が完了する。ＴＰ［ｉ］は、
【数５】
0004485690.tif 000006
に等しくなる。パケットｉは、バッファにおいて依然として待機中である。（３）式によれば、少なくともパケットｉ＋１もＴＰ［ｉ］で到着しているものとなる。バッファ内に２以上のパケットがあるかどうかにより、次のパケットのレートがＡ（３つのパケット以上）かＢ（２つのパケット）に応じて判定される。
【００５７】
かかるアルゴリズムにより、（１）式が適用できると仮定すると、バッファが決してアンダーフローしないことが確実となる。それは、バッファのオーバーフローに対してバウンドしない。これに代わる幾つかの手法も考えられる。
【００５８】
バッファにおける３つのパケットにつき当該ルールを実施する。パケットが平均で一定レートにて到来すると考えたとき、ｆｐがｆｒにロックしているので、バッファは安定することになる。
【００５９】
ｆｐ［ｉ］＝ｆｒ［ｉ］であり、すなわち△Ｔ ＢＵＦ＝一定である。受信レートが減少するとバッファはエンプティになり、そうでなければ一定のままとなる。
【００６０】
ｆｐ［ｉ］＝最大｛ｆｐ［ｉ−１］ｆｒ［ｉ］ｆｒ［ｉ＋１］，．．．｝
【００６１】
ｆｐ［ｉ］は、一定なビットレートに出力レートを安定させるバッファにおける全てのパケットのすべてのｆｒの平均である。
【００６２】
バッファにおけるパケット数が増加するとき呈示レートを増やすのに縮小期間を用いる。
【００６３】
図４による音声エンコーダ１の入力信号ｓｓ［ｎ］は、当該入力から不要なＤＣオフセットを排除するためにＤＣノッチフィルタ２１０によって濾過される。このＤＣノッチフィルタは、１５Ｈｚのカットオフ周波数（−３ｄＢ）を有する。ＤＣノッチフィルタ２１０の出力信号は、バッファ２１１の入力端に供給される。本発明によれば、バッファ２１１は、有声音エンコーダ２１６に４００点のＤＣフィルタ処理済音声サンプルのブロックを供給する。かかる４００点サンプルのブロックは、１０ｍｓの音声に係る５つのフレーム（それぞれ８０点のサンプルがある）を有する。かかるフレームは、現在符号化されるべきフレーム、先行の２つのフレーム及び後続の２つのフレームを有する。バッファ２１１は、各フレーム期間において最新に受信したフレームの８０点のサンプルを２００Ｈｚ高域通過フィルタ２１２の入力端に供給する。高域通過フィルタ２１２の出力は、無声音エンコーダ２１４の入力端と有声／無声音検出器２２８の入力端とに接続される。高域通過フィルタ２１２は、有声／無声音検出器２２８に３６０サンプルのブロックを供給し、１６０サンプル（音声エンコーダ４が５．２ｋｂｉｔ／ｓｅｃのモードで動作する場合）又は２４０サンプル（音声エンコーダ４が３．２のｋｂｉｔ／ｓｅｃのモードで動作する場合）のブロックを無声音エンコーダ２１４に提供する。上述したサンプルの種々のブロックとバッファ２１１の出力との関係は、下表に示される。
【表１】
0004485690.tif 000007
有声／無声音検出器２２８は、現フレームが有声又は無声音声を有するかどうかを判定し、その結果を有声／無声フラグとして呈示する。このフラグは、マルチプレクサ２２２、無声音エンコーダ２１４及び有声音エンコーダ２１６に送られる。有声／無声フラグの値に従って、有声音エンコーダ２１６又は無声音エンコーダ２１４は、起動（活性化）される。
【００６４】
有声音エンコーダ２１６においては、入力信号は、調和振動で関連した複数の正弦波信号として表される。有声音エンコーダの出力は、ピッチ値、ゲイン値及び２１６個の予測パラメータの表現値を提供する。このピッチ値及びゲイン値は、マルチプレクサ２２２の対応する入力端に供給される。
【００６５】
５．２ｋｂｉｔ／ｓｅｃのモードおいて、当該ＬＰＣ計算は、１０ｍｓ毎に実行される。３．２ｋｂｉｔ／ｓｅｃにおいては、無声音から有声音又はその逆における遷移がなされた場合を除き、当該ＬＰＣ計算は２０ｍｓ毎に実行される。このような遷移が起きた場合、３．２ｋｂｉｔ／ｓｅｃのモードにおいては当該ＬＰＣ計算が１０ｍｓｅｃ毎に実行される。
【００６６】
有声音エンコーダの出力の当該ＬＰＣ係数は、マルチプレクサ２２２の対応する入力端に転送される。
【００６７】
無声音エンコーダ２１４においては、１つのゲイン値と６つの予測係数が判定され、無声音信号を示す。かかるゲイン値及び６つのＬＰＣ係数は、マルチプレクサ２２２の対応する入力端に送られる。マルチプレクサ２２２は、有声／無声ディテクタ２２８の決定に基づいて、符号化された有声音信号又は符号化された無声音信号を選択するよう構成される。マルチプレクサ２２２の出力端では、当該符号化された音声信号が得られる。
【００６８】
図５による音声デコーダ２１６において、符号化されたＬＰＣコード及び有声／無声フラグは、デマルチプレクサ９２に渡される。ゲイン値及び受信された改良ピッチ値も、デマルチプレクサ９２に渡される。
【００６９】
有声／無声フラグが有声音フレームを示す場合、デマルチプレクサ９２は、高調波音声合成器９４に改良ピッチ、ゲイン及び１６個のＬＰＣコードを渡す。有声／無声フラグが無声音フレームを示す場合、デマルチプレクサ９２は、無声音合成器９６にゲイン及び６つのＬＰＣコードを渡す。高調波音声合成器９４の出力における合成された有声音信号
【外１】
0004485690.tif 000008
と無声音合成器９６の出力における合成された無声音信号
【外２】
0004485690.tif 000009
は、マルチプレクサ９８の対応する入力端に供給される。
【００７０】
有声モードにおいて、マルチプレクサ９８は、重複及び付加合成ブロック１００の入力端に、高調波音声合成器９４の出力信号
【外３】
0004485690.tif 000010
を送る。無声モードにおいて、マルチプレクサ９８は、重複及び付加合成ブロック１００の入力端に、無声音合成器９６の出力信号
【外４】
0004485690.tif 000011
を送る。重複及び付加合成ブロック１００において、部分的に重なり合う有声音及び無声音セグメントが加算される。重複及び付加合成ブロック１００の出力信号
【外５】
0004485690.tif 000012
については、
【数６】
0004485690.tif 000013
と書くことができる。ここで０＜ｎ＜ＮＳである。
【００７１】
（６）式において、ＮＳは音声フレームの長さであり、ｖｋ−１は前回音声フレームの有声／無声フラグであり、ｖｋは現在の音声フレームの有声／無声フラグである。長さＮＳは所望の呈示速度に応じて変更可能であることが分かる。フレームｋ−１の長さがＮｋ−１と等しい場合、（６）式は
【数７】
0004485690.tif 000014
と変更される。ここで０＜ｎ＜ＮＳである。
【００７２】
重複及び付加合成ブロック１００の出力信号
【外６】
0004485690.tif 000015
は、後段フィルタ１０２に供給される。後段フィルタは、フォルマント領域外のノイズを抑圧（ないし阻止）することによって、認められる音声品質を向上させるよう構成される。
【００７３】
図６による有声音デコーダ９４において、デマルチプレクサ９２から受信される符号化ピッチは、ピッチデコーダ１０４によって復号されピッチ周波数に変換される。ピッチデコーダ１０４によって判定されるピッチ周波数は、位相合成器１０６の入力端と、調波発振器バンク１０８の入力端と、ＬＰＣスペクトルエンベロープサンプラ１１０の第１の入力端に供給される。
【００７４】
デマルチプレクサ９２から受信したＬＰＣ係数は、ＬＰＣデコーダ１１２によってデコードされる。ＬＰＣ係数をデコードする方法は、現音声フレームが有声又は無声音を含むかどうかによる。したがって、有声／無声フラグは、ＬＰＣデコーダ１１２の第２の入力端に供給される。ＬＰＣデコーダは、ＬＰＣスペクトルエンベロープサンプラ１１０の第２の入力端に、復元されたａパラメータを転送する。ＬＰＣスペクトルエンベロープサンプラ１１２の動作は、（１３），（１４）及び（１５）により記述される。その理由としては、同じ動作がその改良されたピッチコンピュータ３２において行われるからである。
【００７５】
フェーズシンセサイザ１０６は、音声信号を表しているＬ個の信号のｉ番目の正弦波信号の位相
【外７】
0004485690.tif 000016
を計算するよう構成される。この位相
【外８】
0004485690.tif 000017
は、ｉ番目の正弦波信号が１のフレームから次のフレームまで連続的なままとなるよう選択される。有声音信号は、ウィンドウ処理されたＮＳ個のサンプルをそれぞれ有する重複フレームを組み合わせることにより合成される。図７におけるグラフ２１９及びグラフ２２３から分かるように、２つの隣接フレーム間には５０％のオーバーラップがある。グラフ２１９及び２２３においては、使用されるウィンドウが破線で示されている。そこで位相合成器は、当該オーバーラップがその最も大きい衝撃を持つ位置で、連続位相を提供するよう構成される。ここで用いられるウィンドウ関数では、この位置は、サンプル１１９のところである。現フレームの位相
【外９】
0004485690.tif 000018
については、ここでは次のように書くことができる。
【数８】
0004485690.tif 000019
目下記述されている音声エンコーダにおいては、ＮＳの値は１６０に等しい。最も早い有声音フレームにとって、
【外１０】
0004485690.tif 000020
の値は初期化されて所定値となる。
【００７６】
調波発振器バンク１０８は、音声信号を示す複数の調和振動的に関連する信号
【外１１】
0004485690.tif 000021
を発生する。この計算は、高調波振幅
【外１２】
0004485690.tif 000022
と、周波数
【外１３】
0004485690.tif 000023
と、次の式に従う合成位相
【外１４】
0004485690.tif 000024
とを用いて行われる。
【数９】
0004485690.tif 000025
上記信号
【外１５】
0004485690.tif 000026
は、時間領域ウィンドーイングブロック１１４において、ハニング（Hanning）窓を用いてウインドウ処理される。このウインドウ処理された信号は、図７のグラフ２２１おいて示される。信号
【外１６】
0004485690.tif 000027
は、時間的にシフトされたＮＳ／２個のサンプルであるハニング窓を用いてウインドウ処理される。このウインドウ処理された信号は、図７のグラフ２２５に示される。時間領域ウィンドウイングブロック１１４の出力信号は、上述したウィンドウ処理された信号を加えることにより得られる。この出力信号は、図７のグラフ２２７に示される。ゲインデコーダ１１８は、その入力信号からゲイン値ｇｖを得、時間領域ウィンドウイングブロック１１４の出力信号は、復元された有声音信号
【外１７】
0004485690.tif 000028
を得るために、信号スケーリングブロック１１６によりそのゲイン係数ｇｖによりスケール処理される。
【００７７】
本発明の発明性に係るコンセプトによりマルチメディアの呈示速度が変更される場合、幾つかの変更は上述された合成プロセスに対してなされなければならない。以下おいては、フレーム長指示子は、複数のサンプルＮｉ（ｉはフレームの数）により示されると仮定される。先ず、位相
【外１８】
0004485690.tif 000029
は、合成されるべき現フレームに先行するフレームのサンプル数Ｎｉ−１及びＮｉ−２から判断されなければならない。これらの位相は、次のようにして計算される。
【数１０】
0004485690.tif 000030
その後、信号
【外１９】
0004485690.tif 000031
は次のようにして合成される。
【数１１】
0004485690.tif 000032
フレームにおけるサンプル数が公称値ＮＳと異なる場合、時間領域ウィンドウイングブロック１１４の動作も、少し変更される。信号
【外２０】
0004485690.tif 000033
をウィンドウ処理するのに用いられるハニング窓の長さは、ＮＳに代わりＮｋに等しくされる。
【００７８】
図８には、図７におけるのと同じ信号が示されているが、ここでは２つのセグメントの境界で呈示速度が変更される。グラフ４１８によって表されるセグメントは、グラフ４２２によって表されるセグメントより大幅に短い。グラフ４２０及び４２４によりウィンドウイングしそのウィンドウ処理された信号を加算した後は、グラフ４２６による信号が得られる。
【００７９】
図９による無声音合成器９６において、ＬＰＣコード及び有声／無声フラグは、ＬＰＣデコーダ１３０に供給される。ＬＰＣデコーダ１３０は、ＬＰＣ合成フィルタ１３４に、複数の６つのａパラメータを提供する。ガウス白色ノイズ発生器（Gaussian White-Noise Generator）１３２の出力端は、ＬＰＣ合成フィルタ１４３の入力端に接続される。ＬＰＣ合成フィルタ１３４の出力信号は、時間領域ウィンドウイングブロック１４０おいて、ハニング窓によってウインドウ処理される。
【００８０】
無声ゲインデコーダ１３６は、現在の無声フレームの所望のエネルギーを表すゲイン値
【外２１】
0004485690.tif 000034
を得る。適正なエネルギーの音声信号を得るために、ウインドウ処理された信号のこのゲイン及びエネルギーから、ウインドウ処理音声信号ゲインのスケーリング係数
【外２２】
0004485690.tif 000035
が判定される。このスケーリング係数については次のように書くことができる。
【数１２】
0004485690.tif 000036
信号スケーリングブロック１４２は、スケーリング係数
【外２３】
0004485690.tif 000037
によって時間領域ウィンドウブロック１４０の出力信号を乗算することによって出力信号
【外２４】
0004485690.tif 000038
を判定する。
【００８１】
ここで記述した音声符号化システムは、これより低いビットレート又はこれより高い音声品質を求めるべく改変可能である。低いビットレートを必要とする音声符号化システムの例としては、２ｋｂｉｔ／ｓｅｃのエンコーディングシステムがある。このようなシステムは、有声音に用いられる予測係数の数を１６から１２に低減することにより、そして予測係数、ゲイン及び改良ピッチの差分符号化を用いることにより得ることができる。差分符号化は、符号化されるべき日付が個々に符号化されないものの、次のフレームからの対応データの間の差のみを伝送することを意味する。有声音から無声音又はその反対の遷移においては、最初の新しいフレームにおいて全ての係数が個々に符号化される。に出さないスピーチへの推移又はその逆の遷移では、第１の新しいフレームおいて、当該符号化のための開始値を提供するために、全ての係数が符号化される。
【００８２】
また、６ｋｂｉｔ／ｓのビットレートの増大された速度品質を持つ音声コーダを得ることもできる。このときの改変事項は、複数の調和振動で関連する正弦波信号の最初の８つの高調波の位相の判定である。位相
【外２５】
0004485690.tif 000039
は次のように計算される。
【数１３】
0004485690.tif 000040
ここで、θｉ＝２πｆ０・ｉであり、Ｒ（θｉ）とＩ（θｉ）は、
【数１４】
0004485690.tif 000041
と
【数１５】
0004485690.tif 000042
にそれぞれ等しい。
【００８３】
このように得られる８つの位相
【外２６】
0004485690.tif 000043
は、一様に６つのビットに量子化されて出力ビットストリームに含まれる。
【００８４】
６ｋｂｉｔ／ｓｅｃのエンコーダにおけるさらなる改変は、無声モードにおける付加的なゲイン値の伝送である。フレーム当たり１度の割合に代えて、通常２ｍｓｅｃ毎にゲインが伝送される。遷移直後の最初のフレームにおいては、１０個のゲイン値が伝送される。それらのうちの５つは、現在の無声フレームを示しており、それらのうちの５つは、当該無声音エンコーダにより処理された前回有声フレームを示している。これらゲインは、４ｍｓｅｃの重複ウィンドウから判定される。
【００８５】
図１０によるビデオデコーダ１６において、複数のビデオフレームからなるビデオ信号を搬送する第１の入力は、補間回路３０４の第１の入力とフレームメモリ３０２の入力とに結合される。フレームメモリ３０２は、バッファ１０から前に受信したビデオフレームを記憶するよう構成される。フレームメモリ３０２の出力は、補間回路３０４の第２の入力に接続される。
【００８６】
補間回路３０４は、前回ビデオフレームとバッファ１０から受信した今回ビデオフレームとを補間するよう構成される。この補間回路は、呈示装置１８で使用されるよう一定のフレームレートをもってその出力端にビデオ信号を供給する。
【００８７】
本発明の発明性にかかるコンセプトによれば、当該呈示速度は、遅延測定値に依存する。この場合、バッファ１０から受信されるビデオフレームが必ずしも同じ間隔で表示されないことを意味する。２つのフレーム間の間隔は、当該遅延測定値に依存するのである。
【００８８】
実質的に一定のフレームレートをもってビデオ信号を呈示装置に提供可能とするために、補間回路３０４は、バッファ１０から受信されるビデオフレーム間の間隔に依存した複数の補間フレームを判定する。
【００８９】
計算手段３０６は、図２におけるクロックジェネレータ２４によって定められる呈示速度から、補間されるべきフレーム数を計算する。タイムスタンプがビデオ信号に用いられている場合、今回及び前回フレームのタイムスタンプ間の差△が計算手段３０６に供給される。これにより、計算手段３０６が、１以上のビデオフレームが消失した場合に補間すべきフレームの適正な数を判定することも可能となる。
【００９０】
適切な補間回路３０４は、１９９８年３月にオーランドで開かれたＷｉｎｈｅｃ ９８において、Ｇ．デ・ハーン（de Haan）氏により論文「ＰＣにおける揺れ回避ビデオ（Judder free video on PC’s）」に記述されている。
【図面の簡単な説明】
【図１】本発明による通信システムのブロック図を示す。
【図２】図１による通信システムに用いられるべきコントローラ２１２を示す。
【図３】図１によるシステムに用いられるべきコントローラ１２の代替実施例を示す。
【図４】図１による通信システムに用いられるべきエンコーダ１のブロック図を示す。
【図５】図１による通信システムに用いられるべきデコーダ２１６のブロック図を示す。
【図６】デコーダ２１６において用いられる高調波音声合成器２９４をより詳細に示す。
【図７】合成フレーム長が一定の場合の高調波音声合成器２９４における種々の波形を示す。
【図８】合成フレーム長が２つの隣接合成フレーム間で変化する場合の高調波音声合成器２９４における種々の波形を示す。
【図９】デコーダ２１６において用いられる無声音合成器２９６をより詳細に示す。
【図１０】ビデオ信号を復号するための、図１によるシステムに用いられるべきデコーダ２１６のブロック図を示す。
【符号の説明】
１…エンコーダ
２…送信器
３…第１の局
４…送信網
６…第２の局
８…受信器
１０…バッファメモリ
１２…制御回路
１６…デコーダ
１８…呈示装置
【図１】
0004485690.tif 000044
【図２】
0004485690.tif 000045
【図３】
0004485690.tif 000046
【図４】
0004485690.tif 000047
【図５】
0004485690.tif 000048
【図６】
0004485690.tif 000049
【図７】
0004485690.tif 000050
【図８】
0004485690.tif 000051
【図９】
0004485690.tif 000052
【図１０】
0004485690.tif 000053