(57)【要約】時間エラーの統計的分布（５１０）を適合させ時間エラーの新しい統計的分布（５２０）を生成することにより、対応するオーディオとビデオストリームにおけるオーディオビジュアル同期の問題（例えば、「リップシンク」問題）を低減するための方法および装置が開示されている。時間エラーの新しい統計的分布（５２０）は、実質的に、視聴者にとってより不快でない受容可能な同期許容ウィンドウ（４１０）内にある。
2005523650.tif 000002
【特許請求の範囲】
【請求項１】
ビデオアクセス単位と対応するオーディオアクセス単位を受信するステップと、ここで前記ビデオおよび対応するオーディオアクセス単位は、第１の確率分布関数により記述されるオーディオビジュアル時間同期エラーを表すことに結果的につながるオーディオビジュアル情報を表示し、
前記受信したオーディオおよびビデオアクセス単位の一方を遅延量だけ時間的に遅らせるステップと、遅延されないアクセス単位と対応する遅延されたアクセス単位は、第２の確率分布関数により記述されるオーディオビジュアル時間同期エラーを表すことに結果的につながるオーディオビジュアル情報を表示し、前記第２の確率分布関数は前記第１の確率分布関数よりも同期許容ウィンドウのより大きな部分を利用することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
前記第１の確率分布関数は、関連付けられた負の時間不一致値と正の時間不一致値を有し、前記時間不一致値は異なる絶対値を有し、
前記遅延量は、前記負と正の時間不一致値の絶対値の差を小さくするように選択されることを特徴とする方法。
【請求項３】
請求項２に記載の方法であって、前記負の時間不一致値は約２０ミリ秒であり、前記正の時間不一致値は約４０ミリ秒であり、前記オーディオアクセス単位は約１０ミリ秒遅延していることを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、前記遅延量は、前記オーディオおよびビデオアクセス単位を作るオーディオおよびビデオストリームを符号化する前に与えられることを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、前記遅延量は、前記オーディオおよびビデオアクセス単位をつくるオーディオおよびビデオストリームを符号化する間に与えられることを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、
前記第１の確率分布関数の変化に応じて前記遅延量を適合するステップをさらに有することを特徴とする方法。
【請求項７】
請求項６に記載の方法であって、前記変化は、レシーバにおいてオーディオおよびビデオアクセス単位の提示タイムスタンプを調べることにより決定されることを特徴とする方法。
【請求項８】
請求項１に記載の方法であって、
オーディオビジュアル時間同期エラーを引き起こしているソースの変化に応じて前記遅延量を適合させるステップをさらに有することを特徴とする方法。
【請求項９】
請求項８に記載の方法であって、
前記オーディオビジュアル時間同期エラーを引き起こすソースは可変遅延ネットワークを有することを特徴とする方法。
【請求項１０】
符号化されたビデオおよび対応するオーディオストリームを作る方法であって、
ビデオおよびオーディオアクセス単位をそれぞれ有する符号化されたビデオおよびオーディオストリームを作るために時間的に対応するビデオおよびオーディオ情報を符号化するステップと、
同期エラー許容モデルに対応する遅延量だけ前記符号化されたビデオおよびオーディオストリームの一方を時間的に遅延させるステップを有することを特徴とする方法。
【請求項１１】
請求項１０に記載の方法であって、時間的に遅延させる前記ステップは、前記符号化の前に前記ビデオおよびオーディオストリームの一方を遅延させるステップをさらに有することを特徴とする方法。
【請求項１２】
請求項１０に記載の方法であって、前記符号化されたビデオおよびオーディオストリームの各々は、複数のビデオおよびオーディオアクセス単位を有し、
時間的に遅延させる前記ステップは、前記ビデオおよびオーディオアクセス単位の少なくとも一方に関連したタイムスタンプを前記遅延量だけ適合させるステップを有することを特徴とする方法。
【請求項１３】
請求項１０に記載の方法であって、前記符号化されたビデオおよびオーディオストリームの一方に関連したタイムスタンプは所定量だけ丸められることを特徴とする方法。
【請求項１４】
請求項１３に記載の方法であって、前記ビデオストリームタイムスタンプは、ｍｏｄｕｌｏ演算により処理されるビデオストリームタイムスタンプだけ各ビデオストリームタイムスタンプを減らすことによって推定されることを特徴とする方法。
【請求項１５】
請求項１０に記載の方法であって、時間的遅延量は、オーディオビジュアル時間的同期エラーを作っているソースの変化に応じて適合されることを特徴とする方法。
【請求項１６】
エラー許容モデルに応じてオーディオ信号および対応するビデオ信号の少なくとも一方を時間的に遅延させる遅延部と、
符号化されたオーディオおよびビデオストリームを作る前記オーディオおよびビデオ信号を符号化するエンコーダとを有することを特徴とする装置。
【請求項１７】
請求項１６に記載の装置であって、
前記エラー許容モデルは同期許容ウィンドウを明確に規定し、
前記時間的遅延は、前記オーディオ信号および対応するビデオ信号の間の同期エラーを記述する確率分布関数を前記同期許容ウィンドウとより有利に一致するようシフトされることを特徴とする装置。
【請求項１８】
請求項１７に記載の装置であって、前記同期許容ウィンドウは関連する負の時間的不一致値と正の時間的不一致値を有し、前記時間的不一致値は異なる絶対値を有し、前記確率分布関数は前記同期許容ウィンドウ時間的不一致値と一致するようにシフトされた負と正の時間的不一致をそれぞれ有することを特徴とする装置。
【請求項１９】
ビデオアクセス単位と対応するオーディオアクセス単位を受信するステップと、ここで前記ビデオおよび対応するオーディオアクセス単位は、第１の確率分布関数により記述されるオーディオビジュアル時間同期エラーを表すことに結果的につながるオーディオビジュアル情報を表示するステップと、
前記受信したオーディオおよびビデオアクセス単位の一方を遅延量だけ時間的に遅らせるステップとを有し、遅延されないアクセス単位と対応する遅延されたアクセス単位は、第２の確率分布関数により記述される同期エラーを表すことに結果的につながるオーディオビジュアル情報を表示し、前記第２の確率分布関数は前記第１の確率分布関数よりも同期許容ウィンドウのより大きな部分を利用することを特徴とするコンピュータ実行可能な命令を有するコンピュータ読み取り可能媒体。
【請求項２０】
請求項１９に記載のコンピュータ読み取り可能媒体であって、
前記オーディオおよびビデオアクセス単位を作るオーディオおよびビデオストリームを符号化する前に前記遅延量を与えるステップをさらに有することを特徴とするコンピュータ実行可能な命令を有するコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は２００２年４月１９日に出願された米国仮出願第６０／３７４２６９号の利益を主張するものであり、この米国仮出願はそっくりそのまま参照により援用されている。
【技術分野】
【０００２】
本発明はマルチメディア通信システムの分野に関し、特に、可変遅延トランスポートネットワークにより引き起こされるリップシンクエラーの最小化に関する。
【背景技術】
【０００３】
「唇の動きと音声の同期」またはリップシンク問題はよく知られている。簡単に、プレゼンテーション機器によるオーディオおよびビデオストリームのプレゼンテーションにおける時間的エラーは、オーディオ情報が対応するビデオ情報の前に（先行して）、または後に（遅れて）提示される状態になり、結果として、例えば話者の声のオーディオプレゼンテーションと話者の唇のビデオプレゼンテーションの間がうまく同期しないこととなる。
【０００４】
いわゆるリップシンク問題を解決する先行技術による方法は比較的複雑であり、時としてオーディオおよび／またはビデオ情報の品質を低下させることがある。例えば、先行しているオーディオ信号を修正するために、ビデオイメージが時間的に先に進むようにビデオフレームをドロップすることが知られている。
【０００５】
リップシンクエラーは、多くの原因により起こる。特に問題となるのは、インターネットやその他のパケットスイッチングネットワーク等の可変遅延ネットワークの使用である。上記のネットワークにおいて、オーディオおよびビデオ情報は、別々の独立したストリームとしてトランスポートされる。これらのストリームを可変遅延ネットワークに投入する前のトランスポート処理において、他のメタデータ（例えば、エンコーダサンプリングレート、パケットオーダー）と同様にタイムスタンプを含むトランスポートレイヤーヘッダーが、トランスポートパケットの一部または全部に付加される。オーディオおよびビデオ情報のタイムスタンプは、一般的には共通のソース、例えば実時間クロックから導出される。残念ながら、オーディオおよびビデオパケットは可変遅延ネットワークの上をあちこち移動するので、ネットワークの状態によって時間的偏差が生じ、パケットがドロップし、パケットの順番が保存されず、パケット遅延が変化する。正味の結果として、その可変遅延ネットワークを介して受信されたオーディオおよびビデオストリームのリップシンクエラーが生じる。
【発明の開示】
【課題を解決するための手段】
【０００６】
本発明は、時間的エラーの統計的分布を視聴者にとってより不快でなく気づきにくいと思われるエラー範囲に合わせることにより、対応するオーディオおよびビデオストリームのリップシンク問題を低減する方法および装置を含む。
【０００７】
具体的に、本発明の一実施形態による方法は、ビデオアクセス単位および対応するオーディオアクセス単位を受信するステップと、ここで前記ビデオおよび対応するオーディオアクセス単位は、第１の確率分布関数により記述されるリップシンクエラーを表すことに結果的につながるオーディオビジュアル情報を表示し、前記受信したオーディオおよびビデオアクセス単位の一方を時間ファクターだけ時間的に遅らせるステップと、遅延されないアクセス単位と対応する遅延されたアクセス単位は、第２の確率分布関数により記述されるリップシンクエラーを表すことに結果的につながるオーディオビジュアル情報を表示し、前記第２の確率分布関数は前記第１の確率分布関数よりもリップシンク許容ウィンドウのより大きな部分を利用することを特徴とする。
【０００８】
他の実施形態において、可変遅延ネットワークで用いるために適合した符号化されたビデオおよびオーディオストリームを作る方法は、符号化されたビデオおよびオーディオストリームを作る時間的に対応するビデオおよびオーディオ情報を符号化するステップと、ここで、符号化されたビデオおよびオーディオストリームの各々はタイムスタンプされたビデオおよびオーディオパケットを含む複数のビデオおよびオーディオパケットをそれぞれ有し、タイムスタンプされたビデオパケットとタイムスタンプされたオーディオパケットの少なくとも一方を遅れたビデオリップシンクエラーの起こりやすさを低減するためにタイミングファクターだけ適合させるステップとを有する。
【０００９】
他の実施形態において、リップシンクエラー確率密度関数エスティメータが、確率密度関数を動的に推定するためにレシーバ側に実装される。推定された確率密度関数に基づき、最適なオーディオ遅延時間が目的関数によって計算される。計算された遅延はレシーバ側に供給される。
【発明を実施するための最良の形態】
【００１０】
本発明の教示は、添付した図面と併せて以下の詳細な説明を検討することにより容易に理解できるであろう。
【００１１】
理解を促進するため、図面において共通の同一要素を指すために可能な限り同一の参照数字を使用した。
【００１２】
本発明について、インターネット等の可変遅延ネットワークのコンテクストで説明する。可変遅延ネットワークはそれを通過するビデオおよび／またはオーディオパケットに時間的エラーを与え、リップシンクエラーを生じさせやすい。しかし、本発明の方法は時間的エラーのいかなるソースに対しても容易に適合可能である。本発明は、ビデオおよびオーディオフレーム等のビデオおよび／またはオーディオプレゼンテーション単位に作用する。そのプレゼンテーション単位は、可変遅延ネットワーク等のネットワーク経由で好適なトランスポートをできるようにパケット化されていてもよい。
【００１３】
さらにまた、「リップシンク」の標準的な定義は、ビデオの唇の動きが音声と自然に一致するように見えるように、スピーチまたは歌のビデオへの同期（または同期のプロセス）に関するが、本発明の目的においては、この定義はそのように限定されていると解釈はしない。むしろ、「リップシンク」は、アクションにより生じたサウンドがそのサウンドを作ったビデオと適切に一致するように、オーディオトラックまたはビットストリームに対応するビデオ中に現れるいかなるアクションの同期も指す。言い換えると、「リップシンク」は、本発明の目的においては、オーディオ情報信号により表されたサウンドとビデオ情報信号により表された対応するビデオの間の同期を指し、対応するオーディオおよびビデオの内容にはよらない。それゆえ、「リップシンクエラー」といった場合、一般的な内容を指し、何らかのタイプの「オーディオビジュアル時間同期エラー」と解釈される。
【００１４】
図１は、本発明を含む通信システムを示すハイレベルのブロック図を表す。具体的に、通信システム１００は、大容量記憶機器、カメラ、マイクロホン、ネットワークまたは他のソースから供給されるオーディオビジュアル情報等のオーディオビジュアルソース１１０を有する。オーディオビジュアルソース１１０は、ビデオストリームＶをビデオエンコーダ１２０Ｖに、対応するオーディオストリームＡをオーディオエンコーダ１２０Ａにそれぞれ供給する。エンコーダ１２０Ｖと１２０Ａは、実例としてＭＰＥＧまたは他の圧縮エンコーダを形成し、ビデオストリームＶとオーディオストリームＡを符号化し、それぞれ符号化されたビデオストリームＶＥと符号化されたオーディオストリームＡＥとを作る。符号化されたビデオＶＥとオーディオＡＥストリームは、可変遅延ネットワーク１４０に適した特定のトランスポートフォーマットに従ってトランスポートプロセッサ１３０により処理される。エンコーダ１２０Ｖと１２０Ａは、実例として、イーサネット（登録商標）、ＡＴＭ、その他のトランスポートストリームエンコーダがある。これらは、可変遅延ネットワーク１４０に適した特定のトランスポートフォーマットに従ってビデオＶＥおよびオーディオＡＥストリームを符号化する。
【００１５】
トランスポートストリームＴは、インターネット、イントラネット、ＡＴＭ、イーサネット（登録商標）、ＬＡＮ、ＷＡＮ、公衆交換電話ネットワーク（ＰＳＴＮ）、衛星、その他のネットワーク等の可変遅延ネットワーク１４０により伝播される。送り先ではトランスポートストリームＴ´として受信される。トランスポートストリームＴ´は、この可変遅延ネットワーク１４０を介して運ばれることにより生じるいかなる遅延およびその他エラーも含むオリジナルのトランスポートストリームＴを有する。
【００１６】
結果として得られるトランスポートストリームＴ´は、トランスポートプロセッサ１５０により受信される。トランスポートプロセッサ１５０の実例としては、イーサネット（登録商標）、ＡＴＭ、その他のトランスポートストリームデコーダ等がある。これらは、受信したトランスポートストリームＴ´から符号化されたビデオストリームＶＥ´および対応する符号化されたオーディオストリームＡＥ´を抽出する。符号化されたビデオＶＥ´とオーディオＡＥ´ストリームは、トランスポートプロセッサ１３０、可変遅延ネットワーク１４０、および／またはトランスポートプロセッサ１５０により引き起こされた時間的エラー等のいかなるエラーをも含む、最初の符号化されたビデオＶＥとオーディオＡＥストリームを有する。受信した符号化されたビデオＶＥ´とオーディオＡＥ´ストリームは、デコーダ１６０により復号され、結果として得られるビデオＶ´とオーディオＡ´ストリームを作る。結果として得られるビデオＶ´およびオーディオＡ´は、テレビまたはその他の機器等のプレゼンテーション機器１７０により提示される。１７０Ｖは、それに関連付けられたスピーカ１７０Ａ等のオーディオプレゼンテーション手段を有する。
【００１７】
図２は、本発明の原理に従って、システムと装置でしようするために好適なコントローラを示すブロック図である。具体的に、図２のコントローラ２００は、図７と８に関して下で説明する様々な機能要素と同様に、図１に関して上で説明した１以上の機能要素を実装するために使用されてもよい。
【００１８】
図２に例示したコントローラ２００は、様々なプログラム２４５を記憶しておくためのメモリと同様に、プロセッサ２３０を有する。プロセッサ２３０は、メモリ２４０に記憶されたソフトウェアルーチンの実行を支援する回路と同様に、電源、クロック回路、キャッシュメモリ等の従来のサポート回路２２０と協働する。ソフトウェアプロセスとしてここで説明したプロセスステップの一部はハードウェア、例えば様々なステップを実行するためにプロセッサ２３０と協働する回路として実施されてもよい。コントローラ２００は、コントローラ２００を含む機能要素と通信する様々な機能要素の間のインターフェイスを形成する入出力回路２１０も含む。
【００１９】
図２のコントローラ２００は、本発明によるオーディオおよび／またはビデオストリームの様々な時間的修正を実行するようにプログラムされた汎用コンピュータとして示されているが、本発明は、例えば特定用途集積回路（ＡＳＩＣ）としてハードウェアで実施することもできる。それ自体として、ここで説明したプロセスステップは、ソフトウェア、ハードウェア、またはこれらの組み合わせにより等価的に実行されるように広く解釈すべく意図されている。
【００２０】
リップシンクエラー（ＬＳＥ）は、次式（１）により定義される。
【００２１】
【数１】
2005523650.tif 000003
式１において、
【数２】
2005523650.tif 000004
と
【数３】
2005523650.tif 000005
は、それぞれレシーバ側のプレゼンテーション機器１７０に到着した関係するオーディオおよびビデオフレームの時間である。
【００２２】
【数４】
2005523650.tif 000006
と
【数５】
2005523650.tif 000007
は、それぞれオーディオおよびビデオエンコーダに到着したオーディオおよびビデオフレームの時間である。
【００２３】
図３は、本発明の理解に便利なリップシンクエラーｅの確率密度関数ｐ（ｅ）を示すグラフである。例えば、可変遅延ネットワーク１４０によりランダムな遅延が起きるので、レシーバ側におけるオーディオパケットおよび対応するビデオパケット間の遅延はランダム変数である。このランダム変数は、図３の実線３１０のように、確率密度関数（ｐｄｆ）ｐ（ｅ）により制約される。具体的に、図３のグラフは、ビデオデータおよび対応するオーディオデータ間の時間的関係を表す横軸を示す。時間ゼロは、ビデオデータが同期したオーディオデータに関連づけられたコンテントを表す時間を表すように選択される。この分布はガウス分布として描かれているが、モデル化されたエラーソースの数と同様にモデル化された特定のエラーソースに応じて（すなわち、複数のビデオおよびオーディオソースに対して合成された対称または非対称な確率密度関数曲線が使用されてもよい）、他の対称または非対称な確率密度関数曲線を用いてもよい。
【００２４】
時間がゼロから正の方向に増加するにつれ、オーディオデータはビデオデータからますます遅れるといわれている（すなわち、オーディオパケットは対応するビデオパケットに対してますます遅れる）。
【００２５】
図４は、本発明の理解に便利なリップシンク許容（ＬＳＥＴ）ウィンドウ４１０を示すグラフである。リップシンク許容ウィンドウは、次式（２）の関数により定義される。
【００２６】
【数６】
2005523650.tif 000008
ここで、ａとｂは、リップシンク許容ウィンドウの許容の下限および上限である。本願発明者は、オーディオおよびビデオパケットの非対称エラー許容および多くの問題が、対応するビデオパケットより前にオーディオパケットが受信される場合に起こることに特に言及する。一般的に値の範囲は変化するが、例えば［ａ，ｂ］＝［−２０ｍｓ，４０ｍｓ］。
【００２７】
図５は、許容ウィンドウを伴う確率密度関数シフトを示すグラフである。具体的に、図５のグラフは、ビデオデータおよび対応するオーディオデータ間の時間的関係を規定する横軸を示す。時間ゼロは、図３および４に関して上で説明したように選択される。遅延許容ウィンドウ４１０は、視聴者に不快に思われないリップシンクに関連した遅延許容または時間的エラーを表す。図５に示した遅延許容ウィンドウ４１０は、−２０ミリ秒（すなわち、オーディオパケットがビデオパケットより２０ミリ秒進んでいる）から＋４０ミリ秒（すなわち、オーディオパケットがビデオパケットより４０ミリ秒遅れている）までであることに注意すべきである。オーディオ情報がビデオ情報より先に進むリップシンクエラーは、オーディオ情報がビデオ情報より遅れるリップシンクエラーより不快である（例えば、視聴者にはより気づきやすく、気を散らしやすい）ので、図５の遅延許容ウィンドウ４１０は非対称になっていることに注意すべきである。
【００２８】
図５を参照して、確率密度関数曲線５１０の左側の裾野部分は、下側の遅延許容ウィンドウ範囲を超えた領域５４０に入っている。確率密度関数曲線５１０の右側の裾野部分は、遅延ウィンドウ許容範囲の上限に至る前に実質的にゼロとなっている。エラーウィンドウ許容範囲は、リップシンクエラー等の時間的エラーがより不快でないと思われる範囲として定義される。よって、遅延許容範囲を正の方向または負の方向いずれかに越えている遅延（すなわち、エラー許容ウィンドウの外側の遅延）は、平均的視聴者にとって不快、または非常に不快と思われる遅延を含む。
【００２９】
シフトされた確率密度関数曲線５２０は、最初の確率密度関数曲線５１０を時間的にシフトし、その確率密度関数の下側のより大きなエリアがエラー許容ウィンドウ４１０内に入るものを表す。よって、最初のまたは第１の確率密度関数は時間的にシフトされ、最後のまたは第２の確率密度関数の下のより大きなエリア（好ましくは最大のエリア）がエラー許容ウィンドウ４１０に入る。ビデオおよび／またはオーディオアクセス単位のプレゼンテーションタイムスタンプ等のビデオおよび／オーディオ情報に関連したタイミングパラメータを適合させることにより、確率密度関数をシフトする。よって、オーディオおよび／またはビデオの時間情報が対応する確率密度関数をシフトするために適合されたとき、不快なリップシンクエラーの起こりやすさを最小化、または少なくともシフトにより起こる確率密度関数の曲線の下のエラーの減少とつり合う量だけ小さくする。それゆえ、リップシンクエラー許容内のリップシンクエラー曲線の下のエリアを最大化するための最適な解決策は、次式（３）により与えられる目的関数を最大化することである。
【００３０】
【数７】
2005523650.tif 000009
式３において、ｐ（ｅ）はリップシンクエラーの確率密度関数、Ｐ（ｅ）は累積分布関数、Ｗ（ｅ）は［２］で定義されたリップシンクエラー許容ウィンドウ関数である。最適化のプロセスは、［ａ，ｂ］内の確率密度曲線に含まれたエリアを最大化することである。これは、ウィンドウ外の裾野エリアを最小化するプロセスと同じである。この最適化問題は、Ｊをｔ０に関して微分し、方程式４をｔ０について解くことにより解ける。
【００３１】
【数８】
2005523650.tif 000010
図２に示した対称なガウス型のリップシンクエラー確率密度関数のｔ０の最適解は、リップシンクエラー許容ウィンドウの下限と上限の平均である。
【００３２】
【数９】
2005523650.tif 000011
他のリップシンクエラー確率密度関数については、最適なｔ０は、確率密度関数とエラー許容ウィンドウ間の相対的な地理的位置に応じて、正にも負にもなる。リップシンクエラーをシフトし、式４を最大化するため、ｔ０が正のとき、オーディオフレームを遅らせ、ｔ０が負のとき、ビデオフレームを遅らせる。
【００３３】
図６は、本発明によるオーディオおよび／またはビデオパケットを処理する方法を示す。具体的に、図６は、対応するビデオおよび／またはオーディオフレーム若しくはアクセス単位パケットを適合し、リップシンクエラー、より具体的にはオーディオが先行したタイプのリップシンクエラーを最小化する方法を示す。図６に示した方法のコンテクストにおいて、リップシンクエラーは、ボックス６０５によると可変遅延ネットワーク、エンコーダ、トランスポートプロセッサ、またはその他のエラーソースのうち１つ以上を含むエラーソースにより引き起こされる。
【００３４】
ステップ６１０において、エラーソースにより引き起こされやすい時間的エラーは、確率密度関数（ｐｄｆ）として表される。例えば、図５に関して上で説明したように、可変遅延ネットワークにより引き起こされた時間的エラーに関連した確率密度関数が示されている。この確率密度関数は、例として、（ゼロが中心であってもなくてもよい）ガウス型の乱数分布を含む。ここで、ゼロはリップシンクエラーがないことを表す（すなわち、ビデオおよびオーディオデータが時間的に一致している）。
【００３５】
ステップ６２０において、確率密度関数に関連したエラー許容ウィンドウが定義される。ボックス６１５に記したように、エラー許容ウィンドウは、リップシンクエラーまたは他のエラーに関して定義されてもよい。図５に記したように、リップシンクエラーに関連した遅延許容ウィンドウは、例として、−２０ミリ秒と＋４０ミリ秒の間の遅延として定義される。すなわち、（ゼロ時点に関する）非対称オーディオ遅延許容値は、対応するビデオアクセス単位より２０ミリ秒まで進んでいるオーディオアクセス単位、または対応するビデオパケットより４０ミリ秒まで遅れているオーディオアクセス単位に与えられる。他の遅延許容ウィンドウは、本発明を利用する通信システムに関連するファクターに応じて定義してもよい。
【００３６】
ステップ６３０において、コンテントストリームを形成するビデオおよびオーディオフレームの少なくとも一方に関連するタイムスタンプ等のタイミングパラメータを適合させる。選択的に、圧縮されていないオーディオおよびビデオストリームに一方または両方が、符号化の前に遅延される。この適合は、（例えば、ゼロを中心とする）最初の位置から遅延許容ウィンドウを最大限利用する位置にエラーソースに関連した確率密度関数をシフトさせるように実行される。ボックス６２５において、上記の適合は符号化プロセス、トランスポートプロセス、その他のプロセスの間になされることに注意すべきである。再び図５を参照して、適当な確率密度関数のシフトが、遅延許容ウィンドウにより設定された境界内の確率分布曲線の下のエリア量を増加させるものとして示されている。
【００３７】
図７は、本発明の他の実施形態による通信システムを示すハイレベルのブロック図である。具体的に、図７の通信システム７００は、図１の通信システム１００とほぼ同一である。主な相違点は、遅延要素７１０Ａがオーディオエンコーダ１２０ＡによりオーディオストリームＡを符号化する前に、最初のオーディオストリームＡを遅延するために用いられる。遅延要素７１０Ａは、上で説明したリップシンクエラー許容モデルによって対応する確率密度関数をシフトするために、遅延ｔ０をオーディオストリームに与える。図７に示した通信システム７００は、ビデオエンコーダ１２０Ｖにより符号化する前にビデオソース信号Ｖを遅延させる、対応するビデオ遅延要素７１０Ｖ（図示せず）を含むように変更されてもよいことに注意すべきである。オーディオ７１０Ａとビデオ７１０Ｖ遅延要素の一方または両方が利用されてもよい。
【００３８】
本発明の本実施形態において、図５に示したようにエラー許容ウィンドウ４１０が利用され、符号化の前に各ビデオフレームに関して約ｔ０ミリ秒だけ各オーディオフレームまたはアクセス単位が遅延される。各オーディオフレームをｔ０ミリ秒シフトして戻すことにより、可変遅延ネットワークにより引き起こされたエラーと関連した確率密度関数は、図５を参照して上で説明したようにシフトされる。すなわち、ｔ０の符号に応じて、確率密度関数は、進んだオーディオパケットリップシンクエラーを持つ傾向からリップシンクエラーがない傾向へ、または（進んだオーディオパケットリップシンクエラーよりはより不快でない）遅れたオーディオパケットリップシンクエラーを持つ傾向へ、前後にシフトされる。よって、すべてのオーディオパケット遅延がエラー許容ウィンドウ４１０の許容限度内に入る可能性が高まる。
【００３９】
図２に示したような対称なガウス型確率密度関数を仮定した本発明の一実施形態において、タイミングの不一致を最小化するためにオーディオまたはビデオフレームのタイムスタンプが変更される。一定のビットレートのオーディオエンコーダについて、ビデオタイムスタンプは、デコーダ側のリップシンクエラー許容内にあるタイミング不一致の確率を増やすように選択的に変更される。本実施形態において、例示したように、ビデオタイムスタンプは、次式６で示したように、１０ミリ秒の以下が切り捨てられる。
【００４０】
【数１０】
2005523650.tif 000012
（ここで、
【数１１】
2005523650.tif 000013
および
【数１２】
2005523650.tif 000014
は、それぞれビデオフレームの元のタイムスタンプと切り捨てられたタイムスタンプをミリ秒単位で表したものである。）
上記の方法により、０から９ミリ秒の範囲でオーディオパケットの遅延が一様に分配される。（例えば、ｍｏｄ  １５やｍｏｄ  ２０等の）他の範囲を選択してもよく、オーディオパケットをこの方法で処理してもよい。
【００４１】
前述した実施形態において、リップシンクエラーの確率密度関数は既知であり、ある程度安定していることを前提とした。結果として、所定の時間シフトは、すべてのオーディオ（またはビデオ）アクセス単位に対して実行された。リップシンクエラーの確率密度関数が知られていないか、または安定でない、より進んだ実施形態において、リップシンクエラーの確率密度関数がモニターされ、推定され、時間シフトは予め決められてはいない。
【００４２】
図８は、確率密度関数エスティメータがレシーバ側に実施された実施形態における、リップシンクエラーを示す。具体的に、図１と７に示したようなレシーバ側の装置が変更され、リップシンクエラー確率密度関数エスティメータ８１０とオーディオ遅延要素８２０Ａを含む。図示されていないが、ビデオ遅延要素８２０Ｖが利用されてもよい。リップシンクエラー確率密度関数エスティメータ８１０は、復号されたオーディオＡ´とビデオＶ´信号を受信し、リップシンクエラー許容モデル情報に応じて遅延表示信号ｔ０を作る。図８の実施形態において、遅延表示信号ｔ０は、オーディオ遅延要素８２０Ａにより処理され、復号されたオーディオストリームＡ´に対応する遅延量を与える。それにより、遅延されたオーディオストリームＡ´´が作られる。エスティメータ８１０は、オーディオおよびビデオアクセス単位のプレゼンテーションタイムスタンプを常に収集する。各リップシンクエラーｅは式１を用いて計算される。リップシンクエラーの確率密度関数を形成するためにすべてのリップシンクエラーが用いられる。リップシンクエラーモデルを用いることにより、最適な時間シフトｔ０が、方程式４を時間シフトｔ０について解くことにより導き出される。オーディオフレーム（ｔ０＞０）またはビデオフレーム（ｔ０＜０）いずれかの遅延が、リップシンクエラー確率密度関数をシフトするために加えられる。
【００４３】
一実施形態において、決定された光タイムシフトはレシーバからエンコーダに伝播され、符号化および送信されるオーディオおよびビデオストリームの少なくとも一方は、符号化前、トランスポート処理前、および／またはレシーバへのトランスポート前に遅延される。
【００４４】
本発明の教示を組み込んだ様々な実施形態を図示し、詳しく説明したが、当業者はこれらの教示を組み込んだ他の多くの様々な実施形態を容易に工夫することが可能であろう。
【図面の簡単な説明】
【００４５】
【図１】通信システムを示すハイレベルのブロック図である。
【図２】コントローラを示すハイレベルのブロック図である。
【図３】本発明の理解に便利なリップシンクエラーｅの確率密度関数ｐ（ｅ）を示すグラフである。
【図４】本発明の理解に便利なリップシンクエラー許容（ＬＳＥＴ）ウィンドウを示すグラフである。
【図５】許容ウィンドウ内の確率密度関数シフトを示すグラフである。
【図６】本発明によるオーディオおよび／またはビデオパケットを処理する方法を示す図である。
【図７】本発明の別の実施形態による通信システムを示すハイレベルのブロック図である。
【図８】確率密度関数エスティメータがレシーバ側で実施される、本発明の一実施形態を示すハイレベルのブロック図である。
【図１】
2005523650.tif 000015
【図２】
2005523650.tif 000016
【図３】
2005523650.tif 000017
【図４】
2005523650.tif 000018
【図５】
2005523650.tif 000019
【図６】
2005523650.tif 000020
【図７】
2005523650.tif 000021
【図８】
2005523650.tif 000022
【国際調査報告】
2005523650.tif 000023