(57)【要約】  時間単位当たりに通信チャネルの受信側で、チャネルを介して直接送信されたデータのみならず、先に送信・復号化・記憶されたビデオデータの全てに基づいてビデオデータを再構成することによってビデオデータを送信する方法。
2008505588.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータをキーフレームおよび予測フレームのシーケンスとして符号化することを利用して、低ビットレートの通信チャネルを介してビデオデータを送信する方法であって、
前記方法は、
ビデオデータソースからキーフレームとして入ってくるフレームシーケンスのフレームを符号化するステップと、
前記低ビットレートの通信チャネルを介して符号化されたフレームを送信するステップと、
前記低ビットレートの通信チャネルを介して送信されたフレームを復号化するステップと、
ＮＱ／Ｗの比の整数部を算出することによって、前記ビデオデータソースから前記フレームシーケンス内の符号化に割り当てられる後続フレームＦ（Ｊ）の数Ｊを決定するステップ（なお、Ｎはビデオデータソースのフレームレート、Ｑは前記低ビットレートの通信チャネル上を送信されるビット数、Ｗは前記通信チャネルの容量）と、
Ｆ（Ｊ）フレームとＲ（ｒ）フレーム間の差の最小値Ｄ１に対応する前記低ビットレート通信チャネルを介して送信されるフレームシーケンス内の復号化されたフレームＲ（ｒ）の数ｒを決定するステップと、
Ｄ１の値が所定のしきい値Ｔｈを超えない場合に、前記Ｆ（Ｊ）フレームをＲ（ｒ）フレームに対する予測フレームとして符号化するステップと、
前記低ビットレート通信チャネルを介して符号化されたＦ（Ｊ）フレームを送信するステップと、
を含む、ビデオデータ送信方法。
【請求項２】
前記ビデオデータをキーフレームおよび予測フレームのシーケンスとして符号化することを利用して、低ビットレートの通信チャネルを介してビデオデータを送信する方法であって、
前記方法は、
ビデオデータソースからキーフレームとして入ってくるフレームシーケンスのフレームを符号化するステップと、
前記低ビットレートの通信チャネルを介して符号化されたフレームを送信するステップと、
前記低ビットレートの通信チャネルを介して送信されたフレームを復号化するステップと、
ＮＱ／Ｗの比の整数部を算出することによって、前記ビデオデータソースから前記フレームシーケンス内の符号化に割り当てられる後続フレームＦ（Ｊ）の数Ｊを決定するステップ（なお、Ｎはビデオデータソースのフレームレート、Ｑは前記低ビットレートの通信チャネル上を送信されるビット数、Ｗは前記通信チャネルの容量）と、
Ｆ（Ｊ）フレームとＲ（ｒ）フレーム間の差の最小値Ｄ１に対応する前記低ビットレート通信チャネルを介して送信されるフレームシーケンス内の復号化されたフレームＲ（ｒ）の数ｒを決定するステップと、
値Ｄ１が所定のしきい値Ｔｈを超える場合、Ｆ（ｊ）とＲ（ｓ）フレーム間の差の最小値Ｄ２に対応する、Ｊ０＋ｐ（Ｊ−Ｊ０）＜ｊ＜Ｊの数値範囲内でビデオデータソースから入ってくるフレームシーケンス内のフレームＦ（ｊ）の数ｊを決定するステップ（なお、Ｊ０は前記ビデオデータソースから入ってくる前記フレームシーケンス内で先行する符号化されたフレームの数、ｐは０＜ｐ＜１の範囲内の適応パラメータ、ｓは前記低ビットレートの通信チャネルを介して送信されるフレームシーケンス内の復号化フレームＲ（ｓ）の数）と、
Ｄ２の値が前記しきい値Ｔｈを超えない場合に、前記Ｆ（ｊ）フレームをＲ（ｓ）フレームに対する予測フレームとして符号化するステップと、
前記低ビットレート通信チャネルを介して符号化されたＦ（ｊ）フレームを送信するステップと、
を含む、ビデオデータ送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低ビットレートの通信チャネルを介してほぼリアルタイムモードでビデオデータを送信する技術である。
【背景技術】
【０００２】
低ビットレートの通信チャネルを介してビデオデータを送信するための主な課題は、高画質を維持することにある。この課題は、種々のデジタルビデオデータ圧縮方法によって解決されている。主なデータ圧縮方法は、ＭＰＥＧ処理によるフレームシーケンス符号化である。ＭＰＥＧ処理は、ピクチャグループ群（ＧＯＰ）の集合体として画像ソースから受信したデジタルビデオデータの表示を基本にする。各ＧＯＰは、キーフレーム（Ｉフレーム）で始まり、通常、同一画像シーンを介してＩフレームに接続される、限られた数の予測フレーム（Ｐフレーム）を含んでいる。Ｉフレームはシーンの第１フレームを形成し、その後に、お互いのみならずＩフレームと極めて類似しているＧＯＰのＰフレームが続いている。ＭＰＥＧ処理の次の段階は、ＧＯＰデジタルビデオデータの圧縮である。Ｉフレームの圧縮は、公知の方法のうちの１つによって行われる。例えば、デジタルデータのフローとして結果として生じるスペクトル係数の後続の表示を伴う２次元スペクトル分解方法であって、このデータフローは画質へのこれら係数の影響に従って編成され、スペクトル係数はフローの始まりに置かれた低空間周波数に対応する。ＧＯＰのＰフレームの圧縮は、前のＧＯＰフレームと比較して、後続の各Ｐフレームの高い予測性を基本にする。予測コーティングとして知られるこの方法は、符号化フレームについて予測する後続のコンテンツのソースとなるフレーム画像が矩形ブロックのピクセルに分割されることを暗示する。その後、前のフレームのブロックのコンテンツに最大限近い、同一サイズの画像ブロックの探索が、符号化フレームについて行われる。このようなブロックが見出された後に、それらの位置が、変位ベクトルを設定することによって、前のフレームに関して符号化フレーム上に固定される。前のフレームからのプロトタイプを所定の基準に基づいて見出すことができない、符号化Ｐフレームの画像部分については、ＧＯＰのＩフレームの符号化と同様の標準的な符号化方法が適用される。したがって、予測符号化アルゴリズムによって、ＧＯＰのデータボリュームが、符号化ＧＯＰのＩフレームと、各ＧＯＰのＰフレームに対する符号化画像ブロックの変位ベクトルアレイを含むボリューム、および前のＧＯＰフレームからのプロトタイプがないＰフレームの符号化画像ブロックのボリュームまで実質的に減少する。
【０００３】
ＭＰＥＧ処理は汎用的であり、相対的に高レベルのビデオデータ圧縮を保証する。しかし、個々のアプリケーション、例えば、リアルタイムモードで低ビットレートの通信チャネル上での、会議からのビデオデータ送信、または動きの遅いまたは周期的に再現する対象のビデオ調査のデータなどについては、ビットフロー形成のアルゴリズムを改良して、送信画像の画質を向上することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、ビデオ画像の送信画質を向上させることである。これは、画像受信部（例えば、ビデオカメラ）から来るフレーム数が符号化フレームの数を超える場合、通信チャネルを介して同一期間で送信できる距離に位置する、フレームのフローの送信ごとのデータ量を低減することで、時間単位ごとに送信されるフレーム数を形成することで達成される。
【０００５】
低ビットレートの通信チャネルを介して送信するビデオデータの高品質を保証するために、まず、観察者によるビデオ範囲の知覚を決定する主要因を理解し、特定しなければならない。人間の知覚の個々の特性に関して本発明者らが実施した多くの実験によって、ビデオ情報の質は、時間単位当たりに観察者によって受けられる莫大な量のビデオデータの実ボリュームによって決まるよりも、画像細部の変換の円滑性によって決まることが立証された。言い換えると、観察者は、各フレームの画質が完全であったとしても、画像と比較すると小さい細部が省略されるか変形している画像、およびビデオシーケンスの遅延が「スライド−ショー（ｓｌｉｄｅ−ｓｈｏｗ）」効果を生成する画像の画質を、より大きく評価する。リアルタイムでビデオデータを送信するタスクを考えると、ビデオ画像の高画質の課題は至難となる。この理由は、所望の画質とフレームレートの符号化ビデオデータのビット量がチャネル容量を超えると、本発明者らの知る限りの有効な方法はこの状況の解決策にはならない。
【０００６】
本発明の本質は、チャネルを直接介して送信されたデータのみならず、前に送信・復号化・記憶されたビデオデータの全てに基づいて、時間単位当たりで通信チャネルの受信側でビデオデータを再構成することによってビデオデータを送信する方法にある。特許請求の範囲に記載の方法の利点によって、送信された画像が、例えばビデオ会議被写域のように、周期的に繰り返されるとき、「スライド−ショー」効果を回避できる。
【課題を解決するための手段】
【０００７】
本発明によれば、ビデオデータ送信方法には２つの可能なステップシーケンスがある。本発明の第１の態様によれば、特許請求の範囲に記載の方法は、ビデオデータをキーフレームおよび予測フレームのシーケンスとして符号化することを意味し、上記シーケンスの第１フレームをキーフレームとして選択して符号化した後に、符号化フレームを低ビットレートの通信チャネルを介して送信し、通信チャネルの送信側および受信側でその結果を復号および記憶する。符号化に割り当てられる後続フレームＦ（Ｊ）は、ビデオデータソースから出力されるフレームシーケンスから選択される。ソースのフレームシーケンス内のこのフレーム数Ｊは、数式Ｊ＝ＩＮＴ（ＮＱ／Ｗ）で算出される（なお、Ｎはビデオデータソースのフレームレートであり、Ｑはチャネル上を送信されるビット数であり、Ｗは通信チャネルの容量であり、ＩＮＴ（ｘ）は整数部を算出するための関数である）。次に、上記フレームの符号化タイプを設定しなければならない。このため、送信側で送信、復号および記憶されたフレームアレイは、符号化に割り当てられた現在フレームに最も近いフレームＲ（ｒ）を探索する。先に送信、復号化されたフレームと、任意の方法によって決定された符号化に割り当てられた現在フレームとの間の差の値Ｄ１が、所定のしきい値Ｔｈを超えない場合、現在フレームＦ（Ｊ）は、予め選択された送信フレームＲ（ｒ）に対して予測フレームとして符号化され、送信され、通信チャネルの受信側および送信側の両方で記憶される。そうでない場合には、現在フレームは、上記の方法に従ってキーフレームとして符号化される。
【０００８】
本発明の第２の態様によれば、特許請求の範囲に記載の方法は、ビデオデータをキーフレームおよび予測フレームのシーケンスとして符号化することを意味し、上記シーケンスの第１フレームをキーフレームとして選択して符号化した後に、符号化フレームを低ビットレートの通信チャネルを介して送信し、通信チャネルの送信側および受信側でその結果を復号および記憶する。符号化に割り当てられた後続フレームＦ（Ｊ）は、ビデオデータソースから出力されるフレームシーケンスから選択される。ソースのフレームシーケンス内のこのフレーム数Ｊは、数式Ｊ＝ＩＮＴ（ＮＱ／Ｗ）で算出される（なお、Ｎはビデオデータソースのフレームレートであり、Ｑはチャネル上を送信されるビット数であり、Ｗは通信チャネルの容量であり、ＩＮＴ（ｘ）は整数部を算出するための関数である）。次に、上記フレームの符号化タイプを設定しなければならない。このため、送信側で転送、復号化および記憶されたフレームアレイは、符号化に割り当てられた現在フレームに最も近いフレームＲ（ｒ）を探索する。先に送信、復号化されたフレームと、任意の方法によって決定された符号化に割り当てられた現在フレームとの間の差の値Ｄ１が、所定のしきい値Ｔｈを超える場合、現在フレームに先行するフレームグループが、先に送信されたフレームＲ（ｓ）に最も近いフレームＦ（ｊ）を探索する。これら２つのフレーム間の差の値Ｄ２がしきい値Ｔｈを超えない場合、選択されたフレームＦ（ｊ）は、先行するプロトタイプフレームＲ（ｓ）に対して予測フレームとして符号化され、現在フレームに代わって送信され、通信チャネルの受信側および送信側の両方で記憶される。そうでなければ、現在フレームＦ（Ｊ）は、上述のようにキーフレームと同様に符号化される。
【発明を実施するための最良の形態】
【０００９】
低ビットレートの通信チャネルを介してビデオデータを送信する、特許請求の範囲に記載の方法を実現するための本発明の第１の態様によれば、ビデオシーケンスのフレームの符号化タイプの選択基準を表す数値を算出する必要がある。図１の図で示されているとおり、この方法を達成する第１ステップは、指定された数値のしきい値Ｔｈを入力することである（１）。明らかに、ソース出力から通信チャネルによって受信されたいずれのフレームシーケンスも、少なくとも２つの異なった方法、すなわち１）他のフレームに関係なくキーフレームとして、および２）先行する符号化フレームに対する予測フレームとして、符号化に割り当てられたフレームの集合体として表示することができる。画像の新しいシーン毎の開始時だけでなく、ビデオデータの送信の開始時に、そのコンテンツに起因して、キーフレームとして符号化されるように選択されたフレームＦ（Ｊ）が現れる。このような符号化（２）は、特許請求の範囲に記載の方法の操作シーケンスの第２ステップとなる。次に、符号化フレームは通信チャネルに入力され、送信され（３）、これが方法の次のステップとなる。データ送信中に、チャネルを実際に通過するビット数Ｑが決定される。その後、送信フレームＲ（ｒ）の画像が復号化され（４）、チャネルの送信側で記憶される。低ビットの通信チャネルを介して符号化フレームを送信する期間が、ビデオデータ出口の出力から通信チャネルによって受信されたビデオシーケンスの隣接フレーム間の間隔時間を超えるという事実により、シーケンスから符号化するために割り当てられた次のフレーム数Ｊが、前のフレームの送信側よりも前に決定されなければならない。このような計算（５）は、数式Ｊ＝ＩＮＴ（ＮＱ／Ｗ）によって行われる（なお、Ｎはビデオデータソースのフレームレートであり、Ｑは先行するフレームを送信中に通信チャネル上で送信されるビット数であり、Ｗは通信チャネルの容量である）。符号化に割り当てられた後続フレーム数が定義された後、符号化タイプを決定、すなわちこのフレームが、先に送信されたフレームのいくつかに対してキーフレームまたは予測フレームとして符号化されるかどうかを決定する必要がある。明らかに、第２タイプの符号化が好ましく、その理由は、画像に対して送信されたデータ量が少ないが、画質は同じに維持されるからである。ビデオシーケンスの後続フレームに対する符号化のタイプを選択するために、符号化に割り当てられたフレームＦ（Ｊ）と、チャネルの送信側で先に送信・復号化・記憶されたフレームＲ（ｒ）のそれぞれとの間の絶対差Ｄ１の値が算出される。Ｄ１で得られた値のセットから最小値が選択され（６）、値Ｔｈと比較される（７）。値Ｄ１がＴｈを超えない場合、符号化に割り当てられた後続フレームＦ（Ｊ）は、Ｄ１が最小値を有するフレームＲ（ｒ）に対して予測フレームとして符号化される（８）。条件Ｄ１＜Ｔｈが満たされない場合、フレームＦ（Ｊ）はキーフレームとして符号化される（９）。１つの方法または別の方法で符号化されたフレームは通信チャネルを通過し、最後のフレームがビデオデータソースから送信されるまでデータ送信プロセスが進行する。
【００１０】
送信されるビデオ画像の画質は、図２の図によって示されているとおり、本発明の第２の態様による特許請求の範囲に記載の方法を実行することによってさらに向上させることができる。本発明の第２の態様で要求されるソースデータを入力すると、値Ｔｈのデータ入力（１）は、０〜１の範囲内のパラメータｐを選択し入力する（１０）ことによって達成される。本発明の第２の態様で要求される動作シーケンスのステップ２〜４および５〜８は、すでに上記で説明してきた。本発明の第２の態様によれば、ビデオデータソースのフレームシーケンスに対して先行するフレーム数Ｊ０＝Ｊの保存（１１）が、ステップ５の前になされる。
【００１１】
本発明の第２の態様で要求されるビデオデータ送信方法のステップ７が、条件Ｄ１＜Ｔｈを達成できないときの状態をより詳しく考えて見る。これは、符号化され送信されるフレームが予測フレームとして符号化されないことを意味している。同時に、先のフレームの送信側までにビデオデータソースから受信された一致フレームが存在しないが、先のフレームからのビデオデータ通過の間に通信チャネルの入力でソースから受信された、フレームの１つと類似の、先に符号化および送信されたセットフレームの中から１つのフレームを見つけることは依然として可能である。このフレームを定義するために、一方の、チャネルの送信側で先に送信・復号化・記憶された各フレームＲ（ｒ）と、他方の、Ｊ０＋ｐ（Ｊ−Ｊ０）＜ｊ＜Ｊの数値範囲内でビデオデータソースから受信された各フレームＦ（ｊ）との間の絶対差Ｄ２が算出される。これらの手段によって受信されたＤ２値のセットから、最小値が選択され（１２）、値Ｔｈと比較される（１３）。値Ｄ２がＴｈを超えない場合、フレームＦ（ｊ）は、最小値Ｄ２のフレームＲ（ｓ）に対して予測フレームとして符号化される（１４）。Ｄ１＜Ｔｈが達成されない場合、フレームＦ（Ｊ）はキーフレームとして符号化される（９）。いずれかの方法で符号化されたフレームは通信チャネルに入り、最後のフレームがビデオデータソースから送信されるまでデータ転送プロセスが進行する。
【００１２】
本出願に引き続き注目すると、図３で示されているコメットコーデック（Ｃｏｍｅｔ  Ｃｏｄｅｃ）操作プランが以下に開示される。コメットコーデックは、
ビデオコーデック（Ｖｉｄｅｏ  Ｃｏｄｅｃ）、
オーディオコーデック（Ａｕｄｉｏ  Ｃｏｄｅｃ）、
ネットワークカーネル
の３つのブロックからなる。
【００１３】
これら３つのブロックは全て相互に作用して、同期オーディオとビデオの符号化を保証し、および通信チャネルを切り換えるとき、または接続を終了するときにコーデックを自動的に調節する。
【００１４】
ビデオコーデック
ビデオコーデックは、ビデオフローのウェーブレットを用いて符号化および復号化を実行する。所定のプロセッサは以下のワークサイクルを有している。
前処理。
キーフレームの符号化。
モデルの補正。
キーフレームおよび補正フレームの復号化。
後処理。
【００１５】
前処理は、後続の符号化、すなわち画質向上のために必要な（前のフレームからの利用可能性の統計に基づく）ビデオ画像の調整。
【００１６】
キーフレームの符号化は、開発されたビデオ圧縮方法に基づいて、ウェーブレット技術を利用して実行される。
【００１７】
補正方法は、フレーム間の差のみを送信しているという事実によって、さらに多数のフレームの送信を可能にする。この方法は、前処理に密接に関連付けなければならない。ネットワーク妨害に大きく依存しているため、補正方法もネットワークカーネルに密接に関連付けなければならない。補正されたフレームの符号化もまた、ウェーブレット技術に基づいて実行される。
【００１８】
キーフレームおよび補正されたフレームの復号化は、ウェーブレット技術を用いた逆符号化を用いて実現される。
【００１９】
後処理は、鮮明度およびカラースペクトルの改良のためにビデオ画像にフィルタを適用することによって動画の画質を向上させることを目的とする。
【００２０】
１．キーフレームのパッケージ化が図４に示されている
パッケージ化プロセスは、図４で示されているように、７つのステージから成る。
【００２１】
図５におけるステージ１．１の説明
ＲＧＢフォーマットの静的フレームが入力される。フレームは、合わさって画像を形成する３つの平面、すなわち、赤、緑、青色の平面から構成されている。標準的な１対１関数を用いて、静的フレームがＹＵＶと呼ばれる別のフォーマットに変換される。ＹＵＶは、３つの平面の合成、すなわち輝度構成要素であるＹと、カラー信号によって変調された２つのカラー副搬送波Ｕ、Ｖである。以下は、ＹＵＶ変換に最もよく使われる式である。
【数１】
2008505588.tif 000003
画像のこのような表示は、さらに分析するためにより有益である。
【００２２】
図６におけるステージ１．２の説明
ＹＵＶフォーマットの静的フレームが入力される。ウェーブレットに基づく２つのフィルタを用いて、画像が２つの成分、すなわち高周波と低周波に分解される。変換は１対１で、出力において、その交点に分解の結果としての係数が位置しているグラフとして示されている。円弧は係数間の接続点である。フレームをグラフに分解するために、ウェーブレットフィルタが用いられる。ウェーブレットフィルタは実験的に選択されたが、ビデオパッケージに最適である（ただし、ウェーブレットフィルタは、必要に応じて、容易に変更できる）。ウェーブレットフィルタは、受信側だけでなく送信側でもプログラム内にハード符号化される（ウェーブレットフィルタは両側で同様でなければならない）。
【００２３】
図７におけるステージ１．３の説明
ステージ４および５でデータをパッケージするために、ステージ３でのグラフは一定の必要条件を満たさなければならない。
各グラフの交点は、一番上の交点を除いて、「親」を有する必要がある。ステージ３では、本発明者らはステージ２からのグラフを検査し、必要に応じて、それを完成する。すなわち、本発明者らは、何も有していない交点を「親」に指定する。
【００２４】
図８におけるステージ１．４の説明
このステージからパッケージ工程が開始される。ステージ５で分析するために、ステージ３からのグラフに固有の処理をし、固有の機構的表示すなわちビット平面に変換する。
【００２５】
図９におけるステージ１．５の説明
ステージ４からのビット平面とそこに含まれたデータが分析される。この分析に基づいて、本発明者らは、その重要度に従ってビット平面内でデータを編成する。その後、このステージで用いられる圧縮比の値に応じて、本発明者らはこのステージで重要でないデータを全て捨てる（圧縮比の値が大きいほど、より多くのデータが捨てられる）。残ったデータが４つの異なったデータフローに分類される。
【００２６】
図１０におけるステージ１．６の説明
より大きいデータ圧縮を達成するために、フロー内のデータが特別な方法で編成され、さらなる統計分析がなされる。
【００２７】
図１１におけるステージ１．７の説明
編成されたフローはパッケージされたフレームである集積構造に一体化される。この集積構造は、次に、ネットワークを通して送信するために転送される。
【００２８】
２．フレームの形成（補正方法）（図１２に示される）
ステージ１  前のフレームと比較して差を決定する
説明：  静的フレームが入力される。前のフレームとの差を決定する。２つの変形形態、すなわち、前のフレームとの差の決定、または前の基本フレームとの差の決定が存在する。第１の変形形態は、差が小さいことを前提としているが、通信時にこの差が存在しないと次のフレームを形成できないことになる。第２の変形形態は、差が大きいことを前提としているが、フレームがなくても重大な問題とはならない。
【００２９】
ステージ２  差の処理
説明：  不必要なデータを除去してデータをより小さく（圧縮）するために、差が処理される。
【００３０】
ステージ３  差のパッケージ化
説明：  キーフレームの変更をパッケージ化するために、パッケージ方法が用いられる。
【００３１】
オーディオコーデック
オーディオコーデックは、ビデオフローと同期してオーディオフローを符号化する。音声符号化は、音声符号化の心理的音響モデルのオリジナルの実現を含む。この実現は、１４００ＢＰＳのチャネルを用いて、音声を送信することを可能にしてきた。
【００３２】
ネットワークカーネル（図１３で示されたような）は適時のデータ配信を保証し、ネットワーク妨害を検出するためにネットワークを監視する役割を果たし、累積された統計値に基づいて、ビデオコンプレッサおよびオーディオコンプレッサの調整を実行する。図では、一方向のデータ転送チャネル（このチャネルに対する必要条件は以下に列挙する）の構造を表示する。このチャネルは、３つのフロー、すなわち、
−ビデオチャネル、
−オーディオチャネル、
−制御チャネル
からなる。
ビデオチャネルは、ビデオコンプレッサからのビデオフレーム配信の役割を担う。
音声チャネルは、オーディオコンプレッサからのオーディオフロー配信の役割を担う。
制御チャネルは、広範囲のサービス機能、すなわち、
通信セッションの開始前にクライアントのプログラムの２つ以上のユーザのコネクションを実行、
ビデオフローおよびオーディオフローの同期化、
ネットワーク、
ネットワーク妨害およびデータ損失の通知、
ユーザ間でのショートメッセージの交換（チャット）の実行
の役割を担う。
【００３３】
図１４は、インターネット上でのビデオ会議用のプログラムシステムを開発するための必要条件および機能仕様を示している。
【００３４】
全てのシステムユーザは、ウェブサイトで登録しなければならず、そのサイトでユーザは、氏名、Ｅメールおよびシステムにログインするためのパスワードを入力する。ユーザが登録された後は、システムはユーザ毎に固有番号（ＵＩＤ）を割り当てる。
【００３５】
ユーザがシステムに登録された後、ユーザはユーザ自身のコンピュータにＰＳをアップロードし、それをインストールすることができる。
【００３６】
クライアントはまた、システムにおける追加サービス（オプション）に対してクレジットカードで支払うこともできる。支払いはＣｙｂｅｒＣａｓｈシステムを介して行われ、料金請求サーバに登録される。
【００３７】
クライアントアプリケーション
クライアントアプリケーションは以下の機能を有する。
１．データベース内のユーザを表示および探索。このオプションは、ＰＳの全バージョンで利用できる。
２．コンタクトリストへのユーザの追加の許可を要求。許可後、ユーザはコンタクトリストに追加される。このオプションはＰＳの全バージョンで利用できる。
３．コンタクトリストのユーザにショートメッセージを送信。このオプションはＰＳの全バージョンで利用できる。
４．コンタクトリストのユーザとチャット。このオプションはＰＳの全バージョンで利用できる。
５．ビデオフローおよびオーディオフローを変換することができ、ビデオフローおよびオーディオフローを表示することを許可されているユーザからのオーディオおよびビデオフローの表示。このオプションはＰＳの全バージョンで利用できる。
６．ビデオ会議を実施することを許可されているシステムの別のユーザとのポイント・ツー・ポイントでのビデオ会議。ビデオ会議は、このオプションに対して料金を支払ったユーザが利用できる。
７．複数のユーザに対するビデオ変換。このオプションは、ビデオ変換の許可に対して料金を支払ったユーザが利用できる。
【００３８】
クライアントのハードウェアの必要条件は以下である。
−ＰＩＩ  Ｃｅｌｅｒｏｎ  ６００ＭＨｚのプロセッサを備えたＩｎｔｅｌ  ＰＣ。
−６４Ｍｂ以上のメモリ。
−サウンドカード。
−ビデオカメラ。
−ダイアルアップ接続用の標準５６ＢＰＳモデム、または
−１０／１００ＭＢのネットワークへの接続用のネットワークカード。
【００３９】
クライアントのソフトウェアに対する必要条件は以下である。
−ＯＳはＷｉｎｄｏｗｓ（登録商標）  ９８  ＯＳＲ１、Ｗｉｎｄｏｗｓ（登録商標）  Ｍｅ、Ｗｉｎｄｏｎｗｓ  ２０００。
−Ｄｉｒｅｃｔ  Ｓｈｏｗドライバセット（カメラおよびサウンドカードはドライバと互換性がなければならない）。
−ＴＣＰ／ＩＰプロトコルドライバ。
【００４０】
サーバアプリケーション
１．接続サーバ
接続サーバはシステムの全ユーザに対するエントリーポイントである。接続サーバは以下の機能を実行する。
−システムに登録するためのＵＩＤおよびパスワードを要求。
−セッション中のユーザとの常時接続の確保。
−ユーザの状態をテスト。
−現時点でオンラインのユーザのリストを維持。
−クライアントと上位サービスとの間のデータ通信（これらの説明は以下を参照）。
−ショートメッセージをユーザへ送信、および失敗した場合はメッセージＤＢにそれらを格納。
【００４１】
２．リダイレクタ
リダイレクタは、接続サーバと上位サービスとの間の薄い層である。リダイレクタは上位サービスの負荷のバランスを保つ役割を担う。
【００４２】
３．ディレクトリサーバ
ディレクトリサーバは、ユーザの分散データベースとユーザのコンタクトリストを格納する。リダイレクタサーバは、これらのサーバの負荷を管理する。
【００４３】
４．メッセージＤＢ
メッセージＤＢは未送信メッセージのサーバである。何らかの理由で、接続サーバによって受信者に配信されないメッセージの全てがメッセージＤＢに送信される。ユーザがシステムにログインすると、接続サーバがこのユーザに対する未送信のメッセージの有効性をチェックし、有効である場合は、それらをユーザに送信する。
【００４４】
５．料金請求システム
ユーザアカウントの記憶システム。登録されたシステムユーザにはそれぞれ、個人口座がある。初期設定で空の場合、すなわちユーザがシステムに登録された後は、ユーザは無料のシステムサービスのみにアクセスできる。ユーザが追加のサービスに対して支払いたい場合、ユーザは（ＣｙｂｅｒＣａｓｈシステムを介して）クレジットカードを用いてそれを実行できる。ユーザがシステムにログインすると、接続サーバは、料金請求システムでのユーザの状態を要求し、ユーザの状態に基づいて、追加サービスへのアクセスを割り当てる。
【００４５】
一実施形態におけるサーバハードウェアに対する必要条件は以下である。
−６００ＭＨｚ以上の速さのＰＩＩＩプロセッサを備えたサーバ。
−１２８Ｍｂ以上のメモリ。
【００４６】
一実施形態におけるサーバソフトウェアに対する必要条件は以下である。
−ＯＳ  Ｗｉｎｄｏｗｓ（登録商標）  ２０００のサーバ。
−ＭＳＳＱＬ  Ｓｅｒｖｅｒ  ２０００。
【００４７】
図１５は、ビデオ画像を圧縮および送信するプログラムシステムの開発のための機能仕様書を示している。
【００４８】
このプロジェクトの目的は、全て既存規格のワイヤレス通信の低帯域幅チャネルを用いてビデオ画像を圧縮および送信するためのプログラムシステム（さらにＰＳと称される）の開発である。所定のＰＳは、ワイヤレス通信を用いてリアルタイムモードでビデオ会議やビデオ送信を実行することを目的とし、ハードウェア実現に対するプロトタイプとして用いられる。ＰＳに関する基礎技術である技術の開発は、広帯域チャネル（５６ＢＰＳ以上の）にも適用可能で、拡張可能でなければならない。この事実によって、ＰＳはビデオフィルム放送システムに拡張することができる。
【００４９】
プログラムシステムの基本構造
クライアント部
クライアント部は、ユーザのＰＣにインストールされており、ユーザがリアルタイムのビデオ画像を送信する、またはリアルタイムのビデオ会議をＰＣにインストールされた同じプログラムを有する別のユーザと実施できるようにする独立したプログラムである。別のユーザとの接続は、ワイヤレスの通信チャネル（直接接続）を用いて、またはインターネット（もしくは、他のＴＣＰ／ＩＰネットワーク）を用いて実現される。インターネット（または、他のＴＣＰ／ＩＰネットワーク）を用いて接続する場合、クライアント部はサーバプログラムとコンタクトし、その時ネットワークに接続しているユーザに関して要求する必要がある。
【００５０】
クライアント部には以下を含む。
−ビデオコンプレッサ
ビデオカメラからのビデオフローを符号化し、それをネットワークカーネルに送信。
ネットワークカーネルからのビデオフローを復号化し、それをユーザのディスプレイに送信。
ネットワークカーネルからネットワーク妨害の統計を受信して、ビデオフローのパラメータを補正。
−オーディオコンプレッサ
サウンドマップからオーディオフローを符号化し、それをネットワークに送信。
ネットワークカーネルからオーディオフローを復号化し、それをサウンドマップに送信。
ネットワークカーネルからネットワーク妨害の統計を受信して、オーディオフローのパラメータを補正。
−ネットワークカーネル
２人のユーザ間の接続を実現。
ネットワークデータの受信および送信を実現。
送信されたデータの保全性の制御を実現。
ネットワークの監視を実現および、ネットワーク妨害の統計をオーディオおよびビデオコンプレッサに送信。
データ送信原理の説明はネットワークカーネルの説明において示される。
【００５１】
クライアントのハードウェアに対する必要条件は以下である。
−６００ＭＨｚのＰＩＩ  Ｃｅｌｅｒｏｎプロセッサを備えたポータブルＰＣ。
−６４Ｍｂ以上のメモリのサウンドカード。
−サウンドカード。
−ビデオカメラ。
−ワイヤレス通信チャネルへの接続用の接続デバイス、または
−ダイアルアップ接続用の標準５６ＢＰＳモデム。
【００５２】
プロジェクト上のワークのプラン・スケジュール
プロジェクト上のワークは６つのステージで実現される。
第１ステージ  調整および準備。プログラムの現在のバージョンの提示。
このステージの間、以下のワークコンテンツが遂行される。
−開発者は、提示するための、ビデオ圧縮のためのプログラムの現バージョンの技術文書とプログラムモジュールを準備する。
−開発者は、作業者にタスクを設定し、作業者がプロジェクトの要件を十分理解するようにする。
−開発者は、プログラムの現バージョンを提示する。提示の最中、開発者は以下のことを実証しなければならない。
１．クライアント部が、携帯電話を用いた直接接続およびインターネットを介した接続の可能性を有すること。
２．所定の要求仕様書に記載されたハードウェアおよびソフトウェアの監視を操作するビデオコンプレッサを実現していること。
３．補正機構を有し、毎秒３フレームの速度で許容画質を実行する会議モードにおいてビデオフローおよびオーディオフローを送信するビデオコンプレッサおよびオーディオコンプレッサを、９５００ＢＰＳ以上の帯域幅を備えた全二重ワイヤレス通信チャネルを用いて実現していること。
４．ユーザのインタフェースの現バージョンを実現していること。
５．チャット機能を実現していること。
６．９６０Ｏ  Ｋ５チャネルを用いてビデオフローの送信を保証できるプログラムの現バージョンのテスト記録シートを作成すること。
【００５３】
第２ステージ  ＜＜新バージョンの開発＞＞
−サーバ部の完全な実現。
−ユーザの新バージョンの開発、調整および導入。
−関心領域方法の実現。
−補正モデルの２つのバージョンの実現。これらの方法とネットワークカーネルとの間の交信の確立し、ネットワーク妨害の統計に応じて、これら方法の設定値を自動的に変更する。
−オーディオコンプレッサの実現（予測されるオーディオフロー帯域幅は１５００ＢＰＳ）。
−異なるＯＳ、通信ネットワーク規格およびハードウェアを用いたシステムのテスト。
−新バージョンの提示。
−プログラムの現バージョンのテスト記録シートを作成。
−ソースコードを紙媒体で顧客へ転送。
【００５４】
第３ステージ  ＜＜コーデックのハードウェアバージョンを実現するための調整ワーク＞＞
−ユーザは、自由に使える、異なるチャネル帯域幅に対する調節機構、ビデオフローおよびオーディオフローの質を調節するための総合的機能を有する必要がある。ビデオコンプレッサおよびオーディオコンプレッサの特定の設定のすべては、ユーザが設定することなく自動的に実現されなければならない。
−ユーザは、また、自由に使える、音量設定パネルとビデオカメラパラメータ設定とを有する必要がある。
−ユーザは着信に関するプログラムによって通知され、不要な呼び出しを遮断できなければならない。
−ユーザは自由に使えるチャット機能を有する必要がある。
【００５５】
サーバ部
サーバプログラムは、インターネット接続（または任意の他のＴＣＰ／ＩＰネットワーク）を用いてクライアント部ユーザがより簡単に探索および接続できるように設計されている。サーバ部は、ネットワークのクライアント部への全てのユーザ接続を登録および追跡することが可能なプログラムユーザの拡張可能なデータベースである。ネットワークに接続される際の各プログラムユーザはサーバ上に登録され、他のユーザをプログラムユーザのアドレスブックに追加し、アドレスブック内に挙げられた任意のユーザの現在の状況を表示することができる。要求されたユーザがその時にオンラインであれば、サーバ部は、特別に調節しなくてもこのユーザに高速接続する可能性を保証しなければならない。
【００５６】
料金請求システムの主なタスクは、チャネルの使用時間に対するユーザへの請求書を処理することである。チャネル使用に関する支払いは毎分について徴集される。１分間のコストはチャネル毎に決定され、例えば、休日には特別料金を導入することもできる。各クライアントは個人口座を有している。この口座への金額はクライアントのクレジットカードから移される。口座の補充が実際の送金によって、または広告キャンペーンの枠内でフリーミニッツ（ｆｒｅｅ  ｍｉｎｕｔｅｓ：無料で使用できる時間）を獲得することによって行われる。ビデオ放送サーバは、ｈｔｔｐプロトコルを用いて料金請求サーバにその要求を送信する。１つの料金請求サーバがいくつかのビデオ放送サーバの役割を果たしてもよい。
【００５７】
一実施形態のサーバハードウェアに対する必要条件は以下である。
−ＰＥ  ６００ＭＨｚ以上のＰＥプロセッサを備えたサーバ。
−１２８Ｍｂ以上のメモリ。
【００５８】
一実施形態のサーバソフトウェアに対する必要条件は以下である。
−ＯＳ  Ｗｉｎｄｏｎｗｓ  ２０００のサーバ。
【００５９】
一実施形態のサーバ部に対する必要条件は以下である。
−サーバは、無制限の数をサポートする標準的な拡張可能データベースを有していなければならない。
−サーバは、クライアントのプログラムから毎秒少なくとも１０Ｄ以上の要求を処理しなければならない。
【００６０】
ネットワークカーネル（例えば図１３または図１６）は、データの適時の配信を保証し、ネットワーク妨害を検出するために、ネットワークを監視する役割を果たし、蓄積された統計に基づいて、ビデオコンプレッサおよびオーディオコンプレッサの調整を実行しなければならない。図では、一方向のデータ転送チャネルの構造を表示している（このチャネルに対する必要条件は以下に列挙する）。このチャネルは以下の３つのフローから成る。
−ビデオチャネル。
−オーディオチャネル。
−制御チャネル。
ビデオチャネルは、ビデオコンプレッサからのビデオフレーム配信の役割を担う。
音声チャネルは、オーディオコンプレッサからのオーディオフロー配信の役割を担う。
制御チャネルは、広範囲のサービス機能、すなわち、
−通信セッションが開始される前に、クライアントのプログラムの２人以上のユーザの接続を実行、
−ビデオフローおよびオーディオフローの同期化、
−ネットワーク、
−ネットワーク妨害およびデータの損失の通知、
−ユーザ間でのショートメッセージの交換（チャット）の実行
の役割を担う。
【００６１】
一実施形態のネットワークカーネルの必要条件は以下である。
−データの適合性を制御。
−ネットワークの連続的監視。
−ネットワーク妨害の統計とビデオコンプレッサおよびオーディオコンプレッサの設定値での動作能力の蓄積。
−補正に関するワークのインテリジェントアルゴリズムの有用性。
−チャット機能の実現。
−拡張性、すなわち１つのビデオフローを多数に送信する可能性。
【００６２】
インタフェース
ユーザインタフェース（ＧＵＩ）は、クライアントプログラムを管理する便利で直感的に理解できる形態を提供しなければならない。ＧＵＩは、プログラム設定による簡単な操作方法および別のユーザへ簡単で便利な接続を保証する。
【００６３】
一実施形態のユーザインタフェース（ＧＵＩ）についての必要条件は以下である。
−ユーザインタフェースは簡単で直観的でなければならない。
−インタフェースは、快適な最新デザインでなければならない。
−ユーザインタフェースは、受信ビデオフローおよび送信ビデオフローを表示するために２つのダイアログから構成されなければならない。
−ユーザは、ダイアログの大きさをスクリーンの大きさに拡大し、ダイアログをリセット状態に戻す機能を有する必要がある。
ビデオコンプレッサは、符号化プロセス中に蓄積された統計と、ネットワークカーネルで蓄積およびそこから受信した統計に基づいてビデオフロー符号化プロセスの間に、柔軟に調節できなければならない。
【００６４】
一実施形態のビデオコンプレッサに対する必要条件は以下である。
−上述のソフトウェアおよびハードウェアの必要条件に従った前処理および後処理を含む会議モードにおいて、ビデオコンプレッサは、ビデオフローの同時符号化および復号化を可能にしなければならない。
−ビデオコンプレッサは、符号化および復号化の対称的方式を提供しなければならない。
−帯域幅が９６００ＢＰＳのチャネルを用いて、１秒当たりに処理されるフレームの数は５以上で、許容画質を実現しなければならない。
−補正モデルは静的イメージの画質の段階的向上を保証しなければならない。
−補正モデルは可能なネットワーク妨害を処理できなければならない。
−補正モデルは２つの変形形態、すなわち、データの配信を保証するネットワークに対して（そのようなネットワークを用いる別のハードウェアの実現に対して）、およびデータ配信を保証しないネットワークに対して（インターネットタイプのネットワークに対して）実現されなければならない。
【００６５】
オーディオコンプレッサ
オーディオコンプレッサは、オーディオフローのウェーブレット用いて符号化および復号化を実行する。所定のモジュールの実現は、２つの方向、すなわち、市場標準化オーディオフローの圧縮アルゴリズムでの有効な使用と、ウェーブレット技術に基づいてオーディオコーデックを開発する可能性の分析との方向に進展しなければならない。
【００６６】
一実施形態のオーディオコンプレッサに対する必要条件は以下である。
−オーディオコンプレッサは、上述のソフトウェアおよびハードウェア必要条件に従った会議モードにおいてビデオならびにオーディオフローの同時符号化および復号化を実現しなければならない。
−オーディオコンプレッサは符号化および復号化の対称的方式を提供しなければならない。
−オーディオコンプレッサのワークはビデオワークと同期化されなければならない。
−音質は会話を理解するのに十分でなければならない。
−オーディオデータ量は、帯域幅が９６００ＢＰＳのチャネルを用いて、２４０Ｄ  ＢＰＳを超えてはならない。理想的な量は１０００ＢＰＳである。
−オーディオコンプレッサは、起こり得るネットワーク妨害を処理できなければならない。
−１０／１００ＭＢのネットワークへの接続用ネットワークカード。
【００６７】
一実施形態のクライアントのソフトウェアに対する必要条件は以下である。
−ＯＳはＷｉｎｄｏｗｓ（登録商標）  ９８  ＯＳＲ１、Ｗｉｎｄｏｎｗｓ  Ｍｅ、Ｗｉｎｄｏｎｗｓ  ２０００。
−Ｄｉｒｅｃｔ  Ｓｈｏｗショードライバセット（カメラおよびサウンドカードはドライバと互換性がなければならない）。
−ワイヤレス通信チャネル上のＴＣＰ／ＩＰプロトコルドライバ。
【００６８】
一実施形態のデータ通信チャネルに対する必要条件は、以下の通りである。
−デジタルワイヤレス通信チャネル。
−所定のワイヤレス通信チャネルは、帯域幅が９６００ＢＰＳ以上の全二重通信を提供しなければならない。
−２つのコンピュータ間の直接ダイアルアップ接続（またはＡＳＰを用いたインターネットを介しての接続）、または
−２つのコンピュータ間の直接接続用のローカル１０／１００ＭＢネットワークのいずれか。
【００６９】
ビデオコンプレッサ
ビデオコンプレッサは、ビデオフローのウェーブレットを用いて符号化および復号化を実行する。所定のプロセッサは以下の処理サイクルを有する。
−前処理。
−キーフレームの符号化。
−補正モデル。
−キーフレームおよび補正後のフレームの復号化。
−後処理。
【００７０】
前処理は、後続の符号化、すなわち質の向上のために必要な（前のフレームから利用可能な統計に基づいた）ビデオ画像調整。
【００７１】
キーフレームの符号化は、ウェーブレット技術を用いて、開発されたビデオ圧縮方法に基づいて実行される。
【００７２】
補正方法は、フレーム間の差のみを送信するという事実によって、より多数のフレーム数を送信可能にする。この方法は前処理と密接に結合されなければならない。ほとんどの場合ネットワーク妨害に依存しているから、補正方法はネットワークカーネルとも密接に結合されなければならない。補正後フレームの符号化も、ウェーブレット技術に基づいて実行される。
【００７３】
キーフレームおよび補正後フレームの復号化は、ウェーブレット技術を利用した逆符号化を用いて実現される。
【００７４】
後処理は、鮮明度およびカラースペクトルを改良するために、ビデオ画像にフィルタを適用することによってビデオの画質を向上させることを目的とする。
【００７５】
発明の詳細な説明においては、本発明の方法の具体的および最も好ましい実現形態を提示している。この方法のステップおよびそれらの特定のパラメータの詳細な説明は、提示された説明によって本発明の全てが提示されていることを意味するものではない。特許請求の範囲に記載の方法およびその変更形態の追加の利点も同様に、本発明者らの全体の発明思想によって実現可能である。
【図面の簡単な説明】
【００７６】
【図１】特許請求の範囲に記載の方法の第１の態様を示す図である。
【図２】特許請求の範囲に記載の方法の第２の態様を示す図である。
【図３】本出願の代替および／または詳細な概念を示す図である。
【図４】本出願の代替および／または詳細な概念を示す図である。
【図５】本出願の代替および／または詳細な概念を示す図である。
【図６】本出願の代替および／または詳細な概念を示す図である。
【図７】本出願の代替および／または詳細な概念を示す図である。
【図８】本出願の代替および／または詳細な概念を示す図である。
【図９】本出願の代替および／または詳細な概念を示す図である。
【図１０】本出願の代替および／または詳細な概念を示す図である。
【図１１】本出願の代替および／または詳細な概念を示す図である。
【図１２】本出願の代替および／または詳細な概念を示す図である。
【図１３】本出願の代替および／または詳細な概念を示す図である。
【図１４】本出願の代替および／または詳細な概念を示す図である。
【図１５】本出願の代替および／または詳細な概念を示す図である。
【図１６】本出願の代替および／または詳細な概念を示す図である。
【図１】
2008505588.tif 000004
【図２】
2008505588.tif 000005
【図３】
2008505588.tif 000006
【図４】
2008505588.tif 000007
【図５】
2008505588.tif 000008
【図６】
2008505588.tif 000009
【図７】
2008505588.tif 000010
【図８】
2008505588.tif 000011
【図９】
2008505588.tif 000012
【図１０】
2008505588.tif 000013
【図１１】
2008505588.tif 000014
【図１２】
2008505588.tif 000015
【図１３】
2008505588.tif 000016
【図１４】
2008505588.tif 000017
【図１５】
2008505588.tif 000018
【図１６】
2008505588.tif 000019
【国際調査報告】
2008505588.tif 000020