(57)【要約】  前処理手段を備えるビデオ圧縮ユニット１であって、前処理手段は、着信ビデオ信号の少なくとも一部分を前処理して、着信ビデオ信号の所与の数のピクセルの複雑度を低減するように動作可能であり、前処理された信号は符号化器手段による動作を受けるのに適している、前処理手段を備えるビデオ圧縮ユニット。
2013539276.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ圧縮符号化器に供給する前に着信ビデオ信号（３）の少なくとも一部分を前処理する方法であって、
該前処理は以下の順序で
ａ．前記着信ビデオ信号（３）の少なくとも一部分を空間的にスケーリングして第１のビデオ信号を形成する、空間的にスケーリングするステップと、その直後に、
ｂ．前記第１のビデオ信号の少なくとも一部分を空間的に再スケーリングして第２のビデオ信号を形成し、該第２のビデオ信号の複雑度が前記着信ビデオ信号（３）の複雑度未満になるようにする、空間的に再スケーリングするステップと、
を含み、
前記第２のビデオ信号は、ビデオ圧縮符号化器に入力するための完全な入力信号を提供することを特徴とする、方法。
【請求項２】
ステップ（ａ）は、水平方向において前記着信ビデオ信号（３）をダウンスケーリングするステップを含み、
ステップ（ｂ）は、前記水平方向において前記第１のビデオ信号をアップスケーリングするステップを含む、
請求項１に記載の方法。
【請求項３】
ステップ（ａ）は、前記水平方向において前記着信ビデオ信号（３）の前記少なくとも一部分を空間的にスケーリングし、該少なくとも一部分がアクティブなビデオ信号のより小さな部分を占有するようにするステップを含み、
ステップ（ｂ）は前記水平方向において前記第１のビデオ信号の前記少なくとも一部分を空間的に再スケーリングし、前記アクティブなビデオ信号によって占有される前記第２のビデオ信号の前記部分が、該アクティブなビデオ信号によって占有される前記着信ビデオ信号（３）の前記部分に実質的に等しくなるようにするステップを含む、
請求項１又は２に記載の方法。
【請求項４】
ステップ（ａ）及び／又はステップ（ｂ）は、前記それぞれのビデオ信号の前記少なくとも一部分におけるピクセルの補間によって実行される、請求項１から請求項３までのいずれか１項に記載の方法。
【請求項５】
前記ピクセルの補間は、前記ピクセルの前記少なくとも一部分の線形補間によって行われる、請求項４に記載の方法。
【請求項６】
前記ビデオ信号からアーティファクトをフィルタリングするステップを更に含む、請求項１から請求項５までのいずれか１項に記載の方法。
【請求項７】
前処理手段を備えるビデオ圧縮ユニット（１）であって、
該前処理手段は、
ａ．着信ビデオ信号（３）の少なくとも一部分を空間的にスケーリングして第１のビデオ信号を形成するように動作可能に構成された第１のビデオサンプリングユニット（６）と、その直後に、
ｂ．前記第１のビデオ信号の少なくとも一部分を空間的に再スケーリングして、複雑度が前記着信ビデオ信号（３）よりも低い第２のビデオ信号を形成するように動作可能に構成された第２のビデオサンプリングユニット（８）と、
を備え、
前記第２のビデオ信号は、ビデオ圧縮符号化器に入力するための完全な入力信号を含むことを特徴とする、ビデオ圧縮ユニット。
【請求項８】
ステップ（ａ）をステップ（ｂ）と連続して制御するためのコントローラー（７）を備える、請求項７に記載のビデオ圧縮ユニット。
【請求項９】
前記第１のビデオサンプリングユニット（６）及び前記第２のビデオサンプリングユニット（８）はそれぞれビデオスケーリングユニットを備える、請求項７又は請求項８に記載のビデオ圧縮ユニット。
【請求項１０】
前記第１のビデオサンプリングユニットは、第１のデジタルビデオエフェクト処理ユニットを備え、
前記第２のビデオサンプリングユニットは、第２のデジタルビデオエフェクト処理ユニットを備える、
請求項７から請求項９までのいずれか１項に記載のビデオ圧縮ユニット。
【請求項１１】
前記第１のデジタルビデオエフェクト処理ユニットは、第１のアスペクト比変換器を備え、
前記第２のデジタルビデオエフェクト処理ユニットは、第２のアスペクト比変換器を備える、
請求項１０に記載のビデオ圧縮ユニット。
【請求項１２】
いずれか又は双方のビデオ信号の少なくとも一部分からノイズをフィルタリングするノイズ低減モジュール（４）を更に備える、請求項７から請求項１１までのいずれか１項に記載のビデオ圧縮ユニット。
【請求項１３】
前記ノイズ低減モジュール（４）は、前記第１のビデオサンプリングユニット（６）に送信する前に前記着信ビデオ信号（３）の前記少なくとも一部分からノイズをフィルタリングするように、前記第１の信号処理ユニット（６）の上流に接続される、請求項１２に記載のビデオ圧縮ユニット。
【請求項１４】
請求項１から請求項８までのいずれか１項に記載の方法に従って着信ビデオ信号を前処理するための１つ又は複数のソフトウェア構成要素又はファームウェア構成要素を備えるコンピューター可読記憶デバイス。
【請求項１５】
請求項１から６までのいずれか１項に記載の方法によって完全な入力信号を生成し、該完全な入力信号を圧縮するステップを含む、圧縮されたビデオ信号を生成する方法。
【請求項１６】
前記着信ビデオ信号は送信及び受信されるビデオ信号である、請求項１５に記載の方法。
【請求項１７】
処理されたビデオ信号を送信する方法であって、
ａ．請求項１５又は請求項１６に記載の方法によって生成された、圧縮されたビデオ信号を受信するステップと、
ｂ．前記圧縮されたビデオ信号を送信するステップと、
を含む、方法。
【請求項１８】
処理されたビデオ信号を送信する方法であって、
ａ．請求項１５又は請求項１６に記載の方法によって生成された、圧縮されたビデオ信号を受信するステップと、
ｂ．前記圧縮されたビデオ信号を解凍して、解凍されたビデオ信号を生成するステップと、
ｃ．前記解凍されたビデオ信号を送信するステップと、
を含むことを特徴とする、方法。
【請求項１９】
処理されたビデオ信号を表示する方法であって、
ａ．請求項１５若しくは請求項１６に記載の方法によって生成されるか、又は請求項１７に記載の方法によって送信された、圧縮されたビデオ信号を受信するステップと、
ｂ．前記圧縮されたビデオ信号を解凍するステップと、
ｃ．前記処理されたビデオ信号を表示するステップと、
を含む、方法。
【請求項２０】
請求項１５に記載の方法によって生成された圧縮されたビデオ信号を全体的に又は部分的に記憶する一時記憶装置又は永久記憶装置を備える配信デバイス。
【請求項２１】
前記配信デバイスは、サーバー又はＰｏＰ又はインターネットサービスプロバイダー又はコンテンツ配信ネットワークを含む、請求項２０に記載の配信デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェブ対応デバイスへのデータの送信又はストリーミングの分野に関する。より詳細には、本発明は、ビデオデータ若しくはオーディオデータ若しくはマルチメディアデータ又はそれらの組合せ等のメディアコンテンツのインターネットを介した送信に関する。
【背景技術】
【０００２】
序論
ネットワーク及びインターネットを介してメディアコンテンツをストリーミングする従来の試みは、コンピューターのＣＰＵの処理能力と利用可能な帯域幅との複合要因により制限されていた。
携帯情報端末（ＰＤＡ）、第３世代（３Ｇ）移動電話、及びパーソナルコンピューター等の現代のコンピューティングデバイスは、これまでメディアコンテンツを処理するのに十分高いＣＰＵ能力を用いて展開されてきた。
しかしながら、そのようなコンピューティングデバイスの処理能力は改善したが、公衆ネットワークを介したメディアコンテンツの信頼性のある高品質のブロードキャストへの帯域制限ステップ(rate limiting step)は、依然としてラストマイル帯域幅(last mile bandwidth)に大きく依拠している。ラストマイル帯域幅とは、通信プロバイダーから顧客までの配信接続性(delivering connectivity)の最終区間(final leg)の物理ネットワーク容量である。
符号化技法の結果として、Ｒｅａｌ  Ｐｌａｙｅｒ（登録商標）又はＷｉｎｄｏｗｓ  Ｍｅｄｉａ  Ｐｌａｙｅｒ（登録商標）等の標準的なメディアプレーヤーは、ストリームのビデオコンテンツの一定割合が「バッファリング」された後に、ビデオの再生を試みる。
着信データビットレートが低すぎる場合、プレーヤーは、バッファメモリが空になる時点まで再生し、その時点でプレーヤーは停止し、バッファメモリが再び十分満たされるようにする。
メディアコンテンツをバッファリングすることは、視聴体験の満足度を下げる頻繁な開始及び停止をビデオ再生の全体にわたって生じるだけでなく、ダウンロードされているメディアコンテンツのビットレート及びユーザーの接続速度に依拠して、メディアコンテンツの開始を遅くする可能性がある。
これは、大きな帯域幅を必要とするインターネットＴＶ等の高品質ビデオメディアコンテンツがネットワークを介してストリーミングされ、それによって、ラストマイルを介して同時配信されるより多くのデータでネットワークに負荷をかける多くの同時視聴者が、ネットワークに対する追加的なストレスによって配信損失を増大させる場合に深刻化する。
ネットワークを介してストリーミングされる度にビデオコンテンツがバッファリングされないようにするために、メディアプレーヤーは、ビデオムービーをダウンロードして、ユーザーのコンピューターのキャッシュ又はハードドライブ内にコンテンツを記憶することによって機能することもできる。
しかしながら、そのようなダウンロード技法は、著作権侵害(piracy)を増長させることが知られており、リアルタイムの視聴又はビデオオンデマンドに不可欠なリアルタイムのデータ転送を可能にすることができない。
【０００３】
過度なバッファリング遅延を伴うことなくネットワークを介して高品質メディアを配信するとともに従来よりも実質的に低いビットレートで良好なビデオ品質を提供することをさらに試みるために、メディアファイルをＭＰＥＧ（ムービング・ピクチャー・エクスパーツ・グループ）ＬＡグループＨ２６４フォーマット等のフォーマットに圧縮し、ネットワークを介してそれらのメディアファイルを容易にストリーミングできるようにする、すなわち圧縮を用いてメディアストリームのサイズを低減することが慣習となっている。
ビデオファイル及びオーディオファイルの双方について、ファイルを小さくすることは、「コーデック」すなわち「圧縮／解凍」ソフトウェアを必要とする。種々の圧縮アルゴリズム又はコーデックがオーディオデータコンテンツ及びビデオデータコンテンツに用いられる。コーデックはデータを圧縮し、場合によっては全体の解像度を下げ、ファイルを小さくするための他の対策を講じる。
しかしながら、そのような圧縮技法は、ビデオの品質を大幅に劣化させる可能性ある。結果として、ほとんどのオンラインのストリーミングビデオは、コンピュータースクリーン又はＬＣＤ／ＴＶ又はハンドヘルドデバイス又はスマートフォンのスクリーン全体を埋めないように事前設定される。
ビデオプレーヤーのサイズの低減は、現在のメディアプレーヤーに基づくストリーミング配信システムが、配信されているメディアの知覚品質を低減することなくビデオを配信することができる唯一の方法である。
このため、ストリーミングビデオのサイズがフルスクリーン又は大きなスクリーンを埋めるように増大された場合、圧縮されたメディアファイルはサイズ変更に耐えることができないので、深刻なピクセル化によって画像の品質が顕著に下がる可能性がある。
このため、データファイルが圧縮される度合いと、ビデオ信号又はオーディオ信号が耐えることができるデータ損失量との間のトレードオフが存在し、このトレードオフはストリーミングされるデータの全体品質に影響を及ぼすことになる。コーデックのアルゴリズムの結果として圧縮されるデータの割合が大きいほど、データの品質が大きく低減する。
圧縮アルゴリズム又はコーデックを用いて、データストリームコンテンツを符号化した結果としてのデータ損失を軽減する試みに関する種々の文献が公開されている。例えば、国際公開第２０１０／００９５４０号（Ｈｅａｄｐｌａｙ（Barbados社））は、人間の目に見えるブロックアーティファクト又はビデオの歪みの生成を防ぐようにデジタルビデオ信号を圧縮するためのシステムを教示しており、視覚的に知覚不可能であるか又は無関係なディテールを表すデータを選択的に除去することによって圧縮効率を改善している。
【０００４】
コーデックは、効率的にストリーミングすることができるようなサイズにデータコンテンツを圧縮するのに役立つが、マルチメディアアプリケーション又はリアルタイムビデオ等の大きなデータコンテンツファイルのためのアグレッシブなデータ圧縮は、送信信号内に圧縮アーティファクト又は歪みを生じる。
データ圧縮がアグレッシブであるほど、主観的重要性がほとんどないとアルゴリズムによって誤って判断されたが、実際にはその除去又は変更が視聴者にとって好ましくない幾つかのデータが、除去又は変更される場合がある可能性が大きくなる。
例えばビデオ会議及びリアルタイムブロードキャストの用途において見られる極端な事例は、ユーザー側の高需要に起因して圧縮される必要があるデータの過負荷により、データをエンドユーザーに効率的にストリーミングすることができないほどにコーデックアルゴリズムが崩壊している事例である。最悪の場合のシナリオでは、信号は壊れ、ストリームは切断される。
【０００５】
問題を解決するためのオプションは、ビデオのフレームレートを下げることであり、これは、送信される総画像が少なくなり、したがって受信側でビデオを再作成するのに必要なデータが少なくなることを意味する。フレームレートを低減することによって、ストリーミングされたビデオにおいて、ちらつき又は知覚可能なぎくしゃくした動き（jerky motion）が生じる。フレームレートは、ユーザーの目及び脳が画像間の遷移を感知する可能性があるほど低くなり、それによってユーザー体験が不良となり、ビデオ会議等の用法にしか適切でなくなる。
【０００６】
ネットワークを介した高精細度(High Definition)（ＨＤ）ビデオコンテンツ分配の場合、メディアコンテンツのダウンロード及びアップロードの双方について高い帯域幅を有することが必要である。
Ｈ．２６４等の共通圧縮フォーマットにおけるフルＨＤ（１０８０ｐ、すなわち１０８０本の水平線、順次走査）ビデオコンテンツは、相当する標準精細度(Standard Definition)（ＳＤ）ビデオコンテンツのデータ量の約５倍を有するが、それでも一度圧縮されるとフルＨＤと呼ぶことはできない。
７２０ｐのビデオコンテンツは、ＳＤコンテンツと比較して２．５倍のデータ量を有する（データは米国特許出願公開第２０１０／００８３３０３号（Janos Redei）から引用）。
例えばＡＤＳＬ等のほとんどのブロードバンドデータ通信技術は、提供する帯域幅が制限されており、圧縮されたＨＤビデオ信号のビットレートをサポートしない場合がある。制限された帯域幅は、ＨＤコンテンツ配信、又は更にはインターネットを介したリアルタイムブロードキャストの更に決定的なボトルネックである。
対称ファイバートゥザホーム（ＦＴＴＨ）又はファイバートゥーザプレミシーズ（ＦＴＴＰ）等の、電気通信に用いられる通常の銅線ローカルループの全て又は一部を光ファイバーに置き換えるネットワークアーキテクチャは非常に高価であり、普及していない。
ＨＤコンテンツがインターネットを介してストリーミングされるためには、ＨＤコンテンツは異なるフォーマットに変換され、及び／又は更には編集される場合がある。それによって、送信されるデータの品質に影響を与え、真のＨＤに対抗する（as opposed to）高解像度のリアルタイムストリーミングを得る。
【０００７】
画像圧縮の目標は、知覚される情報を一切損失することなく可能な限り最小の数のビットを用いて画像信号を表し、それによって送信を加速し、記憶要件を最小限にすることである。信号を表すビット数は通常、平均ビットレート（ビデオの秒あたりの平均ビット数）として表される。
デジタルビデオ画像を表すのに用いられるデータ量を低減するために、ＭＰＥＧ４等のビデオ圧縮フォーマットは、特に空間領域及び時間領域において、冗長であるとみなされる情報を、画像の知覚品質を落とすことなく低減することによって機能する。これは不可逆圧縮としても知られる。
空間圧縮は、人間の目は画像において明るさの変化を知覚できるほど容易に色等の小さな差異を区別することができず、このため実質的に色の非常に小さなエリアを「平均する」ことができるということを利用することによって、画像内の不要な情報を破棄する圧縮である。
【０００８】
共通空間圧縮方法は、通常、ピクセル画像ブロックに適用される離散コサイン変換(Discrete Cosine Transform)（ＤＣＴ）を用いて、各ブロックを周波数領域表現に変換する。通常、ＤＣＴは、幅８ピクセル×高さ８ピクセルのブロック又はマクロブロックに作用し、このため６４個の入力ピクセルに作用し、６４個の周波数領域係数を得る。ｈ．２６３及びｈ．２６４等のより最近のコーデックでは、ブロックサイズは１６ピクセル×１６ピクセルに固定される。ＤＣＴは全ての情報を８×８の画像ブロック内に保持する。
一方、人間の目は、（画像内の小さな特徴に対応する）高周波数を表すＤＣＴ係数に含まれる情報よりも、（大きな特徴に対応する）低周波数を表すＤＣＴ係数に含まれる情報に対し、より感度が高い。
したがって、ＤＣＴは、知覚的により重要な情報を、知覚的により重要でない情報から分離することができる。
空間圧縮アルゴリズムは、高精度で低周波数ＤＣＴ係数を符号化するが、高周波数係数を符号化することに対してより少ないビットを用いるか又はビットを全く用いず、これによって知覚的により重要でない情報を破棄する。理論的に、ＤＣＴ係数の符号化は、２つのステップで達成される。まず、量子化を用いて視覚的に重要でない情報を破棄する。次に、統計的な方法を用いて、可能な限り少ないビットを用いて残りの情報を符号化する。他の空間低減方法は、フラクタル圧縮、マッチング追跡、及び離散ウェーブレット変換(Discrete Wavelet Transforms)（ＤＷＴ）の使用を含む。
【０００９】
空間圧縮技法はフレーム内の差異を符号化するのに対し、時間圧縮技法は、多くの場合に多数のピクセルが一連のフレームにおいて同じであるので、１つのフレームから次のフレームへの変化のみが符号化されるという原則に基づいて機能する。
特に、時間圧縮技法は、ビデオ信号内の各フレームを前のフレーム又はキーフレームと比較し、２つのフレーム間のそのままの差異又は差分を調べる代わりに、この技法は、動き補償符号化器を用いて、前のフレーム又はキー基準フレームからのフレーム間の差異を、フレーム間圧縮として一般に知られる技法によって動きベクトルの形態で符号化する。
次のフレームが前のフレームと大幅に異なっている場合はいつでも、コーデックは新たなキーフレームを圧縮し、このためキーフレームはビデオに沿って或る間隔で導入される。
通常、圧縮プロセスは、上述したようにブロック又はマクロブロックのグリッドにフレーム内の画像を分割するとともに、動き探索アルゴリズムを利用して後続のフレーム内のブロックのうちの全て又は幾つかを追跡することによって実行される。すなわち、本質的に、ブロックは一度に一ピクセルずつ、次のフレーム内の同じ場所にある同様のサイズのブロックと比較され、フィールド間に動きがない場合、ピクセル値間に高い相関が存在し、動きがある場合、同じか又は同様のピクセル値は別の場所にあり、探索ブロックを探索エリア内の全ての可能なロケーションに動かすことによってそれらのピクセル値を探索する必要がある。
このため、ブロックのサイズは重大である。これは、ブロックが大きすぎるとフレーム間のあらゆる動きが取り除かれることになり、ブロックが小さすぎるとビットストリーム内に過度に多くの動きベクトルが生じるためである。
動いたブロックからの差異は通常、ＤＣＴ係数を用いて周波数空間内に符号化される。変換された画像は、ビデオノイズ、レンズ歪み等の結果として、その画像が基づく実際の画像と同一である可能性が非常に低い。このため、変換された画像と実際の画像との差異を変換された画像に加えることによって、そのような変換に関連する誤りが計算される。
【００１０】
不可逆ビデオ圧縮技法は、利用可能な通信帯域幅を前提とする可能な限り最良の忠実性を達成しようとする。
利用可能な帯域幅に適合するのにアグレッシブなデータ圧縮が必要である場合、これは、幾らかの情報損失と引き換えとなり、この結果、視聴機器において信号が復号化又は解凍されるとき、視覚的に顕著なビデオ信号の劣化又は圧縮アーティファクトが生じることになる。
アグレッシブなデータ圧縮方式が適用された結果として、利用可能なデータレートで記憶するには複雑過ぎる場合がある或るデータが、実際には受信側又は利用側の視聴者にとって顕著であるにもかかわらず、破棄されるか、又は重要性がほとんどないとアルゴリズムによって誤って判断される場合がある。
例えば、国際公開第２００８／０１１５０２号（Qualcomm社）は、最初に第１の符号化器においてマルチメディアデータを圧縮及びダウンサンプリングし、そしてその後、処理されたマルチメディアデータを復号化器によって解凍及びアップサンプリングすることにより、マルチメディアデータの解像度を高めるのに用いられる空間スケーラビリティの欠如に対処することを試みる。
復号化器による解凍プロセスは、元のマルチメディアデータと異なるほどにデータを劣化させる。結果として、出力マルチメディアデータは、適切なビデオ表示デバイス上で意味のあるビデオ出力信号を生成するのに用いることができないので、ビデオ出力能力をほとんど又は全く有しない。このため、この後処理動作(this post processing operation)に続いて、復号化信号に対し拡張技法を用いることが重要である。
国際公開第２００８／０１１５０２号（Qualcomm社）は、結果として得られる解凍データを元の（圧縮されていない）マルチメディアデータと比較して、元のマルチメディアデータと、解凍されアップサンプリングされた復号化器からのデータとの間の（「差異情報」としても知られる）差異を計算することによってこの問題に対処する。
第１の符号化／復号化プロセスの結果としての画像劣化を表すこの「差異情報」は第２の符号化器において符号化され、符号化された「補助情報」を用いて、符号化及び復号化プロセス中に影響を受けたか又は劣化したマルチメディアデータにディテールを加えることによってマルチメディアデータが拡張される。第２の復号化器における処理の前の更なる処理技法は、ノイズ除去器（denoiser）モジュールによるノイズフィルタリング（filtration）を含む。
それぞれ第１の符号化器及び復号化器による最初のダウンサンプリング段階及びアップサンプリング段階に続くマルチメディアデータが、適切なビデオ表示ユニットにおいて意味のあるビデオ出力を見ることがほとんどできないか又は全くできないほどにビデオ出力能力をほとんど又は全く有しないので、本明細書における「ビデオ信号」の定義によれば、そのマルチメディアデータはビデオ信号とみなされない。
【００１１】
スケーリング可能な符号化技法の使用を伴う他の教示は、米国特許第５７４２３４３号（Haskell Barin Geoffry他）及び国際公開第９６／１７４７８号（Nat Semiconductor社）を含む。
米国特許第５７４２３４３号（Haskell Barin Geoffry他）は、ＨＤＴＶセットが様々なフォーマットのビデオ信号を受信し、これらの信号から満足のいく程度に見栄えの良い画像を表示することを可能にするビデオ信号の符号化及び復号化に関する。
この機能を提供する方法は、高解像度のプログレッシブフォーマットビデオ信号のスケーリング可能なコーディング技法を通じたものであり、これによって、コーディングの基本層及びコーディングの拡張層が組み合わされて、新たな符号化されたビデオ信号が形成される。空間スケーリングシステムは、信号に空間デシメーターを通過させ、その直後にベース符号化器を通過させ、その後、空間補間器を通過させることを伴う。空間補間に続いてアップサンプリングされた信号は次に、拡張符号化器によって拡張される。
【００１２】
国際公開第９６／１７４７８号（Nat Semiconductor社）は、フルフレームバッファーのサイズのごく一部でしかないフレームバッファーを利用するビデオ圧縮システムに関する。フレームバッファーの入力に接続されたサブサンプラーは、フレームバッファー内に記憶されるビデオデータに対して４回〜１回のサブサンプリングを実行する。サブサンプラーは、ビデオデータがフレームバッファー内に記憶されるレートを低減し、フレームバッファーがフルフレームバッファーのサイズの４分の１となることを可能にする。フレームバッファーの出力に、サブサンプル間の補間及びフィルタリングされた値を提供するためのアップサンプラーが接続される。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ビデオ圧縮における進歩は、ビデオ信号の送信帯域幅を低減することが可能であることを意味してきたが、このため、送信側のサービスプロバイダー又はプログラミングプロバイダーからＩＰネットワークを介してユーザー側のクライアントのデバイスにメディアコンテンツ、特に高解像度マルチメディアコンテンツをストリーミングする方法には、
ｉ）送信帯域幅を大幅に低減し、
ｉｉ）送信されたメディアコンテンツの品質を受信者側で過度に劣化させず、かつ
ｉｉｉ）ビデオ信号の品質及び送信時間に視覚的に顕著な劣化を一切生じることなく、インターネットＴＶ、リアルタイムビデオオンデマンド、及びビデオ会議等の多数のマルチメディアサービスに対処することができる
ことが必要される。
【課題を解決するための手段】
【００１４】
本出願人は、多くのビデオデータストリームが、知覚可能な画像品質の目的で必要とされているよりも多くの情報を含み、これらの情報の全てがこれまで符号化器によって処理されてきたことを発見した。
本出願人は、送信側でのビデオ圧縮符号化の前にビデオ信号の少なくとも一部分に前処理動作を適用して、ビデオ信号のその少なくとも一部分がより複雑でないとビデオ符号化器によってみなされるようにすることによって、ビデオ信号がオンラインでストリーミングされる前にそのビデオ信号を圧縮するために符号化器にかかる負荷がより少なくなり、それによって符号化器がより効率的に、かつ受信され復号化される画像の知覚品質に実質的に悪影響を与えることなく機能することが可能になることを発見した。
通常、送信側のプログラミングプロバイダー又は信号プロバイダー（例えばインターネットサービスプロバイダー(Internet Service Provider)、すなわちＩＳＰ）は、ビデオ信号がオンラインでブロードキャスト又はストリーミングされる前にそのビデオ信号に適用されるビデオ圧縮量に対する制御を有する。
本発明では、ビデオ信号をブロードキャストする又はストリーミングするという用語は、インターネットサービスプロバイダーによって提供されるような通信ネットワークを介してビデオ信号を送信することを意味する。例えば、これは、物理的な有線（例えばファイバーケーブル）を介して又は無線で行うことができる。このため、本発明は、ビデオ圧縮符号化器に供給する前に着信ビデオ信号の少なくとも一部分を前処理する方法を提供し、これによって、符号化器に供給するためのビデオ信号の所与の数のピクセルの複雑度が低減される。
【００１５】
これに関連して、複雑度とは、ピクセルデータの性質及び／又は量を含む。例えば、画像は、再作成されたとき、眼が区別することができるよりも多くのディテールを有する場合がある。例えば、研究によって、人間の眼は黒及び白に対してのみ高い分解能を有し、黄及び緑のような「中域」色に対しては幾分低く、スペクトルの端部の色、すなわち赤及び青に対してははるかに低いことがわかっている（Al Bovik「Handbook of Image & Video Processing」第２版）。
前処理動作によって、知覚的により重大でない冗長な信号データ、すなわち高周波数のＤＣＴ係数を除去することにより、ビデオ信号の複雑度が低減されると考えられている。これは、通常の符号化器における圧縮アルゴリズムのみでは達成することができないか、又はアグレッシブに圧縮された場合、結果として知覚的に重大な圧縮アーティファクトが生じることになる。上記複雑度の低減により、信号が符号化器に供給される前に単純化されて、それによってビデオ圧縮プロセスがより効率的になるので、ビデオ信号を圧縮するために符号化器に課される負荷がより少なくなる。
【００１６】
前処理は、
ａ．前記着信ビデオ信号の少なくとも一部分を空間的にスケーリングして第１のビデオ信号を形成する、空間的にスケーリングするステップと、その直後に、
ｂ．前記第１のビデオ信号の少なくとも一部分を空間的に再スケーリングして第２のビデオ信号を形成し、該第２のビデオ信号の複雑度が前記着信ビデオ信号の複雑度未満になるようにする、空間的に再スケーリングするステップと、
を含み、
前記第２のビデオ信号は、ビデオ圧縮符号化器に入力するための完全な入力信号を提供することを特徴とする。
【００１７】
着信信号の少なくとも一部分を空間的にスケーリングし、その後、スケーリングされた信号を空間的に再スケーリングすることによって、ビデオ信号の品質の低減が人間によって一切知覚されることなく、扱われるビデオ信号の少なくとも一部分の複雑度がビデオ圧縮の前の着信信号の複雑度よりも低くなり、したがって、ビデオ信号がアグレッシブに圧縮される必要性の程度が低減される。
ビデオ信号スケーリングは、通常はピクセルの補間によって、ビデオ信号を１つのサイズ又は解像度から別のサイズ又は解像度に変換するのに広く用いられているプロセスである。ピクセルの補間は、線形補間若しくは非線形補間又は双方の組合せとすることができる。
ビデオ信号スケーリングは複数の利点を有する。第１に、ビデオ信号スケーリングは、より低い帯域幅の送信について符号化器がビデオ信号を圧縮する程度を低減し、それにより任意の顕著なビデオ信号の歪みの度合いが低減する。すなわち、ビデオ信号スケーリングは、ビデオ符号化器のみによって適用されるビデオ圧縮方法と対照的に、ビデオ信号のデータコンテンツを低減する、よりアグレッシブでない形態である。
第２に、インターネットＴＶ又はビデオ会議のようなリアルタイム又はライブビデオオンデマンド用途、及び高解像度のマルチメディア用途等の観点において、ビデオ信号スケーリングは、ビデオ信号のより効率的な処理及び送信を可能にする。なぜなら、或る割合のビデオ信号が複雑な圧縮アルゴリズムを受ける必要がないか、又は実際に生じる信号の任意の圧縮が限られた範囲までとなり、それにより実質的にリアルタイムで、又は遅延をわずかしか伴わずに実行することができるためである。
実質的に符号化圧縮アルゴリズムの逆である復号化アルゴリズムを適用することによって、符号化された信号を表示のために復号化又は解釈しなくてはならないのに対し、視聴機器において視聴者に知覚可能な劣化を一切含まないビデオ画像を提供するために、前処理ステップ（複数の場合もある）の逆を適用する必要がない。
このため、本発明における第１の空間スケーリングプロセス及び／又は第２の空間スケーリングプロセス中の「ビデオ信号」は、任意の適切な表示デバイスにおいて満足のいく程度に見栄えの良い画像を生成することができる。
【００１８】
好ましくは、本方法は、ビデオ信号を水平方向において空間的にスケーリングするステップを含む。
人間の視覚系に適用される空間知覚メトリックは、水平方向の変化と比較して、画像の垂直方向においてより微細な変化を人間が認識することを究明した（Al Bovik「Handbook of Image & Video Processing」第２版）。
このため、水平方向の解像度を変更することは、垂直方向で行われる変更よりも、人間の目によって知覚されるビデオ信号又は画像の品質に重大な影響を及ぼさない。
好ましくは、ステップａ）は、水平方向において着信ビデオ信号の少なくとも一部分を空間的にスケーリングし、その少なくとも一部分がアクティブなビデオ信号のより小さな部分を占有するようにするステップを含む。
本発明において、「アクティブなビデオ信号」という用語は、表示される有用な情報を含む信号の保護されたエリアを意味する。
例えば、５７６本のアクティブな線又は７２０×５７６ピクセルを有するＳＤ  ＰＡＬビデオ信号フォーマットを考えるとともに、保護されたエリアが信号のエリア全体、すなわち７２０×５７６ピクセルのサイズを占有するように選択されることを考える。
保護されたエリアがビデオ信号のより小さな部分を占有するようにビデオ信号を空間的にスケーリングすることは、１つの進行中のフレームにおいて、結果として得られる画像が表示スクリーンのより小さな部分のみを占有し、残りのピクセルがデフォルトで黒を示すように設定されるようにする、信号の保護されたエリアの「スクイージング(squeezing)」を伴う。
水平方向においてビデオ信号をスクイージングすることによって、画像の保護されたエリアの両側に黒いバーが生じ、それによって、画像の保護されたエリアから除去されたピクセルは、黒を示すデフォルト値に設定される。
結果として、通常のＳＤ  ＰＡＬビデオ画像フォーマットに基づいて、アクティブなビデオ信号は７２０×５７６ピクセルのサイズよりも小さくなる。
ビデオ信号を空間的にスケーリングする１つの方法は、垂直方向又は水平方向のいずれかにおいてアクティブな画像ピクセル比を変更した結果として、ビデオ信号又は画像の少なくとも一部分をスケーリングすることによる。
ビデオ信号を空間的にスケーリングするための多くの既知の技法が存在する。これらは、限定ではないが、ピクセルがより小さなサイズのグリッドを占有するようにピクセルを補間することを含むことができる。各グリッド点又は要素はピクセルを表す。
例えば、ビデオ信号の保護されたエリアは、事前に定義されているがより小さなサイズとされているグリッド上にマッピングされ、正確に重なり合わないグリッド点は平均されるか又はキャンセルされ、すなわち黒を示すデフォルト値に設定される。
他の方法は、近傍ピクセルのキャンセル又は、ターゲットピクセルがそのターゲットピクセルに空間的にどれだけ近いかによって重み付けされた隣接する元のピクセル値間で線形に補間された値とされる加重係数法を含む。結果として得られるエフェクトは、ビデオ信号がより小さなグリッドサイズに適合するように「スクイージング」されることである。
【００１９】
第１の空間スケーリングステップ（ステップ（ａ））に続いて、ビデオ信号は、元の着信信号によって占有されるエリアと実質的に等しい割合を占有するよう効果的に伸展されるように、好ましくは水平方向において更に空間的に再スケーリングすることができる（ステップ（ｂ））。
アクティブ信号の一部分は第１の処理ステップから除去されているが、第２のステップは補間アルゴリズム（任意の適した既知の補間アルゴリズムとすることができる）を用いて、元の着信信号によって占有されるサイズにアクティブ信号をアップスケーリングする。
これは、アクティブなビデオ信号によって提供されたピクセルグリッドをより大きなグリッド上にマッピングすることを含むことができ、より小さな画像内のピクセルと重なり合うピクセルは、同じ値を割り当てられる。
重なり合わないターゲットピクセル値は、上記でステップ（ａ）について説明されたような空間重み付けを用いて信号ピクセル値から最初に補間することができる。
ピクセルデータは第１のサンプリングステップにおいて失われているが、既知のエッジ検出及び平滑化ソフトウェア等の種々の洗練された特徴検出及び操作アルゴリズムと組み合わせてアップスケーリング補間ステップを用いることができる。これによって、人間の視覚系によって知覚されるときに、元のビデオ信号からのビデオ画像と実質的に同様である画像を提供することができる。処理ステップの結果としてのビデオ画像の品質のいかなる劣化も、人間の視覚系によって気付かれない。
本発明において、ビデオ信号のスケーリングは、ソース情報を可能な限り多く保持し、それでも帯域幅を制限する程度まで実行される。このため、「ビデオ信号」という用語は、適切な表示デバイス上に満足のいく程度に見栄えの良い画像を生成することができる信号を表す。
それにもかかわらず、結果として得られるビデオ信号は着信ビデオ信号よりも複雑度が低い。これは１つには、圧縮／解凍ハードウェア及びソフトウェアが情報を解釈することができる方式に起因し、より詳細には、再補間されアップスケーリングされたビデオ信号が、ダウンスケーリングされた元の信号よりも、定量化可能により多くのピクセルをどれだけ含むかに関するが、ここでアップスケーリングされたビデオ信号はコーデックによって複雑度がより低いとみなされる。
アップスケーリングされた信号は、近傍ピクセルを調べてマッピング／補間することによって、好ましくは水平方向において取得される追加のピクセルを含む。
【００２０】
これは、追加データであるが複雑度がより低いデータとしてコーデックによって解釈される。
より重要なことには、本発明において、スケーリング／再スケーリングプロセスからの完全なビデオ信号を用いて、符号化器のための入力信号を提供する。
一方、国際公開第２００８／０１１５０２号（Qualcomm社）では、元のソース信号及び「差異情報」の双方が第２の符号化器に供給される必要があり、したがって追加の処理「比較器」ステップが必要となることにより、前処理動作が複雑となる。
本発明において、ストリーミング符号化器が受けるデータ量はより複雑でないとみなされるので符号化器の効率は増大し、リアルタイム符号化器が符号化する情報がより複雑でなくなるので、実質的なライブストリーミング体験がはるかに実際のライブパフォーマンスに正確なものとなる。視聴機器の復号化アルゴリズムにおいて、補助的な効率利得も得られる。
【００２１】
好ましくは、補間のプロセスは、それぞれプロセスがダウンスケーリングであるか又はアップスケーリングであるかに依拠して、結果としての画像が線形にスケールダウン又はスケールアップされるような線形補間方法によって実行される。
【００２２】
オプションで、着信ビデオ信号の少なくとも一部分を空間的にスケーリングして第１のビデオ信号を形成し、次に第１のビデオ信号の上記少なくとも一部分を更に空間再スケーリングする方法は、毎回、信号の一部分が第１のステップ（ステップａ）によって空間的にスケーリングされ、その後信号が空間的に再スケーリングされるように連続して行われる。これは、着信ビデオ信号全体が処理されるまで、すなわち空間スケーリングプロセスが連続ステップにおいて行われるまで繰り返される。
【００２３】
それに応じて、本発明は、前処理手段を備えるビデオ圧縮ユニットを提供し、前処理手段は着信ビデオ信号の少なくとも一部分を前処理して、その所与の数のピクセルの複雑度を低減するように動作可能に構成され、前処理された信号は、符号化器手段による動作を受けるのに適している。
【００２４】
ビデオ圧縮ユニットは、
ａ．前記着信ビデオ信号の少なくとも一部分を空間的にスケーリングして第１のビデオ信号を形成するように動作可能に構成された第１のビデオサンプリングユニットと、
ｂ．前記第１の信号の少なくとも一部分を空間的にスケーリングして、複雑度が前記着信ビデオ信号よりも低い第２の信号を形成するように動作可能に構成された第２のビデオサンプリングユニットと、
を備えることができ、
前記第２のビデオ信号はビデオ圧縮符号化器に入力するための完全な入力信号を含む
ことを特徴とする。
【００２５】
ビデオ圧縮ユニットは、ステップ（ａ）とステップ（ｂ）とを連続して制御するためのコントローラーを備えることができる。
【００２６】
第１のビデオサンプリングユニットは第１のＤＶＥユニットを備え、第２のビデオサンプリングユニットは第２のＤＶＥユニットを備え、それらは協力して動作して、連続的にビデオ信号の少なくとも一部分をサンプリングし、次に再サンプリングすることが好ましい。
【００２７】
当該技術分野において一般的に知られているＤＶＥユニットは、ビデオ信号のデジタル操作が可能なデジタルビデオエフェクト(Digital Video Effects)プロセッサである。
ビデオ信号のデジタル操作は、アスペクト比変換器によって提供することができる。従って、第１のビデオサンプリングユニットは第１のアスペクト比変換器を備えることができ、第２のサンプリングユニットは第２のアスペクト比変換器を備えることができる。
受信側において、本発明による完全な入力信号の生成、及びこの完全な入力信号を圧縮して処理されたビデオ信号を提供することに続いて、エンドユーザーが用いるために処理されたビデオ信号を送信／分配する方法は、本発明による処理されたビデオ信号を受信するステップと、その処理されたビデオ信号を送信するステップを含む。
この文脈では、送信は、有線ネットワークを介して又は無線でビデオ信号を送信するステップを含む。
配信デバイスは、エンドユーザーに送信するか又はエンドユーザーがアクセスするのに適した、処理されたビデオ信号を全体的に又は部分的に記憶する一時記憶装置又は永久記憶装置を備える。
この文脈では、一時は、エンドユーザーに分配／送信するか又はエンドユーザーがアクセスするインターネットサービスプロバイダー又はコンテンツ配信ネットワークに一意のサーバー又はＰｏＰ（Point of Presence）等の配信デバイスに、処理されたビデオ信号が一時的に入る状況をカバーする。
処理された信号は、別個のパケットとして記憶することができ、各パケットは処理されたビデオ信号の一部を表す。これらは組み合わさると完全なビデオ信号を形成する。
【００２８】
代替的に、処理されたビデオ信号を送信する前に、処理されたビデオ信号はオプションで解凍されて、解凍された信号が生成され、その後、解凍された信号が送信される。
【００２９】
ユーザー側において、次に送信された信号を用いてビデオ表示が生成される。このため、本発明は、処理されたビデオ信号を表示する方法であって、
ａ．本発明に従って処理されたビデオ信号を受信するステップと、
ｂ．前記処理されたビデオ信号を解凍するステップと、
ｃ．前記解凍されたビデオ信号を表示するステップと、
を含む、処理されたビデオ信号を表示する方法を更に提供する。
【００３０】
本発明の更に好ましい特徴及び態様は、図面を参照して行われる例示的な実施形態の以下の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００３１】
【図１】例示的な実施形態における構成要素の配列を示すブロック図である。
【図２】ビデオ信号ソースからのテストカードが標準的な４：３のアスペクト比の表示フォーマット上で表示されるときのそのテストカードの画像の斜視図である。
【図３】アクティブな画像エリアを４０％低減するようにビデオ信号をサンプリングした後の図２からのテストカードの画像の斜視図である。
【図４】水平方向に線形スクイーズされたテストカードの画像の斜視図である。
【図５】図３からの信号が、アクティブ画像エリアを１６７％伸展させて図２に示すサイズを厳密に表すように更にサンプリングされた後の画像の斜視図である。
【発明を実施するための形態】
【００３２】
本発明の一実施形態による、後続の符号化、及びサービスプロバイダーによるＩＰネットワークを介した送信又は分配のためにビデオ信号を前処理するための構成要素の配列１が図１に示されている。
着信又は入力信号３は、通常、ビデオフレームと呼ばれる連続した一連の画像及び／又はオーディオとして表されるビデオと関連付けられたデータを表し、ＩＰネットワークを介した送信又はストリーミングのためのフォーマットに変換されることになる。これは、電波又は衛星信号によって無線で、又はケーブル信号によってブロードキャストされる従来の信号と対照的である。
以下において、「ライブ」ストリーミング／ブロードキャスト用途のための符号化のためのビデオの前処理が特に説明されるが、本発明は、例えば、ハードドライブ、光ディスク、固定ソリッドステートメモリ、フラッシュドライブ等における圧縮記憶に用いられる非リアルタイムデジタルビデオ符号化にも等しく適用可能である。
【００３３】
入力信号３は、ライブブロードキャスト信号、例えばインターネットＴＶ又はリアルタイムライブＴＶ又は電話会議等のソース信号から直接取り出すこともできるし、種々のストリーミングメディアプロトコルを用いてオンデマンドビデオをストリーミング／送信するのに用いられるサーバーから、すなわちインターネットサービスプロバイダーによって供給されるような公衆回線又は専用回線を通じて無線で又は有線ネットワークを介して取り出すこともできる。
入力信号３は、符号化器によって処理されていないという点で、圧縮されていないフォーマットである。特に、入力信号は、有線ネットワークを介して又は無線で送信することができるソース信号から導出される。
オンデマンドビデオは、限定ではないが、タイトル若しくはチャネル、又は成人向け、ニュース、スポーツ、若しくは娯楽／音楽ビデオのようなカテゴリに配列されたエピソード又はクリップを含み、エンドユーザーは自身が何を見たいか、及びそれをいつ見るかを正確に選択することができる。
なお、本発明による捕捉された入力ビデオ信号又はビデオ映像は、いかなる特定のアスペクト比若しくはＰＡＬ若しくはＮＴＳＣ又は他のフォーマットにも限定されず、７２０×５７６ピクセル、７２０×４８０ピクセル、及び６４０×４８０ピクセルを有する標準的な４：３のアスペクト比フォーマット、又は一般的に１９２０×１０８０ピクセル、１２８０×７２０ピクセル、７２０×５７６ピクセル、及び７２０×４８０ピクセルを有するワイドスクリーンの１６：９のフォーマット等の任意のアスペクト比フォーマットでブロードキャストされるビデオ信号に適用可能である。
【００３４】
入力信号３は、この信号をノイズ低減ユニットの下流のサンプル処理ユニットに入力する前に調整するために、入力モジュール２を介してノイズ低減ユニット４に供給される。
入力モジュール２は、本発明による構成要素の配列を含むボックスへの送信ケーブルの接続を可能にする結合ユニット、すなわちビデオ入力端子である。同様に、出力モジュール１０（ビデオ出力端子）は、サンプリングされた信号１１を送信側のビデオ圧縮符号化器（図示せず）に出力するための結合ユニットである。入力結合ユニット及び出力結合ユニットは、限定ではないが、工業規格ＨＤ／ＳＤＩのコネクター及びインターフェースを含むことができる。
ノイズ低減プロセスはオプションであり、フィルタリング法の使用によって信号の質を高め、信号アーティファクト又はノイズを着信信号から除去するか又は実質的に低減するために、業界において従来から用いられている。
そのようなフィルタリング方法は、当該技術分野において一般的に知られており、モスキートノイズ（あるときは動きと関連付けられるエッジビジーネス（edge busyness）歪みの形態であり、物体上に重なった動くアーティファクト及び／又はまだらなノイズパターンによって特徴付けられる）、量子化ノイズ（ランダムノイズプロセスに類似しているが画像にわたって均一でない「スノー」エフェクト又は「ソルトアンドペッパー」エフェクト）、エラーブロック（画像内の１つ又は複数のブロックが現在の画像又は前の画像に類似しておらず、多くの場合に隣接するブロックと大きく対照をなすブロック歪みの形態）等のノイズを信号のビデオ成分からフィルタリングすることを含む。
ノイズ低減コントローラー５は、信号からフィルタリングされるノイズの範囲及びタイプを制御するのに用いられる。信号内に存在するノイズのタイプ及びレベルは、発信信号源に依拠し、例えばカメラからブロードキャストされたか又は衛星信号若しくはケーブルからブロードキャストされたかに依拠する。
１つのノイズフィルタリング方法が１つのタイプの信号に適用可能であるのに対し、別の信号タイプには適していない場合があり、実際のデータのフィルタリングが生じる場合があり、これにより、信号品質に悪影響を与えることになる。
図１に示す特定の例において、ノイズ低減モジュール４は、第１のサンプル処理ユニット６及び第２サンプル処理ユニット８の上流に接続されている。
ノイズ低減モジュール４の位置は図１に示すものに制約されない。例えば、ノイズ低減モジュール４は、第１のサンプル処理ユニット及び第２のサンプル処理ユニットの下流に接続することができる。
本発明の別の実施形態では、ノイズ低減ユニットは、第１のサンプル処理ユニット６と第２のサンプル処理ユニット８との間に配置することができる。すなわち、第１のサンプル処理ユニット６におけるスケーリング動作に続いて、ビデオ信号がノイズ低減ユニットによってフィルタリングされ、その後第２のサンプル処理ユニット８によって再スケーリングされる。
例示される実施形態では、ノイズ低減ユニットによる信号のフィルタリングに続いて、次に信号のフィルタリングされたビデオ成分が第１のビデオサンプリングユニット６に供給され、少なくともビデオ信号の選択された部分が、ビデオ信号の空間のより小さな部分を占有するように第１のビデオサンプリングユニット６によってスケーリングされる。
本発明の一実施形態によるビデオサンプリング処理技法は空間スケーリング動作を含み、空間スケーリング動作によって、本質的に既知の種々の補間アルゴリズムを用いて１つ又は複数のピクセルが補間され、それによって選択された画像が様々な数のピクセルにわたってマッピングされる。
ビデオ信号の補間はデジタルビデオエフェクトプロセッサ（ＤＶＥ: Digital Video Effect）ユニットによって提供され、本実施形態ではＤＶＥユニットはアスペクト比変換器によって提供される。
説明の目的で、ビデオ信号によって生成され、４：３のアスペクト比及び７２０×５７６ピクセルのサイズを有する、図２に示す画像１２を検討する。複数の垂直バーは、実質的に水平方向の全体にわたって延在しており、画像の「アクティブエリア」又は「保護されたエリア」を表す。したがって、幅７２０ピクセル及び高さ５７６ピクセルのスクリーンの場合、アクティブな画像は水平方向において７２０ピクセルを実質的に占有する。
垂直方向又は水平方向のいずれかにおいてアクティブな画像のサイズを変更する種々のビデオサンプリングユニットが市販されており、従来から、スクリーン上で画像スクイージングエフェクト及び画像拡大エフェクトを提供するのに用いられている。これは、ビデオ信号がビデオ圧縮アルゴリズムの対象となるビデオ符号化器において実行されるプロセスとは異なる。
特定の実施形態では、本出願人は、Ｃｏｒｉｏ（ＲＴＭ）Ｃ２−７２００ビデオプロセッサ内に統合されたアスペクト比変換器内に存在するサンプリングユニットを用いた。このサンプリングユニットは、画像のアクティブエリアが着信ビデオ信号と異なるピクセルエリアを占有することができるようにビデオ信号をサンプリングする能力を有する。代替的に、ソフトウェア又はファームウェアを用いることによってビデオサンプリング処理動作を実行することができる。
【００３５】
視覚心理物理学の研究（Al Bovik「Handbook of Image & Video Processing」第２版）によれば、人間の視覚系が画像内の変化又は歪みを検出することができる限界は、水平方向よりも垂直方向においてより感度が高い。したがって、画像に加えられる任意の変更は、主に水平方向に焦点を当てられることが好ましい。しかしながら、これは、垂直方向の変化又は他の空間スケーリング動作が排除されるということではなく、それらが人間の目に認識可能でない程度までに保持されることが好ましい。
図３に示す特定の例では、第１のビデオサンプリングユニット６は、画像のアクティブエリアが、水平方向においてビデオ信号のより小さな部分１４を占有するようにビデオ信号をサンプリングする。
より好ましくは、ビデオ信号をサンプリングするプロセスは、第１のビデオ信号６ａに対しビデオ信号を空間的にスケーリングすることを含む。
特定の例では、スケーリングされたビデオ信号（第１のビデオ信号）は、水平方向において元のサイズの約６０％を占め（図３において１４によって表される）、したがって、画像のアクティブエリアは０．６×７２０ピクセル（＝４３２ピクセル）を占有する。残りの２８８ピクセルは除去されるか又は黒を示すデフォルトピクセル値に設定され、このため、スクリーン上で見ると、画像のアクティブエリアの両側に黒いバー又は柱１６が現れることになる。
空間スケーリング動作は、水平方向のより少ない数のピクセル又はピクセルグリッドにわたってアクティブエリアをスクイーズするエフェクトを有する。
理論的に、そのようなスケーリング動作は、補間のプロセスによって１つ若しくは複数の近傍ピクセルをキャンセルすることを含むか、又はターゲットピクセルがそのターゲットピクセルに対し空間的にどれだけ近いかによって重み付けされた隣接点間で線形に補間された値とされる加重係数法を含む。
したがって、そのようなスケーリングは、ビデオ信号の有効なコンテンツを低減する。
これは、画像の幅全体にわたってスケーリングプロセスが均一に実行され、すなわち画像の中心が画像のエッジと同じ範囲まで均一にスクイーズ又は伸展される線形補間技法によって行うこともできるし、画像の異なる部分が異なる範囲まで「スクイーズ」され、通常、左及び右の末端が中央よりも多くスクイーズされる非線形補間技法によって行うこともできる。
【００３６】
キャンセルされたピクセルは、人間の視覚による知覚に重要なデータをほとんど保有せず、したがって、知覚される画像品質を低減することなくビデオ信号の全体複雑度が低減される。
第１のビデオサンプリングユニット６のすぐ下流に、第１のサンプリングユニット６と直列に接続された第２のサンプリングユニット８がある（図１参照）。
第１のサンプリングユニットによるビデオ信号の処理、この場合はダウンスケーリングに続いて、第２のビデオサンプリングユニット８への入力信号として処理された全信号又は処理された完全な信号が用いられる。この文脈では、完全な信号又は全信号は、適切な表示デバイス上に満足のいく程度の画像を生成することができるビデオ信号を表し、すなわちこのビデオ信号の成分は一切分割されていない。
図２に示すように、第１のビデオサンプリングユニットによって実行される低減に基づいて、第１のビデオサンプリングユニットからの画像は、入力ビデオ信号内の画像と実質的に同じピクセルグリッドを占有するように第２のビデオサンプリングユニット８によってアップスケーリング（空間的に再スケーリング）される。すなわち、第１のビデオ信号６ａは、第２のビデオ信号８ａにアップスケーリングされる（図１参照）。
この事例では、画像２０（図５参照）は、水平方向において、最も近いピクセルに比例して１６７％の率だけ増大される（真の増大は１６６．６６％であるが、テストユニットはサブピクセル解像度に対応していない）。
本発明では、第２のビデオサンプリングユニット８による前処理ステップに続くアップスケーリングされた信号、すなわち第２の信号８ａは、出力モジュール１０を介して適切なビデオ圧縮符号化器（図示せず）に直接供給するのに適した完全なビデオ出力端子信号又は全ビデオ出力端子信号１１を表す。
第２のビデオサンプリングユニットによって、（図５において２０によって表される）画像のアクティブエリアは、より大きなピクセルエリア、この事例では水平方向の７２０ピクセル上にマッピングされるように空間的にスケーリングされる。
１ラインあたり２８８個の未処理のピクセルデータが第１の処理動作において失われ、残りの４３２ピクセルは当該技術分野において既知の任意の適切な数学アルゴリズムを用いて第２のサンプリング処理ユニットにおいて再サンプリングされる。これらは、限定ではないが、特徴及び／又はエッジ検出ソフトウェアアルゴリズムを含む。
しかしながら、追加のピクセルデータは補間技法に基づき、したがって数学的技法に基づくのに対し、元のピクセルは未処理データを保有する。このため、２段階プロセスの後に含まれる情報全体は、元の入力ビデオ信号が保有する情報よりも複雑度が低い。なぜなら、追加のピクセル、この事例では２８８ピクセルが数学的に構成され、圧縮技法によるビデオ信号の符号化のタスクがより簡単になり、より複雑でなくなるためである。
さらに、空間スケーリング及び再スケーリングプロセス後のビデオ信号の画像品質は実質的に保持され、それによって、符号化器によるビデオ圧縮の後に信号内に導入されるいかなる圧縮アーティファクトも、画像品質における認識可能な影響をほとんど又は全く有しない。
より重要なことには、本発明の一実施形態による、ビデオ圧縮符号化器に供給する前に空間スケーリング及び再スケーリングプロセスによってビデオ信号を処理することは、同じレベルの帯域幅低減を達成するためにビデオ符号化器によって後に必要とされるビデオ圧縮がよりアグレッシブでなく、したがって、ビデオ信号内に導入されるいかなるアーティファクト又は歪みも最小限にすることを意味する。
【００３７】
特定の実施形態では、第１のサンプリングユニット６及び第２のサンプリングユニット８は、ビデオ信号をリアルタイムで処理する。例えばヨーロッパではこれは毎秒２５フレームであり、米国ではこれは毎秒２９．９７フレーム（一般的に毎秒３０フレームに切上げされて補われる）である。
このため、２段階空間スケーリング動作の各段階において、第１のビデオサンプリングユニットは、ビデオ信号の少なくとも一部をフレーム単位でリアルタイムに空間的にスケーリングし、その後、第２のビデオサンプリングユニットが、ビデオ信号をフレーム単位でリアルタイムに空間的に再スケーリングする。これは、ビデオ信号内の一連の画像又はフレームにわたって繰り返される。
第２の空間スケーリング処理ステップと併せて第１の空間スケーリング処理ステップの動作を制御するために、第１のビデオサンプリングユニット６及び第２のサンプリングユニット８に接続された制御ユニット７が２段階プロセスとして空間スケーリングプロセスを制御する。したがって、各信号が第１のサンプリングユニットによって空間的にスケーリングされると、その信号は第２のサンプリングユニットによって連続してリアルタイムで再スケーリングされる。
例えば、第１のサンプリングユニットにおいて信号に４０％の低減を適用することによって、制御システムは第２のサンプリングユニットにおいて信号に１６７％の増大を適用することになる。
特定の実施形態は、ビデオ信号を空間的にスケーリングするための２つのサンプル処理ユニットを示しているが、スケーリング及び再スケーリングの反復数は、ビデオ信号の複雑度又はデータコンテンツを低減するために２段階プロセスによってスケーリングされることに必ずしも制約されず、２つよりも多くの連続したサンプリングユニットによって空間的にスケーリングすることができる。
但し、データは各ダウンスケーリングプロセスにより失われるので、ビデオ信号が第１の空間スケーリング動作を受ける程度又は量は、そのビデオ信号がアップスケーリングサンプリングユニット（複数の場合もある）によって再スケーリングされたときに、ビデオ画像の品質に人間の視覚系によって知覚されるような顕著な変化が存在しない程度にバランスをとる必要がある。
１つの実施形態では、スケーリング及び再スケーリングプロセスは、直列に接続された連続した２つよりも多くのサンプリングユニットによって、ビデオ信号が２回よりも多くスケーリング及び再スケーリングされるように実行することができる。
これは、大量のデータコンテンツを任意の一時点で除去するのと対照的に、データコンテンツを一連のより小さなステップにおいて除去し、ダウンスケーリングプロセス後に、最終サンプリングユニットがビデオ画像を実質的に元のサイズに再構築する場合に、ビデオ映像の品質に顕著な歪みが少なくなるときに有益であり得る。
【００３８】
ノイズ低減ユニットの制御ユニット５と、第１のサンプリングユニット及び第２のサンプリングユニットを動作させる制御ユニット７とに接続された図１に示す第３の制御システム１１ａは、所望の信号品質を得るために、ノイズ低減ユニット並びに第１のサンプリングユニット及び第２のサンプリングユニットによって信号のビデオ成分及び／又はオーディオ成分が調整される程度をユーザーが自動的に制御することを可能にする。
ノイズ制御ユニット５、並びに第１のサンプリングユニット及び第２のサンプリングユニットを動作させる制御ユニット７の１つの制御設定は、１つの信号タイプに適用可能であるが、別の信号タイプに適用可能でない場合がある。
信号タイプは、発信信号源に依拠し（例えばカメラからのものであるか、又は衛星信号からのものであるか、又はケーブル信号からのものであるかに依拠し）、異なる発信信号は、異なる量のノイズ又は異なるタイプのノイズを含む場合がある。
例えば、第３の制御システム１１ａは、ストリーミングされる異なる信号タイプ及びデータタイプ、すなわち成人向け、スポーツ、ニュース、ビデオオンデマンド等に応じるための事前設定されたオプションを有する場合がある。これらの事前設定されたオプションは、最良の信号品質を提供するために様々な信号タイプについてノイズ低減ユニット及びビデオサンプリングユニットの設定を変更することによる、試行錯誤による調査に基づくことができる。
ノイズフィルタリングが多すぎることにより、価値のあるデータが失われる結果を生じるのに対し、ノイズフィルタリングが少なすぎることにより、データがビデオ圧縮に必要とされるよりも多くなる結果を生じる。
【００３９】
図１に示す前処理構成１の個々の構成要素のうちの任意の１つ又はそれらの組合せは、適切なコンテナーに個々に又はまとめて収容することもできるし、同等に、１つ又は複数の電子チップの形態で、処理ユニット、又はパーソナルコンピューター等のコンピューターのマザーボードへの接続のための電子ボード又は電子カード上に実装することもできる。
代替的に、ノイズ低減ユニット及びサンプリングユニットの機能は、ソフトウェア又はファームウェアによって実行することができ、各ソフトウェアタイプは図１に示す異なる段階の機能を提供する。
第１のビデオサンプル処理ユニット６及び第２のビデオサンプル処理ユニット８並びに制御ユニット５、６を含む図１に示す構成要素の配列１は、圧縮されていないビデオ信号３を受信するための入力ポート２と、完全な出力信号１１を適切なビデオ圧縮符号化器に提供するための出力ポート１０とを有するユニットの形態とすることができる。
構成要素の配列１を収容するユニットは、任意の適切なケーシングとすることができ、したがって可搬にすることができ、このユニットが符号化器におけるビデオ圧縮符号化の前の既存のビデオ信号処理システムに組み込まれることが可能になる。
なお、このユニットは、内部構成要素のうちのいずれに対する不正開封も防ぐための任意の適切な不正開封表示手段を用いて封止するか、又はその不正開封表示手段を設けることができる。
構成要素の配列１を収容するユニットの入力ポート２及び出力ポート１０（図１の破線参照）は、ビデオ圧縮符号化器における処理の前にソース信号からのビデオ信号がこのユニットを通じて容易にバイパスされることを可能にするような標準化された結合手段に基づくことができる。
送信側において、処理された信号をビデオ圧縮符号化器によって圧縮した後、圧縮された信号は、配信デバイス（例えば適切な表示デバイス上に表示するためにエンドユーザーに分配するか又はエンドユーザーがアクセスするインターネットサービスプロバイダー又はコンテンツ配信ネットワーク（ＣＤＮ）に一意のサーバー又はＰｏＰ（Point of Presence）等）に送信又は送出される形態にある。
エンドユーザーへの送信は、有線ネットワーク（例えばケーブル）を通じて、又は無線で行うことができる。
配信デバイスは、圧縮されたビデオ信号の全体又は一部を一時的に又は永続的に記憶する。これは別個のパケットとして行うことができ、各パケットは圧縮されたビデオ信号の一部を表す。これらは組み合わさると完全なビデオ信号を形成する。
代替的に、又はエンドユーザーと組み合わせて、圧縮された信号は適切な表示デバイス上に表示するために解凍される。
【００４０】
それに応じて、本発明は上述した本方法による着信ビデオ信号の前処理のための１つ又は複数のソフトウェア構成要素又はファームウェア構成要素を備えるコンピューター可読記憶デバイスを提供する。
【００４１】
ビデオ信号からの通常のテレビ画像は、視聴者が見ることを意図したスクリーンのエリアであるセーフエリアを含む。
このセーフエリアは、「タイトルセーフエリア」、すなわちテキスト又はグラフィックを余白の内側に損失又は歪みなしできれいに表示することができるような、セーフエリアのエッジから中に十分に離れた長方形エリアを含む。
他方で、タイトルセーフエリアよりも大きいアクションセーフエリアは、アクションの重大な部分が概ね除外されている、表示された画像の回りのマージンとみなされ、重大な要素がスクリーンのエッジにおいて失われないようにスクリーンのエッジの回りに緩衝域を生成する。
アクションセーフエリアを超えて「オーバースキャン」があり、「オーバースキャン」は、ほとんどの消費者テレビスクリーン上に示すことを意図されないエリアであり、通常、ビデオ画像の１０％を表す。結果として、放送局は、視聴者が見ることを意図されないこのエリアに、意図的に要素を配置する。
従来から、ビデオ信号はビデオストリーミング符号化器に直接供給されるオーバースキャンからの情報を含み、したがって、符号化されたビデオ信号の一部が更なる無駄な空間も符号化する。
本出願人は、オーバースキャンと関連付けられたビデオ信号の成分を除去することによって、その後符号化されるビデオ信号の複雑度を更に低減することができることを認識している。これは、オーバースキャンによって占有されたエリアに比例する量だけ垂直方向及び水平方向の双方においてセーフエリアのサイズを増大させることによって達成され、このため、オーバースキャンを超えるいかなるデータも、水平方向又は垂直方向におけるスクリーンのサイズが制限されている（この事例では、水平方向において７２０ピクセル及び垂直方向において５７６ピクセル）ことに起因して自動的に失われる。
サンプリングプロセスに関する上記の同じ説明によって、複雑なピクセルデータが存在しないこと、及び保有するデータがより少ない数学的に導出されたピクセルデータが存在することに起因して、拡大された画像は元の信号よりも複雑でなくなる。
【図１】
2013539276.tif 000003
【図２】
2013539276.tif 000004
【図３】
2013539276.tif 000005
【図４】
2013539276.tif 000006
【図５】
2013539276.tif 000007
【手続補正書】
【提出日】平成25年4月22日(2013.4.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ圧縮符号化器に供給する前に、圧縮されていない着信ビデオ信号（３）の少なくとも一部分を前処理する方法であって、
該前処理は以下の順序で
ａ．前記着信ビデオ信号（３）の少なくとも一部分を空間的にダウンスケーリングして第１のビデオ信号を形成する、空間的にスケーリングするステップと、その直後に、
ｂ．前記第１のビデオ信号の少なくとも一部分を空間的にアップスケーリングして第２のビデオ信号（８ａ）を形成し、該第２のビデオ信号の複雑度が前記着信ビデオ信号（３）の複雑度未満になるようにする、空間的に再スケーリングするステップと、
を含み、
ｃ．前記着信ビデオ信号（３）の少なくとも一部分を空間的にダウンスケーリングして第１のビデオ信号を形成するステップは、前記圧縮されていない着信ビデオ信号（３）が削減された数のピクセル上にマッピングされるように、前記圧縮されていない着信ビデオ信号（３）を空間的にダウンスケーリングすること（６）を含み、
ｄ．前記第１のビデオ信号の少なくとも一部分を空間的にアップスケーリングして第２のビデオ信号（８ａ）を形成するステップは、前記空間的にダウンスケーリングするステップｃ）に続くとともに、前記第２のビデオ信号が増大された数のピクセル上にマッピングされるように前記第１のビデオ信号を空間的にアップスケーリングすることを含み、
前記第２のビデオ信号は、前記アップスケーリングするステップの出力であるとともに、後続の符号化及びエンドユーザ表示装置への分配のためのビデオ信号出力のみである
ことを特徴とする、方法。
【請求項２】
ステップ（ａ）は、水平方向において前記着信ビデオ信号（３）を空間的にダウンスケーリングするステップを含み、
ステップ（ｂ）は、前記水平方向において前記第１のビデオ信号を空間的にアップスケーリングするステップを含む、
請求項１に記載の方法。
【請求項３】
ステップ（ａ）及び／又はステップ（ｂ）は、前記それぞれのビデオ信号の前記少なくとも一部分におけるピクセルの補間によって実行される、請求項１又は請求項２に記載の方法。
【請求項４】
前記ピクセルの補間は、前記ピクセルの線形補間によって行われる、請求項３に記載の方法。
【請求項５】
前記ビデオ信号からアーティファクトをフィルタリングするステップを更に含む、請求項１から請求項４までのいずれか１項に記載の方法。
【請求項６】
ビデオ信号前処理ユニット（１）であって、
ａ．圧縮されていない着信ビデオ信号（３）の少なくとも一部分を空間的にダウンスケーリングして第１のビデオ信号を形成するように動作可能に構成された第１のビデオサンプリングユニット（６）と、その直後に、
ｂ．前記第１のビデオ信号の少なくとも一部分を空間的にアップスケーリングして、複雑度が前記着信ビデオ信号（３）よりも低い第２のビデオ信号を形成するように動作可能に構成された第２のビデオサンプリングユニット（８）と、
を備え、
ｃ．前記第１のビデオサンプリングユニットは、前記圧縮されていない着信ビデオ信号（３）が削減された数のピクセル上にマッピングされるように、前記圧縮されていない着信ビデオ信号（３）を空間的にダウンスケーリングし、
ｄ．前記第２のビデオサンプリングユニットは、前記第２のビデオ信号が増大された数のピクセル上にマッピングされるように、前記第１のビデオ信号を空間的にアップスケーリングし、
前記第２のビデオ信号は、前記アップスケーリングするステップの出力であるとともに、後続の符号化とエンドユーザ表示装置への分配のためのビデオ信号出力のみである
ことを特徴とする、ビデオ信号前処理ユニット。
【請求項７】
前記第２のビデオサンプリングユニット（８）と連続して動作するために前記第１のビデオサンプリングユニット（６）を制御するコントローラー（７）を備える、請求項６に記載のビデオ信号前処理ユニット。
【請求項８】
前記第１のビデオサンプリングユニット（６）及び前記第２のビデオサンプリングユニット（８）はそれぞれビデオスケーリングユニットを備える、請求項６又は請求項７に記載のビデオ信号前処理ユニット。
【請求項９】
前記第１のビデオサンプリングユニットは、第１のデジタルビデオエフェクト処理ユニットを備え、
前記第２のビデオサンプリングユニットは、第２のデジタルビデオエフェクト処理ユニットを備える、
請求項６から請求項８までのいずれか１項に記載のビデオ信号前処理ユニット。
【請求項１０】
前記第１のデジタルビデオエフェクト処理ユニットは、第１のアスペクト比変換器を備え、
前記第２のデジタルビデオエフェクト処理ユニットは、第２のアスペクト比変換器を備える、
請求項９に記載のビデオ圧縮ユニット。
【請求項１１】
前記第１及び第２のビデオ信号のいずれか又は双方の少なくとも一部分からノイズをフィルタリングするノイズ低減モジュール（４）を更に備える、請求項６から請求項１０までのいずれか１項に記載のビデオ信号前処理ユニット。
【請求項１２】
前記ノイズ低減モジュール（４）は、前記第１のビデオサンプリングユニット（６）に送信する前に前記着信ビデオ信号（３）の前記少なくとも一部分からノイズをフィルタリングするように、前記第１の信号処理ユニット（６）の上流に接続される、請求項１１に記載のビデオ信号前処理ユニット。
【請求項１３】
請求項１から請求項５までのいずれか１項に記載の方法に従って着信ビデオ信号を前処理するための１つ又は複数のソフトウェア構成要素又はファームウェア構成要素を備えるコンピューター可読記憶デバイス。
【請求項１４】
請求項１から５までのいずれか１項に記載の方法によって圧縮されていない着信ビデオ信号（３）の少なくとも一部分を前処理するステップと、
前記第２のビデオ信号（８ａ）を符号化器に供給して符号化されたビデオ信号を生成するステップと
を含む、ビデオ信号を分配する方法。
【請求項１５】
前記圧縮されていない着信ビデオ信号は送信及び受信されるビデオ信号である、請求項１４に記載の方法。
【請求項１６】
請求項１４又は請求項１５に記載の方法によって分配されたビデオ信号を表示する方法であって、
ａ．前記符号化されたビデオ信号を受信するステップと、
ｂ．前記符号化されたビデオ信号を復号化するステップと、
ｃ．前記復号化されたビデオ信号を表示するステップと、
を含む、方法。
【請求項１７】
請求項１４又は請求項１５に記載の方法による分配のために前処理されたビデオ信号を全体的に又は部分的に記憶する一時記憶装置又は永久記憶装置を備える配信デバイス。
【請求項１８】
前記配信デバイスは、サーバー又はＰｏＰ又はインターネットサービスプロバイダー又はコンテンツ配信ネットワークを含む、請求項１７に記載の配信デバイス。
【国際調査報告】
2013539276.tif 000008
2013539276.tif 000009
2013539276.tif 000010
2013539276.tif 000011