(57)【特許請求の範囲】
【請求項１】
伝送するために元のＹＵＶディジタル・ビデオ・データのフレームをサブサンプリングしてフォーマット化するためのコンピュータで実行される方法であって、
（Ａ）上記フレームを複数のピクセル・ブロックに分割するステップと、
（Ｂ）上記複数のピクセル・ブロックの各ブロックに、そのブロックに対応する上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおける複数の元のＶ値の中の１つに等しい１つのＶ値を割り当てるステップと、
（Ｃ）上記複数のピクセル・ブロックの各ブロックに、そのブロックに対応する上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおける複数の元のＵ値の中の１つに等しい１つのＵ値を割り当てるステップと、
（Ｄ）ブロック毎に、ステップ（Ｂ）および（Ｃ）において各ブロック毎に割り当てたそれぞれの上記ＶおよびＵの値を、各それぞれのブロックに対応する全てのＹ値とともに順次フォーマット化するステップと、
（Ｅ）ステップ（Ｄ）からの上記ブロックの各々についてＶ、ＵおよびＹのデータからなる順次形式でパックされたディジタル・ビデオ・データストリームを順次生成するステップと、
を含む、コンピュータで実行される方法。
【請求項２】
上記分割が所要のサブサンプリング比に応じて決定されるものである、請求項１に記載の方法。
【請求項３】
上記ピクセル・ブロックの形状が長方形である、請求項１に記載の方法。
【請求項４】
上記ピクセル・ブロックの形状が正方形である、請求項３に記載の方法。
【請求項５】
上記ピクセル・ブロックがそれぞれ１６個のピクセルを含むものである、請求項４に記載の方法。
【請求項６】
各ブロックに属するデータが、１６個のＹ値、１つの代表的Ｖ値および１つの代表的Ｕ値からなるものである、請求項５に記載の方法。
【請求項７】
ステップ（Ｂ）および（Ｃ）において各ブロックに対して割り当てたＶおよびＵの値が、各ブロックの左上隅にあるピクセルに対応する元のディジタル・ビデオ・データのＶおよびＵの値である、請求項６に記載の方法。
【請求項８】
ステップ（Ｂ）において各ブロックに対して割り当てたＶの値が、各ブロックの元のディジタル・ビデオ・データのＶの値の中の１つより多い数の値を平均したものからなり、ステップ（Ｃ）において各ブロックに対して割り当てたＵの値が、各ブロックの元のディジタル・ビデオ・データのＵの値の中の１つより多い数の値を平均したものからなるものである、請求項６に記載の方法。
【請求項９】
上記順次形式でパックされたディジタル・ビデオ・データストリームが、上記フレームについてブロック毎に、上記フレームの左から右へ、頂部から底部へと生成されるものである、請求項６に記載の方法。
【請求項１０】
各ブロックのＶおよびＵの値の直ぐ後に、かつ各ブロックの１６個のＹ値の前に２つのブランク値が挿入されて、１ブロック当たりの値の総数が２０個となるようにされた、請求項６に記載の方法。
【請求項１１】
伝送するために元のＹＵＶディジタル・ビデオ・データのフレームをサブサンプリングしてフォーマット化するシステムであって、
（Ａ）上記フレームを複数のピクセル・ブロックに分割する手段と、
（Ｂ）上記複数のピクセル・ブロックの中の各ブロックに、そのブロックに対応する上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおける複数の元のＶ値の中の１つに等しい１つのＶ値を割り当てる手段と、
（Ｃ）上記複数のピクセル・ブロックの中の各ブロックに、そのブロックに対応する上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおける複数の元のＵ値の中の１つに等しい１つのＵ値を割り当てる手段と、
（Ｄ）ブロック毎に、上記手段（Ｂ）および（Ｃ）において各ブロック毎に割り当てたそれぞれの上記ＶおよびＵの値を、各それぞれのブロックに対応する全てのＹ値とともに順次フォーマット化する手段と、
（Ｅ）上記手段（Ｄ）からの上記ブロックの各々についてＶ、ＵおよびＹのデータからなる順次形式でパックされたディジタル・ビデオ・データストリームを順次生成する手段と、
を具えるシステム。
【請求項１２】
上記分割が所要のサブサンプリング比に応じて決定されるものである、請求項１１に記載のシステム。
【請求項１３】
上記ピクセル・ブロックの形状が長方形である、請求項１１に記載のシステム。
【請求項１４】
上記ピクセル・ブロックの形状が正方形である、請求項１３に記載のシステム。
【請求項１５】
上記ピクセル・ブロックがそれぞれ１６個のピクセルを含むものである、請求項１４に記載のシステム。
【請求項１６】
各ブロックに属するデータが、１６個のＹ値、１つの代表的Ｖ値および１つの代表的Ｕ値からなるものである、請求項１５に記載のシステム。
【請求項１７】
各ブロックに対して割り当てたＶおよびＵの値が、各ブロックの左上隅にあるピクセルに対応する元のディジタル・ビデオ・データ値である、請求項１６に記載のシステム。
【請求項１８】
上記手段（Ｂ）において各ブロックに対して割り当てたＶの値が、各ブロックの元のディジタル・ビデオ・データのＶの値の中の１つより多い数の値を平均したものからなり、上記手段（Ｃ）において各ブロックに対して割り当てたＵの値が、各ブロックの元のディジタル・ビデオ・データのＵの値の中の１つより多い数の値を平均したものからなるものである、請求項１６に記載のシステム。
【請求項１９】
上記順次形式でパックされたディジタル・ビデオ・データストリームが、上記フレームについてブロック毎に、上記フレームの左から右へ、頂部から底部へと生成されるものである、請求項１６に記載のシステム。
【請求項２０】
各ブロックのＶおよびＵの値の直ぐ後に、かつ各ブロックの１６個のＹ値の前に２つのブランク値が挿入されて、１ブロック当たりの値の総数が２０個となるようにされた、請求項１６に記載のシステム。
【発明の詳細な説明】
発明の背景
この出願は、１９９３年８月６日付け米国特許出願第08/103,399号（１９９６年９月３日付け米国特許第5,552,803号）の“システム・プロファイル法を用いて画像を表示する方法および装置（Method and Apparatus for Displaying an Image Using System Profiling）”の関連出願であり、その全体を本明細書の参考文献として引用する。
ディジタル・カラー画像処理システムにおいて、１フレームの画像データは、典型的には“複数のピクセル”からなる正方形のマトリックスに分割される。典型的な１つのフレームは幅１６０ピクセルおよび高さ１２０ピクセルからなる。その画像の対応する解像度は使用される表示装置のサイズの逆関数である。各ピクセルは、輝度（強度）情報とカラー（色）情報からなる“全（フル）データ”の組合わせを有するビデオ源から供給される。典型的な１つの“ＹＵＶ”ディジタル・カラー・ピクセル特徴付けコードは、それぞれ輝度（Ｙ）およびカラー成分（内容）（Ｕ）および（Ｖ）を表す３つの８ビット・ディジタル・ワードを有する。従って、１つの全データ・カラー・ピクセルを特徴付けるには２４ビットのディジタル情報が必要である。即ち、上述のフレームについては合計２４×１６０×１２０＝４６０，８００ビットが必要となる。このような大量のデータのバッファ（緩衝）および処理に必要な伝送ハードウェアにかかるコスト、およびその比較的長い所要処理時間を考慮すると、そのデータ量は実現不可能なほど大量である。
この問題を解決するためのこの技術分野における既知の方法は、カラー情報の全てを送ることはしない方法である。人間の目は輝度の変化よりも色の変化に対してははるかに鈍感なので、多くの場合はカラー情報の幾分かを削減するように設計しても人間の見る画像が深刻な品質低下を呈することはない。例えば、この分野では、１つのフレームを図１に示すような複数の４×４のピクセル・ブロックに分割することが知られている。図１において、Ｂ11は左上隅にある第１ブロックを表している。従って、図示のスクリーン（画面）は高さ３０本のバンド（帯）と幅４０個のブロックで構成される。このフォーマットでは、元の全データＹ、ＵおよびＶの各値は、それぞれ（Ｙ11〜Ｙ120 160）、（Ｕ11〜Ｕ120 160）および（Ｖ11〜Ｖ120 160）からなる。しかし、ＵおよびＶの値の全てが送られることはない。その代わり、図２に示されるように、Ｂ11における全てのＵの値を元のＵ11の値に設定し、Ｂ12における全てのＵの値を元のＵ15の値に設定し、Ｂ21における全てのＵの値を元のＵ51の値に設定し、他のブロックについても同様に設定する。Ｖの値についても同じ形式を用いる。しかし、元の全てのＹの値は保持する。このような構成を用いて、Ｕ値の８ビットとＶ値の８ビットが１ブロックの１６ピクセルの全てのカラー情報を与え、各ブロックのカラー情報の量は平均して１ピクセル当たり１ビットになる。各ピクセルは全８ビットの輝度情報を有するので、この構成に必要な１ピクセル当たりの平均ビット数は合計９個となり、従って、専門用語として“ＹＵＶ９”と表現される。
この技術分野においてこのようなデータを処理する既知の方法は、１つのフレームについて全てのＹ値（１９，２００個！）を記憶し、次いで全てのブロックＵ値（１２００個）を記憶し、最後に全てのブロックＶ値（１２００個）を記憶することを含んでいる。これが標準ＹＵＶ９“平面（プレーナ）”フォーマットである。しかし、このフォーマットには次の２つの重大な欠点がある。（１）１つのフレーム全体における全てのデータまたはほとんどのデータは、プロセッサを用いてデータに何らかの処理を施す前にバッファに記憶または蓄積しなければならず、（２）その結果得られた画像は（驚くべきことではないが）人間の目に対して“塊斑点の濃淡を生成する（blocky）”効果（ブロッキー効果）を与える。
発明の概要
本発明者は、要求されるバッファ記憶量が少なくなりまた処理効率が高くなるようにＹＵＶサブサンプリング（副サンプリング）・データをフォーマット化する改良技術を発見し発明した。
本発明の特徴の１つによれば、ＹＵＶ９データは次のようにフォーマット化される。すなわち、ブロックＢ11について（Ｖ11，Ｕ11，Ｙ11，Ｙ12，Ｙ13，Ｙ14，Ｙ21，Ｙ22，Ｙ23，Ｙ24，Ｙ31，Ｙ32，Ｙ33，Ｙ34，Ｙ41，Ｙ42，Ｙ43，Ｙ44）とフォーマット化され、その後にブロック（Ｂ1 2〜Ｂ1 40）、（Ｂ2 1〜Ｂ2 40）・・・等についてのブロックＶデータ、ブロックＵデータおよびＹデータが、各フレーム内を横切って左から右へ、頂部（上）から底部（下）へとフォーマット化される。第１ブロックのデータが受取られて記憶されると、直ちにそのブロックのデータの処理が開始され、結果として得られる画像が人間の目に対してより“見やすく（friendly）”見えるようにＵ11およびＶ11のカラー値が補間されまたはディザ処理される（dither）。これに対して、従来技術で既知の“平面フォーマット”技術では、そのような処理が開始する前に、１フレーム全体のＹ、ＵおよびＶのデータのうちの全てのデータまたはほとんどのデータを受取って蓄積する必要がある。（その理由は、ＹＵＶデータをＲＧＢデータに変換するにはそのフレーム全体の全てのＹＵＶデータが必要だからである。）この出願の新しいフォーマットに用いられる処理前の所要データ記憶量は約（１／１フレーム当たりブロック数（＃）の割合（比）で減少し、図１に示したフレームでは（１／１２００）の割合で減少する。
本発明の特徴によれば、伝送するために元のＹＵＶディジタル・ビデオ・データのフレームをサブサンプリングしてフォーマット化するためのコンピュータで実行される方法は、（Ａ）上記フレームを複数のピクセル・ブロックに分割するステップと、（Ｂ）上記複数のピクセル・ブロックの各ブロックに、そのブロックに対応する上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおける複数の元のＶ値の中の１つに等しい１つのＶ値を割り当てるステップと、（Ｃ）上記複数のピクセル・ブロックの各ブロックに、そのブロックに対応する上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおける複数の元のＵ値の中の１つに等しい１つのＵ値を割り当てるステップと、（Ｄ）ブロック毎に、ステップ（Ｂ）および（Ｃ）において各ブロック毎に割り当てたそれぞれの上記ＶおよびＵの値を、各それぞれのブロックに対応する全てのＹ値とともに順次フォーマット化するステップと、（Ｅ）ステップ（Ｄ）からの上記ブロックの各々についてＶ、ＵおよびＹのデータからなる順次形式でパックされたディジタル・ビデオ・データストリームを順次生成するステップと、を含んでいる。
実施形態において、上記分割は所要のサブサンプリング比に応じて決定されるものであってもよい。
実施形態において、上記ピクセル・ブロックの形状は長方形であってもよい。さらに、上記ピクセル・ブロックの形状は正方形であってもよい。さらに、上記ピクセル・ブロックはそれぞれ１６個のピクセルを含むものであってもよい。さらに、各ブロックに属するデータは、１６個のＹ値、１つの代表的Ｖ値および１つの代表的Ｕ値からなるものであってもよい。
実施形態において、さらに、ステップ（Ｂ）および（Ｃ）において各ブロックに対して割り当てたＶおよびＵの値は、各ブロックの左上隅にあるピクセルに対応する元のディジタル・ビデオ・データのＶおよびＵの値であってもよい。
実施形態において、さらに、ステップ（Ｂ）において各ブロックに対して割り当てたＶの値は、各ブロックの元のディジタル・ビデオ・データのＶの値の中の１つより多い数の値を平均したものからなり、ステップ（Ｃ）において各ブロックに対して割り当てたＵの値は、各ブロックの元のディジタル・ビデオ・データのＵの値の中の１つより多い数の値を平均したものからなるものであってもよい。
実施形態において、さらに、上記順次形式でパックされたディジタル・ビデオ・データストリームは、上記フレームについてブロック毎に、上記フレームの左から右へ、頂部から底部へと生成されるものであってもよい。
実施形態において、さらに、各ブロックのＶおよびＵの値の直ぐ後に、かつ各ブロックの１６個のＹの前に２つのブランク値が挿入されて、１ブロック当たりの値の総数が２０個となるようにされてもよい。
本発明の別の特徴によれば、伝送するために元のＹＵＶディジタル・ビデオ・データのフレームをサブサンプリングしてフォーマット化するシステムは、（Ａ）上記フレームを複数のピクセル・ブロックに分割する手段と、（Ｂ）上記複数のピクセル・ブロックの中の各ブロックに、そのブロックに対応する上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおける複数の元のＶ値の中の１つに等しい１つのＶ値を割り当てる手段と、（Ｃ）上記複数のピクセル・ブロックの中の各ブロックに、そのブロックに対応する上記元のＹＵＶディジタル・ビデオ・データのフレーム中のブロックにおける複数の元のＵ値の中の１つに等しい１つのＵ値を割り当てる手段と、（Ｄ）ブロック毎に、上記手段（Ｂ）および（Ｃ）において各ブロック毎に割り当てたそれぞれの上記ＶおよびＵの値を、各それぞれのブロックに対応する全てのＹ値とともに順次フォーマット化する手段と、（Ｅ）上記手段（Ｄ）からの上記ブロックの各々についてＶ、ＵおよびＹのデータからなる順次形式でパックされたディジタル・ビデオ・データストリームを順次生成する手段と、を具えている。
【図面の簡単な説明】
図１は、ＹＵＶディジタル・ビデオ・データの典型的フレームを示している。
図２は、図１のフレームの第１ブロックの拡大図であり、隣接ピクセルとともに示されている。
発明の実施の形態の詳細な説明
本発明の好ましい実施形態は、以下の説明と図１および２の参照によって理解することができる。
１つのディジタル・ビデオ・フレームは、アドレスＰ11〜Ｐ120 160を有する長方形の格子（grid）の形に配置された１６０×１２０＝１９，２００個のピクセルを含んでおり、各々が正方形４×４ピクセルからなる１２００個のグループ（ブロック）に分割され、３０本の水平方向のストリップ（細条、バンド）（各ストリップは４０個のブロックからなる）に分割される。そのグループを“ブロック”と称し、そのストリップを“バンド”と称する。
元のピクセル・データは周知のＹＵＶ９サブサンプリング技術によって圧縮されているが、結果として得られるサブサンプリングされたデータは、次に説明する伝送用の新規で非常に有益な“パック（詰込み、packed）”フォーマット（即ち、インタリーブ形フォーマットまたは間挿形フォーマット）で配置されている。
データ・ストリームはＶ11およびＵ11の値（Ｂ11のピクセルＰ11の値）で開始し、その直ぐ後にブロックＢ11の１６個のＹ値がブロックＢ11内を横切って左から右へ、頂部から底部へと順に続く。即ち、ブロックＢ11の伝送カラー・データおよび輝度データは、順に（Ｖ11，Ｕ11，Ｙ11，Ｙ12，Ｙ13，Ｙ14，Ｙ21，Ｙ22，Ｙ23，Ｙ24，Ｙ31，Ｙ32，Ｙ33，Ｙ34，Ｙ41，Ｙ42，Ｙ43，Ｙ44）の形で発生する。このブロックＢ11のデータが伝送された直ぐ後に、ブロックＢ12のデータが、対応するフォーマット（Ｖ15，Ｕ15，Ｙ15，Ｙ16，Ｙ17，Ｙ18，Ｙ25，Ｙ26，Ｙ27，Ｙ28，Ｙ35，Ｙ36，Ｙ37，Ｙ38，Ｙ45，Ｙ46，Ｙ47，Ｙ48）で順に伝送される。このデータ伝送パターンは、バンド１内の左から右まで繰返され、次いで同様にバンド２内の左から右へと続き、以下同様にフレーム全体のＹＵＶデータが伝送されるまで続く。
このようなパック・フォーマット（パック形フォーマット）を用いると、第１ブロック全体のデータの伝送が完了すると直ぐにその受取ったディジタル・カラー情報の処理を開始して画像を再構成し、表示することができる（この例外は、補間を用いて再構成を行う場合である。補間を行う場合は、以下説明する画像再構成の処理を開始する前に第２ブロック（Ｂ12）のデータも必要になる）。これは、そのデータの所要の処理および再構成を開始する前にＹＵＶ９データのフレーム全体の全てのデータまたはほとんどのデータを受取って記憶または蓄積することが必要な従来技術のＹＵＶ９フォーマットの方法と比較すると、優れた利点となる。本発明では、１つまたは２つのデータ・ブロックだけを伝送した後に所要の処理が開始するので、このフォーマットを使用することによって受取り側のメモリ空間が節減できるだけでなく、受取りおよび再構成の時間が大幅に節減できる。
再構成（即ち、“アップサンプリング（upsampling）またはサンプル付加”）の処理を行う間、各ブロックに対応する伝送されたそれぞれのＶおよびＵの値は、その各ブロックのそれぞれの各ピクセルにそのまま用いることができる。その場合、或るブロックにおける各ピクセルのＹ値が元の画像によって決定された許容範囲内のＹ値のどの値を取ったとしても、その或るブロックにおける１６個の全てのピクセルが同じＶ値および同じＵ値を取る。これによって、再構成された画像中に、“塊斑点の濃淡（blockiness）”と一般にいわれる、人間に識別可能なアーティファクト（不自然さ）が生じる。このアーティファクトは、非常に目障りで困惑させるものであり、従って非常に望ましくないものと考えられる。
受取って再構成された画像に生じる“塊斑点の濃淡”の問題を解決するには、この出願の新規なパック形ＹＵＶ９フォーマットとともに既知の２つの技術のうちの１つを用いると便利である。その第１の技法は補間法であり、第２の技法はディザ法である。
有用で典型的な補間法には、左から右の順序（シーケンス）でブロック間のＶ値およびＵ値に対して施す部分的な再構成処理が含まれている。例えば、ブロックＢ11中の再構成されたＶ12，Ｖ22，Ｖ32，Ｖ42の各値はＶ（1-4）2＝（３／４Ｖ11＋１／４Ｖ15）として定義（規定）される。同様に、Ｖ（1-4）3＝（１／２Ｖ11＋１／２Ｖ15）、またＶ（1-4）4＝（１／４Ｖ11＋３／４Ｖ15）と定義できる。一方、Ｖ21、Ｖ31およびＶ41の各値にはＶ11と同じ値が与えられる。この補間法は、補間Ｖおよび補間Ｕからなるディジタル・ビデオ・フレーム全体を再構成するためにブロック毎に左から右へ、頂部（上）から底部（下）へと実行されて、対応するそれぞれの伝送されたＹ値とともに使用されて、もはや表示に塊斑点濃淡生成効果を呈することのない再構成された画像を生成することができる。
有用で典型的なディザ法では、各ブロックに対応する受取ったＶおよびＵの値にそれぞれノイズが（代数学的に）加算される。各ブロックにおける各ピクセルのＶおよびＵの各値（各ブロックの左上のピクセルに対応する受取ったＶおよびＵの値以外の値）は、それぞれの受取ったＶおよびＵの値とは幾分違った値となり、一般的には互いに異なる値となる。ノイズを加算すると、受取ったＶおよびＵの値がその分だけ増加しまたは減少する。加算するノイズの総量および符号（±）は、プロセッサによってランダムに（所定の正または負の限界値の範囲内で）決定するか、またはシステム設計者によって演繹的に、推測的にまたは直感的に（a priori）選択されたノイズ・マトリックスによって記述してもよい。いずれの場合においても、その結果、残りの１５個のＶ値および１５個のＵ値はブロックの領域内全体において大きくまたは有意な量だけ変動する。それによって、再構成された画像において塊斑点の濃淡のアーティファクトが生じる可能性が大幅に減少する。
上述の全ての方法に加えて、本発明者は、さらに、最も入手可能な処理装置では、データ値の個数を４の倍数に調整することが望ましいことに気がついた。従って、この出願のパック形ＹＵＶ９フォーマットを用いて実際に処理を実行する場合は、ＶおよびＵの値を伝送した後、対応する１６個のＹ値を送出する前に２つの“ブランクまたは空白”を挿入すると都合がよい。従って、そのような方法では、各ブロックの伝送され（受取られ）た値の総数は、前述の元の１８個からなる集合の代わりに２０個（即ち４の倍数）となる。
また、上述のパック形ＹＵＶ技術は、ＹＵＶ１２（即ち、２×２ピクセルのブロック）フォーマットおよびその他のＹＵＶフォーマットに適用する場合にも有益であることは、この技術分野の専門家には明らかである。
図３は本発明の方法を実現するのに適したシステムのブロック図を示す。図３において、ディジタル・ビデオ源３００は、ディジタルＹＵＶ９のビデオ信号をメモリ・バッファ３０１に伝送する。そのディジタル・データは標準平面フォーマットでメモリ・バッファ３０１に記憶される。ビデオプロセッサ３０２（このビデオプロセッサは平面データをパックされたＹＵＶデータに変換するようにプログラムされている）は、指令を受取ると、平面フォーマット（形式）のデータを受取り、それをビデオ伝送媒体３０３を介してディジタル・グラフィックス表示制御器３０４に伝送する。次いで、その表示制御器は対応するアナログＲＧＢ信号をビデオ表示モニタ３０５に送出する。
この出願の発明は、上述の実施形態の範囲に限定されることなく、請求の範囲の記載およびその均等手段によって規定される。
【図１】
0004221475.tif 000002
【図２】
0004221475.tif 000003
【図３】
0004221475.tif 000004