(57)【要約】本発明は、インタレースビデオをスケーリングする方法に関する。本発明によれば、本方法は、インタレースビデオ信号のフレームが複数のブロックに分割されるステップ３０、いずれかのブロックが該インタレースビデオ信号のフレームにおける動き領域に対応しているかを判定するステップ３２、及びフィールドベースのスケーリングが動き領域に対応しているブロックに関して実行されるステップ３４、及びフレームベースのスケーリングが動き領域に対応していないブロックに関して実行されるステップ３６を含んでいる。
2005502286.tif 000002
【特許請求の範囲】
【請求項１】
インタレースビデオをスケーリングする方法であって、
インタレースビデオのフレームを複数のブロックに分割するステップと、
該複数のブロックのいずれかが該インタレースビデオのフレームにおける動き領域に対応するかを判定するステップと、
フィールドベースのスケーリングを動き領域に対応しているブロックに実行するステップと、
フレームベースのスケーリングを動き領域に対応していないブロックに実行するステップと、
を有する方法。
【請求項２】
該複数のブロックは、１６×１６のブロックである、
請求項１記載の方法。
【請求項３】
該複数のブロックのいずれかが動き領域に対応するかを判定する前記ステップは、
該複数のブロックのそれぞれについて２つのフィールド間の差を計算するステップと、
該２つのフィールド間の差の絶対値を計算するステップと、
該２つのフィールド間の差の絶対値を所定の閾値と比較するステップと、
を含む請求項１記載の方法。
【請求項４】
該２つのフィールド間の差は、該複数のブロックの少なくとも一列における該２つのフィールドの隣接画素間の差を累積することにより形成される、
請求項３記載の方法。
【請求項５】
インタレースビデオをスケーリングするためのコードを含む記憶媒体であって、
該コードは、
インタレースビデオのフレームを複数のブロックに分割するためのコードと、
該複数のブロックのいずれかが該インタレースビデオのフレームにおける動き領域に対応するかを判定するためのコードと、
フィールドベースのスケーリングを動き領域に対応しているブロックに実行するためのコードと、
フレームベースのスケーリングを動き領域に対応していないブロックに実行するためのコードと、
を有する記憶媒体。
【請求項６】
インタレースビデオをデコードする方法であって、
残差フレームを生成するステップと、
動き補償フレームを生成するステップと、
該残差フレームと該動き補償フレームとを結合して、インタレースビデオのフレームを生成するステップと、
フィールドベースのスケーリングを該インタレースビデオのフレームにおける動きに対応している少なくとも１つの領域に実行するステップと、
フレームベースのスケーリングを該インタレースビデオのフレームにおける動きに対応していない領域に実行するステップと、
を有する方法。
【請求項７】
インタレースビデオをデコードするためのコードを含む記憶媒体であって、
該コードは、
残差フレームを生成するためのコードと、
動き補償フレームを生成するためのコードと、
該残差フレームと該動き補償フレームを結合して、インタレースビデオのフレームを生成するためのコードと、
フィールドベースのスケーリングを該インタレースビデオのフレームにおける動きに対応している少なくとも１つの領域に実行するためのコードと、
フレームベースのスケーリングを該インタレースビデオのフレームにおける動きに対応していない領域に実行するステップと、
を有する記憶媒体。
【請求項８】
インタレースビデオをデコードするデコーダであって、
残差フレームを生成する第一のパスと、
動き補償フレームを生成する第二のパスと、
該残差フレームと該動き補償フレームとを結合して、インタレースビデオのフレームを生成する加算器と、
フィールドベースのスケーリングを該インタレースビデオのフレームにおける動きに対応している少なくとも１つの領域に実行し、フレームベースのスケーリングを動きに対応していない領域に実行するスケーリング手段と、
を有するデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的なビデオ処理に関し、より詳細には、フィールドベースのスケーリングを動き領域に適用し、フレームベースのスケーリングをその他の領域に適用するインタレースビデオ対応の信号に適応性のある空間スケーリングに関する。
【背景技術】
【０００２】
離散コサイン変換（ＤＣＴ）を取り入れたビデオ圧縮、及び動き予測は、ＭＰＥＧ−１，ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６２のような国際規格で採用されている技術である。各種のＤＣＴ／動き予測のビデオ符号化スキームの中で、ＤＶＤ，衛星ＤＴＶ放送、及びデジタルテレビジョン向け米国ＡＴＳＣ規格において、ＭＰＥＧ−２が最も広く使用されている。
【０００３】
応用されるものの中には、ビデオが表示される前にビデオをスケーリングすることが望ましい場合がある。図１には、かかる応用の例が示されている。理解されるように、デコーダは、可変長デコーダ（ＶＬＤ）２、逆走査及び逆量子化（ＩＳＩＱ）ユニット４及び逆離散コサイン変換（ＩＤＣＴ）ユニット６から構成される第一のパスを含んでいる。デコーダには、ＶＬＤ２、１／２画素動き補償ユニット１０及びフレーム記憶１２から構成される第二のパスが含まれる。また、第一のパスと第二のパスからの出力を結合して、出力ビデオを生成するための加算器８が含まれる。
【０００４】
さらに、外部のスケーラ１４は、加算器８の出力に接続されており、出力ビデオを所望の解像度レベルにスケーリングする。このスケーリングは、通常、水平方向又は垂直方向のいずれかで行われる。大部分のケースでは、スケーリングは、フィルタリング及びサブサンプリングから構成されるが、あるケースでは、ダイレクト・サブサンプリングは選択的である。
【発明の開示】
【課題を解決するための手段】
【０００５】
本発明は、インタレースビデオをスケーリングする方法に関する。本発明によれば、本方法は、インタレースビデオのフレームが複数のブロックに分割されることを含む。該複数のブロックのいずれかが該インタレースビデオのフレームにおける動き領域に対応するかを判定することが含まれる。フィールドベースのスケーリングは、動き領域に対応しているブロックに実行される。フレームベースのスケーリングは、動き領域に対応していないブロックに実行される。
【０００６】
本発明は、インタレースビデオをデコードする方法に関する。本発明によれば、本方法は、残差フレームを及び動き補償フレームを生成することを含む。次いで、該残差フレームと該動き補償フレームは結合され、インタレースビデオのフレームが生成される。フィールドを基にしたスケーリングは、インタレースビデオのフレームにおける動きに対応している少なくとも１つの領域に実行され、フレームを基にしたスケーリングは、インタレースビデオのフレームにおける動きに対応していない領域に実行される。
【発明を実施するための最良の形態】
【０００７】
添付図面を参照して、同じ参照符号は対応する構成要素を表している。先に説明されたように、ある応用に中には、ビデオ表示される前に、ビデオをスケーリングすることが望まれる場合がある。インタレースビデオでは、それぞれのフレームは、時間的に１フィールド離れた２つのフィールドから構成されている。しかし、スケーリングは、インタレースビデオについて１フィールド又は１フレームを基準として実行することができる。
【０００８】
現在のところ、インタレースビデオにスケーリングを実行するための２つのアプローチが知られている。一方のアプローチは、それぞれのインタレースビデオのフレームに対して、フレームベースのスケーリングのみを適用することであり、他方のアプローチは、フィールドベースのスケーリングのみを適用することである。しかし、これらのアプローチの両者は幾つかの問題点を有している。
【０００９】
フレームベースのスケーリングでは、両フィールドを含んだ、あるインタレースフレームの全てのラインは、高周波成分を除くためにフィルタリングされ、次いで、同時にサブサンプリングされる。しかし、この処理により、インタレースビデオのフレームにおいて動きがあるときは問題が生じる。この動きを含むインタレースフレームの領域では、２つのフィールド間で有意な差が存在し、この差は高周波成分である。したがって、それぞれのフレームの全てのラインをフィルタリングすることで、これらの動き領域による高周波成分が破壊される。このことは、動く対象物に周波数感度の高いエッジを持たせることになる場合があり望まれない。
【００１０】
フィールドベースのスケーリングでは、インタレースフレームのそれぞれのフィールドのラインは、個別にフィルタリングされ、同時にサブサンプリングされる。したがって、この処理は、動き領域を原因とする高周波成分を保持する。しかし、この処理は、静止した領域において問題を引き起こす。特に、このアプローチにより、ノイズのような他の望まない高周波成分を通過させてしまい、エイリアシングを生じる場合がある。また、このアプローチは、望まない低周波成分をフィルタリングにより出力する場合があり、ぼやけた画像を生じる場合がある。
【００１１】
上述した問題を回避するために、本発明は、インタレースビデオ対応の信号に適応性のある空間スケーリングに関する。本発明によれば、フィールドベースのスケーリングは、動きのために２つのフィールド間に有意な差を有するインタレースフレームの領域に適用され、フレームベースのスケーリングは、他の領域に適用される。
【００１２】
図２には、本発明によるデコーダの一例が示されている。理解できるように、本発明によるデコーダは、改良型スケーラ１６を除いて図１と同じ構成である。図１に示されるように、このデコーダは、イントラ符号化されたフレーム及び残差フレームを生成するための第一のパス２，４，６、及び動き補償フレームを生成するための第二のパス２，１０，１２を含んでいる。また、このデコーダには加算器８も含まれ、第一のパスと第二のパスの出力を結合して、インタレースビデオを生成する。
【００１３】
また、動作の間、改良型スケーラ１６は、インタレースビデオをディスプレイの解像度にスケーリングする。したがって、この改良型スケーラ１６は、特定の応用に依存して、インタレースビデオの垂直解像度に対して、アップスケール又はダウンスケールのいずれかを実行する。一つの応用では、改良型スケーラ１６は、要素２により垂直解像度をダウンスケールする。しかし、この改良型スケーラ１６が、それぞれのインタレースビデオのフレームにおける動き領域にフィールドベースのスケーリングを実行し、他の領域にフレームベースのスケーリングを実行する点で本発明は異なる。
【００１４】
図３には、改良型スケーラ１６により実行される信号に適応性のある空間スケーリングに関する一例が示されている。ステップ３０では、それぞれのインタレースビデオは、複数のブロックに分割される。一例では、それぞれのインタレースビデオのフレームは、１６×１６のブロックに分割され、このサイズは、ＭＰＥＧ−２対応のマクロブロックのサイズである。
【００１５】
ステップ３２では、いずれかのブロックがインタレースビデオのフレームにおける動き領域に対応するかに関して判定される。先に説明されたように、動きがある領域では、２つのフィールド間に有意な差が存在する。この例が図４に示されている。このブロックでは、斜線の行がトップフィールドを表しており、空白の行がボトムフィールドを表している。理解されるように、２つのフィールド間には、有意な差が存在する。したがって、この２つのフィールド間の有意な差を利用して、大きな値が生成され、この大きな値は、この特定の領域が動き領域であることを示す。
【００１６】
上記の観点から、ステップ３２における動き領域を識別するために。この２つのフィールド間の差が計算される。この差が小さい場合、その領域は動き領域ではない。この差が大きい場合、その領域は動き領域である。
【００１７】
ステップ３４では、ステップ３２における動き領域に対応していると判定されたブロックに関して、フィールドベースのスケーリングが実行される。先に説明したように、フィールドベースのスケーリングでは、それぞれのフィールドのラインは、個別にフィルタリングされ、サブサンプリングされる。ステップ３６では、ステップ３２において動き領域に対応していると判定されなかったブロックに関して、フレームベースのスケーリングが実行される。先に説明したように、フレームベースのスケーリングでは、両フィールドを含むインタレースフレームのラインの全てがフィルタリングされ、次いで、サブサンプリングされる。
【００１８】
ステップ３４及びステップ３５の両ステップでは、実行されるフィルタリングは、高周波成分を除く。さらに、実行されるサブサンプリングは、要素２，４，…等のような所定のレートで実行される。
【００１９】
図３のステップ３２を実行するための擬似コードに関する一例は図５に示されている。第一行では、変数“diff”は、０に初期設定される。第四行では、データブロックの２つのフィールド間の差が計算される。理解されるように、２つのフィールドの隣接する画素（j,j+1）間の差が計算され、第二行において選択されたデータブロックのそれぞれの列（i）について累積される。なお、利用される差は、絶対誤差ではない。また、第二行でより多くの列が選択されと、より精度の高い検出を得ることができる。しかし、演算量を低減するために、第二行では、制限された数の列（i）が選択されている。たとえば、この検出を実行するために、最初の列、最後の列、真中の列、又は三行毎の列（i）が選択される場合等がある。
【００２０】
第五行では、差（diff）が平均される。この平均処理は、該差（diff）を第六行における閾値にスケーリングするために必要である。この例では、該差（diff）を選択された列（i）の数と、それぞれの列における画素ペアの数（h/2）とで除算することで、平均が計算される。
【００２１】
第六行では、差の絶対値abs（diff）は、閾値に比較される。この例では、閾値は、たとえば、（20）のような一対の画素間の差である。この差の絶対値abs（diff）が閾値を超えた場合、これは、動き領域が検出されたことを示している。差の絶対値abs（diff）が閾値を超えない場合、これは動き領域が検出されていないことを示している。
【００２２】
図６には、本発明による信号に適応性のある空間スケーリングが実現される場合があるシステムに関する一例が示されている。例示を通して、このシステムは、テレビジョン、セットトップボックス、デスクトップ、ラップトップ又はパームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、或いは、ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）のようなビデオ／イメージ記憶装置、更にはＴｉＶＯ装置等を表す場合があり、これらの装置と他の装置の一部又は組み合わせをも含まれる。このシステムは、１以上のビデオソース１８、１以上の入力／出力装置２６、プロセッサ２０及びメモリ２２を含んでいる。
【００２３】
ビデオ／イメージソース１８は、たとえば、テレビ受信機、ＶＣＲ又は他のビデオ／イメージ記憶装置を表す場合がある。代替的に、このソース１８は、たとえば、インターネット、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワークのような世界規模のコンピュータ通信ネットワーク、地上波放送システム、ケーブルネットワーク、衛星ネットワーク、ワイヤレスネットワーク、又は電話ネットワークを通して、更には、これらのネットワーク及び他のネットワークの一部又はその組み合わせを通して、１以上のサーバからのビデオを受信するために、１以上のネットワークコネクションを表している場合がある。
【００２４】
入力／出力装置２６、プロセッサ２０及びメモリ２２は、通信媒体２４を通して情報をやり取りする。通信媒体２４は、たとえば、バス、通信ネットワーク、回路、回路カード又は他のカードの１以上の内部接続を表している場合があり、更には、これらの媒体及び他の媒体の一部及びその組み合わせを含む。ソース１８からの入力ビデオデータは、メモリ２２に記憶された１以上のソフトウェアプログラムに従って処理され、ディスプレイ装置２８に供給される出力ビデオ／イメージを生成するためにプロセッサ２０により実行される。
【００２５】
他の実施の形態では、信号に適応性のある空間スケーリングは、このシステムにより実行されるコンピュータ読取り可能なコードにより実現される。このコードは、メモリ２２に記憶されている場合があり、又はＣＤ−ＲＯＭ又はフロプティカルディスクのような記録媒体から読取り又はダウンロードされる場合がある。他の実施の形態では、本発明を実現するためのソフトウェア命令の代わりに、又は該ソフトウェア命令と共にハードウェア回路が使用される場合がある。
【００２６】
本発明は、特定の実施の形態の観点で説明されたが、本発明は、本実施の形態で開示された例に制限されるものではないことを理解されたい。たとえば、本発明は、ＭＰＥＧ規格のフレームワークを使用して説明された。しかし、本実施の形態で説明された概念及び手法は、任意のＤＣＴ／動き補償スキームにも適用することができ、一般的な意味で、異なる相互依存性のピクチャタイプが許容される、任意のフレームベースのビデオ圧縮スキームに適用することができる。したがって、本発明は、添付された特許請求の範囲の精神及び範囲に含まれるその様々な構成及び変更をカバーすることが意図されている。
【図面の簡単な説明】
【００２７】
【図１】外部スケーラによるＭＰＥＧ−２デコーダの一例に関するブロック図である。
【図２】本発明によりデコーダの一例に関するブロック図である。
【図３】本発明によるインタレースビデオ対応の信号に適応性のある空間スケーリングに関する一例を説明するフローチャートである。
【図４】インタレースビデオにおける動き領域を表すデータブロックに関する一例を示す図である。
【図５】本発明によるインタレースビデオにおける動き領域を検出するための擬似雑音符号に関する一例を示す図である。
【図６】本発明によるシステムの一例に関するブロック図である。
【図１】
2005502286.tif 000003
【図２】
2005502286.tif 000004
【図３】
2005502286.tif 000005
【図６】
2005502286.tif 000006
【国際公開パンフレット】
2005502286.tif 000007
2005502286.tif 000008
2005502286.tif 000009
2005502286.tif 000010
2005502286.tif 000011
2005502286.tif 000012
2005502286.tif 000013
2005502286.tif 000014
2005502286.tif 000015
2005502286.tif 000016
2005502286.tif 000017
2005502286.tif 000018
【国際公開パンフレット（コレクトバージョン）】
2005502286.tif 000019
【国際調査報告】
2005502286.tif 000020
2005502286.tif 000021
2005502286.tif 000022