(57)【要約】【課題】適応型画像拡大方法及び装置。【解決手段】画像データを拡大するための方法を提供している。この方法は、画像データの画素位置と関連付けられる勾配値を識別することから始まる。次に、画素位置と関連付けられる方向が水平方向又は垂直方向のいずれかどうか判定される。次に、方向が水平方向又は垂直方向のいずれかならば、画素位置に重み付き補間スキームが適用される。フレーム間冗長度を利用する補間スキームを適用するための方法も含まれている。コンピュータ可読媒体、ブロックベースの画像データを処理するためのシステム、及び画像データをスケーリングするための集積回路も提供している。【選択図】    図９
2005135410.tif 000002
【特許請求の範囲】
【請求項１】
画像データを拡大するための方法であって、
画像データの画素位置と関連付けられる勾配値を識別し、
画素位置と関連付けられる方向が水平方向及び垂直方向のうちの一方であるかどうか判定し、
方向が水平方向及び垂直方向のうちの一方ならば、画素位置に対応する値に重み付き補間スキームを適用することからなることを特徴とする方法。
【請求項２】
方向が水平でない方向及び垂直でない方向のうちの一方ならば、画素位置に対応する値に双一次補間スキーム及び双３次補間スキームのうちの一方を適用することからさらになることを特徴とする請求項１に記載の方法。
【請求項３】
画像データの画素位置と関連付けられる勾配値を識別するための方法操作は、
画素位置と関連付けられる偏導関数を判定することを含むことを特徴とする請求項１に記載の方法。
【請求項４】
画素位置と関連付けられる方向が水平方向及び垂直方向のうちの一方であるかどうか判定する方法操作は、
勾配値の水平成分を定義し、
勾配値の垂直成分を定義し、
水平成分及び垂直成分から勾配値の大きさを計算することを含むことを特徴とする請求項１に記載の方法。
【請求項５】
水平成分並びに垂直成分に基づいて画素位置と関連付けられる方向角を計算し、
勾配値の大きさをしきい値と比較することからさらになり、しきい値のほうが勾配値の大きさよりも大きければ、この方法は、
方向に関係なく、画素位置に対応する値に双一次補間スキーム及び双３次補間スキームのうちの一方を適用することからなることを特徴とする請求項４に記載の方法。
【請求項６】
水平成分並びに垂直成分に基づいて画素位置と関連付けられる方向角を計算する方法操作は、
水平軸に対する方向角を定義することを含むことを特徴とする請求項５に記載の方法。
【請求項７】
勾配値の水平成分を定義する方法操作は、
水平方向変数が一定に保持される偏導関数を定義することを含むことを特徴とする請求項４に記載の方法。
【請求項８】
勾配値の垂直成分を定義する方法操作は、
垂直方向変数が一定に保持される偏導関数を定義することを含むことを特徴とする請求項４に記載の方法。
【請求項９】
勾配値は２次元ベクトルとして定義されることを特徴とする請求項１に記載の方法。
【請求項１０】
方向が水平方向及び垂直方向のうちの一方ならば、画素位置に重み付き補間スキームを適用する方法操作は、
画素位置を表わす座標をエス字形を有する関数により変換することを含むことを特徴とする請求項１に記載の方法。
【請求項１１】
ビデオデータを拡大するための方法であって、
現フレームの画像データブロックに前のフレームの対応する画像データブロックとの差の程度を示すフラッグが付いているかどうか判定し、
現フレームの画像データブロックに前のフレームの対応する画像データブロックとの差の程度を示すフラッグが付いていれば、
画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内の各画素位置に重み付き補間スキームを適応的に適用することを含むことを特徴とする方法。
【請求項１２】
現フレームの画像データブロックに前のフレームの対応する画像データブロックとの冗長度のレベルを示すフラッグが付いていれば、
前のフレームの対応する画像データブロックを表わす拡大データを現フレームの画像データの拡大ブロックの中にコピーすることを含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内の各画素に適応的に重み付き補間スキームを適応する方法操作は、
画素と関連付けられる方向が水平方向及び垂直方向のうちの一方であるかどうか判定することを含むことを特徴とする請求項１１に記載の方法。
【請求項１４】
画素と関連付けられる勾配値を識別し、
勾配値の水平成分を定義し、
勾配値の垂直成分を定義し、
水平成分及び垂直成分から勾配値の大きさを計算することからさらになることを特徴とする請求項１３に記載の方法。
【請求項１５】
画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内の各画素位置に適応的に重み付き補間スキームを適用する操作方法は、
特定の各画素位置を表わす座標をエス字形を有する関数により変換することを含むことを特徴とする請求項１１に記載の方法。
【請求項１６】
水平成分並びに垂直成分に基づいて各画素位置と関連付けられる方向角を計算し、
勾配値の大きさをしきい値と比較することからなり、しきい値のほうが勾配値の大きさよりも大きければ、
画素位置に対応する値に双一次補間スキームと双３次補間スキームのうちの一方を適用することをさらに含むことを特徴とする請求項１４に記載の方法。
【請求項１７】
画像データを拡大するためのプログラム命令を有するコンピュータ可読媒体であって、
画像データの画素位置と関連付けられる勾配値を識別するためのプログラム命令と、
画素位置と関連付けられる方向が水平方向及び垂直方向のうちの一方であるかどうか判定するためのプログラム命令と、
方向が水平方向及び垂直方向のうちの一方ならば、画素位置に重み付き補間スキームを適用するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
【請求項１８】
方向が水平でない方向及び垂直でない方向のうちの一方ならば、画素位置に双一次補間スキーム及び双３次補間スキームのうちの一方を適用するためのプログラム命令をさらに有することを特徴とする請求項１７に記載のコンピュータ可読媒体。
【請求項１９】
画像データの画素位置と関連付けられる勾配値を識別するためのプログラム命令は、
画素位置と関連付けられる偏導関数を判定するためのプログラム命令を含むことを特徴とする請求項１７に記載のコンピュータ可読媒体。
【請求項２０】
画素位置と関連付けられる方向が水平方向及び垂直方向のうちの一方であるかどうか判定するためのプログラム命令は、
勾配値の水平成分を定義するためのプログラム命令と、
勾配値の垂直成分を定義するためのプログラム命令と、
水平成分及び垂直成分から勾配値の大きさを計算するためのプログラム命令とを含むことを特徴とする請求項１７に記載のコンピュータ可読媒体。
【請求項２１】
水平成分並びに垂直成分に基づいて画素位置と関連付けられる方向角を計算するためのプログラム命令と、
勾配値の大きさをしきい値と比較するためのプログラム命令と、
勾配値の大きさがしきい値を越えるときは、画素位置に双一次補間スキーム及び双３次補間スキームのうちの一方を適用するためのプログラム命令とをさらに有する請求項２０に記載のコンピュータ可読媒体。
【請求項２２】
方向が水平方向及び垂直方向のうちの一方ならば、画素位置に重み付き補間スキームを適用するためのプログラム命令は、
画素位置を表わす座標をエス字形を有する関数により変換するためのプログラム命令を含むことを特徴とする請求項１７に記載のコンピュータ可読媒体。
【請求項２３】
ビデオデータを拡大するためのプログラム命令を有するコンピュータ可読媒体であって、
現フレームの画像データブロックに前のフレームの対応する画像ブロックとの差の程度を示すフラッグが付いているかどうか判定するためのプログラム命令と、
現フレームの画像データブロックに前のフレームの対応する画像ブロックとの差の程度を示すフラッグが付いているときは、画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内の画素位置に適応的に重み付き補間スキームを適用するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
【請求項２４】
画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内の各画素位置に適応的に重み付き補間スキームを適用するためのプログラム命令は、
画素位置と関連付けられる方向が水平方向及び垂直方向のうちの一方であるかどうか判定するためのプログラム命令を含むことを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項２５】
画素と関連付けられる勾配値を識別するためのプログラム命令と、
勾配値の水平成分を定義するためのプログラム命令と、
勾配値の垂直成分を定義するためのプログラム命令と、
水平成分及び垂直成分から勾配値の大きさを計算するためのプログラム命令とをさらに有することを特徴とする請求項２４に記載のコンピュータ可読媒体。
【請求項２６】
画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内の各画素位置に適応的に重み付き補間スキームを適用するためのプログラム命令は、
各画素位置のうちの一つを表わす座標をエス字形を有するシグモイド関数により変換するためのプログラム命令を含むことを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項２７】
ブロックベースの画像データを処理するためのシステムであって、
ビデオデータを圧縮するように構成されたエンコーダを備え、このエンコーダはビデオストリームの逐次フレームの対応するブロック間のフレーム間冗長度がしきい値を越えるとコード化されたブロック標識を第１値に設定するように構成され、エンコーダはさらにビデオストリームの逐次フレームの対応するブロック間のフレーム間冗長度がしきい値以下の時にはコード化されたブロック標識を第２値に設定するように構成され、さらに
ビデオデータを解凍するように構成されたデコーダを備えると共に、
解凍されたビデオデータをスケーリングするように構成されたスケーリングモジュールを備え、このスケーリングモジュールにはコード化されたブロック標識をブロックごとに識別するための回路機構があり、スケーリングモジュールはコード化されたブロック標識が第１値に等しいときには現フレーム内の画素位置に重み付き補間スキームを適応的に適用するための回路機構をさらに含んでいることを特徴とするシステム。
【請求項２８】
しきい値は、ビデオストリームの逐次フレームの対応する画素値間の差の合計を表わすことを特徴とする請求項２７に記載のシステム。
【請求項２９】
重み付き補間スキームを適応的に適用するための回路機構は、コード化されたブロック標識が第２値に等しいときには前のフレームから画素位置に対応するブロックをコピーするための回路機構を含むことを特徴とする請求項２７に記載のシステム。
【請求項３０】
スケーリングモジュールはデコーダに組み込まれていることを特徴とする請求項２７に記載のシステム。
【請求項３１】
重み付き補間スキームを適応的に適用するための回路機構は、画素位置に対応する勾配と関連付けられる方向が水平方向及び垂直方向のうちの一方であるかどうか判定するための回路機構を含むことを特徴とする請求項２７に記載のシステム。
【請求項３２】
画素位置に対応する勾配と関連付けられる方向が水平方向及び垂直方向のうちの一方であるかどうか判定するための回路機構は、
勾配の水平成分並びに勾配の垂直成分とから勾配の大きさを計算するための回路機構を含むことを特徴とする請求項３１に記載のシステム。
【請求項３３】
画像データを拡大する機能を有する集積回路であって、
画像データの画素位置と関連付けられる勾配値を計算するためのロジックと、
勾配値と関連付けられるベクトルと軸とで定義される角度が実質的に平行角及び実質的に垂直角のうちの一方であるかどうか判定するためのロジックと、
方向がａ）水平方向及び垂直方向のうちの一方で、しかもｂ）勾配値がしきい値を越えていれば、重み付き補間スキームを適用するためのロジックとを備えることを特徴とする集積回路。
【請求項３４】
方向が水平でない方向と垂直でない方向とのうちの一方ならば、画素位置に双一次補間スキーム及び双３次補間スキームのうちの一つを適用するためのロジックからさらになることを特徴とする請求項３３に記載の集積回路。
【請求項３５】
画像データの画素位置と関連付けられる勾配値を識別するためのロジックは、
画素位置と関連付けられる偏導関数を判定するためのロジックを含むことを特徴とする請求項３３に記載の集積回路。
【請求項３６】
画素位置と関連付けられる方向が水平方向と垂直方向とのうちの一方であるかどうか判定するためのロジックは、
勾配値の水平成分を定義するためのロジックと、
勾配値の垂直成分を定義するためのロジックと、
水平成分及び垂直成分から勾配値の大きさを計算するためのロジックとを含むことを特徴とする請求項３３に記載の集積回路。
【請求項３７】
水平成分並びに垂直成分に基づいて画素位置と関連付けられる方向角を計算するためのロジックと、
勾配値の大きさをしきい値と比較するためのロジックと、
しきい値が勾配値よりも大きければ画素位置に双一次補間スキーム及び双３次補間スキームのうちの一つを適用するためのロジックとをさらに有することを特徴とする請求項３６に記載の集積回路。
【請求項３８】
各論理素子は一つのハードウェア、ソフトウェアか、又はハードウェアとソフトウェアとの組合せかであることを特徴とする請求項３３に記載の集積回路。
【請求項３９】
ビデオデータを拡大するための機能を有する集積回路であって、
現フレームの画像データブロックに前のフレームの対応する画像データブロックとの差の程度を示すフラッグが付いているかどうか判定するためのロジックを備え、
画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内の画素位置に適応的に重み付き補間スキームを適応するためのロジックを備え、現フレームの画像データブロックは前のフレームの対応する画像データブロックとの差の程度を示すフラッグと関連付けられ、さらに
画素位置と関連付けられる方向が重み付き補間スキームの適用外のときは双一次補間スキームを適用するためのロジックを備えることを特徴とする集積回路。
【請求項４０】
画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内の画素位置に適応的に重み付き補間スキームを適用するためのロジックは、
特定の画素位置を表わす座標をエス字形と関連付けられる関数により変換するためのロジックを含むことを特徴とする請求項３９に記載の集積回路。
【請求項４１】
画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内の画素位置に適応的に重み付き補間スキームを適用するためのロジックは、
画素と関連付けられる方向が水平方向及び垂直方向のうちの一方であるかどうか判定するためのロジックを含むことを特徴とする請求項３９に記載の集積回路。
【請求項４２】
フラッグを検出するためのロジックをさらに備えることを特徴とする請求項３９に記載の集積回路。
【請求項４３】
各論理素子は一つのハードウェア、ソフトウェアか、又はハードウェアとソフトウェアとの組合せであることを特徴とする請求項３９に記載の集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にはデジタル画像技術に関し、より具体的にはプレゼンテーション用に画像フレームをどんなサイズにも拡大でき、それと同時にその拡大された画像フレームに高周波数成分を保存できる方法及び装置に関する発明である。
【背景技術】
【０００２】
画像フレームを定義するデータは普通、プレゼンテーションのために拡大される。例えば、マルチメディア液晶表示（ＬＣＤ）プロジェクタや高品位テレビなど、もっと大きな又は密度の高い使用可能な画像画素配列を有する表示画面に小さなサイズの画像フレームを表示するために、ハンドヘルドマルチメディアディスプレイでプレゼンテーションされる小さなサイズの画像フレームは拡大されることがある。
【０００３】
しかしながら、拡大された画像は補間方法によりエッジがぎざぎざしたり細部が劣化するのが特徴である。例えば、零点（zero order）、最近接点（nearest neighbor）、双一次（bilinear）、及び双３次（bicubic）補間など、画像を拡大するための従来の補間方法は、主としてプレゼンテーション用の画像拡大を中心にしている。しかしながら、これらの補間方法はオリジナル画像のシャープなエッジだけでなく滑らかに変わる濃度もキャプチャするには不十分である。本質的に、従来の補間方法では、画像データが拡大されるとエッジを保存できない。
【０００４】
その上、例えば、ビデオ会議画像データなどビデオデータに関して言えば、こうした補間スキームに課せられる制約条件の一つは、伝送されているデータのボリュームが最小に保たれることである。さらに、ビデオフレームと関連付けられた画像データを拡大する際の品質向上を図るために用いられるスキームはどんなものでも、ビデオプレゼンテーションの品質に影響しないようにするには、計算量を低く抑えなければならない。そうだから、空間適応キュービック補間方法やサブ画素モーション情報を用いるマルチフレーム補間方法は、その計算量と画像ごとに複数のフレームを要するためにビデオには適用できない。
【０００５】
【特許文献１】米国特許第6510254号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、先行技術が抱える問題を解決して、拡大された画像データがオリジナル画像のシャープなエッジの特徴やその他の細部をより的確に描写するように画像データを拡大する方法並びに装置を提供する必要がある。その上、ビデオに関して言えば、ビデオプレゼンテーションに悪影響を与えないように拡大処理を実行する必要がある。
【課題を解決するための手段】
【０００７】
大まかに言えば、本発明は、重み付き補間スキームを適応的に適用することによって拡大後の画像に高周波数成分を保てる画像データ拡大方法及び装置を提供することによりこうしたニーズに応えるものである。その上、ビデオデコーダが冗長な拡大処理（redundant scaling）で資源を無駄にしないようにするモーション認識（motion aware）ビデオスケーリング技法を提供している。本発明は、方法として、システムとして、コンピュータ可読媒体と関連付けられるコンピュータコードとして、又はデバイスとしてなど、数多くのやり方で実現できることを理解すべきである。本発明の実施例をいくつか以下に説明する。
【０００８】
一つの実施例において、画像データを拡大する方法を提供している。この方法は、画像データの画素位置と関連付けられる勾配値を識別することから始まる。その次に、画素位置と関連付けられる方向が水平方向か垂直方向のいずれかかどうか判定される。次に、方向が水平方向か垂直方向かいずれかの場合に画素位置に重み付き補間スキームが適用される。
【０００９】
別の実施例において、ビデオデータをスケーリングする方法を提供している。この方法は、現フレームの画像データブロックに前のフレームの対応する画像データブロックとの差の程度を示すフラッグが付けられているかどうか判定することから始まる。もし現フレームの画像データブロックに前の対応する画像データブロックとの差の程度を示すフラッグが付いていれば、この方法は画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内にある各画素位置に重み付き補間スキームを適応的に適用することを含んでいる。
【００１０】
また別の実施例において、画像データを拡大するためのプログラム命令を有するコンピュータ可読媒体を提供している。このコンピュータ可読媒体は、画像データの画素位置と関連付けられる勾配値を識別するためのプログラム命令を含んでいる。画素位置と関連付けられる方向が水平方向又は垂直方向のいずれかどうか判定するためのプログラム命令と、方向が水平方向か垂直方向かどちらかのときは画素位置に重み付き補間スキームを適用するためのプログラム命令とを含んでいる。
【００１１】
さらにまた別の実施例において、ビデオデータをスケーリングするためのプログラム命令を有するコンピュータ可読媒体を提供している。このコンピュータ可読媒体は、現フレームの画像データブロックが前のフレームの対応する画像データブロックとの差の程度を示すフラッグが付いているかどうか判定するためのプログラム命令を含んでいる。現フレームの画像データブロックに前のフレームの対応する画像データブロックとの差の程度を示すフラッグが付いているときは、画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内にある各画素位置に重み付き補間スキームを適応的に適用するためのプログラム命令を含んでいる。
【００１２】
別の実施例において、ブロックベースの画像データを処理するためのシステムを提供している。このシステムにはビデオデータを圧縮するように構成されたエンコーダがある。このエンコーダは、ビデオシステムの逐次フレームの対応するブロックとブロックの間のフレーム間冗長度（inter-frame redundancies）がしきい値を越えるとコード化されたブロック標識（coded block indicator）を第１値に設定するように構成されている。エンコーダはさらに、ビデオストリームの逐次フレーム間のフレーム間冗長度がしきい値以下になるとコード化されたブロック標識を第２値に設定するように構成されている。ビデオデータを解凍するように構成されたデコーダを含んでいる。解凍されたビデオデータをスケーリングするように構成されたスケーリングモジュールも含んでいる。スケーリングモジュールには、コード化されたブロック標識をブロックごとに識別するための回路機構がある。スケーリングモジュールはさらに、コード化されたブロック標識が第１値のときは現フレーム内の画素位置に重み付き補間スキームを適応的に適用するための回路機構を含んでいる。
【００１３】
また別の実施例において、画像データをスケーリングする機能を有する集積回路を提供している。この集積回路には、画像データの画素位置と関連付けられる勾配値を計算するためのロジックがある。勾配値と関連付けられかつベクトルと軸とで定義される角度が実質的に平行角か実質的に垂直角のいずれかどうか判定するためのロジックを含んでいる。方向が１）水平方向か垂直方向のいずれかで、しかも２）勾配値がしきい値を越えているときには、画素位置に重み付き補間スキームを適用するためのロジックを含んでいる。
【００１４】
さらにまた別の実施例において、ビデオデータをスケーリングするための集積回路を提供している。この集積回路には、現フレームの画像データブロックに前のフレームの対応する画像データブロックとの差の程度を示すフラッグが付いているかどうか判定するためのロジックがある。画素位置と関連付けられる方向に基づいて現フレームの画像データブロック内にある画素位置に重み付き補間スキームを適応的に適用するためのロジックを含んでいる。現フレームの画像データブロックは前のフレームの対応する画像データブロックとの差の程度を示すフラッグと関連付けられている。画素位置と関連付けられる方向が重み付き補間スキームの適用外のときには双一次補間スキームを適用するためのロジックも含んでいる。
【００１５】
発明のその他の態様及び効果については、添付の図面と共に、発明の原理を例を挙げて示している下記の詳細な説明から明白になる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を図面に基づいて説明する。
【実施例１】
【００１７】
発明を、画像データを拡大するのに重み付き補間スキームを適応的に適用するシステム、装置、及び方法として、また適応型重み付き補間スキームを計算が複雑でないやり方でビデオデータに適用できるようにするためのスキームとして説明している。しかしながら、当業者ならば、こうした具体的な詳細を部分的に或いは全く知らなくても本発明を実施できることはすぐ分かるだろう。別の場合には、よく知られたプロセス操作については、本発明を不要に曖昧にしないために詳細に説明していない。
【００１８】
本発明の実施例は、オリジナル画像データのエッジ領域のシャープさが、拡大された画像で保存される画像データ拡大の方法及びシステムを提供している。重み付き補間スキームにより、タビュレートされた点（tabulated points）に近い位置にもっと重みを付けるようにオリジナル画像の２次元座標をシグモイド関数により変換する。重み付き補間は水平及び垂直両方向のエッジ点に選択的に適用される。水平エッジ成分及び垂直エッジ成分は勾配ベクトルに対応する方向成分を用いて識別される。勾配の角度と勾配の大きさの計算から、画素位置、つまり、画素の２次元座標が水平又は垂直のエッジ領域と関連付けられるかどうか判定するのに用いられる値が得ることができる。２次元座標が水平領域又は垂直領域と関連付けられる場合には、例えば、双一次補間など従来の補間技法を画像データに適用する。一つの実施例において、重み付き補間スキームはビデオデータに対する適応性を示している。この例では、データの先行フレームに適用されたスケーリング関数の再計算をなくすために、現フレームに関してビデオストリームのフレーム間冗長度が識別される。
【００１９】
多次元補間において、タビュレートされた値yと独立変数x1,x2,,,,xdの各々のタビュレートされた値を与えるd個の１次元ベクトルとのd次元グリッドからy(x1,x2,,,,xd)の推定値を得ることができる。カルテシアンでない、つまり矩形配列の頂点でなくn次元空間の「無作為な」点におけるタビュレートされた関数値をもつメッシュに対する補間問題については本書で詳しく説明しないことを理解すべきである。例をあげて説明のために、２次元のケースの具体的な例を以下に説明する。しかしながら、当業者ならば、３次元以上のケースは本書で説明している２次元のケースに類似していることが明白であろう。
【００２０】
mは0からM-1の間で、nは0からN-1の間として、２次元で、関数値の行列ya[m][n]が定義される。この例で、長さmを有する配列xaと長さnを有する配列xa2も規定される。基底関数y(x1,x2)に対するこれらの入力数量の数学的関係は、次の数式１で表される。
【００２１】
【数１】
2005135410.tif 000003
【００２２】
【数２】
2005135410.tif 000004
【００２３】
【数３】
2005135410.tif 000005
【００２４】
【数４】
2005135410.tif 000006
【００２５】
【数５】
2005135410.tif 000007
【００２６】
【数６】
2005135410.tif 000008
【００２７】
【数７】
2005135410.tif 000009
【００２８】
【数８】
2005135410.tif 000010
【００２９】
【数９】
2005135410.tif 000011
【００３０】
【数１０】
2005135410.tif 000012
【００３１】
【数１１】
2005135410.tif 000013
【００３２】
【数１２】
2005135410.tif 000014
【００３３】
【数１３】
2005135410.tif 000015
【００３４】
図２Ｃ及び２Ｄは、発明の一つの実施例による、重み付き補間スキーム及び双一次補間スキームそれぞれの対応する影響を表わすグラフである。図２Ｃは、画素値ａから画素値ｂに４倍拡大されている水平又は垂直エッジを捕らえるのにトレース１０５ａに対応するシグモイド関数を用いている。図２Ｄは、水平又は垂直エッジにおける４倍拡大にトレース１０５ｂに対応する双一次補間技法を用いている。図２Ｃと２Ｄのグラフを比較すると、双一次補間に比べて重み付き補間におけるシグモイド関数の使用の効果の説明がつく。例えば、点１０７ａにおいて、シグモイド関数により定義された図２Ｃの重み付き補間の結果は、図２Ｄの双一次補間と比べ、値「ａ」により大きな相対的重みを付けている。すなわち、双一次補間の場合、「ａ」の値の3/4と「ｂ」の1/4とが点１に関連付けられる値１０７ｂを提供し、それは拡大画像における画素位置を表わしている可能性がある。但し、図２Ｃのシグモイド関数は「ａ」の値の15/16と「ｂ」の値の1/16を適用して点１に関連付けられる値１０７ａを提供することもできる。従って、双一次補間はエッジの遷移を平滑にする一方、シグモイド関数はエッジの遷移のシャープさを維持する。上に使用した値は例としてで、適していればどんな値でも、オリジナル画像データ値と比較して拡大画像における値の重み付き補間を定義するのに使用できることを理解すべきである。
【００３５】
図３Ａ〜３Ｄは、オリジナル画像とオリジナル画像を次元ごとに４倍拡大する３つの補間スキームとを表わしている。図３Ａはオリジナル画像データを表わす。図３Ｂ〜３Ｃは図Ａの領域１０６の拡大部分である。図３Ｂは拡大データを定義するために双一次補間を使用している。図３Ｃは双３次補間を用いているのに対し、図３Ｄは重み付き補間を用いて拡大データを導出している。領域１０８ｂ、１０８ｃ、１０８ｄを比較すると分かるように、図３Ｂ及び３Ｃの双一次補間及び双３次補間は水平エッジ領域にファジーな或いはぼやけた遷移を生じる。しかしながら、図３Ｄのエッジ領域はシャープである。図３Ｂ〜３Ｄの対応する垂直のエッジ領域に関して同じ効果が観測されることがある。
【００３６】
図４Ａ〜４Ｃは、４倍拡大されたＱＣＩＦ（quarter common intermediate format）画像で、ＱＣＩＦ画像に異なる補間スキームが適用されている。図４Ａは双一次補間を採用、図４Ｂは双３次補間を採用、そして図４Ｃは本書で規定した重み付き補間スキームを採用したものである。対応する各図の領域１１０ａ〜ｃ、１１２ａ〜ｃ、１１４ａ〜ｃ、１１６ａ〜ｃ内に定義された水平エッジ及び垂直エッジは、重み付き補間スキームにより得た場合よりもシャープなエッジの定義（図４Ｃ）を例証していることを理解すべきである。分かるように、図４Ｃの水平及び垂直のエッジは図４Ａ及び４Ｂいずれの水平及び垂直エッジよりもシャープである。
【００３７】
図５は、後に本書で説明している実施例により拡大される、垂直及び水平エッジ領域を有するＱＣＩＦで定義された模式的画像である。図６Ａ〜６Ｃは、図５の領域１２２と関連付けられた対応する４倍拡大画像を示している。図６Ａは拡大に双一次補間を採用し、図６Ｂは双３次補間を採用、そして図６Ｃは本書で説明している重み付き補間スキムを採用したものである。図７Ａ〜７Ｃは図１２４と関連付けられた対応する４倍拡大画像を示している。図７Ａは拡大に双一次補間を採用し、図７Ｂは双３次補間を採用、そして図７Ｃは本書で説明している重み付き補間スキームを採用したものである。いずれの場合も、重み付き補間アルゴリズムは、双一次補間又は双３次補間によるものと比べ、垂直及び水平エッジがシャープである。
【００３８】
提案しているアルゴリズムは４倍拡大に限定されないことを理解すべきである。このアルゴリズムは、４倍、７倍、８倍、５．５倍、７．７倍、０．５倍など、どんなサイズの拡大／縮小（up/down-scaling）にも使用できる。例えば、図８に示すのは、任意にサイズ調整されたビデオフレームで、提案している拡大アルゴリズムを取り入れたＨ．２６３デコーダを用いて復号化及び表示されている。すなわち、ブロックに基づくスキームやサイズ調整用のテンプレートとは対照的に、画素を基にした補間スキームの性質により、上述の実施例を用いて入力画像データをどんな任意のサイズにもサイズ調整することができる。
【００３９】
図９は、発明の一つの実施例による、画像データ拡大の方法操作を説明するフローチャートである。この方法は、画像データの画素位置と関連付けられた勾配値を識別する操作１３０から始まる。勾配値は数式９において上に説明したように２次元ベクトルとして定義される。勾配の計算は各画素位置における偏導関数を得ることに基づいている。この方法は次に決定の操作１３２に進み、そこで画素位置と関連付けられる方向が水平方向か垂直方向のいずれかかどうか判定される。この例では、水平方向又は垂直方向いずれかの勾配ベクトルの成分は、画素位置の左右どちらかの側にある画素か、又は画素位置の上下どちらかにある画素に関して計算される。さらに、勾配と関連付けられる大きさもここで計算される。前に計算された水平成分及び垂直成分に基づいて、画素位置と関連付けられる方向角が次に計算される。方向角から、画素が水平方向と関連付けられるか或いは垂直方向と関連付けられるか判定される。画素と関連付けられる方向が水平でも垂直でもなければ、この方法は次に操作１３３に進み、そこで画素位置に双一次補間スキームが適用される。
【００４０】
方向が水平方向か垂直方向かどちらかの時は、図９の方法は次に操作１３２から操作１３４に進み、そこで画素位置に重み付き補間スキームが適用される。一つの実施例において、方向角が水平か垂直かどちらかでしかも勾配の大きさがしきい値レベル以上の時は、重み付き補間スキームが適用される。従って、画素位置と関連付けられる方向が水平でも垂直でもなく或いは大きさがしきい値よりも小さいときは、操作１３３で表わされているように、画素位置に双一次補間スキームが適用される。図２Ａから図２Ｄにおいて上に説明した重み付き補間スキームが、勾配の大きさで画素の方向に基づいて適応的に適用される。当業者ならば、例えば、双３次補間など、その他のよく使われる補間スキームを操作１３３で双一次補間の代わりに採用することができることが分かるだろう。重み付き補間スキームは、上に説明したようにエス字形を有する関数により画素位置を表わす座標を変換する。この変換により、上に説明したように、タビュレートされた点に近い位置により大きな重みが割り当てられるようになる。図９において説明した実施例はスケーリング処理中のビデオデータに適用できることを理解すべきである。
【００４１】
以下にさらに詳細に説明するように、ビデオ画像データを効率よく拡大するためにモーション認識技法を重み付き補間スキームと組み合わせることができる。これにおいては、現フレームの画像データブロックに前の画像データの対応するブロックとの差の程度を示すフラッグが付けられる。すなわち、フレーム間で対応する位置と位置との画素差を比較して動きの量が計算される。画素差の和が一定のレベルより大きければ、画像データブロックに前のフレームとは異なることを示すフラッグが付けられる。画素値の絶対差（ＳＡＤ）の和がしきい値以上でなければ、画像データブロックに対応するフレームと類似したレベルであることを示すフラッグが付けられる。よって、ビデオ画像データを復号化するに際して、本書で説明している重み付き補間スキームを適用すべきか、或いは対応するフレームブロック間に有意な差がない時は単に前のフレームから前のブロックを使用すべきかどうかを示すためにフラッグが用いられる。フレーム間に概して冗長度があるためにビデオデータは復号化されているから重み付き補間スキームの適応型適用は入力ビデオの品質に影響しないことを理解すべきである。すなわち、本書で説明しているモーション認識スケーリング処理の性質は、ビデオストリームにおける有意な量のフレーム間冗長度を利用して冗長な拡大処理を回避する。
【００４２】
一つの実施例において、重み付き補間スキームを適応的に適用することができる、つまりビデオデータフレームがビデオデータの前のフレームと比較して有意な冗長度を有している場合、スケーリング関数を再計算する必要がない。スケーリング関数のこうした適用をモーション認識スケーリングと呼ぶ。概してＱＣＩＦ解像度（１７６ｘ１４４）を有しＶＧＡやビデオ会議といった用途で高解像度を有するＬＣＤパネルに表示しなければならないビデオデータを受け取るシステムの品質を向上させるために、ビデオは表示に先立ってスケーリング調整（rescale）される。高空間解像度を達成するために、伝統的な画像ベースのスケーリングスキームは概して双一次補間といった何らかの形式の画素ベースのスケーリング関数、又は双３次スプラインフィルタリング（bicubic spline filtering）を用いる。こうしたスケーリングスキームは普通、スケーリング処理中のビデオは元々Ｈ．２６３圧縮フォーマットになっているという事実を認識していない。モーション認識スケーリングの背後にある主たる動機は、ビデオストリームには有意な量のフレーム間冗長度があるということである。従って、前のフレームと比較して有意な冗長度がある領域の後続フレームについては、前のフレームのいくつかの領域に適用されるスケーリング関数を再計算する必要がない。
【００４３】
一つの実施例において、モーション認識スケーリングがＨ．２６３コーデック内で実施される。当業者ならば、本書で説明している実施例は適切ならばどんなブロックベースのコーデックにも適用して構わないし、Ｈ．２６３は説明のために用いているだけであることが明白だろう。この例においては、符号化段階で、マクロブロック（ＭＢ）でコード化されたブロックが一つでもあれば、コード化されたマクロブロック標識（ＣＯＤ）（１ビット）をゼロにし、マクロブロック全体が未だコード化されていなければ１に設定される。すなわち、スケーリング処理が時間的に早期のフレームからコピーできるように対応するマクロブロックが類似しているかどうか判定するか、又は対応するマクロブロック間にそのブロックのスケーリング関数を計算するに足りるだけの差があるかどうか判定するために、対応するマクロブロック間でフレーム対フレームの比較が行なわれる。復号化段階で、コード化されていないマクロブロックのスケーリング処理されたコンテンツが最後に復号化された画像（picture）の同じ位置からコピーされる。スケーリングプロセスを速めるために、上述のモーション認識技法を上に説明した重み付き補間スキームに組み合わせることができる。従って、再構築（又は復号化）された画像フレームの中のマクロブロックごとに、マクロブロックのＣＯＤがゼロならば対応する水平又は垂直エッジに重み付き補間スキームを適用するが、ＣＯＤが１ならば、最後に表示された画像におけるそのマクロブロックの拡大された（super scaled）領域がコピーされ、表示に使用される。エッジ領域が水平又は垂直エッジ領域でなければ、もしくは勾配の大きさがしきい値に満たなければ、上に説明したように重み付き補間は実行されない。このモーション認識スキームは適切ならばどんなスケーリングスキームとも組合せられるし、一緒に使用することもできることを理解すべきである。表１に示したように完全にソフトウェアだけのソリューションとしての場合、モーション認識（ＭＡ）スキームは、モーション認識なしの処理時間と比べ、処理時間（復号化処理時間＋拡大処理（super scaling）時間と定義）を最大４５％減らせることが分かった。
【００４４】
【表１】
2005135410.tif 000016
【００４５】
表１は２つの補間スキーム（よく知られた双一次補間と本書で説明している重み付き補間スキーム）の処理時間の削減比を示している。低ビットレートのケースでは、両補間スキームにおいてモーション認識なしのスキームと比べるとモーション認識（ＭＡ）の処理時間（秒／フレーム）が約３０〜４５％削減されている。双一次補間よりも計算集約型だから、この減少は適応型補間の場合もっと顕著である。さらに、圧縮ビットレートが高くなると、処理時間の削減は小さくなる。モーション認識スキームはビットレートが高くなるほど効果が劣る傾向がある。これは、ビットレートが高くなるとエンコーダでスキップされるマクロブロック数が小さくなるという状況によるものである。表１に示した比はビデオシーケンスの内容にも依存する。ヘッド＆ショルダータイプのビデオなど安定したバックグラウンドを有するシーケンスは、多数のマクロブロックが符号化されないでスキップされる。言うまでもなく、この情報（ＣＯＤ）はビットストリームにコード化される。動いているカメラで撮らえられたシーケンスは、スキップされるマクロブロック数がほとんどゼロだから、本書で提案しているモーション認識スキームはほとんど効果がない。しかしながら、ビデオシーケンスが固定されたカメラでほとんど撮らえられるマルチポイントビデオ会議システムに関して言えば、モーション認識スキームは強力な追加になる。
【００４６】
別の実施例において、このモーション認識スキームは、ａ）パーソナルコンピュータのグラフィックスサブシステムを介して使用可能なハードウェアアクセレレーション、及び、ｂ）INTELのMulti Media Extensions (MMX)命令レベル並列性、を使用する傾向があるMICROSOFT WINDOWS DIRECTXベースのスケーリングスキームと組み合わせることができる。これにおいて、モーション認識スケーリングの構成のいくつかはネーティブのDirect Xスケーリングに対するヘルパー機能として使用される。従って、両者の最も優れたところを捕らえる、つまり、Direct Xをベースにしたスケーリングが元々もっているハードウェア／ソフトウェアの長所にモーション認識スケーリング機能を組み合わせてDirect Xベースのスケーリングをモーション認識型にする。提案しているアルゴリズムは込み入った計算を必要とせず、その上、高周波数領域でよりシャープな遷移を生成することを理解すべきである。従って、マルチメディアＬＣＤやＨＤＴＶなど様々なマルチメディアディスプレイ上のビデオプレゼンテーションのリアルタイム画像拡大に適している。
【００４７】
図１０は、発明の一つの実施例による、重み付き補間及びモーション認識ビデオスケーリングを用いてブロックベースの画像データを処理するシステムの簡易概略図である。画像キャプチャ装置１４０が画像データをキャプチャし、画像データはエンコーダ１４２により符号化される。エンコーダ１４２にはコード化マクロブロック標識ロジック（coded macro block indication logic）１４４がある。コード化マクロブロック標識ロジック１４４はマクロブロックとその前のフレームのマクロブロックとの差の程度に対応するフラッグをマクロブロックと関連付ける。符号化されたデータは次にネットワーク１４６でデコーダ１４８に伝送される。デコーダ１４８は次に概して知られた技法で画像データを解凍する。復号化されたデータは次にスケーリングモジュール１５０によって受け取られる。スケーリングモジュール１５０は解凍された画像データに本書で説明している拡大技法を実行する。すなわち、スケーリングモジュール１５０は適応的に、重み付き補間スキームを適用すると共に先に説明したモーション認識技法を取り入れるように構成されている。スケーリングモジュール１５０には、重み付き補間スキームを適用するか、もしくはその他の補間スキームを適用するか判定するために、コード化されたブロック標識をデータブロックごとに識別するためのロジックがある。スケーリング処理されたビデオデータは次に表示モジュール１５２に表示される。
【００４８】
当業者ならば、スケーリングモジュールはハードウェア又はソフトウェアいずれで実現しても構わないことが分かるだろう。ソフトウェアは図２Ａ〜２Ｄ、図９及び図１０に関して先に説明した機能をカバーするだろう。ハードウェア実現は、Verilogなど適したハードウェア記述言語（ＨＤＬ）によりソフトウェアコードから合成することができる。従って、ハードウェア実現には回路機構、つまり本書で説明している重み付き補間及びモーション認識技法の機能を実行する論理ゲートを有するチップを含む可能性がある。図１０のスケーリングモジュール１５０をそうした集積回路に実装することができる。代わって、スケーリングモジュール１５０を、別個のモジュールとするのではなく、デコーダ１４８の中に組み込んでもいい。
【産業上の利用可能性】
【００４９】
要約すると、本書で説明している実施例は、拡大処理時に水平及び垂直エッジ領域をシャープにするために、高周波数成分を保存する方法及びシステムを提供している。水平及び垂直エッジ領域は勾配によって識別され、勾配は各画素位置における偏導関数の計算により導出される。画素位置が水平又は垂直エッジ領域かどうか判定するために、勾配と関連付けられる角度が次に計算される。次に、識別された水平又は垂直エッジ領域に重み付き補間スキームが適用される。この例では、タビュレートされた点に近い位置により大きな重みを付けるために、シグモイド関数を使用する。別の実施例においては、ビデオ環境における制約条件に適うように、重み付き補間スキーム、又はその他の適した任意のスケーリングスキームが適応的に適用される。モーション認識スキームは不要な計算を無くすために、フレーム間冗長度を認識するように構成されている。
【００５０】
上記の実施例を考えれば、発明はコンピュータシステムに保持されたデータを伴うコンピュータで実現される様々な操作を用いる可能性があることを理解すべきである。こうした操作の中には物理的な数量の物理的な操作を要する操作がある。必ずしもそうとは限らないが、普通、こうした数量は、格納、転送、結合、比較や、その他の操作が可能な電気信号又は磁気信号といった形式をとる。さらに、実行される操作は、生成、識別、判定、或いは比較といった表現で言われることが多い。
【００５１】
上に説明した発明は、ハンドヘルド装置、マイクロプロセッサシステム、マイクロプロセッサベースの又はプログラミング可能な消費者向けエレクトロニクス、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成と共に実施することができる。発明は、通信ネットワークでリンクされた遠隔処理装置によってタスクが実行される分散コンピューティング環境で実施することもできる。
【００５２】
発明は、コンピュータ可読媒体にコンピュータ可読コードとして実装することもできる。コンピュータ可読媒体とは、コンピュータシステムによって後から読み出せる、データを保持しているデータストレージ装置である。コンピュータコードが実装されている電磁搬送波もコンピュータ可読媒体の一つである。コンピュータ可読媒体の例としては、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープや、その他の光学式及び光学式でないデータストレージ装置などがある。コンピュータ可読媒体は、コンピュータ可読コードを分散して格納及び実行できるように、ネットワーク接続コンピュータシステムで分散させることもできる。
【００５３】
はっきり理解できるように上述の発明を多少詳細に説明してきたが、添付の請求項の範囲内で一定の変更及び修正を実施できることは明白である。また、発明は本書で明らかにした詳細に限定されるものではなく、添付の請求項の範囲及び同等の範囲内で修正可能である。請求項において、要素及び／ステップは、請求項にはっきりと述べられていない限り、操作の特定の順序を暗に示しているものではない。
【図面の簡単な説明】
【００５４】
【図１】２次元補間に使用される点のラベル付けを説明する簡易概略図。
【図２】Ａ及びＢは、発明の一つの実施例による、重み付き補間スキームで変数tをt'を経てvに変換する変換プロセスを表わすグラフ。Ｃ及びＤは、発明の一つの実施例による、重み付き補間法及び線形補間法それぞれの対応する影響を表わすグラフ。
【図３】オリジナル画像とオリジナル画像を次元ごとに４倍拡大する３つの補間スキームとを表わす。
【図４】４倍拡大されたＱＣＩＦ画像で、ＱＣＩＦ画像に異なる補間スキームを適用されている。
【図５】後に本書で説明する実施例により拡大される、垂直及び水平エッジ領域を有するＱＣＩＦで定義された模式的画像。
【図６】図５の領域１２２と関連付けられた対応する４倍拡大画像。
【図７】図５の領域１２４と関連付けられた対応する４倍拡大画像。
【図８】任意にサイズ調整されたビデオフレーム（１７６ｘ１４４→４０８ｘ１５６）で、提案している拡大アルゴリズムを取り入れたＨ．２６３デコーダから復号化及び表示されている。
【図９】発明の一つの実施例による、画像データ拡大の方法操作を説明するフローチャート。
【図１０】発明の一つの実施例による、重み付き補間及びモーション認識ビデオスケーリングを用いてブロックベースの画像データを処理するシステムの簡易概略図。
【符号の説明】
【００５５】
１０５ａ：  トレース
１０５ｂ：  トレース
１０７ａ：  領域
１０７ｂ：  値
１０６  ：  領域
１０８ｂ：  領域
１０８ｃ：  領域
１０８ｄ：  領域
１１０ａ：  領域
１１０ｂ：  領域
１１０ｃ：  領域
１１２ａ：  領域
１１２ｂ：  領域
１１２ｃ：  領域
１１４ａ：  領域
１１４ｂ：  領域
１１４ｃ：  領域
１１６ａ：  領域
１１６ｂ：  領域
１１６ｃ：  領域
１２２：  領域
１３０：  画像データの画素位置と関連付けられた勾配値を識別する操作
１３２：  決定の操作
１３３：  画素位置に双一次補間スキームが適用される操作
１３４：  操作
１４０：  画像キャプチャ装置
１４２：  エンコーダ
１４４：  コード化マクロブロック標識ロジック
１４６：  ネットワーク
１４８：  デコーダ
１５０：  スケーリングモジュール
１５２：  表示モジュール
【図１】
2005135410.tif 000017
【図２】
2005135410.tif 000018
【図９】
2005135410.tif 000019
【図１０】
2005135410.tif 000020
【図３】
2005135410.tif 000021
【図４】
2005135410.tif 000022
【図５】
2005135410.tif 000023
【図６】
2005135410.tif 000024
【図７】
2005135410.tif 000025
【図８】
2005135410.tif 000026