(57)【特許請求の範囲】
【請求項１】
所与のフォーマットの一連のフレームよりなるビデオシーケンスを、大きなフォーマットのフレームに変換するフォーマット変換方法であって、当該方法はビデオシーケンスの一連のフレームから構築された拡張視野画像を使うことを含み、
当該方法は：
二つ以上の先行する一連のフレームからなる前の拡張視野画像に関して、現在フレームの動き推定を行うステップと、
現在フレームについて、前記動き推定のステップにおいて推定された動きを使って前の拡張視野画像を動き補償し、それにより動き補償された前の拡張視野画像を与えるステップと、
動き補償された前の拡張視野画像および現在のフレームを、冗長画素についてはフィルタリングを使って重ね合わせることによって、前記動き補償された前の拡張視野画像を更新して、次の現在フレームの動き推定のための前の拡張視野画像となる更新された拡張視野画像を与えるステップと、
前記所与のフォーマットの現在のフレームに含まれている画素についての前記所与のフォーマットの現在フレームからのデータ、および、前記所与のフォーマットの現在フレームに含まれていない画素についての前記更新された拡張視野画像からのデータを使って、前記大きなフォーマットの現在フレームを与えるステップとを有しており、
前記動き推定は、２Ｄの明らかな動きのアフィンモデル化に基づいた、全体的な動きのロバスト推定である、
方法。
【請求項２】
所与のフォーマットの一連のフレームよりなるビデオシーケンスを、大きなフォーマットのフレームに変換するフォーマット変換方法であって、当該方法はビデオシーケンスの一連のフレームから構築された拡張視野画像を使うことを含み、
前記変換は第一段および第二段の２つの段で行われ、
ビデオシーケンスの拡張視野画像を構築するための第一段は：
各フレームとその先行フレームとの間の動きを推定するステップ（１６）と、
各フレームを、前記動き推定ステップにおいて推定された動きを用いて動き補償し、それにより動き補償されたフレームを与えるステップと、
冗長画素についてはフィルタリングを使って、前記動き補償されたフレームを重ね合わせることによって、前記シーケンスの拡張視野画像を構築するステップ（１８）とを有し、
前記シーケンス中の前記所与のフォーマットの各フレームについて前記より大きなフォーマットのフレームを与えるための第二段は：
前記動き推定ステップにおいて決定された動きに基づいて拡張視野画像中で前記シーケンスの前記所与のフォーマットの各フレームを配置するステップ（１９）と、
配置された各フレームについて、前記配置されたフレームに含まれている画素についての前記配置されたフレーム自身からのデータおよび前記所与のフォーマットの現在フレームに含まれていない画素についての前記拡張視野画像からのデータを使って、前記より大きなフォーマットのフレームを与えるステップ（２０）とを有し、
前記動き推定は、２Ｄの明らかな動きのアフィンモデル化に基づいた、全体的な動きのロバスト推定である、
方法。
【請求項３】
動き推定は、フレーム輝度の空間−時間グラディエントに基づいていることを特徴とする請求項１または２記載のフレームフォーマット変換方法。
【請求項４】
動き推定は、
−座標ｘ，ｙの各画素に、画素座標のアフィン関数である成分ｄｘ，ｄｙ
ｄｘ＝ａ＋αｘ＋γｙ
ｄｙ＝ｂ＋βｘ＋δｙ
よりなる動きベクトルを付随させ、
−再重み付けされた最小正方形の方法を
ε（ｘ，ｙ，θ）＝ｄｘ．ΔＩ＋ｄｙ．ΔＩy＋ΔＩt、
ここでΔＩx，ΔＩy，ΔＩtは、推定された、水平、垂直および時間の輝度グラディエントである誤差εに適用することにより、パラメータａ，α，γ，ｂ，β，δを計算することを特徴とする請求項１乃至３のうちいずれか一項記載のフレームフォーマット変換方法。
【請求項５】
動き推定は、多種の解像度のピラミッドフレーム構造を用いた階層的な推定であることを特徴とする請求項１乃至４のうちいずれか一項記載のフレームフォーマット変換方法。
【請求項６】
請求項１記載の方法であって、
実行される前記動き推定が、動きを表す動きベクトル場が各点で互いに独立な値をもつ稠密な動きベクトルフィールド推定であり、
当該方法がさらに、推定された動きに基づいてフレームを諸レイヤにセグメント分離するステップと、
前記フレームの優勢な動きに対応する動きをもつ背景レイヤを決定するステップとを含んでおり、
前の拡張視野画像の前記更新が、同一レイヤに対応する現行フレームの新しい画素を、前の拡張視野画像の各レイヤに加算するステップを含む、方法。
【請求項７】
請求項２記載の方法であって、
実行される前記動き推定が、動きを表す動きベクトル場が各点で互いに独立な値をもつ稠密な動きベクトルフィールド推定であり、
当該方法がさらに、推定された動きに基づいてフレームを諸レイヤにセグメント分離するステップと、
前記フレームの優勢な動きに対応する動きをもつ背景レイヤを決定するステップとを含んでおり、
前記拡張視野画像の構築が、蓄積された動き補償されたフレームの対応する画素に対し、後方でメディアンフィルタリングを行うステップを含む、方法
。
【請求項８】
先行する拡張視野画像の更新は、
−先行する拡張視野画像の対応する画素を持つ現行フレームの冗長画素を決定し、
−先行する拡張視野画像と現行フレームの中の対応する値にフィルタをかけることによりこれらの冗長画素の値を計算するステップよりなることを特徴とする請求項１記載のフレームフォーマット変換方法。
【請求項９】
拡張視野画像の構築は、
−先行する拡張視野画像の対応する画素を持つ現行フレームの冗長画素を決定し、
−先行する拡張視野画像と現行フレームの対応する値にフィルタをかけることによりこれらの冗長画素の値を計算するステップよりなることを特徴とする請求項２記載のフレームフォーマット変換方法。
【請求項１０】
拡張視野画像の更新は、
−動き補償された後、いくつかのフレームを先行する拡張視野画像に積算し、
−次の拡張視野画像を与えるために、蓄積されたフレームと拡張視野フレームの対応する画素にフィルタをかけるステップよりなることを特徴とする請求項１記載のフレームフォーマット変換方法。
【請求項１１】
拡張視野画像の構築は、
−動き補償された後、いくつかのフレームを積算し、
−拡張視野画像を得るために、蓄積されたフレームの対応する画素にフィルタをかけるステップよりなることを特徴とする請求項２記載のフレームフォーマット変換方法。
【請求項１２】
フィルタリングは、１次のフィルタリングであることを特徴とする請求項９乃至１１のうちいずれか一項記載のフレームフォーマット変換方法。
【請求項１３】
フィルタリングは、メディアンフィルタリングであることを特徴とする請求項９乃至１１のうちいずれか一項記載のフレームフォーマット変換方法。
【請求項１４】
前記更新するステップ後の更新された拡張視野画像に値が見出されない画素がある場合、そのような値はミラー効果、パディング、境界の繰り返しのような諸方法の１つ又は混合された方法を用いて決定される、請求項１、３、４、５、６、８、１０、１２、１３のうちいずれか一項記載の方法。
【請求項１５】
前記構築するステップ後の拡張視野画像に値が見出されない画素がある場合、そのような値はミラー効果、パディング、境界の繰り返しのような諸方法の１つ又は混合された方法を用いて決定される、請求項２、３、４、５、７、８、１１、１２、１３のうちいずれか一項記載の方法。
【請求項１６】
所定のフォーマットは４／３ＴＶフォーマットであり、大きなフォーマットは１６／９ＴＶフォーマットであることを特徴とする請求項１乃至１５のうちいずれか一項記載のフレームフォーマット変換方法。
【請求項１７】
１６／９テレビジョン受像機は、請求項１記載のフレームフォーマット変換方法を実行する変換器を含むことを特徴とする。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、４／３から１６／９へのＴＶフォーマットの変換方法および、変換方法を実行する変換器に関するものである。
【０００２】
【従来の技術】
通常は、４／３から１６／９へのＴＶフォーマットの変換は、それぞれ違った方法で行われる。図１（ａ）は４／３のカメラで撮影したものとする画像をまた、図１（ｂ）は１６／９のカメラで撮影したものとする画像を示す。
図２は４／３のＴＶフォーマットを１６／９へのＴＶフォーマットに変換する既知の方法を示したものである。
【０００３】
最も単純な方法は、図２（ａ）に示すように、４／３のフォーマットを保持し、１６／９のフレームの空の部分を黒の帯で埋めることである。
もう一つの形式の方法は、１６／９のフレームを得るために、４／３の原画のフレームを歪ませるか又は、切り取ることである。
−図２（ｂ）に示すように、４／３のフレームを水平方向にズームする。
【０００４】
−図２（ｃ）に示すように、ズームし、上下を切り取る。
−図２（ｄ）に示すように、同様にズームし、字幕を残すために上方部のみを切り取る。
−図２（ｅ）に示すように、ズーム係数がフレーム内で変わり、中心部では１付近であり、フレームの境界部で最大値をとるように、線形にズームする。
【０００５】
これらの方法の間では、妥協が行われる。
最後の形式は、境界部で失った情報を特別な技術で作り出すことを目的にしている。
−境界の列やラインの複製。
−図２（Ｆ）に示すような、ミラー効果。
【０００６】
−物体のエッジや、フラクタルを考慮した変形が適用されたパディング方法。
【０００７】
【発明が解決しようとする課題】
これらの異なった方法を、ＴＶ受像機の中において直接又は、ビデオ放送前の後処理工程で適用することができる。これらの技術が後処理において行われても、１６／９のカメラで撮影されたシーンのフレーム全体の真の情報を生成することはできないことは明らかである。
【０００８】
４／３フォーマットの画像の固有の情報を使用する場合、これら全ての技術は、偽の情報（この付加情報は画像の失われた真の部分を表さない）を付加し、情報を抑圧し又は、画像を歪ませることによって、全ての画像の品質を劣化させる。
本発明の目的は、上述の問題点を解消することである。
【０００９】
【課題を解決するための手段】
本発明の構成は、所定のフォーマットの連続するフレームよりなるビデオシーケンスを、大きなフォーマットのフレームに変換するフォーマット変換方法であって、
先行する伸張画像に関して、現行フレームの動き推定を行い、
現行フレームに関して、先行する伸張画像の動きを補償し、
次の現行フレームの動き推定のための先行する伸張画像となる更新された伸張画像を与えるための現行フレームからのデータを考慮して、先行する伸張画像の更新を行い、
大きなフォーマットのフレームを得るために、更新された伸張画像からのデータを考慮して現行フレームを完成させることを特徴とする。
【００１０】
本発明の他の構成は、所定のフォーマットの連続するフレームよりなるビデオシーケンスを、大きなフォーマットのフレームに変換するフォーマット変換方法であって、変換は２つの経路で行われる。一つは連続するフレーム間の動きを推定し、動き補償されたフレームを用いて伸張画像を作成する。もう一つは、計算された動きを考慮しそして、大きなフォーマットに対応する伸張画像データを用いて完成させた伸張画像に関するシーケンスの各フレームを配置することを特徴とする。
【００１１】
また、本発明は、特に、動き推定が２Ｄの明らかな動きのアフィンモデル化に基づいた全体的な動きのロバスト推定であることを特徴とする。
また，本発明は、動き推定がフレーム輝度の空間時間グラディエントに基づいていることを特徴とする。
本発明はまた、１６／９のＴＶ受像機に関し、フォーマット変換方法を実行する変換器を有していることを特徴とする。
【００１２】
本発明は、ビデオ画像の連続するフレームからなる伸張画像メモリを用いて、４／３フォーマットのフレームから完全な１６／９のフレームを生成することを目的とする。
請求項の伸張画像生成処理方法は、連続する４／３のフレームを累積し、理想的には１６／９フォーマット又はそれ以上の大きな画像を発生するために混合する。もし、カメラとシーンの背景が完全に静止しているなら、この方法は、４／３のフレームと全く同じサイズの最終フレームを生成する。しかし、カメラが動くとすぐに（そして特にパン動作が行われたとき）、シーンの大部分がビデオ画像の連続するフレームを通して見える。それゆえ、シーンの、大きなフレームを生成することが可能となる。この大きなフレームが伸張画像メモリに記憶されているなら、この伸張画像によって４／３のフレームは完成されることができ、あたかも１６／９のカメラで撮ったように見えるシーンの１６／９のフレームを生成する。
【００１３】
ビデオ画像の連続するフレームからなる伸張画像メモリを用いた１６／９フレームの失われた部分の再構成によって、歪みが無く又は、偽の情報が無く、画質を向上した１６／９のフレームを得ることができる。
その他の特徴と優位性は、以下の制限の無い実施例により明らかになろう。
【００１４】
【発明の実施の形態】
図３は１６／９フレームを再構成する伸張メモリの使用を示す。左右の点線で示されている境界２により制限された４／３フレーム１は、拡張されるべき現行フレームに関係している。１６／９のフレーム３は、４／３の現行フレームとシーケンスの隣接フレームのデータから再構成されたフレームである。そのような再構成を行うために、伸張画像メモリ４は先行するフレーム又は後行するフレーム（後述するオフライン環境が使用された場合）からの処理されたデータを記憶する。例えば、４／３フレームの右にある三角形の部分は、次の４／３フレームのこの三角形の部分のみに関連した１６／９サイズに対応するデータを使用することで、伸張画像メモリの中で完成し、１６／９フレームに表示される典型的な伸張画像〔拡張視野画像ともいう〕は、パン動作により撮られたシーンの大きな画像であろう。
【００１５】
処理の実行は考慮される環境によって、わずかに異なる。
−オンライン環境
変換処理は、オンラインで行われる。オンラインは、実時間の、例えばＴＶ受像機で直接行われる場合である。この場合には、伸張画像は、ビデオ画像に沿って順次更新される。従って、ビデオ画像の始まりでは、終わりでよりも小さく、伸張画像サイズの増加に伴って、１６／９フレームが徐々に完成される。
【００１６】
−オフライン環境
変換処理は、オンラインで行われる。これは、１６／９フレームの生成に遅延があることを意味し、ＴＶ受像機に直接適用する可能性は少ない。この場合には、処理は、製作後処理として使用されるべきである。しかし、ＭＰＥＧ−４規格に関連して、伸張画像メモリのこの形式は符号化器において計算され、そのままで、それ以上の計算はしないデコーダに伝送される。
【００１７】
図４は、オンライン環境での処理と後述するアルゴリズムを示す。
処理の第１ステップ５は、動きデータを得るために、現行フレームデータと先行する伸張画像データの間の動き推定を行う。第２ステップ６は、これらの動きデータ（動きベクトル）を用いて、先行する伸張画像データから動き補償された伸張画像データを計算する。第３ステップ７は、これらの伸張画像データと現行フレームデータから、伸張画像の更新を行う。これらの現行の４／３フレームに関連した更新された伸張画像データは、次の現行４／３フレームを受けたときに、先行する伸張画像データとして使用されるために第１及び第２のステップへ帰還する。第４ステップ８は、現行フレームデータと更新された伸張画像データを受け完全な現行１６／９フレームを得るための１６／９フレーム充填を行う。
【００１８】
最初は、伸張画像はビデオ画像の最初の原画フレームである。そして、先行する伸張画像が与えられ、第１ステップ５において、この伸張画像と現行４／３原画フレームとの間で全体的な動き推定が行われる。
動きモデルに関しては、ビデオシーケンス中の２Ｄの明らかな動きのアフィンモデル化が選択される。計算の複雑さ（６つのパラメータのみが用いられる）と物理的な現実性（２Ｄの明らかな動きを正しく表現する）の最良の妥協ためである。
【００１９】
フレーム中の点（ｘ、ｙ）の２Ｄ動きベクトル
【００２０】
【外１】
0004322349.tif 000002
【００２１】
は、６つの動きパラメータθ＝（ａ，ｂ，α，β，γ，δ）を用いて、次のような方法でモデル化される。
【００２２】
【数１】
0004322349.tif 000003
【００２３】
パラメータは、フレーム全体に対して計算される。画素の座標をｘ，ｙとすると、動きベクトルはこれらのパラメータから導き出される。この計算は、大きな動きのときには失敗する可能性が有る密過ぎる動き領域検出を避けることができる。全体的な動き推定処理は、視覚の流れの制限式により、２Ｄの明らかな動きに関係したフレーム輝度の空間−時間グラディエントに基づいている。
【００２４】
時間ｔのフレームの座標ｘ，ｙの画素の輝度Ｉx,y,t は、時間ｄｔの間の動きｄｘ，ｄｙの後に変化しないとすると、次のようになる、
Ｉx,y,t ＝Ｉx ＋ｄｘ，ｙ＋ｄｙ，ｔ＋ｄｔ
１次の展開により、次の式を与える。
【００２５】
【数２】
0004322349.tif 000004
【００２６】
ΔＩx ．ｄｘ＋ΔＩy ．ｄｘ＋ΔＩt ＝０
と単純化できる。
ここで、ΔＩx ，ΔＩy とΔＩt は、輝度関数の推定された微分係数である。ΔＩx とΔＩy は、それぞれ同一ライン上の同一コラムの画素とその隣接画素間の輝度差として計算され、ΔＩt は、画素と隣接フレームの動き補償された対応する画素間の輝度差として計算される。
【００２７】
実際にはΔＩx ｄｘ＋ΔＩy ｄｘ＋ΔＩt はゼロではなく、動きと輝度の近似によるノイズ（誤差）である。これは、下記（誤差）を、各画素（ｘ，ｙ）に対して考慮する必要がある。
ε（ｘ，ｙ，θ）＝ｄｘ．ΔＩx ＋ｄｘ．ΔＩy ＋ΔＩt 
＝（ａ＋α．ｘ＋γ．ｙ）．ΔＩx ＋（ｂ＋β．ｘ＋δ．ｙ）．ΔＩy ＋ΔＩt 
この動きモデルパラメータ推定の基本的な問題は、フレームの小領域が違った動きであっても、支配的な動きを識別することである。この問題を解決する最も良い方法はロバスト推定法である。それは、推定仮定での誤ったサンプルの削除を可能とする。本例では、選択された方法は、繰り返し再重み付けのされた最小の正方形より得られる。変数ε（ｘ，ｙ）は、各画素の同じ分散の独立集中ガウス法則として、分散されていると仮定される。大きな動きが推定できるために、多種の解像度方法が処理方法に適用される。２つのフレームの多種の解像度のピラミッドが最初に生成される。そして、評価処理方法が、最も粗い解像度から最も細かい解像度まで適用される。そこでは、所定レベルにおいて、動きパラメータの初期推定値として粗いレベルからの評価値を使用する。
【００２８】
分散
【００２９】
【外２】
0004322349.tif 000005
【００３０】
（＾は推定値）は、初期は所定値が与えられる。例えば５０である。同様に、初期の全体的な動きパラメータベクトル
【００３１】
【外３】
0004322349.tif 000006
【００３２】
は、次のように設定される。
−ビデオ画像の処理が開始したときは、ヌルベクトル、
−処理が現行フレームより開始した場合にはより高い解像度レベルを考慮して再規格化された、前値（以前のベクトル）、
そして、繰り返し処理が適用される。
【００３３】
ｋを現在の繰り返し番号とする。動きパラメータベクトルの推定値
【００３４】
【外４】
0004322349.tif 000007
【００３５】
から、伸張画像の動き補償が達成され、空間−時間グラディエントマップが計算される。最初の推定値ｑは順次校正され、校正値が小さくなるまで連続して処理が行われる。各画素（ｘ，ｙ）に対して、各繰り返し重み係数ｗｃｋ（ｘ，ｙ）が評価される。
【００３６】
【数３】
0004322349.tif 000008
【００３７】
重み付け係数ｗｃｋ（ｘ，ｙ）と共に、重み付けされた最小正方形方法を用いて、
【００３８】
【外５】
0004322349.tif 000009
【００３９】
の推定が行われる。
【００４０】
【数４】
0004322349.tif 000010
【００４１】
ｄθｋの推定のための重み付けされた最小正方形方法は、前の繰り返しに対応したパラメータに関する動きパラメータの分散の計算よりなる。それは、フレーム全体で、重み付けされた正方形の誤差の合計の最小化ができる。各変数（パラメータ）の重み付けられた正方形の誤差の合計の微分係数は、ゼロにされ、６つのパラメータのための６つの等式が与えられる。
【００４２】
そして、重み付けされたＤＦＤのみを考慮してノイズの分散が再び推定され、次の結果を得る。
【００４３】
【数５】
0004322349.tif 000011
【００４４】
フレーム全体のＤＦＤの平均値はゼロと仮定される。
全体の動きパラメータベクトルは、更新され、
【００４５】
【数６】
0004322349.tif 000012
【００４６】
シーケンスの最初のフレームの最初の繰り返しでは、動きはゼロとされる（動きパラメータベクトルはヌルベクトル）。この仮定は、低解像度のフレームに対応し、そこでは、動きは小さいと考えることができる。ΔＩｔ（ｘ，ｙ）の計算は、同じ座標（動き無し）を持った連続フレームの画素間の輝度差に対応する。
他の繰り返しに対しては、ΔＩｔ（ｘ，ｙ）は、ＤＦＤ又は、移動したフレーム差に対応する。それは、動きベクトルにより関連した画素の輝度差分値である。
【００４７】
処理は、推定された全体的な動きパラメータの校正の振幅が所定のしきい値よりも小さくなるまで繰り返される。
得られる動きパラメータベクトル
【００４８】
【外６】
0004322349.tif 000013
【００４９】
は、支配的な動きパラメータベクトルのロバスト推定値と考えられる。
連続する繰り返し（通常２つ又は３つの繰り返しで十分である）は、フレームの中で支配的でない（通常は前景）動きの滑らかさを最小化する。また、結果は通常は背景に対応する全体的な動きに対応する。
第２ステップ６では、先行する伸張画像は、この伸張画像を４／３フレームに正しく重ねるために推定された全体的な動きパラメータを用いて動き補償される。次のステップ７は、現在の４／３フレームを考慮して動き補償された伸張画像を更新する。このステップでは、先行する伸張画像と現在の４／３フレームからの更新された伸張画像が生成される。そして、以下に説明する更新された伸張画像は、現在の４／３フレームからのデータを用いて充填される。
【００５０】
ビデオシーケンスの伸張画像の発生は、シーケンスの連続フレームを動き補償することにより正確に同じレイヤの幾つかの画像の累算に基づいている。
幾つかの技術が適用される。例えば、アプローチとしては、動き基準上で、セグメント化、シーン中の違うレイヤを引き出す連続フレームなどで構成される。これは、背景レイヤを分離し、その他のものを削除する。
【００５１】
このセグメント化処理は、全体的な動きと非常に異なっている動き部分（前景部分）で域領を重み付けする上述した全体的な動き推定を行う際には必要無い。この全体的な動きは、背景レイヤの動きに対応する。勿論、フレーム中では、背景の動きが支配的であると仮定する。背景の動きが支配的であると決定する方法は、推定された分散分析に基づいている。もし分散が非常に大きいなら、動き推定−伸張画像生成の処理は停止されて、フォーマット変換は従来の方法で行われる。
【００５２】
伸張画像を生成する２つの方法は、以後に説明する。しかし、処理では、別の技術が使用される。ステップ６で、全体的な動き補正により、一旦現行フレームに対して現在の伸張画像が決定されたなら、２つの種類の画素が存在する。
−現在のレイヤのフレームに対応しない現行フレームの全く新たな画素、
−現在のレイヤのフレームに対応する現行フレームの冗長画素。
【００５３】
次のステップ７では、動き補償された伸張画像と現在の４／３フレームからの伸張画像の更新を行う。便宜上、先行する動き補償された伸張フレームをＥｘｔＦｒn-1 とする。伸張フレームを更新する第１の方法は、１次のフィルタを使用することである。
通常は背景レイヤである伸張フレームは、オンラインで更新される。この方法では、全く新たな画素は単にレイヤ又は伸張フレームの初期化と考えられる。
【００５４】
ＥｘｔＦｒn ＝Ｆｒn （ｘ，ｙ）
冗長画素は次の１次フィルタを用いて先行する伸張フレームの画素に混合される。
ＥｘｔＦｒn （ｘ，ｙ）＝αＦｒn （ｘ，ｙ）＋（１−α）ＥｘｔＦｒn-1 （ｘ，ｙ）
αは全く新たな重みを制御できる係数である。
【００５５】
図５は先行する伸張フレームと現行フレームの混合を示す。濃い灰色は、先行する伸張フレーム９と現行フレーム１０の一部分の冗長画素を示し、薄い灰色部分は現行フレームのみの一部である全く新たな画素である。この方法は、１つの伸張フレームメモリと、現行フレームメモリのみが必要である。この方法は、現行フレームの全ての画素は考慮するのだが、連続フィルタリングは背景レイヤに対応しない画素の重みも減少させる。
【００５６】
第２の方法は、伸張画像の更新にメディアンフィルタを使用するものである。
この方法は、全体的な動き補償とレイヤに属する各画素のメディアンフィルタ後に４／３フレームの幾つかの原画を累算する。
これは、伸張画像メモリとメディアンフィルタで考慮される分のフレームのフレームメモリが必要である。
【００５７】
図６は、現行レイヤフレーム１１と連続するフレーム１２、１３、１４、１５の混合を示す。この例では、現行レイヤフレームを計算する分析窓は、５フレームからなる。フレーム１２から１５は、現行レイヤフレーム１１に対して配置される。メディアンフィルタがかけられるとき、現行レイヤフレームを計算するのに奇数個のフレームが使用される。対応する画素数が偶数のとき、上述したように重み係数αを使用して、フィルタリングが行われる。
【００５８】
ステップ７で一度伸張画像が作成されると、ステップ８で最終の１６／９フレーム充填が行われる。１６／９フレームの中心部分は、４／３フレームにより充填される。初期の１６／９フレームの更新のため、例えば上述した１次のフィルタにより、フィルタリンとしての混合方法が行われる。勿論、他の混合方法も使用できる。どの場合にも、１６／９の残りの部分は、前述した他の技術の１つで充填されねばならない。
【００５９】
図７と８は、オフライン環境での処理を示し、以下にアルゴリズムのステップを説明する。オンライン環境との差のみを説明する。
オフラインの場合には、処理は２つの経路で動作する。第１に、一度、伸張画像が全体のビデオ画像（又はその大きな一部）の分析から作成される。そして、この再構成が完成後、充填処理が新しい経路に適用される。そして、連続する１６／９フレームは、同様の単一な伸張画像により充填される。
【００６０】
図７は、第１の経路に対応し、伸張画像の生成を行う。
第１ステップ１６は、ビデオ画像の連続する４／３フレーム間の動き推定を行う。一連の全体的な動きベクトルが計算され、４／３フレームと共に第２ステップ１７へ送られる。第２ステップ１７では、一連の４／３フレームへの動き補償を行って一連の動き補償された４／３フレームを生成する。一連の予測された４／３フレームがステップ１８で処理され、完全な伸張画像が発生される。この際、伸張画像における動き補償された４／３フレームの位置を調整するのに、前記の一連の全体的な動きベクトルが利用される。
【００６１】
図８は、４／３から１６／９への変換を完成する第２の経路を示す。
第１ステップ１９は、現行フレームと、第１の経路で計算された完成した伸張画像を受ける。第１の経路で計算された全体的な動きを用いて、完成した伸張画像の中で現行フレームに対応する位置が見出される。第２ステップ２０は、現行フレームと、前ステップ１９からの現行フレームに対応する位置が見出されている伸張画像を受ける。現行４／３フレームに対応する１６／９フレームの充填を行うためである。
第１の経路の間、シーケンスの各フレームは、ステップ１７で先行するフレームに対す
る動き補償が行われている。位置が調整されたこの一連のフレームは、ステップ１８で、完全な伸張画像を生成する。この伸張画像の更新は、オンライン環境と同様な方法で行われる。
【００６２】
−１次フィルタを用いての更新、
−メディアンフィルタを用いての更新。
このフィルタリングは、全体的な動き補償と、レイヤに属する各画素のメディアンフィルタリング後に４／３フレームの原画の幾つかを累算する。
第２の経路は、現在の４／３フレームに関する伸張画像を配置する。この動き補償は、第１の経路で計算され記憶された全体的な動きパラメータを使用する。そして、配置された伸張画像からのデータを使用して、４／３フレーム上に１６／９フレーム充填が行われる。
【００６３】
図９は、ビデオ画像２１から２９の９個のフレームを示す。第１の経路では、全ての組が一緒に扱われ、最終的に１つの伸張画像が生成される。シーケンスを記憶する多くのフレームメモリが必要とされ、従って、オンライン環境での方法よりも多くのメモリを消費する。
最終の伸張画像を再構成する継続時間は、処理されるべきフレーム数に依存する。
【００６４】
【発明の効果】
本発明により、ビデオ画像の連続するフレームからなる伸張画像メモリを用いた１６／９フレームの失われた部分の再構成によって、歪みが無く又は、偽の情報が無く、画質を向上した１６／９のフレームを得ることができる。
【図面の簡単な説明】
【図１】（ａ）は４／３の原画のフレームを示す図であり、（ｂ）は１６／９の原画のフレームを示す図である。
【図２】（ａ）から（ｆ）は、従来のフォーマットを４／３から１６／９に変換する方法示す図である。
【図３】１６／９フレームを再構成するための伸張画像メモリの使用例を示す図である。
【図４】オンライン環境での処理の実行アルゴリズムを示す図である。
【図５】現行伸張フレームと現行フレームの混合を示す図である。
【図６】オンラインの場合の現行レイヤフレームと連続するフレームの混合を示す図である。
【図７】オフライン環境での処理の実行アルゴリズムを示す図である。
【図８】オフライン環境での処理の実行アルゴリズムを示す図である。
【図９】オフラインの場合の現行レイヤフレームと連続するフレームの混合を示す図である。
【符号の説明】
１  ４／３フレーム
２  境界
３  １６／９フレーム
４  伸張画像メモリ
５  第１ステップ
６  第２ステップ
７  第３ステップ
８  第４ステップ
９  先行する伸張フレーム
１０  現行フレーム
１１現在のレイヤのフレーム
１２、１３、１４、１５  連続するフレーム
１６  第１ステップ
１７  第２ステップ
１８  第３ステップ
１９  第１ステップ
２０  第２ステップ
２１〜２９  フレーム
【図１】
0004322349.tif 000014
【図２】
0004322349.tif 000015
【図３】
0004322349.tif 000016
【図４】
0004322349.tif 000017
【図５】
0004322349.tif 000018
【図６】
0004322349.tif 000019
【図７】
0004322349.tif 000020
【図８】
0004322349.tif 000021
【図９】
0004322349.tif 000022