(57)【要約】  フォーマット変換方法は、第１解像度の非プログレッシブ映像を含む第１インタレース映像信号を提供するステップと、前記第１解像度のフィールドを第２解像度にダウン変換するステップと、前記フィールドを第３解像度で合成及びインタレースするステップとを含む。映像信号は第３解像度で送信される。第３解像度の映像信号は、プログレッシブフォーマット映像を形成するためインタレース解除される。プログレッシブフォーマット映像は、表示のため第１解像度の上方及び下方フィールドの生成のため、第３解像度のプログレッシブフォーマットの位置をそれぞれ交互に上下調整することにより、第１非プログレッシブ解像度に変換される。
2005510905.tif 000002
【特許請求の範囲】
【請求項１】
第１解像度の非プログレッシブ映像を含む第１インタレース映像信号を提供するステップと、
前記第１解像度のフィールドを第２解像度のフィールドにダウン変換するステップと、
前記フィールドを第３解像度で合成及びインタレースするステップと、
前記第３解像度で前記映像信号を送信するステップと、
プログレッシブフォーマット映像の形成のため、前記第３解像度の映像信号をインタレース解除するステップと、
表示のため前記第１解像度の上方及び下方フィールドを生成するため、前記第３解像度のプログレッシブフォーマットの位置をそれぞれ交互に上下調整することにより、前記プログレッシブフォーマット映像を前記第１非プログレッシブ解像度に変換するステップとを有することを特徴とするフォーマット変換方法。
【請求項２】
請求項１記載のフォーマット変換方法であって、さらに、
前記非プログレッシブ映像信号を前記第１解像度を有するプログレッシブフォーマットにインタレース解除するステップを有することを特徴とするフォーマット変換方法。
【請求項３】
請求項２記載のフォーマット変換方法であって、前記非プログレッシブ映像信号をインタレース解除するステップは、ジグザグ対角線低減アルゴリズムの利用を含むことを特徴とするフォーマット変換方法。
【請求項４】
請求項２記載のフォーマット変換方法であって、前記ダウン変換するステップは、前記第１解像度のフィールドを４の因数でダウンサンプリングするステップを含むことを特徴とするフォーマット変換方法。
【請求項５】
請求項４記載のフォーマット変換方法であって、前記ダウンサンプリングするステップは、第１フェーズによるフィルタを利用した第１画像ｉのサンプリングと、第２フェーズによる同一のフィルタを利用した画像ｉ＋１のサンプリングとを含むことを特徴とするフォーマット変換方法。
【請求項６】
請求項５記載のフォーマット変換方法であって、前記第１及び第２フェーズによるフィルタからフィールドが出力され、さらに、
前記第１フェーズのフィルタから出力されたフィールドと前記第２フェーズのフィールドを合成し、前記第３解像度の非プログレッシブ映像を形成するステップを備えることを特徴とするフォーマット変換方法。
【請求項７】
請求項１記載のフォーマット変換方法であって、前記第１、第２及び第３解像度は垂直方向の解像度に関することを特徴とするフォーマット変換方法。
【請求項８】
請求項１記載のフォーマット変換方法であって、前記第３解像度の映像信号をインタレース解除し、プログレッシブフォーマット映像を形成するステップは、ジグザグ対角線低減アルゴリズムの利用を含むことを特徴とするフォーマット変換方法。
【請求項９】
第１解像度の非プログレッシブ映像を含む第１インタレース映像信号を提供するステップと、
前記非プログレッシブ映像信号を前記第１解像度を有するプログレッシブフォーマットにインタレース解除するステップと、
前記第１解像度のプログレッシブフォーマットを第２解像度のフィールドにダウン変換するステップと、
前記フィールドを第３解像度で合成及びインタレースするステップと、
前記映像信号を前記第３解像度で送信するステップと、
表示のため上方及び下方フィールドを生成するため、前記第３解像度のプログレッシブフォーマットの位置をそれぞれ交互に上下調整することにより、前記第３解像度のプログレッシブフォーマット映像を前記第１非プログレッシブ解像度に変換するステップとを有することを特徴とするフォーマット変換方法。
【請求項１０】
請求項９記載のフォーマット変換方法であって、前記ダウン変換するステップは、前記第１解像度のフィールドを４の因数によりダウンサンプリングするステップを含むことを特徴とするフォーマット変換方法。
【請求項１１】
請求項１０記載のフォーマット変換方法であって、前記ダウンサンプリングするステップは、第１フェーズによるフィルタを利用した第１画像ｉのサンプリングと、第２フェーズによる同一のフィルタを利用した画像ｉ＋１のサンプリングを含むことを特徴とするフォーマット変換方法。
【請求項１２】
請求項１１記載のフォーマット変換方法であって、前記第１及び第２フェーズによるフィルタからフィールドが出力され、さらに、
前記第１フェーズのフィルタから出力されたフィールドと前記第２フェーズのフィールドを合成し、前記第３解像度を実現するステップを備えることを特徴とするフォーマット変換方法。
【請求項１３】
請求項９記載のフォーマット変換方法であって、前記第１、第２及び第３解像度は垂直方向の解像度に関することを特徴とするフォーマット変換方法。
【請求項１４】
請求項９記載のフォーマット変換方法であって、さらに、
前記第３解像度の映像信号をインタレース解除し、プログレッシブフォーマット映像を形成するステップを備えることを特徴とするフォーマット変換方法。
【請求項１５】
請求項１４記載のフォーマット変換方法であって、前記第３解像度の映像信号をインタレース解除し、プログレッシブフォーマット映像を形成するステップは、ジグザグ対角線低減アルゴリズムの利用を含むことを特徴とするフォーマット変換方法。
【請求項１６】
請求項９記載のフォーマット変換方法であって、前記非プログレッシブ映像信号を前記第１解像度を有するプログレッシブフォーマットにインタレース解除するステップは、ジグザグ対角線低減アルゴリズムの利用を含むことを特徴とするフォーマット変換方法。
【請求項１７】
第１解像度を有する非プログレッシブインタレース映像信号を同じ解像度を有するプログレッシブフォーマットにインタレース解除し、前記プログレッシブフォーマットを第２解像度にダウン変換し、前記第２解像度のフィールドを合成及びインタレースし、第３解像度でフレームを提供する変換装置と、
前記変換装置に接続され、前記第３解像度で前記映像信号を送信する送信リンクと、
前記送信リンクに接続され、前記第３解像度の映像信号をプログレッシブフォーマット映像としてインタレース解除し、表示のため前記プログレッシブフォーマット映像を交互の上方フィールドラインと下方フィールドラインに変換する再変換装置とを備えることを特徴とするフォーマット変換システム。
【請求項１８】
請求項１７記載のフォーマット変換システムであって、前記第１解像度のプログレッシブフォーマットの画素フェーズをフィルタリングする前記変換装置は、１／４，１／２，１／４フィルタを含むことを特徴とするフォーマット変換システム。
【請求項１９】
請求項１８記載のフォーマット変換システムであって、前記変換装置は、第１フェーズにより第１画像ｉをサンプリングし、第２フェーズにより同一の１／４，１／２，１／４フィルタを利用して第２画像ｉ＋１をサンプリングすることを特徴とするフォーマット変換システム。
【請求項２０】
請求項１９記載のフォーマット変換システムであって、前記第１及び第２フェーズによる１／４，１／２，１／４フィルタからフィールドが出力され、さらに、
前記第１フェーズによるフィールドと前記第２フェーズによるフィールドを合成し、前記第３解像度を実現する合成手段を備えることを特徴とするフォーマット変換システム。
【請求項２１】
請求項１７記載のフォーマット変換システムであって、前記第１、第２及び第３解像度は垂直方向の解像度に関することを特徴とするフォーマット変換システム。
【請求項２２】
請求項２１記載のフォーマット変換システムであって、さらに、
水平方向の解像度を減少させるため画素を縮小する手段を備えることを特徴とするフォーマット変換システム。
【請求項２３】
請求項１７記載のフォーマット変換システムであって、前記再変換装置は、前記映像信号のインタレース解除のためジグザグ対角線低減アルゴリズムを含むことを特徴とするフォーマット変換システム。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
［発明の技術分野］
本発明は、一般に低ビットレート送信に関し、より詳細には非プログレッシブ（ｎｏｎ−ｐｒｏｇｒｅｓｓｉｖｅ）映像の低ビットレート圧縮を可能にする映像フォーマット変換を提供する方法及び装置に関する。
［発明の背景］
連続した映像ビットストリームのネットワークを介した送信を可能にするため、映像フィールドはときどきインタレース処理される。インタレース処理は、リンクを介し連続的に映像フィールドを交互に送信する処理を含む。映像ストリームは、プログレッシブあるいは非プログレッシブとして識別されうる。プログレッシブな映像は、連続するフィールドペア間にオブジェクトの動きのない連続するフィールドペアを含むものである。非プログレッシブ映像は、連続するフィールドペア間にオブジェクトの動きのあるフィールドを含みうる。プログレッシブなフレームは容易にフォーマット変換が可能であるが、非プログレッシブ映像のフォーマット変換は同じ能力を享受しない。代わりに、非プログレッシブ映像は、垂直方法の解像度の大きな損失なく、フォーマット変換することはより困難である。
【０００２】
このダウン変換（ｄｏｗｎｃｏｎｖｅｒｔｉｎｇ）への１つのアプローチは、フィールド内補間の利用による２４０ライン入力フィールドの１２０ラインフィールドへの変換である。これによる２４０インタレース（２４０ｉ）映像は、圧縮、送信及び解凍される。その後、この２４０ｉ映像は４８０ｉ信号の２４０ラインフィールドへの垂直補間によりフィールド内変換され、表示される。この垂直方向の解像度は、特に２４０プログレッシブ画像処理と比較して、困難なものである。しかも移動するオブジェクトの対角線にギザギザが生じる。
【０００３】
従って、低ビットレート映像への許容される変換のため、非プログレッシブ映像をより低い解像度にダウン変換する方法及びシステムの必要性がある。さらに、この送信された低ビットレート映像のアップ変換（ｕｐｃｏｎｖｅｒｔｉｎｇ）後、適切な画質の必要性がある。
［発明の概要］
フォーマット変換方法は、第１解像度の非プログレッシブ映像を含む第１インタレース映像信号を提供するステップと、前記第１解像度のフィールドを第２解像度のフィールドにダウン変換するステップと、前記フィールドを第３解像度で合成及びインタレースするステップとを有する。この映像信号は第３解像度で送信される。この第３解像度の映像信号は、プログレッシブフォーマット映像を形成するためインタレース解除される。プログレッシブフォーマット映像は、表示のため第１解像度の上方及び下方フィールドを生成するため第３解像度のプログレッシブフォーマットの位置をそれぞれ上下に交互調整することにより第１非プログレッシブ解像度に変換される。
【０００４】
他の実施例では、非プログレッシブ映像信号を第１解像度のプログレッシブフォーマットに変換するステップが含まれてもよい。インタレース解除の実行のため、ギザギザの対角線を低減する方法が利用されてもよい。
【０００５】
フォーマット変換システムは、第１解像度を有する非プログレッシブインタレース映像信号を同一の解像度を有するプログレッシブフォーマットにインタレース解除する変換装置を有する。前記変換装置は、前記プログレッシブフォーマットを第２解像度にダウン変換し、前記第２解像度のフィールドを合成及びインタレース処理し、第３解像度でフレームを提供する。送信リンクは、第３解像度で前記映像信号を送信するため、前記変換装置に接続される。再変換装置が前記送信リンクの出力に接続される。前記再変換装置は、第３解像度の映像ストリームをプログレッシブフォーマット映像としてインタレース解除し、前記第１解像度での表示のため、前記プログレッシブフォーマット映像を交互の上方フィールドラインと下方フィールドラインに変換する。
【０００６】
本発明の効果、性質及び様々な追加的特徴が、添付された図面と共に詳細に説明される例示的な実施例を考慮することにより、より十分に明らかになるであろう。
【０００７】
これらの図面は本発明の概念を例示するためのものであり、必ずしも本発明を示す唯一の可能な構成ではないと理解されるべきである。
［発明の詳細な説明］
本発明は、低ビットレートストリームの圧縮を可能にする映像フォーマット変換方法及びシステムを提供する。本発明は、入力非プログレッシブ映像のフィールドへのインタレース解除及びダウン変換を可能とし、例えば、垂直方向解像度に関し、１／２の解像度のインタレース映像を提供する。この１／２解像度のインタレース映像は圧縮、送信及び解凍される。その後、１／２解像度のインタレース映像は、プログレッシブフォーマットにインタレース解除され、このプログレッシブフォーマット映像は、既存のテレビ装置やディスプレイモニタへの表示のため、交互の上方フィールド及び下方フィールドに変換される。本発明は２：１解像度低減に関して説明されるが、垂直方向解像度の低減は４：１低減のような他の比率で低減されてもよい。
【０００８】
本発明は既存の４８０ラインインタレース（４８０ｉ）映像システムに関して説明されるが、本発明はより広い範囲のものであり、優先あるいは無線ネットワークを介し送信可能な任意の映像フォーマットやサイズを含んでもよい。
【０００９】
一実施例では、入力非プログレッシブ４８０ｉ映像は、２４０ｉ映像を生成するため、１２０ラインフィールドにインタレース解除及びダウン変換される。この２４０ｉ映像は圧縮、送信及び解凍される。その後、この２４０ｉ映像は２４０ｐにインタレース解除される。２４０ｐ映像は、例えば既存のテレビ装置への表示のための４８０ｉを生成するため交互の２４０ライン上方フィールド及び２４０ライン下方フィールドに変換される。さらに、本発明は、電話、セットトップボックス、コンピュータ、衛星リンク、インターネットなどを介した映像送信システムを含む任意のシステムに適用可能である。本発明は、デジタル加入者線（ＤＳＬ）ネットワークや中速ビットレートチャンネルを有する他のシステムにおいて実現可能な映像オンデマンドアプリケーションにおいて特に効果的である。
【００１０】
図面に示される構成要素は様々な形態のハードウェア、ソフトウェアあるいはそれらの組み合わせにより実現可能であると理解されるべきである。好ましくは、これらの構成要素は、プロセッサ、メモリ及び入出力インタフェースを含む１以上の適切にプログラムされた汎用装置上のソフトウェアにより実現される。
【００１１】
図面を通じて同様の参照番号は同様あるいは同一の構成要素が特定されている図面をより詳細に参照するに、図１から始まるフロー／ブロック図は、本発明の一実施例による映像前処理方法／システムを示す。ブロック１０において、入力信号は処理を軽減のため水平方向に関してクロップされる。例示されている実施例では、７２０画素（水平方向）×４８０インタレース（４８０ｉ）画素の信号が、必要に応じて７０４×４８０ｉにクロップされる。ブロック１２において、３５２×４８０ｉの画像を形成するため、水平方向のダウンサンプリングが実行される。本実施例では、２：１ダウンサンプリングが実行される。他の比率が考えられてもよい。このダウンサンプリングは、従来の補間フィルタリング法を利用して実行されてもよい。
【００１２】
図１を継続して参照しながら図２を参照するに、ブロック１２がより詳細に説明される。ロウパスアンチエイリアスフィルタ１３は、ブロック１５のサブサンプリングステップに続く映像データをフィルタリングする。ブロック１５の出力は１／２水平方向ダウンサンプリングされたフィールドである。
【００１３】
図１を再び参照するに、当該信号はブロック１４において、３５２×４８０ｐに、好ましくは６０Ｈｚにインタレース解除される。インタレース解除は従来のインタレース解除法により実行されてもよい。ブロック１６において、図３に示されるように、１／４，１／２，１／４フィルタ２１により信号は垂直方向にロウパスフィルタリングされ、その後、ｉ１、ｉ３などと番号付けされた直線に示されるように、上方１２０ラインフィールドを生成する第１フェーズ処理により４：１にサブサンプリングされる。フィルタ２１として他のフィルタが利用されてもよい。また、図３に示されるように、フレームｉと同一のフィルタを通じて処理されるが、以降のより低い１２０ラインフィールドを生成するため、第１フェーズと異なるフェーズで４：１サブサンプリングされる以降のインタレース解除された４８０ｐフレームがｉ２、ｉ４などと番号付けされた直線として示される。このように、６０Ｈｚフィールドの２４０ｉシーケンスが形成される。その後、ブロック１８において、連続した２４０ｉフィールドのペアが３０Ｈｚフレームに形成される。
【００１４】
図１に示されるブロック１８において、各フレームが形成される。例示された実施例では、７０４×４８０ｉフレームが低減されたビットレートの圧縮に適した３５２×２４０ｉフレームにダウン変換された。ブロック２０において、映像ストリームは圧縮され、ネットワークあるいは送信リンク（有線あるいは無線）を介しテレビや表示装置のような受信機に送信される。本発明は、静止画像のための表示された垂直方向解像度の向上に効果的である。静止画像は既存のシステムを通じて２：１あるいはそれ以上の垂直方向解像度の向上がなされる。さらに、例えば、以下で説明されるジグザグの対角線軽減を含む本発明の方法を利用することにより、非プログレッシブ映像ストリームの改善されたダウン変換が提供される。
【００１５】
図４を参照するに、映像の送信後、当該映像はブロック２９において解凍される。後処理では、水平方向に各フレームのアップ変換が行われる。この処理はブロック３０において例示され、そこでは、双三次補間（ｂｉｃｕｂｉｃａｌ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）法のような補間方法を使って、ライン当たり３５２サンプルをライン当たり７０４サンプルに上方変換する。ブロック３２において、上方変換された２４０ｉ信号がインタリーブ解除される。様々なインタリーブ解除アルゴリズムの何れかが利用されてもよい。一実施例では、ジグザグの対角線軽減アルゴリズムが画像の移動部分に対して利用される。これについては、図５を参照して後述される。その後、ブロック３４において、インタレース解除された２４０ｐ／６０Ｈｚの信号が、２４０ｐフレームから上方２４０ラインフィールドを生成する上方シフトと、続く２４０ｐラインフレームから下方２４０ラインフィールドを生成する下方シフトとを交互に行うことにより２４０ラインフィールドに変換される。これらのシフトは、ブロック３４において４８０ｉフィールドを再構成するため上下に位置を調整するよう実行される。図５は、２４０ｐから４８０ｉへの変換を示す図である。１／４や３／４のような各線に関連付けされた数は重みである。第１画像ｉは１／４ラインだけ上方シフトされ、第２画像ｉ＋１は１／４ラインだけ下方シフトされる。これら２つのシフトされた画像は、４８０ラインインタレース画像を形成するためインタリース処理される。位置の調整に続いて、６０Ｈｚフィールドシーケンスとして信号が出力され、７０４×４８０ｉフォーマットに復元される。
【００１６】
図６を参照するに、インタレース解除のための例示的テクニックが示される。示された例では、インタレース解除のジグザグの対角線減少部分が実行される。他のインタリーブ解除テクニックが利用されてもよく、発明者により考案されている。動きがない場合、インタリーブ解除を行うため、前のフィールドラインが現在のフィールドライン間に挿入されてもよい。これにより、水平方向の詳細さのフルレベルが維持される。オブジェクトに動きがある場合、前あるいは後続のフィールドを中間画素線の形成に利用することはできない。従って、これらの画素は、形成される画素の直前及び直後のラインから形成される必要がある。
【００１７】
従来は、これを行うためにシンプルな垂直方向補間が利用されてきた。これは、画素Ｉの直前及び直後の画素の平均Ｌ３をとることによる画素Ｉの形成により行われる。しかしながら、これは、ジグザグの対角線の生成には既知である。
【００１８】
本発明により好ましく利用されるジグザグ対角線低減法では、対角画素ペアＬ１からＬ５が、例えば、強度に関しどれが最も低い差を有するか調べるためにテストされる。最も低い差を有するペアが平均化され、画素Ｉとして利用される。これに対する例外は、この平均が平均の中央値、上の画素及び下の画素でない場合に起こる。もしそうでない場合、この平均に最も近い値を有する上の画素あるいは下の画素が代わりに利用される。この方法を利用することにより、ジグザグの線は大きく低減し、この映像が表示されるとき動きのあるオブジェクトに関するよりよい画像のレンダリングが可能となる。
【００１９】
図７を参照するに、本発明によるフォーマット変換のためのシステム１３０が概略的に示される。システム１３０は、第１解像度（例えば、４８０ｉ）を有する非プログレッシブインタレース映像ストリームを同じ解像度を有するプログレッシブフォーマット（例えば、４８０ｐ）にインタレース解除する変換装置１３２を提供する。変換装置１３２は、このプログレッシブフォーマットを第２解像度（例えば、１２０）にダウン変換し、第３解像度（２４０ｉ）でフレームを提供するため第２解像度のフィールドを合成する。変換装置１３２は、第１解像度のプログレッシブフォーマット（４８０ｐ）をダウン変換する１／４，１／２，１／４フィルタ１３４を含むことが好ましい。フィルタ１３４は、第１フェーズにより第１画像ｉをサンプリングし、第２フェーズにより同一の１／４，１／２，１／４フィルタ１３４を利用して第２画像ｉ＋１をサンプリングする。フィールドが第１及び第２フェーズにより１／４，１／２，１／４フィルタから出力され、合成装置が第１フェーズによるフィールドと第２フェーズによるフィールドを合成し、第３解像度を実現する。ジグザグ対角線低減アルゴリズム１４２は、映像信号のインタリーブ解除の提供に利用されてもよい。変換装置１３２はまた、送信前に映像データの圧縮を行うことが好ましい。変換装置１３２は図１のブロック１０から１８を参照して説明される。
【００２０】
送信リンク１３６は、第３解像度（例えば、２４０）に圧縮された映像ストリームを送信するための変換装置に接続される。
【００２１】
再変換装置１３８は、送信リンク１３６に接続され、送信された映像ストリームを受信する。再変換装置１３８は、受信時に、映像データの解凍を行う。再変換装置１３８は、第３解像度の解凍された映像ストリームをプログレッシブフォーマット映像にインタリーブ解除し、表示のための連続したフィールドを生成するため、このプログレッシブフォーマット映像を交互の上方フィールドラインと下方フィールドラインに変換する。再変換装置１３８は、図４のブロック３０から３４を参照して説明される。
【００２２】
システム１３０は、処理される画素量を軽減するため、非プログレッシブインタレース映像ストリームの一部をクロップするクロップモジュール／装置１４０を有する。再変換装置１３８は、ジグザグ対角線低減アルゴリズム、または映像ストリームをインタリーブ解除する他のプログラム／装置１４２を備えていてもよい。その後、映像は、例えば、ディスプレイあるいはテレビ装置１４４への表示が可能となる。圧縮及び解凍は既知の方法に従って実行されてもよい。
【００２３】
低ビットレート圧縮のためのフォーマット変換のための好適な実施例（例示のためであり、限定を意図するものでない）が説明されてきたが、上記教示を鑑み当業者による変更及び変形が可能である。従って、添付されたクレームにより示されるような本発明の範囲及び趣旨内での変更は、開示された発明の実施例においてなされうると理解されるべきである。特許法により要求される詳細さと特異性を有する本発明が説明されたが、特許証により保護されるクレームされた所望のものが添付されたクレームに与えられる。
【図面の簡単な説明】
【００２４】
【図１】図１は、本発明によるフォーマット変換のための例示的な前処理シーケンスを示すブロック図である。
【図２】図２は、本発明の一実施例によるより詳細にブロック１２を示すブロック図である。
【図３】図３は、本発明の一実施例によるより詳細にブロック１６及び１８を示すブロック図である。
【図４】図４は、本発明の一実施例によるフォーマット変換のための例示的な後処理シーケンスを示すブロック図である。
【図５】図５は、本発明によるステップ３４のライン位置の調整を例示的に示す図である。
【図６】図６は、本発明により利用されるジグザグ対角線低減方法／アルゴリズムを例示的に示す図である。
【図７】図７は、本発明による例示的なフォーマット変換システムの図である。
【図１】
2005510905.tif 000003
【図２】
2005510905.tif 000004
【図３】
2005510905.tif 000005
【図４】
2005510905.tif 000006
【図５】
2005510905.tif 000007
【図６】
2005510905.tif 000008
【図７】
2005510905.tif 000009
【国際調査報告】
2005510905.tif 000010
2005510905.tif 000011