(57)【要約】映像コンテンツを適応的にフィルタ処理するための方法及び装置が、本明細書に開示される。装置は、映像信号を受信するように構成されるフィルタを含み得る。フィルタは、映像信号の複数のフレームに対して上方変換を遂行して、複数の上方変換されたフレームを提供するようにさらに構成され得る。フィルタは、複数の上方変換されたフレームをフィルタ処理して、複数のフィルタ処理されたフレームを提供し、且つ複数のフィルタ処理されたフレームに対して下方変換操作を遂行して、フィルタ処理された映像信号を提供するようにさらに構成され得る。
2015537447.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を受信し、且つ、前記映像信号の複数のフレームに対して上方変換操作を実行して、複数の上方変換フレームを提供するように構成されるフィルタを備え、
前記フィルタは、前記複数の上方変換フレームをフィルタ処理して、複数のフィルタ後フレームを提供し、且つ、前記複数のフィルタ後フレームに対して下方変換操作を実行して、フィルタ後映像信号を提供するようにさらに構成される、
ことを特徴とする装置。
【請求項２】
前記フィルタは、前記複数のフレームの各々が対応するそれぞれの動き量に少なくとも部分的に基づいて、前記複数のフレームに対して前記上方変換操作を実行するようにさらに構成される、
ことを特徴とする、請求項１に記載の装置。
【請求項３】
前記フィルタに結合され、且つ、前記フィルタ後映像信号を受信するように構成される符号器をさらに備え、
前記符号器は、前記フィルタ後映像信号に少なくとも部分的に基づいて、符号化ビットストリームを提供するようにさらに構成される、
ことを特徴とする、請求項１に記載の装置。
【請求項４】
前記フィルタは、動き補償の時間的フィルタ処理過程を用いて前記複数の上方変換フレームをフィルタ処理するようにさらに構成される、
ことを特徴とする、請求項１に記載の装置。
【請求項５】
前記フィルタは、前記複数のフレームをインタレース解除することにより前記上方変換操作を実行するように構成される、
ことを特徴とする、請求項１に記載の装置。
【請求項６】
前記フィルタは、前記複数の上方変換フレームの各々の成分を、前記複数の上方変換フレームの各々に対する前記複数の成分の各々のタイプに少なくとも部分的に基づいて、選択的にフィルタ処理するように構成される、
ことを特徴とする、請求項１に記載の装置。
【請求項７】
前記フィルタは、前記複数の上方変換フレームのうちの少なくとも１つをフィルタ処理する前に、当該１つの上方変換フレームをインタレース解除するようにさらに構成される、
ことを特徴とする、請求項１に記載の装置。
【請求項８】
前記上方変換操作は、空間的な質向上、画素／ビット深さ精度の増大、色フォーマットの変更、色空間の変更、又はそれらの組合せを含む、
ことを特徴とする、請求項１に記載の装置。
【請求項９】
フィルタにより映像信号のフレームをインタレース解除してインタレース解除フレームを提供するステップと、
前記インタレース解除フレームをフィルタ処理して、フィルタ後フレームを提供するステップと、
前記フィルタ後フレームを再インタレース化して、フィルタ後映像信号を提供するステップと、
を含むことを特徴とする方法。
【請求項１０】
前記インタレース解除の後に、前記インタレース解除フレームに対して上方変換操作を実行するステップと、
前記フィルタ処理後に、前記フィルタ後フレームに対して下方変換操作を実行するステップと、
をさらに含むことを特徴とする、請求項９に記載の方法。
【請求項１１】
フィルタにより映像信号のフレームを上方変換して上方変換フレームを提供するステップと、
前記上方変換フレームをフィルタ処理して、フィルタ後フレームを提供するステップと、
前記フィルタ後フレームを前記フィルタにより下方変換してフィルタ後映像信号のフレームを提供するステップと、
を含むことを特徴とする方法。
【請求項１２】
前記インタレース解除されたコンテンツを前記フィルタ処理するステップは、
前記フレームの空間的な質向上、前記フレームの画素／ビット深さ精度の増大、前記フレームの色フォーマットの変更、前記フレームの色空間の変更、又はそれらの組合せを含む、
ことを特徴とする、請求項１１に記載の方法。
【請求項１３】
フィルタによりフレームを前記上方変換するステップは、
ボブインタレース解除、線形インタレース解除、カーネル適応インタレース解除、動き適応インタレース解除、動き補償インタレース解除、ウェーブレット式インタレース解除、又はそれらの組合せに従って、前記インタレースコンテンツをインタレース解除するステップを含む、
ことを特徴とする、請求項１１に記載の方法。
【請求項１４】
フィルタによりフレームを分析して、前記フレームにプログレッシブ又はインタレースとしてフラグ立てするべきかを決定する方法であって、
前記フレームがプログレッシブとしてフラグ立てされる場合、
前記フレームをフィルタ処理するステップ、
を実行し、
前記フレームがインタレースとしてフラグ立てされる場合、
前記フレームをインタレース解除して、インタレース解除フレームを提供するステップと、
前記インタレース解除フレームをフィルタ処理して、フィルタ後フレームを提供するステップと、
前記フィルタ後フレームを再インタレース化するステップと、
を実行する、
ことを特徴とする方法。
【請求項１５】
動き推定分析に少なくとも部分的に基づいて、前記フレームを分析する、
ことを特徴とする、請求項１４に記載の方法。
【請求項１６】
前記フレームをフィルタ処理するステップは、プログレッシブ時空間処理に従って前記フレームをフィルタ処理するステップを含み、
前記インタレース解除フレームをフィルタ処理するステップは、プログレッシブ時空間処理に従って前記インタレース解除フレームをフィルタ処理するステップを含む、
ことを特徴とする、請求項１４に記載の方法。
【請求項１７】
前記プログレッシブ時空間処理は、動き補償の時間的フィルタ処理過程を含む、
ことを特徴とする、請求項１６に記載の方法。
【請求項１８】
前記インタレース解除の後、前記インタレース解除フレームに対して上方変換操作を実行するステップをさらに含む、
ことを特徴とする、請求項１４に記載の方法。
【請求項１９】
前記インタレース解除フレームをフィルタ処理するステップは、前記インタレース解除フレームの複数の成分の各々を、前記インタレース解除フレームの前記複数の成分の各々のタイプに少なくとも部分的に基づいて、選択的にフィルタ処理するステップを含む、
ことを特徴とする、請求項１５に記載の方法。
【請求項２０】
符号器で、前記フィルタ後フレーム及び前記再インタレース化されたフレームのうちの少なくとも１つを符号化するステップをさらに含む、
ことを特徴とする、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
相互参照
本出願は、２０１２年１２月３１日に出願された、米国仮出願第１３／７３１、８９６号に対する優先権を主張し、その全体が任意の目的で参照により本明細書に組み込まれる。
【０００２】
開示する本発明の実施形態は一般に映像符号化に関し、より詳細には、実施形態のうちの１つ以上において、映像信号をフィルタ処理することに関する。
【背景技術】
【０００３】
テレビジョン、放送システム、携帯デバイス、並びにラップトップ及びデスクトップの両コンピュータを含むデバイスは、インタレース映像信号などの、映像又は他の媒体信号の受信に応じて、映像を表示し得る。通常、信号がデバイスに提供される前に、信号は、被写体品質及び輝度などの、種々の映像特性が改善されるようにフィルタ処理される。映像信号はコンテンツ及び特質の両面で大きく変わるため、多くのフィルタ処理技術が、例えば、映像信号からのひずみの除去に向けて開発されてきた。フィルタ処理技術は多くの手法を含み、通常は、映像信号の固有の解像度及びフォーマットのフィルタ処理に向けられる。例えば、映像信号のコンテンツがインタレース及び／又は特定の解像度を有する場合、フィルタ処理がインタレースコンテンツ及び／又は特定の解像度に対して適用される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、これらの手法は、往々にして、アーティファクト、オーバーフィルタを導入し、及び／又は映像信号の空間性能と解像度との間でトレードオフを生じることがある。
【０００５】
しかも、多くの既存のフィルタ処理技術は、映像信号のフィールドを独立にフィルタ処理することに向けられ、そのことにより同一フレームのフィールド間の関係が損われている。一部の実装例はこれを軽減することを試みてきたが、解決策は複雑でコンピュータ処理上の要求が厳しいことが判明した。
【課題を解決するための手段】
【０００６】
例示的装置が本明細書に開示される。例示的装置は、映像信号を受信し、且つ映像信号の複数のフレームに対して上方変換操作を遂行して、それぞれの複数の上方変換されたフレームを提供するように構成されるフィルタを含み得る。フィルタは、複数の上方変換されたフレームをフィルタ処理して、複数のフィルタ処理されたフレームを提供し、且つ複数のフィルタ処理されたフレームに対して下方変換操作を遂行して、フィルタ処理された映像信号を提供するようにさらに構成され得る。
【０００７】
フィルタは、複数のフレームの各々が対応するそれぞれの動き量に少なくとも部分的に基づいて、複数のフレームに対して上方変換操作を遂行するようにさらに構成され得る。
【０００８】
例示的装置は、フィルタに結合され、且つフィルタ処理された映像信号を受信するように構成される符号器をさらに含み得る。符号器は、フィルタ処理された映像信号に少なくとも部分的に基づいて符号化ビットストリームを提供するように、さらに構成され得る。
【０００９】
一部の実施例では、フィルタは、動き補償の時間的フィルタ処理過程を用いて複数の上方変換されたフレームをフィルタ処理するように、さらに構成され得る。
【００１０】
一部の実施例では、フィルタは、複数のフレームをインタレース解除することにより上方変換操作を遂行するように、さらに構成され得る。
【００１１】
一部の実施例では、フィルタは、複数の上方変換されたフレームの各々の成分を、複数の上方変換されたフレームの各々に対する複数の成分の各々のそれぞれのタイプに少なくとも部分的に基づいて、選択的にフィルタ処理するように構成され得る。
【００１２】
一部の実施例では、フィルタは、複数の上方変換されたフレームのうちの少なくとも１つを、複数の上方変換されたフレームのうちの少なくとも１つをフィルタ処理する前に、インタレース解除するように、さらに構成され得る。
【００１３】
一部の実施例では、上方変換処理は、空間的な質向上、画素／ビット深さ精度の増大、色フォーマットの変更、色空間の変更、又はそれらの組合せを含み得る。
【００１４】
例示的方法が本明細書に開示される。例示的方法は、映像信号のフレームを、フィルタで、インタレース解除して、インタレース解除されたフレームを提供することと、インタレース解除されたフレームをフィルタ処理して、フィルタ処理されたフレームを提供することと、フィルタ処理されたフレームを再インタレース化して、フィルタ処理された映像信号を提供することと、を含み得る。
【００１５】
例示的方法は、該インタレース解除の後に、インタレース解除されたフレームに対して上方変換操作を遂行することと、該フィルタ処理後に、フィルタ処理されたフレームに対して下方変換操作を遂行することと、をさらに含み得る。
【００１６】
例示的方法は、映像信号のフレームを、フィルタで、上方変換して、上方変換されたフレームを提供することと、上方変換されたフレームをフィルタ処理して、フィルタ処理されたフレームを提供することと、フィルタ処理されたフレームを、フィルタで、下方変換して、フィルタ処理された映像信号のフレームを提供することと、を含み得る。
【００１７】
一部の実施例では、インタレース解除されたコンテンツを該フィルタ処理することは、フレームの空間的な質向上、フレームの画素／ビット深さ精度の増大、フレームの色フォーマットの変更、フレームの色空間の変更、又はそれらの組合せを含み得る。
【００１８】
一部の実施例では、フレームを、フィルタで、該上方変換することは、ボブインタレース解除、線形インタレース解除、カーネル適応インタレース解除、動き適応インタレース解除、動き補償インタレース解除、ウェーブレット式インタレース解除、又はそれらの組合せに従って、インタレースコンテンツをインタレース解除することを含み得る。
【００１９】
例示的方法は、フレームを、フィルタで、分析して、フレームにプログレッシブ又はインタレースとしてフラグ立てするべきかを決定する方法であって、フレームがプログレッシブとしてフラグ立てされる場合、フレームをフィルタ処理することと、フレームがインタレースとしてフラグ立てされる場合、フレームをインタレース解除して、インタレース解除されたフレームを提供することと、インタレース解除されたフレームをフィルタ処理して、フィルタ処理されたフレームを提供することと、フィルタ処理されたフレームを再インタレース化することと、を含み得る。
【００２０】
一部の実施例では、該分析することは、動き推定分析に少なくとも部分的に基づき得る。
【００２１】
一部の実施例では、フレームを該フィルタ処理することは、プログレッシブ時空間処理に従ってフレームをフィルタ処理することを含み、インタレース解除されたフレームを該フィルタ処理することは、プログレッシブ時空間処理に従ってインタレース解除されたフレームをフィルタ処理することを含み得る。
【００２２】
一部の実施例では、プログレッシブ時空間処理は、動き補償の時間的フィルタ処理過程を含み得る。
【００２３】
例示的方法は、フレームを該インタレース解除した後、インタレース解除されたフレームに対して上方変換操作を遂行することをさらに含み得る。
【００２４】
一部の実施例では、インタレース解除されたフレームを該フィルタ処理することは、インタレース解除されたフレームの複数の成分の各々を、インタレース解除されたフレームの複数の成分の各々のそれぞれのタイプに少なくとも部分的に基づいて、選択的にフィルタ処理することを含み得る。
【００２５】
例示的方法は、符号器で、フィルタ処理されたフレーム及び再インタレース化されたフレームのうちの少なくとも１つを符号化することをさらに含み得る。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態による装置のブロック図である。
【図２】本発明の実施形態による装置のブロック図である。
【図３】本発明の実施形態によるインタレース映像信号をフィルタ処理するための過程である。
【図４】本発明の実施形態による装置のブロック図である。
【図５】本発明の実施形態によるインタレース映像信号をフィルタ処理するための過程である。
【図６】本発明の実施形態による装置のブロック図である。
【図７】本発明の実施形態によるインタレース映像信号をフィルタ処理するための過程である。
【図８】本発明の実施形態による媒体配信システムの概要図である。
【図９】本明細書に説明した装置を利用し得る映像配信システムの概要図である。
【発明を実施するための形態】
【００２７】
映像信号を適応的にフィルタ処理するための方法及び装置が、本明細書に開示される。映像信号は、通信チャネルのネットワークを介して受信した信号及び／又は映像を表す格納データを含み得る。少なくとも一実施形態では、映像信号は、フレームレベルで上方変換され、フィルタ処理され得る。フィルタ処理前に映像を異なるフォーマット及び／又は解像度に上方変換することにより、映像信号の対物及び／又は被写体品質が改善され得、アーティファクトの導入は減少され得る。本発明の実施形態を充分に理解できるように、ある詳細事項を以下に明記する。しかし、本発明の実施形態は、これらの特定の詳細事項、又は追加の若しくは別の詳細事項が無くても実施され得ることが、当業者に対して明らかであろう。しかも、本明細書に説明する本発明の特定の実施形態は、一例として提供されるもので、本発明の範囲をこれらの特定の実施形態に限定するように用いるべきではない。他の場合には、周知の映像成分、符号器、トランスコーダ、又は復号器構成部品、回路、制御信号、タイミングプロトコル、及びソフトウエア動作は、不必要に本発明の焦点を暈かすことを回避するために、詳細には示さなかった。
【００２８】
本発明の実施形態は、一般に、プログレッシブ及びインタレースの映像信号に関する。公知であるように、映像信号は、一連の画像（例えば、フレーム）を含み得る。プログレッシブ映像信号では、各フレームは同一の瞬間に取り込まれた複数の画素を含み得る。インタレース映像信号では、各フレームは複数のフィールドを含み得て、各フィールドの全画素は、各フィールドに固有の同一の瞬間に取り込まれる。例えば、インタレースフレームは、それぞれ第１及び第２の瞬間に対応する２つのフィールドを含み得る。
【００２９】
さらに、各フィールドは、フレーム内に固有の位置及び／又は整列を有し得る。通常、フィールドは、画像の２つのフィールドがフレームレベルで１画素の垂直方向誤整列を有するようにインタレース化され得、そのため「行インタレース」であり得る。３次元映像信号に向けられたものなどの、他の実施形態は、他の技法を用い得る。例えば、映像信号は、加えて又は代替的に、列インタレース又はチェッカー盤インタレースであり得る。しかも、映像信号は、部分画像（ｓｕｂｉｍａｇｅ）レベルで１つ以上の方法でインタレース化が可能で、画像の各部分画像はそれぞれのインタレースの技法及び／又は解像度に対応し得る。
【００３０】
本発明の実施形態は、一般にインタレース解除にさらに関する。インタレース解除は、インタレース映像信号がプログレッシブ映像信号に変換され得る仕組みである。要するに、インタレース解除は、インタレースフレームのそれぞれのフィールドを補間して１つ以上のプログレッシブフレームを提供でき、空間補間、時間補間、又は時空間補間を用いて使用され得る。インタレース解除の技法は、ボブ、線形、カーネル適応、動き適応、及び動き補償を含むがこれらに限定はされず、バンドレット、リッジレット、及びカーブレットなどの、２Ｄ／３Ｄウェーブレットを用いたインタレース解除技術（ウェーブレット式インタレース解除）をさらに含み得る。
【００３１】
図１は、本発明の実施形態による装置１００のブロック図である。装置１００は、フィルタ１１０及び符号器１２０を含み得る。フィルタ１１０は、符号器１２０と電子的通信（例えば、それに結合）が可能であり、且つ映像信号などの、信号を受信するように構成され得る。装置１００は、テレビジョン、タブレット、放送システム、携帯デバイス、並びにラップトップ及びデスクトップの両コンピュータを含み得るがこれらに限定はされない、映像符号化を用いた種々のデバイスのうちのいずれかに実装され得る。一般に、フィルタ１１０及び符号器１２０は、オフラインで又はリアルタイムに動作可能で、それぞれ、フィルタ処理された映像信号（例えば、フィルタ処理されたインタレース映像信号）及び符号化ビットストリームを提供する。
【００３２】
フィルタ１１０は、ソフトウエア構成要素、ハードウエア構成要素、又はそれらの組合せを含んでもよく、且つ１個以上の論理回路、制御論理部、論理ゲート、プロセッサ、メモリ、及び／又はそれらの任意の組合せ又は部分的組合せをさらに含み得る。フィルタ１１０は、映像信号を受信し、当該技術分野で現在又は将来に、公知の１つ以上のフィルタ処理技法を用いて、映像信号をフィルタ処理し得る。フィルタ１１０は、プログレッシブ及び／又はインタレース映像信号をフィルタ処理でき、且つ、以下により詳細に説明するように、プログレッシブ映像信号をフィルタ処理することに向けられた１つ以上の技術（例えば、プログレッシブ時空間処理）を用いることにより、インタレース映像信号をフィルタ処理し得る。映像信号のフィルタ処理に応じて、フィルタ１１０は、フィルタ処理された映像信号を提供し得る。
【００３３】
符号器１２０は、１個以上の論理回路、制御論理部、論理ゲート、ソフトウエア構成要素、プロセッサ、メモリ、及び／又はそれらの任意の組合せ又は部分的組合せを含んでもよく、且つ１つ以上の符号化技術に従いフィルタ処理された映像信号を符号化及び／又は圧縮し得る。符号器１２０は、例えば、Ｈ．２６３、ＭＰＥＧ−４／Ｈ．２６４、ＨＥＶＣ、ＭＰＥＧ−２、又は他の符号化標準及び技術に従い、フィルタ処理された映像信号を符号化でき、且つ可変ビットレート又は一定ビットレートで符号化し得る。少なくとも一実施形態では、符号器１２０は、状況適応可変長符号化（ＣＡＶＬＣ）符号器、若しくは状況適応２値算術符号化（ＣＡＢＡＣ）符号器などの、エントロピ符号器を含んでもよく、及び／又は、例えば、マクロブロックレベルで若しくは符号付け単位レベルで、データを符号化するように構成され得る。各マクロブロック又は符号付け単位は、イントラ符号化モード、インター符号化モード、若しくはその組合せにより符号化され得、及び／又は単一若しくは多重仮説（例えば、２つの仮説での双予測）を使用し得る。したがって、符号器１２０は、固定レート（例えば、固定フレームレート）又は適応フレームレートで動作でき、且つ符号化ビットストリームを、復号器又はトランスコーダ（図示せず）などの、１個以上のデバイスに提供し得る。
【００３４】
装置１００の例示的動作では、フィルタ１１０は、映像信号を受信し、且つ１つ以上のフィルタ処理技法を用いて映像信号をフィルタ処理し得る。このようにして、映像信号中のノイズは軽減され得、映像信号中の画像は大きさを変えられ得、映像信号の被写体画像品質は改善され得、映像信号の対物画像品質は改善され得、及び／又は映像信号は時間的及び空間的に特徴付けられ得る。一実施形態では、映像信号はインタレース化され、且つ、後述するように、フィルタ１１０は、プログレッシブ映像信号をフィルタ処理することに向けられた技術を用いて、インタレース映像信号を処理（例えば、フィルタ処理）し得る。例として、フィルタ１１０は、インタレース映像信号のフレームをインタレース解除して、複数のインタレース解除されたフレームを発生し得る。フィルタ１１０は、例えば、動き補償時間フィルタ処理（ＭＣＴＦ）過程などの、プログレッシブ時空間処理技法を用いて、各インタレース解除されたフレームをフィルタ処理し得る。一旦フィルタ処理されると、フィルタ処理されたフレームの各々は再インタレース化されて、フィルタ処理されたインタレース映像信号を提供し得る。フィルタ処理されたフレームが一旦再インタレース化されると、符号器１２０は、１つ以上の符号化技術に従って、フィルタ処理されたインタレース映像信号を受信及び符号化して、符号化ビットストリームを提供し得る。
【００３５】
本明細書中に説明される実施例は、インタレース映像信号と、映像信号のより高い解像度の表現がフィルタ処理され得るように、フィルタ処理する前にこれらの信号をインタレース解除することとに向けられる。他の実施例では、加えて又は代替的に、映像信号の異なる操作が使用されて、異なる映像信号表現を提供し得る。操作は、インタレース及びプログレッシブ映像信号のいずれにも適用可能で、空間的大型化、画素／ビット深さ精度の増大、色フォーマットの変更、色空間の変更、又はそれらの組合せなどの、上方変換操作を含み得る。続く処理（例えば、フィルタ処理）は、表現を第１の解像度に復帰させる前に、異なる解像度表現について遂行し得る。一般には、次に、ソースが第１の解像度に受信され、第２の、一般的により高い、処理用解像度表現に変換され得る。
【００３６】
図２は、本発明の実施形態による装置２００のブロック図である。装置２００は、復号器２２０及びフィルタ２１０を含み得る。復号器２２０は、１個以上の論理回路、制御論理部、論理ゲート、プロセッサ、メモリ、及び／又はそれらの任意の組合せ又は部分的組合せを含んでもよく、且つ当該技術分野で現在又は将来に公知の１つ以上の復号化技術を用いて、映像信号を復号及び／又は解凍し得る。復号器２２０は、図１の符号器１２０などの、符号器により提供された、例えば、ビットストリーム（例えば、符号化ビットストリーム）を復号して、復号したインタレース映像信号などの、復号した映像信号を提供し得る。復号器２２０は、テレビジョン、放送システム、携帯デバイス、及びラップトップ及びデスクトップの両コンピュータを含み得るがこれらに限定はされない、映像符号化を用いた種々のデバイスのうちのいずれかに実装され得る。復号器２２０は、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４符号化標準にさらに準拠し、且つ一部の実施形態では、加えて又は代替的に、Ｈ．２６３及びＨＥＶＣ符号化標準などの、当該技術分野で公知の１つ以上の他の符号化標準に準拠し得る。
【００３７】
フィルタ２１０は、ソフトウエア構成要素、ハードウエア構成要素、又はそれらの組合せを含んでもよく、且つ１個以上の論理回路、制御論理部、論理ゲート、プロセッサ、メモリ、及び／又はそれらの任意の組合せ又は部分的組合せをさらに含み得る。フィルタ２１０は復号器２２０に結合され、且つそこから、復号したインタレース映像信号を受信し得る。フィルタ２１０は、当該技術分野で現在又は将来に公知の１つ以上のフィルタ処理技法を用いて、復号したインタレース映像信号をフィルタ処理し得る。例えば、フィルタ２１０は、プログレッシブコンテンツをフィルタ処理すること（例えば、プログレッシブの時空間処理）に向けられた１つ以上の技術を用いることにより、復号したインタレース映像信号をフィルタ処理することができる。例えば、図１のフィルタ１１０に関して説明したように、フィルタ２１０は、復号したインタレース映像信号のフレームをインタレース解除して、複数のインタレース解除されたフレームを発生し得る。フィルタ２１０は各インタレース解除されたフレームをフィルタ処理し得、各フィルタ処理されたフレームは再インタレース化されて、フィルタ処理されたインタレース映像信号を提供し得る。
【００３８】
したがって、図１のフィルタ１１０及び図２のフィルタ２１０の両方とも、それぞれ、インタレース映像信号をフィルタ処理することができる。インタレース化映像信号をまずインタレース解除することにより、フィルタ処理過程時により高品質の画像を使用することができる。これにより、例えば、フィルタ処理過程により導入されたアーティファクト及び不連続部（例えば、部分フィールド不連続部）の数を減少させ得る。一実施形態では、例えば、このようにフィルタ処理することによりエイリアシングを減少させ得る。例えば、インタレースフレームをインタレース解除し、続いてフレームレベルでフィルタ処理を行うことにより、フィールドをインタレース解除せずにフィルタ処理した場合のフィールドレベルでフィルタ処理した映像信号より、少ないエイリアシングで映像信号が提供され得る。
【００３９】
フィルタ処理は、符号化処理前に又は復号化処理後に映像信号に適用されるため、フィルタ処理は、前処理操作又は後処理操作として用いられ得る。しかも、少なくとも一実施形態では、映像信号のフレームは、選択的にフィルタ処理され得る。一実施形態では、映像信号の各成分（例えば、色成分）が、当該成分のそれぞれのタイプ（輝度、赤の色差、青の色差）に基づいて選択的にフィルタ処理され得る。一実施例として、色差成分のみをフィルタ処理することができ、及び／又は比較的大きい動き量を有する場面に対応するフレームのみを、フィルタ処理することができる。
【００４０】
図３は、本発明の実施形態によるインタレース映像信号をフィルタ処理するための過程３００である。過程３００は、例えば、図１のフィルタ１１０を用いて実装され得る。過程３００は、本明細書ではフィルタ１１０に関して説明するが、過程３００を図２のフィルタ２１０を用いても実装され得ることも当業者により理解されるであろう。ステップ３０５で、インタレース映像信号は、例えば、フィルタ１１０により受信され、インタレース映像信号のフレームはインタレース解除されて、複数のインタレース解除されたフレームを提供し得る。ボブインタレース解除、線形インタレース解除、カーネル適応インタレース解除、動き適応インタレース解除、及び動き補償インタレース解除、並びに２Ｄ及び／又は３Ｄウェーブレットに向けられた技術を含み得るがこれらに限定はされない、任意のインタレース解除技法を使用可能である。インタレース映像信号のフレームがステップ３１５で一旦インタレース解除されてインタレース解除されたフレームを提供すると、インタレース解除されたフレームはフィルタ処理され得る。説明したように、インタレース解除されたフレームは、ＭＣＴＦ処理などの、プログレッシブ映像信号をフィルタ処理することに向けられた技術を用いて、フィルタ処理され得る。このことは、例えば、インタレースフレームの１つ以上のフィールドを過度にフィルタ処理すること、並びに／若しくは相互汚染及び／又はフィールドを独立にフィルタ処理することに起因し得るフィールド不連続部を補償するための仕組みを要すること無しに、インタレースコンテンツをフィルタ処理することを可能にする。インタレース解除されたフレームがステップ３２５で一旦フィルタ処理されると、フィルタ処理されたフレームの各々は再インタレース化されて、フィルタ処理されたインタレース映像信号を提供し得る。一部の実施形態では、再インタレース化は、ステップ３０５で用いたインタレース解除を反転させればよく、及び／又はステップ３１５で用いたフィルタ処理技法に基づけばよい。
【００４１】
図４は、本発明の実施形態による装置４００のブロック図である。装置４００は、デインタレーサ４０５、フィルタ４１５、及びリインタレーサ４２５を含んでもよく、且つ図１のフィルタ１１０又は図２のフィルタ２１０を実装するように使用され得る。
【００４２】
デインタレーサ４０５は、映像信号を受信し、本明細書中に説明される本発明の実施形態に従って映像信号をインタレース解除して、複数のインタレース解除されたフレームを提供し得る。デインタレーサ４０５は、図３の処理３００のステップ３０５を実装するように使用し得る。フィルタ４１５はデインタレーサ４０５に結合でき、複数のインタレース解除されたフレームを受信し得る。フィルタ４１５は、本明細書中に説明される本発明の実施形態に従って、複数のインタレース解除されたフレームをフィルタ処理して、複数のフィルタ処理されたフレームを提供し得る。フィルタ４１５は、図３の処理３００のステップ３１５を実施するように使用され得る。リインタレーサ４２５は、フィルタ４１５に結合されてもよく、複数のフィルタ処理されたフレームを受信し得る。リインタレーサ４２５は、本明細書中に説明される本発明の実施形態に従って複数のフィルタ処理されたフレームを再インタレース化して、フィルタ処理されたインタレース映像信号を提供することができる。リインタレーサ４２５は、図３の過程３００のステップ３２５を実施するように使用され得る。
【００４３】
装置４００の各構成要素は、デインタレーサ４０５、フィルタ４１５、及びリインタレーサ４２５を含んでおり、ソフトウエア構成要素、ハードウエア構成要素、又はそれらの組合せを含み得る。ハードウエア構成要素は、１個以上の論理回路、制御論理部、論理ゲート、１個以上のプロセッサ、メモリ、及び／又はそれらの任意の組合せ又は部分的組合せを含んでもよく、且つ１個以上の集積チップセット内にさらに集積され得る。ソフトウエア構成要素は、１個以上のプロセッサにより実行され得る１個以上のコンピュータ可読媒体内に埋め込まれたソフトウエアコードを含み得る。
【００４４】
図５は、本発明の実施形態によるインタレース映像信号をフィルタ処理するための過程５００である。過程５００は、例えば、図１のフィルタ１１０又は図２フィルタ２１０を用いて実装され得る。ステップ５０５で、インタレース映像信号は、例えば、フィルタ１１０により受信され、インタレース映像信号のフレームは、図３のステップ３０５に関して説明したようにインタレース解除され得る。ステップ５１０で、ステップ５０５の実装に起因してインタレース解除されたフレームは、選択的に上方変換され得る。インタレース解除されたフレームに対して遂行される上方変換操作は、空間的大型化、画素／ビット深さ精度の増大、色フォーマットの変更、及び／又は色空間の変更を含み得るが、これらに限定はされない。しかも、上方変換操作は、映像信号の全ての成分に適用されてもよく、又は映像信号の全ての成分より少ないものに適用され得る（例えば、輝度のみ）。上方変換操作が１つ以上の成分に適用されるかどうかは、成分のタイプ、及び／又は場面若しくは順序などの、特定の符号付け単位に対する当該成分の重要度に少なくとも部分的に基づき得る。
【００４５】
何らかの上方変換が一旦遂行されたら、ステップ３１５に関して説明したように、各インタレース解除されたフレームはステップ５１５でフィルタ処理され得る。フィルタ処理に応じて、各フレームはステップ５２０で下方変換され得る。この下方変換は、例えば、ステップ５１０の上方変換操作を反転させることにより、各フレームをその元のフォーマット及び／又は解像度に戻し、又は異なる仕方で下方変換操作を遂行させ得る。最後に、ステップ５２５で、フレームは再インタレース化されて、ステップ３２５に関して説明したように、フィルタ処理されたインタレース映像信号を提供し得る。ステップ５２０はステップ５２５より前に生じるものとして説明したが、少なくとも一実施形態では、ステップ５２０及び５２５は同時に実施され得る。
【００４６】
図６は、本発明の実施形態による装置６００のブロック図である。装置６００は、デインタレーサ６０５、アップコンバータ６１０、フィルタ６１５、ダウンコンバータ６２０、及びリインタレーサ６２５を含んでもよく、図１のフィルタ１１０又は図２のフィルタ２１０を実装するように使用され得る。
【００４７】
デインタレーサ６０５は、映像信号を受信し、本明細書中に説明される本発明の実施形態に従って映像信号をインタレース解除して、複数のインタレース解除されたフレームを提供し得る。デインタレーサ６０５は、図５の過程５００のステップ５０５を実施するように使用され得る。アップコンバータ６１０は、デインタレーサ６０５に結合され、且つ本明細書中に説明される本発明の実施形態に従って複数のインタレース解除されたフレームを選択的に上方変換し得る。アップコンバータ６１０は、図５の過程５００のステップ５１０を実施するように使用され得る。フィルタ６１５はアップコンバータ６１０に結合され、アップコンバータ６１０から複数のインタレース解除されたフレームを受信し得る。フィルタ６１５は、本明細書中に説明される本発明の実施形態に従って複数のインタレース解除されたフレームをフィルタ処理して、複数のフィルタ処理されたフレームを提供し得る。フィルタ６１５は、図５の過程５００のステップ５１５を実施するように使用され得る。ダウンコンバータ６２０はフィルタ６１５に結合され、複数のフィルタ処理されたフレームを受信し得る。ダウンコンバータ６２０は、本明細書中に説明される本発明の実施形態に従って、複数のフィルタ処理されたフレームを選択的に下方変換し得る。ダウンコンバータ６２０は、図５の過程５００のステップ５２０を実施するように使用され得る。リインタレーサ６２５は、ダウンコンバータ６２０に結合され、複数のフィルタ処理されたフレームを受信し得る。リインタレーサ６２５は、本明細書中に説明される本発明の実施形態に従って、複数のフィルタ処理されたフレームを再インタレース化して、フィルタ処理されたインタレース映像信号を提供し得る。リインタレーサ６２５は、図５の過程５００のステップ５２５を実施するように使用され得る。
【００４８】
装置６００の各構成要素は、デインタレーサ６０５、アップコンバータ６１０、フィルタ６１５、ダウンコンバータ６２０、及びリインタレーサ６２５を含んでおり、ソフトウエア構成要素、ハードウエア構成要素、又はそれらの組合せを含み得る。ハードウエア構成要素は、１個以上の論理回路、制御論理部、論理ゲート、１個以上のプロセッサ、メモリ、及び／又はそれらの任意の組合せ又は部分的組合せを含んでもよく、１個以上の集積チップセット内にさらに集積され得る。ソフトウエア構成要素は、１個以上のプロセッサにより実行され得る１個以上のコンピュータ可読媒体内に埋め込まれたソフトウエアコードを含み得る。
【００４９】
図７は、本発明の実施形態によるインタレース映像信号をフィルタ処理するための過程７００である。過程７００は、例えば、図１のフィルタ１１０又は図２のフィルタ２１０を用いて実装され得る。ステップ７１０で、インタレース映像信号の第１のフレームは、例えば、フィルタ１１０により受信され得る。ステップ７２０で、インタレース映像信号のフレームが分析され得る。分析では、例えば、フレームをプログレッシブ（フレーム）モードに対してフラグ立てするべきか、又はフレームをインタレース（フレーム）モードに対してフラグ立てするべきかを決定し得る。フレームが、プログレッシブモードに対して又はインタレースモードに対してフラグ立てされるかは、フレームの動き推定分析、帯域通過フィルタ処理、及び／又は当該技術分野で公知のように他のフェザーリング検出技術に基づき得る。少なくとも一実施形態では、比較的大きい動き量に対応するフレームは、インタレースモードに対してフラグ立てされ、比較的小さい動き量に対応するフレームは、プログレシブモードに対してフラグ立てされ得る。少なくとも一実施形態では、フラグがプログレッシブモード又はインタレースモードに対してフレーム化されるかは、ビットストリーム内に示され、又は映像信号に別個に提供され得る。
【００５０】
フレームがステップ７２５でプログレッシブとしてフラグ立てされると、フレームは、ＭＣＴＦ処理などの、１つ以上の時空間フィルタ処理技術を用いてフィルタ処理され得る。一実施形態では、上述したように、フレームはフィルタ処理される前に上方変換され、及び／又はフィルタ処理された後に下方変換され得る。しかも、フィールドモードでのマクロブロックレベル決定操作が、適用され得る。
【００５１】
ステップ７３０で、追加のフレームが映像信号内に残っているかが決定され得る。映像信号内にフレームが残っていない場合、過程７００はステップ７３５で終了し得る。１つ以上のフレームが映像信号内に残っている場合、上述したように、次のフレームがステップ７１０で受信される。
【００５２】
フレームがインタレースとしてフラグ立てされる場合、フレームは、例えば、図３のステップ３０５に関して上述したように、ステップ７４０でインタレース解除され得る。前述したように、フレームはステップ３０５でさらに上方変換され得る。インタレース解除されたフレームが、インタレースフレームのインタレース解除から一旦提供されたら、インタレース解除されたフレームはステップ７４５でフィルタ処理され得る。これには、ＭＣＴＦ処理などの、プログレッシブ映像信号をフィルタ処理することに向けられた技術の適用を含む。ステップ７５０で、フィルタ処理されたフレームは、前に上方変換されている場合、下方変換され、且つ再インタレース化され得る。ステップ７３０で、他のフレームが映像信号内に残っている場合、過程７００のそれぞれのステップは反復的に繰り返される。
【００５３】
したがって、インタレース映像信号は、過程７００を用いてフィルタ処理され得る。ステップ７２０で遂行された分析に基づいて、映像信号のフレームの部分のみが、本明細書に説明されるように、インタレース解除及び／又は再インタレース化され得る。このことにより、（先行するインタレース解除が無くても、これらの部分がフィルタ処理され得る一部の実施形態のものを想起すれば）例えば、比較的小さい動きを有するインタレース映像信号の部分に縮小させた信号処理が、可能になる。別の実施形態では、プログレッシブとしてフラグ立てされたフレームは、フレームレベルでフィルタ処理され、インタレースとしてフラグ立てされたフレームは、フィールドレベルで処理され得る。
【００５４】
本発明によるフィルタの実施形態は、ハードウエア（例えば、論理ゲート、論理回路、及び／又は説明したフィルタ処理を遂行するように配置された他の処理用ハードウエア）又はソフトウエア（例えば、コンピュータ可読媒体に埋め込まれた１個以上のプロセッサ及びソフトウエアコードであって、実行されたとき、１個以上のプロセッサに説明したフィルタ処理を遂行させ得るコード）又はそれらの組合せを用いて、実装され得る。
【００５５】
図８は、本発明の実施形態にしたがった媒体配信システム８００の概要図である。媒体配信システム８００は、種々の媒体出力部８０４のうちの１つ以上に媒体ソース８０２を配信するための仕組みを提供し得る。１つのみの媒体ソース８０２及び媒体出力部８０４を図８に示すが、任意の数を用いてもよく、本発明の実施例は媒体コンテンツを任意の数の媒体出力部に放送するように及び／又はそうでない場合は配信するように使用され得る。
【００５６】
媒体ソースデータ８０２は、任意の媒体コンテンツソースであり、映像、音声、データ、又はそれらの組合せ、を含み得るがこれらに限定はされない。媒体ソースデータ８０２は、例えば、カメラ、マイクロフォン、及び／又は他の取り込みデバイスを用いて取り込まれ得る又は処理デバイスにより発生又は提供され得る、音声及び／又は映像データである。媒体ソースデータ８０２は、アナログ及び／又はデジタルでよい。媒体ソースデータ８０２がアナログデータであるとき、媒体ソースデータ８０２は、例えば、アナログデジタルコンバータ（ＡＤＣ）を用いてデジタルデータに変換され得る。通常は、媒体ソースデータ８０２を送信するために、圧縮及び／又は暗号化のための何らかの仕組みが望ましい。したがって、装置８１０が提供され、当該技術分野で現在又は将来公知の、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４、ＨＥＶＣ、ＶＣ−１、ＶＰ８又はこれらの組合せ、又は他の符号化標準などの、映像標準に従った符号化方法を含み得るがこれらに限定はされず、任意の技法を用いて媒体ソースデータ８０２をフィルタ処理及び／又は符号化し得る。装置８１０は、本明細書中に説明される本発明の実施形態で実装され得る。例えば、装置８１０は、図１の装置１００又は図２の装置２００を用いて実装され得る。
【００５７】
符号化データ８１２は、衛星８１４、アンテナ８１６、及び／又はネットワーク８１８などの、通信リンクに提供され得る。ネットワーク８１８は、有線又は無線でよく、電気的及び／又は光学的送信を用いてさらに通信し得る。アンテナ８１６は、地上波アンテナでよく、例えば、従来のＡＭ及びＦＭ信号、衛星信号、又は当該技術分野で公知な他の信号を受信及び送信し得る。通信リンクは、符号化データ８１２を放送し、一部の実施例では、（例えば、符号化データ８１２を再符号化、それに追加、又はそれから減じることにより）符号化データ８１２を改変し、改変した符号化データ８１２を放送し得る。通信リンクから提供された符号化データ８２０は、復号器を含み又はそれに結合され得る受信機８２２により受信され得る。復号器は符号化データ８２０を復号して、１つ以上の媒体出力部を、図８に示す媒体出力部８０４に提供し得る。受信機８２２は、モデム、ルータ、サーバ、セットトップボックス、ラップトップ、デスクトップ、コンピュータ、タブレット、移動電話などを含み得るがこれらに限定はされない、任意の数のデバイス内に含まれ、又はそれと通信し得る。
【００５８】
図８の媒体配信システム８００及び／又は装置８１０は、コンテンツ配信事業の種々の区分に利用され得る。
【００５９】
図９は、本明細書中に説明される装置を利用し得る映像配信システム９００の概要図である。映像配信システム９００は、映像投稿者９０５を含む。映像投稿者９０５は、デジタル衛星取材システム９０６、イベント放送９０７、及び遠隔スタジオ９０８を含み得るがこれらに限定はされない。これらの映像投稿者９０５の各々又はいずれかは、図１の装置１００及び図２の装置２００などの、本明細書中に説明される装置を利用して、媒体ソースデータを符号化し、符号化データを通信リンクに提供し得る。デジタル衛星取材システム９０６は、符号化データを衛星９０２に提供し得る。イベント放送９０７は、符号化データをアンテナ９０１に提供し得る。遠隔スタジオ９０８は、符号化データを、ネットワーク９０３を介して提供し得る。
【００６０】
制作区分９１０は、コンテンツ発信元９１２を含み得る。コンテンツ発信元９１２は、符号化データを任意の組合せの映像投稿者９０５から受信することができる。コンテンツ発信元９１２は、受信したコンテンツを利用可能にでき、受信したコンテンツのいずれをも編集、組合せ、及び／又は操作してコンテンツを利用可能にできる。コンテンツ発信元９１２は、図１の装置１００及び図２の装置２００などの、本明細書中に説明される装置を利用して、符号化データを衛星９１４（又は別の通信リンク）に提供し得る。コンテンツ発信元９１２は、符号化データをネットワーク又は他の通信リンクを介してデジタル地上波テレビジョンシステム９１６に提供し得る。一部の実施例では、コンテンツ発信元９１２は、復号器を利用して投稿者９０５（複数可）から受信したコンテンツを復号し得る。コンテンツ発信元９１２は、次いでデータを再符号化し、符号化データを衛星９１４に提供し得る。他の実施例では、コンテンツ発信元９１２は、受信したデータを復号しなくてもよく、トランスコーダを利用して受信したデータの符号付けフォーマットを変更してもよい。
【００６１】
一次配信区分９２０は、デジタル放送システム９２１、デジタル地上波テレビジョンシステム９１６、及び／又はケーブルシステム９２３を含み得る。デジタル放送システム９２１は、図８に関して説明した受信機８２２などの、受信機を含んでよく、衛星９１４からの符号化データを受信し得る。デジタル地上波テレビジョンシステム９１６は、図８に関して説明した受信機８２２などの、受信機を含んでよく、コンテンツ発信元９１２から符号化データを受信する。ケーブルシステム９２３は、それ自身のコンテンツを保持でき、これは制作区分９１０及び／又は投稿者区分９０５から受信された又はされなかったかもしれない。例えば、ケーブルシステム９２３は、それ自身の媒体ソースデータ８０２を、図８に関して説明したものとして、提供し得る。
【００６２】
デジタル放送システム９２１は、図８に関して説明した装置８１０などの、装置を含んでもよく、符号化データを衛星９２５に提供し得る。ケーブルシステム９２３は、図１の装置１００又は図２の装置２００などの、装置を含んでよく、符号化データをケーブル地方中継局９３２にネットワーク又は他の通信リンクを介して提供し得る。二次配信区分９３０は、例えば、衛星９２５及び／又はケーブル地方中継局９３２を含み得る。
【００６３】
ケーブル地方中継局９３２は、図１の装置１００又は図２の装置２００などの、装置を含んでもよく、符号化データを顧客区分８４０内の顧客にネットワーク又は他の通信リンクを介して提供し得る。衛星９２５は、信号を顧客区分９４０内の顧客に放送し得る。顧客区分９４０は任意の数のデバイスを含んでもよく、それらはコンテンツを復号化し、究極的には、コンテンツをユーザにとって利用可能にするための、図８に関して説明した受信機８２２及び関連する復号器などの、受信機を含み得る。顧客区分９４０は、セットトップボックス、タブレット、コンピュータ、サーバ、ラップトップ、デスクトップ、携帯電話などのデバイスを含み得る。
【００６４】
したがって、フィルタ処理、符号化、及び／又は復号化は、映像配信システム内の多数箇所のいずれかに利用され得る。本発明の実施形態は、これらの区分のいずれか内に、又は一部の実施例全てに、使用を見出し得る。
【００６５】
以上から、本発明の特定の実施形態を本明細書に説明目的で説明したが、本発明の趣旨及び範囲から逸脱しない限り、種々の修正を行っても構わないことが理解されるであろう。したがって、本発明は添付の特許請求の範囲によって限定される場合を除けば、限定されることはない。
【図１】
2015537447.tif 000003
【図２】
2015537447.tif 000004
【図３】
2015537447.tif 000005
【図４】
2015537447.tif 000006
【図５】
2015537447.tif 000007
【図６】
2015537447.tif 000008
【図７】
2015537447.tif 000009
【図８】
2015537447.tif 000010
【図９】
2015537447.tif 000011
【国際調査報告】
2015537447.tif 000012
2015537447.tif 000013
2015537447.tif 000014