(57)【特許請求の範囲】
【請求項１】
第１の走査線数のインターレース画像信号を前記第１と異なった第２の走査線数のインターレース画像信号に変換する動画像フォーマット変換装置において、
前記第１の走査線数のインターレース画像信号における消失走査線を補間して挿入し、第１の走査線数のプログレッシブ画像信号を得るプログレッシブ変換手段と、
前記第１の走査線数のプログレッシブ画像信号の偶数番目フレームまたは奇数番目フレームの一方のフレームを前記第２の走査線数の半分の走査線数で前記第２の走査線数のインターレース画像信号の偶数フィールドの走査線位置に走査線のリサンプリングを行い、前記第１の走査線数のプログレッシブ画像信号の他方のフレームを前記第２の走査線数の半分の走査線数で前記第２の走査線数のインターレース画像信号の奇数フィールドの走査線位置に走査線のリサンプリングを行う走査線数変換手段と、
前記偶数フィールドと前記奇数フィールドを合成して前記第２の走査線数のインターレース画像信号を得るインターレース合成手段とを有することを特徴とする動画像フォーマット変換装置。
【請求項２】
第１の走査線数のインターレース画像信号を前記第１と異なった第２の走査線数のインターレース画像信号に変換する動画像フォーマット変換方法において、
前記第１の走査線数のインターレース画像信号における消失走査線を補間して挿入し、第１の走査線数のプログレッシブ画像信号を得て、
前記第１の走査線数のプログレッシブ画像信号の偶数番目フレームまたは奇数番目フレームの一方のフレームを前記第２の走査線数の半分の走査線数で前記第２の走査線数のインターレース画像信号の偶数フィールドの走査線位置に走査線のリサンプリングを行い、前記第１の走査線数のプログレッシブ画像信号の他方のフレームを前記第２の走査線数の半分の走査線数で前記第２の走査線数のインターレース画像信号の奇数フィールドの走査線位置に走査線のリサンプリングを行い、
前記偶数フィールドと前記奇数フィールドを合成して前記第２の走査線数のインターレース画像信号を得ることを特徴とする動画像フォーマット変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
画像信号を伝送、蓄積、表示する際に、動画像信号を異なった動画像フォーマットに変換するもので、特にインターレース画像信号から異なった走査線数のインターレース画像信号に変換するものに関する。
【０００２】
【従来の技術】
＜画像フォーマット変換＞
動画像信号は、走査線数、走査線構造、画像レート、水平画素数、画像アスペクト比などにより、何種類かのフォーマットが規格として存在する。その例を下記の表１に示すが、走査線構造としては、インターレース(飛越し)走査のものとプログレッシブ(順次)走査のもの、走査線数(インターレースの場合は、１フレームの走査線数)は、現行ＴＶの４８０本とＨＤＴＶの７２０本や１０８０本がある。画像(フレーム／フィールド)レートは、インターレースでは６０Ｈｚ(正確には５９.９４Ｈｚ)であるが、プログレッシブではフィルムと同じ２４Ｈｚや３０Ｈｚもある。
【０００３】
【表１】
0003821415.tif 000002
【０００４】
これらの画像フォーマット間で、画像信号の変換を行う必要がある。そこでは画像レートの変換、走査線構造の変換、走査線数の変換、水平画素数の変換が行われる。同一画像レートのインターレース走査画像信号からインターレース走査画像信号への変換は、走査線数と、水平画素数のみが変換されることになる。走査線数の変換は、処理対象がインターレース画像信号なので、フィールド単位で処理される場合と、フレーム単位で処理される場合がある。フィールド単位の処理では、フィールド画像信号の垂直解像度しか得られなくなる。一方、フレーム単位で処理した場合は、画像が静止していると良好な解像度が得られるが、画像が動くと時間的に異なる偶数フィールドと奇数フィールドが重なり合うことになり、ボケや２重像を生じて著しく画質が劣化する。
【０００５】
＜従来例動画像フォーマット変換装置＞
図６は動画像フォーマット変換装置の従来の一構成例を示したものである。例として走査線数４８０本のインターレース画像(４８０ｉ)から走査線数１０８０本のインターレース画像(１０８０ｉ)へ変換する場合である。
４８０ｉ画像入力端子１より入来する４８０ｉフォーマットの動画像信号は、走査線数変換器６２で４８０本の走査線を１０８０本に変換し、画素数変換器５に与える。走査線数変換器６２では、偶数フィールドと奇数フィールドは別に処理され、すなわち走査線数２４０本のそれぞれのフィールドは、リサンプル(オーバーサンプル)処理で、１０８０ｉの１フィールドとなる５４０本に変換される。
変換により見かけ上の走査線数は増加するが、解像度はむしろ低下し、フィールド画像信号の解像度である１２０ｃｐｈ(cycle per height)しか得られない。一方、フレーム単位で処理した場合は、走査線４８０本のフレームが走査線１０８０本フレームに変換される。この場合、静止していると１８０ｃｐｈ程度の解像度が得られるが、画像が動くと著しく画質が劣化する。
画素数変換器５は、７２０画素をリサンプル(オーバーサンプル)し１９２０画素に変換する。変換により見かけ上の画素数は増えるが解像度は元のままである。このようにして得られた１０８０ｉフォーマットの動画像信号は、１０８０ｉ画像出力端子より出力される。
【０００６】
【発明が解決しようとする課題】
従来の動画像フォーマット変換装置は、フィールド単位の走査線数変換処理の場合、解像度は元の動画像信号のフィールド相当分しか得られず、インターレース走査の各フィールド画像信号に含まれる折返し歪み成分もそのまま残留する。フレーム単位の処理では、画像が静止している場合は良いが画像が動くとボケや２重像が起こる。いずれの場合も、得られる画質は元の動画像より劣化していた。
本発明は以上の点に着目してなされたもので、インターレース走査の動画像信号をプログレッシブ走査に変換し、プログレッシブ状態で走査線をリサンプルすることで、解像度が高く歪みの少ないインターレース動画像変換が可能になる動画像フォーマット変換装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、第１の走査線数のインターレース画像信号を第１と異なった第２の走査線数のインターレース画像信号に変換する際に、第１の走査線数のインターレース画像信号における消失走査線を補間して第１の走査線数のプログレッシブ画像信号を得て、
前記第１の走査線数のプログレッシブ画像信号の偶数番目フレームまたは奇数番目フレームの一方のフレームを、前記第２の走査線数の半分の走査線数で前記第２の走査線数のインターレース画像信号の偶数フィールドの走査線位置に走査線のリサンプリングを行い、前記第１の走査線数のプログレッシブ画像信号の他方のフレームを、前記第２の走査線数の半分の走査線数で前記第２の走査線数のインターレース画像信号の奇数フィールドの走査線位置に走査線のリサンプリングを行い、
前記偶数フィールドと前記奇数フィールドを合成して前記第２の走査線数のインターレース画像信号を得る、
動画像フォーマット変換装置及び方法である。
【０００８】
（  作  用  ）
本発明では、インターレース走査の動画像信号をプログレッシブ走査に変換することで、インターレース画像信号に含まれる折返し歪み成分が除去され、解像度の高いプログレッシブ画像信号を得る。
そのプログレッシブ画像信号を得て、偶数番目または奇数番目フレームの一方のフレームを出力画像信号の走査線数の半分の走査線数でインターレース画像信号の偶数フィールドの位置に走査線のリサンプリングを行い、他方のフレームを前記インターレース画像信号の奇数フィールドの位置に走査線のリサンプリングを行うことで、高画質を保ったまま走査線数を変換でき、その状態で偶数フィールドと奇数フィールドを合成して異なった走査線数のインターレース画像信号にするので、異なった走査線数のインターレース画像信号を高画質な状態で得る。
【０００９】
【発明の実施の形態】
＜第１の参考例動画像フォーマット変換装置＞
本発明の動画像フォーマット変換装置を説明する為の第１の参考例について、以下に図と共に説明する。図１はその構成を示したもので、図６の従来例と同一構成要素には同一番号を付してある。図１には、図６と比較してインターレース(ｉ)→プログレッシブ(ｐ)変換器２とｐ→ｉ変換器４があり、走査線数変換器３の動作が異なる。
本参考例において、従来例と異なるのは垂直方向の変換方法であり、水平方向の処理は従来例と同じである。本参考例の処理による走査線数の様子を図７に示す。図で縦方向はそのまま画像の垂直方向を示し、横方向が時間であり、○が各走査線である。
【００１０】
４８０ｉ画像入力端子１より入来する４８０ｉフォーマットの動画像信号は、ｉ→ｐ変換器２において４８０ｐフォーマットの動画像信号に変換され、走査線変換器３に与えられる。ｉ→ｐ変換器２の具体的処理内容は特開平８−１３０７１６号「走査線補間装置及び走査線補間用動きベクトル検出装置」等に示されるものである。このｉ→ｐ変換は動き補償適応補間により高画質のプログレッシブ画像信号を得るもので、単純なフィールド内補間やフレーム間補間では従来例に対して画質改善ができない。
【００１１】
ｉ→ｐ変換器２の実施例の構成を図５に示す。
４８０ｉ入力端子５１より入来する４８０ｉフォーマットの画像信号は、ラインバッファ５２、動き補償補間器５３、補間方法判定器５７、フィールド内補間器６０にそれぞれ供給される。
動き補償補間器５３では、前後のフィールドから画像を細かなブロックに区切り、動き推定を行う。動き推定に従って前後のフィールドをブロック単位で空間的に移動させ、内挿補間を行う。フィールド内補間器６０では補間される走査線と同一フィールドの上下の走査線より補間走査線を作る。
【００１２】
ここで、静止部分や一般的な動き部分に対しては解像度改善や折返し成分除去が可能になるフィールド間補間を行うが、画像の大きな変化(変形)部分は、フィールド間処理では適切な補間画像が出来ないので、フィールド内補間とする必要がある。
フィールド間補間を使うかフィールド内補間を使うかは、補間方法判定器５７で判断され、それぞれの補間信号に対する係数(０〜１)が出力される。
それぞれの補間信号は乗算器５４、６１で前記係数が乗算され、加算器５８で加算され、補間走査線としてラインバッファ５９に与えられる。ラインバッファ５２とラインバッファ５９は、走査線１本分の画像信号を蓄え、走査線選択器５５により交互に走査線が読み出される。そして、元からの走査線と補間走査線が一本毎になったプログレッシブ画像信号として４８０ｐ出力端子５６より出力される。
【００１３】
このようなプログレッシブ化処理により、インターレース信号の走査線間引きにより混入していた折返し歪み成分は元の高い周波数(１２０ｃｐｈ以上)に戻り、折返し歪み成分は大幅に少なくなる。
図８にフィールド画像の垂直周波数（ν）に対する画像信号スペクトラムの様子を示すが、１８０ｃｐｈ程度まで信号成分のある走査線を間引く前の画像信号に近いものに戻される。
走査線数変換器３は、通常の走査線リサンプルで、４８０本を１０８０本に変換する。変換比は４対９である。この処理はオーバーサンプルとなり、解像度は１８０ｃｐｈのままである。
【００１４】
この様にして得た１０８０ｐ画像信号は、ｐ→ｉ変換器４に与えられる。ｐ→ｉ変換器４は、入力される信号の実効解像度が十分低いので前置フィルタ処理はせず、そのまま走査線を交互に間引き、１０８０本のインターレース信号とする。
画素数変換器５は、従来例と同様に水平画素数を７２０画素から１９２０画素に変換する。変換比は３対８である。この処理はオーバーサンプルとなり、解像度は元のままである。
なお、画素変換はどの処理段階で行っても良いが、この変換の後は水平画素数が増えているので処理量が増え、本実施例の様に最後に行うのが最も処理量が少なくなる。
【００１５】
＜第２の参考例動画像フォーマット変換装置＞
本発明の動画像フォーマット変換装置を説明する為の第２の参考例について、以下に図と共に説明する。図２はその構成を示したものである。図２には、図１と比較して画素数変換器２２が最初にあり、その他の各構成も動作が異なる。第１の実施例と異なるのはフォーマットの変換関係で、第１の参考例とは逆に１０８０ｉから４８０ｉに変換する。
【００１６】
１０８０ｉ画像入力端子２１より入来する１０８０ｉフォーマットの動画像信号は、画素数変換器２２で水平画素数を１９２０画素から７２０画素に変換される。変換比は８対３である。この処理はサブサンプルとなり、解像度は７２０画素相当に落ちる。変換された信号は、ｉ→ｐ変換器２３において走査線１０８０本のプログレッシブ画像に変換され、走査線変換器３に与えられる。ｉ→ｐ変換器２３の具体的処理内容は、第１の参考例のｉ→ｐ変換器２と同じであるが、走査線数が１０８０本なので処理量は異なる。
【００１７】
このような処理により、インターレース画像信号の走査線間引きにより混入していた折返し歪み成分は元の高い周波数(２７０ｃｐｈ以上)に戻り、折返し歪み成分は大幅に少なくなる。走査線数変換器２４は、リサンプル(サブサンプル)で、１０８０本を４８０本に変換する。走査線数変換器２４の処理は、第１の実施例の走査線数変換器３と走査線数が異なるのみでなく、フィルタ特性も異なる。
【００１８】
フィルタ特性は、後のｐ→ｉ変換器２５で適正なインターレース信号を得るため、通常のリサンプルフィルタより通過帯域を３０％程度低くする。帯域を通常のままとすると、走査線間引きでの折返し成分が多くなり過ぎ、激しいラインフリッカを生じるためである。この様にして得た４８０ｐ画像信号はｐ→ｉ変換器２５に与えられる。ｐ→ｉ変換器２５は、入力される信号がすでに帯域制限されているのでフィルタ処理はせず、そのまま走査線を間引き４８０本のインターレース画像信号とする。なお、走査線変換器２４のリサンプル特性は通常のままとし、ｐ→ｉ変換器２５で前段フィルタを設けて帯域制限しても良い。
【００１９】
＜第１の実施例動画像フォーマット変換装置＞
本発明の動画像フォーマット変換装置の第１の実施例について、以下に図と共に説明する。第１の実施例は第１の参考例と同様に４８０ｉから１０８０ｉへ変換するものである。図３は、その構成を示したもので、図１の第１の参考例と同一構成要素には同一番号を付してある。図３は、図１と比較して、ｐ→ｉ変換器４の代わりにフレーム分割器３２とインターレース画像合成器３３があり、走査線数変換器３１、３４の動作が、図１の走査線数変換器３と異なる。
【００２０】
第１の実施例において、第１の参考例と異なるのはｉ→ｐ変換器２より後の処理方法であり、ｉ→ｐ変換器２までは第１の参考例と同じである。ｉ→ｐ変換器２で得た４８０本のプログレッシブ画像信号は、フレーム分割器３２で偶数フレームと奇数フレームに分割され、それぞれ走査線変換器３１と３４に与えられる。
走査線変換器３１と３４は、共に通常の走査線リサンプルで、４８０本を５４０本に走査線数変換するが、リサンプル点の位相(位置)が異なる。変換比は８対９である。リサンプル点の位相(位置)が異なるのは、それぞれインターレースの偶数フィールドと奇数フィールドとするためである。なお、フレームの偶数番目・奇数番目と偶数フィールド・奇数フィールドの関係は同じでも、逆でも良い。この処理はオーバーサンプルとなり、解像度は１８０ｃｐｈのままである。この様にして得た５４０本のフィールド画像信号はインターレース(ｉ)画像合成器３３に与えられる。
【００２１】
ｉ画像合成器３３は、走査線変換器３１の出力である５４０本の偶数フィールド画像信号と走査線変換器３４の出力である５４０本の奇数フィールド画像信号を交互に合成し、１０８０本のインターレース画像信号とする。
図３では、走査線数変換器３１、３４を別々の構成にしたが、偶数フレームと奇数フレームは時間的に交互に入来するので、１つの処理回路でリサンプル点の位相のみを切替えて行っても良い。この場合、フレーム分割器３２、ｉ画像合成器３３は、フレームやフィールドの偶数・奇数の判定のみの簡易な処理となる。画素数変換器５は、従来例と同様に水平画素数を７２０画素から１９２０画素に変換する。変換比は３対８である。この処理はオーバーサンプルとなり、解像度は元のままである。
【００２２】
＜第２の実施動画像フォーマット変換装置＞
本発明の動画像フォーマット変換装置の第２の実施例について、以下に図と共に説明する。第２の実施例は第２の参考例と同様に１０８０ｉから４８０ｉへ変換するものである。図４は、その構成を示したもので、図２の第２の参考例と同一構成要素には同一付番を記してある。図４は、図２と比較して、ｐ→ｉ変換器２５の代わりにフレーム分割器４２とｉ画像合成器４３があり、走査線数変換器４１、４４の動作が、図２の走査線数変換器２４と異なる。
【００２３】
第２の実施例において、第２の参考例と異なるのはｉ→ｐ変換器２より後の処理方法であり、ｉ→ｐ変換器２までは第２の参考例と同じである。ｉ→ｐ変換器２で得た１０８０本のプログレッシブ画像信号は、フレーム分割器４２で偶数フレームと奇数フレームに分割され、それぞれ走査線変換器４１と４４に与えられる。
走査線変換器４１と４４は、１０８０本を２４０本に走査線数変換するが、共に通常の走査線リサンプルより帯域を４０％程度広げたもので、折返し歪み成分が残留するようにする。
【００２４】
また、インターレース化に対応してリサンプル点の位相(位置)がそれぞれ異なる。変換比は９対２である。この処理はサブサンプルとなり、１８０ｃｐｈまでの信号成分が１２０ｃｐｈ以下に折返し歪み成分として混入させられる。この様にして得た２４０本のフィールド画像信号はｉ画像合成器３３に与えられる。ｉ画像合成器３３は、走査線変換器４１の出力である２４０本の偶数フィールド画像信号と走査線変換器４４の出力である２４０本の奇数フィールド画像信号を交互に合成し、４８０本のインターレース画像信号とする。
【００２５】
【発明の効果】
本発明によると、第１の走査線数のインターレース画像信号を第１と異なった第２の走査線数のインターレース画像信号に変換する際に、第１の走査線数のインターレース画像信号における消失走査線を補間して第１の走査線数のプログレッシブ画像信号を得て、前記第１の走査線数のプログレッシブ画像信号の偶数番目フレームまたは奇数番目フレームの一方のフレームを、前記第２の走査線数の半分の走査線数で前記第２の走査線数のインターレース画像信号の偶数フィールドの走査線位置に走査線のリサンプリングを行い、前記第１の走査線数のプログレッシブ画像信号の他方のフレームを、前記第２の走査線数の半分の走査線数で前記第２の走査線数のインターレース画像信号の奇数フィールドの走査線位置に走査線のリサンプリングを行い、前記偶数フィールドと前記奇数フィールドを合成して前記第２の走査線数のインターレース画像信号を得るようにした。
従って、まず、プログレッシブ走査に変換することで、インターレース画像信号に含まれる折返し歪み成分が除去され高解像度のプログレッシブ画像信号を得ることができる。
さらには、プログレッシブ画像信号を得て、プログレッシブ画像信号の偶数番目または奇数番目フレームの一方のフレームを出力画像信号の走査線数の半分の走査線数で出力画像信号となるインターレース画像信号の偶数フィールドの走査線位置に走査線のリサンプリングを行い、プログレッシブ画像信号の他方のフレームを前記出力画像信号の走査線数の半分の走査線数で出力画像信号となるインターレース画像信号の奇数フィールドの走査線位置に走査線のリサンプリングを行うことで、高画質を保ったまま走査線数を変換でき、その状態で偶数フィールドと奇数フィールドとを合成してインターレース画像信号にするので、そこでは解像度の劣化や歪みの発生は少ない。結果として元のインターレース画像信号が持っていた画像情報を劣化させることなく、低歪みで解像度の高い変換インターレース画像信号が得られる。
【図面の簡単な説明】
【図１】本発明の動画像フォーマット変換装置を説明する為の第１の参考例の構成を示す図である。
【図２】本発明の動画像フォーマット変換装置を説明する為の第２の参考例の構成を示す図である。
【図３】本発明の動画像フォーマット変換装置の第１の実施例の構成を示す図である。
【図４】本発明の動画像フォーマット変換装置の第２の実施例の構成例を示す図である。
【図５】インターレース(ｉ)→プログレッシブ(ｐ)変換装置の一実施例を示す図である。
【図６】従来の動画像フォーマット変換装置の一構成例を示す図である。
【図７】画像フォーマットの様子を示す図である。
【図８】垂直スペクトラムの様子を示す図である。
【符号の説明】
５１…４８０インターレース(ｉ)画像入力端子、  ２、２３…インターレース(ｉ)→プログレッシブ(ｐ)変換器、  ３、２４、３１、３４、４１、４４、６２…走査線数変換器、  ４、２５…プログレッシブ(ｐ)→インターレース(ｉ)変換器、  ５、２２…画素数変換器、  ６…１０８０インターレース(ｉ)画像出力端子、  ２１…１０８０インターレース(ｉ)画像入力端子、  ２６…４８０インターレース(ｉ)画像出力端子、  ３２、４２…フレーム分割器、  ３３、４３…インターレース(ｉ)画像合成器、  ５２、５９…ラインバッファ、  ５３…動き補償補間器、  ５４、６１…乗算器、  ５５…走査線選択器、  ５６…４８０プログレシブ(ｐ)画像出力端子、  ５７…補間方法判定器、  ５８…加算器、６０…フィールド内補間器。
【図１】
0003821415.tif 000003
【図２】
0003821415.tif 000004
【図３】
0003821415.tif 000005
【図４】
0003821415.tif 000006
【図５】
0003821415.tif 000007
【図６】
0003821415.tif 000008
【図７】
0003821415.tif 000009
【図８】
0003821415.tif 000010