(57)【特許請求の範囲】
【請求項１】
輝度成分および二つの色差成分からなるインターレースの4:2:2フォーマット映像信号をインターレースの4:2:0フォーマット映像信号に変換する信号処理装置において、
前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドの画素に対し、垂直方向に第一のダウンサンプル用ローパスフィルタを施し、２：１にダウンサンプルして、前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドを生成する第一のダウンサンプリング手段と、
前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドの画素に対し、垂直方向に第一のダウンサンプル用ローパスフィルタの高次と低次の係数を入れた第二のダウンサンプル用ローパスフィルタを施し、２：１にダウンサンプルして、前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドを生成する第二のダウンサンプリング手段とを有し、
前記第一のダウンサンプル用ローパスフィルタは、周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のダウンサンプル用ローパスフィルタと完全再構成条件を所定の誤差の範囲で満たすアップサンプリング用ローパスフィルタが存在し、
かつ、前記アップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と、前記第一のダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する信号処理装置。
【請求項２】
輝度成分および二つの色差成分からなるインターレースの4:2:0フォーマット映像信号をインターレースの4:2:2フォーマット映像信号に変換する信号処理装置において、
前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドの画素に対し、垂直方向に第一のアップサンプル用ローパスフィルタを用いて１：２にアップサンプルし、前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドを生成する第一のアップサンプリング手段と、
前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドの画素に対し、垂直方向に第一のアップサンプル用ローパスフィルタの高次と低次の係数を入れた第二のアップサンプル用ローパスフィルタを用いて１：２にアップサンプルし、前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドを生成する第二のアップサンプリング手段とを有し、
前記第一のアップサンプリング用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすダウンサンプル用ローパスフィルタが存在し、
かつ、前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のアップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する信号処理装置。
【請求項３】
輝度成分および二つの色差成分からなるインターレースの4:2:2フォーマット映像信号をインターレースの4:2:0フォーマット映像信号に変換する信号処理装置において、
前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドの画素に対し、第一のダウンサンプル用ローパスフィルタの係数を用いて前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドを生成し、
かつ、前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドの画素に対し、第一のダウンサンプル用ローパスフィルタの高次と低次の係数を入れ替えた第二のダウンサンプル用ローパスフィルタの係数を用いて、前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドを生成するダウンサンプリング手段を有し、
前記第一のダウンサンプル用ローパスフィルタは、周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のダウンサンプル用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすアップサンプリング用ローパスフィルタが存在し、
かつ、前記アップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と、前記第一のダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する信号処理装置。
【請求項４】
輝度成分および二つの色差成分からなるインターレースの4:2:0フォーマット映像信号をインターレースの4:2:2フォーマット映像信号に変換する信号処理装置において、
前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドの画素に対し、第一のアップサンプル用ローパスフィルタの係数を用いて前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドを生成し、
かつ、前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドの画素に対し、第一のアップサンプル用ローパスフィルタの高次と低次の係数を入れ替えた第二のアップサンプル用ローパスフィルタの係数を用いて前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドを生成するアップサンプリング手段を有し、
前記第一のアップサンプリング用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすダウンサンプル用ローパスフィルタが存在し、
かつ、前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のアップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する信号処理装置。
【請求項５】
輝度成分および二つの色差成分からなるインターレースの4:2:2フォーマット映像信号をインターレースの4:2:0フォーマット映像信号に変換する信号処理方法において、
前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドの画素に対し、垂直方向に第一のダウンサンプル用ローパスフィルタを用いて前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドを生成し、
前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドの画素に対し、垂直方向に第一のダウンサンプル用ローパスフィルタの係数を上下反転した第二のダウンサンプル用ローパスフィルタを用いて、前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドを生成するダウンサンプリングを行うステップを有し、
前記第一のダウンサンプル用ローパスフィルタは、周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のダウンサンプル用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすアップサンプリング用ローパスフィルタが存在し、
かつ、前記アップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と、前記第一のダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する信号処理方法。
【請求項６】
輝度成分および二つの色差成分からなるインターレースの4:2:0フォーマット映像信号をインターレースの4:2:2フォーマット映像信号に変換する信号処理方法において、
前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドの画素に対し、垂直方向に第一のアップサンプル用ローパスフィルタを用いて前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドを生成し、
前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドの画素に対し、垂直方向に第一のアップサンプル用ローパスフィルタの係数を上下反転した第二のアップサンプル用ローパスフィルタを用いて前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドを生成するアップサンプリングを行うステップを有し、
前記第一のアップサンプリング用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすダウンサンプル用ローパスフィルタが存在し、
かつ、前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のアップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する信号処理方法。
【請求項７】
前記請求項１乃至６に記載の前記アップサンプリング用ローパスフィルタは、前記アップサンプリング用ローパスフィルタの係数を一つおきに取り出した係数から構成される第一の補間フィルタの周波数ω＝０での群遅延を１で剰余した値と、前記アップサンプリング用ローパスフィルタにおいて第一の補間フィルタで使われていない係数から構成される第二の画素の補間フィルタの周波数ω＝０での群遅延を１で剰余した値は、一方が0.375に近い値をとり、もう一方が0.875に近い値をとることを特徴する信号処理装置あるいは信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレース構造を有する映像を４：２：２フォーマットから４：２：０フォーマット、及び４：２：０フォーマットから４：２：２フォーマットに繰り返し変換しても、色差信号の劣化が大きくなることを防ぐ映像信号処理装置に関する。
【背景技術】
【０００２】
動画像においては、映像は輝度信号と二つのCb, Crの色差信号から構成され、色差信号の解像度により、幾つかのフォーマットが存在する。まず、映像機器のデジタルインターフェースにおいては4:2:2フォーマットがよく用いられている。その例として、SMPTE (Society of Motion Picture and Television Engineers)が制定したSMPTE 292M 規格、すなわちHD-SDI等がある。一方、民生機器など殆どの映像符号化は、4:2:0フォーマットが広く用いられている。
ITU-T H.264で規定されたプログレッシブ及びインターレースにおける4:2:2フォーマットと4:2:0フォーマットの輝度及び色差の各サンプルの位置を図１に示す。この図において、○は輝度画素の位置(100)、△は色差画素の位置(101)を表す。この図１（ａ）の通り、プログレッシブの4:2:2フォーマットでは水平方向の色差サンプルが輝度サンプルに対して２：１に間引かれているものの、垂直方向の色差サンプル数は輝度サンプル数と同じものである。一方、図１（ｂ）ではプログレッシブの4:2:0フォーマットにおいては、色差サンプル数は、水平方向、垂直方向とも輝度サンプルに比べて２：１に間引かれている。図１（ｃ）には、インターレースの４：２：２フォーマットを記載している。インターレース映像は、トップフィールドとボトムフィールドから構成される。そしてトップフィールドは、輝度、色差とも、図１（ａ）のプログレッシブ４：２：２フォーマットから、０を基点として０，２，４，６・・・と偶数番目のラインを取り出したものとなっている。また、ボトムフィールドについては、輝度、色差とも、図１（ａ）のプログレッシブ４：２：２フォーマットから、０を基点として１，３，５，７・・・・と奇数番目のラインを取り出したものとなっている。そして、図１（ｄ）には、インターレースの４：２：０フォーマットを記載している。トップフィールドは、輝度、色差とも、図１（ｂ）のプログレッシブ４：２：０フォーマットから、０を基点として０，２，４，６・・・と偶数番目のラインを取り出したものとなっている。また、ボトムフィールドについては、輝度、色差とも、図１（ｂ）のプログレッシブ４：２：０フォーマットから、０を基点として１，３，５，７・・・・と奇数番目のラインを取り出したものとなっている。図１（ｃ）と図１（ｄ）を見比べても、インターレースにおける４：２：０フォーマットの色差画素については、４：２：２フォーマットの色差画素に比べて、垂直方向で画素数が半分に間引かれている。
MPEG-2やH.264／MPEG-4 AVCなどの動画像符号化の標準規格では、4:2:0フォーマットが幅広く用いられている。MPEG-2やH.264／MPEG-4 AVCにおいては、4:2:0フォーマットに加え、4:2:2フォーマットもサポートしているが、4:2:0フォーマットが民生機器等で広く使われている一方、4:2:2対応の機器はプロフェッショナル用途に限られている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
放送機器においては、複数の拠点で映像をリレー形式で中継していく際に、各拠点でテロップ編集や他の映像との切替え装置を設けるために、映像の符号化と復号化が複数回繰り返して行われることがある。この際、コストの低い４：２：０対応のエンコーダ／デコーダを用いた場合を考える。これを図２に示す。４：２：２フォーマット映像入力(210) はSMPTE 292M 規格信号、すなわちHD-SDIで入力されているとする。この映像入力は符号化装置＃１(204a)に入力される。そして、この符号化装置＃１内で４：２：２／４：２：０変換器(200a)で４：２：２フォーマットの映像が４：２：０フォーマットに変換される。そして、この４：２：０映像は４：２：０対応エンコーダ(201a)で符号化され、ビットストリーム(220a)が出力される。このビットストリームは復号装置＃１(205a)内の４：２：０対応デコーダ(202a)で復号され４：２：０映像が出力される。この４：２：０映像は４：２：０／４：２：２変換器(203a)に入力され、４：２：２映像(211a)が出力される。符号化装置／復号装置の縦続接続が行われる環境では、さらに４：２：２映像211aは、以降、符号化装置＃２(204b)、復号装置＃２(205b)を介して４：２：２映像(211b)を出力し、以降、縦続接続の段数に応じて、繰り返し符号化／複号化処理が繰り返し行われる。このような系では、４：２：０対応のエンコーダ／デコーダを用いた縦続接続により４：２：２と４：２：０の両フォーマット間の変換が繰り返し行われる。よって、縦続接続段数の増加に伴い、特に最終段の４：２：２フォーマット信号(211n)において、色差成分のボケが増大してしまうという課題がある。
インターレースでは、各フィールドは画面上の一ラインおきの画素から構成されることから、見かけ上のフィルタが影響を及ぼす画面上の範囲がプログレッシブの2倍特になる。このことから、この問題はインターレースにおいて特に顕著である。
このような問題に対し従来、特開２０００−９２５１２（特許文献１）のように、符号化装置、復号化装置のそれぞれで、縦続接続用（特許文献１では「編集用」）の4:2:2から4:2:0への変換フィルタ及び4:2:0から4:2:2への変換フィルタと、「通常の」4:2:2から4:2:0への変換フィルタ及び4:2:0から4:2:2への変換フィルタを２セット用意し、通常の符号化／復号化の場合には、「通常」のフィルタを用い、符号化装置／復号化装置の縦続接続の場合には、「縦続接続用」のフィルタを用いることが開示されている。さらに、エンコーダからデコーダに、「通常」のフィルタと「縦続接続用」のフィルタのいずれを使用するかの情報を通知する、あるいはストリームに多重する、といった技術が開示されている。
この特許文献１では、「縦続接続用」(特許文献１では「編集用」)として、第40段落に、「編集用４２０／４２２変換器と、編集用４２２／４２０変換器の設計は、完全再構成フィルタバンクと同じ手法を用いることができる。」と記載されている。これは、(特許文献１とは関数名が異なるが)4:2:2フォーマットから4:2:0フォーマットへのダウンサンプル用のローパスフィルタのｚ変換をＡ（ｚ）(特許文献１ではＨ（ｚ）と記載)、4:2:0フォーマットから4:2:2フォーマットへのアップサンプル用のローパスフィルタのｚ変換をＰ（ｚ）(特許文献１ではＧ（ｚ）と記載)としたとき、以下の、サブバンドフィルタ理論における完全再考性条件を満たすことにより、縦続接続を行っても、映像の劣化が生じないことを示している。
Ｐ（１）＝ ２                                        ・・・・・・(式１ａ)
Ａ（１）＝ １                                        ・・・・・・(式１ｂ)
Ａ（ｚ）・Ｐ（ｚ）＋Ａ（−ｚ）・Ｐ（−ｚ） ＝２・ｚ-2N    ・・・・(式１ｃ)
ここでＮは、任意の整数である。なお、文献によっては、Ａ（ｚ）＝Ｚ・Ａ'（ｚ）と変換することにより、これを式１ｅに代入し、
Ｚ・Ａ'（ｚ）・Ｐ（ｚ）＋（−ｚ）・Ａ'（ｚ）・Ｐ（ｚ）＝2・ｚ-2N ・・(式１ｄ)
となり、さらにＡ'（ｚ）をＡ（ｚ）に置き換えても一般性を失わないので、これを置き換え、その後、全ての項をｚで割ることに導出される以下の式
Ａ（ｚ）・Ｐ（ｚ）−Ａ（−ｚ）・Ｐ（−ｚ）＝２・ｚ-2N-1  ・・・・・(式１ｅ)
が、（式１ｃ）の代わりに用いられることもある。ここでＮは任意の整数である。ここで、式１ｃと式１ｅは、両者とも完全再構成条件として等価なものである。すなわち、ダウンサンプル用ローパスフィルタＡ（ｚ）と、アップサンプル用ローパスフィルタＰ（ｚ）が完全再構成条件を満たすとは、式１ｃあるいは式１ｅを満たすことをいう。
なお、ｚ変換については、フィルタＦのｎ番目のタップの係数をｆ（ｎ）とすると、このフィルタのｚ変換Ｆ（ｚ）は
Ｆ（ｚ）＝Σｆ(ｋ)・Ｚ-k           ・・・・・・・・・・・・(式２)
で表される。
このような条件のフィルタ構成をとることにより、一段目の4:2:2／4:2:0の変換の場合だけ高周波が失われるが、以降は、4:2:0／4:2:2への変換と4:2:2から4:2:0フォーマットへの変換を何度繰り返しても、一段目に変換された信号以上にボケは広がらない。
これは、図３を用いて以下のように証明される。オリジナルの入力信号のｚ変換をＸ（ｚ）(310a)としたとき、最初の一回目に、ダウンサンプル用ローパスフィルタＡ（ｚ） (330a)を用いてフィルタを施し、ダウンサンプラ(340a)で２：１にダウンサンプルした後に、アップサンプラ(350a)で１：２にアップサンプルし、その後、アップサンプル用ローパスフィルタＰ（ｚ） (360a)を用いてアップサンプリングした映像信号Ｙ０（ｚ）(311a)は、以下のとおりとなる。
Ｙ０（ｚ）＝１／２・Ｐ（ｚ）・（Ａ（ｚ）・Ｘ（ｚ）＋Ａ（−ｚ）・Ｘ（−ｚ））
・・・・・（式３）
次にＹ０（Ｚ）を、さらに330bのＡ（Ｚ）を用いてフィルタを施し、340bのダウンサンプラ、350bのアップサンプラ、360bのＰ（ｚ）を用いてアップサンプリングした映像信号Ｙ１（Ｚ）(311b)は、以下のとおりとなる。
Ｙ１（ｚ）＝１／２・Ｐ（ｚ）・（Ａ（ｚ）・Ｙ０（ｚ）＋Ａ（−ｚ）・Ｙ０（−ｚ））
＝１／４・Ｐ（ｚ）・Ａ（ｚ）・
（Ｐ（ｚ）・（Ａ（ｚ）・Ｘ（ｚ）＋Ａ（−ｚ）・Ｘ（−ｚ））） ＋
１／４・Ｐ（ｚ）・Ａ（−ｚ）・
（Ｐ（−ｚ）・（Ａ（−ｚ）・Ｘ（−ｚ）＋Ａ（ｚ）・Ｘ（ｚ）））
＝ １／４・Ｐ（ｚ）・（Ａ（ｚ）・Ｐ（ｚ）−Ａ（−ｚ）・Ｐ（−ｚ））・
（Ａ（ｚ）・Ｘ（ｚ）＋Ａ（−ｚ）・Ｘ（−ｚ））
＝ｚ-2N・１／２・Ｐ（ｚ）・（Ａ（ｚ）・Ｙ０（ｚ）＋Ａ（−ｚ）・Ｙ０（−ｚ））
＝ｚ-2N・Ｙ０（ｚ）     ・・・・・・（式４）
式変形に際しては、途中で式１ｃの関係を用いた。また、ｚ-2Nは信号が２Nの固定遅延のみしていることを示す。このことから、Ｙ１（ｚ）は、固定遅延２Ｎを除いて、Ｙ０（ｚ）と等価である事が示される。
ここで、Ｙ０（ｚ）とＹ１（ｚ）が等しいことから、これ以降、Ａ（Ｚ）、Ｐ（Ｚ）を用いて縮小、拡大を何回繰り返したＹ２（ｚ）、Ｙ３（ｚ）・・・・ＹＮ（ｚ）においても、拡大した後の画像はＹ０（ｚ）と等しいこととなる。
なお、アップサンプル用フィルタP（ｚ）を用いた１：２への画素のアップサンプル方法は、数学上は、まず、N画素の縮小画像があった場合、１画素おきにゼロを挿入し、２N画素の画像を作成する。そして、この２N画素の画像にアップサンプル用ローパスフィルタを作用させ、２Ｎ画素のアップサンプル画像を生成する。
【０００４】
この方法は、以下の処理と等価である。すなわち、アップサンプル用フィルタＰ（ｚ）をＰ（ｚ）の次数が偶数の係数から構成された補間フィルタＰｅ（ｚ）と、Ｐ（ｚ）の次数が奇数の係数から構成された補間フィルタＰｏ（ｚ）、すなわち
Ｐｅ（ｚ）＝ １／２・（Ｐ（ｚ1/2）＋Ｐ（−ｚ1/2））               ・・・・・・（式５ａ）
Ｐｏ（ｚ）＝ １／２・（Ｐ（ｚ1/2）−Ｐ（−ｚ1/2））・ｚ1/2        ・・・・・・（式５ｂ）
を構成し、拡大画像の次数が小さい側の画素はＰｅ（ｚ）を用い、拡大画像の次数が大きい側の画素はＰｏ（ｚ）を用いて補間することと等価である。
次に、４：２：２フォーマットから４：２：０フォーマットへの変換、及び４：２：０フォーマットから４：２：２フォーマットへの変換で、変換前後の色差の画素位置がどのような関係を満たすべきかを説明する。
説明に先立ち、一般に、フィルタ処理後の画素が、もとの画素に対してどれだけずれた位置の画素値を代表しているか、というのを説明する。この、元信号の位相シフトを表すのに群遅延特性が用いられる。
これは、たとえば、フィルタFの周波数特性として、
Ｆ（ω） ＝ Ｆｒｅ（ω）＋ｊ・Ｆｉｍ（ω）  ・・・・・（式６）
と、周波数特性を表現するとする。ここで、F（ω）は周波数ωのフィルタの周波数特性であり、ｚ変換、すなわちｚの多項式で表されたフィルタのｚに対して、ｚ＝ｅjωを代入することにより求められる。ここで、ｊは虚数単位である。またＦｒｅ（ω）は、Ｆ（ω）の実数部、Ｆｉｍ（ω）は、Ｆ（ω）の虚数部を表す。このとき、フィルタＦ（ω）の周波数ωにおける群遅延特性GDC（ω）は以下の式で表される。
GDC(ω)＝ｄ（ｔａｎ-1（Ｆｉｍ（ω）／Ｆｒｅ（ω）））／ｄω   ・・・・・・（式７）
そして、この群遅延特性は、フィルタを施した後の周波数ωの成分が、およそ何画素分シフトしたか、ということを表す。すなわち、ＧＤＣ（ω）が値αの場合には、周波数成分ωの成分は、フィルタ処理後は現信号に対してα画素分シフトする、ということとなる。映像においては、特に低周波成分が重要なので、この群遅延特性においても、低周波、特にω＝０付近の値が重要である。
【０００５】
なお、ｚ変換で表されたフィルタに対し、ｎを任意の整数として、ｚ-1のｎ乗を式全体に乗ずることは、フィルタ処理後の値に対してｎの固定遅延を挿入することに過ぎず、遅延を除いて、フィルタ処理後の値に影響を一切与えない。また、フィルタにｚ-1のｎ乗を乗ずることにより、群遅延は、整数ｎだけ増加する。よって、この群遅延の値は、小数点以下の値のみが意味を持つ。このことから、以降は、群遅延は、０以上１未満の値をとるよう、適切なｚ-1のべき乗を乗じたフィルタの値をとるようにする。すなわち、以降は、任意のｚ変換の群遅延をとり、適当な整数を足して、その結果が０以上１未満となったとき、その値をフィルタの群遅延と扱う。これは１で剰余することに等しいので、以降は、この処理を「１で剰余する」、と定義する。たとえば、あるフィルタで群遅延の値が２．５と算出された場合には、結果が0以上１未満となるように１の剰余をとり、すなわち２を減じて、群遅延を０．５として取り扱う。また、群遅延が−０．７と算出された場合には、結果が０以上１未満となるよう１の剰余をとり、すなわち１を加算し、群遅延を０．３として取り扱う。
【０００６】
なお、ω＝０の群遅延の簡単な求め方としては、フィルタ係数をｆ（ｎ）とし、係数の和が１であるとき以下の式で求められる。
ＧＤＣ（０）〜Σｆ（ｋ）・ｋ      ・・・・・・・・・・・・・（式８）
次に、図４（ａ）を参照して、インターレースの４：２：２からインターレースの４：２：０に色差をダウンサンプルするフィルタについて、どのような群遅延特性を持つべきか説明する。
トップフィールドにおいては、401aの４：２：０の色差の画素は４：２：２の色差画素400aと400bを上から１：３に内分、すなわち上から１／４画素シフトさせた位置の値を算出したいことから、トップフィールドのダウンサンプルフィルタの群遅延特性はω＝０付近で１／４に近い値を持つものが望ましい。
また、ボトムフィールドにおいては、411aの４：２：０の色差の画素は４：２：２の色差画素410aと410bを上から３：１に内分、すなわち上から３／４画素シフトさせた位置の値を算出したいことから、ボトムフィールドのダウンサンプルフィルタの群遅延特性はω＝０付近で３／４に近い値を持つものが望ましい。
さらに、図４（ｂ）を参照して、４：２：０フォーマットから４：２：２フォーマットにアップサンプルするフィルタについて、どのような特性を持つべきか、トップフィールドを例に説明する。
まず、４：２：２の色差画素420bについては、４：２：０の色差の画素421aと421bを上から３：５に内分、すなわち上から３／８画素シフトさせた位置となる。また、画素420cについては、４：２：０の色差の画素421aと421bを上から７：１に内分、すなわち、上から７／８画素シフトさせた位置となる。このフィルタ処理は、それぞれ、フィルタＰｅ（ｚ）、Ｐｏ（ｚ）に対応することから、Ｐｅ（ｚ）においては、周波数ω＝０付近の群遅延特性は３／８に近いもの、Ｐｅ（ｚ）においては、周波数ω＝０付近で７／８に近いものが望ましい。なお、Ｐ（ｚ）の定義によっては、Ｐｅ（ｚ）、Ｐｏ（ｚ）の特性が逆転することがあるが、ｚ変換では、ｚの次数が変わっても、群遅延の基点となる画素がずれるだけであるので、Ｐ（ｚ）は、上記のＰｅ（ｚ）およびＰｏ（ｚ）のω＝０の群遅延がそれぞれ３／８、７／８をとるようにする。
ボトムフィールドは、トップフィールドを上下逆にしたものである。すなわち、４：２：２の色差画素430bについては、４：２：０の色差の画素431aと431bを上から１：７に内分、すなわち上から１／８画素シフトさせた位置となる。また、４：２：２の色差画素430cについては、４：２：０の色差の画素431aと31bを上から５：３に内分、すなわち、上から５／８画素シフトさせた位置となる。
【０００７】
特許文献１では、このＡ（Ｚ）、Ｐ（Ｚ）の例として、以下の式９ａと式９ｂ、及び式１０ａと式１０ｂの二組の例を記載している。
Ａ（ｚ）＝−０．１２５ｚ-1＋０．２５-2＋０．７５ｚ-3＋０．２５ｚ-4−０．１２５ｚ-5
・・（式９ａ）
Ｐ（ｚ）＝０．５＋ｚ-1＋０．５ｚ-2      ・・・・（式９ｂ）
Ａ（ｚ）＝１              ・・・・（式１０ａ）
Ｐ（ｚ）＝１＋ｚ-1        ・・・・（式１０ｂ）
しかし、特許文献１で示された式９ａ、式９ｂおよび式１０ａ、１０ｂの完全再構成フィルタでは、４：２：２フォーマットから４：２：０フォーマットへの変換に適さない。特許文献１は、それゆえに、表示にすぐれているものの、完全再構成条件を満たさず、縦続接続で画像がボケる「通常」のフィルタと、表示特性は良くないものの、完全再構成を満たすため、繰り返し縦続接続を行ってもボケない「縦続接続用」のフィルタを選択して使用する特徴をもつ技術を開示している。
以下、式９ａ、式９ｂに着目して、なぜ、特許文献１で開示されたフィルタが表示特性に優れないかの理由を説明する。
まず、ダウンサンプル用ローパスフィルタＡ（ｚ）が式９ａの場合、式７によると、ω＝０の群遅延は０である。
【０００８】
また、アップサンプル用ローパスフィルタＰ（ｚ）については、式９ｂを式５ａ、５ｂに代入し、Ｐｅ（ｚ），Ｐｏ（ｚ）を以下のように求める。
Ｐｅ（ｚ）＝ ０．５＋０．５ｚ-1                              ・・・・（式１１ａ）
Ｐｏ（ｚ）＝ １                                             ・・・・（式１１ｂ）
この場合、このＰｅ（ｚ）とＰｏ（ｚ）の群遅延特性は、式７に当てはめて計算すると、ω＝０のＰｅ（ｚ）の群遅延は０．５、Ｐｏ（ｚ）の群遅延特性は０となる。
【０００９】
この式９ａ、式９ｂにより、フィルタ処理後の画素がどのようにシフトするか、図５を用いて説明する。図５（ａ）では、式９ａのフィルタを用いてダウンサンプルした際の４：２：２の色差画素と４：２：０の色差画素の位置を示す。このフィルタの群遅延特性は０なので、ダウンサンプル後の４：２：０の色差画素601aは、４：２：２の色差画素600aと同じ位置に配置される。図５（ｂ）では式９ｂのフィルタを用いてアップサンプルをした際の、４：２：０の色差画素と４：２：２の色差画素の位置を示す。Ｐｅ（ｚ）の群遅延は０．５であるので、Ｐｅ（ｚ）で補間される４：２：２の色差画素510bは、４：２：０の二つの画素511aと511bを１：１に内分する点となる。また、Ｐｏ（ｚ）の群遅延は０なので、このフィルタに補間された画素510aは、４：２：０の画素511aと同じ位置に配される。
この図５で示したダウンサンプル及びアップサンプルの群遅延の特性は、図４で示した、好ましいフィルタの群遅延特性と異なる。よって、式９ａのフィルタで４：２：２フォーマットの色差をダウンサンプルされた４：２：０フォーマット映像を、通常の好ましい特性を持つ４：２：０フォーマットから４：２：２フォーマットへのアップサンプルフィルタ、すなわちＰｅ（ｚ）のω＝０の群遅延が３／８、Ｐｏ（ｚ）のω＝０付近の群遅延が７／８をもったフィルタでアップサンプルした場合の色差画素の位置関係は、図４と図５を組合せ、図６のとおりとなる。すなわち、式９ａでダウンサンプルしたフィルタを通常の好ましい特性のフィルタでアップサンプルした場合、表示された画素は元の画像に対して、トップフィールドは元画像の４：２：２色差画素600dを上に１／４画素シフトさせた位置610dに４：２：２／４：２：０変換と４：２：０／４：２：２変換を施した画素が配置される。また、ボトムフィールドは元画像の４：２：２色差画素620aを下に１／４画素シフトさせた位置630aに４：２：２／４：２：０変換と４：２：０／４：２：２変換を施した画素が配置される。これを表示すると、図７のとおり、本来同じ垂直位置であるべき輝度と色差の画素位置が上下に１／４画素ずれてしまい、視覚上、劣化を生じてしまう。
次に、式１０ａ、式１０ｂのフィルタと従来の好ましい特性を持つフィルタを組み合わせたときのダウンサンプル／アップサンプル前後の画素ずれを、前記の手法とは異なる視点で評価する方法について考察する。まず、式１０ｂの特徴をしらべるために、まず、ダウンサンプルとアップサンプルを行った信号の特徴について考察する。そのために、式３に示された、ダウンサンプル後にアップサンプルした信号を展開すると、入力信号Ｘ（ｚ）に対し、
１／２・Ｐ（ｚ）・Ａ（ｚ）・Ｘ（ｚ）    ・・・・・（式１２）
であらわされる低周波成分と
１／２・Ｐ（ｚ）・Ａ（−ｚ）・Ｘ（−ｚ）・・・・・・（式１３）
であらわされるＸ（ｚ）のエイリアス成分から構成される。一般にエイリアス成分は小さいため、フィルタ処理後で支配的なのは式１３の低周波成分である。よって、ダウンサンプル／アップサンプル後の画素がどれくらいずれるか評価するのに、以下の式１４でしめされた、
１／２・Ｐ（ｚ）・Ａ（ｚ）      ・・・・・・（式１４）
の群遅延を評価すればよいことが分かる。映像機器では、ダウンサンプル／アップサンプルの前後での画素の位置ずれは許容されないので、式１４で表されるフィルタのω＝０の群遅延は０（あるいは整数）である必要がある。ここで、フィルタＦ（ｚ）とフィルタＧ（ｚ）を合成したフィルタＦ（ｚ）・Ｇ（ｚ）のω＝０における群遅延は、フィルタＦ（ｚ）の群遅延とフィルタＧ（ｚ）のω＝０における群遅延を加算したものであることが知られている。よって、映像機器では、１／２・Ｐ（ｚ）とＡ（ｚ）のω＝０での群遅延を加算した値は整数である必要がある。
今、好ましいフィルタによりダウンサンプルされた画像を、式１０ｂで表されるフィルタでアップサンプリングした場合を考える。好ましいフィルタのω＝０における群遅延は、前述のとおり１／４である。また、式１０ｂで表されるフィルタのω＝０の群遅延は１／２である。よって、式１４より、この場合のダウンサンプル／アップサンプルの前後の群遅延は３／４であり、すなわち、処理により画素が３／４画素もずれることを示す。よって、このようなフィルタもオリジナルの画像に対して色ずれが発生し、視覚上、重大な劣化が生じる。
特許文献１では、前記のような劣化を避けるため、フィルタとして、縦続接続用のフィルタと、群遅延が前述の好ましい特性をもつ「通常」のフィルタを用いることが開示されている。
【００１０】
以上のことから、従来は、縦続接続で画像の劣化が拡大せず、かつ、従来から用いられている表示用、あるいは縮小用フィルタの群遅延特性をもつ、という条件を両立するフィルタが知られておらず、よって、縦続接続用と表示用／縮小用フィルタを切り替えて用いる必要があった。
また、従来知られている完全再構成フィルタは、上記の群遅延が０か０．５のものしかなかった。このことから、インターレースに完全再構成フィルタを用いてダウンサンプルする際には、トップ、ボトムとも同一のフィルタバンクを用いて２：１の低周波信号Ｌ（Ｚ）と高周波信号Ｈ（Ｚ）に分割すると、低周波信号はインターレースの走査線位置構造が不完全となる、すなわち、トップフィールドとボトムフィールドの画素距離、およびボトムフィールドとトップフィールドの画素距離の両者が等しくない、という問題があった。詳細は、１９９２年 電子情報通信学会春季大会 D−３３４「現行ＴＶ／ＨＤＴＶコンパチブル符号化における問題点と対策」(非特許文献１）に記載されている。
この問題を解決するため、特許文献２（特許第３２９２４８６号）では、トップフィールドに対しては群遅延が０．５の完全再構成条件を満たすフィルタ(特許文献２中では偶数タップのフィルタ)、ボトムフィールドに対しては、群遅延が０の完全再構成条件（特許文献２では奇数タップのフィルタ）を満たすフィルタを適用してダウンサンプルすることにより、ダウンサンプル後のトップフィールドとボトムフィールドの距離を等しくする方法が示されている。
しかし、４：２：２から４：２：０に色差を変換する好ましいフィルタの群遅延特性は、図４（ａ）に示したとおり、トップフィールドは０．２５、ボトムフィールドは０．７５（あるいは−０．２５）である。すなわち、特許文献２のフィルタ構成は、トップフィールド、ボトムフィールドとも、好ましい特性をもつフィルタに対して、群遅延が下方向に０．２５画素だけ大きい。このことから、特許文献２のフィルタ構成を４：２：２／４：２：０のダウンサンプルに用いた映像を、好ましい特性をもつ４：２：０／４：２：２のアップサンプルフィルタを用いて拡大する場合、表示される映像が下方向に０．２５画素ずれてしまう、という問題がある。
【特許文献１】特開２０００−９２５１２号公報
【特許文献２】特許第３２９２４８６号
【非特許文献１】１９９２年 電子情報通信学会春季大会 D−３３４「現行ＴＶ／ＨＤＴＶコンパチブル符号化における問題点と対策」
【課題を解決するための手段】
【００１１】
本発明は、従来から知られていた完全再構成フィルタを用いて、特にインターレース信号において４：２：２フォーマットから４：２：０フォーマットへ色差のダウンサンプルを行った画像信号を、好ましい群遅延特性をもった通常のフィルタで表示した際に色差画素の位置ずれを起こすという課題を解決するためのものである。
出願人らは、以下の条件１、条件２、条件３を同時、あるいは、条件１、条件２、条件３、条件４を同時に満たす、トップフィールドに適用可能な４：２：２から４：２：０への色差のダウンサンプル用ローパスフィルタＡ（ｚ）と、４：２：０から４：２：２へのアップサンプル用ローパスフィルタＰ（ｚ）を同時に設計可能であることを見出した。
条件１：
ダウンサンプル用ローパスフィルタＡ（ｚ）とアップサンプル用ローパスフィルタＰ（ｚ）が、式１ａ、式１ｂ、および、式１ｃあるいは式１ｅを満たす。すなわち完全再構成条件を満たす。これは、前述のとおり、アップサンプルとダウンサンプルを縦続接続した際に、劣化が増大しないための条件である。
条件２：
ダウンサンプル用ローパスフィルタＡ（ｚ）が各画素をほぼ１：３に内分した位置の画素値を算出する。すなわち、特にω＝０あるいはその近傍において、群遅延が１／４に近い。これは、図４で説明したとおり、好ましい特性をもつインターレースのトップフィールドの４：２：２から４：２：０へのダウンサンプルフィルタの群遅延特性である。
出願人らの映像の主観評価実験によると、ω＝０近辺でのフィルタの群遅延と理想値との許容範囲は±0.05画素である。
条件３：
アップサンプル用ローパスフィルタＰ（ｚ）を、各係数の和が１となるよう、各係数を０．５倍して正規化したフィルタＰ'（ｚ）の群遅延と、Ａ（ｚ）の群遅延の和は、ω＝０あるいはその近傍において、ほぼ整数に近い値である。これは、ω＝０近傍において、フィルタＰ'（ｚ）の群遅延の１剰余と、Ａ（ｚ）の群遅延の１の剰余の和は１にほぼ等しい、と言い換えることができる。
これは、式１４により、アップサンプルとダウンサンプルの前後のフィルタ処理による群遅延がω＝０付近でほぼゼロ（あるいは整数値）であるためには、ω＝０付近で、フィルタＡ（ｚ）の群遅延と、フィルタ１／２・Ｐ（ｚ）の群遅延の和がほぼゼロ（あるいは整数値）であることから、導き出せる。
なお、この特性は完全再構成フィルタ全てで成り立つわけではない。たとえば、特許文献１に示された式１０ａ、式１０ｂの例では、Ａ（ｚ）の群遅延は０、Ｐ（ｚ）の群遅延は０．５であることから、両者の和は０．５である。これは、ダウンサンプルとアップサンプルを施した画素が、入力画像に対して０．５画素ずれてしまうことを示している。
条件４：
アップサンプル用ローパスフィルタＰ（ｚ）から求めた次数が偶数の係数より構成された補間フィルタＰｅ（ｚ）のω＝０、あるいはその近傍の群遅延が３／８に近く、次数が奇数の係数より構成された補間フィルタＰｏ（ｚ）のω＝０、あるいはその近傍の群遅延が７／８に近い。これは、図４（ｂ）に示した、トップフィールドの４：２：０から４：２：２への理想的な表示用アップサンプルフィルタの特性である。
上記の条件１、条件２、条件３を同時、あるいは、条件１、条件２、条件３、条件４を同時に満たす、トップフィールドに適用可能な４：２：２から４：２：０への色差のダウンサンプル用ローパスフィルタＡ（ｚ）と、４：２：０から４：２：２へのアップサンプル用ローパスフィルタＰ（ｚ）の具体的な例については、実施例において説明する。
上記の条件２を持つフィルタは、フィルタの高次側と低次側の係数を入れ替えたフィルタ、すなわち、条件２を持つフィルタをａt（ｎ）、ｎ＝０…Ｎ−１、としたとき、ａb（ｎ）＝ａt（Ｎ−１−ｎ）、ｎ＝０…Ｎ−１、としたフィルタは群遅延０．７５（あるいは−０．２５）をもつことから、このａb（ｎ）の係数からなるフィルタをそのままボトムフィールドに提供可能である。
このようなフィルタを用いることにより、４：２：２／４：２：０変換においては、従来の好ましい群遅延と同等の特性を有するので、従来の好ましいフィルタ特性をもつ符号化装置／復号装置と、本発明のフィルタを有する符号化装置／復号装置が混在したとしても、画素の位置ずれは問題にならない。さらに、縦続接続により４：２：２／４：２：０変換と４：２：０／４：２：２変換を何度繰り返しても、色差の劣化の増大を防ぐことができる。
以下に、このようなフィルタを用いた課題の解決手段を説明する。
本発明は、すなわち、輝度成分および二つの色差成分からなるインターレースの4:2:2フォーマット映像信号をインターレースの4:2:0フォーマット映像信号に変換する信号処理装置であって、
前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドの画素に対し、垂直方向に第一のダウンサンプル用ローパスフィルタを施し、２：１にダウンサンプルして、前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドを生成する第一のダウンサンプリング手段と、
前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドの画素に対し、垂直方向に第一のダウンサンプル用ローパスフィルタの高次と低次の係数を入れた第二のダウンサンプル用ローパスフィルタを施し、２：１にダウンサンプルして、前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドを生成する第二のダウンサンプリング手段とを有し、
前記第一のダウンサンプル用ローパスフィルタは、周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のダウンサンプル用ローパスフィルタと完全再構成条件を所定の誤差の範囲で満たすアップサンプリング用ローパスフィルタが存在し、
かつ、前記アップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と、前記第一のダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する。
また、輝度成分および二つの色差成分からなるインターレースの4:2:0フォーマット映像信号をインターレースの4:2:2フォーマット映像信号に変換する信号処理装置であって、
前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドの画素に対し、垂直方向に第一のアップサンプル用ローパスフィルタを用いて１：２にアップサンプルし、前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドを生成する第一のアップサンプリング手段と、
前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドの画素に対し、垂直方向に第一のアップサンプル用ローパスフィルタの高次と低次の係数を入れた第二のアップサンプル用ローパスフィルタを用いて１：２にアップサンプルし、前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドを生成する第二のアップサンプリング手段とを有し、
前記第一のアップサンプリング用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすダウンサンプル用ローパスフィルタが存在し、
かつ、前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のアップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する。
また、輝度成分および二つの色差成分からなるインターレースの4:2:2フォーマット映像信号をインターレースの4:2:0フォーマット映像信号に変換する信号処理装置であって、
前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドの画素に対し、第一のダウンサンプル用ローパスフィルタの係数を用いて前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドを生成し、
かつ、前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドの画素に対し、第一のダウンサンプル用ローパスフィルタの高次と低次の係数を入れ替えた第二のダウンサンプル用ローパスフィルタの係数を用いて、前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドを生成するダウンサンプリング手段を有し、
前記第一のダウンサンプル用ローパスフィルタは、周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のダウンサンプル用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすアップサンプリング用ローパスフィルタが存在し、
かつ、前記アップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と、前記第一のダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する。
また、輝度成分および二つの色差成分からなるインターレースの4:2:0フォーマット映像信号をインターレースの4:2:2フォーマット映像信号に変換する信号処理装置であって、
前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドの画素に対し、第一のアップサンプル用ローパスフィルタの係数を用いて前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドを生成し、
かつ、前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドの画素に対し、第一のアップサンプル用ローパスフィルタの高次と低次の係数を入れ替えた第二のアップサンプル用ローパスフィルタの係数を用いて前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドを生成するアップサンプリング手段を有し、
前記第一のアップサンプリング用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすダウンサンプル用ローパスフィルタが存在し、
かつ、前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のアップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する。
また、輝度成分および二つの色差成分からなるインターレースの4:2:2フォーマット映像信号をインターレースの4:2:0フォーマット映像信号に変換する信号処理方法であって、
前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドの画素に対し、垂直方向に第一のダウンサンプル用ローパスフィルタを用いて前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドを生成し、
前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドの画素に対し、垂直方向に第一のダウンサンプル用ローパスフィルタの係数を上下反転した第二のダウンサンプル用ローパスフィルタを用いて、前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドを生成するダウンサンプリングを行うステップを有し、
前記第一のダウンサンプル用ローパスフィルタは、周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のダウンサンプル用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすアップサンプリング用ローパスフィルタが存在し、
かつ、前記アップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と、前記第一のダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する。
また、輝度成分および二つの色差成分からなるインターレースの4:2:0フォーマット映像信号をインターレースの4:2:2フォーマット映像信号に変換する信号処理方法において、
前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドの画素に対し、垂直方向に第一のアップサンプル用ローパスフィルタを用いて前記インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドを生成し、
前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドの画素に対し、垂直方向に第一のアップサンプル用ローパスフィルタの係数を上下反転した第二のアップサンプル用ローパスフィルタを用いて前記インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドを生成するアップサンプリングを行うステップを有し、
前記第一のアップサンプリング用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすダウンサンプル用ローパスフィルタが存在し、
かつ、前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のアップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴する。
また、前記のアップサンプリング用ローパスフィルタは、前記アップサンプリング用ローパスフィルタの係数を一つおきに取り出した係数から構成される第一の補間フィルタの周波数ω＝０での群遅延を１で剰余した値と、前記アップサンプリング用ローパスフィルタにおいて第一の補間フィルタで使われていない係数から構成される第二の画素の補間フィルタの周波数ω＝０での群遅延を１で剰余した値は、一方が0.375に近い値をとり、もう一方が0.875に近い値をとることを特徴する。
【発明の効果】
【００１２】
本発明によれば、４：２：２／４：２：０変換と、対になる４：２：０／４：２：２変換後の画素ずれがなく、完全再構成条件を満たすので縦続接続時の色差の劣化も増大せず、かつ、：２：２／４：２：０変換の群遅延が0.25なので従来の好ましい特性をもつダウンサンプルフィルタと位相のうえで互換性が実現できる。
【発明を実施するための最良の形態】
【００１３】
まず、出願人らは、条件１、条件２、条件３に加え、ローパスフィルタについて一般的な条件である、Ａ（ｚ）、Ｐ（ｚ）とも周波数ω＝πで振幅がゼロ、すなわち
Ａ（−１）＝Ｐ（−１）＝０      ・・・・・・・ （式１５）
を同時に満たすトップフィールドに適用可能な４：２：２から４：２：０への色差の8タップのダウンサンプル用ローパスフィルタＡ（ｚ）と、４：２：０から４：２：２への８タップのアップサンプル用ローパスフィルタＰ（ｚ）の一例として、以下のものがあることを見出した。（小数点以下8位で四捨五入）。
まず、我々が見出した８タップのダウンサンプル用ローパスフィルタの係数ａ(ｋ)を以下に示す。
ａ(０)＝  0.01395999
ａ(１)＝ -0.07209050
ａ(２)＝  0.07931346
ａ(３)＝  0.66382076
ａ(４)＝  0.40997820
ａ(５)＝ -0.09209942
ａ(６)＝ -0.00325165
ａ(７)＝  0.00036916          ・・・・・（式１６）
ここでは、ｚの次数ｋの範囲は０から７までとした。
また、Ａ（Ｚ）は、式１６の係数を用いて以下であらわされる。
Ａ（Ｚ）＝Σａ（ｋ）・Ｚ-k
このダウンサンプル用ローパスフィルタＡ（Ｚ）の群遅延はω＝０で3.240488621となる。よって、この１の剰余は0.240488621である。これは、実用上、理想的な特性である0.25に極めて近く、条件２として実用上問題ない。
次に、我々が見出した、式１６と完全再構成条件を満たす８タップの低周波合成フィルタの係数ｐ(ｋ)を以下に示す。
ｐ(０)=  -0.00829075
ｐ(１)=  -0.04281407
ｐ(２)=  0.03159902
ｐ(３)=  0.80066600
ｐ(４)=  0.98606125
ｐ(５)=  0.24321179
ｐ(６)=  -0.00936952
ｐ(７)=  -0.00106372               ・・・・・・・（式１７）
ここでは、Ａ（ｚ）同様、Ｐ（ｚ）のｚの次数ｋの範囲は０から７までとした。
Ｐ（Ｚ）は、式１７の係数を用いて以下であらわされる。
Ｐ（Ｚ）＝Σｐ(k)・Ｚ-k
このアップサンプル用ローパスフィルタＰ（ｚ）の群遅延は、0.759511379である。Ａ（ｚ）の群遅延0.240488621と加算すると、1.00000000となる。よって条件３を満たす。
同様に、出願人らは、条件１、条件２、条件３に加え、条件４と、ローパスフィルタについて一般的な条件である、Ａ（ｚ）、Ｐ（ｚ）とも周波数ω＝πで振幅がゼロ、すなわち式１５を同時に満たすトップフィールドに適用可能な４：２：２から４：２：０への色差のダウンサンプル用ローパスフィルタＡ（ｚ）と、４：２：０から４：２：２へのアップサンプル用ローパスフィルタＰ（ｚ）の一例として、以下の８タップフィルタがあることを見出した。（小数点以下8位で四捨五入）
まず、８タップの低周波分析フィルタＡ（Ｚ）を、Ｚ変換を使って
Ａ（Ｚ）＝Σａ(k)・Ｚ-k
と表し、ｋの範囲をk=−３….４ と−３から４に制限した場合の係数ａ(ｋ)を以下に示す。
ａ(０)＝  -0.001239235
ａ(１)＝  -0.049817167
ａ(２)＝   0.146739102
ａ(３)＝   0.56466012
ａ(４)＝   0.378624569
ａ(５)＝  -0.010218885
ａ(６)＝  -0.024124436
ａ(７)＝  -0.004624068                           ・・・・・（式１８）
ここでは、便宜上、ｋの範囲は−４から３までとした。
【００１４】
この低周波分析フィルタＡ（Ｚ）の群遅延はω＝０で0.223930156となる。これは、実用上、理想的な特性である0.25に十分に近い。
また、８タップの低周波合成フィルタP（Ｚ）を、Ｚ変換を使って
Ｐ（Ｚ）＝Σｐ(k)・Ｚ-k
と表し、ｋの範囲をk=−３….４ と−３から４に制限した場合の係数ｐ(ｋ)を以下に示す。
ｐ(０)=   0.000411982
ｐ(１)=  -0.016561661
ｐ(２)=  -0.061368346
ｐ(３)=   0.693640685
ｐ(４)=   1.214307158
ｐ(５)=   0.293527356
ｐ(６)=  -0.153350794
ｐ(７)=   0.029393620                  ・・・・・・・（式１９）
このアップサンプル用ローパスフィルタＰ（ｚ）の群遅延は、0.776069844である。Ａ（ｚ）の群遅延0.223930156と加算すると、1.00000000となる。よって条件３を満たす。
【００１５】
このフィルタから、フィルタＰｅ（ｚ）の各係数ｐｅ（ｋ）とフィルタＰｏ（ｚ）の各係数ｐｏ（ｋ）は以下のとおりとなる。
ｐｅ(０)=  -0.016561661
ｐｅ(１)=    0.693640685
ｐｅ(２)=    0.293527356
ｐｅ(３)=    0.029393620                  ・・・・・・・（式２０）
ｐｏ(０)=  0.000411982
ｐｏ(１)=    -0.061368346
ｐｏ(２)=    1.214307158
ｐｏ(３)=    -0.153350794                 ・・・・・・・（式２１）
このＰ（ｚ）のｚの偶数の次数の係数からなる補間低周波分析フィルタＰｅ（Ｚ）の群遅延はω＝０で0.368876257となる。これは、理想的な特性である3/8=0.375に極めて近い。
またＰ（ｚ）のｚの奇数の次数の係数からなる補間低周波分析フィルタＰｏ（Ｚ）の群遅延はω＝０で0.907193587となる。これは、理想的な特性である7/8=0.875に極めて近い。よって、条件４を満たす。
このようなフィルタを用いることにより、符号化装置、復号化装置とも、フィルタを変えることなく、本発明を用いた符号化装置、復号化装置と、従来の符号化装置、復号化装置を自由に組み合わせることができる。
以下に、各実施例を説明する。
「実施例１」
まず、図８をもちいて第１の実施例を説明する。第１の実施例は、輝度成分および二つの色差成分からなるインターレースの4:2:2フォーマット映像信号をインターレースの4:2:0フォーマット映像信号に変換する信号処理装置であって、
インターレースの4:2:2フォーマット映像信号810をフィルタ選択手段890で選択した色差の第一のフィールドの画素に対し、垂直方向に第一のダウンサンプル用ローパスフィルタ830を施し、ダウンサンプラ840にて２：１にダウンサンプルして、前記インターレースの4:2:0フォーマット映像信号の色差の第一のフィールドを生成する第一のダウンサンプリング手段870と、
インターレースの4:2:2フォーマット映像信号810のフィルタ選択手段890で選択した色差の第二のフィールドの画素に対し、垂直方向に第一のダウンサンプル用ローパスフィルタの高次と低次の係数を入れた第二のダウンサンプル用ローパスフィルタ831を施し、ダウンサンプラ841にて２：１にダウンサンプルして、前記インターレースの4:2:0フォーマット映像信号の色差の第二のフィールドを生成する第二のダウンサンプリング手段871とを有するものである。
ここで、前記の第一のダウンサンプル用ローパスフィルタは、周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のダウンサンプル用ローパスフィルタと完全再構成条件を所定の誤差の範囲で満たすアップサンプリング用ローパスフィルタが存在し、
かつ、前記アップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と、前記第一のダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴するものである。
前述のとおり、本実施例は条件１〜３を満たしたフィルタをダウンサンプリングフィルタに用いているので、４：２：２／４：２：０変換と、対になる４：２：０／４：２：２変換後の画素ずれがなく、完全再構成条件を満たすので縦続接続時の色差の劣化も増大せず、かつ、：２：２／４：２：０変換の群遅延が0.25なので従来の好ましい特性をもつダウンサンプルフィルタと位相のうえで互換性が実現できる。
ここで、図中で第二のダウンサンプル用ローパスフィルタ831のフィルタをＡ（１／Ｚ）と記載している。これは、ｚのべき乗倍を除き、フィルタＡ（Ｚ）の高次側と低次側の係数を入れ替えたことに等しい。
図８では、フィールドのパリティにより第一のダウンサンプリング手段と第二のサンプリング手段への入出力を選択するフィルタ選択手段890、891が記載されている。なお、第一のダウンサンプリング手段と第ニのダウンサンプリング手段を、どのように配置して第一、及び第二のフィールドに対して処理を行うかの他の構成方法については多数あり、他の構成例は当業者にとっては容易に実現可能である。また、本実施例では、フィルタ処理を行ってからダウンサンプルする構成を記載しているが、当業者であれば、他の構成、たとえば、出力される画素のみに対してフィルタ処理を選択的に施す構成も容易に実現可能である。
「実施例２」
また、図９をもちいて第２の実施例を説明する。第２の実施例は、輝度成分および二つの色差成分からなるインターレースの4:2:0フォーマット映像信号をインターレースの4:2:2フォーマット映像信号に変換する信号処理装置であって、
インターレースの4:2:0フォーマット映像信号920をフィルタ選択手段990で選択した色差の第一のフィールドの画素に対し、アップサンプラ950にて二倍に拡大した信号に、垂直方向に第一のアップサンプル用ローパスフィルタ960を施し、インターレースの4:2:2フォーマット映像信号の色差の第一のフィールドを生成する第一のアップサンプリング手段980と、
前記インターレースの4:2:0フォーマット映像信号920をフィルタ選択手段900で選択した色差の第二のフィールドの画素に対し、アップサンプラ951にて二倍に拡大した信号に対し、垂直方向に第一のアップサンプル用ローパスフィルタの高次と低次の係数を入れた第二のアップサンプル用ローパスフィルタ961を用いて１：２にアップサンプルし、インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドを生成する第二のアップサンプリング手段981とを有するものである。
ここで、前記の第一のアップサンプリング用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすダウンサンプル用ローパスフィルタが存在し、
かつ、前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のアップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴するものである。
前述のとおり、本実施例は条件１〜３を満たしたフィルタをアップサンプリングフィルタに用いているので、４：２：２／４：２：０変換と、対になる４：２：０／４：２：２変換後の画素ずれがなく、完全再構成条件を満たすので縦続接続時の色差の劣化も増大せず、かつ、：２：２／４：２：０変換の群遅延が0.25なので従来の好ましい特性をもつダウンサンプルフィルタと位相のうえで互換性が実現できる。
図９では、フィールドのパリティにより第一のアップサンプリング手段と第二のアップサンプリング手段への入出力を選択するフィルタ選択手段990、991を用いる構成が記載されている。しかしながら、第一のアップサンプリング手段と第ニのアップサンプリング手段を、どのように配置して第一、及び第二のフィールドに対して処理を行うかの他の構成方法については多数あり、他の構成例は当業者にとっては容易に想像可能である。また、アップサンプリングの方法についても、ここでは、教科書等に記載されている、縮小画像に対して１画素おきに０をつめてからアップサンプリング用ローパスフィルタを施す例を記載したが、式５ａ、式５ｂのＰｅ（ｚ）、Ｐｏ（ｚ）であらわされるフィルタを垂直方向に交互に適用し、拡大画像を生成する、といった構成も、当業者においては、容易に想像可能なものである。
「実施例３」
また、図１０をもちいて第３の実施例を説明する。第３の実施例は輝度成分および二つの色差成分からなるインターレースの4:2:2フォーマット映像信号をインターレースの4:2:0フォーマット映像信号に変換する信号処理装置であって、
インターレースの4:2:2フォーマット映像信号1010をフィルタ選択手段1090で選択した色差のトップフィールドの画素に対し、8タップのトップフィールドのダウンサンプル用ローパスフィルタの8個の係数が、前述の式１６の
ａ(０)＝  0.01395999
ａ(１)＝ -0.07209050
ａ(２)＝  0.07931346
ａ(３)＝  0.66382076
ａ(４)＝  0.40997820
ａ(５)＝ -0.09209942
ａ(６)＝ -0.00325165
ａ(７)＝  0.00036916
であるフィルタ1030を垂直方向に施し、ダウンサンプラ1040にて２：１にダウンサンプルして、前記インターレースの4:2:0フォーマット映像信号の色差のトップフィールドを生成するトップフィールドのダウンサンプリング手段1070と、
インターレースの4:2:2フォーマット映像信号1010をフィルタ選択手段1090で選択した色差のボトムフィールドの画素に対し、トップフィールドのダウンサンプル用ローパスフィルタの高次と低次の係数を入れ替えた、以下の係数
ａ'(０)＝  0.00036916
ａ'(１)＝ -0.00325165
ａ'(２)＝ -0.09209942
ａ'(３)＝  0.40997820
ａ'(４)＝  0.66382076
ａ'(５)＝  0.07931346
ａ'(６)＝ -0.07209050
ａ'(７)＝  0.01395999
を有する８タップのボトムフィールドのダウンサンプル用ローパスフィルタ1031を垂直方向に施し、ダウンサンプラ1041にて２：１にダウンサンプルして、前記インターレースの4:2:0フォーマット映像信号の色差のボトムフィールドのフィールドを生成するボトムフィールドのダウンサンプリング手段1071から構成される。
ここで、式１６の係数を有するトップフィールドのダウンサンプル用ローパスフィルタは、周波数ω＝０での群遅延を１で剰余した値が0.240488621と、0.25に近い値であり、
かつ、前トップフィールドのダウンサンプル用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすアップサンプリング用ローパスフィルタである式１７の係数を有するフィルタが存在し、
かつ、アップサンプリング用ローパスフィルタを正規化したフィルタの周波数ω＝０での群遅延の値0.759511379と、ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値  0.240488621との和はほぼ整数となる1.00000000である。
前述のとおり、本実施例は条件１〜３を満たしたフィルタをダウンサンプリングフィルタに用いているので、４：２：２／４：２：０変換と、対になる４：２：０／４：２：２変換後の画素ずれがなく、完全再構成条件を満たすので縦続接続時の色差の劣化も増大せず、かつ、：２：２／４：２：０変換の群遅延が0.25なので従来の好ましい特性をもつダウンサンプルフィルタと位相のうえで互換性が実現できる。
本実施例では、フィルタ処理を行ってからダウンサンプルする構成を記載しているが、当業者であれば、他の構成、たとえば、出力される画素のみに対してフィルタ処理を選択的に施す構成も容易に実現可能である。
「実施例４」
また、図１１をもちいて第４の実施例を説明する。第４の実施例は、輝度成分および二つの色差成分からなるインターレースの4:2:0フォーマット映像信号をインターレースの4:2:2フォーマット映像信号に変換する信号処理装置であって、
インターレースの4:2:0フォーマット映像信号1120をフィルタ選択手段1190で選択した色差のトップフィールドの画素に対し、アップサンプラ1150にて二倍に拡大した信号に、以下の8タップ係数が、前述の式１７の
ｐ(０)=  -0.00829075
ｐ(１)=  -0.04281407
ｐ(２)=  0.03159902
ｐ(３)=  0.80066600
ｐ(４)=  0.98606125
ｐ(５)=  0.24321179
ｐ(６)=  -0.00936952
ｐ(７)=  -0.00106372
となるトップフィールドのアップサンプル用ローパスフィルタ1160を垂直方向に施し、インターレースの4:2:2フォーマット映像信号の色差のトップフィールドを生成するトップフィールドのアップサンプリング手段1180と、
インターレースの4:2:0フォーマット映像信号1120をフィルタ選択手段1100で選択した色差のボトムフィールドの画素に対し、アップサンプラ1151にて二倍に拡大した信号に対し、トップフィールドのアップサンプル用ローパスフィルタの高次と低次の係数を入れた、以下の係数、
ｐ'(０)=  -0.00106372
ｐ'(１)=  -0.00936952
ｐ'(２)=  0.24321179
ｐ'(３)=  0.98606125
ｐ'(４)=  0.80066600
ｐ'(５)=  0.03159902
ｐ'(６)=  -0.04281407
ｐ'(７)=  -0.00829075
をもつボトムフィールドのアップサンプル用ローパスフィルタ1161を垂直方向に施し、インターレースの4:2:2フォーマット映像信号の色差のボトムフィールドを生成するボトムフィールドのアップサンプリング手段1181とを有するものである。
ここで、式１７の係数をもつトップフィールドのアップサンプリング用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすダウンサンプル用ローパスフィルタとして式１６の係数を有するフィルタが存在し、
かつ、ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延を１で剰余した値が0.240488621と0.25に近い値であり、
かつ、トップフィールドのアップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値0.759511379と前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値0.240488621の和は、ほぼ整数となる1.00000000である。
前述のとおり、本実施例は条件１〜３を満たしたフィルタをアップサンプリングフィルタに用いているので、４：２：２／４：２：０変換と、対になる４：２：０／４：２：２変換後の画素ずれがなく、完全再構成条件を満たすので縦続接続時の色差の劣化も増大せず、かつ、：２：２／４：２：０変換の群遅延が0.25なので従来の好ましい特性をもつダウンサンプルフィルタと位相のうえで互換性が実現できる。
「実施例５」
また、図１２をもちいて第５の実施例を説明する。第５の実施例は輝度成分および二つの色差成分からなるインターレースの4:2:2フォーマット映像信号をインターレースの4:2:0フォーマット映像信号に変換する信号処理装置であって、
インターレースの4:2:2フォーマット映像信号1210の色差の第一のフィールドの画素に対し、第一のダウンサンプル用ローパスフィルタの係数1280をフィルタ係数選択手段1290にて選択してフィルタ回路1230に入力し、このフィルタ回路でフィルタを施し、ダウンサンプラ1240で２：１間引きを行ってインターレースの4:2:0フォーマット映像信号の色差の第一のフィールドを生成し、
かつ、インターレースの4:2:2フォーマット映像信号1210の色差の第二のフィールドの画素に対し、第一のダウンサンプル用ローパスフィルタの高次と低次の係数を入れ替えた第二のダウンサンプル用ローパスフィルタの係数1281をフィルタ選択手段1290にて選択してフィルタ回路1230に入力し、このフィルタ回路でフィルタを施し、ダウンサンプラ1240で２：１間引きを行ってインターレースの4:2:0フォーマット映像信号の色差の第一のフィールドを生成するダウンサンプリング手段1200を有するものである。
ここで、前記の第一のダウンサンプル用ローパスフィルタは、周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のダウンサンプル用ローパスフィルタと完全再構成条件を所定の誤差の範囲で満たすアップサンプリング用ローパスフィルタが存在し、
かつ、前記アップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と、前記第一のダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴するものである。
前述のとおり、本実施例は条件１〜３を満たしたフィルタをダウンサンプリングフィルタに用いているので、４：２：２／４：２：０変換と、対になる４：２：０／４：２：２変換後の画素ずれがなく、完全再構成条件を満たすので縦続接続時の色差の劣化も増大せず、かつ、：２：２／４：２：０変換の群遅延が0.25なので従来の好ましい特性をもつダウンサンプルフィルタと位相のうえで互換性が実現できる。
「実施例６」
また、図１３をもちいて第６の実施例を説明する。第６の実施例は輝度成分および二つの色差成分からなるインターレースの4:2:0フォーマット映像信号をインターレースの4:2:2フォーマット映像信号に変換する信号処理装置であって、
インターレースの4:2:0フォーマット映像信号1320の色差の第一のフィールドの画素に対し、アップサンプラ1360にて０挿入で二倍に拡大し、第一のアップサンプル用ローパスフィルタの係数1380をフィルタ選択手段1390にて選択してフィルタ回路1330に入力し、このフィルタ回路にてフィルタを施してインターレースの4:2:2フォーマット映像信号の色差の第一のフィールドを生成し、
かつ、インターレースの4:2:0フォーマット映像信号1320の色差の第二のフィールドの画素に対し、アップサンプラ1360にて０挿入で二倍に拡大し、第一のアップサンプル用ローパスフィルタの高次と低次の係数を入れ替えた第二のアップサンプル用ローパスフィルタの係数1381をフィルタ選択手段1390にて選択してフィルタ回路1330に入力し、このフィルタ回路にてフィルタを施して、インターレースの4:2:2フォーマット映像信号の色差の第二のフィールドを生成するアップサンプリング手段1300を有する。
ここで、前記の第一のアップサンプリング用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすダウンサンプル用ローパスフィルタが存在し、
かつ、前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延を１で剰余した値が0.25に近い値であり、
かつ、前記第一のアップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と前記ダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となることを特徴するものである。
前述のとおり、本実施例は条件１〜３を満たしたフィルタをアップサンプリングフィルタに用いているので、４：２：２／４：２：０変換と、対になる４：２：０／４：２：２変換後の画素ずれがなく、完全再構成条件を満たすので縦続接続時の色差の劣化も増大せず、かつ、：２：２／４：２：０変換の群遅延が0.25なので従来の好ましい特性をもつダウンサンプルフィルタと位相のうえで互換性が実現できる。
なお、図１２、図１３のフィルタ回路の構成の一例を図１４に説明する。図１４は、画像に対して垂直方向に係数ｆ（０）〜ｆ（Ｎ−１）のNタップの係数をもつフィルタを施すことを想定している。図１４のように、フィルタ対象となる画素を図の上から下に、画素1400a〜1400eを順次選択し、画素1400aから順に、入力信号1410として、演算回路に入力する。そして、この入力信号1410は、遅延器1401a〜1401nで順次、一遅延単位ずつ遅延させられるとともに、遅延器1401a〜1401nの出力を乗算期1402a〜1402nに接続する。この各乗算器1402a〜1402nでは、式（８）に記載したｆ(０)〜ｆ(Ｎ−１)の各係数を乗じる。そして、すべての乗算結果を加算器1403で加算する。また、必要に応じて、遅延器1404で出力を所定遅延単位だけ遅延させ、値を出力する。この遅延器1404は画素出力のタイミングを調整するものであり、この回路における適切な遅延量の有無、あるいは実装の必要性の有無は、当前記業者ならば容易に判断しうるものである。
「実施例７」
また、図１５をもちいて第７の実施例を説明する。第７の実施例は輝度成分および二つの色差成分からなるインターレースの4:2:2フォーマット映像信号をインターレースの4:2:0フォーマット映像信号に変換する信号処理方法であって、
インターレースの4:2:2フォーマット映像信号1510の色差のトップフィールドの画素に対し、式１８で表される8タップの以下の係数
ａt(０)＝  -0.001239235
ａt(１)＝  -0.049817167
ａt(２)＝   0.146739102
ａt(３)＝   0.56466012
ａt(４)＝   0.378624569
ａt(５)＝  -0.010218885
ａt(６)＝  -0.024124436
ａt(７)＝  -0.004624068
を有するトップフィールドのダウンサンプル用ローパスフィルタの係数1580をフィルタ係数選択手段1590にて選択してフィルタ回路1530に入力し、このフィルタ回路でフィルタを施し、ダウンサンプラ1540で２：１間引きを行ってインターレースの4:2:0フォーマット映像信号の色差のトップフィールドを生成し、
かつ、インターレースの4:2:2フォーマット映像信号1510の色差のボトムフィールドの画素に対し、第一のダウンサンプル用ローパスフィルタの高次と低次の係数を入れ替えた以下の係数
ａb(０)＝  -0.001239235
ａb(１)＝  -0.049817167
ａb(２)＝   0.146739102
ａb(３)＝   0.56466012
ａb(４)＝   0.378624569
ａb(５)＝  -0.010218885
ａb(６)＝  -0.024124436
ａb(７)＝  -0.004624068
を有するボトムフィールドのダウンサンプル用ローパスフィルタの係数1581をフィルタ選択手段1590にて選択してフィルタ回路1530に入力し、このフィルタ回路でフィルタを施し、ダウンサンプラ1540で２：１間引きを行ってインターレースの4:2:0フォーマット映像信号の色差のボトムフィールドを生成するダウンサンプリング手段1500を有するものである。
ここで、式１８の係数を有するトップフィールドのダウンサンプル用ローパスフィルタは、周波数ω＝０での群遅延を１で剰余した値が0.223930156と、0.25に実用上、十分に近い値であり、
かつ、トップフィールドのダウンサンプル用ローパスフィルタと所定の誤差の範囲で完全再構成条件を満たすアップサンプリング用ローパスフィルタである式１９の係数を有するフィルタが存在し、
かつ、アップサンプリング用ローパスフィルタを正規化したフィルタの周波数ω＝０での群遅延の値0.776069844と、トップフィールドのダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値  0.223930156との和はほぼ整数となる1.00000000である。
さらに、式１９のフィルタ係数をもつアップサンプリング用ローパスフィルタは、前述のとおり、条件４も満たす。
本実施例は条件１〜４を満たしたフィルタをダウンサンプリングフィルタに用いているので、４：２：２／４：２：０変換と、対になる４：２：０／４：２：２変換後の画素ずれがなく、完全再構成条件を満たすので縦続接続時の色差の劣化も増大せず、かつ、：２：２／４：２：０変換の群遅延が0.25なので従来の好ましい特性をもつダウンサンプルフィルタと位相のうえで互換性が実現できる。
「実施例８」
また、図１６をもちいて第８の実施例を説明する。第８の実施例は輝度成分および二つの色差成分からなるインターレースの4:2:0フォーマット映像信号をインターレースの4:2:2フォーマット映像信号に変換する信号処理方法であって、
インターレースの4:2:0フォーマット映像信号1620の色差のトップフィールドの画素に対し、アップサンプラ1660にて０挿入で二倍に拡大し、以下の式１９の係数、
ｐt(０)=   0.000411982
ｐt(１)=  -0.016561661
ｐt(２)=  -0.061368346
ｐt (３)=   0.693640685
ｐt(４)=   1.214307158
ｐt(５)=   0.293527356
ｐt(６)=  -0.153350794
ｐt(７)=   0.029393620
を有するトップフィールドのアップサンプル用ローパスフィルタの係数1680をフィルタ選択手段1690にて選択してフィルタ回路1630に入力し、このフィルタ回路にてフィルタを施してインターレースの4:2:2フォーマット映像信号の色差のトップフィールドを生成し、
かつ、インターレースの4:2:0フォーマット映像信号1660の色差のボトムフィールドの画素に対し、アップサンプラ1660にて０挿入で二倍に拡大し、トップフィールドのアップサンプル用ローパスフィルタの高次と低次の係数を入れ替えた、以下の係数
ｐb(０)=   0.029393620
ｐb(１)=  -0.153350794
ｐb(２)=   0.293527356
ｐb(３)=   1.214307158
ｐb(４)=   0.693640685
ｐb(５)=  -0.061368346
ｐb(６)=  -0.016561661
ｐb(７)=   0.000411982
を有するボトムフィールドのアップサンプル用ローパスフィルタの係数1681をフィルタ選択手段1690にて選択してフィルタ回路1630に入力し、このフィルタ回路にてフィルタを施して、インターレースの4:2:2フォーマット映像信号の色差のボトムフィールドを生成するアップサンプリング手段1600を有する。
本実施例は条件１〜４を満たしたフィルタをダウンサンプリングフィルタに用いているので、４：２：２／４：２：０変換と、対になる４：２：０／４：２：２変換後の画素ずれがなく、完全再構成条件を満たすので縦続接続時の色差の劣化も増大せず、かつ、：２：２／４：２：０変換の群遅延が0.25なので従来の好ましい特性をもつダウンサンプルフィルタと位相のうえで互換性が実現できる。
「実施例９」
図１７は４：２：２／４：２：０の変換方法である第９の実施例を説明する図である。
まずステップ1700で、４：２：２の色差フィールド画像を入力する。そして、ステップ1710で、対象フィールドが第一フィールドかどうか判定する。ここでYesの場合には、ステップ1720で、以下の条件
（条件１）本係数で構成されたフィルタの周波数ω＝０での群遅延を１で剰余した値が0.25に近い値。
（条件２）本係数で構成されるフィルタと完全再構成条件を所定の誤差の範囲で満たすアップサンプリング用ローパスフィルタが存在。
（条件３）前記アップサンプリング用ローパスフィルタの係数を各係数の和が１となるよう正規化したフィルタの周波数ω＝０での群遅延の値と、前記第一のダウンサンプル用ローパスフィルタの周波数ω＝０での群遅延の値の和は、所定の誤差の範囲で整数となる。
を満たす第一のダウンサンプル用ローパスフィルタの係数、 ａt（ｎ）、ｎ＝０…Ｎ−１、をもちいて、ダウンサンプル処理が行われる。またステップ1710でNoの場合には、第一のダウンサンプル用フィルタの係数と、高次と低次が入れ替えら得た係数、 ａb（ｎ）＝ａt（Ｎ−ｎ−１）、ｎ＝０…Ｎ−１、ｎ＝０…Ｎ−１、を用いて、２：１にダウンサンプルされる。そして、ステップ1730にて4:2:0の色差画像が出力される。
「実施例１０」
また、図１８は４：２：０／４：２：２の変換方法である第１０の実施例を説明する図である。
まずステップ1800で、４：２：０の色差フィールド画像を入力する。そして、ステップ1810で、対象フィールドが第一フィールドかどうか判定する。ここでYesの場合には、ステップ1820で、以下の条件
（条件１）本係数で構成されるフィルタと完全再構成条件を所定の誤差の範囲で満たすダウンサンプリング用ローパスフィルタが存在。
（条件２）前記のダウンサンプリング用ローパスフィルタの周波数ω＝０での群遅延を１で剰余した値が0.25に近い値。
【００１６】
（条件３）周波数ω＝０において、前記のアップサンプリング用ローパスフィルタの係数を０．５倍したフィルタの群遅延の   １の剰余と、 第一のダウンサンプル用ローパスフィルタの群遅延の１の剰余の和は、ほぼ１に近い
を満たす第一のアップサンプル用ローパスフィルタの係数、 ｐt（ｎ）、ｎ＝０…Ｎ−１、をもちいて、１：２にアップサンプル処理が行われる。またステップ1810でNoの場合には、第一のアップサンプル用フィルタの係数と、高次と低次が入れ替えら得た係数、ｐb（ｎ）＝ｐt（Ｎ−ｎ−１）、ｎ＝０…Ｎ−１、ｎ＝０…Ｎ−１、を用いて、１：２にダウンサンプルされる。そして、ステップ1830にて4:2:2の色差画像が出力される。
第９及び第１０の発明では、前述の条件１乃至３のフィルタ条件を満たすため、４：２：２／４：２：０変換と、対になる４：２：０／４：２：２変換後の画素ずれがなく、完全再構成条件を満たすので縦続接続時の色差の劣化も増大せず、かつ、：２：２／４：２：０変換の群遅延が0.25なので従来の好ましい特性をもつダウンサンプルフィルタと位相のうえで互換性が実現できる。
なお、ここで引用したフィルタ係数は一例であり、他に、前述の条件１、条件２、条件３を同時、あるいは、条件１乃至４を同時に満たすフィルタは多数存在する。タップ数も８に制限するものではない。また、装置への実装においては、ハードウェアの規模の制約により、再構成時の誤差と引き換えに、ある有効桁で丸められた係数が用いられる。
丸めた係数を用いたトップフィールド用フィルタ演算の演算方法の例を以下に示す。条件１乃至４を同時に満たすフィルタＡ（ｚ）、Ｐ（ｚ）の更なる実施例として、以下のものがある。
【００１７】
ａt(０)＝ -0.008673583
ａt(１)＝ -0.026819158
ａt(２)＝  0.133775112
ａt(３)＝  0.549387953
ａt(４)＝  0.383323192
ａt(５)＝ -0.02266892
ａt(６)＝ -0.008424721
ａt(７)＝  0.000100124
ｐt(０)=   0.045753444
ｐt(１)=  -0.141471967
ｐt(２)=  -0.062553387
ｐt(３)=   0.90949634
ｐt(４)=   1.119074193
ｐt(５)=   0.233191111
ｐt(６)=  -0.102274249
ｐt(７)=  -0.001215483
この係数を２進数で小数点以下10ビットの精度に丸めると、以下のようになる。
【００１８】
ａt(０)＝   -9/1024
ａt(１)＝  -27/1024
ａt(２)＝  137/1024
ａt(３)＝  563/1024
ａt(４)＝  393/1024
ａt(５)＝  -23/1024
ａt(６)＝   -9/1024
ａt(７)＝    0/1024
ｐt(０)=    47/1024
ｐt(１)=  -145/1024
ｐt(２)=   -64/1024
ｐt(３)=   931/1024
ｐt(４)=  1146/1024
ｐt(５)=   239/1024
ｐt(６)=  -105/1024
ｐt(７)=    -1/1024
好ましい演算方法としては、上記Ａ（ｚ）、Ｐ（ｚ）の各フィルタ係数の分母の整数部分と、フィルタを施す画素値とを整数乗算し、乗算値を累積加算し、その累積加算値に四捨五入用として512を加算した後に、10ビット切り捨てる(1024で割る)ことにより、フィルタ処理が実現できる。
【図面の簡単な説明】
【００１９】
【図１】４：２：２フォーマットと４：２：０フォーマットを説明する図
【図２】４：２：０エンコーダの縦続接続を説明する図
【図３】完全再構成フィルタの縦続接続を説明する図
【図４】好ましいフィルタによる４：２：２と４：２：０のフォーマット変換時の色差画素の位置関係を説明する図
【図５】式９ａ及び式９ｂを用いて４：２：２と４：２：０のフォーマット変換時の色差画素の位置関係を説明する図
【図６】式９ａのダウンサンプルフィルタと通常のアップサンプルフィルタを用いた際の色差画素の位置関係を説明する図
【図７】式９ａのダウンサンプルフィルタと通常のアップサンプルフィルタを用いた際に４：２：２画像の色差画素の位置に問題が生じることを説明する図
【図８】第一の実施例における４：２：２／４：２：０変換装置を説明する図
【図９】第二の実施例における４：２：０／４：２：２変換装置を説明する図
【図１０】第三の実施例における４：２：２／４：２：０変換装置を説明する図
【図１１】第四の実施例における４：２：０／４：２：２変換装置を説明する図
【図１２】第五の実施例における４：２：２／４：２：０変換装置を説明する図
【図１３】第六の実施例における４：２：０／４：２：２変換装置を説明する図
【図１４】フィルタ回路の構成例を説明する図
【図１５】第七の実施例における４：２：２／４：２：０変換装置を説明する図
【図１６】第八の実施例における４：２：０／４：２：２変換装置を説明する図
【図１７】第九の実施例における４：２：２／４：２：０の変換方法を説明する図
【図１８】第十の実施例における４：２：０／４：２：２の変換方法を説明する図
【符号の説明】
【００２０】
100           輝度画素の位置
110           色差画素の位置
200a−200n    4:2:2/4:2:0変換器
201a−201n    4:2:0対応エンコーダ
202a−202n    4:2:0対応デコーダ
203a−203n    4:2:0/4:2:2変換器
210           ４：２：２フォーマット映像入力
204a−204n    4:2:0対応エンコーダ
211a−211n    ４：２：２映像
310           入力信号
311a-311n     拡大画像
320a-320n     縮小画像
330a-330n     ダウンサンプル用ローパスフィルタ
340a-340n     ダウンサンプラ
350a-350n     アップサンプラ
360a-360n     アップサンプル用ローパスフィルタ
400a-400e     ４：２：２の色差画素
401a-401c     ４：２：０の色差画素
410a-410e     ４：２：２の色差画素
411a-411c     ４：２：０の色差画素
420a-420e     ４：２：２の色差画素
421a-421c     ４：２：０の色差画素
430a-430e     ４：２：２の色差画素
431a-431b     ４：２：０の色差画素
500a-500e     ４：２：２の色差画素
501a-501c     ４：２：０の色差画素
510a-510e     ４：２：２の色差画素
511a-511c     ４：２：０の色差画素
600a-600e     ４：２：２の色差画素
601a-601c     ４：２：０の色差画素
610a-610e     ４：２：２の色差画素
611a-611c     ４：２：０の色差画素
700             トップフィールドの輝度画素の位置
701             トップフィールドの色差画素の位置
710             ボトムフィールドの輝度画素の位置
711             ボトムフィールドの色差画素の位置
810             インターレース４：２：２フォーマットの色差信号
820             インターレース４：２：０フォーマットの色差信号
830             第一のダウンサンプル用ローパスフィルタ
831             第ニのダウンサンプル用ローパスフィルタ
840,841         ダウンサンプラ
870             第一のダウンサンプリング手段
871             第ニのダウンサンプリング手段
890,891         フィルタ選択手段
911             インターレース４：２：２フォーマットの色差信号
920             インターレース４：２：０フォーマットの色差信号
950、951         アップサンプラ
960             第一のアップサンプル用ローパスフィルタ
961             第ニのアップサンプル用ローパスフィルタ
980             第一のアップサンプリング手段
981             第ニのアップサンプリング手段
1010            インターレース４：２：２フォーマットの色差信号
1020            インターレース４：２：０フォーマットの色差信号
1030            トップフィールドのダウンサンプル用ローパスフィルタ
1031            ボトムフィールドのダウンサンプル用ローパスフィルタ
1040, 1041      ダウンサンプラ
1070            トップフィールドのダウンサンプリング手段
1071            ボトムフィールドのダウンサンプリング手段
1090, 1091      フィルタ選択手段
1111            インターレース４：２：２フォーマットの色差信号
1120            インターレース４：２：０フォーマットの色差信号
1150、1151       アップサンプラ
1160            トップフィールドのアップサンプル用ローパスフィルタ
1161            ボトムフィールドのアップサンプル用ローパスフィルタ
1180            トップフィールドのアップサンプリング手段
1181            ボトムフィールドのアップサンプリング手段
1210            インターレース４：２：２フォーマットの色差信号
1220            インターレース４：２：０フォーマットの色差信号
1230            フィルタ回路
1240            ダウンサンプラ
1280            第一のダウンサンプル用ローパスフィルタの係数
1281            第ニのダウンサンプル用ローパスフィルタの係数
1290            フィルタ選択手段
1311            インターレース４：２：２フォーマットの色差信号
1320            インターレース４：２：０フォーマットの色差信号
1330            フィルタ回路
1360            アップサンプラ
1380            第一のアップサンプル用ローパスフィルタの係数
1381            第ニのアップサンプル用ローパスフィルタの係数
1390            フィルタ選択手段
1400a-1400c   元画像の画素
1401a-1401g   遅延器
1402a-1402h   乗算器
1403          加算器
1404          遅延器
1410          入力信号
1420          フィルタ出力
1510            インターレース４：２：２フォーマットの色差信号
1520            インターレース４：２：０フォーマットの色差信号
1530            フィルタ回路
1540            ダウンサンプラ
1580            トップフィールドのダウンサンプル用ローパスフィルタの係数
1581            ボトムフィールドのダウンサンプル用ローパスフィルタの係数
1590            フィルタ選択手段
1611            インターレース４：２：２フォーマットの色差信号
1620            インターレース４：２：０フォーマットの色差信号
1630            フィルタ回路
1660            アップサンプラ
1680            トップフィールドのアップサンプル用ローパスフィルタの係数
1681            ボトムフィールドのアップサンプル用ローパスフィルタの係数
1690            フィルタ選択手段
1700            入力ステップ
1710            判断ステップ
1720            第一のダウンサンプリング処理ステップ
1721            第ニのダウンサンプリング処理ステップ
1730            出力ステップ
1800            入力ステップ
1810            判断ステップ
1820            第一のアップサンプリング処理ステップ
1821            第ニのアップサンプリング処理ステップ
1830            出力ステップ
【図１】
0005003620.tif 000002
【図２】
0005003620.tif 000003
【図３】
0005003620.tif 000004
【図４】
0005003620.tif 000005
【図５】
0005003620.tif 000006
【図６】
0005003620.tif 000007
【図７】
0005003620.tif 000008
【図８】
0005003620.tif 000009
【図９】
0005003620.tif 000010
【図１０】
0005003620.tif 000011
【図１１】
0005003620.tif 000012
【図１２】
0005003620.tif 000013
【図１３】
0005003620.tif 000014
【図１４】
0005003620.tif 000015
【図１５】
0005003620.tif 000016
【図１６】
0005003620.tif 000017
【図１７】
0005003620.tif 000018
【図１８】
0005003620.tif 000019