(57)【要約】【課題】映像信号の静止画部分の解像度を保持しつつ、動き部分の櫛状部分を抑制し、デ・インタレース化処理とリ・インタレース化処理とによる可逆性を保証した補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラムを提供する。【解決手段】補正映像信号生成方法は、映像信号の補正対象となる奇数フィールドｏｆの画素と水平方向の位置が同一で、且つ表示位置において奇数フィールドｏｆの画素と垂直方向に隣接する偶数フィールドｅｆの画素値をｅｎ及びｅｎ＋１とし、奇数フィールドｏｆの画素の画素値をｏｎとし、補正した補正画素の画素値をｐｎとしたとき、画素位置毎に可変な補正量αｎによって、ｐｎ＝αｎ（ｅｎ＋ｅｎ＋１）／４＋（１−αｎ／２）ｏｎなる演算により補正を行うことを特徴とする。【選択図】　　　図６
2004032413.tif 000002
【特許請求の範囲】
【請求項１】
インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成する補正映像信号生成装置であって、
補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段と、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段と、
を備えたことを特徴とする補正映像信号生成装置。
【請求項２】
前記映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、前記補正量を生成する櫛状歪検出手段、
を備えたことを特徴とする請求項１に記載の補正映像信号生成装置。
【請求項３】
インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成し、符号化を行う補正映像信号符号化装置であって、
前記映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正の対象となる補正対象画素の補正の度合いを示す補正量を生成する櫛状歪検出手段と、
この櫛状歪検出手段で生成した前記補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段と、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段と、
この対象画素補正手段で補正された補正画素と、前記隣接画素とを含む前記補正映像信号を、前記補正画素と前記補正量とを対応付けて符号化を行う符号化手段と、
を備えたことを特徴とする補正映像信号符号化装置。
【請求項４】
インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成する補正映像信号生成方法であって、
前記画素毎の補正の対象となる補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値をｅｎ及びｅｎ＋１とし、前記補正対象画素の画素値をｏｎとし、前記補正対象画素を補正した補正画素の画素値をｐｎとしたとき、画素位置毎に可変な補正量αｎによって、ｐｎ＝αｎ（ｅｎ＋ｅｎ＋１）／４＋（１−αｎ／２）ｏｎなる演算により、前記画素毎の補正を行った前記補正映像信号を生成することを特徴とする補正映像信号生成方法。
【請求項５】
インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成するために、コンピュータを、
補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段、
として機能させることを特徴とする補正映像信号生成プログラム。
【請求項６】
インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素から、前記映像信号を復元する補正映像信号復元装置であって、
前記補正量と、前記隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段と、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段と、
を備えたことを特徴とする補正映像信号復元装置。
【請求項７】
インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素を含んだ補正映像信号を、前記補正量を前記補正画素に対応付けて符号化した補正量埋め込み符号化データを復号する補正映像信号復号装置であって、
前記補正量埋め込み符号化データから、前記補正量を抽出して前記補正映像信号を復号する復号手段と、
この復号手段で抽出した前記補正量と、前記補正映像信号における隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段と、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段と、
を備えたことを特徴とする補正映像信号復号装置。
【請求項８】
インタレース信号として入力される映像信号において、画素毎の補正の対象となる補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値をｅｎ及びｅｎ＋１とし、前記補正対象画素の画素値をｏｎとし、前記補正対象画素の画素位置毎に、その補正の度合いを示す補正量をαｎとしたとき、前記補正対象画素を補正した補正画素の画素値ｐｎをｐｎ＝αｎ（ｅｎ＋ｅｎ＋１）／４＋（１−αｎ／２）ｏｎなる演算により生成した補正映像信号から、前記映像信号を復元する補正映像信号復元方法であって、
画素位置毎に入力される前記補正量αｎと、前記補正画素の画素値ｐｎと、前記補正画素に隣接する前記隣接画素の画素値ｅｎ及びｅｎ＋１とに基づいて、前記補正画素を復元した復元画素の画素値ｑｎをｑｎ＝−αｎ（ｅｎ＋ｅｎ＋１）／（２（２−αｎ））＋２ｐｎ／（２−αｎ）により演算して、前記映像信号を復元することを特徴とする補正映像信号復元方法。
【請求項９】
インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素から、前記映像信号を復元するために、コンピュータを、
前記補正量と、前記隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段、
として機能させることを特徴とする補正映像信号復元プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号の歪補正技術に関し、より詳細には、インタレース信号で入力される映像信号の各フィールド間の歪を補正する補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置に関する。
【０００２】
【従来の技術】
一般に、現行ＴＶにおけるＮＴＳＣ信号や、ＨＤＴＶ（高精細テレビジョン）におけるＨＤＴＶ信号による放送方式においては、インタレース走査方式によって映像信号が放送されている。また、ビデオカメラにおける映像信号もインタレース走査方式によってビデオテープ等の記録媒体へ記録される方式が一般的である。
【０００３】
このインタレース走査方式においては、フレームは走査線が一本毎に交互に走査する２つのフィールドから構成されている。そのため、フレームを構成する２つのフィールドを単純に合成して得られるフレーム画像では、映像上で動作している映像オブジェクトのエッジ部分に走査線一本毎に水平方向の櫛状部分が発生する。このような櫛状部分を有するフレーム画像に対して、ウェーブレット変換を用いたフレーム内符号化を適用すると、低ビットレートで復号を行う場合、その櫛状部分が劣化の原因となって、映像オブジェクトのエッジ部分に目障りなちらつき（櫛状歪）が現れる。
【０００４】
従来は、この低ビットレート復号時のちらつきを軽減するために、映像を符号化する前に、フィルタ（前置フィルタ）によって水平方向の櫛状部分を抑える処理を施していた。あるいは、低ビットレートで映像を復号した後のフィルタ（後置フィルタ）によって水平方向の櫛状部分を抑える処理を施していた（参考文献１：久下，星野，“ＪＰＥＧ２０００によるＨＤＴＶ動画像符号化の検討”，電子情報通信学会総合大会，Ｄ−１１−１８，２００１−３）。
【０００５】
例えば、図７（ａ）に示すような前置フィルタによる映像信号伝送システムでは、符号化側において、映像信号を符号化部ＣＯで符号化する前に前置フィルタＰＲによって、水平方向の櫛状部分を抑える処理を施し、符号化部ＣＯで符号化を行い符号化データを生成している。そして、この符号化データは、復号側において、携帯端末のような低ビットレートでしか復号できない装置では、低ビットレート復号部ＤＬで、また、高ビットレートで復号が可能な装置では、高ビットレート復号部ＤＨにより映像信号を復号していた。
【０００６】
また、図７（ｂ）に示すような後置フィルタによる映像信号伝送システムでは、符号化側において、映像信号を符号化部ＣＯで符号化した符号化データを生成し、その符号化データを低ビットレートでしか復号できない装置では、低ビットレート復号部ＤＬで符号化データを復号した後に、後置フィルタＰＯによって、水平方向の櫛状部分を抑える処理を施していた。一方、高ビットレートで復号が可能な装置では、高ビットレート復号部ＤＨにより映像信号を復号していた。
【０００７】
また従来、低ビットレート復号時のちらつきを軽減するために、映像の符号化側において、フレームの奇数フィールドの画素と、その奇数フィールドに隣接する偶数フィールドの画素とを、水平方向の櫛状部分を抑える固定係数型フィルタによって補間を行うことで、新たな奇数フィールドの画素を生成した補間フレームを生成する手法がある（以下、「デ・インターレス化処理」と呼ぶ）。この手法では、低ビットレート復号時には、補間フレームをそのまま復号するが、高ビットレート復号時には、低ビットレート復号時のようなちらつきがないため、前記固定係数型フィルタで用いた固定係数によって、補間フレームから元の奇数フィールドの画素を復元している（以下、「リ・インタレース化処理」と呼ぶ）。
【０００８】
ここで、図８を参照して、従来のデ・インターレス化処理及びリ・インタレース化処理について説明する。図８は、従来の固定係数型のデ・インタレース化処理及びリ・インタフェース化処理の動作を模式的に示した模式図である。図８（ａ）に示すように従来の固定係数型デ・インターレス化処理では、インタレース信号である映像信号の奇数フィールドｏｆと、偶数フィールドｅｆとに基づいて奇数フィールドｏｆの画素値を補正した補間フレームｈｆを生成する。
【０００９】
例えば、偶数フィールドｅｆのｎラインめの画素（偶数フィールド画素）の画素値をｅｎ、奇数フィールドｏｆのｎラインめの画素（奇数フィールド画素）の画素値をｏｎ、奇数フィールドｏｆの補正を行った画素（奇数フィールド補正画素）の画素値をｐｎとし、ｐｎを下記の（１）式で算出された値とする。
【００１０】
ｐｎ＝（ｅｎ＋ｅｎ＋１）／４＋ｏｎ／２　　　…（１）式
【００１１】
これによって、奇数フィールドの画素値を前後の偶数フィールドの画素値によって補正することで水平方向の櫛状部分を抑えることができる。そして、このリ・インタレース化処理によって生成された映像信号は低ビットレートで復号を行う際に櫛状歪を低減した映像を生成することができる。
【００１２】
また、図８（ｂ）に示すように、従来の固定係数型リ・インタレース化処理では、固定係数型デ・インターレス化処理で生成された映像信号の補間フレームｈｆから、元の映像信号である奇数フィールドｏｆの画素値を復元する。
【００１３】
例えば、偶数フィールドのｎラインめの画素（偶数フィールド画素）の画素値をｅｎ、奇数フィールドのｎラインめの画素（奇数フィールド補正画素）の画素値をｐｎ、奇数フィールド補正画素の復元を行った画素（奇数フィールド画素）の画素値をｑｎとし、ｑｎを下記の（２）式で算出された値とする。
【００１４】
ｑｎ＝−（ｅｎ＋ｅｎ＋１）／２＋２ｐｎ　　　…（２）式
【００１５】
ここで、（２）式のｐｎに（１）式のｐｎを代入すると、（２）式は下記の（３）式のように変形することができる。
【００１６】
2004032413.tif 000003
【００１７】
この（３）式に示すように、（１）式で生成された奇数フィールド補正画素の画素値ｑｎは（２）式によって、元の奇数フィールド画素の画素値ｏｎに復元される。
【００１８】
このように、補間フレームを生成する手法は、デ・インタレース化処理とリ・インタレース化処理とを、完全再構成条件を満たす固定係数型フィルタを対にすることで実現している（参考文献２：石田，村松，周，佐々木，菊地，“完全再構成デ・インタレース化処理を用いた動画像フレーム／フィールド内符号化”，電子情報通信学会，信学技報，ＣＡＳ２００１−８０（２００１−１１））。
【００１９】
例えば、図９に示すような映像信号伝送システム８において、符号化側では、映像信号を符号化部ＣＯで符号化する前にデ・インターレス化処理部ＤＥによってデ・インターレス化処理を行い、そのデ・インタレース化処理を行った映像信号を、符号化部ＣＯによって符号化し符号化データを生成していた。そして、この符号化データはすでに水平方向の櫛状部分を抑える処理を施しているため、低ビットレートでしか復号できない装置においては、符号化データを通常の低ビットレート復号部ＤＬで復号することで、櫛状歪を低減した映像信号を再生することができる（低品質映像信号）。また、高ビットレートで復号が可能な装置では、符号化データを高ビットレート復号部ＤＨで復号し、リ・インタレース化処理部ＲＥでリ・インタレース化処理を行い元の映像信号を再生していた（高品質映像信号）。
【００２０】
【発明が解決しようとする課題】
しかし、前記従来の技術において、映像を符号化する前にフィルタ（前置フィルタ）によって水平方向の櫛状部分を抑える手法では、高ビットレート復号時に空間解像度が低下してしまうという問題があった。また、低ビットレート復号時にフィルタ（後置フィルタ）によって水平方向の櫛状部分を抑える処理を施す手法では、通常、低ビットレートによる復号を行うシステムは、システム構成の簡略化や速度の向上が要求されるにも関らず、余分な処理を付加しなければならないという問題があった。
【００２１】
また、前記従来の技術において、固定係数型フィルタによって時空間方向の補間により補間フレームを生成する手法では、映像に動きがある場合には、水平方向の櫛状部分を抑えるために、垂直方向に低域フィルタ効果を持たせるように固定係数（補正量）を決める必要がある。一方、映像が静止している場合には、元々櫛状部分が現れず、垂直方向に低域フィルタ効果を持たせると逆に画像をぼかしてしまうことになる。すなわち、映像が静止している場合、垂直方向の低域フィルタ効果は、映像の空間解像度を犠牲にしまう。このように、実際の映像では、動いている部分と静止している部分とが混在しているため、従来の固定係数型フィルタを用いた手法では、映像毎に適した処理を行うことができないという問題があった。
【００２２】
本発明は、以上のような問題点に鑑みてなされたものであり、静止画部分の解像度を保持しつつ、動き部分の櫛状部分を抑制し、デ・インタレース化処理とリ・インタレース化処理とによる可逆性を保証した補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラムを提供することを目的とする。
さらに、静止画部分の解像度を保持しつつ、動き部分の櫛状部分を抑制し、デ・インタレース化処理とリ・インタレース化処理とによる可逆性を保証した補正映像信号符号化装置及び補正映像信号復号装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の補正映像信号生成装置は、インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成する補正映像信号生成装置であって、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段と、を備える構成とした。
【００２４】
かかる構成によれば、補正映像信号生成装置は、隣接画素演算手段によって、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する。そして、補正映像信号生成装置は、対象画素補正手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する。
【００２５】
例えば、映像信号における奇数フィールドのライン上の画素を補正対象画素としたとき、補正対象画素の画素値に、その補正対象画素と水平方向の位置が同一で、且つ表示位置において隣接する偶数フィールドにおける２つの隣接画素の画素値を、入力された補正量（可変係数）で定まる比率で加算することで、補正対象画素を補正した補正画素を生成する。なお、ここで表示位置とは、偶数フィールドと、奇数フィールドとからなる１つのフレームにおける位置を示している。
【００２６】
ここで、補正量をαｎ、補正対象画素の画素値をｏｎ、２つの隣接画素の画素値をｅｎ及びｅｎ＋１としたとき、補正画素の画素値は、（１−αｎ／２）ｏｎと、αｎｅｎ／４と、αｎｅｎ＋１／４と、を加算して生成する。なお、補正量αｎは、水平方向の櫛状部分を低減するために補正対象画素を補正するときに使用する係数（可変係数）であり、０以上２未満の範囲とする。
【００２７】
この補正量を、０以上２未満の範囲で大きくすることで、補正対象画素の画素値は隣接画素の画素値に近似する方向に作用するため、水平方向の櫛状部分を低減することができる。また、補正量を、０以上２未満の範囲で小さくすることで、水平方向の櫛状部分の低減は少なくなるが、補正画素の画素値は元の補正対象画素の画素値に近づく方向に作用する。
【００２８】
また、請求項２に記載の補正映像信号生成装置は、請求項１に記載の補正映像信号生成装置において、前記映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、前記補正量を生成する櫛状歪検出手段、を備える構成とした。
【００２９】
かかる構成によれば、補正映像信号生成装置は、櫛状歪検出手段によって、映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正量を生成する。
【００３０】
この櫛状歪検出手段は、抽出した水平ライン上の櫛状歪の大きさによって、０以上２未満の範囲で補正量を生成する。つまり、櫛状歪が大きい場合は、水平方向の櫛状部分を低減させるために補正量を大きくし、櫛状歪が小さい場合は、水平方向の櫛状部分を低減させることよりも、より元の画素値に近い値を生成させるため補正量を小さくする。
【００３１】
さらに、請求項３に記載の補正映像信号符号化装置は、インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成し、符号化を行う補正映像信号符号化装置であって、前記映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正の対象となる補正対象画素の補正の度合いを示す補正量を生成する櫛状歪検出手段と、この櫛状歪検出手段で生成した前記補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段と、この対象画素補正手段で補正された補正画素と、前記隣接画素とを含む前記補正映像信号を、前記補正画素と前記補正量とを対応付けて符号化を行う符号化手段と、を備える構成とした。
【００３２】
かかる構成によれば、補正映像信号符号化装置は、櫛状歪検出手段によって、映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正の対象となる補正対象画素の補正の度合いを示す補正量を生成する。
【００３３】
そして、補正映像信号符号化装置は、隣接画素演算手段によって、櫛状歪検出手段で生成した前記補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成し、対象画素補正手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する。
【００３４】
さらに、補正映像信号符号化装置は、符号化手段によって、対象画素補正手段で補正された補正画素と、前記隣接画素とを含む前記補正映像信号を、前記補正画素と前記補正量とを対応付けて符号化を行う。
【００３５】
例えば、符号化手段では、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００や、ＭＰＥＧ２等の符号化方式において符号化を行う際に、補正量を符号化データに埋め込むことで、補正映像信号と補正量を対応付ける。
【００３６】
また、請求項４に記載の補正映像信号生成方法は、インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成する補正映像信号生成方法であって、前記画素毎の補正の対象となる補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値をｅｎ及びｅｎ＋１とし、前記補正対象画素の画素値をｏｎとし、前記補正対象画素を補正した補正画素の画素値をｐｎとしたとき、画素位置毎に可変な補正量αｎによって、ｐｎ＝αｎ（ｅｎ＋ｅｎ＋１）／４＋（１−αｎ／２）ｏｎなる演算により、前記画素毎の補正を行った補正映像信号を生成することを特徴とする。
【００３７】
この方法によれば、補正映像信号生成方法は、補正画素の画素値ｐｎを（１−αｎ／２）ｏｎと、αｎｅｎ／４と、αｎｅｎ＋１／４と、を加算して生成する。なお、補正量αｎは、水平方向の櫛状部分を低減するために補正対象画素を補正するときに使用する係数であり、０以上２未満の範囲とする。
【００３８】
この補正量を、０以上２未満の範囲で大きくすることで、補正対象画素の画素値は隣接画素の画素値に近似する方向に作用するため、水平方向の櫛状部分を低減することができる。また、補正量を、０以上２未満の範囲で小さくすることで、水平方向の櫛状部分の低減は少なくなるが、補正画素の画素値は元の補正対象画素の画素値に近づく方向に作用する。
【００３９】
さらに、請求項５に記載の補正映像信号生成プログラムは、インタレース信号として入力される映像信号から、前記映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【００４０】
すなわち、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段、とした。
【００４１】
かかる構成によれば、補正映像信号生成プログラムは、隣接画素演算手段によって、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する。そして、補正映像信号生成プログラムは、対象画素補正手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する。
【００４２】
また、請求項６に記載の補正映像信号復元装置は、インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素から、前記映像信号を復元する補正映像信号復元装置であって、前記補正量と、前記隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段と、を備える構成とした。
【００４３】
かかる構成によれば、補正映像信号復元装置は、隣接画素演算手段によって、補正量と、隣接画素の画素値とに基づいて、補正画素の画素値を復元するための隣接画素補正量を演算し生成する。そして、補正映像信号復元装置は、対象画素復元手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する。
【００４４】
例えば、映像信号における奇数フィールドのライン上の画素を補正画素としたとき、補正画素の画素値から、その補正画素と水平方向の位置が同一で、且つ表示位置において隣接する偶数フィールドにおける２つの隣接画素の画素値を、入力された補正量で定まる比率で減算することで、補正画素を復元した奇数フィールドの画素を生成する。
【００４５】
ここで、補正量をαｎ、補正画素の画素値をｐｎ、２つの隣接画素の画素値をｅｎ及びｅｎ＋１としたとき、補正画素を復元した画素の画素値は、２ｐｎ（２／２−α０）から、αｎ（ｅｎ＋ｅｎ＋１）／（２（２−αｎ））を減算して生成する。
【００４６】
さらに、請求項７に記載の補正映像信号復号装置は、インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素を含んだ補正映像信号を、前記補正量を前記補正画素に対応付けて符号化した補正量埋め込み符号化データを復号する補正映像信号復号装置であって、前記補正量埋め込み符号化データから、前記補正量を抽出して前記補正映像信号を復号する復号手段と、この復号手段で抽出した前記補正量と、前記補正映像信号における隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段と、を備える構成とした。
【００４７】
かかる構成によれば、補正映像信号復号装置は、復号手段によって、補正量埋め込み符号化データから、補正量を抽出して補正映像信号を復号する。
そして、補正映像信号復号装置は、隣接画素演算手段によって、復号手段で抽出した前記補正量と、前記補正映像信号における隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成し、対象画素復元手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する。
【００４８】
例えば、復号手段では、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００や、ＭＰＥＧ２等で復号を行う際に、予めＭｏｔｉｏｎ−ＪＰＥＧ２０００や、ＭＰＥＧ２等の符号化方式によって補正量を埋め込まれた補正量埋め込み符号化データから、補正量を抽出する。これによって、補正映像信号復号装置は、対象画素復元手段により、補正映像信号を復元するときに、その補正映像信号の補正画素に対応する補正量を用いて復元を行う。
【００４９】
また、請求項８に記載の補正映像信号復元方法は、インタレース信号として入力される映像信号において、画素毎の補正の対象となる補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値をｅｎ及びｅｎ＋１とし、前記補正対象画素の画素値をｏｎとし、前記補正対象画素の画素位置毎に、その補正の度合いを示す補正量をαｎとしたとき、前記補正対象画素を補正した補正画素の画素値ｐｎをｐｎ＝αｎ（ｅｎ＋ｅｎ＋１）／４＋（１−αｎ／２）ｏｎなる演算により生成した補正映像信号から、前記映像信号を復元する補正映像信号復元方法であって、画素位置毎に入力される前記補正量αｎと、前記補正画素の画素値ｐｎと、前記補正画素に隣接する前記隣接画素の画素値ｅｎ及びｅｎ＋１とに基づいて、前記補正画素を復元した復元画素の画素値ｑｎをｑｎ＝−αｎ（ｅｎ＋ｅｎ＋１）／（２（２−αｎ））＋２ｐｎ／（２−αｎ）により演算して、前記映像信号を復元することを特徴とする。
【００５０】
この方法によれば、補正映像信号復元方法は、画素位置毎に入力される前記補正量をαｎ、補正画素の画素値をｐｎ、補正画素に隣接する隣接画素の画素値をｅｎ及びｅｎ＋１としたとき、復元画素の画素値ｑｎを、２ｐｎ／（２−αｎ）から、αｎ（ｅｎ＋ｅｎ＋１）／（２（２−αｎ））を減算することで復元する。
【００５１】
さらに、請求項９に記載の補正映像信号復元プログラムは、インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素から、前記映像信号を復元するために、コンピュータを、以下の手段によって機能させる構成とした。
【００５２】
すなわち、前記補正量と、前記隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段、とした。
【００５３】
かかる構成によれば、補正映像信号復元プログラムは、隣接画素演算手段によって、補正量と、隣接画素の画素値とに基づいて、補正画素の画素値を復元するための隣接画素補正量を演算し生成する。そして、補正映像信号復元プログラムは、対象画素復元手段によって、隣接画素演算手段で生成された隣接画素補正量と、補正量とに基づいて、補正画素の画素値を画素毎に復元する。
【００５４】
例えば、映像信号における奇数フィールドのライン上の画素を補正画素としたとき、補正画素の画素値から、その補正画素と水平方向の位置が同一で、且つ表示位置において隣接する偶数フィールドにおける２つの隣接画素の画素値を、入力された補正量で定まる比率で減算することで、補正画素を復元した奇数フィールドの画素を生成する。
【００５５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（第一の実施の形態：補正映像信号生成装置）
図１は、本発明における第一の実施の形態である補正映像信号生成装置１の構成を示すブロック図である。図１に示すように、補正映像信号生成装置１は、インタレース信号として入力される映像信号で、表示位置において垂直方向に隣接する偶数フィールド画素及び奇数フィールド画素と、外部から入力される補正の度合いを示す補正量とに基づいて、映像オブジェクトの動き部分の周辺（エッジ部分）に発生する水平方向の櫛状成分（櫛状歪）を低減するように、映像信号の各画素を補正した補正映像信号を生成するものである。
【００５６】
この補正映像信号生成装置１は、隣接画素演算手段１１と、対象画素補正手段１２と、を備える構成とした。
なお、ここではフレームのフィールドが偶数フィールド（第０フィールド）から始まっているものとする。フィールドの開始を第１フィールドから数える場合は、偶数フィールド及び奇数フィールドを適宜読み替えるものとする。
【００５７】
隣接画素演算手段１１は、遅延部２０（２０ａ）と、加算部２１（２１ａ）と、乗算部２３（２３ｃ）とを備え、入力された映像信号の偶数フィールドの中で垂直方向に隣接し水平方向の位置が同一の画素（偶数フィールド画素）の画素値を加算し、対象画素補正手段１２から出力される補正量αの１／４の値に基づいて、対象画素補正手段１２で使用される隣接画素補正量を生成するものである。この隣接画素演算手段１１で生成された隣接画素補正量は、対象画素補正手段１２へ出力される。また、先に入力された偶数フィールド画素はそのまま外部に出力される。
【００５８】
対象画素補正手段１２は、遅延部２０（２０ｂ，２０ｃ）と、加算部２１（２１ｂ）と、減算部２２（２２ａ）と、乗算部２３（２３ｂ）と、除算部２４（２４ａ，２４ｂ）とを備え、入力された映像信号の奇数フィールド画素を、隣接画素演算手段１１から入力される隣接画素補正量と、外部から入力される補正量とに基づいて、補正を行った奇数フィールド補正画素を生成するものである。
【００５９】
この隣接画素演算手段１１及び対象画素補正手段１２において、遅延部２０は、入力された信号を一旦蓄積し、次の信号が入力された段階で、一旦蓄積した先に入力された信号を出力するものである。例えば、遅延部２０ａは、先に入力された偶数フィールド画素の画素値を一旦蓄積し、次の偶数フィールドの画素が入力された段階で、先に蓄積した画素値を出力する。
【００６０】
また、加算部２１は、入力された２つの信号を加算した新たな信号を生成するものである。例えば、加算部２１ａは、遅延部２０ａから出力される先に入力された偶数フィールド画素の画素値と、次に入力された偶数フィールド画素の画素値とを加算した画素値を出力する。
【００６１】
さらに、減算部２２は、入力された２つの信号の差分を新たな信号として生成するものである。例えば、減算部２２ａは、数値１から除算部２４ｂの出力である補正量αを１／２倍した値（α／２）を減算した（１−α／２）の値を出力する。なお、この減算部２２ａは減算される数を１に固定したものである。
【００６２】
また、乗算部２３は、入力された２つの信号を乗算した新たな信号を生成するものである。例えば、乗算部２３ｂは、遅延部２０ｃから出力される奇数フィールド画素の画素値と、減算部２２ａから出力される（１−α／２）の値とを乗算した値を出力する。
【００６３】
さらにまた、除算部２４は、入力された２つの信号から、一方の信号を他方の信号で除算した信号を生成するものである。例えば、除算部２４ａは、遅延部２０ｂから出力される補正量αを４で除算（１／４の乗算）した値を出力する。なお、この除算部２４ａは除数を４に固定したものである。
【００６４】
［補正映像信号生成装置の動作］
次に、図１及び図６を参照して、補正映像信号生成装置１の動作について説明する。図６は、補正量を可変にした可変係数型のデ・インタレース化処理（図６（ａ））及びリ・インタフェース化処理（図６（ｂ））の動作を模式的に示した模式図である。ここでは、図６（ａ）を参照して説明を行う。
【００６５】
補正映像信号生成装置１は、偶数フィールドｅｆのｎラインめの画素（偶数フィールド画素）の画素値をｅｎ、奇数フィールドｏｆのｎラインめの画素（奇数フィールド画素）の画素値をｏｎ、奇数フィールドｏｆの補正を行った画素（奇数フィールド補正画素）の画素値をｐｎとし、そのときの補正量をαｎとすると、隣接画素演算手段１１及び対象画素補正手段１２によって、ｐｎを下記の（４）式で算出した値として出力する。
【００６６】
ｐｎ＝αｎ（ｅｎ＋ｅｎ＋１）／４＋（１−αｎ／２）ｏｎ　　　…（４）式
【００６７】
例えば、奇数フィールドｏｆの０ラインめの画素に対応する補間フレームｈｆにおける奇数フィールド補正画素の画素値ｐ０は、偶数フィールドｅｆの０ラインめの画素の画素値ｅ０のα０／４倍と、偶数フィールドｅｆの１ラインめの画素の画素値ｅ１のα０／４倍と、奇数フィールドｏｆの０ラインめの画素の画素値ｏ０の（１−α０／２）倍とを加算した値となる。以下、奇数フィールドｏｆの１ラインめ以降の画素の画素値も同様に隣接する偶数フィールドの画素の画素値に基づいて補正される。
【００６８】
なお、（４）式において、（ｅｎ＋ｅｎ＋１）は、隣接画素演算手段１１の加算部２１ａからの出力であり、αｎ（ｅｎ＋ｅｎ＋１）／４は、乗算部２３ａの出力である。また、（１−αｎ／２）ｏｎは、対象画素補正手段１２の乗算部２３ｂの出力であり、ｐｎは、加算部２１ｂから出力されることになる。
【００６９】
また、図６（ａ）において、奇数フィールドｏｆの最終ラインの画素には、隣接する偶数フィールドｅｆの画素が１つしかないため、最終ラインの奇数フィールド補正画素を生成するには、偶数フィールドｅｆの最終ラインの画素に掛かる係数を２倍にして算出することとする。
【００７０】
すなわち、偶数フィールドｅｆの最終ラインの画素値をｅｍ、奇数フィールドｏｆの最終ラインの画素値をｏｍ、奇数フィールドｏｆの補正を行った補間フレームｈｆの画素の画素値をｐｍとし、そのときの補正量をαｍすると、ｐｍは下記の（５）式で算出された値となる。
【００７１】
ｐｍ＝αｍｅｍ／２＋（１−αｍ／２）ｏｍ　　　…（５）式
【００７２】
この場合、隣接画素演算手段１１は、最終ラインを検出するカウンタ部（図示せず）によって最終ラインを検出し、最終ラインを検出したときに、偶数フィールド画素の画素値を加算手段２１ａの２つの入力とすることで、偶数フィールド画素の画素値を２倍にして出力する。
【００７３】
以上、説明したように補正映像信号生成装置１は、インタレース信号として入力される映像信号である奇数フィールド画素を、表示位置において垂直方向に隣接する偶数フィールド画素と、補正量とに基づいて補正を行った奇数フィールド補正画素を生成することができ、補正量を可変にしたデ・インターレス化処理を実現することができる。
【００７４】
なお、補正映像信号生成装置１は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号生成プログラムとして動作させることも可能である。
【００７５】
（第二の実施の形態：補正映像信号生成装置）
次に、図２を参照して、本発明における第二の実施の形態である補正映像信号生成装置１Ｂについて説明する。図２は、補正映像信号生成装置１Ｂを含んだ補正映像信号符号化装置３の構成を示したブロック図である。図２に示すように補正映像信号生成装置１Ｂは、インタレース信号として入力される映像信号から、映像オブジェクトの動き部分の周辺（エッジ部分）に発生する水平方向の櫛状成分（櫛状歪）を低減するように、映像信号の各画素を画素毎に可変な補正量（可変係数）により補正した補正映像信号を生成するものである。なお、図２では、補正映像信号生成装置１Ｂに、補正映像信号生成装置１Ｂで生成される補正映像信号を符号化する符号化手段２を付加した補正映像信号符号化装置３の構成例（第三の実施の形態）を示している。
【００７６】
この補正映像信号生成装置１Ｂは、第一の実施の形態（図１）で説明した補正映像信号生成装置１に、櫛状歪検出手段１０を付加して構成した。
櫛状歪検出手段１０は、歪量検出部１０ａと、補正量変換部１０ｂとを備え、映像信号の水平ライン上の櫛状歪を検出して、その歪を補正するための補正量（可変係数）を生成するものである。
【００７７】
歪量検出部１０ａは、入力された映像信号から、映像信号の垂直方向のナイキスト周波数（垂直方向のサンプリング周波数の１／２の周波数）を最大利得としＤＣ応答が０であるＦＩＲ（有限インパルスレスポンス）型高域フィルタによって櫛状歪を検出し、その櫛状歪の程度を表す量を補正量変換部１０ｂへ出力するものである。
【００７８】
例えば、ＦＩＲ型高域フィルタをｈ（ｙ）、映像信号のフレーム画像の画素位置（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）と表し、Ｉ（ｘ，ｙ）に対してｈ（ｙ）を施した結果のスカラ値をＩ（ｘ，ｙ）＊ｈ（ｙ）（ただし「＊」はＩ（ｘ，ｙ）とｈ（ｙ）の畳み込み和を示す）、Ｉ（ｘ，ｙ）の自乗和の平方根を｜｜Ｉ（ｘ，ｙ）｜｜と表したとき、画素位置（ｘ，ｙ）における櫛状歪の程度を表す歪量β（ｘ，ｙ）を下記の（６）式で演算する。
【００７９】
β（ｘ，ｙ）＝｜Ｉ（ｘ，ｙ）＊ｈ（ｙ）｜／｜｜Ｉ（ｘ，ｙ）｜｜…（６）式
【００８０】
なお、このｈ（ｙ）は、例えば垂直３タップフィルタ｛−１／４，１／２，−１／４｝を使用する。また、この櫛状歪を検出する技術は、本願出願人において「インターレース信号符号化方法及びその装置（特願２００１−０６２５９３）」として開示されている技術を用いて実現することができる。
【００８１】
補正量変換部１０ｂは、歪量検出部１０ａから入力される歪量β（ｘ，ｙ）を、各画素を補正するための補正量に変換して、補正映像信号生成装置１へ出力するものである。また、符号化手段２で補正映像信号を符号化する際には、この補正量を符号化手段２へも出力するものとする。
【００８２】
なお、この補正量変換部１０ｂは、歪量β（ｘ，ｙ）を、０以上２未満の範囲の補正量αに変換する。例えば、補正量α（αｎ）＝０とすると、（４）式においてｐｎ＝ｏｎとなり、デ・インターレス化処理において、補正映像信号は元の映像信号と同じものとなる。補正量α（αｎ）＝１とすると、（４）式においてｐｎ＝（ｅｎ＋ｅｎ＋１）／４＋ｏｎ／２となり、中間的な補正を示すものになる。また、補正量α（αｎ）＝２とすると、（４）式においてｐｎ＝（ｅｎ＋ｅｎ＋１）／２となり、奇数フィールド画素の情報が失われてしまう。このため、補正量αは０以上２未満の範囲とする。
【００８３】
例えば、ｃを定数としたとき、ｃβ（ｘ，ｙ）が下記の（７）式を満たすように制限し、このｃβ（ｘ，ｙ）を補正量αとする。
【００８４】
０≦ｃβ（ｘ，ｙ）＜２　　　…（７）式
【００８５】
この定数ｃは、値が大きい程、補正量が大きくなるため、櫛状歪を低減する効果は大きいが、映像をぼかして動きの滑らかさをなくす方向に働くことになる。また、定数ｃの値が小さい程、補正量が小さくなり、櫛状歪を低減する効果を弱める方向に働くことになる。このため、定数ｃは、映像の性質（動きの多い映像、少ない映像等）や、映像の用途に応じて適宜設定する。
【００８６】
また、例えば、予め閾値Ｔを設定しておいて、β（ｘ，ｙ）が閾値Ｔ未満の場合はα＝０、閾値Ｔ以上の場合はα＝１として２値化した値を補正量αとすることとしてもよい。この閾値Ｔも（７）式で説明した定数ｃと同様に、映像の性質（動きの多い映像、動きの少ない映像等）や、映像の用途に応じて適宜設定する。
【００８７】
このように、補正映像信号生成装置１Ｂを、補正映像信号生成装置１に櫛状歪検出手段１０を付加して構成することで、自動的に櫛状歪を検出してその歪量に基づいて、画素毎の補正量を設定することができるので、映像信号に動いている部分と静止している部分とが混在していても、映像毎に適した補正映像信号を生成することが可能になる。
【００８８】
なお、補正映像信号生成装置１Ｂは、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号生成プログラムとして動作させることも可能である。
【００８９】
（第三の実施の形態：補正映像信号符号化装置）
次に、本発明における第三の実施の形態である補正映像信号符号化装置３について説明する。図２に示すように補正映像信号符号化装置３は、インタレース信号として入力される映像信号から、映像オブジェクトの動き部分の周辺（エッジ部分）に発生する水平方向の櫛状成分（櫛状歪）を低減するように、映像信号の各画素を画素毎に可変な補正量（可変係数）により補正した補正映像信号を生成し、その補正映像信号を符号化する際に補正量を埋め込んだ補正量埋め込み符号化データを生成するものである。
【００９０】
この補正映像信号符号化装置３は、第二の実施の形態で説明した補正映像信号生成装置１Ｂに、符号化手段２を付加して構成した。
符号化手段２は、映像信号符号化部２ａと、補正量埋め込み部２ｂとを備え、補正映像信号生成装置１Ｂで生成される補正映像信号と、補正量とに基づいて、補正映像信号をエントロピ符号化する際に、画素毎の補正量を埋め込んだ補正量埋め込み符号化データを生成するものである。
【００９１】
映像信号符号化部２ａは、補正映像信号生成装置１Ｂで生成される補正映像信号を入力し、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（以下、ＭＪＰ２と略す）や、ＭＰＥＧ２等の一般的な符号化方式によってフレーム単位又はフィールド単位で符号化を行った符号化データを生成するものである。
【００９２】
補正量埋め込み部２ｂは、補正映像信号生成装置１Ｂで生成される補正量を、映像信号符号化部２ａで符号化した符号化データに埋め込んで、補正量埋め込み符号化データとして生成するものである。
【００９３】
例えば、櫛状歪検出手段１０の補正量変換部１０ｂで補正量αを２値化した場合、ＭＪＰ２符号化方式において、補正量を埋め込むためには、ＭＪＰ２で規格化されているＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）符号化を用いて実現することができる。このＲＯＩ符号化は、画像中の選択領域を他の領域よりも優先して符号化を行い、復号時の再生画質を高める機能である。このＲＯＩ符号化で用いられるＲＯＩ選択領域を、補正量α＞０の適用領域として利用することで、補正量のビットマップを埋め込み、符号化することが可能になる。
【００９４】
このように、補正映像信号符号化装置３を、補正映像信号生成装置１Ｂに符号化手段２を付加して構成することで、この補正映像信号符号化装置３で符号化された補正量埋め込み符号化データは、高ビットレートで復号を行う場合、この補正量を用いて元の映像信号を復元することが可能になる。
【００９５】
なお、補正映像信号符号化装置３は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号符号化プログラムとして動作させることも可能である。
【００９６】
（第四の実施の形態：補正映像信号復元装置の構成）
次に、図３を参照して、本発明における第四の実施の形態である補正映像信号復元装置について説明する。図３は補正映像信号復元装置の構成を示すブロック図である。図３に示すように、補正映像信号復元装置５は、補正映像信号生成装置１（図１参照）で生成された補正映像信号及びそこで使用された補正量、又は補正映像信号生成装置１Ｂ（図２参照）で生成された補正映像信号及び補正量に基づいて、補正を行う前の映像信号を復元するものである。
【００９７】
この補正映像信号復元装置５は、隣接画素演算手段１３と、対象画素復元手段１４と、を備える構成とした。
なお、ここではフレームのフィールドが偶数フィールド（第０フィールド）から始まっているものとする。フィールドの開始を第１フィールドから数える場合は、偶数フィールド及び奇数フィールドを適宜読み替えるものとする。
【００９８】
隣接画素演算手段１３は、遅延部２０（２０ｄ）と、加算部２１（２１ｃ）と、乗算部２３（２３ｃ）とを備え、入力された映像信号の偶数フィールドの中で垂直方向に隣接し水平方向の位置が同一の画素（偶数フィールド画素）の画素値を加算し、対象画素復元手段１４から出力される補正量αの１／４の値に基づいて、対象画素復元手段１４で使用される隣接画素補正量を生成するものである。この隣接画素演算手段１３で生成された隣接画素補正量は、対象画素復元手段１４へ出力される。また、先に入力された偶数フィールド画素はそのまま外部に出力される。
【００９９】
対象画素復元手段１４は、遅延部２０（２０ｅ，２０ｆ）と、減算部２２（２２ｂ，２２ｃ）と、除算部２４（２４ｃ，２４ｄ）とを備え、入力された映像信号の奇数フィールド画素（奇数フィールド補正画素）を、隣接画素演算手段１３から入力される隣接画素補正量と、外部から入力される補正量とに基づいて、補正を行う前の奇数フィールド画素を復元するものである。
【０１００】
この隣接画素演算手段１３及び対象画素復元手段１４における遅延部２０、加算部２１、減算部２２、乗算部２３及び除算部２４は、図１で説明したものと同一であるので個々の説明は省略する。
【０１０１】
［補正映像信号復元装置の動作］
次に、図３及び図６（ｂ）を参照して、補正映像信号復元装置５の動作について説明する。図６（ｂ）は、補正量を可変にした可変係数型のリ・インタフェース化処理の動作を模式的に示した模式図である。
【０１０２】
補正映像信号復元装置５は、偶数フィールドのｎラインめの画素（偶数フィールド画素）の画素値をｅｎ、奇数フィールドのｎラインめの画素（奇数フィールド補正画素）の画素値をｐｎ、奇数フィールド補正画素の復元を行った画素（奇数フィールド画素）の画素値をｑｎとし、そのときの補正量をαｎとすると、隣接画素演算手段１３及び対象画素復元手段１４によって、ｑｎを下記の（８）式で算出した値として出力する。
【０１０３】
2004032413.tif 000004
【０１０４】
例えば、奇数フィールドｏｆの０ラインめの画素の画素値ｑ０は、補間フレームｈｆの奇数フィールドの０ラインめの画素の画素値ｐ０の２／（２−α０）倍から、補間フレームｈｆの偶数フィールドの０ラインめの画素の画素値ｅ０のα０／（２（２−α０））倍と、補間フレームｈｆの偶数フィールドの１ラインめの画素の画素値ｅ１のα０／（２（２−α０））倍とを加算した値を減算した値となる。以下、奇数フィールドｏｆの１ラインめ以降の画素の画素値も同様に隣接する偶数フィールドの画素の画素値に基づいて算出される。
なお、補正映像信号復元装置５は、（８）式を変形した下記の（９）式に基づいて動作するように構成したものである。
【０１０５】
2004032413.tif 000005
【０１０６】
この（９）式において、（ｅｎ＋ｅｎ＋１）は隣接画素演算手段１３の加算部２１ｃからの出力であり、αｎ（ｅ０＋ｅｎ＋１）／４は乗算部２３ｃの出力であり、（−（αｎ（ｅ０＋ｅｎ＋１）／４）＋ｐｎ）は対象画素復元手段１４の減算部２２ｃの出力である。そして、ｑｎは除算部２４ｅにおいて、減算部２２ｃの出力を減算部２２ｂの出力である（１−αｎ／２）で除算することで得られる。
【０１０７】
また、図６（ｂ）における映像信号である補間フィールドｈｆの最終ラインの画素は、図６（ａ）における奇数フィールドｏｆの最終ラインの画素と偶数フィールドｅｆの最終ラインの画素との２画素から生成されている。そこで、図６（ｂ）において復元される奇数フィールドｏｆの最終ラインの画素は、補間フレームｈｆにおける最終ラインの１ライン前の画素に掛かる係数を２倍にして算出することとする。
【０１０８】
すなわち、図６（ｂ）の補間フレームｈｆにおける最終ラインの画素の画素値をｑｍ、その１ライン前の画素の画素値をｅｍとし、そのときの補正量をαｍとすると、最終ラインの奇数フィールド補正画素の復元を行った画素の画素値ｑｍは、下記の（１０）式で算出された値となる。
【０１０９】
ｑｍ＝（−αｍｅｍ／２＋ｐｍ）／（１−αｍ／２）　　　…（１０）式
【０１１０】
この場合、隣接画素演算手段１３は、最終ラインを検出するカウンタ部（図示せず）によって最終ラインを検出し、最終ラインを検出したときに、偶数フィールド画素の画素値を加算手段２１ｃの２つの入力とすることで、偶数フィールド画素の画素値を２倍にして出力する。
【０１１１】
ここで、補正映像信号生成装置１（図１参照）で説明した（４）式で生成された奇数フィールド補正画素が、（８）式によって、画素毎に異なる補正量に関らず元の奇数フィールド画素に復元（完全再構成）されることを以下の数式で示す。
（８）式のｐｎに（４）式のｐｎを代入すると、（８）式は下記の（１１）式のように変形することができる。
【０１１２】
2004032413.tif 000006
【０１１３】
この（１１）式に示すように、（４）式で生成された奇数フィールド補正画素の画素値ｑｎは（８）式によって、元の奇数フィールド画素の画素値ｏｎに復元される。
【０１１４】
以上、説明したように補正映像信号復元装置５は、補正映像信号生成装置１（図１参照）で生成された補正映像信号及びそこで使用された補正量、又は補正映像信号生成装置１Ｂ（図２参照）で生成された補正映像信号及び補正量に基づいて、補正を行う前の映像信号を復元するリ・インターレス化処理を実現することができる。
【０１１５】
なお、補正映像信号復元装置５は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号復元プログラムとして動作させることも可能である。
【０１１６】
（第五の実施の形態：補正映像信号復号装置）
次に、図４を参照して、本発明における第五の実施の形態である補正映像信号復号装置６について説明する。図４は、補正映像信号復号装置６の構成を示したブロック図である。図４に示すように補正映像信号復号装置６は、補正映像信号符号化装置３（図２参照）で符号化された補正量埋め込み符号化データを映像信号に復号するものである。
この補正映像信号復号装置６は、第四の実施の形態で説明した補正映像信号復元装置５（図３参照）に、復号手段４を付加して構成した。
【０１１７】
復号手段４は、補正量抽出部４ａと、符号化データ復号部４ｂとを備え、補正映像信号符号化装置３で符号化された補正量埋め込み符号化データから、補正量を抽出するとともに、デ・インタレース化処理によって補正された補正映像信号を復号するものである。
【０１１８】
補正量抽出部４ａは、入力された補正量埋め込み符号化データから画素毎の補正量を抽出するものである。例えば、補正量埋め込み符号化データがＭＪＰ２符号化方式で符号化され、その符号化されたデータの中にＲＯＩ選択領域として、補正量のビットマップが埋め込まれている場合は、その補正量を優先して復号し抽出を行う。この補正量は、補正映像信号復元装置５に出力される。
【０１１９】
符号化データ復号部４ｂは、入力された補正量埋め込み符号化データを、補正映像信号符号化装置３で用いた符号化方式の復号手順に基づいて補正映像信号に復号するもである。例えば、補正量埋め込み符号化データが、ＭＪＰ２で符号化されたデータである場合は、符号化データ復号部４ｂはＭＪＰ２の復号を行うものとする。ＭＪＰ２の復号については、すでに一般的な技術であるのでここでは説明を省略する。ここで復号された補正映像信号は、補正映像信号復元装置５に出力される。
【０１２０】
このように、補正映像信号復号装置６を、補正映像信号復元装置５に、復号手段４を付加して構成することで、補正量埋め込み符号化データから補正を行う前の映像信号を復元することが可能になる。
【０１２１】
以上説明したように、本発明に係る補正映像信号符号化装置３と、補正映像信号復号装置６とを用いて、符号化された映像信号を低ビットレートで復号する場合は、映像オブジェクトのエッジ部分に目障りなちらつき（櫛状歪）を低減し、高ビットレートで復号を行う場合は、元の映像信号を復元することが可能な映像信号伝送システムを構成することが可能になる。
【０１２２】
なお、補正映像信号復号装置６は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号復号プログラムとして動作させることも可能である。
【０１２３】
［映像信号伝送システム］
ここで、図５を参照して、補正映像信号符号化装置３と、補正映像信号復号装置６とを用いて実現した映像信号伝送システム７の構成例について説明する。図５に示すように、映像信号を符号化する側（符号化側）の装置を、補正映像信号生成装置１Ｂと、符号化手段２とを備えた補正映像信号符号化装置３とする。また、符号化された映像信号（補正量埋め込み符号化データ）を復号する側（復号側）の装置は、携帯端末のような低ビットレートで復号を行う低ビットレート復号部ＤＬを備えた装置、あるいは、高ビットレートで復号を行う復号手段４と、補正映像信号復元装置５とを備えた補正映像信号復号装置６とする。
【０１２４】
この映像信号伝送システム７は、補正映像信号符号化装置３によってデ・インタレース化処理を行い補正量を付加した補正量埋め込み符号化データを、図示していない送信装置から通信回線を介して送信したり、図示していない書き込み装置を用いてＤＶＤ等の記録メディアに記録する。
【０１２５】
そして、復号側では、例えば低ビットレートでしか復号できない携帯端末では、低ビットレート復号部ＤＬにおいて、補正量埋め込み符号化データを通常の復号（補正量は無視する）を行うことで、低品質ではあるが映像オブジェクトのエッジ部分に目障りなちらつき（櫛状歪）を低減した映像信号（低品質映像信号）を復号することができる。
【０１２６】
また、高ビットレートで復号を行う装置として、補正映像信号復号装置６を用いることで、補正量埋め込み符号化データは、復号手段４によって、補正映像信号と補正量とに復号され、補正映像信号復元装置５によって、元の映像信号である高品質な映像信号に復元される。
【０１２７】
このように、映像信号伝送システム７では、低ビットレートで映像信号の復号を行う装置に負荷を与えずに櫛状歪を低減することができ、さらに高ビットレートで映像信号の復号を行う装置では、映像信号の完全再構成が可能になる。
【０１２８】
【発明の効果】
以上説明したとおり、本発明に係る補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置では、以下に示す優れた効果を奏する。
【０１２９】
請求項１又は請求項５に記載の発明によれば、補正量を画素毎に可変にすることができ、インタレース信号として入力される映像信号から、静止画部分では補正量を少なくすることで、解像度を保持しつつ、動き部分では補正量を多くすることで、水平方向の櫛状部分（櫛状歪）を抑制した映像信号を生成することが可能になる。
【０１３０】
請求項２に記載の発明によれば、映像信号から自動的に水平方向の櫛状歪量を検出することが可能になり、その検出量（櫛状歪量）に基づいて、自動的に補正量を変化させることで、静止画部分では補正量を少なくし解像度を保持することができ、動き部分では補正量を多くし水平方向の櫛状部分（櫛状歪）を抑制することが可能になる。
【０１３１】
請求項３に記載の発明によれば、完全再構成が可能なデ・インタレース化処理を行った画素毎の補正量を、符号化データに埋め込んだ補正量埋め込み符号化データを生成するので、復号側でその補正量を抽出することで、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【０１３２】
請求項４に記載の発明によれば、完全再構成が可能なデ・インタレース化処理を行うため、高ビットレートで復号を行う装置では、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【０１３３】
請求項６、請求項８又は請求項９に記載の発明によれば、隣接画素によって補正された補正画素を、補正量によって元の画素に復元することができる。これによって、完全再構成が可能なデ・インタレース化処理を行った補正画素と、補正量を入力することで、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【０１３４】
請求項７に記載の発明によれば、デ・インタレース化処理を行った補正映像信号を符号化する際に補正量を埋め込んだ補正量埋め込み符号化データから、補正量を検出することができるので、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る補正映像信号生成装置の構成を示すブロック図である。
【図２】本発明の第二の実施の形態に係る補正映像信号生成装置を含んだ第三の実施の形態に係る補正映像信号符号化装置の構成を示すブロック図である。
【図３】本発明の第四の実施の形態に係る補正映像信号復元装置の構成を示すブロック図である。
【図４】本発明の第五の実施の形態に係る補正映像信号復号装置の構成を示すブロック図である。
【図５】本発明の補正映像信号符号化装置と補正映像信号復号装置とで構成した映像信号伝送システムの構成を示すブロック図である。
【図６】本発明の可変係数型デ・インタレース化処理及び可変係数型リ・インタフェース化処理の動作を模式的に示した模式図である。
【図７】従来の映像信号伝送システムの構成を示すブロック図である。
【図８】従来の固定係数型デ・インタレース化処理及び固定係数型リ・インタフェース化処理の動作を模式的に示した模式図である。
【図９】従来の固定係数型デ・インタレース化処理及び固定係数型リ・インタフェース化処理による映像信号伝送システムの構成を示すブロック図である。
【符号の説明】
１、１Ｂ……補正映像信号生成装置
２……符号化手段
３……補正映像信号符号化装置
４……復号手段
５……補正映像信号復元装置
６……補正映像信号復号装置
１０……櫛状歪検出手段
１１……隣接画素演算手段
１２……対象画素補正手段
１３……隣接画素演算手段
１４……対象画素復元手段
【図１】
2004032413.tif 000007
【図２】
2004032413.tif 000008
【図３】
2004032413.tif 000009
【図４】
2004032413.tif 000010
【図５】
2004032413.tif 000011
【図６】
2004032413.tif 000012
【図７】
2004032413.tif 000013
【図８】
2004032413.tif 000014
【図９】
2004032413.tif 000015