(57)【要約】【課題】簡略な構成で、ＮＴＳＣ形式の画像データの長時間のデジタル記録を可能にする。【解決手段】２個のフィールドで１フレームを構成するインタレース方式のビデオ信号について、記録時には、フレーム単位で１／２のデータを間引いた後、コーデック１６のエンコーダ１４で符号化し圧縮して、ハードディスクドライブ１１に記録する。再生時には、間引いた間隙は、間引かなかったフレームを構成する複数のフィールドの画像信号を、互いに時間的な順序に従って配置しつつ複数回連続して用いて補間する。再生時には、各フィールドの画像信号の重心位置を合わせる重心補正を行う。データを間引いた状態でコーデック１６のエンコーダ１４で符号化し圧縮するため、長時間録画を容易に実現できる。再生時の補間処理では、再生した画像に時間的な戻りが発生せず、動きの滑らかさを確保できる。【選択図】        図１
2004363835.tif 000002
【特許請求の範囲】
【請求項１】
複数のフィールドで１フレームを構成するインタレース方式の画像信号をデータ処理した後に再生する画像信号処理方法であって、
フレーム単位で所定数のデータを間引いた状態でデータ処理を行い、
間引かなかったフレームを構成する複数のフィールドの画像信号について、少なくとも一のフィールドの画像信号を複数回用い、間引いた間隙を補間処理して再生する
ことを特徴とする画像信号処理方法。
【請求項２】
間引いた間隙を補間処理して再生する際には、間引かなかったフレームを構成する複数のフィールドの画像信号について、互いに時間的な順序に従って配置しつつ少なくとも一のフィールドの画像信号を複数回連続して用いる
ことを特徴とする請求項１記載の画像信号処理方法。
【請求項３】
間引いた間隙を補間処理して再生する際には、各フィールドの画像信号の重心位置を合わせる重心補正を行う
ことを特徴とする請求項１または２記載の画像信号処理方法。
【請求項４】
データ処理は、コーデックを用いた圧縮伸張処理及び記録媒体に対する記録出力処理を含む
ことを特徴とする請求項１ないし３いずれか一記載の画像信号処理方法。
【請求項５】
間引かれた画像信号を圧縮するエンコーダと、
圧縮された信号を記録し出力する記録手段と、
出力された信号を伸張するデコーダと、
間引かれたフィールドに対して請求項１ないし４いずれか一記載の補間処理を行う補間手段と
を具備することを特徴とする画像信号記録再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、画像信号を圧縮して記録する画像信号処理方法及び画像信号記録再生装置に関する。
【０００２】
【従来の技術】
従来、例えば、ＮＴＳＣ方式のビデオの画像信号をデジタル機器に記録するデジタル記録の場合、図６に示すように、２：１インタレースの６０フィールドすなわち３０フレーム（３０ｆｐｓ）の画像信号について、コーデック１を用いて、周波数変換、量子化、符号化を行いデータを圧縮した状態で、ＤＶＤやハードディスク（ＨＤＤ）などのメディア２に記録し、また、圧縮したデータを複合化、逆量子化、逆周波数変換して伸張し、画像信号を再現する構成が知られている。そして、データ量を圧縮伸張するコーデック１は、種々の方式が知られているが、例えばＭＰＥＧ２やＭＰＥＧ４などの方式では、予測符号化や動き処理などを行い、高い圧縮率で圧縮が可能になっている。例えば、前フレームあるいは前フィールドのデータとの画像相関が小さいブロックの符号化データのみを伝送し、画像相関が大きいブロックの符号化データは伝送せず、伝送されていないブロックのデータは前フレームもしくは前フィールドのデータで置き換える構成が知られている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特許第２８９７５８５号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、画像の相関を利用し、コーデックの処理で高い圧縮率を実現しようとすると、回路が複雑になり、コストが上昇するとともに、処理時間が大きくなり、リアルタイムの処理が困難になる。さらに、圧縮率を高めるために、周波数帯域を削ると、画質が低下する問題を有している。また、前フレームのデータを用いて置き換えを行うと、フィールド単位では画像に時間的な戻りが発生し、動きの滑らかさが低下する問題を有している。
【０００５】
本発明は、このような点に鑑みなされたもので、画質を良好に保ちつつ、簡略な構成でデータを削減できる画像信号処理方法及び画像信号記録再生装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１記載の画像信号処理方法は、複数のフィールドで１フレームを構成するインタレース方式の画像信号をデータ処理した後に再生する画像信号処理方法であって、フレーム単位で所定数のデータを間引いた状態でデータ処理を行い、間引かなかったフレームを構成する複数のフィールドの画像信号について、少なくとも一のフィールドの画像信号を複数回用い、間引いた間隙を補間処理して再生するものである。
【０００７】
そして、この構成では、データを間引いた状態でデータ処理を行うため、データ処理の際の負荷が軽減される。再生時には、間引かなかったフレームを構成する複数のフィールドの画像信号について、少なくとも一のフィールドの画像信号を複数回用い、間引いた間隙を補間処理して再生する。このようにして、画質を良好に保ちつつ、簡略な構成でデータが削減される。
【０００８】
請求項２記載の画像信号処理方法は、請求項１記載の画像信号処理方法において、間引いた間隙を補間処理して再生する際には、間引かなかったフレームを構成する複数のフィールドの画像信号について、互いに時間的な順序に従って配置しつつ少なくとも一のフィールドの画像信号を複数回連続して用いるものである。
【０００９】
そして、この構成では、再生時の補間処理では、フィールドの画像信号を時間的な順序に従って配置するため、再生した画像に時間的な戻りが発生せず、動きの滑らかさが確保される。
【００１０】
請求項３記載の画像信号処理方法は、請求項１または２記載の画像信号処理方法において、間引いた間隙を補間処理して再生する際には、各フィールドの画像信号の重心位置を合わせる重心補正を行うものである。
【００１１】
そして、この構成では、一のフィールドの画像信号を複数回連続して用いると、画像の重心位置が垂直走査方向に１／２ライン分移動するため、この重心位置を補正することにより、動きの滑らかさが確保される。
【００１２】
請求項４記載の画像信号処理方法は、請求項１ないし３いずれか一記載の画像信号処理方法において、データ処理は、コーデックを用いた圧縮伸張処理及び記録媒体に対する記録出力処理を含むものである。
【００１３】
そして、この構成では、予め画像信号を間引いてからコーデックを用いた圧縮伸張処理及び記録媒体に対する記録処理を行うことにより、圧縮率を低下させて画質の向上が可能になり、あるいは、記録媒体に記録するデータ量を小さくして長時間記録が可能になる。また、再生時には、フィールドの画像信号を時間的な順序に従って配置する補間処理を行うため、再生した画像に時間的な戻りが発生せず、動きの滑らかさが確保される。
【００１４】
請求項５記載の画像信号記録再生装置は、間引かれた画像信号を圧縮するエンコーダと、圧縮された信号を記録し出力する記録手段と、出力された信号を伸張するデコーダと、間引かれたフィールドに対して請求項１ないし４いずれか一記載の補間処理を行う補間手段とを具備するものである。
【００１５】
そして、この構成では、予め画像信号を間引いてからエンコーダで圧縮するため、圧縮率を低下させて画質の向上が可能になり、あるいは、記録媒体に記録するデータ量を小さくして長時間記録が可能になる。さらに、請求項１ないし４いずれか一記載の補間処理を行うため、再生時に時間的な戻りが発生せず、動きの滑らかさが確保される。
【００１６】
【発明の実施の形態】
以下、本発明の画像信号処理方法及び画像信号記録再生装置の一実施の形態を図面を参照して説明する。
【００１７】
図１において、１０は画像信号記録再生装置であり、この画像信号記録再生装置１０は、記録手段としてのハードディスクドライブ１１、間引き手段１２、エンコーダ１４及びデコーダ１５を備えたコーデック１６、及び補間手段１７などを備えたハードディスクレコーダを構成している。そして、この画像信号記録再生装置１０は、記録時には、外部から入力した、あるいは内部のチューナなどからの画像信号であるＮＴＳＣ方式あるいはＰＡＬ方式などのビデオ（ＴＶ）信号が入力され、このビデオ信号を間引き手段１２で間引き、コーデック１６のエンコーダ（Ｅｎｃｏｄｅｒ  符号化器）１４で圧縮して符号化した信号を、ハードディスクドライブ１１に記録する。また、この画像信号記録再生装置１０は、再生時には、ハードディスクドライブ１１から出力された信号について、補間手段１７で補間処理した後、コーデック１６のデコーダ（Ｄｅｃｏｄｅｒ  復合化器）１５で復号化し伸張して、ビデオ信号として再生するようになっている。
【００１８】
また、コーデック１６は、周波数変換、量子化、符号化を行うもので、周波数変換には、例えば、離散ウェーブレット変換（ＤＷＴ）あるいは離散コサイン変換（ＤＣＴ）などを用い、符号化には、算術符号化などを用いる。
【００１９】
次に、入力されたＮＴＳＣ方式のビデオ信号を１／２で間引いて記録再生する動作を説明する。
【００２０】
ＮＴＳＣ方式のビデオ信号は、２：１インタレース方式であり、図２（ａ）に示すように、毎秒３０フレーム（３０ｆｐｓ）の画像信号は、それぞれ奇数フィールド（Ｏ）及び偶数フィールド（Ｅ）の２個のフィールドにより構成されている。そして、この状態では、各フィールドは、１Ｏ，１Ｅ，２Ｏ，２Ｅ，３Ｏ，３Ｅ…というように、正規の時間軸に従って並んでいる。
【００２１】
そして、この画像信号は、まず、間引き手段１２で間引かれる。そして、この例では、図２（ｂ）に示すように、フレーム単位に、一つおき、すなわち、偶数番目のフレームを削除した１／２間引きとした例であり、データ量は単純に約１／２となる。
【００２２】
次いで、この間引いた画像信号を、データ処理する。すなわち、エンコーダ１４で周波数変換、量子化、符号化を行いデータを圧縮し、ハードディスクドライブ１１に記録する。なお、この圧縮は、例えばＪＰＥＧ２０００規格に準じた形式でフィールド単位で行い、すなわち、フィールド毎にファイルが形成される。
【００２３】
そして、この際、予めデータ量が削減されているため、従来と同様の圧縮率であれば、データ量を大きく削減でき、長時間録画が可能になる一方、従来と同様のデータ量とする際には、圧縮率を低くすることができ、各フィールドは良好な画質で記録される。
【００２４】
また、再生時には、ハードディスクドライブ１１から読み出された信号は、まず、補間手段１７で間引いた間隙が補間処理される。この補間処理は、図２（ｃ）に示すように、各フィールドの画像信号を時間軸の戻りが発生しないように互いに時間的な順序に従って配置するとともに、各フィールドの画像信号を複数回連続して用いて間隙を補間するものである。すなわち、本実施の形態では、奇数フィールド（Ｏ）と偶数フィールド（Ｅ）とをそれぞれ２回ずつ連続して配置している。
【００２５】
そして、上記のように配置された各フィールドの画像信号は、デコーダ１５に入力され、復号化され、伸張されて出力された上、ビデオ信号として出力される。
【００２６】
さらに、このデコーダ１５の処理の前に、あるいは、後に、必要に応じて重心補正が行われる。この重心補正は、原フレームでは奇数フィールド（Ｏ）として用いたフィールドを偶数フィールド（Ｅ）として用い、あるいは、原フレームでは偶数フィールド（Ｅ）として用いたフィールドを奇数フィールド（Ｏ）として用いることにより、１／２ライン分縦方向に画像が揺れる現象を防止するためのものである。すなわち、原フレームでは奇数フィールド（Ｏ）として用いたフィールドを偶数フィールド（Ｅ）として用いる場合には、原フィールドによる画像の位置から１／２ライン分画像の位置が下がってしまうため、重心補正として、空間的な上下のフィールドを合成してフィールドを生成して用いる。一方、原フレームでは偶数フィールド（Ｅ）として用いたフィールドを奇数フィールド（Ｏ）として用いる場合には、原フィールドによる画像の位置から１／２ライン分画像の位置が上がってしまうため、重心補正として、空間的な上下のフィールドを合成してフィールドを生成して用いる。
【００２７】
このように、本実施の形態の画像信号処理方法を用いた画像信号記録再生装置１０によれば、ビデオ入力信号のデータを予め間引いた状態でデータ処理を行うため、すなわち圧縮伸張する前に扱うデータ量を予め少なくすることにより、データ処理の際の負荷を軽減できる。すなわち、エンコーダ１４で従来と同様の圧縮率で圧縮すれば、データ量を大きく削減でき、記録時間の延長が可能になり、ＮＴＳＣ形式の画像データの長時間のデジタル記録を可能にできる。一方、従来と同様のデータ量すなわち従来と同様の記録時間とする際には、エンコーダ１４における圧縮率を低くする、すなわちビットレートを上げることができ、各フィールドを良好な画質で記録することができる。
【００２８】
また、上記のように、圧縮率の向上が可能なため、予測符号化や動き処理などを行う必要がなく、ＭＰＥＧ４などに代表されるコーデックに比べ、メモリの削減など回路を簡略化でき、製造コストが削減される。
【００２９】
さらに、再生時の出画方法すなわち補間処理では、各フィールドの画像信号を時間的な順序に従って配置するため、再生した画像に時間的な戻りが発生せず、動きの滑らかさを確保できる。すなわち、図２（ｂ）に示すように、フレーム単位で１／２に間引いたデータを再生する際に、単純にフレーム単位でデータを補うと、奇数フレームから偶数フレームに移行する際に、例えば第１フレームから第２フレームに移行する際に、原第１フレームにおける偶数フィールド（Ｅ）から奇数フィールド（Ｏ）へとの時間的な戻りが発生し、動きの滑らかさが失われる場合がある。これに対して本実施の形態では、各フィールドを互いに時間的な順序に従って配置することにより、時間軸の戻りが発生せず、違和感のない滑らかな動きを確保できる。
【００３０】
また、本実施の形態では、圧縮したデータをデコーダ１５により復号化して伸張する前に、補間手段１７で間引いた間隙を補間処理するため、補間手段１７の処理を軽くして、回路構成を簡略化できる。
【００３１】
また、本実施の形態のように、１／２間引きの場合には、２個の画像データのフレームを交互に記録することが可能になり、２番組の同時録画などを容易に実現できる。
【００３２】
なお、本実施の形態では、実際には３０フィールド分のデータで６０フィールドを表示するため、理論上は動画での滑らかさは低下するが、人間の視覚特性の点からは必ずしも毎秒３０フレームかつ６０フィールドのデータが必要なわけではなく、さらに、表示手段がＣＲＴではなく液晶ディスプレイやプラズマディスプレイなど残像時間が比較的大きい手段では、さらに少ない数のフィールドのデータを用いても実際の動画での滑らかさが極端に低下するわけではなく、むしろ、従来の低レート時での解像度より解像度を高めることにより、画質が良いと認識させることができる。
【００３３】
このようにして、いわば変形シネマ記録とし、従来のコーデックと組み合わせることで、動解像度をできるだけ低下させず、良好な画質を確保しつつ、簡略な構成でデータ量を削減できる。
【００３４】
なお、上記の構成では、１／２間引きとした例を説明したが、この割合に限られず、例えば、１／３間引きあるいは２／３間引きなどとすることができる。
【００３５】
例えば、１／３間引きの場合は、図３（ａ）に示すように、記録時に、３ｎ＋１（但しｎは０及び正の正数）番目のフレームの画像データを残し、他のフレームのフィールドの画像データを削除し、エンコーダ１４の処理前にデータ量を１／３にすることができる。そして、再生時には、図３（ｂ）に示すように、圧縮した各フィールドについて、それぞれ３回ずつ繰り返して使用することにより、時間軸の戻りを発生させずに間隙を補間できる。なお、ＮＴＳＣ方式のビデオ信号においては、この１／３間引きが、実用上の限界になる。すなわち、１／３以上のデータを残さないと、動きの滑らかさが失われ、全体として画質が悪化する。
【００３６】
また、例えば、２／３間引きの場合は、図４（ａ）に示すように、記録時に、３ｎ（但しｎは正の正数）番目のフレームの画像データを削除し、他のフレームの画像データを残すことにより、エンコーダ１４の処理前にデータ量を２／３にすることができる。そして、再生時には、図４（ｂ）に示すように、削除したフレームの直前のフレームの奇数フィールド（Ｏ）と偶数フィールド（Ｅ）とを２回ずつ繰り返して用い、他のフレームのフィールドは通常通り１回ずつ用いることにより、時間軸の戻りを発生させずに間隙を補間できる。
【００３７】
そして、上記の各実施の形態では、各フィールドの画像信号を時間的な順序に従って配置し、再生した画像に時間的な戻りが発生しないようにしたが、必ずしもこの構成に限られず、表示装置の特性などにより時間的な戻りが気にならないような構成では、図５に示すように、１Ｏ，１Ｅ，１Ｏ，１Ｅ，３Ｏ，３Ｅ…というように、フレーム単位で画像データを補間処理することもできる。そして、この構成では、制御が容易で回路の簡略化が可能になり、製造コストの低減が容易になる。さらに、画面の重心が移動しないため、重心補正の処理が不要になり、回路の簡略化が可能になり、製造コストの低減が容易になる。
【００３８】
また、上記の各実施の形態では、ビデオ信号は、３０ｆｐｓのＮＴＳＣ方式について説明したが、２５ｆｐｓのＰＡＬ方式に適用することもでき、あるいは、ビデオ信号以外の画像信号に適用することもできる。
【００３９】
そして、重心補正は、空間的な上下のフィールドを加算してフィールドを生成して用いる他、時間的な前後のフィールドを加算して生成することもできる。
【００４０】
また、補間処理は、デコーダ１５の伸張処理の前に行ったが、圧縮したデータをデコーダ１５により復号化して伸張した後に補間処理を行うこともできる。
【００４１】
そして、記録媒体は、ハードディスクドライブ１１に限られず、カセットテープ、ＤＶＤ、半導体のメモリなどを用いることができる。
【００４２】
さらに、データ処理は、コーデック１６を用いた圧縮伸張処理及び記録媒体に対する記録出力処理としたが、通信などとすることもでき、また、アナログ記録に適用することもできる。
【００４３】
【発明の効果】
請求項１記載の画像信号処理方法によれば、データを間引いた状態でデータ処理を行うため、データ処理の際の負荷を軽減できる。再生時には、間引かなかったフレームを構成する複数のフィールドの画像信号について、少なくとも一のフィールドの画像信号を複数回用い、間引いた間隙を補間処理して再生できる。このようにして、画質を良好に保ちつつ、簡略な構成でデータを削減できる。
【００４４】
請求項２記載の画像信号処理方法によれば、請求項１記載の効果に加え、再生時の補間処理では、フィールドの画像信号を時間的な順序に従って配置するため、再生した画像に時間的な戻りが発生せず、動きの滑らかさが確保される。
【００４５】
請求項３記載の画像信号処理方法によれば、請求項１または２記載の効果に加え、一のフィールドの画像信号を複数回連続して用いると、画像の重心位置が垂直走査方向に１／２ライン分移動するため、この重心位置を補正することにより、動きの滑らかさを確保できる。
【００４６】
請求項４記載の画像信号処理方法によれば、請求項１ないし３いずれか一記載の効果に加え、予め画像信号を間引いてからコーデックを用いた圧縮伸張処理及び記録媒体に対する記録処理を行うことにより、圧縮率を低下させて画質を向上でき、あるいは、記録媒体に記録するデータ量を小さくして長時間記録できる。また、再生時には、フィールドの画像信号を時間的な順序に従って配置する補間処理を行うため、再生した画像に時間的な戻りが発生せず、動きの滑らかさを確保できる。
【００４７】
請求項５記載の画像信号記録再生装置によれば、予め画像信号を間引いてからエンコーダで圧縮するため、圧縮率を低下させて画質を向上でき、あるいは、記録媒体に記録するデータ量を小さくして長時間記録できる。さらに、請求項１ないし４いずれか一記載の補間処理を行うため、再生時に時間的な戻りが発生せず、動きの滑らかさを確保できる。
【図面の簡単な説明】
【図１】本発明の画像信号処理方法を用いた画像信号記録再生装置の一実施の形態を示す一部の構成図である。
【図２】同上画像信号処理方法の動作を示す説明図である。
【図３】同上画像信号処理方法の他の動作を示す説明図である。
【図４】同上画像信号処理方法の他の動作を示す説明図である。
【図５】同上画像信号処理方法の他の動作を示す説明図である。
【図６】従来の画像信号記録再生装置を示す一部の構成図である。
【符号の説明】
１０    画像信号記録再生装置
１１    記録手段としてのハードディスクドライブ
１４    エンコーダ
１５    デコーダ
１６    コーデック
１７    補間手段
【図１】
2004363835.tif 000003
【図２】
2004363835.tif 000004
【図３】
2004363835.tif 000005
【図４】
2004363835.tif 000006
【図５】
2004363835.tif 000007
【図６】
2004363835.tif 000008