(57)【要約】【課題】汎用的なルールに則って符号化を行い、画質劣化を極力抑制しながら長時間記録を可能にする映像信号処理装置、及びこの映像信号処理装置を含む映像信号記録装置を提供する。【解決手段】映像信号処理装置及び映像信号記録装置は、映像信号をＩフレーム、Ｐフレーム、及びＢフレームに割り当て、フレームのデータ又はフレームを構成するブロックごとの動き補償予測差分値を直交変換して符号化する映像信号符号化回路１と、映像信号符号化回路１によって生成されたコードの中でＢフレームに対応するコードを抽出する置き換えコード抽出処理器１８と、置き換えコード抽出処理器１８により抽出されたＢフレームに対応するコードを、抽出されたＢフレームのブロックの動き補償予測差分値をゼロとして符号化したコードと等価なコードに置換するコード置き換え処理器１９とを有する。【選択図】        図２
2006086565.tif 000002
【特許請求の範囲】
【請求項１】
映像信号をＩフレーム、Ｐフレーム、及びＢフレームに割り当て、前記Ｉフレームのデータ、又は、前記Ｐフレーム及びＢフレームを構成するブロックごとの動き補償予測差分値を、直交変換して符号化する映像信号エンコード手段と、
前記Ｂフレームのうちの少なくとも１つ以上のＢフレームのブロックの動き補償予測差分値を強制的にゼロにする動き補償予測差分値切り換え手段と
を有することを特徴とする映像信号処理装置。
【請求項２】
前記動き補償予測差分値切り換え手段がＢフレームのブロックの動き補償予測差分値をそのまま前記映像信号エンコード手段に与える第１のモードと、前記動き補償予測差分値切り換え手段が少なくとも１つ以上のＢフレームのブロックの動き補償予測差分値を強制的にゼロにして前記映像信号エンコード手段に与える第２のモードとのいずれかを選択するモード設定手段をさらに有することを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
映像信号をＩフレーム、Ｐフレーム、及びＢフレームに割り当て、前記Ｉフレームのデータ、又は、前記Ｐフレーム及びＢフレームを構成するブロックごとの動き補償予測差分値を、直交変換して符号化する映像信号エンコード手段と、
前記映像信号エンコード手段によって生成されたコードの中でＢフレームに対応するコードを抽出する置き換えコード抽出処理手段と、
前記置き換えコード抽出処理手段により抽出されたＢフレームのうちの少なくとも１つ以上のＢフレームに対応するコードを、当該Ｂフレームのブロックの動き補償予測差分値をゼロとして符号化したコードと等価なコードに置換するコード置き換え処理手段と
を有することを特徴とする映像信号処理装置。
【請求項４】
映像信号をＩフレーム、Ｐフレーム、及びＢフレームに割り当て、前記Ｉフレームのデータ、又は、前記Ｐフレーム及びＢフレームを構成するブロックごとの動き補償予測差分値を、直交変換して符号化する映像信号エンコード手段と、
前記映像信号エンコード手段によって生成されたコードの中でＢフレームに対応するコードを抽出する置き換えコード抽出処理手段と、
前記置き換えコード抽出処理手段により抽出されたＢフレームのうちの少なくとも１つ以上のＢフレームに対応するコードを、スキップドマクロブロックを用いて変換したコードに置換するコード置き換え処理手段と
を有することを特徴とする映像信号処理装置。
【請求項５】
前記置き換えコード抽出処理手段により抽出されたＢフレームに対応するコードが前記コード置き換え処理手段をそのまま通過する第１のモードと、前記コード置き換え処理手段において前記置き換えコード抽出処理手段により抽出されたＢフレームのうちの少なくとも１つ以上のＢフレームに対応するコードを置換する第２のモードとのいずれかを選択するモード設定手段をさらに有することを特徴とする請求項３又は４のいずれかに記載の映像信号処理装置。
【請求項６】
前記映像信号エンコード手段に入力される映像信号を、フィールドを間引いてプログレッシブ化された映像信号にする間引き手段をさらに有することを特徴とする請求項３から５までのいずれかに記載の映像信号処理装置。
【請求項７】
前記コード置き換え処理手段の出力をパケット化するパケット化処理手段をさらに有することを特徴とする請求項３から６までのいずれかに記載の映像信号処理装置。
【請求項８】
前記映像信号エンコード手段の出力をパケット化する第１のパケット化処理手段と、
前記第１のパケット化処理手段の出力をデパケット化して、前記置き換えコード抽出処理手段及び前記コード置き換え処理手段にデパケット化されたコードを出力するデパケット化処理手段と、
前記コード置き換え処理手段の出力をパケット化する第２のパケット化処理手段と
をさらに有することを特徴とする請求項３から６までのいずれかに記載の映像信号処理装置。
【請求項９】
前記映像信号エンコード手段によって得られた映像データをパケット化する第１のパケット化処理手段と、
音声データをパケット化する第２のパケット化処理手段と、
前記第１のパケット化処理手段からの出力と前記第２のパケット化処理手段からの出力とを多重化する多重化処理手段と、
前記多重化処理手段からの出力から映像データと音声データを分離する分離処理手段と
をさらに有し、
前記分離処理手段により分離された映像データが、前記置き換えコード抽出処理手段と前記コード置き換え処理手段とに入力される
ことを特徴とする請求項３から６までのいずれかに記載の映像信号処理装置。
【請求項１０】
前記コード置き換え処理手段が、ＶＢＶディレイ値を再計算し、再計算されたＶＢＶディレイ値を使ってコードの置き換えを行うことを特徴とする請求項９に記載の映像信号処理装置。
【請求項１１】
請求項１から１０までのいずれかに記載の映像信号処理装置と、
前記映像信号処理装置から出力された圧縮データを記録する記録手段と
を有することを特徴とする映像信号記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号を動き補償予測を用いて映像データに圧縮して符号化する映像信号処理装置、及び、この映像信号処理装置を含む映像信号記録装置に関するものである。
【背景技術】
【０００２】
従来の映像信号記録装置において扱われる映像信号はフレームを単位として構成されている。フレームは、時間の経過に伴い、映像の動き等によって、その内容が変化していくことから、映像信号記録装置は、動き補償予測を行い圧縮することによって映像の冗長性を削減して、記録を行っている。動き補償予測後のデータに対しては、直交変換が行われ、低周波成分から高周波成分までに対しての分布を符号にするＭＰＥＧ符号化方式を利用することで、高能率に符号化される。このときに、動き補償等のフレーム間相関を用いて圧縮するフレームと、フレーム間相関を用いずに独立のフレームとして圧縮するフレームとを、時間軸上で区別して使用している。Ｐフレーム及びＢフレームは、動き補償予測を用いるフレームであり、Ｉフレームは、動き補償予測を用いないフレームである。Ｐフレームは、時間軸上で一方向についてのみ動き補償予測を行うことによって得られたフレームであり、Ｂフレームは、時間軸上で正方向及び負方向の両方について動き補償予測を行うことによって得られたフレームである。これらの種類のフレームパターンは、一般的に、１５フレーム単位で繰り返される。このパターンにおけるフレームの固まりをＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）と言う。図１に示されるように、通常、１つのＧＯＰは、１枚のＩフレームと、４枚のＰフレームと、１０枚のＢフレームとから構成され、エンコードされた状態では、フレームが並び替えられる。
【０００３】
従来の映像信号記録装置においては、このように動き補償予測を用いて高能率な符号化を行っているが、記録媒体の容量は限られているため、長時間記録を行う場合には、圧縮率を上げ、低いビットレートで記録することが行われてきた。しかし、この場合には画質が劣化してしまうため、実質的にビットレートを低くすることには限界があった。
【０００４】
また、従来、ダミーデータで符号を代替することによって、メモリのオーバフローを生じさせることなく、圧縮符号化を行うようにする改善策が提案されている（例えば、特許文献１参照）。これは、可変長符号表の中に「ダミーデータ開始コード」及び「ダミーデータ終了コード」の可変長符号を設けておき、画像符号化装置の出力にダミーデータを挿入するものである。
【０００５】
また、動きベクトルの大きさが予め定められた値よりも小さい場合に、コマ数を下げてエンコードを行う改善策も提案されている（例えば、特許文献２参照）。
【０００６】
【特許文献１】特開平７−１８４１９６号公報（図１、段落００８６−００８９）
【特許文献２】特開平８−１１１８４７号公報（図１及び２、段落００３５−００４４）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上記特許文献１に開示された技術おいては、ダミーデータ開始コード等のように、ＭＰＥＧで決められた以外のコードを使用する必要がある等、汎用性に欠ける符号化を行う必要があり（すなわち、符号化が特殊なものになってしまい）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）プレーヤのように、媒体を交換して再生するような用途では、上記特許文献１に開示された技術を使用できないという問題があった。
【０００８】
また、上記特許文献２に開示された技術においては、ＭＰＥＧにおいて定められたフレームレートに制限があるために、汎用的な符号化手法の中では、長時間化のために実質的にコマ数を削減できないという問題があった。
【０００９】
そこで、本発明は上記したような従来技術の課題を解決するためになされたものであり、その目的は、汎用的なルールに則って符号化を行い、画質劣化を抑制しながら長時間記録を可能にする映像信号処理装置、及びこの映像信号処理装置を含む映像信号記録装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の映像信号処理装置は、映像信号をＩフレーム、Ｐフレーム、及びＢフレームに割り当て、前記Ｉフレームのデータ、又は、前記Ｐフレーム及びＢフレームを構成するブロックごとの動き補償予測差分値を、直交変換して符号化する映像信号エンコード手段と、前記Ｂフレームのうちの少なくとも１つ以上のＢフレームのブロックの動き補償予測差分値を強制的にゼロにする動き補償予測差分値切り換え手段とを有することを特徴としている。
【００１１】
また、本発明の他の映像信号処理装置は、映像信号をＩフレーム、Ｐフレーム、及びＢフレームに割り当て、前記Ｉフレームのデータ、又は、前記Ｐフレーム及びＢフレームを構成するブロックごとの動き補償予測差分値を、直交変換して符号化する映像信号エンコード手段と、前記映像信号エンコード手段によって生成されたコードの中でＢフレームに対応するコードを抽出する置き換えコード抽出処理手段と、前記置き換えコード抽出処理手段により抽出された少なくとも１つ以上のＢフレームに対応するコードを、抽出されたＢフレームのブロックの動き補償予測差分値をゼロとして符号化したコードと等価なコードに置換するコード置き換え処理手段とを有することを特徴としている。
【００１２】
また、本発明のさらに他の映像信号処理装置は、映像信号をＩフレーム、Ｐフレーム、及びＢフレームに割り当て、前記Ｉフレームのデータ、又は、前記Ｐフレーム及びＢフレームを構成するブロックごとの動き補償予測差分値を、直交変換して符号化する映像信号エンコード手段と、前記映像信号エンコード手段によって生成されたコードの中でＢフレームに対応するコードを抽出する置き換えコード抽出処理手段と、前記置き換えコード抽出処理手段により抽出されたＢフレームのうちの少なくとも１つ以上のＢフレームに対応するコードを、スキップドマクロブロックを用いて変換したコードに置換するコード置き換え処理手段とを有することを特徴としている。
【発明の効果】
【００１３】
本発明の映像信号処理装置及び映像信号記録装置は、少なくとも１つ以上のＢフレームのブロックの動き補償予測差分値を強制的にゼロにする動き補償予測差分値切り換え手段、少なくとも１つ以上のＢフレームに対応するコードを、抽出されたＢフレームのブロックの動き補償予測差分値をゼロとして符号化したコードと等価なコードに置換するコード置き換え処理手段、又は、少なくとも１つ以上のＢフレームに対応するコードを、スキップドマクロブロックを用いて変換したコードに置換するコード置き換え処理手段を備えたので、長時間記録を実現することができ、しかも、単にビットレートを低下させることによって長時間記録を実現する場合に比べて画質劣化を少なくすることができるという効果を奏する。
【００１４】
また、本発明の映像信号処理装置及び映像信号記録装置は、汎用的なルールに則って符号化を行っているので、画実劣化を少なくしつつ長時間記録を実現することができるという上記効果に加え、ＤＶＤ等のような交換可能な記録媒体を用いる装置にも適用できるという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
実施の形態１．
図２は、本発明の実施の形態１に係る映像信号処理装置の構成を示すブロック図である。図２に示される映像信号処理装置は、例えば、ＤＶＤレコーダやハードディスクレコーダ等のような映像信号記録装置又は映像信号記録再生装置の一部である。また、図２に示される映像信号処理装置は、例えば、パーソナルコンピュータ等に組み込まれる映像信号処理回路（ソフトウェアによって映像信号処理を実施する場合を含む）であってもよい。
【００１６】
図２に示されるように、実施の形態１に係る映像信号処理装置は、映像信号を圧縮しデータ化する映像信号符号化回路１と、音声信号を圧縮しデータ化する音声信号符号化回路２と、Ｂフレームを検出する置き換えコード抽出処理器１８と、Ｂフレームのコードを置き換えるコード置き換え処理器１９と、コード置き換え処理器１９の出力をパケット化するパケット化処理器２０と、音声信号符号化回路２の出力をパケット化するパケット化処理器２１と、映像データと音声データとを多重化するＡＶ（オーディオ・ビジュアル）多重化処理器２２とを有する。また、図２に示されるように、映像信号符号化回路１は、減算器３と、直交変換器（ＤＣＴ）４と、量子化器（Ｑ）５と、スキャン変換器６と、逆量子化器（Ｑ−１）７と、加算器８と、フレームメモリ９，１０と、フレームメモリコントローラ１１，１２と、正方向動きベクトル抽出器１３と、負方向動きベクトル抽出器１４と、加算器１５と、統計符号化器（ＶＬＣ）１６と、エレメンタリヘッダ処理器１７とを有する。
【００１７】
映像信号符号化回路１は、映像信号を、Ｉフレーム（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ、フレーム内符号化画像）、Ｐフレーム（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ、フレーム間順方向予測符号化画像）、及びＢフレーム（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ、双方向予測符号化画像）に割り当て、Ｉフレームのデータ、又は、Ｐフレーム及びＢフレームを構成するブロックごとの動き補償予測差分値を、直交変換して符号化する。Ｉフレームの符号化時は、映像信号符号化回路１に入力された映像信号は、減算器３による減算処理をされずに、そのまま直交変換器４に出力される。Ｐフレームの符号化時は、映像信号符号化回路１に入力された映像信号から、加算器５から出力された正方向の動き補償予測データのみの信号（即ち、符号化対象フレームより前の、図１におけるＩフレーム又はＰフレームの映像信号）が減算される。Ｂフレームの符号化時は、映像信号符号化回路１に入力された映像信号から、加算器５から出力されたＩフレーム又はＰフレームからの正方向及び負方向の動き補償予測データの信号（即ち、正方向（時間的に、より過去のフレームから現在のフレームへの予測）のフレームと負方向（時間的に、より未来のフレームから現在フレームへの予測）のフレームの動きベクトル分だけシフトされた映像信号の加算分のデータ）が減算される。
【００１８】
したがって、減算器３からは、Ｐフレーム又はＢフレームの符号化時は、動き補償予測差分値が出力され、Ｉフレームの符号化時は、入力された映像信号がそのまま出力される。減算器３の出力は、直交変換器４に入力され、離散コサイン変換（ＤＣＴ）等により、周波数変換される。直交変換器４により変換された係数はそれぞれ、量子化器５により量子化され、視覚的に劣化が目立ちにくいようにデータ化される。量子化器５により量子化されたデータは、スキャン変換器６によりスキャンされ、ゼロの続く個数とゼロでなくなったときの値との組で、統計符号化器１６によって可変長符号化（ＶＬＣ）される。統計符号化器１６によって可変長符号化されたデータは、エレメンタリヘッダ処理器１７によって映像コードのヘッダ処理が施され、圧縮データに加工される。
【００１９】
一方、量子化器５の出力は、動き補償予測をするための動きベクトル抽出を行うために、逆量子化器７によって逆量子化され、加算器８によって動き補償予測されたフレームデータに加えられる。これにより、動きベクトルを求めるための元映像に伸張され、伸張された元映像をフレームメモリコントローラ１１，１２によってフレームメモリ９，１０に蓄える。フレームメモリコントローラ１１，１２及びフレームメモリ９，１０がそれぞれ２つずつ備えられているのは、Ｂフレームの予測を行う際に、正方向及び負方向の動き補償予測を行う必要があるので、それぞれの動きベクトルを求めるためである。正方向予測を行うためのフレームであれば、メモリコントローラ１１によってフレームメモリ９に書き込まれ、負方向予測を行うためのフレームであれば、メモリコントローラ１２によってフレームメモリ１０に書き込まれる。また、正方向の動き補償を行うためには、正方向動きベクトル抽出器１３によって、入力映像とフレームメモリ間で、各ＤＣＴ単位のブロック（マクロブロック）毎にどのくらいずらして減算するのが最も良いかを示すずらし量（すなわち、動きベクトル）を抽出する。一方、負方向の動き補償を行うためには、負方向動きベクトル抽出器１４が用いられる。正方向及び負方向の動きベクトル分だけシフトされた映像は、加算器１５によって平均化され、その出力が動き補償予測の差分をとる減算器３に供給される。
【００２０】
エレメンタリヘッダ処理器１７により映像データとしてのヘッダ処理がされたストリームは、通常モードでは、コード置き換え処理器１９をそのまま通過して、パケット化処理器２０へ入力される。
【００２１】
長時間記録モード（通常モードではないモードであり、図２に示される映像信号処理装置においては、コード置き換え処理器１９による「コード置き換えモード」である。）が設定されているときには、エレメンタリヘッダ処理器１７からの出力ストリームは、置き換えコード抽出処理器１８とコード置き換え処理器１９に供給される。長時間記録モード時は、Ｂフレームのコードを非常に短いコードに置き換えるように動作させるため、置き換えコード抽出処理器１８は、Ｂフレームのストリームを抽出するよう動作する。
【００２２】
ＭＰＥＧでは、フレーム（ピクチャ）のスタートは常に‘０ｘ０００００１００’開始されるので、各フレームの最初の検出は、このコードを抽出することで実現できる。ここで、‘０ｘ’は１６進数表記を意味し、‘０ｘ０００００１００’は１６進数‘０００００１００’を意味する。３２ビットのスタートコードの直後１０ビットは、ＧＯＰ内のピクチャの番号を示す領域に割り当てられているので、無視する。さらに、この１０ビットに後続するデータ３ビットはフレームのタイプを表しているので、この部分を解読すれば、そのフレームが、Ｉフレームであるのか、Ｐフレームであるのか、Ｂフレームであるのかを判別できる。フレームのタイプが‘０ｂ０１１’になっていれば、Ｂフレームであり、それ以外になっていれば、Ｂフレームではないので、一意にＢフレームを同定することができる。ここで、‘０ｂ’は２進数表記を意味し、‘０ｂ０１１’は２進数‘０１１’を意味する。
【００２３】
言い換えれば、置き換えコード抽出処理器１８は、‘０ｘ０００００１００’で始まり、その次の１１ビット目から１３ビット目までが‘０ｂ０１１’になっていて、なおかつ、次に検出される‘０ｘ０００００１００’の直前までをＢフレームのストリームであるとして抽出し、そのストリームの何番目のビット（Ｘ番地とする）から何番目のビット（Ｙ番地とする）までがＢフレームであるかを抽出し、ＸとＹの番地をコード置き換え処理器１９に渡す。コード置き換え処理器１９は、Ｘ番地からＹ番地までのストリームを所定のコードに置き換えるよう動作する。ここで、所定のコードとは、動き補償予測の差分器３の出力（動き補償予測差分値）がゼロになった場合と等価なコードをさす。動き補償予測差分値がゼロになった場合には、そのフレームのコード量は非常に小さなものになるため、データ量が節約され、より長時間の記録が可能になる。
【００２４】
パケット化処理器２０は、コード置き換え処理器１９の出力を受け、タイムスタンプ付与等の処理を行い、１０２４バイト等の長さにパケット化する処理を行う。また、パケット化処理器２１は、音声信号符号化回路２からの出力を受け、パケット化処理器２０と同様に、音声データに対してパケット化処理を行う。ＡＶ多重化処理器２２は、パケット化処理器２０からの圧縮された映像データとパケット化処理器２１からの圧縮された音声データを時間軸多重して、誤り訂正符号等を付与して、ＤＶＤ、ハードディスク、磁気テープ等の情報記録媒体が備えられた記録部へ送信する。記録部においては、情報記録媒体にデータが記録される。
【００２５】
図３は、ＧＯＰ中に占めるＩフレーム、Ｐフレーム、及びＢフレームのデータ量の割合の実験結果を円グラフによって示す図である。通常モード（すなわち、本発明による長時間記録モード以外のモード）の場合には、例えば、ＤＶＤレコーダでは、ＸＰ（高画質）記録モード、ＳＰ（標準画質）記録モード、ＬＰ（２倍時間）記録モード、ＥＰ（３倍時間）記録モード等のビットレートに応じた複数の記録モードがある。図３は、ＥＰ記録モードのときのデータ量の割合を示したものである。
【００２６】
実験の結果、ＧＯＰの平均符号量は、７６６２９バイトであった。このうち、Ｂフレームは、全体の３１％の２３５３０バイトであり、これを動き補償予測差分値をゼロとしたときの最小符号量が、１３８０バイトである。したがって、本発明の長時間記録モードを設定した場合には、２２１５０バイト（＝２３５３０バイト−１３８０バイト）の空き容量が得られる。つまり、約１．４倍（≒７６６２９／（７６６２９−２２１５０））の記録時間が達成できることになる。しかも、このとき、１．４倍の記録時間にすることで、ＩフレームやＰフレームの余分な画質劣化は全くない。例えば、通常モードにおけるＥＰモードで６時間記録できる場合に、通常モードを実施の形態１における長時間記録モード（コード置き換えモード）に切り換えることによって、８．４時間（＝１．４倍×６時間）の記録ができることになる。実施の形態１における長時間記録モードを使用することによって、視感的に、Ｂフレームの動き映像が損なわれるために、通常モードを使用する場合に比べ、映像の動きが若干不自然になるということは生じるが、１フレーム内の画質劣化は通常モードにおけるＥＰモードの場合と全く変わりなく、８時間超の記録時間が達成できる利点がある。
【００２７】
図４は、実施の形態１に係る映像信号処理装置が組み込まれた映像信号記録装置において長時間記録モードを設定する手順を示す図である。図４に示されるように、長時間記録モードにするためには、ユーザインターフェイスにて、モード設定する。実施の形態１の長時間記録モードを持つ映像信号記録装置（レコーダ）２３に赤外線受光部２５を設け、リモコン２４を用いて、映像信号記録装置２３に接続されたテレビ画面上から、本発明による長時間記録モード（ＵＰ）の表示２６を選択するためのボタン操作をする。このような簡単な操作によって、長時間記録モードで記録することが設定できる。図４は、実施の形態１として説明したが、後述の実施の形態２及び３においても同様の設定ができる。なお、長時間記録モードの設定方法は、図４に示された手順に限定されない。
【００２８】
上記説明においては、本発明による長時間記録モードが選択されたときに、Ｂフレームのコードを置き換える動作の説明を行ったが、Ｂフレームのときには、差分器３の出力をゼロに固定するという方式を採用しても良い。図５は、本発明の実施の形態１に係る映像信号処理装置の変形例の構成を示すブロック図である。図５において、図２に示される構成と同一又は対応する構成には同じ符号を付す。図５に示される映像信号処理装置は、少なくとも１つ以上のＢフレームのブロックの動き補償予測差分値（すなわち、映像信号符号化器１ａの差分器３の出力）を強制的にゼロにする動き補償予測差分値切り換え器４０を備えている点、及び、書き換えコード抽出処理器１８とコード置き換え処理器１９を備えていない点が、図２に示される映像信号処理装置と相違する。図５に示される映像信号処理装置によれば、図２に示される映像信号処理装置の場合と同様に、画質の劣化を極力抑制しつつ、長時間記録を実現できる。
【００２９】
図６は、実施の形態１に係る映像信号処理装置において長時間記録モードを実現するための置き換えコードの概念を示す図である。図６は、実施の形態１におけるコード置き換え処理器の置き換え動作について、別の形態で置き換えることを説明したものである。ＢフレームやＰフレームでは、マクロブロックが順に符号化されているが、ＮＴＳＣやＰＡＬ等の映像信号は、画面水平方向に７２０画素存在し、このため、マクロブロックは４５個（＝７２０÷１６）存在する。この４５個のマクロブロック（第１乃至第４５マクロブロック）が集まったものをスライスと呼ぶ。スライス内では、図６に示されるように、マクロブロックの符号化をスキップすることが許容されており、このような符号はスキップドマクロブロックと称されている。通常は、１マクロブロック毎にエンコードしなければならないが、スキップドマクロブロックは、まとめて符号化することができる。
【００３０】
図７は、実施の形態１に係る映像信号処理装置における１スライス分のデータを具体的に説明するための図である。図７は、５バイトで１スライス分のデータをコード化した場合を示している。動きベクトルとしてその最短コードであるゼロを表す可変長符号として１を割り当て、マクロブロックエスケープコードを動きベクトルの次に配置し、一気にマクロブロックアドレスを３３進めることをコーディングしている。さらに、マクロブロックアドレスインクリメント値を１０に設定するようなコード配列にして、合計４３マクロブロックのアドレスが一気にインクリメントされるようにし、かつ、第１マクロブロックと第４５マクロブロックのタイプを表すコードとして非符号化を表すコードを割り当てることによって、最小コードを得ている。図７は、実施の形態１として説明したが、後述の実施の形態２及び３において同様の設定ができる。
【００３１】
上記したような符号化を行う場合、再生時に、伸張を行う復号化処理を実施した後に、フィールドの動きがジャーキネス（動作が、ぎくしゃくして見える現象）として見えてしまうため、図８に示すようなフィールドの間引き処理を加えても良い。図９は、本発明の実施の形態１に係る映像信号処理装置において間引き処理を行う構成を示すブロック図である。図９において、図２に示される構成と同一又は対応する構成には同じ符号を付す。図９において、間引き処理器４１は、入力された映像信号を、フィールドを間引いてプログレッシブ化された映像信号にして、映像信号符号化回路１ｂに入力する。ＤＶＤではフィールドの間引き処理を行う場合は、水平方向も間引くことが決められているので、ＮＴＳＣの場合、水平３５２画素、垂直２４０画素になるように間引き処理を行う。この間引き処理を行う前には、ローパスフィルタ（ＬＰＦ）でエリアジング（ａｌｉａｓｉｎｇ）対策を施す。また、水平３５２画素になるよう間引くことで、１スライスに含まれるマクロブロック数は、２２個（＝３５２÷１６）になるため、マクロブロックエスケープを用いるまでもなく、マクロブロックアドレスインクリメントを‘０ｂ０００１０１００’とすれば、第１マクロブロックと第２２マクロブロックのみを非符号化タイプに割り当てればよい。このとき、１スライスに割り当てる符号量は４バイトになる。スライススタートコードは４バイトであり、ピクチャヘッダ並びにピクチャ拡張ヘッダは１８バイトであるから、
７２０画素×４８０画素の場合のＢフレームの最短コード長は、
１８＋３０×（５＋４）＝２８８バイト
であり、３５２画素×２４０画素の場合のＢフレームの最短コード長は、
１８＋１５×（４＋４）＝１３８バイト
である。
【００３２】
エンコードの回路形態によっては、動き補償予測差分値を強制的にゼロにしても、上記したようなスキップドマクロブロックを用いないものもあり、最短化する上では、このようなコードストリームで置き換える方法を採用した場合の方が、最も効率のよいエンコード結果を得ることができる。なお、図８は実施の形態１として説明したが、後述の実施の形態２及び３においても同様の設定ができる。
【００３３】
実施の形態２．
図１０は、本発明の実施の形態２に係る映像信号処理装置の構成を示すブロック図である。図１０において、図２に示される構成と同一又は対応する構成には同じ符号を付す。図１０に示される映像信号処理装置は、映像信号符号化回路１ｃにおけるエレメンタリヘッダ処理器１７の出力をパケット化するパケット化処理器２０ａと、パケット化処理器２０ａの出力をデパケット化して、置き換えコード抽出処理器１８及びコード置き換え処理器１９にデパケット化されたコードを出力するデパケット化処理器２７と、コード置き換え処理器１９の出力をパケット化する再パケット化処理器２８とを有する点が、図２に示される映像信号処理装置と相違する。図１０に示される映像信号処理装置によれば、図２に示される映像信号処理装置の場合と同様に、画質の劣化を極力抑制しつつ、長時間記録を実現できる。
【００３４】
エレメンタリヘッダ処理器１７からは、ヘッダが付与された圧縮映像データが出力される。パケット化処理器２０は、エレメンタリヘッダ処理器１７からの出力データにタイムスタンプ等を付与して、固定長のパケットにする。ＬＳＩ等の構成によっては、パケット化処理を行った信号を出力している場合があり、実施の形態２は、そのような場合に対応したものである。パケット化処理器２０によりパケット化されたデータがＬＳＩから出力される場合は、Ｂフレームを短いコードに置き換えるために、パケットをはずすデパケット化処理がデパケット処理器２７にて施される。なお、この出力データに対して、通常モード（本発明による長時間モード以外のモード）では、デパケット処理器２７、コード置き換え処理器１９、及び再パケット化処理器２８による処理は行われず、信号はそのまま通過する。
【００３５】
長時間記録モードが設定されているときには、デパケット処理器２７の出力ストリームは、置き換えコード抽出処理器１８とコード置き換え処理器１９に供給される。長時間記録モード時は、Ｂフレームのコードを非常に短いコードに置き換えるように動作させるため、置き換えコード抽出処理器１８は、Ｂフレームのストリームを抽出するよう動作する。
【００３６】
ＭＰＥＧでは、フレーム（ピクチャ）のスタートは常に‘０ｘ０００００１００’で開始されるので、各フレームの最初の検出は、このコードを抽出することで実現できる。３２ビットのスタートコードの直後１０ビットは、ＧＯＰ内のピクチャの番号を示す領域に割り当てられているので、無視する。さらに、この１０ビットに後続するデータ３ビットでフレームのタイプを表しているので、この部分を解読すれば、そのフレームが、Ｉフレームであるのか、Ｐフレームであるのか、Ｂフレームであるのかを判別できる。フレームタイプが‘０ｂ０１１’になっていれば、Ｂフレームであり、それ以外になっていればＢフレームではないので、一意にＢフレームを同定することができる。
【００３７】
言い換えれば、置き換えコード抽出処理器１８は、‘０ｘ０００００１００’で始まり、その次の１１ビット目から１３ビット目までが‘０ｂ０１１’になっていて、なおかつ、次のコード‘０ｘ０００００１００’の直前までをＢフレームのストリームであるとして抽出し、そのストリームの何番目のビット（Ｘ番地とする）から何番目のビット（Ｙ番地とする）までがＢフレームであるかを抽出し、ＸとＹの番地をコード置き換え処理器１９に渡す。コード置き換え処理器１９は、Ｘ番地からＹ番地までのストリームを所定のコードに置き換えるよう動作する。ここで、所定のコードとは、動き補償予測の差分器３の出力（動き補償予測差分値）がゼロになった場合と等価なコードをさす。動き補償予測差分値がゼロになった場合には、そのフレームのコード量は非常に小さなものになるため、データ量が節約され、より長時間の記録が可能になる。再パケット化処理器２８は、この長時間記録モードのとき、コード置き換え処理器１９の出力を受け、タイムスタンプ付与等の処理を行い、１０２４バイト等の長さにパケット化する処理を行う。
【００３８】
再パケット化処理器２８は、コード置き換え処理器１９の出力を受け、タイムスタンプ付与等の処理を行い、１０２４バイト等の長さにパケット化する処理を行う。また、パケット化処理器２１は、音声信号符号化回路２からの出力を受け、パケット化処理器２０と同様に、音声データに対してパケット化処理を行う。ＡＶ多重化処理器２２は、再パケット化処理器２８からの圧縮された映像データとパケット化処理器２１からの圧縮された音声データを時間軸多重して、誤り訂正符号等を付与して、ＤＶＤ、ハードディスク、磁気テープ等の情報記録媒体が備えられた記録部へ送信する。記録部においては、情報記録媒体にデータが記録される。
【００３９】
実施の形態２においては、以上のように信号を処理するので、ＬＳＩ等が、パケット化処理まで行う回路構成では、長時間記録を行うことができる最適の形態となる。このようなＬＳＩは、コスト面で効率的な構成となる。
【００４０】
また、実施の形態２において、上記以外の点は、実施の形態１の場合と同じである。
【００４１】
実施の形態３．
図１１は、本発明の実施の形態３に係る映像信号処理装置の構成を示すブロック図である。図１１において、図２に示される構成と同一又は対応する構成には同じ符号を付す。図１１に示される映像信号処理装置においては、符号化回路２９が、エレメンタリヘッダ処理器２９から出力された映像データのパケット化処理を行うパケット化処理器２０と、音声信号符号化回路２と、音声信号符号化回路２から出力された音声データのパケット化処理を行うパケット化手段２１と、パケット化された映像信号と音声信号を多重化するＡＶ多重化処理器２２とを有する点、並びに、ＡＶ多重化処理器２２の出力信号から映像信号と音声信号を分離するＡＶ分離処理器３０と、デパケット化処理器２７と、再パケット化処理器２８と、ＡＶ多重化処理器３１とを有する点が、図２に示される実施の形態１の映像信号処理装置と相違する。図１１に示される映像信号処理装置によれば、図２に示される映像信号処理装置の場合と同様に、画質の劣化を極力抑制しつつ、長時間記録を実現できる。
【００４２】
実施の形態３においては、圧縮された映像と音声を多重化したデータが、ＡＶ多重化処理器２２から出力され、ＡＶ分離処理器３０により分離される。長時間記録モードにおいては、ＡＶ分離処理器３０にて、符号化回路２９の出力データから映像のパケットを抽出する。パケット抽出された映像パケットは、デパケット処理器２７にてＢフレームを短いコードに置き換えるために、パケットをはずすデパケット処理が施される。この出力データに対して、デパケット処理器２７の出力ストリームは、置き換えコード抽出処理器１８とコード置き換え処理器１９に供給される。長時間記録モード時は、Ｂフレームのコードを非常に短いコードに置き換えるように動作させるため、置き換えコード抽出処理器１８はＢフレームのストリームを抽出するよう動作する。
【００４３】
ＭＰＥＧでは、フレーム（ピクチャ）のスタートは常に‘０ｘ０００００１００’で開始されるので、各フレームの最初の検出は、このコードを抽出することで実現できる。３２ビットのスタートコードの直後１０ビットは、ＧＯＰ内のピクチャの番号を示す領域に割り当てられているので、無視する。さらに、この１０ビットに後続するデータ３ビットでフレームのタイプを表しているので、この部分を解読すれば、そのフレームが、Ｉフレームであるのか、Ｐフレームであるのか、Ｂフレームであるのかを判別できる。フレームタイプが‘０ｂ０１１’になっていれば、Ｂフレームであり、それ以外になっていればＢフレームではないので、一意にＢフレームを同定することができる。
【００４４】
言い換えれば、置き換えコード抽出処理器１８は、‘０ｘ０００００１００’で始まり、その次の１１ビット目から１３ビット目までが‘０ｂ０１１’になっていて、なおかつ、次のコード‘０ｘ０００００１００’の直前までをＢフレームのストリームであるとして抽出し、そのストリームの何番目のビット（Ｘ番地とする）から何番目のビット（Ｙ番地とする）までがＢフレームであるかを抽出し、ＸとＹの番地をコード置き換え処理器１９に渡す。コード置き換え処理器１９は、Ｘ番地からＹ番地までのストリームを所定のコードに置き換えるよう動作する。ここで、所定のコードとは、動き補償予測の差分器３の出力（動き補償予測差分値）がゼロになった場合と等価なコードをさす。動き補償予測差分値がゼロになった場合には、そのフレームのコード量は非常に小さなものになるため、データ量が節約され、より長時間の記録が可能になる。
【００４５】
再パケット化処理器２８は、この長時間記録モードのとき、コード置き換え処理器１９の出力を受け、タイムスタンプ付与等の処理を行い、１０２４バイト等の長さにパケット化する処理を行う。一方、オーディオである音声データのパケットはＡＶ分離処理器３０にて出力されているので、再パケット化された映像データと、ＡＶ再多重化処理器３１にて、時間軸多重して、誤り訂正符号等を付与して、記録処理が施される。通常モード時は、データは、ＡＶ分離処理器３０、デパケット処理器２７、コード置き換え処理器１９、再パケット化処理器２８、及びＡＶ再多重処理器３１をそのまま通過するよう動作する。
【００４６】
実施の形態３においては、以上のように信号を処理するので、ＬＳＩ等が、パケット化処理まで行う回路構成では、長時間記録を行うことができる最適の形態となる。このようなＬＳＩは、コスト面で効率的な構成となる。
【００４７】
次に、長時間記録モードでコードの置き換え処理を行う場合のＶＢＶ（Ｖｉｄｅｏ  Ｂｕｆｆｅｒｉｎｇ  Ｖｅｒｉｆｉｅｒ）ディレイ値の導出方法について説明する。ＶＢＶディレイ値は、その圧縮データが再生伸張時にバッファ破綻なくデコードできるための処理タイミングを表しており、ＶＢＶバッファの推移を決定する値である。
【００４８】
図１２（ａ）が通常モードでの記録時の仮想デコーダのＶＢＶバッファの推移を示した図であり、図１２（ｂ）が長時間記録モードでの記録時における仮想デコーダのＶＢＶバッファの推移を示した図である。図１２（ａ）及び（ｂ）において、横軸は時間、縦軸はＶＢＶバッファの占有量を示し、実線がＶＢＶバッファの遷移を示している。図１２（ａ）におけるＶＢＶバッファの実線の傾きａＮが通常モードの記録における再生ストリームの転送レートを表している。先頭のＩピクチャは転送レートａＮでＶＢＶバッファに充填が行われ、ＶＢＶディレイ値で示されるτＮ０時間後にデコードが開始される。そのときＩピクチャのデータ量であるｄＮ０がＶＢＶバッファから抜き去られる。次のピクチャは先頭ピクチャの充填が完了し次第すぐに充填が開始され、同じくτＮ１時間後にデータ量ｄＮ１がＶＢＶバッファから抜き去られる。
【００４９】
このとき隣接するピクチャの充填開始時間の差ＸＮ０は
ＸＮ０＝τＮ０＋Δｆ−τＮ１
で表される。ここで、Δｆは表示フレームの間隔であり、ＮＴＳＣでは１／２９．９７である。また、転送レートａＮと符号量ｄＮ０との間には
ｄＮ０＝ａＮ・ＸＮ１
関係がある。
【００５０】
一方、図１２（ｂ）に示される長時間記録ストリームについても上記通常ストリームと同じ関係がある。つまり、
ＸＴ０＝τＴ０＋Δｆ−τＴ１
ｄＴ０＝ａＴ・ＸＴ１
である。ここで、ＸＴ０は長時間記録ストリームの先頭Ｉピクチャと次のピクチャの充填開始時間の差、ＸＴ１は長時間記録ストリームの２番目のピクチャと３番目のピクチャの充填開始時間の差、τＴ０は長時間記録ストリームの先頭ＩピクチャのＶＢＶディレイ値、τＴ１は長時間記録ストリームの２番目のピクチャのＶＢＶディレイ値、ｄＴ０は長時間記録ストリームの先頭Ｉピクチャのデータ量、ａＴは長時間記録ストリームの転送レートである。さらに、通常ストリームと長時間記録ストリームの間において、先頭のＶＢＶバッファの充填量を同じと仮定すると
ａＮ・τ０＝ａＴ・τＴ０
の関係が導かれる。
【００５１】
これは図１２（ａ）及び（ｂ）において破線で示す内容である。以上より、長時間記録ストリームのＶＢＶディレイ値は
τＴ０＝ａＮ／ａＴ・τ０
τＴ１＝τＴ０−ｄＴ０／ａＴ＋Δｆ
τＴ２＝τＴ１−ｄＴ１／ａＴ＋Δｆ
の関係が導かれる。すなわち、通常ストリームの転送レートａＮ、長時間記録ストリームの転送レートａＴ、長時間記録ストリームにおける先頭ピクチャのＶＢＶディレイ値τ０から、長時間記録ストリームのＶＢＶディレイ値を求めることができる。以上より、一般的にＶＢＶディレイ値を求めるときのようにＶＢＶバッファの遷移をシミュレートすることによってＶＢＶディレイ値を求めるのではなく、上記簡単な算術計算によって長時間記録ストリームのＶＢＶディレイ値を求めることができる。
【００５２】
上記では長時間記録ストリームのＶＢＶディレイ値を計算によって導出する方法を示したが、すべてのＶＢＶディレイ値を固定値‘０ｘＦＦＦＦ’に置き換えることによっても長時間記録ストリームを構成することができる。ＶＢＶディレイ値が‘０ｘＦＦＦＦ’であることは、ストリームがＶＢＲ（Ｖａｒｉａｂｌｅ  Ｂｉｔ  Ｒａｔｅ）であることを示す値である。一方、ＶＢＶディレイ値として‘０ｘＦＦＦＦ’以外の値が入っている場合はＣＢＲ（Ｃｏｎｓｔａｎｔ  Ｂｉｔ  Ｒａｔｅ）を示す。ＭＰＥＧ−２では、ＣＢＲはＶＢＲの特殊な形態と定義されているため、生成した特殊再生ストリームをＶＢＲに設定することについて何ら問題はない。この場合、ＶＢＶディレイ値に関する計算処理が全く必要なく、データの置き換えだけで済むのでさらに高速な処理が可能になる。
【００５３】
なお、図１２（ａ）及び（ｂ）に関する説明は実施の形態３として説明したが、上記実施の形態１及び２でも同様の設定ができる。
【００５４】
また、実施の形態３において、上記以外の点は、実施の形態１又は２の場合と同じである。
【図面の簡単な説明】
【００５５】
【図１】ＭＰＥＧにおけるＧＯＰの構造を示す図である。
【図２】本発明の実施の形態１に係る映像信号処理装置の構成を示すブロック図である。
【図３】ＧＯＰ中に占めるＩフレーム、Ｐフレーム、及びＢフレームのデータ量の割合の実験結果を円グラフによって示す図である。
【図４】実施の形態１乃至３に係る映像信号処理装置において長時間記録モードを設定する手順を示す図である。
【図５】本発明の実施の形態１に係る映像信号処理装置の変形例の構成を示すブロック図である。
【図６】実施の形態１乃至３に係る映像信号処理装置において長時間記録モードを実現するための置き換えコードの概念を示す図である。
【図７】実施の形態１乃至３に係る映像信号処理装置における１スライス分のデータを具体的に説明するための図である。
【図８】実施の形態１乃至３に係る映像信号処理装置におけるフィールドの間引き処理を説明するための図である。
【図９】本発明の実施の形態１に係る映像信号処理装置の他の変形例の構成を示すブロック図である。
【図１０】本発明の実施の形態２に係る映像信号処理装置の構成を示すブロック図である。
【図１１】本発明の実施の形態３に係る映像信号処理装置の構成を示すブロック図である。
【図１２】実施の形態１乃至３に係る映像信号処理装置におけるＶＢＶディレイ値の計算法を説明するための図である。
【符号の説明】
【００５６】
１，１ａ，１ｂ，１ｃ  映像信号符号化回路、  ２  音声信号符号化回路、  ３  減算器、  ４  直交変換器（ＤＣＴ）、  ５  量子化器（Ｑ）、  ６  スキャン変換器、  ７  逆量子化器（Ｑ−１）、  ８  加算器、  ９，１０  フレームメモリ、  １１，１２  フレームメモリコントローラ、  １３  正方向動きベクトル抽出器、  １４  負方向動きベクトル抽出器、  １５  加算器、  １６  統計符号化器（ＶＬＣ）、  １７  エレメンタリヘッダ処理器、  １８  置き換えコード抽出処理器、  １９  コード置き換え処理器、  ２０，２１  パケット化処理器、  ２２  ＡＶ多重化処理器、  ２３  映像信号記録装置（レコーダ）、  ２４  リモコン、  ２５  映像信号記録装置の受光部、  ２６  長時間記録モードを表すボタン表示、  ２７  デパケット化処理器、  ２８  再パケット化処理器、  ２９  符号化回路、  ３０  ＡＶ分離処理器、  ３１  ＡＶ再多重化処理器、  ４０  動き補償予測差分値切り換え器、  ４１  間引き処理器。
【図１】
2006086565.tif 000003
【図２】
2006086565.tif 000004
【図３】
2006086565.tif 000005
【図４】
2006086565.tif 000006
【図５】
2006086565.tif 000007
【図６】
2006086565.tif 000008
【図７】
2006086565.tif 000009
【図８】
2006086565.tif 000010
【図９】
2006086565.tif 000011
【図１０】
2006086565.tif 000012
【図１１】
2006086565.tif 000013
【図１２】
2006086565.tif 000014