(57)【要約】【課題】  ロッシー型の圧縮が行われた映像信号を、さらにロスレス圧縮することが可能な映像信号の圧縮方法を提供する。【解決手段】  ロッシー（非可逆）型の圧縮が行われた映像信号を構成する圧縮フレームの各ブロックを符号化対象ブロックとして、直前ブロック、直前ラインブロック、直前フレームブロックの３つの参照ブロックと照合し、最も相関の高い参照ブロックとの一致バイト数に応じて、符号化対象ブロックの記録形式を変更する。例えば、符号化対象ブロックが９Ｆ（１５，２）の場合、直前ブロックは９Ｆ（１４，２）、直前ラインブロックは９Ｆ（１５，１）、直前フレームブロックは、直前フレームの同一位置におけるブロックとなる。【選択図】  図１
2005064638.tif 000002
【特許請求の範囲】
【請求項１】
時系列に連続したフレームがロッシー型手法で圧縮された圧縮フレームで構成される映像信号に対して、前記圧縮フレームを再現できるように情報量を圧縮する方法であって、
前記圧縮フレーム内において、画素をブロック化した各画素ブロックを符号化対象ブロックとして、当該各符号化対象ブロックに対して、走査線方向に直前に位置する画素ブロックである直前ブロック、走査線方向と垂直な方向において直前に位置する画素ブロックである直前ラインブロック、直前フレームの同一箇所に位置する画素ブロックである直前フレームブロックの３つの参照ブロックと照合を行い、最も相関性の高い参照ブロックを選出する参照ブロック選出段階と、
前記選出された参照ブロックと符号化対象ブロックとの相関性として、完全一致、相関度大、相関度小の３種より判別する相関性判定段階と、
前記符号化対象ブロックの出力データとして、前記相関性が完全一致の場合は、前記選出された参照ブロックの識別ＩＤを出力し、前記相関性が相関度大の場合は、前記選出された参照ブロックの識別ＩＤと、前記選出された参照ブロックと前記符号化対象ブロック内の一致データのブロック内における位置を示すマスクデータと、前記参照ブロックと一致しない符号化対象ブロック内のデータを出力し、前記相関性が相関度小の場合は前記符号化対象ブロック内の一致データおよび不一致データを出力するブロック符号化段階と、
を有することを特徴とする映像信号の圧縮方法。
【請求項２】
前記参照ブロック選出段階は、映像信号に含まれる画素ブロック以外の各制御ブロックに対して、前記走査線方向と垂直な方向において直前に位置する制御ブロックである直前ライン制御ブロック、直前フレームの同一箇所に位置する制御ブロックである直前フレーム制御ブロックの２つの参照ブロックと照合を行い、最も相関性の高い参照ブロックをさらに選出するものであることを特徴とする請求項１に記載の映像信号の圧縮方法。
【請求項３】
前記映像信号がＤＶまたはＤＶＣＡＭ方式で圧縮されたもので、前記画素ブロックは８０バイト固定長のデータで、圧縮前の原画像における８×８画素で構成される離散コサイン変換の６符号単位分に対応し、ＮＴＳＣ仕様フレームあたり１３５０符号単位に対して処理されて得られたものであることを特徴とする請求項１に記載の映像信号の圧縮方法。
【請求項４】
与えられた映像信号に対して、請求項１から請求項３に記載の方法のいずれかにより得られた符号データを記録した映像信号の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、業務用または民生用ビデオカメラ映像の保存と伝送、コンピュータにビデオ映像をキャプチャして映像制作を行うノンリニア映像制作におけるマスター素材の保存と伝送、電子カルテや遠隔医療における医用動画像の保存と伝送において好適なデータの圧縮技術に関する。
【背景技術】
【０００２】
動画像である映像は、そのデータ量が多いため、非圧縮で扱うと、例えばＮＴＳＣ方式でも１秒あたり３０Ｍ（メガ）バイト、ハイビジョン方式では１５０Ｍバイトになる。すなわち、ＤＶＤ１枚あたり、ＮＴＳＣは２．６分、ハイビジョンは３０秒しか収納できない。そのため、従来より、様々な手法で映像信号の圧縮が試みられている。
【０００３】
最も好ましいのは、ロスレス（可逆）型の圧縮方式であり、復号することにより、完全に元の状態に戻すことができるものである（例えば、特許文献１参照）。しかし、ロスレス型では、データの圧縮率は１／２程度が限界である。そのため、映像信号の圧縮には、復号したときには、完全に元の状態に戻すことはできないが、圧縮率を１／５〜１／１０とすることができるロッシー（非可逆）型が用いられている。
【０００４】
特に、現状のＶＴＲに収録されるデジタル映像データとして、業務用デジタルベータカムと、業務用ＤＶカムおよび民生用ＤＶ等のロッシー圧縮方式が用いられている。これらは、いずれもフレームごとに離散コサイン変換による圧縮を行うことにより、データ量の削減を図っている。ここで、業務用ＤＶカムおよび民生用ＤＶの圧縮方式について具体的に説明しておく。
【０００５】
まず、映像をＴＶカメラ等で撮影してデジタル化した状態の原映像信号を模式的に表現したものを図６（ａ）に示す。図６において、左右方向は時系列方向であり、右側に行く程、時間が進むことになる。図６（ａ）に示した原映像信号は１フレームが光の三原色であるＲ・Ｇ・Ｂの３プレーンで構成されている。なお、ここでは、１秒間に３０フレーム、各画素の各色（プレーン）に８ビットが割り当てられているものとしている。例えば、１０秒間に渡って記録したデジタル映像信号は、３００フレーム、９００プレーンで構成されるフレーム群となる。また、各フレームの画素数は、７２０×４８０としている。
【０００６】
ＤＶフォーマットでは、上述のようなデジタル映像信号を、各フレーム単位で以下のように処理していく。まず、Ｒ、Ｇ、Ｂの各プレーンの画素信号を以下の〔数式１〕を利用して、Ｙ、Ｕ、Ｖに変換する。
〔数式１〕
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝−０．１６８４Ｒ−０．３３１６Ｇ＋０．５Ｂ
Ｖ＝０．５Ｒ−０．４１８７Ｇ−０．０８１３Ｂ
上記〔数式１〕は、小数点演算を伴うため、整数値化されたＹ、Ｕ、Ｖから、元のＲ、Ｇ、Ｂの値を復元することはできず、この状態で基本的にロッシー型になる。さらに、Ｕプレーン、Ｖプレーンについては、縦方向、横方向に画素を１／２に間引きする。例えば、７２０×４８０画素の画像の場合、３６０×２４０画素の画像となり、画素数が１／４に減少することになる。このときの映像信号の状態を図６（ｂ）に示す。続いて、８×８画素単位で、Ｙプレーンの１単位に対して、Ｕプレーンの１単位、Ｖプレーンの１単位を割り当てて、計６単位の画素からなるブロックを形成する。１画素が１バイトであるため、このブロックのデータ量は、３８４バイトとなる。続いて、このブロックに対して、ＤＣＴ変換（離散コサイン変換）、量子化、可変長符号化を行うことにより、１ブロックを８０バイトのデータに圧縮する。
【０００７】
上記のようにブロックを定義すると、元の１フレームは、４５×３０個のブロックで表現されることになる。ＤＶフォーマットでは、圧縮されたブロックを「９Ｆ」と定義し、１５ブロック毎に１つのヘッダー「７Ｆ」を付加する。さらに、この１つのヘッダー「７Ｆ」とそれに続く１５個のブロックを１セットとし、９セット毎に、「１Ｆ」１つ、「３Ｆ」２つ、「５Ｆ」３つで構成されるヘッダーを付加してラインを構成する。すると、元のフレームは１０ラインで構成されることになる。このラインは、原画像の走査線方向に沿ったものとなっている。この結果、得られる圧縮フレームの構造を図７に示す。以上のようにしてＤＶフォーマットに変換することにより、映像データは、１０３６８００バイトから１２００００バイトに圧縮されることになる。ＤＶ方式では、同一フレームにおけるプレーン間の演算処理は行われるが、フレーム間の演算は行われない。そのため、プレーンの概念はなくなるが、図６に示したようにｎ個のフレームがあった場合は、図７に示したような圧縮フレームがｎ個作成されることになる。また、フレーム番号Ｆ１〜Ｆｎもそのまま引き継がれる。
【特許文献１】特開平１１−１６４３０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、映像信号は、ＤＶ等のロッシー型で圧縮した場合であっても依然としてデータ量が多い。そのため、データを伝送する際などに、媒体や通信回線の制約のため、さらに圧縮を行う必要に迫られる場合がある。この場合、データ量は減らしたいが、一度ロッシー圧縮されている映像信号から、それ以上データを欠落させたくないという要望がある。しかし、このようなロッシー圧縮された映像信号は、上述のように独特の構造をしているため、圧縮されていない映像信号に適応している従来のロスレス圧縮方式を適用することはできない。
【０００９】
そこで、本発明は、ロッシー型の圧縮が行われた映像信号を、さらにロスレス圧縮することが可能な映像信号の圧縮方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明では、時系列に連続したフレーム各々がロッシー（非可逆）型手法で圧縮された圧縮フレームで構成される映像信号に対して、圧縮フレームを再現できるように情報量を圧縮する方法として、圧縮フレーム内において、画素をブロック化した各画素ブロックを符号化対象ブロックとして、当該各符号化対象ブロックに対して、走査線方向に直前に位置する画素ブロックである直前ブロック、走査線方向と垂直な方向において直前に位置する画素ブロックである直前ラインブロック、直前フレームの同一箇所に位置する画素ブロックである直前フレームブロックの３つの参照ブロックと照合を行い、最も相関性の高い参照ブロックを選出する参照ブロック選出段階、選出された参照ブロックと符号化対象ブロックとの相関性として、完全一致、相関度大、相関度小の３種より判別する相関性判定段階、符号化対象ブロックの出力データとして、相関性が完全一致の場合は、選出された参照ブロックの識別ＩＤを出力し、相関性が相関度大の場合は、選出された参照ブロックの識別ＩＤと、選出された参照ブロックと符号化対象ブロック内の一致データのブロック内における位置を示すマスクデータと、参照ブロックと一致しない符号化対象ブロック内のデータを出力し、相関性が相関度小の場合は符号化対象ブロック内の一致データおよび不一致データを出力するブロック符号化段階を実行するようにしたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、圧縮フレーム内の符号化対象ブロックについて、走査線方向、直前のブロック、走査線に直交する方向の直前ラインのブロック、直前フレームの同一のブロックの３つのブロック、すなわち、画像面における２方向および時系列方向に隣接する３つのブロックを参照ブロックとして照合を行って、最も相関の高い参照ブロックを選出し、参照ブロックとの相関度に応じて、異なる形式で符号化を行うようにしたので、圧縮フレームにおけるブロック間の関係を壊すことなく、圧縮が可能となる。すなわち、ロッシー型の圧縮が行われた映像信号を、さらにロスレス圧縮することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（ロッシー圧縮された映像信号の構造）
本実施形態では、ＤＶフォーマットの映像信号に対して処理を行う場合を例にとって説明する。図７のように、元の１フレーム３プレーン（Ｒ、Ｇ、Ｂ）の情報は、ＤＶフォーマットの１つの圧縮フレームに変換される。データ形式は、このようになっているが、元のフレームとの位置関係を考えると、圧縮フレームにおける１ラインは、ブロックのライン３本分に相当する。そのため、ここでは、説明の便宜上、圧縮フレームを図１に示すような、元のブロックの位置に対応した状態に移動したものを用いて説明する。図７と図１に示したものは、ブロックの位置を変えたのみであり、全く同一の構成を示している。
（本発明の圧縮方法）
続いて、本発明に係る映像信号の圧縮方法の概要について説明する。本発明の圧縮方法は、コンピュータ、およびコンピュータに搭載される専用のソフトウェアプログラムにより実行される。図２は、本発明に係る映像信号の圧縮方法の概要を示すフローチャートである。まず、図１に示したようなロッシー圧縮された映像信号を、ロスレス圧縮するための装置（専用のソフトウェアを搭載したコンピュータ）に読み込ませる。すると、ロスレス圧縮用の装置が処理を開始する。まず、ロッシー圧縮映像信号の各フレームのうち、画素ブロックを順次読込んで符号化対象ブロックとし、各符号化対象ブロックについて、直前の画素ブロックである直前ブロックとの照合を行う（ステップＳ１）。具体的には、符号化対象ブロック９Ｆ（ｉ，ｊ）について、直前ブロック９Ｆ（ｉ−１，ｊ）との照合を行う。例えば、図１に示した９Ｆ（１，１）の場合は、直前ブロックが存在しないので、照合が行われないが、９Ｆ（２，１）の場合は、直前ブロック９Ｆ（１，１）との照合が行われる。なお、ＤＶフォーマットのデータとしては、９Ｆ（１，２）の直前ブロックは、９Ｆ（４５，１）であるが、図１に示すように、ブロック９Ｆ（１，２）は元の画像の左端に位置するブロックであり、ブロック９Ｆ（４５，１）は元の画像の右端に位置するブロックであるため、相関が低いと考えられる。そのため、このような場合には、直前ブロックとの照合は行わない。すなわち、ｉ＝１以外の場合に、直前ブロックとの照合が行われることになる。照合は、バイト単位で行う。１ブロックは８０バイトであるので、８０回の照合が行われることになる。このうち、何バイトが一致したかをメモリに一時的に記録しておく。例えば、９Ｆ（１５，２）が、直前ブロック９Ｆ（１４，２）と５０バイト一致したとすると、図３（ａ）に示すような照合データが記録される。
【００１３】
次に、走査線方向と垂直な方向において直前に位置する画素ブロックである直前ラインブロックとの照合を行う（ステップＳ２）。具体的には、処理対象ブロック９Ｆ（ｉ，ｊ）について、直前ラインブロック９Ｆ（ｉ，ｊ−１）との照合を行う。図１に示した９Ｆ（１，１）〜９Ｆ（４５，１）の場合は、直前ラインブロックが存在しないので、照合が行われないが、例えば９Ｆ（１５，２）の場合は、直前ラインブロック９Ｆ（１５，１）との照合が行われる。すなわち、ｊ＝１以外の場合に、直前ラインブロックとの照合が行われることになる。ステップＳ２における照合の手法は、ステップＳ１と同様、バイト単位で行い、一致したバイト数を一時的に記録しておく。例えば、９Ｆ（１５，２）が、直前ラインブロック９Ｆ（１５，１）と３８バイト一致したとすると、図３（ｂ）に示すような照合データが記録される。
【００１４】
次に、直前フレームの同一箇所に存在する直前フレームブロックとの照合を行う（ステップＳ３）。ロッシー圧縮映像信号を構成する全てのフレームは、全て同一の構成となっており、図１に示したような構成となっている。そのため、直前フレームには、符号化対象ブロックと同一箇所に位置する画素ブロックが必ず存在する。従って、ステップＳ３においては、ステップＳ１、ステップＳ２とは異なり、例外無く全ての符号化対象ブロックに対して照合が行われることになる。例えばフレームＦｎにおける９Ｆ（１５，２）の場合は、直前のフレームＦｎ-1の９Ｆ（１５，２）との照合が行われる。なお、照合自体は、ステップＳ１、ステップＳ２と同様、バイト単位で行われ、一致したバイト数を一時的に記録しておく。例えば、９Ｆ（１５，２）が、直前のフレームＦｎ-1の９Ｆ（１５，２）と４６バイト一致したとすると、図３（ｃ）に示すような照合データが記録される。
【００１５】
ある符号化対象ブロックについて、上記ステップＳ１〜ステップＳ３の３つの照合を行ったら、次に、照合した参照ブロックのうち、相関性の最も高い参照ブロックを選定する（ステップＳ４）。具体的には、メモリに一時的に記録してある各一致バイト数が最大となる参照ブロックを選出することになる。例えば、図３（ｃ）の例では、９Ｆ（１４，２）との一致バイト数が最大であるので、９Ｆ（１４，２）が参照ブロックとして選出されることになる。ここで、選出された参照ブロックの一致バイト数により以降の処理が異なる。
【００１６】
例えば、選出された参照ブロックとの一致バイト数が８０バイトの場合、すなわち、符号化対象ブロックと選出した参照ブロックのデータが全く同一であった場合、モード「２」を出力すると共に、参照ブロックの識別ＩＤを、符号化対象ブロックの識別ＩＤと対応付けて出力する（ステップＳ５）。例えば、９Ｆ（１６，３）が直前画素ブロックと完全に一致した場合、図４（ａ）に示すような情報が記録される。なお、識別ＩＤは、ブロックが識別できるような情報であればどのようなものであっても良い。例えば、図４に示す９Ｆ（１４，２）のように、走査線方向および走査線と直交する方向における順番を識別ＩＤとして用いても良いし、直前フレームブロックを特定する場合には、フレーム内の位置は符号化対象ブロックと同一でわかっているため、直前のフレームであることを示す情報を記録しておけば、特定できることになる。また、モードとは、符号化のパターンを示すものであり、復号時に参照することにより、高速に処理することが可能となる。
【００１７】
一致バイト数が２０バイト以上８０バイト未満（７９バイト以下）の場合、モード「１」を出力すると共に、符号化対象ブロックにおける参照ブロックと一致したバイトの位置情報を出力し、一致しなかったバイトのデータそのものを出力する（ステップＳ６）。例えば、９Ｆ（１５，２）に対して、参照ブロック９Ｆ（１４，２）と５０バイト一致している場合、図４（ｂ）に示すような情報が記録される。
【００１８】
マスクデータの記録には、１０バイトを割り当てている。また、参照ブロックの識別ＩＤの記録、および必要な情報を記録するための予備領域として、１０バイト割り当てている。そのため、一致しなかったバイトが６０バイト以上になると、総データ量が８０バイト以上となってしまう。そのため、一致バイト数が２０バイト未満（１９バイト以下）の場合は、モード「０」を出力すると共に、符号化対象ブロックのデータを何ら変更することなく、そのまま出力する（ステップＳ７）。例えば、９Ｆ（１，５）に対して、参照ブロックの一致バイト数が２０バイト未満だったとすると、図４（ｃ）に示すような情報が記録される。
【００１９】
以上の処理を全フレームの全ての符号化対象ブロックに対して行い、ロッシー圧縮映像信号の全てを符号化する。全ての符号化対象ブロックは、図４の（ａ）〜（ｃ）のいずれかの形式で記録されることになる。符号化された情報は、任意の記録媒体に、その記録媒体に対応したフォーマットで記録される。また、そのままネットワークを介して伝送するようにしても良い。
【００２０】
上記の処理では、最も圧縮効果の得られる画素ブロックのみを符号化対象ブロックとして処理した。これは、ＤＶフォーマットにおいて、画素ブロックである９Ｆがデータ量の大多数を占めているため、画素ブロックだけ圧縮すれば、かなりのデータ量が削減されるためである。しかし、画素ブロック以外の他のブロックについて圧縮して、さらにデータ量を削減するようにしても良い。この場合、制御ブロック「１Ｆ」、「３Ｆ」、「５Ｆ」については、ステップＳ１における直前ブロックとの照合は行わず、ステップＳ２における直前ラインブロックとの照合、およびステップＳ３における直前フレームブロックとの照合を行う。ステップＳ２においては、符号化対象ブロック１Ｆ（ｊ）については、直前ラインブロック１Ｆ（ｊ−１）との照合を行い、３Ｆ（ｉ，ｊ）、５Ｆ（ｉ，ｊ）については、それぞれ直前ラインブロック３Ｆ（ｉ，ｊ−１）、５Ｆ（ｉ，ｊ−１）との照合を行う。制御ブロック「７Ｆ」については、ブロック「９Ｆ」と同様にステップＳ１〜ステップＳ３の３つの照合を行う。
（復号方法）
次に、上記圧縮方法により圧縮された符号データを復号解凍する方法について説明する。復号は、復号装置（コンピュータ、およびコンピュータに搭載される専用のソフトウェアプログラムで構成）により実行される。復号方法の概要を図５のフローチャートに示す。
【００２１】
図５のフローチャートは、各符号化ブロックに対する処理について示している。符号化ブロックは、各フレームの先頭から順次復号装置に読込まれて処理される。まず、読込まれた符号化ブロックの符号化モードを認識する（ステップＳ１１）。具体的には、符号化ブロックのモードが０、１、２のいずれであるかを認識する。モード「０」の場合、すなわち、図４（ｃ）に示したようなデータが記録されている場合は、元の符号化対象ブロックのデータがそのまま記録されているので、読込んだ符号化ブロックをそのまま出力する（ステップＳ１２）。モード「２」の場合、すなわち、図４（ａ）に示したようなデータが記録されている場合は、参照ブロックのＩＤのみが記録されているので、対応する識別ＩＤで特定される参照ブロックのデータをそのまま出力する（ステップＳ１３）。モード「０」の場合、すなわち、図４（ｂ）に示したようなデータが記録されている場合は、参照ブロックのＩＤおよびマスクデータ、不一致バイトデータが記録されているので、対応する識別ＩＤで特定される参照ブロックにおいて、マスクデータで特定される位置のバイトデータを抽出し、抽出したバイトデータと、不一致バイトデータを統合することにより、符号化対象ブロックを復元する（ステップＳ１４）。
【００２２】
上記ステップＳ１１〜ステップＳ１４の処理を繰り返し行うことにより、符号化対象ブロックを復元していく。この結果、図１に示したようなＤＶフォーマットのデータが復元されることになる。
【図面の簡単な説明】
【００２３】
【図１】本発明で圧縮対象とする映像信号を構成する圧縮フレームの構造を示す図である。
【図２】本発明に係る映像信号の圧縮方法の概要を示すフローチャートである。
【図３】メモリ上に一時的に記録される照合データを示す図である。
【図４】本発明により得られる符号化データを示す図である。
【図５】符号化データを復号する処理の概要を示すフローチャートである。
【図６】圧縮されていない原映像信号およびロッシー圧縮の中間処理により得られる映像信号を示す図である。
【図７】ＤＶ方式の圧縮フレームの構造を示す図である。
【図１】
2005064638.tif 000003
【図２】
2005064638.tif 000004
【図３】
2005064638.tif 000005
【図４】
2005064638.tif 000006
【図５】
2005064638.tif 000007
【図６】
2005064638.tif 000008
【図７】
2005064638.tif 000009