(57)【要約】【課題】  動画像符号化および復号化システムにおいて、特殊再生を容易に実現可能とするストリームの符号化および復号化システムを実現する符号化装置を提供する。【解決手段】  符号化側であらかじめ特殊再生用の符号化データを余剰に符号化してストリームに多重しておき、復号側で符号化データを、実行する特殊再生に応じて適宜選択して復号する。【選択図】        図１
2006311426.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を入力する入力手段と、
前記入力された動画像信号をフレーム内符号化方式及び動き補償前方予測符号化方式を選択的に用いて符号化し、第１の符号化データを生成する第１の符号化手段と、
前記第１の符号化手段が所定の符号化対象フレームを前記動き補償前方予測符号化する際に指定した参照フレームとは異なるフレームを参照フレームに指定すると共に、前記第１の符号化手段が前記所定の符号化対象フレームを前記動き補償前方予測符号化する際に用いた動きベクトルを用いて前記指定した参照フレームに対する動きベクトルを生成し、前記生成した動きベクトルを用いて前記指定した参照フレームと前記符号化対象フレームとの予測誤差を符号化することにより第２の符号化データを生成する第２の符号化手段と、
前記第１の符号化データと第２の符号化データとを多重して伝送する多重手段とを備えることを特徴とする符号化装置。
【請求項２】
前記第１の符号化データは通常再生用のデータであり、前記第２の符号化データは高速再生用のデータであることを特徴とする請求項１記載の符号化装置。
【請求項３】
前記第２の符号化手段は、前記高速再生時の再生速度に応じて前記参照フレームの指定間隔を変更することを特徴とする請求項２記載の符号化装置。
【請求項４】
前記第２の符号化手段は更に、前記高速再生時の再生速度に応じて、前記第１の符号化手段が前記所定の符号化対象フレームを前記動き補償前方予測符号化する際に用いた動きベクトルの値を変倍して前記指定した参照フレームに対する動きベクトルを生成することを特徴とする請求項３記載の符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置に関し、特に動画像信号の符号化処理に関する。
【背景技術】
【０００２】
近年、ＤＶＤ等の蓄積メディアやデジタル放送、またインターネットにおけるストリーミング等でＭＰＥＧ方式の予測符号化方式が利用されている。このＭＰＥＧ方式では、各フレームをイントラ符号化フレーム（Ｉフレーム）と予測符号化フレーム（Ｐフレーム・Ｂフレーム）に符号化し、動画像ストリームを構成する。ＭＰＥＧ方式で動画像を符号化する場合、イントラ符号化フレームは他のフレームを参照しないでそれのみで符号化される。一方予測符号化フレームは非独立フレームであるため、時間的に前後に位置するフレーム画像を参照して符号化される。従って復号時に、イントラ符号化フレームはそれのみで復号が可能であるが、予測符号化フレームは、予測符号化の際に利用した近接フレームが復号されていない場合復号することができないことになる。
【０００３】
ＭＰＥＧ方式で符号化された動画像をＤＶＤから再生するＤＶＤプレーヤが知られている（例えば、特許文献１参照。）。ＤＶＤプレーヤでは通常再生のほか、早送り再生などの特殊再生機能を持っている。特殊再生の一種である早送り再生して視聴する場合について考える。早送り再生は、フレームをストリームから間引くことで実現可能である。動画像は符号化されているため、すべてのフレームを復号した後にフレームを間引く方法をとれば、柔軟に間引く操作が可能となり早送り再生を容易に実行可能である。しかし、表示に不必要なフレームの復号も必要となってしまうため、復号に時間がかかってしまい、動画像の表示に復号が間に合わないことがある。よって特殊再生を行う際においても必要なフレームのみ復号して表示することが望ましい。
【０００４】
復号を行う前にフレームを間引く方法をとる場合、符号化フレームの特性により復号処理を施すことをしないで自由に間引くことが可能なフレームは非参照フレームであるＢフレームのみである。従ってＢフレームを保持しない構成であるＭＰＥＧ４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅストリームなどではこの方法を行うことができない。このような符号化ストリームの早送り再生の場合には、Ｉフレームのみを復号化し、Ｉフレームのみを用いて早送り再生を実現することになる。
【特許文献１】特開平１１−２７５５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記方法を用いる場合、Ｉフレーム間の間隔が短い場合は比較的滑らかな早送り再生が実現できるが、Ｉフレーム間の間隔が長い場合には、二倍速再生のような倍速率の小さい早送り再生の実現は困難である。Ｉフレームのみを用いて二倍速再生を実現しようとする場合、あらかじめ符号化側が意図して、Ｉフレーム間の間隔を一枚おきにして符号化することでこれを実現することが可能となるが、Ｉフレーム数割合の増加はストリームのビットレートの増加を意味することになる。従ってＭＰＥＧ４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのような低ビットレート配信を目的とした符号化ストリームの場合、Ｉフレーム間の間隔を通常、１０枚〜１５枚程度にする必要があるため、Ｉフレームのみを利用しての滑らかな早送り再生の実現は困難である。
【０００６】
上記方法の問題点は早送り再生に限ったことではなく、逆再生や任意速度の再生など、その他の特殊再生についても同様である。
【０００７】
本発明は上記方法の問題点を解決し、特殊再生を容易に実現可能とする動画像符号化および復号化システムを実現する符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明においては、動画像信号を入力する入力手段と、前記入力された動画像信号をフレーム内符号化方式及び動き補償前方予測符号化方式を選択的に用いて符号化し、第１の符号化データを生成する第１の符号化手段と、前記第１の符号化手段が所定の符号化対象フレームを前記動き補償前方予測符号化する際に指定した参照フレームとは異なるフレームを参照フレームに指定すると共に、前記第１の符号化手段が前記所定の符号化対象フレームを前記動き補償前方予測符号化する際に用いた動きベクトルを用いて前記指定した参照フレームに対する動きベクトルを生成し、前記生成した動きベクトルを用いて前記指定した参照フレームと前記符号化対象フレームとの予測誤差を符号化することにより第２の符号化データを生成する第２の符号化手段と、前記第１の符号化データと第２の符号化データとを多重して伝送する多重手段とを備える。
【発明の効果】
【０００９】
本発明によれば、特殊再生用の画像データを容易に生成することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明に係わる動画像符号化および復号化システムの実施の形態について図を用いて説明する。
【実施例】
【００１１】
［実施の形態１］
図１は本発明の実施の形態１に係わる動画像符号化および復号化システムの全体構成を示すブロック図である。システム内のモジュール間における矢印はデータの流れを示しており、太い矢印が動画像データ、細い矢印が制御信号等を示す。以下、各モジュールについての説明を行う。
【００１２】
動画像符号化および復号化システムにおいて、符号化部１００は動画像の符号化を行う箇所であり、復号化部１１０は符号化部１００において符号化された動画像の復号を行う箇所である。符号化部１００と復号化部１１０により、本発明の動画像符号化および復号化システムが構成されている。
【００１３】
符号化部１００は、動画像ストリーム１２０を動画像符号化部１０３において符号化し、符号化ストリーム１２１として出力する。動画像ストリーム１２０は、まず動きベクトル検出部１０１に入力され、動き検出がされる。動き検出は符号化するフレームと既に符号化された近隣のフレームとで差分値の比較などにより実行され、動きベクトルが生成される。生成された動きベクトルは画素データと共に動画像符号化部１０３へ転送され、符号化処理が行われる。本実施例においては符号化方式をＭＰＥＧ４とするため、この動画像符号化部１０３はＭＰＥＧ４エンコーダと等しいことになる。動きベクトル検出部１０１で生成された動きベクトルは、動きベクトル変換部１０２に対しても送出される。動きベクトル変換部１０２においては、転送された動きベクトルを変換し、変換後動きベクトルを動画像符号化部１０３へ送出する。この変換後動きベクトルを用いても符号化処理が施され、符号化ストリームとして送出される。つまり、動画像符号化部１０３においては、動きベクトルと変換後動きベクトルを用いて画素データの符号化がなされることになり、符号化ストリーム１２１はそれぞれのベクトルを用いた符号化データが多重されている状態となっている。また、変換後動きベクトルは唯一である必要は無い。
【００１４】
変換後動きベクトルの生成は線形変換により行われる。線形変換の倍率は符号化方式決定部１０４により行われ、変換指示信号として動きベクトル変換部１０２に送信される。また、符号化方式決定部１０４における倍率決定は、符号化方式決定部１０４に入力される符号化方式指示信号により行われる。
【００１５】
復号化部１１０は、符号化部１００において符号化された符号化ストリーム１２１を動画像復号化部１１３において復号化し、復号画像ストリーム１２２として出力する。復号画像ストリーム１２２はフレームデータの連なったストリームであり、ユーザが実際に視聴するデータということになる。符号化ストリーム１２１は、はじめに符号化データ選択部１１２に入力される。この符号化データ選択部１１２において、符号化ストリーム１２１内の多重された符号化データについて、どの符号化データを復号するのかを決定する。選択される符号化データ数に特に規定はない。また符号化データ選択部１１２における選択基準は、復号化方式決定部１１１から送信される符号化データ選択信号により決定される。この符号化データ選択信号は復号化方式決定部１１１に入力される特殊再生指示信号を元に生成されることになり、特殊再生指示信号は視聴時のユーザ入力など、外部からの指示信号である。
【００１６】
符号化データ選択部１１２において選択された符号化データは、動画像復号化部１１３へ送出され、復号処理がなされる。この復号処理をする際に利用する動きベクトルは、動きベクトル変換部１１４により生成される。変換は復号化方式決定部１１１より送信される変換指示信号を元に行われるが、変換する必要の無い場合は元の動きベクトルをそのまま動画像復号化部１１３へ送信する。動画像復号化部１１３では動きベクトル変換部１１４より送信される変換後動きベクトルに対応した参照フレームを利用して動画像の復号を行い、復号画像ストリーム１２２として不図示の記録再生装置に出力する。
【００１７】
以上が本発明の動画像符号化および復号化システムの全体構成の説明であるが、このシステムを用いた符号化動画像の倍速再生について、図２および図１を用いて説明する。
【００１８】
図２は倍速再生を実現する場合に行う動作を、符号化側と復号化側とに分けて記述した図である。まず符号化側の動作について説明する。
【００１９】
図２で、２０１〜２０５は、符号化する前のフレームデータであり、図１における動画像ストリーム１２０の一部である。２０１のＩフレームはイントラ符号化フレームであるため、予測をしないでそれのみで符号化される。２０２〜２０５のＰフレームは予測符号化フレームであり、時間的に前に位置するフレームを参照フレームとして符号化される。例えば、フレーム２０２の符号化にはフレーム２０１を利用し、フレーム２０３の符号化にはフレーム２０２を利用することになる。また、図２におけるフレーム２０１〜２０５に双方向予測フレームであるＢフレームは含まれていないが、ここで対象とする符号化方式はＭＰＥＧ４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅであり、この符号化方式にはＢフレームを利用しない符号化方式であるため、Ｂフレームは含まれない。
【００２０】
フレーム２０５を符号化する動作について説明する。フレーム２０５はフレーム２０４を予測用のフレームとして利用し符号化される。不図示の記録再生装置より、前述の様に符号化されて記録されたデータが再生されて入力される。図１の動きベクトル検出部１０１において、フレーム２０５とフレーム２０４より動きベクトルＭＶが検出される。ここでＭＶはマクロブロック毎の動きベクトル全ての組をあらわしている。動きベクトル検出部１０１で検出された動きベクトルと画素データは動画像符号化部１０３に送出され、フレーム２０５が符号化される。フレーム２０４は参照データとして利用される。動画像符号化部１０３で施される符号化はデータパーティショニングと呼ばれるものであり、これにより２０６のＡＣ０符号化データが作成される。
【００２１】
ここでデータパーティショニングについて、図３を用いて説明する。データパーティショニングとは、ＭＢ（マクロブロック）３０１の動きベクトルｍｖと、ＤＣＴ符号化係数ａｃとを分離し、１フレーム内の動きベクトルすべてを集めてＭＶとして、フレームの先頭に配置する符号化方式である。同時にＤＣＴ係数ａｃも１フレーム分集められ、ＭＶの後に配置される。通常はＭＢ３０１が連なる形式となっているが、動きベクトルＭＶだけを前に持ってくることで、伝送路におけるエラー発生時の隠蔽を行いやすくするものである。図３において、フレームＰ０である３０８は、ＭＶ０の３０２と、ＡＣ０の３０３で構成されることになる。図２において、フレーム２０５の符号化データはデータパーティショニングによりＭＶと２０６のＡＣ０となる。
【００２２】
次に倍速再生実施のためのフレーム２０５の符号化を行う。ここで倍速再生のための符号化を行う場合、外部から符号化方式指示信号が符号化方式決定部１０４に入力されている必要がある。ユーザは、復号側において倍速再生が実施されると判断された場合、あらかじめその目的にあった符号化ストリームを作成することになる。符号化方式決定部１０４に倍速再生の指示が入力された場合、動きベクトルＭＶを二倍に変換するための変換指示信号が動きベクトル変換部１０２に入力される。動きベクトル変換部１０２では、入力された指示に従い動きベクトルを二倍に変換し、動画像符号化部１０３へと送出する。ここで二倍に変換された動きベクトルを、図２のフレーム２０５の符号化時において、フレーム２０３を指し示す動きベクトルとする。そしてフレーム２０５を新たに、フレーム２０３を参照フレームとして符号化し２０７のＡＣ１を生成する。つまり、変換後動きベクトルが動画像符号化部１０３に入力された場合、その変換後動きベクトルと、それにより参照されるフレームを用いてＤＣＴ係数を符号化する処理を追加して行うことになる。動きベクトルの集合ＭＶと、フレーム２０４を用いて符号化を行ったＤＣＴ係数の集合であるＡＣ０、フレーム２０３と、ＭＶを二倍に変換した動きベクトルを用いて符号化を行ったＤＣＴ係数の集合であるＡＣ１をフレーム２０５の符号化データとして多重し、符号化ストリーム１２１として送出することになる。
【００２３】
次に復号側の動作について説明する。復号側において、通常の再生を行う場合は予測フレームも符号化データも通常のものを用いて復号する。図２でフレーム２０５を復号する場合はフレーム２０４を参照して符号化データはＡＣ０の２０６を復号する。しかし、図１の復号化方式決定部１１１に特殊再生指示信号として倍速再生指示がされていた場合は符号化データ選択部１１２において符号化データＡＣ１である２０７が選択される。また動きベクトルの符号化データが動きベクトル変換部１１４へと送信され、復号された後に二倍に変換される。ここで二倍に変換された変換後動きベクトルは、図２のフレーム２０５復号時に、フレーム２０３を指し示す動きベクトルとなる。変換後動きベクトルは、符号化データ選択部１１２において選択された符号化データ２０７とともに動画像復号化部１１３へと送信され、フレーム２０３を参照フレームとしてフレーム２０５の復号が実行される。これによりフレーム２０４の復号を行うことなくフレーム２０５を復号することが可能となり、必要なフレームのみの復号で倍速再生を実現できることになる。
【００２４】
その他の例として、逆再生の実現方法について図４を用いて説明する。図４の符号化側において、フレーム４０４を符号化する際の動きベクトルはＭＶであり、参照フレームはフレーム４０３である。ここで復号時における逆再生の実現のため、上記倍速再生時と同様に動きベクトルを変換して他のフレームを参照して符号化を行い、新たな符号化データを多重する。逆再生の場合、動きベクトルは時間的に後ろに位置するフレームを参照するようにすべきなので、ＭＶの正負を反転した−ＭＶを変換後動きベクトルとする。そしてフレーム４０４の符号化にフレーム４０５を参照フレームとして利用し符号化データＡＣ１の４０７を生成する。符号化ストリームはＡＣ０の４０６とＡＣ１の４０７を多重したものとなる。
【００２５】
復号時に逆再生を行う場合、フレーム４０４の復号には動きベクトルを変換した−ＭＶと、符号化データＡＣ１の４０７を利用する。これにより逆順にフレームを復号することが可能であり、逆再生が実現できる。
【００２６】
本実施の形態において、図１の符号化ストリーム１２１は通常の符号化器で符号化したストリームより符号量が増加する。図２で、通常フレーム２０５の符号量はＭＶとＡＣ０とを加算したものであるが、倍速再生の実施を考慮して符号化を施した場合、ＡＣ１の符号化データの分だけ符号量が増加することになる。しかし符号化データＡＣ０およびＡＣ１のＤＣＴ係数は符号量としては十分に小さい値である。Ｐ−ＶＯＰの符号化は予測符号化がなされるため、ＤＣＴ係数の値はそれほど大きくならない。また、量子化スケールを操作することにより、符号量を調整可能であるため、早送り再生用の符号化データＡＣ１は画質を犠牲にして抑えるといったことも可能となる。
【００２７】
図２の倍速再生の例、および図４の倍速再生の例では、符号化データの追加は一つのみ（図２において、ＡＣ０に対してＡＣ１の一つを追加）であったが、これは複数あっても問題ない。倍速再生用と逆再生用の符号化データを同時に多重して、柔軟な特殊再生が可能となるストリームを生成することも実現できる。ただし、符号量の増加および符号化に要する時間は符号化データの追加が一つの場合よりも増加することになる。
【００２８】
本実施の形態に依れば、あらかじめ実行されると予想される特殊再生を知っておくことが必須とはなるが、復号時に意図された特殊再生を容易に実現可能となる。
【００２９】
［実施の形態２］
本発明の実施の形態２に係わる動画像符号化および復号化システムの構成および各モジュールは本発明の実施の形態１と同様である。本発明の実施の形態２について説明する。
【００３０】
本発明の実施の形態２は、図１の動画像符号化および復号化システムにおいて、符号化部１００と復号部１１０が別の装置として構成されるシステムで実現される。このような構成の例としてはインターネットウェブ上でのストリーミング配信などをあげることができる。図５にその構成を示す。図１の符号化部１００が配信サーバー５０１に含まれ、復号化部１１０が受信機５０３に含まれる構成である。そして符号化ストリーム１２１は伝送路５０２で伝送されることになる。このような場合、符号化部１００は、どのような復号器に対しても復号可能となる符号化ストリーム１２１を送出することが望ましい。なぜなら符号化データを、図２もしくは図４で示したように多重する場合、受信機５０３に本発明の復号化部１１０が用意されている場合問題はないが、他の復号器が用意されている場合には余剰な符号化データはエラーとして認識してしまい、復号を正常に行うことができないからである。
【００３１】
符号化ストリーム１２１を通常の復号器で復号可能とするため、図６で示すようなストリーム構成とする。図６は本発明で想定しているＭＰＥＧ４符号化方式のデータ構成であり、１フレームの符号化データを示したものである。図６では、ユーザデータ領域６０１を利用して、余剰な符号化データ６０３をストリームに持たせている。ユーザデータ６０１は符号化側が任意の符号列を送信可能な領域であり、通常の復号においては復号器で必要の無いものである。ここにヘッダ６０２と共に符号化データ６０３を追加しておけば、ヘッダ６０２を復号できる復号器は図１の復号化部１１０ということになるため、余剰な符号化データ６０３を利用することが可能になり、実施の形態１で説明した方法で特殊再生を実行することができる。またヘッダ６０２が復号できない復号器はユーザデータ６０１を廃棄することになるが、通常の再生については問題なく実現可能である。
【００３２】
これにより、図５の構成において復号器の差別化を行うことが可能となる。余剰な符号化データの利点を享受できる復号器においては上記のとおり各種特殊再生操作の実行が容易となる可能性がある。また、図２に示されるような符号化がなされているストリームにおいては、倍速再生のみでなくフレームレートの変更を復号側で任意に行うことが可能になる。例えば復号処理が間に合わない場合はフレームレートを半分に落とす、また通常の復号器より倍のフレームレートで表示するなどである。本実施の形態２に依れば、符号化ストリームの特性の利用を復号側で任意に選択し、実行可能な構成を実現することが可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態１および２に係わる動画像符号化および復号化システムを表すブロック図である。
【図２】本発明の実施の形態１において、倍速再生を実現するための符号化側および復号化側の処理動作を示す図である。
【図３】本発明で利用するデータパーティショニング符号化について説明する図である。
【図４】本発明の実施の形態１において、逆再生を実現するための符号化側および復号化側の処理動作を示す図である。
【図５】本発明の実施の形態２をあらわすブロック図である。
【図６】本発明の実施の形態２で利用する、符号化データの構造を表す図である。
【符号の説明】
【００３４】
１００  符号化部
１０１  動きベクトル検出部
１０２  動きベクトル変換部
１０３  動画像符号化部
１０４  符号化方式決定部
１１０  復号化部
１１１  復号化方式決定部
１１２  符号化データ選択部
１１３  動画像復号化部
１１４  動きベクトル変換部
５０１  配信サーバー
５０２  伝送路
５０３  受信機
【図１】
2006311426.tif 000003
【図３】
2006311426.tif 000004
【図５】
2006311426.tif 000005
【図６】
2006311426.tif 000006
【図２】
2006311426.tif 000007
【図４】
2006311426.tif 000008