(57)【特許請求の範囲】
【請求項１】
原画像をイントラ符号化とインター符号化とを切り替えて符号化し第１の符号化データを生成する符号化装置と、
前記第１の符号化データ全てのフレームをイントラ符号化して第２の符号化データに変換する変換装置と
を具備し、
前記符号化装置は、
前記生成された第１の符号化データのうちインター符号化されたフレームに対応する原画像をイントラ予測して第１の予測残差と予測パラメータとを得る第１の予測手段と、
前記生成された第１の符号化データのうちインター符号化されたフレームの復号画像を前記予測パラメータを用いてイントラ予測して第２の予測残差を生成する第２の予測手段と、
前記第１の予測残差と前記第２の予測残差との差分を誤差データとしてフレーム毎に算出する算出手段と、
前記第１の符号化データ、予測パラメータ、及び誤差データを出力する出力手段とを備え、
前記変換装置は、
前記符号化装置から出力された第１の符号化データ、予測パラメータ、及び誤差データを入力する入力手段と、
前記第１の符号化データのうちインター符号化されたフレームを復号する復号手段と、
前記復号されたフレームを前記予測パラメータを用いてイントラ予測して第３の予測残差を生成する第３の予測手段と、
前記第３の予測残差を前記誤差データによりフレーム毎に補正して前記第２の符号化データに変換する変換手段と
を備えることを特徴とする動画像符号化システム。
【請求項２】
前記符号化装置は、前記誤差データの符号量を調整する調整手段をさらに備えることを特徴とする請求項１記載の動画像符号化システム。
【請求項３】
原画像をイントラ符号化とインター符号化とを切り替えて符号化し第１の符号化データを生成する符号化装置と、前記第１の符号化データ全てのフレームをイントラ符号化して第２の符号化データに変換する変換装置とを具備する動画像符号化システムに用いられ、
前記符号化装置において、
前記生成された第１の符号化データのうちインター符号化されたフレームに対応する原画像をイントラ予測して第１の予測残差と予測パラメータとを取得し、
前記生成された第１の符号化データのうちインター符号化されたフレームの復号画像を前記予測パラメータを用いてイントラ予測して第２の予測残差を生成し、
前記第１の予測残差と前記第２の予測残差との差分を誤差データとしてフレーム毎に算出し、
前記第１の符号化データ、予測パラメータ、及び誤差データを出力し、
前記変換装置において、
前記符号化装置から出力された第１の符号化データ、予測パラメータ、及び誤差データを入力し、
前記第１の符号化データのうちインター符号化されたフレームを復号し、
前記復号されたフレームを前記予測パラメータを用いてイントラ予測して第３の予測残差を生成し、
前記第３の予測残差を前記誤差データによりフレーム毎に補正して前記第２の符号化データに変換することを特徴とする動画像符号化方法。
【請求項４】
前記符号化装置において、前記誤差データの符号量を調整することをさらに特徴とする請求項３記載の動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、イントラ符号化とインター符号化とにより符号化された符号化データを全フレームイントラ符号化された符号化データに変換する動画像符号化装置及び動画像符号化方法に関する。
【背景技術】
【０００２】
動画像を圧縮符号化する技術として、フレーム内予測を用いるイントラ符号化と、フレーム間予測を用いるインター符号化がある。イントラ符号化は、フレーム内で隣り合った画素との差分を求めて符号化することで圧縮を行う。インター符号化は、連続しているフレームの相関関係が高いことから、符号化対象フレームと前後のフレーム間の差分を求めて符号化することで圧縮を行う。この二つの符号化技術をフレームによって切り替える事によって高い圧縮率と画質を得る事ができる。
【０００３】
ところが、インター符号化はフレーム単独では再生ができないために、編集時にフレーム単位で映像のカットや結合が困難である。また、編集ポイントを探す時の早送りや逆再生などの特殊再生においても問題が生じる。従来は、編集時にインター符号化を別のイントラ符号化のみの動画像(以降、Ａｌｌ−Ｉｎｔｒａ)に変換したり、フレーム単位での編集をあきらめて、数フレームをまとめて独立させたＧＯＰ(Group of Picture)単位での編集を行ったり、収録時から圧縮率の低いイントラ符号化のみとしている。このようにした場合、イントラ符号化方式への変換では画質が下がり、ＧＯＰ単位での編集では自由度が低くなり、Ａｌｌ−Ｉｎｔｒａであると圧縮率が低いのでメディアに記録できる時間が短くなるなどの問題がある。
【０００４】
なお、本願に関連する公知文献としては、例えば次のようなものがある（特許文献１または２を参照。）。
【特許文献１】特開２０００−３１２３６２公報
【特許文献２】特開平８−２６５６９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、フレーム単位での編集を行うために、インター符号化されたデータをイントラ符号化方式に変換すると画質が下がってしまう。また、フレーム単位での編集をあきらめてＧＯＰ単位での編集にした場合、自由度が低くなり扱いづらいという問題がある。また、収録時から圧縮率の低いイントラ符号化のみとした場合には、圧縮率が低いため、メディアに記録できる時間が短くなってしまう。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、画質を保持しつつインター符号化されたデータをイントラ符号化データに変換できる動画像符号化装置及び動画像符号化方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明に係わる動画像符号化装置は、原画像をイントラ符号化とインター符号化とを切り替えて符号化し第１の符号化データを生成する符号化装置と、前記第１の符号化データ全てのフレームをイントラ符号化して第２の符号化データに変換する変換装置とを具備し、前記符号化装置は、前記生成された第１の符号化データのうちインター符号化されたフレームに対応する原画像をイントラ予測して第１の予測残差と予測パラメータとを得る第１の予測手段と、前記生成された第１の符号化データのうちインター符号化されたフレームの復号画像を前記予測パラメータを用いてイントラ予測して第２の予測残差を生成する第２の予測手段と、前記第１の予測残差と前記第２の予測残差との差分を誤差データとしてフレーム毎に算出する算出手段と、前記第１の符号化データ、予測パラメータ、及び誤差データを出力する出力手段とを備え、前記変換装置は、前記符号化装置から出力された第１の符号化データ、予測パラメータ、及び誤差データを入力する入力手段と、前記第１の符号化データのうちインター符号化されたフレームを復号する復号手段と、前記復号されたフレームを前記予測パラメータを用いてイントラ予測して第３の予測残差を生成する第３の予測手段と、前記第３の予測残差を前記誤差データによりフレーム毎に補正して前記第２の符号化データに変換する変換手段とを備えることを特徴とする。
【０００８】
また、この発明に係わる動画像符号化方法は、原画像をイントラ符号化とインター符号化とを切り替えて符号化し第１の符号化データを生成する符号化装置と、前記第１の符号化データ全てのフレームをイントラ符号化して第２の符号化データに変換する変換装置とを具備する動画像符号化システムに用いられ、前記符号化装置において、前記生成された第１の符号化データのうちインター符号化されたフレームに対応する原画像をイントラ予測して第１の予測残差と予測パラメータとを取得し、前記生成された第１の符号化データのうちインター符号化されたフレームの復号画像を前記予測パラメータを用いてイントラ予測して第２の予測残差を生成し、前記第１の予測残差と前記第２の予測残差との差分を誤差データとしてフレーム毎に算出し、前記第１の符号化データ、予測パラメータ、及び誤差データを出力し、前記変換装置において、前記符号化装置から出力された第１の符号化データ、予測パラメータ、及び誤差データを入力し、前記第１の符号化データのうちインター符号化されたフレームを復号し、前記復号されたフレームを前記予測パラメータを用いてイントラ予測して第３の予測残差を生成し、前記第３の予測残差を前記誤差データによりフレーム毎に補正して前記第２の符号化データに変換することを特徴とする。
【０００９】
上記構成による動画像符号化装置及び動画像符号化方法では、イントラ符号化とインター符号化の両方を用いた符号化データの他に、その復号画像をイントラ符号化したデータと原画像をイントラ符号化したデータとの差分を保存しておき、編集時等にこの差分データを用いてイントラ符号化を行う。これにより、オリジナルの動画像をイントラ符号化したものと同等の画質の素材を用いて編集等を行うことが可能となる。
【発明の効果】
【００１０】
したがってこの発明によれば、画質を保持しつつインター符号化されたデータをイントラ符号化データに変換できる動画像符号化装置及び動画像符号化方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら本発明の実施の形態を詳細に説明する。  
まず、本発明に係る動画像符号化システムで扱う符号化データの構成について説明する。図１は、一般的なＬｏｎｇ−ＧＯＰデータのフレーム構成である。図２は、Ａｌｌ−Ｉｎｔｒａデータのフレーム構成である。
【００１２】
図１に示すように、ＧＯＰを構成するフレームには、Ｉフレーム（Intra-coded Flame）、Ｐフレーム（Predictive-coded Flame）、Ｂフレーム（Bidirectional-coded Flame）の３種類がある。各ＧＯＰには、独立性を持たせるために少なくとも１つのＩフレームが含まれる。Ｉフレームは、図２のＡｌｌ−Ｉｎｔｒａフレーム構成の１フレームと同種のもので、このフレーム単独で再生可能である。一方、Ｐフレームは、インター符号化されたもので、他の１つの画像を参照フレームとして、一般的な符号化では、ブロックごとに区切ってパターンマッチングを行う事で動き検出して予測画像データを作成し、入力画像との差分を求める。Ｂフレームもインター符号化されたもので、２つの画像を参照フレームとして用いる。
【００１３】
Ｌｏｎｇ−ＧＯＰのデコード時には、参照フレームとして使ったフレームが必要となるので、Ｉフレーム以外の場所で、単純にカットまたは結合することができない。また、２倍速再生など１フレームおきに再生表示したい場合でも、表示フレーム以外にその参照フレームもデコードする必要がある。逆方向再生させる場合は、ＧＯＰの区切れとなるＩフレームから１ＧＯＰ分のデコードを行ってから、ＧＯＰの最後のフレームから再生させる必要がある。編集時には操作レスポンスが重要となってくることから、Ｌｏｎｇ−ＧＯＰは編集時には不向きなフォーマットであり、図２のＡｌｌ−Ｉｎｔｒａフレーム構成のようにどこからでも１フレーム単位で再生できるように変換されることが多い。また、近年、応用が進んできているＨ．２６４／ＡＶＣ規格の場合は、参照フレームの選択に規則性がなく、ＭＰＥＧ２のように、その規則性を利用して編集可能なアルゴリズムを開発することが困難である。
【００１４】
そこで、本実施形態に係る動画像符号化システムでは、Ｈ．２６４／ＡＶＣ規格のように参照フレームの選択に規則性が無い場合でも、画質を落とすことなくＬｏｎｇ−ＧＯＰデータをＡｌｌ−Ｉｎｔｒａデータに変換できるようにする。
【００１５】
図３は、この発明の一実施形態に係る動画像符号化システムの構成を示すブロック図である。このシステムは、エンコーダ装置１とコンバータ装置２とを備える。エンコーダ装置１は、収録時に入力画像をＬｏｎｇ−ＧＯＰデータに符号化し、記録メディア等に記録される。記録メディアに記録されたＬｏｎｇ−ＧＯＰデータは、編集機器に取り込まれる時点で、コンバータ装置２によってフレーム間の相関関係を利用しないＡｌｌ−Ｉｎｔｒａ形式等に変換される。
【００１６】
エンコーダ装置１は、Ｌｏｎｇ−ＧＯＰ符号化部１１、イントラ予測器１２、第１の予測画像生成部１３、第２の予測画像生成部１４、誤差算出器１５、および誤差データ符号量調整部１６を備える。入力画像は、Ｌｏｎｇ−ＧＯＰ符号化部１１によってＬｏｎｇ−ＧＯＰによって符号化されて記録メディアに保存される。記録メディアは、フラッシュメモリカートリッジや、ハードディスク、記録可能な光ディスク等がある。
【００１７】
Ｌｏｎｇ−ＧＯＰ符号化部１１における符号化においてＩフレームではない時にイントラ予測器１２に入力画像が供給される。入力画像はイントラ予測器１２において予測パラメータが決定され、第１の予測画像生成部１３によってイントラ符号化される。また、Ｌｏｎｇ−ＧＯＰ符号化部１１における符号化においてＩフレームではない時にエンコード時に生成されたＬｏｎｇ−ＧＯＰのローカルデコード結果を第２の予測画像生成部１４に供給してイントラ符号化する。
【００１８】
ここで、第１の予測画像生成部１３と第２の予測画像生成部１４では同じ符号化パラメータで符号化を行う必要がある。例えば、符号化方式がＨ．２６４／ＡＶＣ規格による場合は、符号化パラメータにはマクロブロックタイプや、イントラ予測方向、変換方法、符号化されているブロックのパターン情報があり、これによって第１の予測画像生成部１３と第２の予測画像生成部１４の出力するデータの意味合いが全く異なる。イントラ符号化の処理は、４×４、８×８、１６×１６の可変サイズのブロックごとに近傍の画素から予測データを作成し、入力画素と比較して差分を、直交変換、量子化、エントロピー符号化して得られる。本実施形態では、誤差算出器１５において２つの予測画像生成部からの出力の差分を誤差データとして算出して、その時の予測パラメータと共に出力する。エンコーダ装置１での出力比較は、通常のイントラ符号化処理で行う直行変換、量子化、及びＣＡＢＡＣ(Context Adaptive Binary Arithmetic Coding)もしくはＣＡＶＬＣ(Context Adaptive Variable Length Coding)のエントロピー符号化前に行うようにする。これにより処理負荷を軽減することができる。
【００１９】
また、誤差データのサイズが大きい場合は、データ量が増大してしまうため、誤差データ符号量調整部１６は、直交変換、量子化、エントロピー符号化などの手法により符号量を削減する調整を行う。なお、この調整を行うと若干画質が低下するので、圧縮率を決定する量子化のステップは、アプリケーションによって許容される範囲内に設定する必要がある。誤差データは画像の一種なので、一般的な画像圧縮方式を適用することができる。このように得られた誤差データは、Ｌｏｎｇ−ＧＯＰ主データと共に記録メディアに記録される。
【００２０】
一方、コンバータ装置２は、Ｌｏｎｇ−ＧＯＰ復号部２１、第３の予測画像生成部２２、誤差加算器２３、直交変換部２４、量子化器２５、およびエントロピー符号化器２６を備える。
【００２１】
コンバータ装置２には記録メディアを介してＬｏｎｇ−ＧＯＰ主データ、予測パラメータ、および誤差データが取り込まれる。まずコンバータ装置２は、Ｌｏｎｇ−ＧＯＰ主データを読み込んで、これが、Ｉフレームであるならば、スイッチを切り替えてそのままＩフレームを出力する。Ｉフレーム以外のフレームならば、Ｌｏｎｇ−ＧＯＰ復号部２１によってデコードする。第３の予測画像生成部２２は、上記予測パラメータにしたがってＬｏｎｇ−ＧＯＰ復号部２１のデコード結果からイントラ予測画像を生成する。
【００２２】
第３の予測画像生成部２２により生成されたイントラ予測画像とＬｏｎｇ−ＧＯＰ復号部２１のデコード結果の差を計算した予測残差は、直行変換、量子化、エントロピー符号化する前に、誤差加算器２３において上記誤差データが加算される。加算後のデータは、誤差データの符号量調整がロスレス（可逆）な方式で行われた場合には、エンコーダで直接Ａｌｌ−Ｉｎｔｒａ符号化した予測残差と同じである。その結果を、直交変換部２４、量子化器２５、およびエントロピー符号化器２６を介して、直交変換、量子化、エントロピー符号化することで、編集のためのＡｌｌ−Ｉｎｔｒａ変換データが生成される。
【００２３】
次に、以上のように構成された動画像符号化システムの動作について説明する。  
（エンコーダ装置）  
図４は、エンコーダ装置の処理手順を示すフローチャートである。Ｌｏｎｇ−ＧＯＰ符号化部１１は、入力画像をＬｏｎｇ−ＧＯＰデータに符号化して出力する（ステップＳ４ａ）。当該フレームがイントラ符号化であるか否かを判定し（ステップＳ４ｂ）、イントラ符号化であった場合には、符号化データをそのまま出力する。
【００２４】
上記ステップＳ４ｂにおいてインター符号化と判定された場合は、上記フレームに対応する原画像がイントラ予測器１２と第１の予測画像生成部１３とに供給される。イントラ予測器１２はイントラ予測方向やブロック等の予測パラメータを決定する。第１の予測画像生成部１３は、上記決定された予測パラメータにより原画像をＡｌｌ−Ｉｎｔｒａ符号化する（ステップＳ４ｃ）。このＡｌｌ−Ｉｎｔｒａ符号化は、図３に示されるように通常のＡｌｌ−Ｉｎｔｒａ符号化の一部の処理に過ぎない。直交変換、量子化、及びエントロピー符号化は省略される。また、イントラ予測器１２で決定された予測パラメータは記録メディアに保存される。
【００２５】
また同時に、ステップＳ４ｂにおいてインター符号化と判定された場合は、Ｌｏｎｇ−ＧＯＰ符号化部１１におけるローカルデコード出力（Ｌｏｎｇ−ＧＯＰをデコードした結果と同じで、エンコーダは必ずデコードも行う仕組みであるので、その結果を流用する）が第２の予測画像生成部１４に供給される。第２の予測画像生成部１４は、上記イントラ予測器１２で決定された予測パラメータを用いてＬｏｎｇ−ＧＯＰのデコード結果をＡｌｌ−Ｉｎｔｒａ符号化する（ステップＳ４ｄ）。
【００２６】
誤差算出器１５には、入力画像と第１の予測画像生成部１３によるイントラ予測画像の差分である予測残差βと、Ｌｏｎｇ−ＧＯＰのデコード結果と第２の予測画像生成部１４によるイントラ予測画像の差分である予測残差αが供給される。誤差算出器１５は、２つの予測残差αとβの差分β−αを算出する（ステップＳ４ｅ）。予測残差αとβとが一致している場合には誤差なしを出力する（ステップＳ４ｇ）。予測残差αとβとが一致しない場合は、この差分β−αを誤差データとする。
【００２７】
さらに、誤差データ符号量調整部１６は、誤差データの符号量が目標値と比較し（ステップＳ４ｉ）、目標値を超える場合には、圧縮処理等により符号量の調整処理を行う（ステップＳ４ｉ）。例えば、差分データの誤差許容範囲を調整することにより誤差データとＬｏｎｇ−ＧＯＰデータのデータ量の合計が、オリジナルの動画像をイントラ符号化した場合のデータ量を上回らないように調整する。そして、誤差データを出力し（ステップＳ４ｊ）、終了要求があるまで上記処理を１フレーム毎に繰り返し行う（ステップＳ４ｋ）。
【００２８】
（コンバータ装置）  
図５は、コンバータ装置２の処理手順を示すフローチャートである。コンバータ装置２には記録メディアを介してＬｏｎｇ−ＧＯＰ主データ、予測パラメータ、および誤差データが取り込まれる。上記取り込まれたＬｏｎｇ−ＧＯＰの符号化モードをフレーム毎に調べて（ステップＳ５ａ）、Ｉフレームでない場合はＬｏｎｇ−ＧＯＰ復号部２１によりデコードを行う（ステップＳ５ｂ）。Ｉフレームの場合は、そのフレームをそのまま出力する（ステップＳ５ｆ）。
【００２９】
デコードされたフレームは、第３の予測画像生成部２２により、上記取り込まれた予測パラメータによってイントラ予測画像にエンコードされる（ステップＳ５ｃ）。ステップＳ５ｄにおいて誤差データがある場合には、誤差加算器２３は、イントラ予測画像とＬｏｎｇ−ＧＯＰのデコード結果との予測残差αに誤差データβ−αを加算する（ステップＳ５ｅ）。ステップＳ５ｄにおいて誤差データがない場合には、原画像をＡｌｌ−Ｉｎｔｒａエンコードした場合と、Ｌｏｎｇ−ＧＯＰに一度エンコードしてからＡｌｌ−Ｉｎｔｒａに再エンコードした場合と差異がないことを示す。得られた予測残差βは、直交変換、量子化、エントロピー符号化処理によってＡｌｌ−Ｉｎｔｒａエンコードされて出力されて、１フレーム分の処理を終える（ステップＳ５ｆ）。終了要求があるまでフレーム毎に上記処理を繰り返し行う（ステップＳ５ｇ）。
【００３０】
ここで、本実施形態による動画像符号化変換システムにおける効果について説明する。  
図６は、従来方式による符号化方式変換における画質の変化を示す図である。図６において、横軸は、左より原画画質、収録時画質、編集時画質を示し、縦軸では、上に行くほど画質が良いことを表している。収録時にＬｏｎｇ−ＧＯＰを使って編集時にＡｌｌ−Ｉｎｔｒａへ変換した場合と、収録時から編集時までＡｌｌ−Ｉｎｔｒａを使った場合の２つのグラフが描かれている。Ｌｏｎｇ−ＧＯＰの場合は、収録時にはＡｌｌ−Ｉｎｔｒａより画質が良いが、編集時には変換によって画質が逆転する。現在市販されている多くの編集ソフトウェアはこのような変換を行う。
【００３１】
図７は、本実施形態による動画像符号化変換システムに画質の変化を示す図である。図７に示すように、Ｌｏｎｇ−ＧＯＰからＡｌｌ−Ｉｎｔｒａに変換した場合でも、変換による画質劣化を抑える事ができる。利点は、Ｌｏｎｇ−ＧＯＰデータと補助的な少ないデータ（予測パラメータ及び誤差データ）のみによって収録時、編集時ともに従来より画質を良好に維持できる点である。
【００３２】
以上述べたように上記実施形態では、イントラ符号化とインター符号化の両方を用いた符号化データの他に、そのインター符号化データの再生画像をイントラ符号化したデータと原画をイントラ符号化したデータとの差分を保存しておき、編集時等にこの差分データを用いてイントラ符号化を行う。これにより、オリジナルの動画像をイントラ符号化したものと同等の画質の素材を用いて編集等を行うことが可能となる。また、差分データの誤差許容範囲を調整する事により差分データ量と圧縮符号化データ量の合計が、オリジナルの動画像をイントラ符号化した際のデータ量を上回らないように調整できる。
【００３３】
したがって上記実施形態によれば、画質を維持しつつインター符号化されたデータをイントラ符号化データに変換できる。
【００３４】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００３５】
【図１】Ｌｏｎｇ−ＧＯＰデータのフレーム構成を示す図。
【図２】Ａｌｌ−Ｉｎｔｒａデータのフレーム構成を示す図。
【図３】この発明の一実施形態に係る動画像符号化システムの構成を示すブロック図。
【図４】エンコーダ装置の処理手順を示すフローチャート。
【図５】コンバータ装置の処理手順を示すフローチャート。
【図６】従来方式による符号化方式変換における画質の変化を示す図。
【図７】本実施形態に係る動画像符号化システムにおける画質の変化を示す図。
【符号の説明】
【００３６】
１…エンコーダ装置、１１…Ｌｏｎｇ−ＧＯＰ符号化部、１２…イントラ予測器、１３…第１の予測画像生成部、１４…第２の予測画像生成部、１５…誤差算出器、１６…誤差データ符号量調整部、２…コンバータ装置、２１…Ｌｏｎｇ−ＧＯＰ復号部、２２…第３の予測画像生成部、２３…誤差加算器、２４…直交変換部、２５…量子化器、２６…エントロピー符号化器。
【図１】
0004922138.tif 000002
【図２】
0004922138.tif 000003
【図３】
0004922138.tif 000004
【図４】
0004922138.tif 000005
【図５】
0004922138.tif 000006
【図６】
0004922138.tif 000007
【図７】
0004922138.tif 000008