(57)【要約】【課題】従来の例えばフルデコード方式では全フレームをピクセル画像データとして完全に復号化し変換処理を実行するため、参照画像の格納用に２枚のフレームメモリを必要とする、という課題がある。また、ＤＣＴ係数再量子化方式では、Ｐフレームなどの変換がＩフレームを参照せずに行われるため、再変換後のＩフレームの量子化誤差の影響を大きく受ける、という課題がある。【解決手段】以上課題解決のため、本発明は、再変換の前後でのＩフレームのピクセル画像データの差分を、再変換時の量子化によりＩフレームに生じる量子化誤差として予め取得しておく。そして、その取得した量子化誤差データを利用してＰフレーム／Ｂフレームの差分データを補正する機能を備えたビデオストリーム変換装置を提供する。また、Ｐフレームなどに関してもＰ誤差情報を算出し補正を行うビデオストリーム変換装置も提供する。【選択図】図３
2007306158.tif 000002
【特許請求の範囲】
【請求項１】
Ｉフレームを構成すべきピクセルデータであるＩピクセルデータを取得する変換前Ｉピクセルデータ取得部と、
前記変換前Ｉピクセルデータを量子化した後に逆変換して変換後Ｉピクセルデータを取得する変換後Ｉピクセルデータ取得部と、
取得した変換前Ｉピクセルデータと、変換後Ｉピクセルデータとの誤差情報であるＩ誤差情報を取得するI誤差情報取得部と、
取得したＩ誤差情報に基づいてＰフレームを構成すべきピクセルデータである変換前Ｐピクセルデータ又は／及びＢフレームを構成すべき変換前Ｂピクセルデータを補正する補正部と、
を有するビデオストリーム変換装置。
【請求項２】
前記補正部は、補正すべき変換前Ｐフレーム又は／及び補正すべき変換前Ｂフレームが参照するＩフレームを構成すべきＩピクセルデータから取得したＩ誤差情報に基づいて前記補正を行う請求項１に記載のビデオストリーム変換装置。
【請求項３】
補正部にて補正された変換前Ｐピクセルデータである補正済変換前Ｐピクセルデータを取得する補正済変換前Ｐピクセルデータ取得部と、
前記補正済変換前Ｐピクセルデータを量子化した後に逆変換して補正済変換後Ｐピクセルデータを取得する補正済変換後Ｐピクセルデータ取得部と、
取得した補正済変換前Ｐピクセルデータと、補正済変換後Ｐピクセルデータとの誤差情報であるＰ誤差情報を取得するＰ誤差情報取得部と、
を有し、
前記補正部は、前記Ｂフレームを構成すべき変換前Ｂピクセルデータを補正する際に、前記Ｐ誤差情報をも利用して補正を行うＢ二重補正手段を有する請求項１又は２に記載のビデオストリーム変換装置。
【請求項４】
前記Ｂ二重補正手段は、補正すべき変換前Ｂフレームが参照するＰフレームを構成すべきＰピクセルデータから取得したＰ誤差情報に基づいて前記補正を行う請求項３に記載のビデオストリーム変換装置。
【請求項５】
補正部にて補正された変換前Ｐピクセルデータである補正済変換前Ｐピクセルデータを取得する補正済変換前Ｐピクセルデータ取得部と、
前記補正済変換前Ｐピクセルデータを量子化した後に逆変換して補正済変換後Ｐピクセルデータを取得する補正済変換後Ｐピクセルデータ取得部と、
取得した補正済変換前Ｐピクセルデータと、補正済変換後Ｐピクセルデータとの誤差情報であるＰ誤差情報を取得するＰ誤差情報取得部と、
を有し、
取得したＰ誤差情報に基づいてその他の変換前Ｐピクセルデータ又は／変換前Ｂピクセルデータを補正する第二補正部と、
を有する請求項１又は２に記載のビデオストリーム変換装置。
【請求項６】
前記第二補正部は、補正すべきその他の変換前Ｐピクセルデータ又は／変換前Ｂフレームが参照するＰフレームを構成すべきＰピクセルデータから取得したＰ誤差情報に基づいて前記補正を行う請求項５に記載のビデオストリーム変換装置。
【請求項７】
Ｉフレームを構成すべきピクセルデータであるＩピクセルデータを取得する変換前Ｉピクセルデータ取得ステップと、
前記変換前Ｉピクセルデータを量子化した後に逆変換して変換後Ｉピクセルデータを取得する変換後Ｉピクセルデータ取得ステップと、
取得した変換前Ｉピクセルデータと、変換後Ｉピクセルデータとの誤差情報であるＩ誤差情報を取得するI誤差情報取得ステップと、
取得したＩ誤差情報に基づいてＰフレームを構成すべきピクセルデータである変換前Ｐピクセルデータ又は／及びＢフレームを構成すべき変換前Ｂピクセルデータを補正する補正ステップと、
を計算機にて実行するビデオストリーム変換方法。
【請求項８】
Ｉフレームを構成すべきピクセルデータであるＩピクセルデータを取得する変換前Ｉピクセルデータ取得ステップと、
前記変換前Ｉピクセルデータを量子化した後に逆変換して変換後Ｉピクセルデータを取得する変換後Ｉピクセルデータ取得ステップと、
取得した変換前Ｉピクセルデータと、変換後Ｉピクセルデータとの誤差情報であるＩ誤差情報を取得するI誤差情報取得ステップと、
取得したＩ誤差情報に基づいてＰフレームを構成すべきピクセルデータである変換前Ｐピクセルデータを補正する補正ステップと、
補正ステップにて補正された変換前Ｐピクセルデータである補正済変換前Ｐピクセルデータを取得する補正済変換前Ｐピクセルデータ取得ステップと、
前記補正済変換前Ｐピクセルデータを量子化した後に逆変換して補正済変換後Ｐピクセルデータを取得する補正済変換後Ｐピクセルデータ取得ステップと、
取得した補正済変換前Ｐピクセルデータと、補正済変換後Ｐピクセルデータとの誤差情報であるＰ誤差情報を取得するＰ誤差情報取得ステップと、
取得したＩ誤差情報とＰ誤差情報とに基づいて、Ｂフレームを構成すべき変換前Ｂピクセルデータである変換前Ｂピクセルデータを補正するＢ二重補正ステップと、
を計算機にて実行するビデオストリーム変換方法。
【請求項９】
Ｉフレームを構成すべきピクセルデータであるＩピクセルデータを取得する変換前Ｉピクセルデータ取得ステップと、
前記変換前Ｉピクセルデータを量子化した後に逆変換して変換後Ｉピクセルデータを取得する変換後Ｉピクセルデータ取得ステップと、
取得した変換前Ｉピクセルデータと、変換後Ｉピクセルデータとの誤差情報であるＩ誤差情報を取得するI誤差情報取得ステップと、
取得したＩ誤差情報に基づいてＰフレームを構成すべきピクセルデータである変換前Ｐピクセルデータを補正する補正ステップと、
補正ステップにて補正された変換前Ｐピクセルデータである補正済変換前Ｐピクセルデータを取得する補正済変換前Ｐピクセルデータ取得ステップと、
前記補正済変換前Ｐピクセルデータを量子化した後に逆変換して補正済変換後Ｐピクセルデータを取得する補正済変換後Ｐピクセルデータ取得ステップと、
取得した補正済変換前Ｐピクセルデータと、補正済変換後Ｐピクセルデータとの誤差情報であるＰ誤差情報を取得するＰ誤差情報取得ステップと、
取得したＰ誤差情報とに基づいて、その他の変換前Ｐピクセルデータ又は／Ｂフレームを構成すべき変換前Ｂピクセルデータである変換前Ｂピクセルデータを補正する第二補正ステップと、
を計算機にて実行するビデオストリーム変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオストリームの圧縮符号化技術に関する。
【背景技術】
【０００２】
いわゆるテレビパソコンやＨＤＤ／ＤＶＤレコーダー、あるいはＨＤＤ／ＤＶＤビデオカメラなどの普及により、現在、録画・撮影した動画をＭＰＥＧなどの形式で圧縮符号化し、保存することが一般的に行われている。このＭＰＥＧ圧縮符号化では、時間（フレーム間）相関を利用し、動画を構成するコマ画像（フレーム）のそれぞれを、独立画像である「Ｉフレーム」と、他の画像を参照する画像である「Ｐフレーム」や「Ｂフレーム」とに分類する。つまりＩフレームはピクセル画像データとして表現し、またＰフレーム／Ｂフレームは参照画像との差分データとして表現することができる。そして空間（フレーム内）相関を利用し、そのピクセル画像データや差分データに対する「ＤＣＴ変換」処理などによりＤＣＴ係数を算出し、そのＤＣＴ係数を任意の量子化係数で除算する「量子化」処理などを経てビデオストリームが圧縮符号化される。
【０００３】
そしてまた、現在では、例えばＨＤＤビデオカメラで８Ｍｂｐｓで撮影した８ＧＢのＭＰＥＧビデオストリームを、４．７ＧＢまで書込み可能なＤＶＤメディアに記録するため４Ｍｂｐｓで再変換する、といった具合に、この圧縮符号化されたビデオストリームを異なるビットレートで再変換することなども行われている。このようなビデオストリーム再変換の方法としては、ビデオストリームを構成する各フレームをピクセル画像データにまで完全に復元して再変換を行う「フルデコード方式」と、各フレームをピクセル画像データまで復元せず、ピクセル画像データの手前のＤＣＴ係数（周波数）情報まで復元して再変換を行う「ＤＣＴ係数再量子化方式」と、の主に２つの方法がある。
【特許文献１】特開２０００−３３３１７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記２つの技術には、それぞれ図１に示すような課題がある。すなわち、フルデコード方式では全フレームをピクセル画像データとして完全に復号化し再変換処理を実行するため、図１の（ａ）にあるように、差分データであるＰフレーム／Ｂフレームをピクセル画像データとして復元するために参照する参照画像を格納するフレームメモリ１と、再変換するためにその復元されたＰフレーム／Ｂフレームから差分データを算出するための参照画像を格納するフレームメモリ２と、という具合に、後述のＤＣＴ係数再量子化方式よりも多くのフレームメモリを必要とする、という課題がある。
【０００５】
また、ＤＣＴ係数再量子化方式では、フルデコード方式と比べてフレームを画像情報として完全に復元しないため必要となるフレームメモリを減らすことができる替わりに、図１（ｂ）にあるようにＰフレーム／Ｂフレームの再変換がＩフレームを参照せずに行われる。そのために、再変換後のＰフレーム／ＢフレームのデータはＩフレームの量子化誤差の影響を大きく受ける、という課題がある。
【０００６】
なお「量子化誤差」とは、量子化処理においてＤＣＴ係数を量子化係数で除算した際の余りが切り捨てなどされるため、逆量子化処理を行っても完全には元のデータ値が再現されずに生じる誤差のことである。
【０００７】
また、Ｐフレームはその他のＰフレームを参照することが可能であり、またＢフレームはＰフレームを複数参照することが可能であるため、あるＰフレームに生じた誤差が参照を重ねることで累積され、さらなる画質劣化を招くこともある。
【課題を解決するための手段】
【０００８】
以上の課題を解決するために、本発明は、まず再変換の前と後におけるＩフレームのピクセル画像データの差分（誤差）値を、再変換時の量子化によりＩフレームに生じる量子化誤差として予め取得しておく。そして、その取得した量子化誤差データを利用してＰフレーム／Ｂフレームを補正する機能を備えたビデオストリーム変換装置を提供する。
【０００９】
具体的には、Ｉフレームを構成すべきピクセルデータであるＩピクセルデータを取得する変換前Ｉピクセルデータ取得部と、前記変換前Ｉピクセルデータを量子化した後に逆変換して変換後Ｉピクセルデータを取得する変換後Ｉピクセルデータ取得部と、取得した変換前Ｉピクセルデータと、変換後Ｉピクセルデータとの誤差情報であるＩ誤差情報を取得するI誤差情報取得部と、取得したＩ誤差情報に基づいてＰフレームを構成すべきピクセルデータである変換前Ｐピクセルデータ又は／及びＢフレームを構成すべき変換前Ｂピクセルデータを補正する補正部と、を有するビデオストリーム変換装置である。
【００１０】
また、Ｂフレームは２以上のＩフレームとＰフレームを参照することも可能であるので、その参照されるＰフレームに関しても同様に変換前と変換後で誤差を求め、そのＩフレームの誤差情報とＰフレームの誤差情報を利用してＢフレームの補正を行うビデオストリーム装置も提供する。また、Ｐフレーム／ＢフレームはＰフレームのみを参照することも可能であるので、Ｐフレームに関して変換前と変換後で誤差を求め、そのＰフレームの誤差情報のみを利用してＰフレーム／Ｂフレームの補正を行うビデオストリーム装置も提供する。
【発明の効果】
【００１１】
以上のような構成をとる本発明によって、参照用のピクセル画像データを用いてＰフレーム／Ｂフレームの画像情報を完全に復元することなく、再変換時の量子化により参照用のＩフレームやＰフレームに生じる誤差を補正することが可能となる。したがって再変換の際に必要となるフレームメモリを減らし、なおかつ画像品質の劣化も抑えることができる。
【発明を実施するための最良の形態】
【００１２】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例１は、主に請求項１、２、７について説明する。また、実施例２は、主に請求項３、４、５、６、８、９について説明する。
【００１３】
≪実施例１≫
<概要>
図２は、本実施例のビデオストリーム変換装置による、圧縮符号化されたビデオストリームの再変換処理の一例を説明するための概念図である。この図にあるように、ビデオストリームを構成する各フレームは「可変長復号」（０２０１）、「逆量子化」（０２０２）、「逆ＤＣＴ変換」（０２０３）などの逆変換処理を経て、デコードされる。そして、Ｉフレームに関しては、デコードされたピクセル画像データＩ１が「ＤＣＴ変換」（０２０４）、「量子化」（０２０５）、「可変長符号化」（０２０６）などの処理を経て再変換される。
【００１４】
そして、従来のフルデコード方式ではＰフレーム／Ｂフレームのピクセル画像データを復元する際の参照画像として、このデコードされたＩフレームのピクセル画像データＩ１を「フレームメモリ」（０２１０）に格納するが、本実施例ではピクセル画像データのままでの格納は行わなず、以下のような処理を行う。
【００１５】
本実施例では、上記「ＤＣＴ変換」や「量子化」などにより得られた画像データＩ１の再変換後のデータに対し、再度「逆量子化」（０２０７）、「逆ＤＣＴ変換」（０２０８）の逆処理を行う。それにより再変換後のＩフレームをデコードした際のピクセル画像データＩ２が生成される。そして、このＩ１とＩ２のピクセル画像データの差分（誤差）値が、この装置の再変換により生じる前述の量子化誤差分であるので、「Ｉ誤差情報算出」（０２０９）処理を行い、Ｉ１とＩ２の誤差情報を算出する。そして、その誤差情報を「フレームメモリ」（０２１０）に格納する。
【００１６】
そして再変換のための「逆ＤＣＴ変換」（０２０３）によってデコードされたＰフレーム／Ｂフレーム（の差分データ）に関しては、上記処理により「フレームメモリ」（０２１０）に格納されたＩ誤差情報を利用して「補正演算」（０２１１）処理を行う。これによって、従来のように再変換前にＩフレームを参照しなくとも、そのＩフレームの量子化誤差の影響を抑えて、Ｐフレーム／Ｂフレームに対して「ＤＣＴ」（０２０４）、「量子化」（０２０５）、「可変長符号化」（０２０６）などの再変換処理を行うことができる。すなわちＰフレーム／Ｂフレームにおける画質劣化を抑えつつ、再変換前の参照画像を格納する分のフレームメモリを減らすことができる、という具合である。
【００１７】
<機能的構成>
図３は、本実施例のビデオストリーム変換装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「ビデオストリーム変換装置」（０３００）は、「変換前Ｉピクセルデータ取得部」（０３０１）と、「変換後Ｉピクセルデータ取得部」（０３０２）と、「Ｉ誤差情報取得部」（０３０３）と、「補正部」（０３０４）と、を有する。
【００１８】
なお、以下に記載する本装置の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵや主メモリ、バス、あるいは二次記憶装置（ハードディスクや不揮発性メモリ、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶メディアとそれらメディアの読取ドライブなど）、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部やその外部周辺機器用のＩ／Ｏポート、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、情報入力に利用されるユーザーインターフェースなどが挙げられる。またこれらハードウェアやソフトウェアは、主メモリ上に展開したプログラムをＣＰＵで演算処理したり、メモリやハードディスク上に保持されているデータや、インターフェースを介して入力されたデータなどを加工、蓄積、出力処理したり、あるいは各ハードウェア構成部の制御を行ったりするために利用される。
【００１９】
また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。
【００２０】
「変換前Ｉピクセルデータ取得部」（０３０１）は、Ｉピクセルデータを取得する機能を有する。「Ｉピクセルデータ」とは、Ｉフレームを構成すべきピクセルデータをいい、例えば（２０，１０，８，１６、・・・・）といった具合の、ピクセル単位での輝度値や色差値、あるいはＲＧＢ値などが挙げられる。なお、ピクセルデータは画像データであって、ＤＣＴ変換などされて（ＤＣＴ）係数で表されるフレームデータは含まれない。また、このＩピクセルデータは、画像サイズによっては、例えばピクセルの集合体であるマクロブロックなどをその単位として輝度値の平均値などで表された画像データであっても良い。
【００２１】
また、本発明のビデオストリーム装置にて変換されるビデオストリームは、ＩフレームやＰフレーム／Ｂフレームを用いて圧縮符号化されたビデオストリームであれば、ＭＰＥＧ方式のビデオストリームには限定されない。また、その変換処理も再変換以降の変換に限定されるものではなく、本装置に入力されるビデオストリームの各フレームが予めＩフレームになるのかＰフレームやＢフレームになるのか決められるのであれば、アナログデータであっても構わない。なお、「Ｉフレーム」とは、他のフレームを参照することなく独立して成立するフレームをいい、「Ｐフレーム／Ｂフレーム」とは、他のフレームを参照し、動き補償などを利用しその参照画像との差分データによって構成されたフレームをいう。なお、Ｐフレームはその参照フレームが時間的に前方向にあるフレームであり、Ｂフレームは１又は２以上の前方向や後方向、あるいは前後双方向のフレームを選択して参照するフレームをいう（参考文献  大久保榮監修  「H.264/AVC教科書」第1版  インプレス出版）。
【００２２】
「変換後Ｉピクセルデータ取得部」（０３０２）は、変換後Ｉピクセルデータを取得する機能を有する。「変換後Ｉピクセルデータ」とは、前記変換前Ｉピクセルデータを量子化した後に逆変換して得られたＩピクセルデータをいう。
【００２３】
なお、「量子化」とは、ある数値を量子化係数で除算することをいう。一般的にＭＰＥＧの圧縮符号化時の量子化では、ＤＣＴ変換やウェーブレット変換、アダマール変換などの画像の周波数変換処理で得られた（ＤＣＴ）係数を量子化テーブルで示される量子化係数で除算する際に、その余りを丸める処理を行うため非可逆変換となる。また、「逆変換」とは、逆量子化を含み、逆ＤＣＴ変換や逆ウェーブレット変換、あるいは可変長復号化など前段の変換処理に対する逆処理のことをいう。したがって、逆量子化を含む「逆変換」が実行されるとその逆変換後のピクセルデータは元のデータ値とは完全に一致せず量子化誤差を生じることになる。そこで、本発明のビデオストリーム変換装置では、次の「Ｉ誤差情報取得部」において、変換前Ｉピクセルデータと、変換後Ｉピクセルデータとの差分を量子化誤差分として取得する。
【００２４】
そして、Ｐフレーム／Ｂフレームをデコードするための参照用のＩピクセルデータの替わりに、その量子化誤差データを利用することで、（フレーム）メモリに格納すべきデータ量を抑えることもできる。
【００２５】
「I誤差情報取得部」（０３０３）は、Ｉ誤差情報を取得する機能を有する。「Ｉ誤差情報」とは、取得した変換前Ｉピクセルデータと、変換後Ｉピクセルデータとの誤差情報をいい、前述のように、いわゆる量子化誤差を示す情報である。このＩ誤差情報の算出は、例えば変換前Ｉピクセルデータである、変換前のＩフレームにおける各画素の輝度値が（２０，１０，１６，８、・・・・）であり、変換後Ｉピクセルデータが（１６，８，１４，６、・・・・）であれば、ＣＰＵなどの演算処理によって対応するピクセルごとに差分値を求め、Ｉ誤差情報（４，２，２，２、・・・・）を算出する、という具合にして取得すると良い。
【００２６】
なお、このＩ誤差情報は、例えば予め４ビット以内という具合に閾値を設定し、４ビット以上の値をとる量子化誤差については４ビット以内に収める処理を行っても構わない。このように閾値を設けることで、フレームメモリに格納するデータ量をさらに削減することができる。また、この閾値は、例えばユーザーなどが任意に設定可能であっても良い。あるいは、スキップモードのマクロブロックの数（参照フレームからコピーされるマクロブロックの数）に応じて、その数が多ければ閾値を多めに設定する、といった具合に適宜変更されても良い。
【００２７】
「補正部」は、取得したＩ誤差情報に基づいて変換前Ｐピクセルデータ又は／及び変換前Ｂピクセルデータを補正する機能を有する。「変換前Ｐピクセルデータ」とは、Ｐフレームを構成すべきピクセルデータであり、「変換前Ｂピクセルデータ」とは、Ｂフレームを構成すべきピクセルデータをいう。
【００２８】
なお本発明ではこの補正部において参照画像であるＩフレームの量子化誤差を利用した補正を、これら変換前Ｐピクセルデータや変換前Ｂピクセルデータに対して行う。したがって、この変換前Ｐピクセルデータや変換前Ｂピクセルデータを完全なピクセル画像データとして復元せず、参照画像との差分データのみとしても画質劣化をあまり招かずに再変換などを実行することができる。したがって、フルデコード方式と比べて必要とするフレームメモリの枚数を減らすことが可能になる。
【００２９】
図４は、変換前Ｐピクセルデータ又は変換前Ｂピクセルデータである参照画像との差分データに対して、Ｉ誤差情報を利用して行う補正処理の一例を説明するための図である。この図にあるように、変換前Ｐピクセルデータ（０，４，４，２、・・・・）に、前記算出されたＩ誤差情報（４，２，２，２、・・・・）を加算することで、補正された差分データ（４，６，６，４、・・・・）が取得される。そして、この補正処理後の差分データを再変換処理することで、参照画像データを用いてＰフレーム／Ｂフレームの画像情報を完全に復元することなく、再変換時の量子化によりＩフレームに生じる誤差を補正した再変換を行うことができる。
【００３０】
なお、この補正部における補正は、補正すべき変換前Ｐ（Ｂ）フレームが参照するＩフレームのＩピクセルデータから取得したＩ誤差情報を利用して行われると良いが、もちろんそれには限定されない。例えば、参照Ｉフレームの前後のＩフレーム群のＩ誤差情報の平均値を利用する、などであっても良い。
【００３１】
<本実施例のハードウェア構成>
図５は、上記機能的な各構成要件をハードウェアとして実現した際の、ビデオストリーム変換装置における構成の一例を表す概略図である。この図を利用してビデオストリームの（再）変換処理におけるそれぞれのハードウェア構成部の働きについて説明する。この図にあるように、ビデオストリーム変換装置は、各種演算処理を行う「ＣＰＵ（中央演算装置）」と、その演算処理用のデータを格納する「主メモリ」と、を備えている。つまり、この「ＣＰＵ」や「主メモリ」が「Ｉ誤差情報取得部」としてＩ誤差情報を算出するため各輝度値などの減算演算を行ったり、「補正部」としてＰフレームやＢフレームを補正するため各輝度値の加算演算を行ったりする。またこの「ＣＰＵ」や「主メモリ」は入力されたビデオストリームが圧縮符号化されたデータであれば「変換前Ｉピクセルデータ取得部」や「変換後Ｉピクセルデータ取得部」として、「逆量子化」や「逆ＤＣＴ変換」など逆処理演算（デコード）を行い、Ｉピクセルデータを取得する。
【００３２】
また、このビデオストリーム変換装置はビデオストリームの各フレーム情報が入力される「Ｉ／Ｏ」や、ピクセル画像データを格納するための「フレームメモリ」なども備えている。そしてそれらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
【００３３】
なお、「主メモリ」は、ビデオストリームの変換プログラムを実行するために読み出すと同時にそのプログラムの作業領域でもあるワーク領域を提供する。また、この「主メモリ」には複数のメモリアドレスが割り当てられており、「ＣＰＵ」で実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。また、「フレームメモリ」も画素に対応するメモリアドレスを備えその画素の輝度値などのピクセルデータを格納することができる。
【００３４】
ここで、「Ｉ／Ｏ」にて、例えばＨＤＤに保持されているＭＰＥＧビデオストリームが入力される。すると、ＣＰＵにて実行されるデコードプログラムによって、入力データ値に対する「可変長復号化」処理、「逆量子化」処理、「逆ＤＣＴ変換」処理が行われ、変換前Ｉピクセルデータや変換前Ｐ（Ｂ）ピクセルデータが取得される。そしてそれら各ピクセルデータはフレームメモリに格納される。
【００３５】
続いて、ＣＰＵで実行されるエンコードプログラムによって、今度は復元（デコード）された変換前Ｉピクセルデータに対して、「ＤＣＴ変換」処理、「量子化」処理、「可変長符号化」処理が行われ、Ｉフレームの再圧縮符号化が実行される。そして、さらにその圧縮符号化されたＩフレームのデータに対し、再度「可変長復号化」処理、「逆量子化」処理、「逆ＤＣＴ変換」処理が行われ、変換後Ｉピクセルデータが取得される。
【００３６】
そして、変換前Ｉピクセルデータと変換後Ｉピクセルデータの対応する画素の例えば輝度値がそれぞれ主メモリのアドレス１とアドレス２に格納され、ＣＰＵの演算処理によりその差分値が量子化誤差として算出され主メモリのアドレス３に格納される。そしてこの演算処理を繰り返すことで各画素の補正値（Ｉ誤差情報）が算出され、フレームメモリに格納される。
【００３７】
そして、その格納された各画素の補正値を、フレームメモリのアドレス２に格納されている変換前Ｐピクセルデータ（Ｐ（Ｂ）フレームの差分データ）の対応する画素に加算することで、や変換前Ｐ（Ｂ）ピクセルデータの補正が行われる。そして、その補正された変換前Ｐ（Ｂ）ピクセルデータに対して、「ＤＣＴ変換」処理、「量子化」処理、「可変長符号化」処理が行われ、Ｐ（Ｂ）フレームの再圧縮符号化が実行される、という具合である。
【００３８】
<処理の流れ>
図６は、本実施例のビデオストリーム変換装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、変換前Ｉピクセルデータを取得する（ステップＳ０６０１）。つづいて、その変換前Ｉピクセルデータを量子化し（ステップＳ０６０２）、Ｉフレームの再変換処理とする（Ａ）。
【００３９】
また、ステップＳ０６０２で量子化したものを逆変換して変換後Ｉピクセルデータを取得する（ステップＳ０６０３）。そして、ステップＳ０６０１で取得した変換前Ｉピクセルデータと、ステップＳ０６０３で取得した変換後Ｉピクセルデータとの誤差情報として、例えば対応画素値の差分を取るなどしてＩ誤差情報を取得する（ステップＳ０６０４）。つづいて、そのＩ誤差情報に基づいて、変換前Ｐピクセルデータ又は／及び変換前Ｂピクセルデータを補正し（ステップＳ０６０５）、その補正された変換前Ｐピクセルデータ又は／及び変換前Ｂピクセルデータに対して再変換などを行う。
【００４０】
<効果の簡単な説明>
以上のように、本実施例のビデオストリーム変換装置によって、参照画像データを用いてＰフレーム／Ｂフレームの画像情報を完全に復元することなく、再変換時の量子化によりＩフレームに生じる誤差を補正することが可能となる。したがって再変換の際に必要となるフレームメモリを減らし、なおかつ画像品質の劣化も抑えることができる。
【００４１】
≪実施例２≫
<概要>
図７に示すように、通常Ｂフレームは、その参照画像としてＩフレームに加えＰフレームを用いることも可能である。そこで本実施例は、実施例１を基本とし、Ｂフレームの参照対象となるＰフレームに関しても量子化誤差を示す誤差情報を取得し、そのＰ誤差情報とＩ誤差情報とを利用してＢフレームの補正を行う機能を備えたビデオストリーム変換装置について説明する。
【００４２】
図８は、本実施例のビデオストリーム変換装置による、圧縮符号化されたビデオストリームの再変換処理の一例を説明するための概念図である。この図にあるように、Ｉフレームのデコードおよび再変換、またＩ誤差情報を算出処理などが実施例１と同様にして実行される。そしてまた、Ｐフレーム／ＢフレームのデコードやＩ誤差情報を利用した補正処理および再変換なども実行される。
【００４３】
そして、本実施例では、その補正処理されたＰフレームの補正済差分データＰ１などに関して、実施例１のＩフレームと同様に、「ＤＣＴ変換」（０８０４）や「量子化」（０８０５）処理などの後、逆変換処理を行い、再変換後ＰピクセルデータＰ２を生成する。そして、このＰ１とＰ２の量子化誤差を「Ｐ誤差情報算出」（０８０９）処理により算出し「フレームメモリ」（０８１０）に格納する。そして「補正演算」（０８１１）での例えばこのＰフレームを参照するＢフレームの補正処理については、そのＰ誤差情報とＩ誤差情報を利用して補正を行う、という具合である。
【００４４】
なお、Ｂフレームは参照画像として前又は／及び後のＰフレームのみを用いることも当然可能であり、その場合、Ｉ誤差情報は利用されずにＰ誤差情報のみを利用してＢフレームに関する補正処理が実行されると良い。また、Ｐフレームは参照画像としてその他のＰフレームを用いることも可能であるので、その場合も、Ｉ誤差情報は利用されずにＰ誤差情報のみを利用してＰフレームに関する補正処理が実行されると良い。
【００４５】
<機能的構成>
図９は、本実施例のビデオストリーム変換装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「ビデオストリーム変換装置」（０９００）は、実施例１を基本として、「変換前Ｉピクセルデータ取得部」（０９０１）と、「変換後Ｉピクセルデータ取得部」（０９０２）と、「Ｉ誤差情報取得部」（０９０３）と、「補正部」（０９０４）と、を有する。なお、これら「変換前Ｉピクセルデータ取得部」と、「変換後Ｉピクセルデータ取得部」と、「Ｉ誤差情報取得部」と、「補正部」と、は実施例１にて既に記載済みであるのでその説明は省略する。
【００４６】
そして、本実施例のビデオストリーム変換装置の特徴点は、「補正済変換前Ｐピクセルデータ取得部」（０９０５）と、「補正済変換後Ｐピクセルデータ取得部」（０９０６）と、「Ｐ誤差情報取得部」（０９０７）と、を有する点と、「補正部」がさらに「Ｂ二重補正手段」（０９０８）を有する点である。
【００４７】
「補正済変換前Ｐピクセルデータ取得部」（０９０５）は、補正済変換前Ｐピクセルデータを取得する機能を有する。「補正済変換前Ｐピクセルデータ」とは、補正部（０９０４）にて補正された変換前Ｐピクセルデータをいう。
【００４８】
「補正済変換後Ｐピクセルデータ取得部」（０９０６）は、補正済変換後Ｐピクセルデータを取得する機能を有する。「補正済変換後Ｐピクセルデータ」とは、前記補正済変換前Ｐピクセルデータを量子化した後に逆変換して得られたＰピクセルデータをいう。
【００４９】
「Ｐ誤差情報取得部」（０９０７）は、Ｐ誤差情報を取得する機能を有する。「Ｐ誤差情報」とは、取得した補正済変換前Ｐピクセルデータと、補正済変換後Ｐピクセルデータとの誤差情報をいい、実施例１で説明したＩ誤差情報と同様に、補正済変換前Ｐピクセルデータがと補正済変換後Ｐピクセルデータの対応するピクセルごとに差分値を求めることで算出して取得すると良い。
【００５０】
「Ｂ二重補正手段」（０９０８）は、前記Ｂフレームを構成すべき変換前Ｂピクセルデータを補正する際に、Ｉ誤差情報に加え前記Ｐ誤差情報をも利用して補正を行う機能を有する。つまりＢフレームがＩフレームに加えＰフレームも参照画像としている場合に、Ｉ誤差情報やＰ誤差情報を利用して補正を行うことになる。またＢフレームが２以上の複数のフレームを参照している場合は、それら複数のフレームに関して同様のＩ誤差情報／Ｐ誤差情報を取得し補正に利用すると良い。
【００５１】
また、Ｐフレーム／Ｂフレームが、ＩフレームではなくＰフレームのみを参照している場合は、取得したＰ誤差情報に基づいてその他の変換前Ｐピクセルデータ又は／変換前Ｂピクセルデータを補正する機能を備えた、図示しない第二補正部において前記Ｐ誤差情報のみを利用して補正を行っても構わない。
【００５２】
また、実施例１で記載したように、これらＢ二重補正手段や第二補正部においても、補正すべき変換前Ｐ（Ｂ）フレームが参照するＰフレームの差分データなどから取得したＰ誤差情報を利用してその補正が行われると良いが、もちろんそれには限定されない。
【００５３】
<処理の流れ>
図１０は、本実施例のビデオストリーム変換装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。まず、図６を用いて説明したようにして、Ｉ誤差情報の取得（図６中のステップＳ０６０４）や、そのＩ誤差情報に基づく、変換前Ｐピクセルデータなどの補正（図６中のステップＳ０６０５）が実行される。
【００５４】
そして図１０にあるように、その補正済変換前Ｐピクセルデータを取得する（ステップＳ１００１）。つづいて、取得した補正済変換前Ｐピクセルデータを量子化し（ステップＳ１００２）、Ｐフレームの再変換処理とする（Ａ）。
【００５５】
また、ステップＳ１００２で量子化したものを逆変換して補正済変換後Ｐピクセルデータを取得する（ステップＳ１００３）。そして、ステップＳ１００１で取得した補正済変換前Ｐピクセルデータと、ステップＳ１００３で取得した補正済変換後Ｐピクセルデータとの誤差情報として、例えば対応画素値の差分を取るなどしてＰ誤差情報を取得する（ステップＳ１００４）。つづいて、そのＰ誤差情報に基づいて、変換前Ｂピクセルデータを補正し（ステップＳ１００５）、その補正された変換前Ｂピクセルデータに対して再変換などを行う。
【００５６】
<効果の簡単な説明>
以上のように、本実施例のビデオストリーム変換装置によって、参照画像データを用いてＩフレームのみならずＰフレームなどを参照画像とするフレームに関しても同様に量子化誤差を補正することが可能となる。したがって再変換の際に必要となるフレームメモリを減らし、なおかつ画像品質の劣化も抑えることができる。
【図面の簡単な説明】
【００５７】
【図１】従来のビデオストリーム変換処理の一例を説明するための図
【図２】実施例１のビデオストリーム変換装置による、圧縮符号化されたビデオストリームの再変換処理の一例を説明するための概念図
【図３】実施例１のビデオストリーム変換装置における機能ブロックの一例を表す図
【図４】実施例１のビデオストリーム変換装置の補正部での補正処理の一例を説明するための図
【図５】実施例１のビデオストリーム変換装置におけるハードウェア構成の一例を表す概略図
【図６】実施例１のビデオストリーム変換装置における処理の流れの一例を表すフローチャート
【図７】ＰフレームやＢフレームの参照関係の一例を説明するための概念図
【図８】実施例２のビデオストリーム変換装置による、圧縮符号化されたビデオストリームの再変換処理の一例を説明するための概念図
【図９】実施例２のビデオストリーム変換装置における機能ブロックの一例を表す図
【図１０】実施例２のビデオストリーム変換装置における処理の流れの一例を表すフローチャート
【符号の説明】
【００５８】
０３００  ビデオストリーム変換装置
０３０１  変換前Ｉピクセルデータ取得部
０３０２  変換後Ｉピクセルデータ取得部
０３０３  Ｉ誤差情報取得部
０３０４  補正部
【図１】
2007306158.tif 000003
【図２】
2007306158.tif 000004
【図３】
2007306158.tif 000005
【図４】
2007306158.tif 000006
【図５】
2007306158.tif 000007
【図６】
2007306158.tif 000008
【図７】
2007306158.tif 000009
【図８】
2007306158.tif 000010
【図９】
2007306158.tif 000011
【図１０】
2007306158.tif 000012