(57)【特許請求の範囲】
【請求項１】
少なくとも画像内符号化画像と画像間予測符号化画像からなる第１の画像符号化情報を第２の画像符号化情報へと変換する画像情報変換装置において、
上記第２の画像符号化情報を構成する複数画像からなる各符号化単位に対応する動きベクトル情報を生成する動きベクトル生成手段と、
上記生成された動きベクトル情報を格納する動きベクトル格納手段と、
上記第１の画像符号化情報から抽出される動きベクトル情報に基づいて生成された第１の画像間予測符号化モードの符号化単位の動きベクトルと第２の画像間予測符号化モードの符号化単位の動きベクトルとに基づいて、上記第１の画像間予測符号化モードと上記第２の画像間予測符号化モードの何れを使用するかを決定する符号化モード判定を行うモード判定手段とを有し、
上記モード判定手段は、上記第１の画像間予測符号化モードの符号化単位の動きベクトルと上記第２の画像間予測符号化モードの符号化単位の動きベクトルとの間のｘ方向成分の差分絶対値和とｙ方向成分の差分絶対値和との和として算出される分散値、若しくは上記第１の画像間予測符号化モードの符号化単位の動きベクトルと上記第２の画像間予測符号化モードの符号化単位の動きベクトルとの間のｘ方向成分の差分絶対値和とｙ方向成分の差分絶対値和との最大値として算出される分散値を求め、上記分散値と予め設定した閾値との比較に基づいて、当該第２の画像符号化情報を構成する上記符号化単位についての符号化モードを判定する
画像情報変換装置。
【請求項２】
上記モード判定手段は、上記分散値が上記閾値以下である条件が成り立つならば、上記第２の画像符号化情報を構成する上記符号化単位の符号化モードを第１の画像間予測符号化モードと判定し、上記分散値が上記閾値よりも大きい条件が成り立つならば、上記第２の画像符号化情報を構成する上記符号化単位の符号化モードを第２の画像間予測符号化モードと判定する請求項１記載の画像情報変換装置。
【請求項３】
少なくとも画像内符号化画像と画像間予測符号化画像からなる第１の画像符号化情報を第２の画像符号化情報へと変換する画像情報変換方法において、
上記第２の画像符号化情報を構成する複数画像からなる各符号化単位に対応する動きベクトル情報を生成する動きベクトル生成工程と、
上記生成された動きベクトル情報を動きベクトル格納手段に格納する動きベクトル格納工程と、
上記第１の画像符号化情報から抽出される動きベクトル情報に基づいて生成された第１の画像間予測符号化モードの符号化単位の動きベクトルと第２の画像間予測符号化モードの符号化単位の動きベクトルとに基づいて、上記第１の画像間予測符号化モードと上記第２の画像間予測符号化モードの何れを使用するかを決定する符号化モード判定を行うモード判定工程とを有し、
上記モード判定工程では、上記第１の画像間予測符号化モードの符号化単位の動きベクトルと上記第２の画像間予測符号化モードの符号化単位の動きベクトルとの間のｘ方向成分の差分絶対値和とｙ方向成分の差分絶対値和との和として算出される分散値、若しくは上記第１の画像間予測符号化モードの符号化単位の動きベクトルと上記第２の画像間予測符号化モードの符号化単位の動きベクトルとの間のｘ方向成分の差分絶対値和とｙ方向成分の差分絶対値和との最大値として算出される分散値を求め、上記分散値と予め設定した閾値との比較に基づいて、当該第２の画像符号化情報を構成する上記符号化単位についての符号化モードを判定する
画像情報変換方法。
【請求項４】
上記モード判定工程では、上記分散値が上記閾値以下である条件が成り立つならば、上記第２の画像符号化情報を構成する上記符号化単位の符号化モードを第１の画像間予測符号化モードと判定し、上記分散値が上記閾値よりも大きい条件が成り立つならば、上記第２の画像符号化情報を構成する上記符号化単位の符号化モードを第２の画像間予測符号化モードと判定する請求項３記載の画像情報変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像情報変換装置及び画像情報変換方法に関し、特に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット等のネットワークを介して受信する際、或いは、光ディスク、磁気ディスク、フラッシュメモリ等の記憶媒体上で処理する際に用いられる画像情報変換装置及び画像情報変換方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱う際、画像情報特有の冗長性を利用し、効率の高い情報の伝送及び蓄積を目的とした、例えば離散コサイン変換（Discrete Cosine Transform、以下、ＤＣＴと記す。）等の直交変換と動き補償により圧縮する方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ（Moving Picture Experts Group）によって標準化されているＭＰＥＧ２は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ  １３８１８−２に定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅している。そのためＭＰＥＧ２は、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。
【０００４】
このようなＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素をもつ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量（以下、ビットレートと記す。）を、１９２０×１０８８画素をもつ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓのビットレートを割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１よりも低いビットレート、つまり、より高い圧縮率の符号化方式には対応していなかった。ところが携帯端末の普及とともに、今後より高い圧縮率の符号化方式のニーズは高まると予想されたことからＭＰＥＧ４符号化方式の標準化が行われ、画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ  １４４９６−２として国際標準に承認されている。
【０００６】
このように、ディジタル放送に対応するように一旦符号化されたＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）を、例えば、携帯端末等で処理するために、さらに低いビットレートのＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）に変換するための画像情報変換装置として、図５に示す装置がField-to-Frame Transcoding with Spatial and Temporal Downsampling (Susie J.wee,John G.Apostolopoulos,and Nick Feamster,ICIP'99)（以下「文献１」という。）に提案されている。
【０００７】
図５に示す画像情報変換装置１００において、入力端子１１０に供給された飛び越し走査のＭＰＥＧ２ビットストリームにおける各フレームのデータは、まず、ピクチャタイプ判別部１１１に入力する。
【０００８】
当該ピクチャタイプ判別部１１１では、各フレームの入力データがＩピクチャ（画像内符号化画像）及びＰピクチャ（前方予測符号化画像）に関するものか、又はＢピクチャ（両方向予測符号化画像）に関するものであるかを判別し、前者のときのみ、そのＩ及びＰピクチャに関する情報を後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２に出力する。
【０００９】
ＭＰＥＧ２画像情報復号化部１１２における処理は通常のＭＰＥＧ２画像情報復号化装置と同様である。ただし、Ｂピクチャに関するデータはピクチャタイプ判別部１１１において廃棄されるため、ＭＰＥＧ２画像情報復号化部１１２における機能としてはＩ／Ｐピクチャのみを復号化できればよい。ＭＰＥＧ２画像情報復号化部１１２の出力となる画素値は、間引き部１１３に入力される。
【００１０】
当該間引き部１１３は、水平方向については１／２の間引き処理を施し、垂直方向については第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄することにより、入力となる画像情報の１／４の大きさをもつ順次走査画像を生成する。間引き部１１３によって生成された順次走査画像は、一旦、ビデオメモリ１１４に蓄積された後に読み出され、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５に入力する。
【００１１】
ここで、例えば、入力となるＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、上記間引き後の画枠は３６０×２４０画素ということになるが、後続のＭＰＥＧ２画像情報符号化部１１５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、このための画素の補填若しくは廃棄を間引き部１１３において同時に行う。すなわちこのときの間引き部１１３は、上記画素の補填若しくは廃棄として、例えば水平方向の右端若しくは左端の８ラインを廃棄して３５２×２４０画素とする。
【００１２】
上記ＭＰＥＧ２画像情報符号化部１１５では、入力した順次走査画像の信号を符号化してＭＰＥＧ４ビットストリームを生成し、そのＭＰＥＧ４画像圧縮情報が出力端子１１８から後段へ出力される。その際、入力となるＭＰＥＧ２ビットストリーム内の動きベクトル情報は、動きベクトル合成部１１６において間引き後の画像情報に対する動きベクトルにマッピングされ、また、動きベクトル検出部１１７では、動きベクトル合成部１１６において合成された動きベクトル値を元に高精度の動きベクトルを検出する。なお、ＭＰＥＧ４において、ＶＯＰ（Video Object Plane）とは、オブジェクトを囲む１つ又は複数のマクロブロックから構成される領域を表し、ＭＰＥＧ２におけるフレームに相当するものである。このＶＯＰの領域は、符号化される方式にしたがって、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのうちの何れかに分類される。Ｉ−ＶＯＰ（ＩピクチャのＶＯＰ）は、動き補償を行うことなく、画像（領域）そのものが符号化（イントラ符号化）されるものである。Ｐ−ＶＯＰ（ＰピクチャのＶＯＰ）は、基本的には、自身より時間的に前に位置する画像（Ｉ又はＰ−ＶＯＰ）に基づいて、前方予測符号化される。Ｂ−ＶＯＰ（ＢピクチャのＶＯＰ）は、基本的には、自身より時間的に前と後ろに位置する２つの画像（Ｉ又はＰ−ＶＯＰ）に基づいて両方向予測符号化されるものである。
【００１３】
上述のように、文献１には、入力となるＭＰＥＧ２ビットストリームの１／２×１／２の大きさをもつ順次走査画像のＭＰＥＧ４ビットストリームを生成する装置に関する技術が述べられている。すなわち、入力となるＭＰＥＧ２ビットストリームが例えばＮＴＳＣの規格に準拠したものであった場合、出力となるＭＰＥＧ４画像圧縮情報はＳＩＦサイズ（３５２×２４０）ということになるが、上記図５の構成によれば、上記間引き部１１３における動作の変更を行うことにより、それ以外の画枠、例えば上記の例では約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能となっている。
【００１４】
また、文献１には、ＭＰＥＧ２画像情報復号化部１１２における処理として、水平方向、垂直方向それぞれについて、入力となるＭＰＥＧ２ビットストリーム内の、８次の離散コサイン変換係数すべてを用いた復号処理を行う装置について述べられているが、図５に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能とされている。
【００１５】
ところで、図５に示した画像情報変換装置では、ＭＰＥＧ２画像情報符号化部１１５においてＰ−ＶＯＰの符号化を行う際に、各マクロブロックを、ＭＰＥＧ４に規定されるイントラ（Ｉｎｔｒａ）マクロブロックとして符号化するか、１６×１６画素のインター（Ｉｎｔｅｒ）マクロブロックとして符号化するか、或いは、８×８画素のインター４Ｖ（Ｉｎｔｅｒ４Ｖ）マクロブロックとして符号化するかの符号化モードのタイプ判定を行う必要がある。
【００１６】
ここで、モード判定の一般的な手法としては、MPEG-4 Video Verification Model（ISO/IEC JTC1/SC29/WG11 N2932、以下これを文献２とする）において定められた手法を用いることが考えられる。
【００１７】
以下、図６を参照しながら、文献２において述べられているモード判定（図５のＭＰＥＧ２画像情報符号化部１１５で行われるモード判定）の手法について述べる。
【００１８】
まず、ステップＳ１０１として、動きベクトル検出により、インター動きベクトル及びインター４Ｖ動きベクトルを求める。
【００１９】
次に、ステップＳ１０２において、インター動きベクトル及びインター４Ｖ動きベクトルにより生成される予測画をそれぞれＲｅｆＩｎｔｅｒ、 ＲｅｆＩｎｔｅｒ４Ｖで表し、原画をＯｒｇで表すとし、さらに、ステップＳ１０３において、当該マクロブロックをインターマクロブロック、及びインター４Ｖマクロブロックとして符号化した場合の予測誤差ＥＲＲＩｎｔｅｒ、ＥＲＲＩｎｔｅｒ４Ｖをそれぞれ式（１）及び式（２）によって算出し、また、当該マクロブロックに含まれる画素の平均値をＭｅａｎ＿ＭＢとして、当該マクロブロックをイントラマクロブロックとして符号化した場合の予測誤差ＥＲＲＩｎｔｒａを、式（３）のように定義する。
ＥＲＲＩｎｔｅｒ＝ＳＡＤ（Ｏｒｇ−ＲｅｆＩｎｔｅｒ）      （１）
ＥＲＲＩｎｔｅｒ４Ｖ＝ＳＡＤ（Ｏｒｇ−ＲｅｆＩｎｔｅｒ４Ｖ）    （２）
ＥＲＲＩｎｔｒａ＝ＳＡＤ（Ｏｒｇ−Ｍｅａｎ＿ＭＢ）      （３）
なお、式中のＳＡＤは絶対値誤差和（Sum of Absolute Difference）を表す。
【００２０】
次に、ステップＳ１０４として、上記式（１）及び式（２）で求められた予測誤差ＥＲＲＩｎｔｅｒ、ＥＲＲＩｎｔｅｒ４Ｖから、インターマクロブロックとして符号化するのと、インター４Ｖマクロブロックとして符号化するのと、どちらの符号化効率がよいかの判定を行う。すなわち、式（４）が成立すれば、インターマクロブロックとして符号化した方が符号化効率がよいとし、成立しなければインター４Ｖマクロブロックとして符号化した方が符号化効率がよいと判定する。
ＥＲＲＩｎｔｅｒ−Ｏｆｆｓｅｔ＜ＥＲＲＩｎｔｅｒ４Ｖ      （４)
なお、この式（４）において、Ｏｆｆｓｅｔはインターマクロブロックを選ばれ易くするためのパラメータで、文献２においては１２９と定められている。
【００２１】
次に、式（４）によってインターマクロブロックが選ばれた場合、パラメータＥＲＲを式（５）のように定義し、一方、インター４Ｖマクロブロックが選ばれた場合、パラメータＥＲＲを式（６）のように定義する。
ＥＲＲ＝ＥＲＲＩｎｔｅｒ                    （５）
ＥＲＲ＝ＥＲＲＩｎｔｅｒ４Ｖ                  （６）
次にマクロブロックに含まれる餓死の平均値をＭｅａｎ＿ＭＢとして、当該マクロブロックをイントラマクロブロックとして符号化した場合の予測誤差ＥＲＲＩｎｔｒａを式（７）のように定義する。
ＥＲＲＩｎｔｒａ＝ＳＡＤ（Ｏｒｇ−Ｍｅａｎ＿ＭＢ）      （７）
次に、上記パラメータＥＲＲ及び前記式（３）により定義される予測誤差ＥＲＲＩｎｔｒａから、当該マクロブロックをイントラマクロブロックとして符号化するのと、式（４）によって選択されたマクロブロックモードで符号化するのとではどちらが符号化効率が高いかの判定を行う。
【００２２】
すなわち式（８）が成立すれば、イントラマクロブロックとして符号化する方が効率がよいとし、成立しなければ式（３）によって選択されたマクロブロックモードで符号化する方が効率がよいとする。
ＥＲＲＩｎｔｒａ＜ＥＲＲ                  （８）
つまり、図６のステップＳ１０５において、ＥＲＲＩｎｔｅｒ＜ＥＲＲＩｎｔｒａが成立しないときにはステップＳ１０８としてイントラマクロブロックモードで符号化する方が効率がよいとし、成立したときにはステップＳ１０７としてインターマクロブロックモードで符号化する方が効率がよいとする。また、ステップＳ１０６において、ＥＲＲＩｎｔｅｒ４Ｖ＜ＥＲＲＩｎｔｒａが成立しないときにはステップＳ１０８としてイントラマクロブロックモードで符号化する方が効率がよいとし、成立したときにはステップＳ１０９としてインター４Ｖマクロブロックモードで符号化する方が効率がよいとする。
【００２３】
なお、前述の動きベクトル合成部１１６及び動きベクトル検出部１１７における動作原理に関しては様々な方法が考えられるが、図５に示した画像情報変換装置２のように、入力端子１１０に供給されたＭＰＥＧ２ビットストリームの１／２×１／２の画枠をもつＭＰＥＧ４ビットストリームを出力する場合には、例えば図７に示すような流れで動きベクトルの合成及び検出を行うことが考えられる。
【００２４】
すなわち、動きベクトル合成部１１６では、まずステップＳ１１１として、入力されたＭＰＥＧ２ビットストリームから動きベクトル情報を抽出し、次に、ステップＳ１１２として、当該抽出されたＭＰＥＧ２画像圧縮情報に対する動きベクトル情報のスケーリング及び時間補正を行うことで、出力となるＭＰＥＧ４ビットストリームに対するインター４Ｖ動きベクトル情報を合成する。さらに、動きベクトル合成部１１６では、ステップＳ１１３として、上記生成されたインター４Ｖ動きベクトルの平均値若しくは代表値をインター動きベクトルとする。
【００２５】
次に、動きベクトル検出部１１７では、ステップＳ１１４として、動きベクトル合成部１１６で生成されたインター動きベクトル及びインター４Ｖ動きベクトルについて、その周辺の数画素をサーチし、それらインター動きベクトル及びインター４Ｖ動きベクトルの高精度化を行う。このようにして高精度化された動きベクトルが前記図６のＭＰＥＧ４画像情報符号化部１１５に送られる。
【００２６】
【発明が解決しようとする課題】
しかしながら、図６に示したマクロブロックモード判別法では、動き補償及び絶対値誤差和（ＳＡＤ）の算出を行うため、多くの演算量を必要とする。
【００２７】
そこで、本発明は、このような実情に鑑みてなされたものであり、マクロブロックモード判別を少ない演算量で実現可能とする、画像情報変換装置及び画像情報変換方法を提供することを目的とする。
【００２８】
【課題を解決するための手段】
本発明は、少なくとも画像内符号化画像と画像間予測符号化画像からなる第１の画像符号化情報を第２の画像符号化情報へと変換する画像情報変換装置において、上記第２の画像符号化情報を構成する複数画像からなる各符号化単位に対応する動きベクトル情報を生成する動きベクトル生成手段と、上記生成された動きベクトル情報を格納する動きベクトル格納手段と、上記第１の画像符号化情報から抽出される動きベクトル情報に基づいて生成された第１の画像間予測符号化モードの符号化単位の動きベクトルと第２の画像間予測符号化モードの符号化単位の動きベクトルとに基づいて、上記第１の画像間予測符号化モードと上記第２の画像間予測符号化モードの何れを使用するかを決定する符号化モード判定を行うモード判定手段とを有し、上記モード判定手段は、上記第１の画像間予測符号化モードの符号化単位の動きベクトルと上記第２の画像間予測符号化モードの符号化単位の動きベクトルとの間のｘ方向成分の差分絶対値和とｙ方向成分の差分絶対値和との和として算出される分散値、若しくは上記第１の画像間予測符号化モードの符号化単位の動きベクトルと上記第２の画像間予測符号化モードの符号化単位の動きベクトルとの間のｘ方向成分の差分絶対値和とｙ方向成分の差分絶対値和との最大値として算出される分散値を求め、上記分散値と予め設定した閾値との比較に基づいて、当該第２の画像符号化情報を構成する上記符号化単位についての符号化モードを判定することにより上述した課題を解決する。
【００２９】
また、本発明は、少なくとも画像内符号化画像と画像間予測符号化画像からなる第１の画像符号化情報を第２の画像符号化情報へと変換する画像情報変換方法において、上記第２の画像符号化情報を構成する複数画像からなる各符号化単位に対応する動きベクトル情報を生成する動きベクトル生成工程と、上記生成された動きベクトル情報を動きベクトル格納手段に格納する動きベクトル格納工程と、上記第１の画像符号化情報から抽出される動きベクトル情報に基づいて生成された第１の画像間予測符号化モードの符号化単位の動きベクトルと第２の画像間予測符号化モードの符号化単位の動きベクトルとに基づいて、上記第１の画像間予測符号化モードと上記第２の画像間予測符号化モードの何れを使用するかを決定する符号化モード判定を行うモード判定工程とを有し、上記モード判定工程では、上記第１の画像間予測符号化モードの符号化単位の動きベクトルと上記第２の画像間予測符号化モードの符号化単位の動きベクトルとの間のｘ方向成分の差分絶対値和とｙ方向成分の差分絶対値和との和として算出される分散値、若しくは上記第１の画像間予測符号化モードの符号化単位の動きベクトルと上記第２の画像間予測符号化モードの符号化単位の動きベクトルとの間のｘ方向成分の差分絶対値和とｙ方向成分の差分絶対値和との最大値として算出される分散値を求め、上記分散値と予め設定した閾値との比較に基づいて、当該第２の画像符号化情報を構成する上記符号化単位についての符号化モードを判定することにより、上述した課題を解決する。
【００３０】
【発明の実施の形態】
本発明の実施の形態として示す画像情報変換装置は、少なくとも画像内符号化画像（Ｉピクチャ）と画像間予測符号化画像（Ｂピクチャ）からなるＭＰＥＧ（Moving Picture Experts Group）によって標準化されたＭＰＥＧ２画像圧縮情報をＭＰＥＧ４画像圧縮情報へと変換する画像情報変換装置であって、ＭＰＥＧ２画像圧縮情報から抽出される動きベクトル情報に基づいて生成された第１の画像間予測符号化モードであるインター符号化モードの符号化単位の動きベクトルと第２の画像間予測符号化モードであるインター４Ｖ符号化モードの符号化単位の動きベクトルとに基づいて、インター符号化モードとインター４Ｖ符号化モードの何れを使用するかを決定する符号化モード判定を行うモード判定手段とを有することによって、マクロブロックモード判別をより少ない演算量で実現可能とするものである。
【００３１】
以下、図面を参照し、本発明の実施例について説明する。画像情報変換装置１は、図１に示すように、主に、ピクチャタイプ判別部１３と、圧縮情報解析部１４と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１５と、間引き部１６と、ビデオメモリ１７と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１８と、動きベクトル合成部１９と、動きベクトル検出部２０と、Ｉｎｔｒａ／Ｉｎｔｅｒ判定部２１と、Ｉｎｔｅｒ／Ｉｎｔｅｒ４Ｖ判定部２２と、情報バッファ２３とを有して構成されている。
【００３２】
画像情報変換装置１において、入力端子１１に供給された飛び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）は、ピクチャタイプ判別部１３に伝送される。
【００３３】
ピクチャタイプ判別部１３は、ピクチャタイプを判別する。すなわち、入力端子１１からのＭＰＥＧ２ビットストリームに対して、Ｉ及びＰピクチャに関する情報は出力して圧縮情報解析部１４へ送るが、Ｂピクチャに関する情報については破棄する。これによりフレームレートの変換が行われる。
【００３４】
圧縮情報解析部１４では、ピクチャタイプ判別部１３から送られてきた画像圧縮情報の構文解析を行うことにより、当該ＭＰＥＧ２ビットストリームの符号化に関連する情報を抽出し、その符号化に関連する情報を情報バッファ２３へ送り、また、当該ＭＰＥＧ２動きベクトル情報を動きベクトル合成部１９へ送り、画像圧縮情報についてはＭＰＥＧ２画像情報復号化部１５へ送る。なお、上記圧縮情報解析部１４により抽出される情報の詳細については後述する。
【００３５】
ＭＰＥＧ２画像情報復号化部１５は、図６に示した装置のものと同等である。Ｂピクチャに関する情報は前段のピクチャタイプ判別部１３において既に破棄されているため、当該ＭＰＥＧ２画像情報復号化部１０の機能としては、Ｉ及びＰピクチャに関する情報のみの復号化処理を行えるものであればよい。ＭＰＥＧ２画像情報復号化部１５の出力となる画素値は、間引き部１６に入力される。
【００３６】
間引き部１６は、水平方向について１／２の間引き処理を施し、垂直方向について第一フィールド、若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄することにより、入力となる画像情報の１／４の大きさをもつ順次走査画像を生成する。ここで例えば、入力端子１１へ供給されたＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、上記間引き後の画枠は３６０×２４０画素ということになる。ただし、後続のＭＰＥＧ２画像情報符号化部１８において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、当該間引き部１６は、上記間引きと同時に、上記画素数を１６の倍数にするための画素の補填若しくは廃棄を同時に行う。すなわち、この例の場合の間引き部１６は、例えば上記３６０×２４０画素に対して、例えば水平方向の右端若しくは左端の８ラインを廃棄することで、上記１６の倍数である３５２×２４０画素の画枠を構成する。当該間引き部１６によって生成された順次走査画像は、一旦、ビデオメモリ１７に蓄積された後、後段のＭＰＥＧ２画像情報符号化部１８、又は後述するＩｎｔｒａ／Ｉｎｔｅｒ判定部２１の要求に応じて読み出される。
【００３７】
また、動きベクトル合成部１９では、ＭＰＥＧ２ビットストリームから取り出されたＭＰＥＧ２動きベクトル情報を間引き後の画像情報に対する動きベクトルにマッピングし、さらに次段の動きベクトル検出部２０では、動きベクトル合成部１９において合成された動きベクトル値と、ビデオメモリ１７に記憶された画像情報とに基づいて、高精度の動きベクトルを検出する。この検出された動きベクトルは、ＭＰＥＧ２画像情報符号化部１８とＩｎｔｒａ／Ｉｎｔｅｒ判定部２１とに送られる。
【００３８】
上記ＭＰＥＧ２画像情報符号化部１８では、情報バッファ２３に保持された前記ＭＰＥＧ２ビットストリームの符号化に関連する情報と、上記動きベクトル検出部２０からの動きベクトル情報と、後述するＩｎｔｒａ／Ｉｎｔｅｒ判定部２１及びＩｎｔｅｒ／Ｉｎｔｅｒ４Ｖ判定部２２での判定処理により得られたＩｎｔｅｒ／Ｉｎｔｅｒ４Ｖのモード情報とを用い、上記ビデオメモリ１７から供給された順次走査画像の信号を符号化してＭＰＥＧ４ビットストリームを生成する。当該ＭＰＥＧ４ビットストリームは、出力端子１２から後段へ出力される。
【００３９】
情報バッファ２３、Ｉｎｔｒａ／Ｉｎｔｅｒ判定部２１、Ｉｎｔｅｒ／Ｉｎｔｅｒ４Ｖ判定部２２における動作について、以下の図２乃至図３を用いて説明する。まず、Ｉピクチャから変換されるＰ−ＶＯＰ以外の通常のＰ−ＶＯＰに対するモード判定の動作原理について、図２のフローチャート及び図３を参照しながら説明する。
【００４０】
Ｉｎｔｒａ／Ｉｎｔｅｒ判定部２１は、情報バッファ２３に格納された入力となるＭＰＥＧ２ビットストリームから上記符号化に関連する情報を抽出し（ステップＳ１）、抽出された符号化に関する情報に基づいて、最初に、Ｉｎｔｅｒのモード判定を行う（ステップＳ２）。
【００４１】
ここで、上記飛び越し走査のＭＰＥＧ２ビットストリームの約１／２×１／２の画枠をもつ順次走査のＭＰＥＧ４ビットストリームを出力する場合において、例えば図３に示すように、入力端子１１に供給されたＭＰＥＧ２ビットストリームを構成する画像ＳＴＲ２に含まれる４つのマクロブロックＭＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）が、ＭＰＥＧ４ビットストリームを構成する画像ＳＴＲ４におけるマクロブロックＭＢＭＰＥＧ４，１に対応している場合を例にあげて考えることとする。
【００４２】
例えば、図３に示すように入力となるＭＰＥＧ２ビットストリームにおける画像ＳＴＲ２の４つのマクロブロックＭＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）が、出力となるＭＰＥＧ４ビットストリームにおけるマクロブロックＭＢＭＰＥＧ４，ｉに対応するとき、ＭＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）のなかでイントラマクロブロックとして符号化されているマクロブロックの個数をＮＩｎｔｒａ、インターマクロブロックとして符号化されているマクロブロックの個数をＮＩｎｔｅｒとし、以下に示す式（９）が成立する場合、ステップＳ２において、このマクロブロックをイントラマクロブロックとして判定して符号化し、ステップＳ６において、上記出力となるＭＰＥＧ４ビットストリームを構成する画像ＳＴＲ４のマクロブロックをイントラマクロブロックに決定する。
ＮＩｎｔｒａ≧ＮＩｎｔｅｒ                    （９）
また、式（９）が成立しないとき、すなわち、イントラマクロブロックとして符号化されているマクロブロックの個数の方がインターマクロブロックとして符号化されているマクロブロックの個数よりも少ないとき、このマクロブロックをインターマクロブロック、若しくはインター４Ｖマクロブロックとして符号化すると決定しステップＳ３へ進む。
【００４３】
ここでは、前述の式（８）のように、残差を用いたモード判定を行ってもよい。或いは、マクロブロックＭＢＭＰＥＧ２，ｉにそれぞれ対する量子化スケールをＱＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）とし、それぞれ割り当てられた符号量（ビット数）をＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）としたとき、それらマクロブロックＭＢＭＰＥＧ２，ｉに対するコンプレキシティＸＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）を、式（１０）により計算し、このコンプレキシティを用いて符号化効率がよいと思われるモードを選択するようにしてもよい。
ＸＭＰＥＧ２，ｉ＝ＱＭＰＥＧ２，ｉ・ＢＭＰＥＧ２，ｉ          （１０）
【００４４】
次に、上記Ｉｎｔｒａ／Ｉｎｔｅｒ判定のステップＳ２において、インターマクロブロック若しくはインター４Ｖマクロブロックであると判定されたマクロブロックに関しては、動きベクトル検出部１５に格納された当該ＶＯＰに対するインター動きベクトル及びインター４Ｖ動きベクトルを用いてインター／インター４Ｖを判定する。すなわち、ステップＳ３において、モード判定部１６は、当該マクロブロックのインター動きベクトルのｘ方向成分、ｙ方向成分をそれぞれｍｖ１６×１６＿ｘ，ｍｖ１６×１６＿ｙとし、インター４Ｖ動きベクトルのｘ方向、ｙ方向成分をそれぞれｍｖ８×８＿ｘ，ｉ，ｍｖ８×８＿ｙ．ｉ（ｉ＝１，２，３，４）として、動きベクトル情報の分散値Ｄｉｓｔを下記式（１２）若しくは式（１３）により算出する。
【００４５】
【数１】
0004507418.tif 000002
【００４６】
【数２】
0004507418.tif 000003
【００４７】
続いて、ステップＳ４において、上記式（１２）若しくは式（１３）で求められた分散値（Distribution：Dist）及び求められた閾値Ｔｈに対して、以下の式（１４）が成立するとき、ステップＳ５において、このマクロブロックをインターマクロブロックであるとし、成立しないとき、ステップＳ７においてインター４Ｖマクロブロックであると決定する。
Ｄｉｓｔ≦Ｔｈ                    （１４）
したがって、画像情報変換装置１は、上述したように、式（１）、式（２）及び式（６）で求めたような絶対値誤差和（ＳＡＤ）を計算する必要がないため、画質劣化を最小限に抑えながら演算量を大幅に削減することが可能である。
【００４８】
続いて、図４に本発明の第２の実施の形態である画像情報変換装置２を示す。画像情報変換装置２は、基本構造を図１に示した画像情報変換装置１と同様とするが、画像情報変換装置１では、動きベクトル検出部２０において高精度化されたインター動きベクトル及びインター４Ｖ動きベクトルを用いてＩｎｔｅｒ／Ｉｎｔｅｒ４Ｖの判定を行うのに対し、図４に示される画像情報変換装置２では、動きベクトル合成部３１において生成されたインター動きベクトル及びインター４Ｖ動きベクトルを用いて、Ｉｎｔｅｒ／Ｉｎｔｅｒ４Ｖの判定を行う点に特徴を有している。図２に示す画像情報変換装置２では、図１に示した画像情報変換装置１と同様の構成については、同一符号を付してある。
【００４９】
図４に示した画像情報変換装置２においては、動きベクトル検出部３２において生成されたインター動きベクトル及びインター４Ｖ動きベクトルの高精度化を行うのに先立ち、Ｉｎｔｅｒ／Ｉｎｔｅｒ４Ｖ判定部３４においてＩｎｔｅｒ／Ｉｎｔｅｒ４Ｖの判定を行うことが可能である。
【００５０】
このため、例えば、Ｉｎｔｅｒ／Ｉｎｔｅｒ４Ｖ判定部３４において、マクロブロックがＩｎｔｅｒと判定された場合には、動きベクトル検出部３２においてインター動きベクトルに対してのみ高精度化を行い、インター４Ｖ動きベクトルを高精度化する必要はない。これにより動きベクトル検出に伴う演算量の削減を実現することが可能となる。
【００５１】
なお、以上の説明では、入力としてＭＰＥＧ２ビットストリームを例にあげ、出力としてＭＰＥＧ４ビットストリームを対象とした例をあげたが、入力、出力ともこれに限らず、例えばＭＰＥＧ１やＨ．２６３などの画像圧縮情報（ビットストリーム）でもよい。
【００５２】
【発明の効果】
以上説明したように、本発明に係る画像情報変換装置は、第２の画像符号化情報を構成する複数画像からなる各符号化単位に対応する動きベクトル情報を生成する動きベクトル生成手段と、生成された動きベクトル情報を格納する動きベクトル格納手段と、第１の画像符号化情報から抽出される動きベクトル情報に基づいて生成された第１の画像間予測符号化モードの符号化単位の動きベクトルと第２の画像間予測符号化モードの符号化単位の動きベクトルとに基づいて、第１の画像間予測符号化モードと第２の画像間予測符号化モードの何れを使用するかを決定する符号化モード判定を行うモード判定手段とを有する。
【００５３】
したがって、本発明に係る画像情報変換装置によれば、画質劣化を最小限に抑えながら動きベクトル検出に伴う演算量の大幅な削減を実現することが可能となる。
【００５４】
また、本発明に係る画像情報変換方法は、第２の画像符号化情報を構成する複数画像からなる各符号化単位に対応する動きベクトル情報を生成する動きベクトル生成工程と、生成された動きベクトル情報を動きベクトル格納手段に格納する動きベクトル格納工程と、第１の画像符号化情報から抽出される動きベクトル情報に基づいて生成された第１の画像間予測符号化モードの符号化単位の動きベクトルと第２の画像間予測符号化モードの符号化単位の動きベクトルとに基づいて、第１の画像間予測符号化モードと第２の画像間予測符号化モードの何れを使用するかを決定する符号化モード判定を行うモード判定工程とを有する。
【００５５】
したがって、本発明に係る画像情報変換方法によれば、画質劣化を最小限に抑えながら動きベクトル検出に伴う演算量の大幅な削減を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態として示す画像情報変換装置の構成を説明する構造図である。
【図２】本発明の実施の形態の一構成例として示す画像情報変換装置の情報バッファ、Ｉｎｔｒａ／Ｉｎｔｅｒ判定部、Ｉｎｔｅｒ／Ｉｎｔｅｒ４Ｖ判定部における動作を示すフローチャートである。
【図３】ＭＰＥＧ２ビットストリームを構成する画像ＳＴＲ２に含まれる４つのマクロブロックＭＢＭＰＥＧ２，ｉとＭＰＥＧ４ビットストリームを構成する画像ＳＴＲ４におけるマクロブロックＭＢＭＰＥＧ４，１との対応を説明する説明図である。
【図４】本発明の第２の実施の形態として示す画像情報変換装置の構成を説明する構造図である。
【図５】従来の画像情報変換装置の構成を説明する構造図である。
【図６】従来の画像情報変換装置におけるＭＰＥＧ２画像情報符号化部でのモード判定の動作を説明するフローチャートである。
【図７】従来の画像情報変換装置における動きベクトル合成部及び動きベクトル検出部における動作を説明するフローチャートである。
【符号の説明】
１，２  画像情報変換装置、１１  入力端子、１２  出力端子、１３  ピクチャタイプ判別部、１４  圧縮情報解析部、１５  ＭＰＥＧ２画像情報復号化部、１６  間引き部、１７  ビデオメモリ、１８  ＭＰＥＧ４画像情報符号化部、１９，３１  動きベクトル合成部、２０，３２  動きベクトル検出部、２１，３３Ｉｎｔｒａ／Ｉｎｔｅｒ判定部、２２，３４  Ｉｎｔｅｒ／Ｉｎｔｅｒ４Ｖ判定部、２３  情報バッファ
【図１】
0004507418.tif 000004
【図２】
0004507418.tif 000005
【図３】
0004507418.tif 000006
【図４】
0004507418.tif 000007
【図５】
0004507418.tif 000008
【図６】
0004507418.tif 000009
【図７】
0004507418.tif 000010