(57)【要約】【課題】ビットストリーム変換機において、演算量、メモリ領域を抑制し、少ない演算回数、メモリ領域でストリーム変換を行う。【解決手段】ＭＰＥＧ−２で符号化されたビットストリームに対し、ＶＬＤを行い量子化ＤＣＴ係数を出力するＶＬＤ部１１と、量子化ＤＣＴ係数を受け取り、逆量子化ＤＣＴ係数を出力するＩＱ部１２と、帯域制限フィルタ、ＩＤＣＴ、ダウンサンプル、ＤＣＴの各々を演算する変換行列をあらかじめ乗算した行列を格納する係数テーブル１３２と、ＤＣＴ係数を変換行列を用いてダウンサンプルを行うＤＣＴスケーリング部１３と、水平、垂直方向にダウンサンプルされた量子化ＤＣＴ係数を出力するＱ部１５と、量子化ＤＣＴ係数をＭＰＥＧ−４で符号化しビットストリームを出力するＶＬＣ部１６を備えたビットストリーム変換機１。【選択図】　　　　図１
2004015744.tif 000002
【特許請求の範囲】
【請求項１】
第１の圧縮方法で符号化された画像圧縮情報をダウンサンプルして第２の圧縮方法で符号化された画像圧縮情報に変換する画像情報変換装置であって、
第１の圧縮方法で符号化した画像圧縮情報を復号化および逆量子化し、第１のＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数を出力する復号化逆量子化部と、
前記第１のＤＣＴ係数に乗算される、ダウンサンプルに用いる変換行列を記憶する記憶部と、
前記第１のＤＣＴ係数に、該記憶部から読み出した前記変換行列を乗算し、第２のＤＣＴ係数を出力する変換部と、
前記第２のＤＣＴ係数を量子化および符号化し、第２の圧縮方法で符号化された画像圧縮情報を出力する量子化符号化部と、
を備えることを特徴とする画像情報変換装置。
【請求項２】
前記変換行列は、帯域制限フィルタ、逆離散コサイン変換、ダウンサンプル、離散コサイン変換の各々を演算する行列を乗算した行列であることを特徴とする請求項１に記載の画像情報変換装置。
【請求項３】
前記復号化逆量子化部は、前記画像圧縮情報に含まれる動きベクトルを復号化して出力し、
該動きベクトルの成分を縮小する動きベクトル変換部を備え、
前記量子化符号化部は、該動きベクトル変換部で成分を縮小された動きベクトルを符号化して出力すること、
を特徴とする請求項１に記載の画像情報変換装置。
【請求項４】
前記記憶部は、前記帯域制限フィルタの帯域制限に応じた複数の前記変換行列を備えており、
前記変換部は、前記第１のＤＣＴ係数の係数分布に応じて、または出力する前記第２のＤＣＴ係数のレートに応じて、該複数の変換行列から１つを読み出すこと、
を特徴とする請求項２に記載の画像情報変換装置。
【請求項５】
第１の圧縮方法で符号化されたビットストリームに対し、可変長復号化を行い量子化されたＤＣＴ係数を出力する可変長復号化（ＶＬＤ：Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｄｅｃｏｄｉｎｇ）部と、
前記可変長復号化部から前記量子化されたＤＣＴ係数を受け取り、逆量子化を行いＤＣＴ係数を出力する逆量子化（ＩＱ）部と、
帯域制限フィルタ、ＩＤＣＴ（Ｉｎｖｅｒｓｅ　ＤＣＴ：逆離散コサイン変換）、ダウンサンプル、ＤＣＴの各々を演算する変換行列をあらかじめ乗算した行列を格納する係数テーブルと、
前記逆量子化部から前記ＤＣＴ係数を受け取り、前記係数テーブルから読み出した変換行列を用いてダウンサンプルを行うＤＣＴスケーリング（ＤＣＴ　ＳＣＡＬＥ）部と、
前記ＤＣＴスケーリング部から、水平、垂直方向にダウンサンプルされたＤＣＴ係数を受け取り、量子化を行い量子化されたＤＣＴ係数を出力する量子化（Ｑ）部と、
前記量子化部から前記量子化されたＤＣＴ係数を第２の圧縮方法で符号化を行い、ビットストリームを出力する可変長符号化部（ＶＬＣ）部を備えることを特徴とするビットストリーム変換機。
【請求項６】
ＤＣＴスケーリング部が、逆量子化部から前記ＤＣＴ係数を受取り水平方向のダウンサンプルを行なう水平方向ＤＣＴスケーリング部と、水平方向にダウンサンプルされたＤＣＴ係数を受取り垂直方向のダウンサンプリングを行う垂直方向ＤＣＴスケーリング部とからなることを特徴とする請求項５に記載のビットストリーム変換機。
【請求項７】
前記可変長復号化部から動きベクトル値を受け取り、水平方向、垂直方向にダウンサンプルを行う動きベクトルスケーリング（ＭＶ　ＳＣＡＬＥ）部を備えることを特徴とする請求項５に記載のビットストリーム変換機。
【請求項８】
前記ＤＣＴスケーリング部が、入力される前記ＤＣＴ係数に応じて、ダウンサンプルする変換行列を前記係数テーブルから読み出し、演算することを特徴とする請求項５に記載のビットストリーム変換機。
【請求項９】
第１の圧縮方法および第２の圧縮方法が、ＭＰＥＧ−２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅｓ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ，ＩＳＯ／ＩＥＣ　１３８１８）もしくはＭＰＥＧ−４（ＩＳＯ／ＩＥＣ　１４４９６）のいずれかであることを特徴とする請求項５に記載のビットストリーム変換機。
【請求項１０】
前記係数テーブルに格納された変換行列が、帯域制限幅に応じて複数存在し、前記ＤＣＴスケーリング部が、入力される前記ＤＣＴ係数の係数分布に応じて帯域制限幅を変更することを特徴とする請求項５に記載のビットストリーム変換機。
【請求項１１】
前記ＤＣＴスケーリング部が、ＤＣＴ係数の分布に加え、出力するフレームのフレームレートに応じて帯域制限幅を制御することを特徴とする請求項６に記載のビットストリーム変換機。
【請求項１２】
前記係数テーブルに、帯域制限フィルタ、ＩＤＣＴ、フィールドＤＣＴからフレームＤＣＴへの変換、ダウンサンプル、ＤＣＴの各々を演算する変換行列をあらかじめ乗算した行列を格納し、入力される前記ＤＣＴ係数がフィールド単位でＤＣＴを行ったフィールドＤＣＴであるときは、該変換行列を用いてダウンサンプルし、出力するＤＣＴ係数がフレーム単位でＤＣＴを行ったフレームＤＣＴとなることを特徴とする請求項５に記載のビットストリーム変換機。
【請求項１３】
前記ＤＣＴスケーリング部が、入力されたＤＣＴ係数がトップフィールドもしくはボトムフィールドのいずれに属するかを判定するトップフィールド／ボトムフィールド判定器、トップフィールドのＤＣＴ係数を格納するバッファメモリを持ち、
トップフィールド／ボトムフィールド判定器が、フィールド単位で符号化されたフィールド構造のビットストリームが入力されたとき、トップフィールドに属する前記ＤＣＴ係数は前記バッファメモリに格納し、ボトムフィールドに属する前記ＤＣＴ係数が入力されたときは、前記ボトムフィールドに属するＤＣＴ係数と、対応する前記トップフィールドに属するＤＣＴ係数を前記水平方向ＤＣＴスケーリング部に入力することを特徴とする請求項１２に記載のビットストリーム変換機。
【請求項１４】
第１の圧縮方法で符号化されたビットストリームに対し、可変長復号化を行い量子化されたＤＣＴ係数を出力する可変長復号化（ＶＬＤ）工程と、
前記可変長復号化工程から前記量子化されたＤＣＴ係数を受け取り、逆量子化を行いＤＣＴ係数を出力する逆量子化工程と、
前記逆量子化工程によって逆量子化されたＤＣＴ係数を受け取り、帯域制限フィルタ、ＩＤＣＴ、ダウンサンプル、ＤＣＴの各々を演算する変換行列をあらかじめ乗算した行列を格納した係数テーブルから読み出した変換行列を用いて水平方向のダウンサンプルを行う水平方向ＤＣＴスケーリング工程と、
前記水平方向ＤＣＴスケーリング工程によって水平方向にダウンサンプルされたＤＣＴ係数を受け取り、前記係数テーブルから読み出した変換行列を用いて垂直方向にダウンサンプルする垂直方向ＤＣＴスケーリング工程と、
前記ＤＣＴスケーリング工程により水平方向および垂直方向にダウンサンプルされたＤＣＴ係数を受け取り、量子化を行い量子化されたＤＣＴ係数を出力する量子化工程と、
前記可変長復号化工程から動きベクトル値を受け取り、水平方向および垂直方向にダウンサンプルを行う動きベクトルスケーリング工程と、
前記量子化工程によりとダウンサンプルされたＤＣＴ係数、前記動きベクトルスケーリング工程によりダウンサンプルされた動きベクトルを受け取り、第２の圧縮方法で符号化を行い、ビットストリームを出力する可変長符号化工程からなり、
前記水平方向ＤＣＴスケーリング工程および前記垂直方向ＤＣＴスケーリング工程は、入力される前記ＤＣＴ係数に応じて、ダウンサンプルする変換行列を前記係数テーブルから読み出し、演算することを特徴としたビットストリーム変換方法。
【請求項１５】
前記逆量子化部からＤＣＴ係数を受け取り、ＩＤＣＴを行い画素値を出力する逆離散コサイン変換部と、
前記可変長復号化部から動きベクトルを受け取り、動きベクトルが指す参照画像を取り出し前記逆離散コサイン変換部が出力する画素値と加算して出力するＭＣ部を持ち、
第１の圧縮方法で符号化されたビットストリームをデコードすると共に、第２の圧縮方法で符号化したビットストリームを得ることを特徴とする請求項５に記載のビットストリーム変換機。
【請求項１６】
映像信号を符号化単位であるマクロブロックごとに受け取り、直前に符号化したフレームから最も近いマクロブロック（以後、参照マクロブロック）を選択し、動きベクトルを出力するＭＥ部と、
前記マクロブロックと参照マクロブロックとの差分を計算し、残差を出力するＭＣ部と、前記マクロブロックもしくは前記残差を受け取り、ＤＣＴを行いＤＣＴ係数を出力する逆離散コサイン変換部と、
前記逆離散コサイン変換部から前記ＤＣＴ係数を受け取り、量子化を行い量子化されたＤＣＴ係数を出力する量子化部と、
前記量子化されたＤＣＴ係数を受け取り、逆量子化後、ＩＤＣＴを行い次のフレームの参照フレームを作成する逆離散コサイン変換部と、
前記量子化部から前記量子化されたＤＣＴ係数、前記ＭＥ部から前記動きベクトルを受け取り、第１の圧縮方法で符号化を行い、ビットストリームを出力する可変長符号化部と、
前記逆離散コサイン変換部から前記ＤＣＴ係数を受け取り、水平方向のダウンサンプルを行う水平方向ＤＣＴスケーリング部と、
前記水平方向ＤＣＴスケーリング部から、水平方向にダウンサンプルされたＤＣＴ係数を受け取り、垂直方向にダウンサンプルする垂直方向ＤＣＴスケーリング部と、
帯域制限フィルタ、ＩＤＣＴ、ダウンサンプル、ＤＣＴの各々を演算する変換行列をあらかじめ乗算した行列を格納する係数テーブルと、
前記水平方向ＤＣＴスケーリング部と前記垂直方向ＤＣＴスケーリング部と前記係数テーブルから構成されるＤＣＴスケーリング部と、
前記ＤＣＴスケーリング部から、水平方向および垂直方向にダウンサンプルされたＤＣＴ係数を受け取り、量子化を行い量子化されたＤＣＴ係数を出力する量子化部と、
前記ＭＥ部から動きベクトル値を受け取り、水平、垂直方法にダウンサンプルを行う動きベクトルスケーリング部と、
前記量子化部から前記量子化されたＤＣＴ係数、前記動きベクトルスケーリング部から前記ダウンサンプルされた動きベクトルを受け取り、第２の圧縮方法で符号化を行い、ビットストリームを出力する可変長符号化部を備え、
第１の圧縮方法で符号化したビットストリームと第２の圧縮方法で符号化したビットストリームを出力することを特徴とした符号化装置。
【請求項１７】
第１の圧縮方法で符号化された画像圧縮情報をダウンサンプルして第２の圧縮方法で圧縮された画像圧縮情報に変換して送信する画像情報変換送信方法であって、
第１の圧縮方法で符号化した画像圧縮情報を復号化および逆量子化し、第１のＤＣＴ係数を出力する復号化逆量子化ステップと、
該第１のＤＣＴ係数に乗算される、ダウンサンプルに用いる変換行列を記憶する記憶部から該変換行列を読み出すステップと、
該第１のＤＣＴ係数に、該記憶部から読み出した害変換行列を乗算し、第２のＤＣＴ係数を出力する変換ステップと、
該第２のＤＣＴ係数を量子化および符号化し、第２の圧縮方法で符号化された画像圧縮情報を出力する量子化符号化ステップと、
該第２の圧縮方法で符号化された画像圧縮情報をネットワークに送信するステップと、
を備えることを特徴とする画像情報変換送信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報圧縮された映像信号に対し、解像度の変更などの処理を行い、再び情報圧縮を行い、情報圧縮された映像信号を出力する画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法に関する。
【０００２】
【従来の技術】
本発明に関連する従来技術として、例えば特開２００１−２８５８７５号公報に記載の技術がある。この公報に記載の技術は「ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅｓ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）−２（ＩＳＯ／ＩＥＣ　１３８１８）画像圧縮情報をＭＰＥＧ−４（ＩＳＯ／ＩＥＣ　１４４９６）画像圧縮情報に変換する際に、演算処理量とビデオメモリ量を低減する」ことを課題とする。そして解決手段として、この公報記載の発明による画像情報変換装置は、「飛び越し走査によるＭＰＥＧ−２画像圧縮情報を構成する、マクロブロックの８×８成分のＤＣＴ係数のうち、４×８成分のみを用いて飛び越し画像を復号するＭＰＥＧ−２画像情報復号化部１８と、ＭＰＥＧ−２画像情報復号化部１８にて復号化された飛び越し画像の第１フィールドまたは第２フィールドのいずれか一方を選択して順次走査の画像を生成する走査変換部１９と、走査変換部１０にて生成された画像に対して水平方向にサンプリングを行うダウンサンプラ２０と、ダウンサンプラ２０にてダウンサンプリングされた画像に対して垂直方向にダウンサンプリングするダウンサンプラ２１と、ダウンサンプラ２１にてダウンサンプリングされた画像をＭＰＥＧ−４画像圧縮情報に符号関する符号化手段２２とを有する」旨の記載がある。
【０００３】
【発明が解決しようとする課題】
以上述べたように、ＭＰＥＧ−２ストリームからＭＰＥＧ−４ストリームへの変換では、双方のビットストリームともＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）を用いて周波数領域のＤＣＴ係数で画像を符号化しているにもかかわらず、ダウンサンプルを行うために映像信号を空間領域の画素値に変換している。また、双方のビットストリームとも動き探索を行い、残差を再計算している。一般的に、デコード処理ではＩＤＣＴ（Ｉｎｖｅｒｓｅ　ＤＣＴ）が、エンコード処理では動き探索、ＤＣＴ、残差の再計算が演算量を必要とする。さらにデコーダ処理のＭＣ（Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ：動き補償部）、エンコーダ処理のＭＥ（Ｍｏｔｉｏｎ　Ｅｓｔｉｍａｔｉｏｎ：動き検索部）、ＭＣでは参照フレームを格納するためのメモリ領域を必要とする。
【０００４】
本発明は、ストリーム変換に要する演算量、メモリ領域を抑制し、少ない演算回数、メモリ領域でストリーム変換を行う方法を実現することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明では、デコーダ内のＶＬＤ部が出力する動きベクトル、およびＩＱ部が出力するＤＣＴ係数をダウンサンプルし、画像変換を行う構成とする。具体的にＤＣＴ係数のダウンサンプルとは、水平方向、垂直方向それぞれについて、帯域制限フィルタリング、一次元ＩＤＣＴ、ダウンサンプル、一次元ＤＣＴを同時に実行する演算を指す。動きベクトルのダウンサンプルとは動きベクトルの水平成分、垂直成分の大きさをそれぞれ縮小する演算を指す。
【０００６】
【発明の実施の形態】
以下、本発明の実施の形態について、図１の実施形態を示す図を参照しながら詳細に説明する。図１に示すように、このストリーム変換機１は、可変長復号化（Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｄｅｃｏｄｉｎｇ：以下、ＶＬＤという）部１１、逆量子化（以下、ＩＱという）部１２、ＤＣＴスケーリング（以下、ＤＣＴ　ＳＣＡＬＥという）部１３、動きベクトルスケーリング（以下、ＭＶ　ＳＣＡＬＥという）部１４、量子化（以下、Ｑという）部１５、可変長符号化（Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｃｏｄｉｎｇ：以下、ＶＬＣという）部１６からなる。
【０００７】
ＶＬＤ部１１は、ＭＰＥＧ−２ストリームを読み込み、可変長復号化（ＶＬＤ）を行い、量子化されたＤＣＴ係数および動きベクトルを出力する。
【０００８】
ＩＱ部１２は、ＶＬＤ部１１から量子化されたＤＣＴ係数を受け取り、逆量子化を行いＤＣＴ係数を出力する。
【０００９】
ＭＶ　ＳＣＡＬＥ部１４は、動きベクトルをＶＬＤ部１１から受け取り、水平成分、垂直成分の大きさを縮小する。
【００１０】
ＤＣＴ　ＳＣＡＬＥ部１３は、水平方向ＤＣＴ　ＳＣＡＬＥ部１３１と、係数テーブル１３２と、垂直方向ＤＣＴ
ＳＣＡＬＥ部１３３から構成される。水平方向ＤＣＴ　ＳＣＡＬＥ部１３１は、係数テーブル１３２から水平方向帯域制限フィルタリング、水平方向一次元ＩＤＣＴ、水平方向ダウンサンプル、水平方向一次元ＤＣＴを同時に行う行列Ｈ´を取り出し、ＩＱ部１２が出力するＤＣＴ係数に乗じて、水平方向のダウンサンプルを行う。係数テーブル１３２はあらかじめ設定されたダウンサンプル方法に応じた変換行列を格納する。
【００１１】
同様に垂直方向ＤＣＴ　ＳＣＡＬＥ部１３３は、係数テーブル１３２から垂直方向帯域制限フィルタリング、垂直方向一次元ＩＤＣＴ、垂直方向ダウンサンプル、垂直方向一次元ＤＣＴを同時に行う行列Ｖ´を取り出し、水平方向ＤＣＴ　ＳＣＡＬＥ部１３１が出力する水平方向にダウンサンプルされたＤＣＴ係数に乗じて、垂直方向のダウンサンプルを行う。垂直方向ＤＣＴ　ＳＣＡＬＥ部１３３は、入力されるＤＣＴ係数がフレーム単位で構成されたフレームＤＣＴか、フィールド単位で構成されたフィールドＤＣＴかを判断し、それぞれのＤＣＴ方法に応じた変換行列Ｖ´を取り出し、演算する。
【００１２】
Ｑ部１５は、量子化を行い量子化されたＤＣＴ係数を出力する。
【００１３】
ＶＬＣ部１６は、量子化されたＤＣＴ係数と、動きベクトルを可変長符号化（ＶＬＣ）して、ＭＰＥＧ−４ストリームを出力する。
【００１４】
ＭＶ　ＳＣＡＬＥ部１４において、変換前の動きベクトルを流用することで、従来のＭＣ、ＤＣＴ、ＭＥ、ＩＤＣＴ、ＭＣに相当する部分が不用になり、演算量、使用メモリ容量を削減できる。
【００１５】
また、ＤＣＴ　ＳＣＡＬＥ部１３において、帯域制限フィルタリング、一次元ＩＤＣＴ、ダウンサンプル、一次元ＤＣＴを一度の行列演算で行うことで、順次、変換行列を乗じたときと比べ演算量を削減できる。
【００１６】
以下、ＤＣＴ　ＳＣＡＬＥ部１３による演算量削減と変換行列Ｈ´、Ｖ´の算出方法について述べる。例として水平方向ＤＣＴ　ＳＣＡＬＥ部１３１の処理において、本発明の実現方法を示す図２と、従来例の実現方法を示す図３を比較しながら説明する。説明の都合上、帯域制限フィルタは、図４の範囲５０に示すように８×４成分のみ有効とし、ダウンサンプル処理は、水平方向に１／２とする。
【００１７】
図２に示すように、水平方向ＤＣＴ　ＳＣＡＬＥ部１３１は、入力として、８×１６成分のＤＣＴ係数ｘを受け取り、ダウンサンプル後、８×８成分のＤＣＴ係数ｘ´を出力する。ＤＣＴ係数のダウンサンプルは８×１６成分のＤＣＴ係数ｘに対し、ダウンサンプルを行う変換行列Ｈ´を右側から乗じることで処理できる。よって出力となるｘ´は次式（１）で表される。
ｘ´＝ｘＨ´……（１）
【００１８】
一方、図３に示す従来のダウンサンプルは、水平方向帯域制限フィルタ４０、水平方向一次元ＩＤＣＴ４１、水平方向スケーラ４２、水平方向一次元ＤＣＴ４３からなる４つの処理から構成され、次の手順で処理される。水平方向帯域制限フィルタ４０は、８×１６成分からなるＤＣＴ係数ｘに対し、図４の範囲５０のみ透過し、範囲外は０となるような帯域制限を行う変換行列Ｄを右から乗じる。水平方向一次元ＩＤＣＴ４１は、帯域制限した８×１６成分のＤＣＴ係数ｘに対し、１６×１６成分からなるＩＤＣＴ変換行列Ａ１を右から乗じて８×１６成分からなる画素値に変換する。ここで、変換行列Ａ１は従来の実現方法における水平方向一次元ＩＤＣＴ４１において乗じた変換行列ａ１を次のように並べたものである。
【００１９】
【数１】
2004015744.tif 000003
【００２０】
ここで０は８×８成分がすべて０の０行列を示す。
【００２１】
水平方向スケーラ４２は、８×１６の画素に対し、１６×８成分からなる変換行列Ｈを右から乗じて、８×８成分からなる画素値に変換する。水平方向一次元ＤＣＴ４３は８×８成分からなる画素値に対し、８×８成分からなるＤＣＴ変換行列Ａ１´を乗じて８×８成分からなるＤＣＴ係数を得る。よって出力ｘ´は次式（２）で表される。
ｘ´＝ｘＤＡ１ＨＡ１´……（２）
【００２２】
図２と図３では同じ変換を行っているため、式（１）と（２）からＨ´は次式（３）で示される。
Ｈ´＝ＤＡ１ＨＡ１´……（３）
【００２３】
変換に要する演算量を比較すると、従来方式の図３では４回の行列演算が必要なのに対し、図２では１回の行列演算でダウンサンプルが可能であるため、明らかに演算量が減少することが分かる。また、本発明の方式は８×８ＤＣＴの高速演算アルゴリズムを採用した場合と比較しても、少ない演算量でダウンサンプルが実現できる。
【００２４】
以下、８×８ＤＣＴの高速演算アルゴリズムとして知られるＣｈｅｎのアルゴリズム（参考文献：Ｗ．Ｈ．Ｃｈｅｎ，　ｅｔ　ａｌ．　”Ａ　ｆａｓｔ　ｃｏｍｐｕｔａｔｉｏｎａｌ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｔｈｅ　ｄｉｓｃｒｅｔｅ　ｃｏｓｉｎｅ　ｔｒａｎｓｆｏｒｍ”，　ＩＥＥＥ　Ｔｒａｎｓ．　Ｃｏｍｍｕｎ．，　ｖｏｌ．２５，　Ｎｏ．９，　ｐｐ．１００４−１００９，　１９７７）を用いたダウンサンプル方法と、本発明によるダウンサンプル方法の演算量を比較する。上記説明同様、帯域制限フィルタは、図４の範囲５０に示すように８×４成分のみ有効とし、水平方向に１／２のダウンサンプルとする。
【００２５】
Ｃｈｅｎのアルゴリズムで、図４の範囲５０以外の部分を０として計算すると、８×８の水平方向一次元ＤＣＴに乗算１２８回、加算１７６回を必要とする。ＩＤＣＴに関しても同様である。また、空間領域での水平方向のダウンサンプルには加算３２回が必要である。よって８×８成分からなるＤＣＴ係数２ブロックをＩＤＣＴし、ダウンサンプル後、８×８成分からなる画素１ブロックをＤＣＴすると、次の回数演算が必要となる。
乗算：１２８×２＋１２８＝３８４回
加算：１７６×２＋３２＋１７６＝５６０回
計：９４４回
【００２６】
一方、本発明で上記演算を行うための変換行列式Ｈ´を図５に示す。本行列と８×１６成分からなるＤＣＴ係数を乗算すると次の回数演算が必要となり、Ｃｈｅｎのアルゴリズムを用いたときと比較して少ない演算回数でダウンサンプルできることがわかる。
乗算：３２０回
加算：２５６回
計：５７６回
【００２７】
さらに、ＶＬＤ部１１から得られる入力ＤＣＴ係数値の分布に応じて、帯域制限範囲を変更してもよい。すなわち、高周波部分に大きな係数値が少ない単純なブロックの場合、図４の範囲５０よりも狭い部分だけ透過させ、演算量を更に削減してもよい。また、高周波部分までＤＣＴ係数が分散している複雑な画像のときは図４の範囲５０よりも広い範囲を透過し、詳細なダウンサンプルを行ってもよい。ＤＣＴ係数の分布に応じて帯域制限範囲を変更することで、範囲を固定したときと比べて、高画質のダウンサンプルが可能になる。それぞれの帯域制限範囲に応じた変換行列Ｈ´は係数テーブル１３２に格納されており、ＤＣＴ係数値に応じて対応したＨ´が読み出される。
【００２８】
前記帯域制限範囲は前記制御に加え、出力するフレームレートに応じて制御してもよい。すなわち、高画質化のため帯域制限範囲を広げた結果、演算量が増え所定のフレームレートが満たせない場合は帯域制限範囲を狭め、画像変換処理速度を確保するよう制御できる。
【００２９】
次に、垂直方向のダウンサンプルについて説明する。図６は、本発明での実現方法を示す図であり、図７は、従来例の実現方法を示す図である。それぞれ、図２と図３と同様の処理を行うため、詳細な説明は省略する。ただし垂直方向のダウンサンプル処理では、入力である１６×８成分のＤＣＴ係数に対し、変換行列Ｖ´を左側から乗じる。演算量削減の効果、帯域制限範囲の制御方法と効果は水平方向の効果に準じる。
【００３０】
垂直方向のダウンサンプルでは、上記効果に加え、フィールドＤＣＴで符号化されたマクロブロックを効率よくフレームＤＣＴに変換する効果が得られる。例えば、変換行列Ｖ´はフィールドＤＣＴを用いて変換されたＤＣＴ係数に対し、ダウンサンプルを行い、フレームＤＣＴを用いたＤＣＴ係数を出力してもよい。すなわち、垂直方向一次元ＩＤＣＴ後に得られる１６×８成分の画素に対し、上側８ラインのトップフィールドと下側８ラインのボトムフィールドを並べ替え、フレーム構造とする変換行列Ｓを乗じてからダウンサンプル変換行列Ｖを乗じることで出力されるＤＣＴ係数はフレーム構造となる。このときのＶ´は次の式（４）で表される。
Ｖ´＝Ａ２´ＶＳＡ２……（４）
【００３１】
ＭＰＥＧ−４の下位プロファイルでは、フィールドＤＣＴは採用されていない。一方、ＭＰＥＧ−２ではフィールドＤＣＴは頻繁に用いられているため、ダウンサンプルと同時に変換が可能な本処理は有効である。
【００３２】
次に図８に示す第２の実施例について説明を行う。図８は図１のＤＣＴ　ＳＣＡＬＥ部１３の内部構造を示す図である。図８において、水平方向ＤＣＴ　ＳＣＡＬＥ部１３１、係数テーブル１３２、垂直方向ＤＣＴ　ＳＣＡＬＥ部１３３は、図１と同一であるため説明を省略する。トップフィールド／ボトムフィールド判定機１３４はフィールド単位で符号化されたフィールド構造のビットストリームが入力されたとき、トップフィールドに属するＤＣＴ係数はバッファメモリ１３５に格納する。
【００３３】
ボトムフィールドに属する８×８成分からなるＤＣＴ係数が入力されたときは、対応するトップフィールドの８×８成分からなるＤＣＴ係数をバッファメモリ１３５から読み出し、垂直方向ＤＣＴ　ＳＣＡＬＥ部１３３に１６×８成分のフィールドＤＣＴを用いたＤＣＴ係数として入力する。垂直方向ＤＣＴ　ＳＣＡＬＥ部１３３は第１の実施例の式（４）に示すＶ´を乗じることでフレームＤＣＴを用いたＤＣＴ係数を得る。
【００３４】
以上、本発明における第２の実施例では、垂直方向のダウンサンプルと共にフィールド構造からフレーム構造への変換が可能になる。また、ボトムフィールドに属するＤＣＴ係数が入力された時点から変換するフレームの処理が開始できるため、入力から出力までの処理遅延を軽減できる。また、ＭＰＥＧ−４の下位プロファイルでは、フィールド構造に対応していないため、ダウンサンプルと同時に変換できる本方式は有効である。
【００３５】
次に、図９に示す第３の実施例について説明を行う。図９の撮像記録再生装置などの表示装置およびストリーム変換機は、画像変換器３、ＭＰＥＧ−２デコーダ２、ディスプレイ６、送信部７からなる。同図において、図１と同一部分については同一符号を付して説明を省略する。
【００３６】
ＭＰＥＧ−２デコーダ２は、ＶＬＤ部１１と、ＩＱ部１２と、ＩＤＣＴ部１７と、ＭＣ部１８を有して構成される。ＭＰＥＧ−２デコーダ２は、例えばＤＶＤドライバからのＭＰＥＧ−２ストリームから生成した動きベクトルと逆量子化したＤＣＴ係数を画像変換器３へ出力し、さらにＤＣＴ係数を復号化してディスプレイ６へ出力する。
【００３７】
画像変換器３は、ＤＣＴ　ＳＣＡＬＥ部１３と、ＭＶ　ＳＣＡＬＥ部１４と、Ｑ部１５と、ＶＬＣ部１６とを有している。画像変換器３はＭＰＥＧ−２デコーダ２のＶＬＤ部１１からの動きベクトルと逆量子化されたＤＣＴ係数を用いてＭＰＥＧ−４ストリームを生成する。
【００３８】
ディスプレイ６は、ＭＰＥＧ−２デコーダ２が出力する映像信号を表示する。送信部７は、画像変換器３が出力するＭＰＥＧ−４ストリームを、無線路を通じて配信する。
【００３９】
本発明の第３の実施例によれば、ＭＰＥＧ−２デコーダ２が映像をデコードすると同時にＭＰＥＧ−４でエンコードし映像配信できる。画像変換器３は通常のＭＰＥＧ−４エンコーダに比べ、少ない演算処理でエンコードできるため、処理負荷の軽減もしくは演算回路規模の削減が可能になる。
【００４０】
第３の実施例においては、ＭＰＥＧ−２デコーダ２と画像変換器３とで、撮像記録再生装置を構成したが、ディスプレイ６、送信部７、図示を省略した撮像手段、記録手段、再生手段を含めて撮像記録再生装置とする場合がある。また、デコードせずにＭＰＥＧ−２→ＭＰＥＧ−４変換のみを行って送信する場合もある。さらに、送信手段として、無線送信だけでなく有線による送信を採用することができる。
【００４１】
第３の実施例では、ＭＰＥＧ−２デコーダ２への入力として、前段に記録媒体の再生手段を接続することができる。また、記録媒体には、ＤＶＤ、ハードディスク等を採用することができる。
【００４２】
次に、図１０に示す第４の実施例について説明を行う。図１０の記録装置およびストリーム変換機は、ＭＰＥＧ−２エンコーダ５と、画像変換器３、記録媒体８、送信部７からなる。同図において図１と同一部分については同一符号を付して説明を省略する。
【００４３】
ＭＰＥＧ−２エンコーダ５は、ＤＣＴ部５１と、ＭＥ部５２と、Ｑ部１５と、ＶＬＣ部１６と、ＩＤＣＴ部１７と、ＭＣ部１８と、加算器を有している。
【００４４】
画像変換器３は、図９に示した画像変換器３と同じ構成を有している。
【００４５】
記録媒体８は、ＭＰＥＧ−２エンコーダ２が出力する映像信号を記録する。送信部７は、画像変換器３が出力するＭＰＥＧ−４ストリームを、無線路を通じて配信する。
【００４６】
ＤＣＴ　ＳＣＡＬＥ部１３は、ＤＣＴ部５１が出力するＤＣＴ係数を受け取り、水平、垂直方向にダウンサンプルする。ＭＶ
ＳＣＡＬＥ部１４はＭＥ部５２が出力する動きベクトルを、水平、垂直方向にダウンサンプルする。
【００４７】
第４の実施例においては、ＭＰＥＧ−２エンコーダ５と画像変換器３とで、撮像記録装置を構成したが、送信部７、記録手段８、図示を省略した撮像手段、再生手段を含めて撮像記録装置とする場合がある。また、デコードせずにＭＰＥＧ−２→ＭＰＥＧ−４変換のみを行って送信する場合もある。さらに、送信手段として、無線送信だけでなく有線による送信を採用することができる。
【００４８】
第４の実施例では、ＭＰＥＧ−２デコーダ２への入力として、前段に記録媒体の撮像手段を接続することができる。また、記録媒体には、ＤＶＤ，ハードディスク等を採用することができる。
【００４９】
本発明の第４の実施例によれば、ＭＰＥＧ−２エンコーダ５が映像信号をＭＰＥＧ−２ストリームにエンコードすると同時に、画像変換器３でＭＰＥＧ−４ストリームにエンコードし映像配信できる。画像変換器３は、通常のＭＰＥＧ−４エンコーダに比べ、少ない演算処理でエンコードできるため、処理負荷の軽減もしくは演算回路規模の削減が可能になる。特に、動き探索部がＭＰＥＧ−２の機能を共用するため、演算に要するメモリ領域を削減できる。
【００５０】
【発明の効果】
本発明によれば、ストリーム変換に要する演算量、メモリ領域を抑制し、少ない演算回数、メモリ領域でストリーム変換することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すブロック図。
【図２】本発明の第１の実施例における水平方向ＤＣＴスケーリング部の入出力を示すブロック図。
【図３】従来の水平方向ダウンサンプルの入出力、演算処理を示すブロック図。
【図４】本発明の第１の実施例における帯域制限範囲を示す図。
【図５】本発明の第１の実施例において８×４の帯域制限を行ったときのダウンサンプル変換行列Ｈ´例図。
【図６】本発明の第１の実施例における垂直方向ＤＣＴスケーリング部の入出力を示すブロック図。
【図７】従来の垂直方向ダウンサンプルの入出力、演算処理を示すブロック図。
【図８】本発明の第２の実施例を示すブロック図。
【図９】本発明の第３の実施例を示すブロック図。
【図１０】本発明の第４の実施例を示すブロック図。
【符号の説明】
１　ストリ−ム変換器
１１　可変長復号化（ＶＬＤ）部
１２　逆量子化（ＩＱ）部
１３　ＤＣＴスケーリング（ＤＣＴ　ＳＣＡＬＥ）部
１４　動きベクトルスケーリング（ＭＶ　ＳＣＡＬＥ）部
１５　量子化（Ｑ）部
１６　可変長符号化（ＶＬＣ）部
１７　逆離散コサイン変換（ＩＤＣＴ）部
１８　動き補償（ＭＣ）部
２　ＭＰＥＧ−２デコーダ
３　画像変換器
４０　水平方向帯域制限フィルタ
４１　水平方向１次元ＩＤＣＴ
４２　水平方向スケーラ
４３　水平方向１次元ＤＣＴ
４４　垂直方向帯域制限フィルタ
４５　垂直方向１次元ＩＤＣＴ
４６　垂直方向スケーラ
４７　垂直方向１次元ＤＣＴ
５　ＭＰＥＧ−２エンコーダ
５１　離散コサイン変換（ＤＣＴ）部
５２　動き探索（ＭＥ）部
６　ディスプレイ
７　送信部
８　記録媒体
【図１】
2004015744.tif 000004
【図２】
2004015744.tif 000005
【図３】
2004015744.tif 000006
【図４】
2004015744.tif 000007
【図５】
2004015744.tif 000008
【図６】
2004015744.tif 000009
【図７】
2004015744.tif 000010
【図８】
2004015744.tif 000011
【図９】
2004015744.tif 000012
【図１０】
2004015744.tif 000013