(57)【要約】【課題】複数の画像ソースが多重化された符号化データを復号する画像復号再生装置の非参照画像用フレームメモリの領域を削減する。【解決手段】各画像ソースを復号する複数の動き補償手段１０６は、画面合成後の表示状態を管理する表示制御手段１０７から、他の画像ソースと画面合成されることにより最終的に表示されない領域（非表示領域）に関する情報を予め個別に受け取り、非参照画像の非表示領域に該当する画像ブロック対しては、復号後の画像データをフレームメモリ１０８に書き込まないようにし、表示領域に該当する画像ブロックに対しては、画像合成手段１０９により画面合成された後の最終表示位置に対応するアドレスに書き込むようにすることで、複数画像ソース間でフレームメモリを共有化する。【選択図】      図１
2004312116.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる画像ソースについて、画像を任意のサイズの画像ブロックごとに分割し、動き予測を行って符号化された画像データをそれぞれ復号してフレームメモリに格納し、フレームメモリから読み出した各復号後画像データを画像合成手段により合成して表示再生する画像復号再生装置であって、
復号された複数の画像データの表示状態を管理し表示制御信号を生成する表示制御手段と、
符号データから、画像ごとの予測符号化モード情報を検出する予測符号化モード検出手段と、
前記表示制御信号と予測符号化モード情報とに基づき、任意の画像ブロックについて、前記フレームメモリへの動き補償処理後のデータの書き込み動作を制御できる動き補償手段と、
を有し、
前記動き補償手段は、
現在復号中の画像が他の画像の復号過程において参照画像として使用されない非参照画像であることを前記予測符号化モード情報により認識し、
現在復号中の画像ブロックが他の復号画像データと合成される際に不要となる非表示領域であることを前記表示制御信号により認識することで、
前記非参照画像における非表示領域に該当する画像ブロックの動き補償後の画像データの前記フレームメモリへの書き込みを行わないように構成されている、ことを特徴とする画像復号再生装置。
【請求項２】
動き補償手段は、非参照画像を復号する際において、画像ブロック内に表示領域と非表示領域が混在する場合に、表示領域に該当する画像データのみをフレームメモリに書き込むように構成されていることを特徴とする請求項１記載の画像復号再生装置。
【請求項３】
予測符号化モード検出手段は、復号中の画像が双方向予測され符号化された画像であるときに非参照画像として予測符号化モード情報により動き保証手段に通知できるように構成されていることを特徴とする請求項１または２記載の画像復号再生装置。
【請求項４】
表示制御手段は、表示領域および、または非表示領域に該当する画素の始点と画像サイズとを表示制御信号により動き保証手段に通知できるように構成されていることを特徴とする請求項１から３までのいずれか１項記載の画像復号再生装置。
【請求項５】
表示制御手段は、表示領域および、または非表示領域に該当する画素の座標を表示制御信号により動き保証手段に通知できるように構成されていることを特徴とする請求項１から４までのいずれか１項記載の画像復号再生装置。
【請求項６】
表示制御手段は、表示領域および、または非表示領域に該当する画素について、画像合成手段により合成された後の最終表示位置を表示制御信号により動き保証手段に通知できるように構成されていることを特徴とする請求項１から５までのいずれか１項記載の画像復号再生装置。
【請求項７】
動き補償手段は、フレームメモリからの参照画像データの読み出し動作を制御できるとともに、非参照画像における非表示領域に該当する画像ブロックに関する参照画像データの読み出し動作を行わないように構成されていることを特徴とする請求項１から６までのいずれか１項記載の画像復号再生装置。
【請求項８】
動き補償手段は、非参照画像の画像ブロック内に表示領域に該当する画素と非表示領域に該当する画素が混在している場合に、その画像ブロックの全て画素に関連する参照画像データを、または表示領域に該当する画素に関連する参照画像データのみを、フレームメモリより読み出すように構成されていることを特徴とする請求項７記載の画像復号再生装置。
【請求項９】
動き補償手段は、動き補償に関する演算開始を制御できるとともに、非参照画像における非表示領域に該当する画像ブロックに関し、動き補償演算処理をスキップしかつフレームメモリに対する動き補償後の画像データの書き込みを行わないように構成されていることを特徴とする請求項１から６までのいずれか１項記載の画像復号再生装置。
【請求項１０】
動き補償手段は、非参照画像の画像ブロック内に表示領域に該当する画素と非表示領域に該当する画素が混在している場合に、その画像ブロックの全ての画素について、または表示領域に該当する画素のみについて、動き補償処理を実施するように構成されていることを特徴とする請求項９記載の画像復号再生装置。
【請求項１１】
動き補償処理後の画像データを表示制御信号と予測符号化モード情報とに基づき任意のサイズに拡大または縮小処理を行う復号データ拡大縮小手段を有し、
この復号データ拡大縮小手段は、
現在復号中の画像が非参照画像であることを認識し、
現在復号中の画像ブロックが画像合成処理に必要な表示領域であることを前記表示制御信号により認識することで、
前記非参照画像における表示領域に該当する復号データを任意のサイズに拡大または縮小した後にフレームメモリに書き込むように構成されている、
ことを特徴とする請求項１から１０までのいずれか１項記載の画像復号再生装置。
【請求項１２】
表示制御手段は、表示領域に該当する画素の拡大縮小率を表示制御信号により復号データ拡大縮小手段に通知するように構成されていることを特徴とする請求項１１記載の画像復号再生装置。
【請求項１３】
表示制御手段は、表示領域に該当する画素の画像サイズと画像合成手段による画面合成後の最終表示サイズとを前記表示制御信号により通知するように構成されていることを特徴とする請求項１１または１２記載の画像復号再生装置。
【請求項１４】
復号データ拡大縮小手段は、表示制御信号により復号中の画像ソースの表示状態を認識することで、画像合成手段による画面合成後の最終表示画面内の座標に対応するフレームメモリ内のアドレスに、拡大縮小した画像データを書き込むように構成されていることを特徴とする請求項１１から１３までのいずれか１項記載の画像復号再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の画像ソースが多重された符号データを各画像ソース毎に復号し、復号後の各画像データを一つの画面に合成して表示する画像復号再生装置に関するものである。
【０００２】
【従来の技術】
近年、ディジタル画像圧縮技術が一般化し、広く使用されるようになってきた。例えば、動画像圧縮方式として最も広く利用されているＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐによる動画像圧縮符号化方式）では、空間的相関を利用した圧縮手法であるＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）と、時間的相関を利用した圧縮手法である双方向予測符号化を導入することにより、圧縮効率を高めている。
【０００３】
予測符号化は、ある画素の信号値を過去または未来の画像の信号値との差分を用いて表す圧縮手法である。ＭＰＥＧ規格では、この予測符号化方式に対応した３つのピクチャタイプが規定されており、Ｉピクチャはフレーム間予測を使わずに生成される画面、ＰピクチャはＩまたはＰピクチャからの前方予測を行うことにより生成される画面、ＢピクチャはＩまたはＰピクチャからの双方向予測により生成される画面となっている。
【０００４】
このようなＭＰＥＧ規格に基づき符号化された符号データに対応する従来の画像復号再生装置は、Ｉピクチャ（イントラ画像）とＰピクチャ（前方予測画像）とＢピクチャ（双方向予測画像）の３面のフレームメモリを用いて動き補償処理を実現している（例えば、非特許文献１参照）。
【０００５】
【非特許文献１】
青木政之、他５名、“ＮＥＣ技報  Ｖｏｌ５０  Ｎｏ．３”（Ｐ．１１１、図２）
【０００６】
【発明が解決しようとする課題】
今後、このような映像圧縮復号技術はディジタルテレビ等への応用が本格的に進み、それによって、複数の画像ソースが多重化された符号化データを復号して一つの画面にマルチ表示したり子画面表示したりする画像復号再生装置が求められると考えられる。
【０００７】
しかしながら、従来の技術では、前述のように復号する画像ソースの数だけＩピクチャ用フレームメモリ、Ｐピクチャ用フレームメモリ、Ｂピクチャ用フレームメモリが必要となり、多重される画像ソース数が大きくなれば、飛躍的にシステムコストの増大を招くという課題を有していた。
【０００８】
そこで本発明は、このような課題を解決して、複数画像ソースの復号化のために使用するフレームメモリの容量を低減できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
この目的を達成するために本発明の画像復号再生装置は、複数の画像ソースを復号する場合でも最終的な表示は単一画面であることと、双方向予測画像は他の画像の復号過程において参照画像としては用いられないこととに着目して、各画像ソースの復号過程で予め画面合成後の最終表示状態を認識しておき、Ｂピクチャ内の画素のうち他の画像ソースとの画面合成により最終的に表示されない画素についてはフレームメモリに対して書き込み動作を行わず、また表示される画素については他の画像ソースとの画面合成後の最終表示画面に対応したアドレスに書き込むことにより、複数画像ソース間でＢピクチャ用フレームメモリを共有化しようとするものである。
【００１０】
請求項１に記載の本発明の画像復号再生装置は、復号された複数の画像データの表示状態を管理し表示制御信号を生成する表示制御手段と、符号データから、画像ごとの予測符号化モード情報を検出する予測符号化モード検出手段と、前記表示制御信号と予測符号化モード情報とに基づき、任意の画像ブロックについて、前記フレームメモリへの動き補償処理後のデータの書き込み動作を制御できる動き補償手段とを有する。そして、動き補償手段は、現在復号中の画像が他の画像の復号過程において参照画像として使用されない非参照画像であることを前記予測符号化モード情報により認識し、現在復号中の画像ブロックが他の復号画像データと合成される際に不要となる非表示領域であることを前記表示制御信号により認識することで、前記非参照画像における非表示領域に該当する画像ブロックの動き補償後の画像データの前記フレームメモリへの書き込みを行わないように構成されているものである。
【００１１】
すなわち、画像ソースを復号する動き補償手段は、画面合成後の表示状態を管理する表示制御手段から、他の画像ソースと画面合成されることにより最終的には表示されない領域（非表示領域）に関する情報を予め個別に受け取り、非参照画像の非表示領域に該当する画像ブロック対しては動き補償手段が復号後の画像データをフレームメモリに書き込まないようにし、表示領域に該当する画像ブロックに対しては画面合成された後の最終表示位置に対応するアドレスに書き込むようにすることで、非参照画像用のフレームメモリ領域を複数の画像ソースで共有することが可能となる。
【００１２】
本発明によれば、上記において、動き補償手段が、非参照画像を復号する際において、画像ブロック内に表示領域と非表示領域が混在する場合に、表示領域に該当する画像データのみをフレームメモリに書き込むように構成されていることが好適である。
【００１３】
また本発明によれば、上記において、予測符号化モード検出手段が、復号中の画像が双方向予測され符号化された画像であるときに非参照画像として予測符号化モード情報により動き保証手段に通知できるように構成されていることが好適である。
【００１４】
また本発明によれば、上記において、表示制御手段が、表示領域および、または非表示領域に該当する画素の始点と画像サイズとを表示制御信号により動き保証手段に通知できるように構成されていることが好適である。
【００１５】
また本発明によれば、上記において、表示制御手段が、表示領域および、または非表示領域に該当する画素の座標を表示制御信号により動き保証手段に通知できるように構成されていることが好適である。
【００１６】
また本発明によれば、上記において、表示制御手段が、表示領域および、または非表示領域に該当する画素について、画像合成手段により合成された後の最終表示位置を表示制御信号により動き保証手段に通知できるように構成されていることが好適である。
【００１７】
請求項７に記載の本発明は、上記において、動き補償手段が、フレームメモリからの参照画像データの読み出し動作を制御できるとともに、非参照画像における非表示領域に該当する画像ブロックに関する参照画像データの読み出し動作を行わないように構成されているものである。
【００１８】
すなわち、画像ソースを復号する動き補償手段は、画面合成後の表示状態を管理する表示制御手段から、他の画像ソースと画面合成されることにより最終的には表示されない領域（非表示領域）に関する情報を予め個別に受け取り、非参照画像の非表示領域に該当する画像ブロック対しては、それぞれの動き補償手段がフレームメモリから参照画像データを読み込まないようにすることで、フレームメモリからの参照画像データの読み出し回数を削減することが可能となる。
【００１９】
本発明によれば、上記において、非参照画像の画像ブロック内に表示領域に該当する画素と非表示領域に該当する画素が混在している場合に、動き補償手段が、その画像ブロックの全て画素に関連する参照画像データを、または表示領域に該当する画素に関連する参照画像データのみを、フレームメモリより読み出すように構成されていることが好適である。
【００２０】
請求項９に記載の本発明は、上記において、動き補償手段が、動き補償に関する演算開始を制御できるとともに、非参照画像における非表示領域に該当する画像ブロックに関し、動き補償演算処理をスキップしかつフレームメモリに対する動き補償後の画像データの書き込みを行わないように構成されているものである。
【００２１】
すなわち、画像ソースを復号する動き補償手段が、画面合成後の表示状態を管理する表示制御手段から、他の画像ソースと画面合成されることにより最終的に表示されない領域（非表示領域）に関する情報を予め個別に受け取り、非参照画像の非表示領域に該当する画像ブロック対してはそれぞれの動き補償手段が動き補償演算処理をスキップするようにすることで、その動き補償手段における処理回数を削減することが可能となる。
【００２２】
本発明によれば、上記において、動き補償手段が、非参照画像の画像ブロック内に表示領域に該当する画素と非表示領域に該当する画素が混在している場合に、その画像ブロックの全ての画素について、または表示領域に該当する画素のみについて、動き補償処理を実施するように構成されていることが好適である。
【００２３】
請求項１１に記載の本発明によれば、上記において、動き補償処理後の画像データを表示制御信号と予測符号化モード情報とに基づき任意のサイズに拡大または縮小処理を行う復号データ拡大縮小手段を有し、この復号データ拡大縮小手段は、現在復号中の画像が非参照画像であることを認識し、現在復号中の画像ブロックが画像合成処理に必要な表示領域であることを前記表示制御信号により認識することで、前記非参照画像における表示領域に該当する復号データを任意のサイズに拡大または縮小した後にフレームメモリに書き込むように構成されているものである。
【００２４】
すなわち、復号データ拡大縮小手段は、それぞれの動き補償手段で復号中の画像ソースについて、非参照画像の表示領域データに対して、画面合成後の表示状態を管理する表示制御手段から、その画像ソースの最終表示サイズまたは拡大縮小率と最終表示位置とを予め受け取り、その表示サイズまたは拡大縮小率に基づいて拡大または縮小処理を行って、最終表示位置に基づきフレームメモリの最終表示座標に該当するアドレスに書き込むようにすることで、拡大画面や縮小画面を含む場合でも、非参照画像用のフレームメモリ領域を複数の画像ソースで共有することが可能となる。
【００２５】
本発明によれば、上記において、表示制御手段が、表示領域に該当する画素の拡大縮小率を表示制御信号により復号データ拡大縮小手段に通知するように構成されていることをが好適である。
【００２６】
また本発明によれば、上記において、表示制御手段が、表示領域に該当する画素の画像サイズと画像合成手段による画面合成後の最終表示サイズとを前記表示制御信号により通知するように構成されていることが好適である。
【００２７】
また本発明によれば、復号データ拡大縮小手段が、表示制御信号により復号中の画像ソースの表示状態を認識することで、画像合成手段による画面合成後の最終表示画面内の座標に対応するフレームメモリ内のアドレスに、拡大縮小した画像データを書き込むように構成されていることが好適である。
【００２８】
【発明の実施の形態】
（第一の実施の形態）
以下、本発明の第一の実施の形態の画像復号再生装置について、図１、図２、図３及び図４を参照しながら説明する。
【００２９】
図１は、本発明の第一の実施の形態における画像復号再生装置の構成を示すものである。この図１において、１００はＮ個の画像ソースが多重化された符号データを画像ソースごとに符号データ（１）〜符号データ（Ｎ）へと分配する符号データ分配手段、１０１は符号データ（１）〜符号データ（Ｎ）をそれぞれ復号する画像復号手段（１）〜画像復号手段（Ｎ）、１０７は画像復号手段（１）〜画像復号手段（Ｎ）１０１にて復号された画像データの表示状態を管理し表示制御信号を生成する表示制御手段、１０８は画像復号手段（１）〜（Ｎ）１０１からの画像データを保持するフレームメモリ、１０９はフレームメモリ１０８から読み出した表示画像データ（１）〜表示画像データ（Ｎ）を前記表示制御信号に基づきそれぞれ合成する画像合成手段である。
【００３０】
各画像復号手段（１）〜（Ｎ）１０１は、図示のように、各符号データ（１）〜（Ｎ）から画像ごとの予測符号化モード情報を検出する予測符号化モード検出手段１０２と、符号データを可変長復号する可変長データ復号手段１０３と、可変長復号されたデータを逆量子化する逆量子化手段１０４と、逆量子化されたデータを離散コサイン変換する離散コサイン変換手段１０５と、離散コサイン変換されたデータに対し動き補償処理を施し、表示制御手段１０７からの表示制御信号と予測符号化モード検出手段１０２からの予測符号化モード情報とに基づき任意の画像ブロックに対する動き補償処理を制御できる動き補償手段１０６とから構成される。
【００３１】
図１における画像復号手段（２）〜画像復号手段（Ｎ）についても、画像復号手段（１）と同じ構成を有する。
【００３２】
このように構成された本発明の第一の実施の形態の画像復号再生装置について、次にその動作を説明する。
【００３３】
Ｎ個の画像ソースが多重化された符号データは、符号データ分配手段１００により画像ソースごとに分配され、符号データ（１）〜符号データ（Ｎ）として、それぞれ画像復号手段（１）〜画像復号手段（Ｎ）１０１へと入力され、画像ソースごとに復号処理が行われる。
【００３４】
以下、画像復号手段（１）についてその動作を説明する。
入力された符号データ（１）は、可変長データ復号手段１０３にて可変長復号された後、逆量子化手段１０４にて逆量子化されたうえで、離散コサイン変換手段１０５にて逆離散コサイン変換が施され、動き補償手段１０６へと送られる。
【００３５】
予測符号化モード検出手段１０２は、入力された符号データ（１）から画像ごとの予測符号化モード情報を検出し、その情報を動き補償手段１０６へと通知する。
【００３６】
動き補償手段１０６では、どのような予測符号化モードにより符号化されたものかを、予測符号化モード検出手段１０２からの予測符号化モード情報によって判断する。
【００３７】
このとき、現在復号中の画像が予測符号化されたものではない場合は、動き補償手段１０６は、離散コサイン変換手段１０５からのデータを復号画像データ（１）として、そのままフレームメモリ１０８に書き込む。
【００３８】
現在復号中の画像が予測符号化された画像である場合は、動き補償手段１０６は、予測符号化された単位である画像ブロックごとにフレームメモリ１０８から所定の参照画像データ（１）を読み出して、離散コサイン変換手段１０５からのデータに対して所定の動き補償処理を行い、処理後の画像データを復号画像データ（１）としてフレームメモリ１０８に書き込む。
【００３９】
本発明における動き補償手段１０６の特長として、表示制御手段１０７からの表示制御信号と予測符号化モード検出手段１０２からの予測符号化モード情報とに基づき任意の画像ブロックに対する動き補償処理を制御できる構成になっており、本第一の実施の形態では、任意の画像ブロックに対して、動き補償処理と、フレームメモリ１０８からの参照画像データの読み出しおよびフレームメモリ１０８への復号画像データの書き込みとをスキップするようになっている。
【００４０】
このように構成された動き補償手段１０６は、現在復号中の画像が他の画像の復号過程において参照画像として使用されない非参照画像であることを、予測符号化モード検出手段１０２からの予測符号化モード情報により認識する。
【００４１】
ここで言う非参照画像とは、例えば、ＭＰＥＧ規格におけるＢピクチャ（双方向予測された画像）のことを指す。同規格ではＢピクチャは他の画像の復号過程において参照画像として使用されない。
【００４２】
このような非参照画像の場合に、動き補償手段１０６は、画像復号手段（１）〜画像復号手段（Ｎ）１０１により復号されフレームメモリ１０８に格納されている表示画像データ（１）〜表示画像データ（Ｎ）の表示状態を管理し、画像合成手段１０９を制御している表示制御手段１０７から通知される表示制御信号を参照する。
【００４３】
この表示制御信号は、画像合成手段１０９にも送られる信号であり、画像合成手段１０９における各画像ソースの画面合成に関する情報である。
例えば、図２において、画像ソース（１）、画像ソース（２）及び画像ソース（３）が図１の画像合成手段１０９において図示のように合成されて最終表示画面を構成しているとする。この時、画像ソース（１）を復号するための図１の画像復号手段（１）内の動き補償手段１０６へは、表示制御信号として、図３に示すような非表示領域の情報、例えば始点座標とサイズとが表示制御手段１０７から渡される。
【００４４】
このような表示制御信号を受け取った動き補償手段１０６は、図３の非表示領域に該当する画像ブロックに対しては、動き補償処理およびフレームメモリ１０８に対しての参照画像の読み出しと動き補償後の画像ブロックデータの書き込みとを行わない。すなわち、図１の画像復号手段（１）１０１は、非表示領域以外、つまり表示領域に該当する画像ブロックに関してのみ復号処理を実施し、復号後の画像ブロックデータをフレームメモリ１０８へと書き込む。この際、動き補償手段１０６は、画像合成手段１０９により画面合成された後の最終表示位置に対応するフレームメモリ１０８のアドレスに書き込みを行う。図１に示す画像復号手段（２）〜画像復号手段（Ｎ）においても、画像復号手段（１）と同様の動作を行う。
【００４５】
このようにして、画像復号手段（１）〜画像復号手段（Ｎ）１０１は、表示制御手段１０７からの表示制御信号により予め各画像ソースの最終表示状態を知り、Ｂピクチャの場合は、最終表示画面の構成に合わせて必要な領域の画像データのみをフレームメモリ１０８へと書き込むために、図４に示すようにＢピクチャ用のフレームメモリ領域を画像ソース（１）〜画像ソース（Ｎ）にて共有可能となる。
【００４６】
本実施の形態によれば、Ｎの数（復号する画像ソースの数）が大きくなっても、Ｂピクチャ用フレームメモリに関しては１画面分のフレームメモリにより復号処理が実現可能である。
【００４７】
また、画像復号手段（１）〜画像復号手段（Ｎ）１０１は、各画像ソースの最終表示状態を知り、Ｂピクチャの場合は、最終表示画面の構成に合わせて必要な領域の画像データのみを参照画像としてフレームメモリ１０８から読み出すだけで足りるため、参照画像の読み出し回数の削減が可能となる。
【００４８】
また、画像復号手段（１）〜画像復号手段（Ｎ）１０１は、各画像ソースの最終表示状態を知り、Ｂピクチャの場合は、最終表示画面の構成に合わせて必要な領域の画像データに対してのみ動き補償処理を行うため、動き補償手段１０６における処理回数の削減が可能となる。
【００４９】
なお、本実施の形態ではＮ個の画像復号手段１０１が並列に配置されているが、１つの画像復号手段によって複数の画像ソースの復号処理を時分割で実施する場合でも、本実施の形態と同様の効果が得られる。
【００５０】
（第二の実施の形態）
以下、本発明の第二の実施の形態について図５、図６、図７及び図８を参照しながら説明する。
【００５１】
本第二の実施の形態を示す図５、図６、図７及び図８において、本発明の第一の実施の形態と同じ部分は同一の名称および符号を付け、その詳細な動作の説明は省略する。
【００５２】
図５は、本発明の第二の実施の形態の画像復号再生装置の構成を示すものである。
図５において、１００はＮ個の画像ソースが多重化された符号データを画像ソースごとに符号データ（１）〜符号データ（Ｎ）へと分配する符号データ分配手段、１０１は符号データ（１）〜符号データ（Ｎ）をそれぞれ復号する画像復号手段（１）〜画像復号手段（Ｎ）、１０７は画像復号手段（１）〜画像復号手段（Ｎ）１０１にて復号された画像データの表示状態を管理し表示制御信号を生成する表示制御手段である。２１０は、画像復号手段（１）〜画像復号手段（Ｎ）１０１にて復号された画像データに対し表示制御手段１０７からの表示制御信号に基づき必要に応じて任意のサイズへの拡大縮小処理を行う、復号データ拡大縮小手段である。１０８は、画像復号手段（１）〜画像復号手段（Ｎ）１０１からの復号画像データ（１）〜（Ｎ）、または復号データ拡大縮小手段２１０からの拡大縮小後の復号画像データを保持するフレームメモリである。１０９は、フレームメモリ１０８から読み出した表示画像データ（１）〜表示画像データ（Ｎ）を前記表示制御信号に基づきそれぞれ拡大または縮小し、それぞれ合成する画像合成手段である。
【００５３】
画像復号手段１０１は、図５に示すように、Ｎ個の画像復号手段（１）〜画像復号手段（Ｎ）により構成されている。
画像復号手段（１）は、図５に示すように、符号データ（１）から画像ごとの予測符号化モード情報を検出する予測符号化モード検出手段１０２と、符号データを可変長復号する可変長データ復号手段１０３と、可変長復号されたデータを逆量子化する逆量子化手段１０４と、逆量子化されたデータを離散コサイン変換する離散コサイン変換手段１０５と、離散コサイン変換されたデータに対し動き補償処理を施し、表示制御手段１０７からの表示制御信号と予測符号化モード検出手段１０２からの予測符号化モード情報とに基づき任意の画像ブロックに対する動き補償処理をスキップできる動き補償手段１０６とから構成される。
【００５４】
図５における画像復号手段（２）〜画像復号手段（Ｎ）についても、画像復号手段（１）と同じ構成を有する。
このように構成された本発明の第二の実施の形態について、次にその動作を説明する。
【００５５】
Ｎ個の画像ソースが多重化された符号データは、符号データ分配手段１００により画像ソースごとに分配され、符号データ（１）〜符号データ（Ｎ）として、それぞれ画像復号手段（１）〜画像復号手段（Ｎ）へと入力され、画像ソースごとに復号処理が行われる。
【００５６】
画像復号手段（１）〜（Ｎ）１０１の動作は本発明の第一の実施の形態の場合と同じであるため、その詳細な説明は省略する。
本実施の形態においては、図５に示すように、表示制御手段１０７からの表示制御信号に基づき、拡大縮小率を自由に変えることができる復号データ拡大縮小手段２１０を有し、動き補償手段１０６から復号データ拡大縮小手段２１０を介して、復号画像データをフレームメモリ１０８に書き込める構成となっている。
【００５７】
表示制御手段１０７からの表示制御信号は、画像合成手段１０９にも送られる信号であり、画像合成手段１０９における各画像ソースの拡大縮小率、表示位置および各画像ソースの画面合成に関する情報である。
【００５８】
例えば、図６において、画像ソース（１）、画像ソース（２）及び画像ソース（３）が図５の画像合成手段１０９において図示のように合成されて最終表示画面を構成しているとする。すなわち、図示のように画像ソース（２）は拡大され、これに対し画像ソース（１）と画像ソース（３）とは拡大も縮小もされずに、合成されて最終表示画面を構成しているとする。
【００５９】
この時、画像ソース（１）を復号するための図５の画像復号手段（１）内の動き補償手段１０６および復号データ拡大縮小手段２１０へは、表示制御信号として、図７に示すような表示領域情報、非表示領域情報が表示制御手段１０７から渡される。
【００６０】
このような表示制御信号を受け取った動き補償手段１０６は、図７の非表示領域に該当する画像ブロックに対しては、動き補償処理およびフレームメモリ１０８に対しての参照画像の読み出しと動き補償後の画像ブロックデータの書き込みとを行わない。すなわち、図５の画像復号手段（１）１０１は、非表示領域以外、つまり表示領域に該当する画像ブロックに関してのみ復号処理を実施し、復号後の画像データを復号データ拡大縮小手段２１０へと渡す。
【００６１】
このようにして、動き補償手段１０６から復号後の画像データを受け取った復号データ拡大縮小手段２１０は、表示制御手段１０７からの表示制御信号に基づき、動き補償処理が施された画像ブロックデータに対し任意のサイズへの拡大縮小処理を施して、フレームメモリ１０８へと書き込む。この際、動き補償手段１０６は、画像合成手段１０９により画面合成された後の最終表示位置に対応するフレームメモリ１０８のアドレスに書き込みを行う。図５に示す画像復号手段（２）〜画像復号手段（Ｎ）においても、画像復号手段（１）と同様の動作を行う。
【００６２】
このように、本実施の形態における復号データ拡大縮小手段２１０は、表示制御手段１０７からの表示制御信号により予め各画像ソースの最終表示状態を知り、Ｂピクチャの場合は、最終表示画面の構成に合わせて必要な領域の復号画像データのみを必要に応じて拡大縮小し、最終表示画面内の座標に対応したアドレスを発生して、フレームメモリ１０８へと書き込むために、上述の本発明の第一の実施の形態にもとづく作用効果に加え、拡大画像や縮小画像を含む複数画像ソースを合成する場合も、図８に示すようにＢピクチャ用のフレームメモリ領域を画像ソース（１）〜（Ｎ）にて共有可能となる。
【００６３】
本実施の形態によれば、第一の実施の形態の場合と同様に、Ｎの数（復号する画像ソースの数）が大きくなっても、Ｂピクチャ用フレームメモリに関しては１画面分のフレームメモリにより復号処理が実現可能である。
【００６４】
なお、本実施の形態ではＮ個の画像復号手段１０１が並列に配置されているが、第一の実施の形態の場合と同様に、１つの画像復号手段によって複数の画像ソースの復号処理を時分割で実施する場合でも、本実施の形態と同様の効果が得られる。
【００６５】
なお、本実施の形態ではＮ個の画像復号手段１０１について１つの復号画像拡大手段２１０が共有されているが、復号画像拡大手段をそれぞれ個別に設けても本実施の形態と同様の効果が得られる。
【００６６】
なお、本実施の形態では、拡大しない画像データについても復号データ拡大縮小手段２１０を介してフレームメモリ１０８への書き込みを行うが、動き補償手段１０６から直接フレームメモリ１０８へ書き込んでも、本実施の形態と同様の効果が得られる。
【００６７】
なお、上記においては復号データ拡大縮小手段２１０において拡大処理を行う場合を例示して説明したが、縮小処理を行っても同様の効果が得られる。
【００６８】
【発明の効果】
以上のように本発明によると、現在復号中の画像が他の画像の復号過程において参照画像として使用されない非参照画像であることと、現在復号中の画像ブロックが画像合成手段における処理において他の復号画像データと合成される際に不要な非表示領域であることとを認識して、任意の画像ブロックについて、フレームメモリへの動き補償処理後のデータの書き込み動作を制御できる動き補償手段を設け、非参照画像の非表示領域に該当する画像ブロック対してはそれぞれの動き補償手段が動き補償後のデータをフレームメモリに書き込まないようにすることで、非参照画像用のフレームメモリ領域を複数の画像ソースで共有することが可能となり、複数画像ソースの復号化に使用するフレームメモリ容量の削減に大きな効果をもたらす。
【００６９】
また本発明によると、現在復号中の画像が他の画像の復号過程において参照画像として使用されない非参照画像であることと、現在復号中の画像ブロックが画像合成手段における処理において他の復号画像データと合成される際に不要な非表示領域であることとを認識して、任意の画像ブロックについて、フレームメモリからの参照画像データの読み出し動作を制御できる動き補償手段を設け、非参照画像の非表示領域に該当する画像ブロック対しては、それぞれの動き補償手段がフレームメモリから参照画像データを読み込まないようにすることで、フレームメモリに対する参照画像データの読み出し回数を削減することが可能となり、複数画像ソースの復号化においてフレームメモリに対するバンド幅の低減に大きな効果をもたらす。
【００７０】
また本発明によると、現在復号中の画像が他の画像の復号過程において参照画像として使用されない非参照画像であることと、現在復号中の画像ブロックが画像合成手段における処理において他の復号画像データと合成される際に不要な非表示領域であることとを認識して、任意の画像ブロックについて動き補償演算処理の開始を制御できる動き補償手段を設けて、非参照画像の非表示領域に該当する画像ブロック対してはそれぞれの動き補償手段が動き補償演算処理をスキップするようにすることで、動き補償手段における処理回数を削減することが可能となり、複数画像ソースの復号性能の向上に大きな効果をもたらす。
【００７１】
また本発明によると、現在復号中の画像が他の画像の復号過程において参照画像として使用されない非参照画像であることと、現在復号中の画像ブロックが画像合成手段における処理において他の復号画像データと合成される際に必要な非表示領域であることとを認識して、任意の画像ブロックにつき、任意のサイズに拡大または縮小処理を行う復号データ拡大縮小手段を設けて、非参照画像の表示領域に該当する復号データを必要に応じたサイズに拡大または縮小してフレームメモリ内の最終表示位置に該当するアドレスに書き込むようにすることで、非参照画像用のフレームメモリ領域を拡大される画像ソースや縮小される画像ソースを含む場合でも、複数の画像ソースで共有することが可能となり、複数画像ソースの復号化に使用するフレームメモリ容量の削減に大きな効果をもたらす。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態の画像復号再生装置の構成を示すブロック図
【図２】図１の画像復号再生装置における最終表示画面の構成例を示す図
【図３】図１の画像復号再生装置における非表示領域情報を示す図
【図４】図１の画像復号再生装置におけるＢピクチャ用フレームメモリ構成を示す図
【図５】本発明の第二の実施の形態の画像復号再生装置の構成を示すブロック図
【図６】図５の画像復号再生装置における最終表示画面の構成例を示す図
【図７】図５の画像復号再生装置における非表示領域情報を示す図
【図８】図５の画像復号再生装置におけるＢピクチャ用フレームメモリ構成を示す図
【符号の説明】
１００    符号データ分配手段
１０１    画像復号手段
１０２    予測符号化モード検出手段
１０６    動き補償手段
１０７    表示制御手段
１０８    フレームメモリ
１０９    画像合成手段
２１０    復号データ拡大縮小手段
【図１】
2004312116.tif 000003
【図２】
2004312116.tif 000004
【図３】
2004312116.tif 000005
【図４】
2004312116.tif 000006
【図５】
2004312116.tif 000007
【図６】
2004312116.tif 000008
【図７】
2004312116.tif 000009
【図８】
2004312116.tif 000010