(57)【要約】【課題】画像復号再生装置のフレームメモリの容量低減を実現するとともに、回路規模を低減する。【解決手段】調停部１２１に共有メモリ１３０へのアクセスを許可されたリクエスタと、共有メモリ１３０との間で転送される画像データは、拡大縮小部１２２において拡大縮小される。拡大縮小部１２２における処理内容は、リクエスタのリクエストＩＤとデータ転送方向情報により切り替えられる。これにより、画像データをフレームメモリ１３１に圧縮して書き込む事ができるので、フレームメモリ１３１の容量を低減できる。また、拡大縮小部１２２が共用されるので、各リクエスタごとに拡大縮小機能を備える必要がなくなる。【選択図】図１
2007006194.tif 000002
【特許請求の範囲】
【請求項１】
メモリに記憶された画像を参照して、符号化された画像データの復号を行う画像復号再生装置であって、
データを圧縮する機能と伸長する機能を有するデータ圧縮伸長部と、
複数のリクエスタのうちのいずれかから入力されたデータを上記データ圧縮伸長部を介して上記メモリに出力する一方、上記メモリから上記データ圧縮伸長部を介して入力されたデータを上記リクエスタのいずれかに出力するように、複数のリクエスタからのアクセスを調停する調停部とを備え、
上記複数のリクエスタは、入力された上記符号化された画像符号データを復号し、復号後の画像データをメモリに書き込む復号部と、上記メモリから上記復号後の画像データを読み出して出力する画像出力部を含み、
上記データ圧縮伸長部の圧縮伸長動作が、上記メモリへのアクセス制御またはアクセス対象データの属性に関する情報に基づいて制御されるように構成されたことを特徴とする画像復号再生装置。
【請求項２】
請求項１の画像復号再生装置であって、
上記メモリへのアクセス制御またはアクセス対象データの属性に関する情報は、上記メモリに対するアクセスがデータの書き込み処理と読み出し処理のどちらのアクセスであるかを示すデータ転送方向情報、上記メモリに対するアクセスがいずれのリクエスタからのアクセスであるかを示すリクエスタ識別情報、メモリ内のいずれの領域へのアクセスがなされるかを示す転送メモリアドレス、およびメモリアクセスの対象となるデータが輝度信号か色差信号のいずれであるかを示す輝度色差判別情報のうちの少なくとも１つであることを特徴とする画像復号再生装置。
【請求項３】
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長率が、さらに、上記メモリの容量、および上記復号部による復号後の画像のデータ量に基づいて制御されるように構成されたことを特徴とする画像復号再生装置。
【請求項４】
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長率が、さらに、上記メモリの容量、および上記画像出力部が出力する画像のデータ量に基づいて制御されるように構成されたことを特徴とする画像復号再生装置。
【請求項５】
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮は、非可逆圧縮であることを特徴とする画像復号再生装置。
【請求項６】
請求項５の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長は、画素数または階調数の減少又は増加を伴うことを特徴とする画像復号再生装置。
【請求項７】
請求項６の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長は、直交変換と逆直交変換とを用いた圧縮伸長、間引き処理、およびフィルタリングの少なくとも１つによるものであることを特徴とする画像復号再生装置。
【請求項８】
請求項７の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長による画素数または階調数の減少程度は、上記メモリの容量、および上記画像出力部が出力する画像のデータ量に基づいて制御されるように構成されたことを特徴とする画像復号再生装置。
【請求項９】
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部が、入力されたデータをそのまま出力することが可能に構成されていることを特徴とする画像復号再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、符号化された画像データを復号し、再生する画像復号再生装置において、復号後の画像データを格納するフレームメモリの容量を低減する技術に関する。
【背景技術】
【０００２】
画像復号再生装置に入力される画像符号データは、さまざまな圧縮符号化技術によりデータ量の削減が行われたものであるが、その圧縮符号化技術の一つとして、相前後する画像間での相関関係を利用した動き予測技術がある。圧縮符号化時に、この動き予測処理が施された画像符号化データを画像復号再生装置にて、復号し、再生する際は、復号後画像データを保存するフレームメモリが必要であり、またフレームメモリに記憶された復号後画像データは、再生画像として出力されるだけでなく、動き補償処理のために参照される必要がある。
【０００３】
また、フレームメモリ容量を削減するために、復号後のデータを符号化回路で圧縮し、フレームメモリに記憶させるようにしたものもある（例えば、特許文献１参照）。
【０００４】
具体的には、例えば同文献の図１に示されるように、画像復号再生装置に、フレームメモリに記憶させるデータを圧縮する符号化回路１０１、出力表示する画像を得るためにフレームメモリの圧縮データを伸長する第一のデータ伸長回路１０５ａ、および動き補償処理における参照画像として用いる画像を得るためにフレームメモリの圧縮データを伸長する第二のデータ伸長回路１０５ｂが設けられている。
【特許文献１】特開平９−２６１６３５号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記画像復号再生装置では、データ圧縮回路１０４内の符号化回路１０１によりデータ量が圧縮されるため、フレームメモリ１０２の容量は削減されるが、出力表示用と動き補償処理用とで、データ伸長回路が２つ設けられていたので、回路規模および製造コストが増大しがちであった。
【０００６】
本発明は、上記の点に鑑み、画像復号再生装置のフレームメモリ等の容量低減を実現するとともに、回路規模を低減することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、請求項１の発明は、
メモリに記憶された画像を参照して、符号化された画像データの復号を行う画像復号再生装置であって、
データを圧縮する機能と伸長する機能を有するデータ圧縮伸長部と、
複数のリクエスタのうちのいずれかから入力されたデータを上記データ圧縮伸長部を介して上記メモリに出力する一方、上記メモリから上記データ圧縮伸長部を介して入力されたデータを上記リクエスタのいずれかに出力するように、複数のリクエスタからのアクセスを調停する調停部とを備え、
上記複数のリクエスタは、入力された上記符号化された画像符号データを復号し、復号後の画像データをメモリに書き込む復号部と、上記メモリから上記復号後の画像データを読み出して出力する画像出力部を含み、
上記データ圧縮伸長部の圧縮伸長動作が、上記メモリへのアクセス制御またはアクセス対象データの属性に関する情報に基づいて制御されるように構成された
ことを特徴とする。
【０００８】
また、請求項２の発明は、
請求項１の画像復号再生装置であって、
上記メモリへのアクセス制御またはアクセス対象データの属性に関する情報は、上記メモリに対するアクセスがデータの書き込み処理と読み出し処理のどちらのアクセスであるかを示すデータ転送方向情報、上記メモリに対するアクセスがいずれのリクエスタからのアクセスであるかを示すリクエスタ識別情報、メモリ内のいずれの領域へのアクセスがなされるかを示す転送メモリアドレス、およびメモリアクセスの対象となるデータが輝度信号か色差信号のいずれであるかを示す輝度色差判別情報のうちの少なくとも１つであることを特徴とする。
【０００９】
これらにより、復号後の画像データが、メモリに書き込まれる時は圧縮され、動き補償処理における参照画像やモニタ等への出力画像などとしてメモリから読み出される時は伸長されるようにすることができるので、メモリの容量を低減することができる。また、複数のリクエスタがデータ圧縮伸長部を別個に備えることなく、データ圧縮伸長部が共用される。
【００１０】
また、データ圧縮伸長部におけるデータの圧縮伸長動作の制御は、例えばデータ転送方向情報やリクエスタ識別情報等の情報を利用することによって自動的に行われる。
【００１１】
具体的には、例えばデータ転送方向情報に基づくデータの圧縮伸長率の制御により、データをメモリに書き込む場合はデータが自動的に圧縮され、データをメモリから読み出す場合はデータが自動的に伸長されるようにすることができる。
【００１２】
または、リクエスタ識別情報に基づくデータの圧縮伸長率の制御により、リクエスタの種類に応じてデータの圧縮伸長率を決定することができるので、データ圧縮伸長部はそれぞれ異なった種類のデータを扱う様々なリクエスタに対応した圧縮伸長を行うことができる。
【００１３】
または、転送メモリアドレスに基づくデータの圧縮伸長率の制御により、メモリ内のどの領域へのアクセスかによってデータの圧縮伸長率を決定することができるので、データの記憶される領域の種類に応じた圧縮伸長を行うことができる。
【００１４】
または、輝度色差判別情報に基づくデータの圧縮伸長率の制御により、データ量圧縮伸長手段におけるデータ量圧縮処理とデータ量伸長処理が画質劣化を伴う非可逆変換の場合、人間の視覚特性が敏感である輝度成分のデータについては画質劣化を抑えるために圧縮伸長率を低くし、人間の視覚特性が輝度成分に比べて鈍感である色差成分の場合は拡大縮小率を輝度成分に比べ高くするといったような、人間の視覚特性を考慮した拡大縮小率の制御を行うことができる。
【００１５】
また、請求項３の発明は、
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長率が、さらに、上記メモリの容量、および上記復号部による復号後の画像のデータ量に基づいて制御されるように構成されたことを特徴とする。
【００１６】
これにより、任意の画像サイズの符号化データを復号することが求められる場合においても、復号後の画像データ量がメモリの容量より小さい場合は、画像データを圧縮伸長せずにメモリに保存できる。したがって、データ量圧縮伸長手段における圧縮処理に例えば画質劣化を伴う非可逆圧縮が用いられる場合でも、画質劣化を最低限に抑えることができる。
【００１７】
また、請求項４の発明は、
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長率が、さらに、上記メモリの容量、および上記画像出力部が出力する画像のデータ量に基づいて制御されるように構成されたことを特徴とする。
【００１８】
これにより、メモリ容量と出力画像の画素数や階調数に応じて、データ圧縮伸長率が制御される。
【００１９】
また、請求項５の発明は、
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮は、非可逆圧縮であることを特徴とする。
【００２０】
これにより、非可逆圧縮であっても、例えばリクエスタの識別に基づいて、画像データであれば圧縮、音声、制御データであれば非圧縮というような適切な圧縮伸長制御が行われる。
【００２１】
また、請求項６の発明は、
請求項５の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長は、画素数または階調数の減少又は増加を伴うことを特徴とする。
【００２２】
また、請求項７の発明は、
請求項６の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長は、直交変換と逆直交変換とを用いた圧縮伸長、間引き処理、およびフィルタリングの少なくとも１つによるものであることを特徴とする。
【００２３】
これにより、画素数の増減を伴うデータ量の調整が行われる。
【００２４】
また、請求項８の発明は、
請求項７の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長による画素数または階調数の減少程度は、上記メモリの容量、および上記画像出力部が出力する画像のデータ量に基づいて制御されるように構成されたことを特徴とする。
【００２５】
これにより、メモリ容量と出力画像の画素数や階調数に応じて、画素数または階調数の減少程度が制御される。
【００２６】
また、請求項９の発明は、
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部が、入力されたデータをそのまま出力することが可能に構成されていることを特徴とする。
【００２７】
これにより、データの種類等に応じて、メモリに書き込まれるデータやメモリから読み出されるデータを圧縮伸長したりしなかったりすることができる。
【発明の効果】
【００２８】
本発明によれば、画像復号再生装置のフレームメモリ等の容量低減を実現するとともに、回路規模を低減することができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の各実施形態において、他の実施形態と同様の機能を有する構成要素については同一の符号を付して説明を省略する。
【００３０】
《発明の実施形態１》
本発明の実施形態１に係る画像復号再生装置１００は、図１に示すように、リクエスタ群１１０が、調停部１２１および拡大縮小部１２２を介して、フレームメモリ１３１（画像データ蓄積領域）と非画像データ蓄積領域１３２とを有する共有メモリ１３０（メモリ）にアクセスするようになっている。
【００３１】
（リクエスタ群１１０について）
リクエスタ群１１０は、具体的には例えば、画像符号データ復号部１１１、画像出力部１１２、音声復号部１１３、音声出力部１１４、およびシステム制御部１１５の５つのリクエスタを有している。リクエスタ群１１０には、それぞれ固有のリクエストＩＤ（リクエスタ番号情報）が割り当てられている。
【００３２】
画像符号データ復号部１１１は、可変長復号部１１１ａ、逆量子化部１１１ｂ、逆ＤＣＴ部１１１ｃ、および動き補償部１１１ｄを備えている。これらによって可変長復号処理、逆量子化処理、逆ＤＣＴ処理、および動き補償処理を行うことにより画像符号データが復号されるようになっている。また、動き補償部１１１ｄは、動き補償処理の参照画像データとして用いるために、共有メモリ１３０のフレームメモリ１３１に記憶された復号後画像データを読み出すアクセスを行う一方、動き補償処理後の復号後画像データを共有メモリ１３０のフレームメモリ１３１に書き込むアクセスを行うようになっている。
【００３３】
画像出力部１１２は、共有メモリ１３０のフレームメモリ１３１から復号後画像データを読み出すアクセスを行い、読み出した復号後画像データをモニタ等での表示サイズに合わせて拡大縮小し、出力するようになっている。
【００３４】
音声復号部１１３は、音声符号データを復号し、復号後音声データを共有メモリ１３０の非画像データ蓄積領域１３２に書き込むアクセスを行うようになっている。
【００３５】
音声出力部１１４は、共有メモリ１３０の非画像データ蓄積領域１３２から復号後音声データを読み出すアクセスを行い、読み出した復号後音声データを出力するようになっている。
【００３６】
システム制御部１１５は、画像符号データ復号部１１１、画像出力部１１２、音声復号部１１３、および音声出力部１１４に対し、音と画像を同期させて出力させるなどのシステム制御を行い、共有メモリ１３０の非画像データ蓄積領域１３２に対して、システム制御に必要な制御データを読み出すアクセスおよび書き込むアクセスを行うようになっている。すなわち、非画像データ蓄積領域１３２のうちシステム制御部１１５のアクセスする領域は、システム制御部１１５の作業領域の役割を果たす。
【００３７】
（調停部１２１）
調停部１２１は、リクエスタ群１１０と共有メモリ１３０との間のデータ転送（アクセス）を調停するようになっている。より詳しくは、調停部１２１は所定の優先順位または調停方法に基づいて、いずれのリクエスタに共有メモリ１３０へのアクセスを許可するかを決定し、許可するリクエスタに対して共有メモリ１３０へのアクセスを許可する（中継する）とともに、そのリクエスタのリクエストＩＤと当該アクセスが読み出しアクセスと書き込みアクセスのいずれであるかを示すデータ転送方向情報を、拡大縮小部１２２に出力する。上記アクセス許可により、アクセスを許可されたリクエスタと共有メモリ１３０の間で、データ転送が開始される。
【００３８】
（拡大縮小部１２２）
拡大縮小部１２２は、調停部１２１によりアクセスを許可されたいずれかのリクエスタと共有メモリ１３０との間で転送されるデータに対し、拡大縮小処理を行うようになっている。より詳しくは、図２に示すように、リクエスタ群１１０によって共有メモリ１３０に書き込まれるデータを縮小する一方、共有メモリ１３０から読み出されるデータを拡大する拡大縮小処理部１２２ｂと、調停部１２１から入力されるリクエストＩＤとデータ転送方向情報に基づいて、上記拡大縮小処理部１２２ｂにおける動作モードと拡大縮小率を決定する判別部１２２ａとを備えている。動作モードには、「拡大」、「縮小」、および「拡大縮小オフ」の３つのモードがある。拡大縮小率とは、転送される画像データを何倍の画素数に拡大縮小するかを示す値である。拡大縮小処理部１２２ｂは、例えば転送される画像データにＤＣＴ変換を行い、その拡大縮小率に応じて高周波数成分の除去と逆ＤＣＴ変換を行って画素数を低減（画像サイズを縮小）することにより、データ量が圧縮された画像データを出力するようになっている。
【００３９】
図３に、判別部１２２ａで決定される動作モードと拡大縮小率の例を示す。判別部１２２ａは、調停部１２１から入力されるリクエストＩＤにより、共有メモリ１３０とリクエスタの間で転送されるデータが画像データであるか否かを判別し、画像データでない場合は動作モードが「拡大縮小オフ」であることを示す動作モード信号を出力する。これに応じて、拡大縮小部１２２は、拡大縮小処理を行わず、入力された画像データをそのまま出力する。また、転送データが画像データであった場合は、入力されるデータ転送方向情報により、アクセスが共有メモリ１３０に対する書き込みである場合は「縮小」、読み出しである場合は「拡大」を示す動作モード信号を出力する。したがって、書き込まれる画像データが縮小されて、データ量が減るので、共有メモリ１３０のフレームメモリ１３１の使用容量を小さくできる。図３の例では、動作モード「縮小」の場合は拡大縮小率は１／２倍、「拡大」の場合は拡大縮小率は２倍としているが、同じ動作モードでもリクエストＩＤによって異なる拡大縮小率になるように設定してもよい。
【００４０】
以下、上記のように構成された画像復号再生装置１００の動作を説明する。
【００４１】
まず、画像符号データが、画像復号再生装置１００に入力され、画像符号データ復号部１１１において復号される際の動作を説明する。
【００４２】
画像符号データ復号部１１１の可変長復号部１１１ａ、逆量子化部１１１ｂ、および逆ＤＣＴ部１１１ｃは、入力される画像符号データに対し、それぞれ可変長復号処理、逆量子化処理、および逆ＤＣＴ処理を行う。
【００４３】
画像符号データ復号部１１１の動き補償部１１１ｄは、共有メモリ１３０のフレームメモリ１３１に記憶された復号後画像データを動き補償処理の参照画像データとして読み出すために、調停部１２１に対して読み出しアクセス許可要求を行う。
【００４４】
調停部１２１は、上記アクセス許可要求と、その他のリクエスタからのアクセス許可要求を受け、所定の優先順位によりアクセス許可を与えるリクエスタを選択する。動き補償部１１１ｄが選択されると、動き補償部１１１ｄにアクセス許可（中継）が行われる。一方、調停部１２１は、拡大縮小部１２２の判別部１２２ａに対して、画像符号データ復号部１１１のリクエストＩＤ「０」と、データ転送方向情報「読み出し」を通知する。
【００４５】
判別部１２２ａは、上記リクエストＩＤ、データ転送方向情報に応じて、動作モードを「拡大」、拡大縮小率を「２倍」と決定し、拡大縮小処理部１２２ｂに通知する。
【００４６】
これを受けた拡大縮小処理部１２２ｂは、共有メモリ１３０から読み出される画像データを２倍に拡大する。拡大された画像データは、調停部１２１を介して動き補償部１１１ｄに転送される。
【００４７】
動き補償部１１１ｄは、この画像データを参照画像データとして用いて動き補償処理を行い、新たな画像データを生成する。生成された新たな画像データを共有メモリ１３０のフレームメモリ１３１に記憶させるために、動き補償部１１１ｄは、調停部１２１に対して書き込みアクセス許可要求を行う。
【００４８】
調停部１２１が再度、アクセス許可を与えるリクエスタとして動き補償部１１１ｄを選択すると、動き補償部１１１ｄにアクセス許可（中継）が行われる。一方、調停部１２１は、拡大縮小部１２２の判別部１２２ａに対して、画像符号データ復号部１１１のリクエストＩＤ「０」と、データ転送方向情報「書き込み」を通知する。
【００４９】
判別部１２２ａは、上記リクエストＩＤ、データ転送方向情報により、動作モードを「縮小」、拡大縮小率を「１／２倍」と決定し、拡大縮小処理部１２２ｂに通知する。
【００５０】
これを受けた拡大縮小処理部１２２ｂは、動き補償部１１１ｄから転送される画像データを１／２倍に縮小する。縮小された画像データは、共有メモリ１３０のフレームメモリ１３１に書き込まれる。
【００５１】
次に、共有メモリ１３０のフレームメモリ１３１に記憶された画像データが読み出されて表示順に画像出力される際の動作を説明する。
【００５２】
画像出力部１１２は、共有メモリ１３０のフレームメモリ１３１に記憶された画像データを読み出すために、調停部１２１に対して読み出しアクセス要求を行う。
【００５３】
調停部１２１が、アクセス許可を与えるリクエスタとして画像出力部１１２を選択すると、画像出力部１１２にアクセス許可（中継）が行われる。一方、調停部１２１は、拡大縮小部１２２の判別部１２２ａに対して、画像出力部１１２のリクエストＩＤ「４」と、データ転送方向情報「読み出し」を通知する。
【００５４】
判別部１２２ａは、上記リクエストＩＤ、データ転送方向情報により、動作モードを「拡大」、拡大縮小率を「２倍」と決定し、拡大縮小処理部１２２ｂに通知する。
【００５５】
これを受けた拡大縮小処理部１２２ｂは、共有メモリ１３０から読み出される画像データを２倍に拡大する。拡大された画像データは、調停部１２１を介して画像出力部１１２に出力画像データとして転送される。
【００５６】
また、調停部１２１において、非画像データを転送するリクエスタ、すなわち音声復号部１１３、音声出力部１１４、またはシステム制御部１１５に対して、共有メモリ１３０へのアクセスが許可された場合は、判別部１２２ａが動作モードを「拡大縮小オフ」に決定し、拡大縮小処理部１２２ｂは入力をそのまま出力する。
【００５７】
上記のように、調停部１２１に共有メモリ１３０へのアクセスを許可されたリクエスタは、同時に拡大縮小部１２２の使用権限も与えられ、リクエストＩＤとデータ転送方向情報によって、拡大縮小処理部１２２ｂの処理内容が切り替えられることにより、拡大縮小部１２２をリクエスタ間で効率よく共用でき、各リクエスタに個別の拡大縮小機能を持たせたりする必要がなくなる。また、非可逆な拡大縮小処理（圧縮伸長処理）が用いられる場合でも、制御データや音声データを扱うリクエスタとの間で転送されるデータに対しては拡大縮小処理が行われないようにすることができるので、これらのリクエスタと画像データを扱うリクエスタが、共有メモリ１３０へのデータバスを容易に共有できる。
【００５８】
また、動き補償部１１１ｄが画像データを共有メモリ１３０のフレームメモリ１３１に記憶させるアクセスを行った際には、画像データに１／２倍の縮小処理が行われるので、共有メモリ１３０の使用容量が低減される。同時に、共有メモリ１３０へのアクセスに使用されるメモリバンド幅も低減される。
【００５９】
さらに、データの拡大縮小処理を行うか否かの判断、拡大縮小率の設定、および拡大縮小処理はすべて拡大縮小部によりリクエストＩＤやデータ転送方向等、すなわち通常のメモリアクセスにおいてリクエスタが出力するメモリへのアクセス制御に関するデータに基づいて行われるため、各リクエスタにメモリ容量の低減率を考慮した処理機能（拡大縮小動作を制御するデータを出力する機能）を必要とせず、リクエスタとなるシステムや回路として、既存のシステムや既存の回路を適用する場合も、設計変更等が不要であるので、適用が非常に容易である。例えば、画質重視のシステムには拡大縮小部を搭載しないが、メモリ容量削減重視のシステムには搭載するという適用も容易である。
【００６０】
なお、上記実施形態１では、リクエストＩＤにより転送データが画像データであるか否かを判別しているが、メモリアドレスや、フレームメモリ１３１と非画像データ蓄積領域１３２のいずれへのアクセスかを示す情報（メモリアドレス情報）をリクエスタ等が出力し、判別部１２２ａがそれに基づいて転送データが画像データであるか否かを判別するように構成してもよい。
【００６１】
また、上記の例では、データの圧縮伸長方法として、画像データにＤＣＴ変換、高周波成分の除去、および逆ＤＣＴ変換を施すことによって、画像を拡大縮小（画素数を増大または減少）する例を示したが、圧縮伸長方法はこれに限られない。拡大縮小を伴うものや伴わないもの等、種々の圧縮伸長方法を用いてもよい。例えば、隣り合う複数の画素のデータのうち１画素を選択する間引き処理、ローパスフィルタ等のフィルタリング、およびＤＣＴ、逆ＤＣＴ変換以外の直交変換、逆直交変換を用いた圧縮伸長方法を用いてもよい。また、画像データにおける一部の空間周波数成分を取り除くことによって圧縮したり、階調数を減少させることなどによって、１画素あたりに含まれる輝度情報や色差情報等に関するデータ量を低減するようにしてもよい。
【００６２】
また、上記の例では、圧縮伸長部に入出力されるデータは、逆ＤＣＴ変換後の実空間データであったが、逆ＤＣＴ変換前の周波数空間データが入出力され、高周波数成分の除去や量子化等が行われるようにしてもよい。
【００６３】
《発明の実施形態２》
実施形態２として、画像データが輝度成分か、色差成分かに応じて、画像データの拡大縮小処理における拡大縮小率が変更される画像復号再生装置の例を説明する。
【００６４】
本実施形態２に係る画像復号再生装置２００は、図４に示すように、実施形態１の画像復号再生装置１００の構成に比べて、画像データを扱うリクエスタ、すなわち動き補償部１１１ｄを有する画像符号データ復号部１１１、および画像出力部１１２が、アクセス時に付加情報として、転送する画像データが輝度成分なのか色差成分なのかを示す輝度色差判別情報を調停部１２１に出力するようになっている点が異なる。また、調停部１２１は、リクエストＩＤとデータ転送方向情報に加え、輝度色差判別情報を拡大縮小部２２２に出力するようになっている。
【００６５】
拡大縮小部２２２は、図５に示すように、判別部２２２ａがリクエストＩＤ、データ転送方向情報、および輝度色差判別情報に基づいて動作モードと拡大縮小率を決定するようになっている。
【００６６】
図６は、判別部２２２ａにおける動作モードと拡大縮小率の決定方法の一例である。調停部１２１から入力されるリクエストＩＤにより、共有メモリ１３０とリクエスタの間で転送されるデータが画像データであるか否かを判別し、画像データでない場合は動作モードを「拡大縮小オフ」に決定する。また、転送データが画像データであった場合は、入力されるデータ転送方向情報により、アクセスが共有メモリ１３０に対する書き込みである場合は動作モードを「縮小」、読み出しである場合は「拡大」に決定する。拡大縮小率は、輝度色差判別情報により決定される。図６の例では、輝度成分の場合、縮小処理ならば３／４倍、拡大処理ならば４／３倍、色差成分の場合、縮小処理ならば１／２倍、拡大処理ならば２倍と、拡大縮小率が決定される。
【００６７】
上記のように、画像データが輝度成分と色差成分のいずれであるかによって拡大縮小率を切り替えることにより、拡大縮小処理が画質劣化を伴う非可逆変換の場合でも、人間の視覚特性が敏感である輝度成分の場合は拡大縮小率を低くし、人間の視覚特性が輝度成分に比べて鈍感である色差成分の場合は拡大縮小率を輝度成分に比べ高くするといったように、人間の視覚特性を考慮して、拡大縮小処理による画質劣化を小さく抑えることができる。すなわち、色差成分の縮小の度合いを高め、空いた容量を輝度成分のデータの記憶に割り当て、輝度成分の縮小の度合いを低くすることにより、フレームメモリ１３１の容量が限られた画像復号再生装置における画質改善が可能となる。
【００６８】
また、データの拡大縮小処理を行うか否かの判断や拡大縮小率の設定が、メモリへのアクセス制御に関するデータであるリクエストＩＤ等とアクセス対象データの属性に関するデータである輝度色差判別情報に基づいて行われるため、拡大縮小制御情報を出力する機能を各リクエスタに持たせる必要がない。
【００６９】
なお、図６の例では、輝度成分、色差成分ともに拡大縮小処理を行っているが、例えば、判別部２２２ａにおいて、転送データが輝度成分の場合は動作モードを「拡大縮小オフ」に決定させるようにして、輝度成分は拡大縮小処理を行わずに、色差成分のみ拡大縮小処理を行うようにしても、フレームメモリ１３１の使用容量をある程度低減することはできる。
【００７０】
《発明の実施形態３》
実施形態３として、画像符号データ復号部における復号後の画像サイズ、および画像出力部における出力画像サイズに関する情報に基づき、拡大縮小処理の有無や拡大縮小率が決定されるようにした画像復号再生装置の例を説明する。
【００７１】
本実施形態３に係る画像復号再生装置３００は、図７に示すように、実施形態１の画像復号再生装置１００の画像出力部１１２に代えて、出力画像サイズ（出力する画像のデータ量）を出力する画像出力部３１２を備え、さらに、入力される画像符号データを解析し、復号後の画像サイズ（復号後の画像のデータ量）を出力する画像符号解析部３４０を備えている。また、出力された復号後の画像サイズと出力画像サイズが拡大縮小部３２２に入力されるようになっている。出力画像サイズとして、例えば、モニタの表示サイズ（解像度）やモニタの一部に小画面表示するときの表示サイズが入力される。
【００７２】
拡大縮小部３２２の判別部３２２ａは、図８に示すように、調停部１２１から入力されるリクエストＩＤとデータ転送方向情報、画像符号解析部３４０から入力される復号後画像サイズ、画像出力部３１２から入力される出力画像サイズ、およびあらかじめ設定されたフレームメモリ１３１の容量（メモリの容量）（以下、「フレームメモリサイズ」と呼ぶ）に基づいて、動作モードと拡大縮小率を決定するようになっている。
【００７３】
図９は、判別部３２２ａにおける動作モードと拡大縮小率の決定方法の一例である。非画像データを転送するリクエスタである音声復号部１１３（リクエストＩＤ＝１）、音声出力部１１４（リクエストＩＤ＝３）、およびシステム制御部１１５（リクエストＩＤ＝２）については、常に動作モードが「拡大縮小オフ」であるため、図９では表記を略す。
【００７４】
図９を用いて、まず画像符号データ復号部１１１が共有メモリ１３０にアクセスする場合の動作モードの決定方法について説明する。パターン１とパターン２のように、復号後画像サイズがフレームメモリサイズ以下である場合は、縮小せずに復号後画像データをフレームメモリ１３１に記録できるので、動作モードは「拡大縮小オフ」に決定される。逆に、パターン３のように、復号後画像サイズがフレームメモリサイズより大きい場合、フレームメモリ１３１に画像データを書き込むアクセスであれば、画像データをフレームメモリサイズに収めるため、動作モードは「縮小」と決定され、フレームメモリ１３１から画像データを読み出すアクセスであれば、フレームメモリ１３１内の画像データは縮小されているので、動作モードは「拡大」と決定される。
【００７５】
次に、画像出力部３１２が共有メモリ１３０にアクセスする場合の動作モードの決定方法について説明する。パターン１のように、出力画像サイズがフレームメモリサイズ以下である場合は、動作モードは「拡大縮小オフ」に決定される。逆に、パターン２とパターン３のように、出力画像サイズがフレームメモリサイズより大きい場合、画像出力部３１２からの読み出しアクセスの際の動作モードは「拡大」に決定される。
【００７６】
図９の例では、具体的には、１枚の画像を記憶するフレームメモリ１３１のサイズが水平３６０画素×垂直４８０ラインに相当する容量である場合を示している。パターン１では、復号後画像サイズと出力画像サイズが共に水平３６０画素×垂直４８０ラインであり、フレームメモリサイズ以下となるので、画像符号データ復号部１１１と画像出力部３１２のいずれからのアクセスであっても、動作モードは「拡大縮小オフ」と決定される。パターン２では、復号後画像サイズは水平３６０画素×垂直４８０ラインであり、フレームメモリサイズ以下であるので、画像符号データ復号部１１１からのアクセスの場合は動作モードは「拡大縮小オフ」と決定されるが、出力画像サイズは水平７２０画素×垂直４８０ラインであり、フレームメモリサイズより大きいので、画像出力部３１２から読み出しアクセスされた場合、動作モードは「拡大」、拡大縮小率は「２倍」と決定される。パターン３では、復号後画像サイズも水平７２０画素×垂直４８０ラインであり、フレームメモリサイズより大きいので、画像符号データ復号部１１１がフレームメモリ１３１に書き込むアクセスをする場合は、動作モードが「縮小」、拡大縮小率は「１／２倍」と決定され、逆に読み出すアクセスをする場合は、動作モードが「拡大」、拡大縮小率が「２倍」と決定される。
【００７７】
このような決定に応じて、拡大縮小処理部１２２ｂにより転送データが拡大縮小され、調停部１２１または共有メモリ１３０に転送される。
【００７８】
上記のように、フレームメモリサイズ、復号後画像サイズ、および出力画像サイズによって、動作モードや拡大縮小率を切り替えることにより、フレームメモリサイズに収まる復号後画像サイズであれば、拡大縮小処理を行わないように制御できる。このような制御は、特に、拡大縮小処理が画質劣化を伴う非可逆変換である場合に、画質劣化を最低限に抑えるのに有効である。
【００７９】
なお、上記実施形態では、１画素あたりに含まれるデータ量は変化しないものとして、画素数（画像サイズ）に基づいて拡大縮小率を決定しているが、１画素あたりに含まれるデータ量も考慮した画像のデータ量に基づいて拡大縮小率を決定してもよい。
【００８０】
また、上記の例では、画像サイズの拡大縮小が、水平方向について行われているが、垂直方向、あるいは、水平方向と垂直方向の両方について行われるようにしてもよい。
【産業上の利用可能性】
【００８１】
本発明に係る画像復号再生装置は、画像復号再生装置のフレームメモリ等の容量低減を実現するとともに、回路規模を低減するという効果を有し、例えば、符号化された画像データを復号し、再生する画像復号再生装置において、復号後の画像データを格納するフレームメモリの容量を低減する技術等として有用である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施形態１に係る画像復号再生装置１００の構成を示すブロック図である。
【図２】同、拡大縮小部１２２の構成を示すブロック図である。
【図３】同、判別部１２２ａにおける動作モードと拡大縮小率の決定方法の例の説明図である。
【図４】本発明の実施形態２に係る画像復号再生装置２００の構成を示すブロック図である。
【図５】同、拡大縮小部２２２の構成を示すブロック図である。
【図６】同、判別部２２２ａにおける動作モードと拡大縮小率の決定方法の例の説明図である。
【図７】本発明の実施形態３に係る画像復号再生装置３００の構成を示すブロック図である。
【図８】同、拡大縮小部３２２の構成を示すブロック図である。
【図９】同、判別部３２２ａにおける動作モードと拡大縮小率の決定方法の例の説明図である。
【符号の説明】
【００８３】
１００      画像復号再生装置
１１０      リクエスタ群
１１１      画像符号データ復号部
１１１ａ    可変長復号部
１１１ｂ    逆量子化部
１１１ｃ    逆ＤＣＴ部
１１１ｄ    動き補償部
１１２      画像出力部
１１３      音声復号部
１１４      音声出力部
１１５      システム制御部
１２１      調停部
１２２      拡大縮小部
１２２ａ    判別部
１２２ｂ    拡大縮小処理部
１３０      共有メモリ
１３１      フレームメモリ
１３２      非画像データ蓄積領域
２００      画像復号再生装置
２２２      拡大縮小部
２２２ａ    判別部
３００      画像復号再生装置
３１２      画像出力部
３２２      拡大縮小部
３２２ａ    判別部
３４０      画像符号解析部
【図１】
2007006194.tif 000003
【図２】
2007006194.tif 000004
【図３】
2007006194.tif 000005
【図４】
2007006194.tif 000006
【図５】
2007006194.tif 000007
【図６】
2007006194.tif 000008
【図７】
2007006194.tif 000009
【図８】
2007006194.tif 000010
【図９】
2007006194.tif 000011