(57)【要約】【課題】表示画像の出力タイミングにおいて圧縮処理・伸張処理・ポスト処理を表示用画像生成の要否に応じて制御できるようにすることで処理負荷の軽減が図れるようにすること。【解決手段】制御回路１１０は、表示画像の出力タイミングにおいて、復号画像の更新領域情報やポスト処理用パラメータ情報から表示画像の生成要否を判断し、更新不要な画像領域に対しては、ポスト処理回路１０５を用いずに伸張処理回路Ｂ１０９を用いて表示画像を生成するように、ポスト処理回路１０５と圧縮処理回路Ｂ１０７と伸張処理回路Ｂ１０９とを制御する。【選択図】      図１
2005006224.tif 000002
【特許請求の範囲】
【請求項１】
符号化された画像信号を復号化する復号化手段と、前記復号化手段によって復号された画像から表示用画像を生成するポスト処理手段と、前記ポスト処理手段によって生成された表示用画像を圧縮処理する圧縮手段と、前記圧縮手段によって圧縮された信号を伸張処理する伸張手段と、復号画像の更新領域情報やポスト処理用パラメータ情報から表示画像の生成要否を判断し、更新不要な画像領域に対しては、前記ポスト処理手段を用いずに前記伸張手段を用いて前記表示用画像を生成するように、前記ポスト処理手段と前記圧縮手段と前記伸張手段とを制御する制御手段と、を具備することを特徴とする画像復号表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ、ＪＰＥＧ等の規定に従って動画等の画像信号を伝送するシステムに用いられる画像復号表示装置に関する。
【０００２】
【従来の技術】
画像データを伝送または蓄積する場合、そのデータ量を削減するために圧縮符号化が行われる。圧縮符号化は、画像データの時間的相関性または空間的相関性を利用して情報の冗長度を少なくする符号化方法である。ＭＰＥＧのような符号化方式では、フレーム内予測符号化やフレーム間予測符号化が存在する。
【０００３】
上記圧縮符号化により符号化された画像データを復号化し、復号化された画像データを表示するための復号処理及び表示処理には、それぞれフレームメモリを必要とする。そして、例えば、特許文献１では、このフレームメモリの容量を削減した画像復号表示装置が開示されている。以下、図５を参照して、その概要を説明する。
【０００４】
図５は、従来の画像復号表示装置の構成を示すブロック図である。図５において、画像復号表示装置５０１には、メモリ５０２が設けられている。画像復号表示装置５０１は、ポスト処理回路（ＰＯＳＴ）５０３と、逆量子化／逆離散コサイン変換処理回路（ＩＱ／ＩＤＣＴ）５０４と、ハフマン復号化処理回路（ＶＬＤ）５０５と、メモリコントローラ５０６と、符号インタフェース（ＣｏｄｅＩ／Ｆ）５０７と、コントローラ５０８と、動き補償処理回路（ＭＣ）５０９と、伸張処理回路５１０と、圧縮処理回路５１１とを備えている。
【０００５】
ＣｏｄｅＩ／Ｆ５０７に入力される圧縮符号化信号は、メモリコントローラ５０６によってメモリ５０２に格納される。ＶＬＤ５０５、ＩＱ／ＩＤＣＴ５０４及びＭＣ５０９は、ＭＰＥＧの規定に従って復号化処理を行う。圧縮処理回路５１１は、メモリ５０２の容量削減を可能とするための圧縮を行う。伸張処理回路５１０は、圧縮処理回路５１１によって圧縮された信号から元の画像信号を復元する。復元された画像信号は、ノイズ除去や拡大縮小等のポスト処理を施すＰＯＳＴ５０３を経由して外部に出力される。
【０００６】
【特許文献１】
特開平１０−２７１５１６号公報（００７１〜００７８、図１４）
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の画像復号表示装置においては、表示画像の出力タイミングにおいて伸張処理・ポスト処理を毎回必要とするため、常時処理負荷が高い状態であり、消費電力が大きい。したがって、例えば、この画像復号表示装置を搭載する携帯電話機や携帯型情報通信端末等の通信端末装置における低消費電力化の実現を困難にするという問題がある。
【０００８】
本発明は、かかる点に鑑みてなされたものであり、表示画像の出力タイミングにおいて圧縮処理・伸張処理・ポスト処理を表示用画像生成の要否に応じて制御できるようにすることで処理負荷の軽減が図れるようにした画像復号表示装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像復号表示装置は、符号化された画像信号を復号化する復号化手段と、前記復号化手段によって復号された画像から表示用画像を生成するポスト処理手段と、前記ポスト処理手段によって生成された表示用画像を圧縮処理する圧縮手段と、前記圧縮手段によって圧縮された信号を伸張処理する伸張手段と、復号画像の更新領域情報やポスト処理用パラメータ情報から表示画像の生成要否を判断し、更新不要な画像領域に対しては、前記ポスト処理手段を用いずに前記伸張手段を用いて前記表示用画像を生成するように、前記ポスト処理手段と前記圧縮手段と前記伸張手段とを制御する制御手段と、を具備する構成を採る。
【００１０】
この構成によれば、復号画像の更新領域情報やポスト処理用パラメータ情報から表示画像の生成が不要である場合に、表示用画像を圧縮データとして保持し、その圧縮データを伸張処理して表示用画像とするので、表示用画像データの保持に必要なメモリ量の増加を抑えつつポスト処理に必要な処理量の軽減を図ることができる。
【００１１】
【発明の実施の形態】
本発明の骨子は、ＭＰＥＧ、ＪＰＥＧ等の規定に従って圧縮符号化された動画等の画像信号を復号化して表示する画像復号表示装置において、各々の規定に従ってなされる復号化処理とは別に、復号画像、表示画像に対して圧縮処理／伸張処理が実行できるようにし、復号化処理、表示用画像生成処理、表示処理を行う際に、表示用画像生成の要否判断ができるようにすることである。
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
図１は、本発明の一実施の形態に係る画像復号表示装置の構成を示すブロック図である。図１に示す画像復号表示装置１００には、メモリ１０１が設けられている。
【００１４】
画像復号表示装置１００は、画像信号のメモリ１０１への書き込みと読み出しを制御するメモリ制御回路１０２と、入力される画像符号化信号の受信処理を行う画像符号化信号受信回路１０３と、画像符号化信号の復号処理を行う復号化処理回路１０４と、復号された画像から表示用画像を生成するポスト処理回路１０５と、生成された表示用画像を圧縮処理する圧縮処理回路Ａ１０６及び圧縮処理回路Ｂ１０７と、圧縮処理された表示用画像を伸張処理する伸張処理回路Ａ１０８及び伸張処理回路Ｂ１０９と、上記の各回路を制御して圧縮処理・伸張処理・ポスト処理の効率化を図り処理負荷の軽減を実現する制御回路１１０とを備えている。
【００１５】
復号化処理回路１０４は、例えば、圧縮符号化データをハフマン符号化に対応する復号化（可変長復号化）を行うハフマン復号化処理回路１４１と、ハフマン復号化処理回路１４１の出力に対して逆量子化、逆離散コサイン変換を実行する逆量子化／逆離散コサイン変換処理回路１４２と、逆量子化／逆離散コサイン変換処理回路１４２の出力に対して動き補償処理を実行する動き補償処理回路１４３とを備えている。
【００１６】
即ち、本実施の形態に係る画像復号表示装置１００は、従来例（図５）に示した画像復号表示装置５０１において、圧縮処理回路５１１を圧縮処理回路Ａ１０６とし、伸張処理回路５１０を伸張処理回路Ａ１０８とし、圧縮処理回路Ｂ１０７と伸張処理回路Ｂ１０９とが追加された構成になっている。
【００１７】
以上の構成において、画像符号化信号受信回路１０３が受信した画像符号化信号（圧縮符号化信号）は、メモリ制御回路１０２によってメモリ１０１に格納される。ハフマン復号化処理回路１４１は、メモリ１０１に格納されている圧縮符号化データをメモリ制御回路１０２を介して読み込み、ハフマン符号化に対応する復号化処理（可変長復号化）を実行する。
【００１８】
逆量子化／逆離散コサイン変換処理回路１４２は、ハフマン復号化処理回路１４１の出力に対して逆量子化、逆離散コサイン変換処理を実行する。動き補償処理回路１４３は、逆量子化／逆離散コサイン変換処理回路１４２の出力画像が、フレーム内予測符号化画像以外の場合に、メモリ１０１に格納されている画像データをメモリ制御回路１０２を介して参照し、逆量子化／逆離散コサイン変換処理回路１４２の出力画像に対して動き補償処理を実行する。
【００１９】
圧縮処理回路Ａ１０６は、動き補償処理回路１４３が出力する復号画像に対して圧縮処理を実行し、メモリ制御回路１０２を介してメモリ１０１に格納する。伸張処理回路Ａ１０８は、メモリ１０１に格納されている復号画像が圧縮されている場合に伸張処理を実行する。
【００２０】
ポスト処理回路１０５は、伸張処理回路Ａ１０８が出力する復号画像に対してノイズ除去や拡大縮小等のポスト処理を実行して表示画像を生成し、外部の表示デバイスに出力する。
【００２１】
圧縮処理回路Ｂ１０７は、ポスト処理回路１０５が出力する表示画像に対して圧縮処理を実行し、メモリ制御回路１０２を介してメモリ１０１に格納する。伸張処理回路Ｂ１０９は、メモリ１０１に格納されている表示画像の圧縮データに対して伸張処理を実行し、その伸張処理した表示画像を外部の表示デバイスに出力する。ここで、制御回路１１０は上述した全ての要素を制御する。
【００２２】
次いで、図１〜図４を参照して、上記構成を有する画像復号表示装置１００の動作を説明する。なお、図２は、復号化処理時の動作を説明するフローチャートである。図３は、表示画像出力処理時の動作を説明するフローチャートである。図４は、本実施の形態及び従来例における画像復号表示処理時の処理負荷を説明する比較図である。
【００２３】
図２において、画像符号化信号受信回路１０３は、画像符号化信号（圧縮符号化信号）を受信すると（ステップＳＴ２０１）、メモリ制御回路１０２に引き渡し、メモリ１０１に格納させる（ステップＳＴ２０２）。
【００２４】
メモリ制御回路１０２は、ＶＬＤ（ハフマン復号化処理回路１４１）の要求に応じてメモリ１０１に格納されている圧縮符号化データを読み出しＶＬＤに転送する（ステップＳＴ２０３）。ハフマン復号化処理回路１４１は、入力された圧縮符号化データについて、ハフマン復号化処理を実行し（ステップＳＴ２０４）、復号結果をＩＱ／ＩＤＣＴ（逆量子化／逆離散コサイン変換処理回路１４２）に転送する（ステップＳＴ２０５）。
【００２５】
逆量子化／逆離散コサイン変換処理回路１４２は、ハフマン復号結果に対して逆量子化処理（ＩＱ）、逆離散コサイン変換処理（ＩＤＣＴ）を実行する（ステップＳＴ２０６）。そして、制御回路１１０は、逆量子化／逆離散コサイン変換処理回路１４２が出力する画像が、フレーム内予測符号化（Ｉ−ＶＯＰ）の対象画像であるか否かを判断する（ステップＳＴ２０７）。
【００２６】
制御回路１１０は、逆量子化／逆離散コサイン変換処理回路１４２が出力する画像がフレーム内予測符号化（Ｉ−ＶＯＰ）の対象画像である場合は（ステップＳＴ２０７：Ｙｅｓ）、ＩＱ／ＩＤＣＴ処理結果（逆量子化／逆離散コサイン変換処理結果）をメモリ制御回路１０２を介してメモリ１０１に格納させ（ステップＳＴ２０８）、圧縮符号化データを受信するまで待機状態になる（ステップＳＴ２１２）。
【００２７】
また、制御回路１１０は、逆量子化／逆離散コサイン変換処理回路１４２が出力する画像がフレーム内予測符号化（Ｉ−ＶＯＰ）の対象画像以外の場合は（ステップＳＴ２０７：Ｎｏ）、ＩＱ／ＩＤＣＴ処理結果をＭＣ（動き補償処理回路１４３）に転送させる（ステップＳＴ２０９）。動き補償処理回路１４３は、メモリ制御回路１０２を介してメモリ１０１に格納されている予測参照用の画像を取り出し、それを用いて動き補償処理を実行する（Ｔ２１０）。
【００２８】
次いで、制御回路１１０は、動き補償処理回路１４３に、動き補償処理によって生成された復号画像データに対して、復号画像がＢピクチャの場合は、メモリ使用量削減のために圧縮処理回路Ａ１０６を用いて圧縮しつつメモリ１０１に格納させる一方、復号画像がＢピクチャ以外の場合は、今後予測参照画像として使用するため無圧縮でメモリ１０１に格納させる（ステップＳＴ２１１）。その後、制御回路１１０は、圧縮符号化データを受信するまで待機状態になる（ステップＳＴ２１２）。
【００２９】
図３において、制御回路１１０は、上記一連の復号処理後、表示画像の出力タイミングにおいて（ステップＳＴ３０１）、前回出力した表示用画像の圧縮データがメモリ１０１に存在するか否かを判断する（ステップＳＴ３０２）。
【００３０】
制御回路１１０は、表示画像の出力タイミングにおいて（ステップＳＴ３０１）、前回出力した表示用画像の圧縮データがメモリ１０１に存在しない場合は（ステップＳＴ３０２：Ｎｏ）、伸張処理回路Ａ１０８を制御して復号画像をポスト処理回路１０５に転送させる。伸張処理回路Ａ１０８は、復号画像が圧縮データである場合は伸張しつつ転送を実行する（ステップＳＴ３１１）。
【００３１】
次いで、制御回路１１０は、ポスト処理回路１０５に対しポスト処理用パラメータを設定し、表示用画像を生成させる（ステップＳＴ３１２）。そして、制御回路１１０は、圧縮処理回路Ｂ１０７にポスト処理回路１０５が生成した表示画像に対して圧縮処理を実行させ、メモリ制御回路１０２を介してメモリ１０１に格納させる（ステップＳＴ３１３）。
【００３２】
同時に、制御回路１１０は、ポスト処理回路１０５を制御して生成された表示画像は外部の表示デバイスに出力させる（ステップＳＴ３０６）。その後、表示画像出力タイミング待ち状態となる（ステップＳＴ３０７）。
【００３３】
また、制御回路１１０は、表示画像の出力タイミングにおいて（ステップＳＴ３０１）、前回出力した表示用画像の圧縮データが存在する場合は（ステップＳＴ３０２：Ｙｅｓ）、ポスト処理回路１０５に設定したポスト処理用パラメータが前回のポスト処理時から変更されているか否かを判断する（ステップＳＴ３０３）。
【００３４】
その結果、ポスト処理用パラメータが前回のポスト処理時から変更されている場合は（ステップＳＴ３０３：Ｎｏ）、制御回路１１０は、全ての復号画像領域に対してポスト処理を実行する必要があるため、前回出力した表示用画像の圧縮データが存在しない場合（ステップＳＴ３０２）と同様に、ステップＳＴ３１１〜ステップＳＴ３１３、ステップＳＴ３０６、ステップＳＴ３０７の処理を実行する。
【００３５】
また、制御回路１１０は、表示画像の出力タイミングにおいて（ステップＳＴ３０１）、前回出力した表示用画像の圧縮データが存在し（ステップＳＴ３０２：Ｙｅｓ）、ポスト処理回路１０５に設定したポスト処理用パラメータが前回のポスト処理時から変更されていない場合は（ステップＳＴ３０３：Ｙｅｓ）、前回の表示画像生成タイミング以降、新たに復号画像が生成されているか否かを判断する（ステップＳＴ３０４）。
【００３６】
その結果、前回の表示画像生成タイミング以降、新たに復号画像が生成されていない場合（ステップＳＴ３０４：Ｙｅｓ）、制御回路１１０は、伸張処理回路Ｂを制御してポスト処理済画像の圧縮データの伸張処理を実行させ（ステップＳＴ３０５）、表示画像として外部に出力させ（ステップＳＴ３０６）、表示画像出力タイミング待ち状態となる（ステップＳＴ３０７）。
【００３７】
また、制御回路１１０は、表示画像の出力タイミングにおいて（ステップＳＴ３０１）、前回出力した表示用画像の圧縮データが存在し（ステップＳＴ３０２：Ｙｅｓ）、ポスト処理回路１０５に設定したポスト処理用パラメータが前回のポスト処理時から変更されていない場合で（ステップＳＴ３０３：Ｙｅｓ）、前回の表示画像生成タイミング以降、新たに復号画像が生成されている場合は（ステップＳＴ３０４：Ｎｏ）、伸張処理回路Ａ１０８を制御して復号画像をポスト処理回路１０５に転送させる。伸張処理回路Ａ１０８は、復号画像が圧縮データである場合は伸張しつつ転送を実行する。（ステップＳＴ３０８）。
【００３８】
このとき、制御回路１１０は、Ｎｏｔ  Ｃｏｄｅｄ情報や、受信した画像符号化データに対するエラー重畳の情報から領域別に画像更新の有無を判断し、Ｎｏｔ  Ｃｏｄｅｄ領域やコンシールメント領域以外の画像更新領域のみの復号画像を転送させる。但し、ポスト処理に必要な画像情報がある場合、例えば、周辺画素情報のフィルタを使用している場合などは、その領域も転送させる。
【００３９】
次いで、制御回路１１０は、ポスト処理回路１０５に対しポスト処理用パラメータを設定し、転送された領域のみの表示用画像を生成させる（ステップＳＴ３０９）。そして、制御回路１１０は、圧縮処理回路Ｂ１０７にポスト処理回路１０５が生成した表示画像に対して圧縮処理を実行させ、メモリ制御回路１０２を介してメモリ１０１の該当する画像領域に格納させる（ステップＳＴ３１０）。
【００４０】
制御回路１１０は、同時に、伸張処理回路Ｂ１０９を制御して、ポスト処理済画像の圧縮データを伸張処理させ（ステップＳＴ３０５）、表示画像として外部に出力させ（ステップＳＴ３０６）、表示画像出力タイミング待ち状態となる（ステップＳＴ３０７）。
【００４１】
次に、図４において、図４（１）は従来例における画像復号表示処理の処理負荷を示し、図４（２）は、本実施の形態における画像復号表示処理の処理負荷を示している。図４では、１５フレーム／秒の符号化データを受信して復号化処理を実行し、３０フレーム／秒にて表示処理を実行する場合を想定している。
【００４２】
図４（１）：従来例。復号処理後のＬＣＤ垂直同期タイミングにおいて、最初の表示画像出力期間４０１では、伸張処理＋ＰＯＳＴ処理を実行しつつ表示画像を出力している。次の表示画像出力期間４０２でも、伸張処理＋ＰＯＳＴ処理を実行しつつ表示画像を出力している。そして、次の復号処理４０３の結果、例えばＶＯＰ  Ｎｏｔ  Ｃｏｄｅｄであった場合でも、次の表示画像出力期間４０４では、伸張処理＋ＰＯＳＴ処理を実行しつつ表示画像を出力している。
【００４３】
図４（２）：本実施の形態。復号処理後のＬＣＤ垂直同期タイミングにおいて、最初の表示画像出力期間４１１では、伸張処理Ａ＋ＰＯＳＴ処理に加えて圧縮処理Ｂを実行することで、表示画像を圧縮データとして保持する。その結果、次の表示画像出力期間４１２では、伸張処理Ｂのみ実行することで表示が可能となる。また、さらに次の復号処理４１３の結果、例えばＶＯＰ  Ｎｏｔ  Ｃｏｄｅｄであった場合でも、次の表示画像出力期間４１４では、伸張処理Ｂのみ実行することで表示が可能となる。
【００４４】
ここで、図４（２）では図示省略したが、本実施の形態では、復号処理４１３の結果、ＶＯＰ  Ｎｏｔ  Ｃｏｄｅｄではなくエラー重畳によって受信する画像符号化信号が劣化していた場合は、次の表示画像出力期間４１４では、復号化可能であった領域のみ伸張処理Ａ＋ＰＯＳＴ処理に加えて圧縮処理Ｂを実行し、表示画像を圧縮データとして保持しつつ表示画像出力を実行することができる。
【００４５】
また、同じ表示画像出力期間４１４においては、復号化不可能であった領域に対しては、既に圧縮されている表示画像に対して伸張処理Ｂを実行し、表示画像として出力することができる。
【００４６】
このように、本実施の形態によれば、メモリに書き込まれる信号の情報量を、復号化処理とは別に圧縮処理／伸張処理を行うことによって減少させるようにした従来例の画像復号表示装置において、表示画像に対して圧縮処理／伸張処理が実行できるようにしたので、処理量を減らしたい場合には、表示用画像を圧縮データとして保持しておくことができる。これによって、表示用画像データの保持に必要なメモリ量の増加を抑えつつ、ポスト処理に必要な処理量の軽減を図ることができる。
【００４７】
なお、本実施の形態においては、１５フレーム／秒の復号化処理と３０フレーム／秒の表示処理とを想定したが、復号フレームレートよりも表示フレームレートが小さい場合は、表示タイミングにおいて伸張処理Ａ／ポスト処理のみを実行し、圧縮処理Ｂ／伸張処理Ｂを実行しないように制御することで、処理負荷の増大を防ぐことができる。
【００４８】
また、本実施の形態においては、使用している圧縮処理Ａ、伸張処理Ａ、圧縮処理Ｂ、伸張処理Ｂは、可逆性を特に必要とはしないため、例えば可逆圧縮方式であるＤＰＣＭや不可逆圧縮方式であるＪＰＥＧを用いることができる。
【００４９】
また、本実施の形態においては、圧縮処理Ａ、伸張処理Ａ、圧縮処理Ｂ、伸張処理Ｂは別々の存在する構成としているが、圧縮処理Ａと圧縮処理Ｂ、伸張処理Ａと伸張処理Ｂは、それぞれ同一の処理回路としてもよい。
【００５０】
また、本実施の形態においては、従来例との比較から圧縮処理Ａ、伸張処理Ａを搭載した復号化処理回路を用いて説明したが、圧縮処理Ａ、伸張処理Ａを搭載しない復号化処理回路においても本発明は適用可能である。
【００５１】
また、本実施の形態においては、上述したようにメインの復号化処理に対してハフマン符号化や離散コサイン変換を用いた符号化方式を利用して説明しているが、本発明は、これに限定されるものではなく、全ての符号化方式を対象とすることができる。
【００５２】
また、本発明による画像復号表示装置は、信号処理用プロセッサ（ＤＳＰ）における画像復号表示装置として組み込むことが可能である。これによりＤＳＰ全体の処理負荷の軽減が可能となり、例えば全体の動作クロックを低くすることで低消費電力化を実現することができる。
【００５３】
また、本発明による画像復号表示装置は、携帯電話機や携帯型情報通信端末等の通信端末装置に画像端末装置として組み込むことが可能である。これにより、通信端末装置では、処理負荷の軽減による低消費電力化の実現や、削減した処理量に応じた追加機能の実装を実現することができる。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、圧縮処理／伸張処理を各々の規定に従ってなされるメインの復号化処理とは別に復号画像、表示画像に対しても実行できるようにし、表示画像の出力タイミングにおいて圧縮処理・伸張処理・ポスト処理を表示用画像生成の要否に応じて制御できるようにしたので、処理負荷の軽減が図れるようになる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像復号表示装置の構成を示すブロック図
【図２】図１に示す画像復号表示装置の復号化処理時の動作を説明するフローチャート
【図３】図１に示す画像復号表示装置の表示画像出力処理時の動作を説明するフローチャート
【図４】本実施の形態及び従来例における画像復号表示処理時の処理負荷を説明する比較図
【図５】従来の画像復号表示装置の構成例を示すブロック図
【符号の説明】
１００  画像復号表示装置
１０１  メモリ
１０２  メモリ制御回路
１０３  画像符号化信号受信回路
１０４  復号化処理回路
１０５  ポスト処理回路
１０６  圧縮処理回路Ａ
１０７  圧縮処理回路Ｂ
１０８  伸張処理回路Ａ
１０９  伸張処理回路Ｂ
１１０  制御回路
１４１  ハフマン復号化処理回路
１４２  逆量子化／逆離散コサイン変換処理回路
１４３  動き補償処理回路
【図１】
2005006224.tif 000003
【図２】
2005006224.tif 000004
【図３】
2005006224.tif 000005
【図４】
2005006224.tif 000006
【図５】
2005006224.tif 000007