(57)【要約】【課題】費やすコストの割には復号画像全体としての主観的品質の向上が期待できない復号画像に対する無駄な画質改善処理の実行を抑止すること。【解決手段】画像生成手段１３１は、画像の符号データに対して復号処理を行って復号画像を生成する。画質改善効果指標算出手段１３５は、復号画像の画質改善効果の指標を算出する。画質改善適用判定手段１３４は、算出された指標と閾値とを比較して復号画像に対する画質改善処理の必要性を判定する。画質改善手段１３３は、判定結果に従って、復号画像に対して画質改善処理を行う。【選択図】図１
2010213161.tif 000002
【特許請求の範囲】
【請求項１】
画像の符号データに対して復号処理を行って復号画像を生成する画像生成手段と、
前記復号画像の画質改善効果の指標を算出する画質改善効果指標算出手段と、
前記算出された指標と閾値とを比較して前記復号画像に対する画質改善処理の必要性を判定する画質改善適用判定手段と、
前記画質改善適用判定手段の判定結果に従って前記復号画像に対して画質改善処理を行う画質改善手段と、
を備えることを特徴とする画像復号化装置。
【請求項２】
前記指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標であることを特徴とする請求項１に記載の画像復号化装置。
【請求項３】
前記画質改善効果指標算出手段は、前記非単一色領域の面積を計算し、該計算結果から前記指標を算出することを特徴とする請求項２に記載の画像復号化装置。
【請求項４】
前記画質改善効果指標算出手段は、前記単一色領域の面積を計算し、前記復号画像の面積から前記計算した単一色領域の面積を差し引くことにより、前記非単一色領域の面積を求めることを特徴とする請求項３に記載の画像復号化装置。
【請求項５】
前記画質改善効果指標算出手段は、前記画像生成手段から復号されたマクロブロックの直流成分を復号順に受け取り、今回受け取ったマクロブロックの直流成分と前回受け取ったマクロブロックの直流成分とを比較し、一致した回数に１マクロブロック当たりの画素数を乗じた値を計算し、該計算結果を前記単一色領域の面積とすることを特徴とする請求項４に記載の画像復号化装置。
【請求項６】
前記画質改善効果指標算出手段は、前記画像生成手段から直流成分の差分がゼロのマクロブロックの連続数を受け取り、受け取った連続数に１マクロブロック当たりの画素数を乗じた値を計算し、該計算結果の累積値を前記単一色領域の面積とすることを特徴とする請求項４に記載の画像復号化装置。
【請求項７】
前記画質改善効果指標算出手段は、前記画像生成手段からウェーブレット分解によって得られたサブバンドの直流成分を復号順に受け取り、今回受け取ったサブバンドの直流成分と前回受け取ったサブバンドの直流成分とを比較し、一致した回数にウェーブレット分解のオクターブ分割数により定まる定数を乗じた値を計算し、該計算結果の累積値を前記単一色領域の面積とすることを特徴とする請求項４に記載の画像復号化装置。
【請求項８】
前記画質改善効果指標算出手段は、前記画像生成手段から直流成分の差分がゼロのサブバンド係数の連続数を受け取り、受け取った連続数にウェーブレット分解のオクターブ分割数により定まる定数を乗じた値を計算し、該計算結果の累積値を前記単一色領域の面積とすることを特徴とする請求項４に記載の画像復号化装置。
【請求項９】
前記画質改善効果指標算出手段は、前記画像生成手段から復号された画素値を復号順に受け取り、今回受け取った画素値と前回受け取った画素値とを比較し、一致した回数の累積値を前記単一色領域の面積とすることを特徴とする請求項４に記載の画像復号化装置。
【請求項１０】
前記画質改善効果指標算出手段は、前記画像生成手段から復号されたマクロブロックの直流成分を復号順に受け取り、今回受け取ったマクロブロックの直流成分と前回受け取ったマクロブロックの直流成分とを比較し、不一致となった回数に１マクロブロック当たりの画素数を乗じた値を計算し、該計算結果を前記非単一色領域の面積とすることを特徴とする請求項３に記載の画像復号化装置。
【請求項１１】
前記画質改善効果指標算出手段は、前記画像生成手段からウェーブレット分解によって得られたサブバンドの直流成分を復号順に受け取り、今回受け取ったサブバンドの直流成分と前回受け取ったサブバンドの直流成分とを比較し、不一致となった回数にウェーブレット分解のオクターブ分割数により定まる定数を乗じた値を計算し、該計算結果の累積値を前記非単一色領域の面積とすることを特徴とする請求項３に記載の画像復号化装置。
【請求項１２】
前記画質改善効果指標算出手段は、前記画像生成手段から復号された画素値を復号順に受け取り、今回受け取った画素値と前回受け取った画素値とを比較し、不一致となった回数の累積値を前記非単一色領域の面積とすることを特徴とする請求項３に記載の画像復号化装置。
【請求項１３】
マクロブロックの直流成分として、輝度値のマクロブロックの直流成分を用いることを特徴とする請求項５または１０に記載の画像復号化装置。
【請求項１４】
マクロブロックの直流成分として、輝度値のマクロブロックの直流成分と色差のマクロブロックの直流成分を用いることを特徴とする請求項５または１０に記載の画像復号化装置。
【請求項１５】
サブバンドの直流成分として、輝度値のサブバンドの直流成分を用いることを特徴とする請求項７または１１に記載の画像復号化装置。
【請求項１６】
サブバンドの直流成分として、輝度値のサブバンドの直流成分と色差のサブバンドの直流成分を用いることを特徴とする請求項７または１１に記載の画像復号化装置。
【請求項１７】
ａ）画像生成手段が、画像の符号データに対して復号処理を行って復号画像を生成するステップと、
ｂ）画質改善効果指標算出手段が、前記復号画像の画質改善効果の指標を算出するステップと、
ｃ）画質改善適用判定手段が、前記算出された指標と閾値とを比較して前記復号画像に対する画質改善処理の必要性を判定するステップと、
ｄ）画質改善手段が、前記画質改善適用判定手段の判定結果に従って前記復号画像に対して画質改善処理を行うステップと、
を含むことを特徴とする画像復号化方法。
【請求項１８】
前記指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標であることを特徴とする請求項１７に記載の画像復号化方法。
【請求項１９】
前記ステップｂでは、前記画質改善効果指標算出手段が、前記非単一色領域の面積を計算し、該計算結果から前記指標を算出することを特徴とする請求項１８に記載の画像復号化方法。
【請求項２０】
前記ステップｂでは、前記画質改善効果指標算出手段が、前記単一色領域の面積を計算し、前記復号画像の面積から前記計算した単一色領域の面積を差し引くことにより、前記非単一色領域の面積を求めることを特徴とする請求項１９に記載の画像復号化方法。
【請求項２１】
コンピュータを、
画像の符号データに対して復号処理を行って復号画像を生成する画像生成手段と、
前記復号画像の画質改善効果の指標を算出する画質改善効果指標算出手段と、
前記算出された指標と閾値とを比較して前記復号画像に対する画質改善処理の必要性を判定する画質改善適用判定手段と、
前記画質改善適用判定手段の判定結果に従って前記復号画像に対して画質改善処理を行う画質改善手段と、
して機能させるためのプログラム。
【請求項２２】
前記指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標であることを特徴とする請求項２１に記載のプログラム。
【請求項２３】
前記画質改善効果指標算出手段は、前記非単一色領域の面積を計算し、該計算結果から前記指標を算出することを特徴とする請求項２２に記載のプログラム。
【請求項２４】
前記画質改善効果指標算出手段は、前記単一色領域の面積を計算し、前記復号画像の面積から前記計算した単一色領域の面積を差し引くことにより、前記非単一色領域の面積を求めることを特徴とする請求項２３に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像復号化装置に関し、特に復号画像に対して圧縮歪みを軽減する画質改善処理を行う機能を有する画像復号化装置に関する。
【背景技術】
【０００２】
近年、コンピュータの端末装置からの情報の漏洩の防止と端末側でのアプリケーション管理の容易性を図るため等を目的として、端末装置にて入出力および表示される全てのアプリケーションをサーバ装置で実行させ、これに伴う全ての生成ファイルもサーバ装置で管理するようにしたシンクライアント・システムが導入されるようになってきた。
【０００３】
このようなシンクライアント・システムでは、サーバ装置で実行されるアプリケーションプログラムの描画データが、ＬＡＮなどのネットワークを通じてクライアント側の端末装置へ転送され、端末装置の画面に表示される。このため、描画データの処理量が大きくなったり、サーバ装置に接続される端末装置の台数が多くなると、描画データを端末装置に転送するためのサーバ装置の負荷や通信負荷が増大し、応答時間の低下や端末装置の接続台数の大幅な制限などの問題が生じる。
【０００４】
そこで、ソフトウェアによる描画データの表示制御技術として、１画面内で描画更新された描画データ部分を含む矩形の描画領域のみを切り出し、さらにこれを必要に応じて圧縮して転送することで、コンピュータ画面の描画データの転送に伴うデータ量を削減してサーバ装置およびネットワーク装置の負荷を軽減することが考えられている（例えば特許文献１参照）。
【０００５】
一方、画像を圧縮符号化する方式としては、たとえばＪＰＥＧ（Joint Picture Experts Group）やＪＰＥＧ２０００などの規格が知られている。ＪＰＥＧは、画像を８画素×８画素などのブロック単位で符号化する。圧縮処理では、ブロックごとに周波数変換を行い、高周波成分を切り捨てることによって、視覚的な品質劣化を抑えながらデータ量を小さくする方式が用いられている。
【０００６】
しかし、こうした高周波成分の切り捨ては非可逆の演算であるため、再生側では元の映像信号を完全に再現することはできず、再生映像に歪みが発生する。
【０００７】
たとえば、圧縮率が高くなり、切り捨てられる高周波成分が多くなると、隣接ブロック間の輝度連続性が確保できなくなり、ブロック境界の輝度不連続性が歪みとして知覚される（ブロックノイズが発生する）ようになる。また、切り捨てられる成分が比較的少ない場合であっても、強いエッジの付近にもやもやとしたノイズ（モスキートノイズ）が知覚される場合がある。
【０００８】
これらのノイズは、再生側の後処理（ポストフィルタ）によって緩和できることが知られており、様々な方法が提案されている。
【０００９】
モスキートノイズを抑制する方式としては、たとえば、画像の全画素について、エッジ強度を判定し、エッジ強度の低い領域にのみガウシアンなどのノイズ低減フィルタを適用する方法などが知られている。
【００１０】
ブロック歪みを低減する方式としては、たとえば特許文献２に、ブロック歪みが発生しているブロック境界にのみ、輝度変化を滑らかにする画像処理（デブロックフィルタ）を適用する方式が開示されている。
【００１１】
ここで述べたＪＰＥＧは、主にデジタルカメラで撮影された自然画像に向く圧縮方式であるが、コンピュータ画面に表示される人工的に生成された画像信号に対しても適用することができる。また、その圧縮歪みの除去にも自然画像と同様の手法が適用可能である。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特表2004-503862号公報
【特許文献２】特許第4105218号
【発明の概要】
【発明が解決しようとする課題】
【００１３】
コンピュータ画面に表示される人工画像には文字周辺に強いエッジが存在する。ＪＰＥＧ等で非可逆圧縮を行った場合、非可逆変換の特性上、エッジ付近に強いモスキートノイズが生じるため、復号側でノイズ除去処理を適用することが望まれる。また、コンピュータ画面上には自然画像（デジタル写真や動画など）が表示される場合もあり、そうした画像を圧縮伝送する場合にも、復号側でのノイズ除去処理の適用が望まれる。しかし、ノイズ除去処理は一般に処理が複雑であるため、特に低性能なプロセッサには負荷が大きい。このため、ノイズ除去のための処理量を如何にして削減するかが当技術分野の課題となっている。
【００１４】
特許文献２では、ブロック歪みが発生しているブロック境界のみでノイズ除去処理を行うことで、全てのブロック境界でノイズ除去処理を行う場合と比較して、ノイズ除去処理の処理量を削減している。しかし、復号画像中にどの程度のブロック歪みが発生しているかとは関係無しに、常にデブロックフィルタを通すようにしている。このため、歪みがごく僅かしかない復号画像に対しても、ノイズ除去のための処理量が発生する。歪みがごく僅かしかない復号画像に対してノイズ除去処理を行っても、費やすコストの割りには復号画像全体としての主観的品質の向上はあまり期待できない。
【００１５】
本発明はこのような事情に鑑みて提案されたものであり、その目的は、費やすコストの割には復号画像全体としての主観的品質の向上が期待できない復号画像に対する無駄な画質改善処理の実行を抑止することにある。
【課題を解決するための手段】
【００１６】
本発明の第１の画像復号化装置は、画像の符号データに対して復号処理を行って復号画像を生成する画像生成手段と、前記復号画像の画質改善効果の指標を算出する画質改善効果指標算出手段と、前記算出された指標と閾値とを比較して前記復号画像に対する画質改善処理の必要性を判定する画質改善適用判定手段と、前記画質改善適用判定手段の判定結果に従って前記復号画像に対して画質改善処理を行う画質改善手段とを備える。
【発明の効果】
【００１７】
本発明によれば、費やすコストの割には復号画像全体としての主観的品質の向上が期待できない復号画像に対する無駄な画質改善処理の実行を抑止することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施の形態に係る画像復号化装置のブロック図である。
【図２】本発明の第１乃至第５の実施の形態に係る画像復号化装置の処理例を示すフローチャートである。
【図３】本発明の第１の実施の形態に係る画像復号化装置で用いる画質改善効果指標算出手段の一例を示すブロック図である。
【図４】本発明の第１の実施の形態に係る画像復号化装置で用いる画質改善効果指標算出手段の他の例を示すブロック図である。
【図５】本発明の第２の実施の形態に係る画像復号化装置のブロック図である。
【図６】本発明の第２の実施の形態に係る画像復号化装置で用いる画質改善効果指標算出手段の一例を示すブロック図である。
【図７】本発明の第２の実施の形態に係る画像復号化装置で用いる画質改善効果指標算出手段の他の例を示すブロック図である。
【図８】本発明の第３の実施の形態に係る画像復号化装置のブロック図である。
【図９】本発明の第３の実施の形態に係る画像復号化装置で用いる画質改善効果指標算出手段の一例を示すブロック図である。
【図１０】本発明の第４の実施の形態に係る画像復号化装置のブロック図である。
【図１１】本発明の第４の実施の形態に係る画像復号化装置で用いる画質改善効果指標算出手段の一例を示すブロック図である。
【図１２】本発明の第４の実施の形態に係る画像復号化装置で用いる画質改善効果指標算出手段の他の例を示すブロック図である。
【図１３】本発明の第５の実施の形態に係る画像復号化装置のブロック図である。
【図１４】本発明の第５の実施の形態に係る画像復号化装置で用いる画質改善効果指標算出手段の一例を示すブロック図である。
【発明を実施するための形態】
【００１９】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。
【００２０】
［第１の実施の形態］
図１を参照すると、本発明の第１の実施の形態に係る画像復号化装置は、データ入力装置１１と、データ記憶装置１２と、プログラム制御により動作するデータ処理装置１３と、画像出力装置１４とから構成されている。
【００２１】
データ入力装置１１は、復号化の対象となる画像の符号データを入力する装置である。本発明をシンクライアント・システムのクライアント装置における画像復号化装置に適用する場合、データ入力装置１１は、図示しないネットワークを介してサーバ端末装置から送られてくる符号データを受信し、データ処理装置１３へ出力する。
【００２２】
データ記憶装置１２は、一つ以上の画像を格納できる画像メモリ１２１と、効果閾値メモリ１２２と、画質改善効果指標メモリ１２３とを備える。
【００２３】
画像メモリ１２１は、復号過程あるいは復号済みの画像を格納するために使用される。
【００２４】
画質改善効果指標メモリ１２３は、復号画像の画質改善効果の指標を格納するために使用される。本実施の形態では、復号画像の画質改善効果の指標として、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標を用いる。単一色領域とは、色の種類は問わないが、同じ色で塗りつぶされている領域のことであり、非単一色領域とは、単一色領域以外の領域のことである。
【００２５】
効果閾値メモリ１２２は、画質改善効果指標と比較するために予め定められた閾値を記憶している。
【００２６】
データ処理装置１３は、画像生成手段１３１と、画像出力手段１３２と、画質改善手段１３３と、画質改善適用判定手段１３４と、画質改善効果指標算出手段１３５とを備える。
【００２７】
画像生成手段１３１は、画像の符号データに対して復号処理を行って復号画像を生成する機能を有する。また、画像生成手段１３１は、画像データの復号処理が完了した時点で、画質改善効果判定手段１３４に、判定処理の開始を指示する。
【００２８】
画像出力手段１３２は、生成された復号画像を画像出力装置１４に出力する機能を有する。
【００２９】
画質改善効果指標算出手段１３５は、復号画像の画質改善効果の指標を算出する機能を有する。
【００３０】
画質改善適用判定手段１３４は、復号画像について算出された画質改善効果の指標と閾値とを比較して、当該復号画像に対する画質改善処理の必要性を判定する機能を有する。
【００３１】
画質改善手段１３３は、画質改善処理の必要な復号画像に対して、画質改善処理を行う機能を有する。
【００３２】
画像出力装置１４は、復号画像を出力する装置である。本発明をシンクライアント・システムのクライアント装置における画像復号化装置に適用する場合、画像出力装置１４は、クライアント装置のディスプレイに相当する。
【００３３】
次に、本実施の形態の動作を説明する。
【００３４】
データ入力装置１１から画像の符号データがデータ処理装置１３に入力されると（図２のＳ１０１）、画像生成手段１３１は、画像データの復号処理を行い、画質改善効果指標算出手段１３５は、画像生成手段１３１による復号処理と並行して、画質改善効果の指標の算出処理を行う（Ｓ１０２）。復号処理によって生成された復号画像は、画像メモリ１２１に記憶され、この復号画像について算出された画質改善効果の指標は、画質改善効果指標メモリ１２３に記憶される。
【００３５】
次に、画質改善適用判定手段１３４は、画像生成手段１３１から判定処理の開始が指示されると、画質改善効果指標メモリ１２３に記憶された画質改善効果の指標と、効果閾値メモリ１２２に記憶された効果閾値とを比較し、その比較結果に従って画質改善処理の必要性を判定する（Ｓ１０３）。すなわち、画質改善効果の指標が、効果閾値を上回っている場合に、画質改善処理が必要と判定し、そうでなければ不要と判定する。画質改善適用判定手段１３４は、画質改善処理が必要であると判定したときは、画質改善手段１３３に対して画質改善処理の開始を指示し、不要と判定したときは、画像出力手段１３２に対して出力処理を指示する。
【００３６】
画質改善処理の開始を指示された画質改善手段１３３は、画像メモリ１２１に記憶された復号画像に対して、画質改善処理を行う（Ｓ１０４）。画質改善処理の中身は任意である。例えば、画質改善手段１３３は、デブロックフィルタによるブロック歪みの除去処理を行う。画質改善手段１３３は、画質改善処理を終えると、画像出力手段１３２に対して出力処理を指示する。
【００３７】
画像出力手段１３２は、画質改善適用判定手段１３４または画質改善手段１３３から出力指示を受けると、画像メモリ１２１に記憶された復号画像を読み出して画像出力装置１４に出力する（Ｓ１０５）。
【００３８】
次に、画質改善効果指標算出手段１３５の例について説明する。
【００３９】
図３を参照すると、画質改善効果指標算出手段１３５の一例である画質改善効果指標算出手段１３５Ａは、指標初期化部１３５１Ａと、指標更新部１３５２Ａとで構成される。
【００４０】
この例の画質改善効果指標算出手段１３５Ａを用いる場合、画像生成手段１３１は、画像の画素値を一定数復号するごとに、復号した画素値を復号順に画質改善効果指標算出手段１３５Ａに通知するように動作する。
【００４１】
指標初期化部１３５１Ａは、画像生成手段１３１から復号画像の最初の画素値の通知を受けた時点で、画質改善効果指標メモリ１２３に記録されている指標を０に初期化する。
【００４２】
指標更新部１３５２Ａは、現画素記憶部１３５３Ａと、前画素記憶部１３５４Ａと、不一致検出部１３５５Ａと、カウントアップ部１３５６Ａとで構成される。指標更新部１３５２Ａは、画像生成手段１３１から復号された画素値を復号順に受け取り、今回受け取った画素値を現画素記憶部１３５３Ａに記憶し、前回受け取った画素値を前画素記憶部１３５４Ａに記憶し、双方の画素値を不一致検出部１３５５Ａにおいて比較する。双方の画素値が同じでない場合に限り、不一致検出部１３５５Ａは、カウントアップ部１３５６Ａに対して指標のカウントアップを指示する。カウントアップ部１３５６Ａは、画質改善効果指標メモリ１２３に記憶されている指標を１だけインクリメントする。
【００４３】
本例の画質改善効果指標算出手段１３５Ａは、画像生成手段１３１から復号された画素値を復号順に受け取り、今回受け取った画素値と前回受け取った画素値とを比較し、一致しなかった回数の累積値を求めている。この累積値は、復号画像中の単一色領域を除いた、非単一色領域の面積の近似値となる。従って、画質改善適用判定手段１３４が判定に用いる画質改善効果の指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標となる。
【００４４】
図４を参照すると、画質改善効果指標算出手段１３５の他の例である画質改善効果指標算出手段１３５Ｂは、指標初期化部１３５１Ｂと、指標更新部１３５２Ｂとで構成される。
【００４５】
この例の画質改善効果指標算出手段１３５Ｂを用いる場合、画像生成手段１３１は、復号の開始時点で復号画像の幅および高さの情報を画質改善効果指標算出手段１３５Ｂに通知し、さらに、画像の画素値を一定数復号するごとに、復号した画素値を復号順に画質改善効果指標算出手段１３５Ｂに通知するように動作する。
【００４６】
指標初期化部１３５１Ｂは、画像生成手段１３１から復号画像の幅および高さの情報を受けた時点で、幅および高さの情報から復号画像の総画素数、つまり復号画像の面積を計算する。次に、この計算した総画素数（復号画像の面積）を、画質改善効果指標メモリ１２３に記録されている指標の初期値として設定する。
【００４７】
指標更新部１３５２Ｂは、現画素記憶部１３５３Ｂと、前画素記憶部１３５４Ｂと、一致検出部１３５５Ｂと、カウントダウン部１３５６Ｂとで構成される。指標更新部１３５２Ｂは、画像生成手段１３１から復号された画素値を復号順に受け取り、今回受け取った画素値を現画素記憶部１３５３Ｂに記憶し、前回受け取った画素値を前画素記憶部１３５４Ｂに記憶し、双方の画素値を一致検出部１３５５Ｂにおいて比較する。双方の画素値が同じである場合に限り、一致検出部１３５５Ｂは、カウントダウン部１３５６Ｂに対して指標のカウントダウンを指示する。カウントダウン部１３５６Ｂは、画質改善効果指標メモリ１２３に記憶されている指標を１だけデクリメントする。
【００４８】
本例の画質改善効果指標算出手段１３５Ｂは、画像生成手段１３１から復号された画素値を復号順に受け取り、今回受け取った画素値と前回受け取った画素値とを比較し、一致した回数の累積値を、復号画像の面積（総画素数）から差し引いている。前記累積値は、復号画像中の単一色領域の面積の近似値になるため、それを復号画像の面積から差し引いた値は、復号画像中の単一色領域を除いた、非単一色領域の面積の近似値となる。従って、画質改善適用判定手段１３４が判定に用いる画質改善効果の指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標となる。
【００４９】
次に、本実施の形態の効果を説明する。
【００５０】
本実施の形態によれば、復号画像の生成時に画質改善効果の指標を算出し、算出した指標が閾値を超えていなければ、画質改善処理を行わないようにしているため、費やすコストの割には復号画像全体としての主観的品質の向上が期待できない復号画像に対する無駄な画質改善処理の実行回数を減らすことができる。これにより、非単一色領域が全くないか或いは有ってもごく僅かであり、単一色領域が大部分を占める画像（描画更新領域）に対して、無駄なノイズ除去処理を省略することができる。一般に、コンピュータ画面に表示される人工画像には、局所的には全く色変化がない領域も存在する。たとえば、テキスト表示ウィンドウの中の、白一色で塗りつぶされている領域などがこれにあたる。こうした領域が大部分を占めるウィンドウには、ＪＰＥＧ圧縮による歪みがほとんど生じていないため、ノイズ除去処理を適用しなくても視覚的な影響は少ない。特に低性能・低消費電力なプロセッサでノイズ除去を実現する場合には、こうした領域に対してノイズ除去処理を省略できる利点は大きい。
【００５１】
また、本実施の形態では、復号画素単位で比較するために、単一色面積または非単一色面積を精度良く算出することができ、その結果、画質改善効果の指標自体の精度も良くなる。
【００５２】
また、本実施の形態では、復号画素が得られるごとに単一色面積または非単一色面積をカウントするため、小容量で高速なキャッシュメモリ内で比較処理を完結させることができる。このため、ノイズ除去の効果を推定するために新たに実メモリからの画素値の読み出しを行う必要がなく、メモリアクセス負荷が小さい。
【００５３】
［第２の実施の形態］
図５を参照すると、本発明の第２の実施の形態に係る画像復号化装置は、第１の実施の形態に係る画像復号化装置と比較して、画像生成手段１３１および画質改善効果指標算出手段１３５の代わりに、画像生成手段１５１および画質改善効果指標算出手段１５２を備えている点で相違する。
【００５４】
本実施の形態に係る画像復号化装置は、ＤＣＴ等のマクロブロック（ＭＢ）単位の直交変換符号化方式によって圧縮された符号データを復号化の対象とする。このため、画像生成手段１５１は、直流成分復号手段１５１１と、交流成分復号手段１５１２と、逆直交変換手段１５１３とを備えている。また、画質改善効果指標算出手段１５２は、マクロブロック単位で、それらの直流成分を比較することにより、単一色領域か、非単一色領域かを判定する。
【００５５】
次に、本実施の形態の動作を説明する。
【００５６】
データ入力装置１１から画像の符号データがデータ処理装置１３に入力されると（図２のＳ１０１）、画像生成手段１５１は、画像データの復号処理を行い、画質改善効果指標算出手段１５２は、画像生成手段１５１による復号処理と並行して、画質改善効果の指標の算出処理を行う（Ｓ１０２）。復号処理によって生成された復号画像は、画像メモリ１２１に記憶され、この復号画像について算出された画質改善効果の指標は、画質改善効果指標メモリ１２３に記憶される。
【００５７】
ここで、画像生成手段１５１における画像データの復号処理は、概ね次のように行われる。直流成分復号手段１５１１は、画像の符号データを入力し、データの復号処理を行って、各マクロブロックごとに得られた直流（ＤＣ）成分値を画像メモリ１２１に格納する。また、交流成分復号手段１５１２は、画像の符号データを入力し、データの復号処理を行って、各マクロブロックごとに得られた交流（ＡＣ）成分値を画像メモリ１２１に格納する。逆直交変換手段１５１３は、各マクロブロックごとに逆直交変換処理を行い、復元された画像を画像メモリ１２１に格納する。
【００５８】
画質改善適用判定手段１３４、画質改善手段１３３および画像出力手段１３２による動作は、第１の実施の形態の動作と同じである（Ｓ１０３〜Ｓ１０５）。
【００５９】
次に、画質改善効果指標算出手段１５２の例について説明する。
【００６０】
図６を参照すると、画質改善効果指標算出手段１５２の一例である画質改善効果指標算出手段１５２Ａは、指標初期化部１５２１Ａと、指標更新部１５２２Ａとで構成される。
【００６１】
この例の画質改善効果指標算出手段１５２Ａを用いる場合、画像生成手段１５１の直流成分復号手段１５１１は、各マクロブロックの直流成分を一つ復号するごとに、復号した直流成分の値を復号順に画質改善効果指標算出手段１５２Ａに受け渡すように動作する。
【００６２】
ここで、画像生成手段１５１から画質改善効果指標算出手段１５２Ａに受け渡すマクロブロックの直流成分について説明する。
【００６３】
Ｒ、Ｇ、Ｂなど複数の色成分をそのまま圧縮した符号データを復号化対象とする場合、画像生成手段１５１から画質改善効果指標算出手段１５２Ａに受け渡すマクロブロックの直流成分は、組となる色成分のマクロブロックの直流成分を全て含むものであるのが好ましい。ただし、例えばＧのマクロブロックの直流成分のみのように、一部のマクロブロックの直流成分だけを含むものであってもよい。
【００６４】
また、Ｒ、Ｇ、Ｂなど複数の色成分からなる画像を効率よく圧縮するために、Ｙ、Ｃｂ、Ｃｒのような輝度と色差の色空間に変換して符号化された符号データの場合、（1）同一空間座標を持つＹ、Ｃｂ、Ｃｒのマクロブロックが連続して符号化される形式と、（2）Ｙ成分の全マクロブロック→Ｃｂ成分の全マクロブロック→Ｃｒ成分の全マクロブロックの順序で符号化される形式とがある。
【００６５】
復号化対象の符号データが（1）の形式であれば、画像生成手段１５１から画質改善効果指標算出手段１５２Ａに受け渡すマクロブロックの直流成分は、単一色領域、非単一色領域の判定精度を高めるために、同一空間座標を持つＹ、Ｃｂ、Ｃｒのマクロブロックの直流成分を全て含むものであるのが好ましい。
【００６６】
他方、復号化対象の符号データが（2）の形式であれば、画像生成手段１５１から画質改善効果指標算出手段１５２Ａに対して、同一空間座標を持つＹ、Ｃｂ、Ｃｒのマクロブロックの直流成分を全て受け渡すためには、離れた時刻に生成されたＹ、Ｃｂ、Ｃｒのマクロブロックの直流成分をメモリに一旦保存し、全て揃った時点で、組となるマクロブロックを作成する必要がある。このためにはメモリへの多くのアクセスが必要になり、負荷が高くなってしまう。そこで、符号データが（2）の形式であれば、画像生成手段１５１から画質改善効果指標算出手段１５２Ａに受け渡すマクロブロックの直流成分は、輝度成分であるＹのマクロブロックの直流成分のみとするのが好ましい。その理由は、色差は隣り合う直流成分で偶然同一の値を取る確率が高いため、色差のみによる判定は、単一色領域等の推定精度にあまり寄与しないためである。したがって、メモリアクセス負荷の増大を避けるために何れかの成分のみを用いる場合は輝度のみで判定することが好ましい。
【００６７】
さて、指標初期化部１５２１Ａは、画像生成手段１５１から最初の直流成分を受け取った時点で、画質改善効果指標メモリ１２３に記録されている指標を０に初期化する。
【００６８】
指標更新部１５２２Ａは、現マクロブロック直流成分記憶部１５２３Ａと、前マクロブロック直流成分記憶部１５２４Ａと、不一致検出部１５２５Ａと、乗算部１５２６Ａと、カウントアップ部１５２７Ａとで構成される。指標更新部１５２２Ａは、画像生成手段１５１から復号された各マクロブロックの直流成分を復号順に受け取り、今回受け取った直流成分を現マクロブロック直流成分記憶部１５２３Ａに記憶し、前回受け取った直流成分を前マクロブロック直流成分記憶部１５２４Ａに記憶し、双方の直流成分を不一致検出部１５２５Ａにおいて比較する。双方の直流成分が同じでない場合に限り、乗算部１５２６Ａは、１マクロブロック当たりの画素数（８×８のマクロブロックの場合、６４）のカウントアップをカウントアップ部１５２７Ａに対して指示する。カウントアップ部１５２７Ａは、画質改善効果指標メモリ１２３に記憶されている指標を、指示された値だけ増加させる。
【００６９】
本例の画質改善効果指標算出手段１５２Ａは、画像生成手段１５１から復号されたマクロブロックの直流成分を復号順に受け取り、今回受け取ったマクロブロックの直流成分と前回受け取ったマクロブロックの直流成分とを比較し、一致した回数に１マクロブロック当たりの画素数を乗じた値を計算している。この計算結果は、復号画像中の単一色領域を除いた、非単一色領域の面積の近似値となる。従って、画質改善適用判定手段１３４が判定に用いる画質改善効果の指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標となる。
【００７０】
図７を参照すると、画質改善効果指標算出手段１５２の他の例である画質改善効果指標算出手段１５２Ｂは、指標初期化部１５２１Ｂと、指標更新部１５２２Ｂとで構成される。
【００７１】
この例の画質改善効果指標算出手段１５２Ｂを用いる場合、画像生成手段１５１は、復号の開始時点で復号画像の幅および高さの情報を画質改善効果指標算出手段１５２Ｂに通知するように動作する。また、画質改善効果指標算出手段１５２Ａを用いる場合と同じく、直流成分復号手段１５１１は、各マクロブロックの直流成分を一つ復号するごとに、復号した直流成分の値を復号順に画質改善効果指標算出手段１５２Ｂに受け渡すように動作する。
【００７２】
指標初期化部１５２１Ｂは、画像生成手段１５１から復号画像の幅および高さの情報を受けた時点で、幅および高さの情報から復号画像の総画素数を計算する。次に、この計算した総画素数を復号画像の面積とし、その面積で画質改善効果指標メモリ１２３に記録されている指標を初期化する。つまり、復号画像の面積を指標の初期値として設定する。
【００７３】
指標更新部１５２２Ｂは、現マクロブロック直流成分記憶部１５２３Ｂと、前マクロブロック直流成分記憶部１５２４Ｂと、一致検出部１５２５Ｂと、乗算部１５２６Ｂと、カウントダウン部１５２７Ｂとで構成される。指標更新部１５２２Ｂは、画像生成手段１５１から復号された各マクロブロックの直流成分を復号順に受け取り、今回受け取った直流成分を現マクロブロック直流成分記憶部１５２３Ｂに記憶し、前回受け取った直流成分を前マクロブロック直流成分記憶部１５２４Ｂに記憶し、双方の直流成分を一致検出部１５２５Ｂにおいて比較する。双方の直流成分が一致した場合に限り、乗算部１５２６Ｂは、１マクロブロック当たりの画素数（８×８のマクロブロックの場合、６４）のカウントダウンをカウントダウン部１５２７Ｂに対して指示する。カウントダウン部１５２７Ｂは、画質改善効果指標メモリ１２３に記憶されている指標を、指示された値だけ減少させる。
【００７４】
本例の画質改善効果指標算出手段１５２Ｂは、画像生成手段１５１から復号されたマクロブロックの直流成分を復号順に受け取り、今回受け取ったマクロブロックの直流成分と前回受け取ったマクロブロックの直流成分とを比較し、一致した回数に１マクロブロック当たりの画素数を乗じた値を、復号画像の面積（総画素数）から差し引いている。一致した回数に１マクロブロック当たりの画素数を乗じた値は、復号画像中の単一色領域の面積の近似値になるため、それを復号画像の面積から差し引いた値は、復号画像中の単一色領域を除いた、非単一色領域の面積の近似値となる。従って、画質改善適用判定手段１３４が判定に用いる画質改善効果の指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標となる。
【００７５】
次に、本実施の形態の効果を説明する。
【００７６】
本実施の形態によれば、復号画像の生成時に画質改善効果の指標を算出し、算出した指標が閾値を超えていなければ、画質改善処理を行わないようにしているため、費やすコストの割には復号画像全体としての主観的品質の向上が期待できない復号画像に対する無駄な画質改善処理の実行回数を減らすことができる。
【００７７】
また、図７の画質改善効果指標算出手段１５２Ｂを用いる例では、連続するマクロブロックが同一の直流成分値を持つかどうかを判定し、同一である場合には、そのマクロブロック全体が単一色であるみなす。さらに、画像全体の面積から、単一色とみなされるマクロブロックの面積を除くことによって、非単一色領域の面積を推定する。この結果、第１の実施の形態の図４の画質改善効果指標算出手段１３５Ｂのように、復号の過程で得られる全画素値を比較する必要が無くなり、より低負荷に非単一色領域の面積を推定することができる。図４の画質改善効果指標算出手段１３５Ｂでは、逆変換後に全画素値が同一であるかどうかを確認しているため、得られる単一色領域の面積の精度は高いが、全画素に対する比較演算が必要となる。これに対して、図７の画質改善効果指標算出手段１５２Ｂでは直流成分だけで判定しているため、判定すべき要素数が大幅に少なく、負荷が小さい。ここで、一般に直流成分はほとんど量子化されないため、全画素が同一値（マクロブロック内が単一色）でないにもかかわらず、偶然隣り合ったマクロブロックと同一の直流成分値になるといった誤判定の確率は低い。このため、直流成分による判定だけでも十分な精度が確保できる。
【００７８】
また、図６の画質改善効果指標算出手段１５２Ａを用いる場合も、図７の画質改善効果指標算出手段１５２Ｂを用いる場合と同様の効果が得られる。
【００７９】
なお、本実施の形態で対象としている符号データは、マクロブロック単位で直交変換および直流成分を含む符号化が行われるものであればよい。たとえば、マクロブロックごとに離散コサイン変換（ＤＣＴ）および符号化が行われるＪＰＥＧがこれに該当する。しかし、この他、変換基底をアダマール変換とした別の符号化方式で符号化された符号データも、本実施の形態の復号化対象に含めることができる。
【００８０】
［第３の実施の形態］
図８を参照すると、本発明の第３の実施の形態に係る画像復号化装置は、第２の実施の形態に係る画像復号化装置と比較して、画像生成手段１５１および画質改善効果指標算出手段１５２の代わりに、画像生成手段１６１および画質改善効果指標算出手段１６２を備えている点で相違する。
【００８１】
本実施の形態に係る画像復号化装置は、ＤＣＴ等のマクロブロック（ＭＢ）単位の直交変換符号化方式によって圧縮された符号データであって、隣り合うマクロブロックの直流成分の差分が符号化されており、その差分がゼロの場合、その連続数（ゼロ連長）が符号化されている符号データを復号化の対象とする。このため、画像生成手段１６１は、直流成分復号手段１６１１と、直流成分連長手段１６１２と、交流成分復号手段１６１３と、逆直交変換手段１６１４とを備えている。また、画質改善効果指標算出手段１６２は、直流成分の差分がゼロのマクロブロックの連続数（ゼロ連長）を用いて、単一色領域の面積を算出するようにしている。
【００８２】
次に、本実施の形態の動作を説明する。
【００８３】
データ入力装置１１から画像の符号データがデータ処理装置１３に入力されると（図２のＳ１０１）、画像生成手段１６１は、画像生成手段１５１と同様の方法で画像データの復号処理を行い、画質改善効果指標算出手段１６２は、画像生成手段１６１による復号処理と並行して、画質改善効果の指標の算出処理を行う（Ｓ１０２）。復号処理によって生成された復号画像は、画像メモリ１２１に記憶され、この復号画像について算出された画質改善効果の指標は、画質改善効果指標メモリ１２３に記憶される。
【００８４】
画質改善適用判定手段１３４、画質改善手段１３３および画像出力手段１３２による動作は、第２の実施の形態の動作と同じである（Ｓ１０３〜Ｓ１０５）。
【００８５】
次に、画質改善効果指標算出手段１６２の例について説明する。
【００８６】
図９を参照すると、画質改善効果指標算出手段１６２の一例である画質改善効果指標算出手段１６２Ｂは、指標初期化部１６２１Ｂと、指標更新部１６２２Ｂとで構成される。
【００８７】
この例の画質改善効果指標算出手段１６２Ｂを用いる場合、画像生成手段１６１は、復号の開始時点で復号画像の幅および高さの情報を画質改善効果指標算出手段１６２Ｂに通知するように動作する。また、直流成分連長手段１６１２は、符号データがゼロ連長数を表す場合、そのゼロ連長数を画質改善効果指標算出手段１６２Ｂに通知する。
【００８８】
指標初期化部１６２１Ｂは、画像生成手段１６１から復号画像の幅および高さの情報を受けた時点で、幅および高さの情報から復号画像の総画素数を計算する。次に、この計算した総画素数を復号画像の面積とし、その面積で画質改善効果指標メモリ１２３に記録されている指標を初期化する。つまり、復号画像の面積を指標の初期値として設定する。
【００８９】
指標更新部１６２２Ｂは、乗算部１６２３Ｂと、カウントダウン部１６２４Ｂとで構成される。乗算部１６２３Ｂは、画像生成手段１６１の直流成分連長手段１６１２からゼロ連長数を受け取ると、そのゼロ連長数に１マクロブロック当たりの画素数（８×８のマクロブロックの場合、６４）を乗じた値を計算し、その計算結果分だけのカウントダウンをカウントダウン部１５２７Ｂに対して指示する。カウントダウン部１６２４Ｂは、画質改善効果指標メモリ１２３に記憶されている指標を、指示された値だけ減少させる。
【００９０】
本例の画質改善効果指標算出手段１６２Ｂは、画像生成手段１６１からゼロ連長数を受け取り、受け取ったゼロ連続数に１マクロブロック当たりの画素数を乗じた値を計算し、この計算結果の累積値を、復号画像の面積（総画素数）から差し引いている。前記累積値は、復号画像中の単一色領域の面積の近似値になるため、それを復号画像の面積から差し引いた値は、復号画像中の単一色領域を除いた、非単一色領域の面積の近似値となる。従って、画質改善適用判定手段１３４が判定に用いる画質改善効果の指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標となる。
【００９１】
次に、本実施の形態の効果を説明する。
【００９２】
本実施の形態によれば、復号画像の生成時に画質改善効果の指標を算出し、算出した指標が閾値を超えていなければ、画質改善処理を行わないようにしているため、費やすコストの割には復号画像全体としての主観的品質の向上が期待できない復号画像に対する無駄な画質改善処理の実行回数を減らすことができる。
【００９３】
また本実施の形態では、直流成分が同じマクロブロックがいくつ連続するかを示すゼロ連長数を用いて、単一色面積を計算する。このため、復号結果の各マクロブロックの直流成分の値を比較する第２の実施の形態に比べて、さらに小さい負荷で単一色面積を推定することができる。その結果、画質改善効果の指標も小さい負荷で算出することができる。
【００９４】
［第４の実施の形態］
図１０を参照すると、本発明の第４の実施の形態に係る画像復号化装置は、第１の実施の形態に係る画像復号化装置と比較して、画像生成手段１３１および画質改善効果指標算出手段１３５の代わりに、画像生成手段１７１および画質改善効果指標算出手段１７２を備えている点で相違する。
【００９５】
本実施の形態に係る画像復号化装置は、ウェーブレット変換によってサブバンド符号化された符号データを復号化の対象とする。サブバンド符号化では、画像がウェーブレット分解処理によって複数の周波数領域（サブバンド）に分解され、それが複数回繰り返される（オクターブ分解）。その後、低周波（直流）成分から高周波成分の順に、サブバンド係数が符号化される。このため、画像生成手段１７１は、直流成分復号手段１７１１と、交流成分復号手段１７１２と、逆直交変換手段１７１３とを備えている。また、画質改善効果指標算出手段１７２は、サブバンド係数の直流成分を比較することにより、単一色領域か、非単一色領域かを判定する。
【００９６】
次に、本実施の形態の動作を説明する。
【００９７】
データ入力装置１１から画像の符号データがデータ処理装置１３に入力されると（図２のＳ１０１）、画像生成手段１７１は、画像データの復号処理を行い、画質改善効果指標算出手段１７２は、画像生成手段１７１による復号処理と並行して、画質改善効果の指標の算出処理を行う（Ｓ１０２）。復号処理によって生成された復号画像は、画像メモリ１２１に記憶され、この復号画像について算出された画質改善効果の指標は、画質改善効果指標メモリ１２３に記憶される。
【００９８】
ここで、画像生成手段１７１における画像データの復号処理は、概ね次のように行われる。直流成分復号手段１７１１は、画像の符号データを入力し、データの復号処理を行って、得られた係数値を画像メモリ１２１内の直流サブバンドの領域に格納する。また、交流成分復号手段１７１２は、画像の符号データを入力し、データの復号処理を行って、得られた係数値を画像メモリ１２１内の各交流サブバンド（ＬＨ、ＨＬ、ＨＨ）の領域に格納する。逆直交変換手段１７１３は、逆ウェーブレット変換処理を行い、復元された画像を画像メモリ１２１に格納する。
【００９９】
画質改善適用判定手段１３４、画質改善手段１３３および画像出力手段１３２による動作は、第１の実施の形態の動作と同じである（Ｓ１０３〜Ｓ１０５）。
【０１００】
次に、画質改善効果指標算出手段１７２の例について説明する。
【０１０１】
図１１を参照すると、画質改善効果指標算出手段１７２の一例である画質改善効果指標算出手段１７２Ａは、指標初期化部１７２１Ａと、指標更新部１７２２Ａとで構成される。
【０１０２】
この例の画質改善効果指標算出手段１７２Ａを用いる場合、画像生成手段１７１の直流成分復号手段１７１１は、直流サブバンドの係数値（ＤＣ係数値）を一つ復号するごとに、復号したＤＣ係数値を復号順に画質改善効果指標算出手段１７２Ａに受け渡すように動作する。
【０１０３】
ここで、画像生成手段１７１から画質改善効果指標算出手段１７２Ａに受け渡すＤＣ係数値について説明する。
【０１０４】
Ｒ、Ｇ、Ｂなど複数の色成分をそのままウェーブレット符号化した符号データを復号化対象とする場合、画像生成手段１７１から画質改善効果指標算出手段１７２Ａに受け渡すＤＣ係数値は、組となる色成分のＤＣ係数値を全て含むものであるのが好ましい。ただし、例えばＧのＤＣ係数値のみのように、一部の色成分のＤＣ係数値だけを含むものであってもよい。
【０１０５】
また、Ｒ、Ｇ、Ｂなど複数の色成分からなる画像を効率よく圧縮するために、Ｙ、Ｃｂ、Ｃｒのような輝度と色差の色空間に変換してウェーブレット符号化した符号データの場合、（1）同一階層・同一空間座標を持つＹ、Ｃｂ、Ｃｒのサブバンド係数値が連続して符号化される形式と、（2）Ｙ成分の全サブバンド→Ｃｂ成分の全サブバンド→Ｃｒ成分の全サブバンドの順序で符号化される形式とがある。
【０１０６】
復号化対象の符号データが（1）の形式であれば、画像生成手段１７１から画質改善効果指標算出手段１７２Ａに受け渡すＤＣ係数値は、単一色領域、非単一色領域の判定精度を高めるために、同一空間座標を持つＹ、Ｃｂ、ＣｒのＤＣ係数値を全て含むものであるのが好ましい。
【０１０７】
他方、復号化対象の符号データが（2）の形式であれば、画像生成手段１７１から画質改善効果指標算出手段１７２Ａに対して、同一空間座標を持つＹ、Ｃｂ、ＣｒのＤＣ係数値を全て受け渡すためには、離れた時刻に生成されたＹ、Ｃｂ、ＣｒのＤＣ係数値をメモリに一旦保存し、全て揃った時点で、組となるＤＣ係数値を作成する必要がある。このためにはメモリへの多くのアクセスが必要になり、負荷が高くなってしまう。そこで、符号データが（2）の形式であれば、画像生成手段１７１から画質改善効果指標算出手段１７２Ａに受け渡すＤＣ係数値は、輝度成分であるＹのＤＣ係数値のみとするのが好ましい。その理由は、色差は隣り合う直流成分で偶然同一の値を取る確率が高いため、色差のみによる判定は、単一色領域等の推定精度にあまり寄与しないためである。したがって、メモリアクセス負荷の増大を避けるために何れかの成分のみを用いる場合は輝度のみで判定することが好ましい。
【０１０８】
さて、指標初期化部１７２１Ａは、画像生成手段１７１から最初のＤＣ係数値を受け取った時点で、画質改善効果指標メモリ１２３に記録されている指標を０に初期化する。
【０１０９】
指標更新部１７２２Ａは、現ＤＣ係数値記憶部１７２３Ａと、前ＤＣ係数値記憶部１７２４Ａと、不一致検出部１７２５Ａと、乗算部１７２６Ａと、カウントアップ部１７２７Ａとで構成される。指標更新部１７２２Ａは、画像生成手段１７１から復号された各直流サブバンドのＤＣ係数値を復号順に受け取り、今回受け取ったＤＣ係数値を現ＤＣ係数値記憶部１７２３Ａに記憶し、前回受け取ったＤＣ係数値を前ＤＣ係数値記憶部１７２４Ａに記憶し、双方のＤＣ係数値を不一致検出部１７２５Ａにおいて比較する。双方のＤＣ係数値が同じでない場合に限り、乗算部１７２６Ａは、解像度分解数（オクターブ分割回数）をｒとするとき、２2r（２の（ｒ×２）乗）だけのカウントアップをカウントアップ部１７２７Ａに対して指示する。例えば、解像度分解数が３の場合、６４だけのカウントアップを指示する。カウントアップ部１７２７Ａは、画質改善効果指標メモリ１２３に記憶されている指標を、指示された値だけ増加させる。
【０１１０】
本例の画質改善効果指標算出手段１７２Ａは、画像生成手段１７１から復号された直流サブバンドのＤＣ係数値を復号順に受け取り、今回受け取ったＤＣ係数値と前回受け取ったＤＣ係数値とを比較し、不一致となった回数に、解像度分解数により定まる一定数を乗じた値を計算している。この計算結果は、復号画像中の単一色領域を除いた、非単一色領域の面積の近似値となる。従って、画質改善適用判定手段１３４が判定に用いる画質改善効果の指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標となる。
【０１１１】
図１２を参照すると、画質改善効果指標算出手段１７２の他の例である画質改善効果指標算出手段１７２Ｂは、指標初期化部１７２１Ｂと、指標更新部１７２２Ｂとで構成される。
【０１１２】
この例の画質改善効果指標算出手段１７２Ｂを用いる場合、画像生成手段１７１は、復号の開始時点で復号画像の幅および高さの情報を画質改善効果指標算出手段１７２Ｂに通知するように動作する。また、画質改善効果指標算出手段１７２Ａを用いる場合と同じく、直流成分復号手段１７１１は、直流サブバンドのＤＣ係数値を一つ復号するごとに、復号したＤＣ係数値を復号順に画質改善効果指標算出手段１７２Ｂに受け渡すように動作する。
【０１１３】
指標初期化部１７２１Ｂは、画像生成手段１７１から復号画像の幅および高さの情報を受けた時点で、幅および高さの情報から復号画像の総画素数を計算する。次に、この計算した総画素数を復号画像の面積とし、その面積で画質改善効果指標メモリ１２３に記録されている指標を初期化する。つまり、復号画像の面積を指標の初期値として設定する。
【０１１４】
指標更新部１７２２Ｂは、現ＤＣ係数値記憶部１７２３Ｂと、前ＤＣ係数値記憶部１７２４Ｂと、一致検出部１７２５Ｂと、乗算部１７２６Ｂと、カウントダウン部１７２７Ｂとで構成される。指標更新部１７２２Ｂは、画像生成手段１７１から復号された各ＤＣ係数値を復号順に受け取り、今回受け取ったＤＣ係数値を現ＤＣ係数値記憶部１７２３Ｂに記憶し、前回受け取ったＤＣ係数値を前ＤＣ係数値記憶部１７２４Ｂに記憶し、双方のＤＣ係数値を一致検出部１７２５Ｂにおいて比較する。双方のＤＣ係数値が一致した場合に限り、乗算部１７２６Ｂは、解像度分解数（オクターブ分割回数）をｒとするとき、２2r（２の（ｒ×２）乗）だけのカウントダウンをカウントダウン部１７２７Ｂに対して指示する。カウントダウン部１７２７Ｂは、画質改善効果指標メモリ１２３に記憶されている指標を、指示された値だけ減少させる。
【０１１５】
本例の画質改善効果指標算出手段１７２Ｂは、画像生成手段１７１から復号されたＤＣ係数値を復号順に受け取り、今回受け取ったＤＣ係数値と前回受け取ったＤＣ係数値とを比較し、一致した回数に、解像度分解数により定まる一定数を乗じた値を計算し、この計算した値を、復号画像の面積（総画素数）から差し引いている。一致した回数に解像度分解数により定まる一定数を乗じた値は、復号画像中の単一色領域の面積の近似値になるため、それを復号画像の面積から差し引いた値は、復号画像中の単一色領域を除いた、非単一色領域の面積の近似値となる。従って、画質改善適用判定手段１３４が判定に用いる画質改善効果の指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標となる。
【０１１６】
次に、本実施の形態の効果を説明する。
【０１１７】
本実施の形態によれば、復号画像の生成時に画質改善効果の指標を算出し、算出した指標が閾値を超えていなければ、画質改善処理を行わないようにしているため、費やすコストの割には復号画像全体としての主観的品質の向上が期待できない復号画像に対する無駄な画質改善処理の実行回数を減らすことができる。
【０１１８】
また、図１２の画質改善効果指標算出手段１７２Ｂを用いる例では、連続するＤＣ係数値が同一であるかどうかを判定し、同一である場合には、解像度分解数により定まる一定の面積（画素数）が単一色であるとみなす。さらに、画像全体の面積から、単一色とみなされる面積を除くことによって、非単一色領域の面積を推定する。この結果、第１の実施の形態の図４の画質改善効果指標算出手段１３５Ｂのように、復号の過程で得られる全画素値を比較する必要が無くなり、より低負荷に非単一色領域の面積を推定することができる。図４の画質改善効果指標算出手段１３５Ｂでは、逆変換後に全画素値が同一であるかどうかを確認しているため、得られる単一色領域の面積の精度は高いが、全画素に対する比較演算が必要となる。これに対して、図１２の画質改善効果指標算出手段１７２ＢではＤＣ係数値だけで判定しているため、判定すべき要素数が大幅に少なく、負荷が小さい。ここで、一般にＤＣ係数値はほとんど量子化されないため、全画素が同一値（マクロブロック内が単一色）でないにもかかわらず、偶然隣り合ったＤＣ係数値が同一になるといった誤判定の確率は低い。このため、ＤＣ係数値による判定だけでも十分な精度が確保できる。
【０１１９】
また、図１１の画質改善効果指標算出手段１７２Ａを用いる場合も、図１２の画質改善効果指標算出手段１７２Ｂを用いる場合と同様の効果が得られる。
【０１２０】
［第５の実施の形態］
図１３を参照すると、本発明の第５の実施の形態に係る画像復号化装置は、第４の実施の形態に係る画像復号化装置と比較して、画像生成手段１７１および画質改善効果指標算出手段１７２の代わりに、画像生成手段１８１および画質改善効果指標算出手段１８２を備えている点で相違する。
【０１２１】
本実施の形態に係る画像復号化装置は、ウェーブレット変換によってサブバンド符号化された符号データであって、隣り合うＤＣ係数値の差分が符号化されており、その差分がゼロの場合、その連続数（ゼロ連長）が符号化されている符号データを復号化の対象とする。このため、画像生成手段１８１は、直流成分復号手段１８１１と、直流成分連長手段１８１２と、交流成分復号手段１８１３と、逆直交変換手段１８１４とを備えている。また、画質改善効果指標算出手段１８２は、直流成分の差分がＤＣ係数値の連続数（ゼロ連長）を用いて、単一色領域の面積を算出するようにしている。
【０１２２】
次に、本実施の形態の動作を説明する。
【０１２３】
データ入力装置１１から画像の符号データがデータ処理装置１３に入力されると（図２のＳ１０１）、画像生成手段１８１は、画像生成手段１７１と同様の方法で画像データの復号処理を行い、画質改善効果指標算出手段１８２は、画像生成手段１８１による復号処理と並行して、画質改善効果の指標の算出処理を行う（Ｓ１０２）。復号処理によって生成された復号画像は、画像メモリ１２１に記憶され、この復号画像について算出された画質改善効果の指標は、画質改善効果指標メモリ１２３に記憶される。
【０１２４】
画質改善適用判定手段１３４、画質改善手段１３３および画像出力手段１３２による動作は、第４の実施の形態の動作と同じである（Ｓ１０３〜Ｓ１０５）。
【０１２５】
次に、画質改善効果指標算出手段１８２の例について説明する。
【０１２６】
図１４を参照すると、画質改善効果指標算出手段１８２の一例である画質改善効果指標算出手段１８２Ｂは、指標初期化部１８２１Ｂと、指標更新部１８２２Ｂとで構成される。
【０１２７】
この例の画質改善効果指標算出手段１８２Ｂを用いる場合、画像生成手段１８１は、復号の開始時点で復号画像の幅および高さの情報を画質改善効果指標算出手段１８２Ｂに通知するように動作する。また、直流成分連長手段１８１２は、符号データがＤＣ係数値のゼロ連長数を表す場合、そのゼロ連長数を画質改善効果指標算出手段１８２Ｂに通知する。
【０１２８】
指標初期化部１８２１Ｂは、画像生成手段１８１から復号画像の幅および高さの情報を受けた時点で、幅および高さの情報から復号画像の総画素数を計算する。次に、この計算した総画素数を復号画像の面積とし、その面積で画質改善効果指標メモリ１２３に記録されている指標を初期化する。つまり、復号画像の面積を指標の初期値として設定する。
【０１２９】
指標更新部１８２２Ｂは、乗算部１８２３Ｂと、カウントダウン部１８２４Ｂとで構成される。乗算部１８２３Ｂは、画像生成手段１８１の直流成分連長手段１８１２からゼロ連長数を受け取ると、そのゼロ連長数にウェーブレット分解のオクターブ分割回数ｒにより定まる定数２2rを乗算した値を計算し、この計算結果分だけのカウントダウンをカウントダウン部１８２４Ｂに対して指示する。カウントダウン部１８２４Ｂは、画質改善効果指標メモリ１２３に記憶されている指標を、指示された値だけ減少させる。
【０１３０】
本例の画質改善効果指標算出手段１８２Ｂは、画像生成手段１８１からＤＣ係数値のゼロ連長数を受け取り、受け取ったゼロ連長数にオクターブ分割回数ｒに応じて定数を乗じた値を計算し、この計算結果の累積値を、復号画像の面積（総画素数）から差し引いている。前記累積値は、復号画像中の単一色領域の面積の近似値になるため、それを復号画像の面積から差し引いた値は、復号画像中の単一色領域を除いた、非単一色領域の面積の近似値となる。従って、画質改善適用判定手段１３４が判定に用いる画質改善効果の指標は、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標となる。
【０１３１】
次に、本実施の形態の効果を説明する。
【０１３２】
本実施の形態によれば、復号画像の生成時に画質改善効果の指標を算出し、算出した指標が閾値を超えていなければ、画質改善処理を行わないようにしているため、費やすコストの割には復号画像全体としての主観的品質の向上が期待できない復号画像に対する無駄な画質改善処理の実行回数を減らすことができる。
【０１３３】
また本実施の形態では、同じ値のＤＣ係数値がいくつ連続するかを示すゼロ連長数を用いて、単一色面積を計算する。このため、復号結果の各ＤＣ係数値を比較する第４の実施の形態に比べて、さらに小さい負荷で単一色面積を推定することができる。
【０１３４】
以上本発明の実施の形態について説明したが、本発明は以上の例に限定されず、その他各種の付加変更が可能である。
【０１３５】
例えば、以上の各実施の形態では、各画像単位で、画質改善効果指標の算出と画質改善適用の可否判定とを行うものとして説明したが、サーバ装置からコンピュータ画面を受信して表示するシンクライアント・システムのクライアント端末に本発明を適用する場合、画像中の描画更新された各領域単位で、画質改善効果指標の算出と画質改善適用の可否判定とが行われる。
【０１３６】
また、前述した各実施の形態では、復号画像の画質改善効果の指標として、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標を用いたが、復号画像の画質改善効果の指標となり得るものであれば、他の指標を用いることができる。例えば、非単一色領域の面積の復号画像に占める割合に依存する指標、単一色領域の面積の復号画像に占める割合に依存する指標などを用いることができる。
【０１３７】
ただし、非単一色領域の面積の復号画像に占める割合に依存する指標では、サイズの小さな復号画像でも、サイズの大きな復号画像でも、非単一色領域の面積の復号画像に占める割合が同じであれば同じ指標になる。しかし、サイズの小さな復号画像中の非単一色領域の面積は小さいために歪みは目立たないのに対して、サイズの大きな復号画像中の非単一色領域の面積は大きいので歪みは目立つため、指標としての性能は劣る。単一色領域の面積の復号画像に占める割合に依存する指標も同様の問題がある。従って、復号画像中の単一色領域を除いた、非単一色領域の面積に依存する指標が、指標的には最も優れている。
【０１３８】
また、本発明の画像復号化装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における画像復号化装置として機能させる。
【産業上の利用可能性】
【０１３９】
本発明の画像復号化装置によれば、特にコンピュータ画面に表示されるテキスト表示ウィンドウなどの人工画像に対する画質改善処理を、低性能なプロセッサで効率的に処理することができる。
【符号の説明】
【０１４０】
１１…データ入力装置
１２…データ記憶装置
１２１…画像メモリ
１２２…効果閾値メモリ
１２３…画質改善効果指標メモリ
１３…データ処理装置
１３１、１５１、１６１、１７１、１８１…画像生成手段
１３２…画像出力手段
１３３…画質改善手段
１３４…画質改善適用判定手段
１３５、１５２、１６２、１７２、１８２…画質改善効果指標算出手段
１４…画像出力装置
【図１】
2010213161.tif 000003
【図２】
2010213161.tif 000004
【図３】
2010213161.tif 000005
【図４】
2010213161.tif 000006
【図５】
2010213161.tif 000007
【図６】
2010213161.tif 000008
【図７】
2010213161.tif 000009
【図８】
2010213161.tif 000010
【図９】
2010213161.tif 000011
【図１０】
2010213161.tif 000012
【図１１】
2010213161.tif 000013
【図１２】
2010213161.tif 000014
【図１３】
2010213161.tif 000015
【図１４】
2010213161.tif 000016