(57)【要約】【課題】  種々の条件であっても画質劣化を効率的に抑えることができる解像度変換復号装置を得る。【解決手段】  ダウンサンプル部７の画質劣化判定手段７１は、復号画像に対して低解像度変換処理を行った場合の画質劣化を復号ブロック単位に判定する。低解像度変換手段７２は、復号画像に対して低解像度変換処理を行うと共に、画質劣化判定手段７１の判定結果が画質劣化であった場合は、その復号ブロックは低解像度変換処理から除外する。【選択図】        図１
2007027882.tif 000002
【特許請求の範囲】
【請求項１】
過去に復号した画像を使用して、符号化画像データの復号を行う復号手段と、
前記復号手段で復号された復号画像に対して低解像度変換処理を行った場合の画質劣化を復号ブロック単位に判定する画質劣化判定手段と、
前記復号画像に対して低解像度変換処理を行うと共に、前記画質劣化判定手段の判定結果が画質劣化であった場合は、当該復号ブロックは低解像度変換処理から除外する低解像度変換手段とを備えた解像度変換復号装置。
【請求項２】
復号画像のサイズが所定値よりも小さいかを判定する画像サイズ検出手段を備え、低解像度変換手段は、前記画像サイズ検出手段が所定値よりも小さいと判定した場合、当該復号画像は低解像度変換処理から除外することを特徴とする請求項１記載の解像度変換復号装置。
【請求項３】
復号する画像データの復号ブロックが色差成分であるか否かを判定する信号成分検出手段を備え、低解像度変換手段は、前記信号成分検出手段の判定結果が色差成分であった場合、当該復号ブロックは無条件に低解像度変換処理を行うことを特徴とする請求項１記載の解像度変換復号装置。
【請求項４】
復号する画像データのフレームがＢピクチャであるか否かを判定する符号化方法検出手段を備え、低解像度変換手段は、前記符号化方法検出手段の判定結果がＢピクチャであった場合、当該フレームは無条件に低解像度変換処理を行うことを特徴とする請求項１記載の解像度変換復号装置。
【請求項５】
過去の解像度変換方法の履歴に基づいて、復号する画像データのメモリ使用量を測定する解像度変換方法履歴測定手段を備え、低解像度変換手段は、前記解像度変換方法履歴測定手段の測定した結果が閾値以上のメモリ使用量であった場合、無条件に低解像度変換を行うことを特徴とする請求項１記載の解像度変換復号装置。
【請求項６】
画質劣化判定手段は、復号画像に対して低解像度変換を行った後に高解像度変換した画像と、前記復号画像との画素値差分が所定の値以上であった場合に画質劣化が発生すると判定することを特徴とする請求項１から請求項５のうちのいずれか１項記載の解像度変換復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、ＭＰＥＧといった過去に復号した画像を使用して符号化画像データの復号を行い、且つ、復号画像の低解像度変換を行う解像度変換復号装置に関するものである。
【背景技術】
【０００２】
ＭＰＥＧ標準は、異なった用途向けに異なった条件を提供する為に複数の条件を規定している。主要水準向けには７２０×５７６ピクセルの最大解像度を有する標準テレビ（ＳＤＴＶ）ビデオフォーマットを規定している。高水準向けには１９２０×１０８０ピクセルの最大解像度を有する高品位テレビ（ＨＤＴＶ）ビデオフォーマットを規定している。
【０００３】
ＨＤＴＶビデオフォーマットで処理するべきデータ量はＳＤＴＶビデオフォーマットと比較して相当大きくなる。そのため、リアルタイムでＨＤＴＶビデオフォーマットを復号するのに必要とされるメモリ量および処理能力のため、ＨＤＴＶデコーダはＳＤＴＶデコーダと比較して一般的に高価となる。
【０００４】
ＳＤＴＶデコーダとコスト的に同等な装置を用いてＨＤＴＶビデオ信号を復号し表示する方法として、低解像度ビデオデコーダが知られている。低解像度デコーダではＨＤＴＶビデオ信号の復号によりＳＤＴＶ解像度の画像の生成が行える。低解像度ビデオデコーダは、ビデオ画像を表す為に用いられるデータ量を低減するので、ＨＤＴＶビデオ信号を復号するために必要とされるメモリ量及び処理能力も低減できる。
【０００５】
低解像度ビデオデコーダはコスト面でＨＤＴＶデコーダに比べて大きな利点を有しているが、このようなデコーダで生成された画像はＨＤＴＶ画像に対して行ったダウンサンプリングの量に相当する解像度の低下に関してだけでなく、動きベクトルの使用による予測誤差に起因する画像の劣化をもたらすことがある。このような予測誤差は最大解像度基準フレームで使用されるように符号化された動きベクトルを低解像度にダウンサンプリングした基準フレームに適用したことに由来するものであり、低解像度ビデオデコーダを使用して高画質のビデオ画像を作成するには、低解像度ビデオデコーダによる動きベクトルの処理または使用に起因する画質の劣化の度合いを排除又は最小限に押さえることができるような方法および装置が必要である。
【０００６】
このような問題に対して、例えば、特許文献１では、定常的に発生する黒縁等のエッジを低解像度変換した場合に発生する中間調画素値ノイズが、予測誤差に起因するアーチファクトの発生原因の一つであることに着目し、このようなアーチファクトを削減する二つの方法を記している。このような二つの方法に共通しているのは、定常的に発生する黒縁等のエッジを検出する手段を備えたことであり、このエッジを含む画像領域の画素に対して処置を行い、画質劣化を減少させている。
【０００７】
前記二つの方法のうち一つ目は、アーチファクト検出除去手段により画質劣化を発生させる中間調画素値ノイズを除去する方法である。前記検出したエッジを含む画像領域の画素を動き補償予測演算で使用する場合に、アーチファクト検出除去手段にて黒縁等のエッジに発生した中間調画素値ノイズを補正することでアーチファクトの発生を削減している。
【０００８】
前記二つの方法のうち二つ目は、画像領域に応じてダウンサンプリングの解像度を適応的に変更する方法である。前記検出したエッジを含まないマクロブロックを復号する場合は、低解像度でダウンサンプリングし、前記検出したエッジを含む画像領域のマクロブロックを復号する場合は、中間調画素値ノイズが発生しない程度の解像度変換でダウンサンプルすることで、中間調画素値ノイズの発生自体を抑えることにより、アーチファクトの発生を削減している。
【０００９】
【特許文献１】特開平１１−２４３５４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上記のような従来の解像度変換復号装置では、低解像度変換を行った復号画像を使用して低解像度変換に伴う予測誤差に起因する画質劣化を発生させる画素位置の特定を行っていた。そのため、定常的、または複数フレームで同一位置に発生する等、特定の条件を満たした画質劣化の除去にのみ有効であったが、それ以外の条件で発生する画質劣化を削減することは出来ないという問題点があった。
【００１１】
この発明は上記のような課題を解決するためになされたもので、特定の条件に限定されることなく、種々の条件であっても画質劣化を効率的に抑えることができる解像度変換復号装置を得ることを目的とする。
【課題を解決するための手段】
【００１２】
この発明に係る解像度変換復号装置は、復号画像に対して低解像度変換処理を行った場合の画質劣化を復号ブロック単位に判定する画質劣化判定手段と、復号画像に対して低解像度変換処理を行うと共に、画質劣化判定手段の判定結果が画質劣化であった場合は、その復号ブロックを低解像度変換処理から除外する低解像度変換手段とを備えたものである。
【発明の効果】
【００１３】
この発明の解像度変換復号装置は、低解像度変換処理によって画質劣化が発生すると判定した場合は、その復号ブロックを低解像度変換しないようにしたので、解像度変換復号装置として、特定の条件に限定されることなく、種々の条件であっても画質劣化を効率的に抑えることができる。
【発明を実施するための最良の形態】
【００１４】
実施の形態１．
図１は、この発明の実施の形態１による解像度変換復号装置を示す構成図であるが、これに先立ち、低解像度変換と画質劣化との関係について説明する。
図２は、低解像度変換を行わない場合の画像を示す模式図である。
図２において、フレーム２００は特定時間のフレームを模式的に示すもので、四角い図形２０１と、丸い図形２０２とを含んでいる。フレーム２００の背景は画素値が小さく、図形２０１は画素値が大きく、図形２０２は中間画素値である。
【００１５】
フレーム２１０は、フレーム２００より復号時間が後となるフレームを示しており、これは、フレーム２００からの予測で復号されるフレームである。フレーム２１０は四角い図形２１１と丸い図形２１２を含んでおり、図形２０１と図形２１１、および図形２０２と図形２１２はそれぞれ形状、色が類似している図形である。ベクトル２１３は図形２１１を含むブロックの動き探索結果を示すベクトルで、ベクトル２１４は図形２１２を含むブロックの動き探索結果を含むベクトルである。領域２１５は図形２１２を含むブロック領域を示し、領域２０３はブロック領域２１５を復号する際に使用される参照画像領域である。
【００１６】
図２に示すような場合、低解像度変換を行わないため、フレーム２００からの予測で復号されたフレーム２１０でも、低解像度変換処理による画質劣化は発生しない。
【００１７】
図３は、低解像度変換を行った場合の画像を示す模式図である。
フレーム３００は図２におけるフレーム２００に、フレーム３１０は図２におけるフレーム２１０に対応しており、これらのフレームは縮小（低解像度変換）してメモリに書き込み、メモリから読み出した後に拡大処理した画像である。また、図形３０１は図形２０１に、図形３０２は図形２０２に、図形３１１は図形２１１に、図形３１２は図形２１２にそれぞれ対応するものである。更に、領域３０３は参照画像領域２０３と同一領域を示す領域で、図形３１２を含むブロック領域を復号する際に使用される参照画像領域である。
【００１８】
一般的に知られているように、隣接する画素値の差分が大きいエッジ含む領域を低解像度変換した場合はそのエッジ部分に中間調画素値ノイズが発生する。図形３０１の画素値は隣接する背景画素との差分が大きい為、隣接画素とのエッジ部分に低解像度変換に伴う中間調画素値ノイズ３０１ａが発生している（図形３０１の周囲の枠状の部分）。そして、この中間調画素値ノイズ３０１ａは参照画像領域３０３に含まれるため、図形３１２を含むマクロブロック領域の予測で使用される。
【００１９】
フレーム３１０における３１６は低解像度変換に伴う予測誤差に起因するアーチファクトである。参照画像領域３０３には参照画像領域２０３には存在しない図形３０１のエッジ部分の中間調画素値ノイズ３０１ａが存在している為、予測誤差としてアーチファクト３１６が発生する。
【００２０】
以上述べたように低解像度変換に伴う中間調画素値ノイズは、隣接する画素値に大きな変化があるエッジ部分には常に発生するものであり、このエッジ部分が予測画像として使用される場合には常に予測誤差に起因するアーチファクトが発生し、画質劣化を引き起こす可能性がある。
【００２１】
また、一旦このようなアーチファクトが発生した場合は、このアーチファクトを含む画像領域が予測画像として使用される可能性もあり、アーチファクトが拡散していく可能性がある。そこで、本発明では、このような問題に対処するため、アーチファクトの発生が予測されるような場合は、低解像度変換を行わないようにすることにより、画質劣化を防止するようにしている。以下、図１に沿って実施の形態１を説明する。
【００２２】
図１において、解像度変換復号装置は、ＶＬＤ部１、ＩＱ／ＩＤＣＴ部２、加算部３、動きベクトル生成部４、動き補償部５、フレームメモリ６、ダウンサンプル部７、解像度変換方法メモリ８、アップサンプル部９を備えている。
【００２３】
ＶＬＤ部１は、ビットストリームを入力し、可変長復号処理により係数データ、復号パラメータ等を生成する。ＩＱ／ＩＤＣＴ部２は、ＶＬＤ部１が生成した係数データに対し逆量子化処理と逆ＤＣＴ処理を実施する。加算部３は、イントラ予測の場合はＩＱ／ＩＤＣＴ部２の出力をスルーし、インター予測の場合はＩＱ／ＩＤＣＴ部２と動き補償部５の出力を加算し、復号画像を生成する。動きベクトル生成部４は、ＶＬＤ部１が生成した復号パラメータから参照画像の動きベクトル情報を生成する。動き補償部５は、動きベクトル生成部４で生成された動きベクトル情報と、アップサンプル部９で伸長処理された画像データに基づいて動き補償予測処理を行う。また、これらＶＬＤ部１〜動き補償部５によって、過去に復号した画像を使用して、符号化画像データの復号を行う復号手段が構成されている。
【００２４】
ダウンサンプル部７は、加算部３から出力された復号画像をダウンサンプル処理（低解像度変換処理）すると共に、低解像度変換に伴う中間調画素値の発生を抑えるように解像度変換の方法を変更しダウンサンプル処理を行う機能を有し、画質劣化判定手段７１と低解像度変換手段７２を備えている。画質劣化判定手段７１は、復号手段で復号された復号画像に対して低解像度変換処理を行った場合の画質劣化を復号ブロック単位に判定する手段である。また、低解像度変換手段７２は、復号画像に対して低解像度変換処理を行うと共に、画質劣化判定手段７１の判定結果が画質劣化であった場合は、その復号ブロックは低解像度変換処理から除外する手段である。
【００２５】
フレームメモリ６は、ダウンサンプル部７の出力した解像度変換後の画像データを格納する。解像度変換方法メモリ８は、ダウンサンプル部７の行った解像度変換の方法を格納する。アップサンプル部９は、動きベクトル生成部４で指定されたベクトル位置の画像を参照画像としてフレームメモリ６から読出し、動き補償部５へ出力する。ただし、アップサンプル部９では、解像度変換方法メモリ８に格納されている解像度変換情報に従い、フレームメモリ６から読み出した画像データをアップサンプル処理（高解像度変換処理）する。
【００２６】
また、ＩＱ／ＩＤＣＴ部２、加算部３、動きベクトル生成部４、動き補償部５、ダウンサンプル部７、アップサンプル部９における各処理はマクロブロックと呼ばれる符号化単位で処理されており、解像度変換方法メモリ８にはマクロブロック単位の解像度変換方法が格納されている。
【００２７】
図４は、ダウンサンプル部７の一例を示す構成図である。
ダウンサンプル部７は、水平方向ダウンサンプル手段１０１、水平方向アップサンプル手段１０２、水平方向解像度判定手段１０３、セレクタ１０４、垂直方向ダウンサンプル手段１０５、垂直方向アップサンプル手段１０６、垂直方向解像度判定手段１０７、セレクタ１０８、解像度変換方法書込手段１０９を備えている。ここで、水平方向ダウンサンプル手段１０１〜セレクタ１０４および垂直方向ダウンサンプル手段１０５〜セレクタ１０８が、図１における画質劣化判定手段７１と低解像度変換手段７２とに対応する構成である。
【００２８】
水平方向ダウンサンプル手段１０１は、加算部３から出力される復号画像を水平方向に低解像度変換する。水平方向アップサンプル手段１０２は、水平方向ダウンサンプル手段１０１から出力される水平方向に低解像度変換された画像を水平方向に高解像度変換する。水平方向解像度判定手段１０３は、加算部３から出力される水平方向に解像度変換されていない画像と、水平方向アップサンプル手段１０２から出力される水平方向に解像度変換が施された画像とから水平方向の解像度変換を行うか否かを判定する。セレクタ１０４は、水平方向解像度判定手段１０３の判定結果に従い、加算部３から出力される水平方向に低解像度変換をされていない画像と、水平方向ダウンサンプル手段１０１から出力される水平方向に低解像度変換が施された画像とのいずれかを選択して出力する。
【００２９】
垂直方向ダウンサンプル手段１０５は、セレクタ１０４から出力される画像を垂直方向に低解像度変換する。垂直方向アップサンプル手段１０６は、垂直方向ダウンサンプル手段１０５から出力される垂直方向に低解像度変換された画像を垂直方向に高解像度変換する。垂直方向解像度判定手段１０７は、セレクタ１０４から出力される垂直方向に解像度変換をされていない画像と、垂直方向アップサンプル手段１０６から出力される垂直方向に解像度変換が施された画像とから垂直方向の解像度変換を行うか否かを判定する。セレクタ１０８は、垂直方向解像度判定手段１０７の検出結果に従い、セレクタ１０４から出力される垂直方向に低解像度変換をされていない画像と、垂直方向ダウンサンプル手段１０５から出力される垂直方向に低解像度変換が施された画像とのいずれかを選択してフレームメモリ６へ出力する。解像度変換方法書込手段１０９は、水平方向解像度判定手段１０３と垂直方向解像度判定手段１０７との検出結果に応じて、該当復号ブロックの解像度変換方法を解像度変換方法メモリ８に書き込む。
【００３０】
本実施の形態におけるダウンサンプル部７では、水平方向解像度判定手段１０３が水平方向に解像度変換されていない画像と水平方向に解像度変換された画像との画素値差分を算出する。この画素値差分が所定の値以上の場合は、水平解像度変換によりノイズが発生すると判定し、セレクタ１０４により、加算部３から出力される水平方向に低解像度変換されていない画像を選択し、低解像度変換方法書込手段１０９には水平方向の低解像度変換を行わなかった旨を通知する。一方、画素値差分が所定の値未満の場合、水平方向解像度判定手段１０３は、水平解像度変換によりノイズが発生しないと判定し、セレクタ１０４により、水平方向ダウンサンプル手段１０１から出力される水平方向に低解像度変換された画像を選択し、低解像度変換方法書込手段１０９には、水平方向の低解像度変換を行った旨を通知する。
【００３１】
垂直方向解像度判定手段１０７も、水平方向解像度判定手段１０３と同様の方法でノイズを判定し、垂直方向解像度判定手段１０７が垂直解像度変換によりノイズが発生すると判定した場合は、セレクタ１０８により、セレクタ１０４から出力される垂直方向に低解像度変換されていない画像を選択し、低解像度変換方法書込手段１０９には垂直方向の低解像度変換を行わなかった旨を通知する。垂直方向解像度判定手段１０７が垂直解像度変換によりノイズが発生しないと判定した場合は、セレクタ１０８により、垂直方向ダウンサンプル手段１０５から出力される垂直方向に低解像度変換された画像を選択し、低解像度変換方法書込手段１０９には垂直方向の低解像度変換を行った旨を通知する。
【００３２】
図５は、アップサンプル部９の一例を示す構成図である。
アップサンプル部９は、解像度変換情報読出手段２０１、参照画像読出し手段２０２、垂直方向アップサンプル手段２０３、セレクタ２０４、水平方向アップサンプル手段２０５、セレクタ２０６を備えている。
【００３３】
解像度変換情報読出手段２０１は、動きベクトル生成部４の出力する動きベクトルから参照画像の解像度変換方法を解像度変換方法メモリ８から読み出す。参照画像読出し手段２０２は、解像度変換情報読出手段２０１からの解像度変換情報に従い参照画像をフレームメモリ６から読み出す。垂直方向アップサンプル手段２０３は、参照画像読出手段２０２の出力する参照画像を垂直方向に高解像度変換する。セレクタ２０４は、解像度変換情報読出手段２０１の読み出した参照画像の解像度変換方法に従い、参照画像読出手段２０２の出力する垂直方向に解像度変換されていない画像と、垂直方向アップサンプル部２０３の出力する垂直方向に高解像度変換された画像とのいずれかを出力する。水平方向アップサンプル手段２０５は、セレクタ２０４の出力する参照画像を水平方向に高解像度変換する。セレクタ２０６は、解像度変換情報読出手段２０１の読み出した参照画像の解像度変換方法に従い、セレクタ２０４の出力する水平方向に解像度変換されていない画像と、水平方向アップサンプル部２０５の出力する水平方向に高解像度変換された画像とのいずれかを動き補償部５へ出力する。
【００３４】
本実施の形態におけるアップサンプル部９では、解像度変換情報読出手段２０１が読み出した該当参照画像の解像度変換情報が垂直方向に低解像度変換されていなかった場合、セレクタ２０４は、参照画像読出手段２０２から出力される垂直方向に解像度変換されていない画像を出力し、垂直方向に低解像度変換されていた場合は、垂直方向アップサンプル手段２０３から出力される垂直方向に高解像度変換された画像を出力する。解像度変換情報読出手段２０１が読み出した該当参照画像の解像度変換情報が水平方向に低解像度変換されていなかった場合、セレクタ２０６は、セレクタ２０４から出力される水平方向に解像度変換されていない画像を出力し、水平方向に低解像度変換されていた場合は、水平方向アップサンプル手段２０３から出力される水平方向に高解像度変換された画像を出力する。
【００３５】
本実施の形態によると、水平方向の低解像度変換によりノイズが発生する場合は水平方向の低解像度を行わず、垂直方向の低解像度変換によりノイズが発生する場合は垂直方向の低解像度を行わず、水平・垂直両方向の低解像度変換でノイズが発生しない場合のみ低解像度変換を行うので、低解像度変換に伴う予測誤差に起因する画質劣化を低減できる。また、ダウンサンプル部７における水平方向アップサンプル手段１０２と、アップサンプル部９における水平方向アップサンプル手段２０５、およびダウンサンプル部７における垂直方向アップサンプル手段１０６とアップサンプル部９における垂直方向アップサンプル手段２０３とがそれぞれ同一の処理を行うことにより、ダウンサンプル時にアップサンプル時のノイズ発生状況を高精度に検出することが出来る。
【００３６】
尚、本実施の形態では、水平方向の解像度変換と、垂直方向の解像度変換を別々の判定装置手段で判定しているが、１つの判定手段で水平・垂直両方の解像度変換を判定する方法も考えられる。また、水平・垂直どちらか片方の解像度変換を常に行う、または常に行わないと固定にする方法、およびどちらか片方のダウンサンプリング手段を省く方法も考えられる。
【００３７】
以上のように、実施の形態１の解像度変換復号装置によれば、過去に復号した画像を使用して、符号化画像データの復号を行う復号手段と、復号手段で復号された復号画像に対して低解像度変換処理を行った場合の画質劣化を復号ブロック単位に判定する画質劣化判定手段と、復号画像に対して低解像度変換処理を行うと共に、画質劣化判定手段の判定結果が画質劣化であった場合は、復号ブロックは低解像度変換処理から除外する低解像度変換手段とを備えたので、特定の条件に限定されることなく、種々の条件であっても画質劣化を効率的に抑えることができる。
【００３８】
また、実施の形態１の解像度変換復号装置によれば、画質劣化判定手段は、復号画像に対して低解像度変換を行った後に高解像度変換した画像と、復号画像との画素値差分が所定の値以上であった場合に画質劣化が発生すると判定するようにしたので、画素値のエッジ部分が予測画像として使用された場合の予測誤差に起因するアーチファクトの発生を抑えることができる。
【００３９】
実施の形態２．
図６は、実施の形態２による解像度変換復号装置のダウンサンプル部の一例を示す構成図である。
図６のダウンサンプル部７ａにおいて、画像サイズ検出手段１１０は、ＶＬＤ部１の出力に基づいて復号画像のサイズの検出する手段である。即ち、画像サイズ検出手段１１０は、復号する画像が、ＨＤＴＶサイズの画像かＳＤＴＶサイズの画像かを検出し、その検出結果を水平方向解像度判定手段１０３ａと垂直方向解像度判定手段１０７ａとに出力する。水平方向解像度判定手段１０３ａおよび垂直方向解像度判定手段１０７ａは、画像サイズ検出手段１１０の検出結果がＨＤＴＶサイズであった場合にのみ、実施の形態１と同様の処理を行うよう構成されている。その他の構成については、図４に示した実施の形態１の構成と同様であるため、対応する部分に同一符号を付してその説明を省略する。
【００４０】
本実施の形態では、画像サイズ検出手段１１０が、ＨＤＴＶサイズの画像を復号中と検出した場合、水平方向解像度判定手段１０３ａおよび垂直方向解像度判定手段１０７ａは、実施の形態１と同一の解像度変換判定を行う。一方、画像サイズ検出手段１１０が、ＳＤＴＶサイズの画像を復号中と検出した場合は水平低解像度変換および垂直低解像度変換を行わないと判定する。これにより、ＨＤＴＶビデオデコードでは図４を使用して示した実施の形態１と同一の効果が得られる。また、ＨＤＴＶと比較しメモリ容量に余裕のあるＳＤＴＶビデオデコードでは低解像度変換が行われない為、高画質な画像を得ることが出来る。
【００４１】
尚、上記実施の形態２では、ＳＤＴＶサイズの場合に水平・垂直両方を低解像度変換しないと記載したが、水平のみ、または垂直のみを低解像度変換しない方法も考えられる。また画像サイズをさらに詳細に区分し、画像サイズとメモリ容量に応じて解像度変換判定方法を規定する方法も考えられる。
【００４２】
以上のように、実施の形態２の解像度変換復号装置によれば、復号画像のサイズが所定値よりも小さいかを判定する画像サイズ検出手段を備え、低解像度変換手段は、画像サイズ検出手段が所定値よりも小さいと判定した場合、復号画像は低解像度変換処理から除外するようにしたので、実施の形態１の効果に加えて、画像サイズが小さい場合に高画質の画像を得ることができる効果がある。
【００４３】
実施の形態３．
図７は、実施の形態３による解像度変換復号装置のダウンサンプル部の一例を示す構成図である。
図７のダウンサンプル部７ｂにおいて、信号成分検出手段１１１は、ＶＬＤ部１の出力に基づいて、復号する画像データが輝度成分であるか色差成分であるかを判定する手段である。また、水平方向解像度判定手段１０３ｂおよび垂直方向解像度判定手段１０７ｂは、信号成分検出手段１１１の判定結果が輝度信号であった場合にのみ実施の形態１と同様の判定処理を行うよう構成されている。これ以外の構成は、図４に示した実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。
【００４４】
本実施の形態では、信号成分検出手段１１１が、輝度ブロックを復号中と検出した場合、水平方向解像度判定手段１０３ｂおよび垂直方向解像度判定手段１０７ｂは、実施の形態１と同一の解像度変換判定を行う。一方、信号成分検出手段１１１が色差ブロックを復号中と検出した場合、無条件に水平低解像度変換および垂直低解像度変換を行うと判定する。これにより輝度ブロックでは図４を使用して示した実施例と同一の効果が得られる。また、色差ブロックでは常に低解像度変換が行われメモリ容量が削減される。ここで、一般的に色差の画質劣化は輝度の画質劣化と比較して人間の目には識別されにくい事が知られており、効果的にメモリ容量の削減を行うことが出来る。
【００４５】
本実施の形態では、色差ブロックを復号中の場合に水平・垂直両方を低解像度変換すると記載したが、水平のみ、または垂直のみを低解像度変換しない方法も考えられる。
【００４６】
以上のように、実施の形態３の解像度変換復号装置によれば、復号する画像データの復号ブロックが色差成分であるか否かを判定する信号成分検出手段を備え、低解像度変換手段は、信号成分検出手段の判定結果が色差成分であった場合、復号ブロックは無条件に低解像度変換処理を行うようにしたので、実施の形態１の効果に加えて、必要とするメモリ容量を削減することができる効果がある。
【００４７】
実施の形態４．
図８は、実施の形態４による解像度変換復号装置のダウンサンプル部の一例を示す構成図である。
図８に示すダウンサンプル部７ｃにおいて、符号化方法検出手段１１２は、ＶＬＤ部１の出力に基づいて、復号する画像データのフレームがＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかであるかを判定する手段である。水平方向解像度判定手段１０３ｃおよび垂直方向解像度判定手段１０７ｃは、符号化方法検出手段１１２の検出結果が、Ｂピクチャの場合は、無条件に水平低解像度変換および垂直低解像度変換を行うと判定する。
【００４８】
一般的に知られているＭＰＥＧ２や同様の符号化方式では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャと呼ばれる符号化タイプに分別されている。この３種類のピクチャのうちＩピクチャ、およびＰピクチャは予測画像として参照される可能性のあるピクチャで、Ｂピクチャは予測画像として参照される可能性のないピクチャである。本実施の形態では、符号化タイプがＩピクチャまたはＰピクチャであると検出した場合は、図４に対応した実施の形態１と同一の解像度変換判定を行い、符号化タイプがＢピクチャであると検出した場合は無条件に水平低解像度変換および垂直低解像度変換を行うと判定する。これにより、ＩピクチャおよびＰピクチャでは図４に対応した実施の形態１と同一の効果が得られる。また、Ｂピクチャの場合は常に低解像度変換が行われメモリ容量が削減され、かつ参照画像として使用されないので、低解像変換に伴う予測誤差に起因する画質劣化は発生しない。
【００４９】
以上のように、実施の形態４の解像度変換復号装置によれば、復号する画像データのフレームがＢピクチャであるか否かを判定する符号化方法検出手段を備え、低解像度変換手段は、符号化方法検出手段の判定結果がＢピクチャであった場合、そのフレームは無条件に低解像度変換処理を行うようにしたので、実施の形態１の効果に加えて、メモリ容量を削減できると共に、低解像変換に伴う予測誤差に起因する画質劣化を防止できる効果がある。
【００５０】
実施の形態５．
図９は、実施の形態５による解像度変換復号装置のダウンサンプル部の一例を示す構成図である。
図９に示すダウンサンプル部７ｄにおいて、解像度変換方法履歴測定手段１１３は、解像度変換方法書込手段１０９の出力に基づき、過去の解像度変換方法の履歴から復号画像データのメモリ使用量を推測して、閾値以上であると判断した場合は、これを示す信号を出力する手段である。また、水平方向解像度判定手段１０３ｄおよび垂直方向解像度判定手段１０７ｄは、解像度変換方法履歴測定手段１１３からの出力が、閾値以上であることを示していた場合は、無条件に低解像度変換を行うよう構成されている。
【００５１】
本実施の形態では、解像度変換方法履歴測定手段１１３は、解像度変換方法書込手段１０９の出力に基づき、復号ピクチャ毎の解像度変換方法の履歴を測定することで画像データのメモリ使用量を判定する。即ち、低解像度変換が行われない場合は画像データのメモリ使用量の増加は大きくなり、低解像度変換が行われた場合は画像データのメモリ使用量の増加は小さくなる。そして、画像データのメモリ使用量がある一定閾値以上になった場合は、水平低解像度変換、および垂直低解像度変換を常に行うと判定する。これにより画像データのメモリ使用量を制限することが可能となり、画像データのメモリ使用量過多を防止することが可能となる。
【００５２】
尚、本実施の形態では画像データのメモリ使用量がある一定閾値以上になった場合に水平・垂直両方を低解像度変換しないと記載したが、水平のみ、または垂直のみを低解像度変換しない方法も考えられる。また、メモリ使用量の閾値を複数設けて段階的に低解像度変換の方法を変更する方法も考えられる。
【００５３】
以上のように、実施の形態５の解像度変換復号装置によれば、過去の解像度変換方法の履歴に基づいて、復号する画像データのメモリ使用量を測定する解像度変換方法履歴測定手段を備え、低解像度変換手段は、解像度変換方法履歴測定手段の測定した結果が閾値以上のメモリ使用量であった場合、無条件に低解像度変換を行うようにしたので、実施の形態１の効果に加えて、画像データのメモリ使用量を制限することが可能となり、画像データのメモリ使用量過多を防止することができる効果がある。
【００５４】
尚、上記各実施の形態では、画質劣化を判定する方法として、復号画像と、この復号画像に対して低解像度変換した画像との画素値差分に基づいて復号ブロック毎に判定するようにしたが、これに限定されるものではなく、例えば、対象とする復号ブロックの周囲のブロックの画素値も考慮して画質劣化を判定する等であってもよい。
【００５５】
また、上記各実施の形態では、解像度変換復号装置が対象とする画像データの符号化方式としてＭＰＥＧの場合を説明したが、過去に復号した画像を使用して符号化画像データを復号するものであれば、種々の符号化方式であっても同様に適用可能である。
【図面の簡単な説明】
【００５６】
【図１】この発明の実施の形態１による解像度変換復号装置を示す構成図である。
【図２】低解像度変換を行わない場合の画像を示す模式図である。
【図３】低解像度変換を行った場合の画像を示す模式図である。
【図４】この発明の実施の形態１による解像度変換復号装置のダウンサンプル部を示す構成図である。
【図５】この発明の実施の形態１による解像度変換復号装置のアップサンプル部を示す構成図である。
【図６】この発明の実施の形態２による解像度変換復号装置のダウンサンプル部を示す構成図である。
【図７】この発明の実施の形態３による解像度変換復号装置のダウンサンプル部を示す構成図である。
【図８】この発明の実施の形態４による解像度変換復号装置のダウンサンプル部を示す構成図である。
【図９】この発明の実施の形態５による解像度変換復号装置のダウンサンプル部を示す構成図である。
【符号の説明】
【００５７】
１  ＶＬＤ部、２  ＩＱ／ＩＤＣＴ部、  ３  加算部、４  動きベクトル生成部、５  動き補償部、７  ダウンサンプル部、７１  画質劣化判定手段、７２  低解像度変換手段、１１０  画像サイズ検出手段、１１１  信号成分検出手段、１１２  符号化方法検出手段、１１３  解像度変換方法履歴測定手段。
【図１】
2007027882.tif 000003
【図２】
2007027882.tif 000004
【図３】
2007027882.tif 000005
【図４】
2007027882.tif 000006
【図５】
2007027882.tif 000007
【図６】
2007027882.tif 000008
【図７】
2007027882.tif 000009
【図８】
2007027882.tif 000010
【図９】
2007027882.tif 000011