(57)【要約】【課題】  圧縮動画像を、解像度を減じて再圧縮する際に、復号時の解像度変換処理を元信号に近い、高画質な動画像とする。  【解決手段】  入力部１０１から入力されたMPEG2Videoストリームは、再圧縮部１０２でDCT係数の低周波数領域と、高周波数領域を推定するためのパラメタを用いて圧縮率を高めて再圧縮され、蓄積装置１１３に蓄積される。復号部１１４は、蓄積装置１１３から読み出された基本的にはMPEG２を復号する復号部だが、再圧縮部１０２が付加した高周波数領域補間パターンを示すパラメタを認識し、高周波数領域を補間してDCT係数を作成し、再圧縮部１０２の作成した再圧縮ストリームを復号する。【選択図】    図１  
2005252870.tif 000002
【特許請求の範囲】
【請求項１】
ａ）入力された直交変換画像データから所定の高周波成分を削除し、縮小された縮小直交変換画像データを得る工程と、
前記縮小直交変換画像データに対して、復号化の際に付加すべき高周波成分を、予め用意された複数種の高周波成分から選択する選択工程と、
選択された高周波成分を示す選択情報を、前記縮小直交変換画像データに付加する選択情報付加工程と、
を含む再圧縮工程と、
ｂ）前記選択情報を検出し、検出された選択情報に対応した高周波成分を取得する取得工程と、
前記取得された高周波成分を前記縮小直交変換画像データに付加する付加工程と、
前記高周波成分が付加された縮小直交変換画像データを逆直交変換する工程と、
を含む復号化工程と、
を有する画像データ処理方法。
【請求項２】
前記選択工程は、予め用意された複数種の高周波成分と、前記入力された直交変換画像データにおける高周波成分とを比較した結果に基づいて、高周波成分を選択する請求項１に記載の画像データ処理方法。
【請求項３】
前記選択情報及び前記縮小直交変換画像データを符号化する再圧縮データ符号化工程と、
前記符号化された再圧縮データを復号し、前記選択情報及び前記縮小直交変換画像データを得る工程と、
を有する請求項１又は２に記載の画像データ処理方法。
【請求項４】
入力された直交変換画像データから所定の高周波成分を削除し、縮小された縮小直交変換画像データを得る工程と、
前記縮小直交変換画像データを符号化する工程と、
を含む画像データの符号化方法であって、
前記高周波成分が削除された縮小直交変換画像データに対して、復号化の際に付与すべき高周波成分を、予め用意された複数種の高周波成分から選択する工程と、
選択された高周波成分を示す選択情報を、前記縮小直交変換画像データに付加する工程と、
を更に含む画像データの符号化方法。
【請求項５】
入力された直交変換画像データから所定の高周波成分を削除し、縮小された縮小直交変換画像データを得る工程と、
前記縮小直交変換画像データに対して、複合化の際に付加すべき高周波成分を、予め用意された複数種の高周波成分から選択する選択工程と、
選択された高周波成分を示す選択情報を、前記縮小直交変換画像データに付加する選択情報付加工程と、
を含む符号化方法により符号化された画像データを復号化する画像データの復号化方法であって、
前記選択情報を検出し、検出された選択情報に対応した高周波成分を取得する取得工程と、
前記取得された高周波成分を前記縮小直交変換画像データに付加する付加工程と、
前記高周波成分が付加された縮小直交変換画像データを逆直交変換する工程と、
を含む画像データの復号化方法。
【請求項６】
入力された直交変換画像データから所定の高周波成分を削除し、縮小された縮小直交変換画像データを得る画像圧縮部と、
前記縮小直交変換画像データに対して、復号化の際に付加すべき高周波成分を、予め用意された複数種の高周波成分から選択する高周波成分選択部と、
選択された高周波成分を示す選択情報を、前記縮小直交変換画像データに付加する選択情報付加部と、
前記選択情報が付加された縮小直交変換画像データから、前記選択情報を検出し、検出された選択情報に対応した高周波成分を取得する高周波成分取得部と、
前記取得された高周波成分を、前記縮小直交画像変換画像データに付加する高周波成分付加部と、
前記高周波成分が付加された前記縮小直交変換画像データを逆直交変換する画像データ逆直交変換部と、
を備えた画像データ処理装置。
【請求項７】
前記選択情報が付加された縮小直交変換画像データを符号化する縮小直交変換画像データ符号化部と、
前記符号化された縮小直交変換画像データを記憶する符号化データ記憶部と、
前記符号化データ記憶部に記憶されたデータを復号化して前記選択情報が付加された縮小直交変換画像データを取得する符号化データ復号部と、
をさらに備えた請求項６に記載の画像データ処理装置。
【請求項８】
前記高周波成分選択部は、予め用意された複数種の高周波成分と、前記入力された直交変換画像データにおける高周波成分とを比較した結果に基づいて、高周波成分を選択する機能を有する請求項６又は７に記載の画像データ処理装置。
【請求項９】
入力された直交変換画像データから所定の高周波成分を削除し、縮小された縮小直交変換画像データを得る画像圧縮部と、
前記縮小直交変換画像データに対して、復号化の際に付加すべき高周波成分を、予め用意された複数種の高周波成分から選択する高周波成分選択部と、
選択された高周波成分を示す選択情報を、前記縮小直交変換画像データに付加する選択情報付加部と、
を備えた画像データ符号化装置。
【請求項１０】
符号化された画像データを復号化する画像データ復号化装置であって、
前記符号化された画像データは、入力された直交変換画像データから所定の高周波成分が削除された縮小直交変換画像データに、復号化の際に付加すべき高周波成分として、予め用意された複数種の高周波成分のうちのいずれを選択したかを示す選択情報を付加した画像データであり、
前記選択情報が付加された縮小直交変換画像データから、前記選択情報を検出し、検出された選択情報に対応した高周波成分を取得する高周波成分取得部と、
前記取得された高周波成分を、前記縮小直交画像変換画像データに付加する高周波成分付加部と、
前記高周波成分が付加された前記縮小直交変換画像データを逆直交変換する画像データ逆直交変換部と、
を備えた画像データ復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ処理方法及び装置に関し、特に、解像度を落として動画像を圧縮し、復号化時に解像度変換して再生する符号・復号化方法及び装置に関する。
【背景技術】
【０００２】
BSデジタル放送のように、圧縮ストリームで動画像が配信されるような場合、受信した圧縮動画像を圧縮率を変えて再圧縮し、元ストリームよりも少ないデータ量で蓄積を行ないたいという要求は、蓄積媒体の容量が有限であることから、常に存在する。この要求にこたえるために、圧縮率を変えて再圧縮する圧縮手法は従来から多く提案されている。なかでも、HD（High Definition）映像ストリームをSD(Standard Definition)レベルに解像度を変更し蓄積する手法は一般的である（特許文献１、特許文献２等）。これらの手法を用いて蓄積された動画像を視聴する場合、SDレベルの動画像を解像度変換して表示する。その場合の解像度変換手法は、一般的な解像度変換を用いるものが大半である。例えば特許文献１では、拡大手法として一般的な解像度変換手法である逆離散コサイン変換法、最近接内挿法、共一次内挿法、３次畳み込み内挿法、アダマール変換を挙げている。
【０００３】
しかし、これらの一般的な拡大手法を用いた場合、圧縮時に縮小によって失われた情報は、復号時の拡大で用いることはできず、拡大は残された情報からのみの補間となり、情報が失われるのは明らかである。つまり、画質が劣化する。
【特許文献１】特開平9-331529号公報
【特許文献２】特開平2001-16589号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上記問題を解決するためになされたものであり、圧縮画像を、解像度を減じて再圧縮する際に、復号時の解像度変換処理を、元信号に近い高画質な画像とすることを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、ａ）入力された直交変換画像データから所定の高周波成分を削除し、縮小された縮小直交変換画像データを得る工程と、前記縮小直交変換画像データに対して、復号化の際に付加すべき高周波成分を、予め用意された複数種の高周波成分から選択する選択工程と、選択された高周波成分を示す選択情報を、前記縮小直交変換画像データに付加する選択情報付加工程と、を含む再圧縮工程と、ｂ）前記選択情報を検出し、検出された選択情報に対応した高周波成分を取得する取得工程と、前記取得された高周波成分を前記縮小直交変換画像データに付加する付加工程と、前記高周波成分が付加された縮小直交変換画像データを逆直交変換する工程と、を含む復号化工程と、を有する画像データ処理方法である。
【０００６】
ここで、直交変換画像データは、直交変換が施された画像データを指す。但し、直交変換が施された後に、量子化、符号化が施された画像データ、さらに、復号化、逆量子化が施された画像データも含む。
【０００７】
また、本発明は、入力された直交変換画像データから所定の高周波成分を削除し、縮小された縮小直交変換画像データを得る画像圧縮部と、前記縮小直交変換画像データに対して、復号化の際に付加すべき高周波成分を、予め用意された複数種の高周波成分から選択する高周波成分選択部と、選択された高周波成分を示す選択情報を、前記縮小直交変換画
像データに付加する選択情報付加部と、前記選択情報が付加された縮小直交変換画像データから、前記選択情報を検出し、検出された選択情報に対応した高周波成分を取得する高周波成分取得部と、前記取得された高周波成分を、前記縮小直交画像変換画像データに付加する高周波成分付加部と、前記高周波成分が付加された前記縮小直交変換画像データを逆直交変換する画像データ逆直交変換部と、を備えた画像データ処理装置である。
【発明の効果】
【０００８】
本発明によれば、圧縮画像を、解像度を減じて再圧縮する際に、復号時の解像度変換処理を元信号に近い高画質な画像とすることができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を図面を用いて説明する。
【００１０】
図１は本発明の実施形態に係る画像データ処理装置を示すブロック図である。
【００１１】
図１において、１０１はMPEG2Videoストリームを入力する入力部、１０２は画像再圧縮部、１０３はMPEG２ビットストリームを解析する第一のビットストリーム解析部、１０４はMPEG2Videoのマクロブロックのハフマン復号処理を行なう第一のハフマンデコード部、１０５はMPEG２ストリームの逆量子化を行なう第一の逆量子化部、１０６は逆量子化の終了したDCT係数を規格どおりにIDCTする第一のIDCT部、１０７は逆量子化の終了したDCT係数の低周波領域に対して、高周波数領域に後述するパターンを順に適用していく高周波領域パターン選択部、１０８は低周波数領域に高周波数領域パターン選択部１０７が選択したパターンを適用した高周波領域を合わせてIDCTする第二のIDCT部、１０９は、第一のIDCT部１０５の結果と、第二のIDCT部１０７の結果の相関を計算し評価するパターン評価部、１１０はDCT係数の低周波領域のみを量子化する量子化部、１１１は量子化されたDCTブロックをハフマンエンコードするハフマンエンコード部、１１２はMPEG２の規格に高周波領域パターンを加えたビットストリームを作成するビットストリーム作成部、１１３はビットストリーム作成部１１２で圧縮された再圧縮ストリームを蓄積する蓄積装置、１１４は画像復号部、１１５は再圧縮ストリームを解析する第二のビットストリーム解析部、１１６は再圧縮ストリームのマクロブロックのハフマン復号処理を行なう第二のハフマンデコード部、１１７は再圧縮ストリームの逆量子化を行なう第二の逆量子化部、１１８は逆量子化後のDCT係数と、高周波領域パターン係数から、高周波領域パターンを適用して高周波領域を補間する高周波領域補間部、１１９は規格どおりのIDCTを行なう第三のIDCT部、１２０は動きベクトルを用いて動き補償を行なう動き補償部、１２１は出力部である。
【００１２】
本実施の形態では、入力部１０１から入力されたMPEG2Videoストリームは、再圧縮部１０２でDCT係数の低周波数領域と、高周波数領域を推定するためのパラメタを用いて圧縮率を高めて再圧縮され、蓄積装置１１３に蓄積される。本実施形態では、再圧縮部１０２が、本発明の画像データ符号化装置を構成する。また、蓄積装置１１３は、本発明の符号化データ記憶部に相当する。再圧縮されたストリームは、高周波数領域推定パラメタが付加されており、MPEG2規格から外れた再圧縮ストリームとなる。蓄積された再圧縮ストリームは、画像復号部１１４で、復号されるDCT係数の低周波数領域と、高周波数領域推定パラメタから、元画像と同サイズ・同程度の画質で復号される。本実施形態では、画像復号部１１４が、本発明の画像データ復号化装置を構成する。
【００１３】
まず、再圧縮部１０２の動作の流れを説明する。
【００１４】
入力部１０１から入力されたMPEG2Videoストリームは、第一のビットストリーム解析部１０３で解析される。MPEG2Videoストリームの復号過程の詳細については本実施の形態では説明しない。DCT係数のまとまりであるマクロブロック、ブロックについての動作につ
いてのみ記述する事にする。
【００１５】
解析されたビットストリームのうち、マクロブロックの情報は第一のハフマンデコード部１０４でハフマン復号処理される。ハフマンデコードされたMPEG2Videoストリームのマクロブロックは、第一の逆量子化部１０５で逆量子化され、８×８の輝度DCT係数４つと、８×８の色差DCT係数２つが得られる。簡単のため、以後はDCT係数に関連する説明を１つの輝度DCT係数のみで行なうが、他の輝度DCT係数、色差DCT係数についてもまったく同一に扱うことができる。
【００１６】
逆量子化の完了したDCT係数は、第一のIDCT部１０６と、高周波領域パターン選択部１０７及び量子化部１１０に送られる。
【００１７】
第一のIDCT部１０６は通常のIDCTを行い、８×８の画素値もしくは動き補償用の画素差分値が得られる。
【００１８】
高周波領域パターン選択部１０７は、８×８のDCT係数の４×４の低周波数領域を用いて、後述する高周波領域の補間パターンを基準に高周波数領域成分を補間する。高周波領域を補間したDCT係数について、第二のIDCT部１０８で通常のIDCTを行い、高周波領域が補間されている８×８の画素値もしくは動き補償用の画素差分値が得られる。
【００１９】
パターン評価部１０９は、第一のIDCT部１０６の通常の結果と、高周波数領域が補間されている第二のIDCT部１０８の結果の相関を比較し、相関値を記憶する。高周波領域パターン選択部１０７からパターン評価部１０９までの一連の動作を、あらかじめ用意してある高周波領域パターンの数だけ繰り返し、もっとも相関値の高いパターンを選択する。
【００２０】
量子化部１１０は、第一の逆量子化部１０５の結果である１６×１６のDCT係数のうち、低周波数領域の４×４のみを量子化する。ハフマンエンコード部１１１は、量子化部１１０の出力した結果をMPEG2の規格に沿ってハフマンエンコードする。ここで、本発明の画像圧縮部は、量子化部１１０又は、量子化部１１０、ハフマンエンコード部１１１によって構成される。
【００２１】
ビットストリーム作成部１１２は、ハフマンエンコードされたDCT係数を、元のビットストリーム情報とあわせてMPEG２形式のビットストリームに、パターン評価部１０９の選択した高周波領域パターンを示すパラメタを付加した独自の再圧縮ビットストリームを作成する。作成された再圧縮ビットストリームは、蓄積装置１１３に蓄積される。本実施形態では、ビットストリーム生成部１１２が、本発明の選択情報付加部に相当する。また、ビットストリーム生成部１１２及びハフマンエンコード部１１１が本発明の縮小直交変換画像データ符号化部に相当する。
【００２２】
本実施の形態では、高周波数領域を補間するためのパターンを選択する手法が重要である。高周波領域パターン決定の過程をさらに詳細に説明する。
【００２３】
まず、DCT係数の低周波領域から高周波数領域を推定する手法の従来例の一つとして、係数折り返しの手法がある。この手法は、例えば図２において、４×４の低周波数領域DCT係数A0から高周波数領域A1〜A3を補間して８×８のDCT係数を作成する場合に、A1についてはA0を水平方向に折り返し、A2については垂直方向に折り返し、A3については水平及び垂直に折り返すと、良好な結果画像が得られるというものである。
【００２４】
この手法では、ある程度良好な結果が得られるものの、本来高周波数領域に値のないような場合でも値を入れてしまい、ノイズが発生するという問題もある。
【００２５】
本実施の形態では、高周波数領域の補間のパターンとして、（パターン０）0挿入、（パターン１）コピー、（パターン２）水平方向折り返し、（パターン３）垂直方向折り返し、（パターン４）水平・垂直折り返しの計５パターンを用意し、本来のDCT係数をIDCTした結果と、１〜５の手法で高周波数領域を補間したDCT係数をIDCTした結果を比較し、最もよいパターンを選択することを特徴とする。
【００２６】
４×４の低周波数領域に対する高周波領域補間パターンを図３に示す。
【００２７】
図４に高周波数領域パターン決定部の構成を示すブロック図を、図５に高周波領域パターン決定のアルゴリズムを示す。本実施形態では、高周波数領域パターン決定部、すなわち、第一のIDCT部１０６、高周波領域パターン選択部１０７、第二のIDCT部１０８、パターン評価部１０９によって本発明の高周波成分選択部が構成される。
【００２８】
まず、高周波領域パターン選択部１０７は、本来の８×８のDCT係数から、低周波数領域である４×４を抜き出す（S1）。このようにして抜き出されたものが、図２のA0である。次に、A1〜A3に、高周波領域パターンを適用する（S2）。高周波領域パターンの適用は、高周波領域パターンの組み合わせの数だけ実行する。本実施の形態では、パターンの組み合わせは高周波数領域パターン５つをA1〜A3の３つに適用する組み合わせで、125通りになる。
【００２９】
高周波領域パターン選択部１０７で高周波数領域を補間したDCT係数は、第二のIDCT部１０８でIDCTされ、輝度値となる（S３）。この工程は一般のIDCTとまったく同一である。
【００３０】
上述したように、第一のIDCT部１０６においては通常のIDCTを行っている（S4）。パターン評価部１０９は、第一のIDCT部１０６と第二のIDCT部１０８の結果を比較する。２つのIDCTの相関を計算する手法は任意だが、本実施の形態では輝度値の差分の合計と、差の最大値を評価値とする。本実施の形態では125通りのパターンについて順に評価する。すなわち、各パターンで差分値を合計し（S5）、最大差分値を取得する（S6）。これを繰り返す(S7、S8)。125通りの評価値の算出ができたら、パターンを選択する。第一の評価基準として、差分の合計が最小となるものを選択する（S9）。第一の評価基準で選択されたものについて、第二の評価基準として、差の最大値を調べ（S10,S11）、閾値以下であれば最良のパターンとして選択される。
【００３１】
このようにして決定された高周波領域パターンは、ビットストリーム作成部１１２で圧縮ビットストリームに付加される。ビットストリーム作成部１１２はMPEG2Videoの規格に沿って再圧縮を行なうが、DCT係数を示すブロックの前に、図6に示す９ビットのパラメタを付加する。パラメタを付加する部分を、C言語風に記述すると、図７のようになる。図７はISO/IEC 13818-2で記述されているマクロブロックのシンタックスに、本発明のパラメタを付加したものである。本発明のパラメタ以外の記述の内容についてはISO/IEC 13818-2に記載されている。
【００３２】
以上説明した手法で、圧縮ストリームが生成される。
【００３３】
次に、復号部１１４の動作の流れを説明する。
【００３４】
蓄積装置１１３から読み出された再圧縮ビットストリームは、第二のビットストリーム解析部１１５で解析される。本実施形態では、第二のビットストリーム解析部１１５が符号化データ取得部に相当する。
【００３５】
再圧縮ビットストリームは、高周波領域パターンを示すパラメタが付加されている以外はMPEG2と同一であるので、復号部の説明についてもマクロブロックの復号の流れ以外は省略する。再圧縮ビットストリームのマクロブロックは第二のハフマンデコード部１１６に入力され、ハフマン復号される。ハフマン復号されたマクロブロックは、逆量子化部１１７で逆量子化される。逆量子化されたマクロブロックのDCT係数は、本来の画像の低周波数領域の４×４である。再圧縮ビットストリームには高周波数領域の補間パターンを示すパラメタが付加されているので、高周波領域補間部１１８はパラメタの示す補間パターンに従い高周波数領域を復元する。この結果、８×８のDCT係数が復元され、第三のIDCT部１１９で通常のIDCTを行い、８×８の輝度値もしくは動き補償で用いる輝度差分値が得られる。動き補償が必要な場合は動き補償部１２０で動き補償を行い、出力部１２１から復号画像が出力される。本実施形態では、高周波領域補間部１１８が、本発明の、高周波成分取得部及び高周波成分付加部を構成する。また、第三のIDCT部１１９が、本発明の画像データ逆直交変換部に相当する。
【００３６】
復号部１１４は、再圧縮部１０２の作成した再圧縮ストリームを復号するための装置である。基本的にはMPEG２を復号する復号部だが、再圧縮部１０２が付加した高周波数領域補間パターンを示すパラメタを認識し、高周波数領域を補間してDCT係数を作成するところが特徴である。
【００３７】
本実施の形態では、高周波領域を補間するパターンを５種類としたが、本発明はこれに限らない。より少ないパターンで実行することも可能であるし、より多いパターンを用いてもかまわない。例えば、処理量を軽減する目的でパターン０とパターン４のみを用いても効果は得られる。また、さらに補間の精度を上げるために、各パターンに符号を付加して計１０パターンを用いることも可能である。
【００３８】
また、本実施の形態では、第一のIDCT部１０６の結果と第二のIDCT部１０８の結果の評価に、画素差分値の総和と最大差分値を用いた手法を説明したが、本発明はこれに限らない。第一のIDCT部１０６の結果と第二のIDCT部１０８の結果の相関をとることができる手法であれば、どのようなものでも用いることができる。
【図面の簡単な説明】
【００３９】
【図１】本発明に係る解像度変換装置の実施の形態を示すブロック図。
【図２】従来の高周波数領域DCT係数補間方式を説明する説明図。
【図３】図１における高周波領域パターン選択部の動作を説明する説明図。
【図４】本発明の実施形態における高周波領域パターン選択の動作を説明する説明図。
【図５】本発明の実施形態における高周波領域パターン選択の動作を説明する説明図。
【図６】図１におけるビットストリーム作成部の動作を説明する説明図。
【図７】図１におけるビットストリーム作成部の動作を説明する説明図。
【符号の説明】
【００４０】
１０１  入力部
１０２  画像再圧縮部
１０３  第一のビットストリーム解析部
１０４  第一のハフマンデコード部
１０５  第一の逆量子化部
１０６  第一のIDCT部
１０７  高周波領域パターン選択部
１０８  第二のIDCT部
１０９  パターン評価部
１１０  量子化部
１１１  ハフマンエンコード部
１１２  ビットストリーム作成部
１１３  蓄積装置
１１４  画像復号部
１１５  第二のビットストリーム解析部
１１６  第二のハフマンデコード部
１１７  第二の逆量子化部
１１８  高周波領域補間部
１１９  第三のIDCT部
１２０  動き補償部
１２１  出力部
【図１】
2005252870.tif 000003
【図２】
2005252870.tif 000004
【図３】
2005252870.tif 000005
【図４】
2005252870.tif 000006
【図５】
2005252870.tif 000007
【図６】
2005252870.tif 000008
【図７】
2005252870.tif 000009