(57)【要約】【課題】動画像ストリームから静止画像ストリームへ再符号化する際に、画質を維持したまま冗長な符号量を発生させることなく再符号化することを実現する。【解決手段】動画像ストリームから静止画像ストリームへ再符号化を行なう画像再符号化装置であって、動画像ストリームから量子化値および量子化行列を量子化情報抽出部１０４で抽出し、ＤＣ成分位置係数値算出部１０５で得られた量子化値および量子化行列のＤＣ成分位置の係数値から量子化行列のＤＣ成分位置の係数値を決定し、さらに各位置係数値比率算出部１０６で得られた量子化行列からＤＣ成分位置以外の各係数の係数値とＤＣ成分位置の係数値との比を決定することにより静止画像ストリームの量子化行列を生成し、前記量子化行列を使用して静止画像として再符号化する。【選択図】図１
2010192950.tif 000002
【特許請求の範囲】
【請求項１】
動画像符号化ストリームを、静止画像に再符号化する画像再符号化装置であって、
前記動画像符号化ストリームを復号化して、復号化信号を生成する動画像復号化手段と、
前記動画像符号化ストリームのピクチャ毎に適用された第１量子化行列と、量子化値を抽出する量子化情報抽出手段と、
前記第１量子化行列と、前記量子化値と、を用いて、静止画像に再符号化する際に使用する第２量子化行列を生成する量子化行列設定手段と、
前記第２量子化行列を用いて前記静止画像に再符号化を行なう静止画像符号化手段と、を有し、
前記量子化行列設定手段は、前記量子化値及び、前記第１量子化行列のＤＣ成分位置の係数値を基に、前記第２量子化行列のＤＣ成分位置の係数値を決定すると共に、前記第２量子化行列が有するＤＣ成分位置の係数値Ａと当該第２量子化行列が有するＤＣ成分位置とは異なる位置の係数値との比率を、前記第１量子化行列のＤＣ成分位置の係数値Ｂと当該第１量子化行列のＤＣ成分位置とは異なる位置の係数値との比率に応じて設定する、
画像再符号化装置。
【請求項２】
前記量子化行列設定手段は、前記静止画像に再符号化した際の発生符号量に応じて、前記第２量子化行列が有する係数値の補正を行なうことを特徴とする請求項１に記載の画像再符号化装置。
【請求項３】
前記量子化行列設定手段は、前記量子化値に応じて、前記第２量子化行列が有する係数値の補正を行なうことを特徴とする請求項１に記載の画像再符号化装置。
【請求項４】
前記量子化情報抽出手段において抽出する量子化値は、前記動画像符号化ストリームのピクチャに含まれる全ての符号化ブロックで使用している量子化値の中で最も小さな係数値であることを特徴とする請求項１から請求項３に記載の画像再符号化装置。
【請求項５】
前記量子化情報抽出手段において抽出する量子化値は、前記動画像符号化ストリームのピクチャに含まれる符号化ブロックのうち、符号化順で先頭の符号化ブロックで使用している量子化値であることを特徴とする請求項１から請求項３に記載の画像再符号化装置。
【請求項６】
前記量子化情報抽出手段において抽出する量子化値は、前記動画像符号化ストリームのピクチャに含まれる符号化ブロックのうち、符号化順で最後の符号化ブロックで使用している量子化値であることを特徴とする請求項１から請求項３に記載の画像再符号化装置。
【請求項７】
前記量子化情報抽出手段において抽出する量子化値は、前記動画像符号化ストリームのピクチャに含まれる符号化ブロックのうち、複数の符号化ブロックで使用している量子化値の平均値であることを特徴とする請求項１から請求項３に記載の画像再符号化装置。
【請求項８】
前記量子化情報抽出手段において抽出する量子化値は、前記動画像符号化ストリームのピクチャのヘッダ領域に記載されているピクチャの基準となる量子化値であることを特徴とする請求項１から請求項３に記載の画像再符号化装置。
【請求項９】
動画像符号化ストリームを、静止画像に再符号化する画像再符号化方法であって、
前記動画像符号化ストリームを復号化して、復号化信号を生成する動画像復号化ステップと、
前記動画像符号化ストリームのピクチャ毎に適用された第１量子化行列と、量子化値を抽出する量子化情報抽出ステップと、
前記第１量子化行列と、前記量子化値と、を用いて、静止画像に再符号化する際に使用する第２量子化行列を生成する量子化行列設定ステップと、
前記第２量子化行列を用いて前記静止画像に再符号化を行なう静止画像符号化ステップと、を有し、
前記量子化行列設定ステップは、前記量子化値及び、前記第１量子化行列のＤＣ成分位置の係数値を基に、前記第２量子化行列のＤＣ成分位置の係数値を決定すると共に、前記第２量子化行列が有するＤＣ成分位置の係数値Ａと当該第２量子化行列が有するＤＣ成分位置とは異なる位置の係数値との比率を、前記第１量子化行列のＤＣ成分位置の係数値Ｂと当該第１量子化行列のＤＣ成分位置とは異なる位置の係数値との比率に応じて設定する、
画像再符号化方法。
【請求項１０】
動画像符号化ストリームを、静止画像に再符号化する集積回路であって、
前記動画像符号化ストリームを復号化して、復号化信号を生成する動画像復号化手段と、
前記動画像符号化ストリームのピクチャ毎に適用された第１量子化行列と、量子化値を抽出する量子化情報抽出手段と、
前記第１量子化行列と、前記量子化値と、を用いて、静止画像に再符号化する際に使用する第２量子化行列を生成する量子化行列設定手段と、
前記第２量子化行列を用いて前記静止画像に再符号化を行なう静止画像符号化手段と、を有し、
前記量子化行列設定手段は、前記量子化値及び、前記第１量子化行列のＤＣ成分位置の係数値を基に、前記第２量子化行列のＤＣ成分位置の係数値を決定すると共に、前記第２量子化行列が有するＤＣ成分位置の係数値Ａと当該第２量子化行列が有するＤＣ成分位置とは異なる位置の係数値との比率を、前記第１量子化行列のＤＣ成分位置の係数値Ｂと当該第１量子化行列のＤＣ成分位置とは異なる位置の係数値との比率に応じて設定する、
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化ストリームから静止画像符号化ストリームに再符号化する画像再符号化装置に関し、特に量子化行列の変換方法の技術に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラを中心に、動画像の符号化ストリームから静止画像の符号化ストリームへ、もしくは静止画像の符号化ストリームから動画像の符号化ストリームへといった画像の変換が頻繁に行なわれている。例えば、一度動画として符号化したストリームから任意のピクチャのみを選択して静止画として再符号化するといった用途がある。動画像符号化の代表的なものとしてはＩＴＵ−Ｔ（国際電機通信連合）とＩＳＯ（国際標準化機構）によって規格化されたＨ．２６４／ＭＰＥＧ−４ＡＶＣ（以下、Ｈ．２６４と称す。）や同じくＩＳＯ（国際標準化機構）によって規格化されたＭＰＥＧ−２等があり、また静止画像符号化の代表的なものとしてはＩＳＯ（国際標準化機構）によって規格化されたＪＰＥＧ等がある。
【０００３】
画像の再符号化の方法としては、例えば、ＭＰＥＧ２等の第１の符号化方式で符号化された動画像符号化ストリームを完全に復号化することで得られるピクチャを、一旦メモリに格納し、該メモリに格納される画像データを入力として、例えば、Ｈ．２６４等の第２の符号化方式にトランスコードする変換方法がある。また、第１の符号化方式で符号化された動画像符号化ストリームを復号化しつつ、復号化途中の情報を入力として、例えばＪＰＥＧ等の第２の静止画符号化方式で必要な情報のみ符号化するトランスコード方法がある。しかしいずれの方法においても、再符号化後の動画像符号化ストリーム若しくは、静止画データの画質と、発生符号量を最適なものとするために、量子化値や量子化行列といった量子化を制御するパラメータの生成が重要な課題となる。
【０００４】
前記課題に対する対策方法として、例えば、第１の符号化方式のストリームとは無関係に目標符号量等から量子化値や量子化行列を決定して第２の符号化を行なう方法があるが、この方法では第１の符号化時点で既に失われている情報にまで冗長な情報量を割り当てる可能性があり、画質改善に寄与しない無駄な符号量が発生してしまう問題がある。
【０００５】
また別の方法としては、第１の符号化方式の静止画像ストリームに符号化されている量子化関連の情報から、第２の符号化方式の動画像ストリームを符号化するための量子化関連の情報を生成する方法が提案されている。この方法であれば第１の符号化方法の量子化の特性を引継いだ量子化値や量子化行列を生成することが可能となり無駄な符号量の発生を抑制することができる（例えば、特許文献１を参照。）。
【特許文献１】特開２００８−１５３７７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の技術は、ＪＰＥＧからＭＰＥＧ−２への再符号化を行なうことを前提とした技術であり、符号化方式への依存度が高いためそれ以外の符号化方式へは適用ができず、また再符号化後の画質や符号量の制御を行なうことが困難であった。
【０００７】
そこで本発明は、前記従来の課題を解決するもので、例えばＨ．２６４等の符号化形式で符号化された動画像符号化ストリームから、例えばＪＰＥＧ等の静止画像データへ再符号化する際、最適な量子化行列を生成することによって再符号化前の画質を維持したまま少ない符号量で再符号化を行なうことが可能な画像再符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決するために、本発明は、動画像符号化ストリームを、静止画像に再符号化する画像再符号化装置であって、前記動画像符号化ストリームを復号化して、復号化信号を生成する動画像復号化手段と、前記動画像符号化ストリームのピクチャ毎に適用された第１量子化行列と、量子化値を抽出する量子化情報抽出手段と、前記第１量子化行列と、前記量子化値と、を用いて、静止画像に再符号化する際に使用する第２量子化行列を生成する量子化行列設定手段と、前記第２量子化行列を用いて前記静止画像に再符号化を行なう静止画像符号化手段と、を有し、前記量子化行列設定手段は、前記量子化値及び、前記第１量子化行列のＤＣ成分位置の係数値を基に、前記第２量子化行列のＤＣ成分位置の係数値を決定すると共に、前記第２量子化行列が有するＤＣ成分位置の係数値Ａと、当該係数値Ａとは異なる係数値と、の比率を、前記第１量子化行列のＤＣ成分位置の係数値Ｂと、当該係数値Ｂとは異なる係数値と、の比率に応じて設定することを特徴とする。
【０００９】
上記構成により、例えば、Ｈ．２６４からＪＰＥＧへ再符号化する際にも冗長な符号量を発生させることなく最適な量子化行列を生成することが可能となり、再符号化前の画質を維持したまま少ない符号量で再符号化を行なうことを実現できる。
【００１０】
なお、本発明は、このような画像再符号化装置として実現することができるだけでなく、このような画像再符号化装置に含まれる各手段と同等の処理を画像再符号化方法や集積回路としても実現することもできる。
【発明の効果】
【００１１】
本発明の画像再符号化装置によれば、冗長な符号量を発生させることなく最適な量子化行列を生成することにより再符号化前の画質を維持したまま少ない符号量で再符号化を行なうことを可能とする。
【発明を実施するための最良の形態】
【００１２】
本発明の実施の形態において、動画像符号化ストリームを、静止画像に再符号化する画像再符号化装置は、前記動画像符号化ストリームを復号化して、復号化信号を生成する動画像復号化手段と、前記動画像符号化ストリームのピクチャ毎に適用された第１量子化行列と、量子化値を抽出する量子化情報抽出手段と、前記第１量子化行列と、前記量子化値と、を用いて、静止画像に再符号化する際に使用する第２量子化行列を生成する量子化行列設定手段と、前記第２量子化行列を用いて前記静止画像に再符号化を行なう静止画像符号化手段と、を有し、前記量子化行列設定手段は、前記量子化値及び、前記第１量子化行列のＤＣ成分位置の係数値を基に、前記第２量子化行列のＤＣ成分位置の係数値を決定すると共に、前記第２量子化行列が有するＤＣ成分位置の係数値Ａと、当該係数値Ａとは異なる係数値と、の比率を、前記第１量子化行列のＤＣ成分位置の係数値Ｂと、当該係数値Ｂとは異なる係数値と、の比率に応じて設定することを特徴とする。
【００１３】
上記の構成により、例えば、Ｈ．２６４からＪＰＥＧへ再符号化する際にも冗長な符号量を発生させることなく最適な量子化行列を生成することが可能となり、再符号化前の画質を維持したまま少ない符号量で再符号化を行なうことを実現できる。
【００１４】
また、前記量子化行列設定手段は、前記静止画像に再符号化した際の発生符号量に応じて、前記第２量子化行列が有する係数値の補正を行なうことを特徴とする構成にしても構わない。
【００１５】
上記の構成により、再符号化の際に画質が劣化しても発生符号量を抑制する、もしくは発生符号量が増加しても画質劣化の可能性を抑えるという制御が可能となる効果を奏する。
【００１６】
また、前記量子化行列設定手段は、前記量子化値に応じて、前記第２量子化行列が有する係数値の補正を行なうことを特徴とする構成にしても構わない。
【００１７】
上記の構成により、既に充分に係数値が大きい成分に対してはそれ以上画質を劣化させることなく、もともと符号量を多く必要としていた係数値の小さい成分に対して量子化幅を大きくして符号量を削減することが可能となる効果を奏する。
【００１８】
また、前記量子化情報抽出手段において抽出する量子化値は、前記動画像符号化ストリームのピクチャに含まれる全ての符号化ブロックで使用している量子化値の中で最も小さな係数値であることを特徴とする構成にしても構わない。
【００１９】
上記の構成により、全ての符号化ブロックが少なくとも変換前の量子化精度よりも高い精度での量子化を行なうこととなるため、ピクチャ全体において変換後の画質劣化を最小限に抑制できるという効果を奏する。
【００２０】
また、前記量子化情報抽出手段において抽出する量子化値は、前記動画像符号化ストリームのピクチャに含まれる符号化ブロックのうち、符号化順で先頭の符号化ブロックで使用している量子化値であることを特徴とする構成にしても構わない。
【００２１】
上記の構成により、ピクチャの再符号化処理の開始直後で量子化値を決定できるため、処理遅延を最小限に抑えて再符号化を行なうことができるという効果を奏する。
【００２２】
また、前記量子化情報抽出手段において抽出する量子化値は、前記動画像符号化ストリームのピクチャに含まれる符号化ブロックのうち、符号化順で最後の符号化ブロックで使用している量子化値であることを特徴とする構成にしても構わない。
【００２３】
上記の構成により、ピクチャ内でのブロック単位のレート制御による影響を加味した量子化値を使用できるため、ピクチャの途中で複雑さが急激に変化した場合でも変化後の量子化値を使って再符号化を行なうことができるという効果を奏する。
【００２４】
また、前記量子化情報抽出手段において抽出する量子化値は、前記動画像符号化ストリームのピクチャに含まれる符号化ブロックのうち、複数の符号化ブロックで使用している量子化値の平均値であることを特徴とする構成にしても構わない。
【００２５】
上記の構成により、ピクチャ内の平均的なブロックの量子化値を使用できるため、画質劣化の抑制と発生符号量の抑制の両方をバランスよく実施できるという効果を奏する。
【００２６】
また、前記量子化情報抽出手段において抽出する量子化値は、前記動画像符号化ストリームのピクチャのヘッダ領域に記載されているピクチャの基準となる量子化値であることを特徴とする構成にしても構わない。
【００２７】
上記の構成により、ピクチャのブロック層の再符号化処理を行なう前段で量子化値を決定できるため、処理遅延を最小限に抑えて再符号化を行なうことができるという効果を奏する。
【００２８】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２９】
（実施の形態１）
以下、本実施の形態１における画像再符号化装置を、図面を参照しながら説明する。
【００３０】
本発明の実施の形態１においては、Ｈ．２６４で符号化された動画像符号化ストリームを、ＪＰＥＧ形式の静止画像データに再符号化することを考える。なお、入力される符号化ストリームの符号化形式及び、出力される静止画像データの符号化形式は上記に限定されるものではなく、量子化マトリクスを使用する符号化形式であればどのような符号化形式を使用しても構わない。
【００３１】
図１は、本発明の実施の形態１における画像再符号化装置１００のブロック図である。画像再符号化装置は図１に示すように、Ｈ．２６４復号化部１０１、ピクチャメモリ１０２、ＪＰＥＧ符号化部１０３、量子化情報抽出部１０４、量子化行列設定部１００１から構成される。さらに、量子化行列設定部１００１は、ＤＣ成分位置係数値算出部１０５、各位置係数値比率算出部１０６、ＪＰＥＧ量子化行列生成部１０７を備えている。
【００３２】
Ｈ．２６４復号化部１０１は、入力される動画像符号化ストリームの復号化を行ない、復号化されたピクチャをピクチャメモリ１０２に出力する。
【００３３】
ピクチャメモリ１０２は、Ｈ．２６４復号化部１０１で復号化されたピクチャを格納する。
【００３４】
ＪＰＥＧ符号化部１０３は、ピクチャメモリ１０２に格納されるピクチャを、ＪＰＥＧ量子化行列生成部から出力される量子化行列を基にＪＰＥＧ規格の静止画像データに再符号化して出力する。
【００３５】
量子化情報抽出部１０４は、Ｈ．２６４復号化部における復号化処理の際に、符号化ストリームに記載されている量子化値及び、量子化行列を抽出し、量子化行列設定部１００１に出力する。
【００３６】
ここで、Ｈ．２６４の量子化情報を抽出する方法について詳しく説明する。
【００３７】
まず量子化値については、Ｈ．２６４ではピクチャに含まれるマクロブロック毎に異なる係数値を用いることができるため、１つのピクチャに対して１つの量子化値を決定するための処理が必要になる。そこで本実施の形態では下記のいずれかの方法を用いて抽出する量子化値を決定する。
（１）再符号化の対象とするピクチャの全ての符号化ブロックで使用している量子化値の中で最も小さな係数値を選択する。
（２）再符号化の対象とするピクチャの先頭の符号化ブロックで使用している量子化値を選択する。
（３）再符号化の対象とするピクチャの最後の符号化ブロックで使用している量子化値を選択する。
（４）再符号化の対象とするピクチャ内の複数の符号化ブロックで使用している量子化値の平均係数値を選択する。
（５）再符号化の対象とするピクチャのヘッダ領域に記載されているピクチャの基準となる量子化値を選択する。
【００３８】
上記（１）の方式を選択することで、全ての符号化ブロックが少なくとも変換前の量子化精度よりも高い精度での量子化を行なうこととなるため、ピクチャ全体において変換後の画質劣化を最小限に抑制できるという効果を奏する。
【００３９】
また上記（２）の方式を選択することで、ピクチャの再符号化処理の開始直後で量子化値を決定できるため、処理遅延を最小限に抑えて再符号化を行なうことができるという効果を奏する。
【００４０】
また上記（３）の方式を選択することで、ピクチャ内でのブロック単位のレート制御による影響を加味した量子化値を使用できるため、ピクチャの途中で複雑さが急激に変化した場合でも変化後の量子化値を使って再符号化を行なうことができるという効果を奏する。
【００４１】
また上記（４）の方式を選択することで、ピクチャ内の平均的なブロックの量子化値を使用できるため、画質劣化の抑制と発生符号量の抑制の両方をバランスよく実施できるという効果を奏する。
【００４２】
また上記（５）の方式を選択することで、ピクチャのブロック層の再符号化処理を行なう前段で量子化値を決定できるため、処理遅延を最小限に抑えて再符号化を行なうことができるという効果を奏する。
【００４３】
次に量子化行列については、Ｈ．２６４ではピクチャで共通のものを使用するので再符号化の対象とするピクチャのヘッダ領域で定義される量子化行列をそのまま抽出すればよい。しかし量子化行列には、輝度成分用と、色差成分用とがあり、またそれぞれについて、縦８画素、横８画素からなるブロック単位で直交変換を行なう場合に使用するものと縦４画素、横４画素からなるブロック単位で直交変換を行なう場合に使用するものとが含まれる場合がある。本実施の形態ではその中から縦８画素、横８画素からなるブロック単位で直交変換を行なう場合に使用する量子化行列のみを抽出するものとする。なお、上記の構成に限定されるものではなく、縦４画素、横４画素からなるブロック単位で直交変換を行なう場合に使用する量子化行列を抽出する構成にしても構わない。
【００４４】
もし、輝度成分用および色差成分用のいずれか一方もしくは両方について量子化行列を抽出することができなかった場合は、量子化行列設定部においてＪＰＥＧの量子化行列は生成されることなく、予め定義されたＪＰＥＧ用の量子化行列を用いてＪＰＥＧ符号化部１０３において再符号化を行なう。
【００４５】
量子化行列設定部１００１は、量子化情報抽出部１０４から入力されるＨ．２６４で適用されている量子化値及び、量子化行列からＪＰＥＧ符号化部１０３において使用するＪＰＥＧの量子化行列を生成し、ＪＰＥＧ符号化部１０３に出力する。
【００４６】
ここで、Ｈ．２６４規格及び、ＪＰＥＧ規格に符号化若しくは、復号化する際の量子化処理について簡単に説明する。
【００４７】
符号化対象とする画素係数値（および予測差分係数値）を直交変換して得られるＤＣＴ係数を量子化する際、ＪＰＥＧ規格の符号化時において適用する量子化幅として、当該ＤＣＴ係数に設定された量子化行列の各周波数成分位置の係数値がそのまま適用される。しかし、Ｈ．２６４では量子化値（ＱＰ係数値）と量子化行列の各周波数成分位置の係数値を用いて量子化幅が決定される。
【００４８】
ＤＣＴ係数が有する各周波数成分で実際に適用される量子化幅がＨ．２６４とＪＰＥＧとでほぼ等しい係数値とすることができれば、再符号化の前後で同じ情報量を持つことになり、画質を劣化させることなく最適な符号量の配分が可能となる。それに対して、例えば再符号化時のＪＰＥＧの量子化幅が、入力されたＨ．２６４の量子化幅よりも小さくなる周波数成分があった場合は、画質は改善しないのに無駄に符号量を使用してしまうこととなる。逆に、再符号化時のＪＰＥＧの量子化幅が入力されたＨ．２６４の量子化幅よりも大きくなる周波数成分があった場合は、量子化誤差が拡大し再符号化後に画質が劣化してしまうことになる。
【００４９】
しかし上記の関係が成立するのはＨ．２６４とＪＰＥＧとで直交変換の性質が同等であり、さらに直交変換の入力となる画素係数値（および予測差分係数値）の生成方法が同等である必要がある。そのため、対象とするＨ．２６４の符号化ストリームは、全ての符号化ブロックが平均係数値予測による画面内予測を行なうモードで符号化されていて、さらに縦横それぞれ８画素からなるブロックを１単位として直交変換を行なうモードで符号化されているものであることが望ましい。
【００５０】
ここで、量子化行列設定部１００１の各構成要素について概要を説明する。
【００５１】
ＤＣ成分位置係数値算出部１０５は、量子化情報抽出部１０４によって抽出された量子化値及び、量子化行列を用いて、再符号化のために使用する量子化行列のＤＣ成分位置の係数値を決定する。
【００５２】
各位置係数値比率算出部１０６は、量子化情報抽出部１０４によって抽出された量子化行列を用いてＤＣ成分位置以外の各係数の係数値と、ＤＣ成分位置の係数値との比を示す比率情報を生成し、ＪＰＥＧ量子化行列生成部１０７に出力する。
【００５３】
ＪＰＥＧ量子化行列生成部１０７は、ＤＣ成分位置係数値算出部１０５から入力されるＤＣ成分の係数値と、各位置係数値比率算出部１０６から出力される比率情報を基に、ＪＰＥＧ符号化部１０３において適用するＪＰＥＧの量子化行列を生成する。
【００５４】
次に、量子化行列設定部１００１においてＨ．２６４の量子化値および量子化行列からＪＰＥＧの量子化行列を生成する方法について図２を用いて詳しく説明する。
【００５５】
図２は、動画像符号化ストリームに適用されていた量子化行列と、量子化値を基に、ＪＰＥＧに適用する量子化行列を生成する生成過程を示す図である。
【００５６】
まず、ＤＣ成分位置係数値算出部１０５は、Ｈ．２６４の量子化値とＨ．２６４の量子化行列のＤＣ成分位置の係数を入力として、求める量子化行列のＤＣ成分位置の係数値を算出する。このとき前述した理由から、ＤＣ成分位置におけるＨ．２６４の量子化幅とＪＰＥＧの量子化幅を一致させるように変換を行なう。
【００５７】
例えば（数１）のに示すような変換方法が考えられる。
【００５８】
【数１】
2010192950.tif 000003
【００５９】
このとき、ＪＰＥＧ＿ＱＭ（０，０）はＪＰＥＧの量子化行列のＤＣ成分位置の係数値、Ｈ．２６４＿ＱＰはＨ．２６４の量子化値、Ｈ．２６４＿ＱＭ（０，０）はＨ．２６４の量子化行列のＤＣ成分位置の係数値を示している。
【００６０】
例えば、図２の例のようにＨ．２６４の量子化値が２６、Ｈ．２６４の量子化行列のＤＣ成分位置の係数値が６であった場合、（数１）に代入して計算するとＪＰＥＧの量子化行列のＤＣ成分位置の係数値は５と算出される。
【００６１】
なお、上記の変換式は一例であり、Ｈ．２６４のストリームの復号化時に使用したＤＣ成分位置の量子化幅とＪＰＥＧの符号化時に使用するＤＣ成分位置の量子化幅が一致するような変換方法であれば別の変換式を用いてもよい。
【００６２】
次に、各位置係数値比率算出部１０６は、Ｈ．２６４の量子化行列を入力として各成分位置におけるＤＣ成分位置の係数値に対する比率を算出する。このとき各成分位置のＨ．２６４の量子化行列での比率とＪＰＥＧの量子化行列での比率とが等しくなるようにする。
【００６３】
例えばＨ．２６４復号化部１０１で処理されるマクロブロックサイズが８行８列サイズである場合、（数２）のような算出方法が考えられる。
【００６４】
【数２】
2010192950.tif 000004
【００６５】
このとき、ＪＰＥＧ＿ＱＭ＿ＲＡＴＥ（ｉ，ｊ）はＪＰＥＧの量子化行列の（ｉ，ｊ）成分位置の係数値のＤＣ成分位置の係数値に対する比率、Ｈ．２６４＿ＱＭ（ｉ，ｊ）はＨ．２６４の量子化行列の（ｉ，ｊ）成分位置の係数値、Ｈ．２６４＿ＱＭ（０，０）はＨ．２６４の量子化行列のＤＣ成分位置の係数値を示している。
【００６６】
例えば、図２の例のようにＨ．２６４の量子化行列のＤＣ成分位置の係数値が６、Ｈ．２６４の量子化行列の（２，３）成分位置の係数値が２１であった場合、（数２）に代入して計算するとＪＰＥＧの量子化行列の（２，３）成分位置の係数値のＤＣ成分位置の係数値に対する比率は３．５と算出される。
【００６７】
なお、上記の算出式は一例であり、各成分位置におけるＤＣ成分位置の係数値に対する比率がＨ．２６４とＪＰＥＧとで等しくなる算出方法であれば別の算出式を用いてもよい。
【００６８】
このようにして算出されたＤＣ成分位置係数値と各位置係数値比率を用いて（数３）のように成分毎に掛け合わせることによって、実際にＪＰＥＧの符号化で使用する量子化行列が生成される。
【００６９】
【数３】
2010192950.tif 000005
【００７０】
このとき、ＪＰＥＧ＿ＱＭ（ｉ，ｊ）はＪＰＥＧの量子化行列の（ｉ，ｊ）成分位置の係数値、ＪＰＥＧ＿ＱＭ＿ＲＡＴＥ（ｉ，ｊ）はＪＰＥＧの量子化行列の（ｉ，ｊ）成分位置の係数値のＤＣ成分位置の係数値に対する比率、ＪＰＥＧ＿ＱＭ（０，０）はＪＰＥＧの量子化行列のＤＣ成分位置の係数値を示している。
【００７１】
例えば、図２の例のようにＪＰＥＧの量子化行列のＤＣ成分位置の係数値が５、ＪＰＥＧの量子化行列の（２，３）成分位置の係数値のＤＣ成分位置の係数値に対する比率が３．５であった場合、（数３）に代入して計算するとＪＰＥＧの量子化行列の（２，３）成分位置の係数値は１７と算出される。
【００７２】
なお、ここでの説明ではＤＣ成分位置係数値算出部１０５と、各位置係数値比率算出部１０６とに分けて量子化行列を生成する方法を説明したが、これらを分けずに同時に計算する方法を用いてもよい。
【００７３】
このように、本実施の形態１では、Ｈ．２６４の動画像符号化ストリームからＪＰＥＧの静止画像符号化ストリームへ再符号化する際に、Ｈ．２６４の量子化値と量子化行列を用いてＪＰＥＧ規格の符号化時に適用する量子化行列を生成することにより周波数成分毎の量子化幅を同等のものとすることが可能となり、再符号化前の画質を維持したまま少ない符号量で再符号化を行なうことを実現している。
【００７４】
なお、本実施の形態では、Ｈ．２６４の動画像符号化ストリームからＪＰＥＧの静止画像符号化ストリームへ再符号化する場合について説明したが、直交変換を行なったマクロブロックに対して量子化を行なう符号化方式であれば、前記Ｈ．２６４やＪＰＥＧ以外の符号化フォーマットに対しても同様の方法を用いることができる。
【００７５】
（実施の形態２）
実施の形態１における画像再符号化装置１００は、ＪＰＥＧ量子化行列生成部１０７から出力されるＪＰＥＧ符号化部１０３において適用する量子化行列は、再符号化前の画質を維持したまま再符号化後に発生する符号量を抑えるための量子化行列であった。しかし、実施の形態１で設定した量子化行列は、再符号化前後の画質が変化しないように設定されたものであるため、実際にＪＰＥＧ符号化部１０３から出力される静止画像データの発生符号量に関しては考慮されていなかった。そこで、本実施の形態２においては、発生符号量を調整するように量子化行列を補正するＪＰＥＧ量子化行列補正部１０８を新たに備えることを特徴とする。
【００７６】
以下、本発明の実施の形態２における画像再符号化装置を、図面を参照しながら説明する。なお、実施の形態１と同様の構成を有する部分については、同一符号を付してその説明を省略する。このＪＰＥＧ量子化行列補正部１０８を追加することによって、再符号化の際に画質が劣化しても発生符号量を抑制する、もしくは発生符号量が増加しても画質劣化の可能性を抑えるという制御が可能となる。
【００７７】
図３は、本発明の実施の形態２における画像再符号化装置２００のブロック図である。
【００７８】
ＪＰＥＧ量子化行列補正部１０８は、量子化情報抽出部１０４から入力される量子化値と、ＪＰＥＧ量子化行列生成部１０７から入力される量子化行列と、ＪＰＥＧ符号化部１０３から出力される静止画像データの発生符号量抑制指示を基に、ＪＰＥＧ符号化部１０３において使用する量子化行列の各要素係数値の補正を行なう。
【００７９】
以下、ＪＰＥＧ量子化行列補正部１０８における具体的動作フローに関して図４を用いて説明する。
【００８０】
Ｓ４０１では、符号量抑制指示があるかを判定する。符号量抑制指示がある場合、Ｓ４０２に進み、符号量抑制指示がない場合はＳ４０３に進む。
【００８１】
Ｓ４０２では、符号量抑制指示を基に設定される目標符号量に応じて、ＪＰＥＧ量子化行列生成部１０７から入力される量子化行列の各係数値を入力時より大きな係数値になるように補正して動作を終了する。係数値を大きくすることにより量子化幅が大きくなり、画質は劣化するが符号量を削減することが可能となる。
【００８２】
このとき補正の方法としては、例えば、目標符号量毎に代表となる量子化行列を予め用意しておき、前記代表となる量子化行列の各係数値と、ＪＰＥＧ量子化行列生成部１０７から入力された量子化行列の各係数値とを比較して、前者の方が係数値が大きな係数値のみをその係数値に置き換えるという方法がある。この方法を用いると、既に充分に係数値が大きい成分に対してはそれ以上画質を劣化させることなく、もともと符号量を多く必要としていた係数値の小さい成分に対してのみ量子化幅を大きくして符号量を削減することが可能となる。なお、上記の方法に限定されるものではなく量子化係数を大きくする補正方法であればどのようなものを利用しても構わない。
【００８３】
Ｓ４０３では、量子化情報抽出部１０４から入力される量子化値が所定の閾係数値以下であるかを判定する。閾係数値以下である場合、Ｓ４０４に進み、閾係数値よりも大きいときはそのまま動作を終了する。
【００８４】
Ｓ４０４では、入力される量子化値に応じて、ＪＰＥＧ量子化行列生成部１０７から入力される量子化行列の係数値を入力時より小さな係数値になるように補正して動作を終了する。
【００８５】
上記、量子化情報抽出部１０４から入力される量子化値が大きい場合は、Ｈ．２６４とＪＰＥＧとの直交変換の方式の違いおよび、量子化の方式の違いによる誤差は、Ｈ．２６４の符号化時に既に発生している誤差に対して充分に小さいものとなる。そのため、ＪＰＥＧ量子化行列生成部１０７から入力された量子化行列の係数値を入力時より小さな係数値にしても、そこでの画質レベルに対しての画質改善は意味をなさない範囲であり冗長な符号量の増加となってしまう。それに対して、量子化値が充分に小さい場合は、Ｈ．２６４の符号化時に既に発生している誤差が非常に小さなものとなるため、Ｈ．２６４とＪＰＥＧとの直交変換の方式の違いおよび、量子化の方式の違いによる誤差の割合が無視できないものとなる。そのため、ＪＰＥＧ量子化行列生成部１０７から入力される量子化行列の係数値を入力時より小さな係数値にすることでＤＣＴや量子化の方式の違いによる誤差の影響を抑制することが可能となり、符号量は増加してしまうがそこでの画質レベルに対しての画質劣化の抑制効果は有効なものとなる。前記所定の閾値において、Ｈ．２６４の符号化時に既に発生している誤差と、Ｈ．２６４とＪＰＥＧとの直交変換および量子化の方式の違いによる誤差との、どちらが支配的になるかの境界の量子化値を指定することにより、ここでの制御を効果的に行なうことが可能となる。
【００８６】
なお、ＪＰＥＧ量子化行列補正部１０８における量子化行列の補正方法としては、例えば、量子化情報抽出部１０４から入力される量子化値に応じた乗算係数を定義しておき、ＪＰＥＧ量子化行列生成部１０７から入力される量子化行列の各係数値に、前記乗算係数を掛け合わせることで補正後の量子化行列を取得するという方法がある。この方法を用いると、量子化行列の形状特性を維持したまま全成分における量子化幅を小さくできるので、どのようなストリームに対しても効果的な補正を行なうことが可能となる。
【００８７】
このように、本実施の形態２では、Ｈ．２６４の動画像符号化ストリームからＪＰＥＧの静止画像符号化ストリームへ再符号化する際に、Ｈ．２６４の量子化値と量子化行列を用いて生成されたＪＰＥＧ符号化部１０３において利用される量子化行列に対し補正を行なう機能を有することにより、効果的に符号量を抑制することや画質劣化を抑制することを簡易な方法によって実現している。
【００８８】
なお、本実施の形態２では、図４にあるＳ４０１からＳ４０４の構成を備える補正方法を説明したが、係数値を大きくする制御のみを行なうＳ４０１とＳ４０２のみの構成を備える補正方法を用いてもよい。この方法を用いると、符号量の抑制に特化することでＪＰＥＧ量子化行列の補正のための処理を簡略化することが可能となり、必要とされる以上の画質改善のために符号量を消費することなく再符号化を行なうことができる。
【００８９】
逆に、係数値を小さくする制御のみを行なうＳ４０３とＳ４０４のみの構成を備える補正方法を用いてもよい。この方法を用いると、符号量の画質の向上に特化することでＪＰＥＧ量子化行列の補正のための処理を簡略化することが可能となり、Ｈ．２６４の符号化時点の画質に応じて最も画質劣化の少ない再符号化を行なうことができる。
【００９０】
（他の実施の形態）
さらに、上記各実施の形態で示した画像再符号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００９１】
なお、上記各実施の形態で示した画像再符号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【００９２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００９３】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行なってもよい。
【産業上の利用可能性】
【００９４】
本発明にかかる画像再符号化装置は、例えばデジタルビデオカメラ、デジタルスチルカメラ、デジタルビデオレコーダ、携帯電話、およびパーソナルコンピューター等で、動画像の符号化ストリームから任意のピクチャを静止画像の符号化ストリームとして変換する装置として有用である。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施の形態１における画像再符号化装置のブロック図
【図２】動画像符号化ストリームに適用されていた量子化行列と、量子化値を基に、ＪＰＥＧに適用する量子化行列を生成する生成過程を示す図
【図３】本発明の実施の形態２における画像再符号化装置のブロック図
【図４】ＪＰＥＧ量子化行列補正部における具体的動作フローチャート
【符号の説明】
【００９６】
１０１  Ｈ．２６４復号化部
１０２  ピクチャメモリ
１０３  ＪＰＥＧ符号化部
１０４  量子化情報抽出部
１０５  ＤＣ成分位置係数値算出部
１０６  各位置係数値比率算出部
１０７  ＪＰＥＧ量子化行列生成部
１０８  ＪＰＥＧ量子化行列補正部
【図１】
2010192950.tif 000006
【図２】
2010192950.tif 000007
【図３】
2010192950.tif 000008
【図４】
2010192950.tif 000009