(57)【要約】【課題】  デコーダの仕様に依存せずポスト処理を行う画像信号処理方法、画像信号処理装置、画像信号処理プログラムおよび集積回路装置を提供することを目的とする。【解決手段】  符号化パラメータ推定部１１０aではデコード部１１２から入力された復号画像を用いて、符号化時に用いられた量子化パラメータ、ピクチャタイプおよび動きベクトルを推定し、ポスト処理部１１１に送信する。ポスト処理部１１１は前記入力された量子化パラメータ、ピクチャタイプおよび動きベクトルを用いてポスト処理を行い、ブロックノイズやモスキートノイズを除去する。【選択図】      図１
2005176337.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を直交変換と量子化とを含む方法により符号化した符号列を復号して得られた復号画像にポスト処理をする画像信号処理方法であって、
前記復号画像から、符号化時に用いられた符号化パラメータを推定する符号化パラメータ推定工程と、
前記推定された符号化パラメータを用いて、前記復号画像に対して前記ポスト処理を行うポスト処理工程と、
を備える画像信号処理方法。
【請求項２】
前記推定された符号化パラメータは、前記量子化に用いられた量子化パラメータと、前記復号画像のピクチャタイプと、前記復号画像の動きベクトルとのうち少なくとも１つを含む、
請求項１に記載の画像信号処理方法。
【請求項３】
前記推定された符号化パラメータは、前記量子化パラメータを含み、
前記符号化パラメータ推定工程は、前記復号画像の直交変換係数における各レベルの出現頻度に基づいて、前記量子化パラメータを推定する、
請求項２に記載の画像信号処理方法。
【請求項４】
前記符号化パラメータ推定工程は、前記直交変換係数のうち出現頻度の最も高いレベルを用いて、前記量子化パラメータを推定する、
請求項３に記載の画像信号処理装方法。
【請求項５】
前記推定された符号化パラメータは、前記ピクチャタイプを含み、
前記符号化パラメータ推定工程は、前記復号画像の直交変換係数における各レベルの出現頻度と、過去の復号画像の直交変換係数における各レベルの出現頻度とを比較することによって、前記ピクチャタイプを推定する、
請求項２〜４のいずれかに記載の画像信号処理方法。
【請求項６】
前記推定された符号化パラメータは、前記量子化パラメータおよび前記ピクチャタイプを含み、
前記符号化パラメータ推定工程は、前記ピクチャタイプによって、前記量子化パラメータの推定方法を切り替える、
請求項２〜５のいずれかに記載の画像信号処理方法。
【請求項７】
前記推定された符号化パラメータは、前記ピクチャタイプおよび前記動きベクトルを含み、
前記符号化パラメータ推定工程は、前記ピクチャタイプによって、前記動きベクトルの推定方法を切り替える、
請求項２〜６のいずれかに記載の画像信号処理方法。
【請求項８】
前記推定された符号化パラメータは、前記量子化パラメータ、前記ピクチャタイプおよび前記動きベクトルを含み、
前記符号化パラメータ推定工程は、前記ピクチャタイプと前記動きベクトルの大きさとによって前記量子化パラメータの推定方法を切り替える、
請求項２〜７のいずれかに記載の画像信号処理方法。
【請求項９】
前記推定された符号化パラメータは、前記量子化パラメータおよび前記ピクチャタイプを含み、
前記符号化パラメータ推定工程は、前記ピクチャタイプがフレーム内符号化画像の場合、前記復号画像の直交変換係数分布に基づいて量子化パラメータを推定する、
請求項２〜７のいずれかに記載の画像信号処理方法。
【請求項１０】
前記推定された符号化パラメータは、前記量子化パラメータ、前記ピクチャタイプおよび前記動きベクトルを含み、
前記符号化パラメータ推定工程は、前記ピクチャタイプがフレーム間符号化画像の場合、前記復号画像、過去の復号画像および前記動きベクトルを用いて作成された差分画像の直交変換係数分布に基づいて量子化パラメータを推定する、
請求項２〜７または９のいずれかに記載の画像信号処理方法。
【請求項１１】
前記推定された符号化パラメータは、前記動きベクトルを含み、
前記符号化パラメータ推定工程は、前記復号画像、過去の復号画像および前記動きベクトルの候補である動きベクトル候補を用いて作成された差分画像の直交変換係数における各レベルの出現頻度が周期的なピークを有する場合、前記動きベクトル候補を前記動きベクトルとして推定する、
請求項２〜７，９または１０のいずれかに記載の画像信号処理方法。
【請求項１２】
前記推定された符号化パラメータは、前記量子化パラメータおよび前記ピクチャタイプを含み、
前記符号化パラメータ推定工程は、前記ピクチャタイプと、前記復号画像と過去の復号画像とから求めた動き量の大きさとによって、前記量子化パラメータの推定方法を切り替える、
請求項２〜６のいずれかに記載の画像信号処理方法。
【請求項１３】
前記ポスト処理は、前記推定された符号化パラメータを用いてブロックノイズを除去する処理を含む、
請求項１〜１２のいずれかに記載の画像信号処理方法。
【請求項１４】
前記ポスト処理は、前記推定された符号化パラメータを用いてモスキートノイズを除去する処理を含む、
請求項１〜１３のいずれかに記載の画像信号処理方法。
【請求項１５】
画像信号を直交変換と量子化とを含む方法により符号化した符号列を復号して得られた復号画像にポスト処理をする画像信号処理装置であって、
前記復号画像から、符号化時に用いられた符号化パラメータを推定する符号化パラメータ推定手段と、
前記推定された符号化パラメータを用いて、前記復号画像に対して前記ポスト処理を行うポスト処理手段と、
を備える画像信号処理装置。
【請求項１６】
前記符号化パラメータ推定手段は、復号画像を直交変換する直交変換手段と、前記復号画像の直交変換係数を格納するメモリとを有する、
請求項１５記載の画像信号処理装置。
【請求項１７】
コンピュータにより、画像信号を直交変換と量子化とを含む方法により符号化した符号列を復号して得られた復号画像にポスト処理をする画像信号処理方法を実行するための画像信号処理プログラムであって、
前記画像信号処理プログラムは、コンピュータに、
前記復号画像から、符号化時に用いられた符号化パラメータを推定する符号化パラメータ推定工程と、
前記推定された符号化パラメータを用いて、前記復号画像に対して前記ポスト処理を行うポスト処理工程と、
を備える画像信号処理方法、
を行わせるものである画像信号処理プログラム。
【請求項１８】
画像信号を直交変換と量子化とを含む方法により符号化した符号列を復号して得られた復号画像にポスト処理をする集積回路装置であって、
前記復号画像から、符号化時に用いられた符号化パラメータを推定する符号化パラメータ推定回路と、
前記推定された符号化パラメータを用いて、前記復号画像に対して前記ポスト処理を行うポスト処理回路と、
を備える集積回路装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理方法、画像信号処理装置、画像信号処理プログラムおよび集積回路装置、特に、ブロック毎に圧縮符号化された画像の復号画像を高画質化する画像信号処理方法、画像信号処理装置、画像信号処理プログラムおよび集積回路装置に関するものである。
【背景技術】
【０００２】
近年、放送や通信および蓄積の分野における画像の高能率圧縮符号化方法として、MPEG(Moving Picture Experts Group)方式等が広く用いられている。MPEG方式は画像の空間的および時間的冗長度を削減して符号化を行う。MPEG方式におけるピクチャタイプを大きく分けると、空間的な依存関係を利用して符号化を行うフレーム内符号化画像と、時間的な依存関係を利用して符号化を行うフレーム間符号化画像とに分けられる。フレーム内符号化画像はフレーム内の画素値をDCT、量子化して可変長符号化することにより、空間的冗長度を削減する。一方、フレーム間符号化画像は、符号化対象画像と過去の画像との差分値をDCT、量子化して可変長符号化することにより、時間的冗長度を削減することで符号化効率を上げる。
【０００３】
通常、MPEG方式は伝送ビットレートが低くなる（圧縮率が高くなる）と、情報量を大幅に削減するため、符号化ノイズが目立ち、画質が劣化する。符号化ノイズの代表的なものとしては、ブロックノイズ（ブロック歪みとも呼ばれる）およびモスキートノイズ（リンギングノイズ、コロナノイズとも呼ばれる）がある。
【０００４】
ブロックノイズは、ブロックの境界が視覚的にタイル状に見える現象である。これは、隣り合ったブロック間の低域周波数成分のくい違い及び高域周波数成分の欠如により発生するノイズである。
【０００５】
モスキートノイズは、エッジ付近に蚊が飛んでいるようにノイズが見える現象である。これは、ブロック内における高域周波数成分の欠如により発生するノイズである。
【０００６】
ブロックノイズおよびモスキートノイズは画質劣化として視覚的に目立つため、復号後にこれらのノイズを除去することが多い。一般に復号画像に対してノイズ除去等の処理を行うことをポスト処理と呼ぶ。
【０００７】
ブロックノイズおよびモスキートノイズを除去するポスト処理方法についての従来技術が知られている（例えば、特許文献１〜特許文献３参照。）。
【０００８】
特許文献１では、符号化時に用いられた量子化パラメータに基づいて、ローパスフィルタとハイパスフィルタを切り替えて復号画像に適用する。これにより、復号画像に発生するブロックノイズおよびモスキートノイズを軽減しかつ画像の輪郭を強調した復号画像を得ている。
【０００９】
特許文献２では、MPEG方式のピクチャタイプによって適応的にフィルタ処理を変化させることにより、ブロックノイズおよびモスキートノイズを軽減している。
【００１０】
特許文献３では、隣接ブロックが類似した動きベクトルを持つかどうかによってブロック歪みを判定し、適応的にフィルタをかけることによってブロック歪みを除去している。
【００１１】
以上の従来例を実施するためのブロック図を図２７に示す。図２７において、デコード部０１２は、入力された符号列を復号し、復号画像および動きベクトル、量子化パラメータ、ピクチャタイプといった符号化パラメータをポスト処理部０１１に送信する。ポスト処理部０１１は、入力された復号画像に対して符号化パラメータを用いてポスト処理を行い、出力画像を作成する。
【特許文献１】特開２００３−１８６００号公報
【特許文献２】特表２００１−５１０９５２号公報
【特許文献３】特開２００２−３３０４３６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上記従来の方法では、ポスト処理部０１１はデコード部０１２から量子化パラメータやピクチャタイプおよび動きベクトル等の符号化パラメータを受け取る必要がある。しかし、デコード部０１２から符号化パラメータを取得できない場合は、ポスト処理部０１１は上記ノイズ除去法を行うことができない。例えば、既に開発済みのデコーダ部があって、その再生画像を高画質化するためにポスト処理機能を追加する時、デコーダ部とポスト処理部との仕様の違いから符号化パラメータを受け渡しできない場合等がある。
【００１３】
本発明は、上記のような従来法の問題点を解決するためになされたもので、デコーダの仕様に依存せずポスト処理を行う画像信号処理方法、画像信号処理装置、画像信号処理プログラムおよび集積回路装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
請求項１に記載の画像信号処理方法は、画像信号を直交変換と量子化とを含む方法により符号化した符号列を復号して得られた復号画像にポスト処理をする画像信号処理方法であって、符号化パラメータ推定工程と、ポスト処理工程とを備えている。符号化パラメータ推定工程は、復号画像から、符号化時に用いられた符号化パラメータを推定する。ポスト処理工程は、推定された符号化パラメータを用いて、復号画像に対してポスト処理を行う。
【００１５】
ここで、符号化に用いられる画像信号を直交変換と量子化とを含む方法とは、例えば、H.261、H.263、MPEG1、2、4、H.264/AVCなどといった方式による符号化などである（以下、この欄において同じ。）が、これ以外の方法であってもよい。この場合、直交変換としては、例えば、離散コサイン変換（DCT）を始め、ウォルシュ・アダマール変換（WHT）、離散フーリエ変換（DFT）、離散サイン変換（DST）、ハール変換、スラント変換、カルーネン／レーベ変換（KLT）、ウェーブレット変換などが用いられてもよい。
【００１６】
また、ポスト処理とは、例えば、復号された復号画像を表示する前あるいは復号画像をメモリなどに格納する前に、復号画像に対して行われる画像処理である。より詳しくは、ポスト処理とは、例えば、ブロックノイズやモスキートノイズなどと呼ばれる符号化ノイズを軽減するための処理や、復号画像のフレームレート変換、画像サイズ変換、インターレース・プログレッシブ変換（ＩＰ変換）などの時間・空間解像度変換処理などである（以下、この欄において同じ。）。なお、このポスト処理の具体的内容は、上記した規格において推奨されているものであってもよく、例えば、H.264/AVCにおいて推奨されているデブロッキング・フィルタ処理などであってもよい。
【００１７】
請求項２に記載の画像信号処理方法は、請求項１に記載の画像信号処理方法であって、推定された符号化パラメータは、量子化に用いられた量子化パラメータと、復号画像のピクチャタイプと、復号画像の動きベクトルとのうち少なくとも１つを含む。
【００１８】
ここで、量子化パラメータは、例えば、量子化スケールなどとも呼ばれる値などであり、量子化ステップを定めるための値などである。ピクチャタイプは、例えば、フレーム内符号化画像やフレーム間符号化画像などといった符号化方式を示している。動きベクトルとは、フレーム間符号化に際して、どの位置の画素を参照して符号化を行ったのかを示すための情報などである。
【００１９】
請求項３に記載の画像信号処理方法は、請求項２に記載の画像信号処理方法であって、推定された符号化パラメータは、量子化パラメータを含む。符号化パラメータ推定工程は、復号画像の直交変換係数における各レベルの出現頻度に基づいて、量子化パラメータを推定する。
【００２０】
ここで、直交変換係数におけるレベルとは、例えば、直交変換係数の値そのものなどである。
【００２１】
請求項４に記載の画像信号処理方法は、請求項３に記載の画像信号処理方法であって、符号化パラメータ推定工程は、直交変換係数のうち出現頻度の最も高いレベルを用いて、量子化パラメータを推定する。
【００２２】
請求項５に記載の画像信号処理方法は、請求項２〜４のいずれかに記載の画像信号処理方法であって、推定された符号化パラメータは、ピクチャタイプを含む。符号化パラメータ推定工程は、復号画像の直交変換係数における各レベルの出現頻度と、過去の復号画像の直交変換係数における各レベルの出現頻度とを比較することによって、ピクチャタイプを推定する。
【００２３】
請求項６に記載の画像信号処理方法は、請求項２〜５のいずれかに記載の画像信号処理方法であって、推定された符号化パラメータは、量子化パラメータおよびピクチャタイプを含む。符号化パラメータ推定工程は、ピクチャタイプによって、量子化パラメータの推定方法を切り替える。
【００２４】
請求項７に記載の画像信号処理方法は、請求項２〜６のいずれかに記載の画像信号処理方法であって、推定された符号化パラメータは、ピクチャタイプおよび動きベクトルを含む。符号化パラメータ推定工程は、ピクチャタイプによって、動きベクトルの推定方法を切り替える。
【００２５】
請求項８に記載の画像信号処理方法は、請求項２〜７のいずれかに記載の画像信号処理方法であって、推定された符号化パラメータは、量子化パラメータ、ピクチャタイプおよび動きベクトルを含む。符号化パラメータ推定工程は、ピクチャタイプと動きベクトルの大きさとによって量子化パラメータの推定方法を切り替える。
【００２６】
請求項９に記載の画像信号処理方法は、請求項２〜７のいずれかに記載の画像信号処理方法であって、推定された符号化パラメータは、量子化パラメータおよびピクチャタイプを含む。符号化パラメータ推定工程は、ピクチャタイプがフレーム内符号化画像の場合、復号画像の直交変換係数分布に基づいて量子化パラメータを推定する。
【００２７】
請求項１０に記載の画像信号処理方法は、請求項２〜７または９のいずれかに記載の画像信号処理方法であって、推定された符号化パラメータは、量子化パラメータ、ピクチャタイプおよび動きベクトルを含む。符号化パラメータ推定工程は、ピクチャタイプがフレーム間符号化画像ならば、復号画像、過去の復号画像および動きベクトルを用いて作成された差分画像の直交変換係数分布に基づいて量子化パラメータを推定する。
【００２８】
請求項１１に記載の画像信号処理方法は、請求項２〜７，９または１０のいずれかに記載の画像信号処理方法であって、推定された符号化パラメータは、動きベクトルを含む。符号化パラメータ推定工程は、復号画像、過去の復号画像および動きベクトルの候補である動きベクトル候補を用いて作成された差分画像の直交変換係数における各レベルの出現頻度が周期的なピークを有する場合、動きベクトル候補を動きベクトルとして推定する。
【００２９】
請求項１２に記載の画像信号処理方法は、請求項２〜６のいずれかに記載の画像信号処理方法であって、推定された符号化パラメータは、量子化パラメータおよびピクチャタイプを含む。符号化パラメータ推定工程は、ピクチャタイプと、復号画像と過去の復号画像とから求めた動き量の大きさとによって、量子化パラメータの推定方法を切り替える。
【００３０】
ここで、動き量とは、例えば、復号画像と過去の画像とのSAD(Sum of Absolute Differences)あるいはSSD(Sum of Square Differences)などに基づいて定められる値などである。
【００３１】
請求項１３に記載の画像信号処理方法は、請求項１〜１２のいずれかに記載の画像信号処理方法であって、ポスト処理は、推定された符号化パラメータを用いてブロックノイズを除去する処理を含む。
【００３２】
請求項１４に記載の画像信号処理方法は、請求項１〜１３のいずれかに記載の画像信号処理方法であって、ポスト処理は、推定された符号化パラメータを用いてモスキートノイズを除去する処理を含む。
【００３３】
請求項１５に記載の画像信号処理装置は、画像信号を直交変換と量子化とを含む方法により符号化した符号列を復号して得られた復号画像にポスト処理をする画像信号処理装置であって、符号化パラメータ推定手段と、ポスト処理手段とを備えている。符号化パラメータ推定手段は、復号画像から、符号化時に用いられた符号化パラメータを推定する。ポスト処理手段は、推定された符号化パラメータを用いて、復号画像に対してポスト処理を行う。
【００３４】
請求項１６に記載の画像信号処理装置は、請求項１５記載の画像信号処理装置であって、符号化パラメータ推定手段は、復号画像を直交変換する直交変換手段と、復号画像の直交変換係数を格納するメモリとを有する。
【００３５】
請求項１７に記載の画像信号処理プログラムは、コンピュータにより、画像信号を直交変換と量子化とを含む方法により符号化した符号列を復号して得られた復号画像にポスト処理をする画像信号処理方法を実行するための画像信号処理プログラムであって、画像信号処理プログラムは、コンピュータに、符号化パラメータ推定工程と、ポスト処理工程とを備える画像信号処理方法を行わせるものである。符号化パラメータ推定工程は、復号画像から、符号化時に用いられた符号化パラメータを推定する。ポスト処理工程は、推定された符号化パラメータを用いて、復号画像に対してポスト処理を行う。
【００３６】
請求項１８に記載の集積回路装置は、画像信号を直交変換と量子化とを含む方法により符号化した符号列を復号して得られた復号画像にポスト処理をする集積回路装置であって、符号化パラメータ推定回路と、ポスト処理回路とを備えている。符号化パラメータ推定回路は、復号画像から、符号化時に用いられた符号化パラメータを推定する。ポスト処理回路は、推定された符号化パラメータを用いて、復号画像に対してポスト処理を行う。
【発明の効果】
【００３７】
本発明の請求項１に記載の発明では、ポスト処理工程は、符号化パラメータ推定工程が推定した符号化パラメータを用いて、デコーダとは独立にポスト処理することが可能である。すなわち、ポスト処理工程において、デコーダから直接符号化パラメータを取得できない場合でも、デコーダの仕様に依存せず復号画像のノイズを軽減できるという効果を有する。
【００３８】
本発明の請求項２に記載の発明では、特許文献１のように量子化パラメータを使用する方法や、特許文献２のようにピクチャタイプを使用する方法あるいは特許文献３のように動きベクトルを使用するポスト処理方法をデコーダとは独立に行い、復号画像に発生するノイズを軽減できるという効果を有する。
【００３９】
本発明の請求項３または４に記載の発明では、復号画像の直交変換係数分布において出現頻度が最も高いDCT係数のレベルがわかれば量子化パラメータを推定でき、量子化パラメータを用いるノイズ除去法によって復号画像のノイズを除去できるという効果を有する。
【００４０】
本発明の請求項５に記載の発明では、現在の復号画像と過去の復号画像との直交変換係数を比較することにより、動きが小さいためにフレーム内符号化画像の特徴を引き継いだフレーム間符号化画像も正しく判定でき、精度の高いピクチャタイプの推定を行うことができるという効果を有する。
【００４１】
本発明の請求項６に記載の発明では、復号画像のピクチャタイプに応じて量子化パラメータの推定方法を切り替えることができ、フレーム内符号化画像とフレーム間符号化画像の量子化パラメータをそれぞれの特徴に応じて推定することができるという効果を有する。
【００４２】
本発明の請求項７に記載の発明では、復号画像のピクチャタイプに応じて、動きベクトルが存在したかどうかの判断ができ、ブロックマッチングに要する処理量を削減できるという効果を有する。
【００４３】
本発明の請求項８に記載の発明では、復号画像のピクチャタイプや動きベクトルの大きさに応じて量子化パラメータの推定方法を切り替えることができ、より適当な量子化パラメータを推定することができるという効果を有する。
【００４４】
本発明の請求項９に記載の発明では、フレーム内符号化の場合には、例えば、復号画像の直交変換係数分布において出現回数のピークが周期的になることなどから量子化パラメータを推定することができるという効果を有する。
【００４５】
本発明の請求項１０に記載の発明では、フレーム間符号化画像の場合にも復号画像と過去の復号画像との差分画像を直交変換することにより、直交変換係数分布における出現回数のピークが周期的になり、フレーム内符号化画像と同じように量子化パラメータを推定することができるという効果を有する。
【００４６】
本発明の請求項１１に記載の発明では、推定した動きベクトルを用いて作成した差分画像の直交変換係数の出現分布に、周期的なピークが出現するまで動きベクトルの検出を繰り返すため、精度の高い動きベクトル推定を行うことができるという効果を有する。
【００４７】
本発明の請求項１２に記載の発明では復号画像と過去の復号画像との差分などによって動き量を求めるため、ブロックマッチング等を省略することができ、処理量を削減できるという効果を有する。
【００４８】
本発明の請求項１３に記載の発明では、推定した符号化パラメータを用いてデコーダとは独立にブロックノイズを除去することができ、復号画像の画質劣化を軽減することができるという効果を有する。
【００４９】
本発明の請求項１４に記載の発明では、推定した符号化パラメータを用いてデコーダとは独立にモスキートノイズを除去することができ、復号画像の画質劣化を軽減することができるという効果を有する。
【００５０】
本発明の請求項１５に記載の発明では、ポスト処理手段は、符号化パラメータ推定手段が推定した符号化パラメータを用いて、デコーダとは独立にポスト処理することが可能である。すなわち、ポスト処理手段において、デコーダから直接符号化パラメータを取得できない場合でも、デコーダの仕様に依存せず復号画像のノイズを軽減できるという効果を有する。
【００５１】
本発明の請求項１６に記載の発明では、メモリに格納した復号画像の直交変換係数を用いて符号化パラメータを推定することができ、より適当な符号化パラメータを用いてポスト処理できるという効果を有する。
【００５２】
本発明の請求項１７に記載の発明では、ポスト処理工程は、符号化パラメータ推定工程が推定した符号化パラメータを用いて、デコーダとは独立にポスト処理することが可能である。すなわち、ポスト処理工程において、デコーダから直接符号化パラメータを取得できない場合でも、デコーダの仕様に依存せず復号画像のノイズを軽減できるという効果を有する。
【００５３】
本発明の請求項１８に記載の発明では、ポスト処理回路は、符号化パラメータ推定回路が推定した符号化パラメータを用いて、デコーダとは独立にポスト処理することが可能である。すなわち、ポスト処理回路において、デコーダから直接符号化パラメータを取得できない場合でも、デコーダの仕様に依存せず復号画像のノイズを軽減できるという効果を有する。
【発明を実施するための最良の形態】
【００５４】
以下、図面を参照しながら本発明の実施の形態について説明する。本実施の形態では、MPEG-4方式により生成された画像の符号列を例とする。
【００５５】
（実施の形態１）
図１は本発明の実施の形態１を表すブロック図であり、符号化パラメータ推定部１１０a、ポスト処理部１１１およびデコード部１１２から成る。図２７の従来例とは、符号化パラメータ推定部１１０aを有する点と、デコード部１１２から符号化パラメータが出力されない点が異なる。
【００５６】
デコード部１１２は入力された符号列を復号し、復号画像を符号化パラメータ推定部１１０aおよびポスト処理部１１１に出力する。
【００５７】
符号化パラメータ推定部１１０aはデコード部１１２から復号画像を入力として受け取り、入力された復号画像から符号化時に用いられた量子化パラメータ、ピクチャタイプおよび動きベクトルを推定する。そして、推定した量子化パラメータ、ピクチャタイプおよび動きベクトルをポスト処理部１１１へ出力する。
【００５８】
ポスト処理部１１１はデコード部１１２から受け取った復号画像に対し、符号化パラメータ推定部１１０aから受け取った量子化パラメータ、ピクチャタイプおよび動きベクトルを用いた従来法によりブロックノイズを除去する。
【００５９】
次に、本実施の形態１における符号化パラメータ推定部１１０aの構成について説明する。図２は符号化パラメータ推定部１１０aの内部構成を示したブロック図である。図２に示すように符号化パラメータ推定部１１０aは、DCT(Discrete Cosine Transform)を行う直交変換部１２０と、復号画像のピクチャタイプを推定するピクチャタイプ推定部１２１と、過去の復号画像のDCT係数を格納する直交変換係数メモリ１２２と、動きベクトルを推定する動きベクトル推定部１２３と、過去の復号画像を格納するフレームメモリ１２４と、量子化パラメータを推定する量子化パラメータ推定部１２５と、過去の量子化パラメータを格納する量子化パラメータメモリ１２６から成る。
【００６０】
次に、符号化パラメータ推定部１１０aの動作について説明する。まず、直交変換部１２０はデコード部１１２から入力された復号画像をDCTし、直交変換係数をピクチャタイプ推定部１２１、量子化パラメータ推定部１２５および直交変換係数メモリ１２２に送信する。次にピクチャタイプ推定部１２１は、直交変換係数メモリ１２２から過去の復号画像のDCT係数を受け取り、第１の所定の方法に従って復号画像のピクチャタイプを推定する。そして、ピクチャタイプ推定部１２１は推定したピクチャタイプを動きベクトル推定部１２３、量子化パラメータ推定部１２５およびポスト処理部１１１へ送信する。直交変換係数メモリ１２２は直交変換部１２０から復号画像のDCT係数を受け取り、メモリに格納する。
【００６１】
次に、動きベクトル推定部１２３は、フレームメモリ１２４から受け取った過去の復号画像と、デコード部１１２から入力された現在の復号画像およびピクチャタイプ推定部１２１から入力されたピクチャタイプを用いて、第２の所定の方法に従って動きベクトルを推定し、推定した動きベクトルを量子化パラメータ推定部１２５およびポスト処理部１１１に送信する。フレームメモリ１２４はデコード部１１２から現在の復号画像を受け取り、メモリに格納する。
【００６２】
量子化パラメータ推定部１２５は入力された復号画像のDCT係数、ピクチャタイプ、動きベクトルおよび過去の復号画像から推定した量子化パラメータを用いて第３の所定の方法に従って量子化パラメータを推定し、量子化パラメータメモリ１２６およびポスト処理部１１１へ量子化パラメータを出力する。量子化パラメータメモリ１２６は、量子化パラメータ推定部１２５から受け取った量子化パラメータの値をメモリに格納する。
【００６３】
次に、ピクチャタイプを推定する第１の所定の方法について説明する。フレーム内符号化画像はフレーム内の画素値をDCT、量子化して可変長符号化するため、符号列を可変長復号し、逆量子化、逆DCTすると復号画像が得られる。そのため、フレーム内符号化の復号画像を直交変換部１２０においてDCTすると、図３のように符号化時の量子化パラメータに応じた周期でDCT係数の各レベルの出現回数にピークが現れ、逆に出現回数０回のレベルが多数を占める傾向が現れる。なお、DCT係数のレベルとは、DCT係数の値を意味している（以下、この欄において同じ。）。
【００６４】
一方、フレーム間符号化画像は、符号化対象画像と参照画像との差分値をDCT、量子化して可変長符号化するため、デコード部１１２は符号列を可変長復号し、逆量子化および逆DCTした後に参照画像と加算することによって復号画像を得る。そのため、フレーム間符号化の復号画像を直交変換部１２０においてDCTすると、参照画像を加算する影響により、図４のように各レベルの出現回数に周期的なピークが現れず、ある程度の出現回数を持つDCT係数が多数を占めるようになる。ピクチャタイプ推定部１２１は以上の性質を利用して復号画像のピクチャタイプを推定する。図５にピクチャタイプを推定するフローチャートを示す。
【００６５】
以下、図５を用いてピクチャタイプを推定する手順を説明する。まず、ステップS10ですべてのDCT係数値に関して、過去の復号画像における出現回数と現在の復号画像における出現回数との絶対差分値を計算し、その合計値ABSを計算する。ここで合計値ABSの値が大きければ、DCT係数の出現回数が大幅に変化したことを表す。次にステップS11に進み、合計値ABSの値が閾値TH1以上かどうかを判定することにより、DCT係数の出現回数に大幅な変化があったかどうかを判定する。ステップS11の判定が真ならば、ステップS12に進み、過去の復号画像において出現回数が０回のDCT係数の個数Pre_dct_zeroをカウントする。そしてステップS13に進み、現在の復号画像において出現回数が０回のDCT係数の個数dct_zeroをカウントし、ステップS14へ進む。ステップS14では、dct_zeroとPre_dct_zeroを比較し、dct_zeroの方が大きければステップS15に進み、ピクチャタイプをフレーム内符号化画像と推定する。ステップS11およびステップS14において偽と判定された場合はステップS16へ進み、ピクチャタイプをフレーム間符号化画像と推定する。
【００６６】
以上の手順に従って、ピクチャタイプ推定部１２１は復号画像のピクチャタイプを推定する。
【００６７】
なお、ステップS11の判定は、DCT係数の出現回数の傾向に大幅な変化があったかどうかを判定するものであればどのような判定法でもよく、分散値を用いたり、過去の復号画像のピクチャタイプ推定の際に得た合計値ABSとの比較等でもよい。
【００６８】
次に、動きベクトルを推定する第２の所定の方法について説明する。動きベクトル推定部１２３は、現在の復号画像と過去の復号画像とのブロックマッチングに従って動きベクトルを推定する。ただし、ピクチャタイプ推定部１２１から入力されたピクチャタイプがフレーム内符号化画像の場合は、動きベクトルを推定せず、動きベクトルを０としてポスト処理部１１１へ送る。
【００６９】
なお、ここでは動きベクトルを０として送信したが、動きベクトルが存在しないことを表すことができればどのような形でもよい。
【００７０】
また、ここではフレームメモリ１２４には過去の復号画像が格納されるとしたが、過去に限定するわけではなく、また、複数の復号画像を格納してもよい。
【００７１】
次に、量子化パラメータを推定する第３の所定の方法について説明する。本実施の形態１における量子化パラメータ推定方法のフローチャートを図６に示す。以下、図６を用いて量子化パラメータの推定方法について説明する。まず、ステップS20において入力された復号画像のピクチャタイプを判定し、フレーム内符号化画像ならばステップS21へ、フレーム間符号化画像ならばステップS22へ進む。次にステップS21では、フレーム内符号化画像に対する第４の所定の方法を用いて量子化パラメータを推定する。また、ステップS22では、フレーム間符号化画像に対する第５の所定の方法を用いて量子化パラメータを推定する。
【００７２】
次に、フレーム内符号化画像に対する量子化パラメータ推定方法である第４の所定の方法について説明する。フレーム内符号化画像は復号画像をDCTすると図３のように符号化時の量子化パラメータに応じた周期でDCT係数の各レベルにおける出現回数にピークが現れ、逆に出現回数０回のレベルが多数を占める傾向が現れる。一般に画像信号をDCTすると、特定少数の周波数成分にパワーが集中し、その他多数の周波数成分は０に近い値となる。そのため、DCT係数の量子化を行うと、多数のDCT係数が０や１のレベルとなる。よって、DCT係数値０を除いて、逆量子化後に出現回数が多いDCT係数値は、逆量子化前にレベルが１であった可能性が高い。つまり、図３において出現回数が多いDCT係数DCTcoeffは、逆量子化前にレベルが１であったDCT係数から得られた可能性が高い。そこで、DCT係数DCTcoeffと、MPEG4-ビデオデコードにおける逆量子化の式から得られる以下の式を用いて、符号化に用いられた量子化パラメータQPを推定する。
【００７３】
3 × QP = DCTcoeff (QP=odd)
3 × QP = DCTcoeff + 1 (QP=even)
上記の式を用いてフレーム内符号化画像の量子化パラメータを推定する方法のフローチャートを図７に示す。
【００７４】
以下、図７を用いてフレーム内符号化画像の量子化パラメータを推定する手順を説明する。まず、ステップS21aにおいて出現回数が最も多いDCT係数（以下、DCTmaxと呼ぶ）を探索し、ステップS21bへと進む。ステップS21bではDCTmaxが３で割り切れるかどうかを判定し、割り切れるならばステップS21cの演算を実行し、その結果を推定した量子化パラメータとして出力する。ステップS21bにおいてDCTmaxが３で割り切れなければステップS21dの演算を実行し、その結果を推定した量子化パラメータとして出力する。
【００７５】
次にフレーム間符号化画像に対する量子化パラメータ推定方法である第５の所定の方法について説明する。フレーム間符号化は復号画像をDCTすると、図４のように出現回数に周期的なピークが現れず、ある程度の出現回数を持つDCT係数が多数を占めるようになる。そのため、フレーム内符号化画像のようにDCT係数の出現傾向から量子化パラメータを推定することが難しい。
【００７６】
一方、フレーム間符号化画像は復号時に過去の画像と加算することにより復元されるため、動きが小さいほど過去の復号画像の特徴を有する可能性が高い。また、逆に動きが大きい場合は量子化パラメータが上昇する傾向が強い。そこでフレーム間符号化画像の場合は、過去の復号画像から推定した量子化パラメータに対して、動きベクトルの大きさに応じた動き量による変更値を加えた結果を推定値とする。図８にフレーム間符号化画像に対する量子化パラメータ推定方法のフローチャートを示す。
【００７７】
以下、図８を用いてフレーム間符号化画像の量子化パラメータを推定する手順を説明する。まず、ステップS22aにおいて動きベクトルの大きさを判定し、動きベクトルが閾値TH2より小さければ、ステップ22bに進み、大きければステップS22cに進む。ステップS22bでは、復号画像は動きの少ない画像であるため過去の復号画像の特徴を大きく引き継いでいると判定し、過去の復号画像の量子化パラメータPastQPを推定値とする。ステップS22cでは、復号画像は動きの多い画像であるため量子化パラメータが増加すると判定し、図９に示す動きベクトルの大きさEに応じた動き量Mov(E)を量子化パラメータPastQPに加算した値を推定値とする。図９では、加算される動き量Mov(E)は、動きベクトルの大きさEに対して、単調増加するような値として与えられている。
【００７８】
以上の手順に従って、量子化パラメータ推定部１２５は量子化パラメータを推定する。
【００７９】
なお、ここでは動きベクトルの大きさEに応じた動き量Mov(E)を加算したが、動きベクトルとフレーム内符号化画像の量子化パラメータに応じた値や固定値等を加算してもよい。
【００８０】
また、フレーム内符号化画像の量子化パラメータを推定する際に、ここでは出現回数が最も多いDCT係数の値のみを利用したが、量子化パラメータに応じた周期で出現回数がピークとなっているDCT係数値を複数用いて、逆量子化の式から量子化パラメータを求めてもよい。
【００８１】
〈効果〉
以上の手順により、符号化パラメータ推定部１１０は復号画像のピクチャタイプや動きベクトルに応じて量子化パラメータの推定方法を切り替え、復号画像がフレーム内符号化画像の場合は符号化時に用いられた量子化パラメータ、フレーム間符号化画像の場合は動きベクトルによる動き量に基づいた量子化パラメータを推定することができる。これにより、ポスト処理部１１１は、量子化パラメータ、ピクチャタイプおよび動きベクトルを用いてポスト処理を行うことができ、復号画像のノイズを除去することができる。
【００８２】
ポスト処理部１１１は、符号化パラメータ推定部１１０aが推定した符号化パラメータを用いて、デコーダ部１１２とは独立にポスト処理することが可能である。すなわち、ポスト処理部１１１において、デコーダ部１１２から直接符号化パラメータを取得できない場合でも、デコーダ部１１２の仕様に依存せず復号画像のノイズを軽減できるという効果を有する。
【００８３】
ポスト処理部１１１は、特許文献１のように量子化パラメータを使用する方法や、特許文献２のようにピクチャタイプを使用する方法あるいは特許文献３のように動きベクトルを使用するポスト処理方法をデコーダ部１１２とは独立に行い、復号画像に発生するノイズを軽減できるという効果を有する。
【００８４】
量子化パラメータ推定部１２５（符号化パラメータ推定部１１０a）は、復号画像の直交変換係数分布において出現頻度が最も高いDCT係数のレベルに基づいて量子化パラメータを推定できる。このため、ポスト処理部１１１は、量子化パラメータを用いるノイズ除去法によって復号画像のノイズを除去できるという効果を有する。
【００８５】
ピクチャタイプ推定部１２１（符号化パラメータ推定部１１０a）は、現在の復号画像と過去の復号画像との直交変換係数を比較することにより、動きが小さいためにフレーム内符号化画像の特徴を引き継いだフレーム間符号化画像も正しく判定でき、精度の高いピクチャタイプの推定を行うことができるという効果を有する。
【００８６】
量子化パラメータ推定部１２５（符号化パラメータ推定部１１０a）は、復号画像のピクチャタイプに応じて量子化パラメータの推定方法を切り替えることができ、フレーム内符号化画像とフレーム間符号化画像の量子化パラメータをそれぞれの特徴に応じて推定することができるという効果を有する。
【００８７】
動きベクトル推定部１２３（符号化パラメータ推定部１１０a）は、復号画像のピクチャタイプに応じて、動きベクトルが存在したかどうかの判断ができ、ブロックマッチングに要する処理量を削減できるという効果を有する。
【００８８】
量子化パラメータ推定部１２５（符号化パラメータ推定部１１０a）は、復号画像のピクチャタイプや動きベクトルの大きさに応じて量子化パラメータの推定方法を切り替えることができ、より適当な量子化パラメータを推定することができるという効果を有する。
【００８９】
ポスト処理部１１１は、推定した符号化パラメータを用いてデコーダとは独立にブロックノイズを除去することができ、復号画像の画質劣化を軽減することができるという効果を有する。
【００９０】
符号化パラメータ推定部１１０aは、メモリに格納した復号画像の直交変換係数を用いて符号化パラメータを推定することができ、より適当な符号化パラメータを用いてポスト処理できるという効果を有する。
【００９１】
〈その他〉
なお、今回の実施の形態ではMPEG4におけるピクチャタイプ、動きベクトルおよび量子化パラメータの推定法の例を示したが、H.261、H.263はもちろん、量子化テーブルを使用するMPEG1、2においても、量子化テーブルおよび逆量子化の式がわかれば、同様の方法を用いて符号化パラメータを推定することができる。
【００９２】
また、直交変換および量子化を用いた符号化法であれば、同様の方法によってピクチャタイプ、動きベクトルおよび量子化パラメータを推定することができる。
【００９３】
また、ここではポスト処理の代表としてブロックノイズ除去を取り上げたが、モスキートノイズ等を除去するような符号化パラメータを用いたポスト処理であっても構わない。
【００９４】
なお、上記実施形態で説明したポスト処理部１１１、デコード部１１２および符号化パラメータ推定部１１０aは、それぞれ独立したＬＳＩ等として実現されていてもよいし、一体として実現されていてもよい。また、符号化パラメータ推定部１１０aの各部も、それぞれ独立したＬＳＩ等として実現されていてもよいし、一体として実現されていてもよい。また、デコード部１１２、符号化パラメータ推定部１１０aおよびポスト処理部１１１は、それぞれ別体として実現される装置であってもよい。これらは、以下説明する実施形態においても同様である。
【００９５】
また、上記実施形態で説明した動きベクトルの推定方法、量子化パラメータの推定方法、ピクチャタイプの推定方法は、それぞれプログラムとして、中央演算装置を有するコンピュータなどにより実現されるものであってもよい。これは、以下説明する実施形態においても同様である。
【００９６】
（実施の形態２）
本発明の実施の形態２のブロック図は図１の実施の形態１と同様であり、符号化パラメータ推定部１１０aの内容のみが異なる。そこで以下では、符号化パラメータ推定部１１０aに関しての説明を行う。
【００９７】
図１０は実施の形態２における符号化パラメータ推定部１１０aの内部構成を示したブロック図である。図１０に示すように符号化パラメータ推定部１１０aは、DCTを行う直交変換部２２０と、復号画像のピクチャタイプを推定するピクチャタイプ推定部２２１と、過去の復号画像のDCT係数を格納する直交変換係数メモリ２２２と、動きベクトルを推定する動きベクトル推定部２２３と、過去の復号画像を格納するフレームメモリ２２４と、復号画像と参照画像との差分画像を求める差分画像計算部２２５と、量子化パラメータを推定する量子化パラメータ推定部２２６から成る。
【００９８】
以下、符号化パラメータ推定部１１０aの動作について図１１のフローチャートを用いて説明する。まず、直交変換部２２０はデコード部１１２から入力された復号画像をDCTし（ステップS30）、変換したDCT係数をピクチャタイプ推定部２２１に送信する。次にピクチャタイプ推定部２２１は、実施の形態１で説明した第１の所定の方法で復号画像のピクチャタイプを推定し（ステップS31）、動きベクトル推定部２２３、直交変換部２２０およびポスト処理部１１１へピクチャタイプを送信する。直交変換部２２０は、ピクチャタイプ推定部２２１から受け取ったピクチャタイプがフレーム内符号化画像ならば復号画像のDCT係数を量子化パラメータ推定部２２６に送信し、量子化パラメータ推定部２２６は直交変換部２２０から受け取った復号画像のDCT係数を用いて、実施の形態１で説明した第４の所定の方法により、量子化パラメータを推定してポスト処理部１１１に出力する（ステップS32、ステップS33）。
【００９９】
復号画像のピクチャタイプがフレーム間符号化画像の場合、動きベクトル推定部２２３は入力された復号画像とフレームメモリ２２４から得た過去の復号画像を用いて、実施の形態１で説明した第２の所定の方法で動きベクトルを推定し（ステップS34）、推定した動きベクトルを候補動きベクトルとして差分画像計算部２２５に送信する。差分画像計算部２２５は入力された復号画像、候補動きベクトルおよびフレームメモリ２２４からの過去の復号画像を用いて、差分画像を計算し（ステップS35）、直交変換部２２０に送信する。直交変換部２２０は、差分画像計算部２２５から受け取った差分画像をDCTし、差分画像のDCT係数の出現分布が図３のフレーム内符号化画像のように周期的であるかどうかを判定する（ステップS37）。DCT係数の出現分布が周期的であれば、適切な動きベクトルを推定できたと判断し、差分画像のDCT係数を量子化パラメータ推定部２２６に送信し、動きベクトル推定部２２３に候補動きベクトルが適切であることを知らせる。そして動きベクトル推定部２２３は、直交変換部２２０からの知らせに従って、候補動きベクトルを推定した動きベクトルとしてポスト処理部１１１へ送信する。DCT係数の出現分布が図４のように周期的でなければ、適切な動きベクトルの推定に失敗したと判断し、ステップS34に戻って再び別の候補動きベクトルを検出してやり直す。量子化パラメータ推定部２２６は直交変換部２２０から受け取った差分画像のDCT係数に対して、実施の形態１で説明した第４の所定の方法を適用することにより、量子化パラメータを推定してポスト処理部１１１に出力する（ステップS33）。
【０１００】
〈効果〉
以上の方法により、フレーム間符号化画像の場合にも適切な動きベクトルを求めることによって、差分画像のDCT係数の分布が周期的になり、フレーム内符号化画像と同じように量子化パラメータを推定することができる。その結果、実施の形態１に比して、動きベクトルの推定および量子化パラメータの推定精度がさらに向上する。その他、実施の形態１と対応する各部において同様の効果を奏することも可能である。
【０１０１】
〈その他〉
なお、今回の実施の形態ではMPEG4におけるピクチャタイプ、動きベクトルおよび量子化パラメータの推定法の例を示したが、H.261、H.263はもちろん、量子化テーブルを使用するMPEG1、2においても、量子化テーブルおよび逆量子化の式がわかれば、同様の方法を用いて符号化パラメータを推定することができる。
【０１０２】
また、直交変換および量子化を用いた符号化法であれば、同様の方法によってピクチャタイプ、動きベクトルおよび量子化パラメータを推定することができる。
【０１０３】
また、ここではポスト処理の代表としてブロックノイズ除去を取り上げたが、モスキートノイズ等を除去するような符号化パラメータを用いたポスト処理であっても構わない。
【０１０４】
（実施の形態３）
図１２は本発明の実施の形態３を表すブロック図であり、符号化パラメータ推定部１１０b、ポスト処理部１１１およびデコード部１１２から成る。
【０１０５】
符号化パラメータ推定部１１０bはデコード部１１２から復号画像を入力として受け取り、入力された復号画像から所定の方法に従って復号画像の量子化パラメータおよびピクチャタイプを推定する。そして、推定した量子化パラメータおよびピクチャタイプをポスト処理部１１１へ出力する。
【０１０６】
ポスト処理部１１１はデコード部１１２から復号画像を、符号化パラメータ推定部１１０bから量子化パラメータおよびピクチャタイプを入力として受け取り、量子化パラメータおよびピクチャタイプを用いた従来法によりブロックノイズを除去する。
【０１０７】
次に、本実施の形態３における符号化パラメータ推定部１１０bの構成について説明する。図１３は符号化パラメータ推定部１１０bの内部構成を示したブロック図である。図１３に示すように符号化パラメータ推定部１１０bは、DCTを行う直交変換部３２０と、復号画像のピクチャタイプを推定するピクチャタイプ推定部３２１と、過去の復号画像のDCT係数を格納する直交変換係数メモリ３２２と、量子化パラメータを推定する量子化パラメータ推定部３２３と、過去の量子化パラメータを格納する量子化パラメータメモリ３２４と、過去の復号画像と復号画像から動き量を計算する動き量計算部３２５と、過去の復号画像を格納するフレームメモリ３２６から成る。
【０１０８】
次に、符号化パラメータ推定部１１０bの動作について説明する。まず、直交変換部３２０はデコード部１１２から入力された復号画像をDCTし、直交変換係数をピクチャタイプ推定部３２１、直交変換係数メモリ３２２および量子化パラメータ推定部３２３に送信する。
【０１０９】
次に、ピクチャタイプ推定部３２１は、直交変換係数メモリ３２２から過去の復号画像のDCT係数を受け取り、実施の形態１で説明した第１の所定の方法で復号画像のピクチャタイプを推定する。そして、ピクチャタイプ推定部３２１は推定したピクチャタイプを量子化パラメータ推定部３２３およびポスト処理部１１１へ送信する。直交変換係数メモリ３２２は直交変換部３２０から現在の復号画像のDCT係数を受け取り、メモリの内容に格納する。
【０１１０】
次に、動き量計算部３２５は、デコード部１１２から入力された復号画像と、フレームメモリ３２６から得た過去の復号画像とのSAD(Sum of Absolute Differences)を計算し、量子化パラメータ推定部３２３に送信する。フレームメモリ３２６はデコード部１１２から受信した現在の復号画像をメモリに格納する。
【０１１１】
次に、量子化パラメータ推定部３２３は第６の所定の方法により量子化パラメータを推定し、量子化パラメータメモリ３２４およびポスト処理部１１１へ量子化パラメータを出力する。そして量子化パラメータメモリ３２４は、量子化パラメータ推定部３２３から入力された量子化パラメータの値をメモリに格納する。
【０１１２】
以下、実施の形態３における量子化パラメータを推定する第６の所定の方法について図１４のフローチャートを用いて説明する。まず、ステップS40においてピクチャタイプがフレーム内符号化画像かどうか判定する。ピクチャタイプがフレーム内符号化画像ならばステップS41に進み、実施の形態１で説明したフレーム内符号化画像に対する量子化パラメータ推定方法である第４の所定の方法を用いて量子化パラメータを推定する。ピクチャタイプがフレーム間符号化画像ならばステップS42に進み、過去の復号画像から推定した量子化パラメータPastQPと、SADの大きさによって決定する値αとを加算した値を復号画像の量子化パラメータとする。値αはSADの大きさによって変化する値であり、SADが小さい場合は動きが小さいと判定し、値αを小さくし、逆にSADが大きい場合は動きが大きいと判定し、値αを大きく設定する。すなわち、値αがSADの大きさに対して単調増加するよう設定する。例えば、値αがSADの大きさに対して、正比例するように設定される。動き量の大きさによって推定する量子化パラメータの値を増やす理由は実施の形態１で説明済みである。
【０１１３】
以上の手順に従って、量子化パラメータ推定部３２３は量子化パラメータを推定し、ポスト処理部１１１に出力する。
【０１１４】
〈効果〉
以上の方法により、符号化パラメータ推定部１１０bは復号画像のピクチャタイプに応じて量子化パラメータの推定方法を切り替え、復号画像がフレーム内符号化画像の場合は符号化時に用いられた量子化パラメータ、フレーム間符号化画像の場合はSADによる動き量に基づいた量子化パラメータを推定することができる。
【０１１５】
本実施の形態３は、動きベクトル検出を行わないため、動きベクトルを必要としない、あるいは他の手法で動きベクトルを取得できるようなポスト処理を行う場合に、実施の形態１よりも処理量を抑えつつ、量子化パラメータ、ピクチャタイプを用いてポスト処理を行うことができる。
【０１１６】
その他、実施の形態１と対応する各部において同様の効果を奏することも可能である。
【０１１７】
〈その他〉
なお、今回の実施の形態では動き量の尺度としてSADを用いたが、SADに限定するものではなく、SSD(Sum of Square Differences)等を用いてもよい。
【０１１８】
また、今回の実施の形態ではMPEG4におけるピクチャタイプおよび量子化パラメータの推定法の例を示したが、H.261、H.263はもちろん、量子化テーブルを使用するMPEG1、2においても、量子化テーブルおよび逆量子化の式がわかれば、同様の方法を用いて符号化パラメータを推定することができる。
【０１１９】
また、直交変換および量子化を用いた符号化法であれば、同様の方法によってピクチャタイプおよび量子化パラメータを推定することができる。
また、ここではポスト処理の代表としてブロックノイズ除去を取り上げたが、モスキートノイズ等を除去するような符号化パラメータを用いたポスト処理であっても構わない。
【０１２０】
また、本実施の形態３は、実施の形態１または２における符号化パラメータ推定部１１０aの出力のうち、量子化パラメータとピクチャタイプを取り出すようにすれば、実施の形態１または２でも実現可能である。
【０１２１】
（実施の形態４）
本発明の実施の形態４のブロック図は実施の形態３と同様であるため、ここでは符号化パラメータ推定部１１０bに関してのみ説明する。
【０１２２】
図１５は本実施の形態４における符号化パラメータ推定部１１０bの内部構成を示したブロック図である。図１５に示すように符号化パラメータ推定部１１０bは、実施の形態３から動き量計算部３２５と、フレームメモリ３２６を取り除いた構成となっている。符号化パラメータ推定部１１０bの動作は量子化パラメータ推定部４２３以外は実施の形態３と同様であるため、ここでは量子化パラメータ推定部４２３の動作に関してのみ説明する。
【０１２３】
実施の形態４における量子化パラメータ推定方法のフローチャートを図１６に示す。以下、図１６を用いて量子化パラメータ推定方法を説明する。まず、量子化パラメータ推定部４２３は、ピクチャタイプ推定部４２１から取得したピクチャタイプがフレーム内符号化画像かどうかを判定し（ステップS50）、フレーム内符号化画像ならば、実施の形態１で説明したフレーム内符号化画像に対する推定方法である第４の所定の方法により量子化パラメータを推定する（ステップS51）。そして、推定した量子化パラメータを量子化パラメータメモリ４２４およびポスト処理部１１１へ送信する。受信したピクチャタイプがフレーム間符号化ならば、量子化パラメータメモリ４２４から過去の復号画像の量子化パラメータを取得し、その値を現在の復号画像の量子化パラメータとしてポスト処理部１１１へ送信する（ステップS52）。
【０１２４】
以上の手順に従って、量子化パラメータ推定部４２３は量子化パラメータを推定し、ポスト処理部１１１に出力する。
【０１２５】
〈効果〉
以上の方法により、実施の形態４は実施の形態３よりもSAD計算処理やフレームメモリの容量を抑えつつ、量子化パラメータやピクチャタイプを用いたポスト処理を行うことができる。
【０１２６】
その他、実施の形態１と対応する各部において同様の効果を奏することも可能である。
【０１２７】
〈その他〉
なお、今回の実施の形態ではMPEG4におけるピクチャタイプおよび量子化パラメータの推定法の例を示したが、H.261、H.263はもちろん、量子化テーブルを使用するMPEG1、2においても、量子化テーブルおよび逆量子化の式がわかれば、同様の方法を用いて符号化パラメータを推定することができる。
【０１２８】
また、直交変換および量子化を用いた符号化法であれば、同様の方法によってピクチャタイプおよび量子化パラメータを推定することができる。
【０１２９】
また、ここではポスト処理の代表としてブロックノイズ除去を取り上げたが、モスキートノイズ等を除去するような符号化パラメータを用いたポスト処理であっても構わない。
【０１３０】
また、本実施の形態４は、実施の形態１または２における符号化パラメータ推定部１１０aの出力のうち、量子化パラメータとピクチャタイプを取り出すようにすれば、実施の形態１または２でも実現可能である。
【０１３１】
（実施の形態５）
図１７は本発明の実施の形態５を表すブロック図であり、符号化パラメータ推定部１１０c、ポスト処理部１１１およびデコード部１１２から成る。
【０１３２】
符号化パラメータ推定部１１０cはデコード部１１２から復号画像を入力として受け取り、入力された復号画像から所定の方法に従って復号画像の動きベクトルおよびピクチャタイプを推定する。そして、推定した動きベクトルおよびピクチャタイプをポスト処理部１１１へ出力する。
【０１３３】
ポスト処理部１１１はデコード部１１２から復号画像を、符号化パラメータ推定部１１０cから動きベクトルおよびピクチャタイプを入力として受け取り、動きベクトルおよびピクチャタイプを用いた従来法によりブロックノイズを除去する。
【０１３４】
次に、本実施の形態５における符号化パラメータ推定部１１０cの内部構成を示したブロック図を図１８に示す。図１８に示すように、符号化パラメータ推定部１１０cは実施の形態１から量子化パラメータ推定部１２５および量子化パラメータメモリ１２６を省いた構成となっており、動きベクトル推定部１２３およびピクチャタイプ推定部１２１は実施の形態１と同様に第２の所定の方法および第１の所定の方法を用いて動きベクトルおよびピクチャタイプを推定する。
【０１３５】
〈効果〉
以上の方法により、本実施の形態５は、量子化パラメータを推定する処理が削除されるため、量子化パラメータを必要としない、あるいは他の手法で量子化パラメータを取得できるようなポスト処理を行う場合に、実施の形態１よりも処理量を抑えつつ、動きベクトルやピクチャタイプを用いてポスト処理を行うことができる。
【０１３６】
その他、実施の形態１と対応する各部において同様の効果を奏することも可能である。
【０１３７】
〈その他〉
なお、今回の実施の形態ではMPEG4における動きベクトルおよびピクチャタイプの推定法の例を示したが、H.261、H.263およびMPEG1、2においても、同様の方法を用いて符号化パラメータを推定することができる。
【０１３８】
また、直交変換および量子化を用いた符号化法であれば、同様の方法によって動きベクトルおよびピクチャタイプを推定することができる。
【０１３９】
また、ここではポスト処理の代表としてブロックノイズ除去を取り上げたが、モスキートノイズ等を除去するような符号化パラメータを用いたポスト処理であっても構わない。
【０１４０】
また、本実施の形態５は、実施の形態１または２における符号化パラメータ推定部１１０aの出力のうち、動きベクトルとピクチャタイプを取り出すようにすれば、実施の形態１または２でも実現可能である。
【０１４１】
（実施の形態６）
図１９は本発明の実施の形態６を表すブロック図であり、符号化パラメータ推定部１１０d、ポスト処理部１１１およびデコード部１１２から成る。
【０１４２】
符号化パラメータ推定部１１０dはデコード部１１２から復号画像を入力として受け取り、入力された復号画像から所定の方法に従って復号画像のピクチャタイプを推定する。そして、推定したピクチャタイプをポスト処理部１１１へ出力する。
【０１４３】
ポスト処理部１１１はデコード部１１２から復号画像を、符号化パラメータ推定部１１０dからピクチャタイプを入力として受け取り、ピクチャタイプを用いた従来法によりブロックノイズを除去する。
【０１４４】
次に、本実施の形態６における符号化パラメータ推定部１１０dの内部構成を示したブロック図を図２０に示す。図２０に示すように、符号化パラメータ推定部１１０dは実施の形態５から動きベクトル推定部５２３およびフレームメモリ５２４を省いた構成となっており、ピクチャタイプ推定部６２１は実施の形態１で説明した第１の所定の方法を用いてピクチャタイプを推定し、推定したピクチャタイプをポスト処理部１１１へ送信する。
【０１４５】
〈効果〉
以上の方法により、本実施の形態６は、動きベクトルを検出する処理およびフレームメモリ容量が削除されるため、ピクチャタイプを必要とするポスト処理を行う場合に、実施の形態５よりも処理量およびメモリ容量を抑えつつ、ピクチャタイプを用いてポスト処理を行うことができる。
【０１４６】
その他、実施の形態１と対応する各部において同様の効果を奏することも可能である。
【０１４７】
〈その他〉
なお、今回の実施の形態ではMPEG4におけるピクチャタイプの推定法の例を示したが、H.261、H.263およびMPEG1、2においても、同様の方法を用いて符号化パラメータを推定することができる。
【０１４８】
また、直交変換および量子化を用いた符号化法であれば、同様の方法によってピクチャタイプを推定することができる。
【０１４９】
また、ここではポスト処理の代表としてブロックノイズ除去を取り上げたが、モスキートノイズ等を除去するような符号化パラメータを用いたポスト処理であっても構わない。
【０１５０】
また、本実施の形態６は、実施の形態１〜５における符号化パラメータ推定部の出力のうち、ピクチャタイプだけを取り出すようにすれば、実施の形態１〜５のいずれかでも実現可能である。
【０１５１】
（実施の形態７）
図２１は本発明の実施の形態７を表すブロック図であり、符号化パラメータ推定部１１０e、ポスト処理部１１１およびデコード部１１２から成る。
【０１５２】
符号化パラメータ推定部１１０eはデコード部１１２から復号画像を入力として受け取り、入力された復号画像から所定の方法に従って復号画像の量子化パラメータを推定する。そして、推定した量子化パラメータをポスト処理部１１１へ出力する。
【０１５３】
ポスト処理部１１１はデコード部１１２から復号画像を、符号化パラメータ推定部１１０eから量子化パラメータを入力として受け取り、量子化パラメータを用いた従来法によりブロックノイズを除去する。
【０１５４】
次に、本実施の形態７における符号化パラメータ推定部１１０eの内部構成を示したブロック図を図２２に示す。図２２に示すように、符号化パラメータ推定部１１０eは実施の形態４からピクチャタイプ推定部４２１と、直交変換係数メモリ４２２と、量子化パラメータメモリ４２４を省いた構成となっており、量子化パラメータ推定部７２１は実施の形態１で説明したフレーム内符号化画像に対する推定方法である第４の所定の方法を用いて量子化パラメータを推定し、推定した量子化パラメータをポスト処理部１１１へ送信する。
【０１５５】
〈効果〉
以上の方法により、本実施の形態７は、ピクチャタイプを推定する処理およびメモリ容量が軽減されるため、フレーム内符号化画像のみから構成される動画像や静止画像に対して、量子化パラメータを必要とするポスト処理を行う場合に、実施の形態４よりも処理量およびメモリ容量を抑えつつ、量子化パラメータを用いてポスト処理を行うことができる。
【０１５６】
その他、実施の形態１と対応する各部において同様の効果を奏することも可能である。
【０１５７】
〈その他〉
なお、今回の実施の形態ではMPEG4における量子化パラメータの推定法の例を示したが、H.261、H.263およびMPEG1、2においても、同様の方法を用いて符号化パラメータを推定することができる。
【０１５８】
また、直交変換および量子化を用いた符号化法であれば、同様の方法によって量子化パラメータを推定することができる。
【０１５９】
また、ここではポスト処理の代表としてブロックノイズ除去を取り上げたが、モスキートノイズ等を除去するような符号化パラメータを用いたポスト処理であっても構わない。
【０１６０】
また、本実施の形態７は、実施の形態１〜４における符号化パラメータ推定部の出力のうち、量子化パラメータだけを取り出すようにすれば、実施の形態１〜４のいずれかでも実現可能である。
【０１６１】
以上、実施の形態１〜７について説明したが、デコーダから符号化に用いた量子化パラメータ、ピクチャタイプ、動きベクトルのうちどれかの符号化パラメータが受け取れる場合も、他の符号化パラメータを推定する際に、本発明は適用できる。
【０１６２】
（実施の形態８）
本発明の実施の形態８として、上記で説明した画像信号処理方法、画像信号処理装置および画像信号処理プログラムの応用例とそれを用いたシステムを図２３〜図２６を用いて説明する。
【０１６３】
図２３は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１６４】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（personal digital assistant）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１６５】
しかし、コンテンツ供給システムｅｘ１００は図２３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１６６】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【０１６７】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１６８】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１６９】
コンテンツの復号化処理に際して、上記実施形態で説明した画像信号処理方法、画像信号処理装置および画像信号処理プログラムを用いてもよい。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等は、上記実施形態で示したデコード部、符号化パラメータ推定部およびポスト処理部を備え、画像信号処理方法および画像信号処理プログラムを実現できるものであってよい。なお、符号化パラメータ推定部およびポスト処理部は、デコード部と一体的にコンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等に備えられるものであってもよいし、デコード部とは別体としてコンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等に接続して備えられるものであってもよい。
【０１７０】
一例として携帯電話について説明する。
【０１７１】
図２４は、上記実施形態の画像信号処理方法、画像信号処理装置および画像信号処理プログラムを用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【０１７２】
さらに、携帯電話ｅｘ１１５について図２５を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Liquid Crystal Display）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１７３】
電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１７４】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１７５】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１７６】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１７７】
画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１７８】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１７９】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１８０】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１８１】
次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１８２】
以上の構成において、画像復号化部ｅｘ３０９が上記実施形態のデコード部、符号化パラメータ推定部およびポスト処理部の機能を果たし、画像信号処理方法および画像信号処理プログラムを実現できるものであってよい。なお、符号化パラメータ推定部およびポスト処理部は、デコード部と一体的に備えられるものであってもよいし、デコード部とは別体として携帯電話ｅｘ１１５に接続して備えられるものであってもよい。
【０１８３】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２６に示すようにディジタル放送用システムにも上記実施形態で説明した画像信号処理方法、画像信号処理装置および画像信号処理プログラムを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置が上記実施形態で説明したデコード部、符号化パラメータ推定部およびポスト処理部を備えていてもよい。また、上記実施形態の画像信号処理方法を用いるものであってもよい。さらに、画像信号処理プログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施形態で説明した画像信号処理方法、画像信号処理装置および画像信号処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に上記実施形態で説明した画像信号処理方法、画像信号処理装置および画像信号処理プログラムを実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明したデコード部、符号化パラメータ推定部およびポスト処理部を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１８４】
なお、このシステムにおいて、符号化パラメータ推定部およびポスト処理部は、デコード部と一体的に備えられるものであってもよいし、デコード部とは別体として接続して備えられるものであってもよい。例えば、デコード部を備えるカーナビゲーションｅｘ４１３がデコードした復号信号をカーナビゲーションｅｘ４１３に接続された符号化パラメータ推定部およびポスト処理部を用いて画像信号処理し、ポスト処理された復号信号をカーナビゲーションｅｘ４１３の表示装置に再生するといったシステムであってもよい。
【０１８５】
更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施形態の画像信号処理装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８に表示することができる。
【０１８６】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２５に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０１８７】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１８８】
このように、上記実施形態で説明した画像信号処理方法、画像信号処理装置および画像信号処理プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
【０１８９】
また、上記実施形態で図を用いて説明した画像処理装置において、各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【０１９０】
具体的には、図１におけるポスト処理部１１１と符号化パラメータ推定部１１０ａとは、１チップ化されても良い。この際、符号化パラメータ推定部１１０ａのフレームメモリ１２４（図２参照）やフレームメモリ２２４（図１０参照）は、別体として外部に接続されるものであっても良い。
【０１９１】
また、図１２におけるポスト処理部１１１と符号化パラメータ推定部１１０ｂとは、１チップ化されても良い。この際、符号化パラメータ推定部１１０ｂのフレームメモリ３２６（図１３参照）は、別体として外部に接続されるものであっても良い。
【０１９２】
また、図１７におけるポスト処理部１１１と符号化パラメータ推定部１１０ｃとは、１チップ化されても良い。この際、符号化パラメータ推定部１１０ｃのフレームメモリ５２４（図１８参照）は、別体として外部に接続されるものであっても良い。
【０１９３】
また、図１９におけるポスト処理部１１１と符号化パラメータ推定部１１０ｄとは、１チップ化されても良い。
【０１９４】
また、図２１におけるポスト処理部１１１と符号化パラメータ推定部１１０ｅとは、１チップ化されても良い。
【０１９５】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１９６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１９７】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１９８】
また、上記実施形態で図を用いて説明した画像処理装置において、各機能ブロックの処理の一部又は全部は、プログラムにより実現されるものであってもよい。この場合、具体的な処理は、例えば、画像処理装置が備える中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【産業上の利用可能性】
【０１９９】
本発明は放送や通信および蓄積の分野において、受信または蓄積した映像を再生表示する機器等として有用である。また、静止画像表示機器等としても適用が可能である。
【図面の簡単な説明】
【０２００】
【図１】本発明の実施の形態１を説明するためのブロック図
【図２】本発明の実施の形態１における符号化パラメータ推定部を説明するためのブロック図
【図３】本発明の実施の形態１におけるピクチャタイプ推定方法を説明するためのフレーム内符号化画像のDCT係数出現回数
【図４】本発明の実施の形態１におけるピクチャタイプ推定方法を説明するためのフレーム間符号化画像のDCT係数出現回数
【図５】本発明の実施の形態１におけるピクチャタイプ推定方法を説明するためのフローチャート
【図６】本発明の実施の形態１における量子化パラメータ推定方法を説明するためのフローチャート
【図７】本発明の実施の形態１におけるフレーム内符号化画像の量子化パラメータ推定方法を説明するためのフローチャート
【図８】本発明の実施の形態１におけるフレーム間符号化画像の量子化パラメータ推定方法を説明するためのフローチャート
【図９】本発明の実施の形態１におけるフレーム間符号化画像の量子化パラメータ推定方法を説明するための動きベクトルの大きさに応じた動き量のグラフ
【図１０】本発明の実施の形態２における符号化パラメータ推定部を説明するためのブロック図
【図１１】本発明の実施の形態２における量子化パラメータ推定方法を説明するためのフローチャート
【図１２】本発明の実施の形態３を説明するためのブロック図
【図１３】本発明の実施の形態３における符号化パラメータ推定部を説明するためのブロック図
【図１４】本発明の実施の形態３における量子化パラメータ推定方法を説明するためのフローチャート
【図１５】本発明の実施の形態４における符号化パラメータ推定部を説明するためのブロック図
【図１６】本発明の実施の形態４における量子化パラメータ推定方法を説明するためのフローチャート
【図１７】本発明の実施の形態５を説明するためのブロック図
【図１８】本発明の実施の形態５における符号化パラメータ推定部を説明するためのブロック図
【図１９】本発明の実施の形態６を説明するためのブロック図
【図２０】本発明の実施の形態６における符号化パラメータ推定部を説明するためのブロック図
【図２１】本発明の実施の形態７を説明するためのブロック図
【図２２】本発明の実施の形態７における符号化パラメータ推定部を説明するためのブロック図
【図２３】コンテンツ供給システムの全体構成について説明するブロック図
【図２４】本発明の動画像符号化装置を搭載する携帯電話の例
【図２５】携帯電話の構成について説明するブロック図
【図２６】ディジタル放送用システムの例
【図２７】従来のポスト処理を説明するためのブロック図
【符号の説明】
【０２０１】
１１０  符号化パラメータ推定部
１１１  ポスト処理部
１１２  デコード部
１２０  直交変換部
１２１  ピクチャタイプ推定部
１２２  直交変換係数メモリ
１２３  動きベクトル推定部
１２４  フレームメモリ
１２５  量子化パラメータ推定部
１２６  量子化パラメータメモリ
【図１】
2005176337.tif 000003
【図２】
2005176337.tif 000004
【図３】
2005176337.tif 000005
【図４】
2005176337.tif 000006
【図５】
2005176337.tif 000007
【図６】
2005176337.tif 000008
【図７】
2005176337.tif 000009
【図８】
2005176337.tif 000010
【図９】
2005176337.tif 000011
【図１０】
2005176337.tif 000012
【図１１】
2005176337.tif 000013
【図１２】
2005176337.tif 000014
【図１３】
2005176337.tif 000015
【図１４】
2005176337.tif 000016
【図１５】
2005176337.tif 000017
【図１６】
2005176337.tif 000018
【図１７】
2005176337.tif 000019
【図１８】
2005176337.tif 000020
【図１９】
2005176337.tif 000021
【図２０】
2005176337.tif 000022
【図２１】
2005176337.tif 000023
【図２２】
2005176337.tif 000024
【図２３】
2005176337.tif 000025
【図２４】
2005176337.tif 000026
【図２５】
2005176337.tif 000027
【図２６】
2005176337.tif 000028
【図２７】
2005176337.tif 000029