(57)【要約】  本発明は、符号化時の画質の低下を抑制することができる。本発明は、処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、ＡＶＣ規格により予め定められた９の画面内予測モードごとに生成する。そして符号化装置は、差分画像データにおける各処理対象画素の絶対値の和に基づく差分合計値としての差分絶対値和（ＳＡＤ）と、画面内予測モードに予め設定されたｏｆｆｓｅｔ［ｎ］による優先順位とに応じて、当該画面内予測モードを順位付けするようにした。
2009035144.tif 000002
【特許請求の範囲】
【請求項１】
処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成部と、
上記差分画像データにおける各処理対象画素の絶対値の和に基づく差分合計値と上記画面内予測モードに予め設定された優先順位とに基づいて、当該画面内予測モードを順位付けする順位付け部と
を有する画像処理装置。
【請求項２】
上記順位付け部は、
上記複数の差分画像データの発生符号量に対し、画面内予測モードに応じたオフセットを付加してオフセット付発生符号量を生成するオフセット付加部と、
上記オフセット付差分合計値を比較することにより、画面内予測モードを順位付けする差分合計値比較部と
を有する請求項１に記載の画像処理装置。
【請求項３】
上記オフセット付差分合計値が最小値をとる差分画像データを生成したときの画面内予測モードを、上記画像データを符号化する画面内予測モードとして決定する画面内予測モード決定部
を有する請求項２に記載の画像処理装置。
【請求項４】
上記オフセット付加部は、
上記複数の画面内予測モードのうち、画質の低下が少ない一の画面内予測モードに対して上記オフセットを付加しない
請求項３に記載の画像処理装置。
【請求項５】
上記画質の低下が少ない一の画面内予測モードは、
周辺画素の平均値からの差分値をとる画面内予測モードである
請求項４に記載の画像処理装置。
【請求項６】
上記画像処理装置は、
ＡＶＣ規格に対応しており、
上記画質の低下が少ない一の画面内予測モードは、
垂直及び平行方向の周辺画素の平均値からの差分値をとるモード２である
請求項５に記載の画像処理装置。
【請求項７】
上記オフセット付加部は、
上記画面内予測モードにおける画質の低下度合いに応じて、上記オフセットを設定する
請求項６に記載の画像処理装置。
【請求項８】
上記画面内予測モード決定部によって決定された画面内予測モードによる差分画像データから、前回の符号化時に使用された量子化ステップの基になる量子化因子を検出するバックサーチ部
を有する請求項３に記載の画像処理装置。
【請求項９】
上記オフセット付差分合計値が最小となる差分画像データから、前回の符号化時に使用された量子化ステップの基になる量子化因子を検出するバックサーチ部と、
上記バックサーチ部によって検出された上記量子化因子に基づく除算因子によって、上記オフセット付差分合計値が小さい順で、対象数の差分画像データを除算したときの剰余値を算出する剰余値算出部と、
上記剰余値が最小となる差分画像データが生成された上記画面内予測モードを、上記画像データに対する画面内予測モードとして決定する画面内予測モード決定部と
を有する請求項３に記載の画像処理装置。
【請求項１０】
上記処理数は、
３でなる
請求項１に記載の画像処理装置。
【請求項１１】
上記オフセット付加部は、
上記オフセットとして、想定されるダビング回数に応じた値を設定する
請求項３に記載の画像処理装置。
【請求項１２】
処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成ステップと、
上記差分画像データにおける各処理対象画素の絶対値の和となる差分合計値と上記画面内予測モードに予め設定された優先順位とに応じて、当該画面内予測モードを順位付けする順位付けステップと
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば前回の符号化で使われた量子化行列や量子化パラメータ等を所定単位で検出する符号化装置及び方法に関する。
【背景技術】
【０００２】
従来、テレビジョン放送局間で映像データの伝送を行う際、或いは複数のビデオテープレコーダ（ＶＴＲ装置）を用いて映像データの複写を行う際には、ＭＰＥＧ（Ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）方式で符号化した映像データを復号化し、再度、符号化することから、エンコーダとデコーダを直列にタンデム接続する必要がある。
そして、このようなタンデム接続時の符号化と復号化の繰り返しによる映像の品質劣化を低減する手法として所謂「バックサーチ」という手法が採用されている。
ここで、「バックサーチ」とは、以前の符号化で使用された量子化ステップ、或いは、その倍数関係にある量子化ステップを用いると、離散余弦変換（ＤＣＴ；ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｅｒ）係数の剰余の総和が極小となるという性質を利用して、最小値に係る量子化ステップを最適な量子化ステップとして求める手法である。
この「バックサーチ」を用いた技術については、例えば特許文献１では、前回の符号化における量子化ステップをバックサーチ方式により再生し、前回と同じ量子化ステップ及びＧＯＰ（Ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅｓ）位相で再び入力映像データを符号化し、エンコーダとデコーダをタンデム接続して映像データの符号化及び復号化を繰り返した場合の映像の品質の劣化を防止する映像データ圧縮装置が開示されている。
一方、今日では、ＭＰＥＧ方式に代えて、ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）規格が、携帯電話のテレビ電話といった低速・低画質の用途からハイビジョンテレビ放送等の大容量・高画質の動画まで幅広い用途に用いられてきているが、動き補償、フレーム間予測、ＤＣＴ、エントロピー符号化などを組み合わせたアルゴリズムを利用しており、ＭＰＥＧに比べて同じクオリティならば、概ね半分程度のデータ量で済むよう改良されている。
このＡＶＣの画面内符号化では、符号化効率を向上させるために、画面内の周辺画素からマクロブロック内の画素値を予測し、その予測からの差分画像データを符号化する画面内予測が導入された。この画面内符号化のみを用いて符号化されたＡＶＣのストリームを、以下、ＡＶＣ  Ｉｎｔｒａと呼ぶ。すなわち、このＡＶＣ  Ｉｎｔｒａでは、符号化の際に入力画像を周辺画素からの予測画像と差分に分離し、該差分を符号化する。
予測画像は、上の画素からの予測や横の画素からの予測等、９個のモードが用意されており、通常は単位ブロック（例えば４ｘ４サンプル等）あたりの予測画像からの差分の総和が最も小さくなるような予測モードを採用するようになっている。
【特許文献１】特開平１０−１７４０９８号公報。
【０００３】
しかしながら、前述した従来の手法では、符号化時の発生符号量は減少する傾向にあるが、ＡＶＣによる符号化は、量子化の部分が非可逆変換であるため、符号化と復号化を行うと元の入力画像に対して量子化歪が生じることから、ダビング時に符号化と復号化を繰り返す度に、量子化歪により画質が低下していく。特に、ダビング時に、この量子化歪の影響により前回の符号化時とは異なる予測モードが採用されると、再度量子化歪が発生してしまい、その結果、画質が低下するという問題が生じるおそれがある。
【発明の開示】
【０００４】
かかる課題を解決するため本発明の画像処理装置においては、処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成部と、差分画像データにおける各処理対象画素の絶対値の和に基づく差分合計値と画面内予測モードに予め設定された優先順位とに基づいて、当該画面内予測モードを順位付けする順位付け部とを設けるようにした。
これにより画像処理装置は、特定の画面内予測モードの優先順位を毎回高く設定することができるため、特定の画面内予測モードを選択し易くなり、前回の符号化時に使用された画面内予測モードを選択し易くしてダビング時の量子化歪みを抑制できる。
また本発明の画像処理方法においては、処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成ステップと、差分画像データにおける各処理対象画素の絶対値の和となる差分合計値と画面内予測モードに予め設定された優先順位とに応じて、当該画面内予測モードを順位付けする順位付けステップとを設けるようにした。
これにより画像処理装置は、特定の画面内予測モードの優先順位を毎回高く設定することができるため、特定の画面内予測モードを選択し易くなり、前回の符号化時に使用された画面内予測モードを選択し易くしてダビング時の量子化歪みを抑制できる。
本発明によれば、これにより画像処理装置は、特定の画面内予測モードの優先順位を毎回高く設定することができるため、特定の画面内予測モードを選択し易くなり、前回の符号化時に使用された画面内予測モードを選択し易くしてダビング時の量子化歪みを抑制でき、画質の低下を抑制し得る画像処理装置及び画像処理方法を実現できる。
【図面の簡単な説明】
【０００５】
図１は、本発明の第１及び第２の実施の形態に係る符号化装置の概念図。
図２は、ＡＶＣ規格における変換と量子化の説明に供する略線図である。
図３は、一度も符号化されていない画像を入力画像としたときの、量子化パラメータＱＰと剰余の総和（Σｒ）との関係を示す図。
図４は、符号化と復号が行われた入力画像について、量子化パラメータＱＰと剰余の総和（Σｒ）との関係を示す図。
図５は、リスケーリングファクターＲＦによる規格化後の量子化パラメータＱＰと評価値の総和ΣＹとの関係を示す図。
図６は、リスケーリングファクターＲＦによる規格化、所定領域の補正後の量子化パラメータＱＰと評価値の総和ΣＹとの関係を示す図。
図７ｖ本発明の第１の実施の形態に係る符号化装置の構成図。
図８は、（ａ）はＱｍａｔｒｉｘ検出部の構成図、（ｂ）はＱＰ検出部の構成図。
図９は、マクロブロックとイントラ符号化単位の関係を示す図。
図１０は、（ａ）〜（ｉ）は、９種類の４×４Ｉｎｔｒａ予測モードの説明図。
図１１は、本発明の第１の実施の形態の処理の流れを示すブロック図。
図１２は、本発明の第１の実施の形態に係る符号化装置のＱｍａｔｒｉｘ検出部によるスライス単位でのＱｍａｔｒｉｘ検出の処理について説明するフローチャート。
図１３は、本発明の第１の実施の形態に係る符号化装置のＱＰ検出部によるマクロブロック単位でのＱＰ検出の処理について説明するフローチャート。
図１４は、本発明の第１の実施の形態によるオフセット優先適用処理の詳細なフローチャート。
図１５は、本発明の第２の実施の形態に係る符号化装置の構成図。
図１６は、本発明の第２の実施の形態に係る符号化装置による予測モード検出の処理について説明するフローチャート。
図１７は、本発明の他の実施の形態によるオフセット優先適用処理の詳細なフローチャート。
【符号の説明】
【０００６】
２…第１の符号化部、３…バックサーチ部、４…第２の符号化部、５…予測モード検出部、６…Ｑｍａｔｒｉｘ検出部、７…ＱＰ検出部、２０…プレエンコーダ、２１…ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部、２２…整数精度ＤＣＴ部、２３…量子化部、２４…エントロピー計算部、３０…バックサーチ部、３１…Ｑｍａｔｒｉｘ検出部、３２…ＱＰ検出部、３３…画面内予測モード検出部、４０…符号量制御部、４１…Ｑｍａｔｒｉｘ／ＱＰ決定部、４５…画面内予測モード決定部、５０…パラメータエンコーダ、５１…画面内予測処理部、５２…整数精度ＤＣＴ部、５３…量子化部、５４…エントロピー符号化部
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。なお説明は以下の順序で行う。
（１）本発明の概略
（２）第１の実施の形態（オフセット優先適用処理）
（３）第２の実施の形態（バックサーチによる画面内予測モードの確認）
（１）本発明の概略
（１−１）前提
一般に、ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）規格による符号化は非可逆変換であるため符号化と復号化を行うと元のベースバンド（Ｂａｓｅｂａｎｄ）画像に対して歪が生じる。従って、例えばタンデム接続によるダビング等により符号化と復号化を繰り返す度に該歪により画質が低下していく。
この点に鑑みて、本発明の第１の実施の形態では、ＡＶＣ規格の画面内符号化において、一度符号化、復号化を通した画像を再度符号化する際に、前回の符号化で使われた以下の３つのパラメータを再利用することで、画像の歪を符号器と復号器の演算誤差のみに抑えることを特徴の一つとしている。
（１）画面内予測モード
（２）量子化行列（Ｑｍａｔｒｉｘ）
（３）量子化パラメータ（ＱＰ）
これらのうち、第１の実施の形態における量子化行列検出処理では、特に（２）に着目し、量子化パラメータ検出処理では（３）に着目し、オフセット優先適用処理では（１）に着目する。
すなわちＡＶＣ規格におけるイントラ（Ｉｎｔｒａ）画像、即ちＡＶＣ  Ｉｎｔｒａに対しダビングを行う際に、前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ及び画面内予測モードを検出して、同じＱｍａｔｒｉｘとＱＰとを利用することで量子化丸めを防ぎ、ダビング特性の向上を実現する。
ここで、図１には本発明の第１の実施の形態に係る符号化装置及び方法における概念図を示し説明する。
同図に示されるように、この画像処理装置１は第１の符号化部２、第２の符号化部３、バックサーチ部３を備え、更にバックサーチ部３は予測モード検出部５、量子化行列（Ｑｍａｔｒｉｘ）検出部６、量子化パラメータ（ＱＰ）検出部７を有している。
このような構成において、第１の符号化部２は、入力された画像情報に対して第１の符号化を行う。バックサーチ部３は、種々の量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせによるリスケーリングファクター（ＲＦ；Ｒｅｓｃａｌｉｎｇ  ｆａｃｔｏｒ）で第１の符号化の過程で得られる整数精度ＤＣＴ係数を除算したときに得られる剰余ｒの大きさを評価することで、第１の符号化において使われた量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ及び画面内予測モードを検出する。そして、第２の符号化部４は、第１の符号化においてバックサーチ部３により検出された量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ及び画面内予測モードを用いて第２の符号化を行う。
即ち、より詳細には、バックサーチ部３では、Ｑｍａｔｒｉｘ検出部６は、第１の符号化の過程で得られる整数精度ＤＣＴ係数に基づいて、第１の符号化において、上記整数精度ＤＣＴ係数を種々の量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせによるリスケーリングファクターＲＦで除算した剰余を用いて、スライス毎に量子化行列Ｑｍａｔｒｉｘを検出する。
ＱＰ検出部７は、第１の符号化の過程で得られる整数精度ＤＣＴ係数に基づいて、整数精度ＤＣＴ係数を種々の量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせによるリスケーリングファクターＲＦで除算した剰余を用いて、量子化パラメータＱＰをマクロブロック毎に検出する。
さらに、予測モード検出部５は、前回の符号化の際に使用された画面内予測モードを検出する。この検出された予測モードは第２の符号化部４において採用される。
先ず、本発明の第１の実施の形態に係る画像処理装置１に対する理解を深めるべく、本実施の形態が着目した特徴的な性質・原理について詳細に説明する。
図１に示すように、ＡＶＣ規格では、Ｉｎｔｒａ画像に対し、９つの画面内予測モードから選択された一の画面内予測モードを用いて入力画像から差分画像データを生成する。なお以下、Ｉｎｔｒａ画像に対するＡＶＣ規格をＡＶＣ  Ｉｎｔｒａと称する。次いでＡＶＣ  Ｉｎｔｒａでは、差分画像データに対してＤＣＴ処理を実行し、得られたＤＣＴ係数を量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせによるリスケーリングファクターＲＦで除算することにより量子化して量子化レベル（量子化係数）でなる量子化データを生成する。この量子化データは、さらに所定の符号化方式により符号化され、符号化ストリームとなる。この符号化ストリームは、符号化に使用された画面内予測モード、量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰが設定されることになる。
ＡＶＣ規格では、復号化の際、設定された画面内予測モード、量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを用いて量子化データを復号するが、符号化の際に丸められた剰余部分を復元することはできない。従って、ＡＶＣ規格では、この量子化の剰余分だけ画質を低下させることになる。以下、この画質の低下を量子化歪と呼ぶ。
例えば業務用の放送装置などでは、映像データに対し、複数回に亘って符号化及び復号化を繰り返すような場合が想定される。このとき、毎回異なる画面内予測モード、量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを用いると、符号化の度に量子化歪が発生してしまい、符号化の度に映像データの画質を低下させてしまう。
ＡＶＣ  Ｉｎｔｒａでは、一度符号化、復号化を通した画像を再度符号化する際に、前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ及び画面内予測モードを使うと、前回の符号化で量子化歪が既に落とされているので、それ以上量子化歪が生じにくいという性質がある。
このため本発明では、前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ又は画面内予測モードを検出し、これらを用いて符号化を実行することにより、映像データの画質低下を抑制する。
このように前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ又は画面内予測モードを高い確率で検出することを、以下の説明においては「バックサーチ」と称する。
ここで上述した特許文献１に記載されているように、バックサーチは、ＭＰＥＧ（Ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）−２において、ＤＣＴ係数を各量子化スケールＱによって除算すると共に、剰余ｒの最も小さい量子化スケールＱを前回符号化したときに使用した量子化スケールＱとして検出することができる。
しかしながらＡＶＣ規格では、ＭＰＥＧ−２とは以下の点において相違しており、ＭＰＥＧ−２の手法をそのまま適用すると、検出の精度が低下してしまう。
・整数精度演算の導入により符号化と復号化におけるＤＣＴ係数が等価に扱えない。
・復号時の演算誤差が大きく、検出精度に大きく影響する。
・剰余関数が量子化パラメータＱＰに関して周期をもつため、同じ値の最小値が複数存在する。
そこで、本発明は、ＡＶＣによる符号化を採用し、前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘや量子化パラメータＱＰ等を所定単位で高い確率で検出し、それらを再利用することでダビング時の量子化による丸め誤差を低減し、ダビング特性を向上することを課題とする。
（１−２）バックサーチの原理
以下、該バックサーチの具体的方法につき言及する。
ＡＶＣ  Ｉｎｔｒａでは、復号化の際に、量子化レベルＺに量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの関数であるリスケーリングファクターＲＦが乗算されて整数精度ＤＣＴ係数Ｗを６ｂｉｔ左シフトしたものが復号される。
（Ｗ＜＜６）＝Ｚ＊ＲＦ            ・・・（１）
ＲＦｒ＝｛Ｖ  Ｑｍａｔｒｉｘ２ｆｌｏｏｒ（ＱＰ／６）｝＞＞４      ・・・（２）
Ｖ：ＡＶＣの規格で定められたＭｕｌｔｉｐｌｉｃａｔｉｏｎ  ｆａｃｔｏｒ
このように、復号の過程で、量子化レベルＺにＲＦを乗算して整数精度ＤＣＴ係数Ｗを得ているので、次の符号化において整数精度ＤＣＴ係数ＷはＲＦで割り切れる。つまり、次の符号化の際にシフトされた整数精度ＤＣＴ係数（Ｗ＜＜６）を同じＲＦで割った場合に、その剰余ｒは０になると考えられる。このような性質に着目から、種々の量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせによるリスケーリングファクターＲＦを用いてシフトされた整数精度ＤＣＴ係数（Ｗ＜＜６）を割った剰余ｒの大きさを評価することで、前回の符号化で使われた量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰを検出することができる。
以上に加えて、第１の実施の形態に係る画像処理装置１では、検出精度を向上させる為に、ＭＰＥＧでは考慮されなかった、ＡＶＣ  Ｉｎｔｒａ特有の性質に起因する以下の（ｉ）〜（ｖｉ）の点を考慮する。以下、各点につき詳述する。
（ｉ）  符号化と復号化におけるＲＦの変換
ＡＶＣ  Ｉｎｔｒａでは、ＤＣＴ部を整数精度部と非整数精度部に分け、整数精度部を整数精度ＤＣＴと称し、非整数精度部と量子化を合わせて量子化と称している。ＡＶＣ  Ｉｎｔｒａでは、符号化と復号化で整数精度部と非整数精度部の切り分け位置が異なるため、符号化に用いる整数精度ＤＣＴ（以下、単に「ＤＣＴ」と表記する）と復号に用いる整数精度逆ＤＣＴ（以下、単に「逆ＤＣＴ」と表記する）は逆変換ではない。ゆえに、符号化で使われるＤＣＴ係数Ｗと復号で使われる逆ＤＣＴ係数Ｗ（以下、「Ｗ’」と表記する）は等しくならない。
即ち、ＤＣＴ係数ＷとＤＣＴ係数Ｗ’は次式で示される。
2009035144.tif 000003
このＤＣＴ、逆ＤＣＴの式より、ＤＣＴ係数ＷとＤＣＴ係数Ｗ’の間には次式が成立する。
2009035144.tif 000004
このようにＤＣＴ係数Ｗ’の位置（ｉ，ｊ）により１６、２０、２５を掛けたものがＷとなるが、この変換行列を「Ｄ」とし、（６）式に定義する。即ち、バックサーチ処理における符号化で用いるＲＦは復号化で用いるＲＦ（以下、「ＲＦｒ」と表記する）に、ＤＣＴ係数ＷとＤＣＴ係数Ｗ’の変換行列Ｄを乗じたものとする。
2009035144.tif 000005
すなわちＡＶＣ  Ｉｎｔｒａでは、図２に示すように、差分画像データに対して符号化及び復号化によりＤＣＴ処理を施した後に逆ＤＣＴ処理を行うと、復号差分画像データの値が変換行列Ｄだけスケールアップされることになる。
またＡＶＣ  Ｉｎｔｒａでは、量子化の際に、次式で表される量子化誤差ＥＲが発生する。なお（７）式を実際の数値として表すと、（８）式のように表すことができる。すなわちＡＶＣ  Ｉｎｔｒａでは、ＤＣＴ係数に対して符号化及び復号化により量子化処理及び逆量子化処理を行うと、逆ＤＣＴ係数の要素の値が量子化誤差ＥＲだけスケールアップされることになる。
ＥＲ＝ＭＦ×Ｖ／２１５            ・・・（７）
2009035144.tif 000006
このためＡＶＣ  Ｉｎｔｒａでは、復号化の際、復号差分画像データを「６４」で除算することにより、復号差分画像データの値を差分画像データと同レベルにするようなされている。
すなわちＡＶＣ  Ｉｎｔｒａでは、差分画像データに対してＤＣＴ処理を施した時点で、変換行列Ｄが乗算されてスケールアップされているものとみなすことができる。これに伴い、剰余ｒの値もスケールアップされることになるが、（８）式に示したように、その値（すなわち係数要素）は行列の位置によって異なっている。
従って仮にＤＣＴ係数を復号リスケーリングファクターＲＦによって除算すると、ＤＣＴ係数の位置に応じて剰余ｒが大きくなったり、小さくなったりしてしまうことになり、剰余ｒを単純に比較できなくなってしまう。
従って画像処理装置１では、次式のように復号時のリスケーリングファクター（以下、これを復号リスケーリングファクターＲＦｒと呼ぶ）に対して変換行列Ｄを乗算することにより、バックサーチ処理の際に除算する値として使用されるリスケーリングファクターＲＦを算出する。
2009035144.tif 000007
即ち、一度、符号化を介した入力画像（差分画像データ）のＤＣＴ係数Ｗは（５）式によるＤＣＴ係数ＷとＤＣＴ係数Ｗ’の変換行列Ｄを考慮すると、｛Ｖ  Ｑｍａｔｒｉｘ  Ｄ２ｆｌｏｏｒ（ＱＰ／６）｝で割り切れ、剰余ｒが０となると考えられる。
これにより画像処理装置１では、剰余ｒからＤＣＴ処理に伴うスケールアップの影響を排除することができ、剰余ｒを同一スケールで比較し得るようになされている。
このように画像処理装置１では、復号リスケーリングファクターＲＦｒに対して変換行列Ｄの値を乗算してリスケーリングファクターＲＦを算出する。これにより画像処理装置１では、リスケーリングファクターＲＦによって差分画像データを除算することにより、ＤＣＴ処理によって一律にスケールアップされる分をも同時に除算することができるため、スケールアップによる剰余ｒの変動を低減し、バックサーチの検出の精度を向上させ得るようになされている。
（ｉｉ）  復号時の誤差
ＡＶＣ  Ｉｎｔｒａでは、周辺画素からの予測画像との差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、すなわち差分画像データ）を符号化する。復号時に量子化レベルＺに復号リスケーリングファクターＲＦｒを乗じるが、復号時の演算丸めを防ぐため、復号リスケーリングファクターＲＦｒは規格上予め６ｂｉｔ桁上げされている（復号の際にＤＣＴ係数Ｗ’を６ｂｉｔ左シフトしたものが得られるのはそのためである）。
従って、逆量子化、逆ＤＣＴ処理は、６ｂｉｔ桁上げされた状態で演算され、予測画像を６ｂｉｔ桁上げしたものと足し合わせた後に、その和を６ｂｉｔ桁下げしてベースバンド画像を得る。この６ｂｉｔの桁下げにより、下位６ｂｉｔに入っていたデータが四捨五入される為、演算誤差Ｅが発生し、次回の符号化で生じたシフトされたＤＣＴ係数（Ｗ＜＜６）はリスケーリングファクターＲＦで割り切れないことがある。
そこで本発明は、剰余ｒが０になる量子化パラメータＱＰではなく、剰余ｒが最小値になる量子化パラメータＱＰを検出する。
ここでこの復号時の演算誤差Ｅは負の値であることもあるので、実際の剰余ｒの値と、剰余ｒをリスケーリングファクターＲＦから引いた値を比較し、小さい方を評価値Ｙとする。
例として、ＲＦ＝３６００、ＤＣＴ係数Ｗ＝７２００の場合を考える。
演算誤差Ｅがない場合の剰余ｒは、次式のようになる
2009035144.tif 000008
実際には演算誤差Ｅは見積もれないが、Ｅ＝−２として単純に剰余ｒを評価値Ｙとすると、次式のようになり、最小値として検出され難くなる。
Ｙ＝ｒ＝（Ｗ＋Ｅ）％ＲＦ＝３５９８            ・・・（１１）
ここで、上記のように実際の剰余ｒの値と、剰余ｒをリスケーリングファクターＲＦから引いた値を比較し、小さい方を評価値Ｙとすると、次式が得られ、評価値Ｙは演算誤差Ｅの絶対値となる。
Ｙ＝ｍｉｎ［ｒ，（ＲＦ−ｒ）］＝ｍｉｎ［３５９８，２］＝２      ・・・（１２）
従って本発明の画像処理装置１では、（１２）式に従って評価値Ｙを算出すると共に、評価値Ｙが最小値となる量子化パラメータＱＰを検出するようにした。これにより画像処理装置１は、適切な評価値Ｙを用いて適切に量子化パラメータＱＰを検出することができる。
（ｉｉｉ）  剰余曲線の性質と量子化パラメータＱＰの周期について
一度も符号化されていない画像を入力画像として、６ｂｉｔシフトされたＤＣＴ係数（Ｗ＜＜６）を種々の量子化パラメータＱＰによるリスケーリングファクターＲＦで割って剰余ｒを算出し、横軸に量子化パラメータＱＰ、縦軸に剰余の総和（Σｒ）をとると、図３に示されるような右上がりの曲線となる。
同様に、符号化と復号化が行われた入力画像について６ｂｉｔシフトされたＤＣＴ係数（Ｗ＜＜６）を種々の量子化パラメータＱＰによるリスケーリングファクターＲＦで割って剰余ｒを算出し、横軸に量子化パラメータ、縦軸に剰余の総和（Σｒ）をとると、図４に示されるようになる。この場合、剰余ｒの総和（Σｒ）の極小値は生じるが、やはり右上がりの傾向があり、符号化と復号化を既に行っているか否かによらず量子化パラメータＱＰが小さいほど剰余ｒの総和（Σｒ）も小さくなることが分かる。
従って、種々の量子化パラメータＱＰによる剰余ｒの総和（Σｒ）の大小関係を単純に評価すると、前回の符号化で使われた量子化パラメータＱＰよりも小さい量子化パラメータＱＰが最小値として誤検出されることがある。この問題を解決するために、剰余ｒの値をさらにリスケーリングファクターＲＦで規格化したものを評価値Ｙとして用いる。
このときの評価値Ｙの総和（ΣＹ）と量子化パラメータＱＰとの関係を図５に示している。図５から、前回の符号化で使用された量子化パラメータＱＰについての評価値Ｙの総和（ΣＹ）が、６ｎずれた量子化パラメータＱＰについての評価値Ｙの総和（ΣＹ）よりも小さくなっていることがわかる。
また、図３、図４に示されるように、（｜Ｗ｜＜＜７）≦ＲＦとなる量子化パラメータＱＰで評価値Ｙの値（剰余ｒの絶対値）がフラットになる領域が発生する傾向があり、この領域はリスケーリングファクターＲＦによる規格化を行うと単調減少して（図５参照）、誤検出の原因となる。
この際、同じリスケーリングファクターＲＦで割った場合でも統計的にはＤＣＴ係数Ｗが大きいほど剰余ｒも大きくなるため、剰余ｒをＤＣＴ係数の絶対値｜Ｗ｜でスケーリングした後、リスケーリングファクターＲＦで規格化する。これにより、大きな剰余を採り得るＤＣＴ係数Ｗが小さな剰余をもった場合は偶然ではないと考え、重み付けできる（通常、低周波成分ほど大きなＤＣＴ係数Ｗを持つため、低周波成分が重み付けされる）。
図６に、剰余ｒをＤＣＴ係数の絶対値｜Ｗ｜でスケーリングした後、リスケーリングファクターＲＦで規格化した評価値Ｙの総和（ΣＹ）と、量子化パラメータＱＰとの関係を示している。図から、前回の符号化で使用された量子化パラメータＱＰにおける評価値Ｙの総和（ΣＹ）と６ｎずれた量子化パラメータＱＰについての評価値Ｙの総和（ΣＹ）は図５と比較して殆ど変化していないことがわかる。
さらに画像処理装置１では、評価値Ｙの総和（ΣＹ）が傾斜を有する（｜Ｗ｜＜＜７）＞ＲＦとなる領域のみでリスケーリングファクターＲＦによる規格化を行い、それ以外の領域ではＤＣＴ係数絶対値｜Ｗ｜の値を評価値Ｙとして用いることもできる。
これにより、画像処理装置１では、図６に示したように、リスケーリングファクターＲＦによる規格化に起因して、（｜Ｗ｜＜＜７）≦ＲＦとなる領域において評価値Ｙの総和（ΣＹ）が最小となり、誤った量子化パラメータＱＰが前回使用された量子化パラメータＱＰとして検出されてしまうことを確実に防止し得るようになされている。
（ｉｖ）  量子化パラメータＱＰの周期について
ＡＶＣ  Ｉｎｔｒａでは、規格上、量子化パラメータＱＰが±６変化すると、リスケーリングファクターＲＦが±２倍になる性質を有している。従って、ある量子化パラメータＱＰにおいて剰余ｒの総和（Σｒ）が極小値をもった場合、ＱＰ±６ｎ（ｎ＝１、２…）でも剰余ｒの総和（Σｒ）が極小値を持つことがある（図４参照）。
このため単純に上記の評価値Ｙを評価すると、６ｎずれた量子化パラメータＱＰが検出されることがある。従って画像処理装置１では、剰余ｒの総和（Σｒ）が最小となる量子化パラメータＱＰより６ｎ大きな量子化パラメータＱＰに極小値がある場合はその量子化パラメータＱＰを採用する。
具体的に、画像処理装置１は、剰余ｒの総和（Σｒ）が小さい方から順に５個程度の量子化パラメータＱＰの値を配列に格納しておき、剰余ｒの総和（Σｒ）が最小となるＱＰと２番目に剰余ｒの総和（Σｒ）が小さいＱＰとを比較してその差が６ｎであれば、ＱＰの大きな方を採用する。更に、画像処理装置１は、採用した量子化パラメータＱＰと３番目に剰余ｒの総和（Σｒ）が小さい量子化パラメータＱＰとを比較し、両者の差が６ｎであれば、また大きい方の量子化パラメータＱＰを採用し、採用された量子化パラメータＱＰの入れ替えを行う。
このように画像処理装置１は、剰余ｒの総和（Σｒ）の極小値を複数検出した場合には、大きい値を有する量子化パラメータＱＰを優先して前回の符号化に使用された量子化パラメータＱＰとして採用する。これにより画像処理装置１は、６ｎずれた量子化パラメータＱＰが前回の符号化に使用された量子化パラメータＱＰとして誤検出されることを抑制し得るようになされている。
さらに画像処理装置１は、当該検出された複数の剰余ｒの総和（Σｒ）が６ｎ周期でなるか否かを確認し偶発的に存在する極小値が前回の符号化に使用された量子化パラメータＱＰとして誤検出されることを抑制し得るようになされている。
（ｖ）  演算量の削減方法
本発明の画像処理装置１では、種々の量子化パラメータＱＰに関して前述したようにリスケーリングファクターＲＦを計算し、剰余ｒから算出される評価値Ｙを用いて前回の符号化で使われた量子化パラメータＱＰを検出する。従って、採り得る量子化パラメータＱＰの数が多い程、演算、評価も処理量が多くなる。この問題を避けるために、前回符号化に使われた量子化パラメータＱＰの大体の値が既知の場合は、その周辺の量子化パラメータＱＰのみで評価すれば十分とし、演算量を削減している。
なおこの量子化パラメータＱＰは、例えば第３の実施の形態における量子化係数による原画判定処理において算出することができる。また入力画像データのアクティビティなどから推測することもできる。
（ｖｉ）  その他、以下の条件も考慮する。
画面内予測モードが前回の符号化の時と異なっていても、上記（ｉｖ）の６ｎ入れ替えを行うと、検出率は維持できる。また、量子化パラメータＱＰの大体の値が既知である場合にも同様である。これは、予測モードを前回の符号化時と異なるモードに変えたときに生じる問題に着目したものであるが、予測モードが前回の符号化時と異なっていても、この実施の形態では対応可能とする。
量子化行列Ｑｍａｔｒｉｘは予めいくつかのパターンが定義されているものとする（例えばＩＤ番号などで識別できるものとする）。
すなわち画像処理装置１では、量子化行列Ｑｍａｔｒｉｘが変化することによりリスケーリングファクターＲＦも変化するため、量子化パラメータＱＰに加えて量子化行列Ｑｍａｔｒｉｘをも検出する必要がある。
画像処理装置１では、マクロブロック単位で量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせを変えて、各量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰごとにリスケーリングファクターＲＦを計算する。尚、先に図４で前述したように、剰余ｒの最小値は、量子化パラメータＱＰに関して６ｎの周期を有しており、量子化パラメータＱＰが６ｎずれていても、量子化行列Ｑｍａｔｒｉｘさえ検出できれば良い。このため画像処理装置１では、前回の符号化で使われた量子化パラメータＱＰの大体の値が分かっていれば、該ＱＰの値を含んだ連続した６個の量子化パラメータＱＰで評価すれば十分であるものとする。
以上を考慮して、本発明の画像処理装置１では、上記特徴的な視点をふまえて、先ず前回使用した量子化行列Ｑｍａｔｒｉｘを検出する量子化行列検出処理を実行した後、該量子化行列Ｑｍａｔｒｉｘを用いて量子化パラメータＱＰを検出する量子化パラメータ検出処理を実行する。
（２）第１の実施の形態
（２−１）符号化装置の構成
以下、図７には本発明の第１の実施の形態に係る符号化装置１０の構成を示し説明する。なお符号化装置１０は、図１における画像処理装置１に対応するものである。またバックサーチ部３０はバックサーチ部３に、パラメータエンコーダ５０は第２の符号化部４に、Ｑｍａｔｒｉｘ検出部３１はＱｍａｔｒｉｘ検出部６に、ＱＰ検出部３２はＱＰ検出部７にそれぞれ対応するものである。
図７に示されるように、符号化装置１０は、１パス（ｐａｓｓ）目のプレエンコーダ２０とバックサーチ部３０、２パス（ｐａｓｓ）目のパラメータエンコーダ５０、符号量制御部４０、Ｑｍａｔｒｉｘ／ＱＰ決定部４１、画面内予測モード決定部４５を備えている。より詳細には、１パス目のプレエンコーダ２０は、更にｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１、整数精度ＤＣＴ部２２、量子化部２３、エントロピー計算部２４からなる。バックサーチ部３０は、更にＱｍａｔｒｉｘ検出部３１、ＱＰ検出部３２、画面内予測モード検出部３３からなる。そして、２パス目のパラメータエンコーダ５０は、画面内予測処理部５１、整数精度ＤＣＴ部５２、量子化部５３、エントロピー符号化部５４からなる。尚、ここでは、２パス符号化を採用することを想定しているが、それ以上のマルチパス（ｍｕｌｔｉ−ｐａｓｓ）符号化であっても基本的な考え方は同じである。
ここで、Ｑｍａｔｒｉｘ検出部３１の詳細な構成例を図８（ａ）に示している。またＱＰ検出部３２の詳細な構成例を図８（ｂ）に示している。
図８（ａ）に示すように、Ｑｍａｔｒｉｘ検出部３１は、剰余計算部３１ａ、評価値判定部３１ｂ、Ｑｍａｔｒｉｘ判定部３１ｃからなる。そして、図８（ｂ）に示すように、ＱＰ検出部３２は、剰余計算部３２ａ、評価値判定部３２ｂ、ＱＰ判定部３２ｃからなる。
このような構成において、入力画像は１パス目のプレエンコーダ２０に入力される。
より詳細には、入力画像データはｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１に入力される。このｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、後述するオフセット優先適用処理により、９つの画面内予測モードから最適な画面内予測モードを決定すると共に、入力画像が周辺画素を用いた予測画像からの差分画像データ及び差分絶対値和ＳＡＤを生成し、これらを整数精度ＤＣＴ部２２に入力する。
整数精度ＤＣＴ部２２は、離散余弦変換による直行変換により差分画像データからＤＣＴ係数Ｗを生成し、量子化部２３及びバックサーチ部３に供給する。
量子化部２３ではＤＣＴ係数Ｗが入力されると、当該ＤＣＴ係数を量子化し、量子化データを生成する。この量子化により量子化部２３より出力された量子化レベルＺは、エントロピー計算部２４に送られる。
エントロピー計算部２４は、入力された量子化レベルＺをバイナライズ、算術符号化して符号化ストリームを生成し、符号量制御部４０に供給する。符号量制御部４０は、当該符号化ストリームの発生符号量に基づいてパラメータエンコーダ５０に対する符号量制御を実行する場合の量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを見積り、これをＱｍａｔｒｉｘ／ＱＰ決定部４１に送出する。
一方、スライス単位で整数精度ＤＣＴ部２２よりバックサーチ部３０に送られたＤＣＴ係数Ｗは、Ｑｍａｔｒｉｘ検出部３１に入力される。Ｑｍａｔｒｉｘ検出部３１は、剰余計算部３１ａによってＤＣＴ係数Ｗを種々の量子化行列ＱｍａｔｒｉｘによるリスケーリングファクターＲＦによって除算し、評価値判定部３１ｂに供給する。評価値判定部３１ｂは、剰余ｒを剰余ｒを（ｉｉｉ）で前述した考え方に従って評価値Ｙに変換し、Ｑｍａｔｒｉｘ判定部３１ｃに送出する。Ｑｍａｔｒｉｘ判定部３１ｃは、種々の量子化行列Ｑｍａｔｒｉｘについての評価値Ｙを比較し、評価値Ｙが最小である量子化行列Ｑｍａｔｒｉｘを前回使われた量子化行列Ｑｍａｔｒｉｘとして出力する。尚、Ｑｍａｔｒｉｘ検出部３１による量子化行列検出処理手順の詳細については後述する。
このとき検出された量子化行列ＱｍａｔｒｉｘはＱＰ検出部３２に送られる。剰余計算部３２ａは、ＤＣＴ係数Ｗを種々の量子化パラメータＱＰによるリスケーリングファクターＲＦによって除算し、評価値判定部３２ｂに供給する。評価値判定部３２ｂは、評価値Ｑｍａｔｒｉｘ検出部３１によって検出された量子化行列Ｑｍａｔｒｉｘを用い、剰余ｒを（ｉｉｉ）で前述した考え方に従って評価値Ｙに変換し、ＱＰ判定部３２ｃに送出する。ＱＰ判定部３２ｃは、種々の量子化パラメータＱＰについての評価値Ｙを比較し、評価値Ｙが最小である量子化パラメータＱＰを前回使われた量子化パラメータＱＰとして出力する。尚、ＱＰ検出部３２による量子化パラメータ検出処理手順の詳細については後述する。
この検出された前回の量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘは、Ｑｍａｔｒｉｘ／ＱＰ決定部４１に送られる。Ｑｍａｔｒｉｘ／ＱＰ決定部４１では、量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰに関して、１パス目のプレエンコーダ２０で見積もられたものを採用するのか、バックサーチ部３０で検出されたものを使うかを決定する。通常、入力画像データが一度も符号化されていない原画像である場合には、前回の符号化がないためバックサーチは失敗し、１パス目のプレエンコーダ２０による符号化処理により見積もられたものを採用する。逆に入力画像が既に符号化されたことのある非原画である場合には、量子化歪が繰り返し乗ることを避ける為、バックサーチ部３０によって検出されたものを採用する。
２パス目のパラメータエンコーダ５０では、前述したようにＱｍａｔｒｉｘ／ＱＰ決定部４１で決定された量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１で決定された画面内予測モードを使って、入力画像を符号化し、符号化ストリーム（Ｓｔｒｅａｍ）として出力する。
より詳細には、画面内予測処理部５１では、最適な画面内予測モードとしてｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１で決定された画面内予測モードに選定し、周辺画素の予測画像を用いて入力画像から差分画像データを生成し、当該差分画像データを整数精度ＤＣＴ部５２に入力する。整数精度ＤＣＴ部５２では、離散コサイン変換による直行変換により差分画像データをＤＣＴ係数Ｗとして出力する。量子化部５３ではＤＣＴ係数Ｗを入力として、Ｑｍａｔｒｉｘ／ＱＰ決定部４１で決定された量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰを用いて量子化を行い、量子化レベルＺをエントロピー符号化部５４に送出する。エントロピー符号化部５４では、入力された量子化レベルＺをバイナライズ、算術符号化して符号化ストリームとして出力する。
（２−２）オフセット優先適用処理
ＡＶＣのイントラ（画面内符号化）フレームでは、ダビングにおいて前回の符号化で使用された画面内予測モードを再利用することは画質低下を防ぐために有効な手段である。
量子化行列検出処理及び量子化パラメータ検出処理において、前述したように、ＡＶＣ  Ｉｎｔｒａでは、復号の際に、量子化レベルＺに量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの関数であるリスケーリングファクターＲＦが乗算されてＤＣＴ係数Ｗを６ｂｉｔ左シフトしたものが復号される。画面内予測モードが変わった場合はＤＣＴ係数の分布が変わるので、剰余ｒが０である確率は低くなる。
すなわち、図９に示すように、上述した量子化行列検出処理及び量子化パラメータ検出処理はマクロブロックＭＢごと（１６×１６画素）単位で実行される。これに対して画面予測は、例えば４×４画素のサブマクロブロックによるイントラ符号化単位ＩＡで実行される。すなわち、マクロブロックＭＢには４×４＝１６のイントラ符号化単位ＩＡが含まれることになる。
符号化装置１０では、予め符号量が最小となる画面内予測モードを検出すると共に、当該検出された画面内予測モードにおいて上述した量子化行列検出処理及び量子化パラメータ検出処理を実行する。このとき、検出された画面内予測モードが前回符号化された画面内予測モードとは限らないものの、発生符号量が最小となる画面内予測モードを用いているため、１６のイントラ符号化単位ＩＡのうち、多数は前回符号化された画面内予測モードであることが想定される。
この場合、符号化装置１０は、上述したようにマクロブロックごとに剰余ｒの総和（Σｒ）を用いて極小値を検出する。このため画像処理装置１は、１６のイントラ符号化単位ＩＡにおいて、前回使用したものとは異なる画面内予測モードが混ざっていたとしても、多数の前回符号化された画面内予測モードに基づいて、量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを適切に検出することができる。
かかる構成に加えて、本発明の符号化装置１０では、ＡＶＣ  Ｉｎｔｒａで符号化を行う際に、ＡＶＣの規格で定義されている９個の画面内（Ｉｎｔｒａ（イントラ））予測モードのうち、特定の画面内予測モードを優先的に選択させる。これにより符号化装置１０では、ダビング時の画面内予測モード変化を防止する。その結果、再度量子化歪が発生することを抑え、ダビング特性を向上させるものである。
即ち、ダビング時に前回の符号化で使われた画面内予測モードが選択されると、既に前回の量子化で丸められるべきデータが落ちているので、それ以上量子化歪が発生しにくいという性質がある。このような性質に着目し、この実施の形態では、所定の画面内予測モードが優先的に選択されるようにしてダビング特性を向上させることを特徴とする。
ここで、本発明の理解を助けるために、図１０を参照して、ＡＶＣ  Ｉｎｔｒａで符号化を行う際の９個の画面内予測モードについて、その概略を説明する。
図１０（ａ）〜（ｉ）は、９種類の画面内予測モード（モード番号０〜８）の予測方向を示している。
予測方向は、この９通りの予測方向（モード番号０〜８でなる画面内予測モード）の中から、４×４画素のブロック毎に一の予測方向（すなわち画面内予測モード）を選択して、この選択した予測方向を用いて４×４画素のブロック単位で符号化することになる。特に、モード番号２でなる画面内予測モードでは、処理対象となる４×４の処理対象画素の左（水平方向に隣接）の４画素と、上（垂直方向に隣接）の４画素の計８画素の平均値（例えばｍｅａｎ（Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ））を基準とし、処理対象画素の４×４画素の全てを予測するものである。
以下、このモード番号２でなる画面内予測モードを、以下ＤＣ（Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ）予測モードと呼ぶ。他の画面内予測モード（モード番号０〜１、３〜８）については、図に示す矢印の方向に従って予測が行われる。
図１１は、入力画像データが非原画であった場合に実行される処理の流れを示したものであり、図７の符号化装置１０における構成の一部を抽出して示している。
この図１１に示すように、符号化装置１０は、画面内予測モード決定手段としてのｏｆｆｓｅｔ（オフセット）付Ｉｎｔｒａ予測モード決定部２１、離散余弦変換手段としての整数精度ＤＣＴ部２２、量子化パラメータ計算手段としてのバックサーチ部３０、量子化手段としての量子化部５３、符号化手段としてのＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｅ）などでなるエントロピー符号化部５４によって処理を実行する。尚、エントロピー符号化部５４は、周囲の状況（コンテキスト）に応じて、適応的に符号化を行う２値の算術符号化方式を採用するものである。
このような構成において、入力画像データはｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１に入力され、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１にて、９種類の画面内予測モードのうち１の画面内予測モードが採用される。従来の情報符号化装置では、量子化係数におけるゼロを増大させてエントロピー符号化部５４における発生符号量を小さくするため、イントラ符号化単位ＩＡごとの予測画像（すなわち差分画像データ）における処理対象画素の絶対値の和となる差分絶対値和ＳＡＤが最も小さいものが採用される。本実施の形態では、後述する図１４のフローチャートの流れに沿って処理が実行される。すなわち符号化装置１０のｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、各画面内予測モードに対してｏｆｆｓｅｔの値を予め設定しておき、それぞれの画面内予測モードによって符号化された差分画像データにおける差分絶対値和ＳＡＤを算出する。そしてｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、差分絶対値和ＳＡＤに対して画面内予測モードに対応するｏｆｆｓｅｔを付加すると共に、オフセットが付加されたオフセット付差分絶対値和ＳＡＤｆ同士を比較して、差分絶対値和ＳＡＤが最小となる画面内予測モードを実際の符号化に使用する画面内予測モードとして採用する。ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、このようにして選択された画面内予測モードのモード番号ｘと、差分画像データとを整数精度ＤＣＴ部２２に供給する。
整数精度ＤＣＴ部２２では、差分画像データをＤＣＴにより直交座標変換し、ＤＣＴ係数Ｗとしてバックサーチ部３０へと送出する。バックサーチ部３０では、上述したバックサーチ処理により量子化パラメータＱＰ及び量子化行列Ｑｍａｔｒｉｘを検出し、これらとＤＣＴ係数Ｗとを量子化部５３に供給する。量子化部５３では、このＤＣＴ係数Ｗを量子化パラメータＱＰ及び量子化行列Ｑｍａｔｒｉｘを用いて量子化し、量子化レベルＺとしてエントロピー符号化部５４へと出力する。
こうして、エントロピー符号化部５４では、量子化レベルＺを、バイナライズ、算術符号化して符号化ストリームとして出力することになる。
ここで、特にｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、以下の特徴的な作用を奏する。
（１）  それぞれの画面内予測モード間での予測画像からの差分絶対値和ＳＡＤの差が小さく、符号化時の量子化歪により再度符号化を実行したときに差分絶対値和ＳＡＤの大小関係が入れ替わる可能性のあるものを予めＤＣ予測モードに固定することにより、再度量子化歪が発生することを抑える。
（２）  例えば、インターレースの画像等、ある方向の相関が極端に強く、ＤＣ予測モードに固定すると予測画像からの差分絶対値和ＳＡＤが極端に大きくなり、発生符号量が増大するような場合は、その相関の大きい方向の画面内予測モードを選び、発生符号量の増大を抑える。
（３）  入力画像の特性により、上記（１）、（２）の閾値をパラメータｏｆｆｓｅｔの値によって調節する。また、パラメータｏｆｆｓｅｔは、画面内予測モード毎に別々の値を設定して、ＤＣ予測→縦方向予測→横方向予測→…方向予測のように、段階的に優先順位を付与してもよい。
この実施の形態に係る符号化装置では、以上（１）〜（３）により、入力画像の特性により柔軟な画質、ダビング特性の制御を実現する。
より具体的には、ＡＶＣ  Ｉｎｔｒａでは、前述したような９個の画面内予測モードのうち、ある単一の画面内予測モードのみを許可した場合に、周辺画素の平均値から予測画像を得るＤＣ予測モード（即ち、図１０（ｃ）の画面内予測モード番号２）がＳＮＲの値だけでなく、視覚的にも優れている。このような点に着目して、この実施の形態に係る符号化装置１０では該ＤＣ予測モードを優先的に選択させる。実際上、符号化装置１０では、９つの画面内予測モードのうち、本来選ばれるべき最も差分絶対値和ＳＡＤの小さい画面内予測モードとＤＣ予測モードとの間で予測画像からの差分絶対値和ＳＡＤを比較して、その差がｏｆｆｓｅｔ未満ならＤＣ予測モードを採用する。
具体的に、入力画像データが入力されると、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、画面内予測モードごとにｏｆｆｓｅｔ［ｎ］の値を設定する。ｏｆｆｓｅｔ［ｎ］の値は、画面内予測モードごとに予め定められている。ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、図示しないＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などからｏｆｆｓｅｔ［ｎ］を読出すことにより、ｏｆｆｓｅｔ［ｎ］の値を設定する。
このｏｆｆｓｅｔ［ｎ］の値は、符号化による画質の低下の度合いに応じて決定されており、当該画質の低下が小さい画面内予測モード程小さくなるように設定されている。すなわちｏｆｆｓｅｔ［ｎ］の値は、最も画質の低下が小さいＤＣ予測モードに対するオフセットを「０」（オフセットを付加しない）に設定される。またｏｆｆｓｅｔ［ｎ］の値は、画質の低下度合いが大きい画面内予測モードに対して大きく、画質の低下度合いが小さい画面内予測モードに対して小さくなるように設定される。
次いでｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、各画面内予測モードごとに入力画像データから差分画像データを生成すると共に、差分絶対値和ＳＡＤを算出する。ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、当該差分絶対値和ＳＡＤに対して画面内予測モードに対応するｏｆｆｓｅｔ［ｎ］を付加し、オフセット付差分絶対値和ＳＡＤｆを算出する。なおＤＣ予測モードについては、差分絶対値和ＳＡＤ＝オフセット付差分絶対値和ＳＡＤｆとする。
ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、オフセット付差分絶対値和ＳＡＤｆ同士を比較し、オフセット付差分絶対値和ＳＡＤｆが最小となる画面内予測モードを符号化に使用する画面内予測モードとして選択する。
そしてｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、選択された画面内予測モードのモード番号ｘと、差分画像データとを整数精度ＤＣＴ処理部２２に供給するようになされている。
最後に、ｏｆｆｓｅｔの値は、一般的に以下のような結果を与える。
（ａ）ｏｆｆｓｅｔの値が小さい場合
この場合は、最も差分絶対値和ＳＡＤが小さい画面内予測モードが選ばれやすくなるため、一回目の符号化で得られる画像の画質は良くなる傾向にあるが、ＤＣ予測モードに固定する効果が弱いので、ダビングによる画質劣化はあまり改善されない。
（ｂ）ｏｆｆｓｅｔの値が大きい場合
この場合は、ＤＣ予測モードに固定する効果が強いため、ダビングによる画質劣化は抑えられるが、差分絶対値和ＳＡＤが最小の画面内予測モードが選ばれにくくなるため、一回目の符号化で得られる画像の画質は悪くなる傾向にある。ダビングを繰り返すと差分絶対値和ＳＡＤが最も小さい画面内予測モードを採用する通常のダビングを繰り返す場合よりＳＮＲ、視覚特性が向上する。
これら（ａ）、（ｂ）の効果を考慮すると、テレビ放送局など、予め複数回のダビングをして利用することが予想される画像に対してはｏｆｆｓｅｔを大きめ（３２〜１２８程度）に設定することが望ましい。逆に一回目の符号化で得られる画像での利用や、あまりダビングをしないことが予想される画像に対してはｏｆｆｓｅｔを小さめ（例えば、３２未満）に設定することで、符号化画像の最適な利用段階（ダビング回数）において最良のＳＮＲ特性、視覚特性を得ることができるものと考えられる。
以上説明したように、本発明の一実施の形態に係る符号化装置１０によれば以下のような効果が奏される。即ち、ｏｆｆｓｅｔの値に応じてＤＣ予測モードを優先的に選択させることで、ダビング時の画面内予測モード変化を抑えることができる。更に、ｏｆｆｓｅｔの値により、画像の使用目的に合わせた柔軟なダビング特性制御ができる。そして、ダビング時に前回の符号化と同じ画面内予測モードが選ばれやすくすることで、繰り返し量子化歪が乗ることを回避し、ダビング時の画質劣化を抑えることができる。
（２−３）処理手順
（２−３−１）量子化行列検出処理
以下、量子化行列検出処理手順ＲＴ１を示す図１２のフローチャートを参照して、本発明の第１の実施の形態に係る符号化装置１０のＱｍａｔｒｉｘ検出部３１によるスライス単位でのＱｍａｔｒｉｘ検出の処理について更に説明する。これは、同実施の形態に係る画像情報符号化方法にも相当する。
なおこの図１２において、符号化装置１０は、各ＤＣＴ係数の絶対値｜Ｗ｜が規格化閾値以下（すなわち｜Ｗ｜＜＜７がＲＦ以下）である場合にのみ、剰余ｒをリスケーリングファクターＲＦによって規格化することにより評価値Ｙを算出し、ＤＣＴ係数の絶対値｜Ｗ｜が規格化閾値より大きい場合には、剰余ｒを評価値Ｙとする。そして符号化装置１０は、評価値Ｙが最小となるリスケーリングファクターＲＦに基づいて量子化行列Ｑｍａｔｒｉｘを検出するようになされている。
Ｑｍａｔｒｉｘ検出部３１は、整数精度ＤＣＴ部２２で求められたＤＣＴ係数Ｗの絶対値｜Ｗ｜を入力として、前回の符号化で使われた可能性のある量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの中から初期値を決める（ステップＳ１）。続いてＱｍａｔｒｉｘ検出部３１は、マクロブロック単位で量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰの組み合わせを変えて、各量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰごとにリスケーリングファクターＲＦを計算する。このとき剰余計算部３１ａは、スライス内の各サンプルに対して｜Ｗ｜＜＜６を該リスケーリングファクターＲＦで割った剰余ｒを計算する（ステップＳ２）。尚、先に図４で前述したように、剰余ｒの最小値は、量子化パラメータＱＰに関して６ｎの周期を有しており、量子化パラメータＱＰが６ｎずれていても、この図１０の処理では量子化行列Ｑｍａｔｒｉｘさえ検出できればいいので、前回の符号化で使われた量子化パラメータＱＰの大体の値が分かっていれば、該ＱＰの値を含んだ連続した６個の量子化パラメータＱＰで評価すれば十分であるものとする。
続いて、評価値判定部３１ｂは、｜Ｗ｜＜＜７＞ＲＦであるか否かを判定し、該関係が成立する場合には、剰余ｒをリスケーリングファクターＲＦで規格化（スケーリング）したものを評価値Ｙとする（ステップＳ４）。一方評価値判定部３１ｂは、該関係が成立しない場合には、｜Ｗ｜＜＜６を評価値Ｙとする（ステップＳ５）。このように、評価値判定部３１ｂは、マクロブロック内の２５６（＝１６ｘ１６）サンプルに関して、シフトされたＤＣＴ係数（Ｗ＜＜６）をリスケーリングファクターＲＦで割った剰余ｒに上記（ｉｉｉ）の規格化と補正を施したものを評価値Ｙとし、該評価値Ｙの総和を量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰ毎に計算する（ステップＳ６〜８）。
こうして、可能性のある全ての量子化行列Ｑｍａｔｒｉｘ、６つの量子化パラメータＱＰについて評価値Ｙが計算されると（ステップＳ７をＹｅｓに分岐）、Ｑｍａｔｒｉｘ判定部３１ｃは、スライス単位で量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰごとの評価値Ｙの総和を比較し（ステップＳ９）、総和（ΣＹ）が最小となる量子化行列Ｑｍａｔｒｉｘを検出し、前回使われた量子化行列Ｑｍａｔｒｉｘであるものとし（ステップＳ１０）、該量子化行列ＱｍａｔｒｉｘのＩＤ番号を出力する。
なお符号化装置１０は、例えばステップＳ２の前段において剰余ｒに対してＤＣＴ係数の絶対値｜Ｗ｜を乗算して重み付けした乗算値を算出し、当該乗算値をリスケーリングファクターＲＦによって規格化し、評価値Ｙとしても良い。この場合、符号化装置１０は、各ＤＣＴ係数の絶対値｜Ｗ｜が大きい領域であっても、当該領域の評価値Ｙを大きくして誤検出を防止し得るため、重み付けによって当該規格化した値を一律に評価値Ｙとすることができる。
また符号化装置１０は、例えば剰余ｒをそのまま評価値Ｙとして極小値を検出し、複数の極小値が検出された場合には、量子化パラメータＱＰにおける極小値の周期が６ｎであることを確認した上で、大きい値でなる量子化パラメータＱＰを前回の符号化に使用された量子化パラメータＱＰとして検出することも可能である。
（２−３−２）量子化パラメータ検出処理
次に、量子化パラメータ検出処理手順ＲＴ２を示す図１３のフローチャートを参照して、本発明の第１の実施の形態に係る符号化装置１０のＱＰ検出部３２によるマクロブロック単位での量子化パラメータＱＰ検出の処理について更に説明する。これは、同実施の形態に係る画像情報符号化方法にも相当する。
なおこの図１３において、符号化装置１０は、各ＤＣＴ係数の絶対値｜Ｗ｜が規格化閾値以下（すなわち｜Ｗ｜＜＜７がＲＦ以下）である場合にのみ、剰余ｒをリスケーリングファクターＲＦによって規格化することにより評価値Ｙを算出し、ＤＣＴ係数の絶対値｜Ｗ｜が規格化閾値より大きい場合には、剰余ｒを評価値Ｙとする。そして符号化装置１０は、評価値Ｙが最小となるリスケーリングファクターＲＦに基づいて量子化パラメータＱＰを検出するようになされている。
ＱＰ検出部３２は、整数精度ＤＣＴ部２２で求められたＤＣＴ係数Ｗの絶対値｜Ｗ｜を入力として、で検出された量子化行列Ｑｍａｔｒｉｘを用いて、マクロブロック単位で種々の量子化パラメータＱＰごとにリスケーリングファクターＲＦを計算する。ＱＰ検出部３２は、この時点で前回使われた量子化パラメータＱＰの大体の値が分かっている場合は、その周辺のＱＰのみを検出対象とすることで演算量を減らすことができる。ＱＰ検出部３２は、前回の符号化で使われた可能性のある量子化パラメータＱＰの中から初期値を求めると（ステップＳ２１）、マクロブロック内の全てのＤＣＴ係数の絶対値｜Ｗ｜が０であるか否かを判断する（ステップＳ２２）。そしてＱＰ検出部３２は、全てのＤＣＴ係数の絶対値｜Ｗ｜が０である場合には量子化パラメータＱＰは検出不可能とする（ステップＳ２３）。即ちＱＰ検出部３２は、マクロブロック内のすべてのＤＣＴ係数の絶対値｜Ｗ｜が０の場合はどの量子化パラメータＱＰで割っても剰余ｒは０となるので量子化パラメータＱＰは検出できない為、検出除外する。
一方、ステップＳ２２にて、全てのＤＣＴ係数の絶対値｜Ｗ｜が０でない場合には、ＱＰ検出部３２の剰余計算部３２ａは、マクロブロック内の２５６（＝１６ｘ１６）の各サンプルに対してシフトされたＤＣＴ係数（｜Ｗ｜＜＜６）を（９）式に従ってに求めたリスケーリングファクターＲＦで割った剰余ｒを計算する（ステップＳ２４）。
続いて、評価値判定部３２ｂは、（｜Ｗ｜＜＜７）＞ＲＦであるか否かを判定し（ステップＳ２５）、（｜Ｗ｜＜＜７）＞ＲＦである場合には、剰余ｒをリスケーリングファクターＲＦで規格化したものを評価値Ｙとし（ステップＳ２６）、（｜Ｗ｜＜＜７）＞ＲＦでない場合には（｜Ｗ｜＜＜６）を評価値Ｙとする（ステップＳ２７）。即ち評価値判定部３２ｂは、マクロブロック内の２５６（＝１６ｘ１６）サンプルに関して、シフトされたＤＣＴ係数（Ｗ＜＜６）をＲＦで割った剰余に（ｉｉｉ）で述べた規格化と補正を行ったものを評価値Ｙとし、その総和（ΣＹ）を量子化パラメータＱＰごとに計算する（ステップＳ２８）。
次いで、評価値判定部３２ｂは、可能性のある全ての量子化パラメータＱＰに関して評価値Ｙが計算されているか否かを判断し（ステップＳ２９）、全ての量子化パラメータＱＰに関して評価値Ｙが計算されていない場合には、量子化パラメータＱＰを変更し（ステップＳ３０）、ステップＳ２６、Ｓ２８、Ｓ２９の処理を繰り返す。
こうして、可能性のある全ての量子化パラメータＱＰについて評価値Ｙが計算されると（ステップＳ２９をＹｅｓに分岐）、ＱＰ判定部３２ｃは、マクロブロック単位でＱＰ毎の評価値Ｙの総和（ΣＹ）を比較し（ステップＳ３１）、総和が最小となる量子化パラメータＱＰを前回使用された量子化パラメータＱＰとし（ステップＳ３２）、当該量子化パラメータＱＰの値を出力することになる。
このとき、量子化パラメータＱＰが６未満となる領域は誤検出の可能性が高くなるので除外する。それは、例えば２００Ｍｂｐｓ以下の実用領域では６未満の量子化パラメータＱＰが使われることはほとんどなく、除外した方が検出率が高くなるからである。
以上説明したように、本発明の第１の実施の形態の符号化装置１０は、Ｑｍａｔｒｉｘ検出部３１により、符号化の過程で得られるＤＣＴ係数から前回の符号化で使われたＱｍａｔｒｉｘをスライスごとに剰余ｒを用いて高い確率で検出することができる。更に符号化装置１０は、ＱＰ検出部３２により、符号化の過程で得られるＤＣＴ係数から前回の符号化で使われたＱＰをマクロブロックごとに剰余ｒを用いて高い確率で検出することができる。そして、符号化装置１０は、これら検出された量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰを再利用することでダビング時の丸め誤差を低減し、ダビング特性を向上することができる。また符号化装置１０は、変換行列Ｄを導入することで、符号化と復号化におけるＤＣＴ係数を等価に扱うことが可能となる。さらに符号化装置１０は、剰余ｒをＤＣＴ係数Ｗで重み付けし、リスケーリングファクターＲＦで規格化することで検出精度を高めることができる。
また符号化装置１０は、ＡＶＣから導入された量子化パラメータのＱＰの６ｎの周期性を考慮し、剰余ｒが最小値をと量子化パラメータＱＰより、６ｎ大きいＱＰに剰余ｒの極小値がある場合は、最小値でなくてもその量子化パラメータＱＰを前回の符号化で使われた量子化パラメータＱＰとする。そして符号化装置１０は、前回の符号化で使われた量子化パラメータのＱＰのおおよその値が既知の場合、該値から±ｎだけ量子化パラメータＱＰを変化させて評価することで、演算量を減らすことができる。
（２−３−３）オフセット優先適用処理手順
次に、符号化プログラムに従って実行されるオフセット優先適用処理手順ＲＴ３について、図１４のフローチャートを用いて説明する。
符号化装置１０のｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、入力画像データが供給されると、オフセット優先適用処理手順ＲＴ３を開始し、ステップＳ５１へ移る。
ステップＳ５１において、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、それぞれの画像予測モードに対し、当該モード番号ｎに応じたｏｆｆｓｅｔ［ｎ］を設定すると、次のステップＳ５２へ移る。
ステップＳ５２において、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、各画像予測モードにおける各モード番号ｎに対応する差分画像データをそれぞれ生成すると共に、当該差分画像データから差分絶対値和ＳＡＤをそれぞれ算出すると、次のステップＳ５３へ移る。
ステップＳ５３において、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、付加処理対象となる画面内予測モードのモード番号ｎを「０」に設定し、最小差分絶対値和ｍｉｎＳＡＤを計算上想定される整数の最大値ＩＮＴ＿ＭＡＸに設定すると、次のステップＳ５４へ移る。
ステップＳ５４において、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、現在の付加処理対象のモード番号ｎが「２」であるか否かについて判別する。ここで否定結果が得られた場合、このことは差分絶対値和ＳＡＤに対してオフセットを付加する必要があることを表しており、このときｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、次のステップＳ５５へ移る。
ステップＳ５５において、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、差分絶対値和ＳＡＤに対してステップＳ５１において設定したｏｆｆｓｅｔ［ｎ］を付加してオフセット付差分絶対値和ＳＡＤｆを算出すると、次のステップＳ５６へ移る。
これに対してステップＳ５４において肯定結果が得られた場合、このことは差分絶対値和ＳＡＤをそのままオフセット付差分絶対値和ＳＡＤｆとすべきことを表しており、このときｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、次のステップＳ５６へ移る。
ステップＳ５６において、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、現在の付加処理対象のモード番号ｎが「８」であるか否かについて判別する。ここで否定結果が得られた場合、このことは処理すべき画面内予測モードが残っていることを表しており、このときｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、次のステップＳ５７へ移り、付加処理対象のモード番号ｎを「１」加算すると、ステップＳ５４へ戻って処理を継続する。
これに対してステップＳ５６において肯定結果が得られた場合、このことはｎ＝０〜８までの全ての画面内予測モードに対応するオフセット付差分絶対値和ＳＡＤｆを算出したことを表しており、このときｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、次のステップＳ５９へ移る。
ステップＳ５９において、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、比較処理対象のモード番号ｎを「０」に設定すると、次のステップＳ５９へ移る。
ステップＳ５９において、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、比較処理対象のオフセット付き差分絶対値和ＳＡＤｆが最小差分絶対値和ｍｉｎＳＡＤ未満であるか否かについて判別する。
ここで肯定結果が得られた場合、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、次のステップＳ６１へ移り、最小差分絶対値和ｍｉｎＳＡＤを比較処理対象のオフセット付き差分絶対値和ＳＡＤｆの値に更新し、次のステップＳ６２へ移る。
これに対してステップＳ６０において否定結果が得られた場合、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、最小差分絶対値和ｍｉｎＳＡＤを更新する必要がないため、次のステップＳ６２へ移る。
ステップＳ６２において、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、比較処理対象のモード番号ｎが「８」であるか否かについて判別する。ここで否定結果が得られた場合、このことは処理すべき画面内予測モードが残っていることを表しており、このときｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、次のステップＳ６３へ移り、比較処理対象のモード番号ｎを「１」加算すると、ステップＳ６０へ戻って処理を継続する。
これに対してステップＳ６２において肯定結果が得られた場合、このことはｎ＝０〜８までの全ての画面内予測モードに対応するオフセット付差分絶対値和ＳＡＤｆを比較したことを表しており、このときｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１は、終了ステップへ移り、オフセット優先適用処理手順ＲＴ３を終了する。
（２−４）動作及び効果
以上の構成において、符号化装置１０は、処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、ＡＶＣ規格により予め定められた９の画面内予測モードごとに生成する。そして符号化装置１０は、差分画像データにおける各処理対象画素の絶対値の和に基づく差分合計値としての差分絶対値和ＳＡＤと、画面内予測モードに予め設定されたｏｆｆｓｅｔ［ｎ］による優先順位とに応じて、当該画面内予測モードを順位付けするようにした。
これにより符号化装置１０は、ｏｆｆｓｅｔ［ｎ］の値が低く優先順位の高い特定の画面内予測モードを優先的に高い順位に順位付けすることができる。
また符号化装置１０は、複数の差分画像データについての差分絶対値和ＳＡＤに対し、画面内予測モードに応じたオフセット（ｏｆｆｓｅｔ［ｎ］）を付加してオフセット付差分絶対値和ＳＡＤｆを生成する。そして符号化装置１０は、オフセット付差分絶対値和ＳＡＤｆを比較することにより、画面内予測モードを順位付けするようにした。
これにより符号化装置１０は、画面内予測モードに応じた順位付けの優先度合いを簡単に設定することができる。また符号化装置１０は、特定の画面内予測モードを固定的に用いるのではなく、あくまでｏｆｆｓｅｔ［ｎ］を付加することにより、発生符号量の増大を抑制することができる。
さらに符号化装置１０は、オフセット付差分絶対値和ＳＡＤｆが最小値をとる差分画像データを生成したときの画面内予測モードを、差分画像データを符号化する画面内予測モードとして決定するようにした。
これにより符号化装置１０は、特定の画面内予測モードが差分画像データを符号化する画面内予測モードとして決定され易くすることができるため、前回符号化時に使用された画面内予測モードを選択し易くできる。この結果符号化装置１０は、前回符号化時と同一の画面内予測モードを用いる確率を向上させることができるため、ダビング時の画質を向上させ得るようになされている。
また符号化装置１０は、複数の画面内予測モードのうち、画質の低下が少ない一の画面内予測モードに対してオフセットを付加しないことにより、差分画像データを符号化する画面内予測モードとして画質の低下が少ない画面内予測モードを選択し易くでき、復号化時の画質の低下を抑制できる。
この画質の低下が少ない一の画面内予測モードは、周辺画素の平均値からの差分値をとるＤＣ予測モードであり、ＡＶＣ規格における垂直及び平行方向の周辺画素の平均値からの差分値をとるモード２である。これにより符号化装置１０は、最も画質の低下が小さいＤＣ予測モードを多用して符号化時の画質低下を抑制することができる。
さらに符号化装置１０は、画面内予測モードにおける画質の低下度合いに応じて、ｏｆｆｓｅｔ［ｎ］を設定することにより、画質の低下が少ない程画面内予測モードの優先順位が高くなるように順位付けすることができる。
また符号化装置１０は、画面内予測モードによる差分画像データから、前回の符号化時に使用された量子化ステップの基になる量子化因子を検出することにより、ダビング時の画質の低下を抑制することができる。
さらに符号化装置１０は、ｏｆｆｓｅｔ［ｎ］として、想定されるダビング回数に応じた値を設定することにより、発生符号量と画質の低下とを比較考量して用途や目的に応じたｏｆｆｓｅｔ［ｎ］を設定し、ユーザの要望に応じることができる。
以上の構成によれば、符号化装置１０は、各画面内予測モードによる差分絶対値和ＳＡＤを比較した上で特定の画面内予測モードを優先的に高く順位付けすることにより、特定の画面内予測モードを毎回高く順位付けできる。この結果符号化装置１０は、前回符号化時に使用した画面内予測モードを選択的に高く順位付けして符号化に使用される差分画像データの画面内予測モードとして選択し易くできる。かくして本発明は、画質の低下を抑制し得る画像処理装置及び画像処理方法を実現できる。
（３）第２の実施の形態
図１５及び図１６に示す第２の実施の形態では、図２〜図１４に示した第１の実施の形態と対応する箇所に同一符号を附して示している。第２の実施の形態における符号化装置１１では、量子化行列検出処理及び量子化パラメータ検出処理の後に、画面内予測モード検出処理を実行する点が、第１の実施の形態と異なっている。
（３−１）画面内予測モードの検出
ＡＶＣのイントラ（画面内符号化）フレームでは、ダビングにおいて前回の符号化で使用された画面内予測モードを再利用することは画質低下を防ぐために有効な手段である。そこで、画面内予測モード検出処理では、入力画像データのみを利用し、その剰余ｒを用いて算術的に前回の符号化で使われた画面内予測モードを検出することを特徴とする。
すなわち符号化装置１１は、量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを検出した後に、当該量子化行列Ｑｍａｔｒｉｘ及び量子化パラメータＱＰを用いて、イントラ符号化単位ＩＡごとに画面内予測モードを変えて剰余ｒの総和（Σｒ）を用いて極小値を検出する。これにより符号化装置１１は、マクロブロックＭＢにおける全てのイントラ符号化単位ＩＡについて、前回符号化された画面内予測モードを検出することが可能となる。
このとき符号化装置１１は、オフセット優先適用処理によってオフセット付差分絶対値和ＳＡＤを順位付けし、当該オフセット付差分絶対値和ＳＡＤが小さい方から３つの画面内予測モードに対し、画面内予測モード検出処理を実行する。これにより符号化装置１１は、前回符号化された画面内予測モードを選び易くすることができるため、処理対象となる３つの画面内予測モードとして、前回符号化された画面内予測モードを確実に含ませ得るようになされている。
すなわち画面内予測モード検出処理では、量子化行列検出処理及び量子化パラメータ検出処理で前述した考え方等に基づき前回の符号化で使われた量子化マトリクスと量子化パラメータが既知の場合、９個の画面内予測モードのそれぞれのＤＣＴ係数を６ビットシフトした（Ｗ＜＜６）をリスケーリングファクターＲＦで割っていくことにより、剰余ｒが最小となる画面内予測モードを検出する。
以上に加えて、画像処理装置１では、検出精度を向上させる為に、ＭＰＥＧでは考慮されなかった、ＡＶＣ  Ｉｎｔｒａ特有の性質に起因する以下の点を考慮する。即ち、この画面内予測モード検出処理おいては、量子化行列検出処理及び量子化パラメータ検出処理で前述した（ｉ）、（ｉｉ）に加えて、以下の（ｖｉｉ）を考慮する。
（ｖｉｉ）  ＤＣＴ係数の分布
画面内予測モードが異なると、差分の値も変わり、結果としてＤＣＴ係数の分布が異なる。したがって、一般的にはサブマクロブロック内の剰余ｒの総和を０でないＤＣＴ係数の個数で除算し、１サンプルあたりの剰余で比較するのが公平であると考えられる。
しかしながら、実際には、前回の符号化で使われた予測モードが選ばれると、予測が高
い精度で当たるために、０でないＤＣＴ係数の個数が少なくなり、前回の予測と方向的にずれたモードであるほど、０でないＤＣＴ係数の個数も増加する傾向にある。
従って、画面内予測モード検出処理では、剰余ｒの総和に対し、０でないＤＣＴ係数の個数で除算せず、０でないＤＣＴ係数の個数を乗算した。これにより、前回の予測と方向的にずれたモードの剰余ｒの総和に数値的なペナルティを与えることができると考えられる。
剰余ｒの総和に０でないＤＣＴ係数の個数を乗算したものを評価値Ｙとし、各予測モード間で、この評価値Ｙを比較して、評価値Ｙが最小の予測モードを前回の符号化で使われた予測モードと考える。
本発明の符号化装置１１では、上記特徴的な視点（ｖｉｉ）をふまえて、最適な予測モードを決定する。
（３−２）符号化装置の構成
符号化装置１１では、画面内予測モード検出部３３と、画面内予測モード決定部４５を有している点と、画面内予測処理部５１及び整数精度ＤＣＴ部５２を有している点とが符号化装置１０と異なっている。以下、当該相違点を中心に説明する。
Ｑｍａｔｒｉｘ検出部３１及びＱＰ検出部３２によって検出された前回の量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘは、Ｑｍａｔｒｉｘ／ＱＰ決定部４１に送られる。Ｑｍａｔｒｉｘ／ＱＰ決定部４１では、量子化行列Ｑｍａｔｒｉｘと量子化パラメータＱＰに関して、１パス目のプレエンコーダ２０で見積もられたものを採用するのか、バックサーチ部３０で検出されたものを使うかを決定する。通常、入力画像データが一度も符号化されていない原画像である場合には、前回の符号化がないためバックサーチは失敗し、１パス目のプレエンコーダ２０による符号化処理により見積もられたものを採用する。逆に入力画像が既に符号化されたことのある非原画である場合には、量子化歪が繰り返し乗ることを避ける為、バックサーチ部３０によって検出されたものを採用する。
また、バックサーチ部３０によって検出された前回の符号化に使用された量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘは、画面内予測モード検出部３３にも送られる。画面内予測モード検出部３３は、量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘを用いることにより、上述した画面内予測モード検出処理により前回の画面内予測モードを検出する。尚、この画面内予測モード検出部３３による画面内予測モード検出処理手順の詳細については後述する。この前回の予測モードは画面内予測モード決定部４５に送出される。画面内予測モード決定部４５では、１パス符号化でオフセット付差分絶対値和ＳＡＤｆが最小となる第１予測モードを採用するか、画面内予測モード検出部３３により検出された前回の予測モードを採用するかを決定する。
即ち、画面内予測モード検出部３３は、量子化パラメータＱＰと量子化行列Ｑｍａｔｒｉｘに基づいて、前回の予測モードを検出する。この前回の予測モードは画面内予測モード決定部４５に送出される。画面内予測モード決定部４５では、１パス符号化で差分絶対値和ＳＡＤが最小となる第１予測モードを採用するか、画面内予測モード検出部３３により検出された前回の予測モードを採用するかを決定する。
すなわち、入力画像データが一度も符号化されていない原画像である場合には、前回の符号化がないため画面内予測モードの検出（バックサーチ）は失敗し、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１により見積もられたものを採用する。逆に入力画像が既に符号化されたことのある非原画である場合には、量子化歪が繰り返し乗ることを避ける為、画面内予測モード検出部３３によって検出されたものを採用する。
２パス目のパラメータエンコーダ５０では、前述したようにＱｍａｔｒｉｘ／ＱＰ決定部４１で決定された量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰ、画面内予測モード決定部４５で決定された画面内予測モードを使って、入力画像を符号化し、符号化ストリーム（Ｓｔｒｅａｍ）として出力する。
より詳細には、画面内予測処理部５１では、最適な画面内予測モードとして画面内予測モード決定部４５で決定された画面内予測モードに選定し、周辺画素の予測画像を用いて入力画像から差分画像データを生成し、当該差分画像データを整数精度ＤＣＴ部５２に入力する。整数精度ＤＣＴ部５２では、離散コサイン変換による直行変換により差分画像データをＤＣＴ係数Ｗとして出力する。量子化部５３ではＤＣＴ係数Ｗを入力として、Ｑｍａｔｒｉｘ／ＱＰ決定部４１で決定された量子化行列Ｑｍａｔｒｉｘ、量子化パラメータＱＰを用いて量子化を行い、量子化レベルＺをエントロピー符号化部５４に送出する。エントロピー符号化部５４では、入力された量子化レベルＺをバイナライズ、算術符号化して符号化ストリームとして出力する。
（３−３）画面内予測モード検出処理
以下、画面内予測モード検出処理手順ＲＴ４を示す図１４のフローチャートを参照して、本発明の第２の実施の形態に係る符号化装置１０の画面内予測モード検出部３３による予測モード検出の処理について更に説明する。これは、同実施の形態に係る画像情報符号化方法にも相当する。
先ず画面内予測モード検出部３３は、予測画像からの差分絶対値和（すなわち差分画像データの絶対値の総和）が最も小さい画面内予測モードを初期値とする（ステップＳ１５１）。続いて画面内予測モード検出部３３は、予測画像からの差分画像データ分に対してＤＣＴ処理を行う（ステップＳ１５２）。画面内予測モード検出部３３は４×４のサブマクロブロック内の各サンプルに対してＤＣＴ係数Ｗの絶対値｜Ｗ｜を６ビットシフトした（｜Ｗ｜＜＜６）をＲＦで割った剰余ｒを計算する（ステップＳ１５３）。
そして画面内予測モード検出部３３は、剰余ｒの総和にＤＣＴ係数の偶数を掛けたものを評価値Ｙとする（ステップＳ１５６）。
続いて画面内予測モード検出部３３は、画面ない可能性のある全ての画面内予測モードに関してＹが計算されたか否かを判定し（ステップＳ１５７）、評価値Ｙが計算されていなければ次に差分絶対値和ＳＡＤが小さい予測モードに切り替え（ステップＳ１５８）、ステップＳ５２〜Ｓ５７の処理を繰り返す。そして画面内予測モード検出部３３は、可能性のある全ての画面内予測モードに関してＹが計算されたものと判定すると（ステップＳ１５７をＹｅｓに分岐）、各画面内予測モード間で評価値Ｙを比較し（ステップＳ１５９）、評価値Ｙが最小である画面内予測モードを前回使われた予測モードとし（ステップＳ１６０）、処理を終了する。
以上説明したように、本発明の第１の実施の形態の符号化装置１０は、前回の符号化で使われた画面内予測モードを入力画像から算術的に検出することにより、ＡＶＣイントラフレームのダビング時に繰り返し量子化歪が発生することを抑制することができる。これにより符号化装置１０は、ダビング時のＳＮ比と視覚特性の低下を改善することができる。
さらに符号化装置１０は、画面内予測モード間で、サブマクロブロック内の予測画像からの差分絶対値和ＳＡＤを比較する際に、該差分絶対値和ＳＡＤの小さい物から順に比較するが、これは、前回の符号化で使われた確率の高い画面内予測モードから比較していくことと等価であり、例えば差分絶対値和ＳＡＤの小さい画面内予測モードから順に所定数（例えば３つ）のモードのみを比較することで演算量を軽減することが可能となる。また符号化装置１０は、変換行列Ｄの導入により、符号化と復号化におけるＤＣＴ係数を等価に扱うことが可能となる。
以上のほか、符号化装置１０は、前回の符号化の画面内予測のアルゴリズムによらず検出できるので、一回目の符号化で視覚特性を考慮した画面内予測方法を用いてもダビング時には本アルゴリズムを利用可能である。
（３−４）動作及び効果
以上の構成によれば、符号化装置１１は、オフセット付差分絶対値和ＳＡＤｆが最小となる差分画像データから、前回の符号化時に使用された量子化ステップの基になる量子化因子としての量子化パラメータＱＰ及び量子化行列Ｑｍａｔｒｉｘを検出する。
符号化装置１１は、バックサーチによって検出された量子化パラメータＱＰ及び量子化行列Ｑｍａｔｒｉｘに基づく除算因子によって、オフセット付差分絶対値和が小さい順で、対象数である３つの差分画像データを除算したときの剰余値ｒを算出する。
そして符号化装置１１は、剰余値ｒが最小となる差分画像データが生成された画面内予測モードを、差分画像データに対する画面内予測モードとして決定するようにした。
これにより符号化装置１１は、前回の符号化時に使用された画面内予測モードを確実に検出できるため、ダビング時の画質低下を一段と抑制することができる。
以上の構成によれば、符号化装置１１は、オフセット優先適用処理によって特定の画面内予測モードを優先的に高く順位付けすることにより、画面内予測モード検出処理の対象となる３つの画面内予測モードに前回の符号化時に使用された画面内予測モードをほぼ確実に含ませることができる。
これにより符号化装置１１は、画面内予測モード検出処理によって前回の符号化時に使用された画面内予測モードをほぼ確実に検出できる。かくして本発明は、符号化時の画質の低下を抑制し得る画像処理装置及び画像処理方法を実現できる。
（４）他の実施の形態
以下、図１７のフローチャートを参照して、他の実施の形態に係る符号化装置によるオフセット優先適用処理手順ＲＴ５について詳細に説明する。
入力画像データが入力されると、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部は、予測モードごとにｏｆｆｓｅｔ［ｎ］の値を決める（ステップＳ２０１）。ここで、ｎはＤＣ予測と比較する予測モード番号（０〜８（２を除く））を意味している。続いてｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部は、ｘ＝２（ＤＣ予測モードに設定）として（ステップＳ２０２）、ｎに比較対象となる画面内予測モード番号を付与する（ステップＳ２０３）。ここでｘは符号化で採用される予測モード番号を意味している。
続いてｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部は、比較対象となる画面内予測モードの差分絶対値和ＳＡＤとｏｆｆｓｅｔ［ｎ］の総和がＤＣ予測モードの差分絶対値和ＳＡＤよりも小さいか否かを判断する（ステップＳ２０４）。
ステップＳ２０４において、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部は比較対象となる画面内予測モードの差分絶対値和ＳＡＤとｏｆｆｓｅｔ［ｎ］との加算値であるオフセット付差分絶対値和ＳＡＤｆがモード番号ｘのオフセット付差分絶対値和ＳＡＤｆよりも小さいと判断された場合には（ステップＳ２０４をＹｅｓに分岐）、ｘに対して比較対象となる画面内予測モードのモード番号ｎを代入し、ステップＳ２０５へ移る。
一方、比較対象となる画面内予測モードの差分絶対値和ＳＡＤとｏｆｆｓｅｔ［ｎ］との加算値であるオフセット付差分絶対値和ＳＡＤｆがモード番号ｘのオフセット付差分絶対値和ＳＡＤｆよりも小さくないと判断された場合（ステップＳ２０４をＮｏに分岐）、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部は、採用する可能性のある全ての予測モードに関して比較を行ったか否かを判断する（ステップＳ２０５）。ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部は、全ての判断を完了していない場合（ステップＳ２０５をＮｏに分岐）には、ｎの値を更新し（ステップＳ２０６）、次の候補のモードについてステップＳ５の比較を実施する。
ステップＳ２０５において、採用する可能性のある全ての予測モードに関して比較を行ったと判断された場合（ステップＳ２０５をＹｅｓに分岐）、ｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部は、Ｍｏｄｅ  ｘを符号化で採用する予測モードとし（ステップＳ２０７）、一連の処理を終了する。
また符号化装置は、差分絶対値和ＳＡＤが最小となる画面内予測モードを選択し、選択された画面内予測モードにおける差分絶対値和ＳＡＤと、複数の画面内予測モードのうち一の優先予測モード（ＤＣ予測モード）における差分絶対値和ＳＡＤとを比較する。そして符号化装置は、当該差分絶対値和ＳＡＤの差が閾値未満のときには差分絶対値和優先予測モードに対応する差分画像データを実際に符号化する差分画像データとして決定するようにしても良い。
また上述した第１及び第２の実施の形態においては、差分絶対値和ＳＡＤに基づいて順位付けするようにした場合について述べた。本発明はこれに限らず、例えば差分絶対値和ＳＡＤにアダマール変換し、絶対値和を算出したＳＡＴＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｔｒａｎｓｆｏｒｍｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｅｎｃｅ、二乗誤差和）を用いて順位付けするようにしても良い。
さらに上述した第１及び第２の実施の形態においては、ＤＣ予測モードにのみｏｆｆｓｅｔ［ｎ］を付加しないようにした場合について述べた。本発明はこれに限らず、他の画面内予測モードに対してｏｆｆｓｅｔ［ｎ］を付加しないようにしても良い。また本発明は、２以上の画面内予測モードに対してｏｆｆｓｅｔ［ｎ］を付加しないようにしても良い。
さらに上述した第１及び第２の実施の形態においては、各画面内予測モードごとに異なる値をｏｆｆｓｅｔ［ｎ］として付加するようにした場合について述べた。本発明はこれに限らず、同一の値を付加するようにしても良い。
さらに上述した第１及び第２の実施の形態においては、画質の低下度合いに応じたｏｆｆｓｅｔ［ｎ］を付加するようにした場合について述べた。本発明はこれに限らず、例えば発生符号量の発生度合いに応じたｏｆｆｓｅｔ［ｎ］を付加するようにしても良い。また本発明は、ｏｆｆｓｅｔ［ｎ］を付加する指標は必ずしも必要ではない。
さらに上述した第１及び第２の実施の形態においては、符号化装置がバックサーチ処理及びオフセット優先適用処理の両方を実行するようにした場合について述べた。本発明はこれに限らず、オフセット優先適用処理のみを実行するようにしても良い。この場合整数精度ＤＣＴ部２２は、ＤＣＴ係数を量子化パラメータ計算部（図示せず）に供給する。量子化パラメータ計算部は、このＤＣＴ係数Ｗの大きさや周波数域の分布状況に応じて適切な量子化パラメータＱＰを決定し、量子化部５３へ供給し、エントロピー符号化部５４を介して符号化ストリームとして出力させる。
さらに上述した第２の実施の形態においては、符号化装置が処理数として３つの画面内予測モードに対して画面内予測モード検出処理を実行するようにした場合について述べた。本発明はこれに限らず、処理数に特に制限はない。
さらに上述した第１及び第２の実施の形態においては、４×４画素のサブマクロブロックでなるイントラ符号化単位ごとに差分絶対値和ＳＡＤを算出するようにした場合について述べた。本発明はこれに限らず、例えば８×８画素や１６×８画素などでも良く、イントラ符号化単位に制限はない。
さらに上述した第１及び第２の実施の形態においては、符号化装置がＡＶＣ規格に準拠して処理を実行するようにした場合について述べた。本発明はこれに限らず、複数の画面内予測モードのうち、一の画面内予測モードを選択する全ての方式に対して本発明を適用することができる。
さらに上述した第１及び第２の実施の形態においては、差分画像データ生成部及び順位付け部としてのｏｆｆｓｅｔ付Ｉｎｔｒａ予測モード決定部２１によって画像処理装置としての符号化装置１０及び１１を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による差分画像データ生成部及び順位付け部によって本発明の画像処理装置を構成しても良い。
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
例えば、前述した第１及び第２の実施の形態に係る画像情報符号化処理装置及び方法は、コンピュータにより実行されるプログラム、及び該プログラムを格納した記録媒体としても実施可能であることは勿論であり、その場合も、前述した作用効果が奏される。
【図１】
2009035144.tif 000009
【図２】
2009035144.tif 000010
【図３】
2009035144.tif 000011
【図４】
2009035144.tif 000012
【図５】
2009035144.tif 000013
【図６】
2009035144.tif 000014
【図７】
2009035144.tif 000015
【図８】
2009035144.tif 000016
【図９】
2009035144.tif 000017
【図１０】
2009035144.tif 000018
【図１１】
2009035144.tif 000019
【図１２】
2009035144.tif 000020
【図１３】
2009035144.tif 000021
【図１４】
2009035144.tif 000022
【図１５】
2009035144.tif 000023
【図１６】
2009035144.tif 000024
【図１７】
2009035144.tif 000025
【手続補正書】
【提出日】平成21年2月25日(2009.2.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成部と、
上記差分画像データの発生符号量に基づく差分合計値の低い順から当該画面内予測モードを順位付けする順位付け部と、
上記順位付け部によって付けられた順位が最も高い差分画像データから、前回の符号化時に使用された量子化ステップの基になる量子化因子を検出するバックサーチ部と、
上記順位付け部によって付けられた順位が高い順から対象数の差分画像データを、上記バックサーチ部により検出された上記量子化因子に基づいて算出されるスケーリングファクターによって除算したときの剰余値を算出する剰余値算出部と、
上記剰余値が最小となる差分画像データが生成された上記画面内予測モードを、上記画像データに対する画面内予測モードとして決定する画面内予測モード決定部と
を有する画像処理装置。
【請求項２】
上記順位付け部は、
上記発生符号量及び上記画面内予測モードに予め設定された優先順位とに基づいて、上記差分合計値を算出する
請求項１に記載の画像処理装置。
【請求項３】
上記順位付け部は、
上記複数の差分画像データの発生符号量に対し、画面内予測モードに応じたオフセットを付加することにより、上記差分合計値を生成するオフセット付加部と、
上記差分合計値を比較することにより、上記差分合計値の低い順から画面内予測モードを順位付けする差分合計値比較部と
を有する請求項２に記載の画像処理装置。
【請求項４】
上記オフセット付加部は、
上記複数の画面内予測モードのうち、画質の低下が少ない一の画面内予測モードに対して上記オフセットを付加しない
請求項３に記載の画像処理装置。
【請求項５】
上記画質の低下が少ない一の画面内予測モードは、
周辺画素の平均値からの差分値をとる画面内予測モードである
請求項４に記載の画像処理装置。
【請求項６】
上記画像処理装置は、
ＡＶＣ規格に対応しており、
上記画質の低下が少ない一の画面内予測モードは、
垂直及び平行方向の周辺画素の平均値からの差分値をとるモード２である
請求項５に記載の画像処理装置。
【請求項７】
上記オフセット付加部は、
画質の低下度合いが小さい画面内予測モードに対して小さく、画質の低下度合いが大きい画面内予測モードに対して大きくなるよう、上記オフセットを設定する
請求項６に記載の画像処理装置。
【請求項８】
上記対象数は、
３でなる
請求項１に記載の画像処理装置。
【請求項９】
上記オフセット付加部は、
想定されるダビング回数が多い場合には大きい値を、想定されるダビング回数が小さい場合には小さい値を、上記オフセットとして設定する
請求項３に記載の画像処理装置。
【請求項１０】
画面内予測モード決定部は、
上記バックサーチ部によって上記量子化因子が検出されない場合には、上記差分合計値が最小値をとる差分画像データを生成したときの画面内予測モードを、上記画像データを符号化する画面内予測モードとして決定する
請求項２に記載の画像処理装置。
【請求項１１】
上記画面内予測モード決定部は、
上記バックサーチ部によって上記量子化因子が検出されず、かつ上記順位付け部によって１位に順位付けられた画面内予測モードに対する、２位以下に順位付けられた画面内予測モードの差分合計値の差異が小さい場合には、画質の低下が少ない一の画面内予測モードを上記画像データに対する画面内予測モードとして決定する
請求項１に記載の画像処理装置。
【請求項１２】
処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成ステップと、
上記差分画像データの発生符号量に基づく差分合計値の低い順から当該画面内予測モードを順位付けする順位付けステップと、
上記順位付け部によって付けられた順位が最も高い差分画像データから、前回の符号化時に使用された量子化ステップの基になる量子化因子を検出するバックサーチステップと、
上記順位付け部によって付けられた順位が高い順から対象数の差分画像データを、上記バックサーチ部により検出された上記量子化因子に基づいて算出されるスケーリングファクターによって除算したときの剰余値を算出する剰余値算出ステップと、
上記剰余値が最小となる差分画像データが生成された上記画面内予測モードを、上記画像データに対する画面内予測モードとして決定する画面内予測モード決定ステップと
を有する画像処理方法。
【手続補正書】
【提出日】平成21年8月24日(2009.8.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成部と、
上記差分画像データの発生符号量に基づく差分合計値の低い順から当該画面内予測モードを順位付けする順位付け部と、
上記順位付け部によって付けられた順位が最も高い差分画像データから、前回の符号化時に使用された量子化ステップの基になる量子化因子を検出するバックサーチ部と、
上記順位付け部によって付けられた順位が高い順から対象数の差分画像データを、上記バックサーチ部により検出された上記量子化因子に基づいて算出されるスケーリングファクターによって除算したときの剰余値を算出する剰余値算出部と、
上記剰余値が最小となる差分画像データが生成された上記画面内予測モードを、上記画像データに対する画面内予測モードとして決定する画面内予測モード決定部と
を有する画像処理装置。
【請求項２】
上記順位付け部は、
上記発生符号量及び上記画面内予測モードに予め設定された優先順位とに基づいて、上記差分合計値を算出する
請求項１に記載の画像処理装置。
【請求項３】
上記順位付け部は、
上記複数の差分画像データの発生符号量に対し、画面内予測モードに応じたオフセットを付加することにより、上記差分合計値を生成するオフセット付加部と、
上記差分合計値を比較することにより、上記差分合計値の低い順から画面内予測モードを順位付けする差分合計値比較部と
を有する請求項２に記載の画像処理装置。
【請求項４】
上記オフセット付加部は、
上記複数の画面内予測モードのうち、画質の低下が少ない一の画面内予測モードに対して上記オフセットを付加しない
請求項３に記載の画像処理装置。
【請求項５】
上記画質の低下が少ない一の画面内予測モードは、
周辺画素の平均値からの差分値をとる画面内予測モードである
請求項４に記載の画像処理装置。
【請求項６】
上記画像処理装置は、
ＡＶＣ規格に対応しており、
上記画質の低下が少ない一の画面内予測モードは、
垂直及び平行方向の周辺画素の平均値からの差分値をとるモード２である
請求項５に記載の画像処理装置。
【請求項７】
上記オフセット付加部は、
画質の低下度合いが小さい画面内予測モードに対して小さく、画質の低下度合いが大きい画面内予測モードに対して大きくなるよう、上記オフセットを設定する
請求項６に記載の画像処理装置。
【請求項８】
上記対象数は、
３でなる
請求項１に記載の画像処理装置。
【請求項９】
上記オフセット付加部は、
想定されるダビング回数が多い場合には大きい値を、想定されるダビング回数が小さい場合には小さい値を、上記オフセットとして設定する
請求項３に記載の画像処理装置。
【請求項１０】
画面内予測モード決定部は、
上記バックサーチ部によって上記量子化因子が検出されない場合には、上記差分合計値が最小値をとる差分画像データを生成したときの画面内予測モードを、上記画像データを符号化する画面内予測モードとして決定する
請求項２に記載の画像処理装置。
【請求項１１】
上記画面内予測モード決定部は、
上記バックサーチ部によって上記量子化因子が検出されず、かつ上記順位付け部によって１位に順位付けられた画面内予測モードに対する、２位以下に順位付けられた画面内予測モードの差分合計値の差異が小さい場合には、画質の低下が少ない一の画面内予測モードを上記画像データに対する画面内予測モードとして決定する
請求項１に記載の画像処理装置。
【請求項１２】
処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成ステップと、
上記差分画像データの発生符号量に基づく差分合計値の低い順から当該画面内予測モードを順位付けする順位付けステップと、
上記順位付け部によって付けられた順位が最も高い差分画像データから、前回の符号化時に使用された量子化ステップの基になる量子化因子を検出するバックサーチステップと、
上記順位付け部によって付けられた順位が高い順から対象数の差分画像データを、上記バックサーチ部により検出された上記量子化因子に基づいて算出されるスケーリングファクターによって除算したときの剰余値を算出する剰余値算出ステップと、
上記剰余値が最小となる差分画像データが生成された上記画面内予測モードを、上記画像データに対する画面内予測モードとして決定する画面内予測モード決定ステップと
を有する画像処理方法。
【国際調査報告】
2009035144.tif 000026
2009035144.tif 000027
2009035144.tif 000028
2009035144.tif 000029