(57)【要約】画像信号の再符号化時における処理量を削減して、再符号化に要する処理時間を短縮した画像信号再符号化装置、及び画像信号再符号化方法を提供する。符号化の施された入力画像信号を復号して、該復号された画像信号に異なる方式の符号化処理を施して出力画像信号を生成する画像信号再符号化装置において、入力画像信号に関する直交変換係数情報を抽出する抽出手段と、抽出された直交変換係数情報を用いて入力画像信号に含まれる画素ブロックの画素傾向を判定する判定手段と、該判定結果に応じて異なる方式の符号化処理の際に用いられる画面内予測モードを決定する予測モード決定手段と、該決定に基づく画面内予測モードを用いて復号された画像信号に対して異なる方式の符号化処理を実施する再符号化手段とを設ける。【特許請求の範囲】
【請求項１】
符号化の施された入力画像信号を復号して、該復号された画像信号に前記符号化とは異なる方式の符号化処理を施して出力画像信号を生成する画像信号再符号化装置であって、
前記入力画像信号に関する直交変換係数情報を抽出する抽出手段と、
前記直交変換係数情報を用いて前記入力画像信号に含まれる画素ブロックの画素傾向を判定する判定手段と、
前記画素傾向の判定結果に応じて前記異なる方式の符号化処理の際に用いられる画面内予測モードを決定する予測モード決定手段と、
前記決定に基づく画面内予測モードを用いて前記復号された画像信号に対して前記異なる方式の符号化処理を実施する再符号化手段と、を含むことを特徴とする画像信号再符号化装置。
【請求項２】
前記判定手段は、前記画素ブロックを所定の領域に分割して該分割された領域毎に前記直交変換係数情報を用いて画素傾向の大きさを算出し、該算出された各領域の画素傾向の大きさに基づき前記画素ブロックの画素傾向を判定することを特徴とする請求項１に記載の画像信号再符号化装置。
【請求項３】
前記所定の領域は、前記直交変換係数情報の直流成分領域、水平成分領域、垂直成分領域、及び複雑成分領域の各領域であることを特徴とする請求項２に記載の画像信号再符号化装置。
【請求項４】
前記判定手段は、前記各領域の画素傾向の大きさに応じて前記画素ブロックの画素傾向を水平傾向、垂直傾向、平坦傾向、及び複雑傾向の何れかに判定することを特徴とする請求項３に記載の画像信号再符号化装置。
【請求項５】
前記予測モード決定手段は、前記画素ブロックの画素傾向が水平傾向の場合に前記画面内予測モードを水平予測モードに設定することを特徴とする請求項４に記載の画像信号再符号化装置。
【請求項６】
前記予測モード決定手段は、前記画素ブロックの画素傾向が垂直傾向の場合に前記画面内予測モードを垂直予測モードに設定することを特徴とする請求項４に記載の画像信号再符号化装置。
【請求項７】
前記予測モード決定手段は、前記画素ブロックの画素傾向が平坦傾向若しくは複雑傾向の場合に前記画面内予測モードを平均値予測モードに設定することを特徴とする請求項４に記載の画像信号再符号化装置。
【請求項８】
符号化の施された入力画像信号を復号して、該復号された画像信号に前記符号化とは異なる方式の符号化処理を施して出力画像信号を生成する画像信号再符号化方法であって、
前記入力画像信号に関する直交変換係数情報を抽出するステップと、
前記直交変換係数情報を用いて前記入力画像信号に含まれる画素ブロックの画素傾向を判定するステップと、
前記画素傾向の判定結果に応じて前記異なる方式の符号化処理の際に用いられる画面内予測モードを決定するステップと、
前記決定に基づく画面内予測モードを用いて前記復号された画像信号に対して前記異なる方式の符号化処理を実施するステップと、を含むことを特徴とする画像信号再符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、画像信号を異なる符号方式に変換する画像信号再符号化装置、及び画像信号の再符号化方法等に関する。
【背景技術】
【０００２】
画像信号の符号化方式には、例えば、ＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−２）やＭＰＥＧ−４、或いは、動画圧縮方式に関するＩＴＵ−Ｔ勧告の一方式であるＨ．２６４等の各種の規格に基づいた複数の方式が存在する。
従って、ＤＶＤやＨＤＤレコーダ等の画像信号の再生装置においては、所定の方式で符号化された画像信号を、他の異なる符号化方式に変換するハードフェアやソフトウェアを備えた機種が多い。このような、画像信号の符号化方式を変換する再符号化装置、或いは再符号化方法では、所定の符号化が施された第１の符号化データを一旦復号した後、かかる復号化データに前記所定の符号化とは異なる他の方式による符号化処理を施して第２の符号化データを生成している。
例えば、ＭＰＥＧ−２からＭＰＥＧ−４への再符号化処理においては、特開平８−１３０７４３号公報に示すような再符号化装置に関する技術が開示されている。因みに、かかる従来技術では画像信号の再符号化処理において、例えば、画像の動きベクトル情報を再利用することにより画面内予測符号化処理を行い再符号化時における符号化処理効率の向上を図っている。
しかしながら、Ｈ．２６４等に基づく符号化方式は、比較的に新しい符号化方式であるので、画面内予測符号化処理において従来の再符号化時における予測モードをそのまま再利用することができない。因みに、ＭＰＥＧ−４における画面内予測符号化処理は、Ｈ．２６４のように全ての画素値に対して予測符号化を行う方式ではなく、直交変換された後の直流成分と交流成分にのみ予測を行うものであり、Ｈ．２６４とは異なる符号化技術と言える。そのため、ＭＰＥＧ−２或いは４からＨ．２６４への再符号化を行う場合には、上記の動きベクトル情報のように、画面内予測符号化処理において再利用できる情報が存在しない。
したがって、ＭＰＥＧ−２などからＨ．２６４への再符号化を行う場合には、通常の画像信号に対する符号化処理を行う場合と同様に、多数存在する予測モードの全てに対して一度試行的に符号化を行った後、その中から最も符号化効率の高い予測モードを選択して使用するという方法が採られていた。このため、再符号化処理時において、再符号化に伴うハードウェア／ソフトフェアの処理量が増大して、再符号化処理に時間がかかるという問題があった。
本発明は、かかる問題を解決すべくなされたものであり、画像信号の再符号化時における処理量を削減して、再符号化の処理時間を短縮した画像信号再符号化装置、及び画像信号再符号化方法を提供することを目的とする。
【発明の開示】
【０００３】
請求項１に記載の発明は、符号化の施された入力画像信号を復号して、該復号された画像信号に前記符号化とは異なる方式の符号化処理を施して出力画像信号を生成する画像信号再符号化装置であって、前記入力画像信号に関する直交変換係数情報を抽出する抽出手段と、前記直交変換係数情報から前記入力画像信号に含まれる画素ブロックの画素傾向を判定する判定手段と、前記画素傾向の判定結果に応じて前記異なる方式の符号化処理における画面内予測モードを決定する予測モード決定手段と、前記決定に基づく画面内予測モードを用いて前記復号された画像信号に対して前記異なる方式の符号化処理を実施する再符号化手段とを含む。
また、請求項８に記載の発明は、符号化の施された入力画像信号を復号して、該復号された画像信号に前記符号化とは異なる方式の符号化処理を施して出力画像信号を生成する画像信号再符号化方法であって、前記入力画像信号に関する直交変換係数情報を抽出するステップと、前記直交変換係数情報から前記入力画像信号に含まれる画素ブロックの画素傾向を判定するステップと、前記画素傾向の判定結果に応じて前記異なる方式の符号化処理における画面内予測モードを決定するステップと、前記決定に基づく画面内予測モードを用いて前記復号された画像信号に対して前記異なる方式の符号化処理を実施するステップとを含む。
【図面の簡単な説明】
【０００４】
図１は、本発明の実施による画像信号再符号化装置の構成を示すブロック図である。
図２は、４×４画面内予測モードの事例を示す説明図である。
図３は、８×８画面内予測モードの事例を示す説明図である。
図４は、１６×１６画面内予測モードの事例を示す説明図である。
図５は、ＤＣＴ係数基底画像を説明する図である。
図６は、本発明の第１実施例における処理動作を説明するフローチャートである。
図７は、ブロック内のＤＣＴ係数の画素成分について、その領域分けを説明する図である。
図８は、本発明の第１実施例による直交変換係数解析、及び画面内予測モード判定の概念を説明する図である。
図９は、本発明の第１実施例による画面内予測モード判定の具体例（水平予測モードの場合）を示す図である。
図１０は、本発明の第１実施例による輝度成分に対する画面内予測処理の概念を説明する図である。
図１１は、本発明の第１実施例による色差成分に対する画面内予測処理の概念を説明する図である。
図１２は、本発明の第２実施例による画面内予測モード判定の概念を説明する図である。
図１３は、本発明の第２実施例による画面内予測モード判定の他の概念を説明する図である。
図１４は、本発明の第２実施例における処理動作を説明するフローチャートである。
【発明を実施するための最良の形態】
【０００５】
以下、本発明の実施例について説明する。
図１に本発明の第１の実施例である画像信号再符号化装置１０を示す。
同装置の入力信号である“第１符号化データ”は、画面内予測符号化を利用せず、かつＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）等のいわゆる直交変換を利用する形式の符号化処理が施された画像信号であり、例えば、ＭＰＥＧ−１や２、或いはＪＰＥＧ等の符号化信号である。また、同装置の出力信号である“第２符号化データ”は、上記と異なり画面内予測符号化を利用する符号化方式であって、例えば、Ｈ．２６４等の符号化処理が施された画像信号である。
図１において、復号化部１１は、第１符号化データに施された符号化を解除して復号する部分である。即ち、復号化部１１に含まれる逆直交変換処理部１２は、第１符号化データに逆直交変換処理を施し、ＤＣＴによる圧縮符号化が施される以前の画像信号を復号して、この復号化された画像データを符号化部１３に供給する。また、復号化部１１は、第１符号化データに含まれる直交変換時のＤＣＴ係数等に関する“直交変換係数情報”を抽出して、これを直交変換係数解析部１５（以下“解析部１５”と称する）に供給する。
解析部１５は、かかる直交変換係数情報に基づいて、復号化された画像データに含まれる画素ブロックの画素傾向を解析する部分である。
画面内予測モード判定部１６（以下“判定部１６”と称する）は、解析部１５における解析結果の画素傾向に応じて、後述する画面内予測処理部１４（以下“予測部１４”と称する）において用いられる画面内予測モードの判定を行う部分である。従って、判定部１６で判定された画面内予測モードは、判定部１６から“画面内予測モード制御情報”として符号化部１３内の予測部１４に供給される。
符号化部１３は、復号化部１１から供給される復号化された画像データに対して、例えば、Ｈ．２６４等の符号化方式による符号化処理を施す部分である。かかる符号化処理において、符号化部１３内の予測部１４では、判定部１６で判定された画面内予測モードに基づいて、符号化時における画面内予測処理を実行して第２符号化データを生成する際の符号化処理時間の短縮を図っている。
次に、図１の画像信号再符号化装置１０における動作について説明を行う。
先ず、第２符号化データの符号化方式がＨ．２６４の場合、符号化部１３内の予測部１４で用いられる画面内予測モードの種類は、輝度成分の場合
［Ａ］  ４×４画面内予測モード
［Ｂ］  ８×８画面内予測モード
［Ｃ］  １６×１６画面内予測モード
の３つのモードがある。
但し、［Ｂ］の“８×８画面内予測モード”は、Ｈ．２６４  Ｂａｓｅｌｉｎｅ−Ｐｒｏｆｉｌｅ、Ｍａｉｎ−Ｐｒｏｆｉｌｅ、及びＥｘｔｅｎｄｅｄ−Ｐｒｏｆｉｌｅでは使用することができない。
一方、色差成分についての予測モードは、
［Ｂ］  ８×８画面内予測モード
の１つのみである。
続いて、上記［Ａ］乃至［Ｃ］の各予測モードの性質について説明を行う。
先ず、［Ａ］の“４×４画面内予測モード”の場合は、その予測処理の態様に応じて全部で９つのモードが存在するが、本発明では図２に示す如く、このうちの“水平予測モード”、“垂直予測モード”、及び“平均値予測モード”の３つのモードを使用する。
また、［Ｂ］の“８×８画面内予測モード”の場合も上記同様に９つのモードが存在するが、本発明では図３に示す如く、このうちの“水平予測モード”、“垂直予測モード”、及び“平均値予測モード”の３つのモードを使用する。
さらに、［Ｃ］の“１６×１６画面内予測モード”の場合は、全部で４つのモードが存在するが、図４に示す如く、上記の二例と同じくこのうちの水平、垂直、及び平均値の３つの予測モードを使用する。なお、水平、垂直、及び平均値の各予測モードの詳細に関しては、後述する本発明の実施態様において説明を行う。
次に、図１の復号化部１１において抽出されて、解析部１５に供給される直交変換係数情報に含まれるＤＣＴ係数の特徴について説明を行う。
色の数値表現基準であるＹＵＶ４．２．０フォーマットを扱うＭＰＥＧや、Ｈ．２６４等の規格においては、一画面を所定の画素数を含むマクロブロックごとに分割して画像信号処理を行う。因みに、１つのマクロブロックのサイズは、輝度成分Ｙに関しては１６×１６画素、色差成分Ｃｂ、Ｃｒに関してはそれぞれ８×８画素である。
一般に、符号化時におけるＤＣＴ処理は、８×８画素のブロックごとに行われる。それ故、マクロブロックの輝度成分は、その１６×１６画素ブロックの領域が８×８画素のブロックに四分割されて、この分割されたブロック毎にＤＣＴ処理が行われる。
ＤＣＴ処理は、原画像に含まれている空間周波数について、その低周波成分から高周波成分に至るまでを調波解析する処理である。したがって、同処理が行われると図５に示される基底画像の模式図ように、その低周波成分（空間周波数の低い絵柄、即ち変化の少ない絵柄）がブロックの左上に集まり、その高周波成分（空間周波数の高い絵柄、即ち変化の多い絵柄）がブロックの右下に集まるという特徴がある。
また、ＤＣＴ処理によって求められるＤＣＴ係数は、図５の基底画像模式図の如く、画像の水平成分がブロックの左側に集まり、画像の垂直成分がブロックの上側に集まるという特徴がある。さらに、ブロックにおけるＤＣＴ係数の左上隅は、画像の直流成分を示すものであり、その値はもとのブロックにおける各画素値の平均値を示すものとなる。
ＭＰＥＧなどの符号圧縮処理は、画像信号において人間の目で認識し易い画像の低周波成分の情報を残し、認識の困難な高周波成分の情報を削除することによって、効率的な圧縮符号化を行っている。そして、かかる目的を実現すべく、ＤＣＴ係数の低周波成分と高周波成分が分離されて、所定の領域に集中する傾向を示すＤＣＴ処理が利用されるのである。
本発明の骨子は、ＤＣＴ係数における画像の低周波成分と高周波成分が分離・集中するという特徴だけではなく、その水平成分や垂直成分についても分離・集中が為される点、及びその直流成分がブロック内の各画素値の平均値である点などの特徴を利用することによって、再符号化時の画面内予測処理で使用する予測モードの決定を短時間で効率的に行う点にある。
次に、解析部１５の解析結果に基づき、予測部１６において所定の画面内予測モードが判定されるまでの処理を図６のフローチャートに示す。
先ず、解析部１５は、復号化部１１から供給された直交変換係数情報に含まれるＤＣＴ係数の特徴に基づいて、ブロック毎にその水平成分、垂直成分、複雑成分、及び直流成分の各画素傾向の領域分けを行う。そして、それぞれの領域毎にＤＣＴ係数の絶対値和などを計算して各画素傾向の大きさを計算する（ステップＳ１１）。
すなわち、ここでいう画素傾向とは、輝度成分及び色差成分の各々のブロックにおいて、当該ブロックにかかるＤＣＴ係数関連値に種々の演算処理を施して得られる数値パラメータであると定義できる。
因みに、ブロックを各画素傾向に領域分けする方法としては、例えば、図７に示す如く、水平成分及び垂直成分のそれぞれを
（１）  ブロックの各１列分とする方法（図７Ａ）
（２）  ブロックの各２列分とする方法（図７Ｂ）
（３）  ブロックの各３列分とする方法（図７Ｃ）
（４）  各成分の特徴の強さに合わせて重み付けする方法（図７Ｄ）
などがある。
解析部１５は、次のステップＳ１２において、算出された各画素傾向の大きさから、各ブロックの画素が、水平、垂直、平坦、及び複雑の何れの傾向にあるかを解析する。なお、ブロック毎の画素傾向の解析方法としては種々の方法があるが、その幾つかの事例を以下に示す。
いま、図６のステップＳ１１において、領域分けが為されて計算された水平成分、垂直成分、及び複雑成分の各々の大きさをそれぞれ、水平成分；Ｈ、垂直成分；Ｖ、複雑成分；Ｃと置くと、以下のような様々な画素傾向の解析方法が考えられる。なお、以下に示す方法は、あくまでも解析方法を例示的に列挙したものに過ぎず、本発明の実施がかかる事例に限定されるものでないことは言うまでもない。
［解析方法１］
（１）  所定閾値  ＞  （Ｈ＋Ｖ＋Ｃ）であれば、画素傾向を“平坦傾向”と判定する。
（２）  Ｈ  ＞  （Ｈ＋Ｖ＋Ｃ）×（１／２）であれば、画素傾向を“水平傾向”と判定する。
（３）  Ｖ  ＞  （Ｈ＋Ｖ＋Ｃ）×（１／２）であれば、画素傾向を“垂直傾向”と判定する。
（４）  上記の（１）乃至（３）に該当しない場合は、画素傾向を“複雑傾向”と判定する。
［解析方法２］
（１）  所定閾値  ＞  （Ｈ＋Ｖ＋Ｃ）であれば、画素傾向を“平坦傾向”と判定する。
（２）  Ｈ  ＞  （Ｈ＋Ｖ＋Ｃ）×（２／３）であれば、画素傾向を“水平傾向”と判定する。
（３）  Ｖ  ＞  （Ｈ＋Ｖ＋Ｃ）×（２／３）であれば、画素傾向を“垂直傾向”と判定する。
（４）  上記の（１）乃至（３）に該当しない場合は、画素傾向を“複雑傾向”と判定する。
［解析方法３］
（１）  所定閾値  ＞  （Ｈ２＋Ｖ２＋Ｃ２）であれば、画素傾向を“平坦傾向”と判定する。
（２）  Ｈ２  ＞  （Ｈ２＋Ｖ２＋Ｃ２）×（１／２）であれば、画素傾向を“水平傾向”と判定する。
（３）  Ｖ２  ＞  （Ｈ２＋Ｖ２＋Ｃ２）×（１／２）であれば、画素傾向を“垂直傾向”と判定する。
（４）  上記の（１）乃至（３）に該当しない場合は、画素傾向を“複雑傾向”と判定する。
ステップＳ１２で得られたブロックごとの画素傾向は、解析部１５から判定部１６に通知され、次のステップＳ１３において、ブロックごとの画素傾向に応じた画面内予測モードが判定される。
画面内予測モードの判定方法は、図８に示す如く、解析部１５において判定された画素傾向が水平傾向であれば、その画面内予測モードは水平予測モードであると判定し、画素傾向が垂直傾向であれば、その画面内予測モードは垂直予測モードであると判定する。また、画素傾向が平坦傾向であれば画面内予測モードは平均値予測モードであると判定し、画素傾向が複雑傾向であれば画面内予測モードは同じく平均値予測モードであると判定する。
なお、画素傾向が複雑傾向である場合には、何れの画面内予測モードを用いても、符号化部１３における符号化効率に際だった差異は生じない。それ故、ステップＳ１２において、画素傾向が複雑傾向であると解析された場合は、例えば、画面内予測モードとして平均値予測モードではなく、水平予測モードや垂直予測モードを採用する判定方法としても良い。また、ＤＣＴ係数を基に判定処理を行うのではなく、通常の探索処理に基づいて使用する予測モードを判定するようにしても良い。或いは、当該ブロックの上側や左側に隣接する、既に予測モードが判定されたブロックと同じ判定モードを採用するようにしても良い。
判定部１６は、ステップＳ１３において、ブロックごとの画素傾向に応じた画面内予測モードを判定すると、その結果を基に画面内予測モード制御情報を生成して、これを符号化部１３内の予測部１４に通知する（ステップＳ１４）。
なお、以上に説明したＤＣＴ係数の解析から画面内予測モードの判定に至までの処理の具体例を図９に示す。
因みに、図９においてはブロックを画素傾向毎に領域分けする方法として、水平成分及び垂直成分のそれぞれをブロック内の２列分とする方法が採用されている。図９の中段に示す、水平成分（Ｈ）、垂直成分（Ｖ）、直流成分（Ｄ）、及び複雑成分（Ｃ）の各領域分けに従って、各々の領域毎にＤＣＴ係数の絶対値和を求めると、直流成分；Ｄ＝７１、水平成分；Ｈ＝２５、垂直成分；Ｖ＝５、複雑成分；Ｃ＝０となる。
それ故、画素傾向の判断手法として例えば、上述した［解析方法１］を用いるとすれば、
Ｈ＝２５  ＞  （Ｈ＋Ｖ＋Ｃ）×（１／２）＝１５
となって［解析方法１］における（２）の関係式を満足することになり、解析部１５は、ブロックの画素傾向を水平傾向であると判定する。
そして、判定部１６は、かかる解析部１の５判定結果を受けて、その画面内予測モードは水平予測モードであると判定する。
なお、本実施例において、輝度成分ブロックにおける画面内予測モードの判定に至までの概念を図１０に、色差成分ブロックにおける画面内予測モードの判定に至までの概念を図１１に示す。
以上に説明したように、本実施例は、符号化の施された入力画像信号を復号して、該復号された画像信号に前記符号化とは異なる方式の符号化処理を施して出力画像信号を生成する画像信号再符号化装置であって、前記入力画像信号に関する直交変換係数情報を抽出する抽出手段を含む復号化部１１と、前記直交変換係数情報から前記入力画像信号に含まれる画素ブロックの画素傾向を判定する判定手段に相当する解析部１５と、前記画素傾向の判定結果に応じて前記異なる方式の符号化処理における画面内予測モードを決定する予測モード決定手段に相当する判定部１６と、前記決定に基づく画面内予測モードを用いて前記復号された画像信号に対して前記異なる方式の符号化処理を実施する再符号化手段に相当する符号化部１３とを含んでいる。
以上の構成を採ることにより、本実施例に基づく画像信号再符号化装置は、入力画像信号の復号時に得られるＤＣＴ係数から、その水平成分、垂直成分、直流成分、及び複雑（高周波）成分の各成分の強さを解析して、画像ブロックの画素傾向が、水平、垂直、平坦、複雑の如何なる傾向にあるかを判定する。そして、かかる画素傾向の解析結果に基づいて、再符号化処理における画面内予測符号化処理の予測モードの判定を行う。
これによって、本実施例に基づく画像信号再符号化装置では、再符号化に要する演算量並びに処理時間を削減することが可能となり、画像信号再符号化装置の小型化及び低コスト化を図ることができる。
次に、本発明の第２の実施例である画像信号再符号化装置について説明する。
なお、本実施例による画像信号再符号化装置の構成は、第１実施例の場合と同様であるのでその構成についての説明は省略する。即ち、第２実施例は、図１に示される画像信号再符号化装置１０の解析部１５、判定部１６、及び復号化部１３における処理動作が、第１実施例の場合と異なるのみである。
先ず、解析部１５において、ＤＣＴ係数から画素傾向を解析した結果、マクロブロック内の４つの輝度ブロックが全て水平傾向、垂直傾向、或いは平坦傾向の同一の画素傾向を持っていた場合を想定する。
このような場合、それぞれのブロック毎に、例えば、４×４画面内予測モードや８×８画面内予測モードを利用するよりも、一挙に１６×１６画面内予測モードを利用して再符号化処理における画面内予測符号化を行った方が符号化効率の高い場合がある。
そこで、本実施例では図１２に示す如く、４つのブロックが全て水平傾向であり、さらに水平方向に並ぶブロックで直流成分の値がほぼ等しい場合は、判定部１６において、画面内予測モードを１６×１６水平予測モードと判定する。
また、４つのブロックが全て垂直傾向であり、さらに垂直方向に並ぶブロックで直流成分の値がほぼ等しい場合は、判定部１６において、画面内予測モードを１６×１６垂直予測モードと判定する。
一方、４つのブロックが全て平坦傾向であり、さらに４つのブロックで直流成分の値がほぼ等しい場合は、判定部１６において、画面内予測モードを１６×１６平均値予測モードと判定する。
なお、上記３つの条件以外の場合には１６×１６画面内予測モードを利用せずに、例えば、図１３に示す如く、それぞれのブロック毎に、４×４画面内予測モードや８×８画面内予測モードを利用するようにしても良い。
また、本実施例において、１６×１６、８×８、４×４の各画面内予測モードを使い分ける方法として、画像が単純若しくは平坦であれば１６×１６画面内予測モードを利用し、画像が複雑であれば４×４画面内予測モードを利用するようにしても良い。かかる画面内予測モードの使い分けを行うことによって符号化効率を高めることができる。
この場合、画像が単純であるか、或いは複雑であるかを判定する方法として、ＤＣＴ係数の合計値（例えば、絶対値和など）を計算して、その合計値が小さければ画像が単純であると判定して１６×１６画面内予測モードを利用する。一方、その合計値が大きければ画像が複雑であると判定して４×４画面内予測モードを利用する。なお、ＤＣＴ係数の合計値が中程度であれば、画面の複雑さも中程度であると判断して８×８画面内予測モードを利用する。
本実施例における処理フローチャートを図１４に示す。
先ず、解析部１５は、同図のステップＳ２１において、マクロブロック内の４つの輝度ブロックに対してそれぞれＤＣＴ係数の特徴に基づいて、ブロック毎に水平成分、垂直成分、複雑成分、直流成分の画素傾向毎に領域分けを行う。そして、それぞれの領域毎にＤＣＴ係数の絶対値和などを計算することにより各画素傾向の大きさを算出する。
続くステップＳ２２において、第１実施例の場合と同様に、それぞれのブロック毎に画素傾向の解析が行われ、かかる解析結果に応じて、水平傾向、垂直傾向、平坦傾向、若しくは複雑傾向の判定が為される。
次に、マクロブロック全体の画素傾向を解析すべく、４つのブロックの水平成分、垂直成分、及び複雑成分についてそれぞれの成分毎の和を計算して、マクロブロック全体の各画素傾向の大きさを計算する（ステップＳ２３）。
続くステップＳ２４において、算出された各画素傾向の大きさから、マクロブロック全体の画素傾向が水平、垂直、平坦、複雑の何れの傾向にあるのかを解析する。
さらに、ステップＳ２５において、マクロブロック全体のＤＣＴ係数の合計値を算出して画像が単純であるか複雑であるかの判定を行う。
判定部１６は、以上に説明したＤＣＴ係数の合計値による画像の単純／複雑判定、マクロブロック全体の画素傾向判定、及び各々のブロック毎の画素傾向を利用して、最も適切な画面内予測モードの判定を行う（ステップＳ２６）。
本実施例においては、ＤＣＴ係数の直流成分がブロック内の画素値の平均値を表す特徴を利用することにより、１６×１６画面内予測モードの判定を効率的に行うこととした。即ち、マクロブロックを構成する４つのブロックの画素傾向が同じであっても、ＤＣＴ係数の直流成分がブロック毎に大きく異なっている場合は、それぞれのブロックにおける画素値の平均も大きく異なっていることを意味するので、かかる場合に１６×１６画面内予測モードは効果的ではない。つまり、ＤＣＴ係数の直流成分をチェックすることによって、１６×１６画面内予測モードが利用できる場合を効率よく判定することができる。
また、本実施例では、ＤＣＴ係数の合計値を利用することにより、画像が単純であるか複雑であるかを判定して、１６×１６／８×８／４×４の各画面内予測モードの何れを利用するかの判定を効率的に行っている。即ち、ＤＣＴ係数の交流成分は、その直流成分が表すブロック内の画素の平均値に対して、基底画像に対応する特徴の揺らぎ具合を表している。それ故、ＤＣＴ係数の合計値を計算することにより、ブロック内若しくはマクロブロック内の画素が、どの程度複雑であるのか或いは単純であるのかを判断することができる。そして、かかる複雑さの判断結果から、いかなる各画面内予測モードを利用すれば符号化効率が良好になるかを判定することができる。
【図１】
2006100946.tif 000002
【図２】
2006100946.tif 000003
【図３】
2006100946.tif 000004
【図４】
2006100946.tif 000005
【図５】
2006100946.tif 000006
【図６】
2006100946.tif 000007
【図７】
2006100946.tif 000008
【図８】
2006100946.tif 000009
【図９】
2006100946.tif 000010
【図１０】
2006100946.tif 000011
【図１１】
2006100946.tif 000012
【図１２】
2006100946.tif 000013
【図１３】
2006100946.tif 000014
【図１４】
2006100946.tif 000015
【国際調査報告】
2006100946.tif 000016
2006100946.tif 000017
2006100946.tif 000018
2006100946.tif 000019