(57)【特許請求の範囲】
【請求項１】
第１の符号化方式の符号情報を第２の符号化方式の符号情報に変換する変換装置において、
第１の符号化方式の符号情報を抽出する抽出部と、
第１の符号化方式の符号情報を画素情報に復号する復号部と、
前記抽出部で抽出された符号情報を利用して第２の符号化方式における予測モードを推定する推定部と、
前記推定部で推定された予測モードに応じて前記復号部で復号された画素情報を第２の符号化方式の符号情報に符号化する符号化部とを備え、
前記推定部は、第１の符号化方式の符号情報における符号係数の部分絶対値和と発生符号量を制御するパラメータに応じた閾値を用いてエッジ強度を判定するエッジ強度判定手段および前記エッジ強度判定手段で判定されたエッジ強度を用いて第２の符号化方式におけるブロックサイズを判定するブロックサイズ判定手段を備え、前記ブロックサイズ判定手段で判定されたブロックサイズを第２の符号化方式における予測モードの推定に利用することを特徴とする符号化方式変換装置。
【請求項２】
前記推定部は、第１の符号化方式のブロックサイズと第２の符号化方式のブロックサイズが異なる場合には周波数領域上で第１の符号化方式の符号情報のブロックサイズを第２の符号化方式の符号情報のブロックサイズに一致させるようにブロックサイズ変換を実行するブロックサイズ変換手段を備えたことを特徴とする請求項１に記載の符号化方式変換装置。
【請求項３】
前記ブロックサイズ変換手段は、第１の符号化方式の符号情報の復号、次数変換および第２の符号化方式への符号化が表現された行列積における一部行列積が予め計算された変換行列を用いてブロックサイズ変換を実行することを特徴とする請求項２に記載の符号化方式変換装置。
【請求項４】
前記ブロックサイズ変換手段は、各要素が整数化された変換行列を用いて近似的なブロックサイズ変換を実行することを特徴とする請求項２に記載の符号化方式変換装置。
【請求項５】
前記推定部は、前記ブロックサイズ判定手段で判定されたブロックサイズに応じて周波数領域上でエッジ方向を判定するエッジ判定手段を備え、前記エッジ判定手段で判定されたエッジ方向を第２の符号化方式における予測モードの推定に利用することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項６】
前記推定部は、簡易的な評価関数と厳密な評価関数を階層的に組み合わせて第２の符号化方式における予測モードを推定することを特徴とする請求項５に記載の符号化方式変換装置。
【請求項７】
前記推定部は、簡易的な評価関数で予測モードを推定し、これにより推定された予測モードと前記エッジ判定手段で判定されたエッジ方向の予測モードの組み合わせを用いて、厳密な評価関数を適用する予測モードを削減することを特徴とする請求項６に記載の符号化方式変換装置。
【請求項８】
前記エッジ判定手段は、前記ブロックサイズ変換手段で変換された後の符号情報における符号係数の部分絶対値和の比と正負符号の組み合わせからエッジ方向を判定することを特徴とする請求項５に記載の符号化方式変換装置。
【請求項９】
前記エッジ判定手段は、第２の符号化方式における予測モードの種類に応じて分類された角度でエッジ方向を判定することを特徴とする請求項６に記載の符号化方式変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化方式変換装置に関し、特に、ある符号化方式の符号情報をそれより予測モードが多い他の符号化方式の符号情報へ、画質を維持しつつ高速に変換できる符号化方式変換装置に関する。
【背景技術】
【０００２】
様々な画像圧縮方式が国際標準規格として策定される中、MPEGは放送用途からコンシューマ向けまで広く普及している。特に、MPEG-2は、衛星・地上波デジタル放送だけでなくDVDの符号化方式としても利用され、MPEG-2により圧縮符号化されたコンテンツが数多く存在する。しかし、MPEG-2によるコンテンツをインターネット向けのストリーミング配信に利用する場合、伝送帯域が大きく制限されるため、ビットレートを大幅に削減する必要がある。
【０００３】
一方、新しい画像符号化方式としてH.264/MPEG-4 AVC(以下、H.264)が普及しつつある。H.264では様々な予測モードを規定することにより圧縮率の向上を可能としている。H.264は、圧縮率の観点ではMPEG-2と比べると同じ画質でビットレートを半分にできる性能を持つが、符号化に掛かる処理負荷は大幅に増加する。
【０００４】
無線端末やADSL、光ファイバーなど様々な帯域のネットワークに同一コンテンツを配信するワンソースマルチユースを実現しようとする場合、上述のように多方面で既に利用されているMPEG-2の符号情報をマスターコンテンツとし、それを新たな画像符号化方式のH.264の符号情報に変換して配信する需要が大きくなることが予測される。
【０００５】
MPEG-2の符号情報をH.264の符号情報に変換する最も原始的な手法として、MPEG-2の符号情報を完全に画素領域まで復号してからH.264の符号情報へ再符号化する手法が考えられる。
【０００６】
特許文献１には、H.264の符号化の高速化手法について記載されている。ここでは、H.264のような予測モードの多い符号化を行う画像符号化装置において、符号化に先立って発生符号量を高精度に見積もり、符号化手段での符号化処理を、例えば、画質、圧縮率、レートを最適に制御しながら行う。
【０００７】
また、特許文献２には、MPEG-2からMPEG-4へのフォーマット変換の高速化手法について記載されている。ここでは、MPEG-2のストリームから特定の種類のピクチャ(I,Pピクチャ)を抽出して部分画像信号を生成することで、MPEG-2の符号情報をMPEG-4の符号情報に変換する際の時間を短縮する。
【特許文献１】特開２００５−２０３９０５号公報
【特許文献２】特開２００５−６４５６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、MPEG-2の符号情報を完全に画素領域まで復号してからH.264の符号情報へ再符号化する手法では、変換に要する処理負荷が掛かりすぎて実用的な時間内での実現は難しいという課題がある。
【０００９】
特許文献１では、H.264への符号化が提案されているが、符号化方式変換やMPEG-2の符号情報の再利用については提案されていない。したがって、MPEG-2からH.264への符号化方式変換まで行おうとする場合にはMPEG-2の符号情報の復号と組み合わせることが必要となる。結局、MPEG-2の符号情報を画素領域まで復号してからH.264へ再符号化するという段階を踏むことになるので、変換に要する処理負荷および時間の大幅な短縮は見込めない。
【００１０】
特許文献２の手法では、MPEG-2の符号情報から予測モードが大きく違わないMPEG-4の符号情報への変換だけを扱うため、予測モードが限定されて大幅な画質劣化を伴う。MPEG-2からH.264への変換のように、ある符号化方式からそれより予測モードの多い符号化方式への画質を維持したままでの変換に、この手法を適用することはできない。
【００１１】
本発明の目的は、上記課題を解決し、予測モードが多い符号化方式への変換であっても、変換に掛かる処理負荷を大幅に短縮して速度向上を実現でき、かつ符号化変換前の画質を維持できる符号化方式変換装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明は、第１の符号化方式の符号情報を第２の符号化方式の符号情報に変換する変換装置において、第１の符号化方式の符号情報を抽出する抽出部と、第１の符号化方式の符号情報を画素情報に復号する復号部と、前記抽出部で抽出された符号情報を利用して第２の符号化方式における予測モードを推定する推定部と、前記推定部で推定された予測モードに応じて前記復号部で復号された画素情報を第２の符号化方式の符号情報に符号化する符号化部とを備え、前記推定部は、第１の符号化方式の符号情報における符号係数の部分絶対値和と発生符号量を制御するパラメータに応じた閾値を用いてエッジ強度を判定するエッジ強度判定手段および前記エッジ強度判定手段で判定されたエッジ強度を用いて第２の符号化方式におけるブロックサイズを判定するブロックサイズ判定手段を備え、前記ブロックサイズ判定手段で判定されたブロックサイズを第２の符号化方式における予測モードの推定に利用することを特徴としている。
【００１４】
また、本発明は、第１の符号化方式のブロックサイズと第２の符号化方式のブロックサイズが異なる場合には周波数領域上で第１の符号化方式の符号情報のブロックサイズを第２の符号化方式の符号情報のブロックサイズに一致させるようにブロックサイズ変換を実行するブロックサイズ変換手段を備えたことを特徴としている。
【００１５】
ここで、ブロックサイズ変換は、第１の符号化方式の符号情報の復号、次数変換および第２の符号化方式への符号化が表現された行列積における一部行列積が予め計算された変換行列を用いて実行することが好ましく、また、各要素が整数化された変換行列を用いて近似的に実行することも好ましい。
【００１６】
また、本発明は、前記ブロックサイズ判定手段で判定されたブロックサイズに応じて周波数領域上でエッジ方向を判定するエッジ判定手段を備え、前記エッジ判定手段で判定されたエッジ方向を第２の符号化方式における予測モードの推定に利用することを特徴としている。
【００１７】
また、本発明は、簡易的な評価関数と厳密な評価関数を階層的に組み合わせて第２の符号化方式における予測モードを推定することを特徴としている。
【００１８】
また、本発明は、簡易的な評価関数で予測モードを推定し、これにより推定された予測モードとエッジ判定手段で判定されたエッジ方向の予測モードの組み合わせを用いて、厳密な評価関数を適用する予測モードを削減することを特徴としている。
【００１９】
ここで、エッジ方向を、前記ブロックサイズ変換手段で変換された後の符号情報における符号係数の部分絶対値和の比と正負符号の組み合わせから判定することが好ましい。
【発明の効果】
【００２０】
本発明では、第１の符号化方式の符号情報を抽出し、抽出された符号情報を利用して第２の符号化方式の予測モードを推定するので、ある符号化方式からそれより予測モードが多い符号化方式への変換であっても処理負荷を軽減することができる。
【００２１】
また、第１の符号化方式のブロックサイズと第２の符号化方式のブロックサイズが異なる場合のブロックサイズ変換を、第１の符号化方式の符号情報の復号、次数変換および第２の符号化方式への符号化が表現された行列積における一部行列積が予め計算された変換行列を用いて行ったり、各要素が整数化された変換行列を用いて近似的に行ったりすることにより、処理負荷を軽減し、高速化を図ることができる。
【００２２】
また、周波数領域上でエッジ強度やエッジ方向を判定し、これを第２の符号化方式における予測モードの推定に利用することにより、画素領域上で予測モードを推定する必要がなくなるので、処理負荷を軽減できる。
【００２３】
また、簡易的な評価関数と厳密な評価関数を階層的に組み合わせることで第２の符号化方式における予測モードを推定する、すなわち、まず、処理負荷が軽い簡易的な評価関数による処理で予測モードを絞り込み、その後、厳密な評価関数による処理で、絞り込んだ予測モードの中から最適な予測モードを推定することにより、画質を維持したままでの高速の方式変換が可能になる。
【００２４】
さらに、簡易的な評価関数で予測モードで推定された予測モードとエッジ方向の予測モードの組み合わせを用いて厳密な評価関数を適用する予測モードを削減したり、符号情報における符号係数の部分絶対値和の比と正負符号の組み合わせからエッジ方向を判定したりすることにより、処理負荷を軽減できる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明を説明する。ここでは、第１の符号化方式としてMPEG-2、第２の符号化方式としてH.264を想定し、MPEG-2の符号情報を直接利用することでH.264のイントラ(Intra)予測モードを高速に推定し、画質の劣化を最小限に抑えながら符号化変換を行う場合を例として説明する。しかし、本発明は、これに限定されるものではなく、その他の符号化方式間での変換にも同様に適用できる。
【００２６】
図１は、本発明に係る符号化方式変換装置を示す機能ブロック図である。第１の符号化方式であるMPEG-2のストリームを、まず、抽出部11に入力する。抽出部11は、MPEG-2の符号情報(DCT係数)を抽出し、抽出した符号情報を復号部12と推定部13に送出する。復号部12は、入力された符号情報を画素情報に復号し、復号した画素情報を推定部13および符号化部14に送出する。
【００２７】
圧縮率を向上させるため、H.264のIntra予測モードでは、符号化の処理単位であるブロックサイズとして16x16と4x4の何れかを選択し得る。また、図２に示すように、近傍ブロックからの様々な方向から予測するIntra予測モード0〜8を規定している(2はDC予測モードであるので図示されない)。なお、数字が小さい予測モードほどそれを表現するためのビット数が少なくなっている。また、ブロックサイズが4x4の場合には0〜8の予測モードから選択し得るが、ブロックサイズが16x16の場合には0〜4の予測モードからの選択に限定される。
【００２８】
このような様々な予測モードは、MPEG-2には存在しないものであるので、MPEG-2からH.264への符号化方式変換に際しては、H.264における予測モードとしてブロックサイズおよび予測方向を推定する必要がある。
【００２９】
推定部13は、抽出部11からの符号情報と復号部12からの画素情報からH.264の予測モードを推定し、推定した予測モードを符号化部14に送出する。符号化部14は、復号部12からの画素情報を推定部13からの予測モードに従ってH.264の符号情報へと符号化し、H.264の符号情報ストリームを送出する。符号化は全てIntra符号化でよい。Intra符号化は、任意の箇所で切り出したり連結したりすることができるので、編集の際にむしろ都合がよい。
【００３０】
図３は、推定部13の動作を示すフローチャートである。H.264ではブロックサイズとして16x16と4x4の何れかを選択し得るので、推定部13では、入力されたMPEG-2の符号情報を用いて、まず、予測モードのブロックがI4x4(Intra4x4)予測ブロックかI16x16(Intra16x16)予測ブロックかを推定する(S31)。
【００３１】
H.264における予測モードのブロックサイズは、エッジ強度を利用して推定することができ、エッジ強度はMPEG-2の符号情報を利用して判定できる。例えば、符号化対象マクロブロック内における4つの8x8ブロック全てで式(1)が成り立つとき、I16x16予測ブロックと推定し、それ以外はI4x4予測ブロックと推定する。
【００３２】
【数１】
0004600997.tif 000002
【００３３】
ここで、Fｉ８ｘ８は、MPEG-2における8x8DCT係数を表し、iは、図４に示すように、マクロブロックにおける個別の8x8DCT係数のブロック位置を表す。また、THＩ１６ｘ１６は、ブロックサイズを判定するための閾値である。
【００３４】
式(1)は、MPEG-2の8x8DCT係数のブロックの0行目のAC成分の絶対値和と0列目のAC成分の絶対値和を加算し、その値と閾値THＩ１６ｘ１６を比較してエッジ強度を判定することを表している。
【００３５】
ここで、閾値THＩ１６ｘ１６を量子化パラメータQPに応じて変動させることが好ましい。図５は、量子化パラメータQPに対する閾値THＩ１６ｘ１６の具体例を示す。量子化パラメータQPは、ビットレートをより低減するために大きくされるものであるので、量子化パラメータQPが大きくなるにつれてTHＩ１６ｘ１６を大きくし、I16x16のブロックが多く現れるようにする。これにより、方式変換に伴うビットレートの増大を抑制できる。
【００３６】
S31でI16x16予測ブロックと判定された場合には、SATD算出処理(S32)で、各I16x16予測モードにおける差分変換絶対値和(SATD：sum of absolute transformed differences)を算出する。
【００３７】
I16x16予測モードにおけるSATDは、式(2)で4x4のブロックについて各予測モードにおけるSATD(m)を求め、各予測モードごとにSATD(m)(16個)を加算することにより求めることができる。
【００３８】
【数２】
0004600997.tif 000003
【００３９】
ここで、SATD(m)は予測モードm(m＝0〜4)でのSATDを表し、Hはアダマール変換行列を表す。また、X(i,j)、P(i,j)はそれぞれ、原画像の画素値、予測画像の画素値を表す。
【００４０】
I16x16予測モード決定処理(S33)では、SATDが最小となる予測モードを選択し、該予測モードを最適なI16x16予測モードとして推定する。I16x16予測モードは、図２の0〜4の5種類に限られており、処理負荷は比較的軽いので、ここでは各予測モードにおけるSATDを算出して最適な予測モードを推定している。I16x16予測モード決定処理(S33)で推定された予測モードは符号化部14(図１)へ送出される。
【００４１】
一方、S31でI4x4予測ブロックと判定された場合には、I4x4予測モード決定処理(S34)によりI4x4予測モードを推定する。
【００４２】
I4x4予測モードは、図２の0〜8の9種類の予測モードがあり、I16x16予測モードの推定に比較して処理負荷が大きい。そこで、I4x4予測モード決定処理(S33)では、以下のようにして処理負荷を軽減する。
【００４３】
図６は、I4x4予測モード決定処理(S34)の動作を詳細に示すフローチャートである。ここでは、処理負荷が軽い簡易的な評価関数による処理(S63,S64)で予測モードを絞り込み、その後、厳密な評価関数による処理(S65,S66)で、絞り込んだ予測モードの中から最適な予測モードを推定している。すなわち、簡易的な評価関数と厳密な評価関数を階層的に組み合わせることで最適なI4x4予測モードを推定している。これにより画質を維持したままでの高速な方式変換が可能となる。
【００４４】
以下、図６のフローチャートに従って順に説明する。MPEG-2では8x8ブロック単位のDCTが用いられているため、4x4ブロック単位でH.264における予測モードを推定するには4x4ブロック単位での特徴量を算出する必要がある。
【００４５】
このために、まず、PEG-2の8x8DCT係数を4x4DCT係数に変換する(S61)。例えば図４の8x8DCT係数F０８ｘ８を4つの4x4DCT係数F０04ｘ4、F０１4ｘ4、F０２4ｘ4、F０３4ｘ4に変換する場合、一旦画素領域まで復号して再度符号化する過程は、式(3)で表される。
【００４６】
【数３】
0004600997.tif 000004
【００４７】
ここで、C８ｘ８は、画素値を8x8DCT係数に変換する変換行列を表し、C4ｘ4は、画素値を4x4DCT係数に変換する変換行列を表す。一般的にCNｘNは、式(4)で示される。また、tは転置を意味する。
【００４８】
【数４】
0004600997.tif 000005
【００４９】
C８ｘ８およびC4ｘ4は固定値からなる行列であるので、式(3)の右辺の行列積の左側2つの行列の積を式(5)に示すようにA８ｘ８と置くと、式(3)は式(6)となる。
【００５０】
この式(6)を使用することで8x8ブロック単位のDCT係数を4x4ブロック単位のDCT係数に変換できる。式(6)の一部行列積である式(5)およびその転置行列は、予め計算することができるので高速の演算が可能である。これにより、DCT係数の次数変換を周波数領域上で高速に変換することが可能となる。
【００５１】
【数５】
0004600997.tif 000006
【００５２】
【数６】
0004600997.tif 000007
【００５３】
以上の次数変換は、4x4ブロック単位での特徴量を評価するためだけに必要な処理であり、必ずしも正確な変換を必要としないので、変換行列を適度に近似することで演算の高速化を実現することができる。例えば、4x4DCT係数をそのまま含む変換行列ではなく、整数化された4x4変換係数の変換行列を使用できる。
【００５４】
次に、最適な予測方向の推定について説明する。H.264は、圧縮率を向上させるために様々な方向から予測モードのうちから予測誤差を最小化させる予測モードを選択するので、エッジ方向の予測モードが最も相応しいと考えられる。そこで、4x4の各ブロックにおいて周波数領域上でエッジの有無およびエッジ方向を判定する(S62)。
【００５５】
例えば、図７に示す周波数領域(DCT係数)領域上において4x4ブロックについてのエッジ方向を判定し、これにより判定したエッジ方向に応じてI4x4予測モードを推定する。このために、まず、式(7)を用いて4x4ブロックにおけるエッジの有無を判定する。
【００５６】
【数７】
0004600997.tif 000008
【００５７】
ここで、F４ｘ４は、4x4ブロック単位に変換された後の4x4DCT係数を表し、THＩ４ｘ４は、エッジの有無を判定するための閾値である。
【００５８】
式(7)は、4x4DCT係数のブロックの0行目のAC成分の絶対値和と0列目のAC成分の絶対値和を加算し、その値と閾値THＩ４ｘ４を比較してエッジの有無を判定することを表している。式(7)が成り立つときはエッジ無し(No Edge)と判定する。
【００５９】
ここで、閾値THＩ４ｘ４を量子化パラメータQPに応じて変動させることが好ましい。図８は、量子化パラメータQPに対するTHＩ４ｘ４の具体例を示す。量子化パラメータQPは、ビットレートをより低減するために大きくされるものであるので、量子化パラメータQPが大きくなるにつれてTHＩ４ｘ４を大きくし、エッジ無しのブロックが多く現れるようにする。これにより、方式変換に伴うビットレートの増大を抑制できる。
【００６０】
S62では、続いて4x4の各ブロックにおいて周波数領域上でエッジ方向の角度θを判定し、この角度θとエッジ方向の予測モード(4x4 Edge Mode)の対応付けから4x4 Edge Modeを判定する。図９は、エッジ方向の角度θと4x4 Edge Modeの対応付けの具体例を示す。なお、No Edgeに対応付ける4x4 Edge Modeはない。
【００６１】
エッジ方向の角度θは、式(9)を用いて式(8)で表される。式(9)では、4x4DCT係数のブロックの0行目のAC成分の絶対値和と0列目のAC成分の絶対値和の比でエッジ方向の角度θを判定している。
【００６２】
また、式(8)では、エッジが右上がり方向か右下がり方向かを4x4DCT係数の低域要素(0,1)と(1,0)の正負符号で判定している。エッジが右上がり方向である場合には低域要素(0,1)と(1,0)の正負が一致し、つまりF4ｘ4(1,0)×F4ｘ4(0,1)＞0となり、右下がり方向である場合には低域要素(0,1)と(1,0)の正負は一致しない、つまりF4ｘ4(1,0)×F4ｘ4(0,1)＜0となる。
【００６３】
【数８】
0004600997.tif 000009
【００６４】
【数９】
0004600997.tif 000010
【００６５】
次に、4x4 Edge Modeを利用して最適な予測モードを推定するが、4x4 Edge Modeのみに依ったのでは画質の劣化が避けられない。そこで、画質を維持するために、画質の劣化度合い(D:Distortion)と発生符号量(R:Rate)を線形結合したコスト関数も使って最適な予測モードを決定(RDO:RD-Optimization)する。RDOは、H.264で最適な予測モードを決定するために採用されているものであり、公知であるので説明を省略する。
【００６６】
最適な予測モードの推定に際しては、まず、各予測モード0〜8について簡易的なコスト計算を行って簡易コストCost(m)(m＝0〜8)を求め、RDOを適用する予測モードを削減する(S63)。ここでは、簡易コストCost(m)を昇順にソートし、簡易コストの低い順からN個、好ましくは3個程度の予測モードを選択する。
【００６７】
簡易的なコスト計算の式は、例えば式(10)で定義できる。式(10)の右辺第１項は画質の劣化度合いD(誤差)に相当し、第２項は発生符号量に相当する。簡易的なコスト計算は、全ての予測モード0〜8に対して行うことになるが、詳細なコスト計算に比較して処理負荷は軽い。
【００６８】
【数１０】
0004600997.tif 000011
【００６９】
ここで、mpmはMost Probable Mode(予測される予測モード)を表す。また、λｍｏｄｅは予測モードによって変わる定数であり、δ(x)は、ｘ＝0のとき1となり、ｘ≠0のとき0となるインパルス関数である。
【００７０】
式(10)において、mがmpmに一致する予測モードの場合、右辺第２項は0となり、Cost(m)＝SATD(m)となる。また、mがmpmに不一致の予測モードの場合にはCost(m)＝SATD(m)＋4λmodeとなる。
【００７１】
その後、S63で選択された予測モードをソート(簡易コストソート)し、予測モードの簡易コストCost(m)と4x4 Edge Modeとの相関を考慮したテーブルを用いて、RDOを適用する予測モードを1つまたは2つに絞り込む(S64)。
【００７２】
図１０は、S64で用いるテーブルの具体例を示す。図１０において、4x4 Edge Modeは、エッジ方向の角度θから判定された予測モードであり、Cand1,Cand2はそれぞれ、簡易コストCost(m)が最も小さい予測モード、2番目に小さい予測モードである。
【００７３】
例えば、4x4 Edge Modeが0、Cand1が0、Cand2が2,3,5,7のいずれかの場合、RDOを適用する予測モードは、Cand1(予測モード0)の1つとなる。また、例えば、4x4 Edge Modeが5、Cand1が0、Cand2が2,3,5,7のいずれかの場合、RDOを適用する予測モードは、Cand1とCand2の2つとなる。なお、図１０のテーブルにない組み合わせの場合には、ここでの絞り込みは行わない。
【００７４】
その後、S63およびS64で削減した予測モードに対して本来のRDOを適用してRDコスト(RDCOST)を計算し(S65)、計算したRDCOSTが最小となる予測モードを最適なI4x4予測モードとして決定する(S66)。以上の処理(S61〜S66)を符号化対象マクロブロック内における全てのブロック(4x4)に対して繰り返し実行する(S67)。
【００７５】
以上のように、RODを全ての予測モード0〜8に対して適用するのではなく、4x4 Edge Modeと簡易コストCost(m)を用いて削減した予測モードに対してRODを適用することにより、符号化変換処理時間の大半を占める予測モード推定処理を高速化でき、符号化方式変換装置全体の速度を向上させることができる。
【００７６】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では4x4のブロックに対してエッジ方向を判定し、予測モードを推定しているが、それ以外のサイズ、例えば8x8のブロックの場合や種々のサイズのブロックが含まれているような場合でも、そのブロックサイズに応じて周波数領域上でエッジ方向を判定し、予測モードを推定することができる。また、上記実施形態では16x16のブロックに対する予測モードを推定するのにSATDを用いたが、4x4のブロックと同様に、エッジ方向を用いてもよい。
【００７７】
本発明は、予測モードが多い符号化方式への変換であっても、変換に掛かる時間を大幅に短縮でき、かつ符号化変換前の画質を維持できるので、無線端末やADSL、光ファイバーなど様々な帯域のネットワークに同一コンテンツを配信するワンソースマルチユースの映像配信サービスに有効に適用できる。
【図面の簡単な説明】
【００７８】
【図１】本発明に係る符号化方式変換装置を示す機能ブロック図である。
【図２】H.264で規定されるIntra予測モードの説明図である。
【図３】推定部の動作を示すフローチャートである。
【図４】マクロブロックにおける8x8DCT係数の位置関係を示す説明図である。
【図５】予測モードのブロックサイズを判定するための閾値THＩ１６ｘ１６の具体例を示す図である。
【図６】I4x4予測モード決定処理の動作を詳細に示すフローチャートである。
【図７】4x4ブロックにおけるエッジ方向の説明図である。
【図８】エッジを判定するための閾値THＩ４ｘ４の具体例す図である。
【図９】エッジ方向の角度と4x4 Edge Modeの対応付けの具体例を示す図である。
【図１０】RDOを適用する予測モードを絞り込むために用いるテーブルの具体例を示す図である。
【符号の説明】
【００７９】
11・・・抽出部、12・・・復号部、13・・・推定部、14・・・符号化部、S31・・・ブロックサイズ判定処理、S32・・・SATD算出処理、S33・・・I16x16予測モード決定処理、S34・・・I4x4予測モード決定処理、S61・・・8x8→4x4DCT変換処理、S62・・・エッジ方向算出処理、S63・・・簡易コスト計算による予測モード削減処理、S64・・・簡易コストと4x4 Edge Modeの相関を利用した予測モード数削減処理、S65・・・RDCOST算出処理、S66・・・予測モード決定処理、S67・・・符号化対象マクロブロック内全I4x4予測モードを決定したかの判定
【図１】
0004600997.tif 000012
【図２】
0004600997.tif 000013
【図３】
0004600997.tif 000014
【図４】
0004600997.tif 000015
【図５】
0004600997.tif 000016
【図６】
0004600997.tif 000017
【図７】
0004600997.tif 000018
【図８】
0004600997.tif 000019
【図９】
0004600997.tif 000020
【図１０】
0004600997.tif 000021