(57)【要約】【課題】MPEG-2 の符号情報に基づいてH.264 の符号化モードを推定し、画質の劣化を最小限に抑えながら符号化方式を高速に変換する符号化方式変換装置を提供する。【解決手段】推定部１２は、MPEG-2のイントラMBに対してH.264でもイントラモードが有効であるか否かを推定するイントラ推定部１２２と、MPEG-2のインターMBに対してH.264でもインターモードが有効であるか否かを推定するインター推定部１２３、１２４、１２５と、H.264でもインターモードが有効と推定されたインターMBのH.264における符号化条件を決定するインター符号化条件決定部１２６と、H.264でもイントラモードが有効と推定されたイントラMBのH.264における符号化条件を決定するイントラ符号化条件決定部１２７と、同一の符号化モードが有効ではない推定されたMBを対象に全探索を実行する全探索部１２８とを含む。【選択図】図１
2008193308.tif 000002
【特許請求の範囲】
【請求項１】
第１および第２の符号化方式が符号化モードとしてインターモードおよびイントラモードを備え、第１の符号化方式で符号化された第１動画像を第２の符号化方式で符号化された第２動画像に変換する動画像の符号化方式変換装置において、
第１動画像を復号する復号手段と、
前記復号された第１動画像の制御ブロックごとに第２の符号化方式での符号化モードを推定する推定手段と、
前記推定結果に基づいて、第１動画像の各制御ブロックを第２の符号化方式で符号化する符号化手段とを含み、
前記推定手段が、
第１動画像の各制御ブロックが、インターモードで符号化されたインターブロックおよびイントラモードで符号化されたイントラブロックのいずれであるかを判定する符号化モード判定手段と、
前記インターブロックに対して第２の符号化方式でも同一の符号化モードが有効であるか否かを推定するインター推定手段と、
前記イントラブロックに対して第２の符号化方式でも同一の符号化モードが有効であるか否かを推定するイントラ推定手段と、
前記インターモードが有効と推定された制御ブロックを第２の符号化方式のインターモードで符号化する際の符号化条件を決定するインター符号化条件決定手段と、
前記イントラモードが有効と推定された制御ブロックを第２の符号化方式のイントラモードで符号化する際の符号化条件を決定するイントラ符号化条件決定手段と、
同一の符号化モードが有効ではない推定された制御ブロックを対象に全探索を実行して、その符号化モードおよび符号化条件を探索する全探索手段とを含むことを特徴とする符号化方式変換装置。
【請求項２】
前記インター符号化条件決定手段は、インターブロックに関して、そのブロックサイズおよび動き情報を含む符号化条件を、符号化モードをインターモードに限定して探索することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項３】
前記イントラ符号化条件決定手段は、イントラブロックに関して、そのブロックサイズおよび予測モードを含む符号化条件を、符号化モードをイントラモードに限定して探索することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項４】
前記イントラ推定手段が、イントラブロックの空間的相関を判定する相関判定手段を具備し、
前記相関判定手段は、前記空間的相関の高いイントラブロックの符号化モードをイントラモードと推定することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項５】
前記イントラ推定手段が、イントラブロック近傍の他の複数の制御ブロックの符号化モードに関する推定結果を判定する近傍判定手段を具備し、
前記近傍判定手段は、前記近傍の制御ブロックの推定結果がイントラモードである割合が所定の閾値よりも高いイントラブロックの符号化モードをイントラモードと推定することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項６】
前記インター指定手段が、インターブロックの動き情報の信頼性を判定する信頼性判定手段を具備し、
前記信頼性判定手段は、信頼性の高いインターブロックの符号化モードをインターモードと推定することを特徴とする請求項１に記載の符号化方式変換装置
【請求項７】
前記インター推定手段が、インターブロックに所定方向のエッジが含まれているか否かを判定するエッジ判定手段を具備し、
前記エッジ判定手段が、前記所定方向のエッジが含まれていないインターブロックの符号化モードをインターモードと推定することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項８】
前記インター推定手段が、インターブロックの直交変換係数の残差成分が所定の閾値を下回っているか否かを判定する残差成分判定手段を具備し、
前記残差成分判定手段は、残差成分が所定の閾値を下回っているインターブロックの符号化モードをインターモードと推定することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項９】
前記インター推定手段が、インターブロック近傍の他の複数の制御ブロックの符号化モードに関する推定結果を判定する近傍判定手段をさらに具備し、
前記近傍判定手段は、前記近傍の制御ブロックの推定結果がインターモードである割合が所定の閾値よりも高いインターブロックの符号化モードをインターモードと推定することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項１０】
前記インター推定手段が、
インターブロックの動き情報の信頼性を判定する信頼性判定手段と、
前記信頼性が低いと判定されたインターブロックに所定方向のエッジが含まれているか否かを判定するエッジ判定手段と、
前記所定方向のエッジが含まれていないと判定されたインターブロックの直交変換係数の残差成分が所定の閾値を下回っているか否かを判定する残差成分判定手段とを具備し、
前記残差成分が所定の閾値を下回っているインターブロックの符号化モードをインターモードと推定することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項１１】
前記インター判定手段がさらに、
前記残差成分判定手段に代えて、前記所定方向のエッジが含まれていないと判定されたインターブロック近傍の他の複数の制御ブロックの推定結果を判定する近傍判定手段を具備し、
前記他の複数の制御ブロックの推定結果がインターモードである割合が所定の閾値よりも高いインターブロックの符号化モードをインターモードと推定することを特徴とする請求項１０に記載の符号化方式変換装置。
【請求項１２】
前記相関判定手段は、イントラブロックの直交変換係数の分散が所定の閾値よりも低いときに、その空間的相関が高いと判定することを特徴とする請求項４に記載の符号化方式変換装置。
【請求項１３】
前記信頼性判定手段は、インターブロック近傍の他のインターブロックの動き情報の分散が所定の閾値よりも低いときに、その信頼性を高いと判定することを特徴とする請求項６に記載の符号化方式変換装置。
【請求項１４】
前記エッジ判定手段は、縦方向または横方向のエッジが含まれていないインターブロックの符号化モードをインターモードと推定することを特徴とする請求項７に記載の符号化方式変換装置。
【請求項１５】
第１および第２の符号化方式が符号化モードとしてインターモードおよびイントラモードを備え、第１の符号化方式で符号化された第１動画像を第２の符号化方式で符号化された第２動画像に変換する動画像の符号化方式変換方法において、
第１動画像を復号する手順と、
前記復号された第１動画像の制御ブロックごとに第２の符号化方式での符号化モードを推定する手順と、
前記推定結果に基づいて、第１動画像の各制御ブロックを第２の符号化方式で符号化する符号化手順とを含み、
前記推定手順が、
第１動画像の各制御ブロックが、インターモードで符号化されたインターブロックおよびイントラモードで符号化されたイントラブロックのいずれであるかを判定する手順と、
前記インターブロックに対して第２の符号化方式でも同一の符号化モードが有効であるか否かを推定するインター推定手順と、
前記イントラブロックに対して第２の符号化方式でも同一の符号化モードが有効であるか否かを推定するイントラ推定手順と、
前記インターモードが有効と推定された制御ブロックを第２の符号化方式のインターモードで符号化する際の符号化条件を決定する手順と、
前記イントラモードが有効と推定された制御ブロックを第２の符号化方式のイントラモードで符号化する際の符号化条件を決定する手順と、
同一の符号化モードが有効ではない推定された制御ブロックを対象に全探索を実行して、その符号化モードおよび符号化条件を探索する手順手段とを含むことを特徴とする符号化方式変換方法。
【請求項１６】
前記イントラ推定手順が、イントラブロックの空間的相関を判定する手順を具備し、
前記空間的相関の高いイントラブロックの符号化モードがイントラモードと推定されることを特徴とする請求項１５に記載の符号化方式変換方法。
【請求項１７】
前記イントラ推定手順が、イントラブロック近傍の他の複数の制御ブロックの符号化モードに関する推定結果を判定する手順をさらに具備し、
前記近傍の制御ブロックの推定結果がイントラモードである割合が所定の閾値よりも高いイントラブロックの符号化モードがイントラモードと推定されることを特徴とする請求項１５に記載の符号化方式変換方法。
【請求項１８】
前記インター推定手順が、
インターブロックの動き情報の信頼性を判定する手順と、
前記信頼性が低いと判定されたインターブロックに所定方向のエッジが含まれているか否かを判定する手順と、
前記所定方向のエッジが含まれていないと判定されたインターブロックの直交変換係数の残差成分が所定の閾値を下回っているか否かを判定する手順とを具備し、
前記残差成分が所定の閾値を下回っているインターブロックの符号化モードをインターモードと推定することを特徴とする請求項１５ないし１７のいずれかに記載の符号化方式変換方法。
【請求項１９】
前記インター判定手順がさらに、
前記残差成分が所定の閾値を下回っているインターブロック近傍の他の複数の制御ブロックの推定結果を判定する手順をさらに具備し、
前記他の複数の制御ブロックの推定結果がインターモードである割合が所定の閾値よりも高いインターブロックの符号化モードがインターモードと推定されることを特徴とする請求項１８に記載の符号化方式変換方法。
【請求項２０】
前記請求項１５ないし１９のいずれかに記載の符号化方式変換方法をコンピュータに実行させる符号化方式変換プログラム。
【請求項２１】
前記請求項２０に記載の符号化方式変換プログラムをコンピュータによる読み出し可能に記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記憶媒体に係り、特に、MPEG-2ストリームからH.264ストリームへの変換に好適な符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記憶媒体に関する。
【背景技術】
【０００２】
様々な画像圧縮方式が国際標準規格として策定される中、MPEG は放送用途からコンシューマ向けまで広く普及している。特に、MPEG-2 は衛星・地上波デジタル放送のみならず、DVD の符号化方式としても利用されている。しかしながら、そのMPEG-2 コンテンツをインターネット向けのストリーミング配信に利用する場合は、伝送帯域が大きく制限されるため、ビットレートを大幅に削減する必要がある。
【０００３】
一方、新しい画像符号化方式としてH.264/MPEG-4 AVC(以下，H.264) が普及しつつある。H.264 では様々な予測モード（予測方向）が規定されており、圧縮効率の観点では、MPEG-2 と比べて同じ画質でビットレートを半分にできる性能を持つが、符号化にかかるコストは大幅に増加している。
【０００４】
無線端末、ADSL、あるいは光ファイバーなど様々な帯域のネットワークに同一コンテンツを配信するワンソースマルチユースを実現する場合、マスターコンテンツとしてのMPEG-2 をH.264 に変換する需要が大きい。しかしながら、MPEG-2 を完全に復号してからH.264 へ再符号化する処理ではコストがかかりすぎるため、実用的な時間内での実現は難しい。
【０００５】
特許文献１には、H.264 の符号化の高速化手法が開示されている。特許文献１の技術では、H.264 のような予測モードの多い符号化にあって、符号化に先立って発生符号量を高精度に見積もることができ、画質，圧縮率およびレートに対して最適な符号化制御が可能になる。
【０００６】
特許文献２は、MPEG-2 からMPEG-4 へのフォーマット変換を高速化する手法について報告している。特許文献２の技術では、MPEG-2ストリームから特定の種類のピクチャ（I，Pピクチャ）を抽出し部分画像信号を生成することで、符号化画像信号を異なる符号化方式に変換する際に、変換に要する時間を短縮できる。
【特許文献１】特開２００５−２０３９０５号公報
【特許文献２】特開２００５−６４５６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示された技術はH.264 の符号化だけを扱うため、符号化方式変換に適用するにはMPEG-2 の復号と組み合わさなければならない。また、特許文献１にはMPEG-2 の符号情報を再利用する手段がないため、符号化方式変換に費やす時間の大幅な短縮が見込めない。
【０００８】
特許文献２は、H.264 より予測モードが少ないMPEG-4 への変換だけを扱うため、H.264 への適用では予測モードが限定されることになり、大幅な画質劣化を伴う。特に、H.264 では圧縮効率を向上させるためにイントラ予測モードが規定されている。しかしながら、イントラ予測モードはMPEG-2には存在しない予測モードであり、MPEG-2とH.264とでは符号化特性が大きく異なるため、MPEG-2の符号化モードを単純にH.264へ継承させるとH.264 の性能を十分に発揮できない。
【０００９】
本発明の目的は、上記した従来技術の課題を解決し、MPEG-2 の符号情報を直接利用することでH.264 の符号化モードを高速に推定し、画質の劣化を最小限に抑えながら符号化方式を高速に変換する符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記憶媒体を提供することにある。
【課題を解決するための手段】
【００１０】
上記した目的を達成するために、本発明は、第１および第２の符号化方式が符号化モードとしてインターモードおよびイントラモードを備え、第１の符号化方式で符号化された第１動画像を第２の符号化方式で符号化された第２動画像に変換する動画像の符号化方式変換装置において、第１動画像を復号する手段と、復号された第１動画像の制御ブロックごとに第２の符号化方式での符号化モードを推定する推定手段と、推定結果に基づいて、第１動画像の各制御ブロックを第２の符号化方式で符号化する手段とを含み、前記推定手段が、第１動画像の各制御ブロックがインターブロックおよびイントラブロックのいずれであるかを判定する手段と、インターブロックに対して第２の符号化方式でも同一の符号化モードが有効であるか否かを推定する手段と、イントラブロックに対して第２の符号化方式でも同一の符号化モードが有効であるか否かを推定する手段と、インターモードが有効と推定された制御ブロックを第２の符号化方式のインターモードで符号化する際の符号化条件を決定する手段と、イントラモードが有効と推定された制御ブロックを第２の符号化方式のイントラモードで符号化する際の符号化条件を決定する手段と、同一の符号化モードが有効ではない推定された制御ブロックを対象に全探索を実行して、その符号化モードおよび符号化条件を探索する手段とを含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、第１の符号化方式で符号化された第１動画像を第２の符号化方式で符号化された第２動画像に変換する動画像の符号化方式変換において、以下のような効果が達成される。
(1)第１の符号化方式で採用された符号化モードが第２の符号化方式でも有効であるか否かを判定し、有効である場合には、第２の符号化方式での符号化条件の探索範囲が、第１の符号化方式で採用された符号化モードに限定されるので、高速な変換が可能になる。
(2)第１の符号化方式で採用された符号化モードが第２の符号化方式でも有効であるか否かを判定し、第２の符号化方式では第１の符号化方式とは異なる符号化モードが有効である可能性が有ると判定されると、第２の符号化方式の符号化モードおよび符号化条件が全探索されるので、品質劣化の少ない変換が可能になる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る符号化方式変換システムの主要部の構成を示した図であり、ここではMPEG-2ストリームをH.264ストリームへ変換する場合を例にして説明する。
【００１３】
抽出部１０は、入力されたMPEG-2 ストリームV1から符号情報を抽出する。抽出された符号情報は復号部１１および推定部１２へ提供される。復号部１１は、符号情報を画素情報に復号して推定部１２へ提供する。推定部１２は、符号情報および画素情報からH.264 における最適な予測モードを制御ブロックごとに推定し、この推定結果を符号化部１３へ提供する。本実施形態では、最適な予測モードがMPEG-2のマクロブロック(MB)ごとに推定される。符号化部１３は、提供された予測モードの推定結果に基づいて画素情報をH.264 の符号化方式で符号化し、H.264 ストリームV2を出力する。
【００１４】
前記推定部１２は、符号情報をMB単位で読み出し、今回の注目MBがイントラモードで符号化されたイントラブロックおよびインターモードで符号化されたインターブロックのいずれであるかを判定する符号化モード判定部１２１と、MPEG-2ではイントラモードで符号化されたイントラMBに対してH.264でも同様にイントラモードでの符号化が有効であるか否かを推定するイントラ推定手段としての相関判定部１２２と、MPEG-2ではインターモードで符号化されたインターMBに対してH.264でも同様にインターモードでの符号化が有効であるか否かを推定するインター推定手段としてのMV信頼性判定部１２３、エッジ判定部１２４および残差成分判定部１２５を含む。
【００１５】
前記推定部１２はさらに、H.264でもMPEG-2と同様にインターモードが有効と推定されたインターMBのH.264における符号化条件を決定するインター符号化条件決定部１２６と、H.264でもMPEG-2と同様にイントラモードが有効と推定されたイントラMBのH.264における符号化条件を決定するイントラ符号化条件決定部１２７と、同一の符号化モードが有効ではないと推定されたMBを対象に全探索を実行して、H.264での符号化モードおよび符号化条件を決定する全探索部１２８とを含む。
【００１６】
前記相関判定部１２２は、イントラMBの空間的相関を判定する。前記MV信頼性判定部１２３は、インターMBの動き情報(MV)の信頼性を判定する。エッジ判定部１２４は、インターMBに所定方向のエッジのみが含まれているか否かを判定する。残差成分判定部１２５は、インターMBの直交変換係数の残差成分が所定の閾値を下回っているか否かを判定する。
【００１７】
前記インター符号化条件決定部１２６は、インターMBに関して、符号化モードをインターモードに限定して、ブロックサイズおよび予測モードを含む符号化条件を決定する。前記イントラ符号化条件決定部１２７は、イントラMBに関して、符号化モードをイントラモードに限定して、ブロックサイズおよび動き情報を含む符号化条件を決定する。
【００１８】
図２は、前記推定部１２における符号化モード推定処理の手順を示したフローチャートである。本実施形態では、MPEG-2の16x16画素単位のMBごとに、その8x8画素単位の４つの輝度ブロックおよび8x8画素単位の２つの色差ブロックの各DCT係数、ならびにインターMBであれば更に動き情報に基づいて、このMBをH.264の符号化方式で予測符号化する際に最適な符号化モードが推定され、その符号化条件が設定される。
【００１９】
ステップＳ１では、前記符号化モード判定部１２１において、今回の注目MBがイントラモードで符号化されたイントラMBおよびインターモードで符号化されたインターMBのいずれであるかが判定される。インターMBであればステップＳ２へ進み、前記MV信頼性判定部１２３において動き情報（動きベクトルMV）の信頼性が判定される。
【００２０】
前記MV信頼性判定部１２３は、入力された動き情報の信頼性を、次式(1) に基づいて判定する。本実施形態では、近傍のMB同士は、その動きベクトルが類似した特徴を示すことに着目し、注目MBから所定の範囲内に位置している複数のMBの動きベクトルに関して、その水平方向に関する分散σ2MVXおよび垂直方向に関する分散σ2MVYが所定のMV閾値THMVと比較される。
【００２１】
次式(1)が成立すれば、すなわち、σ2MVXおよびσ2MVYのいずれかがMV閾値THMVを上回っていれば、動き情報の信頼性が低いと判定されてステップＳ３のエッジ判定処理へ進む。これに対して、次式(1)が不成立であれば、すなわちσ2MVXおよびσ2MVYのいずれもがMV閾値THMVを下回っていれば、動き情報の信頼性が高いと判定され、H.264でもインターモードを承継すべくステップＳ５へ進む。
【００２２】
【数１】
2008193308.tif 000003
【００２３】
ステップＳ３では、前記エッジ判定部１２４において、今回の注目MBにイントラモードが有効なエッジが含まれているか否かが判定される。図３は、前記ステップＳ３のエッジ判定処理の詳細を示したフローチャートであり、本実施形態では、図４に示したように、注目MBの４つの輝度ブロックのそれぞれにエッジが含まれているか否か、含まれている場合にはさらに、各輝度ブロックのエッジの方向に基づいて、注目MBにイントラ予測が有効であるか否かが判定される。
【００２４】
図３において、ステップＳ３１では、４つの輝度ブロックの位置を特定する変数iに初期値「０」がセットされて左上の輝度ブロックが指定される。ステップＳ３２では、位置iの輝度ブロックにエッジが含まれているか否かが次式(2)に基づいて判定される。
【００２５】
【数２】
2008193308.tif 000004
【００２６】
上式(2)において、SumACは輝度ブロックのDCT係数（AC成分のみ）の絶対値の総和であり、輝度ブロックのDCT係数の総和（中辺第１項）からDC成分（同第２項）を減じることで求められる。本実施形態では、前記SumACがエッジ無し判定閾値THNo_Edgeと比較される。このエッジ無し判定閾値THNo_Edgeは、量子化パラメータQPの関数である。
【００２７】
上式(2)が成立すれば、位置iの輝度ブロックにエッジが存在しないと判定されてステップＳ３４へ進む。上式(2)が不成立であれば、位置iの輝度ブロックにエッジが存在すると判定されて更にステップＳ３３へ進み、次式(3)，(4)に基づいてエッジの方向が判定される。
【００２８】
【数３】
2008193308.tif 000005
【００２９】
【数４】
2008193308.tif 000006
【００３０】
上式(3)では、前記SumACに対する輝度ブロックのDCT係数のゼロ行各列のAC成分FYi(0,v)の絶対値の総和の割合が縦エッジ判定閾値THV_Edgeと比較され、前記割合が縦エッジ判定閾値THV_Edgeを上回れば、エッジが縦エッジと判定される。上式(4)では、前記SumACに対する輝度ブロックのDCT係数の各行ゼロ列のAC成分FYi(u,0)の絶対値の総和の割合が横エッジ判定閾値THH_Edgeと比較され、前記割合が横エッジ判定閾値THH_Edgeを上回れば、エッジが横エッジと判定される。前記縦エッジ判定閾値THV_Edgeおよび横エッジ判定閾値THH_Edgeも量子化パラメータQPの関数である。
【００３１】
ステップＳ３４では、全ての位置の輝度ブロックに関して上記したエッジ判定が完了したか否かが判定される。完了していなければステップＳ３５で変数iを更新し、注目する輝度ブロックを変更しながら上記した各処理が繰り返される。
【００３２】
４つの輝度ブロックの全てに関して上記した判定処理が完了するとステップＳ３６へ進み、４つの輝度ブロックのエッジパターンが、図５に示した第１ないし第４パターンのいずれかに該当するか否かが判定される。
【００３３】
第１パターンは、i＝０，１の各位置の輝度ブロックが水平エッジを含み、かつi＝２，３の各位置の輝度ブロックが垂直エッジを含まないことを示唆している。第２パターンは、i＝２，３の各位置の輝度ブロックが水平エッジを含み、かつi＝０，１の各位置の輝度ブロックが垂直エッジを含まないことを示唆している。第３パターンは、i＝０，２の各位置の輝度ブロックが垂直エッジを含み、かつi＝１，３の各位置の輝度ブロックが水平エッジを含まないことを示唆している。第４パターンは、i＝１，３の各位置の輝度ブロックが垂直エッジを含み、かつi＝０，２の各位置の輝度ブロックが水平エッジを含まないことを示唆している。
【００３４】
したがって、例えばi＝０，１の各位置の輝度ブロックがいずれも水平エッジを含んでおり、かつi＝２，３の各位置の輝度ブロックがエッジを含まないか、あるいは水平エッジのみを含めば第１パターンに該当すると判定される。しかしながら、i＝０，１の各位置の輝度ブロックがいずれも水平エッジを含んでいても、i＝２，３の各位置の輝度ブロックの少なくとも一方が垂直エッジを含めば、第１パターンを含めていずれのパターンにも該当しないと判定される。
【００３５】
以上のようにして、今回の注目MBに含まれるエッジがいずれかのエッジパターンに該当すると判定されれば、MPEG-2ではインターMBであってもH.264ではイントラモードでの符号化に適した形状であるかもしれないので、ステップＳ６の全探索へ進む。これに対して、いずれのエッジパターンにも該当しなければ、更にステップＳ４のDC判定処理へ進む。
【００３６】
ステップＳ４では、前記残差成分判定部１２５において、今回の16x16画素単位の注目MBに関して、8x8画素単位の４つの輝度ブロックのDCT係数、および8x8画素単位の２つの色差ブロックのDCT係数の残差成分に基づいて、インターモードでの符号化が有効か否かが判定される。
【００３７】
本実施形態では、次式(5)に示したように、４つの輝度ブロックのDCT係数のDC成分FYi(0,0)の絶対値の総和が所定の輝度DC成分閾値THDC1と比較され、さらに次式(6)に示したように、２つの色差ブロックのDCT係数のDC成分FCb(0,0)、FCr(0,0)が色差DC成分閾値THDC2と比較される。
【００３８】
【数５】
2008193308.tif 000007
【００３９】
【数６】
2008193308.tif 000008
【００４０】
ここで、上式(5)，(6)がいずれも成立すればDCT係数の残差成分が大きいと判定され、符号化モードを全探索すべくステップＳ６へ進む。これに対して、上式(5)，(6)の少なくとも一方が不成立であれば、残差成分が充分に小さく、いずれの符号化モードでも符号化効率に大きな差異がないので、高速化の観点からインターモードを継承すべくステップＳ５へ進む。
【００４１】
一方、前記ステップＳ１において、今回の注目MBがイントラMBと判定されるとステップＳ７へ進む。ステップＳ７では、前記相関判定部１２２において、注目MBの輝度ブロックのDCT係数に基づいて、その空間的相関が評価される。
【００４２】
本実施形態では、次式(7)に示したように、今回の16x16画素単位の注目MBに関して、8x8画素単位の４つの輝度ブロックのDCT係数のDC成分の分散σ2DCが輝度DC成分閾値THDC3と比較される。σ2DC≦THDC3であれば、DCT係数の空間的相関が大きく、イントラ予測が有効に機能するので、ステップＳ８へ進んでイントラモードが承継される。
【００４３】
【数７】
2008193308.tif 000009
【００４４】
これに対して、σ2DC＞THDC3であれば、空間的相関が小さく、インター予測が有効に機能する場合もあるので、イントラ予測およびインター予測の各符号化モードを、それぞれの符号化コストに基づいて評価すべく、ステップＳ６の全探索へ進む。
【００４５】
ステップＳ５では、前記インター符号化条件決定部１２６において、符号化モードをインターモードに限定して最適なブロックサイズおよび動き情報等の符号化条件が決定される。予測モードは任意の手法で決定することができ、例えば、画質の劣化度合い(D) と発生符号量(R) とを線形結合したコスト関数を使って最適な予測モードを決定(RD-Optimization : RDO)しても良いし、あるいは、MPEG-2 における動き情報を利用してH.264 の動き情報を高速に推定するようにしても良い。
【００４６】
ステップＳ８では、前記イントラ符号化条件決定部１２７において、符号化モードをイントラモードに限定して、最適なブロックサイズおよびイントラ予測モード等の符号化条件が決定される。予測モードは任意の手法で決定することができ、例えば、画質の劣化度合い(D) と発生符号量(R) とを線形結合したコスト関数を使って最適な予測モードを決定(RD-Optimization : RDO) しても良いし、あるいは、MPEG-2 における変換係数の部分絶対値和の比率および正負符号の組み合わせからイントラモードで高速に推定するようにしても良い。
【００４７】
ステップＳ６では、前記全探索部１２８において、符号化モードを限定せずに最適な符号化モードが全探索により決定される。符号化モードは任意の手法で決定することができ、例えば、画質の劣化度合い(D) と発生符号量(R)とを線形結合したコスト関数を使って最適な予測モードを決定(RD-Optimization：RDO)したり、あるいは、MPEG-2 における変換係数の部分絶対値和の比率および正負符号の組み合わせから推定されたイントラモードと、MPEG-2 における動き情報を利用して推定されたH.264 の動き情報を利用したインターモードとを比較し、その一方を符号化コスト等の観点から選択するようにしても良い。
【００４８】
図６は、本発明の第２実施形態に係る符号化方式変換システムの主要部の構成を示した図であり、前記と同一の符号は同一または同等部分を表している。
【００４９】
本実施形態では、MPEG-2でのイントラMBに対してH.264でも同様にイントラモードでの符号化が有効であるか否かを推定するイントラ推定手段として、前記相関判定部１２２に代えて近傍判定部１２０が設けられている。さらに、MPEG-2でのインターMBに対してH.264でも同様にインターモードでの符号化が有効であるか否かを推定するインター推定手段として、前記残差成分判定部１２５に代えて近傍判定部１２９が設けられている。
【００５０】
図７は、本発明の第２実施形態の動作を示しフローチャートであり、図２と同一のステップ番号が付された処理では前記と同一または同等の処理が実行される。
【００５１】
前記近傍判定部１２９は、ステップＳ３においてイントラ予測が有効ではないと判定された注目MB（インターMB）を対象に、ステップＳ１０において、その近傍の他のMBであって、H.264における符号化モードが既に推定されている近傍MB、例えば注目MBの左、上、右上に隣接する各MBの符号化モードの推定結果を参照する。そして、各近傍MBの符号化モードの多くが（例えば、３つの近傍MBうち２つ以上の近傍MBが）、注目MBのMPEG-2における符号化モードと同じインターモードであれば、このインターモードを継承すべくステップＳ５へ進む。これに対して、各近傍MBの符号化モードの多くが注目MBのMPEG-2における符号化モードと異なれば、ステップＳ６の全探索へ進む。
【００５２】
ステップＳ９でも同様に、前記近傍判定部１２０において、注目MB（イントラMB）の近傍の他のMBであって、H.264における符号化モードが既に推定されている近傍MBの符号化モードの推定結果を参照し、各近傍MBの符号化モードの多くが（例えば、３つの近傍MBうち２つ以上の近傍MBが）、注目MBのMPEG-2における符号化モードと同じイントラモードであれば、このイントラモードを継承すべくステップＳ７へ進む。これに対して、各近傍MBの符号化モードの多くが注目MBのMPEG-2における符号化モードと異なれば、ステップＳ６の全探索へ進む。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１実施形態に係る符号化方式変換システムのブロック図である。
【図２】第１実施形態における符号化モード推定手順を示したフローチャートである。
【図３】エッジ判定処理の手順を示したフローチャートである。
【図４】MBと輝度ブロックとの関係を示した図である。
【図５】MBに含まれるエッジの方向を判定する方法を示した図である。
【図６】本発明の第２実施形態に係る符号化方式変換システムのブロック図である。
【図７】第２実施形態における符号化モード推定手順を示したフローチャートである。
【符号の説明】
【００５４】
１０…抽出部，１１…復号部，１２…推定部，１３…符号化部，１２０…近傍判定部，１２１…符号化モード判定部，１２２…相関判定部，１２３…MV信頼性判定部，１２４…エッジ判定部，１２５…残差成分判定部，１２６…インター符号化条件決定部，１２７…イントラ符号化条件決定部，１２８…全探索部，１２９…近傍判定部
【図１】
2008193308.tif 000010
【図２】
2008193308.tif 000011
【図３】
2008193308.tif 000012
【図４】
2008193308.tif 000013
【図５】
2008193308.tif 000014
【図６】
2008193308.tif 000015
【図７】
2008193308.tif 000016