(57)【特許請求の範囲】
【請求項１】
適応型走査を用いる動画符号化装置であって、
垂直モード、水平モード、対角左下向モード、対角右下向モード、垂直右向モード、垂直左向モード、水平上向モード、水平下向モード、ＤＣモードを含む予測モードの中から現在ブロックに適用する最適のイントラ予測モードを選択して出力するモード選択手段（１２１）と、
前記予測モードに応じて入力映像の符号化される現在ブロックの画素値を予測し、前記現在ブロックの画素値と前記予測された画素値との差を示す残差信号のブロック（残渣信号ブロック）を出力する予測手段（１１０）と、
前記現在ブロックの残差信号ブロックを変換し、該変換された現在ブロックの残差信号ブロックを量子化する変換／量子化手段（１３０）と、
該変換及び量子化された現在ブロックの残差信号ブロックを前記予測モードと前記現在ブロックの大きさに応じて適応的に走査して配列し、該配列された信号を符号化する符号化手段（１４０）と、
を備え、
該符号化手段（１４０）は、前記選択された予測モードが水平モードのときは、該変換及び量子化された信号のブロックにおける１列目の係数をすべて走査した後に他の列の係数を走査する方式に１列の係数が優先的に走査される垂直優先走査を実行し、
前記選択された予測モードが垂直モードのときは、該変換及び量子化された信号のブロックにおける１行目の係数をすべて走査した後に他の行の係数を走査する方式に１行の係数が優先的に走査される水平優先走査を実行し、
前記垂直走査の開始地点と終了地点が異なる列に位置し、及び、前記水平走査の開始地点と終了地点が異なる行に位置する、適応型走査を用いる動画符号化装置。
【請求項２】
前記符号化手段（１４０）が、前記予測モードが垂直モード及び水平モードではない場合、ジグザグ走査方式を用いることを特徴とする請求項１に記載の適応型走査を用いる動画符号化装置。
【請求項３】
前記符号化手段（１４０）が、前記予測モードに応じて適応的に走査して獲得し及び並べた係数をエントロピー符号化することを特徴とする請求項１に記載の適応型走査を用いる動画符号化装置。
【請求項４】
前記各開始地点と前記各終了地点は前記残差信号ブロックの主対角上に位置することを特徴とする請求項１乃至３のいずれかに記載の適応型走査を用いる動画符号化装置。
【請求項５】
前記残差信号ブロックが４×４ブロックであることを特徴とする請求項１乃至４のいずれかに記載の適応型走査を用いる動画符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データの符号化及び復号化に関し、より詳しくは、所定サイズのブロックに対するイントラ予測の実行後、残差信号のＤＣＴ及び量子化によって生成された係数に対する走査方法をイントラ予測モードによって相違に適用し、圧縮率を高めるための適応型走査を用いる動画の符号化／復号化装置及びその方法に関する。
【背景技術】
【０００２】
動画データを符号化（ｅｎｃｏｄｉｎｇ）及び復号化（ｄｅｃｏｄｉｎｇ）するために用いるＨ．２６４標準によると、１つのフレームに含まれている複数のマクロブロック単位、又はマクロブロックを二分割又は四分割して得られたサブブロック単位で符号化及び復号化を行う。符号化及び復号化は、時間的予測と空間的予測に基づいて行われる。時間的予測は、現在フレームのマクロブロックの動きの予測において、隣接するフレームのマクロブロックを参照して予測を行うことであり、空間的予測は、符号化しようとする現在フレームのマクロブロックを、そのフレーム内で隣接するブロックを用いて予測を行うことである。
【０００３】
空間的予測をイントラ予測（Ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ）ともいうが、イントラ予測は、ある画素の予測において、それと隣接する画素が類似値を有する可能性が高いという特徴を用いるものである。Ｈ．２６４標準は、９つの方向性を考慮した予測モードを用いて現在ブロックの画素値を予測する。
【０００４】
図１は、Ｈ．２６４における４×４ブロック及び８×８ブロックに対するイントラ予測モードを示す図面である。
【０００５】
同図に示すように、Ｈ．２６４標準では、４×４ブロック及び８×８ブロックのイントラ予測において９つの予測モードを用いる。予測方向によって、垂直（Ｖｅｒｔｉｃａｌ）モード（モード０）、水平（Ｈｏｒｉｚｏｎｔａｌ）モード（モード１）、ＤＣモード（モード２）、対角左下向モード（Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｌｅｆｔ  ｍｏｄｅ）（モード３）、対角右下向モード（Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｒｉｇｈｔ  ｍｏｄｅ）（モード４）、垂直右向モード（Ｖｅｒｔｉｃａｌ＿Ｒｉｇｈｔ）（モード５）、水平下向モード（Ｈｏｒｉｚｏｎｔａｌ＿Ｄｏｗｎ  ｍｏｄｅ）（モード６）、垂直左向モード（Ｖｅｒｔｉｃａｌ＿Ｌｅｆｔ  ｍｏｄｅ）（モード７）、水平上向モード（Ｈｏｒｉｚｏｎｔａｌ＿Ｕｐ  ｍｏｄｅ）（モード８）が存在する。矢印は予測方向を示す。以下では、４×４ブロックをイントラ予測する場合、垂直モード及び水平モードにおける予測過程を説明する。
【０００６】
図２は、垂直モードにおける画素予測過程を説明するための図面である。
【０００７】
同図に示すように、垂直モードにおいて、画素ａ３０２、ｅ３０４、ｉ３０６、ｍ３０８は、垂直方向に隣接する画素Ａから予測し、このような方法によって、画素ｂ、ｆ、ｊ、ｎは画素Ｂから予測し、画素ｃ、ｇ、ｋ、ｏは画素Ｃから予測し、画素ｄ、ｈ、ｌ、ｐは画素Ｄから予測する。
【０００８】
図３は、水平モードにおける画素予測過程を説明するための図面である。
【０００９】
同図に示すように、水平モードにおいて、画素ａ３１２、ｂ３１４、ｃ３１６、ｄ３１８は、水平方向に隣接する画素Ｉから予測し、このような方法によって、画素ｅ、ｆ、ｇ、ｈは画素Ｊから予測し、画素ｉ、ｊ、ｋ、ｌは画素Ｋから予測し、画素ｍ、ｎ、ｏ、ｐは画素Ｌから予測する。
【００１０】
一方、従来の動画符号化器では、予測した信号と現在の信号とを差分した残差信号をＤＣＴ及び量子化した後、ＤＣＴ及び量子化された係数をジグザグ（ｚｉｇ−ｚａｇ）走査してエントロピー符号化を行う。
【００１１】
しかし、予測モードが水平モードか又は垂直モードかによって、残差信号の相関性が水平方向に高いか又は垂直方向に高い可能性が高いという点を考慮すると、予測モードの種類にかかわらず、固定した方式のジグザグ走査を用いて符号化する従来の方法は、高い圧縮率を得るのに不適であるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、上記問題を解決するために提案されたものであって、動画の符号化において、所定サイズのブロックに対するイントラ予測の実行後、残差信号のＤＣＴ及び量子化された係数に対する走査方法をイントラ予測モードに応じて適応的に適用することによって、圧縮率を高めることができる適応型走査を用いる動画符号化装置及び方法、並びにそれによる復号化装置を提供することにその目的がある。
【課題を解決するための手段】
【００１３】
上記目的を達成するための本発明は、適応型走査を用いる動画符号化装置であって、予測モードを選択して出力するモード選択手段と、前記予測モードに応じて入力映像の符号化する画素値を予測して、残差信号ブロックを出力する予測手段と、前記残差信号ブロックをＤＣＴ変換し、量子化する変換／量子化手段と、前記量子化された残差信号ブロックを前記予測モードに応じて適応的に走査して符号化する符号化手段とを備えることを特徴とする。
【００１４】
一方、本発明は、適応型走査を用いる動画復号化装置であって、符号化されたビットストリームを受信し、エントロピー復号化方法にしたがって復号化して出力するエントロピー復号化部と、該エントロピー復号化部から復号化された信号を受信し、復号化された信号の符号化過程で用いられた走査方式を獲得して、前記復号化された信号と共に出力する走査方式決定部と、前記復号化された信号を前記走査方式にしたがって復元して、復元映像を出力する映像復元部とを備えるが、前記走査方式は、イントラ予測モードによって走査方式を相違に適用した適応型走査方式であることを特徴とする。
【００１５】
また一方、本発明は、適応型走査を用いる動画符号化方法であって、予測モードを選択する予測モード選択ステップと、前記選択した予測モードに応じて入力映像の符号化する画素値を予測して、残差信号ブロックを出力する予測ステップと、前記残差信号ブロックをＤＣＴ変換し、量子化する変換／量子化ステップと、前記量子化された残差信号ブロックを前記予測モードに応じて適応的に走査し、走査された係数を出力する適応型走査ステップと、前記走査された係数を符号化する符号化ステップとを含むことを特徴とする。
【発明の効果】
【００１６】
本発明は、動画の符号化において、所定サイズのブロックに対するイントラ予測の実行後、残差信号のＤＣＴ及び量子化された係数に対する走査方法をイントラ予測モードに応じて適応的に適用することによって、符号化の圧縮率を大きく向上させることができる効果がある。
【図面の簡単な説明】
【００１７】
【図１】Ｈ．２６４における４×４ブロック及び８×８ブロックに対するイントラ予測モードを示す図面である。
【図２】垂直モードにおける画素予測過程を説明するための図面である。
【図３】水平モードにおける画素予測過程を説明するための図面である。
【図４】本発明による動画符号化装置の一実施形態の構成図である。
【図５】従来のジグザグ走査方式を示す図面である。
【図６】本発明による水平優先走査方式の一実施形態を示す図面である。
【図７】本発明による垂直優先走査方式の一実施形態を示す図面である。
【図８】本発明による適応型走査を用いる動画符号化方法の一実施形態のフローチャートである。
【図９】本発明による適応型走査過程の一実施形態の詳細なフローチャートである。
【図１０】本発明による動画復号化装置の一実施形態の構成図である。
【発明を実施するための形態】
【００１８】
以下の内容は、単に本発明の原理を例示している。したがって、当業者は、本明細書で明確に説明又は図示していないが、本発明の原理を実現し、本発明の概念と範囲に含まれる様々な装置を発明することができる。また、本明細書に列挙する全ての条件付き用語及び実施形態は、原則的に、本発明の概念を理解させるための目的としてのみ明確に意図され、このように特別に列挙する実施形態及び状態によって制限されるものではないことを理解しなければならない。
【００１９】
また、本発明の原理、観点、及び実施形態だけでなく、特定の実施形態を列挙する全ての詳細な説明は、このような事項の構造的及び機能的同等物を含むように意図するものとして理解しなければならない。また、このような同等物は、現在公知となっている同等物だけでなく、将来に開発される同等物、すなわち、構造にかかわらず、同じ機能を行うように発明される全ての素子を含むものとして理解しなければならない。
【００２０】
したがって、プロセッサ又はこれと類似する概念で表示した機能ブロックを含む図面に示す多様な素子の機能は、専用ハードウェアだけでなく、適切なソフトウェアに係ってソフトウェアを実行する能力を有するハードウェアの使用に提供できる。プロセッサによって提供されるとき、前記機能は、単一専用プロセッサ、単一共有プロセッサ、又は複数の個別的プロセッサによって提供でき、これらのうち、一部は共有することができる。
【００２１】
また、プロセッサ、制御、又はこれと類似する概念で提示する用語の使用は、ソフトウェアを実行する能力を有するハードウェアを排他的に引用して解釈してはならず、制限することなく、デジタル信号プロセッサ（ＤＳＰ）、ハードウェア、ソフトウェアを格納するためのＲＯＭ、ＲＡＭ、及び不揮発性メモリを暗示的に含むものとして理解しなければならない。周知慣用の他のハードウェアも含まれ得る。
【００２２】
上述した目的、特徴、及び長所は、添付図面に係る以下の詳細な説明によってより明確になるであろう。本発明の説明において、関連の公知技術についての具体的な説明が、本発明の要旨から逸脱する可能性があると判断される場合、その詳細な説明を省略する。以下、添付図面を参照して本発明による好ましい実施形態を詳細に説明する。
【００２３】
図４は、本発明による動画符号化装置の一実施形態の構成図である。同図に示すように、本発明による動画符号化装置は、イントラ予測部１１０、モード選択部１２０、ＤＣＴ／量子化部１３０、及びエントロピーコーディング部１４０を備えて構成される。
【００２４】
モード選択部１２０は、前述した様々なイントラ予測モードのうち、最適の予測モードを選択してイントラ予測部１１０に出力する。すなわち、４×４イントラ予測、１６×１６イントラ予測、及び８×８イントラ予測時に、可能な様々な符号化予測モードのうち、１つを選択する。一般的に、レート−歪み（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）を最大に減らしたレート−歪み最適化（ＲＤ  Ｏｐｔｉｍｉｚａｔｉｏｎ）方法にしたがって１つの予測モードを選択する。
【００２５】
前記予測モードは、輝度ブロックである場合、Ｈ．２６４のイントラ４×４輝度符号化モードである垂直（Ｖｅｒｔｉｃａｌ）モード、水平（Ｈｏｒｉｚｏｎｔａｌ）モード、ＤＣモード、対角左下向モード（Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｌｅｆｔ  ｍｏｄｅ）、対角右下向モード（Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｒｉｇｈｔ  ｍｏｄｅ）、垂直右向モード（Ｖｅｒｔｉｃａｌ＿Ｒｉｇｈｔ  ｍｏｄｅ）、水平下向モード（Ｈｏｒｉｚｏｎｔａｌ＿Ｄｏｗｎ  ｍｏｄｅ）、垂直左向モード（Ｖｅｒｔｉｃａｌ＿Ｌｅｆｔ  ｍｏｄｅ）、及び水平上向モード（Ｈｏｒｉｚｏｎｔａｌ＿Ｕｐ  ｍｏｄｅ）と、イントラ１６×１６輝度符号化モードである垂直モード、水平モード、プレーン（Ｐｌａｎｅ）モード、及びＤＣモードであることが好ましい。
【００２６】
また、前記予測モードは、色度ブロックである場合、Ｈ．２６４イントラＭ×Ｎ色度符号化モードである垂直モード、水平モード、プレーンモード、及びＤＣモードであることが好ましい。
【００２７】
イントラ予測部１１０は、モード予測部１２０から受信した予測モードに応じて入力映像に対する予測を行い、符号化しようとする現在フレームのマクロブロック内の画素値と予測画素値との差を示す残差信号ブロックを出力する。本実施形態では、輝度（ｌｕｍｉｎａｎｃｅ）ブロックの画素に対しては４×４イントラ予測を行い、色度（ｃｈｒｏｍｉｎａｎｃｅ）ブロックの画素に対しては８×８イントラ予測を行う。
【００２８】
ＤＣＴ／量子化部１３０は、イントラ予測部１１０から受信した残差信号ブロックに対してＤＣＴ変換し、量子化してエントロピーコーディング部１４０に出力する。
【００２９】
エントロピーコーディング部１４０は、前記量子化された残差信号ブロックを予測モードの種類に応じて適応的に走査して係数を並べ、エントロピーコーディングして出力する。エントロピーコーディングは、発生頻度の高いデータに対しては少ないビットを割り当て、発生頻度の低いデータに対しては多くのビットを割り当てることによって、データの圧縮率を高めるコーディング方法である。本発明に適用可能なエントロピーコーディング方法としては、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ  Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）、又はＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）などがある。
【００３０】
図５は、従来のジグザグ走査方式を示す図面である。
【００３１】
同図に示すように、従来のジグザグ走査は、ＤＣＴの重要係数が左側上段に位置する可能性が高いということを考慮して考案された方法である。しかし、イントラ予測モードとして垂直モードや水平モードを選択する場合、残差信号の相関性が垂直方向や水平方向に高くなる可能性が高いため、重要係数の位置が垂直モードである場合、１行目付近に重要係数が主に現れ、水平モードである場合、１列目付近に重要係数が主に現れる。したがって、上記のような場合、既存のジグザグ走査に代わる他の走査方法が必要となる。以下、本発明のイントラ予測モードの種類による適応型走査方式の実施形態について説明する。
【００３２】
図６は、本発明による水平優先走査方式の一実施形態を示し、図７は、本発明による垂直優先走査方式の一実施形態を示す図面である。
【００３３】
本発明の好ましい一実施形態によるエントロピーコーディング部１４０では、イントラ予測モードが垂直モードである場合は、図６のような走査方式（水平優先走査方式）を用い、イントラ予測モードが水平モードである場合は、図７のような走査方式（垂直優先走査方式）を用い、その他の場合は、既存のジグザグ走査方式を用いて係数を並べた後、エントロピーコーディングして出力する。
【００３４】
水平優先走査方式は、図６に示すように、まず、１行目の全てのブロックを走査し、次いで２行目のブロックのうち、１番目から３番目のブロック、３行目の２番目及び１番目のブロック、４行目の１番目及び２番目のブロック、３行目の３番目のブロック、２行目の４番目のブロック、３行目の４番目のブロック、４行目の３番目及び４番目のブロックの順に走査する。したがって、本発明による水平優先走査方式は、１行目の全てのブロックを優先走査することによって、行方向に高い相関度を有し、１行目付近に重要係数が主に位置する垂直モードに適合する。
【００３５】
垂直優先走査方式は、図７に示すように、まず、１列目の全てのブロックを走査し、次いで２列目の１番目から３番目のブロック、３列目の２番目及び１番目のブロック、４列目の１番目及び２番目のブロック、３列目の３番目のブロック、２列目の４番目のブロック、３列目の４番目のブロック、４列目の３番目及び４番目のブロックの順に走査する。したがって、本発明による垂直優先走査方式は、１列目の全てのブロックを優先走査することによって、列方向に高い相関度を有し、１列目付近に重要係数が主に位置する垂直モードに適合する。
【００３６】
本発明は、走査方式の適用をイントラモードに依存して決定するため、既存のシンタックス（ｓｙｎｔａｘ）にいかなる影響も与えず、符号化及び復号化段階の走査方式の意味（ｓｅｍａｎｔｉｃｓ）のみを若干修正することによって実現できる。したがって、Ｈ．２６４のような動画の符号化／復号化の技術分野の当業者であれば、前述した本発明のイントラ予測モードによる適応型走査方式を既存の動画の符号化／復号化装置に基づいて容易に実現することができるため、その実現に係るより具体的な説明は省略する。
【００３７】
図８は、本発明による適応型走査を用いる動画符号化方法の一実施形態のフローチャートである。
【００３８】
まず、符号化する映像がイントラ予測部１１０に入力されると（５１０）、モード選択部１２０は、イントラ予測モードを選択する（５２０）。
【００３９】
次いで、イントラ予測部１１０は、選択された予測モードに応じて入力映像に対する予測を行い（５３０）、符号化しようとする現在フレームのマクロブロック内の画素値と予測画素値との差分値を有する残差信号ブロックを生成する（５４０）。
【００４０】
次いで、ＤＣＴ／量子化部１３０は、前記残差信号ブロックをＤＣＴ変換し、量子化する（５５０）。
【００４１】
次いで、エントロピーコーディング部１４０は、前記量子化された残差信号ブロックを前記予測モードに応じて適応型走査を行い（５６０）、走査された係数をエントロピーコーディングして出力する（５７０）。
【００４２】
図９は、本発明による適応型走査過程の一実施形態の詳細なフローチャートである。
【００４３】
まず、予測モードが垂直モードか否かを判断する（６１０）。
【００４４】
前記判断の結果、垂直モードである場合は、水平優先走査を行う（６２０）。
【００４５】
一方、前記判断の結果、垂直モードではない場合は、予測モードが水平モードか否かを判断する（６３０）。
【００４６】
前記判断の結果、水平モードである場合は、垂直優先走査を行い（６４０）、水平モードではない場合は、ジグザグ走査を行う（６５０）。
【００４７】
図１０は、本発明による動画復号化装置の一実施形態の構成図である。
【００４８】
同図に示すように、本発明による動画復号化装置は、エントロピー復号化部２１０、走査方式決定部２２０、及び映像復元部２３０を備えて構成される。
【００４９】
エントロピー復号化部２１０は、符号化されたビットストリームを受信し、ＣＡＶＬＣ又はＣＡＢＡＣなどのようなエントロピー復号化方法にしたがって復号化を行って出力する。
【００５０】
走査方式決定部２２０は、エントロピー復号化部２１０から復号化された信号を受信し、復号化された信号が符号化過程で走査された方式を獲得して、前記復号化された信号と共に映像復元部２３０に伝達する。
【００５１】
映像復元部２３０は、前記復号化された信号を前記走査方式にしたがって復元して復元映像を出力する。
【００５２】
上述した方法にしたがって、Ｈ．２６４勧告コデック（Ｒｅｆｅｒｅｎｃｅ  Ｃｏｄｅｃ）であるＪＭ９６（Ｊｏｉｎｔ  Ｍｏｄｅｌ  ９６）を用いて様々なテスト映像に対して実験を行った結果、以下のように圧縮効率が増加することを確認することができた。テスト映像は、Ｈ．２６４で実験映像として勧告する映像を用いて実験を行った。本実験に用いられた具体的な条件は、下記表１のとおりである。
【００５３】
【表１】
0005674752.tif 000002
【００５４】
前記表１に記載のように、サイズが異なる７つの映像について実験した。
【００５５】
下記表２は、前記実験条件下で従来のＨ．２６４ジグザグ走査を用いる符号化方法と、本発明による適応型走査を用いる符号化方法とにしたがってテスト映像を符号化したときの圧縮率を比較した図表である。
【００５６】
【表２】
0005674752.tif 000003
【００５７】
前記表２に記載のように、Ｈ．２６４のジグザグ走査方式のみを用いる符号化の圧縮率よりも、本発明で提案したイントラ予測モードによる適応型走査方式を用いる符号化の圧縮率が一層優れていることが分かる。
【００５８】
一方、Ｈ．２６４以後に開発されたビデオ圧縮の標準は、既存の９方向イントラ予測モードが相当な複雑度を要求するため、垂直、水平、ＤＣ、対角の予測モードのみを用いる可能性が高い点を考慮すると、本実施形態による適応型走査方式を用いる符号化は、更に多くの圧縮率向上を期待することができる（約３％ｂｉｔ  ｓａｖｉｎｇ）。
【００５９】
一方、前述した動画の符号化及び復号化方法は、コンピュータプログラムによって作成可能である。当該プログラムを構成するコード及びコードセグメントは、当該分野におけるコンピュータプログラマによって容易に推論できる。また、前記プログラムは、コンピュータが読み取ることができる情報格納媒体（ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉａ）に格納され、コンピュータによって読み取られて実行されることによって、動画の符号化及び復号化方法を実現する。前記情報格納媒体は、磁気記録媒体、光記録媒体、及び搬送波媒体を含む。
【００６０】
以上で説明した本発明は、前述した実施形態及び添付図面によって限定されるのではなく、本発明の技術的思想から逸脱しない範囲内で様々な置換、変形、及び変更が可能であることは、本発明の属する技術分野における通常の知識を有する者に明らかである。
【産業上の利用可能性】
【００６１】
本発明は、動画符号化システムなどに用いられる。
【図１】
0005674752.tif 000004
【図２】
0005674752.tif 000005
【図３】
0005674752.tif 000006
【図４】
0005674752.tif 000007
【図５】
0005674752.tif 000008
【図６】
0005674752.tif 000009
【図７】
0005674752.tif 000010
【図８】
0005674752.tif 000011
【図９】
0005674752.tif 000012
【図１０】
0005674752.tif 000013