(57)【特許請求の範囲】
【請求項１】
入力画像を画素ブロック毎に可変長符号化する動画像符号化装置において、
入力画像の対称性から折返し可能かどうか判定し、可能であれば折り返し線を定める二つの折り返し点を設定する判定回路と、
折返し可能と判定されたときに、該折り返し線を元に画素ブロック単位で分断された二つの領域の内、面積の大きい方の領域を符号化対象として抽出し、該領域についてイントラ予測またはインタ予測を行ない、予測差分を量子化し可変長符号化する符号化回路と、
前記領域の抽出をおこなっているか否かを示す折り返し処理フラグと、前記二つの折り返し点の情報とが符号化処理後のストリームに含まれるように、前記符号化回路における量子化後或いは符号化前のデータに情報を付加する情報付加回路と、を備え、
前記符号化対象とならなかった領域の画素ブロックを、前記大きい方の領域の中に対応する画素ブロックがある第一の領域と、対応する画素ブロックがない第二の領域とに区分し、該第二の領域をその周囲のブロックからパディングしたときに、前記入力画像における該第二の領域と該パディングにより得た該第二の領域との誤差が所定の閾値に収まらないときは、前記符号化回路は該第二の領域も符号化することを特徴とする動画像符号化装置。
【請求項２】
請求項１記載の動画像符号化装置で可変長符号化された画像を復号する動画像復号化装置であって、
入力された符号化ストリームを可変長復号し、復号データのうち量子化処理後のデータについて、逆量子化しイントラ予測またはインター予測を行なって復号画像を出力する復号回路と、
該復号データから折り返し処理フラグと、折り返し点情報とを抽出するとともに、それ以外のデータは前記復号回路での処理を続けさせる復号データ分離回路と、
前記復号データ分離回路が前記折り返し点情報を抽出したときに、前記復号画像に対し、前記折り返し点情報により定まる折り返し線で該復号画像を折り返し、入力された符号化ストリームでは符号化対象とならなかった領域を復元する折り返し処理回路と、を備え、
前記折り返し処理フラグと、前記折り返し点情報とに基づいて、前記符号化対象となった領域の画素値から、前記符号化対象とならなかった領域の画素値を復元するにあたり、前記符号化対象とならなかった領域の画素ブロックを、前記符号化対象となった領域の対応する画素ブロックと対称性の高い第一の領域と、対称性の低い第二の領域とに区分し、
前記第一の領域の画素値は、前記符号化対象となった領域の対応する画素ブロックの画素値より復元し、前記第二の領域の画素値は、その画素ブロックの周辺の画素ブロックの対応する領域の画素値より復元することを特徴とする動画像復号化装置。
【請求項３】
入力画像を画素ブロック毎に可変長符号化する動画像符号化方法において、
入力画像を画素ブロックに分割し、前記入力画像の画素値の対称性に基づき、入力画像を、前記画素ブロックが含まれる二つの領域に区分して、前記領域の一方のみを符号化の対象として、符号化するステップと、
符号化する前記符号化対象とならなかった領域の画素ブロックを、前記符号化対象となった領域の対応する画素ブロックと対称性の高い第一の領域と、対称性の低い第二の領域とに前記画素ブロックが含まれる二つの領域に区分するステップと、
前記第二の領域に対して、周辺の画素ブロックに対応する領域があるか否かを判定し、前記第二の領域に対して、周辺の画素ブロックに対応する領域がないとき、
または、
前記第二の領域の画素値と、前記第二の領域が含まれる画素ブロックの周辺の画素ブロックの対応する領域の画素値との差分和を計算して、前記第二の領域の画素値と画素ブロックの周辺の画素ブロックの対応する領域との画素値の差分和が、一定の閾値よりも大きいときには、前記第二の領域も符号化するステップとを有することを特徴とする動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化復号化装置に係り、画面データの対称性を利用して符号化効率を高めるのに用いて好適な動画像符号化復号化装置に関する。
【背景技術】
【０００２】
今日、動画像によって伝送されるデータ量は日々増加している。例として、アナログテレビのデータ量を考える。現在の日本の標準テレビ場合、画素数は、水平方向に７２０画素、垂直方向に４８０画素である。各画素は、８ビットの輝度データと、二つの色差データ（８ビット）を持っており、一秒間の動画は、３０枚の画面から構成されている。現在は輝度のデータに対して、色成分を垂直／水平方向に半分とする形式を用いているため、１秒間のデータ量としては、
７２０×４８０×（８＋８×１／２×１／２＋８×１／２×１／２）×３０＝１２４４１６０００ビット、伝送レートとしては、約１２０Ｍｂｐｓが必要となる。
【０００３】
しかしながら、現在家庭用ブロードバンドとして普及している光ファイバであっても、１００Ｍｂｐｓ程度であり、映像を非圧縮で伝送する事は現実的には不可能である。今後、２０１１年に切り替わる地上デジタル放送のデータ量は、１．５Ｇｂｐｓと言われており、高効率圧縮技術は今後必要とされる技術の一つであると言える。
【０００４】
現在、高効率の圧縮技術の規格として、普及が期待されている技術として、Ｈ．２６４／ＡＶＣ（以下、Ｈ．２６４）がある。Ｈ．２６４は、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector：国際電気通信連合  電気通信標準化部門）のビデオ符号化専門家グループＶＣＥＧ（Video Coding Experts Group）と、ＩＳＯ（International Organization for Standardization：国際標準化機構）／ＩＥＣ（International Electrotechnical Commission：国際電気標準会議）の動画像符号化専門家グループＭＰＥＧ（Moving Picture Expert Group）が２００１年１２月に共同で設立したＪＶＴ（Joint Video Team）によって開発された動画像符号化の最新の国際標準である。
【０００５】
このＨ．２６４の規格は、ＩＴＵ−Ｔでは勧告として、２００３年５月に承認されている。また、ＩＳＯ／ＩＥＣ  ＪＴＣ  １（Joint Technical Committee 1：第一合同技術委員会）では、２００３年にＭＰＥＧ−４ Part 10 Advanced Video Coding（ＡＶＣ）として標準化されている。さらに、色空間や画素階調に関する拡張作業もおこなわれ、Fidelity Range Extension（ＦＲＥｘｔ）として２００４年７月に最終標準案が作成されている。
【０００６】
Ｈ．２６４の主な特徴は以下の通りである。
・従来方式のＭＰＥＧ−２やＭＰＥＧ−４に比べて約２倍の符号化効率で同程度の画質を実現することができる。
・圧縮アルゴリズム：フレーム間予測、量子化、エントロピー符号を採用している。
・携帯電話等の低ビットレートからハイビジョンＴＶ等の高ビットレートまで幅広く利用可能である。
【０００７】
なお、非特許文献１に、Ｈ．２６４の解説記事がある。
【０００８】
以下では、図１１および図１２を用いて技術背景として最新の動画像符号化規格であるＨ．２６４の符号化処理について説明する。
図１１は、一般的なＨ．２６４のエンコーダの構成図である。
図１２は、Ｈ．２６４の画面間予測処理の概念を説明する図である。
【０００９】
Ｈ．２６４では画面内で予測画像を生成する画面内予測（イントラ予測：Intra prediction）１０４と画面間で予測画像を生成する画面間予測（インタ予測：Inter Prediction）１０５が規定されている。ここで、生成した予測画像と原画像との差分をとり、この差分データに対して、図１に示されるように、以降の直交変換１０２、量子化処理１０３をおこない、量子化後のデータに対して、可変長符号化などの符号化処理１１０をおこなう。Ｈ．２６４では差分画像のみを符号化し、伝送することにとって高い符号化効率を実現している。
【００１０】
画面内予測とは、近接画素間の相関を利用して予測画像の生成する手法である。画面内予測処理では、予測対象画素の周辺画素との相関によって予測画像を生成しており、予測対象ブロックの左側から右上の画素を利用する。画面間予測は、図２に示すように、予測対象の入力画像２０１の前後のフレーム２００／２０２から予測画像を生成する処理である。画面間予測は、前後のフレームから予測対象画素の動きベクトルを計算し、予測画像を生成する処理である。このように、最新の動画像符号化規格であるＨ．２６４では、高効率の圧縮技術を実現するために様々な手法が用いられている。
【００１１】
一般的に、伝送レートが高い場合、動画像符号化処理において入力画像サイズ分の符号化処理をおこなう。一方、伝送レートが低い場合には、入力画像の映像フォーマットに対して、画像サイズを変更するプレフィルタ処理をおこない、符号化をおこなう手法がある。この手法は、全ての入力画像に対して、一定の画像サイズ変更をおこなう手法となる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】“Ｈ．２６４ 提供: フリー百科事典『ウィキペディア（Wikipedia）』”、[online]、[平成２１年１０月２６日検索]、インターネット＜ＵＲＬ： http://ja.wikipedia.org/wiki/H.264＞
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述のように、伝送レートが低い場合に、画像サイズを変更する場合には、水平方向または垂直方向に対して、ダウンサンプルをおこなう手法が一般的である。ところが、画像データをダウンサンプルすると、ある程度の画質劣化は避けられない。また、一般的なＨ．２６４の符号化手法では、画像の対称性を生かした符号化がなされていないため、例えば、左右対称の画像であっても全ての部分が符号化されるため、符号化効率は必ずしも高いものではなかった。
【００１４】
本発明は、上記問題点を解決するためになされたもので、その目的は、画像を符号化して情報量を圧縮する動画像符号化復号化装置において、画像の対称性を生かし、画質劣化なく、符号化効率を向上させた動画像符号化復号化装置を提供することにある。
【課題を解決するための手段】
【００１５】
本発明では、入力画像の対称性を利用して、画像の折り返し判定処理をおこない、入力画像の一方の領域のブロックを折り返し領域とし、その折り返し領域を記述する折り返し点を設定して、折り返し領域と折り返し点の情報のみを符号化処理する。
【００１６】
これにより、符号化対象領域を減少させ、符号化処理をおこなう画像サイズを任意の画像へと変更することが可能となる。
【００１７】
復号処理後には、符号化対象となった折り返し領域から全体の画像を復元するが、折り返し領域から直に復元できない領域では、周辺のブロックからパディング処理をおこなうことによって、画像を復元する。
【発明の効果】
【００１８】
本発明によれば、画像を符号化して情報量を圧縮する動画像符号化復号化装置において、画像の対称性を生かし、画質劣化なく、符号化効率を向上させた動画像符号化復号化装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る動画像符号化復号化装置におけるエンコーダの処理の概略図である。
【図２】本発明の一実施形態に係る動画像符号化復号化装置におけるエンコーダの構成図である。
【図３】折り返し判定処理において、画像にブロック番号を付加したことを説明する図である。
【図４】折り返し判定処理において、折り返し点の設定を説明する図である（その一）。
【図５】折り返し判定処理において、折り返し点の設定を説明する図である（その二）。
【図６】折り返し判定処理を説明する図である（その一）。
【図７】折り返し判定処理を説明する図である（その二）。
【図８】本発明の符号化処理後のストリームの例を示す図である。
【図９】本発明の一実施形態に係る動画像符号化復号化装置におけるデコーダの構成図である。
【図１０】折り返し処理を説明する図である。
【図１１】一般的なＨ．２６４のエンコーダの構成図である。
【図１２】Ｈ．２６４の画面間予測処理の概念を説明する図である。
【発明を実施するための形態】
【００２０】
以下、本発明に係る一実施形態を、図１ないし図１０を用いて説明する。
ここでは、本発明に係る一実施形態として、最新の動画像符号化規格であるH.264に対して本発明を適用した構成を用いて説明をおこなう。
【００２１】
先ず、図１を用いて本発明の一実施形態に係る動画像符号化復号化装置におけるエンコーダの処理の概略について説明する。
図１は、本発明の一実施形態に係る動画像符号化復号化装置におけるエンコーダの処理の概略図である。
【００２２】
本発明の一実施形態に係る動画像符号化復号化装置におけるエンコーダの処理では、図１に示されるように、入力画像の対称性を利用して、画像の折り返し判定処理３０１をおこない、入力画像の一方の領域のブロックを折り返し領域とし、その折り返し領域を記述する折り返し点を設定して、折り返し領域と折り返し点の情報のみを符号化処理する符号化処理３０２する。折り返し点と折り返し領域については、後に詳説する。これによって、符号化対象領域を減少させることが可能であることに加えて、符号化処理３０２をおこなう画像の画像サイズを任意に変更することが可能となる。また、復号処理３０４後にパディング処理３０６をおこなうことによって、入力画像サイズと同サイズの画像３０７を復元する。
【００２３】
先ず、図２を用いて本発明の一実施形態に係る動画像符号化復号化装置におけるエンコーダの構成について説明する。
図２は、本発明の一実施形態に係る動画像符号化復号化装置におけるエンコーダの構成図である。
【００２４】
本発明の一実施形態に係る動画像符号化復号化装置のエンコーダは、図２に示されるように、一般的なＨ．２６４などのエンコーダに対して、折り返し判定回路４００と折り返しブロック情報付加回路４０３を追加した構成となる。本実施形態では、まず入力画像に対して、折り返し判定回路４００によって、折り返し可能な画像かどうかを判定する。折り返しが可能であれば、折り返し領域のみの入力画像について符号化処理をおこなう。そして、量子化処理４０２完了後の量子化係数データに対して、折り返しブロック情報を付加する。
【００２５】
次に、図３ないし図８を用いて本発明の一実施形態に動画像符号化復号化装置におけるエンコーダ処理の詳細について説明する。
図３は、折り返し判定処理において、画像にブロック番号を付加したことを説明する図である。
図４および図５は、折り返し判定処理において、折り返し点の設定を説明する図である。
図６および図７は、折り返し判定処理を説明する図である。
図８は、本発明の符号化処理後のストリームの例を示す図である。
【００２６】
以下、エンコーダ処理の（Ｓｔｅｐ  １）〜（Ｓｔｅｐ  ５）について説明する。
（Ｓｔｅｐ  １）  先ず、図３に示すように、任意のＭｘＮブロックの入力画像に対して、ブロック番号を付加する。
（Ｓｔｅｐ  ２）  次に、図４に示すように、折り返し点Ｘ（６００）、Ｙ（６０１）を捜索する。ここで、折り返し点とは、画像の折り返し線が設定できるように定めた二つのブロックであり、折り返し線は、図５（ａ）、（ｂ）に示すように、ＸからＹのブロック位置までの変化量が均等になるように折り返し線を設定する。
【００２７】
このときの折り返し判定は、図６に示すように、領域Ａ（７００）と領域Ｂ（７０１）の画素毎の誤差総和が最小となるように、勾配法などを用いて判定する。
【００２８】
すなわち、以下の（式１）の折り返し誤差Ｓが最小になるように、折り返し線を設定する。
【００２９】
【数１】
0005421739.tif 000002
【００３０】
ここで、ａｉは、領域Ａの画素値であり、ｂｉは、ａｉと、折り返し線に関して対称となる領域Ｂの画素値であり、Σは、全ての画素をわたって和をとるものとする。
【００３１】
そして、この折り返し線により、分断された二つの領域の内、面積の大きい領域を、折り返し領域とする。例えば、図６では、領域Ａ（７００）、領域Ｃ（７０２）、領域Ｄ（７０３）がこれに該当する。
（Ｓｔｅｐ  ３）  次に、折り返し誤差が、任意に設定した閾値内に収まる場合には、折り返し領域のみ（例えば、領域Ａ（７００）、領域Ｃ（７０２）、領域Ｄ（７０３））を抽出し、後段の直交変換４０１、量子化４０２の処理をおこなう。誤差が閾値を超える場合には、入力画像を抽出せず、後段の処理をおこなう。
【００３２】
この折り返し領域の抽出をおこなうか否かを判定するための任意の閾値は、統計的な判断から閾値を設定することもできるし、伝送レートから判断して設定することもできる。
（Ｓｔｅｐ  ４）  次に、量子化後のデータに対して、（Ｓｔｅｐ  ３）で折り返し領域の抽出をおこなっているか否かを判定するための折り返し処理フラグ８００と、折り返し点（６００／６０１）のブロック情報を、折り返し点ブロック情報８０１として、付加する。
（Ｓｔｅｐ  ５）  次に、可変長符号化などの符号化処理をおこなう。
【００３３】
ここで、符号化処理後のストリーム構成は、例えば、図８に示されるように、符号化処理後のマクロブロックデータＭＢｉ（ｉ＝０，…，マクロブロックデータ数−１）に対して、折り返し処理フラグ８００と折り返し点ブロック情報８０１を付加するものとする。ただし、折り返し処理フラグ８００が、折り返し領域の抽出をおこなわなかったことを示している場合には、折り返し点ブロック情報８０１は省略する。
【００３４】
このように、符号化処理後のマクロブロックデータＭＢｉの全てに、折り返し処理フラグ８００と折り返し点ブロック情報８０１を付加したのは、処理の高速性を鑑みたものである。
【００３５】
また、（Ｓｔｅｐ  ４）において、量子化処理後のデータに対して必要情報を付加することによって、量子化誤差による折り返しブロック番号の情報の欠落や丸めこみを防止することが可能である。また、折り返しに関する必要情報を映像伝送データに多重することが可能であるため、別途伝送経路を設ける必要がないという利点がある。
【００３６】
次に、図９を用いて本発明の一実施形態に係る動画像符号化復号化装置におけるデコーダの構成について説明する。
図９は、本発明の一実施形態に係る動画像符号化復号化装置におけるデコーダの構成図である。
【００３７】
本発明の一実施形態に係る動画像符号化復号化装置のデコーダは、図９に示されるように、一般的なＨ．２６４などのデコーダに対して、復号データ分離回路９０１と折り返し処理回路９０６を追加した構成となる。デコーダ処理では、エンコーダ処理と逆の処理をおこない、入力画像を復元する。
【００３８】
次に、図１０を用いて本発明の一実施形態に動画像符号化復号化装置におけるデコーダ処理の詳細について説明する。
図１０は、折り返し処理を説明する図である。
【００３９】
以下、デコーダ処理の（Ｓｔｅｐ  ５）〜（Ｓｔｅｐ  ７）について説明する。
（Ｓｔｅｐ  ５）  先ず、復号処理９００をおこなう。
（Ｓｔｅｐ  ６）  次に、復号データ分離回路９０１にて、復号データから折り返しブロック情報を抽出し、折り返し処理回路９０６へとデータを受け渡す。また、それ以外の量子化係数データについては、通常通り、逆量子化９０２以降の処理をおこなう。
（Ｓｔｅｐ  ７）  次に、逆直交変換データと予測画像データから復号された再構成画像９０５に対して、復号データ分離回路９０１からの折り返しブロック情報に基づき、折り返し処理をおこない、画像を復元する。
【００４０】
次に、この（Ｓｔｅｐ  ７）における、折り返し処理について、詳細に説明する。折り返し処理とは、図１０に示すように、折り返しブロック情報に基づき、符号化された折り返し領域の復号画像に基づき、符号化されなかった他の領域（この例では、領域Ｂ（７００）、領域Ｅ（７０４）、領域Ｆ（７０５））を復元する処理である。
【００４１】
そして、この折り返し処理において、入力画像サイズ外に折り返される場合、外れる領域（◇部）についてのデータについては、データ復元のために用いられない。
【００４２】
そのため、図１０に示すように、折り返し処理で復元することができない部分（○、△部分、図６では、領域Ｅ（７０４）、領域Ｆ（７０５））が生じる。この折り返し処理で復元することができない部分については、既に処理が完了している周囲のブロックの復号画像の対称性を利用して、パディングすることで復元する。
【００４３】
または、エンコーダ側から、折り返し処理で復元できない部分（○、△部分）については、判定処理に従い、通常通り符号処理をおこない伝送するものとする。この判定については、エンコーダ側において、パディング処理が必要な領域についても、周囲のブロックの対応領域どうし（それぞれ○、△部分が付された領域どうし）の対して誤差（画素値の差分の総和）をとって判定をおこない、その誤差が一定の閾値に収まらないとき、または、画面端にあたるときなど、当該ブロックの周囲にブロックが存在しないときと判定されたときである。
【００４４】
このときには、符号化後のデータに対して付加するブロック情報に、パディング部分の伝送の有無を表すフラグを付加することで実現することができる。
【００４５】
また、（Ｓｔｅｐ  ５）における符号化処理においては、再構成画像は、折り返し領域のみを保持する。この時、画面内予測や画面間予測に際して、折り返し領域外の箇所を参照する場合には、折り返し処理をして他の一方の領域を復元する。
【００４６】
本実施形態によれば、入力画像サイズを任意の大きさに変更することで発生符号量制御へ情報をフィードバックし、画質を向上させることができる。特に、本実施形態の動画像符号化復号化装置においては、対称性を持った入力画像に対しては、符号化効率を大きく向上できるという効果が得られる。対称性のある複雑な画像の場合、伝送する入力画像を削減できるため、量子化誤差による画質劣化を防止することが可能である。
【００４７】
なお、本発明に係る動画像符号化復号化装置の処理がおこなわれているか否かについては、従来技術と比べて、入力画像サイズが異なっているため、ストリームを解析することにより、判定することができる。
【符号の説明】
【００４８】
１０１…入力画像、１０２…直交変換、１０３…量子化、１０４…イントラ予測、１０５…インタ予測、１０６…再構成画像、１０７…フィルタ、１０８…逆直交変換、１０９…逆量子化、１１０…符号化、
４００…折り返し判定回路、４０１…直交変換、４０２…量子化、４０３…折り返しブロック情報付加回路、４０４…符号化、４０５…イントラ予測、４０６…インタ予測、４０７…再構成画像、４０８…フィルタ、４０９…逆直交変換、４１０…逆量子化、
９００…符号受理、９０１…符号データ分析回路、９０２…量子化、９０３…直交変換、９０４…フィルタ、９０５…再構成画像、９０６…折り返し処理回路。
【図１】
0005421739.tif 000003
【図２】
0005421739.tif 000004
【図３】
0005421739.tif 000005
【図４】
0005421739.tif 000006
【図５】
0005421739.tif 000007
【図６】
0005421739.tif 000008
【図７】
0005421739.tif 000009
【図８】
0005421739.tif 000010
【図９】
0005421739.tif 000011
【図１０】
0005421739.tif 000012
【図１１】
0005421739.tif 000013
【図１２】
0005421739.tif 000014