(57)【要約】【課題】スケーラビリティを実現しつつ、符号化処理量を削減することができる画像符号化装置および画像符号化方法を提供する。【解決手段】入力画像を水平方向と垂直方向に各々１／２に間引き、かつ位相が１画素ずれた４つの画像に分割し、第１から第４の分割画像として画像分割手段から出力する。前記第１の分割画像を第１の符号化手段で符号化して第１のストリームを出力し、前記第１の符号化手段で符号化するときに得られる第１の符号化情報を符号化情報処理手段で第２の符号化情報を出力する。  第２から第４の符号化手段は、前記第２の符号化情報を利用して、前記第２から第４の分割画像を符号化し、第２から第４のストリームを出力する。多重化手段は前記第１から第４のストリームを多重化し、出力ストリームを生成する。【選択図】図１
2009296300.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像データに対して、水平方向と垂直方向に各々１／２に間引きし、かつ位相が１画素ずれた４つの分割画像を第１から第４の分割画像として出力する画像分割部と、前記第１の分割画像をブロック単位で符号化して第１のストリームを出力する第１の符号化部と、前記第１の符号化部で符号化したときに得られる第１の符号化情報を抽出し、第２の符号化情報として出力する符号化情報処理部と、前記第２の符号化情報を利用して前記第２の分割画像をブロック単位で符号化し、第２のストリームを出力する第２の符号化部と、前記第２の符号化情報を利用して前記第３の分割画像をブロック単位で符号化し、第３のストリームを出力する第３の符号化部と、前記第２の符号化情報を利用して前記第４の分割画像をブロック単位で符号化し、第４のストリームを出力する第４の符号化部と、前記第１から第４のストリームを多重化し、出力ストリームを生成する多重化部とを備えることを特徴とする画像符号化装置。
【請求項２】
前記符号化情報処理部は、前記第２の符号化情報として、前記第１の分割画像を符号化する際のブロック単位の符号化情報を出力し、前記第２から第４の符号化部は、当該符号化部が符号化する際の符号化対象ブロックと同じ空間位置となるブロックに対して、前記第１の分割画像を符号化する際のブロック単位の符号化情報を利用することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記符号化情報処理部は、前記第２の符号化情報として、さらに、前記第１の分割画像を符号化する際のブロックの動きベクトルである第１の動きベクトル情報を含み、前記第２から第４の符号化部は、当該符号化部が符号化する際の符号化対象ブロックと同じ空間位置となるブロックに対して、前記第１の動きベクトル情報が示す位置を中心とした範囲で、当該符号化部が対象とする分割画像に対する動きベクトル検出を行うことを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記符号化情報処理部は、前記第２の符号化情報として、さらに、前記第１の分割画像を符号化する際のブロックの量子化情報である第１の量子化情報を含み、前記第２から第４の符号化部は、当該符号化部が符号化する際の符号化対象ブロックと同じ空間位置となるブロックに対して、前記第１の量子化情報が示す量子化値で、当該符号化部が対象とする分割画像に対する量子化を行うことを特徴とする請求項２に記載の画像符号化装置。
【請求項５】
前記符号化情報処理部は、前記第２の符号化情報として、さらに、前記第１の分割画像を符号化する際のブロックの符号化タイプ情報である第１の符号化タイプ情報を含み、前記第２から第４の符号化部は、当該符号化部が符号化する際の符号化対象ブロックと同じ空間位置となるブロックに対して、前記第１の符号化タイプと同じ符号化タイプで、当該符号化部が対象とする分割画像に対する符号化を行うことを特徴とする請求項２記載の画像符号化装置。
【請求項６】
前記第２から第４の符号化部は、当該符号化部が符号化する際の符号化対象ブロックと同じ空間位置となるブロックに対して、前記第１の符号化タイプと同じ符号化タイプに、重み付けして符号化タイプを決定し、当該符号化部が対象とする分割画像に対する符号化を行うことを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
前記符号化情報処理部は、前記第２の符号化情報として、前記第１の符号化部で符号化した全て或いは一部のブロックの符号化情報の統計情報であることを特徴とする請求項１に記載の画像符号化装置。
【請求項８】
前記符号化情報処理部は、前記第２の符号化情報として、さらに、前記第１の分割画像を符号化する際のブロックの動きベクトルの統計情報を含み、前記第２から第４の符号化部は、前記動きベクトルの統計情報が示す位置を中心に、当該符号化部が対象とする分割画像に対する動きベクトル検出を行うことを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
前記符号化情報処理部は、前記第２の符号化情報として、前記ブロックの量子化情報の統計情報を含み、前記第２から第４の符号化部は、前記量子化情報の統計情報が示す量子化値と発生符号量から、当該符号化部が対象とする分割画像に対する量子化値を決定することを特徴とする請求項７に記載の画像符号化装置。
【請求項１０】
入力された動画像データに対して、水平方向と垂直方向に各々１／２に間引きし、かつ位相が１画素ずれた４つの分割画像を第１から第４の分割画像として出力し、前記第１の分割画像をブロック単位で符号化して第１のストリームを出力し、前記第１の符号化部で符号化したときに得られる第１の符号化情報を抽出し、第２の符号化情報として出力し、前記第２の符号化情報を利用して前記第２の分割画像をブロック単位で符号化し、第２のストリームを出力し、前記第２の符号化情報を利用して前記第３の分割画像をブロック単位で符号化し、第３のストリームを出力し、前記第２の符号化情報を利用して前記第４の分割画像をブロック単位で符号化し、第４のストリームを出力し、前記第１から第４のストリームを多重化し、出力ストリームを生成することを特徴とする画像符号化方法。
【請求項１１】
入力された動画像データに対して、水平方向と垂直方向に各々１／２に間引きし、かつ位相が１画素ずれた４つの分割画像を第１から第４の分割画像として出力する画像分割手段と、前記第１の分割画像をブロック単位で符号化して第１のストリームを出力する第１の符号化手段と、前記第１の符号化部で符号化したときに得られる第１の符号化情報を抽出し、第２の符号化情報として出力する符号化情報処理手段と、前記第２の符号化情報を利用して前記第２の分割画像をブロック単位で符号化し、第２のストリームを出力する第２の符号化手段と、前記第２の符号化情報を利用して前記第３の分割画像をブロック単位で符号化し、第３のストリームを出力する第３の符号化手段と、前記第２の符号化情報を利用して前記第４の分割画像をブロック単位で符号化し、第４のストリームを出力する第４の符号化手段と、前記第１から第４のストリームを多重化し、出力ストリームを生成する多重化手段とを含むことを特徴とする画像符号化プログラム。
【請求項１２】
入力された動画像データに対して、水平方向と垂直方向に各々１／２に間引きし、かつ位相が１画素ずれた４つの分割画像を第１から第４の分割画像として出力する画像分割部と、前記第１の分割画像をブロック単位で符号化して第１のストリームを出力する第１の符号化部と、前記第１の符号化部で符号化したときに得られる第１の符号化情報を抽出し、第２の符号化情報として出力する符号化情報処理部と、前記第２の符号化情報を利用して前記第２の分割画像をブロック単位で符号化し、第２のストリームを出力する第２の符号化部と、前記第２の符号化情報を利用して前記第３の分割画像をブロック単位で符号化し、第３のストリームを出力する第３の符号化部と、前記第２の符号化情報を利用して前記第４の分割画像をブロック単位で符号化し、第４のストリームを出力する第４の符号化部と、前記第１から第４のストリームを多重化し、出力ストリームを生成する多重化部とを含むことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハイビジョン画像をＨ．２６４規格に従って符号化する画像符号化装置および方法に関するものである。
【背景技術】
【０００２】
近年、テレビ放送がスタンダードディフィニション（ＳＤＴＶ）放送からハイデフィニション（ＨＤＴＶ）放送への移行が進むと共に、デジタル放送対応テレビ、デジタルビデオレコーダやカムコーダなどの商品のハイビジョン化が進んでいる。
【０００３】
また、デジタルシネマでは更に高解像度の画像フォーマット（４Ｋ×２Ｋ画像）が用いられており、放送、撮像、録画機器もデジタルシネマと同様に、さらに高解像度化が進むことが予想される。
【０００４】
現状のＨＤＴＶ放送では、通常の画像圧縮（例えばＭＰＥＧ−２）を行い、１つのストリームに１つの解像度の画像が格納されている。４Ｋ×２Ｋ画像はＨＤＴＶ放送の４倍の画素数を持つため、符号化ストリームの符号量が３〜４倍程度必要となる。そのため、４Ｋ×２Ｋ画像を伝送するためには、ＨＤＴＶ放送の複数チャネル分の伝送路を必要とする。
【０００５】
従来のテレビ等での再生互換を保証してＨＤＴＶ放送と同時に４Ｋ×２Ｋ画像を伝送するためには、解像度スケーラビリティ等の技術を使用したストリームを伝送することが必要となる。この場合、低解像度の画像ストリームとしてＨＤＴＶ画像を、高解像度の画像ストリームとして４Ｋ×２Ｋ画像を格納したストリームとなる。さらに、解像度スケーラビリティ技術は、低解像度画像の情報を利用して高解像度画像を生成することにより、圧縮効率を高めることも行っている。
【０００６】
放送規格で用いられているＭＰＥＧ−２規格や、ＢＤ規格、ＡＶＣＨＤ規格、ＭＰＥＧ−４  ＡＶＣ規格では、それぞれスケーラビリティ方式が規定されている。また、これ以外にも例えば、（特許文献１）の「画像符号伝送システム」には、動画像を時間方向、または空間方向に分割して符号化する方法が記載されている。具体的には空間方向に４分割した画像を符号化する際、空間的に同じ位置にある４つのマクロブロックを合成して３２×３２画素ブロック単位で動き検出を行い、検出した動きベクトルを４つのマクロブロックの動きベクトルとすることで処理の簡易化を図っている。
【特許文献１】特開平１０−１０８１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の解像度スケーラビリティ方式を用いる従来のテレビでは、低解像度のストリームのみを復号することで再生互換を確保することが可能となる。しかし、４Ｋ×２Ｋ画像として復号する場合には、低解像度画像のストリームを復号した後に、高解像度画像のストリームも復号する必要があり、復号器の構成が複雑化する。また、スケーラビリティ技術を用いた符号化装置も低解像度画像と高解像度画像の相関を利用した符号化を行う必要があるため、二つの解像度を同期して符号化する必要があり、符号化器の構成が複雑化するという課題がある。さらに、二つの解像度の画像を符号化するため、４Ｋ×２Ｋ画像に対してのみ通常の符号化を行う場合よりも、符号化の処理量が増加するという課題がある。
【０００８】
さらに、従来技術では３２×３２画素単位で動きベクトル検出を行う。このとき、水平、垂直とも１／２間引きした画像を参照画像としているため、間引き無しの動きベクトル検出に対しては処理量を１／４に削減できる。しかし、１６×１６画素ブロックでの動き検出で参照画像を水平、垂直とも１／２間引きした場合と処理量が同じとなるため、処理量削減の優位性がない。むしろ、４マクロブロックをまとめた動きベクトル検出を行うため、マクロブロック毎に行う動きベクトル検出よりも動きベクトル検出の精度が落ちる可能性がある。
【０００９】
そこで、本発明は上記の事情に鑑みてなされたものであり、再生互換を保証可能な解像度スケーラビリティを実現しつつ、処理量を削減して動画像を符号化することができる画像符号化装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明に係る画像符号化装置は、入力された動画像データに対して、水平方向と垂直方向に各々１／２に間引きし、かつ位相が１画素ずれた４つの分割画像を第１から第４の分割画像として出力する画像分割部と、前記第１の分割画像をブロック単位で符号化して第１のストリームを出力する第１の符号化部と、前記第１の符号化部で符号化したときに得られる第１の符号化情報を抽出し、第２の符号化情報として出力する符号化情報処理部と、前記第２の符号化情報を利用して前記第２の分割画像をブロック単位で符号化し、第２のストリームを出力する第２の符号化部と、前記第２の符号化情報を利用して前記第３の分割画像をブロック単位で符号化し、第３のストリームを出力する第３の符号化部と、前記第２の符号化情報を利用して前記第４の分割画像をブロック単位で符号化し、第４のストリームを出力する第４の符号化部と、前記第１から第４のストリームを多重化し、出力ストリームを生成する多重化部とを備える。
【００１１】
これにより、再生互換を保証可能な解像度スケーラビリティを実現しつつ、処理量を削減して動画像を符号化することが可能となる。
【発明の効果】
【００１２】
以上のように本発明によれば、空間方向に４分割した画像のうち、一つの画像の符号化情報を利用することで処理量を削減することが可能となる。また、４つの分割画像全てを復号する、もしくは任意の１画像を復号することで解像度スケーラビリティを実現できる。また、空間的に同じ位置にあるブロックの量子化値、符号化タイプ等を揃えることで４つの分割画像の画質差を減らし、良好な画質を得ることが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を用いて説明する。なお、本発明について説明する、以下の実施の形態および添付の図面は、本発明の例示を目的としており、本発明がこれらに限定されることを意図しない。
【００１４】
（実施の形態１）
図１は、本実施の形態１に係る画像符号化装置の構成を示すブロック図である。本発明の画像符号化装置は、画像分割部１０２、第１の符号化部１０３、符号化情報処理部１０４、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７、多重化部１０８で構成されており、動画像データ１０１は画像分割部１０２に入力され、多重化部１０８からは出力ストリーム１０９が出力される。
【００１５】
本発明の実施の形態１においては、動画像データ１０１として、１秒間に６０フィールドのピクチャ（以下「６０ｉ」と記す）で解像度が水平３８４０画素、垂直１０８０ライン（フレームでは２１６０ライン）で、分割画像の解像度は水平１９２０画素、垂直５４０ラインであることを前提とする。また、第１の符号化部１０３、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７では、Ｈ．２６４規格に従って符号化処理が実行され、ＭＰＥＧ−２規格と同じ参照関係で動き補償することを前提とする。また、マクロブロック単位の動きベクトルの検出は、１つの参照画像に対して１つの矩形領域を探索することを前提とする。
【００１６】
画像分割部１０２は、図２に示すように、動画像データ１０１の各ピクチャを画面内で水平、垂直それぞれ１／２に間引きし、かつ位相が１画素ずれた４画像を生成する。図２において、○、△、□、×はそれぞれ画素の位置を表している。元の画像において、○の画素位置にある画素のみを取り出して分割画像１を生成する。また、○の画素位置から水平方向に１画素ずらした位置にある△の画素位置にある画素を取り出して分割画像２を生成する。同様に○の画素位置から垂直方向に１ラインずらした位置の□の画素、水平方向に１画素、垂直方向に１ラインずらした位置の×の画素をそれぞれ分割画像３、分割画像４として生成する。
【００１７】
第１の符号化部１０３は、分割画像１を入力としてＨ．２６４規格に基づいて符号化し、符号化ストリームを出力する。また、符号化時の符号化情報として、シーケンス或いはピクチャ単位で、量子化マトリクス、デブロックフィルタの強度等のシンタックスに関する情報、ピクチャあたりの割り当て符号量、ターゲットの量子化幅といった符号化制御に関する情報を出力する。さらに、マクロブロック単位で、量子化幅、マクロブロックタイプ、動きベクトル、参照画像といった符号化情報を出力する。第１の符号化部１０３の一般的な構成を図３に示し、簡単に説明する。ここでは第１の符号化部１０３を例示するが、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７も同様の構成であり、それぞれ分割画像２、分割画像３、分割画像４を入力とする。
【００１８】
符号化部１０３は、画像分割部１０２の出力である分割画像１を入力画像とし、符号化単位ブロックであるマクロブロックごとにストリームに符号化する。符号化部１０３は、この符号化を、イントラ予測及びインター予測のいずれかの予測方法を用いて行う。予測方法の選択方法は一般的に各予測を行ったときの評価値を生成し、評価値の小さい方を選択する。
【００１９】
加算器３０１は、分割画像１の画素値と予測に用いられる参照画素値との誤差を算出し、直交変換部３０２は、その誤差を例えば離散コサイン係数に変換し、量子化部３０３は、その離散コサイン係数を量子化する。
【００２０】
逆量子化部３０４及び逆直交変換部３０５は、前記量子化部３０３の結果をデコードすることで、再生機器において算出される誤差と同等の誤差を局所的に求める。
【００２１】
加算器３０６は、この誤差と参照画素値とを加算することで、局所的な復号結果である画素値を得る。この画素値は、引き続き行われるイントラ予測及びインター予測において新たな参照画素値となるべき値であり、イントラ予測部３０７へ出力され、デブロックフィルタ部３０８を介してフレームメモリ３０９に記憶される。
【００２２】
符号化にイントラ予測が用いられる場合、イントラ予測部３０７は、加算器３０６から与えられる前記画素値に基づいて、Ｈ．２６４規格によって隣接するマクロブロックとの対比に用いるように定められた所定の参照画素値を生成する。
【００２３】
そして、スイッチ３１２は、イントラ予測部３０７からの参照画素値を選択し、加算器３０１は、入力画像に含まれる隣接するマクロブロックの画素値と選択された参照画素値との誤差を算出することで、後続する符号化が実行される。
【００２４】
符号化にインター予測が用いられる場合、動き検出部３１０は、先行するフレーム又はフィールド（つまり参照画像）について算出されてフレームメモリ３０９に記憶されている参照画素値に基づいて、後続するフレーム又はフィールドを表す入力画像におけるマクロブロックの動きベクトルを算出する。動き補償部３１１は、参照画像における算出された動きベクトルで表される範囲の画素値を参照画素値として出力する。
【００２５】
そして、スイッチ３１２は、動き補償部３１１からの参照画素値を選択し、加算器３０１は、後続するフレーム又はフィールドにおけるマクロブロックの画素値と選択された参照画素値との誤差を算出することで、後続する符号化が実行される。
【００２６】
符号化情報処理部１０４は、第１の符号化部１０３の出力である符号化情報を入力とし、シーケンス或いはピクチャ単位の符号化情報を出力する。また、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７のマクロブロック処理に同期してマクロブロック単位の符号化制御に関する情報を出力する。具体的には図４に示すように、マクロブロック処理単位でパイプラインを構成し、第１の符号化部１０３が時刻ｔ（ｎ）で、画面の左上に位置するマクロブロックを先頭として、ラスタスキャン順にｎ番目のマクロブロックＭＢ１（ｎ）を符号化する。符号化情報処理部１０４は、時刻ｔ（ｎ＋１）でＭＢ１（ｎ）のマクロブロックタイプ、動きベクトル等の符号化情報を一旦保持し、時刻ｔ（ｎ＋２）で出力する。第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７は、符号化情報処理部１０４の出力である符号化情報を利用して、時刻ｔ（ｎ＋２）でＭＢ１（ｎ）と空間的に同じ位置にあるマクロブロックＭＢ２（ｎ）、ＭＢ３（ｎ）、ＭＢ４（ｎ）を、それぞれ符号化する。具体的な利用方法は後述する。
【００２７】
多重化部１０８は、第１の符号化部１０３、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７の出力ストリームを多重化し、出力ストリーム１０９を生成する。このとき、各ストリームの位相情報をストリームに埋め込むことが可能である。
【００２８】
次に、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７による、符号化情報処理部１０４の出力である符号化情報の利用方法を説明する。
【００２９】
シーケンス、ピクチャ単位での情報の利用方法は、第１の符号化部１０３から第４の符号化部１０７の出力である４つのストリーム間で画質差が現れにくくするように、同じピクチャタイプ、量子化マトリクス、デブロックフィルタ強度等を設定する。
【００３０】
マクロブロックタイプの利用方法は、ＭＢ２（ｎ）、ＭＢ３（ｎ）、ＭＢ４（ｎ）のマクロブロックタイプを決定するときに、ＭＢ１（ｎ）のマクロブロックタイプと同じにする方法がある。或いは、ＭＢ１（ｎ）で選択されたマクロブロックタイプの評価値に重み付けをして選択されやすくする方法がある。
【００３１】
直交変換サイズやイントラ予測の利用方法は、マクロブロックタイプと同様にＭＢ１（ｎ）で選択された直交変換サイズと選択された予測方向と同じ予測方向と同じにする方法がある。或いは、評価値に重み付けをしてＭＢ１（ｎ）で選択された直交変換サイズとイントラ予測方向が選択されやすくする方法がある。
【００３２】
動きベクトル情報の利用方法は、ＭＢ１（ｎ）で検出した動きベクトル、動き補償のブロックサイズ、参照画像と同じにする方法がある。分割画像は位相が１画素ずれた画像なので、それを考慮した方法を以下に示す。図５の（ａ）に示すとおり、符号化対象画像がＢ（ｎ）である時、参照画像はＰ（ｎ−２）、Ｐ（ｎ−１）、Ｐ（ｎ＋４）、Ｐ（ｎ＋５）の４フィールドとなる。一般的には、すべての動き補償サイズで、それぞれの参照画像に対しブロックマッチングを行い、評価値が最も小さくなるモードを選択する。例えば、図５の（ｂ）に示すように、第１の符号化部１０３では、ＭＢ１（ｎ）の動きベクトルＭＶ１（ｎ）を検出するために一点鎖線で囲まれた範囲をすべてブロックマッチングを行う。これをＨ．２６４規格で規定される動き補償サイズすべてに対して行い、評価値が最も小さいモードを選択する。このとき、動きベクトル、動き補償サイズ、参照画像が決定される。この情報に基づき、例えば第２の符号化部１０５のＭＢ２（ｎ）では、ＭＢ１（ｎ）の動きベクトル情報を用いて、図５の（ｃ）に示すようにＭＶ１（ｎ）が指し示す位置を中心に狭い探索範囲でブロックマッチングを行うことで動きベクトルＭＶ２（ｎ）を検出する。この場合、参照画像と動き補償サイズはＭＢ１（ｎ）と同じになる。第３の符号化部１０６、第４の符号化部１０７でも同様に動きベクトルを求めることができる。
【００３３】
量子化値の利用方法は、ＭＢ２（ｎ）、ＭＢ３（ｎ）、ＭＢ４（ｎ）の量子化値を決定するときに、ＭＢ１（ｎ）の量子化値と同じにする方法がある。或いは、ＭＢ１（ｎ）で選択された量子化値をベースとして変調をかける方法がある。具体的には、マクロブロックの特徴、バッファ制御の状態に基づいて変調をかける事が考えられる。
【００３４】
（実施の形態２）
本発明の実施の形態２に係る画像符号化装置の構成を図６を用いて説明する。本発明の実施の形態２に係る画像符号化装置は、上述の本発明の実施の形態１にかかる画像符号化装置とは、画像分割部１０２、第１の符号化部１０３、多重化部１０８はその構成が同じであるのでその説明を省略する。符号化情報処理部６０４、第２の符号化部６０５、第３の符号化部６０６、第４の符号化部６０７は、本発明の実施の形態１にかかる画像符号化装置とは、動作が異なる。また、前提については上述の本発明の実施の形態１と同じである。
【００３５】
符号化情報処理部６０４は、第１の符号化部１０３の出力であるマクロブロック単位の符号化情報を入力とし、１フィールド分の情報を蓄積する。蓄積した符号化情報の統計情報を算出して、加工符号化情報として出力する。統計を算出する単位は１フィールド全体、或いは１フィールドを複数領域に分割して領域ごと等が考えられる。統計情報は具体的に、各マクロブロックタイプの選択率、直交変換サイズの選択率、平均量子化値、イントラ予測方向の選択率、参照画像ごとの平均動きベクトルと分散、参照画像の選択率、動き補償サイズの選択率、実際の発生符号量の総和等である。
【００３６】
図７に各符号化部と符号化情報処理部の処理の時間的関係を示す。このようにピクチャ単位でパイプラインを構成し、第１の符号化部１０３が時刻ｔ（ｎ）で先頭からｎ番目のフィールドＰｉｃ１（ｎ）を符号化する。符号化情報処理部６０４はＰｉｃ１（ｎ）の符号化情報を取得し、時刻ｔ（ｎ＋１）になる前に統計情報を算出し、加工符号化情報を出力する。第２の符号化部６０５、第３の符号化部６０６、第４の符号化部６０７は符号化情報処理部６０４の出力である加工符号化情報を利用して時刻ｔ（ｎ＋１）で先頭からｎ番目のフィールドＰｉｃ２（ｎ）、Ｐｉｃ３（ｎ）、Ｐｉｃ４（ｎ）をそれぞれ符号化する。
【００３７】
第２の符号化部６０５、第３の符号化部６０６、第４の符号化部６０７では、通常の符号化を行うが、加工符号化情報に基づき、符号化パラメータを設定、或いは評価値の重み付け等を行う。例えば、レート制御では、過去に発生した符号量をフィードバックして符号化対象ピクチャのターゲット符号量、ターゲット量子化値を決定するが、これに加工符号化情報のひとつである実際の発生符号量の総和を加味する。一般的に量子化値と符号量は反比例の関係にあるため、ターゲット量子化値＝ターゲット符号量×（平均量子化値／実際の発生符号量）といった式に基づき、ターゲット量子化値を決定する。
【００３８】
マクロブロックタイプに関しては、選択率に応じて評価値の重み付けを行うが、画面の中で選択されるマクロブロックタイプの偏りが出る場合があるため、画像を空間方向に複数領域に分割して領域ごとに選択率に応じた重み付けを行う。
【００３９】
直交変換サイズの選択に関しては、マクロブロックタイプと同様に選択率に応じて重み付けを行う。また、前述と同様に領域ごとに重み付けを行う。
【００４０】
イントラ予測方向の決定では、加工符号化情報のマクロブロックタイプとイントラ予測方向の選択率を利用することが可能である。マクロブロックタイプの選択率が低い場合、予測方向にバラつきが生じる可能性が高いため、ある程度高い場合のみ、イントラ予測方向の重み付けを行う。また、前述と同様に領域ごとに重み付けを行う。
【００４１】
動きベクトル検出では、参照画像の絞込み、探索窓の設定、動き補償サイズの決定に加工符号化情報を利用する方法がある。参照画像の絞込みは、加工符号化情報の参照画像の選択率がある閾値以上の参照画像のみを用いる。探索窓の設定は、加工符号化情報の平均動きベクトルを用いて、参照画像ごとに探索窓のずらし量を設定する。このとき、動きベクトルの分散値に応じてずらし量を調整する。具体的には、分散値が小さい場合は動きベクトルの大きさがそろっていることが想定されるため、平均動きベクトルの大きさをずらし量とする。分散値が大きくなると、ベクトルがばらつく傾向にあるため、その大きさに応じてずらし量を０に近づけていく。動き補償サイズの決定に関しては、選択率が低い動き補償サイズの動き検出を行わないようにする。或いは、通常通り動きベクトル検出を行い、動き補償サイズを選択する時に選択率の高いサイズに重み付けを行う。これも前述と同様に領域ごとに重み付けを行う。
【００４２】
上記の内容では領域単位で重み付けを行うことを説明したが、フィールド単位で行うことも可能である。或いは、１つの領域をマクロブロックと同じ画素数とすることも可能である。
【産業上の利用可能性】
【００４３】
本発明の画像符号化装置およびその方法は、４Ｋ×２Ｋ等の高解像度な画像をスケーラビリティを実現しつつ、処理量を削減してＨ．２６４規格で符号化し、放送、録画を行う用途として有用である。
【図面の簡単な説明】
【００４４】
【図１】本発明の画像符号化装置を示すブロック図
【図２】分割画像の生成方法を示す図
【図３】符号化部の一例を示す図
【図４】実施の形態１に係る符号化部のパイプライン構成を示す図
【図５】実施の形態１に係る動きベクトル検出方法を示す図
【図６】実施の形態２に係る画像符号化装置を示すブロック図
【図７】実施の形態２に係る符号化部のパイプライン構成を示す図
【符号の説明】
【００４５】
１０１  動画像データ
１０２  画像分割部
１０３  第１の符号化部
１０４、６０４  符号化情報処理部
１０５、６０５  第２の符号化部
１０６、６０６  第３の符号化部
１０７、６０７  第４の符号化部
１０８  多重化部
１０９  出力ストリーム
３０１  加算器
３０２  直交変換部
３０３  量子化部
３０４  逆量子化部
３０５  逆直交変換部
３０６  加算器
３０７  イントラ予測部
３０８  デブロックフィルタ部
３０９  フレームメモリ
３１０  動き検出部
３１１  動き補償部
３１２  スイッチ
【図１】
2009296300.tif 000003
【図２】
2009296300.tif 000004
【図３】
2009296300.tif 000005
【図４】
2009296300.tif 000006
【図５】
2009296300.tif 000007
【図６】
2009296300.tif 000008
【図７】
2009296300.tif 000009