(57)【要約】【課題】Ｈ．２６４／ＡＶＣ方式では、マクロブロックペア毎にフィールドモード／フレームモードを適応的に選択できるＭａｃｒｏｂｌｏｃｋ  Ａｄａｐｔｉｖｅ  Ｆｉｅｌｄ  Ｆｒａｍｅ  Ｃｏｄｉｎｇ（ＭＢＡＦＦ）を使うことが出来る。しかし、１つのマクロブロックペアのみを使った場合、安定した判定は難しい。【解決手段】画像符号化装置１０１は、入力された画像に対し、符号化対象ブロック毎の符号化モード（フィールドモード又はフレームモード）を、符号化対象ブロックにおいて算出した符号化モードと隣接するブロックにおける符号化モードとを基に、決定する符号化モード判定手段１０８と、符号化モード判定手段１０８で決定した符号化モードを用いて、符号化対象ブロックを符号化する符号化手段１０９と、を備える。【選択図】図１
2011155426.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像に対し、符号化対象ブロック毎の符号化モード（フィールドモード又はフレームモード）を、前記符号化対象ブロックにおいて算出した符号化モードと隣接するブロックにおける符号化モードとを基に、決定する符号化モード判定手段と、
前記符号化モード判定手段で決定した符号化モードを用いて、前記符号化対象ブロックを符号化する符号化手段と、
を備える画像符号化装置。
【請求項２】
前記符号化モード判定手段は、
前記符号化対象ブロックを複数のサブブロックに分割し、
サブブロック毎に符号化モードを判定し、
サブブロック毎の符号化モードの判定結果と前記符号化対象ブロックに隣接するブロックの符号化モードとに基づき、前記符号化対象ブロックの符号化モードを決定する
請求項１に記載の画像符号化装置。
【請求項３】
前記符号化対象ブロックは、
マクロブロックペアである
請求項１又は２に記載の画像符号化装置。
【請求項４】
符号化方法は、Ｈ．２６４である
請求項１から３の何れかに記載の画像符号化装置。
【請求項５】
入力された画像に対し、符号化対象ブロック毎の符号化モード（フィールドモード又はフレームモード）を、前記符号化対象ブロックにおいて算出した符号化モードと隣接するブロックにおける符号化モードとを基に、決定する符号化モード判定ステップと、
前記符号化モード判定ステップで決定した符号化モードを用いて、前記符号化対象ブロックを符号化する符号化ステップと、
を含む画像符号化方法。
【請求項６】
前記符号化モード判定ステップは、
前記符号化対象ブロックを複数のサブブロックに分割し、
サブブロック毎に符号化モードを判定し、
サブブロック毎の符号化モードの判定結果と前記符号化対象ブロックに隣接するブロックの符号化モードとに基づき、前記符号化対象ブロックの符号化モードを決定する
請求項５に記載の画像符号化方法。
【請求項７】
前記符号化対象ブロックは、
マクロブロックペアである
請求項６又は７に記載の画像符号化方法。
【請求項８】
符号化方法は、Ｈ．２６４である
請求項６から８の何れかに記載の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非圧縮デジタル画像を圧縮する画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
Ｈ．２６４／ＡＶＣでは、マクロブロックペア毎に符号化モード（フィールドモードかフレームモード）を適応的に選択できるＭａｃｒｏＢｌｏｃｋ  Ａｄａｐｔｉｖｅ  Ｆｉｅｌｄ−Ｆｒａｍｅ  Ｃｏｄｉｎｇ（ＭＢＡＦＦ）を使った画像符号化が可能である。
【０００３】
フィールドモードで符号化すべきマクロブロックペアをフレームモードで符号化した場合の画質劣化は、フレームモードで符号化するべきマクロブロックペアをフィールドモードで符号化した場合の画質劣化に比べて相対的に大きいことが知られており、符号化モード選択を正しく行うために様々な装置が提案されている。
【０００４】
例えば、特許文献１では、マクロブロックペアを構成する各マクロブロックに対して、それぞれフィールドモードとフレームモードのどちらが適しているかを判定し、判定結果が同じ場合には、それぞれの判定結果通りの符号化モードで符号化し、異なる場合には予測画との差分が小さいマクロブロックの符号化モードを優先させて符号化している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００９−５２６４５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のようにマクロブロックペア毎に符号化モードを判定する方法では、判定方法によっては隣接しているマクロブロックペアの特徴が酷似していても、異なる符号化モードが選択されてしまい、主観的な画質を劣化させてしまう場合がある。
【０００７】
本発明は上記問題を解決すべくなされたものであり、その目的とするところはマクロブロックペアの符号化モード判定方法に、隣接したマクロブロックペアの符号化モード判定結果を反映することで、より安定した符号化モード判定を実現し、主観画質の高い画像圧縮が可能な画像符号化装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像符号化装置は、入力された画像に対し、符号化対象ブロック毎の符号化モード（フィールドモード又はフレームモード）を、前記符号化対象ブロックにおいて算出した符号化モードと隣接するブロックにおける符号化モードとを基に、決定する符号化モード判定手段と、前記符号化モード判定手段で決定した符号化モードを用いて、前記符号化対象ブロックを符号化する符号化手段と、を備える。
【発明の効果】
【０００９】
上記の構成によれば、より安定した符号化モード判定を実現し、より主観画質の高い符号化を実現できる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における画像符号化装置の構成を示すブロック図
【図２】実施の形態１におけるフィールドブロッキング及びサブブロックへの分割を示す図
【図３】実施の形態１におけるフレームブロッキング及びサブブロックへの分割を示す図
【図４】実施の形態１におけるフィールドモードと判定されたサブブロックと左隣接マクロブロックペアの符号化モードで決定する符号化対象マクロブロックペアの符号化モードを示す図
【図５】実施の形態１において、発明の効果を説明するための図
【図６】実施の形態１における最初のマクロブロックペアのフィールドコストとフレームコストを示す図
【図７】実施の形態１における２番目のマクロブロックペアのフィールドコストとフレームコストを示す図
【発明を実施するための形態】
【００１１】
（実施の形態１）
本実施の形態１にかかる画像符号化装置は、非圧縮のデジタル画像を入力とし、例えばＨ．２６４のような符号化方式で圧縮されたバイトストリームを出力する。図１は本実施の形態における画像符号化装置の構成を示すブロック図である。
【００１２】
画像符号化装置１０１には、入力端子１０２から１６×３２画素で構成されるマクロブロックペア毎にデジタル画像が入力され、出力端子１０３からは１マクロブロックペア分の圧縮ストリームが出力される。フィールドブロッキング手段１０４は、入力されたマクロブロックペアをフィールドブロッキングし、図２に示すように白いラインからなるトップマクロブロックと灰色のラインからなるボトムマクロブロックに分割し、さらに各マクロブロックを８×１６画素で構成されるサブブロックに分割する。そしてフィールドブロッキング手段１０４は、計４つのサブブロック毎に画素値を出力する。フレームブロッキング手段１０５は、入力されたマクロブロックペアをフレームブロッキングし、図３に示すように白いラインからなるトップマクロブロックと灰色のラインからなるボトムマクロブロックに分割する。さらにマクロブロックを複数のサブブロックに分割することで、画像符号化装置１０１は、局所的な特徴も考慮した符号モード判定を行う。ここでは、フレームブロッキング手段１０５は、各マクロブロックを８×１６画素で構成されるサブブロックに分割する。そしてフレームブロッキング手段１０５は、計４つのサブブロック毎に画素値を出力する。コスト算出手段１０６はフィールドブロッキングされたサブブロック毎に入力される画素値に対し、８×１６画素の垂直アダマール変換を行う。ここで、さらにコスト算出手段１０６は最高周波数成分の絶対値和をフィールドコストとしてサブブロック毎に出力する。コスト算出手段１０７はフレームブロッキングされたサブブロック毎に入力される画素値に対し、８×１６画素の垂直アダマール変換を行う。さらにコスト算出手段１０７は最高周波数成分の絶対値和をフレームコストとしてサブブロック毎に出力する。垂直アダマール変換では、垂直方向の空間周波数成分が係数として求められるが、本来フィールドブロッキングすべきマクロブロックペアをフレームブロッキングすると、サブブロック内の高周波数成分が大きくなり、主観的画質も著しく悪くなる。ここでは、画像符号化装置１０１は、係数の最高周波数成分の絶対値和をコストとして用いることで誤判定を避けている。符号化モード判定手段１０８は、サブブロック毎にフィールドコストとフレームコストを比較し、コストの小さいほうをそのサブブロックの符号化モードとする。コストが同じ場合にはフィールドモードとする。さらに符号化モード判定手段１０８は、サブブロック毎の符号化モード判定結果と、後述する遅延手段１１０によって遅延された左隣接マクロブロックペアの符号化モード判定結果から、図４に示す表に従って入力マクロブロックペアの符号化モードを判定し、判定結果を出力する。図４に従うと、画像符号化装置１０１は、４つのサブブロックの内、２つ以上のサブブロックでフィールドモードと判定された場合には、マクロブロックペア全体をフィールドモードで符号化し、そうでない場合にはマクロブロックペア全体をフレームモードで符号化する。但し、画像符号化装置１０１は、左隣接マクロブロックペアがフィールドモードで符号化されており、かつサブブロック０又はサブブロック２の符号化モードがフィールドの場合には、フィールドモードと��定されたサブブロックの数に関係なく、マクロブロックペアをフィールドモードで符号化することになる。例えば図５において、符号化対象マクロブロックペアのサブブロック０がフィールドモードと判定され、それ以外のサブブロックはフレームモードと判定されたとする。左隣接マクロブロックペアの符号化モードを考慮しない場合には、４つのサブブロックの内、３つがフレームモードと判定されるため、符号化対象マクロブロックペアはフレームモードで符号化されるが、動物体を含むサブブロック０もフレームモードで符号化するため、主観画質は著しく低下する。しかし、図４に従って左隣接マクロブロックペアの符号化モードを考慮した判定を行うと、図５の符号化対象マクロブロックペアはフィールドモードで符号化され、主観画質の低下を防ぐことが出来る。遅延手段１１０は、既に決定しているマクロブロックペアの符号化モードを遅延させ、符号化モード判定手段１０８にマクロブロックペアが入力されると同時に、入力されたマクロブロックペアの左側に隣接するマクロブロックペアの符号化モードを出力する。但し、遅延手段１１０は入力が最初のマクロブロックペアであった場合など、遅延すべき符号化モードが存在しない場合には、フィールドモードを出力する。符号化手段１０９には入力マクロブロックペアと符号化モード判定手段が出力した符号化モードが入力され、入力マクロブロックペアを入力された符号化モードで符号化し、圧縮ストリームとして出力する。
【００１３】
以下に、画像符号化装置１０１に画像が１フレーム入力された場合の動作を時間軸に沿って説明する。まずフィールドブロッキング手段１０４は、入力端子１０２から入力された最初のマクロブロックペアに対してフィールドブロッキングを行い、さらに８×１６画素で構成される４つのサブブロックに分割してサブブロック毎に画素値を出力する。コスト算出手段１０６は、入力されたサブブロック毎の画素値から各サブブロックのコストを計算し、フィールドコストとしてサブブロック毎に出力する。
【００１４】
またフレームブロッキング手段１０５は、入力端子１０２から入力された最初のマクロブロックペアに対してフレームブロッキングを行い、さらに８×１６画素で構成される４つのサブブロックに分割してサブブロック毎に画素値を出力する。コスト算出手段１０７は、入力されたサブブロック毎の画素値から各サブブロックのコストを計算し、フレームコストとしてサブブロック毎に出力する。ここでは、各サブブロックのフィールドコスト及びフレームコストは図６の通りであったとする。
【００１５】
符号化モード判定手段１０８は、まずサブブロック毎に符号化モード判定を行う。ここでは、入力された各サブブロックにおけるフィールドコスト及びフレームコストは図６の通りであったので、全てのサブブロックがフィールドモードと判定される。次に符号化モード判定手段１０８は入力されたマクロブロックペアの符号化モード判定を行うが、入力されたのは最初のマクロブロックペアであったため、遅延手段１１０からはフィールドモードが入力される。よって図４に従い、入力されたマクロブロックペアはフィールドモードで符号化されたほうがよいと判定される。従って、符号化モード判定手段１０８は、判定結果としてフィールドモードを出力する。符号化手段１０９は、符号化モード判定手段１０８からの判定結果に従い、入力されたマクロブロックペアをフィールドモードで符号化し、圧縮ストリームとして出力する。
【００１６】
次に入力される２番目のマクロブロックペアに対しても同様に、フィールドブロッキング手段１０４はフィールドブロッキングされた４つのサブブロックを出力する。続いてコスト計算手段１０６はフィールドブロッキング手段１０４が出力した各サブブロックのコストを計算し、フィールドコストとしてサブブロック毎に出力する。また、フレームブロッキング手段１０５は入力された２番目のマクロブロックペアに対してフレームブロッキングを行い、４つのサブブロックを出力する。続いてコスト計算手段１０７はフレームブロッキング手段１０５が出力した各サブブロックのコストを計算し、フレームコストとしてサブブロック毎に出力する。このときの各サブブロックのフィールドコスト及びフレームコストは図７のようであったとする。
【００１７】
符号化モード判定手段１０８は、コスト算出手段１０６及び１０７が出力する各サブブロックのコストが入力されると同時に、遅延手段１１０から最初のマクロブロックペアの符号化モード判定結果が入力される。ここでは、各サブブロックのフィールドコスト及びフレームコストとして図７に示す値が入力されるため、フィールドモードと判定されるのはサブブロック０のみである。しかし、最初のマクロブロックペアの符号化モード判定結果としてフィールドモードが入力されるため、図４に従い、２番目のマクロブロックペアの判定結果として、フィールドモードが出力される。
【００１８】
以降、同様にして１フレーム分の符号化が完了するまで、画像符号化装置１０１はマクロブロックペア毎に符号化モード判定を行い、符号化していく。
【００１９】
以上のように、画像符号化装置１０１は、マクロブロックペアの符号化モード判定をサブブロック毎に行い、さらに左隣接マクロブロックペアの符号化モードを考慮することで、動物体がマクロブロックペアの一部にしか含まれていない場合でもフィールドモードを選択するため、主観画質の劣化を防ぐことが出来る。また、左隣接マクロブロックペアの符号化モードと同じモードが選択されやすくなるため、少しの誤差では判定結果が変化せず、より安定した符号化モード判定を実現でき、その結果として主観画質を向上させることが出来る。
【００２０】
尚、本実施の形態では、マクロブロックペアを４つのサブブロックに分割してサブブロック毎に符号化モード判定を行っているが、サブブロックの数は任意の自然数でよい。
【００２１】
尚、本実施の形態では、隣接マクロブロックペアの情報として左隣のマクロブロックペアの情報のみを使っているが、遅延手段１１０の遅延時間を変えることで、上側に隣接しているマクロブロックペアの情報を使うことも出来る。また同様にして、既に符号化モードが決定していれば、左側・下側なども含めた任意のマクロブロックペアの情報を使うことも出来る。
【００２２】
尚、本実施の形態では、符号化方法としてＨ．２６４を用いているが、フィールドモードとフレームモードをブロック毎に適応的に選択できる符号化方法であれば適用することができる。
【産業上の利用可能性】
【００２３】
本実施の形態の画像符号化装置によれば、マクロブロックの符号化モード判定を安定して行え、符号化後の主観画質を向上させることができるため、ビデオカメラ等に適用することができ、有用である。
【符号の説明】
【００２４】
１０１  画像符号化装置
１０２  入力端子
１０３  出力端子
１０４  フィールドブロッキング手段
１０５  フレームブロッキング手段
１０６  コスト算出手段
１０７  コスト算出手段
１０８  符号化モード判定手段
１０９  符号化手段
１１０  遅延手段
【図１】
2011155426.tif 000003
【図４】
2011155426.tif 000004
【図５】
2011155426.tif 000005
【図６】
2011155426.tif 000006
【図７】
2011155426.tif 000007
【図２】
2011155426.tif 000008
【図３】
2011155426.tif 000009