(57)【要約】【課題】高色域・高ダイナミックレンジの映像の符号化を行う際に、演算量の増加を抑えつつ、色成分の符号化劣化を低減する。【解決手段】映像符号化装置は、輝度成分を用いてブロックサイズ判定処理、動き探索処理又は予測モード判定処理を行う。映像符号化装置は、符号化対象ブロックにおける色相の情報を用いて劣化が目立つ箇所を検出した場合は、符号化対象ブロックの入力画像と、その符号化対象ブロックの予測画像との誤差又はその量子化誤差を小さくするよう処理を行う。【選択図】図１
2018050256.tif 000002
【特許請求の範囲】
【請求項１】
輝度成分を用いてブロックサイズ判定処理、動き探索処理又は予測モード判定処理を行う映像符号化装置において実行される映像符号化方法であって、
符号化対象ブロックにおける色相の情報を用いて劣化が目立つ箇所を検出した場合は、前記符号化対象ブロックの入力画像と前記符号化対象ブロックの予測画像との誤差又はその量子化誤差を小さくするよう処理を行う誤差低減ステップ、
を有することを特徴とする映像符号化方法。
【請求項２】
前記誤差低減ステップは、
前記符号化対象ブロックにおける色相の情報を用いて劣化の程度を表す値を算出する算出ステップと、
前記算出ステップにおいて算出された前記値に応じて、符号化ブロックサイズ判定処理において前記符号化対象ブロックの符号化ブロックサイズを調整する処理と、予測モード判定処理において前記符号化対象ブロックの予測モードを調整する処理と、前記符号化対象ブロックを量子化する際の量子化パラメータを決定する量子化パラメータ調整処理において前記量子化パラメータを調整する処理との少なくともいずれかを行う調整ステップとを有する、
ことを特徴とする請求項１に記載の映像符号化方法。
【請求項３】
前記算出ステップは、
前記符号化対象ブロックと、参照画像における前記符号化対象ブロックの周辺のブロックとの間で、前記符号化対象ブロックと前記参照画像における周辺の前記ブロックとのそれぞれが含まれるフレーム間差分を算出するフレーム間差分算出ステップと、
前記符号化対象ブロックと前記参照画像における周辺の前記ブロックとの輝度信号差分を算出する輝度信号差算出ステップと、
前記符号化対象ブロックと前記参照画像における周辺の前記ブロックとの色信号差分を算出する色信号差分算出ステップとを有し、
劣化の程度を表す前記値は、前記フレーム間差分、前記輝度信号差分及び前記色信号差分である、
ことを特徴とする請求項２に記載の映像符号化方法。
【請求項４】
前記算出ステップは、
前記符号化対象ブロックと、参照画像における前記符号化対象ブロックと同位置のブロックの間で、前記符号化対象ブロックと前記参照画像における同位置の前記ブロックとのそれぞれが含まれるフレーム間差分を算出するフレーム間差分算出ステップと、
前記符号化対象ブロックと前記参照画像における同位置の前記ブロックとの輝度信号差分を算出する輝度信号差算出ステップと、
前記符号化対象ブロックと前記参照画像における同位置の前記ブロックとの色信号差分を算出する色信号差分算出ステップとを有し、
劣化の程度を表す前記値は、前記フレーム間差分、前記輝度信号差分及び前記色信号差分である、
ことを特徴とする請求項２に記載の映像符号化方法。
【請求項５】
前記色信号差分算出ステップにおいては、知覚的均等性を考慮した色空間上での座標情報又は同座標における対象の２点間の距離情報を用いて前記色信号差分を算出する、
ことを特徴とする請求項３又は請求項４に記載の映像符号化方法。
【請求項６】
前記算出ステップは、
劣化の程度を表す前記値として、前記符号化対象ブロックにおいて特定色域内に画素値が含まれる画素数を算出する特定色域算出ステップと、
前記特定色域算出ステップにおいて算出された前記画素数が第１の閾値以上となるかを判定し、劣化が目立つ箇所を検出する特定色判定ステップとを有する、
ことを特徴とする請求項２に記載の映像符号化方法。
【請求項７】
前記特定色域算出ステップにおいては、所定のアンカー色に対して明度又は色成分差が大きくなるような色域を前記特定色域として定める、
ことを特徴とする請求項６に記載の映像符号化方法。
【請求項８】
前記符号化ブロックサイズ判定処理は、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）映像符号化におけるＣＵ（Ｃｏｄｉｎｇ  Ｕｎｉｔ）サイズ決定方法を実行し、
前記調整ステップでは、前記フレーム間差分が第２の閾値を上回り、前記輝度信号差分が第３の閾値を下回り、かつ、前記色信号差分が第４の閾値以上となる場合に、前記符号化ブロックサイズ判定処理においてより小さいＣＵサイズが選択されるように調整を行う、
ことを特徴とする請求項３又は請求項４に記載の映像符号化方法。
【請求項９】
前記予測モード判定処理は、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）映像符号化におけるイントラ／インター予測モード決定方法を実行し、
前記調整ステップでは、前記フレーム間差分が第２の閾値を上回り、前記輝度信号差分が第３の閾値を下回り、かつ、前記色信号差分が第４の閾値以上となる場合に、前記予測モード判定処理において、前記符号化対象ブロックに対してイントラ予測モードが選択されやすいように調整を行う、
ことを特徴とする請求項３又は請求項４に記載の映像符号化方法。
【請求項１０】
前記量子化パラメータ調整処理は、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）映像符号化における量子化パラメータ決定方法を実行し、
前記調整ステップでは、前記フレーム間差分が第２の閾値を上回り、前記輝度信号差分が第３の閾値を下回り、かつ、前記色信号差分が第４の閾値以上となる場合に、前記量子化パラメータ調整処理において、前記符号化対象ブロックに対する量子化パラメータ値がより小さくなるように調整を行う、
ことを特徴とする請求項３又は請求項４に記載の映像符号化方法。
【請求項１１】
輝度成分を用いてブロックサイズ判定処理、動き探索処理又は予測モード判定処理を行う映像符号化装置において実行される映像符号化装置であって、
符号化対象ブロックにおける色相の情報を用いて劣化が目立つ箇所を検出した場合は、前記符号化対象ブロックの入力画像と前記符号化対象ブロックの予測画像との誤差又はその量子化誤差を小さくするよう処理を行う誤差低減部、
を備えることを特徴とする映像符号化装置。
【請求項１２】
映像符号化装置に用いられるコンピュータに、請求項１から１０のいずれか１項に記載の映像符号化方法の各ステップを実行させる映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化方法、映像符号化装置及び映像符号化プログラムに関する。
【背景技術】
【０００２】
映像符号化技術は、国際標準動画像符号化方式であるＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣが広く用いられてきており、最近では次世代の映像符号化規格であるＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）／Ｈ．２６５が今後広く普及していくと見込まれる。
【０００３】
また、近年では、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ、１９２０画素×１０８０ライン）の４倍の解像度を持つ４Ｋ映像（３８４０画素×２１６０ライン）や、その４倍の解像度を持つ８Ｋ映像（７６８０画素×４３２０ライン）などの超高精細映像が扱われるようになるほか、カメラやディスプレイのダイナミックレンジ表現能力が向上していることにあわせて、色再現領域とダイナミックレンジが拡大された高ダイナミックレンジ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ：ＨＤＲ）映像も扱われるようになってきている。このような高い色再現領域や高ダイナミックレンジを持つ映像の符号化を行う際は、色成分情報を正しく表現するように符号化処理を行わないと、従来のＳＤＲ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）映像信号に対する符号化と比べて、色相の符号化歪みがより目立ちやすいといった問題がある。
【０００４】
しかしながら、超高精細映像の符号化を行うには膨大な演算量が必要となるため、これら超高精細映像および高色域・高ダイナミックレンジを持つ映像の符号化をリアルタイム（又はリアルタイムに近い時間又はリアルタイムよりも早い時間）で行うには、ソフトウェア処理の場合には高速なＣＰＵが、ハードウェア処理の場合には規模の大きな演算器が必要となる。
【０００５】
ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ／Ｈ．２６５方式では、符号化対象画素とその周辺画素間の相関性の高さを利用して、既に符号化された周辺画素を利用して符号化対象画素データの予測信号を生成する画面内（イントラ）予測処理や、前後のフレームの相関性の高さを利用して、既に符号化された前後フレーム内の画素データを利用して符号化対象画素データの予測信号を生成する画面間予測（インター）処理を行う予測符号化方式を採用している。
【０００６】
ＨＥＶＣ方式では、符号化処理単位をＣＵ（Ｃｏｄｉｎｇ  Ｕｎｉｔ）、予測処理単位をＰＵ（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）、整数変換処理単位をＴＵ（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）と呼び、それぞれ映像の特徴に応じてサイズを決めて利用する。
【０００７】
理想的には、入力画素信号ないし参照画素信号の輝度成分（Ｙ）および色差成分（Ｃｂ、Ｃｒ）それぞれの画素データを用いて、動きベクトル探索や予測モード判定やブロックサイズ判定を全通り実施し、それらのＲＤ（Ｒａｔｅ  Ｄｉｓｔｏｒｔｉｏｎ）コストＪ＝Ｄ＋λＲが最小となるもの選択することで、効率のよい符号化を実現する（例えば、非特許文献１参照）。しかし、これらの処理を実現するために必要な演算量は膨大なものとなってしまい、ハードウェアで実装しようとすると回路規模が非常に大きくなってしまう。
【０００８】
そこで、処理時間を増加させない方法として、輝度成分のみを用いて動き探索を行うことが多い。しかし、輝度値のみでは大きく色が異なる場所が動きベクトル探索結果として選択されてしまい、復号後に誤った色が表示されてしまう場合がある。それに対処する方法として、入力画素信号の輝度情報を用いて動き探索範囲を決定した後、その画素信号の色差情報からイントラ予測かインター予測かを決定する方法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００３−２８４０９０号公報
【非特許文献】
【００１０】
【非特許文献１】Frank Bossen, David Flynn, et.al., "HM Software Manual", JCT-VC Software Manual, [online], 2016年6月, [平成2016年9月14日], インターネット, <URL:https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/trunk/doc/software-manual.pdf>
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述の従来技術では、色情報画質についての改善はなされているが、色差成分を用いてイントラ予測／インター予測判定を行っており、処理時間の更なる低減を目的として輝度成分のみを用いてイントラ予測／インター予測判定を行うような符号化装置にはそのまま適用することができない。また、前述の高色域・高ダイナミックレンジ映像においては、従来のＳＤＲ映像信号にくらべて予測残差および量子化誤差による色相の符号化歪みが大きくなることから、より予測残差や量子化誤差を小さくすることも求められる。
【００１２】
本発明は、このような事情を鑑みてなされたもので、高色域・高ダイナミックレンジの映像の符号化を行う際に、演算量の増加を抑えつつ、色成分の符号化劣化を低減することができる映像符号化方法、映像符号化装置及び映像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の一態様は、輝度成分を用いてブロックサイズ判定処理、動き探索処理又は予測モード判定処理を行う映像符号化装置において実行される映像符号化方法であって、符号化対象ブロックにおける色相の情報を用いて劣化が目立つ箇所を検出した場合は、前記符号化対象ブロックの入力画像と前記符号化対象ブロックの予測画像との誤差又はその量子化誤差を小さくするよう処理を行う誤差低減ステップ、を有する。
【００１４】
本発明の一態様は、上述の映像符号化方法であって、前記誤差低減ステップは、前記符号化対象ブロックにおける色相の情報を用いて劣化の程度を表す値を算出する算出ステップと、前記算出ステップにおいて算出された前記値に応じて、符号化ブロックサイズ判定処理において前記符号化対象ブロックの符号化ブロックサイズを調整する処理と、予測モード判定処理において前記符号化対象ブロックの予測モードを調整する処理と、前記符号化対象ブロックを量子化する際の量子化パラメータを決定する量子化パラメータ調整処理において前記量子化パラメータを調整する処理との少なくともいずれかを行う調整ステップとを有する。
【００１５】
本発明の一態様は、上述の映像符号化方法であって、前記算出ステップは、前記符号化対象ブロックと、参照画像における前記符号化対象ブロックの周辺のブロックとの間で、前記符号化対象ブロックと前記参照画像における周辺の前記ブロックとのそれぞれが含まれるフレーム間差分を算出するフレーム間差分算出ステップと、前記符号化対象ブロックと前記参照画像における周辺の前記ブロックとの輝度信号差分を算出する輝度信号差算出ステップと、前記符号化対象ブロックと前記参照画像における周辺の前記ブロックとの色信号差分を算出する色信号差分算出ステップとを有し、劣化の程度を表す前記値は、前記フレーム間差分、前記輝度信号差分及び前記色信号差分である。
【００１６】
本発明の一態様は、上述の映像符号化方法であって、前記算出ステップは、前記符号化対象ブロックと、参照画像における前記符号化対象ブロックと同位置のブロックの間で、前記符号化対象ブロックと前記参照画像における同位置の前記ブロックとのそれぞれが含まれるフレーム間差分を算出するフレーム間差分算出ステップと、前記符号化対象ブロックと前記参照画像における同位置の前記ブロックとの輝度信号差分を算出する輝度信号差算出ステップと、前記符号化対象ブロックと前記参照画像における同位置の前記ブロックとの色信号差分を算出する色信号差分算出ステップとを有し、劣化の程度を表す前記値は、前記フレーム間差分、前記輝度信号差分及び前記色信号差分である。
【００１７】
本発明の一態様は、上述の映像符号化方法であって、前記色信号差分算出ステップにおいては、知覚的均等性を考慮した色空間上での座標情報又は同座標における対象の２点間の距離情報を用いて前記色信号差分を算出する。
【００１８】
本発明の一態様は、上述の映像符号化方法であって、前記算出ステップは、劣化の程度を表す前記値として、前記符号化対象ブロックにおいて特定色域内に画素値が含まれる画素数を算出する特定色域算出ステップと、前記特定色域算出ステップにおいて算出された前記画素数が第１の閾値以上となるかを判定し、劣化が目立つ箇所を検出する特定色判定ステップとを有する。
【００１９】
本発明の一態様は、上述の映像符号化方法であって、前記特定色域算出ステップにおいては、所定のアンカー色に対して明度又は色成分差が大きくなるような色域を前記特定色域として定める。
【００２０】
本発明の一態様は、上述の映像符号化方法であって、前記符号化ブロックサイズ判定処理は、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）映像符号化におけるＣＵ（Ｃｏｄｉｎｇ  Ｕｎｉｔ）サイズ決定方法を実行し、前記調整ステップでは、前記フレーム間差分が第２の閾値を上回り、前記輝度信号差分が第３の閾値を下回り、かつ、前記色信号差分が第４の閾値以上となる場合に、前記符号化ブロックサイズ判定処理においてより小さいＣＵサイズが選択されやすいように調整を行う。
【００２１】
本発明の一態様は、上述の映像符号化方法であって、前記予測モード判定処理は、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）映像符号化におけるイントラ／インター予測モード決定方法を実行し、前記調整ステップでは、前記フレーム間差分が第２の閾値を上回り、前記輝度信号差分が第３の閾値を下回り、かつ、前記色信号差分が第４の閾値以上となる場合に、前記予測モード判定処理において、前記符号化対象ブロックに対してイントラ予測モードが選択されやすいように調整を行う。
【００２２】
本発明の一態様は、上述の映像符号化方法であって、前記量子化パラメータ調整処理は、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）映像符号化における量子化パラメータ決定方法を実行し、前記調整ステップでは、前記フレーム間差分が第２の閾値を上回り、前記輝度信号差分が第３の閾値を下回り、かつ、前記色信号差分が第４の閾値以上となる場合に、前記量子化パラメータ調整処理において、前記符号化対象ブロックに対する量子化パラメータ値がより小さくなるように調整を行う。
【００２３】
本発明の一態様は、輝度成分を用いてブロックサイズ判定処理、動き探索処理又は予測モード判定処理を行う映像符号化装置において実行される映像符号化装置であって、符号化対象ブロックにおける色相の情報を用いて劣化が目立つ箇所を検出した場合は、前記符号化対象ブロックの入力画像と前記符号化対象ブロックの予測画像との誤差又はその量子化誤差を小さくするよう処理を行う誤差低減部、を備える。
【００２４】
本発明の一態様は、映像符号化装置に用いられるコンピュータに、上記のいずれかの映像符号化方法の各ステップを実行させる映像符号化プログラムである。
【発明の効果】
【００２５】
本発明により、高色域・高ダイナミックレンジの映像の符号化を行う際に、演算量の増加を抑えつつ、色成分の符号化劣化を低減することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態による映像符号化装置の構成を示すブロック図である。
【図２】第１の実施形態による符号化ブロックサイズ判定処理のフローチャートを表す図である。
【図３】同実施形態による符号化対象ピクチャと参照ピクチャ上のＣＴＵブロックの関係性を表す図である。
【図４】同実施形態によるイントラ／インター予測モード判定処理のフローチャートを表す図である。
【図５】同実施形態による量子化パラメータ調整処理のフローチャートを表す図である。
【図６】同実施形態による量子化パラメータ調整における調整量の設定例を表す図である。
【図７】第２の実施形態による符号化ブロックサイズ判定処理のフローチャートを表す図である。
【図８】同実施形態によるイントラ／インター予測モード判定処理のフローチャートを表す図である。
【図９】同実施形態による簡易的なイントラ／インター予測モード判定処理のフローチャートを表す図である。
【図１０】同実施形態による量子化パラメータ調整における調整量の設定例を表す図である。
【図１１】第３の実施形態による符号化ブロックサイズ判定処理のフローチャートを表す図である。
【図１２】同実施形態によるイントラ／インター予測モード判定処理のフローチャートを表す図である。
【図１３】同実施形態による量子化パラメータ調整における調整量の設定例を表す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。
図１は、本発明の実施形態による映像符号化装置１００の構成を示すブロック図である。映像符号化装置１００は、エンコーダ（符号化部）として、前処理部１０１と、色域変換・色差判定処理部１０２と、符号化ブロック分割処理部１０３と、予測残差信号生成部１０４と、変換・量子化処理部１０５と、エントロピー符号化部１０６と、符号量制御部１０７と、逆量子化・逆変換処理部１０８と、復号信号生成部１０９と、ループフィルタ処理部１１０と、インター予測処理部１１１と、イントラ予測処理部１１２と、イントラ・インター選択部１１３とを備える。以下の説明で示す「符号化ブロック」については、ＭＰＥＧ−２やＨ．２６４／ＡＶＣではマクロブロックのことを表し、ＨＥＶＣ／Ｈ．２６５では符号化ユニット（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ：ＣＴＵ）のことを表す。
【００２８】
図１に示す映像符号化装置１００は、入力画像信号を矩形の符号化ブロックに分割し、符号化ブロックごとに符号化を行い、そのビットストリームを符号化ストリームとして出力する。この符号化を行うにあたり、まず前処理部１０１では、入力画像信号の画素値平均、隣接画素間差分、フレーム間差分、特定色域がどの程度含まれているかといった、以降の符号化処理を補助するための入力信号統計情報を得る。前処理部１０１は得られた入力信号統計情報を色域変換・色差判定処理部１０２に出力する。色域変換・色差判定処理部１０２は、入力信号統計情報に含まれる情報と予め決められた閾値との判定結果を、符号化ブロック分割処理部１０３、変換・量子化処理部１０５、符号量制御部１０７、イントラ・インター選択部１１３に出力する。
【００２９】
予測残差信号生成部１０４は、入力画像信号とイントラ・インター選択部１１３からの出力である予測信号との差分を予測残差信号として出力する。ここでイントラ予測処理部１１２とインター予測処理部１１１からのイントラ・インター選択部１１３への出力は、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ：ＰＵ）単位で実施される。変換・量子化処理部１０５は、変換処理ユニット（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ：ＴＵ）単位で処理を実行する。変換・量子化処理部１０５は、予測残差信号に対して、離散コサイン変換などの直交変換を行い、得られた変換係数を量子化し、その量子化された変換係数を出力する。
【００３０】
エントロピー符号化部１０６は、量子化された変換係数をエントロピー符号化し、符号化ストリームとして出力する。予測処理に用いるために、量子化された変換係数は、逆量子化・逆変換処理部１０８にも出力される。逆量子化・逆変換処理部１０８は、量子化された変換係数に対して、逆量子化、逆変換を行い、予測残差信号を出力する。復号信号生成部１０９は、予測残差信号と、インター予測処理部１１１又はイントラ予測処理部１１２の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号映像信号を生成する。復号映像信号は、インター予測処理部１１１で参照画像として用いるために、符号化ブロック内部のループフィルタ処理部１１０に対して出力される。ループフィルタ処理部１１０は、符号化歪みを低減するためのフィルタリング処理を行い、このフィルタリング後の信号を復号映像信号としてインター予測処理部１１１に対して出力する。
【００３１】
映像符号化装置１００は、例えば、動きベクトル探索、モード判定処理、ブロックサイズ判定処理を輝度成分のみで行う。映像符号化装置１００は、符号化対象ブロックの入力画素値と、入力周辺ブロック画素値又は周辺の参照画素値の輝度成分が類似しているが色差成分が異なる場合に、符号化ブロックサイズがより分割されるようにしたり、イントラ予測の割合を増やしたり、量子化パラメータを調整したりする。つまり、動きベクトル探索やモード判定処理やブロックサイズ判定処理を輝度成分のみで行う映像符号化装置において、符号化対象ブロックの入力画素値と周辺の参照画素値のＬ＊ａ＊ｂ＊空間上での距離情報を、予測モード判定やブロックサイズ判定や量子化パラメータ調整に用いることで、輝度信号値が近く色信号値が異なる場合においても、色相歪みを低減する。
以下に、映像符号化装置１００における詳細な実施形態を説明する。
【００３２】
[Ａ．第１の実施形態]
まず、本発明の第１の実施形態について説明する。第１の実施形態は、符号化対象ブロックの入力画像と同ブロックの予測画像との誤差又はその量子化誤差を小さくする方法を、符号化対象ブロックおよびその参照ピクチャの周辺ブロックの情報を用いて、符号化対象ブロック単位に実施する方法である。なお、本実施形態の処理は、前処理部１０１が、入力画像信号における符号化対象ブロックと、その参照画像における符号化対象ブロックの周辺の位置のブロックとの間で、それら両ブロックが含まれるそれぞれのフレーム間差分を算出し、色域変換・色差判定処理部１０２において、この算出されたフレーム間差分が所定の閾値を超えたと判断された場合に実行される。
【００３３】
まず、図２及び図３を用いて、本実施形態における符号化ブロックサイズ判定方法を説明する。この処理は、図１における色域変換・色差判定処理部１０２、符号化ブロック分割処理部１０３に適用される。
【００３４】
図２は、本実施形態による符号化ブロック（ＣＵ）サイズ決定処理のフローチャートである。また、図３は、符号化対象ピクチャ内の符号化対象ＣＴＵ（当該ＣＴＵ）ブロックと、参照ピクチャ内の当該ＣＴＵブロックの周辺ＣＴＵブロック（以降、参照周辺ＣＴＵブロック）を表す図である。当該ＣＴＵをＣＴＵ＿Ｃｕｒｒ、参照周辺ＣＴＵブロックをＣＴＵ＿Ｒｅｆ＿ｎ（ｎは対象とする参照周辺ＣＴＵブロック数）とし、ＣＴＵ＿Ｃｕｒｒにおける画素値を（Ｙ＿Ｃｕｒｒ，Ｃｂ＿Ｃｕｒｒ，Ｃｒ＿Ｃｕｒｒ）、ＣＴＵ＿Ｒｅｆ＿ｎにおける画素値を（Ｙ＿Ｒｅｆ＿ｎ，Ｃｂ＿Ｒｅｆ＿ｎ，Ｃｒ＿Ｒｅｆ＿ｎ）とする。Ｙ＿Ｃｕｒｒ、Ｃｂ＿ｃｕｒｒ、Ｃｒ＿Ｃｕｒｒはそれぞれ、当該ＣＴＵブロックの画素値の輝度成分、青の色差（Ｃｂ）成分、赤の色差（Ｃｒ）成分を表す。Ｙ＿Ｒｅｆ＿ｎ、Ｃｂ＿Ｒｅｆ＿ｎ、Ｃｒ＿Ｒｅｆ＿ｎはそれぞれ、参照周辺ＣＴＵブロックＣＴＵ＿Ｒｅｆ＿ｎの入力画素値の輝度成分、青の色差（Ｃｂ）成分、赤の色差（Ｃｒ）成分を表す。当該ＣＴＵブロックおよび参照周辺ＣＴＵブロックの入力画素値としては、ブロック内の各画素値、ブロック内画素平均値、ブロック内画素中央値、ブロック内画素最頻値などを用いる。
【００３５】
まず、図２におけるステップＳ２０１の通り、映像符号化装置１００は、当該ＣＴＵブロックと参照周辺ＣＴＵブロックの各ブロック間の輝度信号差分ΔＹ１および色信号差分ΔＥ１の計算を行う。ΔＹ１は式（１）で算出される。
【００３６】
ΔＹ１＝ΣＡＢＳ（Ｙ＿Ｃｕｒｒ−Ｙ＿Ｒｅｆ＿ｎ）      ……（１）
【００３７】
式（１）において、ＡＢＳ（…）は、括弧内の値の絶対値を取る関数であり、Σは、入力画素数ごとの計算結果の合計をとる関数である。
【００３８】
続いて、映像符号化装置１００は、色信号差分ΔＥ１の計算にあたり、（Ｙ＿Ｃｕｒｒ，Ｃｂ＿Ｃｕｒｒ，Ｃｒ＿Ｃｕｒｒ）及び（Ｙ＿Ｒｅｆ＿ｎ，Ｃｂ＿Ｒｅｆ＿ｎ，Ｃｒ＿Ｒｅｆ＿ｎ）を、知覚的均等性を考慮したＣＩＥ１９７６  Ｌ＊ａ＊ｂ＊色空間上の色値に変換する。この変換により、（Ｙ＿Ｃｕｒｒ，Ｃｂ＿Ｃｕｒｒ，Ｃｒ＿Ｃｕｒｒ）から（Ｌ＊＿Ｃｕｒｒ，ａ＊＿Ｃｕｒｒ，ｂ＊＿Ｃｕｒｒ）を、（Ｙ＿Ｒｅｆ＿ｎ，Ｃｂ＿Ｒｅｆ＿ｎ，Ｃｒ＿Ｒｅｆ＿ｎ）から（Ｌ＊＿Ｒｅｆ＿ｎ，ａ＊＿Ｒｅｆ＿ｎ，ｂ＊＿Ｒｅｆ＿ｎ）を得る。
【００３９】
変換後の値を用いて、当該ＣＴＵブロックと周辺ＣＴＵブロックの２つの色信号差分値である、Ｌ＊ａ＊ｂ＊色空間上での距離ΔＥ１は、式（２）で算出される。
【００４０】
ΔＥ１＝ΣＳＱＲＴ（（Ｌ＊＿Ｃｕｒｒ−Ｌ＊＿Ｒｅｆ＿ｎ）＾２＋（ａ＊＿Ｃｕｒｒ−ａ＊＿Ｒｅｆ＿ｎ）＾２＋（ｂ＊＿Ｃｕｒｒ−ｂ＊＿Ｒｅｆ＿ｎ）＾２）    ……（２）
【００４１】
式（２）において、ＳＱＲＴ（…）は、括弧内の値の平方根を求める関数、“（…）＾２”は、括弧内の２乗計算を行うことを表している。
【００４２】
なお、映像符号化装置１００は、ΔＥ１を、逐次上記のように計算しても良いし、演算量削減のため、予め一定刻みの（Ｙ，Ｃｂ，Ｃｒ）に対応する（Ｌ＊，ａ＊，ｂ＊）変換テーブルを用意しておき、このテーブルを参照して距離を算出することで置き換えても良い。
【００４３】
演算量削減のために用意する、（Ｙ，Ｃｂ，Ｃｒ）に対応する（Ｌ＊，ａ＊，ｂ＊）変換テーブルは、それぞれ伝達関数が異なる映像フォーマットごとに、一定刻みの（Ｙ，Ｃｂ，Ｃｒ）に対して、予め計算された（Ｌ＊，ａ＊，ｂ＊）の値を記したものである。伝達関数の異なる映像フォーマットとしては、ＳＤＲ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）、ＨＬＧ（Ｈｙｂｒｉｄ  Ｌｏｇ  Ｇａｍｍａ）、ＰＱ（Ｐｅｒｐｅｔｕａｌ  Ｑｕａｎｔｉｚａｔｉｏｎ；又はＳＴ２０８４）が代表的であるが、入力する映像フォーマットによってはこの限りではない。伝達関数が異なる映像フォーマットの場合、同じ（Ｙ，Ｃｂ，Ｃｒ）値でも、実際にディスプレイに表示される際にはそれぞれ量子化幅が異なることから、実際に表示されるときの見え方が異なるため、映像符号化装置１００は、それぞれの映像フォーマットごとにテーブルを用意する。この映像フォーマットにあわせた変換テーブルを用いて、入力信号にもっとも近い（Ｙ，Ｃｂ，Ｃｒ）に対応する（Ｌ＊，ａ＊，ｂ＊）の値を用いて、上記のΔＥ１を計算する。
【００４４】
また、距離を算出する際、式（２）にあるような二乗計算や平方根計算は、演算量が多くなってしまい、特にハードウェア実装においては回路規模増大に繋がってしまう。そこで、式（３）のように、各座標値の差の絶対値の総和を色信号差分ΔＥ１としても良い。
【００４５】
ΔＥ１＝Σ（ＡＢＳ（Ｌ＊＿Ｃｕｒｒ−Ｌ＊＿Ｒｅｆ＿ｎ）＋ＡＢＳ（ａ＊＿Ｃｕｒｒ−ａ＊＿Ｒｅｆ＿ｎ）＋ＡＢＳ（ｂ＊＿Ｃｕｒｒ−ｂ＊＿Ｒｅｆ＿ｎ））    ……（３）
【００４６】
続いて、図２におけるステップＳ２０２の通り、映像符号化装置１００は、ΔＹ１がある閾値ｙ１以下、かつ上記のΔＥ１がある閾値ｅ１以上となるブロックがｍ個（０≦ｍ≦Ｎ）以上あるかを判断し、ＹＥＳの場合はステップＳ２０３の処理を、ＮＯの場合はステップＳ２０４の処理を行う。ステップＳ２０２においてＹＥＳであり、ΔＹ１が閾値ｙ１以下の場合で、かつΔＥ１が閾値ｅ１以上となるブロックがｍ個以上ある場合、輝度成分を用いて動きベクトル探索処理およびモード判定処理を行うエンコーダにおいては、周囲の色と異なる予測画像を生成するような動きベクトルを選択してしまう恐れがある。これによって、予測残差信号の増加にともなう符号化効率の低下や復号画像における色が周囲と大きく異なる結果となってしまう恐れがあることから、予測残差信号を小さくするために、映像符号化装置１００は、当該ＣＴＵブロックがより分割されるような符号化ブロックサイズを選択するための調整を行う。一般的に、複数のＣＵブロックサイズやイントラ／インター予測処理で得られる予測モードｉがある中で最適なモードを選択する方法として、ラグランジュの未定乗数法に基づくレート・歪（ＲＤ）最適化手法が知られている。この方法では、予測モードがｉのときの歪みＤ＿ｉと発生符号量Ｒ＿ｉから計算されるＲＤコストＪ＿ｉが最小となるように、予測モード判定を行う。ＲＤコストＪ＿ｉを算出するＲＤコスト評価式は式（３）のように表される。
【００４７】
Ｊ＿ｉ＝Ｄ＿ｉ＋λ×Ｒ＿ｉ    ……（３）
【００４８】
式（３）において、λは量子化パラメータの値に応じて決められる重み付け係数である。
【００４９】
このとき、図２におけるステップＳ２０３においては、本手法における符号化ブロックサイズ判定時のＲＤコスト評価式を式（４）とする。
【００５０】
Ｊ＿ｉ＝Ｄ＿ｉ＋α×λ×Ｒ＿ｉ      ……（４）
【００５１】
式（４）において、αは、重み付け係数λにかかる重み付け係数である。
例えば輝度成分によるＣＵブロックサイズ判定当該ＣＵブロックサイズがＣＵ＝６４ｘ６４のときのＲＤコスト評価式がＪ＿ＣＵ６４＝Ｄ＿６４＋α×λ×Ｒ＿６４、ＣＵ＝３２ｘ３２のときのＣＵコスト評価式がＪ＿ＣＵ３２＝Σ＾４＿ｊ＝１（Ｄ＿３２＿ｊ＋α×λ×Ｒ＿３２＿ｊ）である場合に、Ｊ＿ＣＵ３２＜Ｊ＿ＣＵ６４となるよう、０＜α≦１とする。αの値は、入力信号に応じてその都度決定しても良いし、複数の画像信号を考慮して得られた値を予め用意しておいて用いても良い。ここで、α＝１のときは、図２におけるステップＳ２０４に相当し、本手法を考慮しない、通常のＣＵブロックサイズ判定アルゴリズムに従うことと同じ処理である。
【００５２】
また、図２におけるステップＳ２０３においては、本手法におけるＣＵブロックサイズ判定におけるＲＤコスト比較において、ＲＤコストＪ＿ｊを、Ｊ＿ｊ＝Ｊ＿ｊ＋Ｏｆｆｓｅｔ（０＜Ｏｆｆｓｅｔ）のように、Ｏｆｆｓｅｔ値加算により算出してもよい。具体的には、本手法におけるＣＵブロックサイズ判定におけるＲＤコスト比較として、例えばＣＵ３２ｘ３２とＣＵ６４ｘ６４におけるＲＤコスト比較を行う際に、Ｊ＿ＣＵ３２＜Ｊ＿ＣＵ６４となるのを目的として、Ｊ＿ＣＵ６４＝Ｊ＿ＣＵ６４＋Ｏｆｆｓｅｔのように、Ｏｆｆｓｅｔ値（０＜Ｏｆｆｓｅｔ）の加算を行うことで、より小さいＣＵブロックサイズが選択されるような調整を行っても良い。映像符号化装置１００は、式（４）で得られたＲＤコストに対して更にＯｆｆｓｅｔ値の加算を行っても良いし、式（４）の調整の代わりに上記のＯｆｆｓｅｔ値加算による調整を行っても良い。
【００５３】
図２におけるステップＳ２０５において、映像符号化装置１００は、図２におけるステップＳ２０３又はステップＳ２０４で算出したＣＵサイズ判定ＲＤコスト値を元に、ＲＤコストが最小となるＣＵサイズを当該ＣＵブロックサイズとして選択する。
【００５４】
上記の処理は、ＨＥＶＣ符号化における全ＣＵブロックサイズ判定において用いても良いし、別のＣＵブロックサイズ判定アルゴリズムと組み合わせて用いても良い。また、当該ＣＵブロックの分割を１段階とするだけでなく、一度分割して得られたサブブロック領域について同様の処理を適用しても良い。また、上記の処理は、入力信号として当該ＣＴＵブロックとその参照ピクチャにおける周辺ＣＴＵブロックを用いたが、参照ピクチャにおける周辺ＣＴＵブロックの代わりに、予測ベクトル周辺のＣＴＵブロックや、予測画像を用いてもよい。
【００５５】
続いて、図４を用いて、本実施形態におけるイントラ／インター予測モード判定方法について説明する。本処理は、主に図１におけるイントラ・インター選択部１１３に適用される。
【００５６】
図４は、本実施形態によるイントラ／インター予測モード判定処理のフローチャートである。
まず、図４におけるステップＳ４０１の通り、映像符号化装置１００は、符号化対象ＣＵブロックについて、各ＰＵサイズごとに、図１のインター予測処理部１１１によるイントラ予測処理および図１のイントラ予測処理部１１２によるインター予測処理を行い、イントラ予測およびインター予測それぞれについて予測モードおよび予測画像を得る。
【００５７】
続いて、図４におけるステップＳ４０２の通り、映像符号化装置１００は、符号化対象ＣＵ／ＰＵブロックの入力画像信号の画素値（Ｙ＿Ｃｕｒｒ，Ｃｂ＿Ｃｕｒｒ，Ｃｒ＿Ｃｕｒｒ）と、その予測画像信号の画素値（Ｙ＿Ｐｒｅｄ，Ｃｂ＿Ｐｒｅｄ，Ｃｒ＿Ｐｒｅｄ）のそれぞれについて、入力画像信号と予測画像信号の輝度差分ΔＹ２及び色信号差分ΔＥ２をそれぞれ計算する。Ｙ＿Ｐｒｅｄ、Ｃｂ＿Ｐｒｅｄ、Ｃｒ＿Ｐｒｅｄはそれぞれ、予測画像信号の輝度成分、青の色差（Ｃｂ）成分、赤の色差（Ｃｒ）成分を表す。ΔＹ２は式（５）、ΔＥ２は式（６）でそれぞれ算出される。
【００５８】
ΔＹ２＝ＡＢＳ（Ｙ＿Ｃｕｒｒ−Ｙ＿Ｐｒｅｄ）      ……（５）
【００５９】
ΔＥ２＝ＳＱＲＴ（（Ｌ＊＿Ｃｕｒｒ−Ｌ＊＿Ｐｒｅｄ）＾２＋（ａ＊＿Ｃｕｒｒ−ａ＊＿Ｐｒｅｄ）＾２＋（ｂ＊＿Ｃｕｒｒ−ｂ＊＿Ｐｒｅｄ）＾２）    ……（６）
【００６０】
なお、（Ｌ＊＿Ｐｒｅｄ，ａ＊＿Ｐｒｅｄｎ，ｂ＊＿Ｐｒｅｄ）は、（Ｙ＿Ｐｒｅｄ，Ｃｂ＿Ｐｒｅｄ，Ｃｒ＿Ｐｒｅｄ）をＣＩＥ１９７６  Ｌ＊ａ＊ｂ＊色空間上の色値に変換して得られる。
【００６１】
続いて、図４におけるステップＳ４０３の通り、映像符号化装置１００は、ΔＹ２がある閾値ｙ２以下、かつΔＥ２がある閾値ｅ２以上であるかを判断し、ＹＥＳの場合はステップＳ４０４の処理を行い、ＮＯの場合はステップＳ４０５の処理を行う。ΔＹ２が閾値ｙ２以下の場合で、かつΔＥ２が閾値ｅ２以上の場合、映像中の物体が動いた結果等によって、符号化対象ブロックの画素値と予測画像では色成分の差が大きく異なっている可能性がある。このことから、映像符号化装置１００は、予測残差信号が小さくなるよう、図４におけるステップＳ４０４の通り、当該ＣＵ／ＰＵブロックにおいてはイントラ予測モードを選択しやすくするように、コスト評価式Ｊ＝Ｄ＋λＲのλ値の調整を行う。そうでない場合は、映像符号化装置１００は、図４におけるステップＳ４０５の通り、通常のイントラ／インターモード判定コスト評価式を元にイントラ／インターモード判定を行う。
【００６２】
図４におけるステップＳ４０４では、例えば、符号化対象ＣＵ／ＰＵブロックにおいて、ＣＵブロック内のＰＵブロックのイントラ予測モード中での最善となる場合のコスト評価式がＪ＿Ｉｎｔｒａ＝Ｄ＿Ｉｎｔｒａ＋α×λ＿Ｉｎｔｒａ×Ｒ＿Ｉｎｔｒａ、インター予測モード中で最善となる場合のコスト評価式がＪ＿Ｉｎｔｅｒ＝Ｄ＿Ｉｎｔｅｒ＋α×λ＿Ｉｎｔｅｒ×Ｒ＿Ｉｎｔｅｒとなり、更に、ΔＹ２≦ｙ２かつΔＥ２≧ｅ２の場合、当該ＰＵでの予測モードがイントラモードになるよう、イントラモードのコスト評価式を式（７）とする。
【００６３】
Ｊ＿Ｉｎｔｒａ＜Ｊ＿Ｉｎｔｅｒ  ⇔
Ｄ＿Ｉｎｔｒａ＋α×λ×Ｒ＿Ｉｎｔｒａ＜Ｊ＿Ｉｎｔｅｒ    ……（７）
【００６４】
つまり、式（７）となるのを目的として係数α（０＜α≦１）を設定する。α＝１のときには、本手法を考慮しない場合の通常のイントラ・インターモード判定コスト評価式として扱う。
【００６５】
また、図４におけるステップＳ４０４の通り、本手法におけるイントラ／インターモード判定におけるＲＤコスト比較として、Ｊ＿Ｉｎｔｒａ＜Ｊ＿Ｉｎｔｅｒとなるのを目的として、Ｊ＿Ｉｎｔｅｒ＝Ｊ＿Ｉｎｔｅｒ＋Ｏｆｆｓｅｔのように、Ｏｆｆｓｅｔ値（０＜Ｏｆｆｓｅｔ）の加算を行うことによって、イントラ予測モードとなるような調整を行っても良い。映像符号化装置１００は、式（７）で得られたＲＤコストに対して更にＯｆｆｓｅｔ値の加算を行っても良いし、式（７）の調整の代わりに上記のＯｆｆｓｅｔ値加算による調整をおこなっても良い。
【００６６】
図４におけるステップＳ４０６において、映像符号化装置１００は、図４におけるステップＳ４０４又はステップＳ４０５で得られたイントラ／インターモードでのそれぞれのＲＤコスト比較を行う。映像符号化装置１００は、よりＲＤコスト値が小さいものを当該ＣＵ／ＰＵブロックにおける予測モードとし、それぞれ図４におけるステップＳ４０７又はステップＳ４０８の通りイントラモード又はインターモードとして符号化を行う。
【００６７】
上記の処理は、入力信号として符号化対象ＣＵ／ＰＵブロックの入力画像信号と予測画像信号を用いたが、予測画像信号の変わりに、符号化対象ＣＵ／ＰＵブロックの参照ピクチャにおける周辺ＣＵ／ＰＵブロックの入力画像信号や、予測ベクトル周辺のＣＵ／ＰＵブロックの画像信号を用いてもよい。
【００６８】
続いて、図５及び図６を用いて、本実施形態における量子化パラメータ調整方法について説明する。本処理は、図１における符号量制御部１０７において適用される。
【００６９】
図５は、本実施形態による量子化パラメータ調整処理のフローチャートである。
図５におけるステップＳ５０１の通り、映像符号化装置１００は、当該ＣＴＵブロックＣＴＵ＿Ｃｕｒｒの入力画像信号を（Ｙ＿Ｃｕｒｒ，Ｃｂ＿Ｃｕｒｒ，Ｃｒ＿Ｃｕｒｒ）、その参照周辺のＣＴＵブロックＣＴＵ＿Ｒｅｆ＿ｎ（ｎ：参照周辺のＣＴＵブロック数）の入力画像信号を（Ｙ＿Ｒｅｆ＿ｎ，Ｃｂ＿Ｒｅｆ＿ｎ，Ｃｒ＿Ｒｅｆ＿ｎ）とし、ＣＴＵ＿ＣｕｒｒとＣＴＵ＿Ｒｅｆ＿ｎに含まれる画素値の輝度信号差分ΔＹ３、色信号差分ΔＥ３を計算する。ここでΔＥ３はＬ＊ａ＊ｂ＊空間上での色差である。
【００７０】
続いて、図５におけるステップＳ５０２の通り、映像符号化装置１００は、ΔＹ３がある閾値ｙ３以下、かつ、ΔＥ３がある閾値ｅ３以上となるブロックがｍ個（０≦ｍ≦Ｎ；Ｎは参照周辺ＣＴＵブロック数）以上であるかを判断し、ＹＥＳの場合はステップＳ５０３の処理を行い、ＮＯの場合はステップＳ５０４の処理を行う。
【００７１】
映像符号化装置１００は、ΔＹ３が閾値ｙ３以下の場合で、かつ、ΔＥ３が閾値ｅ３以上であると判断した場合、当該ＣＴＵブロックを量子化する際の量子化パラメータとして、図５におけるステップＳ５０３の通りの処理を行う。すなわち、映像符号化装置１００は、通常適用されるレート制御アルゴリズム（例えば、ＭＰＥＧ−２  ＴＭ５等）で決められたＱＰ値に対して、式（８）で表される処理を行い、新しいＱＰ値としてＱＰ＿Ｎｅｗを得る。
【００７２】
ＱＰ＿Ｎｅｗ＝ＱＰ＋Δｑｐ        ……（８）
【００７３】
ここで、Δｑｐの値は、色信号差分の値にかかわらず一律の値でも良いし、色信号差分の値や、色信号差分が大きい画素の数に応じて複数候補値から算出される値でも良い。
【００７４】
Δｑｐの決め方の一例を以下に述べる。
図６は、量子化パラメータ調整における調整量Δｑｐの値を示す図である。当該ＣＴＵブロックとその周辺ＣＴＵブロック間の色信号差分ΔＥ３がＤ段階（１＜ｄ＜Ｄ）あるとすると、ｄが大きくなるごとに、Δｑｐもより小さな値を設定する。これは、ｄが大きい場合は色信号差分情報をもれなく符号化できるように、より細かい量子化を行うよう制御するためである。具体例を図６（ａ）に示す。図６（ａ）では、Ｄ＝５段階のときのΔｑｐの値の設定例を表している。同図の通り、元となるＱＰの値に応じて、Δｑｐの値の取り方を変えても良い。
【００７５】
当該ＣＴＵブロックとその参照周辺ＣＴＵブロック間の色成分の差ΔＥ３がある閾値ｅ３を超えるブロック数ｍ’がＤ’段階（１＜ｍ’＜Ｄ’）あるとすると、ｍ’が大きくなるごとに、Δｑｐも大きな値を設定する。具体例を図６（ｂ）に示す。図６（ｂ）では、Ｄ’＝５段階のときの、Δｑｐの値の設定例を表している。こちらも同様に、元となるＱＰの値に応じて、Δｑｐの値の取り方を変えても良い。
【００７６】
続いて、図５におけるステップＳ５０５の通り、映像符号化装置１００は、新しいＱＰ＿Ｎｅｗ値を用いて、量子化処理を行う。なお、映像符号化装置１００は、図５におけるステップＳ５０３でＮＯであった場合、ステップＳ５０５では、ステップＳ５０４において通常レート制御アルゴリズム（例えば、ＭＰＥＧ−２  ＴＭ４等）で決定したＱＰを用いて量子化処理を行う。
【００７７】
ここで、当該ＣＴＵブロックとその参照周辺ＣＴＵブロックで用いる信号は、各ブロック内の入力画素値そのものでも良いし、それらの平均値や中央値を用いても良い。
【００７８】
以上のように本実施形態によれば、ＣＴＵブロック単位で、輝度信号差分が小さくかつ色信号差分が大きい場合に、予測残差およびその量子化誤差が小さくなるような符号化ブロックサイズ判定、イントラ予測モードの選択割合の増加、量子化パラメータの調整を行うようにしたので、映像符号化装置が、輝度信号のみを用いて予測モード判定・ブロックサイズ判定を行う場合にも、色相歪みの少ない符号化結果を得ることができる。
【００７９】
[Ｂ．第２の実施形態]
第２の実施形態は、符号化対象ブロックの入力画像と同ブロックの予測画像との誤差又はその量子化誤差を小さくする処理を、符号化対象ブロックおよびその参照ピクチャにおける同位置ブロックの情報を用いて、符号化対象ブロック単位に実施する方法である。本実施形態における映像符号化装置の主な構成は第１の実施形態と同様であるため、説明は省略する。なお、本実施形態の処理は、前処理部１０１が、入力画像信号における符号化対象ブロックと、その参照画像における符号化対象ブロックと同位置のブロックとの間で、それら両ブロックが含まれるそれぞれのフレーム間差分を算出し、色域変換・色差判定処理部１０２において、この算出されたフレーム間差分が所定の閾値を超えたと判断された場合に実行される。
【００８０】
まず、図７を用いて、本実施形態における符号化ブロックサイズ判定方法について説明する。この処理は、図１における映像符号化装置１００の色域変換・色差判定処理部１０２、符号化ブロック分割処理部１０３に適用される。
図７は、本実施形態における符号化ブロックサイズ判定処理のフローチャートである。
【００８１】
まず、図７におけるステップＳ７０１の通り、映像符号化装置１００は、当該ＣＴＵブロックと参照ピクチャにおける同位置ＣＴＵブロックの間の輝度信号差分ΔＹ４および色信号差分ΔＥ４の計算を行う。ここで、符号化対象ＣＴＵ（当該ＣＴＵ）ブロックをＣＴＵ＿Ｃｕｒｒ、参照ピクチャ内の当該ＣＴＵブロックと同位置ＣＴＵブロック（以降、参照同位置ＣＴＵブロック）をＣＵ＿ＲｅｆＣｕｒｒとし、ＣＴＵ＿Ｃｕｒｒにおける画素値を（Ｙ＿Ｃｕｒｒ，Ｃｂ＿Ｃｕｒｒ，Ｃｒ＿Ｃｕｒｒ）、ＣＴＵ＿ＲｅｆＣｕｒｒにおける画素値をそれぞれ（Ｙ＿ＲｅｆＣｕｒｒ＿ｎ，Ｃｂ＿ＲｅｆＣｕｒｒ，Ｃｒ＿ＲｅｆＣｕｒｒ）とする。このとき、ΔＹ４は式（９）で算出される。
【００８２】
ΔＹ４＝（Ｙ＿Ｃｕｒｒ−Ｙ＿ＲｅｆＣｕｒｒ）    ……（９）
【００８３】
また、当該ＣＴＵブロックと参照ピクチャにおける同位置ＣＴＵブロックの２つの色信号差分値であるΔＥ４は式（１０）で算出される。
【００８４】
ΔＥ４＝ＳＱＲＴ（（Ｌ＊＿Ｃｕｒｒ−Ｌ＊＿ＲｅｆＣｕｒｒ）＾２＋（ａ＊＿Ｃｕｒｒ−ａ＊＿ＲｅｆＣｕｒｒ）＾２＋（ｂ＊＿Ｃｕｒｒ−ｂ＊＿ＲｅｆＣｕｒｒ）＾２）    ……（１０）
【００８５】
なお、（Ｌ＊＿ＲｅｆＣｕｒｒ，ａ＊＿ＲｅｆＣｕｒｒ，ｂ＊＿ＲｅｆＣｕｒｒ）は、（Ｙ＿ＲｅｆＣｕｒｒ，Ｃｂ＿ＲｅｆＣｕｒｒ，Ｃｒ＿ＲｅｆＣｕｒｒ）をＣＩＥ１９７６  Ｌ＊ａ＊ｂ＊色空間上の色値に変換して得られる。
【００８６】
続いて、図７におけるステップＳ７０２の通り、映像符号化装置１００は、ΔＹ４がある閾値ｙ４以下、かつ前述のΔＥ４がある閾値ｅ４以上であるかを判断し、ＹＥＳの場合はステップＳ７０３の処理を、ＮＯの場合はステップＳ７０４の処理を行う。ΔＹ４が閾値ｙ４以下の場合で、かつΔＥ４が閾値ｅ４以上となる場合、図７におけるステップＳ７０３の通り、映像符号化装置１００は、当該ＣＴＵブロックがより分割されるような符号化ブロックサイズを選択するための調整を行う。
【００８７】
図７におけるステップＳ７０３では、式（４）に示されるＲＤコスト評価式を用いることで、より小さいサイズのＣＵブロックが選択されるようにする。また、図７におけるステップＳ７０３では、大小ＣＵブロックサイズのコスト値比較を行う際に、大きいほうのＣＵブロックサイズにＯｆｆｓｅｔ値を加算した上でコスト値比較を行うことで、より小さいサイズのＣＵブロックが選択されるようにしても良い。
【００８８】
図７におけるステップＳ７０４において、映像符号化装置１００は、通常のＣＵサイズ判定コスト評価式により、各ＣＵサイズのコスト値比較を行う。
図７におけるステップＳ７０５において、映像符号化装置１００は、図７におけるステップＳ７０３又は図７におけるステップＳ７０４でのＣＵサイズ判定ＲＤコスト値を元に、ＲＤコストが最小となるＣＵサイズを当該ＣＵブロックサイズとして選択する。
【００８９】
上記の処理は、ＨＥＶＣ符号化における全ＣＵブロックサイズ判定において用いても良いし、別のＣＵブロックサイズ判定アルゴリズムと組み合わせて用いても良い。また、当該ＣＵブロックの分割を１段階とするだけでなく、一度分割して得られたサブブロック領域について同様の処理を適用しても良い。また、上記の処理は、入力信号として当該ＣＴＵブロックとその参照ピクチャにおける同位置ＣＴＵブロックを用いたが、参照ピクチャにおける同位置ＣＴＵブロックの代わりに、予測ベクトル周辺のＣＴＵブロックや、予測画像を用いてもよい。
【００９０】
続いて、図８を用いて、本実施形態におけるによるイントラ／インター予測モード判定方法について説明する。この処理は、主に図１における映像符号化装置１００のイントラ・インター選択部１１３に適用される。
【００９１】
図８は、本実施形態によるイントラ／インター予測モード判定処理のフローチャートである。
まず、図８におけるステップＳ８０１の通り、映像符号化装置１００は、符号化対象ＣＵブロックについて、各ＰＵサイズごとに、図１のインター予測処理部１１１によるイントラ予測処理および図１におけるイントラ予測処理部１１２によるインター予測処理を行い、イントラ予測およびインター予測それぞれについて予測モードおよび予測画像を得る。
【００９２】
続いて、図８におけるステップＳ８０２の通り、映像符号化装置１００は、当該ＣＴＵブロックと参照ピクチャにおける同位置ＣＴＵブロックの間の輝度信号差分ΔＹ５および色信号差分ΔＥ５の計算を行う。ΔＹ５は式（９）と同様に算出され、ΔＥ５は式（１０）と同様に算出される。
【００９３】
続いて、図８におけるステップＳ８０３の通り、映像符号化装置１００は、ΔＹ５がある閾値ｙ５以下、かつΔＥ５がある閾値ｅ５以上となるかを判断し、ＹＥＳの場合はステップＳ８０３の処理を行い、ＮＯの場合はステップＳ８０４の処理を行う。ΔＹ５が閾値ｙ５以下の場合で、かつΔＥ５が閾値ｅ５以上となる場合、図８におけるステップＳ８０４の通り、映像符号化装置１００は、当該ＣＴＵブロック内のＰＵではイントラ予測モードが選択されやすくなるような調整を行う。ステップＳ８０３でＮＯの場合は、図８におけるステップＳ８０５の通り、通常のイントラ／インターモード判定コスト評価式を元にイントラ／インターモード判定を行う。
【００９４】
図８におけるステップＳ８０４では、映像符号化装置１００は、符号化対象ＣＴＵブロック内の各ＰＵについてイントラ予測処理およびインター予測処理を実施し、それぞれのＲＤコスト値Ｊ＿Ｉｎｔｒａ、Ｊ＿Ｉｎｔｅｒを得る。ここで、当該ＰＵでの予測モードがイントラモードになるよう、式（７）のようにＪ＿Ｉｎｔｒａ＜Ｊ＿Ｉｎｔｅｒとなるのを目的として係数α（０＜α≦１）を設定する。なお、α＝１のときには、本手法を考慮しない場合の通常のイントラ・インターモード判定コスト評価式として扱う。
【００９５】
また、図８におけるステップＳ８０４の通り、本手法におけるイントラ／インターモード判定におけるＲＤコスト比較として、Ｊ＿Ｉｎｔｒａ＜Ｊ＿Ｉｎｔｅｒとなるのを目的として、Ｊ＿Ｉｎｔｅｒ＝Ｊ＿Ｉｎｔｅｒ＋Ｏｆｆｓｅｔのように、Ｏｆｆｓｅｔ値（０＜Ｏｆｆｓｅｔ）の加算を行うことによって、イントラ予測モードとなるような調整を行っても良い。映像符号化装置１００は、式（７）で得られたＲＤコストに対して更にＯｆｆｓｅｔ値の加算を行っても良いし、式（７）の調整の代わりに上記のＯｆｆｓｅｔ値加算による調整を行っても良い。
【００９６】
図８におけるステップＳ８０６において、映像符号化装置１００は、図８におけるステップＳ８０４又はステップＳ８０５で得られたイントラ／インターモードでのそれぞれのＲＤコスト比較を行う。映像符号化装置１００は、よりＲＤコスト値が小さいものを当該ＣＵ／ＰＵブロックにおける予測モードとし、それぞれ図８におけるステップＳ８０７又はステップＳ８０８の通りイントラモード又はインターモードとして符号化を行う。
【００９７】
上記の処理は、符号化対象ＣＴＵブロック内の各ＰＵについて、イントラ予測処理・インター予測処理をそれぞれ行った上で、イントラ予測モードが選択されることを目的としてＲＤコスト値を調整したが、図８におけるステップＳ８０３での条件に合致する場合は演算量削減のために当該ＰＵをイントラ予測モードとするようにしても良い。
【００９８】
この場合におけるイントラ／インター予測モード判定処理のフローチャートは図９の通りとなる。この処理は、主に図１における映像符号化装置１００のイントラ・インター選択部１１３に適用される。
図９は、本実施形態による簡易的なイントラ／インター予測モード判定処理のフローチャートである。
まず、図９におけるステップＳ９０１の通り、映像符号化装置１００は、当該ＣＴＵブロックと参照ピクチャにおける同位置ＣＴＵブロックの間の輝度信号差分ΔＹ６および色信号差分ΔＥ６の計算を行う。ここでΔＹ６は式（９）と同様に算出され、ΔＥ６は式（１０）と同様に算出される。
【００９９】
続いて、図９におけるステップＳ９０２の通り、映像符号化装置１００は、ΔＹ６がある閾値ｙ６以下、かつ前述のΔＥ６がある閾値ｅ６以上であるかを判断する。ステップＳ９０２でＹＥＳの場合、すなわち、ΔＹ６が閾値ｙ６以下の場合で、かつΔＥ６がある閾値ｅ６以上である場合、映像符号化装置１００は、図９におけるステップＳ９０３の通り、当該ＣＴＵブロック内ではイントラ予測モードを選択することとし、イントラ予測モードのみを行う。それ以外の場合、すなわち、ステップＳ９０２でＮＯの場合、映像符号化装置１００は、図９におけるステップＳ９０４の通り、イントラ予測処理およびインター予測処理を行い、図９におけるステップＳ９０５の通り、式（７）のＲＤコスト評価比較を行った上で、イントラ／インター予測モードの判定を行う。
【０１００】
図９におけるステップＳ９０６において、映像符号化装置１００は、図９におけるステップＳ９０５で得られたイントラ／インターモードでのそれぞれのＲＤコスト比較を行う。映像符号化装置１００は、よりＲＤコスト値が小さいものを当該ＣＵ／ＰＵブロックにおける予測モードとし、それぞれ図９におけるステップＳ９０３又はステップＳ９０７の通りイントラモード又はインターモードとして符号化を行う。
【０１０１】
次に、図１０を用いて、本実施形態における量子化パラメータ調整方法について説明する。本処理は、主に図１における映像符号化装置１００のイントラ・インター選択部１１３に適用される
【０１０２】
図１０は、本実施形態における量子化パラメータ調整処理のフローチャートである。
図１０におけるステップＳ１００１の通り、映像符号化装置１００は、当該ＣＴＵブロックＣＴＵ＿Ｃｕｒｒおよびその参照ピクチャ内の同位置ＣＴＵブロックＣＴＵ＿ＲｅｆＣｕｒｒの間の輝度信号差分ΔＹ７、色信号差分ΔＥ７を計算する。
【０１０３】
続いて、図１０におけるステップＳ１００２の通り、映像符号化装置１００は、ΔＹ７がある閾値ｙ７以下、かつ、ΔＥ７がある閾値ｅ７以上であるかを判断し、ＹＥＳの場合はステップＳ１００３の処理を行い、ＮＯの場合はステップＳ１００４の処理を行う。
【０１０４】
映像符号化装置１００は、ステップＳ１００２においてＹＥＳと判断した場合、図１０におけるステップＳ１００３の通り、当該ＣＴＵブロックを量子化する際の量子化パラメータとして、通常適用されるレート制御アルゴリズム（例えば、ＭＰＥＧ−２  ＴＭ５等）で決められたＱＰ値に対して、式（８）で表される処理を行い、新しいＱＰ値としてＱＰ＿Ｎｅｗを得る。一方、ステップＳ１００２においてＮＯと判断した場合、映像符号化装置１００は、図１０におけるステップＳ１００４の通り、通常レート制御アルゴリズムでＱＰ値を算出する。
【０１０５】
続いて、図１０におけるステップＳ１００５の通り、映像符号化装置１００は、図１０におけるステップＳ１００３で得られたＱＰ＿Ｎｅｗ又は図１０におけるステップＳ１００４で得られたＱＰを用いて、量子化処理を行う。
【０１０６】
以上のように本実施形態によれば、第１の実施形態のように参照ピクチャ内の複数の周辺ＣＴＵブロック情報が利用できない場合にも、ＣＴＵブロック単位で、輝度信号差分が小さくかつ色信号差分が大きい場合に、予測残差およびその量子化誤差が小さくなるような符号化ブロックサイズの決定、イントラ予測モードの選択割合の増加、量子化パラメータの調整を行うようにしたので、映像符号化装置１００が輝度信号のみを用いて予測モード判定・ブロックサイズ判定を行う場合にも、色相歪みの少ない符号化結果を得ることができる。
【０１０７】
[Ｃ．第３の実施形態]
第３の実施形態は、符号化対象ブロックの入力画像と同ブロックの予測画像との誤差又はその量子化誤差を小さくする処理を、符号化対象ブロックおよびその符号化対象ブロックを含むピクチャおよび参照ピクチャの情報を用いることで、ピクチャ単位に実施する方法である。本実施形態における映像符号化装置の主な構成は第１の実施形態と同様であるため、説明は省略する。
【０１０８】
まず、図１１を用いて、本実施形態における符号化ブロックサイズ判定方法について説明する。
図１１は、本実施形態における符号化ブロックサイズ判定処理のフローチャートである。まず、予め定めたアンカー画素値に対して、色成分の差が大きくなるような特定色域を（Ｙ＿０，Ｃｂ＿０，Ｃｒ＿０）〜（Ｙ＿１，Ｃｂ＿１，Ｃｒ＿２）と定めておく。このとき、アンカー画素値と特定色域の組み合わせは、１つでも複数でも良い。
【０１０９】
次に、図１１におけるステップＳ１１０１の通り、映像符号化装置１００は、符号化対象ピクチャ内の画素値（Ｙ，Ｃｂ，Ｃｒ）がその特定色域（Ｙ＿０，Ｃｂ＿０，Ｃｒ＿０）〜（Ｙ＿１，Ｃｂ＿１，Ｃｒ＿２）に含まれる画素数ｎ＿ｓｐｅｃを計算する。
【０１１０】
次に、図１１におけるステップＳ１１０２の通り、映像符号化装置１００は、符号化対象ピクチャ内の動領域面積ΔＦを算出する。これは、符号化対象ピクチャ内の物体が大きく動いている場合は、符号化処理において輝度成分のみで動き探索を行う際に、色相の異なるブロックを参照画像として選択してしまう可能性が高くなるためである。なお、ΔＦの算出には、符号化対象ピクチャとその隣接ピクチャ間の画素値差分絶対値和を用いる。この画素値差分絶対値和の計算の際、映像符号化装置１００は、ピクチャ内の輝度成分の値のみ又は色差成分の値のみ、又は輝度および色差成分の値を用いる。
【０１１１】
次に、図１１におけるステップＳ１１０３の通り、映像符号化装置１００は、符号化対象ピクチャ内で上記の特定色域に含まれる画素数ｎ＿ｓｐｅｃがある閾値ｅ＿ｓｐｅｃを上回り、かつ符号化対象ピクチャ内の動領域面積ΔＦがある閾値ｆ以上となるかを判断する。この判断がＹＥＳであるとき、当該ピクチャは、色成分の差が大きい画素値を多く含み、かつピクチャ内の物体が大きく動いているために、符号化処理において輝度成分のみで動き探索やモード判定を行うことによる色相の歪みが大きくなると予想される。そこで当該ピクチャ内の当該画素値を符号化する際の予測誤差および量子化誤差が小さくなることを目的として、符号化対象ＣＴＵブロック内の画素値が特定色域に含まれるような場合、その符号化対象ＣＴＵブロックではより分割されるような符号化ブロックサイズを選択するように調整を行う。
【０１１２】
そのため、映像符号化装置１００は、図１１のステップＳ１１０３においてＹＥＳと判断した場合は、図１１におけるステップＳ１１０４の通り、式（４）で示されるＲＤコスト評価式を用いることで、より小さいサイズのＣＵブロックが選択されるようにする。また、図１１におけるステップＳ１１０４の通り、大小ＣＵブロックサイズのコスト値比較を行う際に、大きいほうのＣＵブロックサイズにＯｆｆｓｅｔ値を加算した上でコスト値比較を行うことで、より小さいサイズのＣＵブロックが選択されるようにしても良い。
【０１１３】
映像符号化装置１００は、図１１のステップＳ１１０３においてＮＯと判断した場合は、図１１のステップＳ１１０４の通り、通常のＣＵサイズ判定コスト評価式を用いて、各ＣＵサイズのコスト値を算出し、比較を行う。
【０１１４】
図１１におけるステップＳ１１０６では、映像符号化装置１００は、図１１におけるステップＳ１１０４又はステップＳ１１０５でのＣＵサイズ判定ＲＤコストの比較結果を元に、ＲＤコストが最小となるＣＵサイズを当該ＣＵブロックサイズとして選択する。
【０１１５】
上記の処理は、ＨＥＶＣ符号化における全ＣＵブロックサイズ判定において用いても良いし、別のＣＵブロックサイズ判定アルゴリズムと組み合わせて用いても良い。また、当該ＣＵブロックの分割を１段階とするだけでなく、一度分割して得られたサブブロック領域について同様の処理を適用しても良い。
【０１１６】
続いて、図１２を用いて、本実施形態におけるイントラ／インター予測モード判定方法について説明する。図１２は、本実施形態によるイントラ／インター予測モード処理のフローチャートである。
【０１１７】
まず、図１２におけるＳ１２０１の通り、映像符号化装置１００は、ピクチャ内で上述の特定色域に含まれる画素数ｎ＿ｓｐｅｃを算出する。次に、図１２におけるＳ１２０２の通り、映像符号化装置１００は、符号化対象ピクチャ内の動領域面積ΔＦを計算する。
【０１１８】
次に、図１２におけるＳ１２０３の通り、映像符号化装置１００は、符号化対象ピクチャ内で上記の特定色域に含まれる画素数ｎ＿ｓｐｅｃがある閾値ｅ＿ｓｐｅｃを上回り、かつ符号化対象ピクチャ内の動領域面積ΔＦがある閾値ｆ以上となるかを判断する。ステップＳ１２０３においてＹＥＳと判断される場合、符号化処理において輝度成分のみで動き探索やモード判定を行うことによる色相の歪みが大きくなると予想される。そこで、符号化対象ＣＴＵブロック内の画素値が特定色域に含まれるような場合、符号化対象ＣＴＵブロック内の各ＰＵについて、イントラ予測モードになりやすいような調整を行う。
【０１１９】
そのため、映像符号化装置１００は、ステップＳ１２０３においてＹＥＳと判断した場合、図１２におけるＳ１２０４の通り、符号化対象ＣＴＵブロック内の各ＰＵについてイントラ予測処理およびインター予測処理を実施し、それぞれのＲＤコスト値Ｊ＿Ｉｎｔｒａ、Ｊ＿Ｉｎｔｅｒを得る。ここで、当該ＰＵでの予測モードがイントラモードになるよう、式（７）のようにＪ＿Ｉｎｔｒａ＜Ｊ＿Ｉｎｔｅｒとなるのを目的として係数α（０＜α≦１）を設定する。なお、α＝１のときには、本手法を考慮しない場合の通常のイントラ・インターモード判定コスト評価式として扱う。
【０１２０】
また、図１２におけるステップＳ１２０４においては、本手法におけるイントラ／インターモード判定におけるＲＤコスト比較を行う際に、Ｊ＿Ｉｎｔｒａ＜Ｊ＿Ｉｎｔｅｒとなるのを目的として、Ｊ＿Ｉｎｔｅｒ＝Ｊ＿Ｉｎｔｅｒ＋Ｏｆｆｓｅｔのように、Ｏｆｆｓｅｔ値（０＜Ｏｆｆｓｅｔ）の加算を行うことによって、イントラ予測モードとなるような調整を行っても良い。映像符号化装置１００は、式（７）で得られたコストに対して更にＯｆｆｓｅｔ値の加算を行っても良いし、式（７）の調整の代わりに上記のＯｆｆｓｅｔ値加算による調整をおこなっても良い。
【０１２１】
映像符号化装置１００は、図１２のステップＳ１２０３においてＮＯと判断した場合、図１２のステップＳ１２０５の通り、通常のイントラ・インターモード判定コスト評価式を用いて、ＲＤコスト値Ｊ＿Ｉｎｔｒａ、Ｊ＿Ｉｎｔｅｒを算出し、比較を行う。
【０１２２】
図１２におけるステップＳ１２０６では、映像符号化装置１００は、図１２におけるステップＳ１２０４又はステップＳ１２０５で得られたイントラ／インターモードでのそれぞれのＲＤコスト比較を行う。映像符号化装置１００は、よりＲＤコスト値が小さいものを当該ＣＵ／ＰＵブロックにおける予測モードとし、それぞれ図１２におけるステップＳ１２０７又はステップＳ１２０８の通りイントラ符号化又はインター符号化を行う。
【０１２３】
続いて、図１３を用いて本実施形態における量子化パラメータ調整方法について説明する。図１３は、本実施形態における量子化パラメータ調整処理のフローチャートである。
【０１２４】
まず、図１３におけるＳ１３０１の通り、映像符号化装置１００は、ピクチャ内で前述の特定色域に含まれる画素数ｎ＿ｓｐｅｃを算出する。続いて、図１３におけるＳ１３０２の通り、映像符号化装置１００は、符号化対象ピクチャ内の動領域面積ΔＦを計算する。
【０１２５】
続いて、図１３におけるＳ１３０３の通り、映像符号化装置１００は、符号化対象ピクチャ内で上述の特定色域に含まれる画素数ｎ＿ｓｐｅｃがある閾値ｅ＿ｓｐｅｃを上回り、かつ符号化対象ピクチャ内の動領域面積ΔＦがある閾値ｆ以上であるかを判断する。ステップＳ１３０３においてＹＥＳと判断される場合、符号化処理において輝度成分のみで動き探索やモード判定を行うことによる色相の歪みが大きくなると予想される。そこで、予測誤差および量子化誤差を小さくするために、映像符号化装置１００は、図１３におけるＳ１３０４の通り、前述の特定色域に含まれる符号化対象ＣＴＵブロックを量子化する際の量子化パラメータを式（８）に基づいて調整する。一方、映像符号化装置１００は、ステップＳ１３０３においてＮＯと判断した場合、図１３におけるステップＳ１３０５の通り、通常レート制御アルゴリズム(例えば、ＭＰＥＤ−２  ＴＭ５等）によりＱＰ値を算出する。
【０１２６】
続いて、図１３におけるＳ１３０６の通り、映像符号化装置１００は、図１３におけるＳ１３０４で得られたＱＰ＿Ｎｅｗ又は図１３におけるＳ１３０５で得られたＱＰを用いて、量子化処理を行う。
【０１２７】
ここで、当該ピクチャ内の画素値が特定色域に含まれるかは、１画素ごとに判定を行っても良いし、ある矩形サイズに区切ったブロック内に含まれる画素数からブロック毎の閾値判定を行い、そのブロックがピクチャ内で何個存在するかを閾値判定することで算出しても良い。また、アンカー画素値は、入力ピクチャの平均画素値や、取りうる（Ｙ，Ｃｂ，Ｃｒ）の中間値（例えば、１０ｂｉｔ信号の場合、Ｙ＝Ｃｂ＝Ｃｒ＝５１２）などを用いることで、特定色域を決める際に、平均的に色差が大きくなる色域を選択することが期待できる。
【０１２８】
なお、前述した説明においては、色信号差分の算出において、符号化対象ブロックの入力画素信号と、対象となる画素信号のＬ＊ａ＊ｂ＊空間上での距離ΔＥを用いたが、他の色空間での距離や他の特徴量を用いて実施しても良い。
たとえば、人間の目の特性を考慮した色差式ＣＩＥ２０００（ΔＥ００）において示される尺度のなかで人間の目に敏感な領域に、符号化対象ブロックの入力画素や、同位置の参照画素や、予測ベクトル周辺の参照画素や、その他特定の画素が含まれる割合を元に判定を行って実施しても良い。
また、これら特徴量は入力信号に応じて逐次計算を行っても良いし、予め計算をしておいた値をテーブルとして保持しておき、それを読み出しても良い。
【０１２９】
また、色信号差分の算出方法として、更なる演算量削減のため、ΔＥを用いる代わりに、２点間のＬ＊ａ＊ｂ＊空間上でのＬ＊の距離ΔＬ＊や、ａ＊ｂ＊の距離Δａ＊ｂ＊を用いても良い。特に、色信号差分を算出したい２点の（Ｙ，Ｃｂ，Ｃｒ）の輝度成分（Ｙ）の差が小さい場合でも、色差成分（Ｃｂ，Ｃｒ）の差が大きい場合には、ΔＬ＊の値は大きくなるためである。
【０１３０】
符号化対象ブロックの入力画像信号とその参照画像信号や予測画像信号間の色信号差分があるかを判定する方法として、更なる演算量削減のため、ΔＥを算出し閾値と比較するのではなく、予め色信号差分が大きくなるような色域を定めた特定色域テーブルを複数用意しておき、色信号差分を計算する２つの信号がそれぞれのテーブル範囲に含まれるかを判定することによって、２つの信号間では色信号差分が大きいことを判定してもよい。
【０１３１】
この場合、色信号差分を算出したい画素値をそれぞれ（Ｙ１，Ｃｂ１，Ｃｒ１）、（Ｙ２，Ｃｂ２，Ｃｒ２）とする。次に、色信号差分が大きくなるように定めた色域の組みあわせを（色域Ａ，色域Ｂ）とする。色域Ａ、色域Ｂはそれぞれ（Ｙ，Ｃｂ，Ｃｒ）の範囲で定められる値である。ここで、（Ｙ１，Ｃｂ１，Ｃｒ１）が色域Ａに含まれ、かつ（Ｙ２，Ｃｂ２，Ｃｒ２）が色域Ｂに含まれるとすると、（Ｙ１，Ｃｂ１，Ｃｒ１）と（Ｙ２，Ｃｂ２，Ｃｒ）は色信号差分が大きいと判定し、それ以外の場合は、色信号差分が小さいと判定する。
【０１３２】
以上説明した実施形態によれば、輝度成分を用いてブロックサイズ判定処理、動き探索処理又は予測モード判定処理を行う映像符号化装置が有する誤差低減部は、符号化対象ブロックにおける色相の情報を用いて劣化が目立つ箇所を検出した場合は、符号化対象ブロックの入力画像とその符号化対象ブロックの予測画像との誤差又はその量子化誤差を小さくするよう処理を行う誤差低減ステップを実行する。
【０１３３】
上記の誤差低減ステップは、符号化対象ブロックにおける色相の情報を用いて劣化の程度を表す値を算出する算出ステップと、この算出された値に応じて、符号化ブロックサイズ判定処理において符号化対象ブロックの符号化ブロックサイズを調整する処理と、予測モード判定処理において符号化対象ブロックの予測モードを調整する処理と、符号化対象ブロックを量子化する際の量子化パラメータを決定する量子化パラメータ調整処理において量子化パラメータを調整する処理との少なくともいずれかを行う調整ステップとを有する。
【０１３４】
上記の算出ステップでは、符号化対象ブロックと、参照画像におけるその符号化対象ブロックの周辺のブロックとの間で、あるいは、符号化対象ブロックと、参照画像におけるその符号化対象ブロックと同位置のブロックの間で、それら両ブロックのそれぞれが含まれるフレーム間差分と、それら両ブロックの輝度信号差分と、それら両ブロックの色信号差分とを、劣化の程度を表す値として算出してもよい。なお、色信号差分を、知覚的均等性を考慮した色空間上での座標情報又は同座標における対象の２点間の距離情報を用いて算出してもよい。
【０１３５】
また、上記の算出ステップでは、劣化の程度を表す値として、符号化対象ブロックにおいて特定色域内に画素値が含まれる画素数を算出してもよい。映像符号化装置は、算出された画素数が第１の閾値以上となるかを判定することにより、劣化が目立つ箇所を検出する。例えば、特定色域として、所定のアンカー色に対して明度又は色成分差が大きくなるような色域が定められる。
【０１３６】
また、符号化ブロックサイズ判定処理として、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）映像符号化におけるＣＵ（Ｃｏｄｉｎｇ  Ｕｎｉｔ）サイズ決定方法を用いることができる。調整ステップでは、フレーム間差分が第２の閾値を上回り、前記輝度信号差分が第３の閾値を下回り、かつ、色信号差分が第４の閾値以上となる場合に、符号化ブロックサイズ判定処理においてより小さいＣＵサイズが選択されるように調整を行う。
【０１３７】
また、予測モード判定処理として、ＨＥＶＣ映像符号化におけるイントラ／インター予測モード決定方法を用いることができる。調整ステップでは、フレーム間差分が第２の閾値を上回り、輝度信号差分が第３の閾値を下回り、かつ、色信号差分が第４の閾値以上となる場合に、予測モード判定処理において、符号化対象ブロックに対してイントラ予測モードが選択されやすいように調整を行う。
【０１３８】
また、量子化パラメータ調整処理として、ＨＥＶＣ映像符号化における量子化パラメータ決定方法を用いることができる。調整ステップでは、フレーム間差分が第２の閾値を上回り、輝度信号差分が第３の閾値を下回り、かつ、色信号差分が第４の閾値以上となる場合に、量子化パラメータ調整処理において、符号化対象ブロックに対する量子化パラメータ値がより小さくなるように調整を行う。
【０１３９】
以上に説明したように、本実施形態では、映像符号化装置が符号化を行う際に、従来のように、原画像と予測画像の輝度および色差成分を利用して、全てのブロックサイズ判定、動き探索処理、イントラ／インター予測モード判定を行うのではなく、輝度成分のみを用いてブロックサイズ判定・動き探索処理、イントラ／インターモード判定を行う場合でも、輝度成分のみによって得られた予測残差信号に対してより色信号差分が小さくなるような手段を備えるようにした。色差成分に関して必要な情報はいずれも前処理部から得られるため、すべてのブロックサイズ判定、動き探索処理、イントラ／インター予測モード判定において色差成分を利用する場合と比較して演算量を格段に少なくすることができる。これにより、高色域・高ダイナミックレンジのＨＤＲ映像に対して符号化を行う上で、輝度成分のみを用いたブロックサイズ判定・動き探索処理、イントラ／インターモード判定を行う場合でも、非常に少ない演算量で実現することができる。
【０１４０】
なお、図１における各機能部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記した映像符号化処理を行っても良い。なお、ここで言う「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものを含むものとする。
【０１４１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１４２】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【０１４３】
輝度成分を用いて動き探索やモード判定処理を行う映像符号化装置および映像符号化プログラムに適用できる。
【符号の説明】
【０１４４】
１００…映像符号化装置、１０１…前処理部、１０２…色域変換・色差判定処理部、１０３…符号化ブロック分割処理部、１０４…予測残差信号生成部、１０５…変換・量子化処理部、１０６…エントロピー符号化部、１０７…符号量制御部、１０８…逆量子化・逆変換処理部、１０９…復号信号生成部、１１０…ループフィルタ処理部、１１１…インター予測処理部、１１２…イントラ予測処理部、１１３…イントラ・インター選択部
【図１】
2018050256.tif 000003
【図２】
2018050256.tif 000004
【図３】
2018050256.tif 000005
【図４】
2018050256.tif 000006
【図５】
2018050256.tif 000007
【図６】
2018050256.tif 000008
【図７】
2018050256.tif 000009
【図８】
2018050256.tif 000010
【図９】
2018050256.tif 000011
【図１０】
2018050256.tif 000012
【図１１】
2018050256.tif 000013
【図１２】
2018050256.tif 000014
【図１３】
2018050256.tif 000015