(57)【要約】      （修正有）【課題】ＣＣＰを用いた動画像の符号化効率を向上させる。【解決手段】動画像符号化装置は、入力画像と予測画像の画素差分である、複数の輝度予測誤差と複数の色差予測誤差との演算結果に基き、複数の予測モードに対して算出した第１評価値に基いて所定数の予測モードを選択し、演算結果及び複数の輝度予測誤差に基いて算出した、所定数の予測モード其々に対する第１スケーリング係数を其々量子化して所定数の予測モードに対する第２スケーリング係数を算出し、所定数の予測モードおよび第２スケーリング係数其々を用いて算出した予測誤差の第２評価値に基いて、所定数の予測モードのうちの何れかと複数の第２スケーリング係数のうちの何れかを選択し、選択された予測モードに対応する複数の色差予測誤差から、選択された第２スケーリング係数と選択された予測モードに対応する複数の輝度予測誤差との乗算結果の減算結果を用いて符号化を行う。【選択図】図２
2018074491.tif 000002
【特許請求の範囲】
【請求項１】
複数の予測モードのうちのいずれかを用いて符号化を行う動画像符号化装置であって、
入力画像の各画素の輝度と予測画像の各画素の輝度との差分である複数の輝度予測誤差と、前記入力画像の各画素の色差と前記予測画像の各画素の色差との差分である複数の色差予測誤差と、前記複数の輝度予測誤差と前記複数の色差予測誤差との演算結果と、に基づいて、前記複数の予測モードそれぞれに対する複数の第１の評価値を算出する算出部と、
前記複数の第１の評価値に基づいて、前記複数の予測モードから所定数の予測モードを選択する選択部と、
前記演算結果および前記複数の輝度予測誤差に基づいて、前記所定数の予測モードそれぞれに対する複数の第１のスケーリング係数を算出し、前記複数の第１のスケーリング係数をそれぞれ量子化して前記所定数の予測モードに対する複数の第２のスケーリング係数を算出し、前記所定数の予測モードおよび前記複数の第２のスケーリング係数それぞれを用いたときの予測誤差の複数の第２の評価値を算出し、前記複数の第２の評価値に基づいて、前記所定数の予測モードのうちのいずれかと前記複数の第２のスケーリング係数のうちのいずれかを選択する処理部と、
前記処理部により選択された予測モードに対応する複数の色差予測誤差から、前記処理部により選択された第２のスケーリング係数と前記処理部により選択された予測モードに対応する複数の輝度予測誤差との乗算結果を減算し、該減算の結果を用いて符号化を行う符号化部と、
を備える動画像符号化装置。
【請求項２】
前記選択部は、前記複数の第１の評価値から小さい順に前記所定数の第１の値に対応する前記所定数の予測モードを選択することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記処理部は、前記複数の第２の評価値のうちの最小の評価値に対応する予測モードおよび第２のスケーリング係数を選択することを特徴とする請求項１または２記載の動画像符号化装置。
【請求項４】
前記算出部は、前記複数の予測モードそれぞれに対する前記複数の輝度予測誤差の第１の二乗和を算出し、前記複数の予測モードそれぞれに対する前記複数の色差予測誤差の第２の二乗和を算出し、前記複数の予測モードそれぞれに対する前記複数の輝度予測誤差と前記複数の色差予測誤差との複数の積和を前記演算結果として算出し、前記第１の二乗和と前記複数の積和とを記憶部に記憶し、
前記処理部は、前記記憶部に記憶された前記第１の二乗和および前記複数の積和を用いて、前記所定数の予測モードそれぞれを用いたときの前記複数の第２の評価値を算出することを特徴とする請求項１乃至３記載のいずれか１項に記載の動画像符号化装置。
【請求項５】
複数の予測モードのうちのいずれかを用いて符号化を行う動画像符号化装置が
入力画像の各画素の輝度と予測画像の各画素の輝度との差分である複数の輝度予測誤差と、前記入力画像の各画素の色差と前記予測画像の各画素の色差との差分である複数の色差予測誤差と、前記複数の輝度予測誤差と前記複数の色差予測誤差との演算結果と、に基づいて、前記複数の予測モードそれぞれに対する複数の第１の評価値を算出し、
前記複数の第１の評価値に基づいて、前記複数の予測モードから所定数の予測モードを選択し、
前記演算結果および前記複数の輝度予測誤差に基づいて、前記所定数の予測モードそれぞれに対する複数の第１のスケーリング係数を算出し、
前記複数の第１のスケーリング係数をそれぞれ量子化して前記所定数の予測モードに対する複数の第２のスケーリング係数を算出し、
前記所定数の予測モードおよび前記複数の第２のスケーリング係数それぞれを用いたときの予測誤差の複数の第２の評価値を算出し、
前記複数の第２の評価値に基づいて、前記所定数の予測モードのうちのいずれかと前記複数の第２のスケーリング係数のうちのいずれかを選択し、
前記選択された予測モードに対応する複数の色差予測誤差から、前記選択された第２のスケーリング係数と前記選択された予測モードに対応する複数の輝度予測誤差との乗算結果を減算し、該減算の結果を用いて符号化を行う
処理を有する動画像符号化方法。
【請求項６】
複数の予測モードのうちのいずれかを用いて符号化を行うコンピュータが、
入力画像の各画素の輝度と予測画像の各画素の輝度との差分である複数の輝度予測誤差と、前記入力画像の各画素の色差と前記予測画像の各画素の色差との差分である複数の色差予測誤差と、前記複数の輝度予測誤差と前記複数の色差予測誤差との演算結果と、に基づいて、前記複数の予測モードそれぞれに対する複数の第１の評価値を算出し、
前記複数の第１の評価値に基づいて、前記複数の予測モードから所定数の予測モードを選択し、
前記演算結果および前記複数の輝度予測誤差に基づいて、前記所定数の予測モードそれぞれに対する複数の第１のスケーリング係数を算出し、
前記複数の第１のスケーリング係数をそれぞれ量子化して前記所定数の予測モードに対する複数の第２のスケーリング係数を算出し、
前記所定数の予測モードおよび前記複数の第２のスケーリング係数それぞれを用いたときの予測誤差の複数の第２の評価値を算出し、
前記複数の第２の評価値に基づいて、前記所定数の予測モードのうちのいずれかと前記複数の第２のスケーリング係数のうちのいずれかを選択し、
前記選択された予測モードに対応する複数の色差予測誤差から、前記選択された第２のスケーリング係数と前記選択された予測モードに対応する複数の輝度予測誤差との乗算結果を減算し、該減算の結果を用いて符号化を行う
処理を前記コンピュータに実行させる動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、および動画像符号化プログラムに関する。
【背景技術】
【０００２】
動画像データは、非常に大きなデータ量を有することが多い。このため、送信装置から受信装置へ動画像データを送信する場合、又は動画像データを記憶装置に格納する場合には、動画像データの圧縮符号化が行われる。
【０００３】
代表的な動画像符号化標準としては、Moving Picture Experts Group phase 2（ＭＰＥＧ−２）、ＭＰＥＧ−４、又はH.264 MPEG-4 Advanced Video Coding（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）が知られている。これらの動画像符号化標準は、International Organization for Standardization/International Electrotechnical Commission（ＩＳＯ／ＩＥＣ）により策定されている。
【０００４】
上述した動画像符号化標準は、インター予測符号化とイントラ予測符号化の２つの符号化方式を採用している。インター予測符号化は、符号化対象ピクチャを符号化済みピクチャの情報を用いて符号化する符号化方式であり、イントラ予測符号化は、符号化対象ピクチャが持つ情報のみを用いて符号化対象ピクチャを符号化する符号化方式である。
【０００５】
２０１３年１月には、High Efficiency Video Coding（ＨＥＶＣ）と呼ばれる次世代動画像符号化標準が、Joint Collaborative Team on Video Coding（ＪＣＴＶＣ）と呼ばれる組織により策定された（例えば、非特許文献１および非特許文献２を参照）。ＪＣＴＶＣは、International Telecommunication Union Telecommunication Standardization Sector（ＩＴＵ−Ｔ）とＩＳＯ／ＩＥＣが共同で運営している組織である。
【０００６】
ＨＥＶＣは、Sample Adaptive Offset（ＳＡＯ）と呼ばれる新たなフィルタ、及びＨ．２６４が策定されたときにはハードウェアの制限により実装することが困難であったツールなどを導入することで、Ｈ．２６４の２倍の符号化効率を達成している。
【０００７】
さらに、ＪＣＴＶＣは、ＨＥＶＣの拡張として、スクリーンコンテンツ向けの符号化標準であるScreen Content Coding（ＳＣＣ）を策定している。ＳＣＣは、パーソナルコンピュータ（ＰＣ）のデスクトップ画面等の人工的な映像を効率的に符号化するための符号化標準である。ＳＣＣは、クラウド上のサーバから送信される映像を圧縮する用途のように、これからの時代に適した符号化標準として期待されている。
【０００８】
ＳＣＣは、ＰＣの画面等の人工的な映像を扱うことを目的としており、その圧縮対象となる映像には、医療用の映像、Computer Aided Design（ＣＡＤ）の映像等も含まれる。このため、ＳＣＣにはＲＧＢ色空間、４：４：４色空間等を考慮したツールが含まれている。これらの映像は、自然画像と比較して色成分の空間的相関がより高く、また、使用される色の数が制限される場合が多いため、ＳＣＣで追加されたツールは、このような映像の特性を利用して符号化効率の向上を実現している。
【０００９】
ＳＣＣで追加された代表的なツールとしては、Cross Component Prediction（ＣＣＰ）、Adaptive Color Transform（ＡＣＴ）、パレット符号化等が挙げられる。ＣＣＰは、それぞれの色成分の予測誤差間の相関を利用して、予測誤差を削減する技術であり、ＡＣＴは、予測誤差に対して、例えば、ＹＣｏＣｇ色空間からＲＧＢ色空間への変換を適用することで、色成分間の相関を削減する技術である。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】JCTVC-V1005, “High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 5”, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, October 2015
【非特許文献２】JCTVC-V1002, “High Efficiency Video Coding (HEVC) Test Model 16 (HM 16) Improved Encoder Description Update 4”, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, October 2015
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ＣＣＰを用いた動画像の符号化に際して、使用する予測モードやパラメータが決定されるが、従来の方法では、最適な予測モードやパラメータが決定されず、符号化効率が悪い場合がある。
【００１２】
本発明の課題は、ＣＣＰを用いた動画像の符号化効率を向上させることである。
【課題を解決するための手段】
【００１３】
実施の形態に係る動画像符号化装置は、複数の予測モードのうちのいずれかを用いて符号化を行う。前記動画像符号化装置は、算出部、選択部、処理部、および符号化部を備える。
【００１４】
前記算出部は、入力画像の各画素の輝度と予測画像の各画素の輝度との差分である複数の輝度予測誤差と、前記入力画像の各画素の色差と前記予測画像の各画素の色差との差分である複数の色差予測誤差と、前記複数の輝度予測誤差と前記複数の色差予測誤差との演算結果と、に基づいて、前記複数の予測モードそれぞれに対する複数の第１の評価値を算出する。
【００１５】
前記選択部は、前記複数の第１の評価値に基づいて、前記複数の予測モードから所定数の予測モードを選択する。
【００１６】
前記処理部は、前記演算結果および前記複数の輝度予測誤差に基づいて、前記所定数の予測モードそれぞれに対する複数の第１のスケーリング係数を算出し、前記複数の第１のスケーリング係数をそれぞれ量子化して前記所定数の予測モードに対する複数の第２のスケーリング係数を算出し、前記所定数の予測モードおよび前記複数の第２のスケーリング係数それぞれを用いたときの予測誤差の複数の第２の評価値を算出し、前記複数の第２の評価値に基づいて、前記所定数の予測モードのうちのいずれかと前記複数の第２のスケーリング係数のうちのいずれかを選択する。
【００１７】
前記符号化部は、前記処理部により選択された予測モードに対応する複数の色差予測誤差から、前記処理部により選択された第２のスケーリング係数と前記処理部により選択された予測モードに対応する複数の輝度予測誤差との乗算結果を減算し、該減算の結果を用いて符号化を行う。
【発明の効果】
【００１８】
実施の形態によれば、ＣＣＰを用いた動画像の符号化効率を向上させることができる。
【図面の簡単な説明】
【００１９】
【図１】ＣＣＰの処理を示す図である。
【図２】実施の形態に係る動画像符号化装置の構成図である。
【図３】実施の形態に係るスケーリング決定部の構成図である。
【図４】実施の形態に係る予測モード・スケーリング係数決定処理のフローチャートである。
【図５】情報処理装置（コンピュータ）の構成図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら実施の形態について説明する。
先ず、ＣＣＰの処理について説明する。
【００２１】
図１は、ＣＣＰの処理を示す図である。
図１では、輝度の原画像orgyと色差の原画像orgcが入力として与えられている。
【００２２】
所定の方法により、予測モードが決定され、決定された予測モードに基づいて、予測画像生成部２１は、輝度の予測画像predyを生成する。また、予測画像生成部２２は、決定された予測モードに基づいて、色差の予測画像predcを生成する。減算部２３は、輝度の原画像orgyの各画素の画素値から輝度の予測画像predyの各画素の画素値を減算して輝度の予測誤差ry（=orgy-predy）を算出する。また、減算部２４は、色差の原画像orgcの各画素の画素値から色差の予測画像predcの各画素の画素値を減算して色差の予測誤差rc（=orgc-predc）を算出する。
【００２３】
乗算部２５は、輝度の予測誤差ryにスケーリング係数αを乗算してスケール輝度予測誤差αryを算出する。減算部２６は、色差の予測誤差rcからスケール輝度予測誤差αryを減算してＣＣＰ誤差rc’（=rc-αry）を算出する。
【００２４】
直交変換・量子化部２７は、輝度予測誤差ryに対して直交変換と量子化を行い、符号化対象となるデータを算出する。直交変換・量子化部２８は、ＣＣＰ誤差rc’に対して直交変換と量子化を行い、符号化対象となるデータを算出する。直交変換および量子化がされた輝度予測誤差ryとＣＣＰ誤差rc’は、エントロピー符号化される。。
【００２５】
ＣＣＰでは、色差予測誤差から輝度予測誤差にスケーリング係数αを乗算したスケール輝度予測誤差αryを減算した差分（ＣＣＰ誤差）を算出し、輝度予測誤差とＣＣＰ誤差を符号化している。
【００２６】
ＣＣＰでは、複数の予測モードそれぞれの場合の予測誤差を評価し、当該評価に基づいて、使用する予測モードとスケーリング係数αを決定している。
【００２７】
非特許文献２の方法では、予測誤差評価値＝Σry(i,j)2+Σrc(i,j)2が最小となる予測モードを決定し、その後にＣＣＰスケーリング係数αを求めている。尚、iは画素のｘ（横）方向の座標、ｊは画素のｙ（縦）方向の座標を示す。
【００２８】
しかしながら、ＣＣＰを用いた場合に符号化されるのは、予測誤差ryとＣＣＰ誤差rc’である。非特許文献２では、予測誤差評価値＝Σry(i,j)2+Σrc(i,j)2を最小とする予測モードを求めているだけであって、実際に符号化される予測誤差ryとＣＣＰ誤差rc’からなる予測誤差評価値＝Σry(i,j)2+Σrc’(i,j)2を最小とする予測モードを用いているわけではない。そのため、符号化効率の観点より、非特許文献２の方法では最適な予測モードとならない可能性がある。次に実施の形態の予測モードとスケーリング係数の決定方法について説明する。
【００２９】
輝度予測誤差の二乗和Σry(i,j)2とＣＣＰ誤差の二乗和Σrc’(i,j)の合計である予測誤差の評価値diffは、下式（１）のように表され、下式（１）を変形すると評価値diffは、下式（２）のように表される。
【００３０】
【数１】
2018074491.tif 000003
【００３１】
上式（２）に示すように、評価値diffは、スケーリングに関連する項（スケーリング項）と予測誤差のみの項（誤差項）に分離できる。
【００３２】
式（２）において、スケーリング項は、
【数２】
2018074491.tif 000004
である。
【００３３】
式（２）において、誤差項は、
【数３】
2018074491.tif 000005
である。
【００３４】
実施の形態の予測モードの決定方法では、予め用意された複数の予測モードそれぞれの場合の誤差項を計算する。予め用意された複数の予測モードは、イントラ予測符号化における複数の予測方向およびインター符号化における複数の動きベクトルを含む。
【００３５】
そして、得られた複数の誤差項のうち、小さいものから順に所定数の誤差項に対応する予測モードを予測モードの候補として選択する。
【００３６】
スケーリング項は、理想的にはスケーリング係数αを適切に設定することによって、値を０にすることができる。
【００３７】
具体的には、スケーリング係数αをα＝Σry(i,j)rc(i,j)／Σry(i,j)2とすることでスケーリング項の値を０にすることができる。
【００３８】
ＣＣＰにおけるスケーリング係数は、例えば、ＨＥＶＣ等においては離散値が用いられる。よって、スケーリング係数αを量子化し、ＣＣＰで用いられるスケーリング係数αｑを算出する。例えば、スケールリング係数αｑは、−８／８，−４／８，−２／８，−１／８，０／８，１／８，２／８，４／８，または８／８のいずれかが用いられる。スケーリング係数αは、量子化により上記のスケール係数αｑのうち、一番近い値に量子化される。ＨＥＶＣ等においては離散値であるスケーリング係数αｑが用いられるため、スケーリング項を０にすることが必ずしも出来るわけではない。
【００３９】
予測モードの候補それぞれに対応するスケーリング係数αを算出し、スケーリング係数αを量子化する。スケーリング係数αを量子化したスケーリング係数αqを用いて、予測モードの候補それぞれの予測誤差の評価値diffを算出する。算出された予測誤差の評価値diffのうち、最小の予測誤差の評価値diffに対応する予測モードとスケーリング係数αｑを使用する予測モードとスケーリング係数αｑとして決定する。
【００４０】
実施の形態の予測モードとスケーリング係数の決定方法によれば、予測誤差の評価値のうち誤差項に基づいて、予測モードとスケーリング係数の候補を絞り込み、絞り込まれた候補のみでスケーリング項の量子化誤差を考慮した予測誤差の評価値を算出することで、低演算量で最適な予測モードとスケーリング係数を求めることが出来る。
【００４１】
図２は、実施の形態に係る動画像符号化装置の構成図である。
動画像符号化装置１０１は、減算部１１１、ＣＣＰ部１１２、変換部１１３、量子化部１１４、エントロピー符号化部１１５、逆量子化部１１６、逆変換部１１７、加算部１１８、イントラ予測部１１９、インター予測部１２０、復号画像記憶部１２１、予測モード・スケーリング係数決定部２０１、および予測画像出力部３０１を備える。
【００４２】
動画像符号化装置１０１は、例えば、ハードウェア回路として実装することができる。この場合、動画像符号化装置１０１の各構成要素を個別の回路として実装してもよく、１つの集積回路として実装してもよい。
【００４３】
減算部１１１は、入力された原画像の各画素の画素値と予測画像出力部３０１から出力される予測画像の各画素の画素値との差分（予測誤差）を、ＣＣＰ部１１２または変換部１１３へ出力する。減算部１１１は、ＣＣＰを用いた符号化が行われる場合は、ＣＣＰ部１１２に予測誤差を出力し、ＣＣＰを用いずに符号化が行われる場合は、変換部１１３へ予測誤差を出力する。予測誤差は、輝度の予測誤差ryおよび色差の予測誤差rcを含む。原画像は、例えば、符号化対象である動画像を構成する複数の画像のうちのある画像が所定のサイズで複数のブロックに分割されたうちの１つのブロックである。
【００４４】
ＣＣＰ部１１２は、予測モード・スケーリング係数決定部２０１から入力されるスケーリング係数αｑを用いてＣＣＰを行う。すなわち、ＣＣＰ部１１２は、色差の予測誤差rcからスケール輝度予測誤差αｑryを減算してＣＣＰ誤差rc’を算出し、変換部１１３に出力する。また、ＣＣＰ部１１２は、輝度の予測誤差ryを変換部１１３に出力する。
【００４５】
変換部１１３は、直交変換によって、予測誤差を空間信号から空間周波数信号に変換し、水平方向及び垂直方向の周波数成分に分離された周波数信号を、量子化部１１４へ出力する。
【００４６】
量子化部１１４は、変換部１１３から出力される周波数信号を、所定のステップサイズで量子化して、エントロピー符号化部１１５及び逆量子化部１１６へ出力する。量子化を行うことによって、周波数信号がスケールダウンされ、符号量が削減される。
【００４７】
エントロピー符号化部１１５は、量子化部１１４からの出力された量子化された周波数信号と予測モード・スケーリング係数決定部２０１から出力される予測モードの情報とスケーリング係数αｑをエントロピー符号化する。エントロピー符号化では、信号中の各シンボルの出現頻度に応じて、可変長符号が割り当てられる。そして、エントロピー符号化部１１５は、可変長符号を含むビットストリームを出力する。
【００４８】
逆量子化部１１６は、量子化部１１４からの出力を逆量子化することで、信号を元のスケールに戻し、逆量子化された周波数信号を逆変換部１１７へ出力する。
【００４９】
逆変換部１１７は、逆直交変換によって、逆量子化部１１６から出力される周波数信号を空間信号に戻し、再構成予測誤差信号を加算部１１８へ出力する。
【００５０】
加算部１１８は、予測画像出力部３０１から出力される予測画像と、再構成予測誤差信号とを加算することで復号画像を生成し、生成した復号画像をイントラ予測部１１９および復号画像記憶部１２１へ出力する。
【００５１】
イントラ予測部１１９は、参照画像を用いて、符号化対象画像内の既に符号化された周辺画素の画素値から、原画像に対するイントラ予測画像を生成し、イントラ予測画像を予測画像出力部３０１および予測モード・スケーリング係数決定部２０１へ出力する。
【００５２】
インター予測部１２０は、参照画像を用いて、原画像に対する動き補償を行うことで、インター予測画像を生成し、予測画像出力部３０１および予測モード・スケーリング係数決定部２０１へ出力する。
【００５３】
復号画像記憶部１２１は、復号画像を蓄積し、蓄積された復号画像を参照画像として、インター予測部１２０へ出力する。
【００５４】
予測モード・スケーリング係数決定部２０１は、原画像の符号化において、利用される予測モードおよびスケーリング係数αｑを決定する。
【００５５】
予測画像出力部３０１は、予測モード・スケーリング係数決定部２０１から入力される予測モードを示す情報に基づいて、イントラ予測部１１９から出力されるイントラ予測画像またはインター予測部１２０から出力されるインター予測画像のいずれか一方を選択し、選択した予測画像を減算部１１１および加算部１１８へ出力する。
【００５６】
図３は、実施の形態に係る予測モード・スケーリング係数決定部の構成図である。
予測モード・スケーリング係数決定部２０１は、予測画像切り替え部２０２、輝度予測誤差算出部２０３、色差予測誤差算出部２０４、輝度予測誤差評価値算出部２０５、輝度・色差予測誤差相関算出部２０６、色差予測誤差評価値算出部２０７、誤差項算出部２０８、予測モード絞込み部２０９、統計量保存部２１０、およびスケーリング係数決定部２１１を備える。
【００５７】
予測画像切り替え部２０２は、インター予測画像およびイントラ予測画像のいずれかを予測画像として輝度予測誤差算出部２０３および色差予測誤差算出部２０４に出力する。
【００５８】
輝度予測誤差算出部２０３は、輝度の原画像の各画素の画素値と輝度の予測画像の各画素の画素値との差分である輝度予測誤差ry(i,j)を算出する。
【００５９】
色差予測誤差算出部２０４は、色差の原画像の各画素の画素値と色差の予測画像の各画素の画素値との差分である色差予測誤差rc(i,j)を算出する。
【００６０】
輝度予測誤差評価値算出部２０５は、輝度予測誤差評価値を算出する。輝度予測誤差評価値は、輝度予測誤差の二乗和（＝Σry(i,j)2）である。輝度予測誤差評価値算出部２０５は、算出した輝度予測誤差評価値を誤差項算出部２０８および統計量保存部２１０に出力する。
【００６１】
輝度・色差予測誤差相関算出部２０６は、輝度予測誤差と色差予測誤差との積和（＝Σry(i,j)rc(i,j)）を算出する。輝度・色差予測誤差相関算出部２０６は、算出した積和を誤差項算出部２０８および統計量保存部２１０に出力する。輝度予測誤差と色差予測誤差との積和は、演算結果の一例である。
【００６２】
色差予測誤差評価値算出部２０７は、色差予測誤差評価値を算出する。輝度予測誤差評価値は、色差予測誤差の二乗和（＝Σrc(i,j)2）である。
【００６３】
誤差項算出部２０８は、輝度予測誤差評価値算出部２０５から入力された輝度予測誤差評価値、色差予測誤差評価値算出部２０７から入力された色差予測誤差評価値、および輝度・色差予測誤差相関算出部２０６から入力された積和を用いて誤差項（=-(Σry(i,j)rc(i,j))2/Σry(i,j)2+Σrc(i,j)2+Σry(i,j)2）の値を算出する。輝度予測誤差評価値算出部２０５、輝度・色差予測誤差相関算出部２０６、色差予測誤差評価値算出部２０７、および誤差項算出部２０８は、算出部の一例である。
【００６４】
予測モード絞込み部２０９は、算出した複数の誤差項の値のうち、小さいものから順に所定数の誤差項の値に対応する予測モードを予測モードの候補として選択する。予測モード絞込み部２０９は、選択部の一例である。誤差項の値に対応する予測モードは、当該誤差項の値の算出時に選択されている予測モードである。
【００６５】
統計量保存部２１０は、輝度予測誤差評価値算出部２０５から出力された輝度予測誤差の二乗和（＝Σry(i,j)2）および輝度・色差予測誤差相関算出部２０６から出力された輝度予測誤差と色差予測誤差との積和（＝Σry(i,j)rc(i,j)）を当該二乗和または当該積和の算出時に用いられた予測モードと対応づけて記憶する。実施の形態において、輝度予測誤差の二乗和および輝度予測誤差と色差予測誤差との積和を統計量と称する。統計量保存部２１０は、記憶部の一例である。
【００６６】
スケーリング係数決定部２１１は、予測モード候補それぞれに対応するスケーリング係数αを算出する。スケーリング係数αは、α＝Σry(i,j)rc(i,j)／Σry(i,j)2により算出される。スケーリング係数決定部２１１は、スケーリング係数αを量子化して、予測モード候補それぞれに対応するスケーリング係数αｑを算出する。スケーリング係数決定部２１１は、予測モード候補それぞれに対応するスケーリング係数αｑを用いて、予測モード候補それぞれの予測誤差の評価値diffを算出する。スケーリング係数決定部２１１は、予測モード絞り込み部２０９が選択した複数の予測モードのうち、最小の予測誤差の評価値diffに対応する予測モードを選択し、選択した予測モードを示す情報をＣＣＰ部１１２、エントロピー符号化部１１５、および予測画像出力部３０１に出力する。
【００６７】
スケーリング係数決定部２１１は、最小の予測誤差の評価値diffに対応するスケーリング係数αｑをＣＣＰ部１１２およびエントロピー符号化部１１５に出力する。スケーリング係数決定部２１１は、処理部の一例である。
【００６８】
図４は、実施の形態に係る予測モード・スケーリング係数決定処理のフローチャートである。
【００６９】
ステップＳ５０１は、ループの始端であり、動画像符号化装置１０１により、予め用意された複数の予測モードのうちで未選択の予測モードが１つ選択される。
【００７０】
ステップＳ５０２において、選択された予測モードに基づいて、イントラ予測部１１９でイントラ予測画像またはインター予測部１２０でインター予測画像が生成される。予測画像切り替え部２０２は、選択された予測モードに基づいて、インター予測画像およびイントラ予測画像のいずれかを予測画像として輝度予測誤差算出部２０３および色差予測誤差算出部２０４に出力する。
【００７１】
ステップＳ５０３において、輝度予測誤差評価値算出部２０５は、輝度予測誤差評価値（＝Σry(i,j)2）を算出する。
【００７２】
ステップＳ５０４において、色差予測誤差評価値算出部２０７は、色差予測誤差評価値（＝Σrc(i,j)2）を算出する。
【００７３】
ステップＳ５０５において、輝度・色差予測誤差相関算出部２０６は、輝度予測誤差と色差予測誤差との積和（＝Σry(i,j)rc(i,j)）を算出する。
【００７４】
尚、ステップＳ５０３〜Ｓ５０５は、並列に実行しても良く、また順番を入れ替えて実行してもよい。
【００７５】
ステップＳ５０６において、誤差項算出部２０８は、選択された予測モードに対する誤差項の値を算出する。誤差項算出部２０８は、輝度予測誤差評価値算出部２０５から入力された輝度予測誤差評価値、色差予測誤差評価値算出部２０７から入力された色差予測誤差評価値、および輝度・色差予測誤差相関算出部２０６から入力された積和を用いて選択された予測モードに対する誤差項の値を計算する。
【００７６】
ステップＳ５０７において、輝度予測誤差評価値算出部２０５は、算出した輝度予測誤差評価値を統計量保存部２１０に出力する。輝度・色差予測誤差相関算出部２０６は、算出した積和を統計量保存部２１０に出力する。統計量保存部２１０は、輝度予測誤差評価値算出部２０５および輝度・色差予測誤差相関算出部２０６から出力された統計量（輝度予測誤差評価値および積和）を選択された予測モードと対応付けて記憶する。
【００７７】
尚、ステップＳ５０６、Ｓ５０７は、並列に実行しても良く、また順番を入れ替えて実行してもよい。
【００７８】
ステップＳ５０８は、ステップＳ５０１に対するループの終端であり、予め用意された複数の予測モードのうちで未選択の予測モードがある場合には、制御はステップＳ５０１に戻る。予め用意された複数の予測モードの全てを選択済みの場合（すなわち、予め用意された複数の予測モードの全てに対する誤差項を計算済みの場合）、制御はステップＳ５０９に進む。
【００７９】
ステップＳ５０９において、予測モード絞込み部２０９は、算出した複数の誤差項の値のうち、小さいものから順に所定数（例えば、３〜５）の誤差項の値に対応する予測モードを予測モードの候補として選択する。以下、選択された予測モードの候補は、予測モード候補と称する。
【００８０】
ステップＳ５１０において、スケーリング係数決定部２１１は、予測モード候補それぞれに対応するスケーリング係数αを算出する。
【００８１】
ステップＳ５１１において、スケーリング係数決定部２１１は、予測モード候補それぞれに対応するスケーリング係数αを量子化し、スケーリング係数αｑを算出する。スケーリング係数決定部２１１は、スケーリング係数αｑと統計量保存部２１０に記憶されている統計量とを用いて、予測モード候補それぞれに対応する量子化誤差を算出する。量子化誤差は、量子化誤差＝（αｑ−（Σry(i,j)rc(i,j)/Σry(i,j)2））２である。以前に算出した統計量（Σry(i,j)rc(i,j)およびΣry(i,j)2）を統計量保存部２１０から読み出して、量子化誤差の算出に使用することで、Σry(i,j)rc(i,j)およびΣry(i,j)2を再度計算する必要が無くなり、演算量を低減できる。
【００８２】
ステップＳ５１２において、ループの始端であり、所定数の予測モード候補のうちで未選択の予測モード候補が１つ選択される。
【００８３】
ステップＳ５１３において、スケーリング係数決定部２１１は、予測モード候補それぞれに対応する予測誤差の評価値diff（上式（２）参照）を算出する。スケーリング係数決定部２１１は、予測誤差の評価値diffの算出において、ステップＳ５０６で算出した誤差項の値とステップＳ５１１で算出した量子化誤差と統計量保存部２１０に記憶された統計量（Σry(i,j)2）を用いて算出してもよい。スケーリング係数決定部２１１は、予測誤差の評価値diff＝Σry(i,j)2＊量子化誤差＋誤差項を計算する。以前に算出した誤差項の値と量子化誤差とΣry(i,j)2とを用いて、予測誤差の評価値diffを算出することで、再度のΣry(i,j)2、Σrc(i,j)2、およびΣry(i,j)rc(i,j)の計算が必要なくなるため、演算量を低減することが可能となる。
【００８４】
ステップＳ５１４において、ステップＳ５１２に対するループの終端であり、予測モード候補のうちで未選択の予測モード候補がある場合には、制御はステップＳ５１２に戻る。予測モード候補の全てを選択済みの場合（すなわち、予測モード候補の全てに対する予測誤差の評価値diffを計算済みの場合）、制御はステップＳ５１５に進む。
【００８５】
ステップＳ５１５において、スケーリング係数決定部２１１は、最小の予測誤差の評価値diffに対応する予測モードを原画像の符号化時に利用する予測モードとして決定（選択）する。また、スケーリング係数決定部２１１は、最小の予測誤差の評価値diffに対応するスケーリング係数αｑを原画像の符号化時に利用するスケーリング係数αｑとして決定（選択）する。スケーリング係数決定部２１１は、選択した予測モードを示す情報をＣＣＰ部１１２、エントロピー符号化部１１５、および予測画像出力部３０１に出力する。スケーリング係数決定部２１１は、選択したスケーリング係数αｑをＣＣＰ部１１２およびエントロピー符号化部１１５に出力する。
【００８６】
実施の形態に係る動画像符号化装置によれば、ＣＣＰを利用した動画像符号化を行う際、符号化される輝度の予測誤差とＣＣＰ誤差を小さくする最適な予測モードを決定することができる。それにより、符号化効率を向上させることができる。また、実施の形態に係る動画像符号化装置によれば、ＣＣＰに用いられるスケーリング係数の決定における演算量を低減することができる。
【００８７】
図５は、情報処理装置（コンピュータ）の構成図である。
図２の動画像符号化装置１０１は、ハードウェア回路として実装することもでき、図５に示すような情報処理装置（コンピュータ）１を用いて実装することもできる。
【００８８】
情報処理装置１は、ＣＰＵ２、メモリ３、入力装置４、出力装置５、記憶部６、記録媒体駆動部７、及びネットワーク接続装置８を備え、それらはバス９により互いに接続されている。
【００８９】
ＣＰＵ２は、情報処理装置１全体を制御する中央処理装置である。ＣＰＵ２は、減算部１１１、ＣＣＰ部１１２、変換部１１３、量子化部１１４、エントロピー符号化部１１５、逆量子化部１１６、逆変換部１１７、加算部１１８、イントラ予測部１１９、インター予測部１２０、予測モード・スケーリング係数決定部２０１、および予測画像出力部３０１として動作する。
【００９０】
メモリ３は、プログラム実行の際に、記憶部６（あるいは可搬記録媒体１０）に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ＲＯＭ)やRandom Access Memory(ＲＡＭ)等のメモリである。ＣＰＵ２は、メモリ３を利用してプログラムを実行することにより、上述した各種処理を実行する。メモリ３は、復号画像記憶部１２１、統計量保存部２１０に対応する。
【００９１】
この場合、可搬記録媒体１０等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
【００９２】
入力装置４は、ユーザ又はオペレータからの指示や情報の入力、情報処理装置１で用いられるデータの取得等に用いられる。入力装置４は、例えば、キーボード、マウス、タッチパネル、カメラ、またはセンサ等である。
【００９３】
出力装置５は、ユーザ又はオペレータへの問い合わせや処理結果を出力したり、ＣＰＵ２による制御により動作する装置である。出力装置５は、例えば、ディスプレイ、またはプリンタ等である。
【００９４】
記憶部６は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置１は、記憶部６に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ３に読み出して使用する。
【００９５】
記録媒体駆動部７は、可搬記録媒体１０を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(ＣＤ−ＲＯＭ)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体１０に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ３に読み出して使用する。
【００９６】
ネットワーク接続装置８は、Local Area Network（ＬＡＮ）やWide Area Network（ＷＡＮ）等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インターフェースである。ネットワーク接続装置８は、通信ネットワークを介して接続された装置へデータの送信または通信ネットワークを介して接続された装置からデータを受信する。
【００９７】
尚、情報処理装置１が図５のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインターフェースが不要の場合は、入力装置４および出力装置５を省略してもよい。また、情報処理装置１が可搬記録媒体１０にアクセスしない場合は、記録媒体駆動部７を省略してもよい。
【００９８】
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
複数の予測モードのうちのいずれかを用いて符号化を行う動画像符号化装置であって、
入力画像の各画素の輝度と予測画像の各画素の輝度との差分である複数の輝度予測誤差と、前記入力画像の各画素の色差と前記予測画像の各画素の色差との差分である複数の色差予測誤差と、前記複数の輝度予測誤差と前記複数の色差予測誤差との演算結果と、に基づいて、前記複数の予測モードそれぞれに対する複数の第１の評価値を算出する算出部と、
前記複数の第１の評価値に基づいて、前記複数の予測モードから所定数の予測モードを選択する選択部と、
前記演算結果および前記複数の輝度予測誤差に基づいて、前記所定数の予測モードそれぞれに対する複数の第１のスケーリング係数を算出し、前記複数の第１のスケーリング係数をそれぞれ量子化して前記所定数の予測モードに対する複数の第２のスケーリング係数を算出し、前記所定数の予測モードおよび前記複数の第２のスケーリング係数それぞれを用いたときの予測誤差の複数の第２の評価値を算出し、前記複数の第２の評価値に基づいて、前記所定数の予測モードのうちのいずれかと前記複数の第２のスケーリング係数のうちのいずれかを選択する処理部と、
前記処理部により選択された予測モードに対応する複数の色差予測誤差から、前記処理部により選択された第２のスケーリング係数と前記処理部により選択された予測モードに対応する複数の輝度予測誤差との乗算結果を減算し、該減算の結果を用いて符号化を行う符号化部と、
を備える動画像符号化装置。
（付記２）
前記選択部は、前記複数の第１の評価値から小さい順に前記所定数の第１の値に対応する前記所定数の予測モードを選択することを特徴とする付記１記載の動画像符号化装置。
（付記３）
前記処理部は、前記複数の第２の評価値のうちの最小の評価値に対応する予測モードおよび第２のスケーリング係数を選択することを特徴とする付記１または２記載の動画像符号化装置。
（付記４）
前記算出部は、前記複数の予測モードそれぞれに対する前記複数の輝度予測誤差の第１の二乗和を算出し、前記複数の予測モードそれぞれに対する前記複数の色差予測誤差の第２の二乗和を算出し、前記複数の予測モードそれぞれに対する前記複数の輝度予測誤差と前記複数の色差予測誤差との複数の積和を前記演算結果として算出し、前記第１の二乗和と前記複数の積和とを記憶部に記憶し、
前記処理部は、前記記憶部に記憶された前記第１の二乗和および前記複数の積和を用いて、前記所定数の予測モードそれぞれを用いたときの前記複数の第２の評価値を算出することを特徴とする付記１乃至３のいずれか１項に記載の動画像符号化装置。
（付記５）
複数の予測モードのうちのいずれかを用いて符号化を行う動画像符号化装置が
入力画像の各画素の輝度と予測画像の各画素の輝度との差分である複数の輝度予測誤差と、前記入力画像の各画素の色差と前記予測画像の各画素の色差との差分である複数の色差予測誤差と、前記複数の輝度予測誤差と前記複数の色差予測誤差との演算結果と、に基づいて、前記複数の予測モードそれぞれに対する複数の第１の評価値を算出し、
前記複数の第１の評価値に基づいて、前記複数の予測モードから所定数の予測モードを選択し、
前記演算結果および前記複数の輝度予測誤差に基づいて、前記所定数の予測モードそれぞれに対する複数の第１のスケーリング係数を算出し、
前記複数の第１のスケーリング係数をそれぞれ量子化して前記所定数の予測モードに対する複数の第２のスケーリング係数を算出し、
前記所定数の予測モードおよび前記複数の第２のスケーリング係数それぞれを用いたときの予測誤差の複数の第２の評価値を算出し、
前記複数の第２の評価値に基づいて、前記所定数の予測モードのうちのいずれかと前記複数の第２のスケーリング係数のうちのいずれかを選択し、
前記選択された予測モードに対応する複数の色差予測誤差から、前記選択された第２のスケーリング係数と前記選択された予測モードに対応する複数の輝度予測誤差との乗算結果を減算し、該減算の結果を用いて符号化を行う
処理を有する動画像符号化方法。
（付記６）
前記所定数の予測モードを選択する処理は、前記複数の第１の評価値から小さい順に前記所定数の第１の値に対応する前記所定数の予測モードを選択することを特徴とする付記５記載の動画像符号化方法。
（付記７）
前記所定数の予測モードのうちのいずれかと前記複数の第２のスケーリング係数のうちのいずれかを選択する処理は、前記複数の第２の評価値のうちの最小の評価値に対応する予測モードおよび第２のスケーリング係数を選択することを特徴とする付記５または６記載の動画像符号化方法。
（付記８）
前記複数の第１の評価値を算出する処理は、前記複数の予測モードそれぞれに対する前記複数の輝度予測誤差の第１の二乗和を算出し、前記複数の予測モードそれぞれに対する前記複数の色差予測誤差の第２の二乗和を算出し、前記複数の予測モードそれぞれに対する前記複数の輝度予測誤差と前記複数の色差予測誤差との複数の積和を前記演算結果として算出し、前記第１の二乗和と前記複数の積和とを記憶部に記憶し、
前記複数の第２の評価値を算出する処理は、前記記憶部に記憶された前記第１の二乗和および前記複数の積和を用いて、前記所定数の予測モードそれぞれを用いたときの前記複数の第２の評価値を算出することを特徴とする付記５乃至８のいずれか１項に記載の動画像符号化方法。
（付記９）
複数の予測モードのうちのいずれかを用いて符号化を行うコンピュータが、
入力画像の各画素の輝度と予測画像の各画素の輝度との差分である複数の輝度予測誤差と、前記入力画像の各画素の色差と前記予測画像の各画素の色差との差分である複数の色差予測誤差と、前記複数の輝度予測誤差と前記複数の色差予測誤差との演算結果と、に基づいて、前記複数の予測モードそれぞれに対する複数の第１の評価値を算出し、
前記複数の第１の評価値に基づいて、前記複数の予測モードから所定数の予測モードを選択し、
前記演算結果および前記複数の輝度予測誤差に基づいて、前記所定数の予測モードそれぞれに対する複数の第１のスケーリング係数を算出し、
前記複数の第１のスケーリング係数をそれぞれ量子化して前記所定数の予測モードに対する複数の第２のスケーリング係数を算出し、
前記所定数の予測モードおよび前記複数の第２のスケーリング係数それぞれを用いたときの予測誤差の複数の第２の評価値を算出し、
前記複数の第２の評価値に基づいて、前記所定数の予測モードのうちのいずれかと前記複数の第２のスケーリング係数のうちのいずれかを選択し、
前記選択された予測モードに対応する複数の色差予測誤差から、前記選択された第２のスケーリング係数と前記選択された予測モードに対応する複数の輝度予測誤差との乗算結果を減算し、該減算の結果を用いて符号化を行う
処理を前記コンピュータに実行させる動画像符号化プログラム。
（付記１０）
前記所定数の予測モードを選択する処理は、前記複数の第１の評価値から小さい順に前記所定数の第１の値に対応する前記所定数の予測モードを選択することを特徴とする付記９記載の動画像符号化プログラム。
（付記１１）
前記所定数の予測モードのうちのいずれかと前記複数の第２のスケーリング係数のうちのいずれかを選択する処理は、前記複数の第２の評価値のうちの最小の評価値に対応する予測モードおよび第２のスケーリング係数を選択することを特徴とする付記９または１０記載の動画像符号化プログラム。
（付記１２）
前記複数の第１の評価値を算出する処理は、前記複数の予測モードそれぞれに対する前記複数の輝度予測誤差の第１の二乗和を算出し、前記複数の予測モードそれぞれに対する前記複数の色差予測誤差の第２の二乗和を算出し、前記複数の予測モードそれぞれに対する前記複数の輝度予測誤差と前記複数の色差予測誤差との複数の積和を前記演算結果として算出し、前記第１の二乗和と前記複数の積和とを記憶部に記憶し、
前記複数の第２の評価値を算出する処理は、前記記憶部に記憶された前記第１の二乗和および前記複数の積和を用いて、前記所定数の予測モードそれぞれを用いたときの前記複数の第２の評価値を算出することを特徴とする付記９乃至１１のいずれか１項に記載の動画像符号化プログラム。
【符号の説明】
【００９９】
１０１    動画像符号化装置
１１１    減算部
１１２    ＣＣＰ部
１１３    変換部
１１４    量子化部
１１５    エントロピー符号化部
１１６    逆量子化部
１１７    逆変換部
１１８    加算部
１１９    イントラ予測部
１２０    インター予測部
１２１    復号画像記憶部
２０１    予測モード・スケーリング係数決定部
２０２    予測画像切り替え部
２０３    輝度予測誤差算出部
２０４    色差予測誤差算出部
２０５    輝度予測誤差評価値算出部
２０６    輝度・色差予測誤差相関算出部
２０７    色差予測誤差評価値算出部
２０８    誤差項算出部
２０９    予測モード絞込み部
２１０    統計量保存部
２１１    スケーリング係数決定部
３０１    予測画像出力部
【図１】
2018074491.tif 000006
【図２】
2018074491.tif 000007
【図３】
2018074491.tif 000008
【図４】
2018074491.tif 000009
【図５】
2018074491.tif 000010