(57)【要約】【課題】符号化中のパラメータないしは色空間変換において得られるパラメータを利用して、色空間変換の適用を適応的にすることにより、符号化効率を改善することおよび符号化処理と復号処理を高速化することができる画像符号化方法、画像復号方法を提供する。【解決手段】復号済み参照信号から色空間変換を行うための色空間変換マトリクスを計算し、所定の閾値とマトリクス計算時に得られる固有値との大小関係に基づき、色空間変換を実行するか否かを判定した結果に応じて、色空間変換マトリクスの計算結果に基づく色空間変換を実行して画像符号化を行う。また、復号済み参照信号から逆色空間変換を行うための逆色空間変換マトリクスを計算し、所定の閾値とマトリクス計算時に得られる固有値との大小関係に基づき、逆色空間変換を実行するか否かを判定した結果に応じて、逆色空間変換マトリクスの計算結果に基づく逆色空間変換を実行して画像復号を行う。【選択図】図１
2014204347.tif 000002
【特許請求の範囲】
【請求項１】
色空間変換を適用して画像を符号化する画像符号化装置が行う画像符号化方法であって、
復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算ステップと、
前記色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得ステップと、
所定の閾値と前記固有値との大小関係に基づき、前記色空間変換を実行するか否かを判定する判定ステップと、
前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行ステップと
を有することを特徴とする画像符号化方法。
【請求項２】
前記固有値取得ステップでは、
複数の成分の固有値を取得し、
前記判定ステップでは、
前記複数の固有値の重み付き和を計算して、その重み付き和と所定の閾値との大小関係に基づいて、前記色空間変換を実行するか否かの判定を行うことを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記固有値取得ステップでは、
複数の成分の固有値を取得し、
前記判定ステップでは、
各成分に対応する固有値とその固有値に対応する所定の閾値との大小関係に基づき、前記色空間変換を実行するか否かの判定を行うことを特徴とする請求項１に記載の画像符号化方法。
【請求項４】
色空間変換を適用して画像を符号化する画像符号化装置が行う画像符号化方法であって、
復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算ステップと、
前記色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算ステップと、
所定の閾値と前記距離との大小関係に基づき、前記色空間変換を実行するか否かを判定する判定ステップと、
前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行ステップと
を有することを特徴とする画像符号化方法。
【請求項５】
色空間変換を適用して画像を符号化する画像符号化装置が行う画像符号化方法であって、
復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算ステップと、
前記色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得ステップと、
前記色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算ステップと、
前記固有値と、前記距離と、所定の閾値を用いて前記色空間変換を実行するか否かを判定する判定ステップと、
前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行ステップと
を有することを特徴とする画像符号化方法。
【請求項６】
所定の閾値を符号化して伝送することを特徴とする請求項１から５のいずれか１項に記載の画像符号化方法。
【請求項７】
逆色空間変換を適用して符号化データを復号する画像復号装置が行う画像復号方法であって、
復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算ステップと、
前記逆色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得ステップと、
所定の閾値と前記固有値との大小関係に基づき、前記逆色空間変換を実行するか否かを判定する判定ステップと、
前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行ステップと
を有することを特徴とする画像復号方法。
【請求項８】
前記固有値取得ステップでは、
複数の成分の固有値を取得し、
前記判定ステップでは、
前記複数の固有値の重み付き和を計算して、その重み付き和と所定の閾値との大小関係に基づいて、前記逆色空間変換を実行するか否かの判定を行うことを特徴とする請求項７に記載の画像復号方法。
【請求項９】
前記固有値取得ステップでは、
複数の成分の固有値を取得し、
前記判定ステップでは、
各成分に対応する固有値とその固有値に対応する所定の閾値との大小関係に基づき、前記逆色空間変換を実行するか否かの判定を行うことを特徴とする請求項７に記載の画像復号方法。
【請求項１０】
逆色空間変換を適用して符号化データを復号する画像復号装置が行う画像復号方法であって、
復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算ステップと、
前記逆色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算ステップと、
所定の閾値と前記距離との大小関係に基づき、前記逆色空間変換を実行するか否かを判定する判定ステップと、
前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行ステップと
を有することを特徴とする画像復号方法。
【請求項１１】
逆色空間変換を適用して符号化データを復号する画像復号装置が行う画像復号方法であって、
復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算ステップと、
前記逆色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得ステップと、
前記逆色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算ステップと、
前記固有値と、前記距離と、所定の閾値を用いて前記逆色空間変換を実行するか否かを判定する判定ステップと、
前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行ステップと
を有することを特徴とする画像復号方法。
【請求項１２】
所定の閾値をビットストリームから復号して設定することを特徴とする請求項７から１１のいずれか１項に記載の画像復号方法。
【請求項１３】
色空間変換を適用して画像を符号化する画像符号化装置であって、
復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算手段と、
前記色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得手段と、
所定の閾値と前記固有値との大小関係に基づき、前記色空間変換を実行するか否かを判定する判定手段と、
前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行手段と
を備えることを特徴とする画像符号化装置。
【請求項１４】
前記固有値取得手段は、
複数の成分の固有値を取得し、
前記判定手段は、
前記複数の固有値の重み付き和を計算して、その重み付き和と所定の閾値との大小関係に基づいて、前記色空間変換を実行するか否かの判定を行うことを特徴とする請求項１３に記載の画像符号化装置。
【請求項１５】
前記固有値取得手段は、
複数の成分の固有値を取得し、
前記判定手段は、
各成分に対応する固有値とその固有値に対応する所定の閾値との大小関係に基づき、前記色空間変換を実行するか否かの判定を行うことを特徴とする請求項１３に記載の画像符号化装置。
【請求項１６】
色空間変換を適用して画像を符号化する画像符号化装置であって、
復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算手段と、
前記色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算手段と、
所定の閾値と前記距離との大小関係に基づき、前記色空間変換を実行するか否かを判定する判定手段と、
前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行手段と
を備えることを特徴とする画像符号化装置。
【請求項１７】
色空間変換を適用して画像を符号化する画像符号化装置であって、
復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算手段と、
前記色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得手段と、
前記色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算手段と、
前記固有値と、前記距離と、所定の閾値を用いて前記色空間変換を実行するか否かを判定する判定手段と、
前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行手段と
を備えることを特徴とする画像符号化装置。
【請求項１８】
所定の閾値を符号化して伝送することを特徴とする請求項１３から１７のいずれか１項に記載の画像符号化装置。
【請求項１９】
逆色空間変換を適用して符号化データを復号する画像復号装置であって、
復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算手段と、
前記逆色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得手段と、
所定の閾値と前記固有値との大小関係に基づき、前記逆色空間変換を実行するか否かを判定する判定手段と、
前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行手段と
を備えることを特徴とする画像復号装置。
【請求項２０】
前記固有値取得手段は、
複数の成分の固有値を取得し、
前記判定手段は、
前記複数の固有値の重み付き和を計算して、その重み付き和と所定の閾値との大小関係に基づいて、前記逆色空間変換を実行するか否かの判定を行うことを特徴とする請求項１９に記載の画像復号装置。
【請求項２１】
前記固有値取得手段は、
複数の成分の固有値を取得し、
前記判定手段は、
各成分に対応する固有値とその固有値に対応する所定の閾値との大小関係に基づき、前記逆色空間変換を実行するか否かの判定を行うことを特徴とする請求項１９に記載の画像復号装置。
【請求項２２】
逆色空間変換を適用して符号化データを復号する画像復号装置であって、
復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算手段と、
前記逆色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算手段と、
所定の閾値と前記距離との大小関係に基づき、前記逆色空間変換を実行するか否かを判定する判定手段と、
前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行手段と
を備えることを特徴とする画像復号装置。
【請求項２３】
逆色空間変換を適用して符号化データを復号する画像復号装置であって、
復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算手段と、
前記逆色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得手段と、
前記逆色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算手段と、
前記固有値と、前記距離と、所定の閾値を用いて前記逆色空間変換を実行するか否かを判定する判定手段と、
前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行手段と
を備えることを特徴とする画像復号装置。
【請求項２４】
所定の閾値をビットストリームから復号して設定することを特徴とする請求項１９から２３のいずれか１項に記載の画像復号装置。
【請求項２５】
コンピュータに、請求項１から請求項６のいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
【請求項２６】
コンピュータに、請求項７から請求項１２のいずれか１項に記載の画像復号方法を実行させるための画像復号プログラム。
【請求項２７】
請求項２５に記載の画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２８】
請求項２６に記載の画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号の符号化及び復号に関し、特に色空間変換を用いて画像信号を符号化または復号する技術に関する。
【背景技術】
【０００２】
動画像（映像、あるいは単に画像とも称する）の国際標準圧縮方式Ｈ．２６４／ＡＶＣおよび現在策定中の次世代高能率映像符号化ＨＥＶＣ（High Efficiency Video Coding）では、膨大な動画像の情報を効率よく圧縮するために、予測と変換という２種類の処理が施される。予測に関しては、インター符号化（フレーム間予測符号化、画面間符号化とも呼ぶ）とイントラ符号化（フレーム内予測符号化、画面内符号化とも呼ぶ）の２種類に分けられる。フレーム間予測符号化は、動画像内の時間方向の相関を利用して情報圧縮を図る手法である。動き補償を用いたフレーム間予測がその代表例である。
【０００３】
一方、フレーム内予測符号化は、例えばＨ．２６４／ＡＶＣに採用されているような、符号化対象ブロックの周辺にある復号済み画素を用いて予測信号を生成する手法、すなわちフレーム内の相関を用いて情報圧縮を図る手法である。変換に関しては、静止画の国際標準圧縮方式であるＪＰＥＧ及び動画像の国際標準圧縮方式ＭＰＥＧ−２では、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）と呼ばれる手法が採用されている。ＪＰＥＧの後継規格であるＪＰＥＧ２０００では、離散ウェーブレット変換（Discrete Wavelet Transform：ＤＷＴ）と呼ばれる手法が採用されている。前記フレーム間及びフレーム内で予測を行った後、その予測残差信号（予測誤差信号とも呼ぶ）は前記変換及び量子化を経て、最終的にエントロピー符号化によって２値信号（ビットストリーム）となる。
【０００４】
ＨＥＶＣでは、符号化ユニット（Coding Unit：ＣＵ）と呼ばれるブロックの単位で符号化が行われ、その最大の単位はLargest Coding Unit（ＬＣＵ）と呼ばれており、ＨＥＶＣの参照ソフトウェア（HEVC test Model：ＨＭ）では通常６４×６４のサイズが設定されている。６４×６４のＬＣＵは、四分木ベースで最小単位として８×８のＣＵまで分割される。各ＣＵは予測ユニット（Prediction Unit：ＰＵ）と呼ばれる予測を実施するブロック、及び変換ユニット（Transform Unit：ＴＵ）と呼ばれる変換を実施するブロックに分割される。これらＰＵとＴＵは、ＣＵ内で独立に定義される。ＰＵとＴＵは、ＣＵと同様に基本的には四分木ベースで分割されるが、正方形以外の分割を適用するツールも存在する。ＰＵの非正方形分割を許容するツールをAsymmetric Motion Partition（ＡＭＰ）と呼び、ＴＵの非正方形分割を許容するツールをNon-Square Quadtree Transform（ＮＳＱＴ）と呼ぶ。なお、後者のＮＳＱＴに関しては、２０１３年１月に発行された最終国際規格案（Final Draft International Standard：ＦＤＩＳ）には採用されておらず、２０１４年春に発行される見込みであるＨＥＶＣ  ｖｅｒ．１には採用されていない。ＡＭＰはＨＥＶＣ  ｖｅｒ．１に採用されている。
【０００５】
図２２は、これらＨＥＶＣにおける各処理ユニットの定義を示す図である。Ｈ．２６４／ＡＶＣではマクロブロック（Macro Block：ＭＢ）と呼ばれる１６×１６ブロックで符号化が行われていたが、ＨＥＶＣではそのサイズが例えば６４×６４ブロックのように、より大きいブロック単位で符号化が行われる特徴がある。前述のような、より大きいサイズでの符号化、予測、変換の処理は、特に高解像度での符号化効率改善に大きく寄与している。
【０００６】
ＨＥＶＣ  ｖｅｒ．１は三種類のプロファイルから構成され、それぞれＭａｉｎ  Ｐｒｏｆｉｌｅ、Ｍａｉｎ  １０  Ｐｒｏｆｉｌｅ（１０ビットの入力信号用）、Ｍａｉｎ  Ｓｔｉｌｌ  Ｐｉｃｔｕｒｅ  Ｐｒｏｆｉｌｅ（静止画用）となる。各プロファイルの入力画像信号はＹＵＶ４：２：０の色フォーマット（以下、４：２：０と称する）のみとなっている。４：２：０とは、輝度成分に対して色差成分のサンプリングが水平方向と垂直方向にそれぞれ半分に間引かれているフォーマットを示す。４：２：０以外にはＹＵＶ４：４：４フォーマット（輝度信号と色差信号のサンプリングが同じフォーマット、以下、４：４：４）やＹＵＶ４：２：２フォーマット（輝度信号に対して色差信号のサンプリングを水平方向のみ半分に間引くフォーマット、以下４：２：２と称する）があり、これらはプロフェッショナル向け映像編集や放送局の素材伝送に用いられる。色空間としては先に示したＹＵＶフォーマット以外に、ＲＧＢフォーマットも存在する。ＲＧＢフォーマットはデジタルカメラや各種ディスプレイの出力などの映像再現において、幅広く利用されている。
【０００７】
４：４：４と４：２：２、そしてＲＧＢ４：４：４データ（以下、ＲＧＢ４：４：４と称する）にも対応するために、ＨＥＶＣ  ｖｅｒ．２の標準化がｖｅｒ．１と並行して進められている。２０１４年１月に最終規格修正案（Final Draft AMendement：ＦＤＡＭ）が発行されるように、ＨＥＶＣ  ｖｅｒ．１の約１年遅れで標準化が進められている。
【０００８】
ＨＥＶＣ  ｖｅｒ．２の標準化に関して、特に色差信号の圧縮について高能率な符号化ツールが提案されている。例えば、ＣＵないしはＰＵ単位で予測後の残差信号に対して、復号済みの信号から色空間変換行列を導出し、色空間変換を行った後、その色空間変換後信号を符号化器に入力し、復号器で復号された色空間変換復号信号に対して逆色空間変換を施し、元の色空間に戻して出力する方式が提案されている。
【０００９】
この他にも、色差用のインループフィルタの改良方式やロスレス圧縮用のイントラ予測改良方式など、様々な符号化ツールが提案されている状況である。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, “High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Consent)”, JCTVC-L1003_v20.doc, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, pp.149-162, January 2013
【非特許文献２】Kei Kawamura, Tomonobu Yoshino, and Sei Naito, “AHG7: In-loop color-space transformation of residual signals for range extensions”, JCTVC-L0371.doc, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, January 2013
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、非特許文献２に記載されているループ内での残差信号に対する色空間変換では、色空間変換を施す際に、予測残差エネルギーが０になる場合を除いて、特に制約を設けず、必ず色空間変換を適用していた。ＣＵないしはＰＵなどのブロックによっては、色空間変換を適用しない方が符号化効率の観点から良い場合も存在する。そのような場合でも必ず色空間変換を適用するため、符号化効率の劣化を招く可能性もある。実際に、非特許文献２の実験データでは、一部の画像にて符号化効率の劣化が発生している。劣化が起きる画像では、特に色差成分で大きい劣化が発生している。
【００１２】
本発明は、このような事情に鑑みてなされたもので、色空間変換の適用を適応的にすることにより、符号化効率を改善することができる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、それらのプログラム並びにプログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、色空間変換を適用して画像を符号化する画像符号化装置が行う画像符号化方法であって、復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算ステップと、前記色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得ステップと、所定の閾値と前記固有値との大小関係に基づき、前記色空間変換を実行するか否かを判定する判定ステップと、前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行ステップとを有することを特徴とする。
【００１４】
本発明は、前記固有値取得ステップでは、複数の成分の固有値を取得し、前記判定ステップでは、前記複数の固有値の重み付き和を計算して、その重み付き和と所定の閾値との大小関係に基づいて、前記色空間変換を実行するか否かの判定を行うことを特徴とする。
【００１５】
本発明は、前記固有値取得ステップでは、複数の成分の固有値を取得し、前記判定ステップでは、各成分に対応する固有値とその固有値に対応する所定の閾値との大小関係に基づき、前記色空間変換を実行するか否かの判定を行うことを特徴とする。
【００１６】
本発明は、色空間変換を適用して画像を符号化する画像符号化装置が行う画像符号化方法であって、復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算ステップと、前記色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算ステップと、所定の閾値と前記距離との大小関係に基づき、前記色空間変換を実行するか否かを判定する判定ステップと、前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行ステップとを有することを特徴とする。
【００１７】
本発明は、色空間変換を適用して画像を符号化する画像符号化装置が行う画像符号化方法であって、復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算ステップと、前記色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得ステップと、前記色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算ステップと、前記固有値と、前記距離と、所定の閾値を用いて前記色空間変換を実行するか否かを判定する判定ステップと、前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行ステップとを有することを特徴とする。
【００１８】
本発明は、所定の閾値を符号化して伝送することを特徴とする。
【００１９】
本発明は、逆色空間変換を適用して符号化データを復号する画像復号装置が行う画像復号方法であって、復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算ステップと、前記逆色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得ステップと、所定の閾値と前記固有値との大小関係に基づき、前記逆色空間変換を実行するか否かを判定する判定ステップと、前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行ステップとを有することを特徴とする。
【００２０】
本発明は、前記固有値取得ステップでは、複数の成分の固有値を取得し、前記判定ステップでは、前記複数の固有値の重み付き和を計算して、その重み付き和と所定の閾値との大小関係に基づいて、前記逆色空間変換を実行するか否かの判定を行うことを特徴とする。
【００２１】
本発明は、前記固有値取得ステップでは、複数の成分の固有値を取得し、前記判定ステップでは、各成分に対応する固有値とその固有値に対応する所定の閾値との大小関係に基づき、前記逆色空間変換を実行するか否かの判定を行うことを特徴とする。
【００２２】
本発明は、逆色空間変換を適用して符号化データを復号する画像復号装置が行う画像復号方法であって、復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算ステップと、前記逆色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算ステップと、所定の閾値と前記距離との大小関係に基づき、前記逆色空間変換を実行するか否かを判定する判定ステップと、前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行ステップとを有することを特徴とする。
【００２３】
本発明は、逆色空間変換を適用して符号化データを復号する画像復号装置が行う画像復号方法であって、復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算ステップと、前記逆色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得ステップと、前記逆色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算ステップと、前記固有値と、前記距離と、所定の閾値を用いて前記逆色空間変換を実行するか否かを判定する判定ステップと、前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行ステップとを有することを特徴とする。
【００２４】
本発明は、所定の閾値をビットストリームから復号して設定することを特徴とする。
【００２５】
本発明は、色空間変換を適用して画像を符号化する画像符号化装置であって、復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算手段と、前記色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得手段と、所定の閾値と前記固有値との大小関係に基づき、前記色空間変換を実行するか否かを判定する判定手段と、前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行手段とを備えることを特徴とする。
【００２６】
本発明は、前記固有値取得手段は、複数の成分の固有値を取得し、前記判定手段は、前記複数の固有値の重み付き和を計算して、その重み付き和と所定の閾値との大小関係に基づいて、前記色空間変換を実行するか否かの判定を行うことを特徴とする。
【００２７】
本発明は、前記固有値取得手段は、複数の成分の固有値を取得し、前記判定手段は、各成分に対応する固有値とその固有値に対応する所定の閾値との大小関係に基づき、前記色空間変換を実行するか否かの判定を行うことを特徴とする。
【００２８】
本発明は、色空間変換を適用して画像を符号化する画像符号化装置であって、復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算手段と、前記色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算手段と、所定の閾値と前記距離との大小関係に基づき、前記色空間変換を実行するか否かを判定する判定手段と、前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行手段とを備えることを特徴とする。
【００２９】
本発明は、色空間変換を適用して画像を符号化する画像符号化装置であって、復号済み参照信号から前記色空間変換を行うための色空間変換マトリクスを計算するマトリクス計算手段と、前記色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得手段と、前記色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算手段と、前記固有値と、前記距離と、所定の閾値を用いて前記色空間変換を実行するか否かを判定する判定手段と、前記判定の結果に応じて、前記色空間変換マトリクスの計算結果に基づく前記色空間変換を実行する色空間変換実行手段とを備えることを特徴とする。
【００３０】
本発明は、所定の閾値を符号化して伝送することを特徴とする。
【００３１】
本発明は、逆色空間変換を適用して符号化データを復号する画像復号装置であって、復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算手段と、前記逆色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得手段と、所定の閾値と前記固有値との大小関係に基づき、前記逆色空間変換を実行するか否かを判定する判定手段と、前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行手段とを備えることを特徴とする。
【００３２】
本発明は、前記固有値取得手段は、複数の成分の固有値を取得し、前記判定手段は、前記複数の固有値の重み付き和を計算して、その重み付き和と所定の閾値との大小関係に基づいて、前記逆色空間変換を実行するか否かの判定を行うことを特徴とする。
【００３３】
本発明は、前記固有値取得手段は、複数の成分の固有値を取得し、前記判定手段は、各成分に対応する固有値とその固有値に対応する所定の閾値との大小関係に基づき、前記逆色空間変換を実行するか否かの判定を行うことを特徴とする。
【００３４】
本発明は、逆色空間変換を適用して符号化データを復号する画像復号装置であって、復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算手段と、前記逆色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算手段と、所定の閾値と前記距離との大小関係に基づき、前記逆色空間変換を実行するか否かを判定する判定手段と、前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行手段とを備えることを特徴とする。
【００３５】
本発明は、逆色空間変換を適用して符号化データを復号する画像復号装置であって、復号済み参照信号から前記逆色空間変換を行うための逆色空間変換マトリクスを計算するマトリクス計算手段と、前記逆色空間変換マトリクスを計算する過程で得られる固有値を取得する固有値取得手段と、前記逆色空間変換マトリクスと所定の基準マトリクスとの距離を計算する距離計算手段と、前記固有値と、前記距離と、所定の閾値を用いて前記逆色空間変換を実行するか否かを判定する判定手段と、前記判定の結果に応じて、前記逆色空間変換マトリクスの計算結果に基づく前記逆色空間変換を実行する逆色空間変換実行手段とを備えることを特徴とする。
【００３６】
本発明は、所定の閾値をビットストリームから復号して設定することを特徴とする。
【００３７】
本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。
【００３８】
本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。
【００３９】
本発明は、前記画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００４０】
本発明は、前記画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００４１】
この発明によれば、色空間変換を用いる符号化および復号において、符号化中のパラメータないしは色空間変換処理において得られるパラメータを利用して、色空間変換を利用すべきか否かの判定を行い、適応的に色空間変換を行うことで符号化効率の改善および処理の高速化を実現できるという効果が得られる。
【図面の簡単な説明】
【００４２】
【図１】本発明の第１の実施形態における画像符号化装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態における画像復号装置の構成を示すブロック図である。
【図３】図１に示す色空間変換処理部１０４の構成例を示すブロック図である。
【図４】図３に示す色空間変換処理部１０４が行う色空間変換処理の動作を示すフローチャートである。
【図５】図１に示す逆色空間変換処理部１０９及び図２に示す逆色空間変換処理部２０６の構成例を示すブロック図である。
【図６】図５に示す逆色空間変換処理部１０９が行う逆色空間変換処理の動作を示すフローチャートである。
【図７】第２の実施形態における色空間変換処理部１０４’の構成を示すブロック図である。
【図８】色空間変換の実施有無に関する判定処理を示す説明図である。
【図９】図７に示す色空間変換処理部１０４’が行う色空間変換処理の動作を示すフローチャートである。
【図１０】第２の実施形態における逆色空間変換処理部１０９’及び逆色空間変換処理部２０６’の構成例を示すブロック図である。
【図１１】図１０に示す逆色空間変換処理部１０９’が行う逆色空間変換処理の動作を示すフローチャートである。
【図１２】第３の実施形態における色空間変換処理部１０４’’の構成を示すブロック図である。
【図１３】図１２に示す色空間変換処理部１０４’’が行う色空間変換処理の動作を示すフローチャートである。
【図１４】第３の実施形態における逆色空間変換処理部１０９’’及び逆色空間変換処理部２０６’’の構成例を示すブロック図である。
【図１５】図１４に示す逆色空間変換処理部１０９’’が行う逆色空間変換処理の動作を示すフローチャートである。
【図１６】第４の実施形態における色空間変換処理部１０４’’’の構成を示すブロック図である。
【図１７】図１６に示す色空間変換処理部１０４’’’が行う色空間変換処理の動作を示すフローチャートである。
【図１８】第４の実施形態における逆色空間変換処理部１０９’’’及び逆色空間変換処理部２０６’’’の構成例を示すブロック図である。
【図１９】図１８に示す逆色空間変換処理部１０９’’’が行う逆色空間変換処理の動作を示すフローチャートである。
【図２０】コンピュータとソフトウエアプログラムとによって動画像符号化装置を構成する場合のハードウェア構成を示す図である。
【図２１】コンピュータとソフトウエアプログラムとによって動画像復号装置を構成する場合のハードウェア構成を示す図である。
【図２２】ＨＥＶＣにおける各処理ユニットの定義を示す図である。
【発明を実施するための形態】
【００４３】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像符号化装置及び画像復号装置を説明する。図１は、同実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、符号化対象の入力映像信号を入力し、入力映像信号の各フレームを複数のブロックに分割してブロックごとに符号化し、符号化結果のビットストリームを符号化ストリームとして出力する。なお、画像とは、静止画像、動画像、映像を含むものである。
【００４４】
画像符号化装置１００は、図１に示すように、イントラ予測処理部１０１、インター予測処理部１０２、予測残差信号生成部１０３、色空間変換処理部１０４、直交変換処理部１０５、量子化処理部１０６、逆量子化処理部１０７、逆直交変換処理部１０８、逆色空間変換処理部１０９、復号信号生成部１１０、フレームメモリ１１１、ループ内フィルタ処理部１１２、フレームバッファ１１３、インター予測情報格納部１１４、イントラ予測情報格納部１１５、色空間変換マトリクス計算部１１６、及びエントロピー符号化処理部１１７を備えている。
【００４５】
図１に示す画像符号化装置１００においては、色空間変換処理部１０４及び逆色空間変換処理部１０９が特徴的な構成である。他の各機能部は、Ｈ．２６４／ＡＶＣ及びＨＥＶＣなどのエンコーダとして用いられている一般的な画像符号化装置が備える機能部と同等である。なお、ループ内フィルタ処理部１１２は、ＨＥＶＣに採用されているデブロッキングフィルタ（Deblocking Filter：ＤＦ）とサンプルアダプティブオフセット（Sample Adaptive Offset：ＳＡＯ）といった複数のループ内フィルタ処理を包含してもよい。ＨＥＶＣの策定中に提案されていたアダプティブループフィルタ（Adaptive Loop Filter：ＡＬＦ）と呼ばれる符号化ノイズを除去するループ内フィルタもこのループ内フィルタ処理部１１２に含めてもよい。
【００４６】
イントラ予測処理部１０１は、フレームメモリ１１１から出力される復号信号に基づき、予測信号を生成する。また、イントラ予測処理部１０１は、復号信号と入力映像信号に基づき、コスト計算を行って予測モードなどを含むイントラ予測情報を生成し、生成したイントラ予測情報をイントラ予測情報格納部１１５に記憶させて格納する。インター予測処理部１０２は、入力映像信号と、フレームバッファ１１３から出力される参照画像（ループ内フィルタ後の復号信号）とを入力する。インター予測処理部１０２は、入力映像信号と参照画像とに基づいて、動きベクトルを決定し、予測信号を生成する。また、インター予測処理部１０２は、得られた動きベクトルを含むインター予測情報を生成し、生成したインター予測情報をインター予測情報格納部１１４に記憶させて格納する。
【００４７】
予測残差信号生成部１０３は、入力映像信号と、イントラ予測処理部１０１あるいはインター予測処理部１０２から出力される予測信号との差分を算出する。予測残差信号生成部１０３は、算出した差分を予測残差信号として色空間変換処理部１０４に出力する。色空間変換処理部１０４は、予測残差信号生成部１０３から入力された予測残差信号に対して、色空間変換マトリクス計算部１１６で得られた色空間変換マトリクスを用いて色空間変換を実施する。色空間変換処理部１０４は、色空間変換後係数値を直交変換処理部１０５に出力する。
【００４８】
直交変換処理部１０５は、色空間変換処理部１０４から入力した色空間変換後係数値に対してＤＣＴ等の直交変換を行う。ＤＣＴに限らず、Ｈ．２６４／ＡＶＣやＨＥＶＣで用いられている整数変換でもよい。直交変換処理部１０５は、直交変換により得られた直交変換係数値を量子化処理部１０６に出力する。量子化処理部１０６は、直交変換処理部１０５から入力した直交変換係数値を量子化し、量子化係数値を逆量子化処理部１０７とエントロピー符号化処理部１１７とに出力する。
【００４９】
逆量子化処理部１０７は、量子化処理部１０６から入力した量子化係数値を逆量子化して逆直交変換処理部１０８に出力する。逆直交変換処理部１０８は、逆量子化処理部１０７から入力した量子化係数値を逆直交変換する。逆直交変換処理部１０８は、逆直交変換により得られた復号色空間変換後係数値を逆色空間変換処理部１０９に出力する。
【００５０】
逆色空間変換処理部１０９は、逆直交変換処理部１０８から入力した復号色空間変換後係数値と、色空間変換マトリクス計算部１１６から得られる逆色空間変換マトリクスとを入力して、逆色空間変換を実施する。逆色空間変換により得られる予測残差復号信号を復号信号生成部１１０に出力する。復号信号生成部１１０は、逆色空間変換処理部１０９から入力した予測残差復号信号と、イントラ予測処理部１０１あるいはインター予測処理部１０２が出力する予測信号とを加算する。復号信号生成部１１０は、加算結果を復号信号としてフレームメモリ１１１に記憶する。この復号信号は、イントラ予測処理部１０１あるいはインター予測処理部１０２において参照画像として用いる。
【００５１】
フレームメモリ１１１は、復号信号生成部１１０が生成し出力した復号信号を記憶する。記憶した復号信号をループ内フィルタ処理部１１２へ出力する。同様に、色空間変換に必要となる色空間変換マトリクスを生成するためにループ内フィルタ後復号信号を色空間変換マトリクス計算部１１６へ出力する。ループ内フィルタ処理部１１２は、フレームメモリ１１１に記憶されている復号信号を読み出し、読み出した復号信号に対してループ内フィルタ処理を行う。例えば、ＤＦないしはＳＡＯ、その両者を実施する。別途ＡＬＦなどの他のループ内フィルタを施してもよい。ループ内フィルタ後復号信号をフレームバッファ１１３へ出力する。
【００５２】
フレームバッファ１１３は、ループ内フィルタ後復号信号を参照画像としてインター予測処理部１０２に出力する。同様に、色空間変換に必要となる色空間変換マトリクスを生成するためにループ内フィルタ後復号信号を色空間変換マトリクス計算部１１６へ出力する。インター予測情報格納部１１４は、インター予測処理部１０２が生成したインター予測情報を記憶する。イントラ予測情報格納部１１５は、イントラ予測処理部１０１が生成したイントラ予測情報を記憶する。それぞれ記憶した予測情報をエントロピー符号化処理部１１７へ出力する。
【００５３】
色空間変換マトリクス計算部１１６は、イントラ予測時についてはフレームメモリ１１１から復号信号を入力し、インター予測時にはフレームバッファ１１３から復号信号を入力し、得られた復号信号から主成分分析を実施して、色空間変換に必要な色空間変換マトリクスを計算する。逆色空間変換マトリクスは色空間変換マトリクスと転置行列の関係である。得られた色空間変換マトリクス及び逆色空間変換マトリクスを色空間変換処理部１０４及び逆色空間変換処理部１０９へそれぞれ出力する。
【００５４】
エントロピー符号化処理部１１７は、量子化処理部１０６から出力される量子化係数値と、インター予測情報格納部１１４に格納されているインター予測情報と、イントラ予測情報格納部１１５に格納されているイントラ予測情報とをエントロピー符号化し、符号化ストリームとして出力する。画像符号化装置１００は、前述の各機能部を備えることにより、入力映像信号の各フレームを複数のブロックに分割し、色空間変換を伴ったブロックベースの予測符号化を行い、入力映像信号を符号化して得られた符号化ストリームを出力する。
【００５５】
図２は、第１の実施形態における画像復号装置２００の構成を示すブロック図である。画像復号装置２００は、図１に示した画像符号化装置１００などにより符号化されて出力される符号化ストリームを入力し、符号化ストリームを復号することにより復号画像である復号映像信号を出力する。
【００５６】
画像復号装置２００は、図２に示すように、エントロピー復号処理部２０１、イントラ予測処理部２０２、インター予測処理部２０３、逆量子化処理部２０４、逆直交変換処理部２０５、逆色空間変換処理部２０６、復号信号生成部２０７、フレームメモリ２０８、ループ内フィルタ処理部２０９、フレームバッファ２１０、インター予測情報格納部２１１、イントラ予測情報格納部２１２、及び色空間変換マトリクス計算部２１３を備えている。
【００５７】
図２に示す画像復号装置２００においては、逆色空間変換処理部２０６が特徴的な構成である。他の各機能部は、Ｈ．２６４／ＡＶＣ及びＨＥＶＣなどのデコーダとして用いられる一般的な画像復号装置が備える構成と同等である。
【００５８】
エントロピー復号処理部２０１は、符号化ストリームを入力し、入力した符号化ストリームから復号対象ブロックの量子化係数値をエントロピー復号するとともに、イントラ予測に関するイントラ予測情報及びインター予測に関するインター予測情報をエントロピー復号する。また、エントロピー復号処理部２０１は、量子化係数値を逆量子化処理部２０４に出力し、インター予測情報をインター予測情報格納部２１１に記憶させて格納し、イントラ予測情報をイントラ予測情報格納部２１２に記憶させて格納する。イントラ予測処理部２０２は、フレームメモリ２０８に記憶される復号信号を参照画像として読み出す。また、イントラ予測処理部２０２は、イントラ予測情報格納部２１２からイントラ予測情報を読み出す。そして、イントラ予測処理部２０２は、読み出した参照画像と、読み出したイントラ予測情報とに基づいて、予測信号を生成する。
【００５９】
インター予測処理部２０３は、インター予測情報格納部２１１からインター予測情報を読み出す。そして、インター予測処理部２０３は、インター予測情報と、フレームバッファ２１０から入力した参照画像とに基づいて、予測信号を生成する。逆量子化処理部２０４は、エントロピー復号処理部２０１から入力した量子化係数値を逆量子化して復号直交変換係数値を算出し、得られた復号直交変換係数値を逆直交変換処理部２０５に出力する。
【００６０】
逆直交変換処理部２０５は、逆量子化処理部２０４から入力した復号直交変換係数値に逆直交変換を施し、復号色空間変換後係数値を算出し、算出した復号色空間変換後係数値を逆色空間変換処理部２０６に出力する。逆色空間変換処理部２０６は、逆直交変換処理部２０５から入力した復号色空間変換後係数値に対して、色空間変換マトリクス計算部２１３から得られる逆色空間変換マトリクスを用いて逆色空間変換を施す。それにより得られる予測残差復号信号を復号信号生成部２０７に出力する。
【００６１】
復号信号生成部２０７は、逆色空間変換処理部２０６から入力した予測残差復号信号と、イントラ予測処理部２０２あるいはインター予測処理部２０３が出力する予測信号とを加算する。そして、復号信号生成部２０７は、加算結果を復号対象ブロックの復号信号としてフレームメモリ２０８に記憶させて格納する。フレームメモリ２０８は、復号信号生成部２０７が算出した復号信号を記憶する。
【００６２】
ループ内フィルタ処理部２０９は、フレームメモリ２０８から復号信号を読み出し、読み出した復号信号により示される画像に対して符号化歪みを低減するフィルタ処理を行う。例えば、ＤＦないしはＳＡＯ、その両者を実施する。別途ＡＬＦなどの他のループ内フィルタを施してもよい。ループ内フィルタ処理部２０９は、フィルタ処理後の画像を復号映像信号として出力する。また、ループ内フィルタ処理部２０９は、フィルタ処理後の画像を参照画像として利用するために、フレームバッファ２１０に出力する。
【００６３】
インター予測情報格納部２１１は、エントロピー復号処理部２０１が復号したインター予測情報を格納する。イントラ予測情報格納部２１２は、エントロピー復号処理部２０１が復号したイントラ予測情報を格納する。色空間変換マトリクス計算部２１３は、イントラ予測時についてはフレームメモリ２０８から復号信号を入力し、インター予測時にはフレームバッファ２１０から復号信号を入力し、得られた復号信号から主成分分析を実施して、色空間変換に必要な色空間変換マトリクスを計算する。逆色空間変換マトリクスは色空間変換マトリクスと転置行列の関係である。得られた逆色空間変換マトリクスを逆色空間変換処理部２０６へ出力する。
【００６４】
画像復号装置２００は、前述の構成を備えることにより、色空間変換を用いてブロックベースの予測符号化により符号化された映像の符号化ストリームを入力し、入力された符号化ストリームから映像を復号して、復号映像信号を出力する。
【００６５】
次に、図３を参照して、図１に示す色空間変換処理部１０４の詳細な構成を説明する。図３は図１に示す色空間変換処理部１０４の構成を示すブロック図である。色空間変換処理部１０４は、図３に示すように、予測残差信号記憶部３０１、色空間変換マトリクス記憶部３０２、色空間変換実行部３０３、固有値記憶部３０４、色空間変換実行判定部３０５及び閾値設定部３０６を備えている。ここで、図３においては、固有値記憶部３０４と、色空間変換実行判定部３０５と、閾値設定部３０６が特徴的な構成である。
【００６６】
予測残差信号記憶部３０１は、処理対象となるブロックの予測残差信号を入力して記憶する。また、色空間変換マトリクス記憶部３０２は、復号信号から求まる色空間変換マトリクスを入力して記憶する。固有値記憶部３０４は、色空間変換マトリクスを算出するための主成分分析の過程で計算される固有値を、色空間変換マトリクス計算部１１６より入力して記憶する。
【００６７】
色空間変換実行判定部３０５は、固有値記憶部３０４から読み出される固有値情報と、閾値設定部３０６から設定された閾値とを用いて、色空間変換の実施有無を判定する。例えば、第一主成分となる固有値（一番大きな値を示す固有値）が設定された閾値以上であれば、極端な色空間変換が行われないと判断できるため、色空間変換を実施すると判断する。閾値よりも小さい場合、色空間変換を実施しないと判断する。それら実施するか否かの情報を色空間変換実施情報と定義して、色空間変換実行部３０３へ出力する。第一主成分の固有値と閾値を比較する場合を示したが、例えば、第一主成分と第二主成分の二種類の固有値を固有値記憶部３０４から取得して、それぞれに対応する閾値を閾値設定部３０６から取得して、第一主成分と第二主成分の両方が同時にそれぞれの閾値以上となった場合に、色空間変換を実施するという構成にしてもよい。
【００６８】
閾値設定部３０６は、予め定められたテーブルなどから閾値を読み込み、その閾値を色空間変換実行判定部３０５に対して設定する。閾値は固有値の取り得る範囲から、０から１の範囲となるが、内部の構造に応じて、例えば０から４０９６の整数値になるように表現される場合（０が固有値０を示し、４０９６が固有値１を示すような場合）は、それに応じた値を設定するようにしてもよい。仮に閾値を０．５とした場合、設定する閾値を２０４８とすればよい。そのような置き換えを実施する閾値変換処理部を閾値設定部３０６と色空間変換実行判定部３０５の間に設けてもよい。なお、閾値は符号化して復号側に伝送する構成をとってもよい。符号化して伝送する場合は、閾値符号化部を別途用意し、閾値設定部３０６から出力される閾値をエントロピー符号化する。シーケンス単位、ＧＯＰ（Group of Pictures）単位、スライス単位、フレーム単位、ブロック単位などで切り替えることも可能であり、切り替える場合は前記単位で閾値を符号化して伝送する必要がある。細かい粒度で伝送すると閾値情報の符号量（オーバーヘッド）が増加するが、その分より適応的な色空間変換の実施が制御できるため、符号化効率向上や処理高速化が実現できる。
【００６９】
色空間変換実行部３０３は、予測残差信号記憶部３０１から出力される予測残差信号と、色空間変換マトリクス記憶部３０２から出力される色空間変換マトリクスと、色空間変換実行判定部３０５から出力される色空間変換実施情報を用いて、色空間変換を実施する。色空間変換実施情報が色空間変換を実施すると示していれば、色空間変換を実施する。色空間変換実施情報が色空間変換を実施しないと示していれば、色空間変換を実施しない。
【００７０】
以上のように、色空間変換処理部１０４は、予測残差信号記憶部３０１、色空間変換マトリクス記憶部３０２、色空間変換実行部３０３、固有値記憶部３０４、色空間変換実行判定部３０５及び閾値設定部３０６により、固有値と閾値の大小判定を行うことで適応的な色空間変換処理を実施して、色空間変換後係数値を出力する。
【００７１】
次に、図４を参照して、図３に示す色空間変換処理部１０４の処理動作を説明する。図４は、図３に示す色空間変換処理部１０４が行う色空間変換処理の動作を示すフローチャートである。まず、予測残差信号記憶部３０１は、処理対象となるブロックの予測残差信号を予測残差信号生成部１０３から入力し、記憶する。そして、色空間変換を行うために色空間変換実行部３０３に出力する（ステップＳ１）。続いて、色空間変換マトリクス記憶部３０２は、色空間変換マトリクス計算部１１６が出力する色空間変換マトリクスを入力して記憶する。そして、色空間変換を実行するために必要なので、色空間変換実行部３０３に出力する（ステップＳ２）。
【００７２】
次に、固有値記憶部３０４は、色空間変換マトリクス計算部１１６が色空間変換マトリクスを計算する際に得られる固有値を入力し、記憶する。そして、色空間変換の実行を判断するために、固有値情報を色空間変換実行判定部３０５へ出力する。また、閾値設定部３０６は色空間変換の実行を判断するための閾値情報を、予め定められたテーブルから入力して色空間変換実行判定部３０５へ出力する（ステップＳ３）。次に、色空間変換実行判定部３０５は、固有値記憶部３０４から読み出した固有値情報と、閾値設定部３０６が設定した閾値を入力として、それらの値の大小関係に基づいて、色空間判定実行の有無を判定して、その判定結果の情報を色空間変換実施情報として色空間変換実行部３０３へ出力する（ステップＳ４）。
【００７３】
次に、色空間変換実行部３０３は、予測残差信号記憶部３０１から読み出した予測残差信号と、色空間変換マトリクス記憶部３０２から読み出した色空間変換マトリクスと、色空間変換実行判定部３０５が出力する色空間変換実施情報とを入力として、色空間変換実施情報に基づいて色空間実行判定結果の判断を行う（ステップＳ５）。この判定の結果、色空間変換を実行すると判断された場合は色空間変換を実行する（ステップＳ６）。一方、実行しないと判断された場合は、色空間変換を実行せず、予測残差信号をそのまま出力する。
【００７４】
次に、図５を参照して、図１に示す逆色空間変換処理部１０９及び図２に示す逆色空間変換処理部２０６の構成を説明する。図５は図１に示す逆色空間変換処理部１０９及び図２に示す逆色空間変換処理部２０６の構成例を示すブロック図である。逆色空間変換処理部１０９と逆色空間変換処理部２０６とは共通する処理を行い、同じ構成を備えているので、逆色空間変換処理としては、逆色空間変換処理部１０９の処理を説明し、逆色空間変換処理部２０６の説明を省略する。
【００７５】
逆色空間変換処理部１０９は、図５に示すように、復号色空間変換後係数値記憶部４０１、逆色空間変換マトリクス記憶部４０２、逆色空間変換実行部４０３、固有値記憶部４０４、逆色空間変換実行判定部４０５及び閾値設定部４０６を備えている。ここで、図５においては、固有値記憶部４０４と、逆色空間変換実行判定部４０５と、閾値設定部４０６が特徴的な構成である。
【００７６】
復号色空間変換後係数値記憶部４０１は、処理対象となるブロックの復号された色空間変換後係数値を入力して記憶する。また、逆色空間変換マトリクス記憶部４０２は、復号済みの信号から求まる逆色空間変換マトリクスを入力して記憶する。固有値記憶部４０４は、逆色空間変換マトリクスを算出するための主成分分析の過程で計算される固有値を、色空間変換マトリクス計算部１１６より入力して記憶する。
【００７７】
逆色空間変換実行判定部４０５は、固有値記憶部４０４から読み出される固有値情報と、閾値設定部４０６から設定される閾値とを用いて、逆色空間変換の実施有無を判定する。例えば、第一主成分となる固有値（一番大きな値を示す固有値）が設定された閾値以上であれば、極端な逆色空間変換が行われないと判断し、逆色空間変換を実施すると判断する。閾値よりも小さい場合、逆色空間変換を実施しないと判断する。それら実施するか否かの情報を逆色空間変換実施情報と定義して、逆色空間変換実行部４０３へ出力する。第一主成分の固有値と閾値を比較する場合を示したが、例えば、第一主成分と第二主成分の二種類の固有値を固有値記憶部４０４から取得して、それぞれに対応する閾値を閾値設定部４０６から取得して、第一主成分と第二主成分の両方が同時にそれぞれの閾値以上となった場合に、逆色空間変換を実施するという構成にしてもよい。
【００７８】
閾値設定部４０６は、予め定められたテーブルなどから閾値を読み込み、その閾値を逆色空間変換実行判定部４０５に対して設定する。閾値は固有値の取り得る範囲から、０から１の範囲となるが、内部の構造に応じて、例えば０から４０９６の整数値になるように表現される場合（０が固有値０を示し、４０９６が固有値１を示すような場合）は、それに応じた値を設定するようにしてもよい。仮に閾値を０．５とした場合、設定する閾値を２０４８とすればよい。そのような置き換えを実施する閾値変換処理部を閾値設定部４０６と色空間変換実行判定部４０５の間に設けてもよい。なお、閾値は符号化側で伝送する構成をとった場合、閾値復号部を別途用意し、エントロピー復号された閾値を閾値設定部４０６に設定する。シーケンス単位、ＧＯＰ単位、スライス単位、フレーム単位、ブロック単位などで切り替える場合、符号化側に合わせて、前記単位で閾値を復号する必要がある。
【００７９】
逆色空間変換実行部４０３は、復号色空間変換後係数値記憶部４０１から出力される復号された色空間変換後係数値と、逆色空間変換マトリクス記憶部４０２から出力される逆色空間変換マトリクスと、逆色空間変換実行判定部４０５から出力される逆色空間変換実施情報を用いて、逆色空間変換を実施する。逆色空間変換実施情報が逆色空間変換を実施すると示していれば、逆色空間変換を実施する。逆色空間変換実施情報が逆色空間変換を実施しないと示していれば、逆色空間変換を実施しない。
【００８０】
以上のように、逆色空間変換処理部１０９は、復号色空間変換後係数値記憶部４０１、逆色空間変換マトリクス記憶部４０２、逆色空間変換実行部４０３、固有値記憶部４０４、逆色空間変換実行判定部４０５及び閾値設定部４０６により、固有値と閾値の大小判定を行うことで適応的な逆色空間変換処理を実施して、予測残差復号信号を出力する。
【００８１】
次に、図６を参照して、図５に示す逆色空間変換処理部１０９の処理動作を説明する。図６は、図５に示す逆色空間変換処理部１０９が行う逆色空間変換処理の動作を示すフローチャートである。復号色空間変換後係数値記憶部４０１は、処理対象となるブロックの復号された色空間変換後係数値を入力し、記憶する。そして逆色空間変換をするために復号色空間変換後係数値を逆色空間変換実行部４０３に出力する（ステップＳ１１）。
【００８２】
次に、逆色空間変換マトリクス記憶部４０２は、色空間変換マトリクス計算部１１６が出力する逆色空間変換マトリクスを入力して記憶する。そして、逆色空間変換を実行するために必要なので、逆色空間変換実行部４０３に出力する（ステップＳ１２）。次に、固有値記憶部４０４は、色空間変換マトリクス計算部１１６が逆色空間変換マトリクスを計算する際に得られる固有値を入力し、記憶する。実際には色空間変換マトリクスと逆色空間変換マトリクスは転置行列の関係となる。逆色空間変換の実行を判断するために、固有値情報を逆色空間変換実行判定部４０５へ出力する。また、閾値設定部４０６は逆色空間変換の実行を判断するための閾値情報を、予め定められたテーブルから入力して逆色空間変換実行判定部４０５へ出力する（ステップＳ１３）。
【００８３】
次に、逆色空間変換実行判定部４０５は、固有値記憶部４０４が出力する固有値情報と、閾値設定部４０６が出力する閾値を入力として、それらの値の大小関係に基づいて、逆色空間判定実行の有無を判定して、その判定結果の情報を逆色空間変換実施情報として逆色空間変換実行部４０３へ出力する（ステップＳ１４）。
【００８４】
次に、逆色空間変換実行部４０３は、復号色空間変換後係数値記憶部４０１が出力する復号された色空間変換後係数値と、逆色空間変換マトリクス記憶部４０２が出力する逆色空間変換マトリクスと、逆色空間変換実行判定部４０５が出力する逆色空間変換実施情報とを入力として、逆色空間変換実施情報に基づいて逆色空間実行判定結果を判断し（ステップＳ１５）、逆色空間変換を実行すると判断された場合は逆色空間変換を実行する（ステップＳ１６）。実行しないと判断された場合は、逆色空間変換を実行せず、予測残差復号信号として、そのまま出力する。
【００８５】
以上説明したように、色空間変換処理部１０４及び逆色空間変換処理部１０９は、色空間変換マトリクスを生成する際に得られる固有値情報を用いて、色空間変換をするか否かの判断を実施して、ブロック単位で適応的な色空間変換処理が可能となる。設定する閾値によっては、色空間変換に係る処理を大幅に省くことも可能になり、高速化が期待できる。また、符号化効率劣化を招く不要な変換も省くことができ、符号化効率の向上にも貢献できる。
【００８６】
＜第２の実施形態＞
次に、本発明の第２の実施形態による画像符号化装置及び画像復号装置を説明する。第２の実施形態は、図３に示す色空間変換処理部１０４の構成と、図５に示す逆色空間変換処理部１０９、２０６のみが異なる。そのため、ここでは色空間変換処理部１０４’と逆色空間変換処理部１０９’のみの構成を説明する。なお、逆色空間変換処理部２０９’は逆色空間変換処理部１０９’と共通のため、説明を省略する。
【００８７】
図７は、色空間変換処理部１０４’の構成を示すブロック図である。色空間変換処理部１０４’は、図７に示すように予測残差信号記憶部５０１、色空間変換マトリクス記憶部５０２、色空間変換実行部５０３、基準マトリクス設定部５０４、色空間変換実行判定部５０５及び閾値設定部５０６を備えている。
【００８８】
予測残差信号記憶部５０１、色空間変換マトリクス記憶部５０２及び色空間変換実行部５０３は、それぞれ図３に示す予測残差信号記憶部３０１、色空間変換マトリクス記憶部３０２及び色空間変換実行部３０３と同じ構成である。
【００８９】
色空間変換実行判定部５０５は、色空間変換マトリクス記憶部５０２から読み出される色空間変換マトリクスの情報と、基準マトリクス設定部５０４から設定される基準マトリクスの情報と、閾値設定部５０６から設定される閾値とを用いて、色空間変換の実施有無を判定する。例えば、図８に示すようにＹＵＶフォーマットにおいては、入力された色空間変換マトリクスと基準マトリクスとの距離を計算し、閾値設定部５０６から入力される閾値を比較し、距離が閾値以下の場合、基準マトリクスに近いと判断して色空間変換を実施すると判定する。また、距離が閾値よりも大きい場合、基準マトリクスから離れていると判断して、色空間変換を実施しないと判定する。図８は、色空間変換の実施有無に関する判定処理を示す説明図である。
【００９０】
基準マトリクス設定部５０４は、入力画像のフォーマット（ＲＧＢフォーマットかＹＵＶフォーマットか）に応じて、フォーマットごとに予め定められた基準マトリクスを色空間変換実行判定部５０５に対して出力する。閾値設定部５０６は、予め定められたテーブルから閾値情報を入力及び設定を行い、その閾値情報を色空間変換実行判定部５０５へ出力する。
【００９１】
色空間変換実行部５０３は、予測残差信号記憶部５０１から出力される予測残差信号と、色空間変換マトリクス記憶部５０２から出力される色空間変換マトリクスと、色空間変換実行判定部５０５から出力される色空間変換実施情報を用いて、色空間変換を実施する。色空間変換実施情報が色空間変換を実施すると示していれば、色空間変換を実施する。色空間変換実施情報が色空間変換を実施しないと示していれば、色空間変換を実施しない。
【００９２】
以上のように、色空間変換処理部１０４’は、予測残差信号記憶部５０１、色空間変換マトリクス記憶部５０２、色空間変換実行部５０３、基準マトリクス設定部５０４、色空間変換実行判定部５０５及び閾値設定部５０６により、色空間変換マトリクスと基準マトリクス間の距離と閾値の大小判定を行うことで適応的な色空間変換処理を実施して、色空間変換後係数値を出力する。
【００９３】
次に、図９を参照して、図７に示す色空間変換処理部１０４’の処理動作を説明する。図９は、図７に示す色空間変換処理部１０４’が行う色空間変換処理の動作を示すフローチャートである。予測残差信号記憶部５０１は、処理対象となるブロックの予測残差信号を入力し、記憶する。そして色空間変換をするために色空間変換実行部５０３に出力する（ステップＳ２１）。
【００９４】
次に、色空間変換マトリクス記憶部５０２は、色空間変換マトリクス計算部１１６が出力する色空間変換マトリクスを入力して記憶する。そして、色空間変換を実行するために必要なので、色空間変換実行部５０３に出力する（ステップＳ２２）。続いて、基準マトリクス設定部５０４は入力画像のフォーマットに従って、基準マトリクスをテーブルから読み出し、その情報を色空間変換実行判定部５０５へ出力する。同様に閾値設定部５０６は色空間変換の実行を判断するための閾値情報を、予め定められたテーブルから入力して色空間変換実行判定部５０５へ出力する（ステップＳ２３）。
【００９５】
次に、色空間変換実行判定部５０５は、色空間変換マトリクス記憶部５０２が出力する色空間変換マトリクスと、基準マトリクス設定部５０４が出力する基準マトリクスと、閾値設定部５０６が出力する閾値とを入力とする。そして、入力した色空間変換マトリクスと基準マトリクスのベクトル間距離（マトリクス間距離ともいう）を計算する（ステップＳ２４）。計算されたベクトル間距離と閾値の大小関係に基づいて、色空間判定実行の有無を判定して、その情報を色空間変換実施情報として色空間変換実行部５０３へ出力する（ステップＳ２５）。
【００９６】
次に、色空間変換実行部５０３は、予測残差信号記憶部５０１が出力する予測残差信号と、色空間変換マトリクス記憶部５０２が出力する色空間変換マトリクスと、色空間変換実行判定部５０５が出力する色空間変換実施情報とを入力として、色空間変換実施情報に基づいて色空間実行判定結果を判断し（ステップＳ２６）、色空間変換を実行すると判断された場合は色空間変換を実行する（ステップＳ２７）。一方、実行しないと判断された場合は、色空間変換を実行せず、予測残差信号をそのまま出力する。
【００９７】
次に、図１０を参照して、第２の実施形態における逆色空間変換処理部１０９’及び逆色空間変換処理部２０６’の構成を説明する。図１０は第２の実施形態における逆色空間変換処理部１０９’及び図２に示す逆色空間変換処理部２０６’の構成例を示すブロック図である。逆色空間変換処理部１０９’と逆色空間変換処理部２０６’とは共通する処理を行い、同じ構成を備えているので、逆色空間変換処理としては、逆色空間変換処理部１０９’を説明し、逆色空間変換処理部２０６’の説明を省略する。
【００９８】
逆色空間変換処理部１０９’は、図１０に示すように、復号色空間変換後係数値記憶部６０１、逆色空間変換マトリクス記憶部６０２、逆色空間変換実行部６０３、基準マトリクス設定部６０４、逆色空間変換実行判定部６０５及び閾値設定部６０６を備えている。ここで、図１０においては、基準マトリクス設定部６０４と、逆色空間変換実行判定部６０５と、閾値設定部６０６が特徴的な構成である。
【００９９】
復号色空間変換後係数値記憶部６０１は、処理対象となるブロックの復号された色空間変換後係数値を入力して記憶する。また、逆色空間変換マトリクス記憶部６０２は、復号済みの信号から求まる逆色空間変換マトリクスを入力して記憶する。
【０１００】
基準マトリクス設定部６０４は、逆色空間変換実行判定を行うために必要となる基準マトリクスを予め定められたテーブルから読み込み、そのマトリクスを逆色空間変換実行判定部６０５へ出力する。テーブルは入力画像のフォーマットに応じて切り替えることができるテーブルであり、例えばＹＵＶフォーマットの場合は、基準マトリクスとして図８に示すマトリクスを出力する。ＲＧＢフォーマットの場合は、ＲＧＢ−ＹＵＶ変換のマトリクスを基準マトリクスとする。ＲＧＢフォーマットの場合、前記マトリクス以外にも、例えば、各画像のシーケンス全体で求まる色空間変換マトリクス、ないしは各フレームで求まる色空間変換マトリクスの平均値や、前のスライス／フレーム／ブロックで求まる色空間変換マトリクスとしてもよい。
【０１０１】
逆色空間変換実行判定部６０５は、逆色空間変換マトリクス記憶部６０２から入力される逆色空間変換マトリクスと、基準マトリクス設定部６０４から入力される基準マトリクスと、閾値設定部６０６から入力される閾値とを用いて、逆色空間変換の実施有無を判定する。例えば、図８に示す処理手順で逆色空間変換マトリクスと基準マトリクスとの距離が設定された閾値よりも大きい場合は、基準マトリクスよりも大きく外れたベクトルになっていると判断できるため、逆色空間変換を実施しないと判断する。閾値以下となる場合、逆色空間変換を実施すると判断する。なお、色空間変換マトリクスと逆色空間変換マトリクスは転置行列の関係であるため、逆色空間変換マトリクス用の基準マトリクスは色空間変換用の基準マトリクスと転置行列の関係にあると考えてよい。この判定により、逆色空間変換を実施するか否かの情報を逆色空間変換実施情報と定義して、逆色空間変換実行部６０３へ出力する。
【０１０２】
閾値設定部６０６は、予め定められたテーブルから閾値情報を入力及び設定をして、その閾値情報を逆色空間変換実行判定部６０５へ出力する。逆色空間変換実行部６０３は、復号色空間変換後係数値記憶部６０１から出力される復号された色空間変換後係数値と、逆色空間変換マトリクス記憶部４０２から出力される逆色空間変換マトリクスと、逆色空間変換実行判定部６０５から出力される逆色空間変換実施情報を用いて、逆色空間変換を実施する。逆色空間変換実施情報が逆色空間変換を実施すると示していれば、逆色空間変換を実施する。逆色空間変換実施情報が逆色空間変換を実施しないと示していれば、逆色空間変換を実施しない。
【０１０３】
以上のように、逆色空間変換処理部１０９’は、復号色空間変換後係数値記憶部６０１、逆色空間変換マトリクス記憶部６０２、逆色空間変換実行部６０３、基準マトリクス設定部６０４、逆色空間変換実行判定部６０５及び閾値設定部６０６により、マトリクス間距離と閾値の大小判定を行うことで適応的な逆色空間変換処理を実施して、予測残差復号信号を出力する。
【０１０４】
次に、図１１を参照して、図１０に示す逆色空間変換処理部１０９’の処理動作を説明する。図１１は、図１０に示す逆色空間変換処理部１０９’が行う逆色空間変換処理の動作を示すフローチャートである。復号色空間変換後係数値記憶部６０１は、処理対象となるブロックの復号された色空間変換後係数値を入力し、記憶する。そして逆色空間変換をするために復号色空間変換後係数値は逆色空間変換実行部６０３に出力する（ステップＳ３１）。続いて、逆色空間変換マトリクス記憶部６０２は、色空間変換マトリクス計算部１１６が出力する逆色空間変換マトリクスを入力して記憶する。そして、逆色空間変換を実行するために必要なので、逆色空間変換実行部６０３に出力する（ステップＳ３２）。
【０１０５】
次に、基準マトリクス設定部６０４は、入力画像フォーマットに応じて基準マトリクスを選択して、そのマトリクス情報を逆色空間変換実行判定部６０５に出力する。また、閾値設定部６０６は逆色空間変換の実行を判断するための閾値情報を、予め定められたテーブルから入力して逆色空間変換実行判定部６０５へ出力する（ステップＳ３３）。
【０１０６】
次に、逆色空間変換実行判定部６０５は、逆色空間変換マトリクス記憶部６０２が出力する逆色空間変換マトリクス情報と、基準マトリクス設定部６０４が出力する基準マトリクスを入力として、図８に示されるように二つのマトリクス間距離を計算する（ステップＳ３４）。その後、計算されたマトリクス間距離と閾値設定部６０６から出力される閾値との大小関係に基づいて、逆色空間判定実行の有無を判定して、その情報を逆色空間変換実施情報として逆色空間変換実行部６０３へ出力する（ステップＳ３５）。
【０１０７】
次に、逆色空間変換実行部６０３は、復号色空間変換後係数値記憶部６０１が出力する復号された色空間変換後係数値と、逆色空間変換マトリクス記憶部６０２が出力する逆色空間変換マトリクスと、逆色空間変換実行判定部６０５が出力する逆色空間変換実施情報とを入力として、逆色空間変換実施情報に基づいて逆色空間実行判定を行い（ステップＳ３６）、逆色空間変換を実行すると判断された場合は逆色空間変換を実行する（ステップＳ３７）。一方、実行しないと判断された場合は、逆色空間変換を実行せず、予測残差復号信号として、そのまま出力する。
【０１０８】
＜第３の実施形態＞
次に、本発明の第３の実施形態による画像符号化装置及び画像復号装置を説明する。第３の実施形態は、図３に示す色空間変換処理部１０４の構成と、図５に示す逆色空間変換処理部１０９、２０６のみが異なる。そのため、第３の実施形態における色空間変換処理部１０４’’と逆色空間変換処理部１０９’’のみの構成を説明する。逆色空間変換処理部２０９’’は逆色空間変換処理部１０９’’と共通のため、説明を省略する。
【０１０９】
図１２は、第３の実施形態における色空間変換処理部１０４’’の構成を示すブロック図である。色空間変換処理部１０４’’は、図１２に示すように予測残差信号記憶部７０１、色空間変換マトリクス記憶部７０２、色空間変換実行部７０３、固有値記憶部７０４、基準マトリクス設定部７０５、色空間変換実行判定部７０６及び閾値設定部７０７を備えている。予測残差信号記憶部７０１、色空間変換マトリクス記憶部７０２及び色空間変換実行部７０３は、それぞれ図３に示す予測残差信号記憶部３０１、色空間変換マトリクス記憶部３０２及び色空間変換実行部３０３と同じ構成である。
【０１１０】
色空間変換実行判定部７０６は、色空間変換マトリクス記憶部７０２から読み出される色空間変換マトリクスの情報と、固有値記憶部７０４から入力される固有値と、基準マトリクス設定部７０５から入力される基準マトリクスの情報と、閾値設定部７０７から設定される二種類の閾値（固有値に対する閾値とベクトル間距離に対する閾値）とを用いて、色空間変換の実施有無を判定する。例えば、第一主成分となる固有値（一番大きな値を示す固有値）が設定された固有値に関する閾値以上であれば、極端な色空間変換が行われないと判断できるため、色空間変換を実施すると判定する。この判定結果を第一判定結果として保持する。
【０１１１】
次に、入力された色空間変換マトリクスと基準マトリクスとの距離を計算し、得られた距離をベクトル間距離に関する閾値と比較し、距離が前記閾値以下の場合、基準マトリクスに近いと判断して色空間変換を実施すると判定する。この判定結果を第二判定結果として保持する。第一と第二の両方の判定結果を同時に満たす場合、色空間変換を実施すると判断し、同時に満たさない場合は色空間変換を実施しないと判断する。ここで、第一判定の結果で満たさない場合は、第二判定をスキップするようにしてもよい。また、第一判定と第二判定の定義を入れ替えてもよい。前記判定により、色空間変換を実施するか否かの情報を色空間変換実施情報と定義して、色空間変換実行部７０３へ出力する。
【０１１２】
固有値記憶部７０４は、色空間変換マトリクスを算出するための主成分分析の過程で計算される固有値を、色空間変換マトリクス計算部１１６より入力して記憶する。基準マトリクス設定部７０５は、入力画像のフォーマット（ＲＧＢフォーマットかＹＵＶフォーマットか）に応じて、フォーマットごとに予め定められた基準マトリクスを色空間変換実行判定部７０６へ入力する。閾値設定部７０７は、予め定められたテーブルから固有値に対する閾値及びベクトル間距離に対する閾値を入力及び設定をして、その閾値情報を色空間変換実行判定部７０６へ出力する。
【０１１３】
色空間変換実行部７０３は、予測残差信号記憶部７０１から出力される予測残差信号と、色空間変換マトリクス記憶部７０２から出力される色空間変換マトリクスと、色空間変換実行判定部７０６から出力される色空間変換実施情報を用いて、色空間変換を実施する。色空間変換実施情報が色空間変換を実施すると示していれば、色空間変換を実施する。色空間変換実施情報が色空間変換を実施しないと示していれば、色空間変換を実施しない。
【０１１４】
以上のように、色空間変換処理部１０４’’は、予測残差信号記憶部７０１、色空間変換マトリクス記憶部７０２、色空間変換実行部７０３、固有値記憶部７０４、基準マトリクス設定部７０５、色空間変換実行判定部７０６及び閾値設定部７０７により、固有値と固有値に対する閾値との大小関係を判定し、さらに色空間変換マトリクスと基準マトリクス間の距離とその距離に対する閾値の大小関係により適応的な色空間変換処理を実施して、色空間変換後係数値を出力する。
【０１１５】
次に、図１３を参照して、図１２に示す色空間変換処理部１０４’’の処理動作を説明する。図１３は、図１２に示す色空間変換処理部１０４’’が行う色空間変換処理の動作を示すフローチャートである。最初に、予測残差信号記憶部７０１は、処理対象となるブロックの予測残差信号を入力し、記憶する。そして色空間変換をするために色空間変換実行部７０３に出力する（ステップＳ４１）。続いて、色空間変換マトリクス記憶部７０２は、色空間変換マトリクス計算部１１６が出力する色空間変換マトリクスを入力して記憶する。そして、色空間変換を実行するために必要なので、色空間変換実行部７０３に出力する（ステップＳ４２）。
【０１１６】
次に、固有値記憶部７０４は、色空間変換マトリクス計算部１１６が色空間変換マトリクスを計算する際に得られる固有値を入力し、記憶する。色空間変換の実行を判断するために、固有値情報を色空間変換実行判定部７０６へ出力する。さらに、基準マトリクス設定部７０５は入力画像のフォーマットに従って、基準マトリクスをテーブルから読み出し、その情報を色空間変換実行判定部７０６へ出力する。同様に閾値設定部７０７は色空間変換の実行を判断するための二種類の閾値情報、すなわち固有値に対する閾値とベクトル間距離に対する閾値を、それぞれ予め定められたテーブルから入力して色空間変換実行判定部７０６へ出力する（ステップＳ４３）。
【０１１７】
次に、色空間変換実行判定部７０６は、色空間変換マトリクス記憶部７０２が出力する色空間変換マトリクスと、固有値記憶部７０４が出力する固有値と、基準マトリクス設定部７０５が出力する基準マトリクスと、閾値設定部７０７が出力する閾値とを入力とする。そして、入力した固有値情報と固有値に対する閾値とを比較し、その大小関係の結果を第一判定条件として保持する（ステップＳ４４）。また、入力された色空間変換マトリクスと基準マトリクスの距離を計算し、その距離とベクトル間距離に対する閾値とを比較し、大小関係の結果を第二判定条件として保持する（ステップＳ４５）。第一判定条件と第二判定条件から、色空間判定実行の有無を判定して、その情報を色空間変換実施情報として色空間変換実行部７０３へ出力する（ステップＳ４６）。例えば、第一判定条件と第二判定条件の二つを同時に満たすブロックに対しては色空間変換を実施すると判定し、同時に満たさない場合については色空間変換を実施しないと判定する。
【０１１８】
次に、色空間変換実行部７０３は、予測残差信号記憶部７０１が出力する予測残差信号と、色空間変換マトリクス記憶部７０２が出力する色空間変換マトリクスと、色空間変換実行判定部７０６が出力する色空間変換実施情報とを入力として、色空間変換実施情報に基づいて色空間実行判定結果を判断し（ステップＳ４７）、色空間変換を実行すると判断された場合は色空間変換を実行する（ステップＳ４８）。一方、実行しないと判断された場合は、色空間変換を実行せず、予測残差信号をそのまま出力する。
【０１１９】
次に、図１４を参照して、第３の実施形態における逆色空間変換処理部１０９’’及び逆色空間変換処理部２０６’’の構成を説明する。図１４は第３の実施形態における逆色空間変換処理部１０９’’及び図２に示す逆色空間変換処理部２０６’’の構成例を示すブロック図である。逆色空間変換処理部１０９’’と逆色空間変換処理部２０６’’とは共通する処理を行い、同じ構成を備えているので、逆色空間変換処理としては、逆色空間変換処理部１０９’’を説明し、逆色空間変換処理部２０６’’の説明を省略する。
【０１２０】
逆色空間変換処理部１０９’’は、図１４に示すように、復号色空間変換後係数値記憶部８０１、逆色空間変換マトリクス記憶部８０２、逆色空間変換実行部８０３、固有値記憶部８０４、基準マトリクス設定部８０５、逆色空間変換実行判定部８０６及び閾値設定部８０７を備えている。ここで、図１４においては、固有値記憶部８０４と、基準マトリクス設定部８０５と、逆色空間変換実行判定部８０６と、閾値設定部８０７が特徴的な構成である。
【０１２１】
復号色空間変換後係数値記憶部８０１は、処理対象となるブロックの復号された色空間変換後係数値を入力して記憶する。また、逆色空間変換マトリクス記憶部８０２は、復号済みの信号から求まる逆色空間変換マトリクスを入力して記憶する。固有値記憶部８０４は、逆色空間変換マトリクスを算出するための主成分分析の過程で計算される固有値を、色空間変換マトリクス計算部１１６より入力して記憶する。
【０１２２】
基準マトリクス設定部８０５は、逆色空間変換実行判定を行うために必要となる基準マトリクスを予め定められたテーブルから読み込み、そのマトリクスを逆色空間変換実行判定部８０６へ出力する。テーブルは入力画像のフォーマットに応じて切り替えることができるテーブルであり、例えばＹＵＶフォーマットの場合は、基準マトリクスを図８に示す基準マトリクスを出力する。ＲＧＢフォーマットの場合は、ＲＧＢ―ＹＵＶ変換のマトリクスを基準マトリクスとする。ＲＧＢフォーマットの場合、前記マトリクス以外にも、例えば、各画像のシーケンス全体で求まる色空間変換マトリクス、ないしは各フレームで求まる色空間変換マトリクスの平均値や、前のスライス／フレーム／ブロックで求まる色空間変換マトリクスとしてもよい。
【０１２３】
逆色空間変換実行判定部８０６は、逆色空間変換マトリクス記憶部８０２から読み出される逆色空間変換マトリクスと、固有値記憶部８０４から読み出される固有値と、基準マトリクス設定部８０５から設定される基準マトリクスと、閾値設定部８０７から設定される二種類の閾値とを用いて、逆色空間変換の実施有無を判定する。例えば、第一主成分となる固有値（一番大きな値を示す固有値）が設定された固有値に関する閾値以上であれば、極端な色空間変換が行われないと判断できるため、色空間変換を実施すると判定する。この判定結果を第一判定結果として保持する。続いて入力された色空間変換マトリクスと基準マトリクスとの距離を計算し、ベクトル間距離に関する閾値を比較し、距離が閾値以下の場合、基準マトリクスに近いと判断して色空間変換を実施すると判定する。この判定結果を第二判定結果として保持する。第一と第二の両方の判定結果を同時に満たす場合、色空間変換を実施すると判断し、同時に満たさない場合は色空間変換を実施しないと判断する。ここで、第一判定の結果で満たさない場合は、第二判定をスキップするようにしてもよい。また、第一判定と第二判定の定義を入れ替えてもよい。前記判定により、逆色空間変換を実施するか否かの情報を逆色空間変換実施情報と定義して、逆色空間変換実行部８０３へ出力する。
【０１２４】
閾値設定部８０７は、予め定められたテーブルから固有値に関する閾値及びベクトル間距離に関する閾値を入力及び設定をして、それらの閾値情報を逆色空間変換実行判定部８０６へ出力する。逆色空間変換実行部８０３は、復号色空間変換後係数値記憶部８０１から出力される復号された色空間変換後係数値と、逆色空間変換マトリクス記憶部８０２から出力される逆色空間変換マトリクスと、逆色空間変換実行判定部８０６から出力される逆色空間変換実施情報を用いて、逆色空間変換を実施する。逆色空間変換実施情報が逆色空間変換を実施すると示していれば、逆色空間変換を実施する。逆色空間変換実施情報が逆色空間変換を実施しないと示していれば、逆色空間変換を実施しない。
【０１２５】
以上のように、逆色空間変換処理部１０９’’は、復号色空間変換後係数値記憶部８０１、逆色空間変換マトリクス記憶部８０２、逆色空間変換実行部８０３、固有値記憶部８０４、基準マトリクス設定部８０５、逆色空間変換実行判定部８０６及び閾値設定部８０７により、固有値と固有値に対する閾値との大小関係を判定し、さらに色空間変換マトリクスと基準マトリクス間の距離とその距離に対する閾値の大小関係により適応的な色空間変換処理を実施して、色空間変換後係数値を出力する。
【０１２６】
次に、図１５を参照して、図１４に示す逆色空間変換処理部１０９’’の処理動作を説明する。図１５は、図１４に示す逆色空間変換処理部１０９’’が行う逆色空間変換処理の動作を示すフローチャートである。復号色空間変換後係数値記憶部８０１は、処理対象となるブロックの復号された色空間変換後係数値を入力し、記憶する。そして逆色空間変換をするために復号色空間変換後係数値は逆色空間変換実行部８０３に出力する（ステップＳ５１）。続いて、逆色空間変換マトリクス記憶部８０２は、色空間変換マトリクス計算部１１６が出力する逆色空間変換マトリクスを入力して記憶する。逆色空間変換を実行するために必要なので、逆色空間変換実行部８０３に出力される（ステップＳ５２）。
【０１２７】
次に、固有値記憶部８０４は、色空間変換マトリクス計算部１１６が色空間変換マトリクスを計算する際に得られる固有値を入力し、記憶する。色空間変換の実行を判断するために、固有値情報を逆色空間変換実行判定部８０６へ出力する。さらに、基準マトリクス設定部８０５は入力画像のフォーマットに従って、基準マトリクスをテーブルから読み出し、その情報を逆色空間変換実行判定部８０６へ出力する。同様に閾値設定部８０７は逆色空間変換の実行を判断するための二種類の閾値情報、すなわち固有値に対する閾値とベクトル間距離に対する閾値を、それぞれ予め定められたテーブルから入力して逆色空間変換実行判定部８０６へ出力する（ステップＳ５３）。
【０１２８】
次に、逆色空間変換実行判定部８０６は、逆色空間変換マトリクス記憶部８０２が出力する逆色空間変換マトリクスと、固有値記憶部８０４が出力する固有値と、基準マトリクス設定部８０５が出力する基準マトリクスと、閾値設定部８０７が出力する閾値とを入力とする。入力した固有値情報と固有値に対する閾値とを比較し、その大小関係の結果を第一判定条件として保持する（ステップＳ５４）。また、入力した逆色空間変換マトリクスと基準マトリクスの距離を計算し、その距離とベクトル間距離に対する閾値とを比較し、大小関係の結果を第二判定条件として保持する（ステップＳ５５）。第一判定条件と第二判定条件から、逆色空間判定実行の有無を判定して、その情報を逆色空間変換実施情報として逆色空間変換実行部８０３へ出力する（ステップＳ５６）。例えば、第一判定条件と第二判定条件の二つを同時に満たすブロックに対しては逆色空間変換を実施すると判定し、同時に満たさない場合については逆色空間変換を実施しないと判定する。
【０１２９】
次に、逆色空間変換実行部８０３は、復号色空間変換後係数値記憶部８０１が出力する復号された色空間変換後係数値と、逆色空間変換マトリクス記憶部８０２が出力する逆色空間変換マトリクスと、逆色空間変換実行判定部８０６が出力する逆色空間変換実施情報とを入力として、逆色空間変換実施情報に基づいて逆色空間実行判定を行い（ステップＳ５７）、逆色空間変換を実行すると判断された場合は逆色空間変換を実行する（ステップＳ５８）。一方、実行しないと判断された場合は、逆色空間変換を実行せず、予測残差復号信号として、そのまま出力する。
【０１３０】
＜第４の実施形態＞
次に、本発明の第４の実施形態による画像符号化装置及び画像復号装置を説明する。第４の実施形態は、図３に示す色空間変換処理部１０４の構成と、図５に示す逆色空間変換処理部１０９、２０６のみが異なる。そのため、第４の実施形態における色空間変換処理部１０４’’’と逆色空間変換処理部１０９’’’のみの構成を説明する。逆色空間変換処理部２０９’’’は逆色空間変換処理部１０９’’’と共通のため、説明を省略する。
【０１３１】
図１６は、第４の実施形態における色空間変換処理部１０４’’’の構成を示すブロック図である。色空間変換処理部１０４’’’は、図１６に示すように予測残差信号記憶部９０１、色空間変換マトリクス記憶部９０２、色空間変換実行部９０３、固有値記憶部９０４、固有値重み付き和計算部９０５、色空間変換実行判定部９０６、閾値設定部９０７を備えている。予測残差信号記憶部９０１、色空間変換マトリクス記憶部９０２及び色空間変換実行部９０３は、それぞれ図３に示す予測残差信号記憶部３０１、色空間変換マトリクス記憶部３０２及び色空間変換実行部３０３と同じ構成である。
【０１３２】
固有値記憶部９０４は、色空間変換マトリクスを算出するための主成分分析の過程で計算される複数の固有値（例えば、第一主成分と第二主成分）を、色空間変換マトリクス計算部１１６より入力して記憶する。
【０１３３】
固有値重み付き和計算部９０５は、固有値記憶部９０４から入力された複数の固有値から、重み付き和を計算する。例えば、第一主成分の固有値をＰ１、第二主成分の固有値をＰ２とする。このとき、重み付き和をＰとして
Ｐ＝α×Ｐ１＋β×Ｐ２                  式（１）
のように重み付き和が計算される。ここで、αとβは係数であり、β＝０とすれば1種類の固有値で判定が実施されることに相当する為、第１の実施形態の符号化結果と一致することになる。前記重み付き和Ｐを色空間変換実行判定部９０６へ出力する。αとβは予め定められたテーブルから読み込んで、符号化処理中固定の値を用いることもできるし、例えば、スライス単位、フレーム単位などで変更してもよい。前記単位で変更する場合は、符号化して閾値と同様に復号側へ伝送する必要がある。
【０１３４】
色空間変換実行判定部９０６は、固有値重み付き和計算部９０５から得られる重み付き固有値と、閾値設定部９０７から設定された閾値とを用いて、色空間変換の実施有無を判定する。重み付き固有値が設定された閾値以上であれば、極端な色空間変換が行われないと判断できるため、色空間変換を実施すると判断する。閾値よりも小さい場合、色空間変換を実施しないと判断する。それら実施するか否かの情報を色空間変換実施情報と定義して、色空間変換実行部９０３へ出力する。
【０１３５】
閾値設定部９０７は、予め定められたテーブルなどから閾値を読み込み、その閾値を色空間変換実行判定部９０６に対して設定する。閾値は固有値の取り得る範囲から、０から１の範囲となるが、内部の構造に応じて、例えば０から４０９６の整数値になるように表現される場合（０が固有値０を示し、４０９６が固有値１を示すような場合）は、それに応じた値を設定するようにしてもよい。仮に閾値を０．５とした場合、設定する閾値を２０４８とすればよい。そのような置き換えを実施する閾値変換処理部を閾値設定部９０７と色空間変換実行判定部９０６の間に設けてもよい。
【０１３６】
色空間変換実行部９０３は、予測残差信号記憶部９０１から出力される予測残差信号と、色空間変換マトリクス記憶部９０２から出力される色空間変換マトリクスと、色空間変換実行判定部９０６から出力される色空間変換実施情報を用いて、色空間変換を実施する。色空間変換実施情報が色空間変換を実施すると示していれば、色空間変換を実施する。色空間変換実施情報が色空間変換を実施しないと示していれば、色空間変換を実施しない。
【０１３７】
以上のように、色空間変換処理部１０４’’’は、予測残差信号記憶部９０１、色空間変換マトリクス記憶部９０２、色空間変換実行部９０３、固有値記憶部９０４、固有値重み付き和計算部９０５、色空間変換実行判定部９０６及び閾値設定部９０７により、重み付きされた固有値と閾値の大小判定を行うことで適応的な色空間変換処理を実施して、色空間変換後係数値を出力する。
【０１３８】
次に、図１７を参照して、図１６に示す色空間変換処理部１０４’’’の処理動作を説明する。図１７は、図１６に示す色空間変換処理部１０４’’’が行う色空間変換処理の動作を示すフローチャートである。まず、予測残差信号記憶部９０１は、処理対象となるブロックの予測残差信号を予測残差信号生成部１０３から入力し、記憶する。そして、色空間変換を行うために色空間変換実行部９０３に出力する（ステップＳ６１）。続いて、色空間変換マトリクス記憶部９０２は、色空間変換マトリクス計算部１１６が出力する色空間変換マトリクスを入力して記憶する。そして、色空間変換を実行するために必要なので、色空間変換実行部９０３に出力する（ステップＳ６２）。
【０１３９】
次に、固有値記憶部９０４は、色空間変換マトリクス計算部１１６が色空間変換マトリクスを計算する際に得られる複数の固有値（例えば、第一主成分と第二主成分）を入力し、記憶する。そして、色空間変換の実行を判断するために、各成分の固有値情報を固有値重み付き和計算部９０５へ出力する。また、閾値設定部９０６は色空間変換の実行を判断するための閾値情報を、予め定められたテーブルから入力して色空間変換実行判定部９０６へ出力する（ステップＳ６３）。固有値重み付き和計算部９０５に入力された各成分の固有値から、式（１）に示されるような重み付き和が計算され、固有値の重み付き和が色空間変換実行判定部９０６に出力される（ステップＳ６４）。次に、色空間変換実行判定部９０６は、固有値重み付き和計算部９０５から得られる重み付き固有値と、閾値設定部９０７が設定した閾値を入力として、それらの値の大小関係に基づいて、色空間判定実行の有無を判定して、その判定結果の情報を色空間変換実施情報として色空間変換実行部９０３へ出力する（ステップＳ６５）。
【０１４０】
次に、色空間変換実行部９０３は、予測残差信号記憶部９０１から読み出した予測残差信号と、色空間変換マトリクス記憶部９０２から読み出した色空間変換マトリクスと、色空間変換実行判定部９０６が出力する色空間変換実施情報とを入力として、色空間変換実施情報に基づいて色空間実行判定結果の判断を行う（ステップＳ６６）。この判定の結果、色空間変換を実行すると判断された場合は色空間変換を実行する（ステップＳ６７）。一方、実行しないと判断された場合は、色空間変換を実行せず、予測残差信号をそのまま出力する。
【０１４１】
次に、図１８を参照して、第４の実施形態における逆色空間変換処理部１０９’’’及び逆色空間変換処理部２０６’’’の構成を説明する。図１８は第４の実施形態における逆色空間変換処理部１０９’’’及び図２に示す逆色空間変換処理部２０６’’’の構成例を示すブロック図である。逆色空間変換処理部１０９’’’と逆色空間変換処理部２０６’’’とは共通する処理を行い、同じ構成を備えているので、逆色空間変換処理としては、逆色空間変換処理部１０９’’’を説明し、逆色空間変換処理部２０６’’’の説明を省略する。
【０１４２】
逆色空間変換処理部１０９’’’は、図１８に示すように、復号色空間変換後係数値記憶部１００１、逆色空間変換マトリクス記憶部１００２、逆色空間変換実行部１００３、固有値記憶部１００４、固有値重み付き和計算部１００５、逆色空間変換実行判定部１００６及び閾値設定部１００７を備えている。ここで、図１８においては、固有値記憶部１００４と、固有値重み付き和計算部１００５と、逆色空間変換実行判定部１００６と、閾値設定部１００７が特徴的な構成である。
【０１４３】
復号色空間変換後係数値記憶部１００１は、処理対象となるブロックの復号された色空間変換後係数値を入力して記憶する。また、逆色空間変換マトリクス記憶部１００２は、復号済みの信号から求まる逆色空間変換マトリクスを入力して記憶する。固有値記憶部１００４は、逆色空間変換マトリクスを算出するための主成分分析の過程で計算される複数の固有値（例えば、第一主成分と第二主成分）を、色空間変換マトリクス計算部１１６より入力して記憶する。
【０１４４】
固有値重み付き和計算部１００５は、固有値記憶部１００４から入力された複数の固有値から、重み付き和を計算する。例えば、第一主成分の固有値をＰ１、第二主成分の固有値をＰ２とする。このとき、重み付き和をＰとして
Ｐ＝α×Ｐ１＋β×Ｐ２                  式（２）
のように重み付き和が計算される。ここで、αとβは係数であり、β＝０とすれば1種類の固有値で判定が実施されることに相当する為、第１の実施形態の符号化結果と一致することになる。前記重み付き和Ｐを逆色空間変換実行判定部１００６へ出力する。αとβは予め定められたテーブルから読み込んで、復号処理中固定の値を用いることもできるし、例えば、スライス単位、フレーム単位などで変更してもよい。前記単位で変更する場合は、ビットストリームから符号化側で符号化されたαとβを復号して用いる必要がある。
【０１４５】
逆色空間変換実行判定部１００６は、固有値重み付き和計算部１００５から読み出される重み付き固有値と、閾値設定部１００７から設定される閾値とを用いて、逆色空間変換の実施有無を判定する。重み付き固有値が設定された閾値以上であれば、極端な逆色空間変換が行われないと判断できるため、逆色空間変換を実施すると判断する。閾値よりも小さい場合、逆色空間変換を実施しないと判断する。それら実施するか否かの情報を逆色空間変換実施情報と定義して、色空間変換実行部１００３へ出力する。
【０１４６】
逆色空間変換実行部１００３は、復号色空間変換後係数値記憶部１００１から出力される復号された色空間変換後係数値と、逆色空間変換マトリクス記憶部１００２から出力される逆色空間変換マトリクスと、逆色空間変換実行判定部１００６から出力される逆色空間変換実施情報を用いて、逆色空間変換を実施する。逆色空間変換実施情報が逆色空間変換を実施すると示していれば、逆色空間変換を実施する。逆色空間変換実施情報が逆色空間変換を実施しないと示していれば、逆色空間変換を実施しない。
【０１４７】
閾値設定部１００７は、予め定められたテーブルなどから閾値を読み込み、その閾値を逆色空間変換実行判定部１００６に対して設定する。閾値は固有値の取り得る範囲から、０から１の範囲となるが、内部の構造に応じて、例えば０から４０９６の整数値になるように表現される場合（０が固有値０を示し、４０９６が固有値１を示すような場合）は、それに応じた値を設定するようにしてもよい。例えば、閾値を０．５とした場合、設定する閾値を２０４８とすればよい。
【０１４８】
以上のように、逆色空間変換処理部１０９’’’は、復号色空間変換後係数値記憶部１００１、逆色空間変換マトリクス記憶部１００２、逆色空間変換実行部１００３、固有値記憶部１００４、固有値重み付き和計算部１００５、逆色空間変換実行判定部１００６及び閾値設定部１００７により、重み付きされた固有値と閾値の大小判定を行うことで適応的な逆色空間変換処理を実施して、予測残差復号信号を出力する。
【０１４９】
次に、図１９を参照して、図１８に示す逆色空間変換処理部１０９’’’の処理動作を説明する。図１９は、図１８に示す逆色空間変換処理部１０９’’’が行う逆色空間変換処理の動作を示すフローチャートである。復号色空間変換後係数値記憶部１００１は、処理対象となるブロックの復号された色空間変換後係数値を入力し、記憶する。そして逆色空間変換をするために復号色空間変換後係数値を逆色空間変換実行部１００３に出力する（ステップＳ７１）。
【０１５０】
次に、逆色空間変換マトリクス記憶部１００２は、色空間変換マトリクス計算部１１６が出力する逆色空間変換マトリクスを入力して記憶する。そして、逆色空間変換を実行するために必要なので、逆色空間変換実行部１００３に出力する（ステップＳ７２）。次に、固有値記憶部１００４は、色空間変換マトリクス計算部１１６が逆色空間変換マトリクスを計算する際に得られる複数の固有値（例えば、第一主成分と第二主成分）を入力し、記憶する。また、閾値設定部１００７は逆色空間変換の実行を判断するための閾値情報を、予め定められたテーブルから入力して逆色空間変換実行判定部１００６へ出力する（ステップＳ７３）。次に、固有値重み付き和計算部１００５に入力された各成分の固有値から、式（２）に示されるような重み付き和が計算され、固有値の重み付き和が逆色空間変換実行判定部１００６に出力される（ステップＳ７４）。
【０１５１】
次に、逆色空間変換実行判定部１００５は、固有値重み付き和計算部１００５が出力する重み付き固有値と、閾値設定部１００７が出力する閾値を入力として、それらの値の大小関係に基づいて、逆色空間判定実行の有無を判定して、その判定結果の情報を逆色空間変換実施情報として逆色空間変換実行部１００３へ出力する（ステップＳ７５）。
【０１５２】
次に、逆色空間変換実行部１００３は、復号色空間変換後係数値記憶部１００１が出力する復号された色空間変換後係数値と、逆色空間変換マトリクス記憶部１００２が出力する逆色空間変換マトリクスと、逆色空間変換実行判定部１００６が出力する逆色空間変換実施情報とを入力として、逆色空間変換実施情報に基づいて逆色空間実行判定結果を判断し（ステップＳ７６）、逆色空間変換を実行すると判断された場合は逆色空間変換を実行する（ステップＳ７７）。実行しないと判断された場合は、逆色空間変換を実行せず、予測残差復号信号として、そのまま出力する。
【０１５３】
以上説明したように、色空間変換処理部１０４’’’及び逆色空間変換処理部１０９’’’は、色空間変換マトリクスを生成する際に得られる固有値の重み付き和を用いて、色空間変換をするか否かの判断を実施して、ブロック単位で適応的な色空間変換処理が可能となる。設定する閾値によっては、色空間変換に係る処理を大幅に省くことも可能になり、高速化が期待できる。また、符号化効率劣化を招く不要な変換も省くことができ、符号化効率の向上にも貢献できる。
【０１５４】
以上、第１、第２、第３及び第４の実施形態において説明した色空間変換処理部１０４と、逆色空間変換処理部１０９を備える画像符号化装置１００と、逆色空間変換処理部２０６を備える画像復号装置２００は、コンピュータとソフトウエアプログラムとを用いて実現することができる。
【０１５５】
図２０は、色空間変換処理部１０４を備える画像符号化装置１００をコンピュータとソフトウエアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。コンピュータは、ＣＰＵ１１００、メモリ１１０１、映像信号入力部１１０２、プログラム記憶装置１１０３及び符号化ストリーム出力部１１０５を備えている。
【０１５６】
ＣＰＵ１１００はプログラムを実行する。メモリ１１０１は、ＣＰＵ１１００がアクセスするプログラムやデータを一時的に格納するＲＡＭなどである。映像信号入力部１１０２は、映像信号を生成するカメラなどの機器から符号化対象の入力映像信号を入力する。なお、映像信号入力部１１０２は、ハードディスク装置等による入力映像信号を記憶する記憶装置であってもよい。プログラム記憶装置１１０３は、前述の各実施形態において説明した符号化処理をＣＰＵ１１００に実行させるソフトウエアプログラムである画像符号化プログラム１１０４を格納する。符号化ストリーム出力部１１０５は、ＣＰＵ１１００がメモリ１１０１にロードされた画像符号化プログラム１１０４を実行することにより生成された符号化ストリームを出力する。符号化ストリーム出力部１１０５は、ネットワークを介して、符号化ストリームを出力するようにしてもよい。また、符号化ストリーム出力部１１０５は、ハードディスク装置等による符号化ストリーム記憶する記憶装置であってもよい。ＣＰＵ１１００、メモリ１１０１、映像信号入力部１１０２、プログラム記憶装置１１０３、符号化ストリーム出力部１１０５は、バスを介して互いに接続されている。
【０１５７】
図２１は、逆色空間変換処理部１０９及び逆色空間変換処理部２０６を備える画像復号装置２００をコンピュータとソフトウエアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。コンピュータは、ＣＰＵ１２００、メモリ１２０１、符号化ストリーム入力部１２０２、プログラム記憶装置１２０３及び復号映像出力部１２０５を備えている。
【０１５８】
ＣＰＵ１２００はプログラムを実行する。メモリ１２０１は、ＣＰＵ１２００がアクセスするプログラムやデータを一時的に格納するＲＡＭなどである。符号化ストリーム入力部１２０２は、例えば、画像符号化装置１００が前述の処理により入力映像信号を符号化した符号化ストリームを入力する。なお、符号化ストリーム入力部１２０２は、ハードディスク装置等による符号化ストリームを記憶する記憶装置であってもよい。プログラム記憶装置１２０３は、前述の各実施形態において説明した復号処理をＣＰＵ１２００に実行させるソフトウエアプログラムである画像復号プログラム１２０４を格納する。復号映像出力部１２０５は、ＣＰＵ１２００がメモリ１２０１にロードされた画像復号プログラム１２０４を実行することにより、符号化ストリームを復号して得られた復号映像を再生装置などに出力する。なお、復号映像出力部１２０５は、ハードディスク装置等による復号映像信号を記憶する記憶装置であってもよい。ＣＰＵ１２００、メモリ１２０１、符号化ストリーム入力部１２０２、プログラム記憶装置１２０３、復号映像出力部１２０５は、バスを介して互いに接続されている。
【０１５９】
前述した実施形態における色空間変換処理部と逆色空間変換処理部の機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【０１６０】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【０１６１】
色空間変換処理において、固有値情報から色空間変換の実施の判断を行い、ブロック単位で適応的に色空間変換を実施することによる符号化効率の改善、および色空間変換を伴う符号化処理と復号処理の高速化が不可欠な用途に適用できる。
【符号の説明】
【０１６２】
１００…画像符号化装置、１０１…イントラ予測処理部、１０２…インター予測処理部、１０３…予測残差信号生成部、１０４…色空間変換処理部、１０５…直交変換処理部１０６…量子化処理部、１０７…逆量子化処理部、１０８…逆直交変換処理部、１０９…逆色空間変換処理部、１１０…復号信号生成部、１１１…フレームメモリ、１１２…ループ内フィルタ処理部、１１３…フレームバッファ、１１４…インター予測情報格納部、１１５…イントラ予測情報格納部、１１６…色空間変換マトリクス計算部、１１７…エントロピー符号化処理部、２００…画像復号装置、２０１…エントロピー復号処理部、２０２…イントラ予測処理部、２０３…インター予測処理部、２０４…逆量子化処理部、２０５…逆直交変換処理部、２０６…逆色空間変換処理部、２０７…復号信号生成部、２０８…フレームメモリ、２０９…ループ内フィルタ処理部、２１０…フレームバッファ、２１１…インター予測情報格納部、２１２…イントラ予測情報格納部、２１３…色空間変換マトリクス計算部、３０１、５０１、７０１、９０１…予測残差信号記憶部、３０２、５０２、７０２、９０２…色空間変換マトリクス記憶部、３０３、５０３、７０３、９０３…色空間変換実行部、３０４、４０４、７０４、８０４、９０４１００４…固有値記憶部、５０４、６０４、７０５、８０５…基準マトリクス設定部、３０５、５０５、７０６、９０６…色空間変換実行判定部、３０６、４０６、５０６、６０６、７０７、８０７、９０７、１００７…閾値設定部、４０１、６０１、８０１、１００１…復号色空間変換後係数値記憶部、４０２、６０２、８０２、１００２…逆色空間変換マトリクス記憶部、４０３、６０３、８０３、１００３…逆色空間変換実行部、４０５、６０５、８０６、１００６…逆色空間変換実行判定部、９０５、１００５…固有値重み付き和計算部、１１００、１２００…ＣＰＵ、１１０１、１２０１…メモリ、１１０２…映像信号入力部、１１０３、１２０３…プログラム記憶装置、１１０４…画像符号化プログラム、１１０５…符号化ストリーム出力部、１２０２…符号化ストリーム入力部、１２０４…画像復号プログラム、１２０５…復号映像出力部
【図１】
2014204347.tif 000003
【図２】
2014204347.tif 000004
【図３】
2014204347.tif 000005
【図４】
2014204347.tif 000006
【図５】
2014204347.tif 000007
【図６】
2014204347.tif 000008
【図７】
2014204347.tif 000009
【図８】
2014204347.tif 000010
【図９】
2014204347.tif 000011
【図１０】
2014204347.tif 000012
【図１１】
2014204347.tif 000013
【図１２】
2014204347.tif 000014
【図１３】
2014204347.tif 000015
【図１４】
2014204347.tif 000016
【図１５】
2014204347.tif 000017
【図１６】
2014204347.tif 000018
【図１７】
2014204347.tif 000019
【図１８】
2014204347.tif 000020
【図１９】
2014204347.tif 000021
【図２０】
2014204347.tif 000022
【図２１】
2014204347.tif 000023
【図２２】
2014204347.tif 000024