(57)【要約】【課題】映像の動き量および色味の変化を考慮した色変換を行う。【解決手段】色変換装置２は、複数の映像フレームを入力する映像入力制御手段２１と、２種類以上設定した異なるフレーム数毎に、上位主成分の主成分ベクトルおよび累積寄与率を求める主成分分析手段２２と、２種類以上の累積寄与率に基づき単一のフレームに変換するフレーム数Ｐ（ｋ）を判定する判定手段２３と、フレーム数Ｐ（ｋ）に応じた主成分ベクトルを選択し、変換行列を生成する選択手段２４と、フレーム数Ｐ（ｋ）に応じた１以上のフレームに変換行列を乗算して単一のフレームに変換し、変換行列とともに色復元装置に伝送する色空間変換手段２５と、を備える。【選択図】図２
2014086810.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像フレーム（Ｉフレーム）を時系列に沿って入力し、入力された前記複数の映像フレーム中の１以上の前記映像フレーム（ｉフレーム）を単一のフレーム画像に変換する色変換装置であって、
前記複数の映像フレームを入力する映像入力制御手段と、
前記映像入力制御手段によって入力された前記複数の映像フレームの画素位置ごとに１以上Ｉ以下の前記ｉフレームの各色成分（ｒ色）のうち任意の数の色成分の画素値を多重化した１以上ｉ×ｒ以下のいずれかの次元の色ベクトルに対して変換を施し、前記１以上ｉ×ｒ以下のいずれかの次元の色ベクトルに変換する変換手段と、を備え、
前記変換手段は、前記ｉの数を、前記映像フレームの時系列において、前記映像フレーム列を構成する色ベクトル列に基づいて１以上Ｉ以下の範囲で時変的に制御し、当該変換手段で施した変換を特定するパラメータと、当該変換手段による変換結果の前記１以上ｉ×ｒ以下のいずれかの次元のベクトルで構成される単一のフレーム画像とを出力することを特徴とする色変換装置。
【請求項２】
前記変換手段が、前記ｉ×ｒ次元のベクトルに対して画像領域内において主成分分析を施し、１以上ｉ×ｒ以下の任意の数の上位主成分を多重化した前記１以上ｉ×ｒ以下のいずれかの次元のベクトルを以って出力すべき前記単一のフレーム画像の画素値とすることを特徴とする請求項１に記載の色変換装置。
【請求項３】
前記変換手段が、前記ｉの数を２種類以上設定し、そのｉ毎に、前記画素位置毎に前記ｉ×ｒ次元のベクトルに対して画像領域内において主成分分析を施し、そのｉ毎に、前記１以上ｉ×ｒ以下の任意の数の上位主成分の累積寄与率を求め、この累積寄与率に基づいて、前記ｉの数を１つ決定することを特徴とする請求項１または請求項２に記載の色変換装置。
【請求項４】
前記変換手段による変換結果である、前記単一のフレーム画像を符号化して伝送する符号化手段を備えることを特徴とする請求項１から請求項３のいずれか一項に記載の色変換装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の色変換装置により１以上の映像フレーム（ｉフレーム）から変換された単一のフレーム画像から、前記ｉフレームの画像を復元する色復元装置であって、
前記色変換装置から、前記単一のフレーム画像と、前記色変換装置で施された変換を特定するパラメータとを受信し、この単一のフレーム画像を前記パラメータに基づいて逆変換することで、前記単一のフレーム画像から前記ｉフレームの画像を復元する逆変換手段と、
前記逆変換手段により復元された前記ｉフレームの画像を時間多重して出力する時間多重手段と、を備えることを特徴とする色復元装置。
【請求項６】
コンピュータを、請求項１から請求項４のいずれか一項に記載の色変換装置として機能させるための色変換プログラム。
【請求項７】
コンピュータを、請求項５に記載の色復元装置として機能させるための色復元プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を符号化圧縮する装置に関し、とくに符号化側で入力フレーム数を適応的に削減し、削減されたフレームを復号側で復元する技術に関する。
【背景技術】
【０００２】
従来、映像（動画像）の圧縮においては、あるフレームを符号化する際、近接する時刻の他のフレームとの時間相関を利用することで、情報の削減を行っている。
また、送信側でフレームを時間的に間引き、間引かれたフレームを間引かれていないフレーム（キーフレーム）から復元するためのサイド情報とともに伝送する映像符号化手法として、誤り訂正技術を応用したDistributed Video Codingが提案されている。
一方、画速（フレーム周波数）を、より高いフレーム周波数へと変換するため、同一フレームを複数回提示する手法がある。例えば、フレーム周波数３０Ｈｚの各フレームを２回ずつ提示することで、フレーム周波数６０Ｈｚに変換する手法がある。また、フレーム周波数２４Ｈｚの奇数番目のフレームを２回、偶数番目のフレームを３回提示することで、フレーム周波数６０Ｈｚの映像を得る２−３変換のように、同一フレームを提示する回数を可変とした手法もある。
また、補間フレームの時刻に隣接する２フレームの各画素値の平均（または、重みつき平均）によって補間フレームの画素値を決定する手法もある。
さらに、映像の動きベクトルを利用して動き補償を行うことで、よりスムーズな補間フレームを生成する手法もある（特許文献１参照）。
また、さらに、フレーム間引きを伴う映像符号化において、符号化側でフレーム補間の有効性を評価して、適応的に間引きを行う手法もある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３４９５４８５号公報
【特許文献２】特許第４９３０４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の符号化方式では、画像サイズやフレームレートが高いほど演算量が増えるため、符号化が困難となる。そのため、とくに実時間の符号化装置は処理できる画像サイズやフレームレートに限界がある。
また、同一フレームを複数回提示する手法では、映像の動きや色味の変化がぎこちなくなるという問題があった。
さらに、平均や重みつき平均によって補間フレームの画素値を決定する手法では、映像のぎこちなさは改善するものの、補間フレームにおいて動物体が二重像となり、解像度が低下する。また、補間フレームと補間ではない元来のフレームとの画質の違いがフリッカのように見えてしまう。
特許文献１に記載のような動き補償を用いる手法では、例えば、動きの少ないシーンにおいて画像全体の色味が変化するような場合には有効に動作しないことから、符号化結果に色味の変化が反映されにくい。
特許文献２に記載のようなフレーム補間の有効性に応じて間引きを行う手法では、フレーム間引きの際に受信側でのフレーム補間において有効に働くような間引き制御は行えるものの、画像の色味の変化を考慮するものではないため、符号化結果に色味の変化が反映されにくい。
【０００５】
そこで、本発明は、映像の動きだけでなく、色味の変化も考慮した色変換を行うことが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の発明は、複数の映像フレーム（Ｉフレーム）を時系列に沿って入力し、入力された前記複数の映像フレーム中の１以上の前記映像フレーム（ｉフレーム）を単一のフレーム画像に変換する色変換装置であって、映像入力制御手段と、変換手段とを備えることを特徴とする。
【０００７】
かかる構成によれば、色変換装置は、映像入力制御手段によって、複数の映像フレーム（Ｉフレーム）を時系列に沿って入力する。
また、色変換装置は、変換手段によって、映像入力制御手段によって入力された複数の映像フレームの画素位置ごとに１以上Ｉ以下のｉフレームの各色成分（ｒ色）のうち任意の数の色成分の画素値を多重化した１以上ｉ×ｒ以下のいずれかの次元の色ベクトルに対して変換を施し、１以上ｉ×ｒ以下のいずれかの次元の色ベクトルに変換する。
【０００８】
このとき、色変換装置は、変換手段によって、ｉの数を、映像フレームの時系列において、映像フレーム列を構成する色ベクトル列に基づいて１以上Ｉ以下の範囲で時変的に制御し、当該変換手段で施した変換を特定するパラメータと、当該変換手段による変換結果の１以上ｉ×ｒ以下のいずれかの次元のベクトルで構成される単一のフレーム画像とを出力する。
このように、複数の映像フレーム間での動き量および色成分の偏りを考慮して単一のフレームに変換するフレーム数ｉを設定し、このフレーム数ｉに対応した変換行列によって画素値を変換することで、動き量に適応し、かつ、色味の変化が損なわれないような色変換が可能となる。
【０００９】
また、請求項２に記載の発明は、請求項１に記載の色変換装置において、前記変換手段が、前記ｉ×ｒ次元のベクトルに対して画像領域内において主成分分析を施し、１以上ｉ×ｒ以下の任意の数の上位主成分を多重化した前記１以上ｉ×ｒ以下のいずれかの次元のベクトルを以って出力すべき前記単一のフレーム画像の画素値とすることとした。
【００１０】
かかる構成によれば、色変換装置は、１以上ｉ×ｒ以下の任意の数の上位主成分を多重化した１以上ｉ×ｒ以下のいずれかの次元のベクトルを以って出力すべき単一のフレーム画像の画素値とすることで、画質に与える影響の大きい色成分を損なわないような色変換を行うことができる。
【００１１】
請求項３に記載の発明は、請求項１または請求項２に記載の色変換装置において、前記変換手段が、前記ｉの数を２種類以上設定し、そのｉ毎に、画素位置毎に前記ｉ×ｒ次元のベクトルに対して画像領域内において主成分分析を施し、そのｉ毎に、前記１以上ｉ×ｒ以下の任意の数の上位主成分の累積寄与率を求め、この累積寄与率に基づいて、前記ｉの数を１つ決めることとした。
【００１２】
かかる構成によれば、色変換装置は、２種類以上設定したｉ毎に、上位主成分が主成分全体に占める割合を示す累積寄与率を求めることで、そのｉ毎の累積寄与率の推移から、複数のフレーム間での動きや色味の変化を判断することができるので、単一のフレーム画像に変換するフレーム数を適応的に設定することができる。
【００１３】
また、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の色変換装置において、前記変換手段による変換結果である、前記単一のフレーム画像を符号化して伝送する符号化手段を備えることとした。
【００１４】
かかる構成によれば、色変換装置は、変換手段による変換後の単一のフレーム画像を符号化手段によって符号化することで、さらなるデータの圧縮が可能となる。
【００１５】
また、請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の色変換装置により、１以上の映像フレーム（ｉフレームの画像）から変換された単一のフレーム画像から、前記ｉフレームの画像を復元する色復元装置であって、逆変換手段と、時間多重手段とを備えることを特徴とする色復元装置である。
【００１６】
かかる構成によれば、色復元装置は、逆変換手段によって、色変換装置から、単一のフレーム画像と、色変換装置で行われた変換に関する情報とを受信し、この単一のフレーム画像を変換に関する情報に基づいて逆変換することで単一のフレーム画像からｉフレームの画像を復元する。そして、色復元装置は、時間多重手段によって、逆変換手段により復元されたｉフレームの画像を時間多重して出力する。
【００１７】
これにより、色復元装置は、色変換装置により１以上の映像フレーム（ｉフレームの画像）から変換された単一のフレーム画像と、色変換装置で行われた変換に関する情報とを取得することで、単一のフレーム画像から元のｉフレームの画像を復元することができる。
【００１８】
また、請求項６に記載の発明は、コンピュータを、請求項１から請求項４のいずれか一項に記載の色変換装置として機能させるための色変換プログラムである。
【００１９】
また、請求項７に記載の発明は、コンピュータを、請求項５に記載の色復元装置として機能させるための色復元プログラムである。
【発明の効果】
【００２０】
請求項１，６に記載の発明によれば、複数の映像フレーム間での動き量および色味の変化に応じて、単一のフレーム画像に変換するフレーム数を適応的に設定することで、符号化効率を向上できるとともに、被写体の動きに起因する画像劣化を抑制することができる。また、色味の変化を損なわないような色変換を行うことができるので、復元側で、色味の変化を再現することが可能となる。
請求項２に記載の発明によれば、画質に与える影響の大きい色成分を損なわないような色変換を行うことができる。
請求項３に記載の発明によれば、単一のフレーム画像に変換するフレーム数を適切に設定することができる。
請求項４に記載の発明によれば、符号化効率をより向上させることができる。
請求項５，７に記載の発明によれば、単一のフレーム画像から１以上の映像フレームを復元する際に、映像の色味の変化を損なわないように色復元することができるので、画質を向上することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る色変換装置および色復元装置を含む映像処理システムの概要を説明するための説明図である。
【図２】本発明の実施形態に係る色変換装置の構成を説明するためのブロック図である。
【図３】本発明の実施形態に係る色変換装置の主成分分析手段が、カラー映像の１以上のフレームを処理する際に参照する画素を例示した概念図である。
【図４】本発明の実施形態に係る色変換装置の判定手段による判定処理を説明するための概念図である。
【図５】本発明の実施形態に係る色復元装置の構成を説明するためのブロック図である。
【図６】本発明の実施形態に係る色変換装置および色復元装置を含む映像処理システムによる処理の流れを説明するためのフローチャートである。
【発明を実施するための形態】
【００２２】
［映像処理システムの概要］
以下、本実施形態に係る色変換装置および色復元装置について図面を適宜参照して説明する。まず、図１を参照して、本実施形態に係る本実施形態に係る色変換装置および色復元装置を含む映像処理システムの概要を説明する。
図１に示すように、映像処理システム１は、色変換装置２と色復元装置３とを備えている。
【００２３】
映像処理システム１は、色変換装置２によって、映像（動画像）の複数のフレーム（Ｉフレーム）を入力し、入力された複数の映像フレームのうち、１以上Ｉ以下のｉフレームを単一のフレーム画像に変換して、変換に関する情報とともに伝送し、色復元装置３によって、色変換装置２から伝送された単一のフレーム画像と、変換に関する情報とを受信し、変換に関する情報に基づいて、単一のフレーム画像からｉフレームの画像を復元して出力するものである。
【００２４】
このとき、映像処理システム１は、色変換装置２によって、入力された複数の映像フレーム間での時間的・空間的な相関を考慮して、単一のフレーム画像に変換するフレームの数を設定する。
【００２５】
例えば、図１に示した例では、映像処理システム１は、色変換装置２において、入力された映像フレーム１〜６のうち、フレーム１とフレーム２との相関が高いと判断したため、フレーム１とフレーム２を、単一のフレーム画像Ａに変換して伝送する。同様に、フレーム３とフレーム４との相関が高いと判断したため、フレーム３とフレーム４を、単一のフレームＢに変換して伝送する。一方、映像処理システム１は、色変換装置２において、フレーム５とフレーム６は、他のフレームとの相関が低いと判断したため、フレーム５とフレーム６をそれぞれ単一のフレームＣとフレームＤとに変換して伝送する。
【００２６】
一方、映像処理システム１は、色復元装置３において、色変換装置２から伝送されたフレームＡ〜Ｄおよび変換に関する情報を入力し、変換に関する情報に基づいて、フレームＡからフレーム１，２に対応するフレーム１´，２´を復元し、フレームＢからフレーム３，４に対応するフレーム３´，４´を復元し、フレームＣからフレーム５に対応するフレーム５´を復元し、フレームＤからフレーム６に対応するフレーム６´を復元する。なお、色復元装置３で復元されたフレーム１´〜６´は、色変換装置２による変換後の単一のフレームを一般的な画像符号化手法により符号化すること等により、色変換装置２に入力された元のフレーム１〜６に対し、劣化を含む場合もある。
【００２７】
このように、映像処理システム１は、色変換装置２において、複数のフレーム間の時間的な相関だけでなく、色成分間の相関も考慮して、適応的に、単一のフレームに変換するフレーム数を設定する点に特徴がある。これにより、フレーム間の時間的な相関および色成分間の相関がそれぞれ考慮されるので、とくに動きが少なく色味が時間的に変化する映像において、色味の変化を損なわないようにしつつ、効果的なフレーム数の削減が可能となる。
【００２８】
次に、図２を参照して、本実施形態に係る色変換装置２の詳細な構成について説明する。
図２に示すように、本実施形態に係る色変換装置２は、ここでは、映像入力制御手段２１と、主成分分析手段２２と、判定手段２３と、選択手段２４と、色空間変換手段２５とを備えている。この主成分分析手段２２、判定手段２３、選択手段２４および色空間変換手段２５が、特許請求の範囲の「変換手段」に相当する。
【００２９】
映像入力制御手段２１は、後記する判定手段２３により、現動作時点より１つ前の動作時点において判定された、単一のフレームに変換する妥当なフレーム数Ｐに基づいて、現動作時点において入力すべき映像の先頭フレーム番号（最小のフレーム番号）を決定し、当該先頭フレームおよびその先頭フレーム付近の別フレームを読み込むものである。
ここで、色変換装置２のｋ番目（ｋは０以上の整数）の動作時点において入力すべき先頭フレーム番号をＦ（ｋ）とおく。
映像入力制御手段２１は、後記する判定手段２３から、色変換装置２のｋ−１番目の動作時点において判定された、単一のフレームに変換する妥当なフレーム数Ｐ（ｋ−１）の判定結果を入力すると、次の式（１）により、ｋ番目の動作時点において入力すべき先頭フレーム番号Ｆ（ｋ）を決定する。
【００３０】
【数１】
2014086810.tif 000003
【００３１】
映像入力制御手段２１は、式（１）により求めた、ｋ番目の動作時点において入力すべき先頭フレーム番号Ｆ（ｋ）から連続する複数のフレーム（Ｉフレーム）を読み込む。ここでは、Ｉの数を“３”とした。したがって、図２に示すように、映像入力制御手段２１は、動作時点ｋにおいて、Ｆ（ｋ）、Ｆ（ｋ）＋１、Ｆ（ｋ）＋２の計３フレームを読み込んで、主成分分析手段２２に出力する。ここでは、映像入力制御手段２１が出力する映像のフレームｆは、カラー映像のフレームであるものとし、その色成分をＹ（ｆ）、Ｕ（ｆ）およびＶ（ｆ）とおく。ここでは、フレームｆの色成分数ｒを３として説明するが、色成分数ｒが２であったり、４以上であったりしても構わない。また、映像入力制御手段２１が出力する映像のフレームｆがモノクロ映像のフレームであってもよい。
【００３２】
主成分分析手段２２−ｉ（ｉは自然数）は、映像入力制御手段２１から出力される１時点以上のフレームの成分を参照して主成分分析を行い、主成分ベクトルおよび累積寄与率を求めるものである。図２に示した例では、色変換装置２は、主成分分析手段２２−ｉとして、３つの主成分分析手段２２−１，２２−２，２２−３を備えることとした。
【００３３】
図２に示した例では、主成分分析手段２２−１は、映像入力制御手段２１から、フレーム番号Ｆ（ｋ）の３つの色成分Ｙ（Ｆ（ｋ））、Ｕ（Ｆ（ｋ））およびＶ（Ｆ（ｋ））を入力して参照する。主成分分析手段２２−２は、映像入力制御手段２１から、フレーム番号Ｆ（ｋ）の３つの色成分Ｙ（Ｆ（ｋ））、Ｕ（Ｆ（ｋ））およびＶ（Ｆ（ｋ））、ならびに、フレーム番号Ｆ（ｋ）＋１の３つの色成分Ｙ（Ｆ（ｋ）＋１）、Ｕ（Ｆ（ｋ）＋１）およびＶ（Ｆ（ｋ）＋１）を入力して参照する。主成分分析手段２２−３は、映像入力制御手段２１から、フレーム番号Ｆ（ｋ）の３つの色成分Ｙ（Ｆ（ｋ））、Ｕ（Ｆ（ｋ））およびＶ（Ｆ（ｋ））、さらに、フレーム番号Ｆ（ｋ）＋１の３つの色成分Ｙ（Ｆ（ｋ）＋１）、Ｕ（Ｆ（ｋ）＋１）およびＶ（Ｆ（ｋ）＋１）、ならびに、フレーム番号Ｆ（ｋ）＋２の３つの色成分Ｙ（Ｆ（ｋ）＋２）、Ｕ（Ｆ（ｋ）＋２）およびＶ（Ｆ（ｋ）＋２）を入力して参照する。
【００３４】
主成分分析手段２２−ｉ（ここでは、ｉ∈｛１，２，３｝）は、図３に示すように、ある画像座標（ｘ，ｙ）における各フレーム、各色成分（ｒ色）の画素値をまとめて（ｉ×ｒ）次元、ここでは、（３ｉ）次元のベクトルｖｉ（ｘ，ｙ）を定義する。
また、主成分分析手段２２−ｉは、フレーム内の画像座標（ｘ，ｙ）に対して、ベクトルｖｉ（ｘ，ｙ）の主成分分析を行い、上位第ｎ主成分（ｎは、１以上３ｉ以下の整数；ここでは、ｎ＝３とする）までの主成分ベクトル、および、上位第ｎ主成分までの各主成分が主成分全体において占める割合の合計である累積寄与率ａｉを求める。
【００３５】
以下では、主成分分析手段２２−ｉが求める第ｊ主成分ベクトル（ｊは１以上ｎ以下の整数）をｐｉ（ｊ）とおく。主成分分析手段２２−ｉは、ｐｉ（１），ｐｉ（２），…，ｐｉ（ｎ）および累積寄与率ａｉを求める。例えば、ｎ＝３のときは、主成分分析手段２２−ｉは、ｐｉ（１），ｐｉ（２），ｐｉ（３）および累積寄与率ａｉを求める。
このようにして求められた主成分ベクトルｐｉ（ｊ）は、後記する選択手段２４に出力され、累積寄与率ａｉは、判定手段２３に出力される。なお、図２に示した例では、主成分分析手段２２−１については、入力されるフレームｆの数が１つであり、かつ、ここでは、フレームｆが３つの色成分Ｙ，Ｕ，Ｖで構成されているため、上位第ｎ主成分（ここでは、ｎ＝３）の累積寄与率ａ１は、必ず１となる。したがって、主成分分析手段２２−１については、累積寄与率ａ１を出力するのを省略してもよい。
【００３６】
判定手段２３は、主成分分析手段２２−ｉから累積寄与率ａｉを入力し、この累積寄与率ａｉに基づいて、入力した複数のフレームのうち、単一のフレームに圧縮する妥当なフレーム数を決定するものである。例えば、判定手段２３は、次の式（２）に示すように、累積寄与率ａｉと閾値ｂｉ（ｉ∈｛１，２，３｝、０＜ｂｉ＜１）との比較により、累積寄与率ａｉ≧閾値ｂｉを満たす最大のフレーム数Ｐを求める。
【００３７】
【数２】
2014086810.tif 000004
【００３８】
なお、式（２）において、閾値ｂｉを定数としてもよい。式（２）において閾値ｂｉを定数とした場合を、次の式（３）に示す。
【００３９】
【数３】
2014086810.tif 000005
【００４０】
ここで、図４を参照して、判定手段２３による判定処理を具体的に説明する。なお、図４に示す例では、閾値ｂｉは定数とした（ここでは、閾値ｂｉ＝ｂ＝０．５）。
判定手段２３は、式（３）により、累積寄与率ａｉと閾値ｂとを比較した結果、図４（ａ）に示すように、ａｉ≧ｂを満たす最大のｉが１である場合、フレーム数Ｐ＝１と判定する。また、判定手段２３は、式（３）により、累積寄与率ａｉと閾値ｂとを比較した結果、図４（ｂ）に示すように、ａｉ≧ｂを満たす最大のｉが２である場合、フレーム数Ｐ＝２と判定する。さらに、判定手段２３は、式（３）により、累積寄与率ａｉと閾値ｂとを比較した結果、図４（ｃ）に示すように、ａｉ≧ｂを満たす最大のｉが３である場合、フレーム数Ｐ＝３と判定する。
【００４１】
この判定手段２３の動作は、「入力映像に動きがほとんどない場合など、複数のフレームをまとめて単一フレームに変換しても主成分の損失が少ない場合、累積寄与率ａｉは小さくなりにくい」という性質を反映している。つまり、入力映像に動きがほとんどない場合、複数のフレーム間の相関が高いといえるので、複数のフレーム間で共通して特定の主成分に偏りが生じることから、複数のフレームをまとめたとしても、画質に与える影響の大きい主成分についての累積寄与率ａｉが小さくなりにくい。一方、入力映像の動きがはげしい場合、複数のフレーム間の相関が極めて低いといえるので、複数のフレーム間で主成分が分散することから、画質に与える影響の大きい主成分についての累積寄与率ａｉが小さくなりやすい。このような判定結果であるフレーム数Ｐは、映像入力制御手段２１および選択手段２４にそれぞれ出力される。
【００４２】
選択手段２４は、判定手段２３から、判定結果として、単一のフレームに圧縮する妥当なフレーム数Ｐを入力するとともに、主成分分析手段２２−ｉから主成分ベクトルを入力し、このフレーム数Ｐに応じて、後記する色空間変換手段２５で利用すべき主成分ベクトルを選択するものである。すなわち、選択手段２４は、ここでは、フレーム数Ｐ＝１のときは、（ｐ１（１），ｐ１（２），ｐ１（３））を、Ｐ＝２のときは、（ｐ２（１），ｐ２（２），ｐ２（３））を、Ｐ＝３のときは、（ｐ３（１），ｐ３（２），ｐ３（３））をそれぞれ選択する。選択手段２４は、選択した主成分ベクトル（ｐＰ（１），ｐＰ（２），ｐＰ（３））に基づき、次の式（４）に示すような変換行列Ｍを生成する。
【００４３】
【数４】
2014086810.tif 000006
【００４４】
なお、式（４）において、右上付きＴは、行列やベクトルの転置を表す。また、ここでは、主成分ベクトルは、列ベクトルであるものとする。図２に示した例では、変換行列Ｍは、Ｐ＝１のときは、３行３列、Ｐ＝２のときは、３行６列、Ｐ＝３のときは、３行９列となる。以下、ｋ番目の動作時点における変換行列をＭ（ｋ）という。このようにして生成された変換行列Ｍ（ｋ）は、色空間変換手段２５に出力される。また、変換行列Ｍ（ｋ）は、後記する色空間変換手段２５（変換手段）による変換を特定するパラメータとして、色空間変換手段２５による変換結果とともに色復元装置３に伝送される。このように、第ｎ主成分までの主成分ベクトルに応じて変換行列Ｍ（ｋ）を生成することで、フレーム間での時間方向の相関および色成分間での相関を考慮した色変換を行うことができる。これにより、変換対象のフレーム中で画質に与える影響が大きい色成分を損失しないようにすることができるので、変換後の映像の画質劣化を抑制することができる。
【００４５】
色空間変換手段２５は、選択手段２４から、ｋ番目の動作時点における変換行列Ｍ（ｋ）を入力するとともに、映像入力制御手段２１から、選択手段２４で選択された変換行列Ｍ（ｋ）の行数に対応する色成分を入力し、入力した色成分を、変換行列Ｍ（ｋ）で変換して、変換結果［Ａ（ｋ，ｘ，ｙ），Ｂ（ｋ，ｘ，ｙ），Ｃ（ｋ，ｘ，ｙ）］を求めるものである。このような変換により、入力した色成分Ｙ，Ｕ，Ｖが、新たな色空間に属する色成分Ａ，Ｂ，Ｃに変換されることになる。なお、この新たな色空間は、その各軸が、カラー映像への寄与率が高い軸から順次直交基底を張るため、変換結果を符号化する場合、間引き影響を受けやすい色成分から間引き影響を受けにくい色成分へと順位付けのなされた色分解が可能となる。
【００４６】
例えば、変換行列Ｍ（ｋ）の行数をｒとしたとき、Ｙ（Ｆ（ｋ），ｘ，ｙ）、Ｕ（Ｆ（ｋ），ｘ，ｙ）、Ｖ（Ｆ（ｋ），ｘ，ｙ）、Ｙ（Ｆ（ｋ）＋１，ｘ，ｙ）、Ｕ（Ｆ（ｋ）＋１，ｘ，ｙ）、Ｖ（Ｆ（ｋ）＋１，ｘ，ｙ）、Ｙ（Ｆ（ｋ）＋２，ｘ，ｙ）、Ｕ（Ｆ（ｋ）＋２，ｘ，ｙ）、Ｖ（Ｆ（ｋ）＋２，ｘ，ｙ）の先頭ｒ個からなる列ベクトルを、ｖ（ｋ，ｘ，ｙ）とすると、色空間変換手段２５は、次の式（５）に示す演算を行い、変換結果を求める。
【００４７】
【数５】
2014086810.tif 000007
【００４８】
この式（５）を図２に示した例に対応させると、次の式（６）のように表される。
【００４９】
【数６】
2014086810.tif 000008
【００５０】
これにより、１以上のフレームの色成分が、単一のフレームの色成分Ａ，Ｂ，Ｃに変換される。このようにして求められた変換結果Ａ（ｋ，ｘ，ｙ）、Ｂ（ｋ，ｘ，ｙ）、Ｃ（ｋ，ｘ，ｙ）は、色復元装置３に伝送される。このとき、色変換装置２、または、色変換装置２の外部に、色空間変換手段２５から変換結果Ａ（ｋ，ｘ，ｙ）、Ｂ（ｋ，ｘ，ｙ）、Ｃ（ｋ，ｘ，ｙ）を入力して既存の画像符号化方式によって符号化する図示しない符号化手段を設けてもよい。図示しない符号化手段は、色空間変換手段２５による変換結果Ａ（ｋ，ｘ，ｙ）、Ｂ（ｋ，ｘ，ｙ）、Ｃ（ｋ，ｘ，ｙ）を、これらを成分とするカラーの画素とみなして１フレーム分の画素を符号化し、動画像または静止画像として色復元装置３へと符号化伝送する。なお、この符号化伝送によって、画像劣化が生じても構わない。
【００５１】
次に、本発明の実施形態に係る色復元装置３について図５を参照して説明する。
図５に示すように、色復元装置３は、色変換装置２において、１以上のフレームを変換して得られた単一のフレーム（画質劣化を含む場合もある）を、変換に関する情報に基づいて再変換することで、１以上のフレームを復元して出力するものである。以下では、色変換装置２から受信した変換結果の単一のフレームの画素値をＡ´（ｋ，ｘ，ｙ）、Ｂ´（ｋ，ｘ，ｙ）、Ｃ´（ｋ，ｘ，ｙ）として説明する。
【００５２】
色復元装置３は、逆変換手段３１と時間多重手段３２とを備えている。
逆変換手段３１は、色変換装置２から、Ｐ枚のフレームを圧縮した結果である単一のフレームと、変換に関する情報とを受信し、この変換に関する情報にしたがって、単一のフレームを再変換してＰ枚のフレームを復元するものである。
逆変換手段３１は、例えば、次の式（７）に示すように、変換結果の画像の画素値Ａ´（ｋ，ｘ，ｙ）、Ｂ´（ｋ，ｘ，ｙ）、Ｃ´（ｋ，ｘ，ｙ）に対し、変換行列Ｍ（ｋ）の転置行列Ｍ（ｋ）Ｔを乗算することで、ベクトルｖ´（ｋ，ｘ，ｙ）を求める。
【００５３】
【数７】
2014086810.tif 000009
【００５４】
また、逆変換手段３１は、次の式（８）に示すように、動作時点ｋの一つ前の動作時点ｋ−１における変換行列Ｍ（ｋ−１）の行数に応じて、フレーム番号Ｆ（ｋ）を更新する（なお、ｋ＝１のときはＦ（ｋ）＝０とする）。つまり、変換行列Ｍ（ｋ−１）の行数を色成分数（ここでは、３）で除算することで、変換行列Ｍ（ｋ−１）で変換したフレーム数が求められる。そして、このフレーム数と、動作時点ｋ−１の先頭フレーム番号Ｆ（ｋ−１）とを合算することで、動作時点ｋにおける先頭フレーム番号Ｆ（ｋ）を求めることができる。
【００５５】
【数８】
2014086810.tif 000010
【００５６】
さらに、逆変換手段３１は、動作時点ｋにおける変換行列Ｍ（ｋ）の行数（ベクトルｖ´の次元）に応じた演算を行い、復元結果を得る。すなわち、変換行列Ｍ（ｋ）の行数（ベクトルｖ´の次元）が３のときには、前記式（７）による変換を行い、次の式（９）により復元して、復元結果を得る。
【００５７】
【数９】
2014086810.tif 000011
【００５８】
また、変換行列Ｍ（ｋ）の行数（ベクトルｖ´の次元）が６のときには、前記式（７）による変換を行い、次の式（１０）により復元して、復元結果を得る。
【００５９】
【数１０】
2014086810.tif 000012
【００６０】
さらに、変換行列Ｍ（ｋ）の行数（ベクトルｖ´の次元）が９のときには、前記式（７）による変換を行い、次の式（１１）により復元して、復元結果を得る。
【００６１】
【数１１】
2014086810.tif 000013
【００６２】
このようにして求められた復元結果は、時間多重手段３２に出力される。
【００６３】
時間多重手段３２は、逆変換手段３１から復元結果を入力し、この復元結果を変換行列Ｍ（ｋ）の行数に応じて時間多重して出力するものである。
例えば、変換行列Ｍ（ｋ）の行数が３のときには、時間多重手段３２は、次の式（１２）に示す復元結果の出力を行った後、動作時点ｋを一つ進める。
【００６４】
【数１２】
2014086810.tif 000014
【００６５】
また、例えば、変換行列Ｍ（ｋ）の行数が６のときには、時間多重手段３２は、次の式（１３）に示す復元結果の出力を行い、さらに、次の式（１４）に示す復元結果の出力を行った後、動作時点ｋを一つ進める。
【数１３】
2014086810.tif 000015
【００６６】
さらに、例えば、変換行列Ｍ（ｋ）の行数が９のときには、時間多重手段３２は、次の式（１５）に示す復元結果の出力を行い、さらに、次の式（１６）に示す復元結果の出力を行い、引き続き、次の式（１７）に示す復元結果の出力を行った後、動作時点ｋを一つ進める。
【００６７】
【数１４】
2014086810.tif 000016
【００６８】
［映像処理システムの動作］
次に、図６を参照して、本実施形態に係る色変換装置２および色復元装置３を含む映像処理システム１の動作について説明する。
図６に示すように、映像処理システム１は、色変換装置２の映像入力制御手段２１によって、外部から映像の複数のフレームを入力する（ステップＳ１）。ここでは、映像処理システム１は、色変換装置２の映像入力制御手段２１によって、時刻ｋのフレームＦ（ｋ）と、時刻ｋ＋１のフレームＦ（ｋ）＋１と、時刻ｋ＋２のフレームＦ（ｋ）＋２という、時間的に連続する３つのフレームを入力する。
【００６９】
映像処理システム１は、色変換装置２の映像入力制御手段２１によって、入力した１以上の画像フレームを、主成分分析手段２２（主成分分析手段２２−１，２２−２および２２−３）および色空間変換手段２５に出力する。ここでは、映像入力制御手段２１は、主成分分析手段２２−１に、フレームＦ（ｋ）の色成分Ｙ（Ｆ（ｋ）），Ｕ（Ｆ（ｋ））およびＶ（Ｆ（ｋ））を出力する。また、主成分分析手段２２−２に、フレームＦ（ｋ）の色成分Ｙ（Ｆ（ｋ）），Ｕ（Ｆ（ｋ））およびＶ（Ｆ（ｋ））に加え、フレームＦ（ｋ）＋１の色成分Ｙ（Ｆ（ｋ）＋１），Ｕ（Ｆ（ｋ）＋１）およびＶ（Ｆ（ｋ）＋１）を出力する。さらに、映像入力制御手段２１は、主成分分析手段２２−３に、フレームＦ（ｋ）の色成分Ｙ（Ｆ（ｋ）），Ｕ（Ｆ（ｋ））およびＶ（Ｆ（ｋ））、さらに、フレームＦ（ｋ）＋１の色成分Ｙ（Ｆ（ｋ）＋１），Ｕ（Ｆ（ｋ）＋１）およびＶ（Ｆ（ｋ）＋１）、ならびに、フレームＦ（ｋ）＋２の色成分Ｙ（Ｆ（ｋ）＋２），Ｕ（Ｆ（ｋ）＋２）およびＶ（Ｆ（ｋ）＋２）を出力する。
加えて、映像入力制御手段２１は、色空間変換手段２５に、フレームＦ（ｋ）の色成分Ｙ（Ｆ（ｋ）），Ｕ（Ｆ（ｋ））およびＶ（Ｆ（ｋ））、さらに、フレームＦ（ｋ）＋１の色成分Ｙ（Ｆ（ｋ）＋１），Ｕ（Ｆ（ｋ）＋１）およびＶ（Ｆ（ｋ）＋１）、ならびに、フレームＦ（ｋ）＋２の色成分Ｙ（Ｆ（ｋ）＋２），Ｕ（Ｆ（ｋ）＋２）およびＶ（Ｆ（ｋ）＋２）を出力する。
【００７０】
続いて、映像処理システム１は、色変換装置２の主成分分析手段２２（主成分分析手段２２−１，２２−２および２２−３）によって、映像入力制御手段２１から入力した複数のフレームについて主成分分析を行い、主成分ベクトルｐｉ（ｊ）を求めるとともに、第ｎ主成分（例えばｎ＝３）までの累積寄与率ａｉを求める（ステップＳ２）。
ここでは、映像処理システム１は、色変換装置２の主成分分析手段２２−１によって、フレームＦ（ｋ）の３つの色成分について主成分分析を行い、主成分ベクトルｐ１（１），ｐ１（２），ｐ１（３）および累積寄与率ａ１を求め、主成分分析手段２２−２によって、フレームＦ（ｋ）の３つの色成分およびフレームＦ（ｋ）＋１の３つの色成分（合わせて６つの色成分）について主成分分析を行い、主成分ベクトルｐ２（１），ｐ２（２），ｐ２（３）および累積寄与率ａ２を求め、主成分分析手段２２−３によって、フレームＦ（ｋ）の３つの色成分、フレームＦ（ｋ）＋１の３つの色成分、およびフレームＦ（ｋ）＋２の３つの色成分（合わせて９つの色成分）の主成分分析を行い、主成分ベクトルｐ３（１），ｐ３（２），ｐ３（３）および累積寄与率ａ３を求める。映像処理システム１は、色変換装置２の主成分分析手段２２によって、主成分ベクトルｐｉ（ｊ）を選択手段２４に出力し、累積寄与率ａｉを判定手段２３に出力する。
【００７１】
さらに、続いて、映像処理システム１は、色変換装置２の判定手段２３によって、主成分分析手段２２から累積寄与率ａｉを入力し、この累積寄与率ａｉを閾値ｂｉと比較して、累積寄与率ａｉ≧閾値ｂｉを満たす最大のｉの数を、入力された複数のフレームのうち、単一フレームに変換する妥当なフレーム数Ｐと判定する（ステップＳ３）。ここでは、主成分分析手段２２−１から累積寄与率ａ１を入力し、主成分分析手段２２−２から累積寄与率ａ２を入力し、主成分分析手段２２−３から累積寄与率ａ３を入力し、累積寄与率ａ１〜ａ３と、閾値ｂｉとをそれぞれ比較する。映像処理システム１は、色変換装置２の判定手段２３によって、判定結果であるフレーム数Ｐを、選択手段２４に出力する。
【００７２】
映像処理システム１は、色変換装置２の選択手段２４によって、判定手段２３から判定結果であるフレーム数Ｐを入力するとともに、主成分分析手段２２から主成分ベクトルｐｉ（ｊ）を入力し、判定手段２３で判定されたフレーム数Ｐに対応する主成分ベクトルｐｉ（ｊ）を選択する（ステップＳ４）。例えば、映像処理システム１は、色変換装置２の選択手段２４によって、判定手段２３からフレーム数Ｐ＝１という判定結果を入力した場合、主成分分析手段２２−１で求められた主成分ベクトルｐ１（１），ｐ１（２），ｐ１（３）を選択し、同様にフレーム数Ｐ＝２という判定結果を入力した場合、主成分分析手段２２−２で求められた主成分ベクトルｐ２（１），ｐ２（２），ｐ２（３）を選択し、同様にフレーム数Ｐ＝３という判定結果を入力した場合、主成分分析手段２２−１で求められた主成分ベクトルｐ３（１），ｐ３（２），ｐ３（３）を選択する。
【００７３】
さらに、映像処理システム１は、色変換装置２の選択手段２４によって、選択した主成分ベクトルｐｉ（ｊ）から変換行列Ｍ（ｋ）を生成する（ステップＳ５）。映像処理システム１は、色変換装置２の選択手段２４によって、生成した変換行列Ｍ（ｋ）を色空間変換手段２５および色変換装置２の外部に出力する。色変換装置２の外部に出力された変換行列Ｍ（ｋ）は、図示しない通信手段等を介して色復元装置３に伝送される。
【００７４】
映像処理システム１は、色変換装置２の色空間変換手段２５によって、選択手段２４で生成された変換行列Ｍ（ｋ）を入力するとともに、映像入力制御手段２１から１以上のフレームの色成分を入力し、変換行列Ｍ（ｋ）の行数に対応する数の色成分に変換行列Ｍ（ｋ）を乗算して、画像１フレーム分の新たな色成分に変換する（ステップＳ６）。映像処理システム１は、色変換装置２の色空間変換手段２５によって、変換後の色成分Ａ（ｋ，ｘ，ｙ），Ｂ（ｋ，ｘ，ｙ），Ｃ（ｋ，ｘ，ｙ）を、図示しない通信回線等を介して色復元装置３に送信する（ステップＳ７）。
【００７５】
映像処理システム１は、色復元装置３の逆変換手段３１によって、図示しない通信回線等を介して、色変換装置２から送信された変換行列Ｍ（ｋ）および変換結果である色成分Ａ´（ｋ，ｘ，ｙ），Ｂ´（ｋ，ｘ，ｙ）Ｃ´（ｋ，ｘ，ｙ）を受信する（ステップＳ８）。
映像処理システム１は、色復元装置３の逆変換手段３１によって、色成分Ａ´（ｋ，ｘ，ｙ），Ｂ´（ｋ，ｘ，ｙ），Ｃ´（ｋ，ｘ，ｙ）に変換行列Ｍ（ｋ）の逆行列ＭＴを乗算し、１以上のフレームを復元する（ステップＳ９）。例えば、送信部から受信した色成分Ａ´（ｋ，ｘ，ｙ），Ｂ´（ｋ，ｘ，ｙ），Ｃ´（ｋ，ｘ，ｙ）が、色変換装置２によって３つのフレームをまとめて変換して得られたものである場合、映像処理システム１は、色復元装置３の逆変換手段３１によって、色成分Ａ´（ｋ，ｘ，ｙ），Ｂ´（ｋ，ｘ，ｙ），Ｃ´（ｋ，ｘ，ｙ）から３つのフレームの色成分を復元する。映像処理システム１は、色復元装置３の逆変換手段３１によって、復元後の１以上のフレームを時間多重手段３２に出力する。
【００７６】
映像処理システム１は、色復元装置３の時間多重手段３２によって、逆変換手段３１によって復元された１以上のフレームを時間多重して出力する（ステップＳ１０）。例えば、逆変換手段３１によって、３つのフレームが復元された場合、時間多重手段３２は、３つのフレームを時系列に沿って多重して出力する。
映像処理システム１は、色復元装置３の時間多重手段３２によって、動作時点ｋを一つ進める（ステップＳ１１）。
そして、映像処理システム１は、ステップＳ１〜Ｓ１１を繰り返す。
映像処理システム１は、以上のように動作する。
【００７７】
以上説明した映像処理システム１によれば、色変換装置２によって、入力した１以上の画像フレーム間の相関を分析することで、フレーム数を適応的に削減することが可能となる。
そのため、例えば、入力した画像がカラー画像である場合、色変換装置２によって、入力した１以上のフレーム間での時間的な相関および色成分間の相関を分析し、その分析結果に応じて削減するフレーム数を設定することで、とくに動きが少なく色味が時間的に変化するようなシーンにおいて、色味の変化が損なわれないようにしつつ、効率良くフレーム数を削減することができる。
また、映像処理システム１によれば、色復元装置３によって、色変換装置２で行われた変換に関する情報に基づいて、単一のフレームから、色変換装置２において削減されたフレームを復元することができる。
【００７８】
また、前記した色変換装置２および色復元装置３は、それぞれ、コンピュータにおいて各手段における処理を実行可能に記述したプログラム（色変換プログラムまたは色復元プログラム）とすることも可能である。この場合、各プログラムは、対応する装置と同様の効果を奏する。
【符号の説明】
【００７９】
１      映像処理システム
２      色変換装置
２１      映像入力制御手段
２２      主成分分析手段
２３      判定手段
２４      選択手段
２５      色空間変換手段
３      色復元装置
３１      逆変換手段
３２      時間多重手段
【図１】
2014086810.tif 000017
【図２】
2014086810.tif 000018
【図３】
2014086810.tif 000019
【図４】
2014086810.tif 000020
【図５】
2014086810.tif 000021
【図６】
2014086810.tif 000022