(57)【要約】【課題】  輝度、色差形式の画像フォーマット間の変換を実行できる色形式変換装置を提供する。【解決手段】  本発明は、輝度成分及び２つの色差成分でなる第１の画像フォーマットに従う信号を、輝度成分及び２つの色差成分の少なくとも１以上が、第１の画像フォーマットにおける対応成分の要素数より、縦横の両方共に、又は、縦横の一方だけ多い第２の画像フォーマットに従う信号に変換するものである。要素数増大部及び成分品質向上部を有する色成分変換手段を少なくとも１つ有する。要素数増大部は、第１の画像フォーマットに従う所定成分の第１の信号を、要素数が多い第２の画像フォーマットに従う所定成分の第２の信号に変換し、成分品質向上部は、連続する画像に係る所定成分の第２の信号に対する画像間補間処理により、成分品質を向上させた所定成分の第３の信号を得る。【選択図】      図１
2008236622.tif 000002
【特許請求の範囲】
【請求項１】
輝度成分及び２つの色差成分でなる第１の画像フォーマットに従う信号を、輝度成分及び２つの色差成分の少なくとも１以上が、上記第１の画像フォーマットにおける対応成分の要素数より、縦横の両方共に多い、又は、縦横の一方が同じで他方が多いものである第２の画像フォーマットに従う信号に変換する色形式変換装置であって、
上記第１の画像フォーマットに従う信号の輝度成分及び２つの色差成分の１つである所定成分の情報を、縦横の両方共に要素数が多い、又は、縦横の一方の要素数が同じで他方が要素数が多い上記第２の画像フォーマットに従う対応する成分の情報に変換する色成分変換手段を少なくとも１つ有し、
上記各色成分変換手段は、
上記第１の画像フォーマットに従う所定成分の第１の信号を、要素数が多い第２の画像フォーマットに従う所定成分の第２の信号に変換する要素数増大部と、
連続する画像に係る所定成分の上記第２の信号に対する画像間補間処理により、成分品質を向上させた所定成分の第３の信号を得る成分品質向上部とを備える
ことを特徴とする色形式変換装置。
【請求項２】
上記各色成分変換手段は、上記第３の信号に対し、非線形探索手法に従った探索によって最適化して第４の信号を得る最適情報探索部をさらに備え、
上記最適情報探索部は、要素値が所定の確率分布モデルに従っているとみなした場合における上記第３の信号又は探索途中の上記第４の信号の上記確率分布モデルに対する合致度を示す第１のコスト要素と、上記第３の信号又は探索途中の上記第４の信号に対して要素数を少なくする変換を行ったとした仮想情報と上記第１の信号との相違度を示す第２のコスト要素と、上記第３の信号又は探索途中の上記第４の信号に対して動き補償したとして得た過去又は未来の仮想情報と同時刻の上記第２の信号とのずれを、上記画像間補間処理に供した上記第２の信号の数だけ合成した第３のコスト要素とを合成したコストを計算して上記非線形探索手法に従った探索を行うものである
ことを特徴とする請求項１に記載の色形式変換装置。
【請求項３】
上記要素数増大部は、要素値が所定の確率分布モデルに従っているとみなした場合における上記第２の信号又は探索途中の上記第２の信号の上記確率分布モデルに対する合致度を示す第４のコスト要素と、上記第２の信号又は探索途中の上記第２の信号に対して要素数を少なくする変換を行ったとした仮想情報と上記第１の信号との相違度を示す第４のコスト要素とを合成したコストを計算して非線形探索手法に従った、上記第２の信号の最適化情報の探索を行うことを特徴とする請求項１又は２に記載の色形式変換装置。
【請求項４】
輝度成分及び２つの色差成分でなる第１の画像フォーマットに従う信号を、輝度成分及び２つの色差成分の少なくとも１以上が、上記第１の画像フォーマットにおける対応成分の要素数より、縦横の両方共に多い、又は、縦横の一方が同じで他方が多いものである第２の画像フォーマットに従う信号に変換する色形式変換方法であって、
要素数増大部及び成分品質向上部を有する色成分変換手段を少なくとも１つ有し、
上記要素数増大部は、上記第１の画像フォーマットに従う所定成分の第１の信号を、要素数が多い第２の画像フォーマットに従う所定成分の第２の信号に変換し、
上記成分品質向上部は、連続する画像に係る所定成分の上記第２の信号に対する画像間補間処理により、成分品質を向上させた所定成分の第３の信号を得る
ことを特徴とする色形式変換方法。
【請求項５】
輝度成分及び２つの色差成分でなる第１の画像フォーマットに従う信号を、輝度成分及び２つの色差成分の少なくとも１以上が、上記第１の画像フォーマットにおける対応成分の要素数より、縦横の両方共に多い、又は、縦横の一方が同じで他方が多いものである第２の画像フォーマットに従う信号に変換する色形式変換プログラムであって、
コンピュータを、
上記第１の画像フォーマットに従う所定成分の第１の信号を、要素数が多い第２の画像フォーマットに従う所定成分の第２の信号に変換する要素数増大部と、連続する画像に係る所定成分の上記第２の信号に対する画像間補間処理により、成分品質を向上させた所定成分の第３の信号を得る成分品質向上部とを備える、少なくとも１つの色成分変換手段として
機能させることを特徴とする色形式変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は色形式変換装置及び方法に関し、例えば、輝度成分及び２つの色差成分でなる画像フォーマット（色形式）の信号のうち少なくとも色差成分の要素数を増大させる場合に適用し得るものである。
【背景技術】
【０００２】
画像処理装置においては、適宜、画像信号を変換することを行う。例えば、画像信号の解像度を拡張する装置や（特許文献１参照）、３原色信号と、輝度、色差形式の信号との間で変換する装置（特許文献２、特許文献３参照）などが存在する。
【特許文献１】特開２０００−２４４８５１号公報
【特許文献２】特開２００５−３１１６６７号公報
【特許文献３】特開２００３−２２４８６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、ＭＰＥＧにおける輝度、色差形式の画像フォーマット（色形式）として、輝度成分の縦横が４８０×７２０で色差成分の縦横が２４０×３６０である４：２：０（以下、４：２：０フォーマットと呼ぶ）、輝度成分の縦横が４８０×７２０で色差成分の縦横が４８０×３６０である４：２：２（以下、４：２：２フォーマットと呼ぶ）、輝度成分及び色差成分の縦横が全て４８０×７２０である４：４：４（以下、４：４：４フォーマットと呼ぶ）などがある。これらフォーマットに従う信号はそれぞれ、輝度成分の信号と色差成分の信号から形成されている。
【０００４】
今日では、ＭＰＥＧ信号を取り扱う装置も多様であり、やがて、輝度、色差形式の画像フォーマット間で直接変換することが望まれると推測される。しかしながら、このような輝度、色差形式の画像フォーマット間で直接変換する装置及び方法は、現状提案されていない。
【０００５】
そのため、輝度、色差形式の画像フォーマット間の変換を実行できる色形式変換装置、方法及びプログラムが望まれている。
【課題を解決するための手段】
【０００６】
第１の本発明は、輝度成分及び２つの色差成分でなる第１の画像フォーマットに従う信号を、輝度成分及び２つの色差成分の少なくとも１以上が、上記第１の画像フォーマットにおける対応成分の要素数より、縦横の両方共に多い、又は、縦横の一方が同じで他方が多いものである第２の画像フォーマットに従う信号に変換する色形式変換装置であって、（１）上記第１の画像フォーマットに従う信号の輝度成分及び２つの色差成分の１つである所定成分の情報を、縦横の両方共に要素数が多い、又は、縦横の一方の要素数が同じで他方が要素数が多い上記第２の画像フォーマットに従う対応する成分の情報に変換する色成分変換手段を少なくとも１つ有し、（２）上記各色成分変換手段は、（２−１）上記第１の画像フォーマットに従う所定成分の第１の信号を、要素数が多い第２の画像フォーマットに従う所定成分の第２の信号に変換する要素数増大部と、（２−２）連続する画像に係る所定成分の上記第２の信号に対する画像間補間処理により、成分品質を向上させた所定成分の第３の信号を得る成分品質向上部とを備えることを特徴とする。
【０００７】
第２の本発明は、輝度成分及び２つの色差成分でなる第１の画像フォーマットに従う信号を、輝度成分及び２つの色差成分の少なくとも１以上が、上記第１の画像フォーマットにおける対応成分の要素数より、縦横の両方共に多い、又は、縦横の一方が同じで他方が多いものである第２の画像フォーマットに従う信号に変換する色形式変換方法であって、（０）要素数増大部及び成分品質向上部を有する色成分変換手段を少なくとも１つ有し、（１）上記要素数増大部は、上記第１の画像フォーマットに従う所定成分の第１の信号を、要素数が多い第２の画像フォーマットに従う所定成分の第２の信号に変換し、（２）上記成分品質向上部は、連続する画像に係る所定成分の上記第２の信号に対する画像間補間処理により、成分品質を向上させた所定成分の第３の信号を得ることを特徴とする。
【０００８】
第３の本発明は、輝度成分及び２つの色差成分でなる第１の画像フォーマットに従う信号を、輝度成分及び２つの色差成分の少なくとも１以上が、上記第１の画像フォーマットにおける対応成分の要素数より、縦横の両方共に多い、又は、縦横の一方が同じで他方が多いものである第２の画像フォーマットに従う信号に変換する色形式変換プログラムであって、コンピュータを、上記第１の画像フォーマットに従う所定成分の第１の信号を、要素数が多い第２の画像フォーマットに従う所定成分の第２の信号に変換する要素数増大部と、連続する画像に係る所定成分の上記第２の信号に対する画像間補間処理により、成分品質を向上させた所定成分の第３の信号を得る成分品質向上部とを備える、少なくとも１つの色成分変換手段として機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、輝度、色差形式の画像フォーマット間の変換を実行できる色形式変換装置、方法及びプログラムを提供できる。
【発明を実施するための最良の形態】
【００１０】
（Ａ）主たる実施形態
以下、本発明による色形式変換装置、方法及びプログラムの一実施形態を、図面を参照しながら詳述する。
【００１１】
以下では、４：２：０フォーマットから４：２：２フォーマットへの変換として説明するが、４：２：０フォーマットから４：４：４フォーマットへの変換や、４：２：２フォーマットから４：４：４フォーマットへの変換等にも、本発明を適用することができる。
【００１２】
図４は、実施形態に係る色形式変換装置の構成を示すブロック図である。例えば、携帯端末などのＣＰＵを有する装置において、ＣＰＵがアクセスするメモリに、色形式変換プログラムを搭載することによって実施形態の色形式変換装置を実現可能であるが、色形式変換装置の内部構成を、機能的には図４のブロック図で表すことができる。
【００１３】
図４において、実施形態に係る色形式変換装置１は、成分分離部２と、２つの色差変換部３、４と、成分合成部５とでなる。
【００１４】
成分分離部２は、入力された４：２：０フォーマット信号を、輝度成分Ｙと、２つの色差成分Ｃｂ、Ｃｒに分離するものである。
【００１５】
色差変換部３は、分離された縦横が２４０×３６０の第１の色差成分（青色差成分）Ｃｂを縦横が４８０×３６０のものに変換するものであり、色差変換部４は、分離された縦横が２４０×３６０の第２の色差成分（赤色差成分）Ｃｒを縦横が４８０×３６０のものに変換するものである。
【００１６】
成分合成部５は、成分分離部２から与えられた輝度成分Ｙと、色差変換部３及び４から出力された縦横が４８０×３６０の色差成分Ｃｂ、Ｃｒとを合成して、４：２：２フォーマット信号を出力するものである。
【００１７】
図１は、上述した色差変換部１０（３、４）の内部構成を示す機能ブロック図である。２つの色差変換部３及び４は、入力される色差成分Ｃｂ、Ｃｒが異なるが、その内部構成は同一である。
【００１８】
図１において、色差変換部１０は、１枚利用色差変換部１１、参照用バッファ１２、動き予測用バッファ１３、動き予測部１４及び複数枚参照色差変換部１５を有する。
【００１９】
１枚利用色差変換部１１は、入力された１枚の画像（１フレーム）についての少ない要素数（２４０×３６０）の色差成分の情報から多い要素数（４８０×３６０）の色差成分の情報を得るものである。
【００２０】
１枚利用色差変換部１１は、少要素数の色差成分情報から、多要素数の初期色差成分情報を形成する多要素数初期情報形成部１１Ａと、形成された多要素数の初期色差成分情報を入力し、後述するように計算されるコスト関数に基づいて、それを非線形最適化する非線形最適化部１１Ｂとでなる。
【００２１】
多要素数初期情報形成部１１Ａによる変換方式としては、例えば、解像度を増大させる際に適用されるフレーム内変換方式、線形内挿法等と同様な方式を適用することができる。すなわち、縦横２４０×３６０の色差成分から、縦横４８０×３６０の色差成分への変換であるので、縦方向についてのフレーム内変換方式、線形内挿法等を準用することができる。
【００２２】
非線形最適化部１１Ｂは、多要素数初期色差成分情報の各値は、ある確率分布モデルに従っているとみなし、現在の多要素数初期色差成分情報の分布モデルに対する合致度などを示す、後述するコストを用いて、得られた多要素数の初期色差成分情報を評価し、コストがより小さくなる多要素数の初期色差成分情報を探索し、探索により得られた最小コストの多要素数の初期色差成分情報を出力するものに定めるものである。後述するコストについて、言及しておくと、コストは、変換で得られた多要素数の初期色差成分情報を再び少要素数の色差成分情報に変換した場合、変換後の少要素数の色差成分情報と、入力された少要素数の色差成分情報との一致度合が高いほど小さくなるものである。
【００２３】
参照用バッファ１２は、入力された少要素数の色差成分情報をバッファリングするものである。この実施形態の場合、複数枚参照色差変換部１５も上述したコストを利用した変換処理を行っており、そのため、入力された少要素数の色差成分情報も必要となり、参照用バッファ１２が、入力された少要素数の色差成分情報をバッファリングする。
【００２４】
動き予測用バッファ１３は、１枚利用色差変換部１１から出力された多要素数の色差成分情報や、複数枚参照色差変換部１５から出力された多要素数の色差成分情報を、動き予測処理で利用できるようにバッファリングするものである。
【００２５】
動き予測部１４は、１枚利用色差変換部１１から出力された多要素数の色差成分情報や、動き予測用バッファ１３にバッファリングされている多要素数の色差成分情報に基づいて、複数枚参照色差変換部１５における時間方向の処理対象位置（処理対象フレーム）の多要素数化処理に必要な動きベクトルを得るものである。
【００２６】
４：２：２フォーマットの場合、色差成分情報の各要素は１画素に対応するものではなく、複数画素に対応するものであるが、色差成分情報も縦横配列であるので、動き補償のフレーム間補間方式と同様な方式を適用可能であり、この実施形態では、動き補償のフレーム間補間方式と同様な方式を適用することとしている。
【００２７】
複数枚参照色差変換部１５は、１枚利用色差変換部１１から出力された、連続する複数枚（一部又は全ては既に複数枚参照色差変換部１５によって処理されたものであっても良い）の画像についての多要素数の色差成分情報から、処理対象画像位置について、一段と精度を向上させた多要素数の色差成分情報を得るものである。
【００２８】
複数枚参照色差変換部１５は、１枚利用色差変換部１１からの複数枚の多要素数の色差成分情報から、最適化での初期色差成分情報となる、多要素数の色差成分情報を形成する最適化初期色差成分形成部１５Ａと、形成された初期色差成分情報を入力し、後述するように計算されるコスト関数に基づいて、それを非線形最適化する非線形最適化部１５Ｂとでなる。
【００２９】
最適化初期色差成分形成部１５Ａにおける複数枚の色差成分情報の基本的な処理方法は、既存の解像度変換方法に準拠した方法を適用できる。例えば、最適化初期色差成分形成部１５Ａは、１枚利用色差変換部１１から出力された複数枚の多要素数の色差成分情報に対し、動き予測部１４の処理結果を利用して動き補償し、動き補償した多要素数の色差成分情報を重み付け合成することで、複数枚の多要素数の色差成分情報から、精度を向上させた処理対象画像位置の多要素数の初期色差成分情報を得るものである。
【００３０】
複数枚参照色差変換部１５における非線形最適化部１５Ｂも、上述したコストを導入しており、最適化初期色差成分形成部１５Ａが得た多要素数の初期色差成分情報を評価し、コストがより小さくなる多要素数の色差成分情報を探索し、探索により得られた最小コストの多要素数の色差成分情報を出力するものである。
【００３１】
１枚利用色差変換部１１の非線形最適化部１１Ｂも、複数枚参照色差変換部１５の非線形最適化部１５Ｂも同様な内部構成を有する。上述したように、非線形最適化部１１Ｂ及び非線形最適化部１５Ｂは、ＣＰＵと、ＣＰＵが実行するプログラムによって実現することができる。
【００３２】
図２は、汎用的構成の非線形最適化部２０の構成を示す機能的ブロック図であり、図３は、そのコスト関数決定部２１の詳細構成を示す機能ブロック図である。図２及び図３は、処理の流れを示すフローチャートと見ることができる。
【００３３】
汎用的な非線形最適化部２０のコスト関数決定部２１に対する設定により、非線形最適化部１１Ｂを構成することができる。同様に、汎用的な非線形最適化部２０のコスト関数決定部２１に対する設定により、非線形最適化部１５Ｂを構成することができる。
【００３４】
図２において、非線形最適化部２０（１１Ｂ、１５Ｂ）は、コスト関数決定部２１、初期勾配計算部２２、初期コスト計算部２３、２つの接続切替部２４及び２５、１次元探索部２６、コスト計算部２７、探索終了判定部２８及び勾配計算部２９でなる。
【００３５】
コスト関数決定部２１は、当該非線形最適化部２０で適用するコスト関数を設定するものである。コスト関数決定部２１は、図３に示すように、多要素数色差成分情報の各要素値はある確率分布モデルに従っているとみなす場合の確率分布モデルの種類によって定まるモデルとのずれを表すコスト部分を決定する分布モデル部３０と、多要素数の色差成分情報を少要素数の色差成分情報に変換し直した場合に元の少要素数の色差成分情報との相違をペナルティとしてコスト関数に導入するペナルティ部３１と、複数枚の参照による多要素数化か否かを取込む参照枚数確認部３２と、複数枚の参照による多要素数化の場合に複数枚の色差成分情報の相違によって生じる誤差をコスト関数に導入する誤差部３３とでなる。
【００３６】
非線形最適化部１１Ｂであれば、後述するように、適用が指示された分布モデルの種類で定まるコスト部分に、ペナルティが付与されたものがコスト関数となり、一方、非線形最適化部１５Ｂであれば、後述するように、適用が指示された分布モデルで定まるコスト部分に、ペナルティ部と誤差部とが付与されたものがコスト関数となる。
【００３７】
図２に戻り、初期勾配計算部２２は、多要素数の初期色差成分情報に適用し、設定されたコスト関数の最小値に向かう探索を行う場合の探索方向とその方向に沿った歩み幅とを規定する勾配情報（例えば勾配ベクトル）を計算するものである。勾配情報の算出方法は、コスト関数及び適用する非線形計画法（図２は１次元探索手法の場合を示している）によって規定されるものである。
【００３８】
初期コスト計算部２３は、多要素数の初期色差成分情報に対し、設定されたコスト関数を用いてコストを計算するものである。
【００３９】
接続切替部２４は、探索終了判定部２８による１回目の判定のためには、１次元探索部２６に、初期勾配計算部２２が計算して得た勾配情報を与え、探索終了判定部２８による２回目以降の判定のためには、１次元探索部２６に、勾配計算部２９が計算して得た勾配情報を与えるものである。
【００４０】
接続切替部２５は、探索終了判定部２８による１回目の判定のためには、探索終了判定部２８に、初期コスト計算部２３が計算して得たコストを直前のコストＣｏｓｔｎ−１として与え、探索終了判定部２８による２回目以降の判定のためには、探索終了判定部２８に、前回の判定で最新のコストＣｏｓｔｎとして利用していたものを直前のコストＣｏｓｔｎ−１として与えるものである。
【００４１】
１次元探索部２６は、その時点で対象となっている多要素数の色差成分情報を、入力された勾配情報に基づき、適用する１次元探索手法（例えば、黄金分割法）に従って、更新（最適化）するものである。非線形計画法（１次元探索手法）は、最小コストになるように又は最小コストに近付くように更新することを意図した手法である。
【００４２】
コスト計算部２７は、１次元探索部２６によって更新（最適化）された多要素数の色差成分情報について、コスト関数決定部２１で設定されたコスト関数を用いてコストを計算するものである。
【００４３】
探索終了判定部２８は、コスト計算部２７が計算した最新のコストＣｏｓｔｎと直前のコストＣｏｓｔｎ−１との差がほぼ０とみなせる程度か否かによって、探索の終了判定を行うものである。コストの最小値近傍は極小値となっているので、探索では最新のコストＣｏｓｔｎと直前のコストＣｏｓｔｎ−１との差がほぼ０である（図２では差がＴｄ以下をほぼ０と見なしている）場合には、探索で最小値に達したとして探索を終了させることとしている。
【００４４】
勾配計算部２９は、最適化の探索を継続する場合において、直前の判定で最新のコストＣｏｓｔｎを与えていた多要素数の色差成分情報に対し、設定されたコスト関数の最小値に向かう探索方向とその方向に沿った歩み幅とを規定する勾配情報を計算するものである。
【００４５】
複数枚参照色差変換部１５に適用可能なラベルｋの多要素数の色差成分情報ｆｋ（例えば、ｋ番目のフレームについての色差成分情報）のコスト関数Ｃｏｓｔ（ｆｋ）は、（１）式に示すように、分布モデル部ＭＯＤ（図３の符号３０参照）と、ペナルティ部ＰＥ（図３の符号３１参照）と、誤差部ＥＲ（図３の符号３３参照）の和として表される。なお、１枚利用色差変換部１１に適用可能なラベルｋのコスト関数Ｃｏｓｔ（ｆｋ）は、（１）式の誤差部Ｎがないものである。
【００４６】
Ｃｏｓｔ（ｆｋ）＝ＭＯＤ＋ＰＥ＋ＥＲ                                …（１）
上述した確率分布モデルの種類が、「Ｇａｕｓｓ  Ｍａｒｋｏｖ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ」であれば、分布モデル部ＭＯＤは（２）式で表され、ペナルティ部ＰＥは（３）式で表され、誤差部ＥＲは（４）式で表される。
【数１】
2008236622.tif 000003
【００４７】
なお、（２）式における総和Σは、ラベルｋの１枚の画像についての色差成分情報に対するｘ方向（横方向）及びｙ方向（縦方向）についての全要素についてである。また、βは、「Ｇａｕｓｓ  Ｍａｒｋｏｖ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ」モデルに係るハイパパラメータである。また、ｆｋ（ｘ，ｙ）はｘ方向がｘ、ｙ方向がｙの色差成分の値を表している。従って、ｚｘ，ｙ，１ｆｋは横方向の滑らかさを表すパラメータになっており、ｚｘ，ｙ，２ｆｋは右上がりの斜め方向の滑らかさを表すパラメータになっており、ｚｘ，ｙ，３ｆｋは縦方向の滑らかさを表すパラメータになっており、ｚｘ，ｙ，４ｆｋは右下がりの斜め方向の滑らかさを表すパラメータになっている。
【数２】
2008236622.tif 000004
【００４８】
（３）式において、ｙｋはラベルｋの元の少要素数の色差成分情報を表し、ＡＨｆｋはラベルｋの多要素数色差成分情報を縮小した少要素数色差成分情報を表しており、（３）式は、その要素単位の差分の２乗和を表している。
【数３】
2008236622.tif 000005
【００４９】
（４）式において、ｙｌはラベルｌの元の少要素数色差成分情報を表し、ＡＨＣ（ｄ＾ｌ，ｋ）ｆｋは、ラベルｋの多要素数色差成分情報をラベルｌ及びｋ間の動きベクトルを考慮して補償した後に縮小した少要素数色差成分情報を表している。また、Ｍは参照する画像枚数を表している。
【００５０】
確率分布モデルの他の種類としては、例えば、「Ｈｕｂｅｒ  Ｍａｒｋｏｖ  Ｒａｎｄｏｍ  Ｍｏｄｅｌ」を適用可能であるが、この場合、分布モデルの種類で定まるモデルとのずれを表す分布モデル部ＭＯＤだけが上述したものと異なり、ペナルティ部ＰＥや誤差部ＥＲは、上述のものと同様である。
【００５１】
上記実施形態によれば、４：２：０フォーマットに従う輝度、色差形式の画像信号（コンポーネント信号）を４：２：２フォーマットに従う輝度、色差形式の画像信号（コンポーネント信号）へ変換することができる。
【００５２】
ここで、変換方式として、最適化手法を導入して最適化を行うようにしたので、変化精度を向上させることができる。
【００５３】
（Ｂ）他の実施形態
上記実施形態で説明した非線形最適化手法や色差成分情報の要素についての確率分布モデルは、一例であって、本発明はこれに限定されるものではない。
【００５４】
また、上記実施形態では、複数枚の少要素数の色差成分情報をそれぞれ多要素数の色差成分情報に変換した後、それらの多要素数の色差成分情報からより品質を向上させた多要素数の色差成分情報を得る装置に本発明を適用したものを示したが、本発明はこれに限定されない。例えば、１枚の少要素数色差成分情報を多要素数色差成分情報に変換する際には、コストに基づいた最適化を実行しない装置に対しても、本発明を適用することができる。
【００５５】
上記では、４：２：０フォーマットから４：２：２フォーマットへの変換や、４：２：０フォーマットから４：４：４フォーマットへの変換や、４：２：２フォーマットから４：４：４フォーマットへの変換等に言及したが、他の輝度、色差形式の画像フォーマット（色形式）が変換元又は変換先のフォーマットであっても良い。例えば、ＣＩＦ（共通中間フォーマット）や、ＳＩＦ（ソース入力フォーマット）が変換元又は変換先のフォーマットであっても良い。
【００５６】
なお、上記実施形態の説明では、色差成分だけを変換するものを示したが、輝度成分の要素数が異なる場合には、輝度成分も変換する。
【図面の簡単な説明】
【００５７】
【図１】図４の色差変換部の内部構成を示す機能ブロック図である。
【図２】図１の非線形最適化部の汎用的構成を示す機能的ブロック図である。
【図３】図２のコスト関数決定部の詳細構成を示す機能ブロック図である。
【図４】実施形態の色形式変換装置を示す機能ブロック図である。
【符号の説明】
【００５８】
１…色形式変換装置、２…成分分離部、３、４、１０…色差変換部、５…成分合成部、１１…１枚利用色差変換部、１１Ａ…多要素数色差成分形成部、１１Ｂ…非線形最適化部、１２…参照用バッファ、１３…動き予測用バッファ、１４…動き予測部、１５…複数枚参照色差変換部、１５Ａ…最適化初期色差成分形成部、１５Ｂ…非線形最適化部、２０…非線形最適化部、２１…コスト関数決定部、２２…初期勾配計算部、２３…初期コスト計算部、２４、２５…接続切替部、２６…１次元探索部、２７…コスト計算部、２８…探索終了判定部、２９…勾配計算部。
【図１】
2008236622.tif 000006
【図２】
2008236622.tif 000007
【図３】
2008236622.tif 000008
【図４】
2008236622.tif 000009