(57)【要約】【課題】  ブロック境界ノイズを防止しながら画像の画素数を増大する。【解決手段】  画素数増大手段は、画素数が少ない第１の画像を画素数が多い第２の画像に変換する。画質向上手段は、連続する複数の第２の画像に対する画像間補間処理により第３の画像を得る。最適画像探索手段は、探索途中の画像の、画素値についての所定の確率分布モデルに対する合致度を示すコスト要素と、探索途中の画像に対して画素数を少なくする変換を行ったとした仮想画像と第１の画像との相違度を示すコスト要素と、探索途中の画像に対して動き補償したとして得た過去又は未来の仮想画像と同時刻の第２の画像とのずれを、画像間補間処理に供した第２の画像の数だけ合成したコスト要素とを合成したコストを計算して非線形探索手法に従った探索を第３の画像を始点として行って第４の画像を得、その際のコストの計算を疎行列演算を用いて画像を分割せずに実行する。【選択図】      図１
2008236618.tif 000002
【特許請求の範囲】
【請求項１】
画素数が少ない連続する第１の画像をそれぞれ、画素数が多い第４の画像に変換する画素数変換装置において、
上記第１の画像を画素数が多い第２の画像に変換する画素数増大手段と、
連続する複数の上記第２の画像に対する画像間補間処理により画質を向上させた第３の画像を得る画質向上手段と、
上記第３の画像に対し、非線形探索手法に従った探索によって最適化して上記第４の画像を得る最適画像探索手段とを備え、
上記最適画像探索手段は、画素値が所定の確率分布モデルに従っているとみなした場合における上記第３の画像又は探索途中の上記第４の画像の上記確率分布モデルに対する合致度を示す第１のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して画素数を少なくする変換を行ったとした仮想画像と上記第１の画像との相違度を示す第２のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して動き補償したとして得た過去又は未来の仮想画像と同時刻の上記第２の画像とのずれを、上記画像間補間処理に供した上記第２の画像の数だけ合成した第３のコスト要素とを合成したコストを計算して上記非線形探索手法に従った探索を行うものであり、上記コストの計算を、疎行列演算を用いて画像を分割せずに実行する
ことを特徴とする画素数変換装置。
【請求項２】
上記画素数増大手段は、画素値が所定の確率分布モデルに従っているとみなした場合における上記第２の画像又は探索途中の上記第２の画像の上記確率分布モデルに対する合致度を示す第４のコスト要素と、上記第２の画像又は探索途中の上記第２の画像に対して画素数を少なくする変換を行ったとした仮想画像と上記第１の画像との相違度を示す第４のコスト要素とを合成したコストを計算して非線形探索手法に従った、上記第２の画像の最適化画像の探索を行うことを特徴とする請求項１に記載の画素数変換装置。
【請求項３】
画素数が少ない連続する第１の画像をそれぞれ、画素数が多い第４の画像に変換する画素数変換方法において、
画素数増大手段、画質向上手段、及び、最適画像探索手段を備え、
上記画素数増大手段は、上記第１の画像を画素数が多い第２の画像に変換し、
上記画質向上手段は、連続する複数の上記第２の画像に対する画像間補間処理により画質を向上させた第３の画像を得、
上記最適画像探索手段は、画素値が所定の確率分布モデルに従っているとみなした場合における上記第３の画像又は探索途中の上記第４の画像の上記確率分布モデルに対する合致度を示す第１のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して画素数を少なくする変換を行ったとした仮想画像と上記第１の画像との相違度を示す第２のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して動き補償したとして得た過去又は未来の仮想画像と同時刻の上記第２の画像とのずれを、上記画像間補間処理に供した上記第２の画像の数だけ合成した第３のコスト要素とを合成したコストを計算して非線形探索手法に従った探索を行って第４の画像を得、上記コストの計算を、疎行列演算を用いて画像を分割せずに実行する
ことを特徴とする画素数変換方法。
【請求項４】
画素数が少ない連続する第１の画像をそれぞれ、画素数が多い第４の画像に変換する画素数変換プログラムであって、
コンピュータを、
上記第１の画像を画素数が多い第２の画像に変換する画素数増大手段と、
連続する複数の上記第２の画像に対する画像間補間処理により画質を向上させた第３の画像を得る画質向上手段と、
画素値が所定の確率分布モデルに従っているとみなした場合における上記第３の画像又は探索途中の上記第４の画像の上記確率分布モデルに対する合致度を示す第１のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して画素数を少なくする変換を行ったとした仮想画像と上記第１の画像との相違度を示す第２のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して動き補償したとして得た過去又は未来の仮想画像と同時刻の上記第２の画像とのずれを、上記画像間補間処理に供した上記第２の画像の数だけ合成した第３のコスト要素とを合成したコストを計算して非線形探索手法に従った探索を行って上記第３の画像を最適化した第４の画像を得るものであり、上記コストの計算を、疎行列演算を用いて画像を分割せずに実行する最適画像探索手段と
して機能させることを特徴とする画素数変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画素数変換装置、方法及びプログラムに関し、例えば、解像度を拡張する場合や画像を拡大変倍する場合などに適用し得るものである。
【背景技術】
【０００２】
低解像度の画像を高解像度の画像に拡張する場合、従来は、画像を小さなブロックに分割し、ブロック毎に処理することによって解像度の拡張を行っていた（特許文献１参照）。
【特許文献１】特開２０００−２４４８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ブロック毎に処理して解像度を拡張する場合には、ブロック境界で画像が不連続となるようなノイズが生じることもあり得る。解像度の拡張の場合だけでなく、画像を拡大するために１ライン上の画素数を増加させる場合にも、同様な課題が生じていた。
【０００４】
そのため、ブロック境界ノイズを防止しながら、画像の画素数を増大できる画素数変換装置、方法及びプログラムが望まれている。
【課題を解決するための手段】
【０００５】
第１の本発明は、画素数が少ない連続する第１の画像をそれぞれ、画素数が多い第４の画像に変換する画素数変換装置において、（１）上記第１の画像を画素数が多い第２の画像に変換する画素数増大手段と、（２）連続する複数の上記第２の画像に対する画像間補間処理により画質を向上させた第３の画像を得る画質向上手段と、（３）上記第３の画像に対し、非線形探索手法に従った探索によって最適化して上記第４の画像を得る最適画像探索手段とを備え、上記最適画像探索手段は、画素値が所定の確率分布モデルに従っているとみなした場合における上記第３の画像又は探索途中の上記第４の画像の上記確率分布モデルに対する合致度を示す第１のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して画素数を少なくする変換を行ったとした仮想画像と上記第１の画像との相違度を示す第２のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して動き補償したとして得た過去又は未来の仮想画像と同時刻の上記第２の画像とのずれを、上記画像間補間処理に供した上記第２の画像の数だけ合成した第３のコスト要素とを合成したコストを計算して上記非線形探索手法に従った探索を行うものであり、上記コストの計算を、疎行列演算を用いて画像を分割せずに実行することを特徴とする。
【０００６】
また、第２の本発明は、画素数が少ない連続する第１の画像をそれぞれ、画素数が多い第４の画像に変換する画素数変換方法において、（０）画素数増大手段、画質向上手段、及び、最適画像探索手段を備え、（１）上記画素数増大手段は、上記第１の画像を画素数が多い第２の画像に変換し、（２）上記画質向上手段は、連続する複数の上記第２の画像に対する画像間補間処理により画質を向上させた第３の画像を得、（３）上記最適画像探索手段は、画素値が所定の確率分布モデルに従っているとみなした場合における上記第３の画像又は探索途中の上記第４の画像の上記確率分布モデルに対する合致度を示す第１のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して画素数を少なくする変換を行ったとした仮想画像と上記第１の画像との相違度を示す第２のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して動き補償したとして得た過去又は未来の仮想画像と同時刻の上記第２の画像とのずれを、上記画像間補間処理に供した上記第２の画像の数だけ合成した第３のコスト要素とを合成したコストを計算して非線形探索手法に従った探索を行って第４の画像を得、上記コストの計算を、疎行列演算を用いて画像を分割せずに実行することを特徴とする。
【０００７】
第３の本発明は、画素数が少ない連続する第１の画像をそれぞれ、画素数が多い第４の画像に変換する画素数変換プログラムであって、コンピュータを、（１）上記第１の画像を画素数が多い第２の画像に変換する画素数増大手段と、（２）連続する複数の上記第２の画像に対する画像間補間処理により画質を向上させた第３の画像を得る画質向上手段と、（３）画素値が所定の確率分布モデルに従っているとみなした場合における上記第３の画像又は探索途中の上記第４の画像の上記確率分布モデルに対する合致度を示す第１のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して画素数を少なくする変換を行ったとした仮想画像と上記第１の画像との相違度を示す第２のコスト要素と、上記第３の画像又は探索途中の上記第４の画像に対して動き補償したとして得た過去又は未来の仮想画像と同時刻の上記第２の画像とのずれを、上記画像間補間処理に供した上記第２の画像の数だけ合成した第３のコスト要素とを合成したコストを計算して非線形探索手法に従った探索を行って上記第３の画像を最適化した第４の画像を得るものであり、上記コストの計算を、疎行列演算を用いて画像を分割せずに実行する最適画像探索手段として機能させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ブロック境界ノイズを防止しながら、画像の画素数を増大できる画素数変換装置、方法及びプログラムを提供できる。
【発明を実施するための最良の形態】
【０００９】
（Ａ）主たる実施形態
以下、本発明による画素数変換装置、方法及びプログラムを、解像度変換装置、方法及びプログラムに適用した一実施形態を、図面を参照しながら詳述する。
【００１０】
図１は、実施形態の解像度変換装置を示す機能ブロック図である。例えば、携帯端末などのＣＰＵを有する装置において、ＣＰＵがアクセスするメモリに、解像度変換プログラムを搭載することによって実施形態の解像度変換装置を実現可能であるが、解像度変換装置の内部構成を、機能的には図１のブロック図で表すことができる。
【００１１】
図１において、解像度変換装置１は、１枚利用解像度変換部１１、参照用バッファ１２、動き予測用バッファ１３、動き予測部１４及び複数枚参照解像度変換部１５を有する。
【００１２】
１枚利用解像度変換部１１は、入力された低解像度の１枚の画像（１フレーム）の情報から高解像度の画像情報を得るものである。
【００１３】
１枚利用解像度変換部１１は、低解像度の画像情報から、高解像度の初期画像を形成する高解像度画像形成部１１Ａと、形成された高解像度の初期画像を入力し、後述するように計算されるコスト関数に基づいて、それを非線形最適化する非線形最適化部１１Ｂとでなる。
【００１４】
高解像度画像形成部１１Ａによる変換方式（画素数拡大方式）としては、フレーム内変換方式、線形内挿法等の既存のものを適用する。
【００１５】
非線形最適化部１１Ｂ、高解像度画像の画素値は、ある確率分布モデルに従っているとみなし、現在の高解像度画像の分布モデルに対する合致度などを示す、後述するコストを用いて、得られた高解像度の画像情報を評価し、コストがより小さくなる高解像度の画像情報を探索し、探索により得られた最小コストの高解像度の画像情報を出力するものに定めるものである。後述するコストについて、言及しておくと、コストは、変換で得られた高解像度の画像を再び低解像度の画像に変換した場合、変換後の低解像度の画像と、入力された低解像度の画像との一致度合が高いほど小さくなるものである。
【００１６】
参照用バッファ１２は、入力された低解像度の画像情報をバッファリングするものである。この実施形態の場合、複数枚参照解像度変換部１５も上述したコストを利用した変換処理を行っており、そのため、入力された低解像度の画像情報も必要となり、参照用バッファ１２が、入力された低解像度の画像情報をバッファリングする。
【００１７】
動き予測用バッファ１３は、１枚利用解像度変換部１１から出力された高解像度の画像情報や、複数枚参照解像度変換部１５から出力された高解像度の画像情報を、動き予測処理で利用できるようにバッファリングするものである。
【００１８】
動き予測部１４は、１枚利用解像度変換部１１から出力された高解像度の画像情報や、動き予測用バッファ１３にバッファリングされている高解像度の画像情報に基づいて、複数枚参照解像度変換部１５における時間方向の処理対象位置（処理対象フレーム）の高解像度化処理に必要な動きベクトルを得るものである。
【００１９】
複数枚参照解像度変換部１５は、１枚利用解像度変換部１１から出力された、連続する複数枚（一部又は全ては既に複数枚参照解像度変換部１５によって処理されたものであっても良い）の高解像度の情報から、処理対象位置について、一段と精度を向上させた高解像度の画像情報を得るものである。
【００２０】
複数枚参照解像度変換部１５は、１枚利用解像度変換部１１からの複数枚の高解像度の画像情報から、最適化での初期画像となる、高解像度の画像を形成する最適化初期画像形成部１５Ａと、形成された初期画像を入力し、後述するように計算されるコスト関数に基づいて、それを非線形最適化する非線形最適化部１５Ｂとでなる。
【００２１】
最適化初期画像形成部１５Ａにおける複数枚の画像情報の基本的な処理方法は、既存の方法を適用できる。例えば、最適化初期画像形成部１５Ａは、１枚利用解像度変換部１１から出力された複数枚の高解像度の画像情報に対し、動き予測部１４の処理結果を利用して動き補償し、動き補償した高解像度の画像情報を重み付け合成することで、複数枚の高解像度の情報から、精度を向上させた処理対象位置の高解像度の初期画像を得るものである。
【００２２】
複数枚参照解像度変換部１５における非線形最適化部１５Ｂも、上述したコストを導入しており、最適化初期画像形成部１５Ａが得た高解像度の初期画像を評価し、コストがより小さくなる高解像度の画像情報を探索し、探索により得られた最小コストの高解像度の画像情報を出力するものである。
【００２３】
１枚利用解像度変換部１１の非線形最適化部１１Ｂも、複数枚参照解像度変換部１５の非線形最適化部１５Ｂも同様な内部構成を有する。上述したように、非線形最適化部１１Ｂ及び非線形最適化部１５Ｂは、ＣＰＵと、ＣＰＵが実行するプログラムによって実現することができる。
【００２４】
図２は、汎用的構成の非線形最適化部２０の構成を示す機能的ブロック図であり、図３は、そのコスト関数決定部２１の詳細構成を示す機能ブロック図である。図２及び図３は、処理の流れを示すフローチャートと見ることができる。
【００２５】
汎用的な非線形最適化部２０のコスト関数決定部２１に対する設定により、非線形最適化部１１Ｂを構成することができる。同様に、汎用的な非線形最適化部２０のコスト関数決定部２１に対する設定により、非線形最適化部１５Ｂを構成することができる。
【００２６】
図２において、非線形最適化部２０（１１Ｂ、１５Ｂ）は、コスト関数決定部２１、初期勾配計算部２２、初期コスト計算部２３、２つの接続切替部２４及び２５、１次元探索部２６、コスト計算部２７、探索終了判定部２８及び勾配計算部２９でなる。
【００２７】
コスト関数決定部２１は、当該非線形最適化部２０で適用するコスト関数を設定するものである。コスト関数決定部２１は、図３に示すように、高解像度画像の画素値はある確率分布モデルに従っているとみなす場合の確率分布モデルの種類によって定まるモデルとのずれを表すコスト部分を決定する分布モデル部３０と、高解像度の画像を低解像度の画像に変換し直した場合に元の低解像度の画像との相違をペナルティとしてコスト関数に導入するペナルティ部３１と、複数枚の参照による高解像度化か否かを取込む参照枚数確認部３２と、複数枚の参照による高解像度化の場合に複数枚の画像の相違によって生じる誤差をコスト関数に導入する誤差部３３とでなる。
【００２８】
なお、コスト関数の考え方については、文献「武久泰夫、田中清、“マルチフレームを用いた画像の高解像度化”、長野県情報技術試験場研究報告Ｎｏ．１９、２００３年」に記載されている。
【００２９】
非線形最適化部１１Ｂであれば、後述するように、適用が指示された分布モデルの種類で定まるコスト部分に、ペナルティが付与されたものがコスト関数となり、一方、非線形最適化部１１Ｂであれば、後述するように、適用が指示された分布モデルで定まるコスト部分に、ペナルティが付与されたものがコスト関数となる。
【００３０】
図２に戻り、初期勾配計算部２２は、高解像度の初期画像に適用し、設定されたコスト関数の最小値に向かう探索を行う場合の探索方向とその方向に沿った歩み幅とを規定する勾配情報（例えば勾配ベクトル）を計算するものである。勾配情報の算出方法は、コスト関数及び適用する非線形計画法（図２は１次元探索手法の場合を示している）によって規定されるものである。
【００３１】
初期コスト計算部２３は、高解像度の初期画像に対し、設定されたコスト関数を用いてコストを計算するものである。
【００３２】
接続切替部２４は、探索終了判定部２８による１回目の判定のためには、１次元探索部２６に、初期勾配計算部２２が計算して得た勾配情報を与え、探索終了判定部２８による２回目以降の判定のためには、１次元探索部２６に、勾配計算部２９が計算して得た勾配情報を与えるものである。
【００３３】
接続切替部２５は、探索終了判定部２８による１回目の判定のためには、探索終了判定部２８に、初期コスト計算部２３が計算して得たコストを直前のコストＣｏｓｔｎ−１として与え、探索終了判定部２８による２回目以降の判定のためには、探索終了判定部２８に、前回の判定で最新のコストＣｏｓｔｎとして利用していたものを直前のコストＣｏｓｔｎ−１として与えるものである。
【００３４】
１次元探索部２６は、その時点で対象となっている高解像度の画像を、入力された勾配情報に基づき、適用する１次元探索手法（例えば、黄金分割法）に従って、更新（最適化）するものである。非線形計画法（１次元探索手法）は、最小コストになるように又は最小コストに近付くように更新することを意図した手法である。
【００３５】
コスト計算部２７は、１次元探索部２６によって更新（最適化）された高解像度の画像について、コスト関数決定部２１で設定されたコスト関数を用いてコストを計算するものである。
【００３６】
探索終了判定部２８は、コスト計算部２７が計算した最新のコストＣｏｓｔｎと直前のコストＣｏｓｔｎ−１との差がほぼ０とみなせる程度か否かによって、探索の終了判定を行うものである。コストの最小値近傍は極小値となっているので、探索では最新のコストＣｏｓｔｎと直前のコストＣｏｓｔｎ−１との差がほぼ０である（図２では差がＴｄ以下をほぼ０と見なしている）場合には、探索で最小値に達したとして探索を終了させることとしている。
【００３７】
勾配計算部２９は、最適化の探索を継続する場合において、直前の判定で最新のコストＣｏｓｔｎを与えていた高解像度の画像に対し、設定されたコスト関数の最小値に向かう探索方向とその方向に沿った歩み幅とを規定する勾配情報を計算するものである。
【００３８】
複数枚参照解像度変換部１５に適用可能なラベルｋの高解像度の画像ｆｋ（例えば、ｋ番目のフレーム）のコスト関数Ｃｏｓｔ（ｆｋ）は、（１）式に示すように、分布モデル部ＭＯＤ（図３の符号３０参照）と、ペナルティ部ＰＥ（図３の符号３１参照）と、誤差部ＥＲ（図３の符号３３参照）の和として表される。なお、１枚利用解像度変換部１１に適用可能なラベルｋのコスト関数Ｃｏｓｔ（ｆｋ）は、（１）式の誤差部Ｎがないものである。
【００３９】
Ｃｏｓｔ（ｆｋ）＝ＭＯＤ＋ＰＥ＋ＥＲ                                …（１）
上述した確率分布モデルの種類が、「Ｇａｕｓｓ  Ｍａｒｋｏｖ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ」であれば、分布モデル部ＭＯＤは（２）式で表され、ペナルティ部ＰＥは（３）式で表され、誤差部ＥＲは（４）式で表される。
【数１】
2008236618.tif 000003
【００４０】
なお、（２）式における総和Σは、ラベルｋの１枚の画像に対するｘ方向及びｙ方向についての全画素についてである。また、βは、「Ｇａｕｓｓ  Ｍａｒｋｏｖ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ」モデルに係るハイパパラメータである。また、ｆｋ（ｘ，ｙ）はｘ方向がｘ、ｙ方向がｙの画素の画素値を表している。従って、ｚｘ，ｙ，１ｆｋは横方向の滑らかさを表すパラメータになっており、ｚｘ，ｙ，２ｆｋは右上がりの斜め方向の滑らかさを表すパラメータになっており、ｚｘ，ｙ，３ｆｋは縦方向の滑らかさを表すパラメータになっており、ｚｘ，ｙ，４ｆｋは右下がりの斜め方向の滑らかさを表すパラメータになっている。
【数２】
2008236618.tif 000004
【００４１】
（３）式において、ｙｋはラベルｋの元の低解像度画像を表し、ＡＨｆｋはラベルｋの高解像度画像を縮小した低解像度画像を表しており、（３）式は、その画素単位の差分の２乗和を表している。
【数３】
2008236618.tif 000005
【００４２】
（４）式において、ｙｌはラベルｌの元の低解像度画像を表し、ＡＨＣ（ｄ＾ｌ，ｋ）ｆｋは、ラベルｋの高解像度画像をラベルｌ及びｋ間の動きベクトルを考慮して補償した後に縮小した低解像度画像を表している。また、Ｍは参照枚数を表している。
【００４３】
確率分布モデルの他の種類としては、例えば、「Ｈｕｂｅｒ  Ｍａｒｋｏｖ  Ｒａｎｄｏｍ  Ｍｏｄｅｌ」を適用可能であるが、この場合、分布モデルの種類で定まるモデルとのずれを表す分布モデル部ＭＯＤだけが上述したものと異なり、ペナルティ部ＰＥや誤差部ＥＲは、上述のものと同様である。
【００４４】
例えば、動き補償を実行する演算は、補償前の画像における所定大きさのブロックと、動きベクトルを反映させた行列の乗算とによって、ブロック単位に移動させるものであった。
【００４５】
この実施形態では、初期コスト計算部２３又はコスト計算部２７が実行するコスト関数の計算や、初期勾配計算部２２又は勾配計算部２９が実行するコスト関数の勾配の計算では、行列演算を、複数の０値要素を含む疎行列を用いることとした。
【００４６】
例えば、対象画像の行数及び列数の大きい方と同じ数又はそれ以上を行数及び列数とする行列であって、複数の０値要素を有する、複数の疎行列を用いた演算によって所望する演算を実行させることとした。（５）式は、疎行列の演算のイメージを示すものである。
【数４】
2008236618.tif 000006
【００４７】
左辺の中央の行列が処理対象の画像に係る行列とすると、その左側に位置する疎行列との積によって、処理対象の画像行列の要素が１行ずつ上に上がり、また、処理対象の画像行列の右側に位置する疎行列との積によって、処理対象の画像行列の要素が２列ずつ右にずれ、その結果、右辺のように、処理対象画像の一部の要素だけが移動した行列が得られる。このように疎行列を利用し、画像要素を移動するようなことができる。移動させる量、方向及び領域から、適用する疎行列を求める変換テーブル又は変換式などを予め用意しておけば良い。
【００４８】
上記実施形態によれば、コスト関数の値やコスト関数の勾配を演算する際に必要な行列演算を、画像の全体を対象とする複数の疎行列を用いる演算に変換して実行するようにしたので、画像を小さなブロックに分割せずに処理が実行でき、ブロック境界ノイズを防止することができる。
【００４９】
（Ｂ）他の実施形態
上記実施形態で説明した非線形最適化手法や画素の確率分布モデルは、一例であって、本発明はこれに限定されるものではない。
【００５０】
また、上記実施形態では、複数枚の低解像度画像をそれぞれ高解像度画像に変換した後、それらの高解像度画像からより画質を向上させた高解像度画像を得る装置に本発明を適用したものを示したが、本発明はこれに限定されない。例えば、１枚の低解像度画像を高解像度画像に変換する際には、コストに基づいた最適化を実行しない装置に対しても、本発明を適用することができる。
【００５１】
上記実施形態においては、本発明の画素数変換装置を、解像度変換装置に適用した場合を示したが、画像の拡大装置などに、本発明の画素数変換装置を適用することができる。
【図面の簡単な説明】
【００５２】
【図１】実施形態の解像度変換装置を示す機能ブロック図である。
【図２】実施形態に係る非線形最適化部の汎用的構成を示す機能的ブロック図である。
【図３】図２のコスト関数決定部の詳細構成を示す機能ブロック図である。
【符号の説明】
【００５３】
１…解像度変換装置、１１…１枚利用解像度変換部、１１Ａ…高解像度画像形成部、１１Ｂ…非線形最適化部、１２…参照用バッファ、１３…動き予測用バッファ、１４…動き予測部、１５…複数枚参照解像度変換部、１５Ａ…最適化初期画像形成部、１５Ｂ…非線形最適化部、２０…非線形最適化部、２１…コスト関数決定部、２２…初期勾配計算部、２３…初期コスト計算部、２４、２５…接続切替部、２６…１次元探索部、２７…コスト計算部、２８…探索終了判定部、２９…勾配計算部。
【図１】
2008236618.tif 000007
【図２】
2008236618.tif 000008
【図３】
2008236618.tif 000009