(57)【要約】【課題】フレームレート変換を行う場合において、少ない演算量で高画質の出力画像を得る。【解決手段】フィルタ処理部２１は、動き補償の基にする基縮小画像に対してパラメータの値の異なる複数のフィルタ処理を行い、それぞれのフィルタ処理により、入力画像と同一のサイズの最適化用画像を生成する。計算部２２は、基縮小画像の縮小前の入力画像と最適化用画像とに基づいて、最適化用画像の評価値を計算する。フィルタ処理部２１は、評価値が最も高い最適化用画像に対応するパラメータの値を用いて、動き補償縮小画像に対してフィルタ処理を行うことにより、動き補償画像を生成する。本発明は、例えば、フレームレート変換を行う画像処理装置に適用することができる。【選択図】図２
2009278322.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームと、その第１のフレームの次のフレームである第２のフレームの入力画像を縮小して縮小画像を生成する縮小画像生成手段と、
前記第１のフレームの前記縮小画像と、前記第２のフレームの前記縮小画像とに基づいて、前記第１のフレームの前記縮小画像と前記第２のフレームの前記縮小画像の間の所定の時刻における動き補償縮小画像を生成する動き補償縮小画像生成手段と、
前記第１のフレームの前記縮小画像に対してパラメータの値の異なる複数のフィルタ処理を行い、それぞれのフィルタ処理により、前記入力画像と同一のサイズの画像を、前記フィルタ処理の最適化用画像として生成するフィルタ処理手段と、
前記第１のフレームの入力画像と前記最適化用画像とに基づいて、前記最適化用画像の評価値を計算する計算手段と、
前記評価値が最も高い前記最適化用画像に対応する前記パラメータの値を、前記動き補償縮小画像に対する前記フィルタ処理で用いる前記パラメータの値である動き補償縮小画像用パラメータ値として設定する設定手段と
を備え、
前記フィルタ処理手段は、前記設定手段により設定された前記動き補償縮小画像用パラメータ値を用いて、前記動き補償縮小画像に対して前記フィルタ処理を行うことにより、前記第１のフレームの前記入力画像と前記第２のフレームの前記入力画像の間の前記所定の時刻における動き補償画像を生成する
画像処理装置。
【請求項２】
前記設定手段は、前記第１のフレームの前記縮小画像に対する前記フィルタ処理で前記パラメータの値として用いられる複数の異なる値を、その縮小画像より前の動き補償縮小画像に対する前記フィルタ処理で用いられた前記パラメータの値に基づいて設定し、
前記フィルタ処理手段は、前記設定手段により前記パラメータの値として設定された前記複数の異なる値をそれぞれ用いて、前記第１のフレームの前記縮小画像に対してフィルタ処理を行う
請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記第１のフレームの前記縮小画像に対する前記フィルタ処理で前記パラメータの値として用いられる複数の異なる値として、その縮小画像より前の動き補償縮小画像に対する前記フィルタ処理で用いられた前記パラメータの値を中心として、所定の間隔ずつ離れた値を設定する
請求項２に記載の画像処理装置。
【請求項４】
前記所定の間隔は、前記第１のフレームの前記縮小画像より前の同一のシーン内の縮小画像に対する前記フィルタ処理で前記パラメータの値として用いられた複数の異なる値どうしの間隔よりも細かい間隔である
請求項３に記載の画像処理装置。
【請求項５】
縮小画像生成手段と、
動き補償縮小画像生成手段と、
フィルタ処理手段と、
計算手段と、
設定手段と
を備える画像処理装置において、
前記縮小画像生成手段が、第１のフレームと、その第１のフレームの次のフレームである第２のフレームの入力画像を縮小して縮小画像を生成し、
前記動き補償縮小画像生成手段が、前記第１のフレームの前記縮小画像と、前記第２のフレームの前記縮小画像とに基づいて、前記第１のフレームの前記縮小画像と前記第２のフレームの前記縮小画像の間の所定の時刻における動き補償縮小画像を生成し、
前記フィルタ処理手段が、前記第１のフレームの前記縮小画像に対してパラメータの値の異なる複数のフィルタ処理を行い、それぞれのフィルタ処理により、前記入力画像と同一のサイズの画像を、前記フィルタ処理の最適化用画像として生成し、
前記計算手段が、前記第１のフレームの入力画像と前記最適化用画像とに基づいて、前記最適化用画像の評価値を計算し、
前記設定手段が、前記評価値が最も高い前記最適化用画像に対応する前記パラメータの値を、前記動き補償縮小画像に対する前記フィルタ処理で用いる前記パラメータの値である動き補償縮小画像用パラメータ値として設定し、
前記フィルタ処理手段が、前記設定手段により設定された前記動き補償縮小画像用パラメータ値を用いて、前記動き補償縮小画像に対して前記フィルタ処理を行うことにより、前記第１のフレームの前記入力画像と前記第２のフレームの前記入力画像の間の前記所定の時刻における動き補償画像を生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、フレームレート変換を行う場合において、少ない演算量で高画質の出力画像を得ることができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
いわゆる120Hz変換などのフレームレート変換処理では、入力画像の動きベクトルを求め、その動きベクトルを用いて動き補償処理が行われる。動きベクトルを演算する方法としては、例えばブロックマッチング法などがある。このブロックマッチング法では、時間的に連続する２つの入力画像の画素値の差分を求める必要があるため、演算量が多い。従って、動き補償処理の実装に際して、演算量の削減が求められている。
【０００３】
演算量の削減方法の１つとしては、入力画像を縮小して縮小画像を生成し、その縮小画像の動きベクトルを用いて動き補償処理を行う方法が考えられる。この場合、動きベクトルの演算では、縮小画像が用いられるため演算量が削減される。
【０００４】
しかしながら、動きベクトルを用いて動き補償画像を生成する際には、動き補償画像の画質の劣化を防止するために、入力画像を用いる必要がある。従って、動き補償画像を生成する際の演算量は削減されない。
【０００５】
また、動きベクトルを用いて動き補償画像を生成する際に、動きベクトルの大きさが大きい部分に関しては縮小画像を用い、動きベクトルの大きさが小さい部分に関しては入力画像を用いることも考えられる(例えば、特許文献１参照)。しかしながら、全部分に関して入力画像を用いる場合に比べて動き補償画像の画質は劣化する。
【０００６】
【特許文献１】特開２００６−１０１２６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以上のように、フレームレート変換を行う場合において、動き補償画像の画質の劣化を防止しつつ、演算量を削減することは困難であった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、フレームレート変換を行う場合において、少ない演算量で高画質の出力画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の画像処理装置は、第１のフレームと、その第１のフレームの次のフレームである第２のフレームの入力画像を縮小して縮小画像を生成する縮小画像生成手段と、前記第１のフレームの前記縮小画像と、前記第２のフレームの前記縮小画像とに基づいて、前記第１のフレームの前記縮小画像と前記第２のフレームの前記縮小画像の間の所定の時刻における動き補償縮小画像を生成する動き補償縮小画像生成手段と、前記第１のフレームの前記縮小画像に対してパラメータの値の異なる複数のフィルタ処理を行い、それぞれのフィルタ処理により、前記入力画像と同一のサイズの画像を、前記フィルタ処理の最適化用画像として生成するフィルタ処理手段と、前記第１のフレームの入力画像と前記最適化用画像とに基づいて、前記最適化用画像の評価値を計算する計算手段と、前記評価値が最も高い前記最適化用画像に対応する前記パラメータの値を、前記動き補償縮小画像に対する前記フィルタ処理で用いる前記パラメータの値である動き補償縮小画像用パラメータ値として設定する設定手段とを備え、前記フィルタ処理手段は、前記設定手段により設定された前記動き補償縮小画像用パラメータ値を用いて、前記動き補償縮小画像に対して前記フィルタ処理を行うことにより、前記第１のフレームの前記入力画像と前記第２のフレームの前記入力画像の間の前記所定の時刻における動き補償画像を生成する。
【００１０】
本発明の一側面の画像処理装置において、前記設定手段は、前記第１のフレームの前記縮小画像に対する前記フィルタ処理で前記パラメータの値として用いられる複数の異なる値を、その縮小画像より前の動き補償縮小画像に対する前記フィルタ処理で用いられた前記パラメータの値に基づいて設定し、前記フィルタ処理手段は、前記設定手段により前記パラメータの値として設定された前記複数の異なる値をそれぞれ用いて、前記第１のフレームの前記縮小画像に対してフィルタ処理を行うことができる。
【００１１】
本発明の一側面の画像処理装置において、前記設定手段は、前記第１のフレームの前記縮小画像に対する前記フィルタ処理で前記パラメータの値として用いられる複数の異なる値として、その縮小画像より前の動き補償縮小画像に対する前記フィルタ処理で用いられた前記パラメータの値を中心として、所定の間隔ずつ離れた値を設定することができる。
【００１２】
本発明の一側面の画像処理装置において、前記所定の間隔は、前記第１のフレームの前記縮小画像より前の同一のシーン内の縮小画像に対する前記フィルタ処理で前記パラメータの値として用いられた複数の異なる値どうしの間隔よりも細かい間隔であるようにすることができる。
【００１３】
本発明の一側面の画像処理方法は、縮小画像生成手段と、動き補償縮小画像生成手段と、フィルタ処理手段と、計算手段と、設定手段とを備える画像処理装置において、前記縮小画像生成手段が、第１のフレームと、その第１のフレームの次のフレームである第２のフレームの入力画像を縮小して縮小画像を生成し、前記動き補償縮小画像生成手段が、前記第１のフレームの前記縮小画像と、前記第２のフレームの前記縮小画像とに基づいて、前記第１のフレームの前記縮小画像と前記第２のフレームの前記縮小画像の間の所定の時刻における動き補償縮小画像を生成し、前記フィルタ処理手段が、前記第１のフレームの前記縮小画像に対してパラメータの値の異なる複数のフィルタ処理を行い、それぞれのフィルタ処理により、前記入力画像と同一のサイズの画像を、前記フィルタ処理の最適化用画像として生成し、前記計算手段が、前記第１のフレームの入力画像と前記最適化用画像とに基づいて、前記最適化用画像の評価値を計算し、前記設定手段が、前記評価値が最も高い前記最適化用画像に対応する前記パラメータの値を、前記動き補償縮小画像に対する前記フィルタ処理で用いる前記パラメータの値である動き補償縮小画像用パラメータ値として設定し、前記フィルタ処理手段が、前記設定手段により設定された前記動き補償縮小画像用パラメータ値を用いて、前記動き補償縮小画像に対して前記フィルタ処理を行うことにより、前記第１のフレームの前記入力画像と前記第２のフレームの前記入力画像の間の前記所定の時刻における動き補償画像を生成する画像処理方法である。
【００１４】
本発明の一側面においては、第１のフレームと、その第１のフレームの次のフレームである第２のフレームの入力画像が縮小されて縮小画像が生成され、第１のフレームの縮小画像と、第２のフレームの縮小画像とに基づいて、第１のフレームの縮小画像と第２のフレームの縮小画像の間の所定の時刻における動き補償縮小画像が生成され、第１のフレームの縮小画像に対してパラメータの値の異なる複数のフィルタ処理が行われ、それぞれのフィルタ処理により、入力画像と同一のサイズの画像が、フィルタ処理の最適化用画像として生成され、第１のフレームの入力画像と最適化用画像とに基づいて、最適化用画像の評価値が計算され、評価値が最も高い最適化用画像に対応するパラメータの値が、動き補償縮小画像に対するフィルタ処理で用いるパラメータの値である動き補償縮小画像用パラメータ値として設定され、その動き補償縮小画像用パラメータ値を用いて、動き補償縮小画像に対してフィルタ処理が行われることにより、第１のフレームの入力画像と第２のフレームの入力画像の間の所定の時刻における動き補償画像が生成される。
【発明の効果】
【００１５】
以上のように、本発明の一側面によれば、フレームレート変換を行う場合において、少ない演算量で高画質の出力画像を得ることができる。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００１７】
図１の画像処理装置１０は、フレームメモリ１１、縮小画像生成部１２、フレームメモリ１３、動き補償縮小画像生成部１４、拡大処理部１５、および切替部１６により構成される。画像処理装置１０は、入力画像としての30fpsのプログレッシブ方式のHD（High Definition）画像（以下、HD30p画像という）のフレームレートを60fpsに変換し、その結果得られる60fpsのプログレッシブ方式のHD画像（以下、HD60p画像）を出力画像として出力する。
【００１８】
具体的には、画像処理装置１０において、フレームメモリ１１は、入力画像としてのHD30p画像をフレーム単位で保持する。縮小画像生成部１２は、入力画像を1/4倍に縮小し、30fpsのプログレッシブ方式のSD（Standard Definition）画像を縮小画像として生成する。縮小画像生成部１２は、その縮小画像をフレームメモリ１３と動き補償縮小画像生成部１４に入力する。フレームメモリ１３は縮小画像をフレーム単位で保持する。
【００１９】
動き補償縮小画像生成部１４は、フレームメモリ１３に保持されている縮小画像を、動き補償の基にする基縮小画像として読み出す。そして、動き補償縮小画像生成部１４は、基縮小画像と、縮小画像生成部１２から供給される基縮小画像のフレームの次のフレームの縮小画像(以下、次縮小画像という)とを用いて、ブロックマッチング法などにより、動きベクトルを検出する。
【００２０】
そして、動き補償縮小画像生成部１４は、検出された動きベクトルに基づいて、基縮小画像に対して動き補償を行い、基縮小画像と次縮小画像の間の中間の時刻における縮小画像を、動き補償縮小画像として生成する。
【００２１】
また、動き補償縮小画像生成部１４は、縮小画像生成部１２から供給される基縮小画像としての縮小画像を拡大処理部１５に出力し、その後、縮小画像生成部１２から供給される次縮小画像としての縮小画像を拡大処理部１５に出力するまでの間の所定の時刻に、その基縮小画像と次縮小画像を用いて生成された動き補償縮小画像を、拡大処理部１５に出力する。
【００２２】
その結果、動き補償縮小画像生成部１４から出力される動き補償後の縮小画像のフレームレートは、入力画像のフレームレートの２倍の60fpsとなる。即ち、60fpsのプログレッシブ方式のSD画像(以下、SD60p画像という)が、動き補償後の縮小画像として、動き補償縮小画像生成部１４から出力される。
【００２３】
拡大処理部１５は、フレームメモリ１１から基縮小画像の縮小前の入力画像を読み出す。拡大処理部１５は、動き補償縮小画像生成部１４から出力される動き補償後の縮小画像のうちの基縮小画像に対して、パラメータの値の異なる複数のフィルタ処理を行い、基縮小画像を元のサイズに拡大する。そして、拡大処理部１５は、その結果得られる入力画像と同一のサイズのHD60p画像と、基縮小画像の縮小前の入力画像とを比較することで、フィルタ処理を最適化する。
【００２４】
また、拡大処理部１５は、動き補償縮小画像に対して、最適化されたフィルタ処理を行い、動き補償縮小画像を拡大する。そして、拡大処理部１５は、その結果生成されるHD60p画像を、基縮小画像の縮小前の入力画像と次縮小画像の縮小前の入力画像の間の中間の時刻における動き補償画像として、切替部１６に供給する。なお、拡大処理部１５の詳細については後述する。
【００２５】
切替部１６は、フレームメモリ１１から基縮小画像の縮小前の入力画像を読み出して出力し、その後、フレームメモリ１１から次縮小画像の縮小前の入力画像を読み出して出力するまでの間の中間の時刻に、拡大処理部１５から供給される動き補償画像を出力する。その結果、切替部１６から出力される画像のフレームレートは、入力画像のフレームレートの２倍の60fpsになる。即ち、HD60p画像が、出力画像として切替部１６から出力される。
【００２６】
図２は、図１の拡大処理部１５の詳細構成例を示している。
【００２７】
図２において、拡大処理部１５は、フィルタ処理部２１、計算部２２、および設定部２３により構成され、フィルタ処理としてキュービックコンボリューション補間処理を行う。
【００２８】
このキュービックコンボリューション補間処理では、補間後のHD画像の画素値Ｐ´が、次の線形１次式によって求められる。
【００２９】
【数１】
2009278322.tif 000003
【００３０】
但し、式（１）において、Ｐnは、補間後のHD60p画像の画素値Ｐ´の画素の近傍の、補間前のSD60p画像のＮ個の画素のうちの、ｎ番目の画素値を表し、Ｋnは、そのｎ番目の画素値と乗算されるｎ番目の重み付け係数を表す。
【００３１】
そして、重み付け係数Ｋnは、次の３次式で表される補間関数h(t)により求められる。
【００３２】
【数２】
2009278322.tif 000004
【００３３】
なお、式（２）において、ｔは、各画素値Ｐnの画素と画素値Ｐ´の画素の位置関係を示す変数であり、ａはパラメータである。
【００３４】
そこで、フィルタ処理部２１は、まず最初に、パラメータａとして最適な値を設定することにより、フィルタ処理を最適化する。
【００３５】
具体的には、フィルタ処理部２１は、動き補償縮小画像生成部１４（図１）から供給される動き補償後の縮小画像のうちの基縮小画像に対して、パラメータａの値の異なる複数のキュービックコンボリューション補間処理を行う。なお、このパラメータaの値は、設定部２３から入力される。フィルタ処理部２１は、それぞれのキュービックコンボリューション補間処理により生成されたHD60p画像をフィルタ処理の最適化用画像として、そのキュービックコンボリューション補間処理で用いられたパラメータａの値と対応付けて、計算部２２に供給する。
【００３６】
計算部２２は、フレームメモリ１１から基縮小画像の縮小前の入力画像としてのHD30p画像を読み出す。そして、計算部２２は、フィルタ処理部２１からの最適化用画像と基縮小画像の縮小前の入力画像とに基づいて、その基縮小画像の縮小前の入力画像をノイズのない画像としたときの最適化用画像のS/Nを、その最適化用画像の評価値として計算する。
【００３７】
そして、計算部２２は、評価値が最も高い、即ちS/Nが最も大きい最適化用画像と対応付けてフィルタ処理部２１から供給されたパラメータａの値を、パラメータａの最適値として設定部２３に供給する。
【００３８】
設定部２３は、計算部２２から供給されるパラメータａの最適値を、動き補償縮小画像に対するキュービックコンボリューション補間処理で用いるパラメータａの値として設定する。そして、設定部２３は、そのパラメータａの最適値をフィルタ処理部２１に入力する。
【００３９】
これにより、フィルタ処理部２１で行われる動き補償縮小画像に対するキュービックコンボリューション補間処理のパラメータａの値が、基縮小画像にとって最適な値となる。なお、動き補償縮小画像は、動きベクトルを用いて基縮小画像を移動させることにより生成されたものであるため、空間解像度、雑音の程度、または色調などの画像の特性は基縮小画像と変わらない。従って、基縮小画像にとって最適なパラメータａの値は、動き補償縮小画像にとっても最適なパラメータａの値となる。
【００４０】
以上のようにして、キュービックコンボリューション補間処理が最適化された後、フィルタ処理部２１は、設定部２３から供給されるパラメータａの最適値を用いて、動き補償縮小画像に対するキュービックコンボリューション補間処理を行う。フィルタ処理部２１は、その結果生成されるHD60p画像を、動き補償画像として切替部１６（図１）に供給する。
【００４１】
以上のように、図２の拡大処理部１５では、フィルタ処理としてのキュービックコンボリューション補間処理が、処理対象の動き補償縮小画像にとって最適化されるので、各種の画像全般に対応するキュービックコンボリューション補間処理を行う場合に比べて、動き補償縮小画像から高画質な動き補償画像を生成することができる。
【００４２】
従って、動き補償縮小画像生成部１４が、入力画像を用いて動き補償を行う場合に比べて演算量を削減するために、縮小画像を用いて動き補償を行っても、高画質な動き補償画像を生成することができる。その結果、画像処理装置１０では、少ない演算量で高画質の出力画像を得ることができる。
【００４３】
次に、図３を参照して、図１の画像処理装置１０における画像処理の流れについて説明する。
【００４４】
図３に示すように、１フレーム分の入力画像３１と入力画像３２が順に画像処理装置１０に入力されると、入力画像３１と入力画像３２は、縮小画像生成部１２により縮小され、縮小画像４１と４２が生成される。動き補償縮小画像生成部１４は、縮小画像４１を基縮小画像として、基縮小画像としての縮小画像４１と、次縮小画像としての縮小画像４２とを用いて動き補償を行い、動き補償縮小画像４３を生成する。このように、縮小画像を用いて動き補償を行うことにより、入力画像を用いて動き補償を行う場合に比べて、動き補償における演算量を削減することができる。
【００４５】
また、フィルタ処理部２１は、基縮小画像としての縮小画像４１に対して、パラメータａの値の異なる複数（図３の例では３つ）のキュービックコンボリューション補間処理を行うことにより、最適化用画像５１乃至５３を生成する。計算部２２は、入力画像３１をノイズのない画像として最適化用画像５１乃至５３のそれぞれのS/Nを計算し、そのS/Nが最大の最適化用画像に対応するパラメータａの値を選択する。
【００４６】
なお、図３の例では、S/Nが最大の最適化用画像は、最適化用画像５３となっている。従って、図３の例では、最適化用画像５３に対応するパラメータａの値が、動き補償縮小画像４３にとって最適なパラメータａの値として選択される。そして、この値は、動き補償縮小画像４３に対するキュービックコンボリューション補間処理において、式（２）のパラメータａの値として入力される。その結果、高画質な動き補償画像６１が生成される。
【００４７】
以上のようにして生成された動き補償画像６１は、切替部１６により、入力画像３１と入力画像３２の間の中間の時刻に出力画像として出力される。これにより、図３に示すように、入力画像の２倍のフレームレートの出力画像が出力される。
【００４８】
次に、図４と図５のフローチャートを参照して、画像処理装置１０におけるフレームレート変換処理について説明する。このフレームレート変換処理は、例えば、画像処理装置１０に１フレーム分の入力画像が入力されたとき、開始される。
【００４９】
ステップＳ１１において、フレームメモリ１１は、入力画像をフレーム単位で保持する。ステップＳ１２において、縮小画像生成部１２は、入力画像を1/4倍に縮小し、縮小画像を生成する。そして、縮小画像生成部１２は、その縮小画像をフレームメモリ１３と動き補償縮小画像生成部１４に入力する。
【００５０】
ステップＳ１３において、動き補償縮小画像生成部１４は、画像処理装置１０に入力された入力画像が先頭の入力画像であるかどうかを判定する。ステップＳ１３で画像処理装置１０に入力された入力画像が先頭の入力画像であると判定された場合、ステップＳ１４において、フレームメモリ１３は、ステップＳ１２で生成された縮小画像をフレーム単位で保持する。
【００５１】
ステップＳ１５において、フィルタ処理部２１は、ステップＳ１２で生成され、動き補償縮小画像生成部１４を介して供給される縮小画像を用いて、フィルタ処理を最適化する最適化処理を行う。この最適化処理の詳細は、図６を参照して後述する。ステップＳ１６において、切替部１６は、フレームメモリ１１から入力画像を読み出し、その入力画像を出力画像として出力し、処理を終了する。
【００５２】
一方、ステップＳ１３で画像処理装置１０に入力された入力画像が先頭の入力画像ではないと判定された場合、ステップＳ１７において、動き補償縮小画像生成部１４は、フレームメモリ１３に保持されている縮小画像を基縮小画像として読み出す。
【００５３】
ステップＳ１８において、フレームメモリ１３は、ステップＳ１２で生成された縮小画像をフレーム単位で保持する。ステップＳ１９において、動き補償縮小画像生成部１４は、基縮小画像と、ステップＳ１２で縮小画像生成部１２から供給される次縮小画像としての縮小画像とを用いて、ブロックマッチング法などにより、動きベクトルを検出する。
【００５４】
ステップＳ２０において、動き補償縮小画像生成部１４は、検出された動きベクトルを用いて基縮小画像に対して動き補償を行い、その結果生成される動き補償縮小画像を拡大処理部１５に出力する。
【００５５】
そして、図５のステップＳ２１において、フィルタ処理部２１は、設定部２３から供給される、基縮小画像を用いて最適化されたパラメータａの値を用いて、動き補償縮小画像に対してキュービックコンボリューション補間処理を行う。ステップＳ２２において、フィルタ処理部２１は、キュービックコンボリューション補間処理の結果生成される動き補償画像を、切替部１６を介して出力画像として出力する。
【００５６】
ステップＳ２３において、動き補償縮小画像生成部１４は、縮小画像生成部１２から供給される次縮小画像としての縮小画像を、拡大処理部１５に出力する。ステップＳ２４において、フィルタ処理部２１は、その縮小画像を用いて、図４のステップＳ１５の処理と同様の最適化処理を行う。ステップＳ２５において、フィルタ処理部２１は、フレームメモリ１１から入力画像を読み出して出力画像として出力し、処理を終了する。
【００５７】
次に、図６を参照して、図４のステップＳ１５および図５のステップＳ２４の最適化処理について説明する。
【００５８】
ステップＳ５１において、計算部２２はS/Nの最大値maxを０に設定する。ステップＳ５２において、計算部２２は、パラメータａの最適値ｉを０に設定する。ステップＳ５３において、計算部２２はカウント値ｊを１に設定する。
【００５９】
ステップＳ５４において、設定部２３は、フィルタ処理部２１のキュービックコンボリューション補間処理で用いられる補間係数ｈ(t)のパラメータａの値として、パラメータａの値として予め用意されている複数の値のうちのj番目の値Ｐｊを設定する。そして、設定部２３は、値Ｐｊをフィルタ処理部２１に供給する。
【００６０】
ステップＳ５５において、フィルタ処理部２１は、設定部２３から供給される値Ｐｊをパラメータａの値として、縮小画像生成部１２から供給される縮小画像に対してキュービックコンボリューション補間処理を行い、最適化用画像を生成する。そして、フィルタ処理部２１は、その最適化用画像を値Ｐｊと対応付けて計算部２２に供給する。
【００６１】
ステップＳ５６において、計算部２２は、基縮小画像の縮小前の入力画像と、フィルタ処理部２１からの最適化用画像とを用いて、その基縮小画像の縮小前の入力画像をノイズのない画像としたときの最適化用画像のS/Nを、その最適化用画像の評価値として計算する。
【００６２】
ステップＳ５７において、計算部２２は、ステップＳ５６で計算された最適化用画像のS/Nが、最大値maxより大きいかどうかを判定する。ステップＳ５７で最適化用画像のS/Nが最大値maxより大きいと判定された場合、ステップＳ５８において、計算部２２は、そのS/Nを最大値maxに設定する。
【００６３】
ステップＳ５９において、計算部２２は、パラメータａの最適値ｉとして、直前のステップＳ５５でフィルタ処理部２１から最適化用画像に対応付けて供給されてきた値Ｐｊを設定し、処理はステップＳ６０に進む。
【００６４】
一方、ステップＳ５７で最適化用画像のS/Nが最大値maxより大きくはないと判定された場合、ステップＳ５８およびＳ５９の処理は行われず、処理はステップＳ６０に進む。
【００６５】
ステップＳ６０において、計算部２２は、カウント値ｊが、設定部２３に予め用意されたパラメータａの値の数Ｎであるかどうかを判定する。ステップＳ６０でカウント値ｊが数Ｎではないと判定された場合、ステップＳ６１で、計算部２２は、カウント値ｊを１だけインクリメントする。そして、処理はステップＳ５４に戻り、以降の処理が繰り返される。
【００６６】
一方、ステップＳ６０でカウント値ｊが数Ｎであると判定された場合、計算部２２は、最適値ｉを設定部２３に供給し、処理はステップＳ６２に進む。ステップＳ６２において、設定部２３は、パラメータａの値を、計算部２２から供給される最適値ｉに設定する。この最適値ｉは、フィルタ処理部２１に供給され、その直後の図５のステップＳ２１におけるキュービックコンボリューション補間処理に用いられる。
【００６７】
このように、動き補償縮小画像に対しては、その前のフレームの縮小画像と入力画像を用いて最適化されたパラメータａの最適値ｉを用いて、キュービックコンボリューション補間処理が行われるので、高画質の動き補償画像を生成することができる。
【００６８】
なお、上述した説明では、設定部２３にパラメータａの値としてｊ個の値が予め用意されているものとしたが、設定部２３は、パラメータａの値として所定の１つの値だけを予め用意しており、その値を中心として所定の間隔ずつ離れたｊ個の値を、最適化処理で用いられるパラメータａの値として設定するようにしてもよい。
【００６９】
また、設定部２３は、最適化処理に用いられる縮小画像より前の動き補償縮小画像に対するキュービックコンボリューション補間処理で用いられたパラメータａの値に基づいて、最適化処理で用いられるパラメータａの値を設定するようにしてもよい。
【００７０】
この場合、例えば、設定部２３は、最適化処理に用いられる縮小画像より前の動き補償縮小画像に対するキュービックコンボリューション補間処理で用いられたパラメータａの値を中心として、所定の間隔ずつ離れたｊ個の値を、最適化処理で用いられるパラメータａの値として設定する。但し、先頭の縮小画像を用いた最適化処理では、予め用意されているパラメータａの値のデフォルト値を中心として、所定の間隔ずつ離れたｊ個の値が、最適化処理で用いられるパラメータａの値として設定される。
【００７１】
なお、最適化処理で用いられるパラメータａの値としてのｊ個の各値の間隔は、最適化処理に用いられる縮小画像より前の同一のシーン内の縮小画像を用いた最適化処理においてパラメータａの値として用いられたｊ個の各値の間隔よりも細かい間隔にするようにしてもよい。
【００７２】
図７は、図１の拡大処理部１５の他の詳細構成例を示している。
【００７３】
図７において、拡大処理部１５は、計算部２２、フィルタ処理部１０１、および設定部１０２により構成され、フィルタ処理として、線形１次予測演算による補間処理（以下、線形１次予測補間処理という）を行う。なお、図７において、図２と同一のものには同一の符号を付してあり、説明は繰り返しになるので適宜省略する。
【００７４】
図７の拡大処理部１５で行われる線形１次予測補間処理では、補間後のHD60p画像の画素値ｙが、次の線形１次式によって求められる。
【００７５】
【数３】
2009278322.tif 000005
【００７６】
但し、式（３）において、ｘmは、補間後のHD60p画像の画素値ｙの画素の近傍の、補間前のSD60p画像のＭ個の画素のうちの、ｍ番目の画素値を表し、ｗmは、そのｍ番目の画素値と乗算されるｍ番目の予測係数（タップ係数）を表す。
【００７７】
そこで、フィルタ処理部１０１は、まず最初に、ｍ個の予測係数ｗmをパラメータとして、各予測係数ｗmに最適な値を設定することにより、フィルタ処理を最適化する。
【００７８】
具体的には、フィルタ処理部１０１は、動き補償縮小画像生成部１４（図１）から供給される動き補償後の縮小画像のうちの基縮小画像に対して、ｍ個の予測係数ｗmの値の組み合わせ（以下では、予測係数セットという）の異なる複数の線形１次予測補間処理を行う。なお、この予測係数セットは、設定部１０２から入力される。
【００７９】
フィルタ処理部１０１は、それぞれの線形１次予測補間処理により生成されたHD60p画像をフィルタ処理の最適化用画像として、その線形１次予測補間処理で用いられた予測係数セットと対応付けて、計算部２２に供給する。
【００８０】
計算部２２は、フィルタ処理部１０１からの最適化用画像と、基縮小画像の縮小前の入力画像とを用いて、その基縮小画像の縮小前の入力画像をノイズのない画像としたときの最適化用画像のS/Nを計算する。そして、計算部２２は、S/Nが最も大きい最適化用画像と対応付けてフィルタ処理部１０１から供給された予測係数セットを、最適な予測係数セットとして設定部１０２に供給する。
【００８１】
設定部１０２は、計算部２２から供給される最適な予測係数セットを、動き補償縮小画像に対する線形１次予測補間処理で用いる予測係数セットとして設定する。そして、設定部１０２は、その最適な予測係数セットをフィルタ処理部１０１に入力する。
【００８２】
以上のようにして、線形１次予測補間処理が最適化された後、フィルタ処理部１０１は、設定部１０２から供給される最適な予測係数セットを用いて、動き補償縮小画像に対する線形１次予測補間処理を行う。フィルタ処理部１０１は、その結果生成されるHD60p画像を、動き補償画像として切替部１６（図１）に供給する。
【００８３】
以上のように、図７の拡大処理部１５では、フィルタ処理としての線形１次予測補間処理が、処理対象の動き補償縮小画像にとって最適化されるので、各種の画像全般に対応する線形１次予測補間処理を行う場合に比べて、動き補償縮小画像から高画質な動き補償画像を生成することができる。
【００８４】
従って、動き補償縮小画像生成部１４が、入力画像を用いて動き補償を行う場合に比べて演算量を削減するために、縮小画像を用いて動き補償を行っても、高画質な動き補償画像を生成することができる。その結果、画像処理装置１０では、少ない演算量で高画質の出力画像を得ることができる。
【００８５】
なお、図７の拡大処理部１５を有する画像処理装置１０によるフレームレート変換処理は、図４および図５のフローチャートで説明したフレームレート変換処理のキュービックコンボリューション補間処理の代わりに、線形１次予測補間処理を行うことにより行われる。従って、図７の拡大処理部１５によるフレームレート変換処理のフローチャートの図示は省略するが、このフレームレート変換処理における最適化処理の詳細については、図８のフローチャートを参照して説明する。
【００８６】
図８のステップＳ１０１乃至Ｓ１０３において、計算部２２は、図６のステップＳ５１乃至Ｓ５３と同様に、最大値maxと予測係数セットの最適値ｉを０に設定し、カウント値ｊを１に設定する。
【００８７】
ステップＳ１０４において、設定部１０２は、フィルタ処理部１０１の線形１次予測補間処理で用いられる各予測係数ｗnの値として、設定部１０２に予め用意されている予測係数セットのうちのj番目の予測係数セットＷｊの各値を設定する。そして、設定部１０２は、予測係数セットＷｊをフィルタ処理部１０１に供給する。
【００８８】
なお、設定部１０２に予め用意されている予測係数セットとしては、補間後のHD60p画像の解像度の高低が異なる予測係数セット、MPEG（Moving Picture Experts Group phase）の各種のビットレート（例えば、地上波用、BS（Broadcast Satellite）用、BD（Blu-ray Disc）（商標）用）のビットレートなど）に特化させた予測係数セット、入力画像の種類(例えば、テレビジョン放送、映画、文字、アニメーションなど)に特化させた予測係数セットなどがある。
【００８９】
ステップＳ１０５において、フィルタ処理部１０１は、設定部１０２から供給される予測係数セットＷｊの各値を各予測係数ｗnの値として、縮小画像生成部１２から供給される縮小画像に対して線形１次予測補間処理を行い、最適化用画像を生成する。そして、フィルタ処理部１０１は、その最適化用画像を予測係数セットＷｊと対応付けて計算部２２に供給し、処理はステップＳ１０６に進む。
【００９０】
ステップＳ１０６乃至Ｓ１１１の処理は、図６のステップＳ５６乃至Ｓ６１の処理と同様であるので、説明は省略する。
【００９１】
ステップＳ１１１の処理後、ステップＳ１１２において、設定部１０２は、各予測係数ｗnの値を、計算部２２から供給される最適値ｉの各値に設定する。この最適値ｉは、フィルタ処理部１０１に供給され、その直後の動き補償縮小画像に対する線形１次予測補間処理に用いられる。
【００９２】
このように、動き補償縮小画像に対しては、その前のフレームの縮小画像と入力画像を用いて最適化された予測係数セットの最適値ｉを用いて、線形１次予測補間処理が行われるので、高画質の動き補償画像を生成することができる。
【００９３】
なお、上述した説明では、入力画像が入力されるごとに最適化処理が行われたが、最適化処理が行われるタイミングはこれに限定されず、例えば、入力画像がシーンチェンジされるごとに最適化処理が行われるようにしてもよい。
【００９４】
また、本発明は、将来の4K2K画像にも対応する、現行のHD画像用LSI（Large Scale Integration）が搭載された画像処理装置に適用することもできる。このような画像処理装置は、例えば、入力画像として入力される4K2K画像の解像度を落としてHD画像を生成し、そのHD画像を用いて各種の処理を行った後、4K2K画像に戻して出力画像として出力するが、本発明を適用することによって、本来の4K2K画像の解像度に近い出力画像を出力することができる。
【００９５】
さらに、上述した説明では、HD30p画像からHD60p画像に変換する場合の処理について説明したが、フレームレートはこれに限定されず、例えば60Hzの画像から120Hzの画像に変換する場合など、種々のフレームレート変換を行う場合に、本発明を適用することができる。
【００９６】
また、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９７】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９８】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【００９９】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホン、リモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１００】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０１】
コンピュータのCPU２０１が実行するプログラムは、例えば、リムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１０２】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１０３】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０４】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１０５】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の拡大処理部の詳細構成例を示すブロック図である。
【図３】画像処理の流れについて説明する図である。
【図４】フレームレート変換処理について説明するフローチャートである。
【図５】フレームレート変換処理について説明するフローチャートである。
【図６】最適化処理について説明するフローチャートである。
【図７】図１の拡大処理部の他の詳細構成例を示すブロック図である。
【図８】他の最適化処理について説明するフローチャートである。
【図９】コンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０１０６】
１０  画像処理装置，  １２  縮小画像生成部，  １４  動き補償縮小画像生成部，  ２１  フィルタ処理部，  ２２  計算部，  ２３  設定部
【図１】
2009278322.tif 000006
【図２】
2009278322.tif 000007
【図３】
2009278322.tif 000008
【図４】
2009278322.tif 000009
【図５】
2009278322.tif 000010
【図６】
2009278322.tif 000011
【図７】
2009278322.tif 000012
【図８】
2009278322.tif 000013
【図９】
2009278322.tif 000014