(57)【要約】【課題】不自然な強調部分が生じることのない高精細画像を安定して得ることができる高精細画像生成装置および高精細画像生成プログラムを提供する。【解決手段】高精細画像生成装置１は、入力された入力画像の解像度よりも解像度が高い高精細画像を生成するものであって、入力画像からアップコンバージョン画像を生成するサンプリングレート変換手段３と、アップコンバージョン画像にウェーブレット変換を施すウェーブレット変換手段５と、フィルタを生成するフィルタ生成手段７と、高域精細成分を生成する高域精細成分生成手段９と、高域精細成分とアップコンバージョン画像とを混合する混合手段１１と、を備える構成とした。【選択図】図１
2008236626.tif 000002
【特許請求の範囲】
【請求項１】
入力された入力画像の解像度よりも解像度が高い高精細画像を生成する高精細画像生成装置であって、
前記入力画像のサンプリングレートを変換し、当該入力画像の解像度よりも解像度を高めたアップコンバージョン画像を得るサンプリングレート変換手段と、
このサンプリングレート変換手段で得られたアップコンバージョン画像にウェーブレット変換を施して、複数の空間周波数サブバンド領域からなる空間周波数サブバンド領域群を得るウェーブレット変換手段と、
このウェーブレット変換手段で得られた空間周波数サブバンド領域群の中から予め設定された設定空間周波数サブバンド領域群に基づいて、前記入力画像の各画素が相関する方向を示す空間方向性ベクトルを抽出し、この空間方向性ベクトルに基づいて、前記アップコンバージョン画像を補完する際に用いる方向性フィルタを生成するフィルタ生成手段と、
このフィルタ生成手段で生成した方向性フィルタを、前記設定空間周波数サブバンド領域群に施して、前記アップコンバージョン画像の標本空間上の画素である高域精細成分を生成する高域精細成分生成手段と、
この高域精細成分生成手段で生成された高域精細成分と、前記アップコンバージョン画像とを混合して、前記高精細画像を生成する混合手段と、
を備えることを特徴とする高精細画像生成装置。
【請求項２】
前記フィルタ生成手段は、
１次元フィルタの各係数値を離散標本値とする２次元実数の閉領域上に定義されたポテンシャル関数を補完生成し、当該ポテンシャル関数を所定角度に回転させるアフィン変換を施した関数を格子点で標本化することにより、前記方向性フィルタとして、２次元フィルタを得ることを特徴とする請求項１に記載の高精細画像生成装置。
【請求項３】
入力された入力画像の解像度よりも解像度が高い高精細画像を生成するために、コンピュータを、
前記入力画像のサンプリングレートを変換し、当該入力画像の解像度よりも解像度を高めたアップコンバージョン画像を得るサンプリングレート変換手段、
このサンプリングレート変換手段で得られたアップコンバージョン画像にウェーブレット変換を施して、複数の空間周波数サブバンド領域からなる空間周波数サブバンド領域群を得るウェーブレット変換手段、
このウェーブレット変換手段で得られた空間周波数サブバンド領域群の中から予め設定された設定空間周波数サブバンド領域群に基づいて、前記入力画像の各画素が相関する方向を示す空間方向性ベクトルを抽出し、この空間方向性ベクトルに基づいて、前記アップコンバージョン画像を補完する際に用いる方向性フィルタを生成するフィルタ生成手段、
このフィルタ生成手段で生成した方向性フィルタを、前記設定空間周波数サブバンド領域群に施して、前記アップコンバージョン画像の標本空間上の画素である高域精細成分を生成する高域精細成分生成手段、
この高域精細成分生成手段で生成された高域精細成分と、前記アップコンバージョン画像とを混合して、前記高精細画像を生成する混合手段、
として機能させることを特徴とする高精細画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像の解像度を向上した高精細画像を生成する高精細画像生成装置および高精細画像生成プログラムに関する。
【背景技術】
【０００２】
従来、低解像度映像の解像度を向上させる高解像度化（アップコンバージョン：Up conversion）は、例えば、ＳＤＴＶ（標準テレビ：Standard Definition TeleVision）からＨＤＴＶ（高精細テレビ：High Definition TeleVision）への変換が行われている。この高解像度化は、ＳＤＴＶの１フレーム当たりの解像度（水平，垂直）＝（７２０，４８０）を、ＨＤＴＶの１フレーム当たりの解像度（水平，垂直）＝（１９２０，１０８０）にアップコンバージョンする場合には、垂直・水平方向のサンプリングレートを変換すると共に、新たに増加する画素をＦＩＲデジタルフィルタによって中間サンプル値を求め、補完生成することによって行われている。
【０００３】
この高解像度化は、低解像度映像、すなわち、解像度が低い動画像をリアルタイムにアップコンバージョンする場合に行われているが、静止画像の場合には、必ずしもリアルタイムに行う必要がないので、この代わりに、より高品質な画像、顕著な解像度の向上が求められている。このため、ＦＩＲデジタルフィルタによって中間サンプル値を求めるのではなく、ｂｉ−ｌｉｎｅａｒ、ｂｉ−ｃｕｂｉｃ、Ｓｐｌｉｎｅ関数等による多項式近似による中間サンプル値が求められ、この中間サンプル値を用いた補完が行われている。
【０００４】
しかし、これら動画像および静止画像の解像度を向上させる高解像度化手法は、いずれも元の信号に含まれる情報の情報量はそのままにして、ナイキストサンプリング定理の枠内、すなわち、元の信号の周波数帯域以内で、当該信号を表現するサンプリングレートを増加させることが目的であり、元の信号に含まれる情報の情報量を増加（付加・向上）させるものではない。
【０００５】
ちなみに、サンプリングレートの向上と同時に、元の信号になかった精細度等の情報を付加生成する技術として、例えば、フルエンシー理論による補完生成手法がある。このフルエンシー理論による補完生成手法は、Ｂ−Ｓｐｌｉｎｅ関数によるシフト−バリアントな補完関数を用いて、中間サンプル値の補完を行うことが特徴であり、音声のアップコンバージョンにおいて、より高品質の音質・質感を付加生成する技術として知られている。なお、シフト−バリアントな補完関数とは、サンプル点の場所ごとに補完関数の形が異なる関数のことである。
【０００６】
また、フルエンシー理論による補完生成手法の他に、映像に関する技術として、例えば、「動画像の静止領域判定装置」（特許文献１）が開示されている。この動画像の静止領域判定装置は、ウェーブレット変換技術を用いて、元の信号の帯域外の高域成分を当該信号に付加して、解像度を向上させる非線形な画質向上を実現したものであり、ＳＤＴＶのコンテンツを高精細化してＨＤＴＶにアップコンバージョンすることを目的としていた。
【０００７】
より詳細に述べると、この動画像の静止領域判定装置は、ウェーブレット変換による波形構造分析により、映像に含まれるエッジ・輪郭等を推測・抽出して、この結果を受けて、より高いサンプリングレートに変換した信号のエッジ・輪郭をエンハンスする（高める、強調する）ものであり、ウェーブレット変換における帯域そのものを拡張するものではない。つまり、この動画像の静止領域判定装置では、アップコンバージョンした後の映像のエッジを先鋭化することを主たる目的としており、このために元の信号のウェーブレット変換の結果を援用しているにすぎない。
【０００８】
さらに、フルエンシー理論による補完生成手法を映像に関して、拡張・適用した技術として、非特許文献１が開示されている。この非特許文献１に開示されている手法は、映像のアップコンバージョンと高精細化とを行うもので、映像成分のエッジ・輪郭等、映像の局所的な場所における特徴抽出を行って、この結果に基づいて、場所ごとに異なるＢ−Ｓｐｌｉｎｅ関数でサンプル点の補完生成を行うものである。このように、非特許文献１に開示されている手法でも、高精細化する際に重要となるのは、映像上の局所的な場所の特徴抽出を行うことである。
【０００９】
このように、特許文献１およぶ非特許文献１に開示されている、映像のアップコンバージョンにおける従来技術は、元の映像からエッジ等の特徴抽出を行うという外部的手段が援用されており、アップコンバージョンした信号形態上で、抽出したエッジをエンハンスする、という外挿的な手法である。
【特許文献１】特開２００１−３０９２０６号公報
【非特許文献１】Aokage，H．;Wada,K.;Toraichi,K;High quality conversion of image resolution using two-dimensional sampling function Communications,Computers and signal Processing,2003.PACRIM.2003 IEEE Pacific Rim Conference on,Volume:2,28-30 Aug.2003.Pages:720-723 vol.2
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来技術では、映像（画像）の局所的な場所でのエッジ・輪郭等の特徴抽出を行って、該当するエッジ・輪郭をエンハンスしているので、不自然な強調部分が生じるおそれがあるという問題がある。また、従来技術では、映像（画像）ごとの性質を統計的に学習した上でないと、高精細化を行うことができず、映像（画像）によっては安定した品質の高精細画像を得ることができないという問題がある。
【００１１】
そこで、本発明では、前記した問題を解決し、不自然な強調部分が生じることのない高精細画像を安定して得ることができる高精細画像生成装置および高精細画像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するため、請求項１に記載の高精細画像生成装置は、入力された入力画像の解像度よりも解像度が高い高精細画像を生成する高精細画像生成装置であって、サンプリングレート変換手段と、ウェーブレット変換手段と、フィルタ生成手段と、高域精細成分生成手段と、混合手段と、を備える構成とした。
【００１３】
かかる構成によれば、高精細画像生成装置は、サンプリングレート変換手段によって、入力画像のサンプリングレートを変換し、当該入力画像の解像度よりも解像度を高めた（アップコンバージョンした）アップコンバージョン画像を得る。続いて、高精細画像生成装置は、ウェーブレット変換手段によって、サンプリングレート変換手段で得られたアップコンバージョン画像にウェーブレット変換を施して、複数の空間周波数サブバンド領域群を得る。なお、この空間周波数サブバンド領域群は、水平低域および垂直低域（ＬＬ）、水平高域および垂直低域（ＨＬ）、水平低域および垂直高域（ＬＨ）、水平高域および垂直高域（ＨＨ）の４つの空間周波数サブバンド領域からなる。
【００１４】
そして、高精細画像生成装置は、フィルタ生成手段によって、ウェーブレット変換手段で得られた複数の空間周波数サブバンド領域群の中から予め設定した設定空間周波数サブバンド領域群に基づいて、入力画像の各画素が相関する方向を示す空間方向性ベクトルを抽出し、この空間方向性ベクトルに基づいて、アップコンバージョン画像を補完する際に用いる方向性フィルタを生成する。なお、設定空間周波数サブバンド領域群は、水平高域および垂直低域、水平低域および垂直高域の２つの空間周波数サブバンド領域からなる。また、空間方向性ベクトルとは、ある画素を中心としたとき、当該画素と相関が最も高い画素が位置する方向を指す角度（ベクトル）である。
【００１５】
そして、高精細画像生成装置は、高域精細成分生成手段によって、フィルタ生成手段で生成した方向性フィルタを、設定空間周波数サブバンド領域群に施して、アップコンバージョン画像の標本空間上の画素である高域精細成分を生成し、混合手段によって、高域精細成分生成手段で生成された高域精細成分と、アップコンバージョン画像とを混合して、高精細画像を生成する。
【００１６】
請求項２に記載の高精細画像生成装置は、請求項１に記載の高精細画像生成装置において、前記フィルタ生成手段が、１次元フィルタの各係数値を離散標本値とする２次元実数の閉領域上に定義されたポテンシャル関数を補完生成し、当該ポテンシャル関数を所定角度に回転させるアフィン変換した関数を格子点で標本化することにより、前記方向性フィルタとして、２次元フィルタを得ることを特徴とする。
【００１７】
かかる構成によれば、高精細画像生成装置は、フィルタ生成手段によって、まず、１次元フィルタを使って、ポテンシャル関数を補完生成する。続いて、高精細画像生成装置は、ポテンシャル関数をアフィン変換して、格子点で標本化することで、方向性フィルタとして、２次元フィルタを生成している。この２次元フィルタを、設定空間周波数サブバンド領域に対し空間方向性ベクトルに沿った方向に施すことで、新たな画素が生成される。
【００１８】
請求項３に記載の高精細画像生成プログラムは、入力された入力画像の解像度よりも解像度が高い高精細画像を生成するために、コンピュータを、サンプリングレート変換手段、ウェーブレット変換手段、フィルタ生成手段、高域精細成分生成手段、混合手段、として機能させる構成とした。
【００１９】
かかる構成によれば、高精細画像生成プログラムは、サンプリングレート変換手段によって、入力画像のサンプリングレートを変換し、当該入力画像の解像度よりも解像度を高めたアップコンバージョン画像を得て、ウェーブレット変換手段によって、サンプリングレート変換手段で得られたアップコンバージョン画像にウェーブレット変換を施して、複数の空間周波数サブバンド領域群を得る。そして、高精細画像生成プログラムは、フィルタ生成手段によって、ウェーブレット変換手段で得られた複数の空間周波数サブバンド領域群の中から予め設定された設定空間周波数サブバンド領域群に基づいて、入力画像の各画素が相関する方向を示す空間方向性ベクトルを抽出し、この空間方向性ベクトルに基づいて、アップコンバージョン画像を補完する際に用いる方向性フィルタを生成する。そして、高精細画像生成プログラムは、高域精細成分生成手段によって、フィルタ生成手段で生成した方向性フィルタを、設定空間周波数サブバンド領域群に施して、アップコンバージョン画像の標本空間上の画素である高域精細成分を生成し、混合手段によって、高域精細成分生成手段で生成された高域精細成分と、アップコンバージョン画像とを混合して、高精細画像を生成する。
【発明の効果】
【００２０】
請求項１、３に記載の発明によれば、入力画像をアップコンバージョンした後に、ウェーブレット変換した結果から得られた空間周波数サブバンド領域を用いて、空間方向性ベクトルを抽出し、この空間方向性ベクトルを用いてアップコンバージョンした画像から新たな画素を補完生成して、当該画像と混合しているので、従来のエッジ抽出等の外挿的な手法による高精細画像の生成に比べ、不自然な強調部分が生じることのない高精細画像、すなわち、より自然な高精細画像を得ることができる。
【００２１】
請求項２に記載の発明によれば、入力画像に応じて、その都度２次元フィルタを生成し、当該２次元フィルタをアップコンバージョン画像に施して、新たな画素を生成しているので、従来の映像（画像）ごとの性質について統計的に学習を必要とする手法に比べ、この必要が無く、安定した品質の高精細画像を得ることができる。
【発明を実施するための最良の形態】
【００２２】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（高精細画像生成装置の構成）
図１は高精細画像生成装置のブロック図である。この図１に示すように、高精細画像生成装置１は、入力された入力画像（元画像）を高精細画像にして出力するもので、サンプリングレート変換手段３と、ウェーブレット変換手段５と、フィルタ生成手段７と、高域精細成分生成手段９と、混合手段１１とを備えている。
【００２３】
サンプリングレート変換手段３は、入力画像の画像サイズをアップコンバージョンするもので、アップコンバージョンした画像（アップコンバージョン画像Ｘｕ）をウェーブレット変換手段５と混合手段１１とに出力するものである。なお、このサンプリングレート変換手段３において、アップコンバージョンする手法は既存の手法でよいが、アップコンバージョン画像のナイキスト周波数限界内に歪みが発生しないことが条件となる。
【００２４】
ウェーブレット変換手段５は、サンプリングレート変換手段３から出力されたアップコンバージョン画像Ｘｕについて、ウェーブレット変換を施して、複数の空間周波数サブバンド領域（空間周波数サブバンド領域群）を得て、この空間周波数サブバンド領域群をフィルタ生成手段７に出力するものである。
【００２５】
空間周波数サブバンド領域群は、水平方向の成分が低域周波数帯で、垂直方向の成分が低域周波数帯の領域であるＬＬ（水平低域、垂直低域）、水平方向の成分が高域周波数帯で、垂直方向の成分が低域周波数帯の領域であるＨＬ（水平高域、垂直低域）、水平方向の成分が低域周波数帯で、垂直方向の成分が高域周波数帯の領域であるＬＨ（水平低域、垂直高域）、水平方向の成分が高域周波数帯で、垂直方向の成分が高域周波数帯の領域であるＨＨ（水平高域、垂直高域）の４つの空間周波数サブバンド領域からなる。
【００２６】
ここで、このウェーブレット変換手段５によるウェーブレット変換について説明する。このウェーブレット変換は、「画像の２次元ウェーブレット変換」であり、ｆＬを水平方向における低域の１次元ウェーブレット変換フィルタ、ｆＨを水平方向における高域の１次元ウェーブレット変換フィルタ、ｇＬを垂直方向における低域の１次元ウェーブレット変換フィルタ、ｇＨを垂直方向における高域の１次元ウェーブレット変換フィルタとする。なお、これらｆＬ、ｆＨ、ｇＬおよびｇＨは、具体的には、行列で表され、後記する数式（２）〜（４）に用いられる。
【００２７】
まず、「画像の２次元ウェーブレット変換」について説明する。
垂直画素数Ｍ、水平画素数Ｎの画像をＸ［Ｍ，Ｎ］とし、この画像Ｘ［Ｍ，Ｎ］上の位置（ｉ，ｊ）を中心位置とする画像小領域（垂直２ｍ＋１画素、水平２ｎ＋１画素）をｘ［ｉ，ｊ］とする。以下の例はｍ＝２、ｎ＝３の場合のｘ［ｉ，ｊ］の例であり、中心位置（ｉ，ｊ）の画素Ｘ［ｉ，ｊ］の値をｓ０，０とすると、ｘ［ｉ，ｊ］は次に示す数式（１）にようになる。
【００２８】
【数１】
2008236626.tif 000003
【００２９】
そして、ｆをタップ数２ｎ＋１の奇数対称型の１次元ＦＩＲフィルタｆ＝（ｆ−３，ｆ−２，ｆ−１，ｆ０，ｆ１，ｆ２，ｆ３）とし、ｇをタップ数２ｍ＋１の奇数対称型の１次元ＦＩＲフィルタｇ＝（ｇ−２，ｇ−１，ｇ０，ｇ１，ｇ２）とすると、画像小領域ｘ［ｉ，ｊ］に対して、水平方向にｆを垂直方向にｇを施す２次元ＦＩＲ処理を行った結果のスカラー値であるｙ［ｉ，ｊ］は、次に示す数式（２）のようになる。
【００３０】
【数２】
2008236626.tif 000004
【００３１】
この数式（２）において、ｇｔはｇの転置行列、○の中に×の行列は、Ｋｒｏｎｅｃｋｅｒ積（行列外積）、“．”は行列内積を示している。
そして、画像Ｘ［Ｍ，Ｎ］全域に２次元ＦＩＲ処理を行った結果である画像Ｙ［Ｍ，Ｎ］は、次に示す数式（３）のようになる。
【００３２】
【数３】
2008236626.tif 000005
【００３３】
この数式（３）に示したように、画像Ｙ［Ｍ，Ｎ］は、ｉ行ｊ列成分をｙ［ｉ，ｊ］とするＭ行Ｎ列の行列となる。
【００３４】
そうすると、空間周波数サブバンド領域群（ＬＬ、ＨＬ、ＬＨ、ＨＨ）は次に示す数式（４）のようになる。
【００３５】
【数４】
2008236626.tif 000006
【００３６】
このように、この実施の形態では、この数式（４）に示したフィルタリング処理を行った後、垂直・水平の軸方向に２：１のサブサンプルを行った結果を、「２次元ウェーブレット変換」と定義している。
【００３７】
さらに、空間周波数サブバンド領域群の例を、図３を参照して説明する。図３はアップコンバージョン画像（女性の瞳部分）と、この画像の空間周波数サブバンド領域群とをあわせて示した図である。
【００３８】
図３（ａ）に示したアップコンバージョン画像にウェーブレット変換を施すことで、図３（ｂ）に示した空間周波数サブバンド領域ＬＬと、図３（ｃ）に示した空間周波数サブバンド領域ＨＬと、図３（ｄ）に示した空間周波数サブバンド領域ＬＨと、図３（ｅ）に示した空間周波数サブバンド領域ＨＨと、が得られる。
【００３９】
図３（ｂ）に示したように、空間周波数サブバンド領域ＬＬは、アップコンバージョン画像の状態に最も近い領域となる。
図３（ｃ）に示したように、空間周波数サブバンド領域ＨＬは、アップコンバージョン画像の中で、際立った縦のライン（陰影）および斜めのラインのみが残存した領域となる。
【００４０】
図３（ｄ）に示したように、空間周波数サブバンド領域ＬＨは、アップコンバージョン画像の中で、際立った横のライン（陰影）および斜めのラインのみが残存した領域となる。
図３（ｅ）に示したように、空間周波数サブバンド領域ＨＨは、アップコンバージョン画像の中で、際立った斜めのラインのみが残存した領域となる。
なお、図３（ｆ）は、空間周波数サブバンド領域群（ＬＬ、ＨＬ、ＬＨ、ＨＨ）の配置を示したものである。
【００４１】
図１に戻る。
フィルタ生成手段７は、ウェーブレット変換手段５から出力された空間周波数サブバンド領域群（ＬＬ、ＨＬ、ＬＨ、ＨＨ）の中から予め設定された設定空間周波数サブバンド領域群に基づいて、２次元フィルタを生成するもので、インテンシティマップ生成手段７ａと、ディレクショナルシータマップ生成手段７ｂと、２次元ＦＩＲフィルタ生成手段７ｃとを備えている。
【００４２】
なお、この実施形態では、設定空間周波数サブバンド領域群として、ＨＬ、ＬＨとを用いて、サブバンドの和（アップコンバージョン画像Ｘｕの高域成分Ｘｈｉｇｈ）を求めており、このサブバンドの和は、Ｘｈｉｇｈ＝ＨＬ［ｉ，ｊ］＋ＬＨ［ｉ，ｊ］で表される。また、このサブバンドの和としてＸｈｉｇｈ＝ＨＬ［ｉ，ｊ］＋ＬＨ［ｉ，ｊ］＋ＨＨ［ｉ，ｊ］（アップコンバージョン画像Ｘｕの水平垂直の高域成分Ｘｈｉｇｈ）とすることもできる。
【００４３】
インテンシティマップ生成手段７ａは、ウェーブレット変換手段５から出力された空間周波数サブバンド領域群（ＬＬ、ＨＬ、ＬＨ、ＨＨ）の中から選択したＨＬ、ＬＨの各画素の値を用いて、インテンシティマップを生成するものである。このインテンシティマップは、ある画素位置（ｉ，ｊ）における所定方向の空間相関性（後記するθ方向の空間相関性θ［ｉ，ｊ］）の有意の程度を示すものである。そして、このインテンシティマップは、次に示す数式（５）によって求められる。
【００４４】
【数５】
2008236626.tif 000007
【００４５】
ディレクショナルシータマップ生成手段７ｂは、ウェーブレット変換手段５から出力された空間周波数サブバンド領域群（ＬＬ、ＨＬ、ＬＨ、ＨＨ）の中から選択したＨＬ、ＬＨの各画素の値を用いて、θ方向の空間相関マップ（ディレクショナルシータマップ）を生成するものである。このディレクショナルシータマップは、ある画素がθ方向に対して、どれだけ相関しているかの程度（画素の値が相関しているかの程度）、すなわち、θ方向の空間相関性θ［ｉ，ｊ］を示すものである。そして、このディレクショナルシータマップは、次に示す数式（６）によって求められる。
【００４６】
【数６】
2008236626.tif 000008
【００４７】
２次元ＦＩＲフィルタ生成手段７ｃは、インテンシティマップ生成手段７ａで生成されたインテンシティマップに対し、閾値処理を施して、閾値以上の画素位置に、ディレクショナルシータマップ生成手段７ｂで生成されたディレクショナルシータマップを用いて、アップコンバージョン画像Ｘｕの高域成分Ｘｈｉｇｈの画素位置に施す方向性ＬＰＦを生成するものである。この方向性ＬＰＦがアップコンバージョン画像Ｘｕの各画素の空間方向性ベクトルを抽出したものとなる。
【００４８】
この方向性ＬＰＦをｆ［θ［ｉ，ｊ］］とすると、このｆ［θ［ｉ，ｊ］］は、１次元フィルタｆ［０］を、アフィン変換により、θ［ｉ，ｊ］だけ回転させたものである。なお、このｆ［θ［ｉ，ｊ］］は、２次元行列で表すことできる。例えば、ｆ［０］＝｛ｆ−３，ｆ−２，ｆ−１，ｆ０，ｆ１，ｆ２，ｆ３｝とすると、２次元行列として、次に示す数式（７）のようになる。
【００４９】
【数７】
2008236626.tif 000009
【００５０】
この数式（７）に示したように、１１行１１列の２次元行列内にｆ［０］が配置され、当該２次元行列は、ｆ［０］の周囲が“０”で埋められた行列となる。この２次元行列は、２次元実数の閉領域上に定義されたポテンシャル関数の１１×１１個の離散標本値と捉えることができる。
【００５１】
そして、この１１×１１個の離散標本値を持つ仮想的なポテンシャル関数（定義域は実数の連続領域）をｆ（ｘ，ｙ）とし、このｆ（ｘ，ｙ）を角度θでアフィン変換した関数をｈ（ｘ，ｙ）とする。このｈ（ｘ，ｙ）を格子点で標本化することで、方向性フィルタの行列を得ることができる。
【００５２】
また、ここで、図４を参照して、方向性ＬＰＦの生成例について説明する。図４は、方向性ＬＰＦの生成例について示したもので、（ａ）および（ｄ）は当該ＬＰＦのフィルタ係数を画素濃淡で示した図であり、（ｂ）および（ｅ）は当該ＬＰＦのフィルタ係数をインパルスの高さで示した図であり、（ｃ）および（ｆ）は当該ＬＰＦの周波数応答を示した図である。
【００５３】
この図４において、ベースとなる１次元フィルタｆ［０］はｆ＝｛−１／８，１／４，３／４，１／４，−１／８｝であり、θをπ／４で回転させて得られた２次元ＦＩＲフィルタのインパルス応答を図４（ａ）、（ｂ）に、２次元空間周波数応答を（ｃ）に示している。また、θを−π／４で回転させて得られた２次元ＦＩＲフィルタのインパルス応答を図４（ｄ）、（ｅ）に、２次元空間周波数応答を（ｆ）に示している。
【００５４】
図４（ａ）に示した画素濃淡は、９つの画素を対象にして、ハッチングの違い（濃淡の違い）により、アップコンバージョン画像の高域成分に施される値の違いを示しており、右上の画素と左下の画素とに施される値が高くなるように構成されている。
【００５５】
図４（ｂ）に示したインパルスの高さは、スペクトルによって、アップコンバージョン画像の高域成分に施される値の違いを示しており、手前側の位置（ｘ，ｙ）＝（６，４）にあるスペクトルと奥側の位置（ｘ，ｙ）＝（４，６）にあるスペクトルが高くなるように構成されている。
【００５６】
図４（ｃ）に示した周波数応答は、等高線によって、アップコンバージョン画像の高域成分に施される値の違いを示しており、奥側の位置（Ｈ，Ｖ）＝（−０．５，０．５）付近が高くなるように構成されている。
【００５７】
図４（ｄ）に示した画素濃淡は、９つの画素を対象にして、ハッチングの違い（濃淡の違い）により、アップコンバージョン画像の高域成分に施される値の違いを示しており、右下の画素と左上の画素とに施される値が高くなるように構成されている。
【００５８】
図４（ｅ）に示したインパルスの高さは、スペクトルによって、アップコンバージョン画像の高域成分に施される値の違いを示しており、左側の位置（ｘ，ｙ）＝（４，４）にあるスペクトルと右側の位置（ｘ，ｙ）＝（６，６）にあるスペクトルが高くなるように構成されている。
【００５９】
図４（ｆ）に示した周波数応答は、等高線によって、アップコンバージョン画像の高域成分に施される値の違いを示しており、奥側の位置（Ｈ，Ｖ）＝（０．５，−０．５）付近が高くなるように構成されている。
【００６０】
図１に戻る。
高域精細成分生成手段９は、ウェーブレット変換手段５から出力された空間周波数サブバンド領域群（ＬＬ、ＨＬ、ＬＨ、ＨＨ）の中から選択した設定空間周波数サブバンド領域群の高域成分の和（ＨＬとＬＨ）、すなわち、アップコンバージョン画像Ｘｕの高域成分Ｘｈｉｇｈに、２次元ＦＩＲフィルタ生成手段７ｃで生成された方向性ＬＰＦを施して、高域精細成分Ｘｅｘｔを生成するものである。
【００６１】
方向性ＬＰＦをｆ［θ［ｉ，ｊ］］とし、アップコンバージョン画像Ｘｕの高域成分Ｘｈｉｇｈにこの方向性ＬＰＦを用いた２次元フィルタリングを行って、高域精細成分Ｘｅｘｔは、次に示す数式（８）によって求められる。なお、ｆ［θ［ｉ，ｊ］］は２次元行列である。
【００６２】
【数８】
2008236626.tif 000010
【００６３】
ここで、ｘｕ［ｉ，ｊ］は画像Ｘｕの位置（ｉ，ｊ）を中心とする画像小領域であり、このサイズは、ｆ［θ［ｉ，ｊ］］と同じサイズである。
【００６４】
なお、この高域精細成分生成手段９では、ディレクショナルシータマップ生成手段７ｂで用いた数式（６）を画素Ｘ［ｉ，ｊ］における「空間方向性ベクトル」と定義し、この画素Ｘ［ｉ，ｊ］では空間上θ方向に画素相関が最も強いものとして扱っている。そして、この高域精細成分生成手段９では、画素相関が最も強いということに関して、θ方向の空間周波数成分が０に限りなく近いとし、θ方向の画素値予測（生成する高域精細成分）が単純なＬＰＦ処理によって行えることとしている。
【００６５】
ここで、図５を参照して、フィルタ生成手段７および高域精細成分生成手段９で得られる画像（成分）の生成例について説明する。図５は画像の生成例として、図３に示したものと同一の入力画像について、アップコンバージョン画像Ｘｕの高域成分Ｘｈｉｇｈ、インテンシティマップの閾値処理によって検出された優位画素（閾値以上の画素）の分布、ディレクショナルシータマップおよび高域精細成分Ｘｅｘｔを示した図である。
【００６６】
図５（ａ）に示したアップコンバージョン画像Ｘｕの高域成分Ｘｈｉｇｈは、設定空間周波数サブバンド領域群の高域成分の和（ＨＬ＋ＬＨ）であり、ＨＬの垂直低域である低域成分とＬＨの水平低域の低域成分が互いに打ち消しあってしまうためか、図３（ｃ）（ｄ）に比べ、際立った縦のライン（陰影）および際立った横のライン（陰影）を観測することができない。
【００６７】
図５（ｂ）に示したインテンシティマップの閾値処理によって検出された優位画素（閾値以上の画素）の分布は、閾値以上の画素を白地で表したものであり、その他の画素を黒地で表したものである。この図５（ｂ）からわかるように、ある画素位置における所定方向の空間相関性が高いもの、ここでは、頭髪と顔面の境界、眉毛の生え際、瞳と顔面の境界、瞳孔部分等を観測することができる。
【００６８】
図５（ｃ）に示したディレクショナルシータマップは、ある画素がθ方向に対して、どれだけ相関しているかを示したものである。この図５（ｃ）からわかるように、図５（ｂ）と同様の箇所がより顕著に観測することができる。なお、この図５（ｃ）では確認できないが、画素同士が相関している方向を示すθの値によって、図５（ｅ）に基づき当該画素の色が異なるようになっている。
【００６９】
図５（ｄ）に示した高域精細成分Ｘｅｘｔは、図５（ａ）と同様に、際立った縦のライン（陰影）および際立った横のライン（陰影）を観測することができない。逆に、この高域精細成分Ｘｅｘｔが顕著な強調部分を含まないことで、後記する混合手段１１によってアップコンバージョン画像Ｘｕと混合することで、不自然な強調部分が生じない高精細画像を生成することができる。
なお、図５（ｅ）はθの色表示（ＲＧＢによる表示）を示したものであり、この図５（ｅ）では確認できないが、θの値によって円上の時計回りに青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）に色相が移り変わっていくことを示している。
【００７０】
図１に戻る。
混合手段１１は、サンプリングレート変換手段３から出力されたアップコンバージョン画像Ｘｕと、高域精細成分生成手段９で生成された高域精細成分Ｘｅｘｔとを混合した高精細画像を生成して出力するものである。
【００７１】
この混合手段１１で生成される高精細画像をＹｕ［ｉ，ｊ］とすると、この高精細画像Ｙｕ［ｉ，ｊ］は、次に示す数式（９）または（１０）によって求められる。
【００７２】
【数９】
2008236626.tif 000011
【００７３】
【数１０】
2008236626.tif 000012
なお、数式（９）において、αは正の実数であり、高精細画像Ｙｕは高域精細成分Ｘｅｘｔをアップコンバージョン画像Ｘｕに加える程度に制御したものである。また、数式（１０）において、高精細画像Ｙｕは空間周波数サブバンド領域群（ＬＬ）に高域精細成分Ｘｅｘｔを加算したものである。この場合、空間周波数サブバンド領域群（ＬＬ）は、アップコンバージョン画像Ｘｕに加法重畳的に存在している成分なので、このように高精細画像Ｙｕを求めても、本発明の効果に変化は生じない。
【００７４】
この高精細画像生成装置１によれば、入力画像をサンプリングレート変換手段３でアップコンバージョンした後に、ウェーブレット変換手段５でウェーブレット変換した結果から得られた空間周波数サブバンド領域を用いて、フィルタ生成手段７で方向性ＬＰＦ（空間方向性ベクトルを抽出したもの）を生成し、高域精細成分生成手段９でこの方向性ＬＰＦを用いてアップコンバージョンした画像から新たな画素を補完生成して、混合手段１１で当該画像と混合しているので、従来のエッジ抽出等の外挿的な手法による高精細画像の生成に比べ、不自然な強調部分が生じることのない高精細画像、すなわち、より自然な高精細画像を得ることができる。
【００７５】
また、この高精細画像生成装置１によれば、フィルタ生成手段７で入力画像に応じて、その都度方向性ＬＰＦ（２次元フィルタ）を生成し、当該方向性フィルタをアップコンバージョン画像に施して、新たな画素を生成しているので、従来の映像（画像）ごとの性質について統計的に学習を必要とする手法に比べ、この必要が無く、安定した品質の高精細画像を得ることができる。
【００７６】
（高精細画像生成装置の動作）
次に、図２に示すフローチャートを参照して、高精細画像生成装置１の動作を説明する（適宜、図１参照）。
まず、高精細画像生成装置１は、サンプリングレート変換手段３によって、入力画像のサンプリングレートを変更したアップコンバージョン画像Ｘｕとし、このアップコンバージョン画像をウェーブレット変換手段５および混合手段１１に出力する（ステップＳ１）。
【００７７】
続いて、高精細画像生成装置１は、ウェーブレット変換手段５によって、アップコンバージョン画像Ｘｕから空間周波数サブバンド領域群（ＬＬ、ＨＬ、ＬＨ、ＨＨ）を得て、この空間周波数サブバンド領域群（ＬＬ、ＨＬ、ＬＨ、ＨＨ）をフィルタ生成手段７および高域精細成分生成手段９に出力する（ステップＳ２）。
【００７８】
そして、高精細画像生成装置１は、空間周波数サブバンド領域群（ＬＬ、ＨＬ、ＬＨ、ＨＨ）から選択した設定空間周波数サブバンド領域群（ＨＬ、ＬＨ）から、フィルタ生成手段７のインテンシティマップ生成手段７ａによってインテンシティマップを生成し、ディレクショナルシータマップ生成手段７ｂによってディレクショナルシータマップを生成し、これらに基づいて、２次元ＦＩＲフィルタ手段７ｃによって方向性フィルタを生成する（ステップＳ３）。
【００７９】
さらに、高精細画像生成装置１は、高域精細成分生成手段９によって、空間周波数サブバンド領域群（ＬＬ、ＨＬ、ＬＨ、ＨＨ）から選択した設定空間周波数サブバンド領域群の高域成分の和（ＨＬとＬＨ）、すなわち、アップコンバージョン画像Ｘｕの高域成分Ｘｈｉｇｈに、２次元ＦＩＲフィルタ生成手段７ｃで生成された方向性ＬＰＦを施して、高域精細成分Ｘｅｘｔを生成する（ステップＳ４）。
【００８０】
その後、高精細画像生成装置１は、混合手段１１によって、アップコンバージョン画像Ｘｕと、高域精細成分生成手段９で生成された高域精細成分Ｘｅｘｔとを混合して、高精細画像を出力する（ステップＳ５）。
【００８１】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、高精細画像生成装置１として説明したが、当該装置の各構成を、コンピュータを機能させる各手段として捉えることで、高精細画像生成プログラムと見なすことができる。この場合、当該装置１と同様の効果を得ることができる。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施形態に係る高精細画像生成装置のブロック図である。
【図２】図１に示した高精細画像生成装置の動作を示したフローチャートである。
【図３】空間周波数サブバンド領域群の例を示した図である。
【図４】方向性２次元ＬＰＦの生成例について示した図である。
【図５】フィルタ生成手段および高域精細成分生成手段で得られる画像（成分）の生成例について示した図である。
【符号の説明】
【００８３】
１      高精細画像生成装置
３      サンプリングレート変換手段
５      ウェーブレット変換手段
７      フィルタ生成手段
９      高域精細成分生成手段
１１    混合手段
【図１】
2008236626.tif 000013
【図２】
2008236626.tif 000014
【図４】
2008236626.tif 000015
【図３】
2008236626.tif 000016
【図５】
2008236626.tif 000017