(57)【要約】【課題】    反復演算を行わずしてエッジ情報を正しく保存することを特徴とする、高品質な画像拡大方法及び画像拡大装置を提供する。  【解決手段】    画像入力部１０は、低解像度画像ファイルの入力を受け付ける。エッジ検出部１２は、低解像度画像におけるエッジを検出する。連続微分可能回数推定部１４は、（連続微分可能回数に対応するとされる）リプシッツ指数の計算を行う。補間関数選択部１６は、連続微分可能回数推定部１４で計算されたリプシッツ指数に基づいて補間関数（フルーエンシ関数）の選択を行う。補間処理実行部１８は、選択された補間関数に基づいて補間処理を行う。画像出力部２０は、補間により生成された拡大画像のファイルを出力する。  【選択図】    図７
2005326977.tif 000002
【特許請求の範囲】
【請求項１】
原画像データの画素値から補間画素の輝度値を設定することにより拡大画像の画像データを取得する画像拡大装置であって、
前記原画像データからエッジを検出する検出手段と、
前記検出手段で検出されたエッジ位置の連続微分可能回数を推定する推定手段と、
前記推定手段で推定された連続微分可能回数に基づいて、補間関数を選択する選択手段と、
前記選択手段で選択された補間関数に基づいて、前記エッジ近辺の画素補間処理を行う補間手段と、を含む画像拡大装置。
【請求項２】
前記推定手段は、
前記エッジ位置のリプシッツ指数に基づいて連続微分可能回数を推定する請求項１の画像拡大装置。
【請求項３】
原画像データの画素値から補間画素の輝度値を設定することにより拡大画像の画像データを取得する画像拡大装置であって、
前記原画像データからエッジを検出する検出手段と、
前記検出手段で検出されたエッジ位置のリプシッツ指数を計算する演算手段と、
前記演算手段で計算されたリプシッツ指数に基づいて、補間関数を選択する選択手段と、
前記選択手段で選択された補間関数に基づいて、前記エッジ近辺の画素補間処理を行う補間手段と、を含む画像拡大装置。
【請求項４】
前記補間関数は、
フルーエンシ関数である請求項１ないし３の何れかに記載の画像拡大装置。
【請求項５】
前記選択手段は、前記エッジの法線角度が０度、４５度、９０度、１３５度のいずれに最も近いかに基づいて補間関数を選択する請求項１ないし４の画像拡大装置。
【請求項６】
前記選択手段は、
前記補間画素が原画素によって左右方向に挟まれており、且つ、これら原画素の何れかにエッジが存在する場合には、当該エッジの法線角度が０度に最も近いときに、当該原画素における連続微分可能回数またはリプシッツ指数に基づいて補間関数を選択し、
前記補間画素が原画素によって上下方向に挟まれており、且つ、これら原画素の何れかにエッジが存在する場合には、当該エッジの法線角度が９０度に最も近いときに、当該原画素における連続微分可能回数またはリプシッツ指数に基づいて補間関数を選択し、
前記補間画素が原画素によって斜め４５度方向に挟まれており、且つ、これら原画素の何れかにエッジが存在する場合には、当該エッジの法線角度が１３５度に最も近いときに、当該原画素における連続微分可能回数またはリプシッツ指数に基づいて補間関数を選択し、
前記補間画素が原画素によって斜め１３５度方向に挟まれており、且つ、これら原画素の何れかにエッジが存在する場合には、当該エッジの法線角度が４５度に最も近いときに、当該原画素における連続微分可能回数またはリプシッツ指数に基づいて補間関数を選択する、請求項５に記載の画像拡大装置。
【請求項７】
前記補間手段は、
前記補間画素が原画素によって挟まれる方向に応じて、補間処理時に参照する画素を選択する、請求項１ないし６の何れかに記載の画像拡大装置。
【請求項８】
前記補間手段は、
前記補間画素が原画素によって左右方向に挟まれている場合には、当該左右の原画素を参照して補間処理を行い、
前記補間画素が原画素によって上下方向に挟まれている場合には、当該上下の原画素を参照して補間処理を行い、
前記補間画素が原画素によって斜め方向に挟まれている場合には、当該斜め方向の原画素を参照して補間処理を行う、請求項７に記載の画像拡大装置。
【請求項９】
デジタル画像データからエッジを検出するエッジ検出機能と、
前記エッジ検出機能において検出されたエッジ位置の連続微分可能回数を推定する推定機能と、
前記推定機能において推定された連続微分可能回数に基づいて、補間関数を選択する選択機能と、
前記選択機能において選択された補間関数に基づいて、前記エッジ近辺の画素補間処理を行う補間機能と、をコンピュータに発揮させるプログラム。
【請求項１０】
前記推定機能においては、前記エッジ位置のリプシッツ指数に基づいて連続微分可能回数を推定することを特徴とした請求項９のプログラム。
【請求項１１】
デジタル画像データからエッジを検出する検出機能と、
前記エッジ検出機能において検出されたエッジ位置のリプシッツ指数を計算する演算機能と、
前記演算機能において計算されたリプシッツ指数に基づいて、補間関数を選択する選択機能と、
前記選択機能において選択された補間関数に基づいて、前記エッジ近辺の画素補間処理を行う補間機能と、をコンピュータに発揮させるプログラム。
【請求項１２】
前記補間関数は、フルーエンシ関数である請求項９ないし１１の何れかに記載のプログラム。
【請求項１３】
前記選択機能は、前記エッジの法線角度が０度、４５度、９０度、１３５度のいずれに最も近いかに基づいて補間関数を選択する請求項９ないし１２の何れかに記載のプログラム。
【請求項１４】
前記選択機能は、
前記補間画素が原画素によって左右方向に挟まれており、且つ、これら原画素の何れかにエッジが存在する場合には、当該エッジの法線角度が０度に最も近いときに、当該原画素における連続微分可能回数またはリプシッツ指数に基づいて補間関数を選択し、
前記補間画素が原画素によって上下方向に挟まれており、且つ、これら原画素の何れかにエッジが存在する場合には、当該エッジの法線角度が９０度に最も近いときに、当該原画素における連続微分可能回数またはリプシッツ指数に基づいて補間関数を選択し、
前記補間画素が原画素によって斜め４５度方向に挟まれており、且つ、これら原画素の何れかにエッジが存在する場合には、当該エッジの法線角度が１３５度に最も近いときに、当該原画素における連続微分可能回数またはリプシッツ指数に基づいて補間関数を選択し、
前記補間画素が原画素によって斜め１３５度方向に挟まれており、且つ、これら原画素の何れかにエッジが存在する場合には、当該エッジの法線角度が４５度に最も近いときに、当該原画素における連続微分可能回数またはリプシッツ指数に基づいて補間関数を選択する、請求項１３に記載のプログラム。
【請求項１５】
前記補間機能は、
前記補間画素が原画素によって挟まれる方向に応じて、補間処理時に参照する画素を選択する、請求項９ないし１４の何れかに記載のプログラム。
【請求項１６】
前記補間機能は、
前記補間画素が原画素によって左右方向に挟まれている場合には、当該左右の原画素を参照して補間処理を行い、
前記補間画素が原画素によって上下方向に挟まれている場合には、当該上下の原画素を参照して補間処理を行い、
前記補間画素が原画素によって斜め方向に挟まれている場合には、当該斜め方向の原画素を参照して補間処理を行う、請求項１５に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像拡大装置及びプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話等で撮影した原画像を綺麗に印刷、表示したいという要望が高まっており、そのためには高品質な画像拡大技術が必要とされている。
【０００３】
画像拡大とは画素と画素の間に新たな画素を補間する処理のことを言い、双線型、双３次法による補間関数を用いたものが代表的だった。しかし、このような補間関数を用いた方法では、拡大画像に輪郭のぼけが生じる（エッジ情報が正しく保存されない）という問題があった。
【０００４】
そこで非特許文献１では、ウェーブレット信号復元理論を利用した画像拡大手法が提案されている。かかる手法は、原画像の多重スケール輝度こう配より原画像の輪郭上でのリプリッツ指数を推定し、その結果をもとに、未知の高解像度画像の多重スケール輝度こう配に対して拘束条件を与えることで高解像度画像を推定するものである。
【０００５】
しかしながら、非特許文献１の画像拡大手法においては、エッジ情報を正しく保存するためには、ウェーブレット変換、逆変換を含む膨大な計算量の反復演算を必要としていた。
【０００６】
そこで、２次元画像を構成する標本点からの距離が等しい点の関数値を等しくとるように生成した２次元標本化関数（フルーエンシ関数）を用いて濃度値補間を行うことにより拡大画像を生成する技術が特許文献１に開示されている。
【０００７】
特許文献１に記載の技術によれば、少ないデータ処理量で拡大処理を行った際にも高品位な再構成画像を得ることができる。
【非特許文献１】中静ほか、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌、ｖｏｌ.  Ｊ−８１−ＤＩＩ、ｐｐ.２２４９−２２５８、Ｏｃｔ  １９９８．
【特許文献１】特開２０００−８７５８６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
フルーエンシ関数系は、次数ｍ−１のＢ−スプライン関数系から定義されており、階段状（ｍ＝１）から、フーリエ関数（ｍ＝∞）までの滑らかさの異なる関数の集まりである。画像の特徴に応じて最適なフルーエンシ関数を選択することにより、高品質な画像拡大が可能になると考えられる。
【０００９】
しかしながら、特許文献１に記載の技術においては、画像の特徴に応じて濃度値補間に使用するフルーエンシ関数の次数を選択するようなことは行っていない。また、上記のような場合におけるフルーエンシ関数の選択方法について明確に記した先行技術は、本願出願時点において存在しない。
【００１０】
そこで本発明は、画像の特徴に応じて濃度値補間に使用するフルーエンシ関数を選択することを特徴とした、画像拡大装置を提供することを目的としたものである。
【課題を解決するための手段】
【００１１】
本発明のある態様は、画像拡大装置に関する。この画像拡大装置は、画像を表現するデジタル画像データを入力する入力手段と、前記デジタル画像データからエッジを検出する検出手段と、前記検出手段で検出されたエッジの連続微分可能回数を推定する推定手段と、前記推定手段で推定された連続微分可能回数に基づいて、補間関数を選択する選択手段と、前記選択手段で選択された補間関数に基づいて、前記エッジ近辺の画素補間処理を行う補間手段とを含む。
【００１２】
本発明の別の態様も、画像拡大装置に関する。この画像拡大装置は、画像を表現するデジタル画像データを入力する入力手段と、前記デジタル画像データからエッジを検出する検出手段と、前記検出手段で検出されたエッジのリプシッツ指数を計算する演算手段と、前記演算手段で計算されたリプシッツ指数に基づいて、補間関数を選択する選択手段と、前記選択手段で選択された補間関数に基づいて前記エッジ近辺の画素補間処理を行う補間手段とを含む。
【００１３】
本発明の別の態様は、プログラムに関する。このプログラムは、デジタル画像データからエッジを検出するエッジ検出機能と、前記エッジ検出機能において検出されたエッジの連続微分可能回数を推定する推定機能と、前記推定機能において推定された連続微分可能回数に基づいて、補間関数を選択する選択機能と、前記選択機能において選択された補間関数に基づいて、前記エッジ近辺の画素補間処理を行う補間機能とをコンピュータに発揮させる。
【００１４】
本発明の別の態様もまた、プログラムに関する。このプログラムは、デジタル画像データからエッジを検出する検出機能と、前記エッジ検出機能において検出されたエッジのリプシッツ指数を計算する演算機能と、前記演算機能において計算されたリプシッツ指数に基づいて補間関数を選択する選択機能と、前記選択機能において選択された補間関数に基づいて前記エッジ近辺の画素補間処理を行う補間機能とをコンピュータに発揮させる。
【発明の効果】
【００１５】
本発明の画像拡大装置は、ウェーブレット変換を利用して推定された画像の局所的な連続微分可能回数を用いて補間に使用する関数を決定し、適応的に補間処理を行うので、（１）少ないデータ処理量での画像拡大が可能、（２）画像の特徴に応じた画像拡大が可能という効果を奏する。
【発明を実施するための最良の形態】
【００１６】
図１を参照して、画像の縦横の画素数をそれぞれ２倍にする場合の画像拡大について説明する。図１の黒丸は、拡大する前の画像の画素である。以後、拡大する前の画像のことを「原画像」と呼び、拡大する前の画像の画素のことを「原画素」と呼ぶことにする。図１の白丸は、拡大処理、即ち、前記の原画素と原画素の間を補間することにより得られる画素である。以後、これを「補間画素」と呼ぶことにする。
【００１７】
ここで、各画素の位置を表す座標系は、拡大後の画像を基準にした座標系である。すなわち、原画素はx座標、y座標は、共に偶数であるとする。
【００１８】
図２は、画像拡大手順の一例を示したものである。
【００１９】
ステップＳ０２では、エッジ座標の検出処理が行われる。エッジ座標の検出方法としては色々な方法があるが、例えば、各原画素におけるウェーブレット変換係数を計算し、その変換係数が所定値以上である画素をエッジとみなすという方法がある。ステップＳ０４では、Ｓ０２で検出された原画像のエッジ画素における連続微分可能回数の推定を行う。例えば、エッジ画素におけるリプシッツ指数に基づいて、連続微分可能回数を推定する。ステップＳ０６では、Ｓ０４で推定された連続微分可能回数に対応する補間関数が選択される。例えば、フルーエンシ関数系を補間関数としている。ステップＳ０８では、Ｓ０６で決定された補間関数に基づき、補間画素の輝度値を生成する処理が行われる。
【００２０】
以下に、各ステップの処理内容の詳細について説明する。
【００２１】
（ステップＳ０２：エッジ座標検出処理）
ステップＳ０２のエッジ座標検出処理では、各原画素のウェーブレット変換係数を計算し、ウェーブレット変換係数が所定値以上であればその位置にエッジがあるとみなす。その原理について、以下に述べる。
【００２２】
非特許文献１によれば、１次元の離散２進ウェーブレット変換は、信号ｆ（ｘ）とウェーブレット基底関数ψｊ（ｘ）の畳み込み演算により、数式１のように定義される。
【００２３】
【数１】
2005326977.tif 000003
【００２４】
ここで、ウェーブレット基底関数は、基本ウェーブレット関数ψ（ｘ）より、数式２のように導出される。ここで、ｊは正の整数であり、ウェーブレット基底関数のスケールを示す。
【００２５】
【数２】
2005326977.tif 000004
【００２６】
信号ｆ（ｘ）は、ウェーブレット変換（Ｗｊ（ｘ））ｊ∈Ｚ  により表現される。実際の数値計算では、無限に小さいウェーブレット変換を計算することは不可能なので、スケーリング関数φ（ｘ）を導入し、最小のスケールを１とする。
【００２７】
２のｊ乗のスケーリングを受けたスケーリング関数を、数式３のように、スケーリング関数により平滑化された信号ｆ（ｘ）を数式４のように、それぞれ定義する。
【００２８】
【数３】
2005326977.tif 000005
【００２９】
【数４】
2005326977.tif 000006
【００３０】
スケール２ｊの平滑化信号Ｓｊ（ｆ（ｘ））は、ウェーブレット変換係数Ｗｊ＋１（ｘ）と、スケール２ｊ＋１の平滑化信号Ｓｊ＋１（ｘ）の２つの信号により表現される。
【００３１】
ここで、Ｓｊ（ｆ（ｘ））は、ウェーブレット基底関数に対して合成ウェーブレット基底χ（ｘ）を定義することで、ウェーブレット変換と平滑化信号から再構成できる。合成ウェーブレット基底と、ウェーブレット基底、スケーリング関数には、数式５で示される関係がある。
【００３２】
【数５】
2005326977.tif 000007
【００３３】
ここで、Φ（ω）、Ψ（ω）、Ｘ（ω）は、それぞれφ（ｘ）、ψ（ｘ）、χ（ｘ）のフーリエ変換を示す。
【００３４】
平滑化信号Ｓｊ（ｆ（ｘ））は、数式６のように再構成される。
【００３５】
【数６】
2005326977.tif 000008
【００３６】
ここで、φ＊ｊ＋１（ｘ）は、φｊ＋１（−ｘ）を示す。
【００３７】
２次元信号に対する２次元２進ウェーブレット変換では、平滑化信号Ｓｊ（ｆ（ｘ，ｙ））を、数式７のように定義する。
【００３８】
【数７】
2005326977.tif 000009
【００３９】
この平滑化信号は、原画像に対して水平方向、垂直方向に１次元のスケーリング関数を畳み込んで得られた信号であり、２次元のスケーリング関数は、数式８のように定義される。
【００４０】
【数８】
2005326977.tif 000010
【００４１】
２次元ウェーブレット変換は、１次元のウェーブレット基底関数を水平方向に畳み込むことで得られる成分（数式９）と、垂直方向に畳み込むことで得られる成分（数式１０）の２つの成分として計算できる。
【００４２】
【数９】
2005326977.tif 000011
【００４３】
【数１０】
2005326977.tif 000012
【００４４】
ここで、２つのウェーブレット基底関数は、それぞれ数式１１、１２のようになる。
【００４５】
【数１１】
2005326977.tif 000013
【００４６】
【数１２】
2005326977.tif 000014
【００４７】
ウェーブレット基底関数が、原点に対して対称な平滑化関数の一階微分に一致する場合（数式１３、１４）、水平、垂直方向のウェーブレット変換の２乗和の平方根（ウェーブレット変換係数、数式１５）は、画像のエッジにおいて極大値をとることが知られている。
【００４８】
【数１３】
2005326977.tif 000015
【００４９】
【数１４】
2005326977.tif 000016
【００５０】
【数１５】
2005326977.tif 000017
【００５１】
また、検出したエッジの方向は、数式１６のように表現することができる。
【００５２】
【数１６】
2005326977.tif 000018
【００５３】
（ステップＳ０４：連続微分可能回数の推定）
ステップＳ０４では、Ｓ０２で検出された原画像のエッジ画素における連続微分可能回数の推定が行われる。ここでは、エッジ画素におけるリプシッツ指数を計算することにより、連続微分可能回数を推定する。
【００５４】
文献「Ｍａｌｌｅｔ  ｅｔ．ａｌ．，“Ｓｉｎｇｕｌａｒｉｔｙ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｐｒｏｃｅｓｓｉｎｇ  ｗｉｔｈ  ｗａｖｅｌｅｔｓ，”  ＩＥＥＥ  Ｔｒａｎｓ．  Ｉｎｆ．  Ｔｈｅｏｒｙ，  ｖｏｌ．３８，  ｐｐ．６１７−６４３，  Ｍａｒ  １９９２」によれば、多重スケール輝度こう配平面Ｍ（ｆ（ｘ，ｙ））の各値は、スケールパラメータｊが十分小さいとき、あるＫ＞０が存在し、数式１７のようになる。
【００５５】
【数１７】
2005326977.tif 000019
【００５６】
また、２次元ウェーブレット変換Ｗ１（ｆ（ｘ，ｙ））の各値は、スケールパラメータｊが十分小さいとき、あるＫ１＞０が存在し、数式１８のようになる。また、２次元ウェーブレット変換Ｗ２（ｆ（ｘ，ｙ））の各値は、スケールパラメータｊが十分小さいとき、あるＫ２＞０が存在し、数式１９のようになる。
【００５７】
【数１８】
2005326977.tif 000020
【００５８】
【数１９】
2005326977.tif 000021
【００５９】
ここで、αはリプシッツ指数と呼ばれ、ｆはαを越えない最大の整数と等しい回数だけ連続微分可能となる。したがって、各エッジ画素でのリプシッツ指数を計算すれば、連続微分可能回数を推定することができる。数式１７より、十分に小さいスケールｊ、ｊ＋１における（２次元に関する）リプシッツ指数は数式２０のように推定される。
【００６０】
【数２０】
2005326977.tif 000022
【００６１】
また、数式１８、数式１９より１次元(水平、垂直方向)に関するリプシッツ指数は、それぞれ数式２１、２２のように推定される。
【００６２】
【数２１】
2005326977.tif 000023
【００６３】
【数２２】
2005326977.tif 000024
【００６４】
一般的には、輝度値の変化が滑らかであるほど、リプシッツ指数が大きくなる。図３はＬｅｎａ画像の各画素（ｘ，ｙ）に対して推定されたリプシッツ指数を表したものである。輝度値の変化が滑らかな画素（２４、１０４）ではリプシッツ指数が４．７と大きく、エッジ画素（１３２、１３５）では０．６と小さくなっている。また、エッジの方向が定まらない画素（９４、１２４）では、リプシッツ指数が負（−５．０）となり、ノイズとして判別される。
【００６５】
（ステップＳ０６：補間関数の選択）
ステップＳ０６では、Ｓ０４で推定された連続微分可能回数に基づき、補間関数を選択する。具体的には、図４に示すように、リプリッツ指数αに基づいて、補間に用いるフルーエンシ関数が選択される。
【００６６】
フルーエンシ理論は、Ｄ／Ａ変換を行うための手段の一つとして知られている。古来、Ｄ／Ａ変換の代表的な方法としては、シャノンにより提案された標本化定理に基づき、デジタル信号をアナログの帯域に制限されたフーリエ信号空間に移すものが主流であった。しかし、無限回微分可能かつ連続な信号の集まりであるフーリエ信号空間は、不連続な点、微分不可能な点を含む信号を表現するのには適さないという問題があった。そこで、フルーエンシ理論は、このような不連続、微分不可能な点を含むデジタル信号のＤ／Ａ変換を高精度に行うために確立されたものである。
【００６７】
フルーエンシ理論では、ｍ−１次のスプライン関数によって構成される信号空間ｍＳ（以下、フルーエンシ信号空間と呼ぶ）を用意する。文献「鎌田ほか、「一般次数のスプライン関数からなる信号空間における標本化基底について」、信学論（Ａ,Ｖｏｌ．Ｊ７１−Ａ）、昭和６３年」によれば、フルーエンシ信号空間ｍＳにおける標本化基底は、数式２３のように表現される。
【００６８】
【数２３】
2005326977.tif 000025
【００６９】
但し、
【００７０】
【数２４】
2005326977.tif 000026
【００７１】
【数２５】
2005326977.tif 000027
【００７２】
【数２６】
2005326977.tif 000028
【００７３】
【数２７】
2005326977.tif 000029
【００７４】
である。
【００７５】
以下では、数式２８で表現される関数系をフルーエンシ信号空間ｍＳにおけるフルーエンシ標本化基底と呼ぶ。
【００７６】
【数２８】
2005326977.tif 000030
【００７７】
また、数式２８における各関数（数式２９）をフルーエンシ関数と呼ぶことにする。
【００７８】
【数２９】
2005326977.tif 000031
【００７９】
フルーエンシ標本化基底を用いて信号を近似する場合、対象となる信号の性質に応じて、次数パラメータｍを設定する。ここで、ｍは１〜∞より選択することができる。ここで、ｍ＝１〜３のフルーエンシ標本化基底（数式３０）は、数式３１から３３のように表される。
【００８０】
【数３０】
2005326977.tif 000032
【００８１】
【数３１】
2005326977.tif 000033
【００８２】
【数３２】
2005326977.tif 000034
【００８３】
【数３３】
2005326977.tif 000035
【００８４】
なお、文献「寅市ほか、「スプライン信号空間と帯域制限信号空間との関係について」、電子情報通信学会論文誌（Ｖｏｌ．７３）、Ｓｅｐ．１９９０」においては、ｍ＝∞の場合、フルーエンシ関数はｓｉｎｃ関数に一致することが示されている。
【００８５】
以上により、フルーエンシ理論では、フルーエンシ関数は、階段状関数（ｍ＝１）から、ｓｉｎｃ関数（ｍ＝∞）までの滑らかさの異なる関数の集まりということができる。
【００８６】
従来の信号処理は、シャノンの標本化定理に従い、信号の大域的な周波数に基づき、帯域信号制限空間Ｈを設定し、ｓｉｎｃ関数の近似関数を標本化基底として行われてきた。フルーエンシ理論の観点から言えば、∞Ｓの信号空間のみを用いることになる。
【００８７】
しかし、信号は局所的に微分不可能又は連続微分可能回数が有限な点を含む場合がある。無限回数連続微分可能であるｓｉｎｃ関数は、そのような信号を処理するには不向きである。
【００８８】
これに対し、フルーエンシ理論では、対象信号の局所的な連続微分可能回数に応じてパラメータｍを設定し、信号の表現に適する信号空間ｍＳを選ぶことで、より効率的な処理が可能になる。
【００８９】
再び、図４を参照して、リプリッツ指数αに基づいて、補間に使用するフルーエンシ関数を選択する手順について説明する。
【００９０】
本実施例では、図４で示される４種類の関数から補間関数を選択する。補間関数（ａ）、（ｂ）、（ｃ）、（ｄ）の次数ｍ−１はそれぞれ、０、１、２、３であり、連続微分可能回数は０、０、１、２である。リプシッツ指数αは、十分小さなスケールｊ、ｊ＋１において数式２０を用いて推定したものとする。
【００９１】
補間画素に隣接する両隣の原画素が共に非エッジ座標なら、図４の関数（ｄ）、即ちｍ＝４のフルーエンシ関数を選択する。或いは、単純なバイリニア補間や、バイキュービック補間を行っても良い。
【００９２】
補間画素に隣接する両隣の原画素のうち、いずれか一方がエッジ画素であれば、エッジ画素である方の原画素のリプシッツ指数αに基づいて、図４の関数（ａ）、（ｂ）、（ｃ）の中から１つ（ｍ＝１、ｍ＝２、ｍ＝３のフルーエンシ関数の中から１つ）を選択する。ここで、関数（ａ）、（ｂ）は共に連続微分可能回数が０であるため、そのままでは関数選択を行うことができない。そこで選択基準パラメータｋ１（０＜ｋ１＜１）を用意し、αがｋ以下であるかどうかで（ａ）、（ｂ）のどちらを選択するかを決定する。即ち、０＜α≦ｋ１であればｍ＝１のフルーエンシ関数を補間関数として選択し、ｋ１＜α＜１であればｍ＝２のフルーエンシ関数を補間関数として選択する。また、第２の選択基準パラメータｋ２を用意し、１≦α＜ｋ２であればｍ＝３のフルーエンシ関数を補間関数として選択し、ｋ２≦αであればｍ＝４のフルーエンシ関数を補間関数として選択しても良い。また、α＜０の場合も、ｍ＝４のフルーエンシ関数が補間関数として選択される。
【００９３】
α＜０の場合、対応するエッジにおける輝度情報はノイズであることが知られている。ｋ２≦αの場合、当該画素近辺の輝度値の変化は滑らかである（エッジは存在しない）とみなされる。パラメータｋ１、ｋ２は、一例として、ｋ１＝０．５、ｋ２＝１．７５程度である。これらのパラメータは、例えば、画像全体のエッジ座標におけるリプシッツ指数の平均値に基づいて選択される。
【００９４】
また、補間画素に隣接する両隣の原画素のうち、両隣がエッジ画素であれば、両隣の原画素のリプシッツ指数αの平均値に基づいて、フルーエンシ関数を選択する。或いは、両隣の原画素のうちのいずれかの原画素のリプシッツ指数αに基づいて、フルーエンシ関数を選択しても良い。例えば、大きい方のリプシッツ指数αに基づいて、フルーエンシ関数を選択しても良い。
【００９５】
（ステップＳ０８：補間処理の実行）
ステップＳ０８では、Ｓ０６で選択されたフルーエンシ関数に基づき、補間処理が行われる。
【００９６】
まず最初に、補間に使用する原画像の点の個数を決定する。使用される個数は各フルーエンシ関数の台の大きさに依存する。各フルーエンシ関数は図５のように異なる大きさの台を持っている。台の大きさとは、フルーエンシ関数を所定の標本間隔でサンプリングしたときに、関数値が非零となるようなサンプリング点の個数のことである。また、この台の大きさは補間処理の際に参照される原画像の周辺画素の数であるともいえる。
【００９７】
例えば、ｍ＝１の場合、図６（ａ）を参照して、ｘ＝０におけるサンプル点の関数値ｆ（ｘ）は１であるが、それ以外のサンプル点（白丸の点）では関数値ｆ（ｘ）は０である。ゆえに、関数値が非零となるようなサンプリング点の個数は１であり、台の数は１である。この場合、補間画素Ｑ(x)の輝度値I(x)は、補間画素Ｑ(x)の左側にある原画素Ｐ（x-1)の輝度値I(x-1)か、補間画素Ｑ(x)の右側にある原画素Ｐ（x+1)の輝度値I(x+1)と同じ輝度値としている。
【００９８】
ｍ＝２の場合、図６（ｂ）を参照して、ｘ＝±1におけるサンプル点の関数値ｆ（ｘ）は0.5であるが、それ以外のサンプル点（白丸の点）では関数値ｆ（ｘ）は０である。ゆえに、関数値が非零となるようなサンプリング点の個数は２であり、台の数は２である。この場合、補間画素Ｑ(x)の輝度値I(x)は、補間画素Ｑ(x)に隣接する２つの原画素の輝度値I(x-1)、I(x+1)に基づいて決定される。即ち、数式３４のように表される。
【００９９】
【数３４】
2005326977.tif 000036
【０１００】
ｍ＝３の場合、図６（ｃ）を参照して、ｘ＝±7、±5、±3、±1におけるサンプル点の関数値ｆ（ｘ）は非零であるが、それ以外のサンプル点（白丸の点）では関数値ｆ（ｘ）は０である。ゆえに、台の数は８である。この場合、補間画素Ｑ(x) の輝度値I(x)は、隣接する８つの原画素の輝度値I(x-7)、I(x-5)、I(x-3)、I(x-1)、I(x+1)、I(x+3)、I(x+5)、I(x+7) を利用して決定される。即ち、数式３５、３６のように表される。
【０１０１】
【数３５】
2005326977.tif 000037
【０１０２】
【数３６】
2005326977.tif 000038
【０１０３】
図７は、上記で説明した画像拡大を行う画像拡大装置の構成を示した図である。画像拡大装置１００は、画像入力部１０、エッジ検出部１２、連続微分可能回数推定部１４、補間関数選択部１６、補間処理実行部１８、画像出力部２０からなる。
【０１０４】
画像入力部１０は、低解像度画像ファイルの入力を受け付ける。エッジ検出部１２は、低解像度画像におけるエッジを検出する。連続微分可能回数推定部１４は、原画素について上述の如くリプシッツ指数の計算を行う。補間関数選択部１６は、連続微分可能回数推定部１４で計算されたリプシッツ指数に基づいて補間関数（フルーエンシ関数）の選択を行う。補間処理実行部１８は、選択された補間関数に基づいて補間処理を行う。画像出力部２０は、補間により生成された拡大画像のファイルを出力する。
【０１０５】
上記で説明した画像拡大処理は、図８に示す如く、パーソナルコンピュータ等のコンピュータ装置２００のＣＰＵ２１が、メモリ２４にロードされたプログラムを実行することにより行うものであっても良い。或いは、コンピュータ装置２００ののＣＰＵ２１が、ＣＤ−ＲＯＭドライブ２３に装着されたＣＤ−ＲＯＭ６００に記憶されプログラムを実行することにより行われるものであっても良い。
【０１０６】
このプログラムは、インターネットからＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）２５経由で取得した低解像度画像もしくは、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２２に記憶されている低解像度画像からエッジ座標の検出処理を行うステップＳ０２と、Ｓ０２で検出された原画像のエッジ画素における連続微分可能回数の推定を行うステップＳ０４と、Ｓ０４で推定された連続微分可能回数に対応する補間関数を選択するステップＳ０６と、Ｓ０６で決定された補間関数に基づき、補間画素の輝度値を生成するステップＳ０８とを含む。ステップＳ０８で生成された拡大画像は、ＨＤＤ２２に記録されたり、Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ：インタフェース）２４経由でコンピュータ装置２００に附属するディスプレイに表示されたりする。
【０１０７】
上記で説明した画像拡大処理は、図９のカメラ３００のＣＰＵ３１が、内部メモリ３２にロードされたプログラムにより実行されるものであっても良い。
【０１０８】
このプログラムは、撮像部３５により撮影された低解像度画像のエッジ座標の検出処理を行うステップＳ０２と、Ｓ０２で検出された原画像のエッジ画素における連続微分可能回数の推定を行うステップＳ０４と、Ｓ０４で推定された連続微分可能回数に対応する補間関数を選択するステップＳ０６と、Ｓ０６で決定された補間関数に基づき、補間画素の輝度値を生成するステップＳ０８とを含む。ステップＳ０８で生成された拡大画像は、外部メモリドライブ３３に装着される半導体メモリ７００に記録されたり、Ｉ／Ｆ３６経由でコンピュータ装置に転送されたりする。
【０１０９】
（実施例１）
図１０に示す、Ｌｅｎａ画像を用い、本実施の形態による画像拡大の実験を行った。これは、縦横２５６画素で構成される画像であるが、ここでは、瞳近辺にある縦横３２画素（図１１参照）を原画像として、縦横６３画素の画像（図１２）を生成した例について説明する。
【０１１０】
図１３は、画像拡大の全体的な流れを示すフローチャートである。
【０１１１】
まず水平方向（図１１のｘ方向）の拡大処理（ステップＳ２０）を行う。ステップＳ２０では、補間画素の左右にある原画素の輝度値に基づいて、補間画素の輝度値を決める。このような、水平方向の拡大処理を行った結果、縦３２画素、横６３画素の画像が一旦生成される。
【０１１２】
次に、垂直方向（図１１のｙ方向）の拡大処理（ステップＳ３０）を行う。その結果、縦横６３画素の画像が生成される。ステップＳ３０では、補間画素の上下にある原画素の輝度値に基づいて、補間画素の輝度値を決める。
【０１１３】
図１４は、原画素Ｐ（原画像の画素）と補間画素の位置関係を示した図である。黒丸で示した点は原画素を示すものであり、白丸で示した点はステップＳ２０で生成される補間画素であり、斜線塗りの丸で示した点はステップＳ３０で生成される補間画素である。このような原画素と補間画素とからなる拡大画像の輝度値配列をf(ｘ，ｙ)（但し、ｘ，ｙは整数であって、０≦ｘ≦６２、０≦ｙ≦６２）とする。この配列f(ｘ，ｙ)では、原画素のｘ座標値、ｙ座標値は共に偶数となっている。補間画素のｘ座標値、ｙ座標値は、いずれか一方が奇数であるか、両方が奇数となっている。
【０１１４】
図１５は、水平方向の拡大処理（ステップＳ２０）の詳細な手順を示すフローチャートである。
【０１１５】
ステップＳ２０１では、ｊに０が代入される。ステップＳ２０２では、原画素Ｐ（0,2j)における水平方向のウェーブレット変換係数Ｗ１(0,2j)が計算される。
【０１１６】
ステップＳ２０３では、ｉに１が代入される。
【０１１７】
ステップＳ２０４では、原画素Ｐ（2i,2j)における水平方向のウェーブレット変換係数Ｗ１(2i,2j)が計算される。i=1、j=0の場合、原画素Ｐ（2,0)における水平方向のウェーブレット変換係数Ｗ１(2,0)が計算される。原画素Ｐ（2,0)とは、x=2、y=0の座標値を有する原画素のことである。ここで、Ｗ１(ｘ，ｙ)は、数式９におけるｊ（スケーリングパラメータ）を１としたものであり、以下のようにして計算できる。
【０１１８】
まず、数式１１のウェーブレット基底関数ψｊ（ｙ）が、原点に対して対称な平滑化関数（数式３７）の１次微分である数式３８に一致するとする。
【０１１９】
【数３７】
2005326977.tif 000039
【０１２０】
【数３８】
2005326977.tif 000040
【０１２１】
また、数式１１のφj-1(x)は、数式３９であるとする。
【０１２２】
【数３９】
2005326977.tif 000041
【０１２３】
このとき、数式４０を数式９に代入すれば、Ｗ１(ｘ，ｙ)を計算することができる。
【０１２４】
【数４０】
2005326977.tif 000042
【０１２５】
このようにして計算されたＷ１(2,0)が所定値以上（ステップＳ２０５のｙｅｓ）であれば、原画素Ｐ（2,0)の位置には垂直方向のエッジがあるものとみなす。
【０１２６】
ステップＳ２０５がｙｅｓの場合、原画素Ｐ（2,0)におけるリプシッツ指数α(2,0)を計算する（ステップＳ２０６）。このα(2,0)は、数式２１にｊ＝０を代入して計算する。続くステップＳ２０７では、P(2,0)の左側に位置する補間画素Ｑ(1,0)の輝度値を生成するための補間フルーエンシ関数m(1,0)が選択される。この補間フルーエンシ関数の選択手順については、図１６を参照して、後で詳しく述べる。
【０１２７】
また、ステップＳ２０５がｎｏの場合、ステップＳ２０６は省略され、ステップＳ２０７へ進む。
【０１２８】
ステップＳ２０８では、水平方向の補間処理が行われる。即ち、ステップＳ２０７で選択された補間フルーエンシ関数m(1,0)に基づいて、補間画素Ｑ(1,0)の輝度値が生成される（ステップＳ２０８）。補間画素Ｑ(1,0)とは、ｘ＝１、ｙ＝０の座標値を有する補間画素のことである。
【０１２９】
ステップＳ２１１では、iに１が加算される。ステップＳ２１２では、iが３２未満かどうかが判断される。３２以上であれば（ステップＳ２１２のｙｅｓ）ステップＳ２１３へ進む。
【０１３０】
ステップＳ２１２でｎｏだった場合、再びＳ２０４へ戻り、前記原画素Ｐ（2,0)の右側に位置する原画素Ｐ（4,0)におけるウェーブレット変換係数等が計算され、補間画素Ｑ(3,0)の輝度値が補間生成される。
【０１３１】
以下、同様にして、１行目の補間画素Ｑ(5,0)、…、Ｑ(61,0)の生成が行われる。１行目の補間画素の生成が終了したら（ステップＳ２１２：Ｙｅｓ）、ｊに１が加算された後（ステップＳ２１３）、ステップＳ２１４からステップＳ２０２へ戻り、３行目の補間画素Ｑ(1,2)、…、Ｑ(61,2) の生成が行われる（２行目の補間画素Ｑ(1,1)、…、Ｑ(61,1)の生成は、後述のステップＳ３０で行う）。同様にして、このような補間処理が３２行目まで（ステップＳ２１４：Ｙｅｓ）行われる。
【０１３２】
図１６は、ステップＳ２０７の補間フルーエンシ関数の選択処理の手順を示した図である。
【０１３３】
ステップＳ４０１では、原画素Ｐ（2i,2j)の位置におけるＷ１(2i,2j)が所定値以上であるかどうかが評価される。即ち、原画素Ｐ（2i,2j)において垂直方向のエッジが存在するかどうかが判断される。
【０１３４】
ステップＳ４０２では、Ｗ１(2i-2,2j)が所定値以上であるかどうかが評価される。Ｗ１(2i-2,2j)が所定値以上であれば（ステップＳ４０２のｙｅｓ）、α(2i-2,2j)とα(2i,2j)の平均値に基づいて補間画素Ｑ(2i-1,2j)の輝度値を生成するための補間関数を選択する。
【０１３５】
この場合、補間画素Ｑ(2i-1,2j)を挟む両側の原画素Ｐ（2i-2,2j)、(2i,2j)においてエッジが存在することになる。ところで図１５によれば、ステップＳ２０５においてＷ１(2i,2j)が所定値以上であれば、ステップＳ２０６においてリプシッツ指数α(2i,2j)が計算されるので、この場合、補間画素Ｑ(2i-1,2j)の両側の原画素位置についてのリプシッツ指数α(2i-2,2j)、α(2i,2j)が計算されている。したがって、ここではα(2i-2,2j)とα(2i,2j)の平均値に基づいて補間関数を選択した。
【０１３６】
ステップＳ４０２でｎｏだった場合、補間画素Ｑ(2i-1,2j)の右隣の原画素のリプシッツ指数α(2i,2j)は計算されているが、左隣の原画素のリプシッツ指数α(2i-2,2j)は計算されていないので、α(2i,2j)に基づいて補間関数を選択する。
【０１３７】
ステップＳ４０１でｎｏだった場合、ステップＳ４０３へ進む。ステップＳ４０３では、Ｗ１(2i-2,2j)が所定値以上であるかどうかが評価される。所定値以上（ステップＳ４０３のｙｅｓ）であれば、補間画素Ｑ(2i-1,2j)の左隣の原画素のリプシッツ指数α(2i-2,2j)は計算されているが、右隣の原画素のリプシッツ指数α(2i,2j)は計算されていないので、α(2i-2,2j)に基づいて補間関数を選択する（ステップＳ４０６）。
【０１３８】
ステップＳ４０３でｎｏだった場合、補間画素Ｑ(2i-1,2j)の左右両隣の原画素のリプシッツ指数が計算されていないので、ｍ＝４のフルーエンシ関数が補間関数として選択される（ステップＳ４０６）。
【０１３９】
図１７は、Ｗ１(i,j)が所定値以上であった原画素Ｐ（i,j)を示すものである。黒丸で示している点がこれに該当する。
【０１４０】
図１８は、このような水平方向の補間処理を行った補間画素の例を示すものである。黒丸は、ステップＳ２０７において、ｍ＝１のフルーエンシ関数を選択して生成された補間画素を示し、白丸は、ステップＳ２０７において、ｍ＝２のフルーエンシ関数を選択して生成された補間画素を示す。黒丸、白丸のない画素については、ｍ＝４のフルーエンシ関数を選択して補間画素を生成している。
【０１４１】
図１９は、垂直方向の拡大処理（ステップＳ３０）の詳細な手順を示すフローチャートである。ステップＳ３０１では、iに0が代入される。
【０１４２】
ステップＳ３０２では、原画素Ｐ（i,0)における垂直方向のウェーブレット変換係数Ｗ2(i,0)が計算される。
【０１４３】
ステップＳ３０３では、jに1が代入される。
【０１４４】
ステップＳ３０４では、原画素Ｐ（i,2j)における垂直方向のウェーブレット変換係数Ｗ2(i,2j)が計算される。i=0、j=1の場合、原画素Ｐ（0,2)における垂直方向のウェーブレット変換係数Ｗ2(0,2)が計算される。原画素Ｐ（0,2)とは、x=0、y=2の座標値を有する原画素のことである。ここで、Ｗ２(ｘ，ｙ)は、数式１０におけるｊ（スケーリングパラメータ）を１としたものであり、Ｗ１(ｘ，ｙ)の場合と同様にして計算できる。即ち、Ｗ２(ｘ，ｙ)は、数式４１を数式１０に代入することにより計算できる。
【０１４５】
【数４１】
2005326977.tif 000043
【０１４６】
このようにして計算されたＷ2(0,2)が所定値以上（ステップＳ３０５のｙｅｓ）であれば、原画素Ｐ（0,2)の位置には水平方向のエッジがあるものとみなす。
【０１４７】
ステップＳ３０５がｙｅｓの場合、原画素Ｐ（0,2)におけるリプシッツ指数α(0,2)を計算する（ステップＳ３０６）。このα(0,2)は、数式２２にｊ＝０を代入して計算する。続くステップＳ３０７では、P(0,2)の上側に位置する補間画素Ｑ(0,1)の輝度値を生成するための補間フルーエンシ関数m(0,1)が選択される。この補間フルーエンシ関数の選択手順については、図２０を参照して、後で詳しく述べる。
【０１４８】
また、ステップＳ３０５がｎｏの場合、ステップＳ３０６は省略され、ステップＳ３０７へ進む。
【０１４９】
ステップＳ３１０では、垂直方向の補間処理が行われる。即ち、ステップＳ３０７で選択された補間フルーエンシ関数m(0,1)に基づいて、補間画素Ｑ(0,1)の輝度値が生成される（ステップＳ３０８）。補間画素Ｑ(0,1)とは、ｘ＝０、ｙ＝１の座標値を有する補間画素のことである。
【０１５０】
ステップＳ３１１では、jに１が加算される。ステップＳ３１２では、ｊが３２以上かどうかが判断される。ｊが３２未満（ステップＳ３１２でｎｏ）の場合、再びＳ３０４へ戻り、前記原画素Ｐ（0,2)の下側に位置する原画素Ｐ（0,4)におけるウェーブレット変換係数等が計算され、補間画素Ｑ(0,3)の輝度値が補間生成される。以下、同様にして、１列目の補間画素Ｑ(0,5)、…、Ｑ(0,61)の生成が行われる。
【０１５１】
ｊが３２以上であれば（ステップＳ３１２のｙｅｓ）ステップＳ３１３へ進む。ステップＳ３１３では、ｉに１が加算される。ステップＳ３１４では、ｉが６３以上かどうかが判断される。ｉが６３未満（ステップＳ３１４でｎｏ）の場合、ステップＳ３０２へ戻り、次は２列目の補間画素Ｑ(1,1)、…、Ｑ(1,61) の生成が行われる。
【０１５２】
ｉが６３以上であれば（ステップＳ３１４のｙｅｓ）ステップＳ３０の一連の処理は終了である。
【０１５３】
図２０は、ステップＳ３０７の補間フルーエンシ関数の選択処理の手順を示した図である。
【０１５４】
ステップＳ５０１では、原画素Ｐ（i,2j)の位置におけるＷ2(i,2j)が所定値以上であるかどうかが評価される。即ち、原画素Ｐ（i,2j)において水平方向のエッジが存在するかどうかが判断される。
【０１５５】
ステップＳ５０２では、Ｗ2(i,2j-2)が所定値以上であるかどうかが評価される。Ｗ2(i,2j-2)が所定値以上であれば（ステップＳ５０２のｙｅｓ）、α(i,2j)とα(i,2j-2)の平均値に基づいて補間画素Ｑ(i,2j-1)の輝度値を生成するための補間関数を選択する（ステップＳ５０４）。
【０１５６】
ステップＳ５０２でｎｏだった場合、補間画素Ｑ(i,2j-1)の下隣の原画素のリプシッツ指数α(i,2j)は計算されているが、上隣の原画素のリプシッツ指数α(i,2j-2)は計算されていないので、α(i,2j)に基づいて補間関数を選択する（ステップＳ５０５）。
【０１５７】
ステップＳ５０１でｎｏだった場合、ステップＳ５０３へ進む。ステップＳ５０３では、Ｗ2(i,2j-2)が所定値以上であるかどうかが評価される。所定値以上（ステップＳ５０３のｙｅｓ）であれば、補間画素Ｑ(i,2j-1)の上隣の原画素のリプシッツ指数α(i,2j-2)は計算されているが、下隣の原画素のリプシッツ指数α(i,2j)は計算されていないので、α(i,2j-1)に基づいて補間関数を選択する（ステップＳ５０６）。
【０１５８】
ステップＳ５０３でｎｏだった場合、補間画素Ｑ(i,2j)の上下両隣の原画素のリプシッツ指数が計算されていないので、ｍ＝４のフルーエンシ関数が補間関数として選択される（ステップＳ５０６）。
【０１５９】
図２１は、Ｗ2(i,j)が所定値以上であった原画素Ｐ（i,j)を示すものである。黒丸で示している点がこれに該当する。この点は、水平方向のエッジが存在すると判断された点である。
【０１６０】
図２２は、このような垂直方向の補間処理を行った補間画素の例を示すものである。黒丸は、ステップＳ３０７において、ｍ＝１のフルーエンシ関数を選択して生成された補間画素を示し、白丸は、ステップＳ３０７において、ｍ＝２のフルーエンシ関数を選択して生成された補間画素を示す。黒丸、白丸のない画素については、ｍ＝４のフルーエンシ関数を選択して補間画素を生成している。
【０１６１】
図２３は各種手法により生成した拡大画像を示すものである。ここで（ｂ）の零次補間、（ｃ）の双線型補間、（ｄ）の双３次補間、（ｅ）の本手法は、縦横３２画素の原画像から生成した縦横６３画素の拡大画像である。
【０１６２】
なお、（ａ）の高解像度画像とは、縦横６３画素の高解像度画像であり、補間により生成された画像ではない。（ｂ）の零次補間法によれば、瞳の輪郭をはっきりと表現できているものの、瞳の中心部分が粗くなっている。（ｃ）の双線型補間法、（ｄ）の双３次補間法によれば、瞳の輪郭がぼやけている。これに対し、（ｅ）の本手法によれば、輪郭がぼやけず、更に中心部分において滑らかさが失われていないことが分かる。
【０１６３】
図２４は各種手法により生成した拡大画像の性能評価結果を示すものである。ここでは、図２３（ａ）の高解像度画像とのＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｓｅ  Ｒａｔｉｏ）、平均２乗誤差に基づいて評価した。その結果、ＰＳＮＲ、平均２乗誤差ともに本手法が最も優れていることが分かる。
【０１６４】
（実施例２）
上記実施例１では、まず水平方向の拡大処理を行い、横長の画像を一旦生成してから、垂直方向の拡大処理を行っていた。この方法によると、補間画素の位置にエッジがあって、そのエッジ方向がｘ方向（水平方向）に対し４５度に近い場合や、１３５度に近い場合、その補間画素の輝度値が正しく推定されない場合がある。
【０１６５】
例えば、図２５のように、配置されている原画像の画素Ａ、Ｂ、Ｃ、Ｄ点の輝度値がそれぞれ１００、５０、１００、１００であったとする。また、画素Ａと画素Ｄを横切るようにエッジが存在したとする。この画素Ａと画素Ｄの間に存在する画素Ｐを補間により生成することを考える。即ち画素Ｐの位置には、４５度方向のエッジがある。
【０１６６】
まず輝度値が未確定である画素Ｅ、Ｆ、Ｇ、Ｈの輝度値を推定する。画素Ｅの輝度値は画素Ａと画素Ｂの輝度値の平均である７５とする。画素Ｆの輝度値は画素Ａと画素Ｃの輝度値の平均である１００とする。画素Ｇの輝度値は画素Ｂと画素Ｄの輝度値の平均である７５とする。画素Ｈの輝度値は画素Ｃと画素Ｄの輝度値の平均である１００とする。
【０１６７】
このような場合、画素Ｐの輝度値を画素Ｅと画素Ｈの輝度値の平均とすると、８７．５になる。また、画素Ｐの輝度値を画素Ｆと画素Ｇの輝度値の平均とするとしても、８７．５になる。しかし、画素Ｐの位置においては４５度方向のエッジがあるので、画素Ｐの輝度値は画素Ａと画素Ｄの輝度値の平均なので、１００であるべきだとも考えられる。
【０１６８】
特に、原画素の対角線の位置にある補間画素を生成する場合、このような問題がおきやすいと考えられる。
【０１６９】
実施例１の方法では、水平方向の画素、または垂直方向の画素の輝度値のみに基づいて補間画素の輝度値を推定していたが、上記のような場合を考えると、斜め方向の画素の輝度値も利用して補間画素を生成するのが望ましい。
【０１７０】
本実施例では、各補間画素の位置において、エッジが存在するかどうかをまず調べる。その位置にエッジが存在すれば、エッジの方向を計算により求める。そして、そのエッジ方向に応じて、補間する方法を変化させる。
【０１７１】
図２６を参照して、本実施例の拡大処理の手順を説明する。これは、原画像を２倍に拡大する場合のものである。また、原画素と補間画素の座標は、図１４で示されるように、原画素の座標はｘ座標値及びｙ座標値が共に偶数であるとし、補間画素の座標はｘ座標値、ｙ座標値の少なくとも一方は奇数であるとしている。
【０１７２】
まず、ステップＳ６０１ではｊに０が、ステップＳ６０２ではｉに０が代入される。ここで、ｊはｙ座標値を示す変数であり、ｉはｘ座標値を示す変数である。ステップＳ６０３では、原画素Ｐ（i,j)の位置にエッジがあるかどうかが調べられる。ここでのエッジ検出方法については、どんな手法を用いてもよい。ラプラシアンフィルタを用いても良いし、数式１５の水平、垂直方向のウェーブレット変換の２乗和の平方根（ウェーブレット変換係数：Ｍ（i,j)）に基づくものであっても良い。
【０１７３】
ステップＳ６０３で、原画素Ｐ(i,j)の位置にエッジがあると判断された場合、その位置におけるエッジの法線角度θ(i,j)が計算される（ステップＳ６０４）。ここでθ(i,j)は、ｘ軸方向（水平方向）から反時計回りの角度である。例えば、θ(i,j)が０であれば、原画素Ｐ(i,j)では垂直方向のエッジ（エッジ法線角度は水平方向）が存在することを示している。θ(i,j)の計算方法としては色々あるが、例えば、数式１６で示したような、水平方向のウェーブレット変換係数と、垂直方向のウェーブレット変換係数の比のＡｒｃＴａｎ値を、エッジの法線角度としてよい。
【０１７４】
ステップＳ６０５では、原画素上のウェーブレット変換係数 M (i,j) を用いて２次元のリプシッツ指数α(i,j)が算出される。
【０１７５】
ステップＳ６０６では、ｉに２が加算される。ステップＳ６０７では、ｉがＮ以上であるかどうかが調べられる。ここでＮとは、原画像を２倍に拡大したときの水平方向の総画素数のことである。ｉがＮ未満であれば再びステップＳ６０３に戻り、原画素Ｐの右隣の原画素のエッジ法線角度やリプシッツ指数が計算される（ステップＳ６０４、ステップＳ６０５）。
【０１７６】
ｉがＮになれば、ステップＳ６０８へ進み、ｊに２が加算される。ステップＳ６０９では、ｊがＭ以上であるかどうかが調べられる。ここでＭとは、原画像を２倍に拡大したときの垂直方向の総画素数のことである。ｊがＭ未満（ステップＳ６０９のＮｏ）であれば再びステップＳ６０２に戻り、ｊ＝２の行の原画素についての法線角度やリプシッツ指数が計算される。ｊがＮ以上（ステップＳ６０９のＹｅｓ）であれば再びステップＳ６１０へ進む。
【０１７７】
ステップＳ６１０からステップＳ６１６においては、Ｎ画素×Ｎ画素からなる補間画像の各補間画素の輝度値を生成する処理が行われる。補間処理を行うステップＳ６１２については、図２７を参照して説明する。
【０１７８】
図２７を参照して、ステップＳ７０３ではｊが偶数かどうか、ステップＳ７０４及びステップＳ７１１ではｉが偶数であるかどうかが調べられる。ｊが偶数であり（ステップＳ７０３のｙｅｓ）、ｉが偶数であれば（ステップＳ７０４のｙｅｓ）、座標(i,j)は原画素の座標であるから、補間処理を行うことなく、ステップＳ７０５へ進む。
【０１７９】
ｊが偶数であり（ステップＳ７０３のｙｅｓ）、ｉが奇数であれば（ステップＳ７０４のｎｏ）、座標(i,j)は左右に原画素が存在する補間画素の座標である。したがって、左右の原画素に基づく補間処理（ステップＳ７１０）が行われる。このステップＳ７１０での処理については、図２８を参照して後で詳しく述べる。
【０１８０】
ｊが奇数であり（ステップＳ７０３のｎｏ）、ｉが偶数であれば（ステップＳ７１１のｙｅｓ）、座標(i,j)は上下に原画素が存在する補間画素の座標である。したがって、上下の原画素に基づく補間処理（ステップＳ７１２）が行われる。このステップＳ７１２での処理については、図２９を参照して後で詳しく述べる。
【０１８１】
ｊが奇数であり（ステップＳ７０３のｎｏ）、ｉが奇数であれば（ステップＳ７１１のｎｏ）、座標(i,j)は斜め隣りに原画素が存在する補間画素の座標である。したがって、斜め方向の原画素に基づく補間処理（ステップＳ７１３）が行われる。このステップＳ７１３での処理については、図３０を参照して後で詳しく述べる。
【０１８２】
図２８を参照して、左右の原画素に基づく補間処理を行うステップＳ７１０について説明する。
【０１８３】
ステップＳ８０１では、補間画素の左右にある原画素のうちのいずれかがエッジ画素であるかどうかが調べられる。エッジ画素であるとは、先述した図２６のステップＳ６０３において、エッジであると認定された画素のことである。左右いずれかの原画素がエッジ画素であればステップＳ８０２へ進む。
【０１８４】
ステップＳ８０２では、補間画素の左右画素がともにエッジ画素であって、エッジ法線角度θも共に０度であるかどうかが調べられる。ここで、０度であるとは、エッジ法線角度θが０度、４５度、９０度、１３５度のうち、最も０度に近いことを指す。補間画素の左右画素がともにエッジ画素であって、エッジ法線角度θも共に０度であれば（ステップＳ８０２のｙｅｓ）、ステップＳ８０４において補間関数の選択が行われる。ステップＳ８０４では、左右のエッジ画素におけるそれぞれのリプシッツ指数の平均値に基づき補間関数が選択される。
【０１８５】
ステップＳ８０２でｎｏと判断されれば、ステップＳ８０３へ進む。ステップＳ８０３では、右画素が、エッジ法線方向θが０度であるエッジ画素かどうかが調べられる。ステップＳ８０３でｙｅｓと判断されれば、ステップＳ８０５へ進む。
【０１８６】
ステップＳ８０５では、右側のエッジ画素におけるリプシッツ指数に基づき補間関数ｍが選択される。
【０１８７】
ステップＳ８０３で、右画素がエッジではない、あるいは右画素はエッジだが、法線角度は０度ではない、と判断されれば、ステップＳ８０６へ進む。
【０１８８】
ステップＳ８０６では、左画素が、エッジ法線方向θが０度であるエッジ画素かどうかが調べられる。ステップＳ８０６でｙｅｓと判断されれば、ステップＳ８０７へ進む。ステップＳ８０７では、左側のエッジ画素におけるリプシッツ指数に基づき補間関数が選択される。
【０１８９】
左画素がエッジではない、あるいは左画素はエッジだが、法線角度は０度ではない、と判断されれば（ステップＳ８０６のｎｏ）、ステップＳ８０８へ進む。ステップＳ８０８では、ｍ＝４の補間関数が選択される。
【０１９０】
ステップＳ８０９では、左右の原画素の輝度値と、ステップＳ８０４、ステップＳ８０５、ステップＳ８０７、ステップＳ８０８等で選択された補間関数ｍに基づいて補間処理が行われる。
【０１９１】
図２９を参照して、上下の原画素に基づく補間処理を行うステップＳ７１２について説明する。
【０１９２】
ステップＳ８３１では、補間画素の上下にある原画素のうちのいずれかがエッジ画素であるかどうかが調べられる。エッジ画素であるとは、先述した図２６のステップＳ６０３において、エッジであると認定された画素のことである。上下いずれかの原画素がエッジ画素であればステップＳ８３２へ進む。
【０１９３】
ステップＳ８３２では、補間画素の上下画素がともにエッジ画素であって、エッジ法線角度θも共に９０度であるかどうかが調べられる。ここで、９０度であるとは、エッジ法線角度θが０度、４５度、９０度、１３５度のうち、最も９０度に近いことを指す。補間画素の上下画素がともにエッジ画素であって、エッジ法線角度θも共に９０度であれば（ステップＳ８３２のｙｅｓ）、ステップＳ８３４において補間関数の選択が行われる。  ステップＳ８３４では、上下のエッジ画素におけるそれぞれのリプシッツ指数の平均値に基づき補間関数が選択される。
【０１９４】
ステップＳ８３２でｎｏと判断されれば、ステップＳ８３３へ進む。ステップＳ８３３では、下画素が、エッジ法線方向θが９０度であるエッジ画素かどうかが調べられる。ステップＳ８３３でｙｅｓと判断されれば、ステップＳ８３５へ進む。
【０１９５】
ステップＳ８３５では、下側のエッジ画素におけるリプシッツ指数に基づき補間関数ｍが選択される。
【０１９６】
ステップＳ８３３で、下画素がエッジではない、あるいは下画素はエッジだが、法線角度は９０度ではない、と判断されれば、ステップＳ８３６へ進む。
【０１９７】
ステップＳ８３６では、上画素が、エッジ法線方向θが９０度であるエッジ画素かどうかが調べられる。ステップＳ８３６でｙｅｓと判断されれば、ステップＳ８３７へ進む。ステップＳ８３７では、上側のエッジ画素におけるリプシッツ指数に基づき補間関数が選択される。
【０１９８】
上画素がエッジではない、あるいは上画素はエッジだが、法線角度は９０度ではない、と判断されれば（ステップＳ８３６のｎｏ）、ステップＳ８３８へ進む。ステップＳ８３８では、ｍ＝４の補間関数が選択される。
【０１９９】
ステップＳ８３９では、上下の原画素の輝度値と、ステップＳ８３４、ステップＳ８３５、ステップＳ８３７、ステップＳ８３８等で選択された補間関数ｍに基づいて補間処理が行われる。
【０２００】
図３０を参照して、斜めの原画素に基づく補間処理を行うステップＳ７１３について説明する。
【０２０１】
ステップＳ８６１では、補間画素の斜めにある原画素のうちのいずれか（左上、右上、左下、右下の４画素のうちのいずれか）がエッジ画素であるかどうかが調べられる。エッジ画素であるとは、先述した図２６のステップＳ６０３において、エッジであると認定された画素のことである。いずれかの原画素がエッジ画素であればステップＳ８６２へ進む。
【０２０２】
ステップＳ８６２では、左上、右下の原画素の何れかがエッジであるかどうかが調べられる。左上、右下の原画素の何れかがエッジであれば（ステップＳ８６２のｙｅｓ）、ステップＳ８６３へ進む。
【０２０３】
ステップＳ８６３では、補間画素の左上、右下画素がともにエッジ画素であって、エッジ法線角度θも共に４５度であるかどうかが調べられる。ここで、４５度であるとは、エッジ法線角度θが０度、４５度、９０度、１３５度のうち、最も４５度に近いことを指す。
【０２０４】
補間画素の左上、右下画素がともにエッジ画素であって、エッジ法線角度θも共に４５度であれば（ステップＳ８６３のｙｅｓ）、ステップＳ８６５において補間関数の選択が行われる。ステップＳ８６５では、左上、右下のエッジ画素におけるそれぞれのリプシッツ指数の平均値に基づき補間関数が選択される。
【０２０５】
ステップＳ８６３でｎｏと判断されれば、ステップＳ８６４では、左上画素が、エッジ法線方向θが４５度であるエッジ画素かどうかが調べられる。ステップＳ８６４でｙｅｓと判断されれば、ステップＳ８６６へ進む。ステップＳ８６６では、左上側のエッジ画素におけるリプシッツ指数に基づき補間関数が選択される。
【０２０６】
ステップＳ８６４で、左上画素がエッジではない、あるいは左上画素はエッジだが、法線角度は４５度ではない、と判断されれば、ステップＳ８６８へ進む。
【０２０７】
ステップＳ８６８では、右下画素が、エッジ法線方向θが４５度であるエッジ画素かどうかが調べられる。ステップＳ８６８でｙｅｓと判断されれば、ステップＳ８６９へ進む。ステップＳ８６９では、右下側のエッジ画素におけるリプシッツ指数に基づき補間関数が選択される。
【０２０８】
右下側のエッジ画素の法線角度が４５度でなければ（ステップＳ８６８のｎｏ）、ステップＳ８７１へ進む。ステップＳ８７１では、左上、右下、右上、左下の４画素の輝度値の平均値を補間画素の輝度値とする処理を行う。
【０２０９】
また、ステップＳ８６２で、左上、右下画素の何れかがエッジではないと判断された場合、左下・右上の原画素に基づいて補間処理を行うステップＳ８７０へ進む。このステップＳ８７０の処理については、図３１を参照して後で詳しく説明する。
【０２１０】
ステップＳ８６７では、左上、右下の原画素の輝度値と、ステップＳ８６５、ステップＳ８６６、ステップＳ８６９等で選択された補間関数ｍに基づいて補間処理が行われる。
図３１を参照して、左下、右上の原画素に基づく補間処理を行うステップＳ８７０について説明する。
【０２１１】
ステップＳ９０２では、補間画素の左下、右上画素がともにエッジ画素であって、エッジ法線角度θも共に１３５度であるかどうかが調べられる。ここで、１３５度であるとは、エッジ法線角度θが０度、４５度、９０度、１３５度のうち、最も１３５度に近いことを指す。
【０２１２】
補間画素の左下、右上画素がともにエッジ画素であって、エッジ法線角度θも共に１３５度であれば（ステップＳ９０２のｙｅｓ）、ステップＳ９０４において補間関数の選択が行われる。ステップＳ９０４では、左下、右上のエッジ画素におけるそれぞれのリプシッツ指数の平均値に基づき補間関数が選択される。
【０２１３】
ステップＳ９０２でｎｏと判断されれば、ステップＳ９０３では、左下画素が、エッジ法線角度θが１３５度であるエッジ画素かどうかが調べられる。ステップＳ９０３でｙｅｓと判断されれば、ステップＳ９０５へ進む。ステップＳ９０５では、左下側のエッジ画素におけるリプシッツ指数に基づき補間関数が選択される。
【０２１４】
ステップＳ９０３で、左下画素がエッジではない、あるいは左下画素はエッジだが、法線角度は１３５度ではない、と判断されれば、ステップＳ９０６へ進む。
【０２１５】
ステップＳ９０６では、右上画素が、エッジ法線角度θが１３５度であるエッジ画素かどうかが調べられる。ステップＳ９０６でｙｅｓと判断されれば、ステップＳ９０７へ進む。ステップＳ９０７では、右上側のエッジ画素におけるリプシッツ指数に基づき補間関数が選択される。
【０２１６】
ステップＳ９０６で、右上画素がエッジではない、あるいは右上画素はエッジだが、法線角度は１３５度ではない、と判断されれば、ステップＳ９０８へ進む。
【０２１７】
ステップＳ９０８では、左上、右下、右上、左下の４画素の輝度値の平均値を補間画素の輝度値とする処理を行う。
【０２１８】
ステップＳ９０９では、左下、右上の原画素の輝度値と、ステップＳ９０４、ステップＳ９０５、ステップＳ９０７等で選択された補間関数ｍに基づいて補間処理が行われる。
【０２１９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２２０】
【図１】画像の縦横の画素数をそれぞれ２倍にする場合の画像拡大について説明する図である。
【図２】画像拡大手順の一例を示した図である。
【図３】Ｌｅｎａ画像の各画素（ｘ，ｙ）に対して推定されたリプシッツ指数を表したものである。
【図４】リプシッツ指数と、選択される補間フルーエンシ関数の関係の一例を示したものである。
【図５】フルーエンシ関数の台の大きさを示す図である。
【図６】フルーエンシ関数におけるサンプル点などを示すものである。
【図７】画像拡大装置１００の機能ブロックを示す図である。
【図８】コンピュータ装置２００の構成を示す図である。
【図９】カメラ３００の構成を示す図である。
【図１０】縦横２５６画素で構成されるＬｅｎａ画像を示すものである。
【図１１】図１０のＬｅｎａ画像のうち、瞳近辺にある縦横３２画素からなる原画像を示すものである。
【図１２】図１１の画像を拡大して生成した、縦横６３画素の画像である。
【図１３】実施例１の拡大処理の全体の流れを示すフローチャートである。
【図１４】図１３のステップＳ２０において補間生成される画素と、図１３のステップＳ３０において補間生成される画素とを示す図である。
【図１５】水平方向の拡大処理（ステップＳ２０）の手順を示すフローチャートである。
【図１６】補間関数の選択処理（ステップＳ２０７）の手順を示すフローチャートである。
【図１７】水平方向のウェーブレット変換係数が所定値以上であった原画素を示す図である。
【図１８】ｍ＝１、ｍ＝２のフルーエンシ関数が選択された補間画素の例を示す図である。
【図１９】垂直方向の拡大処理（ステップＳ３０）の詳細な手順を示すフローチャートである。
【図２０】補間関数の選択処理（ステップＳ３０７）の手順を示すフローチャートである。
【図２１】垂直方向のウェーブレット変換係数が所定値以上であった原画素を示す図である。
【図２２】ｍ＝１、ｍ＝２のフルーエンシ関数が選択された補間画素の例を示す図である。
【図２３】各種手法により生成した拡大画像を示す図である。
【図２４】各種手法により生成した拡大画像の性能評価結果を示す図である。
【図２５】補間画素の位置に斜め方向のエッジがある場合の補間について説明する図である。
【図２６】実施例２の拡大処理の手順を示すフローチャートである。
【図２７】ステップＳ６１２の補間処理の手順を表すフローチャートである。
【図２８】左右の原画素に基づく補間処理の手順を表すフローチャートである。
【図２９】上下の原画素に基づく補間処理の手順を表すフローチャートである。
【図３０】斜め方向の原画素に基づく補間処理の手順を表すフローチャートである。
【図３１】左下、右上方向の原画素に基づく補間処理の手順を表すフローチャートである。
【図１】
2005326977.tif 000044
【図２】
2005326977.tif 000045
【図５】
2005326977.tif 000046
【図６】
2005326977.tif 000047
【図７】
2005326977.tif 000048
【図８】
2005326977.tif 000049
【図９】
2005326977.tif 000050
【図１３】
2005326977.tif 000051
【図１４】
2005326977.tif 000052
【図１５】
2005326977.tif 000053
【図１６】
2005326977.tif 000054
【図２０】
2005326977.tif 000055
【図２４】
2005326977.tif 000056
【図２５】
2005326977.tif 000057
【図２６】
2005326977.tif 000058
【図２７】
2005326977.tif 000059
【図２８】
2005326977.tif 000060
【図２９】
2005326977.tif 000061
【図３０】
2005326977.tif 000062
【図３１】
2005326977.tif 000063
【図３】
2005326977.tif 000064
【図４】
2005326977.tif 000065
【図１０】
2005326977.tif 000066
【図１１】
2005326977.tif 000067
【図１２】
2005326977.tif 000068
【図１７】
2005326977.tif 000069
【図１８】
2005326977.tif 000070
【図１９】
2005326977.tif 000071
【図２１】
2005326977.tif 000072
【図２２】
2005326977.tif 000073
【図２３】
2005326977.tif 000074