(57)【要約】【課題】  画像を拡大縮小するに際し、画像を構成する画素間にエッジが存在する場合でも、エッジ部分がボケないように画素を補間する。【解決手段】  拡大縮小する画像において補間画素Ｐの近傍の画素間にエッジが存在するか否かを判定する。エッジが存在する場合、補間画素Ｐがエッジのいずれの側に存在するかを判定し、エッジが存在する側の画素Ｐ１１，Ｐ１２，Ｐ１３の画素値のみを用いて、補間画素Ｐの画素値を算出する。【選択図】          図１
2005094320.tif 000002
【特許請求の範囲】
【請求項１】
画像を拡大縮小するに際し、該画像の画素間に新たな画素を補間する画像補間装置において、
前記新たな画素の近傍に位置する前記画像の画素間にエッジが存在する場合、前記新たな画素の位置が前記エッジのいずれの側にあるかを判定する判定手段と、
前記新たな画素の位置が前記エッジの一方の側にある場合には、前記画像上の前記一方の側に存在する、前記新たな画素の近傍の少なくとも１つの画素の画素値による補間演算を行って前記新たな画素の画素値を算出し、前記新たな画素の位置が前記エッジの他方の側にある場合には、前記画像上の前記他方の側に存在する、前記新たな画素の近傍の少なくとも１つの画素の画素値による補間演算を行って前記新たな画素の画素値を算出する補間演算手段とを備えたことを特徴とする画像補間装置。
【請求項２】
前記補間演算は、前記新たな画素の近傍の３つの画素の位置をｘ座標およびｙ座標とし、該３つの画素の画素値をｚ座標とした場合における該３つの画素の画素値を通る平面を設定し、該平面上における前記新たな画素のｘ座標およびｙ座標に対応するｚ座標の値を該新たな画素の画素値とする演算であることを特徴とする請求項１記載の画像補間装置。
【請求項３】
画像を拡大縮小するに際し、該画像の画素間に新たな画素を補間する画像補間方法において、
前記新たな画素の近傍に位置する前記画像の画素間にエッジが存在する場合、前記新たな画素の位置が前記エッジのいずれの側にあるかを判定し、
前記新たな画素の位置が前記エッジの一方の側にある場合には、前記画像上の前記一方の側に存在する、前記新たな画素の近傍の少なくとも１つの画素の画素値による補間演算を行って前記新たな画素の画素値を算出し、前記新たな画素の位置が前記エッジの他方の側にある場合には、前記画像上の前記他方の側に存在する、前記新たな画素の近傍の少なくとも１つの画素の画素値による補間演算を行って前記新たな画素の画素値を算出することを特徴とする画像補間方法。
【請求項４】
画像を拡大縮小するに際し、該画像の画素間に新たな画素を補間する画像補間方法をコンピュータに実行させるためのプログラムにおいて、
前記新たな画素の近傍に位置する前記画像の画素間にエッジが存在する場合、前記新たな画素の位置が前記エッジのいずれの側にあるかを判定する手順と、
前記新たな画素の位置が前記エッジの一方の側にある場合には、前記画像上の前記一方の側に存在する、前記新たな画素の近傍の少なくとも１つの画素の画素値による補間演算を行って前記新たな画素の画素値を算出し、前記新たな画素の位置が前記エッジの他方の側にある場合には、前記画像上の前記他方の側に存在する、前記新たな画素の近傍の少なくとも１つの画素の画素値による補間演算を行って前記新たな画素の画素値を算出する手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば画像データにより表される画像を拡大縮小するに際し、画像を構成する画素間に新たな画素を補間する画像補間装置および方法並びに画像補間方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、写真フイルムに記録された画像を光電的に読み取ることにより得られた画像データあるいはデジタルカメラやカメラ付き携帯電話等の撮像装置により被写体を撮像することにより得られた画像データを、それを再生するモニタのサイズに適合するように拡大縮小することが行われている。とくにカメラ付き携帯電話により被写体を撮像することにより得られた画像データを電子メールとして送信する際に、送信先の携帯電話が有する液晶モニタのサイズに応じて画像データを拡大縮小するサービスも提供されている。
【０００３】
このような画像データの拡大縮小は、画像データにより表される画像を構成する画素の間に拡大率に応じて新たな画素を補間することにより行われる。このように新たな画素を補間する方法としては、線形補間法、最近傍法、バイリニア法およびバイキュービック法等の各種方法が知られている。
【０００４】
また、新たな画素の位置の最も近傍に位置する画素（注目画素）および注目画素に隣接する隣接画素を選択し、注目画素を挟む隣接画素同士の差分値を算出し、差分値および注目画素から新たな画素までの距離に基づいて補正値を求めるとともに、注目画素の画素値、差分値および補正値に基づいて新たな画素の画素値を算出する手法も提案されている（特許文献１参照）。
【特許文献１】特許第３４１９３５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記新たな画素を補間するための各種手法においては、新たな画素の位置の近傍にエッジが存在する場合、エッジ上の画素とエッジ外の画素の画素値とに基づいて新たな画素の画素値が求められるため、拡大縮小後の画像においてエッジがボケてしまうという問題がある。
【０００６】
本発明は上記事情に鑑みなされたものであり、エッジ部分がボケないように新たな画素を補間することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による画像補間装置は、画像を拡大縮小するに際し、該画像の画素間に新たな画素を補間する画像補間装置において、
前記新たな画素の近傍に位置する前記画像の画素間にエッジが存在する場合、前記新たな画素の位置が前記エッジのいずれの側にあるかを判定する判定手段と、
前記新たな画素の位置が前記エッジの一方の側にある場合には、前記画像上の前記一方の側に存在する、前記新たな画素の近傍の少なくとも１つの画素の画素値による補間演算を行って前記新たな画素の画素値を算出し、前記新たな画素の位置が前記エッジの他方の側にある場合には、前記画像上の前記他方の側に存在する、前記新たな画素の近傍の少なくとも１つの画素の画素値による補間演算を行って前記新たな画素の画素値を算出する補間演算手段とを備えたことを特徴とするものである。
【０００８】
ここで、新たな画素を補間する画素の間にエッジが存在しない場合には、線形補間法、最近傍法、バイリニア法およびバイキュービック法等の公知の各種方法により補間演算を行って補間画素の画素値を算出すればよい。
【０００９】
なお、本発明による画像補間装置においては、前記補間演算を、前記新たな画素の近傍の３つの画素の位置をｘ座標およびｙ座標とし、該３つの画素の画素値をｚ座標とした場合における該３つの画素の画素値を通る平面を設定し、該平面上における前記新たな画素のｘ座標およびｙ座標に対応するｚ座標の値を該新たな画素の画素値とする演算としてもよい。
【００１０】
本発明による画像補間方法は、画像を拡大縮小するに際し、該画像の画素間に新たな画素を補間する画像補間方法において、
前記新たな画素の近傍に位置する前記画像の画素間にエッジが存在する場合、前記新たな画素の位置が前記エッジのいずれの側にあるかを判定し、
前記新たな画素の位置が前記エッジの一方の側にある場合には、前記画像上の前記一方の側に存在する、前記新たな画素の近傍の少なくとも１つの画素の画素値による補間演算を行って前記新たな画素の画素値を算出し、前記新たな画素の位置が前記エッジの他方の側にある場合には、前記画像上の前記他方の側に存在する、前記新たな画素の近傍の少なくとも１つの画素の画素値による補間演算を行って前記新たな画素の画素値を算出することを特徴とするものである。
【００１１】
なお、本発明による画像補間方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１２】
本発明によれば、新たな画素の近傍に位置する画素の間にエッジが存在する場合、新たな画素の位置がエッジのいずれの側にあるかが判定される。そして、新たな画素の位置がエッジの一方の側にある場合には、画像上の一方の側に存在する、新たな画素の近傍の少なくとも１つの画素の画素値による補間演算が行われて新たな画素の画素値が算出される。一方、新たな画素の位置がエッジの他方の側にある場合には、画像上の他方の側に存在する、新たな画素の近傍の少なくとも１つの画素の画素値による補間演算が行われて新たな画素の画素値が算出される。このため、新たな画素の画素値は、新たな画素の両隣の画素の画素値には影響されず、片方の側の画素の画素値のみを反映させたものとなる。したがって、新たな画素を補間する画素の間にエッジが存在する場合に、エッジの有無に拘わらず新たな画素の画素値の近傍の全ての画素の画素値を用いて新たな画素の画素値を算出する場合と比較して、エッジのボケが少なくなるように新たな画素の画素値を算出することができ、これによりエッジのボケの少ない拡大縮小された画像を得ることができる。
【００１３】
また、新たな画素の位置の近傍の３つの画素の位置をｘ座標およびｙ座標とし、これら３つの画素の画素値をｚ座標とした場合における３つの画素の画素値を通る平面を設定し、この平面上における新たな画素のｘ座標およびｙ座標に対応するｚ座標の値を新たな画素の画素値とすることにより、簡易に新たな画素の画素値を算出することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について説明する。図１は本発明の実施形態による画像補間装置を適用した画像拡大縮小装置の構成を示す概略ブロック図である。図１に示すように、本発明の実施形態による画像拡大縮小装置は、画像データＳ０および画像データＳ０の拡大率Ｋの入力を受け付ける入力部１、フィルタリング部２、判定部３、エッジパターン分類部４、補間画素の画素値を算出する補間演算部５、並びに入力部１、フィルタリング部２、判定部３、エッジパターン分類部４および補間演算部５の動作を制御する制御部６を備える。
【００１５】
ここで、画像データＳ０により表される画像（以下画像についても同様に参照符号Ｓ０を用いる）は、図２に示すように２次元状に画素が並んで構成されてなるものであり、本実施形態においては、図２に示すようにｘ方向およびｙ方向を定めるものとする。
【００１６】
フィルタリング部２は、画像Ｓ０上における拡大縮小により補間される画素（以下補間画素Ｐとする）の近傍に位置する４×４の１６画素について、まず中央の２×２の４つの画素のうちの２つの画素を通る６つの画素列を設定する。図３は設定された画素列を示す図である。図３に示すように補間点Ｐの近傍に位置する１６画素Ｐ（ｉ，ｊ）（ｉ，ｊ＝−１〜２）について、黒丸で示した画素Ｐ（０，０）、Ｐ（１，０）、Ｐ（１，１）、Ｐ（０，１）のうちの２つの画素を通る全ての組み合わせについての６つの画素列Ｌ１〜Ｌ６を設定する。
【００１７】
すなわち、画素Ｐ（−１，０）、Ｐ（０，０）、Ｐ（１，０）、Ｐ（２，０）からなる画素列Ｌ１、画素Ｐ（１，−１）、Ｐ（１，０）、Ｐ（１，１）、Ｐ（１，２）からなる画素列Ｌ２、画素Ｐ（−１，１）、Ｐ（０，１）、Ｐ（１，１）、Ｐ（２，１）からなる画素列Ｌ３、画素Ｐ（０，−１）、Ｐ（０，０）、Ｐ（０，１）、Ｐ（０，２）からなる画素列Ｌ４、画素Ｐ（２，−１）、Ｐ（１，０）、Ｐ（０，１）、Ｐ（−１，２）からなる画素列Ｌ５、および画素Ｐ（−１，−１）、Ｐ（０，０）、Ｐ（１，１）、Ｐ（２，２）からなる画素列Ｌ６を設定する。なお、画素列Ｌ１，Ｌ３はｘ方向に並ぶ４つの画素からなり、画素列Ｌ２，Ｌ４はｙ方向に並ぶ４つの画素からなる。画素列Ｌ５は右上から左下に並ぶ４つの画素からなり、画素列Ｌ６は左上から右下に並ぶ４つの画素からなる。
【００１８】
そして、フィルタリング部２は画素列Ｌ１〜Ｌ６のそれぞれについて、隣接する２つの画素からなる３つの画素ペアに対して差分フィルタによるフィルタリング処理を施して３つの差分値を算出する。図４はフィルタリング部２において行われるフィルタリング処理を説明するための図、図５は差分フィルタを示す図である。フィルタリング部２は、画素列Ｌ１〜Ｌ６のそれぞれを構成する４つの画素（Ｐ１〜Ｐ４とする）について、互いに隣接する２つの画素からなる３つの画素ペアＰ１，Ｐ２、画素ペアＰ２，Ｐ３および画素ペアＰ３，Ｐ４に対して図５に示す差分フィルタによるフィルタリング処理を施して、画素ペアＰ１，Ｐ２、画素ペアＰ２，Ｐ３および画素ペアＰ３，Ｐ４の画素値の差分ｄ１，ｄ２，ｄ３を算出する。
【００１９】
判定部３は、画素列Ｌ１〜Ｌ６のそれぞれについて中央の画素ペアＰ２，Ｐ３の差分ｄ２の絶対値｜ｄ２｜が所定のしきい値Ｔｈ１以上であるか否かの第１の判定を行い、第１の判定が肯定されると画素Ｐ２，Ｐ３の間にエッジが存在すると判定し、判定結果をエッジパターン分類部４に出力する。
【００２０】
第１の判定が否定されると、判定部３は、画素列Ｌ１〜Ｌ６のそれぞれについて中央の画素ペアＰ２，Ｐ３の差分ｄ２の絶対値｜ｄ２｜がしきい値Ｔｈ１よりも小さいしきい値Ｔｈ２以上であり、かつ差分ｄ２の絶対値｜ｄ２｜が差分ｄ１〜ｄ３の絶対値｜ｄ１｜〜｜ｄ３｜のうちの最大値であるか否かの第２の判定を行う。そして、第２の判定が肯定されると画素Ｐ２，Ｐ３の間にエッジが存在すると判定し、判定結果をエッジパターン分類部４に出力する。なお、第２の判定が否定されると、画素Ｐ２，Ｐ３の間にエッジが存在しないと判定し、判定結果をエッジパターン分類部４に出力する。
【００２１】
エッジパターン分類部４は、判定部３の判定結果に基づいて、画素Ｐ（０，０）、Ｐ（１，０）、Ｐ（１，１）、Ｐ（０，１）内のいずれの画素の間にエッジが存在するかを判定する。すなわち、図６に示すように画素Ｐ（０，０）とＰ（１，０）の間ｅ１、画素Ｐ（１，０）とＰ（１，１）の間ｅ２、画素Ｐ（１，１）とＰ（０，１）の間ｅ３、画素Ｐ（０，１）とＰ（０，０）の間ｅ４、画素Ｐ（１，０）とＰ（０，１）の間ｅ５および画素Ｐ（０，０）とＰ（１，１）の間ｅ６にエッジが存在するか否かを判定する。
【００２２】
ここで、エッジパターン分類部４は、画素列Ｌ１にエッジが存在すると判定された場合には間ｅ１にエッジが存在すると判定し、画素列Ｌ２にエッジが存在すると判定された場合には間ｅ２にエッジが存在すると判定し、画素列Ｌ３にエッジが存在すると判定された場合には間ｅ３にエッジが存在すると判定し、画素列Ｌ４にエッジが存在すると判定された場合には間ｅ４にエッジが存在すると判定し、画素列Ｌ５にエッジが存在すると判定された場合には間ｅ５にエッジが存在すると判定し、画素列Ｌ６にエッジが存在すると判定された場合には間ｅ６にエッジが存在すると判定する。
【００２３】
そして、エッジパターン分類部４は、エッジが存在する画素間の中点を結ぶ直線に応じてエッジパターンを分類する。図７から図９は、エッジが存在する位置に応じたエッジパターンを示す図である。図７から図９に示すように、エッジが存在する位置に応じてエッジパターンはパターン０〜パターン８の９種類のパターンに分類される。
【００２４】
なお、間ｅ１，ｅ２，ｅ３，ｅ４にエッジが存在する場合、および間ｅ１，ｅ２，ｅ３，ｅ４，ｅ５，ｅ６にエッジが存在する場合は、エッジパターンはパターン７であるのかパターン８であるのかが分からない。このため、エッジパターン分類部４は、間ｅ１，ｅ２，ｅ３，ｅ４にエッジが存在する場合、および間ｅ１，ｅ２，ｅ３，ｅ４，ｅ５，ｅ６にエッジが存在する場合には、さらに画素Ｐ（０，０）と画素Ｐ（１，１）の画素値の差分の絶対値ｄ１１および画素（０，１）と画素（１，０）の画素値の差分の絶対値｜ｄ１２｜を算出し、｜ｄ１１｜＜｜ｄ１２｜の場合にはエッジパターンをパターン７に分類し、｜ｄ１１｜≧｜ｄ１２｜の場合にはエッジパターンをパターン８に分類する。
【００２５】
そしてエッジパターン分類部４は、エッジパターンの分類結果を補間演算部５に出力する。
【００２６】
補間演算部５は、エッジパターン分類部４が分類したエッジパターンの分類結果を参照して、補間画素Ｐに隣接する４つの画素内にエッジが存在すると判定された場合と、エッジが存在しないと判定された場合とで、それぞれ異なる演算により補間画素Ｐの画素値を算出する。具体的には、エッジでないと判定された場合はバイキュービック法を用いて補間画素Ｐの画素値を算出する。
【００２７】
ここで、バイキュービック法は３次補間の一手法であり、補間画素Ｐの近傍の１６画素を用いて補間画素Ｐの画素値を求める方法である。以下、バイキュービック法について説明する。
【００２８】
図１０はバイキュービック法を説明するための図である。図１０に示すように点Ｐを補間画素Ｐの位置とした場合、図１０中黒丸で示される画素は第１次近傍、白丸で示される画素は第２次近傍と称される。第１次近傍および第２次近傍のそれぞれについて、下記の式（１）に示すようにｘ方向およびｙ方向それぞれに独立に距離ｄｘ，ｄｙ（式（１）においては単にｄと示す）に対して重みＷｘ，Ｗｙを求め、最終的にその画素に対する重みＷ＝ＷｘＷｙを得る。
【数１】
2005094320.tif 000003
【００２９】
例えば、図１０における（−１，−１）の画素（第２次近傍）に対して、重みＷｘ，Ｗｙ，Ｗを求めると、
【数２】
2005094320.tif 000004
【００３０】
となる。
【００３１】
そして、Ｗ（ｉ，ｊ）を画素（ｉ，ｊ）の重み、ｆ（ｉ，ｊ）を画素（ｉ，ｊ）の画素値とすると、補間画素Ｐの画素値ｆ′（Ｐ）は、
【数３】
2005094320.tif 000005
【００３２】
により算出することができる。
【００３３】
一方、エッジが存在すると判定された場合には、補間画素Ｐに隣接する４つの画素以外の他の４つの画素内のエッジパターンに応じて補間画素Ｐの画素値を求める。すなわち、４つの画素Ｐ（−１，−１）、Ｐ（０，−１）、Ｐ（０，０）、Ｐ（−１，０）内のエッジパターン、４つの画素Ｐ（０，−１）、Ｐ（１，−１）、Ｐ（１，０）、Ｐ（０，０）内のエッジパターン、４つの画素Ｐ（１，−１）、Ｐ（２，−１）、Ｐ（２，０）、Ｐ（１，０）内のエッジパターン、４つの画素Ｐ（−１，０）、Ｐ（０，０）、Ｐ（０，１）、Ｐ（−１，１）内のエッジパターン、４つの画素Ｐ（１，０）、Ｐ（２，０）、Ｐ（２，１）、Ｐ（１，１）内のエッジパターン、４つの画素Ｐ（−１，１）、Ｐ（０，１）、Ｐ（０，２）、Ｐ（−１，２）内のエッジパターン、４つの画素Ｐ（０，１）、Ｐ（１，１）、Ｐ（１，２）、Ｐ（０，２）内のエッジパターン、および４つの画素Ｐ（１，１）、Ｐ（２，１）、Ｐ（２，２）、Ｐ（１，２）内のエッジパターンを参照して、補間画素Ｐの近傍に位置する４×４の１６画素内のエッジパターンを求める。
【００３４】
ここで、補間画素Ｐに隣接する４つの画素内のエッジパターンがパターン４、４つの画素Ｐ（−１，−１）、Ｐ（０，−１）、Ｐ（０，０）、Ｐ（−１，０）内のエッジパターンがパターン０、４つの画素Ｐ（０，−１）、Ｐ（１，−１）、Ｐ（１，０）、Ｐ（０，０）内のエッジパターンがパターン５、４つの画素Ｐ（１，−１）、Ｐ（２，−１）、Ｐ（２，０）、Ｐ（１，０）内のエッジパターンがパターン０、４つの画素Ｐ（−１，０）、Ｐ（０，０）、Ｐ（０，１）、Ｐ（−１，１）内のエッジパターンがパターン２、４つの画素Ｐ（１，０）、Ｐ（２，０）、Ｐ（２，１）、Ｐ（１，１）内のエッジパターンがパターン０、４つの画素Ｐ（−１，１）、Ｐ（０，１）、Ｐ（０，２）、Ｐ（−１，２）内のエッジパターンがパターン４、４つの画素Ｐ（０，１）、Ｐ（１，１）、Ｐ（１，２）、Ｐ（０，２）内のエッジパターンがパターン０、および４つの画素Ｐ（１，１）、Ｐ（２，１）、Ｐ（２，２）、Ｐ（１，２）内のエッジパターンがパターン０である場合、１６画素内のエッジパターンは図１１の波線に示すものとなる。図１１に示すように１６画素内の領域はエッジにより２つの領域Ａ１，Ａ２に分割される。なお、領域Ａ２を斜線で示す。
【００３５】
補間演算部５は、１６画素内のエッジパターンに基づいて、補間画素Ｐがエッジを挟んでいずれの側に存在するかによって、補間演算に使用する画素を決定する。例えば、図１１に示すように補間画素Ｐが領域Ａ１側に存在する場合には、領域Ａ１側の画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５（図１１において△で示す）のみを使用して補間画素Ｐの画素値を求める。逆に補間画素が領域Ａ２側に存在する場合には、領域Ａ２側の画素（図１１において○で示す）のみを使用して補間画素Ｐの画素値を求める。
【００３６】
図１２は、直列に並ぶ４つの画素のうち中央の２つの画素の間にエッジが存在する場合の画素値のプロファイルを示す図である。なお、図１２において、水平方向が画素が並ぶ方向であり、垂直方向が画素値の大きさを示す方向である。中央の２つの画素Ｐ２２，Ｐ２３の間にエッジが存在すると判定された場合、その２つの画素にさらにそれぞれ隣接する２つの画素Ｐ２１，Ｐ２４を加えた直列に隣接する４つの画素Ｐ２１〜Ｐ２４の画素値のプロファイルは図１２に示すものとなる。
【００３７】
この場合、画素が並ぶ方向において画素Ｐ２２，Ｐ２３間の距離を二等分する中線Ｍ（一点鎖線参照）を定め、中線Ｍの右側に補間画素（Ｐ０１とする）が存在する場合には、画素Ｐ２３，Ｐ２４を結ぶ直線の延長線上の値を補間画素Ｐ０１の画素値とする。また、中線Ｍの左側に補間画素（Ｐ０２とする）が存在する場合には、画素Ｐ２１，Ｐ２２を結ぶ直線の延長線上の値を補間画素Ｐ０２の画素値とする。
【００３８】
本実施形態においては、このような補間演算を２次元に適用することにより、補間画素Ｐの画素値を求める。具体的には、図１３に示すように、画素位置をｘ座標およびｙ座標、画素値をｚ座標とする３次元空間において、領域Ａ１側における画素Ｐ１１，Ｐ１２，Ｐ１３（図１１参照）の画素値Ｐｔ１１，Ｐｔ１２，Ｐｔ１３を通る平面Ａ１０を設定する。なお、平面Ａ１０において辺Ａ１２，Ａ１３はエッジの位置に対応する。そして、平面Ａ１０上における補間画素Ｐのｘ座標およびｙ座標に対応するｚ座標の値を、補間画素Ｐの画素値として求める。
【００３９】
なお、補間画素Ｐの画素値の算出方法としてはこれに限定されるものではなく、補間画素Ｐに近い位置の画素ほど重みを大きくする補間演算を適用することもできる。具体的には、画素Ｐ１２の重みＷ１２を最も大きくするように、各画素Ｐ１１〜Ｐ１５に対する重みＷ１１〜Ｗ１５を設定し、各画素Ｐ１１〜Ｐ１５の画素値Ｐｔ１１〜Ｐｔ１５に対して下記の式（６）に示す演算を施すことにより、補間画素Ｐの画素値（ここではＰｔとする）を算出すればよい。  
【数４】
2005094320.tif 000006
【００４０】
ここで、以降の説明において、エッジが存在すると判定された場合の演算を第１の補間演算、エッジが存在しないと判定された場合の演算を第２の補間演算と称する。
【００４１】
次いで、本実施形態において行われる処理について説明する。図１４は本実施形態において行われる処理を示すフローチャートである。なお、本実施形態においては、補間画素Ｐは、画像Ｓ０の画素の間に存在するものとする。まず、入力部１が拡大する画像データＳ０および画像データＳ０の拡大率Ｋの入力を受け付ける（ステップＳ１）。そして、拡大率Ｋに応じた最初の補間画素Ｐ（例えば拡大された画像データＳ１により表される画像（以下画像についても同様に参照符号Ｓ１を用いる）上左上に位置する画素）について、フィルタリング部２がその補間画素Ｐの近傍に位置する１６画素について、画素列Ｌ１〜Ｌ６を設定し、画素列Ｌ１〜Ｌ６のそれぞれにおける隣接する２つの画素からなる３つの画素ペアに対して差分フィルタによるフィルタリング処理を施して３つの差分を算出する（ステップＳ２）。
【００４２】
次いで、判定部３が画素列Ｌ１〜Ｌ６のそれぞれについて中央の画素ペアの差分の絶対値｜ｄ２｜が所定のしきい値Ｔｈ１以上であるか否かの第１の判定を行う（ステップＳ３）。ステップＳ３が否定されると、差分の絶対値｜ｄ２｜が所定のしきい値Ｔｈ２以上であり、かつ差分の絶対値｜ｄ２｜が最大値であるか否かの第２の判定を行う（ステップＳ４）。
【００４３】
ステップＳ３およびステップＳ４が肯定されると、画素列Ｌ１〜Ｌ６の中央の２つの画素間にエッジが存在するものとして画素間にエッジが存在する旨の判定結果をエッジパターン分類部４へ出力する（ステップＳ５）。ステップＳ４が否定されると、判定部３は、画素間にエッジが存在しない旨の判定結果をエッジパターン分類部４へ出力する（ステップＳ６）。
【００４４】
エッジパターン分類部４は、判定部３の判定結果が入力されると、その判定結果に基づいてエッジパターンを分類し（ステップＳ７）、分類結果を補間演算部５に出力する。
【００４５】
補間演算部５は、エッジパターン分類部４が分類したエッジパターンの分類結果に基づいて、エッジパターンが図７に示すパターン０であるか否かを判定することにより、補間画素Ｐに隣接する４つの画素内にエッジが存在するか否かを判定する（ステップＳ８）。ステップＳ８が肯定されると、補間演算部５は上記第１の補間演算により補間画素Ｐの画素値を算出する（ステップＳ９）。一方、ステップＳ８が否定されると、補間演算部５は上記第２の補間演算により補間画素Ｐの画素値を算出する（ステップＳ１０）。
【００４６】
そして、制御部６が全ての補間画素Ｐについて画素値を算出したか否かを判定し（ステップＳ１１）、ステップＳ１１が否定されると、画素値を算出する補間画素Ｐを次の補間画素Ｐに設定し（ステップＳ１２）、ステップＳ２に戻る。
【００４７】
ステップＳ１１が肯定されると、補間画素Ｐからなる拡大された画像データＳ１を出力し（ステップＳ１３）、処理を終了する。
【００４８】
このように本実施形態においては、補間画素Ｐの近傍の画素の間にエッジが存在する場合には、エッジに対して補間画素Ｐが存在する側の画素のみを用いて補間画素Ｐの画素値を算出するようにしたため、補間画素Ｐの画素値は、エッジに対して反対側の領域にある画素の画素値には影響されず、エッジに対して補間画素Ｐが存在する側の画素の画素値のみを反映させたものとなる。したがって、エッジのボケが少なくなるように補間画素Ｐの画素値を算出することができ、これによりエッジのボケの少ない拡大縮小された画像Ｓ１を得ることができる。
【００４９】
また、補間画素Ｐに隣接する４×４画素に並んだ１６画素に対して４つの直列に並ぶ画素からなる画素列Ｌ１〜Ｌ６を設定し各画素列Ｌ１〜Ｌ６において中央の２つの画素の間にエッジがあるか否かを判定するに際し、中央の２つの画素間の差分の絶対値がしきい値Ｔｈ１以上である場合にそこにエッジが存在すると見なすようにしたため、画像Ｓ０の画素上ではなく、画素の間に存在するエッジを検出することができる。また、差分を算出しているのみであるため、簡易な演算により高速にエッジが存在するか否かを判定することができる。
【００５０】
また、この判定でエッジが存在しないと判定された場合に、さらに中央の２つの画素間の差分の絶対値がしきい値Ｔｈ１よりも小さいしきい値Ｔｈ２以上であり、かつ４つの画素間の差分の絶対値のうちの最大値である場合にそこにエッジが存在すると見なすようにしたため、エッジであるのにエッジでないと判定されてしまうことを防止して、より精度よく画素の間に存在するエッジを検出することができる。
【００５１】
また、このようなエッジが存在するか否かの判定結果に基づいて、補間画素Ｐの近傍の２×２画素に並んだ４つの画素内にエッジが存在するか否かを判定しているため、画像上の隣接する２×２に並んだ４つの画素間に存在するエッジを精度よく検出することができる。
【００５２】
また、４つの画素内にエッジが存在すると判定された場合に、エッジが検出された位置に基づいて、４つの画素内におけるエッジパターンを分類することにより、精度よくエッジのパターンを分類することができる。
【００５３】
ここで、図１５に示すサンプル画像において従来のラプラシアンフィルタを用いてエッジを検出した場合、ラプラシアンフィルタは注目画素がエッジであるか否かを判定するものであるため、図１６に示すように顔の輪郭を表すエッジを検出できるものの、検出された線は非常に太くなる。これに対して、本実施形態によりエッジを検出した場合、画素間にどのような向きのエッジが存在するかを検出することができるため、図１７に示すようにエッジを非常に細い線により表すことができる。したがって、エッジとエッジでない部分とを明確に区分することができるため、補間画素Ｐの画素値を拡大縮小後の画像Ｓ１においてボケが生じないように算出することができる。
【００５４】
なお、上記実施形態においては、各画素列Ｌ１〜Ｌ６において中央の２つの画素の間にエッジが存在するか否かを判定するに際し、第１の判定が否定された場合には、さらに第２の判定を行うことによりエッジが存在するか否かを判定しているが、第１の判定が否定された場合に第２の判定を行うことなく、そこにはエッジは存在しないものと判定してもよい。また、各画素列Ｌ１〜Ｌ６において４つの画素間において算出される３つの差分の絶対値を比較し、中央の２つの画素の差分の絶対値が最大値である場合に、そこにエッジが存在すると判定するようにしてもよい。
【００５５】
また、上記実施形態においては、４画素内にエッジが存在しないと判定された場合、バイキュービック法を用いて補間画素Ｐ近傍の１６画素の画素値から補間画素Ｐの画素値を算出しているが、補間画素Ｐ近傍の９画素あるいは４画素の画素値から補間画素Ｐの画素値を算出してもよい。また、バイキュービック法のみならず、線形補間法、最近傍法およびバイリニア法等を用いて補間画素Ｐの画素値を算出してもよい。
【００５６】
また、上記実施形態においては、補間画素Ｐの近傍の４×４の１６画素を用いて補間画素Ｐの近傍の４画素における隣接する２つの画素間にエッジが存在するか否かの判定、および補間画素Ｐの近傍の４画素内のエッジパターンの分類を行っているが、６×６の３６画素あるいはそれ以上の一辺の画素数が偶数となるような数の画素を用いて、エッジが存在するか否かの判定およびエッジパターンの分類を行うようにしてもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態による画像補間装置を適用した画像拡大縮小装置の構成を示す概略ブロック図
【図２】画像データにより表される画像の画素配列を示す図
【図３】補間画素の近傍に位置する１６画素について中央の４つの画素のうちの２つの画素を通る画素列を示す図
【図４】フィルタリング部において行われるフィルタリング処理を説明するための図
【図５】差分フィルタの例を示す図
【図６】画素間に存在するエッジの位置を説明するための図
【図７】エッジが存在する位置に応じたエッジパターンを示す図（その１）
【図８】エッジが存在する位置に応じたエッジパターンを示す図（その２）
【図９】エッジが存在する位置に応じたエッジパターンを示す図（その３）
【図１０】バイキュービック法を説明するための図
【図１１】１６画素内のエッジパターンの例を示す図
【図１２】補間画素の画素値の算出を説明するための図（１次元）
【図１３】補間画素の画素値の算出を説明するための図（２次元）
【図１４】本実施形態において行われる処理を示すフローチャート
【図１５】サンプル画像を示す図
【図１６】ラプラシアンフィルタを用いてのエッジの検出結果を示す図
【図１７】本発明による手法を用いてのエッジの検出結果を示す図
【符号の説明】
【００５８】
１    入力部
２    フィルタリング部
３    判定部
４    エッジパターン分類部
５    補間演算部
６    制御部
【図１】
2005094320.tif 000007
【図２】
2005094320.tif 000008
【図３】
2005094320.tif 000009
【図４】
2005094320.tif 000010
【図５】
2005094320.tif 000011
【図６】
2005094320.tif 000012
【図７】
2005094320.tif 000013
【図８】
2005094320.tif 000014
【図９】
2005094320.tif 000015
【図１０】
2005094320.tif 000016
【図１１】
2005094320.tif 000017
【図１２】
2005094320.tif 000018
【図１３】
2005094320.tif 000019
【図１４】
2005094320.tif 000020
【図１５】
2005094320.tif 000021
【図１６】
2005094320.tif 000022
【図１７】
2005094320.tif 000023