(57)【要約】【課題】  エッジ部分がぼけないように高速に画像を拡大縮小する。【解決手段】  拡大縮小する画像において間に画素が補間される２つの画素を含む直列に隣接する４つの画素の画素値の１次差分および２次差分を算出し、１次および２次差分の正負の関係に基づいて、２つの画素間にエッジが存在するか否かを判定する。エッジが存在する場合、２つの画素Ｇ２，Ｇ３間に中線Ｍを境界として設定し、補間画素が中線Ｍのいずれの側に存在するかを判定し、中線Ｍの右側に補間画素Ｐ１が存在する場合には、画素Ｇ３，Ｇ４を結ぶ直線の延長線上の値を補間画素Ｐ１の画素値として算出する。また、中線Ｍの左側に補間画素Ｐ２が存在する場合には、画素Ｇ１，Ｇ２を結ぶ直線の延長線上の値を補間画素Ｐ２の画素値として算出する。【選択図】          図１０
2005063198.tif 000002
【特許請求の範囲】
【請求項１】
画像を拡大縮小する画像拡大縮小装置において、
画像上の直列に隣接する４つの画素に含まれる互いに隣接する２つの画素からなる３つの画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記３つの画素ペアの画素値のそれぞれについての３つの１次差分を得、該３つの１次差分における隣接する２つの１次差分ペアに対してそれぞれ前記差分フィルタによるフィルタリング処理を施して２つの２次差分を得るフィルタリング手段と、
前記３つの１次差分および前記２つの２次差分の正負の関係に基づいて、前記直列に隣接する４つの画素の中央の２つの画素の間にエッジが存在するか否かを検出する検出手段と、
前記中央の２つの画素の間にエッジが存在する場合、該画素間に所定の境界を設定する境界設定手段と、
前記中央の２つの画素の間に補間される新たな画素の位置が前記所定の境界のいずれの側にあるかを判定する判定手段と、
前記新たな画素の位置が前記所定の境界の一方の側にある場合には、前記画像上の前記一方の側に存在する少なくとも１つの画素の画素値による補間演算を行って、前記新たな画素の画素値を算出し、前記新たな画素の位置が前記所定の境界の他方の側にある場合には、前記画像上の前記他方の側に存在する少なくとも１つの画素の画素値による補間演算を行って、前記新たな画素の画素値を算出し、前記中央の２つの画素の間にエッジが存在しない場合、所定の補間演算により前記新たな画素の画素値を算出する補間演算手段と、
前記フィルタリング処理、前記エッジが存在するか否かの検出、前記エッジが存在する場合の前記所定の境界の設定、前記判定および前記新たな画素の画素値の算出、並びに前記エッジが存在しない場合の前記新たな画素の画素値の算出を、前記画像上の一方向について行うことにより、該一方向について拡大縮小された画像を得、この後、前記フィルタリング処理、前記エッジが存在するか否かの検出、前記エッジが存在する場合の前記所定の境界の設定、前記判定および前記新たな画素の画素値の算出、並びに前記エッジが存在しない場合の前記新たな画素の画素値の算出を、前記画像上の他方向について行うことにより、該他方向についても拡大縮小された画像を得るよう、前記フィルタリング手段、前記検出手段、前記境界設定手段、前記判定手段および前記補間演算手段を制御する制御手段とを備えたことを特徴とする画像拡大縮小装置。
【請求項２】
前記フィルタリング手段は、前記直列に隣接する４つの画素の中央の２つの画素に対して前記差分フィルタによるフィルタリング処理を施して前記中央の２つの画素の画素値の差分をさらに得る手段であり、
前記検出手段は、前記中央の２つの画素の画素値の差分の絶対値が所定のしきい値以上であるか否かの判定結果にも基づいて、前記直列に隣接する４つの画素の中央の２つの画素の間にエッジが存在するか否かを検出する手段であることを特徴とする請求項１記載の画像拡大縮小装置。
【請求項３】
画像を拡大縮小する画像拡大縮小方法において、
画像上の直列に隣接する４つの画素に含まれる互いに隣接する２つの画素からなる３つの画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記３つの画素ペアの画素値のそれぞれについての３つの１次差分を得、該３つの１次差分における隣接する２つの１次差分ペアに対してそれぞれ前記差分フィルタによるフィルタリング処理を施して２つの２次差分を得、
前記３つの１次差分および前記２つの２次差分の正負の関係に基づいて、前記直列に隣接する４つの画素の中央の２つの画素の間にエッジが存在するか否かを検出し、
前記中央の２つの画素の間にエッジが存在する場合、該画素間に所定の境界を設定し、
前記中央の２つの画素の間に補間される新たな画素の位置が前記所定の境界のいずれの側にあるかを判定し、
前記新たな画素の位置が前記所定の境界の一方の側にある場合には、前記画像上の前記一方の側に存在する少なくとも１つの画素の画素値による補間演算を行って、前記新たな画素の画素値を算出し、前記新たな画素の位置が前記所定の境界の他方の側にある場合には、前記画像上の前記他方の側に存在する少なくとも１つの画素の画素値による補間演算を行って、前記新たな画素の画素値を算出し、前記中央の２つの画素の間にエッジが存在しない場合、所定の補間演算により前記新たな画素の画素値を算出し、
前記フィルタリング処理、前記エッジが存在するか否かの検出、前記エッジが存在する場合の前記所定の境界の設定、前記判定および前記新たな画素の画素値の算出、並びに前記エッジが存在しない場合の前記新たな画素の画素値の算出を、前記画像上の一方向について行うことにより、該一方向について拡大縮小された画像を得、この後、前記フィルタリング処理、前記エッジが存在するか否かの検出、前記エッジが存在する場合の前記所定の境界の設定、前記判定および前記新たな画素の画素値の算出、並びに前記エッジが存在しない場合の前記新たな画素の画素値の算出を、前記画像上の他方向について行うことにより、該他方向についても拡大縮小された画像を得ることを特徴とする画像拡大縮小方法。
【請求項４】
画像を拡大縮小する画像拡大縮小方法をコンピュータに実行させるためのプログラムにおいて、
画像上の直列に隣接する４つの画素に含まれる互いに隣接する２つの画素からなる３つの画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記３つの画素ペアの画素値のそれぞれについての３つの１次差分を得、該３つの１次差分における隣接する２つの１次差分ペアに対してそれぞれ前記差分フィルタによるフィルタリング処理を施して２つの２次差分を得る手順と、
前記３つの１次差分および前記２つの２次差分の正負の関係に基づいて、前記直列に隣接する４つの画素の中央の２つの画素の間にエッジが存在するか否かを検出する手順と、
前記中央の２つの画素の間にエッジが存在する場合、該画素間に所定の境界を設定する手順と、
前記中央の２つの画素の間に補間される新たな画素の位置が前記所定の境界のいずれの側にあるかを判定する手順と、
前記新たな画素の位置が前記所定の境界の一方の側にある場合には、前記画像上の前記一方の側に存在する少なくとも１つの画素の画素値による補間演算を行って、前記新たな画素の画素値を算出し、前記新たな画素の位置が前記所定の境界の他方の側にある場合には、前記画像上の前記他方の側に存在する少なくとも１つの画素の画素値による補間演算を行って、前記新たな画素の画素値を算出し、前記中央の２つの画素の間にエッジが存在しない場合、所定の補間演算により前記新たな画素の画素値を算出する手順と、
前記フィルタリング処理、前記エッジが存在するか否かの検出、前記エッジが存在する場合の前記所定の境界の設定、前記判定および前記新たな画素の画素値の算出、並びに前記エッジが存在しない場合の前記新たな画素の画素値の算出を、前記画像上の一方向について行うことにより、該一方向について拡大縮小された画像を得、この後、前記フィルタリング処理、前記エッジが存在するか否かの検出、前記エッジが存在する場合の前記所定の境界の設定、前記判定および前記新たな画素の画素値の算出、並びに前記エッジが存在しない場合の前記新たな画素の画素値の算出を、前記画像上の他方向について行うことにより、該他方向についても拡大縮小された画像を得る手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば画像データにより表される画像を拡大縮小する画像拡大縮小装置および方法並びに画像拡大縮小方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、写真フイルムに記録された画像を光電的に読み取ることにより得られた画像データあるいはデジタルカメラやカメラ付き携帯電話等の撮像装置により被写体を撮像することにより得られた画像データを、それを再生するモニタのサイズに適合するように拡大縮小することが行われている。とくにカメラ付き携帯電話により被写体を撮像することにより得られた画像データを電子メールとして送信する際に、送信先の携帯電話が有する液晶モニタのサイズに応じて画像データを拡大縮小するサービスも提供されている。
【０００３】
このような画像データの拡大縮小は、画像データにより表される画像を構成する画素の間に拡大率に応じて新たな画素を補間することにより行われる。このように新たな画素を補間する方法としては、線形補間法、最近傍法、バイリニア法およびバイキュービック法等の各種方法が知られている。
【０００４】
しかしながら、単一の方法のみを用いて画像データを拡大縮小した場合、画像に含まれるエッジ部分にボケやシャギーが発生するという問題がある。このため、画像に含まれるエッジ成分を検出し、エッジ部分と非エッジ部分とで異なる処理により補間演算を行う方法が提案されている（特許文献１参照）。
【特許文献１】特開２００２−３１９０２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記特許文献１に記載された方法においては、エッジ部分と非エッジ部分とで異なる処理により補間演算を行っているが、演算方法は上述した既知の方法であるため、やはりエッジ部分がぼけてしまうという問題がある。例えば、直列に隣接する４つの画素Ｇ１〜Ｇ４のプロファイル形状が図１３（ａ）に示すものである場合、画素Ｇ２と画素Ｇ３との間に急峻なエッジが存在する。また、図１３（ｂ）に示す場合においても画素Ｇ２と画素Ｇ３との間にエッジが存在する。ここで、例えば線形補間法を用いて画素Ｇ２，Ｇ３間における補間画素の画素値を求める場合、図１３（ａ），（ｂ）に示すように、補間画素近傍の画素Ｇ２，Ｇ３を結ぶ直線上の値が補間画素の画素値となる。このため、画素Ｇ２，Ｇ３間にエッジが存在するにも拘わらず、エッジ付近の画素値の変化が滑らかなものとなってしまい、その結果、拡大縮小された画像上のエッジ部分がぼけてしまう。
【０００６】
また、上述した線形補間法、最近傍法、バイリニア法およびバイキュービック法等の各種方法は、新たな画素の近傍において２次元状に分布する画素の画素値を用いて新たな画素の画素値を算出しているため、演算に長時間を要するものとなっている。
【０００７】
本発明は上記事情に鑑みなされたものであり、エッジ部分がぼけないように高速に画像を拡大縮小することを目的とする。
【課題を解決するための手段】
【０００８】
本発明による画像拡大縮小装置は、画像を拡大縮小する画像拡大縮小装置において、
画像上の直列に隣接する４つの画素に含まれる互いに隣接する２つの画素からなる３つの画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記３つの画素ペアの画素値のそれぞれについての３つの１次差分を得、該３つの１次差分における隣接する２つの１次差分ペアに対してそれぞれ前記差分フィルタによるフィルタリング処理を施して２つの２次差分を得るフィルタリング手段と、
前記３つの１次差分および前記２つの２次差分の正負の関係に基づいて、前記直列に隣接する４つの画素の中央の２つの画素の間にエッジが存在するか否かを検出する検出手段と、
前記中央の２つの画素の間にエッジが存在する場合、該画素間に所定の境界を設定する境界設定手段と、
前記中央の２つの画素の間に補間される新たな画素の位置が前記所定の境界のいずれの側にあるかを判定する判定手段と、
前記新たな画素の位置が前記所定の境界の一方の側にある場合には、前記画像上の前記一方の側に存在する少なくとも１つの画素の画素値による補間演算を行って、前記新たな画素の画素値を算出し、前記新たな画素の位置が前記所定の境界の他方の側にある場合には、前記画像上の前記他方の側に存在する少なくとも１つの画素の画素値による補間演算を行って、前記新たな画素の画素値を算出し、前記中央の２つの画素の間にエッジが存在しない場合、所定の補間演算により前記新たな画素の画素値を算出する補間演算手段と、
前記フィルタリング処理、前記エッジが存在するか否かの検出、前記エッジが存在する場合の前記所定の境界の設定、前記判定および前記新たな画素の画素値の算出、並びに前記エッジが存在しない場合の前記新たな画素の画素値の算出を、前記画像上の一方向について行うことにより、該一方向について拡大縮小された画像を得、この後、前記フィルタリング処理、前記エッジが存在するか否かの検出、前記エッジが存在する場合の前記所定の境界の設定、前記判定および前記新たな画素の画素値の算出、並びに前記エッジが存在しない場合の前記新たな画素の画素値の算出を、前記画像上の他方向について行うことにより、該他方向についても拡大縮小された画像を得るよう、前記フィルタリング手段、前記検出手段、前記境界設定手段、前記判定手段および前記補間演算手段を制御する制御手段とを備えたことを特徴とするものである。
【０００９】
「差分フィルタ」とは、隣接する２つの画素の単純な差分を求めるフィルタのみならず、重み付け差分を求めることが可能なフィルタをも含む。具体的には、タップ数が偶数のフィルタ、例えばフィルタ値が（−１，１）の２タップのフィルタを用いることができる。
【００１０】
「所定の境界」としては中央の２つの画素間の距離を二等分する線を用いることができる。
【００１１】
また、中央の２つの画素の間にエッジが存在しない場合の所定の補間演算としては、線形補間法、最近傍法、バイリニア法およびバイキュービック法等の公知の各種方法を用いることができるが、とくに補間演算を１次元方向にのみ適用することが好ましい。
【００１２】
なお、本発明による画像拡大縮小装置においては、前記フィルタリング手段を、前記直列に隣接する４つの画素の中央の２つの画素に対して前記差分フィルタによるフィルタリング処理を施して前記中央の２つの画素の画素値の差分をさらに得る手段とし、
前記検出手段を、前記中央の２つの画素の画素値の差分の絶対値が所定のしきい値以上であるか否かの判定結果にも基づいて、前記直列に隣接する４つの画素の中央の２つの画素の間にエッジが存在するか否かを検出する手段としてもよい。
【００１３】
本発明による画像拡大縮小方法は、画像を拡大縮小する画像拡大縮小方法において、
画像上の直列に隣接する４つの画素に含まれる互いに隣接する２つの画素からなる３つの画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記３つの画素ペアの画素値のそれぞれについての３つの１次差分を得、該３つの１次差分における隣接する２つの１次差分ペアに対してそれぞれ前記差分フィルタによるフィルタリング処理を施して２つの２次差分を得、
前記３つの１次差分および前記２つの２次差分の正負の関係に基づいて、前記直列に隣接する４つの画素の中央の２つの画素の間にエッジが存在するか否かを検出し、
前記中央の２つの画素の間にエッジが存在する場合、該画素間に所定の境界を設定し、
前記中央の２つの画素の間に補間される新たな画素の位置が前記所定の境界のいずれの側にあるかを判定し、
前記新たな画素の位置が前記所定の境界の一方の側にある場合には、前記画像上の前記一方の側に存在する少なくとも１つの画素の画素値による補間演算を行って、前記新たな画素の画素値を算出し、前記新たな画素の位置が前記所定の境界の他方の側にある場合には、前記画像上の前記他方の側に存在する少なくとも１つの画素の画素値による補間演算を行って、前記新たな画素の画素値を算出し、前記中央の２つの画素の間にエッジが存在しない場合、所定の補間演算により前記新たな画素の画素値を算出し、
前記フィルタリング処理、前記エッジが存在するか否かの検出、前記エッジが存在する場合の前記所定の境界の設定、前記判定および前記新たな画素の画素値の算出、並びに前記エッジが存在しない場合の前記新たな画素の画素値の算出を、前記画像上の一方向について行うことにより、該一方向について拡大縮小された画像を得、この後、前記フィルタリング処理、前記エッジが存在するか否かの検出、前記エッジが存在する場合の前記所定の境界の設定、前記判定および前記新たな画素の画素値の算出、並びに前記エッジが存在しない場合の前記新たな画素の画素値の算出を、前記画像上の他方向について行うことにより、該他方向についても拡大縮小された画像を得ることを特徴とするものである。
【００１４】
なお、本発明による画像拡大縮小方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１５】
本発明によれば、画像上の一方向について、画像上の直列に隣接する４つの画素に含まれる互いに隣接する２つの画素からなる３つの画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理が施されて３つの画素ペアの画素値のそれぞれについての３つの１次差分が得られる。さらに、３つの１次差分における隣接する２つの１次差分ペアに対してそれぞれ差分フィルタによるフィルタリング処理が施されて２つの２次差分が得られる。ここで、３つの１次差分および２つの２次差分の正負の値に応じて、直列に隣接する４つの画素の画素値のプロファイルを分類でき、３つの１次差分および２つの２次差分の正負の関係を見れば、直列に隣接する４つの画素のうちの中央の２つの画素の間にエッジが存在するか否かを判定できる。したがって、３つの１次差分および２つの２次差分の正負の関係に基づいて、直列に隣接する４つの画素の中央の２つの画素の間にエッジが存在するか否かを検出することにより、画像の画素上ではなく、画素の間にエッジが存在するか否かを検出することができる。
【００１６】
そして中央の２つの画素の間にエッジが存在する場合には、各画素の間に所定の境界が設定され、新たな画素の位置が所定の境界のいずれの側にあるかが判定される。そして、新たな画素の位置が所定の境界の一方の側にある場合には、画像上の一方の側に存在する少なくとも１つの画素の画素値による補間演算が行われて新たな画素の画素値が算出される。一方、新たな画素の位置が所定の境界の他方の側にある場合には、画像上の他方の側に存在する少なくとも１つの画素の画素値による補間演算が行われて新たな画素の画素値が算出される。このため、新たな画素の画素値は、新たな画素の両隣の画素の画素値には影響されず、片方の側の画素の画素値のみを反映させたものとなる。したがって、上記図１３（ａ），（ｂ）に示すように、新たな画素の画素値の両隣の画素の画素値を用いて新たな画素の画素値を算出する場合と比較して、エッジのボケが少なくなるように新たな画素の画素値を算出することができる。なお、中央の２つの画素の間にエッジが存在しない場合には、所定の補間演算により新たな画素の画素値が算出される。
【００１７】
そして、画像の一方向について新たな画素の画素値を算出して一方向に拡大縮小された画像を得た後、他方向についても同様に新たな画素の画素値が算出されて、一方向および他方向の双方に拡大縮小された画像が得られる。
【００１８】
このように、本実施形態においては、エッジが存在するか否かを検出する際に、差分を算出しているのみであるため、簡易な演算により高速にエッジが存在するか否かを検出することができる。また、エッジのボケが少なくなるように新たな画素の画素値を算出しているため、エッジのボケの少ない拡大縮小された画像を得ることができる。
【００１９】
また、エッジが存在すると判定された場合において、中央の２つの画素の画素値の差分の絶対値が小さい場合にはそこにエッジが存在する確度は小さいが、差分の絶対値が大きい場合は、そこに真のエッジが存在すると見なすことができる。したがって、中央の２つの画素の画素値の差分の絶対値が所定のしきい値以上であるか否かの判定結果にも基づいて、直列に隣接する４つの画素の中央の２つの画素の間にエッジが存在するか否かを検出することにより、画像の画素上ではなく、画素の間にエッジが存在するか否かを確実に検出することができる。
【００２０】
また、画像の画素の間にエッジが存在する場合には、画像を一方向に拡大縮小、すなわち新たな画素の画素値を算出した後に他方向に拡大縮小、すなわち新たな画素の画素値を算出しているため、２次元状に一度の演算により新たな画素の画素値を算出する場合と比較して、新たな画素の画素値を高速に算出することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について説明する。図１は本発明の実施形態による画像拡大縮小装置の構成を示す概略ブロック図である。図１に示すように、本発明の実施形態による画像拡大縮小装置は、画像データＳ０および画像データＳ０の拡大率Ｋの入力を受け付ける入力部１、エッジ判定部２、補間画素の画素値を算出する補間演算部３、並びに入力部１、エッジ判定部２および補間演算部３の動作を制御する制御部４を備える。
【００２２】
ここで、画像データＳ０により表される画像（以下画像についても同様に参照符号Ｓ０を用いる）は、図２に示すように２次元状に画素が並んで構成されてなるものであり、本実施形態においては、図２に示すようにｘ方向およびｙ方向を定めるものとする。
【００２３】
エッジ判定部２は、フィルタリング部２Ａおよび判定部２Ｂを備える。
【００２４】
フィルタリング部２Ａは、以下のようにしてフィルタリング処理を行う。図３はフィルタリング部２Ａにおいて行われるフィルタリング処理を説明するための図である。フィルタリング部２Ａは、画像Ｓ０のｘ方向およびｙ方向のそれぞれについて一列毎に、補間画素Ｐが間に位置する隣接する２つの画素Ｇ２，Ｇ３およびこの２つの画素Ｇ２，Ｇ３のそれぞれに隣接する２つの画素Ｇ１，Ｇ４からなる直列に隣接する４つの画素Ｇ１〜Ｇ４について、互いに隣接する２つの画素からなる３つの画素ペアＧ１，Ｇ２、画素ペアＧ２，Ｇ３および画素ペアＧ３，Ｇ４に対して差分フィルタによるフィルタリング処理を施して、画素ペアＧ１，Ｇ２、画素ペアＧ２，Ｇ３および画素ペアＧ３，Ｇ４の画素値の差分を１次差分ｄ１，ｄ２，ｄ３として算出する。
【００２５】
図４は差分フィルタの例を示す図である。図４に示すように、本実施形態において使用される差分フィルタは、フィルタ値が（−１，１）の２タップのフィルタである。なお、差分フィルタはこれに限定されるものではなく、２つの画素値の重み付け差分を求めるフィルタ値を有するものや、２タップ以上の偶数タップ数を有するものを用いてもよい。
【００２６】
続いて、フィルタリング部２Ａは、３つの１次差分ｄ１，ｄ２，ｄ３における隣接する２つの１次差分ペアｄ１，ｄ２および１次差分ペアｄ２，ｄ３に対して、同様に差分フィルタによるフィルタリング処理を施して、１次差分ペアｄ１，ｄ２およびｄ２，ｄ３の差分を２次差分ｄ４，ｄ５として算出する。
【００２７】
さらに、フィルタリング部２Ａは、直列に隣接する４つの画素Ｇ１〜Ｇ４の中央の２つの画素Ｇ２，Ｇ３に対してフィルタリング処理を行い、画素Ｇ２，Ｇ３の画素値の差分ｄ０（＝ｄ２）を算出する。なお、上記１次差分ｄ２をそのまま差分ｄ０として用いてもよい。
【００２８】
判定部２Ｂは、１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負の関係に基づいて、隣接する２つの画素Ｇ２，Ｇ３の間にエッジが存在するか否かを判定する（第１の判定）。
【００２９】
図５から図７は、直列に隣接する４つの画素の１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負と、直列に隣接する４つの画素のプロファイル形状との関係を示す表である。直列に隣接する４つの画素の１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負は全１８種類の組み合わせがある。隣接する２つの画素Ｇ２，Ｇ３の間にエッジが存在する組み合わせは、図５に示すエッジ１およびエッジ２の２通りある。エッジ１は（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５）＝（＋，＋，＋，＋，−）となる右上がりエッジおよび（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５）＝（−，−，−，−，＋）となる左上がりエッジの２種類がある。エッジ２は（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５）＝（＋，＋，＋，＋，＋）となる下に凸の右上がりエッジ、（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５）＝（＋，＋，＋，−，−）となる上に凸の右上がりエッジ、（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５）＝（−，−，−，＋，＋）となる下に凸の左上がりエッジ、（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５）＝（−，−，−，−，−）となる上に凸の左上がりエッジの４種類がある。
【００３０】
判定部２Ｂは、図５から図７に示す表を記憶しており、直列に隣接する４つの画素の１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負の関係が、図５に示すエッジ１およびエッジ２の関係となる場合に、隣接する２つの画素Ｇ２，Ｇ３の間にエッジが存在すると判定する。また、直列に隣接する４つの画素の１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負の関係が、図６および図７に示す山、谷およびその他の関係となる場合に、隣接する２つの画素Ｇ２，Ｇ３の間にエッジが存在しないと判定する。
【００３１】
さらに判定部２Ｂは、第１の判定によりエッジが存在すると判定された場合に、画素Ｇ２，Ｇ３の画素値の差分ｄ０の絶対値が所定のしきい値Ｔｈ１以上であるか否かを判定し（第２の判定）、第２の判定が肯定されると、そこに真にエッジが存在すると判定する。一方、第２の判定が否定されるとそこにはエッジは存在しないものと判定する。このように第２の判定を行うのは、第１の判定においてエッジが存在すると判定されても、例えば図８に示すように、画素Ｇ２，Ｇ３の画素値の差が非常にわずかでノイズと見なせるような場合に、そこがエッジであるとして補間演算部３が後述するようにエッジ部分に適した補間演算を行い、かえってノイズが強調されてしまうことを防止するためである。このようにして判定がなされると、エッジ判定部２は、判定結果を補間演算部３に出力する。
【００３２】
補間演算部３は、境界設定部３Ａ、判定部３Ｂおよび演算部３Ｃを備え、エッジ判定部２の判定結果に基づいて、補間画素Ｐが間に位置する２つの隣接する画素の間がエッジであると判定された場合とエッジでないと判定された場合とで、演算部３Ｃがそれぞれ異なる演算により補間画素Ｐの画素値を算出する。具体的には、エッジでないと判定された場合は、演算部３Ｃはバイキュービック法を用いて補間画素Ｐの画素値を算出する。
【００３３】
ここで、バイキュービック法は３次補間の一手法であり、補間画素Ｐの近傍の１６画素を用いて補間画素Ｐの画素値を求める方法である。以下、バイキュービック法について説明する。
【００３４】
図９はバイキュービック法を説明するための図である。図９に示すように点Ｐを補間画素Ｐの位置とした場合、図９中黒丸で示される画素は第１次近傍、白丸で示される画素は第２次近傍と称される。第１次近傍および第２次近傍のそれぞれについて、下記の式（１）に示すようにｘ方向およびｙ方向それぞれに独立に距離ｄｘ，ｄｙ（式（１）においては単にｄと示す）に対して重みＷｘ，Ｗｙを求め、最終的にその画素に対する重みＷ＝ＷｘＷｙを得る。
【数１】
2005063198.tif 000003
【００３５】
例えば、図９における（−１，−１）の画素（第２次近傍）に対して、重みＷｘ，Ｗｙ，Ｗを求めると、
【数２】
2005063198.tif 000004
【００３６】
となる。
【００３７】
そして、Ｗ（ｉ，ｊ）を画素（ｉ，ｊ）の重み、ｆ（ｉ，ｊ）を画素（ｉ，ｊ）の画素値とすると、補間画素Ｐの画素値ｆ′（Ｐ）は、
【数３】
2005063198.tif 000005
【００３８】
により算出することができる。
【００３９】
なお、本実施形態においては、バイキュービック法をｘ方向またはｙ方向の１次元方向にのみ適用して、補間画素Ｐの画素値を算出するものとする。
【００４０】
一方、エッジであると判定された部分については、以下のようにして補間画素Ｐの画素値を求める。図１０は、エッジであると判定された部分についての画素値のプロファイルを示す図である。なお、図１０において、水平方向が画素が並ぶ方向であり、垂直方向が画素値の大きさを示す方向である。２つの隣接する画素Ｇ２，Ｇ３の間にエッジが存在すると判定された場合、その２つの画素にさらにそれぞれ隣接する２つの画素Ｇ１，Ｇ４を加えた直列に隣接する４つの画素Ｇ１〜Ｇ４の画素値のプロファイルは図１０（ａ）または図１０（ｂ）に示すものとなる。
【００４１】
プロファイルが図１０（ａ）に示すステップエッジ形状をなす場合、境界設定部３Ａが画素が並ぶ方向において画素Ｇ２，Ｇ３間の距離を二等分する中線Ｍ（一点鎖線参照）を境界として設定する。そして判定部３Ｂが補間画素Ｐが中線Ｍの右側に存在するか左側に存在するかを判定し、中線Ｍの右側に補間画素（Ｐ１とする）が存在する場合には、演算部３Ｃが画素Ｇ３，Ｇ４を結ぶ直線の延長線上の値を補間画素Ｐ１の画素値として算出する。また、中線Ｍの左側に補間画素（Ｐ２とする）が存在する場合には、演算部３Ｃが画素Ｇ１，Ｇ２を結ぶ直線の延長線上の値を補間画素Ｐ２の画素値として算出する。
【００４２】
プロファイルが図１０（ｂ）に示すエッジ形状をなす場合、境界設定部３Ａが画素Ｇ１，Ｇ２を結ぶ直線の延長線と、画素Ｇ３，Ｇ４を結ぶ直線の延長線との交点Ｃを境界として設定する。そして、判定部３Ｂが補間画素Ｐが交点Ｃの右側に存在するか左側に存在するかを判定し、交点Ｃの右側に補間画素Ｐ１が存在する場合には、演算部３Ｃが画素Ｇ３，Ｇ４を結ぶ直線の延長線上の値を補間画素Ｐ１の画素値として算出する。また、交点Ｃの左側に補間画素Ｐ２が存在する場合には、演算部３Ｃが画素Ｇ１，Ｇ２を結ぶ直線の延長線上の値を補間画素Ｐ２の画素値として算出する。
【００４３】
なお、ここでは２つの画素の画素値のみを用いて補間画素Ｐの画素値を算出しているが、３以上の画素の画素値を用いてもよい。この場合、画素を直線で結ぶことが困難な場合がある。このため、スプライン曲線等の任意の関数により規定される曲線により画素を結び、その曲線の延長線上の値を補間画素Ｐの値とすればよい。
【００４４】
ここで、以降の説明において、エッジであると判定された場合の演算を第１の補間演算、エッジでないと判定された場合の演算を第２の補間演算と称する。
【００４５】
次いで、本実施形態において行われる処理について説明する。図１１は本実施形態において行われる処理を示すフローチャートである。なお、本実施形態においては、補間画素Ｐは、画像Ｓ０の画素の間に存在するものとする。まず、入力部１が拡大する画像データＳ０および画像データＳ０の拡大率Ｋの入力を受け付ける（ステップＳ１）。そして、画素を補間する方向をまずｘ方向に設定する（ステップＳ２）。次いで、拡大率Ｋに応じた最初の補間画素Ｐ（例えば拡大された画像データＳ１により表される画像（以下画像についても同様に参照符号Ｓ１を用いる）上左上に位置する画素）について、エッジ判定部２のフィルタリング部２Ａがその補間画素Ｐが間に位置する直列に隣接する４つの画素Ｇ１〜Ｇ４から１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５を算出する（ステップＳ３）。また、フィルタリング部２Ａは画素Ｇ２，Ｇ３に対して差分フィルタによるフィルタリング処理を施して差分ｄ０を算出する（ステップＳ４）。
【００４６】
そして、判定部２Ｂが１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負の関係に基づいて、補間画素Ｐが間に位置する隣接する２つの画素Ｇ２，Ｇ３の間にエッジが存在するか否かを判定する（第１の判定、ステップＳ５）。ステップＳ５が肯定されると、判定部２Ｂが差分ｄ０の絶対値がしきい値Ｔｈ１以上であるか否かを判定する（第２の判定、ステップＳ６）。
【００４７】
ステップＳ６が肯定されると、直列に隣接する４つの画素Ｇ１〜Ｇ４の中央の２つの画素Ｇ２，Ｇ３間にエッジが存在するものとして、補間演算部３は上記第１の補間演算により補間画素Ｐの画素値を算出する（ステップＳ７）。一方、ステップＳ５およびステップＳ６が否定されると、中央の２つの画素Ｇ２，Ｇ３間にエッジが存在しないものとして、補間演算部３は上記第２の補間演算により補間画素Ｐの画素値を算出する（ステップＳ８）。
【００４８】
図１２は第１の補間演算のフローチャートである。まず、補間演算部３の境界設定部３Ａが中央の２つの画素Ｇ２，Ｇ３間に中線Ｍまたは交点Ｃを境界として設定する（ステップＳ２１）。そして、判定部３Ｂが補間画素Ｐが境界のいずれの側にあるかを判定し（ステップＳ２２）、演算部３Ｃが補間画素Ｐが存在する側の画素のみを用いて補間演算を行って補間画素Ｐの画素値を算出する（ステップＳ２３）。
【００４９】
図１１に戻り、次いで制御部４が全ての補間画素Ｐについて画素値を算出したか否かを判定し（ステップＳ９）、ステップＳ９が否定されると、画素値を算出する補間画素Ｐを次の補間画素Ｐに設定し（ステップＳ１０）、ステップＳ３に戻る。
【００５０】
ステップＳ９が肯定されると、ｙ方向についても全ての補間画素Ｐについて画素値を算出したか否かを判定する（ステップＳ１１）。ステップＳ１１が否定されると、補間方向をｙ方向に設定し（ステップＳ１２）、ステップＳ３に戻る。ステップＳ１１が肯定されると、補間画素Ｐからなる拡大された画像データＳ１を出力し（ステップＳ１３）、処理を終了する。
【００５１】
このように本実施形態においては、エッジが存在するか否かを検出する際に、上述したように差分ｄ０、１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５を算出しているのみであるため、簡易な演算により高速にエッジが存在するか否かを検出することができる。
【００５２】
また、画像Ｓ０の画素の間にエッジが存在する場合には、図１０（ａ），（ｂ）に示すように境界のいずれの側に補間画素Ｐが存在するかを判定し、補間画素Ｐが存在する側の画素のみを用いて補間画素Ｐの画素値を算出するようにしたため、補間画素Ｐの画素値は、補間画素Ｐの両隣の画素Ｇ２，Ｇ３の画素値には影響されず、片方の側の画素値のみを反映させたものとなる。したがって、上記図１３（ａ），（ｂ）に示すように、補間画素Ｐの両隣の画素Ｇ２，Ｇ３の画素値を用いて補間画素Ｐの画素値を算出する場合と比較して、エッジのボケが少なくなるように補間画素Ｐの画素値を算出することができ、これによりエッジのボケの少ない拡大縮小された画像Ｓ１を得ることができる。
【００５３】
また、画像Ｓ０の画素の間にエッジが存在する場合には、画像Ｓ０を一方向に拡大縮小、すなわち補間画素Ｐの画素値を算出した後に他方向に拡大縮小、すなわち補間画素Ｐの画素値を算出しているため、２次元状に一度の演算により補間画素Ｐの画素値を算出する場合と比較して、補間画素Ｐの画素値を高速に算出することができる。
【００５４】
なお、上記実施形態においては、隣接する画素Ｇ１〜Ｇ４に図４に示す差分フィルタによるフィルタリング処理を行って１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５を算出し、１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負の関係および差分ｄ０の絶対値がしきい値Ｔｈ１以上であるか否かの判定結果に基づいて、画素Ｇ２，Ｇ３間にエッジが存在するか否かを判定しているが、１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負の関係にのみ基づいて画素Ｇ２，Ｇ３間にエッジが存在するか否かを判定してもよい。
【００５５】
また、上記実施形態においては、エッジでないと判定された場合、バイキュービック法を用いて補間画素Ｐ近傍の１６画素の画素値（１次元方向では４画素）から補間画素Ｐの画素値を算出しているが、補間画素Ｐ近傍の９画素（１次元方向では３画素）あるいは４画素（１次元方向では２画素）の画素値から補間画素Ｐの画素値を算出してもよい。また、ｘ方向またはｙ方向の１次元の補間演算により補間画素Ｐの画素値を算出しているが、エッジが存在しないと判定された場合においてのみ、２次元の補間演算により補間画素Ｐの画素値を算出してもよい。さらに、バイキュービック法のみならず、線形補間法、最近傍法およびバイリニア法等を用いて補間画素Ｐの画素値を算出してもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施形態による画像拡大縮小装置の構成を示す概略ブロック図
【図２】画像データにより表される画像の画素配列を示す図
【図３】フィルタリング部において行われるフィルタリング処理を説明するための図
【図４】差分フィルタの例を示す図
【図５】１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負と、直列に隣接する４つの画素のプロファイル形状との関係を示す表（その１）
【図６】１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負と、直列に隣接する４つの画素のプロファイル形状との関係を示す表（その２）
【図７】１次差分ｄ１，ｄ２，ｄ３および２次差分ｄ４，ｄ５の正負と、直列に隣接する４つの画素のプロファイル形状との関係を示す表（その３）
【図８】隣接する２つの画素の画素値の差が非常にわずかであるのにエッジと判定されるプロファイル形状の例を示す図
【図９】バイキュービック法を説明するための図
【図１０】エッジであると判定された部分についての補間画素の画素値の算出を説明するための図
【図１１】本実施形態において行われる処理を示すフローチャート
【図１２】第１の補間演算のフローチャート
【図１３】従来の補間演算を説明するための図
【符号の説明】
【００５７】
１    入力部
２    エッジ判定部
２Ａ  フィルタリング部
２Ｂ  判定部
３    補間演算部
３Ａ  境界設定部
３Ｂ  判定部
３Ｃ  演算部
４    制御部
【図１】
2005063198.tif 000006
【図２】
2005063198.tif 000007
【図３】
2005063198.tif 000008
【図４】
2005063198.tif 000009
【図５】
2005063198.tif 000010
【図６】
2005063198.tif 000011
【図７】
2005063198.tif 000012
【図８】
2005063198.tif 000013
【図９】
2005063198.tif 000014
【図１０】
2005063198.tif 000015
【図１１】
2005063198.tif 000016
【図１２】
2005063198.tif 000017
【図１３】
2005063198.tif 000018