(57)【要約】【課題】画像を拡大縮小処理する際に、鮮鋭度を高めると共にモスキートノイズを抑制する。【解決手段】補間係数算出手段１２０は、拡縮倍率βに基づいてキュービックスプライン補間係数ＣｉｊとＢスプライン補間係数Ｂｉｊとを夫々算出する。中周波数成分抽出手段１４０は、輝度成分生成手段１３０により生成された輝度成分Ｙから中周波数成分ＹＭを抽出する。重み付け係数設定手段１５０は、中周波数成分ＹＭを用いて補間画素の中周波数成分ＹＭｐを推定し、絶対値｜ＹＭｐ｜が大きい補間画素ほど、キュービックスプライン補間係数に重みを置くように重み付け係数αを設定する。補間演算手段１８０は、重み付け係数αで補間係数ＣｉｊとＢｉｊとを重み付け加算して得た補間係数を用いて、色階調処理手段１により得られた画像データＳ１に対して補間演算を行う。【選択図】          図１
2004288046.tif 000002
【特許請求の範囲】
【請求項１】
原画像を表す多数の原画素データＹｉｊに対して補間演算を行って、前記原画素データと画素ピッチの異なる補間画素データを求めることによって目的補間画像を得る画像処理方法であって、
第１の補間画像を得るための下記式（１）により表される補間関数ｆにおける前記各原画素データＹｉｊごとに対応する補間係数Ｂｉｊ、および前記第１の補間画像より鮮鋭度が高い第２の補間画像を得るための下記式（２）により表される補間関数ｇにおける前記各原画素データＹｉｊごとに対応する補間係数Ｃｉｊを夫々求め、
前記原画像中の中周波数成分を抽出し、
該中周波数成分に基づいて、前記目的補間画像における各補間点のエッジらしさを推定すると共に、該補間点に対応する重み付け係数αを、推定された該エッジらしさが大きいほど大きくなるように設定し、
前記補間係数ＢｉｊおよびＣｉｊを、設定された前記重み付け係数αで線形結合して得られた下記式（３）に示す新たな補間係数Ａｉｊを有する式（４）に示す補間関数ｈを用いた補間演算を施して補間画素データを求めることを特徴とする画像処理方法。
ｆ＝ΣＢｉｊ・Ｙｉｊ                        （１）
ｇ＝ΣＣｉｊ・Ｙｉｊ                        （２）
Ａｉｊ＝（１−α）Ｂｉｊ＋αＣｉｊ            （３）
ｈ＝ΣＡｉｊ・Ｙｉｊ                        （４）
（ただし、ｉ＝１，２，．．．、ｊ＝１，２，．．．）
【請求項２】
前記補間関数ｆが、Ｂスプライン補間演算関数であり、前記補間関数ｇが、キュービックスプライン補間演算関数であることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記目的補間画像における前記補間点の中周波数成分の絶対値を推定して該補間点のエッジらしさとすることを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
原画像を表す多数の原画素データＹｉｊに対して補間演算を行って、前記原画素データと画素ピッチの異なる補間データを求めることによって目的補間画像を得る画像処理装置であって、
第１の補間画像を得るための下記式（１）により表される補間関数ｆにおける前記各原画素データＹｉｊごとに対応する補間係数Ｂｉｊ、および前記第１の補間画像より鮮鋭度が高い第２の補間画像を得るための下記式（２）により表される補間関数ｇにおける前記各原画素データＹｉｊごとに対応する補間係数Ｃｉｊを夫々求める補間係数算出手段と、
前記原画像中の中周波数成分を抽出する抽出手段と、
該抽出手段により抽出された前記原画像中の中周波数成分に基づいて、前記目的補間画像における各補間点のエッジらしさを推定すると共に、該補間点に対応する重み付け係数αを、推定された該エッジらしさが大きいほど大きくなるように設定する重み付け係数設定手段と、
前記補間係数算出手段により算出された前記補間係数ＢｉｊおよびＣｉｊを、前記重み付け係数設定手段により設定された前記重み付け係数αで線形結合して得られた下記式（３）に示す新たな補間係数Ａｉｊを有する式（４）に示す補間関数ｈを用いた補間演算を施して補間画素データを求める補間演算手段とを備えたことを特徴とする画像処理装置。
ｆ＝ΣＢｉｊ・Ｙｉｊ                        （１）
ｇ＝ΣＣｉｊ・Ｙｉｊ                        （２）
Ａｉｊ＝（１−α）Ｂｉｊ＋αＣｉｊ            （３）
ｈ＝ΣＡｉｊ・Ｙｉｊ                        （４）
（ただし、ｉ＝１，２，．．．、ｊ＝１，２，．．．）
【請求項５】
前記補間関数ｆが、Ｂスプライン補間演算関数であり、前記補間関数ｇが、キュービックスプライン補間演算関数であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記重み付け係数設定手段が、前記目的補間画像における補間点の中周波数成分の絶対値を推定して該補間点のエッジらしさとするものであることを特徴とする請求項４または５記載の画像処理装置。
【請求項７】
原画像を表す多数の原画素データＹｉｊに対して補間演算を行って、前記原画素データと画素ピッチの異なる補間画素データを求めることによって目的補間画像を得る画像処理をコンピュータに行わせるためのプログラムであって、
前記画像処理が、第１の補間画像を得るための下記式（１）により表される補間関数ｆにおける前記各原画素データＹｉｊごとに対応する補間係数Ｂｉｊ、および前記第１の補間画像より鮮鋭度が高い第２の補間画像を得るための下記式（２）により表される補間関数ｇにおける前記各原画素データＹｉｊごとに対応する補間係数Ｃｉｊを夫々求める補間係数算出処理と、
前記原画像中の中周波数成分を抽出する抽出処理と、
該中周波数成分に基づいて、前記目的補間画像における補間点のエッジらしさを推定すると共に、該補間点に対応する重み付け係数αを、推定された該エッジらしさが大きいほど大きくなるように設定する重み付け係数設定処理と、
前記補間係数ＢｉｊおよびＣｉｊを、設定された前記重み付け係数αで線形結合して得られた下記式（３）に示す新たな補間係数Ａｉｊを有する式（４）に示す補間関数ｈを用いた補間演算を施して補間画素データを求める補間演算処理とからなることを特徴とするプログラム。
ｆ＝ΣＢｉｊ・Ｙｉｊ                        （１）
ｇ＝ΣＣｉｊ・Ｙｉｊ                        （２）
Ａｉｊ＝（１−α）Ｂｉｊ＋αＣｉｊ            （３）
ｈ＝ΣＡｉｊ・Ｙｉｊ                        （４）
（ただし、ｉ＝１，２，．．．、ｊ＝１，２，．．．）
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理、具体的には画像拡縮処理方法および装置並びにそのためのプログラムに関するものである。
【０００２】
【従来の技術】
デジタル画像データ（ネガフィルムをスキャナでスキャンして得たものや、デジタルカメラにより撮影して得たものなど。以下略して画像データという）により表される画像を拡大または縮小する処理は、様々な分野で行われている。原画像を拡大または縮小する際に、原画像を表す多数の画素データ（以下原画素データという）に対して補間演算を施すことによって、原画素データの数と異なるデータ数の補間画素データを求めることが必要であり、この補間演算を施す補間方法としては、従来より種々の方法が提案されているが、一般に３次のスプライン補間関数による方法がよく用いられている。この方法は、原画素データＹｋを各区間ごとに３次関数｛ｆｋ｝で結び、補間点の設定位置（上記各区間内での設定位置）におけるｆｋの値を補間画素データとするものである。
【０００３】
３次のスプライン補間関数を用いた補間演算のうち、原画素データを通過する補間演算は、鮮鋭度が比較的高い補間方法であり、例えばキュービックスプライン（Ｃｕｂｉｃスプライン）補間演算などが知られている。キービックスプライン補間演算において、スプライン補間関数ｆｋは元のサンプル点（原画像の画素点）を通ることと、その第１階微分係数が各区間間で連続することが必要とされていて、補間演算して得た補間画素データにより表される補間画像は比較的に高い鮮鋭度を有するものである。一方、鮮鋭度が低いが滑らかな補間画像を表す補間画素データを得る補間関数としては、例えばＢスプライン補間演算が知られている。Ｂスプライン補間演算は、元のサンプル点を通ることは必要とされない代わりに、第１階微分係数および第２階微分係数が各区間間で連続することが必要とされていて、補間演算して得た補間画素データにより表される補間画像は鮮鋭度が低いが滑らかである。
【０００４】
具体的には、例えば、連続する画素点Ｘｋ−２，Ｘｋ−１，Ｘｋ，Ｘｋ＋１，Ｘｋ＋２，．．．の原画素データを図２に示すように夫々Ｙｋ−２，Ｙｋ−１，Ｙｋ，Ｙｋ＋１，Ｙｋ＋２，．．．とし、各区間のＸｋ−２〜Ｘｋ−１，Ｘｋ−１〜Ｘｋ，Ｘｋ〜Ｘｋ＋１，Ｘｋ＋１〜Ｘｋ＋２の間隔（格子間隔という）を１とし、補間点（補間画素点）が区間Ｘｋ〜Ｘｋ＋１の範囲に、画素点Ｘｋからの画素点Ｘｋ＋１方向への補間点ＸＰの位置をｔ（０≦ｔ≦１）とすれば、キュービックスプラインの補間演算により補間点ＸＰのデータ（補間画素データ）ＹＰは下記の式（５）に示す補間関数で求められる一方、Ｂスプラインの補間演算により補間点ＸＰのデータ（補間画素データ）ＹＰは下記の式（６）に示す補間関数で求められる。
【０００５】
【数１】
2004288046.tif 000003
【数２】
2004288046.tif 000004
ここで、式（５）および式（６）における原画素データＹｋ−１，Ｙｋ，Ｙｋ＋１，Ｙｋ＋２の各係数を補間係数と称する。すなわち、式（５）により示すキュービックスプライン補間演算における補間係数は原画素データＹｋ−１，Ｙｋ，Ｙｋ＋１，Ｙｋ＋２に対応して夫々Ｃｋ−１，Ｃｋ，Ｃｋ＋１，Ｃｋ＋２であり、式（６）により示すＢスプライン補間演算における補間係数は原画素データＹｋ−１，Ｙｋ，Ｙｋ＋１，Ｙｋ＋２に対応して夫々Ｂｋ−１，Ｂｋ，Ｂｋ＋１，Ｂｋ＋２である。式（５）に示す補間演算を各区間について繰り返すことによりキュービックスプライン補間演算による、原画素データとは画素ピッチの異なる補間画素データを得ることができ、式（６）に示す補間演算を各区間について繰り返すことによりＢスプライン補間演算による、原画素データと画素ピッチの異なる補間画素データを得ることができる。
【０００６】
このように、鮮鋭度の高い補間画像を得たい場合は例えばキュービックスプライン補間演算を用い、鮮鋭度が低いが滑らかな補間画像を得たい場合はＢスプライン補間演算を用いればよい。
【０００７】
さらに、最もシャープな鮮鋭度から最も滑らかな鮮鋭度の範囲内の中間的な所望する鮮鋭度の補間画像を得るために、特許文献１には、画像に対して拡大または縮小処理する際に、互いに鮮鋭度が異なる２つの補間関数の対応する係数同士を、所望とする補間画像の鮮鋭度に応じて重み付け加算することにより、補間画像の鮮鋭度をきめ細かく調整することを可能とした画像データの補間方法が提案されている。この方法によれば、例えば鮮鋭度が互いに異なる２つの補間関数として上記キュービックスプライン補間演算とＢスプライン補間演算を採用した場合、補間係数は、キュービックスプライン補間演算の補間係数とＢスプライン補間演算の補間係数とを、原画像のサンプル点（画素点）に対応するごとに重み付けして加算して得たものであり、この重み付けの割合（重み付け係数）αを変更することにより、最もシャープな鮮鋭度から最も滑らかな鮮鋭度の範囲の内の中間的な所望とする鮮鋭度の補間画像を得ることができる。
【０００８】
すなわち、キュービックスプライン補間演算の補間係数をＣｋ−１，Ｃｋ，Ｃｋ＋１，Ｃｋ＋２、Ｂスプライン補間演算の補間係数をＢｋ−１，Ｂｋ，Ｂｋ＋１，Ｂｋ＋２としたときに、重み付けのされた補間係数Ａｋ−１，Ａｋ，Ａｋ＋１，Ａｋ＋２を、下記の式（７）のように設定する。
【０００９】
【数３】
2004288046.tif 000005
このようにして得られた新たな補間係数Ａｋ−１，Ａｋ，Ａｋ＋１，Ａｋ＋２に基づいて下記の式（８）により補間画素データＹＰを算出する。
【００１０】
【数４】
2004288046.tif 000006
なお、実際の画像は画素が２次元に配列されて形成されるため、上記補間係数Ａｋを、互いに異なる２つの配列方向（ｉ方向、ｊ方向）ごとの補間係数Ａｉｊと表すものとする。
【００１１】
特許文献１に提案された方法は、互いに鮮鋭度が異なる２つの補間演算としてキュービックスプライン補間演算とＢスプライン補間演算とを採用した場合、０と１の範囲内に重み付け係数αを調整するようにしているので、キュービックスプライン補間演算による最もシャープな補間画像に対応する鮮鋭度から、Ｂスプライン補間演算による最も滑らかな補間画像に対応する鮮鋭度の範囲内でのみ鮮鋭度の調整が可能である。一方、補間画像についてより多彩な表現が求められる場合、例えば、キュービックスプライン補間演算単独で得られた補間画像よりもさらにシャープな鮮鋭度の補間画像や、Ｂスプライン補間演算単独で得られた補間画像よりもさらに滑らかな画像に対応する鮮鋭度の補間画像が要求される場合があり、特許文献１に提案された方法では、このような多彩な鮮鋭度についての要望に応えることはできない。
【００１２】
そこで、特許文献２には、重み付け係数αを０から１の範囲のものに限らず、任意の実数とすることによって、補間係数を求める際に使用した２つの補間演算の鮮鋭度の間の範囲内の鮮鋭度に限られない範囲の多彩な鮮鋭度を有する補間画像を得ることを可能とする方法が提案されている。
【００１３】
また、原画像に対する拡大縮小処理が様々な分野で行われ、通信の分野においても必要性が高まりつつある。特に、近年、通信技術の発展および移動通信網の整備に伴って、カメラ付きの携帯電話機などの携帯端末が急速に普及し、携帯端末の機能も充実し、携帯端末の表示画面の大サイズ化、高解像度化が進む背景において、画像データをそのまま表示すると画像が画面と比べて小さくて見づらくなるという問題を避けるために、画像を拡大処理して表示する必要性が生じる。
逆に、大きいサイズの画像データを表示画面の小さい携帯端末に表示させるとき、そのまま表示させると、画像が表示画面からはみ出し、全体像を見ることができないという問題があるため、この場合において、画像を縮小処理して表示することが望まれる。
【００１４】
一方、携帯通信網などのネットワーク上を流れる画像データは、通信時間の短縮、ネットワークの負荷の軽減などの理由から、通常圧縮されている。特に携帯電話機などの携帯端末の場合には、付属するカメラで撮影して得た画像データの殆どは他の携帯端末装置またはコンピュータなどに送信されるので、容量制限が厳しいため高圧縮されている。このように高圧縮された画像データは、圧縮に起因するノイズが目立つため、抑制する必要がある。その一方で、シャープ感も欠如するため、シャープネス補正を行うことによって鮮鋭度を高めることが望まれる。
【００１５】
また、圧縮に起因するノイズの中で、高周波数成分の欠如により、波状の符号化雑音として現れるノイズがある。これは主に画像の高周波数成分に存在し、復号画像中を蚊が飛んでいるように見えるため、モスキートノイズと呼ばれている。
【００１６】
【特許文献１】
特開平２−２７８４７８号公報
【００１７】
【特許文献２】
特開平９−９３４２５号公報
【００１８】
【発明が解決しようとする課題】
上述したように、高圧縮された画像を拡大縮小する際には、画像の鮮鋭度を高めることが望ましいので、拡大縮小処理する際に用いる補間演算の方法としてはキュービックスプライン補間演算が望ましいが、キュービックスプライン補間演算では、補間画像にモスキートノイズが残ってしまうという問題がある。
【００１９】
特許文献１および特許文献２に記載された補間方法による拡大縮小処理は、鮮鋭度が異なる２つの補間演算の補間係数を重み付け加算して処理済みの画像の鮮鋭度を調整することができるものの、補間画像の鮮鋭度を高くすればノイズも目立ってしまう。
【００２０】
また、画像を再生する際にモスキートノイズの抑制と拡大縮小処理を別々に行う方法もあるが、時間がかかり、迅速さが要求される携帯電話などの通信の分野には向いていない。
【００２１】
本発明は、上記事情に鑑みてなされたものであり、補間画像の鮮鋭度を高めるとともにモスキートノイズを抑制することができる拡大縮小処理を効率良く行うことができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【００２２】
【課題を解決するための手段】
本発明の画像処理方法は、原画像を表す多数の原画素データＹｉｊに対して補間演算を行って、前記原画素データと画素ピッチの異なる補間画素データを求めることによって目的補間画像を得る画像処理方法であって、
第１の補間画像を得るための下記式（１）により表される補間関数ｆにおける前記各原画素データＹｉｊごとに対応する補間係数Ｂｉｊ、および前記第１の補間画像より鮮鋭度が高い第２の補間画像を得るための下記式（２）により表される補間関数ｇにおける前記各原画素データＹｉｊごとに対応する補間係数Ｃｉｊを夫々求め、
前記原画像中の中周波数成分を抽出し、
該中周波数成分に基づいて、前記目的補間画像における各補間点のエッジらしさを推定すると共に、該補間点に対応する重み付け係数αを、推定された該エッジらしさが大きいほど大きくなるように設定し、
前記補間係数ＢｉｊおよびＣｉｊを、設定された前記重み付け係数αで線形結合して得られた下記式（３）に示す新たな補間係数Ａｉｊを有する式（４）に示す補間関数ｈを用いた補間演算を施して補間画素データを求めることを特徴とするものである。
【００２３】
ｆ＝ΣＢｉｊ・Ｙｉｊ                        （１）
ｇ＝ΣＣｉｊ・Ｙｉｊ                        （２）
Ａｉｊ＝（１−α）Ｂｉｊ＋αＣｉｊ            （３）
ｈ＝ΣＡｉｊ・Ｙｉｊ                        （４）
（ただし、ｉ＝１，２，．．．、ｊ＝１，２，．．．）
ここで、前記補間関数ｆと前記補間関数ｇとしては、夫々鮮鋭度の比較的低いＢスプライン補間演算関数と、これよりも鮮鋭度の高いキュービックスプライン補間演算関数とするのが望ましい。この両者の組み合わせの場合は、第１階微分係数が連続するからである。
【００２４】
ただし、本発明に用いられる補間関数ｆおよび補間関数ｇは、これらの組み合わせに限るものではなく、Ｂスプライン補間演算関数、キュービックスプライン補間演算関数、線形補間演算関数、ラグランジェ補間演算関数などの種々の補間演算関数を用いることができ、これらのうちの任意の２つ補間演算関数の組み合わせることができる。
【００２５】
また各補間係数Ｂｉｊ、Ｃｉｊは、画像を構成する画素の互いに異なる２つの配列方向（ｉ方向、ｊ方向とする）ごとの補間係数を意味するものである（従来技術の項に記載した補間係数Ｂｋ−１，Ｂｋ，Ｂｋ＋１，Ｂｋ＋２およびＣｋ−１，Ｃｋ，Ｃｋ＋１，Ｃｋ＋２などの各原画素データに乗じられる係数に該当する）。
【００２６】
本発明の画像処理方法は、原画像の中周波数成分に基づいて、目的補間画像を構成する各補間画素の位置（補間点）におけるエッジらしさを推定して、該エッジらしさが大きいほど、該補間画素に対応する重み付け係数αを大きく設定することを特徴とするものであり、「エッジらしさ」としては、該当する画素の部分がエッジ部分である可能性を示すことができるものであればいかなる値を用いてもよい。例えば、中周波数成分のＲＧＢ３色のうちの２色からなる少なくとも１組の色空間における、相対応する画素についての相関値や、中周波数成分において、平坦部、エッジ部についての出現数に対してプロットした局所分散値や、エッジ検出フィルタを中周波数成分に適用した濃度差などを中周波数成分におけるエッジらしさとして用いてもよく、演算を高速にする視点から、前記目的補間画像における補間画素の中周波数成分の絶対値を推定して該補間画素のエッジらしさとすることが好ましい。
【００２７】
また、目的補間画像における補間画素の中周波数成分を推定する方法としては、例えば、該補間画素と夫々相隣し、該補間画素を挟む２つの原画像における画素の中周波数成分の平均値や、１次補間値などを該補間画素の中周波数成分として推定するようにすればよい。
【００２８】
本発明の画像処理装置は、原画像を表す多数の原画素データＹｉｊに対して補間演算を行って、前記原画素データと画素ピッチの異なる補間データを求めることによって目的補間画像を得る画像処理装置であって、
第１の補間画像を得るための下記式（１）により表される補間関数ｆにおける前記各原画素データＹｉｊごとに対応する補間係数Ｂｉｊ、および前記第１の補間画像より鮮鋭度が高い第２の補間画像を得るための下記式（２）により表される補間関数ｇにおける前記各原画素データＹｉｊごとに対応する補間係数Ｃｉｊを夫々求める補間係数算出手段と、
前記原画像中の中周波数成分を抽出する抽出手段と、
該抽出手段により抽出された前記原画像中の中周波数成分に基づいて、前記目的補間画像における各補間点のエッジらしさを推定すると共に、該補間点に対応する重み付け係数αを、推定された該エッジらしさが大きいほど大きくなるように設定する重み付け係数設定手段と、
前記補間係数算出手段により算出された前記補間係数ＢｉｊおよびＣｉｊを、前記重み付け係数設定手段により設定された前記重み付け係数αで線形結合して得られた下記式（３）に示す新たな補間係数Ａｉｊを有する式（４）に示す補間関数ｈを用いた補間演算を施して補間画素データを求める補間演算手段とを備えたことを特徴とするものである。
【００２９】
ｆ＝ΣＢｉｊ・Ｙｉｊ                        （１）
ｇ＝ΣＣｉｊ・Ｙｉｊ                        （２）
Ａｉｊ＝（１−α）Ｂｉｊ＋αＣｉｊ            （３）
ｈ＝ΣＡｉｊ・Ｙｉｊ                        （４）
（ただし、ｉ＝１，２，．．．、ｊ＝１，２，．．．）
本発明の画像処理装置に用いられる２つの前記補間関数としては、前記補間関数ｆが、Ｂスプライン補間演算関数であり、前記補間関数ｇがが、キュービックスプライン補間演算関数であることが好ましい。
【００３０】
本発明の画像処理装置における前記重み付け係数設定手段は、前記目的補間画像における補間画素の中周波数成分の絶対値を推定して該補間画素のエッジらしさとするものであることが望ましい。
【００３１】
本発明のプログラムは、原画像を表す多数の原画素データＹｉｊに対して補間演算を行って、前記原画素データと画素ピッチの異なる補間画素データを求めることによって目的補間画像を得る画像処理をコンピュータに行わせるためのプログラムであって、
前記画像処理が、第１の補間画像を得るための下記式（１）により表される補間関数ｆにおける前記各原画素データＹｉｊごとに対応する補間係数Ｂｉｊ、および前記第１の補間画像より鮮鋭度が高い第２の補間画像を得るための下記式（２）により表される補間関数ｇにおける前記各原画素データＹｉｊごとに対応する補間係数Ｃｉｊを夫々求める補間係数算出処理と、
前記原画像中の中周波数成分を抽出する抽出処理と、
該中周波数成分に基づいて、前記目的補間画像における補間点のエッジらしさを推定すると共に、該補間点に対応する重み付け係数αを、推定された該エッジらしさが大きいほど大きくなるように設定する重み付け係数設定処理と、
前記補間係数ＢｉｊおよびＣｉｊを、設定された前記重み付け係数αで線形結合して得られた下記式（３）に示す新たな補間係数Ａｉｊを有する式（４）に示す補間関数ｈを用いた補間演算を施して補間画素データを求める補間演算処理とからなることを特徴とするものである。
【００３２】
ｆ＝ΣＢｉｊ・Ｙｉｊ                        （１）
ｇ＝ΣＣｉｊ・Ｙｉｊ                        （２）
Ａｉｊ＝（１−α）Ｂｉｊ＋αＣｉｊ            （３）
ｈ＝ΣＡｉｊ・Ｙｉｊ                        （４）
（ただし、ｉ＝１，２，．．．、ｊ＝１，２，．．．）
【００３３】
【発明の効果】
本発明の画像処理方法および装置は、原画像を表す多数の原画素データに対して補間演算を行うことにより目的補間画像を得るために互いに鮮鋭度が異なる補間関数の補間係数を重み付け加算して得た新たな補間係数を得、この補間係数を用いて補間演算を行う際に、モスキートノイズが中周波数成分に殆ど存在しないから中周波数成分から推定されたエッジらしさが確実であることを利用して、原画像の中周波数成分から目的補間画像における補間点のエッジらしさを推定し、該エッジらしさが大きい補間画素ほど、２つの補間関数のうちの鮮鋭度が高い補間関数の重みが大きくなるように重み付け係数を設定するようにしているので、エッジらしさが大きい、すなわちモスキートノイズである可能性が小さい補間画素ほど、そのデータは鮮鋭度の高い補間関数の重みが大きくなるように設定された重み付け係数で重み付け加算して得た補間係数により求められる一方、エッジらしさが小さい、すなわちモスキートノイズである可能性が大きい補間画素ほど、そのデータは鮮鋭度の高い補間関数の重みが小さくすなわち鮮鋭度の低い補間関数の重みが大きくなるように設定された重み付け係数で重み付け加算して得た補間係数により求められる。したがって、目的補間画像の鮮鋭度を高めつつ、モスキートノイズを抑制することができる。
【００３４】
また、鮮鋭度を高める処理およびモスキートノイズを抑制する処理は、拡大縮小処理に含まれているので、処理時間を短縮することができ、効率が良い。
【００３５】
本発明のプログラムは、本発明の画像処理方法をコンピュータに実行させることができる。
【００３６】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００３７】
図１は、本発明の実施形態となる画像再生装置の構成を示すブロック図である。図示のように、本実施形態の画像再生装置は、ＲＧＢの３色データである原画像データＳ０に対して色処理および階調処理を施して色階調処理済みの画像データＳ１を得る色階調処理手段１と、色階調処理済みの画像データＳ１に対して拡大縮小処理を行って拡縮済みの画像データＳ２を得る拡大縮小処理手段１００と、拡縮済みの画像データＳ２を表示する再生手段となるモニタ２とを備える。
【００３８】
色階調処理手段１は、画像データＳ０に基づいて、画像データＳ０に対して施す色処理および階調処理のパラメータを決定し、このパラメータを用いて画像データＳ０に対して色処理および階調処理を施して、色階調処理済みの画像データＳ１を得る。
【００３９】
拡大縮小処理手段１００は、モニタ２の表示画面の大きさに合わせて画像データＳ１を拡大縮小する拡縮倍率βを算出する拡縮倍率算出手段１１０と、拡縮倍率算出手段１１０により算出した拡縮倍率βに基づいてキュービックスプライン補間関数の補間係数ＣｉｊおよびＢスプライン補間関数の補間係数Ｂｉｊを算出する補間係数算出手段１２０と、色階調処理済みの画像データＳ１を構成するＲＧＢ色データから輝度成分Ｙを生成する輝度成分生成手段１３０と、輝度成分生成手段１３０により生成した輝度成分Ｙから中周波数成分ＹＭを抽出する中周波数成分抽出手段１４０と、該中周波数成分ＹＭに基づいて、重み付け係数αを設定する重み付け係数設定手段１５０と、補間係数算出手段１２０により算出された補間係数Ｂｉｊ、Ｃｉｊおよび重み付け係数設定手段１５０により設定された重み付け係数αを用いて、色階調処理手段１により得られた色階調処理済みの画像データＳ１に対して補間演算を行って補間画像データである拡縮済みの画像データＳ２を得る補間演算手段１８０とを備えてなる。以下、拡大縮小処理手段１００の各構成について具体的に説明する。
【００４０】
補間係数算出手段１２０は、キュービックスプライン補間係数算出手段１２２とＢスプライン補間係数算出手段１２４とを備えてなる。キュービックスプライン補間係数算出手段１２２は、上述の式（５）により示されるキュービックスプライン補間演算式における各原画素データＹｋ−１，Ｙｋ，Ｙｋ＋１，Ｙｋ＋２に夫々対応する補間係数Ｃｋ−１，Ｃｋ，Ｃｋ＋１，Ｃｋ＋２を原画像における画素ＸｋとＸｋ＋１の間に位置する補間点Ｘｐの補間係数として、全ての補間点に対して求めるものであり、Ｂスプライン補間係数算出手段１２４は、上述の式（６）により示されるＢスプライン補間演算式における各原画素データＹｋ−１，Ｙｋ，Ｙｋ＋１，Ｙｋ＋２に夫々対応する補間係数Ｂｋ−１，Ｂｋ，Ｂｋ＋１，Ｂｋ＋２を原画像における画素ＸｋとＸｋ＋１の間に位置する補間点Ｘｐの補間係数として、全ての補間点に対して求めるものである。なお、画像の画素は２次元に配列されて形成されるため、上記補間係数Ｃｋ−１，Ｃｋ，Ｃｋ＋１，Ｃｋ＋２およびＢｋ−１，Ｂｋ，Ｂｋ＋１，Ｂｋ＋２は、画像を構成する画素の互いに異なる２つの配列方向（ｉ方向、ｊ方向とする）ごとに求められるものであり、そのように求められたものを、夫々ＣｉｊとＢｉｊと表記する。
【００４１】
なお、補間係数ＣｉｊおよびＢｉｊを求める際に使用されるｔは、格子間隔を１に規格化し、画素Ｘｋを基準としたときの補間点Ｘｐの画素Ｘｋ＋１方向への位置を示すものであり、原画像（画像データＳ１により表される画像）における格子間隔と、拡縮倍率算出手段１１０により算出された拡縮倍率βから求められる。
【００４２】
輝度成分生成手段１３０は、画像データＳ１を構成するＲＧＢ色データＲ１、Ｇ１、Ｂ１に対して下記の式（９）に示す演算を施すことにより輝度成分Ｙを生成する。
【００４３】
Ｙ＝０．３Ｒ１＋０．５９Ｇ１＋０．１１Ｂ１      （９）
中周波数成分抽出手段１４０は、輝度成分Ｙに対して７×７ローパスフィルタ（ＬＰＦ）によるフィルタリング処理を施して輝度成分Ｙの低周波数成分ＹＬを得るフィルタリング手段１４２と、輝度成分Ｙに対して３×３ローパスフィルタによるフィルタリング処理を施して輝度成分Ｙの低中周波数成分ＹＬＭを得るフィルタリング手段１４４と、下記の式（１０）に従って低中周波数成分ＹＬＭから低周波数成分ＹＬを減算して中周波数成分ＹＭを得る減算手段１４６とを備えてなる。なお、ローパスフィルタは上述したものに特に限る必要はなく、画像の特性に応じて例えばそのサイズを変えたりしてもよい。
【００４４】
ＹＭ＝ＹＬＭ−ＹＬ                              （１０）
重み付け係数設定手段１５０は、中周波数成分抽出手段１４０により得られた各画素の中周波数成分ＹＭから、各補間点Ｘｐの中周波数成分ＹＭｐを推定してその絶対値｜ＹＭｐ｜を該補間点の画素（補間画素）のエッジらしさとし、このエッジらしさに応じて図３に示すテーブルＴ０に従って重み付け係数αを設定して補間演算手段１８０に供するものである。
【００４５】
重み付け係数設定手段１５０は、下記の式（１１）に従って画素ＸｋとＸｋ＋１の間に位置する補間点Ｘｐの中周波数成分ＹＭｐを推定する。
【００４６】
ＹＭｐ＝（ＹＭ）Ｋ×（１−ｔ）＋（ＹＭ）Ｋ＋１×ｔ    （１１）
ただし、（ＹＭ）Ｋ：画素ＸＫにおける中周波数成分
（ＹＭ）Ｋ＋１：画素ＸＫ＋１における中周波数成分
図３は、重み付け係数設定手段１５０が重み付け係数αの設定に用いたテーブルＴ０を示すものである。なお、横軸は中周波数成分ＹＭｐの絶対値を表したものであるが、その数値はデータのビット数により変わるため、図示の数値に限るものではない。縦軸の重み付け係数αについても同様である。図示のように、テーブルＴ０は、推定された中周波数成分ＹＭｐの絶対値｜ＹＭｐ｜が所定の第１の閾値（ここでは２０）より小さい補間画素（すなわち、エッジらしさが小さく、ノイズである可能性が高い補間点の画素）に対して重み付け係数αを０に、絶対値｜ＹＭｐ｜がこの所定の第１の閾値より大きいが、所定の第２の閾値（ここでは６０）より小さい補間画素（すなわち、エッジらしさが比較的に大きく、ノイズである可能性が比較的に小さい画素）に対して絶対値｜ＹＭｐ｜が大きいほど重み付け係数αを大きく設定するようにするものである。すなわち、エッジらしさが低い（｜ＹＭｐ｜≦２０）補間画素に対して、鮮鋭度を高めるよりもモスキートノイズの抑制を重視し、Ｂスプライン補間演算方法により補間画像データを求めるようにする一方、エッジらしさが比較的に大きい（２０≦｜ＹＭｐ｜≦６０）補間画素に対して、そのエッジらしさが大きいほど鮮鋭度を高めるように、すなわちキュービックスプライン補間演算に重みを置くようにして補間画像データを求めるように重み付け係数αが設定される。
【００４７】
片方、推定された中周波数成分ＹＭｐの絶対値｜ＹＭｐ｜が所定の第２の閾値よりも大きい補間画素の場合、ノイズである可能性がないので、この補間画素に対して鮮鋭度を高めるため、完全にキュービックスプライン補間演算により補間画素データを求めるように、重み付け係数αが１となる。
【００４８】
このように、図３に示すテーブルＴ０を参照して、重み付け係数設定手段は、推定さいれた補間画素の中周波数成分ＹＭｐの絶対値｜ＹＭｐ｜に応じて重み付け係数αを設定する。
【００４９】
補間演算手段１８０は、重み付け係数設定手段１５０により設定された重み付け係数αを用いて、上記の式（７）に従って、補間係数算出手段１２０により算出されたキュービックスプライン補間係数ＣｉｊおよびＢスプライン補間係数Ｂｉｊに対して重み付け加算を行って補間係数Ａｉｊを得、この補間係数Ａｉｊを用いて、上記の式（８）に従って色階調処理済みの画像データＳ１に対して補間演算を行って補間画像データである拡縮済みの画像データＳ２を得る。
【００５０】
図４は、本実施形態の画像再生装置の動作を示すフローチャートである。図示のように、本実施形態の画像再生装置は、画像データＳ０を再生するのに当たって、まず、色階調処理手段１により画像データＳ０に対して色処理および階調処理を行って、色階調処理済みの画像データＳ１を得る（Ｓ１０）。拡縮倍率算出手段１１０は、画像データＳ１をモニタ２の画面サイズに合わせて表示するための拡縮倍率βを算出し（Ｓ２０）、補間係数算出手段１２０は、この拡縮倍率βに対応したキュービックスプライン補間演算とＢスプライン補間演算の補間係数ＣｉｊとＢｉｊとを夫々算出する（Ｓ２５）。輝度成分生成手段１３０は、ＲＧＢ画像データである画像データＳ１の輝度成分Ｙを生成し（Ｓ３０）、中周波数成分抽出手段１４０は、輝度成分Ｙから中周波数成分ＹＭを抽出する（Ｓ３２）。重み付け係数設定手段１５０は、中周波数成分抽出手段１４０により抽出した中周波数成分ＹＭを用いて各補間画素の中周波数成分ＹＭｐを推定してその絶対値｜ＹＭｐ｜に応じて重み付け係数αを設定する（Ｓ３４）。補間演算手段１８０は、重み付け係数設定手段１５０により設定された重み付け係数αを用いて、補間係数算出手段１２０により算出した補間係数ＣｉｊとＢｉｊとを重み付け加算し、重み付け加算して得た新しい補間係数Ａｉｊを用いて色階調処理済みの画像データＳ１に対して補間演算を行って補間画像データＳ２を得る（Ｓ４０）。再生手段となるモニタ２は、補間画像データ、すなわち拡縮済みの画像データＳ２を画面に表示することによって再生する（Ｓ５０）。
【００５１】
このように、本実施形態の画像再生装置によれば、鮮鋭度の高い補間画像を得ることができるキュービックスプライン補間演算と滑らかな補間画像を得ることができるＢスプライン補間演算の補間係数を重み付け加算して得た新しい補間係数を用いて補間演算を行い、補間画像を得ることによって原画像に対して拡大縮小処理を行う際に、原画像の中周波数成分から補間点のエッジらしさを推定し、エッジらしさが大きい補間点ほど、この補間点のデータ（補間画素データ）を求めるときにキュービックスプライン補間演算に重みを置くように重み付け係数を設定して補間演算を行うようにしているので、補間画像において、エッジらしさが大きい画素の部分は鮮鋭度が高く、エッジらしさが小さい画素の部分はモスキートノイズが抑制されて滑らかであり、画質が良い。
【００５２】
また、画像に対して拡大縮小処理を行うと同時にモスキートノイズの抑制を行っているので、処理時間の短縮を図ることができ、効率が良い。
【００５３】
以上、本発明の１つの望ましい実施形態について説明したが、本発明の画像処理方法および装置は、上述した実施形態に限られることがなく、本発明の主旨を変えない限り、種々の変更、増減を加えることができる。
【００５４】
例えば、上述した実施形態において、拡大縮小処理手段１００は、再生手段となるモニタ２の画面サイズに合わせて画像の拡縮倍率βを算出するようにしているが、操作者により拡縮倍率を入力するようにしてもよい。
【００５５】
また、上述した実施形態は、画像再生装置自身により拡大縮小処理を行うようにしているが、拡大縮小処理を行う部分と拡大縮小処理済みの画像データを再生（例えば表示）する部分とが別々になるような構成であってもよい。例えば、本発明の画像処理方法をおよび装置を、携帯電話機間の中継を行う中継サーバ装置に適用し、中継サーバ装置は、送信元の携帯電話機から送信されてきた画像データを送信先の携帯電話機に転送する際に、送信先の携帯電話機の画面サイズに合わせて拡大縮小処理を行うようにしてもよい。
【００５６】
また、上述した実施形態の画像再生装置において、キュービックスプライン補間演算とＢスプライン補間演算の補間係数の重み付け係数αを０〜１の範囲内に設定するようにしているが、特許文献２に記載されたように、重み付け係数αを０から１の範囲のものに限らず、例えば、図５に示すテーブルＴ’０のように設定するようにすれば、エッジらしさが大きい補間画素の部分はより高い鮮鋭度を有し、エッジらしさが小さい補間画素の部分はモスキートノイズがより抑制されて滑らかになる。
【００５７】
また、上述した実施形態の画像再生装置において、補間画素の中周波数成分を推定してその絶対値をこの補間画素の中周波数成分におけるエッジらしさとし、このエッジらしさに応じて重み付け係数αを直接設定するようにしているが、例えば、特許文献２に記載されたように、所望する補間画像の鮮鋭度に対応した重み付け係数（ここではα０とする）を入力すると共に、補間画素の中周波数成分におけるエッジらしさに応じて、このエッジらしさが大きいほど、入力された重み付け係数α０を大きくするように修正するようにして重み付け係数を設定するよいにしてもよい。こうすることによって、操作者所望の鮮鋭度を考慮に入れると共に、モスキートノイズを抑制した補間演算を実現することができる。
【００５８】
なお、この場合、直接所望の重み付け係数α０を入力するようにしてもよいが、特許文献２に記載されたように、無機質な係数である重み付け係数α０を入力する代わりに、補間画像に対する所望のレスポンスＲを入力し、Ｂスプライン補間関数についての空間周波数とレスポンスＲ１とを互いに異なる複数の画像拡縮倍率ごとに予め対応付けて設定された複数の第１のルックアップテーブル、およびキュービックスプライン補間関数についての空間周波数とレスポンスＲ２とを互いに異なる複数の画像拡縮倍率ごとに予め対応付けて設定された複数の第２のルックアップテーブルのうち、補間画像の拡縮倍率に対応した第１のルックアップテーブルおよび第２のルックアップテーブルを参照して、この画像拡縮倍率におけるＢスプライン補間関数のレスポンスＲ１およびキュービックスプライン補間関数のレスポンスＲ２を求め、求められたレスポンスＲ１およびレスポンスＲ２と所望のレスポンスＲとに基づいて重み付け係数α０を求めるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の実施形態となる画像再生装置の構成を示すブロック図
【図２】補間演算を説明するための図
【図３】図１に示す画像再生装置における重み付け係数設定手段１５０が用いたテーブルＴ０を示す図
【図４】図１に示す画像再生装置の動作を示すフローチャート
【図５】重み付け係数を設定するための他のテーブルの例Ｔ’０を示す図
【符号の説明】
１    色階調処理手段
２    モニタ
１００    拡大縮小処理手段
１１０    拡縮倍率算出手段
１２０    補間係数算出手段
１２２    キュービックスプライン補間係数算出手段
１２４    Ｂスプライン補間係数算出手段
１３０    輝度成分生成手段
１４０    中周波数成分抽出手段
１４２，１４４    フィルタリング手段
１４６    減算手段
１５０    重み付け係数設定手段
１８０    補間演算手段
Ｓ０    原画像データ
Ｓ１    色階調処理済みの画像データ
Ｓ２    拡縮処理済みの画像データ
α    重み付け係数
β    拡縮倍率
【図１】
2004288046.tif 000007
【図２】
2004288046.tif 000008
【図３】
2004288046.tif 000009
【図４】
2004288046.tif 000010
【図５】
2004288046.tif 000011