(57)【要約】【課題】　シャープ且つジャギーが目立たない拡大画像を広範な拡大率において得ることのできる画素補間装置、画素補間方法及び画素補間プログラムを提供する。【解決手段】　注目画素から注目画素と等しい色情報をもつ複数の画素を配列した画素ブロックであって非方形かつ既定形状のドットマトリックスである画素ブロックを生成し、入力ディジタル画像の各画素ごとに生成する画素ブロックを格子状に配列した拡大ディジタル画像を生成し、この拡大ディジタル画像を表現する拡大画像データを出力する。すなわち、入力ディジタル画像を構成する画素を非方形かつ既定形状に配列することにより画素ブロックが生成され、この画素ブロックはディジタル画像を構成する各画素について生成される。画素ブロックが格子状に配列されることにより拡大ディジタル画像が表現される。【選択図】　図１
2004080823.tif 000002
【特許請求の範囲】
【請求項１】
　ディジタル画像を表現する画像データを入力する入力手段と、
　前記ディジタル画像の注目画素と等しい色情報をもち前記注目画素以外の画素の色情報を用いずに生成される複数の画素からなり非方陣かつ既定配列のドットマトリックスである画素ブロックを隙間なく配列した拡大ディジタル画像を表現する拡大画像データを出力する出力手段と、
　を備えることを特徴とする画素補間装置。
【請求項２】
　前記画素ブロックの輪郭線は微視的な凹凸を内包する巨視的な凹凸をもつことを特徴とする請求項１記載の画素補間装置。
【請求項３】
　前記画素ブロックは点対称の形状であることを特徴とする請求項１又は２記載の画素補間装置。
【請求項４】
　前記拡大ディジタル画像に対しエッジ部分の平滑化処理及び画素補間処理を施す二次出力手段をさらに備えることを特徴とする請求項１、２又は３記載の画素補間装置。
【請求項５】
　ディジタル画像を表現する画像データを入力する入力段階と、
　前記ディジタル画像の注目画素と等しい色情報をもち前記注目画素以外の画素の色情報を用いずに生成される複数の画素からなり非方陣かつ既定配列のドットマトリックスである画素ブロックを隙間なく配列した拡大ディジタル画像を表現する拡大画像データを出力する出力段階と、
　を含むことを特徴とする画素補間方法。
【請求項６】
　前記画素ブロックの輪郭線は微視的な凹凸を内包する巨視的な凹凸をもつことを特徴とする請求項５記載の画素補間方法。
【請求項７】
　前記画素ブロックは点対称の形状であることを特徴とする請求項５又は６記載の画素補間方法。
【請求項８】
　前記拡大ディジタル画像に対しエッジ部分の平滑化処理及び画素補間処理を施す二次出力段階をさらに備えることを特徴とする請求項５、６又は７記載の画素補間方法。
【請求項９】
　ディジタル画像を表現する画像データを入力させる入力手順と、
　前記ディジタル画像の注目画素と等しい色情報をもち前記注目画素以外の画素の色情報を用いずに生成される複数の画素からなり非方陣かつ既定配列のドットマトリックスである画素ブロックを隙間なく配列した拡大ディジタル画像を表現する拡大画像データを出力させる出力手順と、
　をコンピュータに実行させるための画素補間プログラムを記録した記録媒体。
【請求項１０】
　前記画素ブロックの輪郭線は微視的な凹凸を内包する巨視的な凹凸をもつことを特徴とする請求項９記載の画素補間プログラムを記録した記録媒体。
【請求項１１】
　前記画素ブロックは点対称の形状であることを特徴とする請求項９又は１０記載の画素補間プログラムを記録した記録媒体。
【請求項１２】
　前記拡大ディジタル画像に対しエッジ部分の平滑化処理及び画素補間処理を施す手順をさらに含むことを特徴とする請求項９、１０又は１１記載の画素補間プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は画素補間装置、画素補間方法及び画素補間プログラムに関する。
【背景技術】
【０００２】
　コンピュータの出力装置はデバイスごとに解像度が異なるため、ディジタル画像を特定の大きさで出力するには出力装置の解像度に応じた画素補間が必要である。
　従来、画素を補間して画像を拡大する技術としてニアリストネイバ補間（最近隣内挿法）、３次たたみ込み内挿法（キュービックコンボリューション補間）等が知られている。また、特開２０００−１２３１６２号公報にはジャギーを目立たせない画素補間技術が開示されている。
【０００３】
【特許文献１】特開２０００−１２３１６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
　しかし、ニアリストネイバ補間による拡大処理は、処理時間が短いというメリットがある反面、補間処理により１つの画素が正方形に拡大されることになるため、水平方向と垂直方向の鋭いエッジラインが目立つジャギーの多い拡大画像が生成されるというデメリットがある。特に、非水平かつ非垂直方向に階調がなめらかに変化する部分では、水平方向及び垂直方向のブロックノイズが見苦しく目立つこととなる。
　一方、３次たたみ込み内挿法による拡大処理は、高度な演算処理を行うために１画素あたりの演算量がニアレストネイバ補間やバイリニア補間に比較して膨大であるため、倍率の大きな拡大処理を行う場合には処理時間が非常に長くなるという問題がある。さらに、３次たたみ込み内挿法による拡大処理によると、拡大画像で水平方向と垂直方向の鋭いエッジラインが目立つという問題が解消され比較的きれいな拡大画像が生成されるというメリットがある反面、拡大処理の内部に平均化処理を含むために画像の輪郭がぼけるという問題がある。
　また、特開２０００−１２３１６２号公報に開示される技術によると２．５倍程度にまで元画像を拡大する画素補間をする場合には画像のぼけが小さくシャープな画像を得ることができるものの、それ以上に元画像を拡大しようとすると画像のぼけが目立つようになる。
【０００５】
　本発明は、これらの課題を解決するために創作されたものであって、処理時間が短く、かつ、人間の目が敏感にとらえる水平方向及び垂直方向のブロックノイズを低減し、比較的滑らかなエッジ感を含んだ輪郭をもつ拡大画像を生成する画素補間装置、画素補間方法及び画素補間プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
　請求項１、５、９記載の発明によると、注目画素から注目画素と等しい色情報をもち注目画素以外の画素の色情報を用いずに生成される複数の画素からなり非方陣かつ既定配列のドットマトリックスである画素ブロックを生成し、入力ディジタル画像の各画素ごとに生成する画素ブロックを隙間なく配列した拡大ディジタル画像を生成し、この拡大ディジタル画像を表現する拡大画像データを出力する。
【０００７】
　すなわち、入力ディジタル画像を構成する画素の１つを非方陣かつ既定形状に複数配列することにより画素ブロックが生成され、この画素ブロックはディジタル画像を構成する各画素について生成される。各画素について生成された画素ブロックが隙間なく配列されることにより拡大ディジタル画像が表現される。
【０００８】
　このようにして生成された拡大ディジタル画像は互いに等しい色情報を持つ画素から構成される画素ブロックの集合として表現されている。そしてこの画素ブロックが非方陣であるため、隣接する画素ブロック間の境界は凹凸を含む。この凹凸は意図的に作り出すものであり、入力ディジタル画像には存在しなかったものである。しかし、一般に画像を微視的にとらえた場合、多くの画像のエッジは完全な直線であるものは少なく何らかの形でジグザグと凹凸を持ったものが多い。一方、入力ディジタル画像の各画素をそのまま或いは隣接画素との混色処理を伴って方陣に複数配列した画素ブロックからなる従来の拡大ディジタル画像には、自然界に存在するはずもないシャープで不自然な水平方向ラインや垂直方向ラインが存在するため、従来の拡大ディジタル画像は人間の目に粗い画像として、すなわちディジタル画像処理の痕跡がはっきりと残った画像として認識される。
　請求項１、５、９記載の発明は、入力ディジタル画像には存在しない凹凸成分であっても拡大時に補間される画素領域にはなんらかの凹凸成分を持たせた方が自然であるという考えに基づいており、人間の目が敏感にとらえる水平方向及び垂直方向のブロックノイズを低減し、比較的滑らかなエッジ感を含んだ輪郭をもつ拡大画像を生成することができるという特徴がある。また、注目画素の色情報とその隣接画素の色情報との演算処理を伴わずに画素を補間するため、拡大処理に要する時間が短いという特徴がある。
【０００９】
　請求項２、６、１０記載の発明によると、画素ブロックの輪郭線は微視的な凹凸を内包する巨視的な凹凸をもつため、エッジ領域で隣接する画素ブロックの境界線が不規則な凹凸を含む曲線から構成されることとなり、これにより画像の微視的な領域で観者に知覚される規則的な変化も観者に自然なものとして認識される。すなわち、微視的な領域の中で相対的に大きな凹凸の中に相対的に小さな凹凸が含まれるため、観者が画像に近づき注視するほどにより小さな凹凸が観者に認識されることから、拡大ディジタル画像は観者に自然な印象を与える。したがって、拡大ディジタル画像は再現性の高い画像として認識される。
【００１０】
　請求項３、７、１１記載の発明によると、画素ブロックは点対称の形状であるため、いずれの方向から見たときも自然さが保たれている拡大ディジタル画像を得ることができる。
【００１１】
　請求項４、８、１２記載の発明によると、拡大ディジタル画像に対しエッジ部分の平滑化処理及び画素補間処理を施す。すなわち、入力ディジタル画像を２段階の処理により拡大し、前段の処理では混色することなく完全な色の再現性が保たれた拡大ディジタル画像を得、後段の処理では拡大ディジタル画像のエッジ部分に平滑化処理を施した画素を補間することによりエッジ部分で隣接する画素ブロック間の境界をぼかして拡大ディジタル画像をさらに拡大する。後段の処理で平滑化処理によりぼかされる領域は後段で補間される画素の領域に限られるため、ぼけが小さくシャープで自然なディジタル画像を出力することができる。
【発明を実施するための最良の形態】
【００１２】
　以下、本発明の実施の形態を示す実施例を図面に基づいて説明する。
　図２に本発明の一実施例による画素補間装置を備える画像処理システムを示す。磁気ディスク装置（以下ＨＤＤという）１９にはオペレーティングシステム（以下ＯＳという）、プリンタドライバ、ディスプレイドライバ、スキャナドライバ、画像処理アプリケーション等の各種のプログラム並びに画像データが記録されている。ＨＤＤ１９に記録されているプログラム及びデータは入出力インタフェース（以下Ｉ／Ｏという）２０を介して主記憶装置（以下ＭＳという）１１に転送される。入出力インタフェース２０は入出力チャネル、ＤＭＡ（direct memory access）コントローラ等により構成され、ＨＤＤ１９、デジタルスチルカメラ１８（以下ＤＳＣという）、プリンタ（以下ＰＲＴという）１４等の周辺装置とＭＳ１１との間のデータ転送をＣＰＵ１２から独立して制御することができる。ＭＳ１１は半導体メモリセル、制御装置等から構成されている。中央演算処理装置（以下ＣＰＵという）１２はＭＳ１１に格納されたプログラムを実行することによりＭＳ１１に格納されているデータに基づいて表示装置１２、ＰＲＴ１４等にデータを出力し、或いはＨＤＤ１９、フレキシブルディスク装置（以下ＦＤＤという）２１等の補助記憶装置にデータを転送する。キーボード１６及びマウス１５はプログラムに受け付けられるデータ及びコマンドを入力する。ＤＳＣ１８及びスキャナ１７はＯＳの要求に応じてＭＳ１１に画像データを転送する。
【００１３】
　上記構成の画像処理システムにおいて、Ｉ／Ｏ２０は特許請求の範囲に記載された入力手段を構成し、ＭＳ１１及びＣＰＵ１２は特許請求の範囲に記載された出力手段及び二次出力手段を構成する。また、ＨＤＤ１９に内蔵された磁気ディスク、ＦＤＤ２１に接続されるフレキシブルディスク等は特許請求の範囲に記載された記録媒体を構成する。特許請求の範囲に記載された画素補間プログラムは、表示装置１２又はＰＲＴ１４の制御プログラムを構成しているモジュールの一部、或いは画像処理アプリケーションを構成しているモジュールの一部から構成され、これらのプログラムは、フレキシブルディスク等の記録媒体又はインターネット等の通信回線により流通し、ＦＤＤ２１、モデム２２等によりＨＤＤ１９に格納される。本発明の画素補間装置は上記構成の画像処理システムに限らず例えば図３に示すようにＤＳＣ１８及びＰＲＴ１４から構成される画像処理システムに実装することも当然可能である。図３に示す画像処理システムではＤＳＣ１８のＲＯＭ（read only memory）等にプリンタドライバを格納し、このプリンタドライバのモジュールの一部に画素補間プログラムを含めておけばよい。
【００１４】
　一般に、ＤＳＣ１８は数十万から数百万の画素から構成される画像データを出力し、ＰＲＴ１４は３００〜１４４０ｄｐｉの画素密度で画像データを出力する。例えば縦横３００ラ４００画素（１２万画素）の画像データが１２００ｄｐｉで印刷されると極めて小さな画像が印刷されることになる。したがって、通常、画像データを印刷する際には画素補間処理により画像を拡大する必要がある。また、表示装置１３に大きく画像を表示しようとする場合にも同様に画素補間処理により画像を拡大する必要がある。このような画素補間処理は画像処理アプリケーションをＣＰＵ１２が実行するとき、又はプリンタドライバ等の各出力装置の制御プログラムをＣＰＵ１２が実行するときに行われる。以下、画像処理アプリケーション又はプリンタドライバ等の制御プログラムの実行時に行われる画素補間処理について説明する。
【００１５】
　画素補間処理の概要を図４に示す。Ｓ１０ではスキャナ１７、ＤＳＣ１８、ＨＤＤ１９、ＦＤＤ２１、モデム２２等からＩ／Ｏ２０を介してＭＳ１１に画像データが転送される。この画像データは、画像処理アプリケーションがＯＳのＡＰＩ（application program interface）を呼び出すことによりＯＳから各出力装置の制御プログラムに渡される。Ｓ２０及びＳ３０では、画像処理アプリケーションの実行又は各出力装置の制御プログラムの実行によって２段階の画素補間処理が行われる。Ｓ２０では、入力ステップＳ１０でＭＳ１１に格納された画像データ（以下入力画像データという）を構成する各画素から後述する画素ブロックを生成し、この画素ブロックを配列して拡大画像の中間画像データを生成する。Ｓ３０では、Ｓ２０で生成された中間画像データのエッジ部分においてエッジの延伸する方向に平滑化処理を行った後、３次たたみ込み内挿法による画素補間処理を行い拡大画像の最終画像データを得、これをＭＳ１１に格納する。Ｓ４０ではＭＳ１１からＩ／Ｏ２０を介して表示装置１３またはＰＲＴ１４に画素補間された画像データが転送され、表示装置１３またはＰＲＴ１４で画像が表示又は印刷される。
【００１６】
　Ｓ２０においてされる前段の画素補間処理の概要を図５に示す。前段の画素補間処理では入力画像データを構成する全画素について画素ブロックを生成するため、Ｓ２１ではループボディにはいる前に最初に処理すべき注目画素を設定する。Ｓ２２〜Ｓ２４のループボディでは入力画像を走査しながら全画素について画素ブロックを生成する。
【００１７】
　Ｓ２２では注目画素と同じ色情報をもち前段の画素補間処理における拡大倍率の二乗数の画素を所定形状に配列した画素ブロックの集合として中間画像を生成する。ここで色情報とはカラー画像の場合、各画素のＲＧＢ（red, green, blue）、ＹＭＣ（yellow, cyan, magenta）又はＨＳＩ（hue, saturation, intensity）の各値によって表される情報をいい、モノトーン画像の場合、各画素の輝度値をいう。前段の画素補間処理において入力画像を４倍に拡大する画素補間をする場合、画素ブロックを構成する画素の配列としては、例えば図１（Ｂ）及び図８（Ａ）に示す配列が望ましい。
【００１８】
　図１（Ａ）は入力画像がモノトーン画像であるときの各画素の輝度値を２５６階調で表している。図１（Ｂ）は画素ブロックで構成された中間画像を２５６階調で表し、画素ブロックは同じ階調の輝度値をもつ画素の配列として表されている。図１は、縦横ＭＸＮ画素の入力画像Ｆinが次の集合で表されるとき、
　Ｆin＝｛ｆij；ｉ＝１，２，・・・，Ｍ，ｊ＝１，２，・・・，Ｎ｝
　出力画像Ｆoutが次の集合で表され、
　Ｆout＝｛ｇxy；ｘ＝１，２，・・・，４Ｍ，ｙ＝１，２，・・・４Ｎ，｝
　Ｆout＝｛Ｂij；ｉ＝１，２，・・・，Ｍ，ｊ＝１，２，・・・，Ｎ｝
　画素ブロックＢijが次のようなｇxy＝ｆijを満たすｇxyの集合として表されることを示している。
【００１９】
　Ｂij＝｛
ｇ4(i-1) 4(j-1)+3，
ｇ4(i-1)+1 4(j-1)+1，ｇ4(i-1)+1 4(j-1)+3，ｇ4(i-1)+1 4(j-1)+4，
ｇ4(i-1)+2 4(j-1)，ｇ4(i-1)+2 4(j-1)+1，ｇ4(i-1)+2 4(j-1)+2，ｇ4(i-1)+2 4(j-1)+3，
ｇ4(i-1)+3 (j-1)+2，ｇ4(i-1)+3 (j-1)+3，ｇ4(i-1)+3 (j-1)+4，ｇ4(i-1)+3 (j-1)+5，
ｇ4(i-1)+4 4(j-1)+1，ｇ4(i-1)+4 4(j-1)+2，ｇ4(i-1)+4 4(j-1)+4，ｇ4(i-1)+5 4(j-1)+2
｝
【００２０】
　方陣配列を非方陣の画素ブロックで埋めることにより方形画像を形成しようとすると、画像の最外周には、図１（Ｂ）に示すように画素ブロックが割り当てられない配列要素と、方陣配列からはみ出す画素とが現れる。これに対処する方策としては、例えば方陣配列からはみ出す画素を画素ブロックが割り当てられない配列要素に再配置することにより、方形画像を形成することができる。また、例えば、方陣配列からはみ出す画素を削除し、画素ブロックが割り当てられない配列要素には隣接画素を再配置することにより、方形画像を形成することができる。
　画素ブロックを構成する画素の配列は、補間する画素数によって、すなわち画像の拡大倍率によって異なり、拡大倍率ごとに１又は２以上の配列から次の１〜４の基準を全て満たすものを選択することが望ましい。
　１．画素ブロックを構成する画素数が拡大倍率の二乗数であること。
　２．互いに隣接する画素から構成されていること。
　３．配列が点対称であること。
　４．画素ブロックの輪郭に小さな凹凸を内包する大きな凹凸を内包していること。
　上記１〜４の基準を満たす画素ブロックの配列を各倍率ごとに図６〜図１０に示す。画素ブロックの配列により中間画像の滑らかさに違いが現れる。
【００２１】
　図１に示す入力画像及び中間画像にはエッジを太線で示している。図１に示す入力画像をそのまま拡大した比較例を図１１に示す。図１１で太線で示されたエッジと図１（Ｂ）に示されたエッジとを比べると両者の違いは明らかである。すなわち、入力画像をそのまま拡大した比較例ではエッジに４画素ピッチの規則的な凹凸が生じているのに対し、本実施例の画素ブロックを用いた図１の中間画像ではエッジに規則的な凹凸が生じていない。このことは、入力画像をそのまま拡大した画像にジャギーが認められるときにおいても、その拡大率において得られる本実施例の中間画像にはジャギーが認められないことを端的に示している。
【００２２】
　また、図１（Ｂ）に示す中間画像において、巨視的には図１（Ａ）に示す画像が再現されているといえる。すなわち、中間画像は入力画像の４倍の大きさをもつところ、入力画像を観察するときの観者と画像との距離の４倍の距離から中間画像を観察するとすれば、観者にとって入力画像と中間画像とはほぼ同じものとして認識される。さらにいえば、通常取り扱われるような、例えば１００万画素の入力画像について画素補間する場合、本実施例の中間画像において入力画像の再現性は完全に保たれるといえる。なぜならば、画素数の多い中間画像においては個々の画素ブロックは中間画像の極めて小さな領域を占めるものであるため、入力画像において存在しなかった要素が画素ブロックの輪郭要素に含まれているとしても、画素ブロックの輪郭要素が画像全体に与える影響は無視できるものだからである。
【００２３】
　Ｓ２２では入力画像の１画素ごとに出力画像の画素ブロックを生成し、画像ブロックを構成する画素のデータをＭＳ１１に順次格納していく。全画素について画素ブロックが生成され、Ｓ２３において終了判定がなされるとき、ＭＳ１１には全ての中間画像データが格納される。
【００２４】
　Ｓ２０が完了し中間画像データがＭＳ１１に格納されると、Ｓ３０では、中間画像のエッジ部分においてエッジの延伸する方向を検出し、エッジ方向に沿って当該エッジ部分を平滑化し、この平滑化処理を行った後に３次たたみ込み内挿法による画素補間処理を行い拡大画像の最終データを得る。
【００２５】
　Ｓ３０の処理は、中間画像で生ずるエッジ領域の画素ブロックの輪郭要素の凹凸を平滑化により若干ぼかして目立たなくするために行うものである。Ｓ３０の平滑化処理でぼかされる範囲は中間画像におけるエッジ部分の凹凸であるところ、この凹凸のピッチは画素ブロックの構成画素数と等しい画素数からなる正方形のドットマトリックスの１辺の画素数より小さい。したがって、図１１に示す比較例の画像に対してエッジ部分の平滑化処理をする場合に比べ、本実施例で得られる最終画像はぼけが小さいものとなる。例えばＳ２０で４倍の拡大を行い、Ｓ３０で２．５倍の拡大により１０倍の最終拡大画像のデータを得ることができる。
【００２６】
　以上説明した本発明の一実施例による画素補間装置を備える画像処理システムは、入力画像を構成する画素から構成される非方陣の画素ブロックを配列することにより画素補間された出力画像を得るため、出力画像は、観者に再現性が高いものと認識されることとなる。すなわち、ジャギーがなく、ぼけの小さい出力が象を得ることができる。また、画素ブロックの輪郭に小さな凹凸を内包する大きな凹凸を内包しているため、観者が出力画像に近づけば近づくほど、遠くからは認識できなかった凹凸が観者に認識されるようになることから、出力画像は真実味のあるものとなる。
　尚、本実施例においては画素補間処理を２段階としているが、後段の画素補間処理は必ずしも必要ではない。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例に係る画素ブロックを構成する画素の配列を示す模式図であって、（Ａ）は元画像を示し、（Ｂ）は補間処理後の画像を示す。
【図２】本発明の実施例による画素補間装置を備える画像処理システムを示すブロック図である。
【図３】本発明の実施例による画素補間装置を備える画像処理システムを示すブロック図である。
【図４】本発明の実施例による画素補間装置を備える画像処理システムで実行する画素補間プログラムのフローチャートである。
【図５】本発明の実施例による画素補間装置を備える画像処理システムで実行する画素補間プログラムの前段の補間処理を示すフローチャートである。
【図６】本発明の実施例に係る画素ブロックを構成する画素の配列を示す模式図である。
【図７】本発明の実施例に係る画素ブロックを構成する画素の配列を示す模式図である。
【図８】本発明の実施例に係る画素ブロックを構成する画素の配列を示す模式図である。
【図９】本発明の実施例に係る画素ブロックを構成する画素の配列を示す模式図である。
【図１０】本発明の実施例に係る画素ブロックを構成する画素の配列を示す模式図である。
【図１１】比較例に係る画素ブロックを構成する画素の配列を示す模式図である。
【符号の説明】
【００２８】
　１１　　主記憶装置（出力手段）
　１２　　中央演算処理装置（出力手段）
　１３　　ディスプレイ
　１４　　プリンタ
　１５　　マウス
　１６　　キーボード
　１８　　デジタルスチルカメラ
　１９　　磁気ディスク装置
　２０　　入出力インタフェース（入力手段）
　２１　　フレキシブルディスク装置
　２２　　モデム
【図１】
2004080823.tif 000003
【図２】
2004080823.tif 000004
【図３】
2004080823.tif 000005
【図４】
2004080823.tif 000006
【図５】
2004080823.tif 000007
【図６】
2004080823.tif 000008
【図７】
2004080823.tif 000009
【図８】
2004080823.tif 000010
【図９】
2004080823.tif 000011
【図１０】
2004080823.tif 000012
【図１１】
2004080823.tif 000013