(57)【特許請求の範囲】
【請求項１】
入力された画像データの画像を拡大させる画像処理装置において、
前記入力された画像データの前記画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、
前記判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、前記第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、前記第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、前記入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、
前記文字エッジ検出手段により検出された２つのピクセルの組と異なる、前記エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、前記文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調手段と、
前記文字エッジ強調手段によりエッジ部の接続部が強調された画像データを拡大する拡大手段と
を備えることを特徴とする画像処理装置。
【請求項２】
入力された画像データの画像を拡大させる画像処理装置であって、
前記入力された画像データの前記画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、
前記判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、前記第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、前記第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、前記入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、
前記文字エッジ検出手段により検出された２つのピクセルの組と異なる、前記エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、前記文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調手段と、
前記文字エッジ強調手段によりエッジ部の接続部が強調された画像データを拡大する拡大手段と
を備えることを特徴とする画像処理装置の画像処理方法において、
前記判定手段における、前記入力された画像データの前記画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定ステップと、
前記文字エッジ検出手段における、前記判定ステップの処理での判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、前記第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、前記第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、前記入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出ステップと、
前記文字エッジ強調手段における、前記文字エッジ検出ステップの処理で検出された２つのピクセルの組と異なる、前記エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、前記文字エッジ検出ステップにより検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調ステップと、
前記拡大手段における、前記文字エッジ強調ステップによりエッジ部の接続部が強調された画像データを拡大する拡大ステップと
を含むことを特徴とする画像処理方法。
【請求項３】
入力された画像データの画像を拡大させる画像処理装置であって、
前記入力された画像データの前記画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、
前記判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、前記第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、前記第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、前記入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、
前記文字エッジ検出手段により検出された２つのピクセルの組と異なる、前記エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、前記文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調手段と、
前記文字エッジ強調手段によりエッジ部の接続部が強調された画像データを拡大する拡大手段と
を備えることを特徴とする画像処理装置を制御するコンピュータに読み取り可能なプログラムであって、
前記判定手段における、前記入力された画像データの前記画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定ステップと、
前記文字エッジ検出手段における、前記判定ステップの処理での判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、前記第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、前記第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、前記入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出ステップと、
前記文字エッジ強調手段における、前記文字エッジ検出ステップの処理で検出された２つのピクセルの組と異なる、前記エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、前記文字エッジ検出ステップにより検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調ステップと、
前記拡大手段における、前記文字エッジ強調ステップによりエッジ部の接続部が強調された画像データを拡大する拡大ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項４】
入力された画像データの画像を拡大させる画像処理装置において、
前記入力された画像データの前記画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、
前記判定手段の判定結果が文字を含むものである場合、
水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、前記第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、前記第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、前記入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、
前記文字エッジ検出手段により検出された２つのピクセルの組と異なる、前記エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、前記文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、前記エッジ部の接続部を強調する文字エッジ強調手段と、
前記判定手段の判定結果が写真である場合、
水平方向および垂直方向のそれぞれのいずれかである第１方向、および第２方向に、前記入力された画像データの各ピクセル間に、それぞれ第１方向ブランク、および第２方向ブランクを生成するブランク生成手段と、
前記ブランク生成手段により生成された第１方向ブランク、または第２方向ブランクと隣接する各ピクセルに基づいて、前記第１方向、または第２方向に隣接するピクセル間のエネルギ差を求め、そのエネルギ差が閾値を超える場合、前記第１方向ブランク、または第２方向ブランクを中心として対称の位置関係となる２つのピクセル同士のエネルギ差が、最小となる２つのピクセル間を結ぶ方向をエッジ方向として検出するエッジ方向検出手段と、
前記第１方向ブランクに、前記第１方向ブランクに隣接したピクセルと、前記エッジ方向検出手段により検出されたエッジ方向に基づいて、前記第１方向に補間してピクセルを生成し、前記第１方向に補間して生成されたピクセルが付加された画像データの前記第２方向の各ピクセルの前記第２方向ブランクに、前記第２方向ブランクに隣接したピクセルと、前記エッジ方向検出手段により検出されたエッジ方向に基づいて、前記第２方向に補間してピクセルを生成するピクセル生成手段と、
前記ピクセル生成手段によりピクセルが生成された前記画像データの各ピクセルに２次元のフィルタ処理を施すことによりエッジを強調する写真エッジ強調手段と、
前記判定手段の判定結果がグラフィックである場合、
前記第１方向に前記画像を拡大する第１方向拡大手段と、
前記第１方向拡大手段により拡大された画像のピクセルに１次元の第１方向フィルタ処理を施すことでエッジを強調する第１方向エッジ強調手段と、
第２方向に前記画像を拡大する第２方向拡大手段と、
前記第２方向拡大手段により拡大された画像のピクセルに１次元の第２方向フィルタ処理を施すことでエッジを強調する第２方向エッジ強調手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、デジタル画像データを高解像度で拡大させることを可能にする画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
デジタル画像データを高解像度で拡大し、表示させる技術が普及しつつある。
例えば、デジタルカメラやカムコーダなどのデジタル画像データの表示技術として、デジタルズームと呼ばれる、デジタル画像データの拡大表示を、高解像度で実現させる為の開発が進められている。
【０００３】
従来、デジタル画像データを拡大させる場合、隣接補間法、２次元線形補間法、または、Ｂスプライン法などに代表される手法が用いられてきた。
【０００４】
【発明が解決しようとする課題】
しかしながら、０次ホールド補間法として知られている隣接補間法は、拡大することによって生じたブランクに、隣接するピクセルを挿入して表示させる方法であるため、ハードウェアに最も負荷をかけずに、簡単に、デジタル画像データを拡大することができる反面、高倍率の拡大表示をすると、いわゆるモザイクパターンが現れてしまい、画像のエッジ部分（輪郭を形成する部分）を歪ませたり、ギザギザに表示してしまうなどの課題があった。
【０００５】
２次元線形補間法は、拡大する際に、元の画像のピクセル間に生じるブランクとなる部分に、水平方向および垂直方向のそれぞれに隣接する元の画像のピクセルの平均となるピクセルを挿入することによりデジタル画像データを拡大する方法であるが、水平方向と垂直方向に補間する為、隣接補間法よりも、補間方法では優れているものの、画像全体が、ぼやけてしまうため、解像度を向上させることは困難である。このため、元の画像データを高倍率で拡大すると、隣接補間法と同様にモザイクパターンが現れてしまうという課題があった。
【０００６】
Ｂスプライン法は、隣接補間法や２次元線形補間法に比べると、安定しており、高倍率で拡大する場合でも、モザイクパターンなどが生じないが、画像をぼやけさせてしまうと共に、複雑な計算をしなければならないため、相対的にハードウェアに負荷がかかってしまうという課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、簡単な装置構成と、計算方法で、デジタル画像データを高解像度で拡大させるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の第1の画像処理装置は、入力された画像データの画像を拡大させる画像処理装置であって、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、文字エッジ検出手段により検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調手段と、文字エッジ強調手段によりエッジ部の接続部が強調された画像データを拡大する拡大手段とを備えることを特徴とする。
【００１１】
本発明の第1の画像処理方法は、入力された画像データの画像を拡大させる画像処理装置であって、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、文字エッジ検出手段により検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調手段と、文字エッジ強調手段によりエッジ部の接続部が強調された画像データを拡大する拡大手段とを備えることを特徴とする画像処理装置の画像処理方法において、判定手段における、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定ステップと、文字エッジ検出手段における、判定ステップの処理での判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出ステップと、文字エッジ強調手段における、文字エッジ検出ステップの処理で検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出ステップにより検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調ステップと、拡大手段における、文字エッジ強調ステップによりエッジ部の接続部が強調された画像データを拡大する拡大ステップとを含むことを特徴とする。
【００１２】
本発明の第1の記録媒体のプログラムは、入力された画像データの画像を拡大させる画像処理装置であって、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、文字エッジ検出手段により検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調手段と、文字エッジ強調手段によりエッジ部の接続部が強調された画像データを拡大する拡大手段とを備えることを特徴とする画像処理装置を制御するコンピュータに読み取り可能なプログラムであって、判定手段における、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定ステップと、文字エッジ検出手段における、判定ステップの処理での判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出ステップと、文字エッジ強調手段における、文字エッジ検出ステップの処理で検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出ステップにより検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調ステップと、拡大手段における、文字エッジ強調ステップによりエッジ部の接続部が強調された画像データを拡大する拡大ステップとを含むことを特徴とする。
【００１７】
前記ピクセル生成手段には、ブランクに、エッジ方向検出手段により検出されたエッジ方向上の２つのピクセルのエネルギの線形補間により、ピクセルを生成させるようにすることができる。
【００１９】
前記２次元のフィルタ処理は、３×３ピクセルに対するローパスフィルタ処理と、５×５ピクセルに対するハイパスフィルタ処理とを同時に作用させる５×５ピクセルに対するフィルタ処理とすることができる。
【００２７】
本発明の第２の画像処理装置は、入力された画像データの画像を拡大させる画像処理装置において、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、文字エッジ検出手段により検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、エッジ部の接続部を強調する文字エッジ強調手段と、判定手段の判定結果が写真である場合、水平方向および垂直方向のそれぞれのいずれかである第１方向、および第２方向に、入力された画像データの各ピクセル間に、それぞれ第１方向ブランク、および第２方向ブランクを生成するブランク生成手段と、ブランク生成手段により生成された第１方向ブランク、または第２方向ブランクと隣接する各ピクセルに基づいて、第１方向、または第２方向に隣接するピクセル間のエネルギ差を求め、そのエネルギ差が閾値を超える場合、第１方向ブランク、または第２方向ブランクを中心として対称の位置関係となる２つのピクセル同士のエネルギ差が、最小となる２つのピクセル間を結ぶ方向をエッジ方向として検出するエッジ方向検出手段と、第１方向ブランクに、第１方向ブランクに隣接したピクセルと、エッジ方向検出手段により検出されたエッジ方向に基づいて、第１方向に補間してピクセルを生成し、第１方向に補間して生成されたピクセルが付加された画像データの第２方向の各ピクセルの第２方向ブランクに、第２方向ブランクに隣接したピクセルと、エッジ方向検出手段により検出されたエッジ方向に基づいて、第２方向に補間してピクセルを生成するピクセル生成手段と、ピクセル生成手段によりピクセルが生成された画像データの各ピクセルに２次元のフィルタ処理を施すことによりエッジを強調する写真エッジ強調手段と、判定手段の判定結果がグラフィックである場合、第１方向に画像を拡大する第１方向拡大手段と、第１方向拡大手段により拡大された画像のピクセルに１次元の第１方向フィルタ処理を施すことでエッジを強調する第１方向エッジ強調手段と、第２方向に画像を拡大する第２方向拡大手段と、第２方向拡大手段により拡大された画像のピクセルに１次元の第２方向フィルタ処理を施すことでエッジを強調する第２方向エッジ強調手段とを備えることを特徴とする。
【００２８】
本発明の第1の画像処理装置、画像処理方法、および、記録媒体のプログラムにおいては、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかが判定され、判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差とが比較されることにより、いずれかエネルギ差の小さい２つのピクセルの組が、入力された画像データの画像のうちの文字のエッジ部として検出され、検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルが、検出された２つのピクセルの組のエネルギの平均値に置換されることにより、検出されたエッジ部の接続部が強調され、エッジ部の接続部が強調された画像データが拡大される。
【００３０】
本発明の第２の画像処理装置においては、入力された画像データの画像を拡大させる画像処理装置であって、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかが判定され、判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組が、入力された画像データの画像のうちの文字のエッジ部として検出され、検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルが、検出された２つのピクセルの組のエネルギの平均値に置換されることにより、エッジ部の接続部が強調され、判定結果が写真である場合、水平方向および垂直方向のそれぞれのいずれかである第１方向、および第２方向に、入力された画像データの各ピクセル間に、それぞれ第１方向ブランク、および第２方向ブランクが生成され、生成された第１方向ブランク、または第２方向ブランクと隣接する各ピクセルに基づいて、第１方向、または第２方向に隣接するピクセル間のエネルギ差が求められ、そのエネルギ差が閾値を超える場合、第１方向ブランク、または第２方向ブランクを中心として対称の位置関係となる２つのピクセル同士のエネルギ差が、最小となる２つのピクセル間を結ぶ方向がエッジ方向として検出され、第１方向ブランクに、第１方向ブランクに隣接したピクセルと、検出されたエッジ方向に基づいて、第１方向に補間されてピクセルが生成され、第１方向に補間して生成されたピクセルが付加された画像データの第２方向の各ピクセルの第２方向ブランクに、第２方向ブランクに隣接したピクセルと、検出されたエッジ方向に基づいて、第２方向に補間されてピクセルが生成され、ピクセルが生成された画像データの各ピクセルに２次元のフィルタ処理が施されることによりエッジが強調され、判定結果がグラフィックである場合、第１方向に画像が拡大され、第１方向により拡大された画像のピクセルに１次元の第１方向フィルタ処理が施されることでエッジが強調され、第２方向に画像が拡大され、第２方向により拡大された画像のピクセルに１次元の第２方向フィルタ処理が施されることでエッジが強調される。
【００３１】
【発明の実施の形態】
図１は、本発明を適用した画像拡大装置１の一実施の形態の構成を示すブロック図である。画像拡大装置１に入力されるデジタル画像データは、主に、グラフィックデータ、写真データ、および、文字データ（フォントデータ）の３種類である。
【００３２】
尚、図１を参照して画像拡大装置１の構成について説明するが、その詳細については、動作説明と共に図２以降に後述するものとする。
【００３３】
画像拡大装置１のイメージセレクタ１１は、入力された画像データが、グラフィックデータ、写真データ、または、文字データ（フォントデータ）のいずれのデジタル画像データであるかを判定し、グラフィックデータ、または、写真データであると判定した場合、入力された画像データを水平拡大処理部１２に出力する。また、入力された画像データが、文字データであると判定された場合、イメージセレクタ１１は、入力された画像データをエッジ接続部１５に出力する。
【００３４】
エッジ接続部１５は、イメージセレクタ１１から入力された文字データ（フォントデータ）のうち、拡大することによりぼやけ易い、細いエッジの接続部分を検出し、太くする前処理を施し、水平拡大処理部１２に出力する。
【００３５】
水平拡大処理部１２は、イメージセレクタ１１、または、エッジ接続部１５より入力された画像データを、Ｈ（Horizontal：水平）バッファ１２ａを適宜使用して、水平方向に拡大処理し、入力された画像データが、写真データ、または、文字データである場合、垂直拡大処理部１３に出力する。また、水平拡大処理した画像データが、グラフィックデータである場合、水平拡大処理部１２は、水平拡大処理したグラフィックデータを１Ｄエッジ強調部１６に出力する。
【００３６】
１Dエッジ強調部１６は、水平拡大処理部１２から入力された水平拡大処理されたグラフィックデータに、バッファ１６ａを適宜使用しながら、水平１次元フィルタ処理（水平方向の１Ｄエッジ強調処理）を施し、エッジ部分の水平方向成分を強調処理し、垂直拡大処理部１３に出力する。
【００３７】
垂直拡大処理部１３は、水平拡大処理部１２、または、１Ｄエッジ強調部１６より入力された画像データを、V（Vertical：垂直）バッファ１３ａを適宜使用して、垂直方向に拡大処理し、２Dエッジ強調部１４に出力する。
【００３８】
２Dエッジ強調部１４は、バッファ１４ａを適宜使用しながら、垂直拡大処理部１３より入力された水平方向と垂直方向に拡大された画像データの各ピクセルにフィルタ処理を施し、画像データのエッジ部分を2次元方向（水平方向と垂直方向）に対して強調することにより、画像の輪郭の解像度を高め、最終的な拡大画像データとして、表示部２に出力する。表示部２は、２Ｄエッジ強調部１４より入力された拡大画像データを表示する。
【００３９】
尚、水平拡大処理部１２により水平方向に拡大され、１Ｄエッジ強調部１６により水平方向にエッジ強調されたグラフィックデータが、垂直拡大処理部１３に入力され、垂直拡大処理された後、２Dエッジ強調部１４に入力された画像データは、既にエッジ部分の水平方向成分の強調がなされている為、２Dエッジ強調部１４では、残された方向のエッジ強調、すなわち、エッジ部分の垂直方向成分のみを強調する。
【００４０】
すなわち、２Dエッジ強調部１４は、グラフィックデータが入力された場合、１Dエッジ強調部１６の処理と同様に、垂直方向成分の１次元フィルタ処理のみを実行し、最終的な拡大画像データとして、表示部２に出力する。
【００４１】
この様に、画像データの種類によりエッジ部分の強調処理が異なるのは、次のような理由による。すなわち、例えば、グラフィックデータは、写真データや文字データよりも、エッジが強調された画像（エッジ部分が鮮明な画像）が多いので、水平方向および垂直方向の各々の方向で拡大処理する毎に、エッジ強調をすることにより、拡大処理するごとに発生する、画像データのエッジ部分に発生するぼやけやエラーを減少させることができる。そこで、２Ｄフィルタで一度にエッジ強調をするよりも、各方向毎にエッジが強調される。
【００４２】
これに対して、写真データは、焦点付近の画像と焦点から離れた画像が混在する為、グラフィックデータと比べると、エッジが強調された画像（エッジ部分が鮮明な画像）ではないため、２Ｄフィルタで、水平方向と垂直方向のエッジ強調を一度に処理することにより、遠近により適度にぼやける部分が現れた画像とすることができる。
【００４３】
このように、エッジ強調のフィルタのかけ方を画像データにより切り換えることで、拡大された画像は、人間の視覚に対して、より自然に表現することができる。
【００４４】
次に、図２のフローチャートを参照して、画像拡大装置１が、入力された画像データを拡大処理するときの動作について説明する。
【００４５】
画像拡大装置１に処理の開始が指令されると処理が開始され、ステップＳ１において、イメージセレクタ１１は、入力された画像データ（イメージ）の種類を判別する。
【００４６】
ステップＳ２において、イメージセレクタ１１は、入力された画像データが、文字データ（フォントデータ）であるか否かを判定する。例えば、入力された画像データが、写真データである場合、イメージセレクタ１１は、入力された画像データが、文字データ（フォントデータ）ではないと判定し、ステップＳ３の処理に進む。
【００４７】
ステップＳ３において、イメージセレクタ１１は、入力された画像データ（写真データ）を水平拡大処理部１２に出力する。
【００４８】
ステップＳ４において、水平拡大処理部１２は、水平拡大処理を実行する。
【００４９】
ここで、図３のフローチャートを参照して、水平拡大処理部１２の水平拡大処理について説明する。
【００５０】
ステップＳ２１において、水平拡大処理部１２は、入力された画像データのピクセル間の水平方向にブランクを形成し、Ｈバッファ１２ａに記憶させる。
【００５１】
例えば、２倍に拡大処理する場合、水平拡大処理部１２は、図４に示すように、入力された画像データ（写真データ）の各ピクセルの水平方向に対して１列おきにブランクを設け、これを、Hバッファ１２ａに記憶させる。尚、図３中の実線で描かれている円は、元の画像データのピクセルを示し、点線で描かれている円は、ブランクを示している。
【００５２】
図５は、図４に示すような処理（ステップＳ２１の処理）を施したときの元の画像データ（図５（Ａ））（水平方向の幅：Width＝W、垂直方向の高さ：Height＝H）と、処理を施された後、Ｈバッファ１２ａに記憶された画像データ（図５（Ｂ））の関係を示したものである。図５（Ｂ）に示すように、元のピクセルに対して、水平方向に１ピクセル毎にブランクの列が形成されることになるので、Ｈバッファに記憶されているデータの幅は、２Ｗ−１になる。
【００５３】
ステップＳ２２において、水平拡大処理部１２は、ブランクがあるか否かを判定する。例えば、ブランクが形成された直後の状態である場合、水平拡大処理部１２は、ブランクがあると判定し、その処理はステップＳ２３に進む。
【００５４】
ステップＳ２３において、水平拡大処理部１２は、ピクセルを補間しようとするブランクのエネルギを計算する。
【００５５】
求めようとするブランクのエネルギ関数Ｅ（Ｎ，Ｙ＋（Ｎ−１）／２）は以下のように定義される。
【００５６】
Ｅ（Ｎ，Ｙ＋（Ｎ−１）／２）
＝ABS（Pixel（Ｘ＋２，Ｙ＋（Ｎ−１）／２）
−Pixel（Ｘ，Ｙ＋（Ｎ−１）／２））            ・・・（１）
【００５７】
ここで、Pixel（）は、各座標上の（既知の）ピクセルのエネルギを表す。Ｎ（Ｎは、任意）は、ピクセルを補間、生成するのに使用する既知のピクセルの個数を意味し、ABS（Absolute）は、絶対値を意味する。
【００５８】
この式（１）で定義されるエネルギ関数は、ブランクに水平方向に隣接するピクセル同士のエネルギ差の絶対値を表す。
【００５９】
尚、ここで言うピクセルのエネルギとは、ピクセルの輝度と色に基づく値であり、エネルギの値から、各ピクセルの輝度と色の値が復元できるものを意味する。以下の説明において、エネルギは、同様の意味で使用するものとする。
【００６０】
例えば、図６（Ａ）の実線で円が描かれているブランクにピクセルを生成する（補間する）ものとし、その座標を（Ｘ＋１，Ｙ＋（Ｎ−１）／２）とする。そして、このピクセルの補間に、左側の列のN個のピクセルと、右側の列のN個のピクセル（図６（Ａ）においては、N＝３の例について示している）を使用するものとすると、それらのピクセル（図中実線の長方形で囲まれている左右のN個のピクセル）の座標は、（Ｘ，Ｙ），（Ｘ，Ｙ＋（Ｎ−１）／２），（Ｘ，Ｙ＋Ｎ−１），（Ｘ＋２，Ｙ），（Ｘ＋２，Ｙ＋（Ｎ−１）／２），および（Ｘ＋２，Ｙ＋Ｎ−１）となる。図６（Ｂ）は、この着目するピクセルと、求めようとするブランクのみを示している。
【００６１】
従って、ステップＳ２３においては、式（１）に示すように、求めようとするブランクの左右のピクセル（図６（B）において、矢印で結ばれている左右のピクセル）のエネルギ差の絶対値が求められている。
【００６２】
尚、以下の説明においては、所定のピクセルまたはブランクに水平方向に隣接するピクセル間のエネルギ差を水平エネルギ差と称し、所定のピクセルまたはブランクに垂直方向に隣接するピクセル間のエネルギ差を垂直エネルギ差と称する。
【００６３】
ステップＳ２４において、水平拡大処理部１２は、計算された水平エネルギ差が予め設定されている所定の閾値以上であるか否かを判定する。例えば、水平エネルギ差が閾値以上ではなかった場合、既知のピクセル間のエネルギに大きな差がないことになるので、ステップＳ２５において、水平拡大処理部１２は、この部分の画像は、フラットな変化のない部分（エッジのない部分）とみなし、上位側の列のピクセルのエネルギ（より大きいX座標のピクセルのエネルギ）をそのまま挿入し、Ｈバッファ１２ａに記憶させる。その後、ステップＳ２２の処理に戻り、それ以降の処理が繰り返される。
【００６４】
ステップＳ２４において、水平エネルギ差が閾値以上であると判定された場合、ステップＳ２６において、水平拡大処理部１２は、ブランクにはエッジが存在するものとみなし、ピクセルを補間しようとするブランクの左右の列にある、Ｎ個の補間用ピクセルのうち、そのブランクを中心として対称な位置関係にあるピクセル同士のエネルギ差の絶対値を計算し、その差の最も小さなピクセルの組み合わせを見つけ出す。
【００６５】
例えば、図７に示すように、各ピクセルのエネルギが、Pixel（Ｘ，Ｙ）＝70，Pixel（Ｘ，Ｙ＋（Ｎ−１）／２）＝50，Pixel（Ｘ，Ｙ＋Ｎ−１）＝50，Pixel（Ｘ＋２，Ｙ）＝50，Pixel（Ｘ＋２，Ｙ＋（Ｎ−１）／２）＝30，およびPixel（Ｘ＋２，Ｙ＋Ｎ−１）＝50であるとき、水平拡大処理部１２は、求めようとするブランクを中心として、着目したピクセルのうち、対称な位置関係となるピクセル同士のエネルギの差を求める。
【００６６】
すなわち、ABS（Pixel（Ｘ，Ｙ）−Pixel（Ｘ＋２，Ｙ＋Ｎ−１））＝70−50＝20，ABS（Pixel（Ｘ，Ｙ＋（Ｎ−１）／２）−Pixel（Ｘ＋２，Ｙ＋（Ｎ−１）／２））＝50−30＝20，およびABS（Pixel（Ｘ，Ｙ＋Ｎ−１）−Pixel（Ｘ＋２，Ｙ））＝50−50＝0が求められる。
【００６７】
図７の例の場合、ABS（Pixel（Ｘ，Ｙ＋Ｎ−１）−Pixel（Ｘ＋２，Ｙ））＝50−50＝0が最小となるので、（Ｘ，Ｙ＋Ｎ−１）と（Ｘ＋２，Ｙ）の組み合わせが選択されることになる。すなわち、この（Ｘ，Ｙ＋Ｎ−１）と（Ｘ＋２，Ｙ）を結ぶ方向がエッジ方向となる。
【００６８】
ステップＳ２７において、水平拡大処理部１２は、エネルギ差が最小となるピクセル同士のピクセルのエネルギの平均値を新たなピクセルのエネルギとしてＨバッファ１２ａに記憶させる。図７の例においては、50（＝（50+50）／２）が新たなピクセルの値として挿入され、Ｈバッファ１２ａに記憶される。
【００６９】
ステップＳ２２において、全てのブランクに新たなピクセルが挿入され、ブランクがないと判定された場合、その処理は終了され、図２のステップＳ４の処理に戻る。
【００７０】
以上のような処理により、例えば、図８（Ａ）に示すような５×５のピクセルの画像データが入力された場合、水平拡大処理部１２は、図８（Ｂ）に示されるような拡大された画像データを生成する。尚、図８において、各マスは、ピクセルを表し、実線で円が描かれているピクセルが、水平拡大処理により新たに生成（補間）されたピクセルを表している。
【００７１】
また、以上においては、補間用のピクセルの個数Ｎ＝３としたが、Ｎの個数を増やせば増やすほど、エッジの方向を正確に求めることができるため、生成されるピクセルの精度を向上させることができる。
【００７２】
ここで、図２のフローチャートの説明に戻る。
【００７３】
ステップＳ５（図２）において、水平拡大処理部１２は、水平拡大処理した画像データが、グラフィックデータであるか否かを判定する。水平拡大処理した画像データが、例えば、写真データである場合、ステップＳ５（図２）において、水平拡大処理部１２は、グラフィックデータではないと判定し、その処理は、ステップＳ６に進む。
【００７４】
ステップＳ６において、水平拡大処理部１２は、水平拡大処理されたＨバッファ１２ａに記憶されている画像データを垂直拡大処理部１３に供給する。
【００７５】
ステップＳ７において、垂直拡大処理部１３は、入力された画像データを垂直拡大処理する。
【００７６】
ここで、図９のフローチャートを参照して、垂直拡大処理部１３の垂直拡大処理について説明する。
【００７７】
ステップＳ３１において、垂直拡大処理部１３は、入力された画像データのピクセル間の垂直方向にブランクを形成し、Ｖバッファ１３ａに記憶させる。
【００７８】
例えば、２倍に拡大処理する場合、垂直拡大処理部１３は、図１０に示すように、入力された画像データ（例えば、写真データ）の各ピクセルの水平方向に対して１行おきにブランクの行を設け、これを、Ｖバッファに記憶させる。尚、図１０中の実線で描かれている白円は、元の画像データのピクセルを表し、実線で描かれている黒円は、水平拡大処理により生成されたピクセルを表し、点線で描かれている円は、ブランクを表している。
【００７９】
図１１は、図１０に示すような処理（ステップＳ３１の処理）を施したときの元の画像データ（図１１（Ａ））（水平方向の幅：Width＝２W−１、垂直方向の高さ：Height＝H）と、処理を施された後、Ｈバッファ１２ａに記憶された画像データ（図１１（Ｂ））の関係を示したものである。図１１（Ｂ）に示すように、元のピクセルに対して、垂直方向に１ピクセル毎にブランクの行が形成されることになるので、Ｖバッファに記憶されているデータの高さは、２Ｈ−１になる。
【００８０】
尚、図１１中で、濃淡で表されているマスは、元の画像データのピクセルを表し、ハッチングされているマスは、水平拡大処理により生成されたピクセルを表し、白い部分がブランクを表している。
【００８１】
ステップＳ３２において、垂直拡大処理部１３は、ブランクがあるか否かを判定する。例えば、ブランクがある場合、垂直拡大処理部１３は、その処理をステップＳ３３に進める。
【００８２】
ステップＳ３３において、垂直拡大処理部１３は、ピクセルを求めようとするブランクの垂直エネルギ差を計算する。
【００８３】
求めようとするピクセルのエネルギ関数Ｅ（Ｎ，Ｘ＋（Ｎ−１）／２）は以下のように定義される。
【００８４】
Ｅ（Ｎ，Ｙ＋（Ｎ−１）／２）
＝ABS（Pixel（Ｘ＋（Ｎ−１）／２，Ｙ＋２）
−Pixel（Ｘ＋（Ｎ−１）／２，Ｙ））            ・・・（２）
【００８５】
この式（２）で定義されるエネルギ関数は、ブランクに垂直方向に隣接するピクセル同士のエネルギ差の絶対値（垂直エネルギ差）を表す。
【００８６】
例えば、図１２（Ａ）の実線で円が描かれているブランクにピクセルを生成する（補間する）ものとし、その座標を（Ｘ＋（Ｎ−１）／２，Ｙ＋１）とする。
そして、このピクセルの補間に、上側の行のN個のピクセルと、下側の行のN個のピクセル（図１２（Ａ）においては、N＝３の例について示している）を使用するものとすると、それらのピクセル（図中実線の長方形で囲まれている左右のN個のピクセル）の座標は、（Ｘ，Ｙ），（Ｘ＋（Ｎ−１）／２，Ｙ），（Ｘ＋Ｎ−１，Ｙ），（Ｘ，Ｙ＋２），（Ｘ＋（Ｎ−１）／２，Ｙ＋２），および（Ｘ＋Ｎ−１，Ｙ＋２）となる。図１２（Ｂ）は、この着目するピクセルと、求めようとするブランクのみを示している。
【００８７】
従って、ステップＳ３３においては、式（２）に示すように、求めようとするブランクの左右のピクセル（図１２（B）において、矢印で結ばれている上下のピクセル）のエネルギ差の絶対値が求められている。
【００８８】
ステップＳ３４において、垂直拡大処理部１３は、計算された垂直エネルギ差が予め設定されている閾値以上であるか否かを判定する。例えば、垂直エネルギ差が、閾値以上ではなかった場合、既知の隣接するピクセル間に大きなエネルギ差がないことになるので、ここの画像は、フラットな変化のない（エッジのない）部分とみなし、ステップＳ３５において、垂直拡大処理部１３は、上位行のピクセルのエネルギをブランクのピクセルにそのまま挿入し、Ｖバッファ１３ａに記憶させる。その後、ステップＳ３２の処理に戻り、それ以降の処理が繰り返される。
【００８９】
ステップＳ３４において、計算された垂直エネルギ差が閾値以上であると判定された場合、ステップＳ３６において、垂直拡大処理部１３は、ピクセルを補間しようとするブランクの上の行にあるＮ個の補間用ピクセルと、下の行にあるＮ個のピクセルのうち、そのブランクを中心として対称な位置関係にあるピクセル同士のエネルギ差の絶対値を計算し、その差の最も小さなピクセルの組み合わせを見つけ出す。
【００９０】
例えば、図１３に示すように、各ピクセルのエネルギが、Pixel（Ｘ，Ｙ）＝50，Pixel（Ｘ＋（Ｎ−１）／２，Ｙ）＝70，Pixel（Ｘ＋Ｎ−１，Ｙ）＝70，Pixel（Ｘ，Ｙ＋２）＝50，Pixel（Ｘ＋（Ｎ−１）／２，Ｙ＋２）＝30，およびPixel（Ｘ＋Ｎ−１，Ｙ＋２）＝50であるとき、垂直拡大処理部１３は、求めようとするブランクを中心として、着目したピクセルのうち、対称な位置関係となるピクセル同士のエネルギの差の絶対値を求める。
【００９１】
すなわち、ABS（Pixel（Ｘ，Ｙ）−Pixel（Ｘ＋Ｎ−１，Ｙ＋２））＝50−50＝0，ABS（Pixel（Ｘ＋（Ｎ−１）／２，Ｙ）−Pixel（Ｘ＋（Ｎ−１）／２，Ｙ＋２））＝70−30＝40，およびABS（Pixel（Ｘ＋Ｎ−１，Ｙ）−Pixel（Ｘ，Ｙ＋２）＝70−50＝20が求められる。
【００９２】
図１３の例の場合、ABS（Pixel（Ｘ，Ｙ）−Pixel（Ｘ＋Ｎ−１，Ｙ＋２））＝50−50＝0が最小となるので、（Ｘ，Ｙ）と（Ｘ＋Ｎ−１，Ｙ＋２）の組み合わせが選択されることになる。すなわち、（Ｘ，Ｙ）と（Ｘ＋Ｎ−１，Ｙ＋２）を結ぶ、方向が、エッジ方向となる。
【００９３】
ステップＳ３７において、垂直拡大処理部１３は、エネルギ差が最小となるピクセル同士のピクセルのエネルギの平均値を新たなピクセルのエネルギとしてＶバッファ１３ａに記憶させる。
【００９４】
図１３の例においては、50（＝（50+50）／２）が新たなピクセルの値としてブランクのピクセルに挿入され、Ｖバッファに記憶される。その後、ステップＳ３２の処理に戻り、それ以降の処理が繰り返される。
【００９５】
ステップＳ３２において、全てのブランクに新たなピクセルが挿入され、ブランクが存在しないと判定された場合、ステップＳ３８において、垂直拡大処理部１３は、Ｖバッファ１３ａに記憶されている画像データを２Ｄエッジ強調部１４に出力し、その処理は終了され、図２のステップＳ７の処理に戻る。
【００９６】
以上のような処理により、例えば、図８（Ｂ）に示すような画像データが入力された場合、垂直拡大処理部１３は、図８（Ｃ）に示すように、画像データを拡大することになる。従って、水平拡大処理および垂直拡大処理をすることにより、図８（Ａ）に示す画像データは、図８（Ｃ）に示すような画像データに変換されることになる。尚、図８（Ｃ）の点線で描かれた円が、垂直拡大処理により生成されたピクセルを表している。
【００９７】
ここで、図２のフローチャートの説明に戻る。
【００９８】
ステップＳ８において、２Ｄエッジ強調部１４は、入力された水平垂直拡大処理された画像データに、２Ｄエッジ強調処理を実行する。
【００９９】
ここで、図１４のフローチャートを参照して、２Ｄエッジ強調部１４の２Ｄエッジ強調処理について説明する。
【０１００】
ステップＳ４１において、２Ｄエッジ強調部１４は、入力された画像データをバッファ１４ａに記憶させる。
【０１０１】
ステップＳ４２において、２Ｄエッジ強調部１４は、処理すべきピクセルがあるか否かを判定する。例えば、２Ｄエッジ強調処理されていないピクセルがある場合、処理すべきピクセルがあると判定され、その処理は、ステップＳ４３に進む。
【０１０２】
ステップＳ４３において、２Ｄエッジ強調部１４は、処理しようとするピクセルの水平または垂直エネルギ差が、閾値以上であるか否かを判定する。例えば、水平および垂直エネルギ差が閾値以上ではないと判定された場合、ステップＳ４４において、２Ｄエッジ強調部１４は、そのピクセルは、エッジ上のピクセルではないものとみなし、フィルタ処理を施さずに（元のエネルギをそのままそのピクセルのエネルギし）、バッファ１４ａに記憶させる。その後、ステップＳ４２の処理に戻り、それ以降の処理が繰り返される。
【０１０３】
ステップＳ４３において、水平または垂直エネルギ差が閾値以上であると判定された場合、ステップＳ４５において、２Ｄエッジ強調部１４は、そのピクセルがエッジ上にあるものとみなし、２Ｄエッジ強調処理を施す。すなわち、２Ｄエッジ強調部１４は、２Ｄエッジ強調処理しようとするピクセルを中心とする５×５個のピクセルに対して、例えば、図１５に示すようなフィルタ係数を乗算し、その和を、２Ｄエッジ強調処理しようとするピクセルに挿入する。尚、図１５のα（0.5＜α＜1.2）は、２Ｄエッジ処理のレベル（訂正のレベル）を制御する適正パラメータである。また、この２Ｄフィルタは、３×３個のピクセルに対してローパスフィルタ処理すると同時に、５×５個のピクセルに対してハイパスフィルタ処理するフィルタである。
【０１０４】
例えば、α＝0.6とする場合、図１６（Ａ）に示されるようなエネルギの画像データが、２Ｄエッジ強調部１４に入力されたとき、この図１６（Ａ）に示す画像データの実線の四角で囲まれる「30」のピクセルに対して、図１６（Ａ）の点線で囲まれる５×５個のピクセルを用いて、フィルタの演算が実行される。
【０１０５】
すなわち、フィルタの上の行の右から、（１／４−０．６／２）2×３０＋（１／１６−０．６／８）×３０＋（０．６／４−０．６2／２）×３０＋（１／１６−０．６／８）×３０＋（１／４−０．６／２）2×３０＋（１／１６−０．６／８）×７０＋１／１６×３０＋０．６／４×３０＋１／１６×３０＋（１／１６−０．６／８）×３０＋（０．６／４−０．６2／２）×７０＋０．６／４×７０＋０．６2×３０＋０．６／４×３０＋（０．６／４−０．６2／２）×３０＋（１／１６−０．６／８）×７０＋１／１６×７０＋０．６／４×７０＋１／１６×３０＋（１／１６−０．６／８）×３０＋（１／４−０．６／２）2×７０＋（１／１６−０．６／８）×７０＋（０．６／４−０．６2／２）×７０＋（１／１６−０．６／８）×７０＋（１／４−０．６／２）2×３０＝４０となり、フィルタ処理されたエネルギは、図１６（Ｂ）に示すように４０となる。
【０１０６】
ステップＳ４６において、２Ｄエッジ強調部１４は、上記の処理により求められたフィルタ処理されたエネルギをバッファ１４ａに記憶させる。その後、ステップＳ４２の処理に戻り、全てのピクセルに対して処理がなされるまで、それ以降の処理が繰り返される。すなわち、図１５に示すフィルタにより、２Ｄエッジ強調部１４に入力された画像データの各ピクセルが順次フィルタ処理される。
【０１０７】
ステップＳ４２において、全てのピクセルがフィルタ処理され、フィルタ処理されるべきピクセルがないと判定された場合、２Ｄエッジ強調部１４は、ステップＳ４７において、バッファ１４ａに記憶されている画像データを表示部２に出力する。その後、その処理は、図２のフローチャートのステップＳ８の処理に戻る。
【０１０８】
ステップＳ９において、表示部２は、２Ｄエッジ強調部１４から入力された画像データを表示する。
【０１０９】
ステップＳ２において、入力された画像データが、フォントデータであると判定された場合、ステップＳ１０において、イメージセレクタ１１は、入力された画像データをエッジ接続部１５に出力する。
【０１１０】
ステップＳ１１において、エッジ接続部１５は、入力されたフォントデータのエッジのぼやけ易い、接続部分を、以下の処理により太くする。
【０１１１】
エッジの接続部分は、ピクセルで表すと図１７に示すような構成となる。すなわち、図１７（Ａ）に示すように、Pixel０とPixel３のエネルギ差が、Pixel１とPixel２のエネルギよりも低い場合、エッジは、Pixel０とPixel３により構成されることになる。この状態で、ピクセルPixel１とPixel２のエネルギの大小を比較し、例えば、Pixel１の方が、エネルギ的に大きいとき、Pixel１のエネルギをPixel０とPixel３の平均値となるエネルギで置換することによりエッジの接続部分を太くする。
【０１１２】
同様に図１７（B）に示すように、Pixel１とPixel２によりエッジが構成された場合、Pixel０とPixel３のエネルギの大小を比較し、Pixel３の方がエネルギ的に大きいとき、Pixel３に、Pixel１とPixel２の平均値となるエネルギで置換してエッジの接続部分を太くする。
【０１１３】
以上のように、エッジ接続部１５は、入力されたフォントデータの細いエッジの接続部分を太く接続した後、水平拡大処理部１２に出力する。その後、ステップＳ４以降の処理が繰り返される。
【０１１４】
ステップＳ５において、水平拡大処理部１２により水平拡大処理された画像データがグラフィックデータであると判定された場合、ステップＳ１２において、水平拡大処理部１２は、水平拡大処理した画像データを１Ｄエッジ強調部１６に出力する。
【０１１５】
ステップＳ１３において、１Ｄエッジ強調部１６は、入力された水平拡大処理されている画像データを１Ｄエッジ強調処理する。
【０１１６】
ここで、図１８のフローチャートを参照して、１Ｄエッジ強調部１６の１Ｄエッジ強調処理について説明する。
【０１１７】
ステップＳ５１において、１Ｄエッジ強調部１６は、入力された画像データをバッファ１６ａに記憶させる。
【０１１８】
ステップＳ５２において、１Ｄエッジ強調部１６は、処理すべきピクセルがあるか否かを判定する。処理すべきピクセルがある場合、ステップＳ５３において、１Ｄエッジ強調部１６は、処理しようとするピクセルの水平エネルギ差が閾値以上であるか否かを判定する。水平エネルギ差が、閾値以上ではないと判定された場合、ステップＳ５４において、１Ｄエッジ強調部１６は、処理すべきピクセルは、エッジ上のピクセルではないものとみなし、そのピクセルに１Ｄエッジ強調用のフィルタ処理をすることなく、バッファ１６ａに記憶させる。その後、ステップＳ５２の処理に戻り、それ以降の処理が繰り返される。
【０１１９】
ステップＳ５３において、ピクセルの水平エネルギ差が閾値以上であると判定された場合、１Ｄエッジ強調部１６は、そのピクセルがエッジ上のピクセルであるものとみなし、ステップＳ５５において、水平方向の１Ｄエッジ強調用のフィルタ処理を施す。
【０１２０】
例えば、図１９に示すような水平方向の１Ｄエッジ強調用のフィルタを、α＝0.6で使用し、図２０（Ａ）に示すような画像データのうち、実線の四角で囲まれた「３０」のピクセルをフィルタ処理する場合、フィルタ処理は、図１９に示すフィルタと、図２０（Ａ）の点線で囲まれる１×５個のピクセルにより計算される。その計算結果は、（１／４−０．６／２）×７０＋１／４×７０＋０．６×３０＋１／４×３０＋（１／４−０．６／２）×３０＝３８となり、図２０（Ｂ）に示すように、フィルタ処理後のピクセルのエネルギは、「３８」となる。
【０１２１】
ステップＳ５６において、１Ｄエッジ強調部１６は、ステップＳ５５の処理で、フィルタ処理されたピクセルの値を元のピクセルの値とし、バッファ１６ａに記憶させる。その後、ステップＳ５２の処理に戻り、それ以降の処理が繰り返される。
【０１２２】
ステップＳ５２において、全てのピクセルに処理がなされ、処理すべきピクセルがないと判定された場合、ステップＳ５７において、１Ｄエッジ強調部１６は、バッファ１６ａに記憶された画像データを垂直拡大処理部１３に出力する。その後、処理は、図２のステップＳ１３に戻る。
【０１２３】
ここで、図２のフローチャートの説明に戻る。
【０１２４】
ステップＳ１４において、垂直拡大処理部１３は、入力された画像データを垂直拡大処理する。この処理については、図９のフローチャートを参照して説明した処理と同様であるので、省略する。
【０１２５】
ステップＳ１５において、２Ｄエッジ強調部１４は、垂直拡大処理部１３から入力された垂直拡大処理されている画像データが、既に水平方向に１Ｄエッジ強調処理された画像であるので、図１４のフローチャートで説明した２Ｄエッジ強調用のフィルタを使った処理ではなく、垂直方向の１Ｄエッジ強調処理を実行する。
【０１２６】
ここで、図２１のフローチャートを参照して、２Ｄエッジ強調部１６が実行する１Ｄエッジ強調処理（垂直方向）について説明する。
【０１２７】
ステップＳ６１において、２Ｄエッジ強調部１４は、入力された画像データをバッファ１４ａに記憶させる。
【０１２８】
ステップＳ６２において、２Ｄエッジ強調部１４は、処理すべきピクセルがあるか否かを判定する。処理すべきピクセルがある場合、ステップＳ６３において、２Ｄエッジ強調部１４は、処理しようとするピクセルの垂直エネルギ差が閾値以上であるか否かを判定する。垂直エネルギ差が、閾値以上ではないと判定された場合、ステップＳ６４において、２Ｄエッジ強調部１４は、処理すべきピクセルが、エッジ上のピクセルではないとみなし、そのピクセルに１Ｄエッジ強調用のフィルタ処理をすることなく、バッファ１４ａに記憶させる。その後、ステップＳ６２の処理に戻り、それ以降の処理が繰り返される。
【０１２９】
ステップＳ６３において、ピクセルの垂直エネルギ差が閾値以上であると判定された場合、ステップＳ６５において、２Ｄエッジ強調部１４は、そのピクセルがエッジ上のピクセルであるものとみなし、１Ｄエッジ強調用のフィルタ処理を施す。
【０１３０】
例えば、図２２に示すような１Ｄエッジ強調用のフィルタを使用し、α＝0.6とする場合、図２３（Ａ）に示すような画像データのうち、実線の四角で囲まれた「７０」のピクセルをフィルタ処理するとき、フィルタ処理は、図２２に示すフィルタと、図２３（Ａ）の点線で囲まれる５×１個のピクセルにより計算される。その計算結果は、（１／４−０．６／２）×３０＋１／４×３０＋０．６×７０＋１／４×７０＋（１／４−０．６／２）×７０＝６２となり、図２３（Ｂ）に示すように、フィルタ処理後のピクセルのエネルギは、「６２」となる。
【０１３１】
ステップＳ６６において、２Ｄエッジ強調部１４は、ステップＳ６５の処理で、フィルタ処理されたピクセルの値を元のピクセルの値とし、バッファ１４ａに記憶させる。その後、ステップＳ６２の処理に戻り、それ以降の処理が繰り返される。
【０１３２】
ステップＳ６２において、全てのピクセルに処理がなされ、処理すべきピクセルがないと判定された場合、ステップＳ６７において、２Ｄエッジ強調部１４は、バッファ１４ａに記憶された画像データを表示部２に出力する。その後、処理は、図２のステップＳ９に進み、それ以降の処理が繰り返される。
【０１３３】
尚、以上の説明においては、拡大の倍率を水平方向と垂直方向について、それぞれ２倍として説明したが、当然のことながら、これ以上の倍率であってもよい。
【０１３４】
また、画像データの種類については、文字データ、写真データ、およびグラフィックデータのそれぞれの単一データの場合について説明してきたが、複数の種類が組み合わされている場合、画像データをそれぞれのデータの種類ごとに分割して、処理することで複数種類の画像データが組み合わされた画像データにも対応することができる。
【０１３５】
また、以上の画像拡大装置１においては、水平方向に拡大処理を実行した後、垂直方向に拡大処理を実行する例について、説明してきたが、当然のことながら、垂直方向に拡大処理を行った後、水平方向に拡大処理をするようにしてもよく、グラフィックデータを拡大する場合には、垂直方向に拡大処理を実行した後、垂直方向成分のエッジ強調処理を実行し、その後、水平方向に拡大処理を実行した後、水平方向成分のエッジ強調処理を実行するようにしても良い。
【０１３６】
以上によれば、入力された画像データの種類が判定され、文字データである場合、ぼやけ易いエッジの接続部分が強調され、高解像度での拡大処理が可能となる。また、入力された画像データが、写真データである場合、水平方向と垂直方向にブランクを設け、そのブランクに元の画像データのピクセルからエッジ方向を設定し、そのエッジ方向のピクセルからブランクにピクセルを補間し、拡大画像データを生成すると共に、その拡大された画像データの水平方向と垂直方向の両方にエッジ強調処理がなされるので、高解像度で写真データを拡大することが可能となる。さらに、入力された画像データが、グラフィックデータである場合、水平方向に拡大処理をした後、水平方向のエッジ強調処理を施し、続いて、垂直方向の拡大処理をした後、垂直方向のエッジ強調処理を施すようにしたので、拡大処理毎に発生するエッジのぼやけやエラーを減少することができ、エッジ部分をより鮮明に、高解像度で拡大することが可能となる。
【０１３７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、図１に示す画像拡大装置などの専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１３８】
図２４は、パーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１０１は、パーソナルコンピュータの動作の全体を制御する。また、CPU１０１は、バス１０４および入出力インターフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory)１０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、または半導体メモリ１３４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１３９】
プログラムが記録されている記録媒体は、図２４に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、磁気ディスク１３１（フロッピーディスクを含む）、光ディスク１３２（CD-ROM(Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１３３（MD（Mini-Disk）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、ROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１４０】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１４１】
【発明の効果】
本発明によれば、文字データなどの拡大画像にするとぼやけ易いエッジの接続部分の解像度を高くすることが可能となる。
【０１４２】
また、本発明によれば、水平垂直方向の画像データの拡大処理が簡単で、かつ、拡大処理された画像の解像度を高くすることが可能となる。
【０１４３】
さらに、本発明によれば、グラフィックデータなどの拡大画像のエッジ部分の解像度を高めることが可能となる。
【図面の簡単な説明】
【図１】画像拡大装置の構成を示すブロック図である。
【図２】図１の画像拡大装置が入力された画像データを拡大するときの処理を説明するフローチャートである。
【図３】水平拡大処理を説明するフローチャートである。
【図４】水平拡大するときの元の画像データのピクセルとブランクの位置関係を説明する図である。
【図５】元の画像データに水平方向にブランクを入れた状態を説明する図である。
【図６】水平拡大処理する際に、新たにピクセルを生成する方法を説明する図である。
【図７】水平拡大処理する場合の新たにピクセルを生成するときの一例を示す図である。
【図８】入力された画像データが水平拡大処理および垂直拡大処理されたときの画像データを説明する図である。
【図９】垂直拡大処理を説明するフローチャートである。
【図１０】垂直拡大処理するときの元の画像データのピクセルとブランクの位置関係を説明する図である。
【図１１】元の画像データに垂直方向にブランクを入れた状態を説明する図である。
【図１２】垂直拡大処理する際に、新たにピクセルを生成する方法を説明する図である。
【図１３】垂直拡大処理する際に、新たにピクセルを生成する一例を示す図である。
【図１４】２Ｄエッジ強調処理を説明するフローチャートである。
【図１５】２Ｄエッジ強調用のフィルタの一例を示す図である。
【図１６】２Ｄエッジ強調用フィルタの処理を説明する図である。
【図１７】フォントデータのエッジの接続部分を太くする方法を説明する図である。
【図１８】図１の１Ｄエッジ強調部の１Ｄエッジ強調処理を説明するフローチャートである。
【図１９】水平方向の１Ｄエッジ強調用フィルタの一例を示す図である。
【図２０】水平方向の１Ｄエッジ強調用フィルタの処理を説明する図である。
【図２１】図１の２Ｄエッジ強調部の１Ｄエッジ強調処理を説明するフローチャートである。
【図２２】垂直方向の１Ｄエッジ強調用フィルタの一例を示す図である。
【図２３】垂直方向の１Ｄエッジ強調用フィルタの処理を説明する図である。
【図２４】媒体を説明する図である。
【符号の説明】
１  画像拡大装置，２  表示部，１１  イメージセレクタ，１２  水平拡大処理部，１２ａ  Ｈバッファ，１３  垂直拡大処理部，１３ａ  Ｖバッファ，１４２Ｄエッジ強調部，１４ａ  バッファ，１５  エッジ接続部，１６  １Ｄエッジ強調部，１６ａ  バッファ
【図１】
0004547752.tif 000002
【図２】
0004547752.tif 000003
【図３】
0004547752.tif 000004
【図４】
0004547752.tif 000005
【図５】
0004547752.tif 000006
【図６】
0004547752.tif 000007
【図７】
0004547752.tif 000008
【図８】
0004547752.tif 000009
【図９】
0004547752.tif 000010
【図１０】
0004547752.tif 000011
【図１１】
0004547752.tif 000012
【図１２】
0004547752.tif 000013
【図１３】
0004547752.tif 000014
【図１４】
0004547752.tif 000015
【図１５】
0004547752.tif 000016
【図１６】
0004547752.tif 000017
【図１７】
0004547752.tif 000018
【図１８】
0004547752.tif 000019
【図１９】
0004547752.tif 000020
【図２０】
0004547752.tif 000021
【図２１】
0004547752.tif 000022
【図２２】
0004547752.tif 000023
【図２３】
0004547752.tif 000024
【図２４】
0004547752.tif 000025