(57)【要約】【課題】  低解像度の画像から高解像度の画像に解像度変換を行う場合、画質が劣化し、画像のなまりが目立ってしまう。【解決手段】  第１の解像度を有する画像の各画素の信号値を第１のビット群と第２のビット群に分割し、分割された第１のビット群と第２のビット群の信号値を、第１の解像度よりも大きい第２の解像度の座標平面上の各画素に配置し、配置された信号値を用いて、信号値が配置されていない画素の信号値を決定する。【選択図】  図８
2014099744.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度を有する画像を前記第１の解像度よりも大きい第２の解像度を有する画像へ変換する画像処理装置であって、
前記第１の解像度を有する画像の各画素の信号値を第１のビット群と第２のビット群に分割する分割手段と、
前記分割手段によって分割された第１のビット群と第２のビット群の信号値を、前記第２の解像度の座標平面上の各画素に配置する配置手段と、
前記配置手段によって配置された信号値を用いて、前記配置手段によって信号値が配置されていない画素の信号値を決定する決定手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記配置手段によって配置された複数の信号値からなる信号値パターンと、記憶部に記憶された低解像度の信号値パターンに対応する高解像度の信号値パターンとをマッチングすることで、前記配置手段によって信号値が配置されていない画素の信号値を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
第１の解像度を有する画像を前記第１の解像度よりも大きい第２の解像度を有する画像へ変換する画像処理装置であって、
前記第１の解像度を有する画像に補助情報が埋め込まれているか否かを判定する判定手段と、
前記判定手段によって補助情報が埋め込まれていると判定された場合、前記画像の各画素の信号値を第１のビット群と第２のビット群に分割する分割手段と、
前記分割手段によって分割された第１のビット群と第２のビット群の信号値を、前記第２の解像度の座標平面上の各画素に配置する配置手段と、
前記配置手段によって配置された信号値を用いて、前記配置手段によって信号値が配置されていない画素の信号値を決定する決定手段と
を有することを特徴とする画像処理装置。
【請求項４】
さらに、前記判定手段によって前記第１の解像度を有する画像に補助情報が埋め込まれていないと判定された場合、前記第１の解像度を有する画像に対して、最近隣内挿法、または、共一次内挿法、または、三次畳み込み内挿法を用いて解像度変換処理を行う変換手段を有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判定手段は、前記第１の解像度を有する画像の各画素の信号値を上位ビットと下位ビットに分割し、前記分割された上位ビットからなる画像のばらつきと前記分割された下位ビットからなる画像のばらつきを比較し、該比較した結果に基づき、前記第１の解像度を有する画像に補助情報が埋め込まれているか否かを判定することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記比較した結果、前記第１の解像度を有する画像のばらつきが所定の閾値以下の場合、補助情報が埋め込まれていると判定し、前記第１の解像度を有する画像のばらつきが所定の閾値より大きい場合、補助情報が埋め込まれていないと判定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１の解像度を有する画像のエッジ部に対して、前記判定手段による判定を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記第１の解像度を有する画像のばらつきは、前記画像の標準偏差、または、分散値であることを特徴とする請求項５乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
第１の解像度を有する画像を前記第１の解像度よりも大きい第２の解像度を有する画像へ変換する画像処理装置であって、
前記第１の解像度を有する画像のエッジ部を抽出する抽出手段と、
前記抽出手段によって抽出されたエッジ部の画素の信号値を第１のビット群と第２のビット群に分割する分割手段と、
前記分割手段によって分割された第１のビット群と第２のビット群の信号値を、前記第２の解像度の座標平面上の各画素に配置する配置手段と、
前記配置手段によって配置された信号値を用いて、前記配置手段によって信号値が配置されていない画素の信号値を決定する決定手段と
を有することを特徴とする画像処理装置。
【請求項１０】
第１の解像度を有する画像を前記第１の解像度よりも大きい第２の解像度を有する画像へ変換する画像処理方法であって、
前記第１の解像度を有する画像の各画素の信号値を第１のビット群と第２のビット群に分割する分割ステップと、
前記分割ステップによって分割された第１のビット群と第２のビット群の信号値を、前記第２の解像度の座標平面上の各画素に配置する配置ステップと、
前記配置ステップによって配置された信号値を用いて、前記配置ステップによって信号値が配置されていない画素の信号値を決定する決定ステップと
を有することを特徴とする画像処理方法。
【請求項１１】
第１の解像度を有する画像を前記第１の解像度よりも大きい第２の解像度を有する画像へ変換する画像処理方法であって、
前記第１の解像度を有する画像に補助情報が埋め込まれているか否かを判定する判定ステップと、
前記判定ステップによって補助情報が埋め込まれていると判定された場合、前記画像の各画素の信号値を第１のビット群と第２のビット群に分割する分割ステップと、
前記分割ステップによって分割された第１のビット群と第２のビット群の信号値を、前記第２の解像度の座標平面上の各画素に配置する配置ステップと、
前記配置ステップによって配置された信号値を用いて、前記配置ステップによって信号値が配置されていない画素の信号値を決定する決定ステップと
を有することを特徴とする画像処理方法。
【請求項１２】
第１の解像度を有する画像を前記第１の解像度よりも大きい第２の解像度を有する画像へ変換する画像処理方法であって、
前記第１の解像度を有する画像のエッジ部を抽出する抽出ステップと、
前記抽出ステップによって抽出されたエッジ部の画素の信号値を第１のビット群と第２のビット群に分割する分割ステップと、
前記分割ステップによって分割された第１のビット群と第２のビット群の信号値を、前記第２の解像度の座標平面上の各画素に配置する配置ステップと、
前記配置ステップによって配置された信号値を用いて、前記配置ステップによって信号値が配置されていない画素の信号値を決定する決定ステップと
を有することを特徴とする画像処理方法。
【請求項１３】
請求項１乃至９のいずれか一項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の解像度変換を行う画像処理装置、画像処理方法、及びプログラムに関するものである。
【背景技術】
【０００２】
低解像度の画像を高解像度の画像に解像度変換する方法として多くの方法が提案されている。例えば、多階調の画像に対して解像度変換を行う場合に多く用いられる内挿法として、内挿を行いたい内挿点から最も近い格子点の信号値を内挿点の信号値としてそのまま決定する最近隣内挿法（Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ法）がある（特許文献１参照）。また、内挿点の周囲２×２画素（４画素）の格子点の信号値を元に線形式により内挿点の信号値を決定する共一次内挿法（Ｂｉ−Ｌｉｎｅａｒ法）がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２８８１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の従来方法を用いて解像度変換を行った場合には次に示す課題がある。最近隣内挿法は、アルゴリズムが簡単で高速に処理を行うことは可能であるが、拡大比率が高くなるにつれエッジ部においてモザイク状の模様や、斜線部においてはジャギー等の画質劣化が見られる。また、共一次内挿法は、最近隣内挿法に比べジャギー等の画質劣化は低減されるが、複数点の信号値が平均化されることで、画像が平滑化されてしまう。よって、画像のエッジ部や文字などのシャープな画質が求められる部分においてはなまりが目立ってしまう。
本発明は、低解像度の画像を高解像度の画像に変換する場合に、画質劣化を低減したシャープな高解像度の画像に変換することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の画像処理装置は、第１の解像度を有する画像を前記第１の解像度よりも大きい第２の解像度を有する画像へ変換する画像処理装置であって、
前記第１の解像度を有する画像の各画素の信号値を第１のビット群と第２のビット群に分割する分割手段と、前記分割手段によって分割された第１のビット群と第２のビット群の信号値を、前記第２の解像度の座標平面上の各画素に配置する配置手段と、前記配置手段によって配置された信号値を用いて、前記配置手段によって信号値が配置されていない画素の信号値を決定する決定手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、低解像度の画像を高解像度の画像に変換する場合に、画質劣化を低減したシャープな高解像度の画像に変換することができる。
【図面の簡単な説明】
【０００７】
【図１】本実施例における画像処理装置の処理の概要を示すブロック図である。
【図２】本実施例における画像処理装置の処理の概要を示すブロック図である。
【図３】本実施例における画像処理装置のハードウェア構成を説明する図である。
【図４】本実施例における画像処理装置のハードウェア構成を説明する図である。
【図５】本実施例における画像の解像度を低くする変換を行う機能の構成を示すフローチャートである。
【図６】本実施例における画像の解像度を低くする変換を行う方法を具体的に説明する為のイメージ図である。
【図７】本実施例における解像度変換の際の階調数変換と保持方法を具体的に説明する為のイメージ図である。
【図８】本実施例における画像の解像度を高くする変換を行う機能の構成を示すフローチャートである。
【図９】本実施例における画像の解像度を高くする変換の際のｂｉｔ分割方法を具体的に説明する為のイメージ図である。
【図１０】本実施例における画像の解像度を高くする変換の際の画素再配置を具体的に説明する為のイメージ図である。
【図１１】本実施例における画像の解像度を高くする変換の際の信号値勾配パターンマッチングの構成を示すフローチャートである。
【図１２】本実施例における画像の解像度を高くする変換の際の信号値勾配パターンマッチング時のパターンマッチング方法を具体的に説明する為のイメージ図である。
【図１３】本実施例における画像の解像度を高くする変換の際の信号値勾配パターンマッチングの構成を示すフローチャートである。
【図１４】実施例２において画像の解像度を高くする変換を行う機能の構成を示すフローチャートである。
【図１５】実施例２において画像の解像度を高くする変換を行う際に補助情報が埋め込まれているかを判定するフローチャートである。
【図１６】実施例３において画像の解像度を高くする変換を行う際に補助情報が埋め込まれているかを判定するフローチャートである。
【図１７】実施例３において画像の解像度を高くする変換を行う際に補助情報を埋め込んでいる画素を切り出すフローチャートである。
【図１８】実施例３において画像の解像度を高くする変換を行う際に補助情報を埋め込んでいる画素を切り出すフローチャートである。
【図１９】実施例３において画像の解像度を高くする変換を行う際に補助情報を埋め込んでいる画素を切り出すフローチャートである。
【図２０】実施例３において画像の解像度を低くする変換を行う際に補助情報を画素毎に切り替えて埋め込む処理を示すフローチャートである。
【図２１】実施例３において画像の解像度を低くする変換を行う際に補助情報を埋め込むか否かの判定処理を示すフローチャートである。
【図２２】実施例３において画像の解像度を低くする変換を行う際に補助情報を埋め込むか否かを比較する処理を示すイメージ図である。
【図２３】実施例３において画像の解像度を高くする変換を行う際に補助情報を埋め込んでいる画素切り出しを行う際の判定処理を示すイメージ図である。
【図２４】本実施例における画像処理装置のハードウェア構成を説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を用いて本発明に係る実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。
【実施例１】
【０００９】
図３は、本実施例における画像処理装置Ａのハードウェア構成を示す。画像処理装置Ａは、スキャナＩ／Ｆ２０１、ＲＡＭ２０２、ＣＰＵ２０３、ＲＯＭ２０４、ネットワークＩ／Ｆ２０５、画像処理部２０８から構成される。本実施例に記載のフローチャートの処理を実行する場合は、ＲＯＭ２０４に格納された処理を実行するためのプログラムをＲＡＭ２０２にロードし、ＣＰＵ２０３がロードされたプログラムを実行することで、処理が実行される。また、スキャナＩ／Ｆ２０１はスキャナ部２０６で読み取られた画像データを画像処理装置へ入力する。ネットワークＩ／Ｆ２０５は、ネットワーク２０７上のデータを画像処理装置へ入力する。画像処理部２０８は後述するフローチャートの処理を実行する。
【００１０】
図４は、本実施例における画像処理装置Ｂのハードウェア構成を示す。図３と同様の機能は同番号を付ける。画像処理装置Ｂは、スキャナＩ／Ｆ２０１、ＲＡＭ２０２、ＣＰＵ２０３、ＲＯＭ２０４、ネットワークＩ／Ｆ２０５、画像処理部２０８から構成される。本実施例に記載のフローチャートの処理を実行する場合は、ＲＯＭ２０４に格納された処理を実行するためのプログラムをＲＡＭ２０２にロードし、ＣＰＵ２０３がロードされたプログラムを実行することで、処理が実行される。また、表示Ｉ／Ｆ３０１はディスプレイ部３０３への画像の表示を制御し、プリンタＩ／Ｆ３００は、画像を紙などの出力媒体に印刷するために、プリンタに画像データを出力する。画像処理部２０８は後述するフローチャートの処理を実行する。
【００１１】
図２４は、本実施例における画像処理装置Ｃのハードウェア構成を示す。図３と同様の機能は同番号を付ける。画像処理装置Ｂは、スキャナＩ／Ｆ２０１、ＲＡＭ２０２、ＣＰＵ２０３、ＲＯＭ２０４、ネットワークＩ／Ｆ２０５、画像処理部２０８から構成される。本実施例に記載のフローチャートの処理を実行する場合は、ＲＯＭ２０４に格納された処理を実行するためのプログラムをＲＡＭ２０２にロードし、ＣＰＵ２０３がロードされたプログラムを実行することで、処理が実行される。また、表示Ｉ／Ｆ３０１はディスプレイ部３０３への画像の表示を制御し、プリンタＩ／Ｆ３００は、画像を紙などの出力媒体に印刷するために、プリンタに画像データを出力する。画像処理部２０８は後述するフローチャートの処理を実行する。
【００１２】
図１は、実施例１における画像処理装置Ａと画像処理装置Ｂの処理の概要を示すブロック図である。図１を参照して、２台の画像処理装置（例えば、ＭＦＰや複写機）間の画像データ転送を例とし、画像処理装置に入力された画像の解像度変換のフローを説明する。図１は、画像処理装置Ａにおいて取得した画像の解像度を下げる解像度変換を行い、解像度変換後の画像をネットワークを介して画像処理装置Ｂに転送し、画像処理装置Ｂにおいて画像の解像度を上げる解像度変換を行い出力するフローである。なお、画像処理装置Ｂは、ネットワーク上のクラウドサーバーでもよい。
【００１３】
画像入力部１００は、画像データが入力される入力部である。画像入力部１００で入力されるデータとしては、スキャナやカメラといった画像取得装置等から取得した画像や、パソコン等で作成した画像データであれば扱う事が可能である。解像度変換部１０１は、画像入力部１００から入力されたデータを、ネットワーク負荷等の容量負荷の低減を考慮し、画像の解像度を下げる解像度変換部である。詳細は後述するが、解像度変換部１０１では、解像度を下げた画像の解像度を上げる際に使用する補助情報の埋め込みを行う。画像転送部１０２は、解像度変換部１０１で変換された画像を、ネットワーク先の画像処理装置へ転送する。解像度変換部１０３は、画像転送部１０２から送られてくる低い解像度の画像を高い解像度の画像へ解像度変換を行う。詳細は後述するが、解像度変換部１０３は、解像度変換部１０１で埋め込んだ補助情報を用いて解像度変換を行うことも可能である。画像出力部１０４は、解像度変換部１０３から出力される高解像度化された画像をプリンタやディスプレイ等の出力媒体から出力を行う。なお、出力せず画像処理装置のハードディスク等への保持も可能である。
【００１４】
図２は、１台又は２台の画像処理装置Ａ／Ｂと、サーバーやクラウドサーバーといったネットワーク上にある画像処理装置Ｃで画像処理を実施する場合の、画像処理装置Ａと画像処理装置Ｂと画像処理装置Ｃの処理の概要を示すブロック図である。尚、図１と同様の機能に関しては同一番号を付ける。
【００１５】
画像処理装置Ａの画像入力部１００は、画像取得装置から取得される画像データが入力される入力部である。画像縮小変換部１０１は、画像入力部１００から入力されたデータを、ネットワーク負荷等の容量負荷の低減を考慮し、画像の解像度を小さくする解像度変換部である。画像転送部１０２は、解像度が落とされた画像を、ネットワーク上のクラウドサーバー等の画像処理モジュールを持つ画像処理装置Ｃへ画像を転送する。画像処理部１０５は、画像転送部１０２から送信された画像データを取得し、各種画像処理（色処理や明るさ補正処理）を実施する。画像処理部１０５において画像処理された画像データを画像転送部１０２より画像処理装置ＡまたはＢへ転送する。解像度変換部１０３は、画像転送部１０２から送られてくる画像の解像度を高解像度の画像へ変換する。画像出力部１０４は、解像度変換部１０３から出力される高解像度化された画像の出力を行う。尚、解像度変換部１０３の変換処理は、画像処理部１０５内で実施することも可能である。その際には画像処理部１０５で、各種画像処理、及び解像度変換部１０３での解像度変換処理を行った後に、画像転送部１０２より画像処理装置ＡまたはＢへと画像が転送され、画像処理装置ＡまたはＢの画像出力部１０４において画像の出力を行う。
【００１６】
＜画像の解像度を小さくする変換＞
図５は、図１及び図２に記載の解像度変換部１０１についての処理のフローである。尚、画像の解像度を横１／２倍、縦１／２倍の解像度に変換する場合について説明し、また、画像の階調数も８ｂｉｔのデータについて説明するが、いずれについても固定されるものではなく任意の変更が可能である。
【００１７】
図５のフローは、画像入力部１００から入力されたラスタ画像データのデータサイズを低減するため、画像の解像度を小さくする変換を行う。
【００１８】
Ｓ４００では、入力された画像の各画素のビット数を落とす処理を行う。例えば、入力された画像の各画素のビット数が８ｂｉｔの場合、各画素のビット数を４ｂｉｔの信号値に変換する。ビット数の減らし方としては、例えば、８ビットの信号値の下位４ビットの値を０にすることで、８ビットから４ビットに変換する。階調数（ビット数）変換は画像全体の全画素に対し行うのではなく、例えば、画像の解像度を横１／２倍、縦１／２倍の解像度に変換する場合、注目画素、及び注目画素から各１画素ずつ位相ズレした画素（以後、位相ズレ画素）の信号値を階調数変換する。
【００１９】
図６を参照し、より詳細に説明する。図６（ａ）は入力された高解像度画像である。注目画素が座標ａの場合を例に説明する。Ｓ４００では、注目画素である座標ａの信号値を取得し８ｂｉｔから４ｂｉｔへの階調数変換を行う。さらに、座標ａに対しＸ軸方向、Ｙ軸方向に各１画素ずつ位相ズレした座標ｄの信号値を取得し８ｂｉｔから４ｂｉｔへの階調数変換を行う。Ｓ４００の処理により、図６（ｂ）に示すように、画像の注目画素と位相ズレした画素に対する階調数変換処理によって４ｂｉｔ化された座標ａ（ａ’）、及び座標ｄ（ｄ’）の画像を生成する。
【００２０】
次に、Ｓ４０１では、４ｂｉｔ化した注目画素及び４ｂｉｔ化した位相ズレ画素の信号値（補助情報）を、解像度を落とした後の注目画素座標に対応する信号値に埋め込む処理を行う。なお、解像度を落とした後の注目画素座標に対応する信号値は８ビットの信号値であり、８ビットの信号値の上位４ビットに注目画素の信号値を埋め込み、下位４ビットに位相ズレ画素の信号値を埋め込む。従来手法である最近隣内挿法の場合、解像度を落とした後の注目画素座標に対応する信号値を最近隣の画素を元に決定するため、座標ａの値を８ｂｉｔのまま保持する（図６（ｃ）参照）。一方、本実施例では、４ｂｉｔ化した注目画素の信号値、及び４ｂｉｔ化した位相ズレ画素の信号値を統合し保持する（図６（ｄ）参照）。
【００２１】
図７は、４ｂｉｔ化した注目画素の信号値、及び４ｂｉｔ化した位相ズレ画素の信号値を統合する方法を説明する図である。入力される８ｂｉｔの座標ａ及び座標ｄの画素について、それぞれ上位４ｂｉｔの信号値を取得する。取得した上位４ｂｉｔの座標ａ（ａ’）、及び座標ｄ（ｄ’）の信号値を、解像度を落とした後の注目画素座標の信号値（８ｂｉｔ）の上位４ｂｉｔ側にａ’を、下位４ｂｉｔ側にｄ’を入れ、解像度を落とした後の新規信号値（ａ”）として保持させる。この処理を、画像の各画素に対して行うことで画像の解像度を横１／２倍、縦１／２倍の解像度に変換することが可能である。このような解像度変換を行うことで作成される画像の信号値の上位４ｂｉｔは、単純に最近隣座標の信号値で決定した座標ａの信号値で統一されるため、階調数の低下があるものの、最近隣内挿法で縮小した画像同等の画像を生成することが可能である。
【００２２】
尚、本実施例では注目画素の信号値、及び位相ズレ画素の信号値を、最近隣画素の値にしたが、周辺画素の重み付きで決定することも可能である。
【００２３】
＜画像の解像度を大きくする変換＞
図８は、画像の解像度を大きくする図１及び図２に記載の解像度変換部１０３についての処理のフローである。尚、画像の解像度を横２倍、縦２倍の解像度に変換する場合について説明し、また、画像の階調数も８ｂｉｔのデータについて説明するが、いずれについても固定されるものではなく任意の変更が可能である。
【００２４】
解像度変換部１０３は、第１の解像度を有する画像を、第１の解像度よりも大きい第２の解像度を有する画像へ解像度変換を行う。
【００２５】
図８のＳ５００では、多値画像の注目画素の信号値を取得する。次にＳ５０１では、Ｓ５００で取得した多値画像の注目画素のビット（８ｂｉｔ）の信号値を、上位ビット（４ｂｉｔ）と下位ビット（４ｂｉｔ）に分割する処理を行う。取得した８ｂｉｔの信号値を注目画素の信号値、及び位相ズレ画素の信号値として上位４ｂｉｔ、下位４ｂｉｔに分割する方法をより詳細にするため図９を参照して説明する。図９は、取得した８ｂｉｔの注目画素の信号値（ａ”）を上位４ｂｉｔ、下位４ｂｉｔとして分割を行う図である。解像度変換部１０１において上位４ｂｉｔ、下位４ｂｉｔのそれぞれが注目画素、及び位相ズレ画素の信号値である為、それぞれを新規注目画素（ａ’）の上位４ｂｉｔ、新規位相ズレ画素（ｄ’）の上位４ｂｉｔとして分割する。なお、ビットの分割は、上位ビットと下位ビットに分ける以外の方法でもよく、第１のビット群と第２のビット群に分割すればよい。
【００２６】
次に、Ｓ５０２では、Ｓ５０１において分割して生成した新規注目画素（ａ’）の上位４ｂｉｔを８ｂｉｔにする。ａ’の上位４ｂｉｔの下位に、ｂｉｔ「０」をセットすることで８ｂｉｔを生成する。同様に、新規位相ズレ画素（ｄ’）の上位４ｂｉｔを８ｂｉｔにする。８ｂｉｔに変換された新規注目画素（ａ’）と新規位相ズレ画素（ｄ’）を解像度変換後（第２の解像度）の座標平面上の各画素に配置する（図１０参照）。次に、Ｓ５０３では、Ｓ５０２で配置した信号値の勾配をマッチングすることで、信号値が未知の画素の信号値を求める。マッチングは、ＲＯＭ２０４（記憶部）に記憶している低・高解像度対応パターンデータベースの複数のパターンから検索することで行われる。
【００２７】
図１１は、図８のＳ５０３におけるパターンマッチング処理をより詳細に説明する図である。図１１を用いて、画像データの解像度を横２倍、縦２倍に解像度変換する処理の例について述べる。
【００２８】
Ｓ６０１では、Ｓ５０２で配置した信号値を信号値パターンとして取得する（Ｎ、Ｍは任意の自然数）。詳細には、低解像度画像から高解像度画像に解像度変換した際に補間が必要な未知画素を囲むＮ×Ｍ個の画素の信号値を信号値パターンとして取得する。周辺画素信号値取得部６０１で取得した信号値パターンは、Ｓ６０２において、パターンマッチングされる。Ｓ６０２では、受信した信号値パターンと一致する信号値パターン、又は類似する信号値パターンを持つ信号値マッチングパターンを、予め生成しておいた低・高解像度対応パターン記憶部６０３から検索する。そして、検索された高解像度のパターンを低・高解像度対応パターン記憶部６０３から取得する。
【００２９】
次に、Ｓ６０２のパターンマッチング処理をより詳細にするため図１２を参照して説明する。分割して生成した新規注目画素（ａ’）の上位４ｂｉｔ、新規位相ズレ画素（ｄ’）の上位４ｂｉｔで形成される十字状の信号値を、信号値未知画素を囲むＮ×Ｍ個の画素の信号値として取得する（図１２の低・高解像度対応パターン記憶部６０３のＡＢＣＤｉ）。ここで、低・高解像度対応パターン記憶部６０３には、上下左右（ＡＢＣＤ）の画素に挟まれた中央の信号値を決定するために、複数のマッチングパターンを有している。低・高解像度対応パターン記憶部６０３に記憶されている注目画素（Ｅ）の信号値は、周辺画素（ＡＢＣＤ）の画素値に対してエッジをシャープにするような信号値である。図１２に示す例では、信号値が未知の中心画素ｉは、信号値が未知の画素ｉを囲む３×３個の４近傍の座標の信号値から求められる。４近傍の座標の信号値は、Ａ＝１１１１００００（２４０）、Ｂ＝１１０１００００（２０８）、Ｃ＝１０００００００（６４）、Ｄ＝１１００００００（４８）であるとする。パターンデータの保持方法としては、取得した低解像度の信号値パターンがＡ（Ｘ，Ｙ−１）、Ｂ（Ｘ−１，Ｙ）、Ｃ（Ｘ＋１，Ｙ）、Ｄ（Ｘ，Ｙ＋１）の場合には、その組合せに対応するＡ（Ｘ，Ｙ−１）、Ｂ（Ｘ−１，Ｙ）、Ｃ（Ｘ＋１，Ｙ）、Ｄ（Ｘ，Ｙ＋１）、Ｅ（Ｘ，Ｙ）の高解像度の信号値置換パターンを保持したデータベースを用いる。
【００３０】
以上の低・高解像度対応パターン記憶部６０３内の信号値対応パターンを用いて取得した信号値パターンを元に、低解像度パターンから一致するパターンを取得し、それに対応する高解像度パターンに置き換えを行う。図１２に示す例では、未知画素ｉの新規信号値をＥ＝１０１０００００（８０）として置き換える。さらに、低・高解像度対応パターン数を増やすことで、より精度よく高階調数に復元させることが可能となる。尚、図１２に示す例では４近傍のパターンから注目画素の信号値を求めるパターンを説明したが、パターンの組み合わせを限定するものではなく、他の形状のパターンを用いてもよい。
【００３１】
図１１の説明に戻ると、Ｓ６０４では、パターンマッチング部６０２において低・高解像度対応パターン記憶部６０３から取得した高解像度の信号値パターンを用いて、高解像度の未知の画素（補間対象の座標の画素）の信号値を求める。以上のフローを全ての補間対象の座標において行い、高解像度画像として出力する。尚、上記の例では画像の解像度を横２倍、縦２倍に解像度変換する例を示したが限定するものではなく、任意の変倍も可能である。
【００３２】
上記のＳ５０３のマッチング処理は一例にすぎず、これに限定されない。例えば、低解像度画像に対し像域分離やエッジ箇所抽出等の処理を行い、解像度変換手法を領域により切り替える構成を備えるものであってもよい。
【００３３】
図１３はＳ５０３の信号値勾配パターンマッチング処理の別の例を示す。図１３は、解像度変換手法をエッジ部と非エッジ部での領域により分岐する構成で行う解像度変換のフローチャートを示す。図１３において、上述した図１１に示す処理と同一の処理については同一番号を付ける。
【００３４】
以下では、図１１のフローでは行われない処理のみ説明する。
【００３５】
まず、Ｓ７００において、画像データのエッジ（文字）部と非エッジ部である下地（背景）部を判定する。Ｓ７００において下地部と判定された場合、Ｓ７０１に処理をすすむ。Ｓ７０１では、例えば最近隣内挿法や三次畳み込み内挿法により解像度変換を行う。
【００３６】
Ｓ７００においてエッジ部と判定された場合、図１１で説明したＳ６０１の処理を行う。パターンマッチングを用いた解像度変換を行うように、適応的に解像度変換手法を変えることも可能である。尚、上記の例ではエッジ抽出による分岐を示したが、像域分離により分割し解像度変換手法を変えるなども挙げられ、エッジ抽出に限定するものではない。
【００３７】
以上のように本実施例では、位相ズレ画素の補助情報を用いて解像度変換を実施することで、画質劣化を低減したシャープな高解像度の画像に変換することができる。
【実施例２】
【００３８】
実施例１においては、高解像度から低解像度へ解像度変換する場合、高解像度画像の注目画素の信号値と位相ズレ画素の信号値を、同じ画素内に埋め込むことを前提としていた。そして、埋め込まれた信号値を用いて低解像度画像から高解像度画像に解像度変換を実施する方法を説明した。低解像度画像に対して注目画素と位相ズレ画素の信号値（補助情報）が埋め込まれているかを確認するために、例えば低解像度画像のヘッダー部に何らかの情報を付加するか、低解像度画像に別ファイルを付随させる必要がある。画像のヘッダー部への情報の付加や、画像に別ファイルを付随させると特殊化されたデータとなり、画像の汎用性が低下してしまう。
【００３９】
そこで、実施例２では、画像のヘッダー部への付加情報や別ファイルを付けることなく、画像内の信号値から補助情報が埋め込まれているかを判断し、補助情報の判定結果に応じて実施例１の処理を行うか否かを切り替える。図１４に実施例２における解像度変換処理の流れを示すフローチャートを示す。図１４において、上述した図８の処理と同一の処理については同一の番号を付ける。
【００４０】
まず、Ｓ８００において、画像の信号値から補助情報となる位相ズレ画素の信号値が埋め込まれているか否かを判定する。位相ズレ画素の信号値が埋め込まれていると判定された場合には、実施例１で示した通り、Ｓ５００において注目画素の信号値を取得する。そして、Ｓ５０１において、信号値を上位ｂｉｔと下位ｂｉｔに分割し、Ｓ５０２において注目画素と位相ズレ画素を再配置する。次にＳ５０３においてパターンマッチングにより未知の画素の信号値を求め、低解像度の画像から高解像度の画像に解像度変換が行われる。一方、Ｓ８００において位相ズレ画素の信号値が埋め込まれていないと判定された場合には、Ｓ８０１において一般的な拡大処理が行われる。Ｓ８０１では、第１の解像度を有する画像を、最近隣内挿法や共一次内挿法、三次畳み込み内挿法などの補間処理によって低解像度から高解像度に解像度変換が行われる。
【００４１】
図１５を参照して、図１４のＳ８００の処理のフローを説明する。尚、画像の階調数も８ｂｉｔのデータについて説明するが固定されるものではなく任意の変更が可能である。尚、図１５において、上述した図１４の処理と同一の処理については同一の番号を付ける。
【００４２】
Ｓ９０１において、Ｓ５０１において分割された上位ｂｉｔの信号値を取得し、上位ｂｉｔのみでの画像を生成し、Ｓ９０２において、Ｓ９０１において作成された画像の信号値の標準偏差又は分散値を算出する。次に、Ｓ９０３において、Ｓ５０１において分割された下位ｂｉｔの信号値を取得し、下位ｂｉｔのみでの画像を生成し、Ｓ９０４において、Ｓ９０３において作成された画像の信号値の標準偏差又は分散値を算出する。尚、Ｓ９０２及びＳ９０４で算出される値は、画像の信号値の標準偏差又は分散に限らない。画像内の信号値のばらつき具合を算出する方法であれば手法はどのような値であってもよい。
【００４３】
Ｓ９０５では、Ｓ９０２おいて算出した値とＳ９０４において算出した値から位相ズレ画素が埋め込まれているかを判定する。判定方法としては、位相ズレ画素が下位ｂｉｔに埋め込まれている場合にはＳ９０３によって生成される画像は、入力される低解像度画像の位相ズレ画像が生成されることになる。つまり、Ｓ９０１とＳ９０３で生成される画像は類似した画像になる。そのため、Ｓ９０２において算出した値と、Ｓ９０４において算出した値はほぼ同等の値となる。
【００４４】
一方で、位相ズレ画素が下位ｂｉｔに埋め込まれていない場合には、Ｓ９０３で生成される画像は、画像の階調数を向上させるための情報であり、下位ｂｉｔだけでは意味を持たないランダムな値を示す画像になる。つまり、Ｓ９０１で出力される画像は入力される低解像度画像とほぼ同等になる一方、Ｓ９０３で生成される画像はランダムな値による画像となる。そのため、Ｓ９０４から取得した標準偏差値は明らかに大きい値を取る。よって、Ｓ９０２から算出された値と、Ｓ９０４から算出された値は異なる値を取ることになる。
【００４５】
よって、Ｓ９０２によって算出された値と、Ｓ９０４によって算出された値との差分の絶対値が閾値以下の場合は、補助情報が埋め込まれていると判定する。また、Ｓ９０２によって算出された値と、Ｓ９０４によって算出された値との差分の絶対値が閾値より大きい場合は、補助情報が埋め込まれていないと判定する。また、判定方法としてはＳ９０２によって算出された値と、Ｓ９０４によって算出された値の大小関係でも判定可能である。また、閾値を予め設定し、Ｓ９０４によって算出された値が閾値を超えた場合は、補助情報の埋め込みはないと判定することも可能である。
【００４６】
以上、実施例２によれば、画像のヘッダー部に補助情報を付加することなく、画像の上位ｂｉｔ側の信号値と下位ｂｉｔ側の信号値のばらつき（標準偏差や分散値）から判定することで、補助情報が埋め込まれているか否かを容易に判定することが可能となる。また、画像の下位ｂｉｔに補助情報が埋め込まれていない一般的な画像が入力された場合、最近隣内挿法などの一般的な拡大処理を適用することが可能となる。
【実施例３】
【００４７】
実施例２においては、画像の信号値の特徴から位相ズレ画素の信号値が埋め込まれているか否かを、ヘッダー部への書き込みなしに自動的に判定し、低解像度画像から高解像度画像に解像度変換を実施する方法を説明した。上位ｂｉｔ画像生成、及び下位ｂｉｔ画像生成後に画像全体の標準偏差や分散値を算出し比較することで、位相ズレ画素の信号値が埋め込まれているか判定できるものの、画像全体のばらつき（標準偏差や分散）を算出することで、演算に多くの時間を要してしまう。
【００４８】
そこで、実施例３では画像全体の信号値からばらつき（標準偏差や分散値）を算出するのではなく、特定の領域の信号値から標準偏差や分散値を算出する。図１６は、実施例３における補助情報埋め込み判定処理の流れを示すフローチャートである。図１６において、上述した図１５に示す処理と同一の処理については同一番号を付ける。
【００４９】
最初に、Ｓ１０００では、入力される画像内から位相ズレ画素の情報が埋め込まれている特定の箇所を判断し領域を選定する。図１７、図１８、及び図１９を参照して、Ｓ１０００の処理フローを説明する。なお、図１７、図１８、及び図１９でそれぞれ例を説明するがどの方法を選択してもよい。さらに、図１７、図１８、及び図１９は一部の例に過ぎず、画像内の一部の埋め込んだ位相ズレ画素を選定できる方法であれば良く、図１７、図１８、及び図１９の例は限定するものではない。
【００５０】
図１７を参照して、最もシンプルな埋め込み画素選定のフローを説明する。Ｓ１１００において、入力された画像全体の中から任意のサイズの領域内の画素を切り出し、切り出した画像領域内の信号値の標準偏差や分散値を算出する。実施例２では画像全体に対して、上位ｂｉｔから生成される画像と下位ｂｉｔから生成される画像の標準偏差や分散値を算出したが、実施例３では任意のサイズの画素を切り出して実施例２と同様の処理を行う。そのため、実施例２に比べて、標準偏差や分散値の算出時間を抑えることができる。
【００５１】
また、解像度変換部１０１において縮小時に全画素に対して位相ズレ画素の信号値を埋め込むのではなく、エッジ部や文字部のみに位相ズレ画素の信号値を埋め込む処理を実施する事も可能である。たとえば、画像縮小時に像域分離処理によって文字部のみに位相ズレ画素の信号値を埋め込んでおき、非文字部には位相ズレ画素の信号値を埋め込まないようにした縮小画像を入力する。図１８を参照して、画像の一部に位相ズレ画素の信号値が埋め込まれていた場合の埋め込み画素選定の処理フローを説明する。
【００５２】
Ｓ１２００において、エッジ抽出処理や、像域分離処理を行い文字部の抽出処理を行って特定の領域を抽出する。次に、Ｓ１１００において、Ｓ１２００において抽出したエッジ領域のすべて又は一部を切り出して標準偏差や分散値を算出する。これにより、算出時間を抑えることができる。
【００５３】
図１９は、解像度変換部１０１において位相ズレの信号値の埋め込みを、画素単位で切り替える例を説明する。
【００５４】
図１９では、注目画素とその周辺画素の信号値の差分の大きさによって、解像度変換部１０１において４ｂｉｔの座標ａ（ａ’）及び４ｂｉｔの座標ｄ（ｄ’）の信号値を分割し保持するか、座標ａを８ｂｉｔのまま埋め込むかを画素毎に切り替える。以上のような方法で縮小変換を行う解像度変換部１０１の詳細について図２０を参照して説明する。
【００５５】
Ｓ１４００において、画像を高解像度から低解像度に解像度変換する場合に位相ズレ画素の信号値を埋め込むか否かを判定する。Ｓ１４００で埋め込むと判定した場合には、実施例１で示した通りＳ４００において注目画素、及び位相ズレ画素の信号値の８ｂｉｔの階調数をそれぞれ４ｂｉｔに階調数変換を行う。Ｓ４００で階調数変換が行われた注目画素、及び位相ズレ画素の信号値は、Ｓ４０１において信号値の統合処理を行う。Ｓ４０１において、縮小時に対応する８ｂｉｔの画素に対して注目画素の信号値を上位４ｂｉｔに、位相ズレ画素の信号値を下位４ｂｉｔに統合し新規注目画素の信号値として保持する。一方、Ｓ１４００で埋め込まないと判定した場合には、８ｂｉｔの画素に対して最近隣内挿法や共一次内挿法、三次畳み込み内挿法などの一般的な解像度変換により新規注目画素の信号値として保持される。
【００５６】
図２１を参照して、図２０のＳ１４００の処理のフローを説明する。尚、画像の階調数も８ｂｉｔのデータについて説明するが固定されるものではなく任意の変更が可能である。
【００５７】
Ｓ１５００では、高解像度画像における注目画素、及び注目画素の周辺画素の信号値を取得する。Ｓ１５０１は、周辺画素取得部１５００で取得した注目画素、及び注目画素の周辺画素の信号値の差をそれぞれ演算する。Ｓ１５０２は、信号値比較部１５０１で演算したそれぞれの信号値差を元に、縮小変換後の画像の注目画素の下位ｂｉｔに、位相ズレ画素の信号値の上位ｂｉｔ画素の埋め込みを行うか否かを判定する。具体的には、Ｓ１５０１で算出された信号値が所定の閾値以上の場合は、縮小変換後の画像の注目画素の下位ｂｉｔに、位相ズレ画素の信号値の上位ｂｉｔ画素の埋め込みを行う。また、Ｓ１５０１で算出された信号値が所定の閾値より小さい場合は、縮小変換後の画像の注目画素の下位ｂｉｔに、位相ズレ画素の信号値の上位ｂｉｔ画素の埋め込みを行わない。
【００５８】
図２２は用いてより詳細に説明する。図２２（ａ）に示す高解像度画像を、図２２（ｂ）に示す低解像度画像に縮小変換する場合、Ｓ１５００において高解像度画像のａ’１〜  ａ’４を取得する。Ｓ１５０１は、周辺画素取得部１５００で取得したａ’１〜  ａ’４の信号値の差を比較し、Ｓ１５０２は、信号値の差が閾値以上か否かによって、ａ’１の下位ｂｉｔにｄ’１の上位ｂｉｔを埋め込むか否かを判定する。解像度変換部１０１において以上のフローを実施することで、画素単位で埋め込むか否かを切り替えることができる。
【００５９】
このようにして画素単位に周辺画素値の比較を行い、画素毎に埋め込みが行われた画像が入力された場合について、Ｓ１０００の埋め込み画素選定処理を、図１９を参照して説明する。
【００６０】
Ｓ１３００は、注目画素の信号値とその周辺画素の信号値との比較を行う。Ｓ１３００は、図２０のＳ１４００の埋め込み判定と同フローである。そのため図２０を参照して、Ｓ１３００の構成を説明する。
【００６１】
Ｓ１５００において、注目画素の信号値、及び注目画素の周辺画素の信号値を取得する。図２３の場合、ａ’１〜  ａ’４の信号値を取得する。Ｓ１５０１では、Ｓ１５００で取得したａ’１〜  ａ’４の信号値の差をそれぞれ比較する。Ｓ１５０２では、Ｓ１５０１で比較したａ’１〜  ａ’４のそれぞれの信号値差を元に、ａ’１の下位ｂｉｔにｄ’１の上位ｂｉｔが埋め込まれていたか否かを判定する。信号値の差が所定の閾値よりも大きい場合は、その領域はエッジ部に相当すると判定し、図２３のｊの信号値の値をａ’１の下位ｂｉｔから取得する。
【００６２】
図１９の説明に戻り、Ｓ１１００では、ｓ１３００で抽出した画素範囲の切り出しを行う。画素毎に位相ズレ画素の信号値を埋め込むか否かを縮小変換時、及び拡大変換時に切り替えることを可能とするだけでなく、標準偏差値と分散値を算出する時間を抑えることが可能となる。
【００６３】
以上のように実施例３で説明した埋め込まれた位相ズレ画素の情報があるか否かを信号値から求める際に、画像全体からではなく画像の特定の領域から判断することで判定処理の時間を低減させることが可能となる。
【００６４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014099744.tif 000003
【図２】
2014099744.tif 000004
【図３】
2014099744.tif 000005
【図４】
2014099744.tif 000006
【図５】
2014099744.tif 000007
【図６】
2014099744.tif 000008
【図７】
2014099744.tif 000009
【図８】
2014099744.tif 000010
【図９】
2014099744.tif 000011
【図１０】
2014099744.tif 000012
【図１１】
2014099744.tif 000013
【図１２】
2014099744.tif 000014
【図１３】
2014099744.tif 000015
【図１４】
2014099744.tif 000016
【図１５】
2014099744.tif 000017
【図１６】
2014099744.tif 000018
【図１７】
2014099744.tif 000019
【図１８】
2014099744.tif 000020
【図１９】
2014099744.tif 000021
【図２０】
2014099744.tif 000022
【図２１】
2014099744.tif 000023
【図２２】
2014099744.tif 000024
【図２３】
2014099744.tif 000025
【図２４】
2014099744.tif 000026