(57)【要約】    【課題】  孤立点だけでなく、エッジ部においても、歪みのない解像度変換を行うことができる画像処理装置を提供することを目的とする。    【解決手段】  画像信号レベルの水平方向の不連続性を監視する波形監視部１３〜１５から出力される特性信号２４ａに応じて、画像信号レベルの不連続性の垂直方向の連続性を示す信号ＢＢが生成される。特性信号２４ａの一つである特性信号ＡＡに応じて、不連続でないと判定された画素のレベルについては線形補間が行われる。特性信号ＡＡに応じて、不連続と判定された画素については、信号ＢＢに応じて補間画素レベルの選択が行われる。【選択図】  図１
2006309299.tif 000002
【特許請求の範囲】
【請求項１】
指定された変換倍率に応じてディジタル原画像を異なる画素数のディジタル画像に解像度変換する画像処理装置であって、
前記ディジタル原画像に対して前記変換倍率に応じた補間係数データによる補間フィルタ演算を用いて解像度変換を行ない変換画像を出力する画像変換手段と、
前記ディジタル原画像の画素信号のレベルを、第１の方向の第１所定画素数範囲に亘って監視し、前記第１所定画素数範囲の画素信号のレベルの不連続性を検出する波形監視手段と、
前記ディジタル原画像の画素信号の不連続性を、前記第１の方向と直交する第２の方向の第２所定画素数範囲に亘って監視し、前記第２所定画素数範囲の画素信号の不連続性の連続性を検出し、その連続性を表す信号を出力する、不連続性の連続性監視手段とを備え、
前記画像変換手段は、前記変換倍率に応じて線形係数データを生成する第１の係数発生手段と、
前記変換倍率に応じて非線形係数データを生成する第２の係数発生手段と、
前記波形監視手段により、前記画素信号のレベルが不連続でないと判定された原画素に対しては前記線形係数データを出力し、前記波形監視手段により前記画素信号のレベルが不運続であると判定された原画素に対しては、前記不連続性の連続性監視手段の出力信号によって選択された前記非線形係数データを出力する係数選択手段と、
該係数選択手段から出力される係数データを用いて前記補間フィルタ演算を行う演算手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第２の係数発生手段は、前記不連続と判定された原画素を含む設定範囲内においては、前記不連続性の連続性監視手段の出力信号によって選択された原画素のレベルがそのまま変換画素のレベルとなるように前記非線形係数データを生成し、前記ディジタル原画像の縮小変換を行うときは、変換倍率が小さくなるほど前記設定範囲の幅を広くする一方、前記ディジタル原画像の拡大変換を行うときには、変換倍率が大きくなるほど前記設定範囲の幅を広くすることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指定された変換倍率に応じてディジタル原画像を異なる画素数のディジタル画像に解像度変換する画像処理装置に関する。
【背景技術】
【０００２】
画像データの画素数と表示装置の画素数が異なる場合、画像データの画素数を表示装置の画素数に合わせる処理、すなわち画像データの解像度変換処理が必要になる。そのような解像度変換の方法として、線形補間処理が広く知られている。
【０００３】
しかし線形補間処理のみでは、エッジ部の波形がなまることにより画像のボケが生じたり、黒の背景に白のドットまたはストライプ（以下「孤立点」という）を含む画像では、その孤立点の輝度が低下し、変換後の画質が低下するという問題がある。
【０００４】
上述した線形補間処理及び最近傍補間処理の問題を解決するための画像処理装置が、特許文献１に示されている。この装置によれば、ディジタル原画像の画素信号のレベルが所定の画素数範囲に亘って監視され、画素信号の極大レベル及び極小レベルが検出され、画素信号が極大レベルまたは極小レベルでないときは、線形補間信号が採用される一方、画素信号が極大レベルまたは極小レベルであるときは、これらの極大レベルまたは極小レベルの信号が採用される。
【０００５】
【特許文献１】特開２００１−２７４９８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に示された装置では、解像度変換処理を画像の水平方向と垂直方向に分けて行っている（以下「ＸＹ変換処理」と略称する）ため、被補間画素の不連続性（特許文献１では極大もしくは極小であるかどうか）と処理方向での隣接画素の不連続性のみの判断によって補間処理の内容を切替えている。つまり、処理方向と直交する方向の原画素との相関については考慮されていない。そうすると、不連続であると判断された被補間画素の輝度信号から補間画素の輝度信号を生成する場合、エッジ画像のように被補間画素の選択（例えば、黒い画素、それとも、白い画素のどちらの輝度信号を選択するか）に自由度がある場合に間違った切替え補間処理を行う可能性が残る。
【０００７】
例えば、図１５に示すように文字Ｈの画像を水平方向に縮小する場合（５／７倍縮小変換例が示されている）に、文字Ｈの縦棒４０１が１ドット幅のライン画像であるとすると、補間画素位置がその近傍に配置されている場合には縦棒４０１の画素の黒輝度信号が選択され、近傍でない位置に配置されている場合には背景画素の白輝度信号が選択され、補間画素の輝度信号として挿入される。しかし、文字Ｈの横棒４０２のエッジ部では黒白どちらの輝度信号を用いるべきか判断できないため、縦棒４０１部分とは異なる輝度信号が挿入される可能性がある。そうなると、縦棒４０１と横棒４０２の連結する部分のエッジ部では、その上下の補間画素とは異なる輝度信号がそこの補間画素（図１５の画素４０３）に与えられ、縮小画像の一部に歪みを生じるという問題が発生する。
【０００８】
本発明はこの点に着目してなされたものであり、孤立点だけでなく、エッジ部においても、歪みのない解像度変換を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため請求項１に記載の発明は、指定された変換倍率に応じてディジタル原画像を異なる画素数のディジタル画像に解像度変換する画像処理装置であって、前記ディジタル原画像に対して前記変換倍率に応じた補間係数データによる補間フィルタ演算を用いて解像度変換を行ない変換画像を出力する画像変換手段と、前記ディジタル原画像の画素信号のレベルを、第１の方向の第１所定画素数範囲に亘って監視し、前記第１所定画素数範囲の画素信号のレベルの不連続性を検出する波形監視手段と、前記ディジタル原画像の画素信号の不連続性を、前記第１の方向と直交する第２の方向の第２所定画素数範囲に亘って監視し、前記第２所定画素数範囲の画素信号の不連続性の連続性を検出し、その連続性を表す信号を出力する、不連続性の連続性監視手段とを備え、前記画像変換手段は、前記変換倍率に応じて線形係数データを生成する第１の係数発生手段と、前記変換倍率に応じて非線形係数データを生成する第２の係数発生手段と、前記波形監視手段により、前記画素信号のレベルが不連続でないと判定された原画素に対しては前記線形係数データを出力し、前記波形監視手段により前記画素信号のレベルが不運続であると判定された原画素に対しては、前記不連続性の連続性監視手段の出力信号によって選択された前記非線形係数データを出力する係数選択手段と、該係数選択手段から出力される係数データを用いて前記補間フィルタ演算を行う演算手段とを有することを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記第２の係数発生手段は、前記不連続と判定された原画素を含む設定範囲内においては、前記不連続性の連続性監視手段の出力信号によって選択された原画素のレベルがそのまま変換画素のレベルとなるように前記非線形係数データを生成し、前記ディジタル原画像の縮小変換を行うときは、変換倍率が小さくなるほど前記設定範囲の幅を広くする一方、前記ディジタル原画像の拡大変換を行うときには、変換倍率が大きくなるほど前記設定範囲の幅を広くすることを特徴とする。
【発明の効果】
【００１１】
請求項１に記載の発明によれば、ディジタル原画像の画素信号のレベルが、第１の方向の第１所定画素数範囲に亘って監視され、第１所定画素数範囲の画素信号のレベルの不連続性が検出されるとともに、ディジタル原画像の画素信号の不連続性が、第１の方向と直交する第２の方向の第２所定画素数範囲に亘って監視され、第２所定画素数範囲の画素信号の不連続性の連続性が検出される。また変換倍率に応じて線形係数データ及び非線形係数データが生成され、画素信号のレベルが不連続でないと判定されたときは、線形係数データが選択され、画素信号のレベルが不連続であると判定されたときは、不連続性の連続性の検出結果に応じた非線形係数データが選択される。そして、選択された係数データを用いて補間フィルタ演算が実行され、画素数が変換された変換画像が出力される。第２の方向の不連続性の連続性の検出結果に応じて非線形係数データを選択することにより、ストライプやドットだけでなく、エッジ部を含む画像を変換した場合でも、画像の変化を最小限に抑制し、より原画像に近い変換画像を得ることができる。
【００１２】
請求項２に記載の発明によれば、不連続と判定された原画素を中心とした設定範囲内においては、不連続性の連続性監視手段の出力信号によって選択された原画素のレベルがそのまま変換画素のレベルとなるように非線形係数データが生成され、縮小変換を行うときは、変換倍率が小さくなるほど前記設定範囲の幅が広げられ、拡大変換を行うときは、変換倍率が大きくなるほど前記設定範囲の幅が広げられる。これにより、縮小変換を行うときは、孤立点の欠落を確実に防止することができ、拡大変換を行うときは、原画像では同一幅である孤立点の幅が、変換画像ではまちまちとなる輝度ムラを防止することができる。
【発明を実施するための最良の形態】
【００１３】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる画像処理装置の構成を示すブロック図である。この装置は、１Ｈ遅延回路１１，１２，１７と、波形監視部１３，１４，１５と、不連続性の連続性監視回路１６と、遅延補正回路１８と、縮小解像度変換回路１９とを備えている。
【００１４】
１Ｈ遅延回路１１，１２，１７は、１ライン分の時間（１水平期間）だけ入力信号を遅延させる。波形監視部１３〜１５は、水平方向の第１所定画素数範囲の画像信号レベルを監視し、信号レベルが所定閾値以上変化する部分を検出する。波形監視部１３〜１５は、それぞれ図２に示すように、遅延回路２１，２２，２３と、波形監視回路２４とからなる。遅延回路２１〜２３は、１画素分の時間入力信号を遅延させる。波形監視回路２４は、所定の画素数範囲（図示例では４画素分の範囲）に亘って、画像信号のレベルを監視し、隣り合う画素に対応する信号レベルの変化が所定閾値ＤＬＶＬより大きく、かつそのような変化が１画素に限られるとき、高レベルとなる特性信号２４ａを出力する。本明細書中では、このように隣り合う画素に対応する信号レベルの変化が所定閾値ＤＬＶＬを超え、かつそのような変化が１画素に限られるとき、信号が不連続である判定される。
【００１５】
図３は、波形監視回路２４の動作を説明するためのタイムチャートであり、入力ディジタル画像信号２０１、遅延回路２１の出力信号２１ａ、遅延回路２２の出力信号２２ａ、及び遅延回路２３の出力信号２３ａの信号レベルが監視され、図３（ａ）（ｃ）（ｅ）に示すように信号レベルが所定閾値ＤＬＶＬを超える変化があったとき、同図（ｂ）（ｄ）（ｆ）に示すような特性信号２４ａが出力される。
【００１６】
すなわち、図３（ａ）に示すように信号レベルが変化したときは、信号レベルの変化が所定閾値ＤＬＶＬを超え、かつそのような変化が１画素に限られるので、図３（ｂ）に示すような特性信号２４ａが出力される。この場合には、特性信号２４ａが高レベルの期間において非線形補間が行われる。
【００１７】
また図３（ｃ）に示すように、出力信号２２ａの他に信号２０１においても信号レベルが所定閾値ＤＬＶＬを超えて変化している（３画素以上連続して信号レベルが所定閾値ＤＬＶＬを超えて変化している）ため、特性信号２４ａは、図３（ｄ）に示すように、低レベルに維持される。したがって、この場合には線形補間が行われる。これは、特許文献１の段落００３１に示されているような不具合、すなわち、不均一な柄の発生による画質劣化を避けるためである。
【００１８】
また図３（ｅ）に示すように信号レベルが立ち上がるエッジ部においては、図３（ｆ）に示すような特性信号２４ａが出力される。したがって、特性信号２４ａが高レベルの期間において非線形補間が行われる。
【００１９】
図１に戻り、波形監視部１４から出力される特性信号２４ａは、特性信号ＡＡとして、縮小解像度変換回路１９に供給される。
不連続性の連続性監視回路１６は、画像信号１０１の垂直方向の３画素分の範囲を監視し、その垂直方向３画素分範囲の画素信号の不連続性の連続性を検出し、その連続性を表す信号（以下「不連続性の連続性信号」という）ＢＢを出力する。不連続性の連続性信号ＢＢは、１Ｈ遅延回路１７及び縮小解像度変換回路１９に供給される。１Ｈ遅延回路１７は、不連続性の連続性信号ＢＢを、１Ｈ遅延させ、遅延信号ＣＣとして、不連続性の連続性監視回路１６に戻す。
【００２０】
遅延補正回路１８は、１Ｈ遅延回路１１の出力信号を１Ｈ遅延させ、さらに波形監視部１４から出力される特性信号ＡＡ及び不連続性の連続性信号ＢＢと、縮小解像度変換回路１９に入力されるディジタル画像信号１０２とのタイミングを合わせるための遅延補正を行う。
【００２１】
次に不連続性の連続性監視回路１６の動作を、図４を参照して説明する。図４には、遅延信号ＣＣ，波形監視部１３〜１５から出力される３つの特性信号２４ａ，及び不連続性の連続性信号ＢＢが、上からこの順序で示されている。同図（ａ）は、図１５の文字Ｈの縦棒４０１に対応する信号波形が示されており、この場合には、不連続性が垂直方向に連続するため、不連続性の連続性信号ＢＢは、低レベルに維持される。
【００２２】
同図（ｂ）は、図１５に示す文字Ｈの左Ｔ部４０４に対応する信号波形を示す。この場合には、不連続性が連続しないので、不連続性の連続性信号ＢＢは、波形監視部１４から出力される特性信号２４ａと同一のタイミングで高レベルに変化させる。これにより、補間画素４０３の右側に位置する被補間画素のレベルが選択されるようにしている。
【００２３】
同図（ｃ）は、図１５に示す文字Ｈの右Ｔ部４０５に対応する信号波形を示す。この場合には、不連続性が連続しないが、右Ｔ部４０５では、いずれの側の補間画素を選択すべきかの情報がないため、デフォルトの選択肢が採用され（補間画素の左側に位置する被補間画素のレベルが選択され）、不連続性の連続性信号ＢＢは、低レベルに維持される。
【００２４】
同図（ｄ）は、一般的な縦エッジ部に対応する信号波形を示す。この場合には不連続性が連続するが、連続するラインで同一の縦エッジ部が連続するため、不連続性の連続性信号ＢＢは、遅延信号ＣＣと同一とされる。すなわち、遅延信号ＣＣが実線で示すように変化するときは、不連続性の連続性信号ＢＢも実線で示すように変化し、遅延信号ＣＣが破線で示すように変化しないときは、不連続性の連続性信号ＢＢも破線で示すように低レベルに維持される。
【００２５】
同図（ｅ）は、ドット部（孤立点）に対応する信号波形を示す。この場合には、不連続性が連続しないが、孤立点であるため、不連続性の連続性信号ＢＢは、低レベルが維持される。
同図（ｆ）は、背景部に対応する信号波形を示す。この場合には、不連続性が存在しないため、不連続性の連続性信号ＢＢは低レベルに維持される。
【００２６】
図５は、縮小解像度変換回路１９の構成を示すブロック図であり、縮小解像度変換回路１９は、遅延回路３１，３２と、第１の係数発生回路３３と、第２の係数発生回路３８と、係数切替回路３９，４０と、減算回路３４と、乗算回路３５，３６と、加算回路３７とを備えている。第１及び第２の係数発生回路３３，３８には、水平同期信号ＨＳ，水平クロック信号ＨＣ，及び指定される変換倍率を示す変換倍率パラメータＣＲが供給される。
【００２７】
遅延回路３１及び３２は、図２に示す遅延回路２１〜２３と同様に画素単位の遅延を行うものである。
第１の係数発生回路３３は、指定される変換倍率に応じて、補間画素毎の補間係数を示す補間係数信号３３ａを生成し、減算回路３４及び係数切替回路４０に供給する。減算回路３４は、係数「１」に相当する係数信号から、補間係数信号３３ａを減算する処理を行い、補間係数信号３４ａを生成する。補間係数信号３４ａは、水平クロック信号ＨＣのタイミングに同期して出力される。
【００２８】
第２の係数発生回路３８は、特性信号ＡＡ及び不連続性の連続性信号ＢＢに応じて、係数信号３８ａと、係数信号３８ｂとを出力し、それぞれ係数切替回路３９及び４０に供給する。係数信号３８ａ及び３８ｂは、「１」または「０」を示す信号であり、係数信号３８ａが係数「１」の場合には、係数信号３８ｂが係数「０」となり（以下「第１の組み合わせ」という）、係数信号３８ａが係数「０」の場合には、係数信号３８ｂが「１」となる（以下「第２の組み合わせ」という）。ここで、係数信号３８ａ，３８ｂの第１の組み合わせから第２の組み合わせの切替タイミング及びその逆の切替タイミングは、画像変換倍率に応じて変更される。係数信号３８ａ及び３８ｂは、水平クロック信号ＨＣのタイミングに同期して出力される。
【００２９】
係数切替回路３９及び４０には、特性信号ＡＡが切替制御信号として供給されており、以下のように動作する。
特性信号ＡＡが低レベルであるときは、係数切替回路３９は、補間係数信号３４ａを出力し、係数切替回路４０は、補間係数信号３３ａを出力する。乗算回路３５は、補間係数信号３４ａと、遅延回路３１の出力信号３１ａとを乗算し、補間信号３５ａを出力する。乗算回路３６は、補間係数信号３３ａと、遅延回路３２の出力信号３２ａとを乗算し、補間信号３６ａを出力する。加算回路３７は、補間信号３５ａと３６ａを加算し、変換ディジタル画像信号３０１を出力する。したがって、特性信号ＡＡが低レベルであるときは、通常の線形補間演算処理（補間フィルタ処理）により、変換ディジタル画像信号３０１が生成される。
【００３０】
一方、特性信号ＡＡが高レベルであるときは、係数切替回路３９は、係数信号３８ａを出力し、係数切替回路４０は、係数信号３８ｂを出力する。したがって、係数信号３８ａ，３８ｂが第１の組み合わせのときは、乗算回路３６から補間信号３６ａは出力されず、遅延回路３１の出力信号３１ａが乗算回路３５及び加算回路３７を介してそのまま、変換ディジタル画像信号３０１として出力される。すなわち、補間画素より後の原画素のレベルが、補間画素のレベルとして採用される。
【００３１】
また、係数信号３８ａ，３８ｂが第２の組み合わせのときは、乗算回路３５から補間信号３５ａは出力されず、遅延回路３２の出力信号３２ａが乗算回路３６及び加算回路３７を介してそのまま、変換ディジタル画像信号３０１として出力される。すなわち、補間画素より前の原画素のレベルが、補間画素のレベルとして採用される。
【００３２】
第２の係数発生回路３８においては、第１の組み合わせと、第２の組み合わせのいずれを選択するかを示す組み合わせ信号は、不連続性の連続性信号ＢＢに応じて生成される。
【００３３】
図６は、原ディジタル画像信号を、４／５倍の画素数の画像信号に縮小解像度変換する場合の動作を説明するための図である。
【００３４】
図６（ａ）においては、波形部分１０１ｂ，１０１ｃ，及び１０１ｄが、それぞれ画素Ａ，Ｄ，及びＧに対応させて示されている。通常の線形補間処理では、原画像の画素Ａのレベル（信号値）はそのまま縮小画像の画素ａのレベルとされ、縮小画像の画素ｂのレベルは、原画像の画素Ｂ及びＣのレベルの線形補間により算出され、縮小画像の画素ｃのレベルは、原画像の画素Ｃ及びＤのレベルの線形補間により算出され、縮小画像の画素ｄのレベルは、原画像の画素Ｄ及びＥのレベルの線形補間により算出され、縮小画像の画素ｆのレベルは、原画像の画素Ｆのレベルとされ、縮小画像の画素ｇのレベルは、原画像の画素Ｇ及びＨのレベルの線形補間により算出され、縮小画像の画素ｈのレベルは、原画像の画素Ｈ及びＩのレベルの線形補間により算出される。例えば、画素ｃのレベルは、画素Ｃのレベルの０．５倍と、画素Ｄのレベルの０．５倍の和となり、画素ｄのレベルは、画素Ｄのレベルの０．２５倍と、画素Ｅのレベルの０．７５倍の和となる。
【００３５】
図６（ｂ）には、原画像の各画素のレベルが○で示され、通常の線形補間処理により得られる縮小画像の各画素のレベルが△で示されている。
【００３６】
図６（ｃ）には、特許文献１に示された装置により得られる縮小画像の各画素ａ〜ｈのレベルが△で示されている。画素ｃ及びｇについては、それぞれ画素Ｄ及びＧが極大レベルであることから原画像の画素レベルがそのまま採用されている。しかし、画素ｄに関しては線形補間処理により得られるレベルが採用されるため、パルス波形の後縁がなまった波形となってしまう。
【００３７】
これに対し、本実施形態の装置によれば、特性信号ＡＡは、図６（ｅ）に示すようになり、また第２の係数発生回路３８において、係数信号の第１の組み合わせと、第２の組み合わせのいずれを選択するかを示す組み合わせ信号は、図６（ｆ）に示すようになる。なお、特に断らない限り、不連続性の連続性信号ＢＢは低レベルにあるものとする。
【００３８】
図６（ｆ）においては、組み合わせ信号の高レベルが第２の組み合わせに対応し、低レベルが第１の組み合わせに対応する。この組み合わせ信号により、縮小画像の画素ｃについては、画素Ｃのレベルの成分は「０」とされ、画素Ｄのレベルがそのまま採用され、画素ｄについては、画素Ｄのレベルの成分は「０」とされ、画素Ｅのレベルがそのまま採用される。その結果、パルス波形の後縁がなまることがなく、原画像信号により忠実な縮小画像信号を得ることができる。
【００３９】
すなわち、本実施形態では、図６（ｆ）に示すように、特性信号ＡＡが高レベルとなる非線形領域ＲＴと、非線形領域ＲＴ内の、不連続と判定された画素を含む中心領域ＲＣと、非線形領域ＲＴから中心領域ＲＣを除いた周辺領域ＲＳＦ及びＲＳＲ（以下、中心領域ＲＣの前に位置する周辺領域を「前周辺領域ＲＳＦ」といい、中心領域ＲＣの後に位置する周辺領域を「後周辺領域ＲＳＲ」という）が定義されている。縮小画像の画素が中心領域ＲＣ内に位置するときは、その中心領域ＲＣに含まれる原画像の画素（不連続と判定された画素）のレベルが、縮小画像の画素のレベルとして採用される一方、縮小画像の画素が前周辺領域ＲＳＦ内に位置するときは、前周辺領域ＲＳＦに含まれる原画像の画素のレベルが、縮小画像の画素のレベルとして採用され、縮小画像の画素が後周辺領域ＲＳＲ内に位置するときは、後周辺領域ＲＳＲに含まれる原画像の画素のレベルが、縮小画像の画素のレベルとして採用される。さらに、中心領域ＲＣの幅を、後述するように縮小倍率に応じて設定することにより、縮小倍率を変更した場合でも、縮小画像における孤立点画素の欠落が発生しないようにしている。
【００４０】
図７は、図１５に示す文字Ｈの左Ｔ部４０４の近傍における処理を説明するための図である。図の破線のパルス波形は、特性信号ＡＡを示し、実線のパルス波形は、縮小補間画素について、黒レベル（Ｈの縦棒４０１のレベル）を採用する範囲を示している。本実施形態では、左Ｔ部４０４においては、不連続性の連続性信号ＢＢが高レベルとなるので（図４（ｂ）参照）、黒レベルを採用する範囲が左方向に拡大されており、図１５に示す画素４０３は、黒レベルとなり、従来の装置のように白レベルとなって歪みを生じることを防止することができる。
【００４１】
本実施の形態において、原画像を縮小することについて説明したが、縮小解像度変換回路１９を拡大解像度変換回路に置き換えることにより、画像を拡大することもできる。本実施形態の手法によれば、拡大の場合でも動作そのものは縮小の場合と同じである。
【００４２】
ところで、特許文献１においても線形縮小解像度変換回路を線形拡大解像度変換回路に置き換えるだけで画像の拡大にも適用出来ると説明されているが、実際には新たな問題点が発生する。この点を図８を参照して説明する。
【００４３】
図８は原画像を５／４倍に拡大する例、すなわち原画像の画素ａ，ｂ，ｃ，ｄ，ｆ，ｇ，ｈが、画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉに拡大される例を示す。同図（ｂ）には、原画像の画素ａ〜ｈの画素レベルと、それらの画素レベルの線形補間演算により得られる拡大画像の画素（拡大画素）Ａ〜Ｉの画素レベルが示されている。また同図（ｃ）には特許文献１に示された手法により得られる拡大画像の画素Ａ〜Ｉの画素レベルが示されている。この図に示すように、従来の手法では、原画像のおける孤立点ｈが拡大画像の連続点Ｈ及びＩとなっており、輝度ムラが発生している。
【００４４】
これに対し、同図（ｄ）には、本実施形態において拡大解像度変換回路を用いた場合の拡大画像の画素レベルが示され、同図（ｅ）には特性信号２４ａが示されている。また同図（ｆ）には、図６（ｆ）と同様の組み合わせ信号が示されている。この例では、係数信号３８ａ，３８ｂは、第１の組み合わせと第２の組み合わせとが以下のように切り換えられる。すなわち、拡大画像の画素Ｂのレベルは、その後の原画素ｂのレベルが採用されており、係数信号３８ａ，３８ｂは、第１の組み合わせ（「１」及び「０」）となっている。また拡大画像の画素Ｄのレベルは、その前の原画素ｃのレベルが採用されており、係数信号３８ａ，３８ｂは、第２の組み合わせ（「０」及び「１」）となっている。また拡大画像の画素Ｅのレベルは、その前の原画素ｄのレベルが採用されており、係数信号３８ａ，３８ｂは、第２の組み合わせ（「０」及び「１」）となっている。また拡大画像の画素Ｈのレベルは、その後の原画素ｈのレベルが採用されており、係数信号３８ａ，３８ｂは、第１の組み合わせ（「１」及び「０」）となっている。また拡大画像の画素Ｉのレベルは、その後の原画素のレベルが採用されており、係数信号３８ａ，３８ｂは、第１の組み合わせ（「１」及び「０」）となっている。
【００４５】
本実施形態では、図８（ｆ）に示すように、拡大変換の場合にも、縮小変換と同様に中心領域ＲＣと周辺領域ＲＳＦ及びＲＳＲが定義され、中心領域ＲＣ内においては、中心領域ＲＣに含まれる原画像の画素のレベルが、拡大画像の画素のレベルとして採用される一方、前周辺領域ＲＳＦ内においては、前周辺領域に含まれる原画像の画素のレベルが、拡大画像の画素のレベルとして採用され、後周辺領域ＲＳＲ内においては、後周辺領域ＲＳＲに含まれる原画像の画素のレベルが、拡大画像の画素のレベルとして採用される。
【００４６】
このように、本実施形態の装置によれば、原画像の孤立点ｈは、拡大画像でも孤立点Ｈとなり、輝度ムラを最小限に抑制することができる。また拡大変換の場合も、後述するように拡大倍率に応じて中心領域ＲＣの幅を変更することにより、拡大倍率を変更した場合でも、輝度ムラを抑制することが可能となる。
【００４７】
次に変換倍率（縮小倍率または拡大倍率）と、中心領域ＲＣの幅ＷＲＣとの関係について、図９〜図１４を参照して説明する。これらの図において、縦方向の罫線は、クロック周期のタイミングまたはクロック周期の整数倍の周期のタイミングを示す。原画像及び縮小画像または拡大画像の画素は、罫線で示すタイミングに表示され、罫線と罫線の間のタイミングで表示されることはない。以下の説明では、隣り合う罫線の間隔を「クロック幅」という。また中心領域ＲＣと、前周辺領域ＲＳＦ及び後周辺領域ＲＳＲ以外の領域には、交差する破線が付されており、この領域では線形補間処理が行われる。
【００４８】
図９は、４／５倍縮小変換の例を示す。同図（ａ）は原画像の画素Ａ〜Ｄ及びＤ°、Ｅ°を示し、同図（ｂ）〜（ｆ）は、補間位相の異なる縮小画像の画素ａ〜ｄ及びｄ°を示す。この変換の場合には、原画像の画素間隔を４クロック幅としたとき、中心領域幅ＷＲＣを４クロック幅若しくは４クロック幅より若干広くすると、縮小画像において孤立点の欠落を防止することができる。なお、「若干広くする」とは、「１クロック幅未満の幅だけ広くする」ことを意味する（以下同様）。図９には、ＷＲＣ＝４クロック幅の例が示されている。中心領域幅ＷＲＣを４クロック幅、すなわち原画像の画素間隔と等しくすると、最近傍補間とほぼ同一となるが、本例では中心領域ＲＣと周辺領域ＲＳＦ及びＲＳＲとの境界に、縮小画素が位置するときには、中心領域ＲＣに含まれる原画素のレベルが採用されるので、最近傍補間のような問題点は発生しない。
【００４９】
すなわち図９（ｂ）の例では、画素ｄ°のレベルは、画素Ｅ°のレベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素ＢとＣのレベルの線形補間レベルが採用され、画素ｃのレベルは、画素ＣとＤのレベルの線形補間レベルが採用される。また図９（ｃ）の例では、画素ｄ°のレベルは、画素Ｅ°のレベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素ＢとＣのレベルの線形補間レベルが採用され、画素ｃ（ｃ°）のレベルは、画素Ｄ（Ｄ°）のレベルが採用される。また図９（ｄ）の例では、画素ｄ（ｄ°）のレベルは、画素Ｄ（Ｄ°）とＥ（Ｅ°）のレベルの線形補間レベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素Ｂのレベルが採用され、画素ｃのレベルは、画素Ｃのレベルが採用される。図９（ｅ）及び（ｆ）の例についても、同様にして縮小画像の画素レベルが決定される。図９（ｂ）〜（ｆ）により、４／５倍縮小変換におけるすべての補間位相が示されており、どの補間位相であっても孤立点の画素Ａの欠落は起きない。
【００５０】
図１０は、４／６倍縮小変換の例を示す。同図（ａ）は原画像の画素Ａ〜Ｄ及びＥ°、Ｆ°を示し、同図（ｂ）〜（ｆ）は、補間位相の異なる縮小画像の画素ａ〜ｃ及びｃ°、ｄ°を示す。この変換の場合には、原画像の画素間隔を４クロック幅としたとき、中心領域幅ＷＲＣを５クロック幅若しくは５クロック幅より若干広くすると、縮小画像において孤立点の欠落を防止することができる。図１０には、ＷＲＣ＝５クロック幅の例が示されている。
【００５１】
すなわち図１０（ｂ）の例では、画素ｄ°のレベルは、画素Ｅ°とＦ°のレベルの線形補間レベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素ＢとＣのレベルの線形補間レベルが採用され、画素ｃのレベルは、画素ＤとＥのレベルの線形補間レベルが採用される。また図１０（ｃ）の例では、画素ｄ°のレベルは、画素Ｆ°のレベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素Ｃのレベルが採用され、画素ｃ°のレベルは、画素Ｄ°（図示せず）とＥ°のレベルの線形補間レベルが採用される。また図１０（ｄ）の例では、画素ｄ°のレベルは、画素Ｄ°（図示せず）とＥ°のレベルの線形補間レベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素Ｂのレベルが採用され、画素ｃのレベルは、画素ＣとＤのレベルの線形補間レベルが採用される。図１０（ｅ）及び（ｆ）の例についても、同様であり、図１０（ａ）〜（ｆ）に示されるいずれの場合にも、孤立点の画素Ａの欠落は起きない。なお、図１０（ｄ）と図１０（ｅ）に示す補間位相の間に、もう一つ補間位相が存在するが、同様に孤立点の画素Ａの欠落は起きないことは明らかである。
【００５２】
図１１は、４／７倍縮小変換の例を示す。同図（ａ）は原画像の画素Ａ〜Ｅ及びＦ°、Ｇ°を示し、同図（ｂ）〜（ｆ）は、補間位相の異なる縮小画像の画素ａ〜ｃ及びｄ°を示す。この変換の場合には、原画像の画素間隔を４クロック幅としたとき、中心領域幅ＷＲＣを６クロック幅若しくは６クロック幅より若干広くすると、縮小画像において孤立点の欠落を防止することができる。図１１には、ＷＲＣ＝６クロック幅の例が示されている。
【００５３】
すなわち図１１（ｂ）の例では、画素ｄ°のレベルは、画素Ｇ°のレベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素ＣとＤのレベルの線形補間レベルが採用され、画素ｃのレベルは、画素ＥとＦ（図示せず）のレベルの線形補間レベルが採用される。また図１１（ｃ）の例では、画素ｄ°のレベルは、画素Ｅ°（図示せず）とＦ°のレベルの線形補間レベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素Ｂが採用され、画素ｃのレベルは、画素ＣとＤのレベルの線形補間レベルが採用される。また図１１（ｄ）の例では、画素ｄ°のレベルは、画素Ｅ°（図示せず）とＦ°のレベルの線形補間レベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素Ｂとのレベルの線形補間レベルが採用され、画素ｃのレベルは、画素Ｄのレベルが採用される。図１１（ｅ）及び（ｆ）の例についても、同様である。図１１（ｂ）〜（ｆ）により、４／７倍縮小変換におけるすべての補間位相が示されているわけではない（２つの位相が抜けている）が、図示されていない補間位相は、図１０（ｂ）に示す位相と、図１０（ｃ）に示す位相との間の位相となるので、どの補間位相であっても孤立点の画素Ａの欠落は起きないことは明らかである。
【００５４】
以上のように、縮小変換の場合には、変換倍率が小さくなるほど、中心領域ＲＣの幅ＷＲＣを広くすることにより、変換倍率に拘わらず、孤立点画素の欠落を防止することができる。
【００５５】
図１２は、５／４倍拡大変換の例を示す。同図（ａ）は原画像の画素ａ〜ｄ及びｃ°、ｄ°を示し、同図（ｂ）〜（ｅ）は、補間位相の異なる拡大画像の画素Ａ〜Ｅ及びＤ°、Ｅ°を示す。この変換の場合には、原画像の画素間隔を５クロック幅としたとき、中心領域幅ＷＲＣを３クロック幅若しくは３クロック幅より若干広くすると、拡大画像において孤立点の輝度ムラを防止することができる。
【００５６】
すなわち図１２（ｂ）の例では、画素Ｄ（Ｄ°）のレベルは、画素ｃ（ｃ°）とｄ（ｄ°）のレベルの線形補間レベルが採用され、画素Ｅ（Ｅ°）のレベルは、画素ｄ（ｄ°）のレベルが採用され、画素Ａのレベルは、画素ａのレベルが採用され、画素Ｂのレベルは、画素ｂのレベルが採用され、画素Ｃのレベルは、画素ｂとｃのレベルの線形補間レベルが採用され、画素Ｄ（Ｄ°）のレベルは、画素ｃ（ｃ°）とｄ（ｄ°）のレベルの線形補間レベルが採用される。また図１２（ｃ）の例では、画素Ｄ（Ｄ°）のレベルは、画素ｃ（ｃ°）とｄ（ｄ°）の線形補間レベルが採用され、画素Ｅは、画素ｄとｅ（図示せず）の線形補間レベルが採用され、画素Ｅ°のレベルは、画素ｄ°のレベルが採用され、画素Ａ及びＢのレベルは、それぞれ画素ａ及びｂのレベルが採用され、画素Ｃのレベルは、画素ｂとｃの線形補間レベルが採用される。また図１２（ｄ）の例では、画素Ｄ（Ｄ°）のレベルは、画素ｃ（ｃ°）とｄ（ｄ°）の線形補間レベルが採用され、画素Ｅ°のレベルが画素ｄ°のレベルが採用され、画素Ａ及びＢのレベルは、それぞれ画素ａ及びｂのレベルが採用され、画素Ｃのレベルは、画素ｂとｃの線形補間レベルが採用される。また図１２（ｅ）の例では、画素Ｅ（Ｅ°）のレベルは、画素ｃ（ｃ°）とｄ（ｄ°）のレベルの線形補間レベルが採用され、画素Ａのレベルは、画素ａのレベルが採用され、画素Ｂのレベルは、画素ｂのレベルが採用され、画素Ｃのレベルは、画素ｂとｃのレベルの線形補間レベルが採用され、画素Ｄのレベルは、画素ｃのレベルが採用される。
【００５７】
このように図１２に示す例では、孤立点の画素Ａが、拡大画像のいずれの補間位相においても孤立点に変換されるので、輝度ムラを防止することができる。
【００５８】
図１３は、６／４倍拡大変換の例を示す。同図（ａ）は原画像の画素ａ〜ｄ及びｄ°を示し、同図（ｂ）〜（ｅ）は、補間位相の異なる拡大画像の画素Ａ〜Ｅ及びＤ°〜Ｆ°を示す。この変換の場合には、原画像の画素間隔を６クロック幅としたとき、中心領域幅ＷＲＣを７クロック幅若しくは７クロック幅より若干広くすると、拡大画像において孤立点の輝度ムラを防止することができる。
【００５９】
すなわち図１３（ｂ）の例では、画素Ｅ°のレベルは、画素ｄ°のレベルが採用され、画素Ｆ°及びＡのレベルは、画素ａのレベルが採用され、画素Ｂのレベルは、画素ｂのレベルが採用され、画素Ｃのレベルは、画素ｂとｃのレベルの線形補間レベルが採用され、画素Ｄ（Ｄ°）のレベルは、画素ｃ（ｃ°（図示せず））とｄ（ｄ°）のレベルの線形補間レベルが採用される。また、図１３（ｃ）の例では、画素Ｂ以外の画素Ａ，Ｃ、Ｄ、Ｄ°、Ｅ°、及びＦ°のレベルは、図１３（ｂ）と同様に決定され、画素Ｂのレベルは、画素ｂとｃのレベルの線形補間レベルが採用される。また図１３（ｄ）に示す例では、画素Ａ〜Ｃ及びＦ°のレベルは、図１３（ｂ）と同様に決定され、画素Ｄのレベルは、画素ｃのレベルが採用され、画素Ｅ（Ｅ°）のレベルは、画素ｃ（ｃ°（図示せず））とｄ（ｄ°）のレベルの線形補間レベルが採用される。また図１３（ｅ）に示す例では、画素Ａ〜Ｄ及び画素Ｆ°のレベルは、図１３（ｂ）と同様に決定され、画素Ｅ（Ｅ°）のレベルは、画素ｃ（ｃ°（図示せず））とｄ（ｄ°）のレベルの線形補間レベルが採用される。
【００６０】
このように、図１３に示す例では、原画像の孤立点の画素が、拡大画像ではいずれの補間位相でも、２画素に変換されるので、輝度ムラを防止することができる。なお、図にＦｘ°あるいはＡｘで示すように、中心領域ＲＣ内に位置する拡大画像の画素のうちの一方については、隣接する画素のレベルを採用するようにしてもよい。その場合には、原画像の孤立点の画素が、拡大画像において孤立点となる拡大変換が行われる。拡大変換において、原画像の孤立点の画素を、拡大画像においても孤立点とするか２画素に拡大するかは、ユーザの希望により、いずれかを選択できるように処理装置を構成することが望ましい。
【００６１】
図１４は、７／４倍拡大変換の例を示す。同図（ａ）は原画像の画素ａ〜ｃ及びｃ°、ｄ°を示し、同図（ｂ）〜（ｅ）は、補間位相の異なる拡大画像の画素Ａ〜Ｄ、及びＤ°〜Ｇ°を示す。この変換の場合には、原画像の画素間隔を７クロック幅としたとき、中心領域幅ＷＲＣを７クロック幅若しくは７クロック幅より若干広くすると、拡大画像において孤立点の輝度ムラを防止することができる。
【００６２】
すなわち図１４（ｂ）の例では、画素Ｅ°のレベルは、画素ｃ°とｄ°のレベルの線形補間レベルが採用され、画素Ｆ°のレベルは、画素ｄ°のレベルが採用され、画素Ｇ°及びＡのレベルは、画素ａのレベルが採用され、画素Ｂのレベルは、画素ｂのレベルが採用され、画素Ｃ及びＤのレベルは、画素ｂとｃのレベルの線形補間レベルが採用される。また、図１４（ｃ）の例では、画素Ａ〜Ｃ及びＥ°〜Ｇ°のレベルは、図１４（ｂ）と同様に決定され、画素Ｄのレベルは、画素ｃのレベルが採用される。また図１４（ｄ）に示す例では、画素Ａ〜Ｃ，Ｅ°〜Ｇ°のレベルは、図１４（ｂ）と同様に決定され、画素Ｄ°のレベルは、画素ｃ°とｄ°のレベルの線形補間レベルが採用される。また図１４（ｅ）に示す例では、画素Ａ〜Ｄ、Ｅ°及びＧ°のレベルは、図１４（ｂ）と同様に決定され、画素Ｆ°のレベルは、画素ｃ°とｄ°のレベルの線形補間レベルが採用される。
【００６３】
このように、図１４に示す例では、図１３に示す例と同様に、原画像の孤立点の画素が、拡大画像ではいずれの補間位相でも、２画素に変換されるので、輝度ムラを防止することができる。また、図１４にＧｘ°あるいはＡｘで示すように、中心領域ＲＣ内に位置する拡大画像の画素のうちの一方については、隣接する画素のレベルを採用するようにしてもよい。
【００６４】
以上説明した中心領域幅ＷＲＣの設定例を一般化すると、原画像をＮ／Ｍ倍（Ｎ及びＭはともに正の整数）に変換する場合において、下記の式（１）が得られる。
ＷＲＣ＝ＤＰＸＬ×（Ｋ・Ｍ−１）／Ｎ＋α                    （１）
【００６５】
ここで、ＤＰＸＬは、クロック幅を単位とする、原画像の画素間隔、Ｋは、１以上の整数であり、縮小変換の場合には常に「１」に設定され、拡大変換の場合には（Ｎ／Ｍ）の演算結果の小数点以下を四捨五入した整数に設定される。またαは、０以上１クロック幅未満の加算値である。
【００６６】
式（１）によれば、縮小変換の場合には、縮小倍率が小さくなるほど（Ｍが大きなく、Ｎが小さくなるほど）、中心領域幅ＷＲＣを広くすればよいことが確認される。一方、拡大変換の場合には、拡大倍率が１．５倍未満であれば、Ｋ＝１となるので、縮小変換の場合と同様の傾向に設定するばよいことが確認される。
【００６７】
ただし、拡大変換の場合の図１２〜図１４を参照すれば明らかなように、拡大倍率が２倍以下の範囲での大まかな傾向としては、拡大倍率が大きくなるほど、中心領域幅を広げるように設定することが望ましい。
なお、上述した例のなかで、４／６倍変換は、２／３倍変換と倍率では同一であるが、式（１）の演算結果は同一とはならない。すなわち、４／６倍変換場合  ＷＲＣ＝ＤＰＸＬ×（５／４）＋α
であるのに対し、２／３倍変換の場合は、
ＷＲＣ＝ＤＰＸＬ×（２／２）＋α
となる。
【００６８】
式（１）の演算は、画像処理の周期であるクロック幅を基準としたものであり、画像処理周期は、４／６倍変換の場合は、画素間隔ＤＰＸＬの１／４とすることを前提としているのに対し、２／３倍変換の場合は、画素間隔ＤＰＸＬの１／２とすることを前提としているために、実質的に同一の倍率であっても、式（１）の演算結果は異なるものとなる。この点は、６／４倍変換と、３／２倍変換との関係でも同様である。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態にかかる画像処理装置の構成を示すブロック図である。
【図２】図１に示す波形監視部の構成を示すブロック図である。
【図３】図２に示す波形監視回路から出力される特性信号を説明するためのタイムチャートである。
【図４】図１に示す不連続性の連続性監視回路の動作を説明するためのタイムチャートである。
【図５】図１の縮小解像度変換回路の構成を示すブロック図である。
【図６】縮小変換の動作を説明するための図である。
【図７】文字Ｈの画像を縮小変換する処理を説明するための図である。
【図８】拡大変換の動作を説明するための図である。
【図９】４／５倍縮小変換の例を説明するための図である。
【図１０】４／６倍縮小変換の例を説明するための図である。
【図１１】４／７倍縮小変換の例を説明するための図である。
【図１２】５／４倍拡大変換の例を説明するための図である。
【図１３】６／４倍拡大変換の例を説明するための図である。
【図１４】７／４倍拡大変換の例を説明するための図である。
【図１５】従来技術の課題を説明するための図である。
【符号の説明】
【００７０】
１３，１４，１５  波形監視部（波形監視手段）
１６  不連続性の連続性監視回路（不連続性の連続性監視手段）
１９  縮小解像度変換回路（画像変換手段）
３３  第１の係数発生回路（第１の係数発生手段）
３８  第２の係数発生回路（第２の係数発生手段）
３１，３２  遅延回路（演算手段）
３５，３６  乗算回路（演算手段）
３７  加算回路（演算手段）
３９，４０  係数切替回路（係数選択手段）
【図１】
2006309299.tif 000003
【図２】
2006309299.tif 000004
【図３】
2006309299.tif 000005
【図４】
2006309299.tif 000006
【図５】
2006309299.tif 000007
【図６】
2006309299.tif 000008
【図７】
2006309299.tif 000009
【図８】
2006309299.tif 000010
【図９】
2006309299.tif 000011
【図１０】
2006309299.tif 000012
【図１１】
2006309299.tif 000013
【図１２】
2006309299.tif 000014
【図１３】
2006309299.tif 000015
【図１４】
2006309299.tif 000016
【図１５】
2006309299.tif 000017