(57)【要約】    【課題】  ディジタル画像を異なる画素数のディジタル画像に変換する処理をより適切に行い、より原画像に近い変換画像を得ることができる画像処理装置を提供する。    【解決手段】  波形監視回路１３は、ディジタル原画像の画素信号のレベルを所定の画素数範囲に亘って監視し、所定画素数範囲の画素信号のレベルの不連続性を示す特性信号１３ａを出力する。係数発生回路２３，２８は、それぞれ変換倍率に応じた線形補間係数と、非線形補間係数とを出力する。特性信号１３ａに応じて係数切替回路２９，３０により、線形補間係数と非線形補間係数とが切替えられる。係数切替回路２９，３０から出力される補間係数を用いて補間演算が行われ、変換画像に対応する画像信号が出力される。【選択図】  図４
2005174278.tif 000002
【特許請求の範囲】
【請求項１】
指定された変換倍率に応じてディジタル原画像を異なる画素数のディジタル画像に解像度変換する画像処理装置であって、
前記ディジタル原画像に対して前記変換倍率に応じた補間係数データによる補間フィルタ演算を用いて解像度変換を行ない変換画像を出力する画像変換手段と、
前記ディジタル原画像の画素信号のレベルを所定の画素数範囲に亘って監視し、所定画素数範囲の画素信号のレベルの不連続性を検出する波形監視手段とを備え、
前記画像変換手段は、前記変換倍率に応じて線形係数データを生成する第１の係数発生手段と、前記変換倍率に応じて非線形係数データを生成する第２の係数発生手段と、前記波形監視手段により、前記画素信号のレベルが不連続でないと判定された原画素に対しては前記線形係数データを出力し、前記波形監視手段により前記画素信号のレベルが不連続であると判定された原画素に対しては前記非線形係数データを出力する係数選択手段と、該係数選択手段から出力される係数データを用いて前記補間フィルタ演算を行う演算手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第２の係数発生手段は、前記不連続と判定された原画素を含む設定範囲内においては、原画素のレベルがそのまま変換画素のレベルとなるように前記非線形係数データを生成し、前記ディジタル原画像の縮小変換を行うときは、変換倍率が小さくなるほど前記設定範囲の幅を広くすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の係数発生手段は、前記不連続と判定された原画素を含む設定範囲内においては、原画素のレベルがそのまま変換画素のレベルとなるように前記非線形係数データを生成し、前記ディジタル原画像の拡大変換を行うときは、変換倍率が大きくなるほど前記設定範囲の幅を広くすることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指定された変換倍率に応じてディジタル原画像を異なる画素数のディジタル画像に解像度変換する画像処理装置に関する。
【背景技術】
【０００２】
画像データの画素数と表示装置の画素数が異なる場合、画像データの画素数を表示装置の画素数に合わせる処理、すなわち画像データの解像度変換処理が必要になる。そのような解像度変換の方法として、線形補間処理が広く知られている。
【０００３】
線形補間処理では、例えば図７に示すように画素列Ａ〜Ｉを画素列ａ〜ｈに４／５倍に縮小変換する場合には、画素Ａの信号値（輝度レベル）はそのまま画素ａの信号値とし、画素Ｂの信号値に０．７５を乗算した値と、画素Ｃの信号値に０．２５を乗算した値の和を画素ｂの信号値とし、画素Ｃの信号値に０．５を乗算した値と、画素Ｄの信号値に０．５を乗算した値の和を画素ｃの信号値とするといった演算が行われる。
【０００４】
線形補間処理のみでは、エッジ部の波形がなまることにより画像のボケが生じたり、黒の背景に白のドットまたはストライプ（以下「孤立点」という）を含む画像では、その孤立点の輝度が低下し、変換後の画質が低下するという問題がある。
【０００５】
また他の補間手法として、最近傍補間処理が知られている。図１５は、この最近傍補間処理を説明するための図であり、原画像を４／７倍に縮小変換する例が示されている。４／７倍に縮小変換するので、原画像の画素（原画素）をＡ〜Ｇ（Ｇ°）とし、対応する縮小画像の画素（縮小画素）をａ〜ｄ（ｄ°）として、図１５（ａ）には、原画像の画素Ａ〜Ｄ、及びＧ°の位置とそのレベルが示されている。この原画像は、低輝度の背景画素Ｇ°、Ｂ、Ｃ、Ｄの中に、孤立点に対応する画素Ａが存在するものである。図１５（ｂ）〜（ｆ）には、補間位相、すなわち、縮小画像の画素の、原画像の画素に対する位相が異なる例が示されている。
【０００６】
図１５（ｂ）に示す例では、画素ｄ°のレベルとして、画素Ｇ°のレベルが採用され、画素ａのレベルとして画素Ｂのレベルが採用され、画素ｂのレベルとして画素Ｄのレベルが採用されている。画素ｂは、画素Ｃの近傍範囲と、画素Ｄの近傍範囲との境界に位置するが、図示例では、境界では右側に位置する原画像の画素のレベルが採用されている。
【０００７】
図１５（ｃ）に示す例では、図１５（ｂ）に示す例と同様に、画素ｄ°のレベルとして、画素Ｇ°のレベルが採用され、画素ａのレベルとして画素Ｂのレベルが採用され、画素ｂのレベルとして画素Ｄのレベルが採用されている。
図１５（ｄ）に示す例では、画素ａのレベルとして画素Ａのレベルが採用され、画素ｂのレベルとして画素Ｂのレベルが採用され、画素ｃのレベルとして画素Ｄのレベルが採用されている。
【０００８】
図１５（ｅ）に示す例では、画素ａのレベルとして画素Ａのレベルが採用され、画素ｂのレベルとして画素Ｃのレベルが採用され、画素ｃのレベルとして画素Ｄのレベルが採用されている。
図１５（ｆ）に示す例では、画素ｄ°のレベルとして画素Ｇ°のレベルが採用され、画素ａのレベルとして画素Ｂのレベルが採用され、画素ｂのレベルとして画素Ｃのレベルが採用されている。
【０００９】
このように最近傍補間処理では、原画像の画素を中心とした画素間隔ＤＰＸＬの範囲内に位置する縮小画像の画素のレベルとして、その原画像の画素のレベルが採用される。そして、図１５（ｂ）（ｃ）及び（ｆ）に示す補間位相のときには、原画像に存在する白のドット（またはストライプ）が欠落している。すなわち、最近傍補間処理のみで縮小変換を行うと、補間位相によっては、孤立点が欠落するという問題がある。
【００１０】
上述した線形補間処理及び最近傍補間処理の問題を解決するための画像処理装置が、特許文献１に示されている。
この装置によれば、ディジタル原画像の画素信号のレベルが所定の画素数範囲に亘って監視され、画素信号の極大レベル及び極小レベルが検出され、画素信号が極大レベルまたは極小レベルでないときは、線形補間信号が採用される一方、画素信号が極大レベルまたは極小レベルであるときは、これらの極大レベルまたは極小レベルの信号が採用される。
【００１１】
【特許文献１】特開２００１−２７４９８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
図１６（ａ）は、変換前の原画像信号波形を示し、同図（ｂ）の破線は、単純な線形補間処理により得られる画像信号波形を示し、同図（ｃ）の破線は、特許文献１に示された装置による変換処理後の画像信号波形を示す。この図において、波形部分１０１ａ〜１０１ｆは、それぞれ波形部分２０１ａ〜２０１ｆ及び３０１ａ〜３０１ｆに対応している。単純な線形補間処理では、波形部分２０１ｃ、２０１ｄ、及び２０１ｅにおける波形の変形が大きくなっている。
【００１３】
特許文献１に示された装置によれば、波形部分３０１ａ、３０１ｆのレベルの回復に加えて、波形部分３０１ｃ〜３０１ｅにおける波形はかなり改善されているが、波形部分３０１ｃの後縁部分での変形が改善されていない。
また特許文献１には、縮小画像処理に関しては詳細に説明されているが、拡大処理については線形補間縮小処理を線形補間拡大処理に置き換えるだけで出来ると述べているだけで具体的な動作説明と改善の例示はない。本願発明の発明者が行った動作検証によると、線形補間に伴うぼけは改善されるものの、孤立点が画像内の位置によって孤立点になったり連続点となったりする新しい輝度むらが生じることが確認されている。ここで「輝度ムラ」とは、例えば拡大処理により、原画像における孤立点が連続点（短い線）になってしまったり、原画像における細線が太線のなってしまったりすることを意味する。
【００１４】
本発明は、上述した点に着目してなされたもので、特にディジタル画像に１／２倍以上の縮小処理を施す処理や２倍以下の拡大処理を施す処理をより適切に行い、より原画像に近い変換画像を得ることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的を達成するため請求項１に記載の発明は、指定された変換倍率に応じてディジタル原画像を異なる画素数のディジタル画像に解像度変換する画像処理装置であって、前記ディジタル原画像に対して前記変換倍率に応じた補間係数データによる補間フィルタ演算を用いて解像度変換を行ない変換画像を出力する画像変換手段と、前記ディジタル原画像の画素信号のレベルを所定の画素数範囲に亘って監視し、所定画素数範囲の画素信号のレベルの不連続性を検出する波形監視手段とを備え、前記画像変換手段は、前記変換倍率に応じて線形係数データを生成する第１の係数発生手段と、前記変換倍率に応じて非線形係数データを生成する第２の係数発生手段と、前記波形監視手段により、前記画素信号のレベルが不連続でないと判定された原画素に対しては前記線形係数データを出力し、前記波形監視手段により前記画素信号のレベルが不連続であると判定された原画素に対しては前記非線形係数データを出力する係数選択手段と、該係数選択手段から出力される係数データを用いて前記補間フィルタ演算を行う演算手段とを有することを特徴とする。
【００１６】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記第２の係数発生手段は、前記不連続と判定された原画素を含む設定範囲内においては、原画素のレベルがそのまま変換画素のレベルとなるように前記非線形係数データを生成し、前記ディジタル原画像の縮小変換を行うときは、変換倍率が小さくなるほど前記設定範囲の幅を広くすることを特徴とする。
【００１７】
請求項３に記載の発明は、請求項１または２に記載の画像処理装置において、前記第２の係数発生手段は、前記不連続と判定された原画素を含む設定範囲内においては、原画素のレベルがそのまま変換画素のレベルとなるように前記非線形係数データを生成し、前記ディジタル原画像の拡大変換を行うときは、変換倍率が大きくなるほど前記設定範囲の幅を広くすることを特徴とする。
【発明の効果】
【００１８】
請求項１に記載の発明によれば、ディジタル原画像の画素信号のレベルが所定の画素数範囲に亘って監視され、所定画素数範囲の画素信号のレベルの不連続性が検出される。また変換倍率に応じて線形係数データ及び非線形係数データが生成され、画素信号のレベルが不連続でないと判定されたときは、線形係数データが選択され、画素信号のレベルが不連続であると判定されたときは非線形係数データが選択される。そして、選択された係数データを用いて補間フィルタ演算が実行され、画素数が変換された変換画像が出力される。これにより、エッジやストライプやドットなどを含む画像を変換した場合でも、画像の変化を最小限に抑制し、より原画像に近い変換画像を得ることができる。
【００１９】
請求項２に記載の発明によれば、不連続と判定された原画素を中心とした設定範囲内においては、原画素のレベルがそのまま変換画素のレベルとなるように非線形係数データが生成され、縮小変換を行うときは、変換倍率が小さくなるほど前記設定範囲の幅が広げられる。これにより、変換倍率に応じた適切な変換を行うことができ、孤立点の欠落を確実に防止することができる。
【００２０】
請求項３に記載の発明によれば、不連続と判定された原画素を中心とした設定範囲内においては、原画素のレベルがそのまま変換画素のレベルとなるように非線形係数データが生成され、原画像の拡大変換を行うときは、変換倍率が大きくなるほど前記設定範囲の幅が広げられる。これにより、拡大変換を行うときに、原画像では同一幅である孤立点の幅が、変換画像ではまちまちとなる輝度ムラを防止することができる。
【発明を実施するための最良の形態】
【００２１】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる画像処理装置の構成を示すブロック図である。この装置は、遅延回路１０，１１，１２と、波形監視回路１３と、遅延補正回路１５と、縮小解像度変換回路１４とを備えている。この装置には、ディジタル原画像信号１０１が入力され、縮小変換された変換ディジタル画像信号３０１が出力される。
【００２２】
遅延回路１０〜１２は、水平方向の縮小変換回路では、１画素分の時間だけ入力信号を遅延させ、垂直方向の縮小変換回路では、１ライン分の時間だけ入力信号を遅延させる。
波形監視回路１３は、所定の画素数範囲（図示例では４画素分の範囲）に亘って、画像信号のレベルを監視し、隣り合う画素に対応する信号レベルの変化が所定閾値ＤＬＶＬより大きく、かつそのような変化が１画素に限られるとき、高レベルとなる特性信号１３ａを出力する。本明細書中では、このように隣り合う画素に対応する信号レベルの変化が所定閾値ＤＬＶＬを超え、かつそのような変化が１画素に限られるとき、信号が不連続である判定される。
【００２３】
図２は、波形監視回路１３の動作を説明するためのタイムチャートであり、原ディジタル画像信号１０１、遅延回路１０の出力信号１０ａ、遅延回路１１の出力信号１１ａ、及び遅延回路１２の出力信号１２ａの信号レベルが監視され、図２（ａ）（ｃ）（ｅ）に示すように信号レベルが所定閾値ＤＬＶＬを超える変化があったとき、同図（ｂ）（ｄ）（ｆ）に示すような特性信号１３ａが出力される。
すなわち、図２（ａ）に示すように信号レベルが変化したときは、信号レベルの変化が所定閾値ＤＬＶＬを超え、かつそのような変化が２画素連続して発生することにより孤立点を形成しているので、図２（ｂ）に示すような特性信号１３ａが出力される。この場合には、特性信号１３ａが高レベルの期間において非線形補間が行われる。
【００２４】
また図２（ｃ）に示すように、出力信号１１ａの他に信号１０１においても信号レベルが所定閾値ＤＬＶＬを超えて変化している（３画素以上連続して信号レベルが所定閾値ＤＬＶＬを超えて変化している）ため、特性信号１３ａは、図２（ｄ）に示すように、低レベルに維持される。したがって、この場合には線形補間が行われる。これは、特許文献１の段落００３１に示されているような不具合、すなわち、不均一な柄の発生による画質劣化を避けるためである。
また図２（ｅ）に示すように信号レベルが立ち上がるエッジ部においては、所定閾値ＤＬＶＬを越えるような変化が１画素に限られるので、図２（ｆ）に示すような特性信号１３ａが出力される。したがって、特性信号１３ａが高レベルの期間において非線形補間が行われる。
【００２５】
図３は、原画像信号が低レベルから高レベルに立ち上がるエッジ部を有する場合に、縮小画像変換（４／５倍）を行った例を示す。図３（ａ）が原画像の画素の信号レベルを示し、図３（ｂ）〜（ｆ）は、補間位相が異なる縮小画像の画素の信号レベルを示す。この例では、特性信号１３ａは、原画像の画素Ｅ°の直後から画素Ｂの直前まで高レベルとなり、この期間において非線形補間処理が行われ、それ以外の期間においては、線形補間処理が行われる。図から明らかなように、どのような補間位相であっても、縮小画像の画素ｄ°からａへの立ち上りがなまることがなく、原画像のエッジ部の立ち上り特性を維持することができる。
【００２６】
遅延補正回路１５は、波形監視回路１３から出力される特性信号１３ａと、縮小解像度変換回路１４に入力される原ディジタル画像信号１０１とのタイミングを合わせるための遅延補正を行う。
縮小解像度変換回路１４には、遅延補正された原ディジタル画像信号１０１が入力される。縮小解像度変換回路１４は、指定された変換倍率に応じて画像の補間フィルタ処理を行い、縮小解像度変換されたディジタル画像信号３０１を生成する。
【００２７】
図４は、縮小解像度変換回路１４の構成を示すブロック図であり、縮小解像度変換回路１４は、遅延回路２１，２２と、第１の係数発生回路２３と、第２の係数発生回路２８と、係数切替回路２９，３０と、減算回路２４と、乗算回路２５，２６と、加算回路２７とを備えている。第１及び第２の係数発生回路２３，２８には、水平同期信号ＨＳ，水平クロック信号ＨＣ，及び指定される変換倍率を示す変換倍率パラメータＣＲが供給される。
【００２８】
遅延回路２１及び２２は、図１に示す遅延回路１０〜１２と同様に画素単位またはライン単位の遅延を行うものである。
第１の係数発生回路２３は、指定される変換倍率に応じて、補間画素毎の補間係数を示す補間係数信号２３ａを生成し、減算回路２４及び係数切替回路３０に供給する。減算回路２４は、係数「１」に相当する係数信号から、補間係数信号２３ａを減算する処理を行い、補間係数信号２４ａを生成する。補間係数信号２４ａは、水平クロック信号ＨＣのタイミングに同期して出力される。
【００２９】
第２の係数発生回路２８は、係数信号２８ａと、係数信号２８ｂとを出力し、それぞれ係数切替回路２９及び３０に供給する。係数信号２８ａ及び２８ｂは、「１」または「０」を示す信号であり、係数信号２８ａが係数「１」の場合には、係数信号２８ｂが係数「０」となり（以下「第１の組み合わせ」という）、係数信号２８ａが係数「０」の場合には、係数信号２８ｂが「１」となる（以下「第２の組み合わせ」という）。ここで、係数信号２８ａ，２８ｂの第１の組み合わせから第２の組み合わせの切替タイミング及びその逆の切替タイミングは、画像変換倍率に応じて変更される。係数信号２８ａ及び２８ｂは、水平クロック信号ＨＣのタイミングに同期して出力される。
【００３０】
係数切替回路２９及び３０には、特性信号１３ａが切替制御信号として供給されてる。そして、特性信号１３ａが低レベルであるときは、係数切替回路２９は、補間係数信号２４ａを出力し、係数切替回路３０は、補間係数信号２３ａを出力する。乗算回路２５は、補間係数信号２４ａと、遅延回路２１の出力信号２１ａとを乗算し、補間信号２５ａを出力する。乗算回路２６は、補間係数信号２３ａと、遅延回路２２の出力信号２２ａとを乗算し、補間信号２６ａを出力する。加算回路２７は、補間信号２５ａと２６ａを加算し、変換ディジタル画像信号３０１を出力する。
【００３１】
特性信号１３ａが低レベルであるときは、通常の線形補間演算処理（補間フィルタ処理）により、変換ディジタル画像信号３０１が生成される。
一方、特性信号１３ａが高レベルであるときは、係数切替回路２９は、係数信号２８ａを出力し、係数切替回路３０は、係数信号２８ｂを出力する。したがって、係数信号２８ａ，２８ｂが第１の組み合わせのときは、乗算回路２６から補間信号２６ａは出力されず、遅延回路２１の出力信号２１ａが乗算回路２５及び加算回路２７を介してそのまま、変換ディジタル画像信号３０１として出力される。すなわち、補間画素より後の原画素のレベルが、補間画素のレベルとして採用される。
【００３２】
また、係数信号２８ａ，２８ｂが第２の組み合わせのときは、乗算回路２５から補間信号２５ａは出力されず、遅延回路２２の出力信号２２ａが乗算回路２２６及び加算回路２７を介してそのまま、変換ディジタル画像信号３０１として出力される。すなわち、補間画素より前の原画素のレベルが、補間画素のレベルとして採用される。
【００３３】
図５及び図６は、原ディジタル画像信号を、４／５倍の画素数の画像信号に縮小解像度変換する場合の動作を説明するための図である。ここでは、図６（ａ）の波形部分１０１ｂ，１０１ｃ，及び１０１ｄに着目して、孤立点（あるいはストライプ）部分の波形が、補間処理によりどのように変化するかを説明する。
【００３４】
図５（ａ）においては、波形部分１０１ｂ，１０１ｃ，及び１０１ｄが、それぞれ画素Ａ，Ｄ，及びＧに対応させて示されている。通常の線形補間処理では、原画像の画素Ａのレベル（信号値）はそのまま縮小画像の画素ａのレベルとされ、縮小画像の画素ｂのレベルは、原画像の画素Ｂ及びＣのレベルの線形補間により算出され、縮小画像の画素ｃのレベルは、原画像の画素Ｃ及びＤのレベルの線形補間により算出され、縮小画像の画素ｄのレベルは、原画像の画素Ｄ及びＥのレベルの線形補間により算出され、縮小画像の画素ｆのレベルは、原画像の画素Ｆのレベルとされ、縮小画像の画素ｇのレベルは、原画像の画素Ｇ及びＨのレベルの線形補間により算出され、縮小画像の画素ｈのレベルは、原画像の画素Ｈ及びＩのレベルの線形補間により算出される。例えば、画素ｃのレベルは、画素Ｃのレベルの０．５倍と、画素Ｄのレベルの０．５倍の和となり、画素ｄのレベルは、画素Ｄのレベルの０．２５倍と、画素Ｅのレベルの０．７５倍の和となる。
【００３５】
図５（ｂ）には、原画像の各画素のレベルが○で示され、通常の線形補間処理により得られる縮小画像の各画素のレベルが△で示されている。
図５（ｃ）には、特許文献１に示された装置により得られる縮小画像の各画素ａ〜ｈのレベルが△で示されている。画素ｃ及びｇについては、それぞれ画素Ｄ及びＧが極大レベルであることから原画像の画素レベルがそのまま採用されている。しかし、画素ｄに関しては線形補間処理により得られるレベルが採用されるため、パルス波形の後縁がなまった波形となってしまう（図１６（ｃ）の波形部分３０１ｃ参照）。
【００３６】
これに対し、本実施形態の装置によれば、特性信号１３ａは、図５（ｅ）に示すようになり、また第２の係数発生回路２８において、係数信号の第１の組み合わせと、第２の組み合わせのいずれを選択するかを示す組み合わせ信号は、図５（ｆ）に示すようになる。図５（ｆ）においては、組み合わせ信号の高レベルが第２の組み合わせに対応し、低レベルが第１の組み合わせに対応する。この組み合わせ信号により、縮小画像の画素ｃについては、画素Ｃのレベルの成分は「０」とされ、画素Ｄのレベルがそのまま採用され、画素ｄについては、画素Ｄのレベルの成分は「０」とされ、画素Ｅのレベルがそのまま採用される。その結果、パルス波形の後縁がなまることがなく、原画像信号により忠実な縮小画像信号を得ることができる。
【００３７】
すなわち、本実施形態では、図５（ｆ）に示すように、特性信号１３ａが高レベルとなる非線形領域ＲＴと、非線形領域ＲＴ内の、不連続と判定された画素を含む中心領域ＲＣと、非線形領域ＲＴから中心領域ＲＣを除いた周辺領域ＲＳＦ及びＲＳＲ（以下、中心領域ＲＣの前に位置する周辺領域を「前周辺領域ＲＳＦ」といい、中心領域ＲＣの後に位置する周辺領域を「後周辺領域ＲＳＲ」という）が定義されている。縮小画像の画素が中心領域ＲＣ内に位置するときは、その中心領域ＲＣに含まれる原画像の画素（不連続と判定された画素）のレベルが、縮小画像の画素のレベルとして採用される一方、縮小画像の画素が前周辺領域ＲＳＦ内に位置するときは、前周辺領域ＲＳＦに含まれる原画像の画素のレベルが、縮小画像の画素のレベルとして採用され、縮小画像の画素が後周辺領域ＲＳＲ内に位置するときは、後周辺領域ＲＳＲに含まれる原画像の画素のレベルが、縮小画像の画素のレベルとして採用される。さらに、中心領域ＲＣの幅を、後述するように縮小倍率に応じて設定することにより、縮小倍率を変更した場合でも、縮小画像における孤立点画素の欠落が発生しないようにしている。
【００３８】
図６は、図１６（ａ）に示したものと同一の原画像信号の波形（図６（ａ））と、本実施形態の画像処理装置により得られる縮小画像信号の波形（図６（ｂ））とが示されており、特に波形部分３０１ｃにおいて、従来の装置による信号波形（図１６（ｃ））より改善されている。
【００３９】
本実施の形態において、原画像を縮小することについて説明したが、縮小解像度変換回路１４を拡大解像度変換回路に置き換えることにより、画像を拡大することもできる。本実施形態の手法によれば、拡大の場合でも動作そのものは縮小の場合と同じである。
【００４０】
ところで、特許文献１においても線形縮小解像度変換回路を線形拡大解像度変換回路に置き換えるだけで画像の拡大にも適用出来ると説明されているが、実際には新たな問題点が発生する。この点を図８を参照して説明する。
【００４１】
図８は原画像を５／４倍に拡大する例、すなわち原画像の画素ａ，ｂ，ｃ，ｄ，ｆ，ｇ，ｈが、画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉに拡大される例を示す。同図（ｂ）には、原画像の画素ａ〜ｈの画素レベルと、それらの画素レベルの線形補間演算により得られる拡大画像の画素（拡大画素）Ａ〜Ｉの画素レベルが示されている。また同図（ｃ）には特許文献１に示された手法により得られる拡大画像の画素Ａ〜Ｉの画素レベルが示されている。この図に示すように、従来の手法では、原画像のおける孤立点ｈが拡大画像の連続点Ｈ及びＩとなっており、輝度ムラが発生している。
【００４２】
これに対し、同図（ｄ）には、本実施形態において拡大解像度変換回路を用いた場合の拡大画像の画素レベルが示され、同図（ｅ）には特性信号１３ａが示されている。また同図（ｆ）には、図５（ｆ）と同様の組み合わせ信号が示されている。この例では、係数信号２８ａ，２８ｂは、第１の組み合わせと第２の組み合わせとが以下のように切り換えられる。すなわち、拡大画像の画素Ｂのレベルは、その後の原画素ｂのレベルが採用されており、係数信号２８ａ，２８ｂは、第１の組み合わせ（「１」及び「０」）となっている。また拡大画像の画素Ｄのレベルは、その前の原画素ｃのレベルが採用されており、係数信号２８ａ，２８ｂは、第２の組み合わせ（「０」及び「１」）となっている。また拡大画像の画素Ｅのレベルは、その前の原画素ｄのレベルが採用されており、係数信号２８ａ，２８ｂは、第２の組み合わせ（「０」及び「１」）となっている。また拡大画像の画素Ｈのレベルは、その後の原画素ｈのレベルが採用されており、係数信号２８ａ，２８ｂは、第１の組み合わせ（「１」及び「０」）となっている。また拡大画像の画素Ｉのレベルは、その後の原画素のレベルが採用されており、係数信号２８ａ，２８ｂは、第１の組み合わせ（「１」及び「０」）となっている。
【００４３】
本実施形態では、図８（ｆ）に示すように、拡大変換の場合にも、縮小変換と同様に中心領域ＲＣと周辺領域ＲＳＦ及びＲＳＲが定義され、中心領域ＲＣ内においては、中心領域ＲＣに含まれる原画像の画素のレベルが、拡大画像の画素のレベルとして採用される一方、前周辺領域ＲＳＦ内においては、前周辺領域に含まれる原画像の画素のレベルが、拡大画像の画素のレベルとして採用され、後周辺領域ＲＳＲ内においては、後周辺領域ＲＳＲに含まれる原画像の画素のレベルが、拡大画像の画素のレベルとして採用される。
【００４４】
このように、本実施形態の装置によれば、原画像の孤立点ｈは、拡大画像でも孤立点Ｈとなり、輝度ムラを最小限に抑制することができる。また拡大変換の場合も、後述するように拡大倍率に応じて中心領域ＲＣの幅を変更することにより、拡大倍率を変更した場合でも、輝度ムラを抑制することが可能となる。
【００４５】
次に変換倍率（縮小倍率または拡大倍率）と、中心領域ＲＣの幅ＷＲＣとの関係について、図９〜１４を参照して説明する。これらの図において、縦方向の罫線は、クロック周期のタイミングまたはクロック周期の整数倍の周期のタイミングを示す。原画像及び縮小画像または拡大画像の画素は、罫線で示すタイミングに表示され、罫線と罫線の間にタイミングで表示されることはない。以下の説明では、隣り合う罫線の間隔を「クロック幅」という。また中心領域ＲＣと、前周辺領域ＲＳＦ及び後周辺領域ＲＳＲ以外の領域には、交差する破線が付されており、この領域では線形補間処理が行われる。
【００４６】
図９は、４／５倍縮小変換の例を示す。同図（ａ）は原画像の画素Ａ〜Ｄ及びＤ°、Ｅ°を示し、同図（ｂ）〜（ｆ）は、補間位相の異なる縮小画像の画素ａ〜ｄ及びｄ°を示す。この変換の場合には、原画像の画素間隔を４クロック幅としたとき、中心領域幅ＷＲＣを４クロック幅若しくは４クロック幅より若干広くすると、縮小画像において孤立点の欠落を防止することができる。なお、「若干広くする」とは、「１クロック幅未満の幅だけ広くする」ことを意味する（以下同様）。図９には、ＷＲＣ＝４クロック幅の例が示されている。中心領域幅ＷＲＣを４クロック幅、すなわち原画像の画素間隔と等しくすると、図１５に示す最近傍補間とほぼ同一となるが、本例では中心領域ＲＣと周辺領域ＲＳＦ及びＲＳＲとの境界に、縮小画素が位置するときには、中心領域ＲＣに含まれる原画素のレベルが採用されるので、最近傍補間のような問題点は発生しない。
【００４７】
すなわち図９（ｂ）の例では、画素ｄ°のレベルは、画素Ｅ°のレベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素ＢとＣのレベルの線形補間レベルが採用され、画素ｃのレベルは、画素ＣとＤのレベルの線形補間レベルが採用される。また図９（ｃ）の例では、画素ｄ°のレベルは、画素Ｅ°のレベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素ＢとＣのレベルの線形補間レベルが採用され、画素ｃ（ｃ°）のレベルは、画素Ｄ（Ｄ°）のレベルが採用される。また図９（ｄ）の例では、画素ｄ（ｄ°）のレベルは、画素Ｄ（Ｄ°）とＥ（Ｅ°）のレベルの線形補間レベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素Ｂのレベルが採用され、画素ｃのレベルは、画素Ｃのレベルが採用される。図９（ｅ）及び（ｆ）の例についても、同様にして縮小画像の画素レベルが決定される。図９（ｂ）〜（ｆ）により、４／５倍縮小変換におけるすべての補間位相が示されており、どの補間位相であっても孤立点の画素Ａの欠落は起きない。
【００４８】
図１０は、４／６倍縮小変換の例を示す。同図（ａ）は原画像の画素Ａ〜Ｄ及びＥ°、Ｆ°を示し、同図（ｂ）〜（ｆ）は、補間位相の異なる縮小画像の画素ａ〜ｃ及びｃ°、ｄ°を示す。この変換の場合には、原画像の画素間隔を４クロック幅としたとき、中心領域幅ＷＲＣを５クロック幅若しくは５クロック幅より若干広くすると、縮小画像において孤立点の欠落を防止することができる。図１０には、ＷＲＣ＝５クロック幅の例が示されている。
【００４９】
すなわち図１０（ｂ）の例では、画素ｄ°のレベルは、画素Ｅ°とＦ°のレベルの線形補間レベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素ＢとＣのレベルの線形補間レベルが採用され、画素ｃのレベルは、画素ＤとＥのレベルの線形補間レベルが採用される。また図１０（ｃ）の例では、画素ｄ°のレベルは、画素Ｆ°のレベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素Ｃのレベルが採用され、画素ｃ°のレベルは、画素Ｄ°（図示せず）とＥ°のレベルの線形補間レベルが採用される。また図１０（ｄ）の例では、画素ｄ°のレベルは、画素Ｄ°（図示せず）とＥ°のレベルの線形補間レベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素Ｂのレベルが採用され、画素ｃのレベルは、画素ＣとＤのレベルの線形補間レベルが採用される。図１０（ｅ）及び（ｆ）の例についても、同様であり、図１０（ａ）〜（ｆ）に示されるいずれの場合にも、孤立点の画素Ａの欠落は起きない。なお、図１０（ｄ）と図１０（ｅ）に示す補間位相の間に、もう一つ補間位相が存在するが、同様に孤立点の画素Ａの欠落は起きないことは明らかである。
【００５０】
図１１は、４／７倍縮小変換の例を示す。同図（ａ）は原画像の画素Ａ〜Ｅ及びＦ°、Ｇ°を示し、同図（ｂ）〜（ｆ）は、補間位相の異なる縮小画像の画素ａ〜ｃ及びｄ°を示す。この変換の場合には、原画像の画素間隔を４クロック幅としたとき、中心領域幅ＷＲＣを６クロック幅若しくは６クロック幅より若干広くすると、縮小画像において孤立点の欠落を防止することができる。図１１には、ＷＲＣ＝６クロック幅の例が示されている。
【００５１】
すなわち図１１（ｂ）の例では、画素ｄ°のレベルは、画素Ｇ°のレベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素ＣとＤのレベルの線形補間レベルが採用され、画素ｃのレベルは、画素ＥとＦ（図示せず）のレベルの線形補間レベルが採用される。また図１１（ｃ）の例では、画素ｄ°のレベルは、画素Ｅ°（図示せず）とＦ°のレベルの線形補間レベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素Ｂが採用され、画素ｃのレベルは、画素ＣとＤのレベルの線形補間レベルが採用される。また図１１（ｄ）の例では、画素ｄ°のレベルは、画素Ｅ°（図示せず）とＦ°のレベルの線形補間レベルが採用され、画素ａのレベルは、画素Ａのレベルが採用され、画素ｂのレベルは、画素Ｂとのレベルの線形補間レベルが採用され、画素ｃのレベルは、画素Ｄのレベルが採用される。図１１（ｅ）及び（ｆ）の例についても、同様である。図１１（ｂ）〜（ｆ）により、４／７倍縮小変換におけるすべての補間位相が示されているわけではない（２つの位相が抜けている）が、図示されていない補間位相は、図１０（ｂ）に示す位相と、図１０（ｃ）に示す位相との間の位相となるので、どの補間位相であっても孤立点の画素Ａの欠落は起きないことは明らかである。
【００５２】
以上のように、縮小変換の場合には、変換倍率が小さくなるほど、中心領域ＲＣの幅ＷＲＣを広くすることにより、変換倍率に拘わらず、孤立点画素の欠落を防止することができる。
【００５３】
図１２は、５／４倍拡大変換の例を示す。同図（ａ）は原画像の画素ａ〜ｄ及びｃ°、ｄ°を示し、同図（ｂ）〜（ｅ）は、補間位相の異なる拡大画像の画素Ａ〜Ｅ及びＤ°、Ｅ°を示す。この変換の場合には、原画像の画素間隔を５クロック幅としたとき、中心領域幅ＷＲＣを３クロック幅若しくは３クロック幅より若干広くすると、拡大画像において孤立点の輝度ムラを防止することができる。
【００５４】
すなわち図１２（ｂ）の例では、画素Ｄ（Ｄ°）のレベルは、画素ｃ（ｃ°）とｄ（ｄ°）のレベルの線形補間レベルが採用され、画素Ｅ（Ｅ°）のレベルは、画素ｄ（ｄ°）のレベルが採用され、画素Ａのレベルは、画素ａのレベルが採用され、画素Ｂのレベルは、画素ｂのレベルが採用され、画素Ｃのレベルは、画素ｂとｃのレベルの線形補間レベルが採用される。また図１２（ｃ）の例では、画素Ｄ（Ｄ°）のレベルは、画素ｃ（ｃ°）とｄ（ｄ°）の線形補間レベルが採用され、画素Ｅは、画素ｄとｅ（図示せず）の線形補間レベルが採用され、画素Ｅ°のレベルは、画素ｄ°のレベルが採用され、画素Ａ及びＢのレベルは、それぞれ画素ａ及びｂのレベルが採用され、画素Ｃのレベルは、画素ｂとｃの線形補間レベルが採用される。また図１２（ｄ）の例では、画素Ｄ（Ｄ°）のレベルは、画素ｃ（ｃ°）とｄ（ｄ°）の線形補間レベルが採用され、画素Ｅ°のレベルが画素ｄ°のレベルが採用され、画素Ａ及びＢのレベルは、それぞれ画素ａ及びｂのレベルが採用され、画素Ｃのレベルは、画素ｂとｃの線形補間レベルが採用される。また図１２（ｅ）の例では、画素Ｅ（Ｅ°）のレベルは、画素ｃ（ｃ°）とｄ（ｄ°）のレベルの線形補間レベルが採用され、画素Ａのレベルは、画素ａのレベルが採用され、画素Ｂのレベルは、画素ｂのレベルが採用され、画素Ｃのレベルは、画素ｂとｃのレベルの線形補間レベルが採用され、画素Ｄのレベルは、画素ｃのレベルが採用される。
【００５５】
このように図１２に示す例では、孤立点の画素Ａが、拡大画像のいずれの補間位相においても孤立点に変換されるので、輝度ムラを防止することができる。
【００５６】
図１３は、６／４倍拡大変換の例を示す。同図（ａ）は原画像の画素ａ〜ｄ及びｄ°を示し、同図（ｂ）〜（ｅ）は、補間位相の異なる拡大画像の画素Ａ〜Ｅ及びＤ°〜Ｆ°を示す。この変換の場合には、原画像の画素間隔を６クロック幅としたとき、中心領域幅ＷＲＣを７クロック幅若しくは７クロック幅より若干広くすると、拡大画像において孤立点の輝度ムラを防止することができる。
【００５７】
すなわち図１３（ｂ）の例では、画素Ｅ°のレベルは、画素ｄ°のレベルが採用され、画素Ｆ°及びＡのレベルは、画素ａのレベルが採用され、画素Ｂのレベルは、画素ｂのレベルが採用され、画素Ｃのレベルは、画素ｂとｃのレベルの線形補間レベルが採用され、画素Ｄ（Ｄ°）のレベルは、画素ｃ（ｃ°（図示せず））とｄ（ｄ°）のレベルの線形補間レベルが採用される。また、図１３（ｃ）の例では、画素Ｂ以外の画素Ａ，Ｃ、Ｄ、Ｄ°、Ｅ°、及びＦ°のレベルは、図１３（ｂ）と同様に決定され、画素Ｂのレベルは、画素ｂとｃのレベルの線形補間レベルが採用される。また図１３（ｄ）に示す例では、画素Ａ〜Ｃ及びＦ°のレベルは、図１３（ｂ）と同様に決定され、画素Ｄのレベルは、画素ｃのレベルが採用され、画素Ｅ（Ｅ°）のレベルは、画素ｃ（ｃ°（図示せず））とｄ（ｄ°）のレベルの線形補間レベルが採用される。また図１３（ｅ）に示す例では、画素Ａ〜Ｄ及び画素Ｆ°のレベルは、図１３（ｂ）と同様に決定され、画素Ｅ（Ｅ°）のレベルは、画素ｃ（ｃ°（図示せず））とｄ（ｄ°）のレベルの線形補間レベルが採用される。
【００５８】
このように、図１３に示す例では、原画像の孤立点の画素が、拡大画像ではいずれの補間位相でも、２画素に変換されるので、輝度ムラを防止することができる。なお、図にＦｘ°あるいはＡｘで示すように、中心領域ＲＣ内に位置する拡大画像の画素のうちの一方については、隣接する画素のレベルを採用するようにしてもよい。その場合には、原画像の孤立点の画素が、拡大画像において孤立点となる拡大変換が行われる。拡大変換において、原画像の孤立点の画素を、拡大画像においても孤立点とするか２画素に拡大するかは、ユーザの希望により、いずれかを選択できるように処理装置を構成することが望ましい。
【００５９】
図１４は、７／４倍拡大変換の例を示す。同図（ａ）は原画像の画素ａ〜ｃ及びｃ°、ｄ°を示し、同図（ｂ）〜（ｅ）は、補間位相の異なる拡大画像の画素Ａ〜Ｄ、及びＤ°〜Ｇ°を示す。この変換の場合には、原画像の画素間隔を７クロック幅としたとき、中心領域幅ＷＲＣを７クロック幅若しくは７クロック幅より若干広くすると、拡大画像において孤立点の輝度ムラを防止することができる。
【００６０】
すなわち図１４（ｂ）の例では、画素Ｅ°のレベルは、画素ｃ°とｄ°のレベルの線形補間レベルが採用され、画素Ｆ°のレベルは、画素ｄ°のレベルが採用され、画素Ｇ°及びＡのレベルは、画素ａのレベルが採用され、画素Ｂのレベルは、画素ｂのレベルが採用され、画素Ｃ及びＤのレベルは、画素ｂとｃのレベルの線形補間レベルが採用される。また、図１４（ｃ）の例では、画素Ａ〜Ｃ及びＥ°〜Ｇ°のレベルは、図１４（ｂ）と同様に決定され、画素Ｄのレベルは、画素ｃのレベルが採用される。また図１４（ｄ）に示す例では、画素Ａ〜Ｃ，Ｅ°〜Ｇ°のレベルは、図１４（ｂ）と同様に決定され、画素Ｄ°のレベルは、画素ｃ°とｄ°のレベルの線形補間レベルが採用される。また図１４（ｅ）に示す例では、画素Ａ〜Ｄ、Ｅ°及びＧ°のレベルは、図１４（ｂ）と同様に決定され、画素Ｆ°のレベルは、画素ｃ°とｄ°のレベルの線形補間レベルが採用される。
【００６１】
このように、図１４に示す例では、図１３に示す例と同様に、原画像の孤立点の画素が、拡大画像ではいずれの補間位相でも、２画素に変換されるので、輝度ムラを防止することができる。また、図１４にＧｘ°あるいはＡｘで示すように、中心領域ＲＣ内に位置する拡大画像の画素のうちの一方については、隣接する画素のレベルを採用するようにしてもよい。
【００６２】
以上説明した中心領域幅ＷＲＣの設定例を一般化すると、原画像をＮ／Ｍ倍（Ｎ及びＭはともに正の整数）に変換する場合において、下記の式（１）が得られる。
ＷＲＣ＝ＤＰＸＬ×（Ｋ・Ｍ−１）／Ｎ＋α                    （１）
ここで、ＤＰＸＬは、クロック幅を単位とする、原画像の画素間隔、Ｋは、１以上の整数であり、縮小変換の場合には常に「１」に設定され、拡大変換の場合には（Ｎ／Ｍ）の演算結果の小数点以下を四捨五入した整数に設定される。またαは、０以上１クロック幅未満の加算値である。
【００６３】
式（１）によれば、縮小変換の場合には、縮小倍率が小さくなるほど（Ｍが大きなく、Ｎが小さくなるほど）、中心領域幅ＷＲＣを広くすればよいことが確認される。一方、拡大変換の場合には、拡大倍率が１．５倍未満であれば、Ｋ＝１となるので、縮小変換の場合と同様の傾向に設定するばよいことが確認される。
【００６４】
ただし、拡大変換の場合の図１２〜１４を参照すれば明らかなように、拡大倍率が２倍以下の範囲での大まかな傾向としては、拡大倍率が大きくなるほど、中心領域幅を広げるように設定することが望ましい。
【００６５】
なお、上述した例のなかで、４／６倍変換は、２／３倍変換と倍率では同一であるが、式（１）の演算結果は同一とはならない。すなわち、４／６倍変換場合  ＷＲＣ＝ＤＰＸＬ×（５／４）＋α
であるのに対し、２／３倍変換の場合は、
ＷＲＣ＝ＤＰＸＬ×（２／２）＋α
となる。
【００６６】
式（１）の演算は、画像処理の周期であるクロック幅を基準としたものであり、画像処理周期は、４／６倍変換の場合は、画素間隔ＤＰＸＬの１／４とすることを前提としているのに対し、２／３倍変換の場合は、画素間隔ＤＰＸＬの１／２とすることを前提としているために、実質的に同一の倍率であっても、式（１）の演算結果は異なるものとなる。この点は、６／４倍変換と、３／２倍変換との関係でも同様である。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態にかかる画像処理装置の構成を示すブロック図である。
【図２】図１に示す波形監視回路の動作を説明するための図である。
【図３】エッジ部を有する原画像信号に対する４／５倍縮小変換の例を説明するための図である。
【図４】図１に示す縮小解像度変換回路の構成を示すブロック図である。
【図５】図１に示す画像処理装置の動作を説明するための図である。
【図６】図１に示す画像処理装置の動作を説明するための図である。
【図７】画像の縮小変換を説明するための図である。
【図８】画像の拡大変換を説明するための図である。
【図９】４／５倍縮小変換の例を説明するための図である。
【図１０】４／６倍縮小変換の例を説明するための図である。
【図１１】４／７倍縮小変換の例を説明するための図である。
【図１２】５／４倍拡大変換の例を説明するための図である。
【図１３】６／４倍拡大変換の例を説明するための図である。
【図１４】７／４倍拡大変換の例を説明するための図である。
【図１５】最近傍補間処理の問題点を説明するための図である。
【図１６】従来の装置による変換処理を説明するための図である。
【符号の説明】
【００６８】
１０，１１，１２  遅延回路（波形監視手段）
１３  波形監視回路（波形監視手段）
１４  縮小解像度変換回路（画像変換手段）
２３  第１の係数発生回路（第１の係数発生手段）
２８  第２の係数発生回路（第２の係数発生手段）
２９，３０  係数切替回路（係数選択手段）
２１，２２  遅延回路（演算手段）
２５，２６  乗算回路（演算手段）
２７  加算回路（演算手段）
【図１】
2005174278.tif 000003
【図２】
2005174278.tif 000004
【図３】
2005174278.tif 000005
【図４】
2005174278.tif 000006
【図５】
2005174278.tif 000007
【図６】
2005174278.tif 000008
【図７】
2005174278.tif 000009
【図８】
2005174278.tif 000010
【図９】
2005174278.tif 000011
【図１０】
2005174278.tif 000012
【図１１】
2005174278.tif 000013
【図１２】
2005174278.tif 000014
【図１３】
2005174278.tif 000015
【図１４】
2005174278.tif 000016
【図１５】
2005174278.tif 000017
【図１６】
2005174278.tif 000018