(57)【特許請求の範囲】
【請求項１】
原画像信号を標本化して得た離散信号から標本位置以外の補間位置における補間信号を線形補間処理により求める信号処理方法において、
前記原画像信号により表される原画像全体における前記線形補間処理の低域通過特性を略一定とするために、前記標本位置と前記補間位置との位置偏差に応じて、帯域通過特性が異なるフィルタを用いたボケ補正処理を前記補間信号に対して施すことを特徴とする信号処理方法。
【請求項２】
原画像信号を標本化して得た離散信号から標本位置以外の補間位置における補間信号を線形補間処理により求める信号処理方法において、
前記原画像信号により表される原画像全体における前記線形補間処理の低域通過特性を略一定とするために、微分オペレータの適用強度を前記標本位置と前記補間位置との位置偏差に応じて変化させるボケ補正処理を前記補間信号に対して施すことを特徴とする信号処理方法。
【請求項３】
原画像信号を標本化して得た離散信号から標本位置以外の補間位置における補間信号を線形補間処理により求める信号処理装置において、
前記原画像信号により表される原画像全体における前記線形補間処理の低域通過特性を略一定とするために、前記標本位置と前記補間位置との位置偏差に応じて、帯域通過特性が異なるフィルタを用いたボケ補正処理を前記補間信号に対して施すフィルタ処理手段を備えたことを特徴とする信号処理装置。
【請求項４】
原画像信号を標本化して得た離散信号から標本位置以外の補間位置における補間信号を線形補間処理により求める信号処理装置において、
前記原画像信号により表される原画像全体における前記線形補間処理の低域通過特性を略一定とするために、微分オペレータの適用強度を前記標本位置と前記補間位置との位置偏差に応じて変化させるボケ補正処理を前記補間信号に対して施すフィルタ処理手段を備えたことを特徴とする信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は信号処理方法および装置に関し、とくに線形補間処理を伴うデジタル信号処理において問題となる、信号の高域成分の劣化を補正する信号処理方法および装置に関するものである。
【０００２】
【従来の技術】
標本化された動画像信号のフレームレート変換や画像の回転、拡大／縮小、あるいは標本化された音声信号のピッチ変換などを行う場合、標本点以外の点（補間位置）における信号が必要とされる。標本点以外の点での信号を得る方法として、例えば特開平２−２９４７８４、日本印刷学会誌（第３２巻第５号（１９９５）、「プリプレス入門」）では線形補間を用いる方法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、線形補間を行うと、補間位置に依存した低域通過特性が発生するということが知られている。以下に１次元信号の補間を例にとって、線形補間処理により発生する低域通過特性の解析について説明する。
【０００４】
図５に示すような−π／Ｔ＜ω＜π／Ｔに帯域制限された１次元信号を考える。図５において、ｆ（ｔ）はモデルとなる１次元信号であり、Ｆ（ω）はその周波数成分である。このようなｆ（ｔ）に対して、サンプリング周期Ｔで離散化を行うという操作は、原信号ｆ（ｔ）に式（１）に示すようなインパルス列を乗じることに相当する。
【０００５】
【数１】
0003799212.tif 000002
したがって、離散化された後の信号ｆｓ（ｔ）は式（２）のように表される。
【０００６】
【数２】
0003799212.tif 000003
原信号ｆ（ｔ）を離散化した後の信号における周波数成分は、式（２）によるｆｓ（ｔ）のフーリエ変換により求められ、下記の式（３）に示すものとなる。
【０００７】
【数３】
0003799212.tif 000004
式（３）から分かるように、連続信号ｆ（ｔ）を離散化した信号のスペクトルは、図６に示すように原信号のスペクトルを周期２π／Ｔで無限に繰り返したものとなる。したがって、−π／Ｔ＜ω＜π／Ｔの範囲における周波数成分を理想低域フィルタによって取り出すことにより、下記の式（４）に示す信号Ｆｓｂ（ω）が得られ、このＦｓｂ（ω）を逆フーリエ変換することによって離散化後の信号から元の連続信号ｆ（ｔ）を完全に復元できることが分かる。ここで、理想低域フィルタとは、｜ｆ｜≦π／Ｔなる周波数帯域の信号を出力し、｜ｆ｜＞π／Ｔなる周波数帯域の信号は出力しない特性を有するフィルタのことをいい、その特性は図７に示すものとなる。
【０００８】
【数４】
0003799212.tif 000005
次に、線形補間操作が信号の周波数特性に与える影響について考える。以下では原信号のサンプリングタイミングをτ・Ｔだけ遅延させたときに得られる離散信号を、ｆｓ（ｔ）の線形補間により近似的に求める。そして、この線形補間により得られた補間信号の周波数解析を行うことにより、補間操作が信号の周波数特性に与える影響を考える。補間信号は図８に示すものとなり、式（５）におけるｆｓ′（ｔ）により表される。
【０００９】
【数５】
0003799212.tif 000006
式（５）をフーリエ変換すると式（６）のようになる。
【００１０】
【数６】
0003799212.tif 000007
式（６）の信号は、依然として−π／Ｔ＜ω＜π／Ｔにより帯域制限された信号を、周期２π／Ｔにより無限に繰り返した形式となっている。そこで、−π／Ｔ＜ω＜π／Ｔの範囲の信号を理想低域フィルタにより取り出すと、下記の式（７）に示すようになり、元の連続信号のスペクトルに近い信号を再現することができる。ただし、式（４）の場合とは異なり、原信号のスペクトルに式（８）のフィルタ特性で示される帯域通過特性を適用したものになる。
【００１１】
【数７】
0003799212.tif 000008
【数８】
0003799212.tif 000009
式（８）のフィルタのゲイン特性は式（９）に示すものとなる。
【００１２】
【数９】
0003799212.tif 000010
ここで、式（９）における右辺の平方根中の式を変形すると式（９ａ）に示すものとなり、２（１−ｃｏｓＴω）≧０であることから、式（９）はτ＝１／２のときに最小、τ＝０，１のときに最大１となることが分かる。すなわち、τ＝１／２のときに減衰量が最大となり、τ＝０，１のときに減衰なしとなる。
【００１３】
【数１０】
0003799212.tif 000011
また、
【数１１】
0003799212.tif 000012
となり、０≦τ≦１として考えていることから、τを固定したときに振幅比は図９に示すような特性を有することが分かる。そして、この図９から式（８）のフィルタが低域通過特性を持つこと、およびτにより高周波成分（高域成分）の減衰量が変化することが分かる。なお、式（１０）にτ＝１／２のときのフィルタ特性を示す。
【００１４】
【数１２】
0003799212.tif 000013
以上のように１次元信号の補間処理により発生する低域通過特性が解析されるが、同様の特性は画像のような２次元標本信号の補間を行った場合にも発生する。ある２次元信号の標本位置を（ｄｘ・Ｔｘ，ｄｙ・Ｔｙ）だけ平行移動したときに得られる標本信号を、元の２次元標本信号から線形補間近似により求めた場合に発生する低域通過特性を式（１１）に示す。ただしＴｘおよびＴｙはそれぞれｘ軸およびｙ軸方向の標本化周期である。したがって、（ｄｘ，ｄｙ）は標本化周期で正規化した標本位置の平行移動量を表す。
【００１５】
【数１３】
0003799212.tif 000014
ただし、式（１１）の低域通過特性は、補間位置おける標本値を、補間位置を囲む元の４標本点の標本値から式（１２）の線形補間近似により求めた場合に発生するものである。
【００１６】
【数１４】
0003799212.tif 000015
１次元信号の場合と同様に、式（１１）のフィルタも、元の標本位置と補間標本位置との正規化位置偏差（ｄｘ，ｄｙ）により高域成分の減衰量が変化する低域通過特性を持つ。高域成分の減衰量はｄｘ＝０またはｄｘ＝１、かつｄｙ＝０またはｄｙ＝１のときに最小（減衰なし）となる。また、ｄｘ＝１／２かつｄｙ＝１／２のときに減衰量は最大となる。式（１３）はｄｘ＝１／２かつｄｙ＝１／２のときのフィルタ特性を示す。
【００１７】
【数１５】
0003799212.tif 000016
以上のように、線形補間処理を行うと、補間位置に依存した高周波成分の劣化が生じる。したがって、音声信号の遅延や画像の平行移動などを線形補間処理によって行う場合と、遅延量や移動量の違いにより、補間処理された信号の周波数特性が元の信号の周波数特性と異なるものとなってしまうという問題がある。
【００１８】
また、動画像信号のフレームレートの微調整や、画像の微少角度回転、拡大／縮小率の微調整、あるいは音声ピッチの微調整を線形補間で行う場合にはさらに複雑な問題が発生する。調整量が微小である場合、信号を局所的に眺めると標本位置と補間位置との間の位置偏差は略一定に保たれている。しかしながら、信号を大局的に見ると上記位置偏差は周期的に大きく変動し、画像信号では画像のボケ、音声信号では音のこもりが周期的に発生するという問題が生じる。
【００１９】
本発明は上記事情に鑑みなされたものであり、上述した線形補間処理を行う際における高周波成分の劣化や、画像のボケ等を防止できる信号処理方法および装置を提供することを目的とするものである。
【００２０】
【課題を解決するための手段】
本発明による信号処理方法は、原信号を標本化して得た離散信号から標本位置以外の補間位置における補間信号を線形補間処理により求める信号処理方法において、
前記標本位置と前記補間位置との位置偏差に応じて前記線形補間処理の低域通過特性を補償する可変特性フィルタ処理を、前記補間信号に対して施すことを特徴とするものである。
【００２１】
なお、本発明の信号処理方法において、前記可変特性フィルタ処理は、前記線形補間処理の低域通過特性の逆関数を伝達関数に持つフィルタによるフィルタ処理であることが好ましい。
【００２２】
また、前記可変特性フィルタ処理は、微分オペレータの適用強度を前記標本位置と前記補間位置との位置偏差に応じて変化させるフィルタ処理であることが好ましい。
【００２３】
本発明による信号処理装置は、原信号を標本化して得た離散信号から標本位置以外の補間位置における補間信号を線形補間処理により求める信号処理装置において、
前記標本位置と前記補間位置との位置偏差に応じて前記線形補間処理の低域通過特性を補償する可変特性フィルタ処理を、前記補間信号に対して施すフィルタ処理手段を備えたことを特徴とするものである。
【００２４】
なお、前記フィルタ処理手段は、前記線形補間処理の低域通過特性の逆関数を伝達関数に持つフィルタによるフィルタ処理を行う手段、あるいは微分オペレータの適用強度を前記標本位置と前記補間位置との位置偏差に応じて変化させるフィルタ処理を行う手段であることが好ましい。
【００２５】
【発明の効果】
本発明によれば、標本位置と補間位置との位置偏差に応じて、線形補間処理の低域通過特性を補償する可変フィルタ処理を補間信号に対して施すようにしたため、線形補間処理を伴うデジタル信号処理で問題となる、信号の高域成分の劣化を効果的に補正することができる。また、本発明を画像処理や音声信号処理に応用することで、動画像信号のフレームレートの微調整や、画像の微少角度回転、拡大／縮小率の微調整などを行う場合に発生する周期的な画像のボケや、音声ピッチの微調整を行う場合に発生する周期的な音のこもりを改善することができる。
【００２６】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００２７】
図１は本発明の実施形態による信号処理装置を適用した、原稿の傾き補正機能付き複写装置の構成を示す概略ブロック図である。なお、本装置の傾き補正機能は、原稿用紙に対する印字のスキューや原稿読み取り時に生じるスキャナと原稿用紙間の角度誤差など、数度以内の微少な傾き角の補正を行うものである。
【００２８】
スキャナ１により読み取られ、標本化された画像の標本値Ｓ１（以下実標本値とする）は一旦画像メモリ２に蓄えられ、傾き角検出部３において入力画像の傾き角すなわち画像の傾きを補正するための回転角θ１が検出される。なお、傾き角検出部３は傾き角をオペレータが直接入力する構成とすることもできる。傾き角検出部３は、検出した回転角θ１を斜め走査座標計算部４に出力する。
【００２９】
画像の回転は、原画像を回転角θ１に等しい傾きにより斜めに走査し、原画像を再標本化することにより行われる。この原理を、図２（ａ）のように角度θ０の傾きを持つ文字列画像の傾き補正を例にとって説明する。図２（ａ）中、水平方向をｘ軸、垂直方向をｙ軸にとり、画像中央を座標原点とする。スキャナにより標本化が行われる位置（以下、実標本位置とする）（ｘｍ，ｙｎ）は、
【数１６】
0003799212.tif 000017
となる。ただし、式（１４）におけるＴｘ，Ｔｙはそれぞれｘ方向、ｙ方向の標本化周期であり、（ｍ，ｎ）は、
【数１７】
0003799212.tif 000018
である。したがって、スキャナ１により取り込まれる画像の大きさは式（１６）に示すものとなる。
【００３０】
【数１８】
0003799212.tif 000019
図２（ａ）の画像を角度−θ０回転させて傾きを補正するためには、図２（ｂ）に示すように角度θ０傾斜させて主走査を行い、図２（ｂ）の実線枠で示された領域内の画像データを標本化し直せばよい。すなわち、ｘ−ｙ座標系をθ０だけ回転させた新たな座標系をｘ′−ｙ′座標系として、この座標系上で画像を見ると図２（ｃ）のようになり、画像の傾き修正が行われる。
【００３１】
ｘ′−ｙ′座標系のｎライン目の主走査線上におけるｍ番目の標本点の座標を（ｘ′ｍ，ｙ′ｎ）とする。このｘ′−ｙ′座標上での位置（ｘ′ｍ，ｙ′ｎ）が、ｘ‐ｙ座標系においては（ｘ″ｍ，ｙ″ｎ）の位置に対応すると考えると、座標（ｘ″ｍ，ｙ″ｎ）と座標（ｘｍ，ｙｎ）との間には式（１７）に示す関係が存在する。
【００３２】
【数１９】
0003799212.tif 000020
そして、この座標（ｘ″ｍ，ｙ″ｎ）を新たな標本点として原画像を再標本化することにより、画像を回転させることができる。
【００３３】
しかしながら、一般に座標（ｘ″ｍ，ｙ″ｎ）は実標本位置とは一致しない。また、図１の画像メモリ２内には式（１４）の座標（ｘｍ，ｙｎ）を標本点とする実標本位置Ｓ１での標本値しか保存されていないため、式（１７）の座標（ｘ″ｍ，ｙ″ｎ）における標本値を得るためには何らかの画素値復元処理を行う必要がある。ここでは座標（ｘ″ｍ，ｙ″ｎ）を囲む４実標本点の標本値から、線形予測法を用いて座標（ｘ″ｍ，ｙ″ｎ）における画素値を近似的に復元する方法について説明する。
【００３４】
座標（ｘ″ｍ，ｙ″ｎ）を囲む４実標本点の座標をそれぞれ（ｘａ，ｙｂ）、（ｘａ＋Ｔｘ，ｙｂ）、（ｘａ，ｙｂ＋Ｔｙ）、（ｘａ＋Ｔｘ，ｙｂ＋Ｔｙ）とする。図１における斜め走査座標計算部４はこれら４点に相当するメモリアドレスを計算し、画像メモリ２の読み出しアドレスとして出力する。画像メモリ２からは上記４実標本点の標本値Ｓ２が読み出され、読み出された標本値Ｓ２は線形補間処理部５に送られる。
【００３５】
線形補間処理部５においては４実標本点の標本値Ｓ２と、補間標本位置−実標本位置間の位置偏差を用いて、座標（ｘ″ｍ，ｙ″ｎ）における補間標本値ｐｉ（ｘ″ｍ，ｙ″ｎ）を線形補間により求める。この際の補間標本位置−実標本位置間の位置偏差（ｄｘ・Ｔｘ，ｄｙ・Ｔｙ）は式（１８）で表される。
【００３６】
【数２０】
0003799212.tif 000021
式（１８）より（ｘ″ｍ，ｙ″ｎ）＝（ｘａ＋ｄｘ・Ｔｘ，ｙｂ＋ｄｙ・Ｔｙ）であるから、式（１２）においてｘ＝ｘａ、ｙ＝ｙｂとおくことにより補間標本値ｐｉ（ｘ″ｍ，ｙ″ｎ）を求めることができる。式（１２）において用いられる標本化周期により正規化した位置偏差（ｄｘ，ｄｙ）は、斜め走査座標計算部４から出力される。上述したように本実施形態による装置は微少な傾き角の補正を行うことを目的としており、傾き補正角度が微少であるという条件の下では、近傍の補間標本点同士に関しては正規化位置偏差（ｄｘ，ｄｙ）は略一定となる。これを検証するため、以下では補間標本点（ｘ″ｍ，ｙ″ｎ）と（ｘ″ｍ＋ｉ，ｙ″ｎ＋ｊ）について、それぞれの正規化位置偏差（ｄｘ，ｄｙ）および（ｄｘ′，ｄｙ′）を考える。ここで（ｘ″ｍ＋ｉ，ｙ″ｎ＋ｊ）は、ｘ′−ｙ′座標上での位置（ｘ′ｍ，ｙ′ｎ）からｘ′軸方向にｉサンプル、ｙ′軸方向にｊサンプルだけ離れた補間標本点（ｘ′ｍ＋ｉ，ｙ′ｎ＋ｊ）の、ｘ−ｙ座標系における位置を表す。この正規化位置偏差（ｄｘ，ｄｙ）と（ｄｘ′，ｄｙ′）の間には式（１９）に示す関係がある。
【００３７】
【数２１】
0003799212.tif 000022
式（１９）においてθ１は傾き補正角度を表す。本実施形態の装置は微少な傾き角の補正を行うことを目的としているためθ１は非常に小さな角度である。したがって、主走査および副走査方向の標本化周期に著しい差が無ければ、式（１９）のｉおよびｊが小さな整数の場合には２つの補間標本点の正規化位置偏差は略等しくなる。すなわち、近傍の補間標本点同士の正規化位置偏差は略一定となる。逆にｉまたはｊが大きな整数の場合は、２つの補間標本点の正規化位置偏差は大きく異なる。つまり遠く離れた補間標本点同士の正規化位置偏差は大きく異なる。
【００３８】
一方、上記式（１１）により、補間によって発生する低域通過特性は（ｄｘ，ｄｙ）により決定されることが分かる。このことから、微少な傾き角の補正を線形補間処理によって行う場合、局所的には正規化位置偏差（ｄｘ，ｄｙ）は略一定であるから、補間処理によって発生する低域通過特性も局所的に見れば略一定と考えてよいことが分かる。一般にデジタル画像処理で用いられる２次元ＦＩＲフィルタの大きさは、回路構成の容易さから、３×３もしくは５×５程度の小さなものが多い。上記より３×３あるいは５×５程度の局所領域での低域通過特性は略一定と考えてよいため、逆フィルタなどを用いた通常の補正フィルタ処理によって、線形補間により生じるボケの補正を行うことができる。ところが、局所領域内では略一定の低域通過特性も、大域的に見るとその低域通過特性は場所によって大きく異なるため、単一特性の補正フィルタ処理では画像全体のボケ補正を適切に行うことができない。そこで、可変特性の補正フィルタ処理が必要になる。
【００３９】
図１に示す可変特性フィルタ処理部６においては、線形補間処理部５から出力される補間標本値ｐｉ（ｘ″ｍ，ｙ″ｎ）に対して、線形補間処理により生じる画像のボケの補正処理を行う。式（１１）で示したように、発生するボケの特性は補間位置と標本位置との間の位置偏差により変化するため、可変特性フィルタ処理部６では（ｄｘ，ｄｙ）の値に応じて帯域通過特性が異なるフィルタを用いたボケ補正処理が行われる。以下に可変特性フィルタ処理に関して２通りの実現法を示す。
【００４０】
可変特性フィルタ処理を実現する方法の一つは、補間により発生する低域通過特性の逆関数を伝達特性に持つ逆フィルタを補間画像に適用する方法である。式（１１）に示したように、補間により発生する低域通過特性は補間位置と標本位置との間の位置偏差により異なるため、逆フィルタの伝達関数も位置偏差に応じて可変でなければならない。とくに処理の高速性が要求されない場合は、ＤＳＰ（Digital Signal Processor）等を用いたソフトウェアによる信号処理によって、上記のような可変特性のデジタルフィルタを構成することができる。
【００４１】
一方、高速性が要求される用途では、図３に示すようなフィルタバンク方式の専用ハードウェアを構成することにより、可変特性のフィルタを実現することができる。図３に示すフィルタバンク方式によれば、所望の逆フィルタ特性を正確に実現できるため、高精度のボケ補正が可能となる。しかしながら、補正の精度を高めるためには数多くのフィルタからなるフィルタバンクを用いなければならず、回路規模が大きくなるという問題もある。
【００４２】
可変特性フィルタ処理を実現するもう一つの方法は、図４に示すように微分オペレータを使用し、その適用強度を重み付けにより変化させる方法である。この方法ではフィルタバンク方式に比べてボケ補正の精度は低くなるが、より簡易なハードウェアで近似的に可変特性フィルタ処理を実現することができる。
【００４３】
図４の例では微分オペレータとしてラプラシアンオペレータを用いている。図４における補間標本値、およびフィルタ出力を前述のｘ′−ｙ′座標系での表記を用いてそれぞれ、ｐｉ（ｘ′，ｙ′）、およびｐｉｆ（ｘ′，ｙ′，ｄｘ，ｄｙ）とすると、フィルタ出力は式（２０）に示すものとなる。
【００４４】
【数２２】
0003799212.tif 000023
式（２０）における関数ｋ（）がラプラシアンオペレータの適用強度を決定している。上述したように、補間処理により発生するボケは、補間位置の標本位置からの正規化位置偏差（ｄｘ，ｄｙ）が、（ｄｘ，ｄｙ）＝（１／２，１／２）のときに最大となり、補間位置が標本位置に近づくほど小さくなる。補間位置と標本位置が一致する場合にはボケは発生しない。そこで、関数ｋ（）として、（ｄｘ，ｄｙ）＝（１／２，１／２）のときに最大値をとり、補間位置が標本位置に近づくにつれて小さくなり、さらに補間位置と標本位置が一致する場合にはゼロになるような関数を選べば、近似的に補間処理による低域通過特性を補償する可変特性フィルタ処理が実現できる。このような関数ｋ（）の一例を式（２１）に示す。
【００４５】
【数２３】
0003799212.tif 000024
図４のゲイン決定回路は式（２１）のような大きさを持つゲイン調整信号を出力する。
【００４６】
以上のように、補間処理によって画像に発生したボケの補正処理が行われ、補正後の画像が図１の画像出力部７に送られて、傾き補正処理の施された印刷物が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態による信号処理装置を適用した、原稿の傾き補正機能付き複写装置の構成を示す概略ブロック図
【図２】傾き補正の原理を説明するための図
【図３】フィルタバンクを用いた可変特性フィルタを示す図
【図４】微分オペレータを用いた可変特性フィルタを示す図
【図５】評価する１次元信号の周波数特性を示す図
【図６】ｆ（ｔ）の離散化を示す図
【図７】理想低域フィルタの特性を示す図
【図８】サンプリングタイミングに遅延τＴを加えた場合の離散信号を、線形補間により近似した状態を示す図
【図９】式（８）のフィルタの特性を示す図
【符号の説明】
１    スキャナ
２    画像メモリ
３    傾き角検出部
４    斜め走査座標計算部
５    線形補間処理部
６    可変特性フィルタ処理部
７    画像出力部
【図１】
0003799212.tif 000025
【図２】
0003799212.tif 000026
【図３】
0003799212.tif 000027
【図４】
0003799212.tif 000028
【図５】
0003799212.tif 000029
【図６】
0003799212.tif 000030
【図７】
0003799212.tif 000031
【図８】
0003799212.tif 000032
【図９】
0003799212.tif 000033