(57)【特許請求の範囲】
【請求項１】
局所領域に対する特徴量の計算を繰り返してその局所領域を平滑化することで画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、
前記特徴量の計算の繰り返しが必要ない部分を独立して計算する独立計算部と、
前記特徴量の計算の繰り返しが必要な部分を計算し、その計算結果および前記独立計算部の計算結果を用いて前記特徴量を計算する特徴量計算部とを備え、
前記特徴量計算部が複数個直列に接続されるとともに、前記独立計算部の計算結果が前記複数個の特徴量計算部のそれぞれに入力される
ことを特徴とするジャギー緩和処理装置。
【請求項２】
前記独立計算部は、式１３に示される水平(Ｉｘ)・垂直(Ｉｙ)・斜め(Ｉｘｙ)の各要素を特徴量Ｉｔの計算の繰り返しが必要ない部分として独立して計算することを特徴とする請求項１記載のジャギー緩和処理装置。
【数１３】
0005545128.tif 000014
【請求項３】
前記特徴量の計算の繰り返し回数に上限を設けたことを特徴とする請求項１記載のジャギー緩和処理装置。
【請求項４】
前記特徴量計算部は、除算器の前後にバレルシフタを組み込み、有効ビット長を制限したうえで除算を行うことを特徴とする請求項１記載のジャギー緩和処理装置。
【請求項５】
前記特徴量計算部は、除算器中の除算において除数となる数の逆数をテーブル化してメモリに蓄えておくことで除算を乗算として実行することを特徴とする請求項１記載のジャギー緩和処理装置。
【請求項６】
局所領域に対する特徴量の計算を繰り返してその局所領域を平滑化することで画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、
少なくとも繰り返し回数一度目の前記特徴量を計算する特徴量計算部と、
前記特徴量計算部の計算結果を用いて以降の前記特徴量を近似式により求める近似部と、
を備えたことを特徴とするジャギー緩和処理装置。
【請求項７】
前記近似部は、繰り返し回数をｎとした場合の総和を式１４または式１５により求めることを特徴とする請求項６記載のジャギー緩和処理装置。
【数１４】
0005545128.tif 000015
【数１５】
0005545128.tif 000016
【請求項８】
局所領域に対する特徴量の計算を繰り返してその局所領域を平滑化することで画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、
前記特徴量の計算の繰り返しが必要ない部分を独立して計算する独立計算ステップと、
前記特徴量の計算の繰り返しが必要な部分を計算し、その計算結果および前記独立計算ステップの計算結果を用いて前記特徴量を計算する特徴量計算ステップとを備え、
前記特徴量計算ステップが複数回繰り返されるとともに、前記独立計算ステップの計算結果が前記複数回の特徴量計算ステップのそれぞれで用いられる
ことを特徴とするジャギー緩和処理方法。
【請求項９】
局所領域に対する特徴量の計算を繰り返してその局所領域を平滑化することで画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、
少なくとも繰り返し回数一度目の前記特徴量を計算する特徴量計算ステップと、
前記特徴量計算ステップの計算結果を用いて以降の前記特徴量を近似式により求める近似ステップと、
を備えたことを特徴とするジャギー緩和処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置及びジャギー緩和処理方法に関し、特に、Level-setフィルタを適用する場合の技術に関する。
【背景技術】
【０００２】
近年のコンピューターの高性能化にあわせて、コンピューターによる画像生成・合成・処理の応用分野は、各種設計、芸術、娯楽、セキュリティなど多義にわたるようになってきた。一般に、これらコンピューターを用いて人工的に作られた絵（以降、人工画）は、現実に存在する風景を写真等におさめたもの（以降、自然画）とは異なり、「物体の境界がはっきりしている」「物体の輪郭が明確に線で描かれる」という自然画にはない特徴を備えているものが多い。
【０００３】
コンピューター上でこれらの画像を取り扱う際に問題となるのがエイリアシングノイズである。これは一般にジャギーと呼ばれ、画像上に存在する物体の輪郭線や模様がぎざぎざの状態になる現象をいう。画像を離散値の集合として扱うコンピューター画像処理においてジャギーは避けられない問題であり、特に輪郭が明瞭な人工画においては画像が醜くなってしまう大きな原因の一つである。
【０００４】
ジャギーを緩和するための方法としてLow-pass フィルタを適用する方法がある（特許文献１）。しかし、Low-pass フィルタを適用すると、人工画の特徴ともいえるはっきりとした輪郭がぼやけてしまうという問題点がある。
【０００５】
そこで、輪郭線の概形に沿ってぎざぎざを緩和する方法（Level-setフィルタ）が提案されている（非特許文献１）。この方法においては、画素中の局所領域に対して輪郭線の特徴を抽出し、この特徴を損なわないよう平滑化を行うため、入力画像の概形を保持したまま輪郭線のぎざぎざを緩和することができる。特に輪郭のはっきりしている人工画に対しては大きな効果が得られる。
【０００６】
以下、例をあげてより詳細に Level-setフィルタについて説明する。このフィルタでは、まず処理対象となる画素Ｉｎとこれを含む局所領域に対して微分フィルタを適用し、水平（Ｉｘ，Ｉｘｘ）・垂直（Ｉｙ，Ｉｙｙ）・斜め（Ｉｘｙ）方向の傾きを得る。図７にそれぞれの傾きを求めるための微分フィルタ係数を示す。そして、求めた傾きにより曲率に基づく特徴量を計算する（式１）。式１中のＩｔが局所領域に対する特徴量となる。
【数１】
0005545128.tif 000002
【０００７】
この特徴量に重みを乗じたものを処理対象の画素に加え（式２）、さらに式１および式２を繰り返してゆくことにより、局所領域がよりなだらかな状態へと平滑化されてゆく。重みｋはおおよそ0.1程度の値をとることが多い。
【数２】
0005545128.tif 000003
【０００８】
この特徴量抽出・平滑化の繰り返しプロセスは、離散化によりぎざぎざとなった輪郭線に対して、もともと存在したであろうなだらかな輪郭線形状の特徴を推定し、これを再構成してゆくのと同じ効果を得る。そのため、輪郭線の概形を保持しながら周囲のぎざぎざを取り除くことができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平３−１３９７７４号公報
【非特許文献】
【００１０】
【非特許文献１】Bryan S.Morse and Duane Schwartzwald, “Image magnification using level set reconstruction”, Proc. International Conf. Computer Vision, pp.333-341, 2001.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ここで、Level-setフィルタを高速に適用できる処理装置（仮にリアルタイム画像処理に適用する場合）を考える。フィルタ処理の中心は特徴量抽出・平滑化の繰り返しプロセスであり、式１および式２に相当する。これをそのまま電子回路として実装すると、図８〜図１０の構成となる。図８は、Level-setフィルタ１００を電子回路化した場合の構成例の一つである。図９は、処理装置全体の処理フローを、図１０は、Level-setフィルタ１００の処理フローを示している。まず、処理装置は、画像が入力されると、その画像を画素単位で順次ラインバッファ２００に格納する（図９、Ｓ１→Ｓ２）。そして、画素が２ライン分たまった後、３ライン分の画素をLevel-setフィルタ１００に入力する（図９、Ｓ３）。Level-setフィルタ１００は、局所領域バッファ１１０における３×３領域の中心（＝注目点）に対して平滑化処理を実行する。平滑化処理は式１および式２に示すとおりであり、局所領域に対して微分フィルタを適用することで求めた傾きを除算ブロック１２０へ渡し特徴量を計算する（図１０、Ｓ４１→Ｓ４２→Ｓ４３）。しかるのち重みｋを乗じ、注目点の画素値へとフィードバックしてやる（図１０、Ｓ４４→Ｓ４５）。平滑化度合いが十分でない場合（図１０、Ｓ４６：ＮＯ）は、図１０のステップＳ４１からＳ４５の処理を繰り返す。この処理を繰り返すごとに注目点の画素値が更新され、結果として局所領域が平滑化されてゆく（図１０、Ｓ４７）。
【００１２】
このように、Level-setフィルタは輪郭線の概形を保ったまま画像内に存在するぎざぎざを緩和することができる。しかし、繰り返し演算や除算を含んでいるため演算コストが高く、現状ではリアルタイム画像処理に適用するのは困難である。
【００１３】
本発明は前記課題を解決するためになされたものであり、その目的は、演算コストを低減しつつジャギーを緩和することのできるジャギー緩和処理装置及びジャギー緩和処理方法を提供することである。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明の実施の形態に係るジャギー緩和処理装置は、局所領域に対する特徴量の計算を繰り返してその局所領域を平滑化することで画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、前記特徴量の計算の繰り返しが必要ない部分を独立して計算する独立計算部と、前記特徴量の計算の繰り返しが必要な部分を計算し、その計算結果および前記独立計算部の計算結果を用いて前記特徴量を計算する特徴量計算部とを備え、前記特徴量計算部が複数個直列に接続されるとともに、前記独立計算部の計算結果が前記複数個の特徴量計算部のそれぞれに入力されることを特徴とする。
【００１５】
また、本発明の実施形態に係るジャギー緩和処理装置は、局所領域に対する特徴量の計算を繰り返してその局所領域を平滑化することで画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、少なくとも繰り返し回数一度目の前記特徴量を計算する特徴量計算部と、前記特徴量計算部の計算結果を用いて以降の前記特徴量を近似式により求める近似部とを備えたことを特徴とする。
【００１６】
また、本発明の実施形態に係るジャギー緩和処理方法は、局所領域に対する特徴量の計算を繰り返してその局所領域を平滑化することで画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、前記特徴量の計算の繰り返しが必要ない部分を独立して計算する独立計算ステップと、前記特徴量の計算の繰り返しが必要な部分を計算し、その計算結果および前記独立計算ステップの計算結果を用いて前記特徴量を計算する特徴量計算ステップとを備え、前記特徴量計算ステップが複数回繰り返されるとともに、前記独立計算ステップの計算結果が前記複数回の特徴量計算ステップのそれぞれで用いられる  ことを特徴とする。
【００１７】
また、本発明の実施形態に係るジャギー緩和処理方法は、局所領域に対する特徴量の計算を繰り返してその局所領域を平滑化することで画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、少なくとも繰り返し回数一度目の前記特徴量を計算する特徴量計算ステップと、前記特徴量計算ステップの計算結果を用いて以降の前記特徴量を近似式により求める近似ステップとを備えたことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、演算コストを低減しつつジャギーを緩和することのできるジャギー緩和処理装置及びジャギー緩和処理方法を提供することが可能である。
【図面の簡単な説明】
【００１９】
【図１】実施形態１から３におけるLevel-setフィルタ構成を示す図である。
【図２】実施形態１における特徴量計算ブロックの構成を示す図である。
【図３】実施形態２における特徴量計算ブロックの構成を示す図である。
【図４】実施形態３における特徴量計算ブロックの構成を示す図である。
【図５】実施形態４におけるLevel-setフィルタ構成を示す図である。
【図６】繰り返し回数と特徴量Ｉｔの相関を示す図である。
【図７】局所領域の傾きを算出するフィルタ係数を示す図である。
【図８】従来のLevel-setフィルタ構成を示す図である。
【図９】処理装置全体の処理フローを示す図である。
【図１０】Level-setフィルタの処理フローを示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について図面を参照して詳細に説明する。ただし、この実施形態で記載されている構成は本発明の特徴をわかりやすく説明するための例であり、発明の範囲を限定するものではない。
【００２１】
（実施形態１）
図１は、実施形態１におけるジャギー緩和処理装置のフィルタ構成を示す図である。このジャギー緩和処理装置は、局所領域に対する特徴量の計算を繰り返してその局所領域を平滑化することで画像内に存在するジャギーの緩和処理を行う装置であって、図１に示すように、ラインバッファ２０と、Level-setフィルタ１０とを備えている。Level-setフィルタ１０には、局所領域バッファ１１、独立計算ブロック１２、特徴量計算ブロック１３、１４、…などが含まれる。局所領域バッファ１１は、注目点を中心とする３×３領域である。独立計算ブロック１２は、特徴量の計算の繰り返しが必要ない部分を独立して計算する。特徴量計算ブロック１３、１４、…は、特徴量の計算の繰り返しが必要な部分を計算し、その計算結果および独立計算ブロック１２の計算結果を用いて特徴量を計算する。特徴量計算ブロック１３、１４、…は複数個直列に接続され、独立計算ブロック１２の計算結果は特徴量計算ブロック１３、１４、…のそれぞれに入力されるようになっている。
【００２２】
Level-setフィルタの式１を分析すると、水平（Ｉｘ）・垂直（Ｉｙ）・斜め（Ｉｘｙ）の各要素については局所領域の初期値のみに依存し、繰り返しの回数には影響されない。そこで、この実施形態においては、従来のフィルタ構成（図８）でループとして実装されている部分を「繰り返しが必要ない部分」と「繰り返しの必要な部分」とに分けている。「繰り返しが必要ない部分」を特徴量計算より独立させることで繰り返し演算の演算量を削減することができる。
【００２３】
図２は、実施形態１における特徴量計算ブロック１３の構成を示す図である。ここでは特徴量計算ブロック１３を例示して説明するが、その他の特徴量計算ブロック１４、…の構成も同じである。この図に示すように、特徴量計算ブロック１３ではＩｘｘ，Ｉｙｙのみを計算し、Ｉｘ，Ｉｙ，Ｉｘｙ，Ｉｘ＾２，Ｉｙ＾２については独立計算ブロック１２で計算する。このようにすれば、繰り返し演算に必要な演算コストを最小限に抑えることができる。なお、特徴量計算ブロック１３中の除算ブロック１３ａでは式１を計算するが、この除算ブロック１３ａの構成は一般的なものでよい（図８参照）。
【００２４】
一方で、特徴量の計算の繰り返し回数に上限を設ける。上限を設ける方法は、特徴量計算ブロック１３、１４、…を所定の個数に固定する方法でもよいし、所定の個数の特徴量計算ブロック１３、１４、…のうち一部だけを利用可能とする方法でもよい。画像内に存在するジャギーを取り除くための処理を実現する場合、Level-setフィルタを２〜４回程度繰り返して適用してやれば十分な平滑化が得られることが実験的にわかっている。このことから、図１に示すように、直列な演算としてLevel-setフィルタ１０を構成することができ、高速化/パイプライン化といった既存の高速化設計手法を適用することが可能となる。
【００２５】
以上のように、実施形態１におけるジャギー緩和処理装置によれば、「繰り返しが必要ない部分」を特徴量計算より独立させたフィルタ構成を採用しているので、演算コストを低減しつつジャギーを緩和することができる。また、特徴量の計算の繰り返し回数に上限を設けているので、平滑化処理に要する時間を把握することができる。これにより、少ない回路量でかつ高速に動作するフィルタ回路を実現することが可能となる。このような構成は、特にリアルタイム画像処理に適用する場合に好適である。
【００２６】
（実施形態２）
特徴量計算ブロック１３において演算コストがもっとも高いものは除算である。式１にもとづき除算の分母・分子を計算すると、両方とも長大なビット数になってしまう。例えば、入力されてくる画素値が8bit階調である場合、最終的な分母の演算結果は36bit、分子の演算結果は25bitとなる。このままでは除算器のビット長が長大になってしまい、製造の面からも実装コストの面からも現実的ではない。そこで、本実施形態では、除算器のビット長を大幅に削減するために以下の手法を採用している。
【００２７】
図１および図３は、実施形態２におけるジャギー緩和処理装置のフィルタ構成を示す図である。実施形態２においては、図３に示すように、除算器の前後にバレルシフタを組み込み、有効ビット長を制限したうえで除算を行う。仮に、図２における分母・分子の値が次のように得られたとする。
【数３】
0005545128.tif 000004
【００２８】
この除算を行うためには 1000000（20bit）÷50000（16bit）という除算器が必要となる。この演算器を個々の除算ブロックに実装すると回路規模が非常に大きくなってしまう。そこで、浮動小数点演算の考え方を応用し、あらかじめ有効ビット長を制限した上で演算を行うようにする（参考文献：Behrooz Parhami , “Computer Arithmetic: Algorithms and Hardware Designs”, The Oxford Series in Electrical and Computer Engineering, Sep 1999.）。式３において分母分子の有効ビット長をあらかじめ8bitに制限すると、次のように変形することができ、除算器は8bit÷8bitですむことがわかる。
【数４】
0005545128.tif 000005
【００２９】
有効ビット長を8bitに減じたことで演算誤差が発生するが、出力結果が画像であることを考慮すると多少の誤差は許容することができる。例えば、式４の演算結果は20.0205…となるが、多ビットの除算器を利用した式３との差は0.02ほどである。言い換えると、画素値のうえで0.02の誤差があるということになり、この程度の誤差は、観測者が人間であるようなシステムにおいては認知できない。
【００３０】
以上のように、実施形態２におけるジャギー緩和処理装置によれば、実施形態１に比べて除算器のビット長を大幅に削減することができる。これにより、更なる回路削減と高速化を図ることが可能となる。
【００３１】
（実施形態３）
実施形態２において、除算時の有効ビット長を削減することで回路量を減らすことのできる構成を示した。実施形態３は、この除算ブロック中の除算を乗算に置き換えることで更なる回路削減と高速化を図ったものである。
【００３２】
図１および図４は、実施形態３におけるジャギー緩和処理装置のフィルタ構成を示す図である。実施形態３においては、図４に示すように、除算において除数となる数の逆数（1/除数）をテーブル化してメモリに蓄えておくことで除算を乗算として実行する。例えば、式３のような状況において除算を乗算として実行すると次のようになる。
【数５】
0005545128.tif 000006
【００３３】
ここで、逆数である 1/195 をテーブル参照により求めることで、式２と同等の演算を実現することができる。なお、前記参考文献にあるように、逆数テーブルの精度を上げたり、補間やニュートン法を併用したりすることで、逆数によって除算を実行した場合でも十分な精度を保つことができる。また、この考え方を応用し、メモリの量が潤沢な場合に分母・分子をインデックスとした２次元のテーブルを設けることで、演算を行うことなくメモリ参照のみで特徴量を求めることも可能である。
【００３４】
以上のように、実施形態３におけるジャギー緩和処理装置によれば、除算ブロック中の除算を乗算に置き換えることができる。これにより、実施形態２に比べて更なる回路削減と高速化を図ることが可能となる。
【００３５】
（実施形態４）
図５は、実施形態４におけるジャギー緩和処理装置のフィルタ構成を示す図である。本実施形態では、繰り返し回数二度目以降の特徴量計算ブロックをΣＩｔ近似ブロック１５に置き換える。この構成は、Level-setフィルタの実装を難しくしている大きな要因である「繰り返し演算」をなくすことを目的としている。
【００３６】
通常Level-setフィルタにおいては、式２にあるように、各繰り返しステージで計算された特徴量Ｉｔに重みｋを乗じた値をもとの値に足しこむ。これを書き下すと式６のようになり、さらに繰り返し回数がn回である場合は式７のようになる（ｆ（Ｉｎ）は式１に相当）。
【数６】
0005545128.tif 000007
【数７】
0005545128.tif 000008
【００３７】
この構成のままフィルタを実装すると、図８に示すループを含んだ回路構成をとる必要がある。仮に、特徴量の計算の繰り返し回数に上限を設けた場合でも、図１に示す特徴量計算ブロック１３を複数個直列に接続した構成をとる必要がある。
【００３８】
しかし、特徴量Ｉｔと繰り返し回数は一定の相関をもつことが実験的にわかっている。この性質を利用し、任意のＩｔを繰り返し演算ではなく近似式により求めることで、繰り返し演算をすることなく式２と同等の演算を実現することができる。言い換えると次のようになる（Σ以降はΣＩｔ近似ブロック１５に相当）。
【数８】
0005545128.tif 000009
【００３９】
図６は、ある画像にLevel-setフィルタを適用した際の繰り返し回数と特徴量Ｉｔの相関の一例を示したグラフである。曲線Ｌ１を例に説明すると、一度目の繰り返しで特徴量Ｉｔ０＝２６となった画素値については、二度目以降の繰り返しでＩｔ１＝２１，Ｉｔ２＝１７，…と変化している。この傾向はＩｔ０の大小にかかわらず同様にみられる。このような状況では、例えば以下のような近似式により変化量Ｉｔを求めることができる。なお、式９中の数値0.8は固定値として回路実装する構成でもよいし、外部からパラメータとして与える回路構成でもよい。
【数９】
0005545128.tif 000010
【００４０】
図６の例を式９に適用すると、Ｉｔ１はＩｔ０×０．８１すなわち２０．８、Ｉｔ２はＩｔ０×０．８２すなわち１６．６４となる。このように変化量を近似式により求めた場合と繰り返し演算により求めた場合とを比較すると、人間が感知できるほどの大きな誤差は発生しないことがわかる。よって、これらの総和を近似する回路を実装することで、図５に示すように、繰り返し演算なしのLevel-setフィルタ１０を構成することができる。変化量の近似式を式９、繰り返し回数をnとした場合の総和は、公式を使って次のように導かれる。
【数１０】
0005545128.tif 000011
【００４１】
分子の側にべき乗０．８ｎの計算があるが、それぞれのＬに対する答えをテーブルで持つことで簡単化することができる。仮にＬが最大6までしかとらないとすれば、０．８１から０．８６までの6パターンをメモリ上にもてばよく、ハードウェア量に与える影響は小さい。
【００４２】
前記の例においては、べき乗の演算にて特徴量Ｉｔの近似を行ったが、近似式はこの式に限ったものではない。すなわち、一次式や二次式、またそれらの補間を利用してもよい。例えば、図６のグラフを一次式の直線で近似することも考えられる。仮に傾き-0.2の一次式で近似した場合、ＩｔＬは式１１のように表すことができ、これらの総和は式１２のように表すことができる。なお、式１２中の数値0.2は固定値として回路実装する構成でもよいし、外部からパラメータとして与える回路構成でもよい。
【数１１】
0005545128.tif 000012
【数１２】
0005545128.tif 000013
【００４３】
以上のように、実施形態４におけるジャギー緩和処理装置によれば、特徴量の繰り返し演算を近似式で置き換えることができる。これにより、演算に必要な時間が一定化し、リアルタイム画像処理への適用が更に容易となる。
【００４４】
なお、実施形態１から４において示したそれぞれのブロックの実装方式は問わない。例えば、電子回路として実装してもよいし、ビット長が限定されたDSP（Digital Signal Processor）向けソフトウェアプログラムとして実装してもよい。また、実施形態１から４において示したビット長や近似式は説明のために設けたものであり、これに限られるものではない。また、実施形態１から４の一部を組み合わせて適用する構成も有効である。例えば、従来構成（図８）のループ構成はそのままで、図８の除算ブロックのみを図４で示す乗算化されたブロック１３ｃに置き換える構成が考えられる。また、図１の構成と図５の構成を組み合わせ、繰り返し回数二度目までの演算は式１にもとづいて実施し、三度目以降の演算を近似する構成も考えられる。これにより、出力の精度を向上させつつ、演算にかかる時間を一定化することができる。また、図５では、実施形態１の構成（図１）にΣＩｔ近似ブロック１５を適用しているが、従来構成（図８）にΣＩｔ近似ブロック１５を適用することも可能である。
【符号の説明】
【００４５】
１０…Level-setフィルタ
１２…独立計算ブロック
１３、１４…特徴量計算ブロック
１３ａ、１３ｂ、１３ｃ…除算ブロック
１５…ΣＩｔ近似ブロック
【図１】
0005545128.tif 000017
【図２】
0005545128.tif 000018
【図３】
0005545128.tif 000019
【図４】
0005545128.tif 000020
【図５】
0005545128.tif 000021
【図６】
0005545128.tif 000022
【図７】
0005545128.tif 000023
【図８】
0005545128.tif 000024
【図９】
0005545128.tif 000025
【図１０】
0005545128.tif 000026