(57)【特許請求の範囲】
【請求項１】
２次元あるいは３次元の画像データからの物体の輪郭抽出に際し、前記画像データにおける複数の離散点が有する弾性エネルギーと、画像エネルギーと、必要に応じて付加される外部エネルギーの重みつきの総和が最小となるように、前記複数個の離散点を前記画像データ上で移動させることにより収束させ、前記物体の輪郭を抽出する画像処理方法において、
離散点のそれぞれについて、画像中の位置における画像情報、もしくはその離散点の画像中の位置の近傍の画像情報から計算される平均値または分散値を、しきい値と比較して、このしきい値より小さい離散点の場合は、その離散点における画像エネルギーに対する重み係数の絶対値を、前記しきい値より大きいエッジ対応点となる他の離散点よりも小さくしてエッジ対応点以外の点として前記収束を行う
ことを特徴とする画像処理方法。
【請求項２】
前記画像情報として、エッジ強度を用いる
ことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記画像情報として、輝度もしくは色情報である画素値を用いる
ことを特徴とする請求項１記載の画像処理方法。
【請求項４】
画像エネルギーの重み係数の絶対値を他の離散点より小さくした離散点が前記画像データ上で複数個連続して存在する場合に、それらの連続する離散点と他の離散点との境界部分の離散点が有する角部分の前記画像エネルギーに、当該離散点におけるエッジの強度及びエッジ方向の数に基づいて求められる角部分の特徴を表す画像エネルギーを付加して、前記角部分の特徴を表す画像エネルギーの付加前よりも前記角部分の画像エネルギーが低くなるように前記収束を行う
ことを特徴とする請求項１記載の画像処理方法。
【請求項５】
前記角部分の特徴を表す画像エネルギーは、当該離散点及びその周囲のエッジ強度について８方向の微分値を計算し、その微分値があるしきい値を超える方向の数を数え、当該離散点における前記しきい値を超える方向の数及びその周囲の画素における前記しきい値を超える方向の数に基づいて計算する
ことを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記角部分の特徴を表す画像エネルギーは、当該離散点についての４方向の画素値の分散値を計算し、それら分散値に基づいて計算する
ことを特徴とする請求項４記載の画像処理方法。
【請求項７】
２次元あるいは３次元の画像データからの物体の輪郭抽出に際し、前記画像データにおける複数の離散点が有する弾性エネルギーと、画像エネルギーと、必要に応じて付加される外部エネルギーの重みつきの総和が最小となるように、前記複数個の離散点を前記画像データ上で移動させることにより収束させ、前記物体の輪郭を抽出する画像処理装置において、
離散点のそれぞれについて、画像中の位置における画像情報、もしくはその離散点の画像中の位置の近傍の画像情報から計算される平均値または分散値を、しきい値と比較する手段と、
このしきい値より小さい離散点の場合は、その離散点における画像エネルギーに対する重み係数の絶対値を、前記しきい値より大きいエッジ対応点となる他の離散点よりも小さくしてエッジ対応点以外の点として前記収束を行う手段と、
を有する
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、２次元あるいは３次元の画像データ中の対象物体のエッジまたは輪郭を抽出する際に使用する画像処理方法及びその装置に関する。
【０００２】
【従来の技術】
従来、画像情報から物体の輪郭を抽出する方法としては、Snakes:Active Contour Models (M.Kass,et.al:Int.J.Computer Vision,1,321-331,1988)が提案されている。この方法は、複数個の離散点が有する弾性エネルギーと、画像エネルギーとの和を最小にするように離散点を移動させることにより、物体の輪郭を抽出する方法である。
【０００３】
具体的には図１６に示すように、輪郭抽出の対称とする物体１の例えば内側に閉輪郭２を定義する。この閉輪郭２の弾性エネルギーは次式で表される。
【０００４】
【数１】
0003742035.tif 000002
［数１］において、α，βはそれぞれ弾性エネルギーの一次及び二次の項の重みで、それぞれ閉輪郭２の収縮及び滑らかさに関与している。ｓは閉輪郭２上での座標である。また画像エネルギーとしては次式のＥimage のようなエッジなどの画像の特徴を表すものが用いられる。
【０００５】
【数２】
0003742035.tif 000003
【数３】
0003742035.tif 000004
である。但し、ｗimage は画像エネルギーＥimage の重みである。このＥall が最小になるように、閉輪郭２を移動させることにより、対称物体１の輪郭を抽出する。
【０００６】
対称とする物体輪郭のエッジ情報の欠落が大きい場合には、ノイズの影響を避けるために、弾性エネルギーの滑らかさを大きくする必要がある。すなわち、［数１］における弾性エネルギーの二次の項の係数βを大きくしなければならない。
【０００７】
例えば、図１７のような画像を考える。３の点線が求めたい輪郭を、４がエッジを表している。
【０００８】
このような画像に対して、βを小さくして輪郭抽出を行うと、図１８のようになる。５が抽出された輪郭である。これに対して、βを大きくすると、図１９のようになる。
【０００９】
このように滑らかさを大きくすると、今度は逆にエッジ情報が存在する部分で、抽出した輪郭がエッジからずれてしまうという問題点がある。
【００１０】
【発明が解決しようとする課題】
上記のように、従来、対称とする物体の輪郭のエッジ情報の欠落が大きい場合に、弾性エネルギーの二次の係数を小さくすると、ノイズを避けることができないし、ノイズを避けるために弾性エネルギーの二次の係数を大きくすると、エッジ情報が存在する部分で、抽出した輪郭がエッジからずれてしまうという問題点があった。
【００１１】
そこで、本発明は、抽出した輪郭がエッジと一致するようにすることを目的とする画像処理方法を提供する。
【００１２】
【課題を解決するための手段】
本発明は、２次元あるいは３次元の画像データからの物体の輪郭抽出に際し、前記画像データにおける複数の離散点が有する弾性エネルギーと、画像エネルギーと、必要に応じて付加される外部エネルギーの重みつきの総和が最小となるように、前記複数個の離散点を前記画像データ上で移動させることにより収束させ、前記物体の輪郭を抽出する画像処理方法において、離散点のそれぞれについて、画像中の位置における画像情報、もしくはその離散点の画像中の位置の近傍の画像情報から計算される平均値または分散値を、しきい値と比較して、このしきい値より小さい離散点の場合は、その離散点における画像エネルギーに対する重み係数の絶対値を、前記しきい値より大きいエッジ対応点となる他の離散点よりも小さくしてエッジ対応点以外の点として前記収束を行うものである。
【００１３】
【作  用】
本発明であると、エッジがとぎれた部分の影響を小さくし、精度よく輪郭を抽出する。
【００１６】
【実施例】
以下、本発明の実施例を図１〜図１５を用いて説明する。
【００１７】
［第１の実施例］
図１は、本発明の第１の実施例の構成を表す図である。
【００１８】
図２のような２次元画像から、内側の輪郭を抽出する場合を例にして説明する。
【００１９】
画像入力部６では、対象とする画像データを入力する。
【００２０】
概輪郭抽出部７でおおまかな輪郭を抽出する。
【００２１】
概輪郭抽出部７の例を図３に示す。ここでは複数個の離散点の持つエネルギーを最小化することにより輪郭抽出する方法を採用している。
【００２２】
初期値設定部１２で複数個の離散点の位置座標の初期値を設定する。
【００２３】
初期値の例を図４に示す。
【００２４】
離散点移動部９では［数４］においてＥall で表されるような全エネルギーが最小になるように前記複数個の離散点を移動させる。
【００２５】
【数４】
0003742035.tif 000005
ｉは図５で表されるような複数個の離散点の番号である。ｗimage(i)、ｗext(i)は重み係数である。Ｅint(i)は弾性エネルギーであり、本実施例では次式を用いる。
【００２６】
【数５】
0003742035.tif 000006
但し、ｖi ＝（ｘi ，ｙi ）は離散点の位置座標である。Ｅimage(i)は画像エネルギーであり、ここでは［数６］を用いる。
【００２７】
【数６】
0003742035.tif 000007
Ｅext(i)は必要に応じて付加する外部エネルギーである。本実施例では［数７］は離散点をある点ｖ0 から遠ざけたり、ｖ0 に近付けたりするエネルギーである。遠ざけるか近付けるかは係数ｋの正負によって決まる。
【００２８】
【数７】
0003742035.tif 000008
エネルギーの総和が最小となるような離散点の位置を求める解法として、変分法による方法を用いる。変分法によれば［数４］が最小となるためには［数８］のような連立方程式が成り立つことが必要である。
【００２９】
【数８】
0003742035.tif 000009
但し、
【数９】
0003742035.tif 000010
とする。
【００３０】
今、ｘ座標のみを考えるとすると、［数８］の連立方程式はベクトル表示で次式のように表すことができる。
【００３１】
【数１０】
0003742035.tif 000011
但し、
【数１１】
0003742035.tif 000012
である。
【００３２】
この連立方程式をヤコビ法を用いて逐次近似法で解く。Ａを次式のように対角行列Ｄとそれ以外の部分Ｆに分ける。
【００３３】
【数１２】
0003742035.tif 000013
ｎ回目の近似解をｘｎ  とすると、ｎ＋１回目の近似解ｘｎ＋１  は、
【数１３】
0003742035.tif 000014
となる。但し、γは収束速度パラメータである。
【００３４】
離散点移動部９の構成例を図６に示す。
【００３５】
画像エネルギー算出部１４、外部エネルギー算出部１５において、それぞれ［数４］におけるＥimage(i)、Ｅext(i)を算出する。また、パラメータ記憶部１７には各エネルギーの重み係数、［数１３］における行列Ｄ、Ｆの要素の値、γ等が記憶されている。次座標算出部１６では、［数１３］を用いて各離散点の次座標を計算して、離散点を移動させる。
【００３６】
離散点を移動させるごとに、収束判定部１０で収束条件を満たすかどうかを判定し、収束条件を満たさない場合には再び離散点移動部９で離散点の移動を行い、収束条件を満たすまで繰り返す。
【００３７】
収束条件としては、本実施例では［数１４］で表されるようなｎ回目の繰り返しでのエネルギーの変化量△Ｅall ｎ  がある一定値より小さくなったときとする。
【００３８】
【数１４】
0003742035.tif 000015
収束判定部１０の一構成例を図７に示す。エネルギー算出部１８において、［数４］におけるＥall を算出する。それをｎ回目の値Ｅall ｎ  として、記憶部１９に記憶しておく。そしてエネルギー比較部２０で、記憶部１９に予め記憶しておいたｎ−１回目の値Ｅall ｎ−１  との差の絶対値△Ｅall ｎ  を求めて、それが一定量εより小さければ収束したと判定し、大きければ収束していないと判定する。
【００３９】
以上のようにして抽出された概輪郭の例を図８に示す。
【００４０】
ここで、必要に応じて離散点の再配置を行う。具体的には、隣接する離散点間の距離を算出し、その距離が最も近い離散点を取り除き、最も遠い離散点間の中点に挿入するということを、最も近い離散点間距離が、最も遠い離散点間距離の半分を超えたら終了するという方法を用いる。
【００４１】
エッジ対応点決定部８では、概輪郭抽出部１７で求めた複数個の離散点に対して、それぞれエッジ対応点かどうかを判断する。
【００４２】
エッジ対応点決定部８の一構成例を図９に示す。図中のＮは離散点の数を表す。
【００４３】
エッジ強度算出部２１でｉ番目の制御点におけるエッジ強度Ｉedge(i) を算出する。
【００４４】
エッジ強度は、微分値、差分値等の画像中の画素値の急激に変化する部分で大きくなる量であり、様々なオペレータが存在する。ここでは、一次差分を用いる方法を使用した。
【００４５】
エッジ強度比較部２２で、Ｉedge(i) としきい値Ｉthreを比較し、
【数１５】
0003742035.tif 000016
を満たす場合には、その制御点をエッジ対応点とする。Ｉedge(i) としては、
【数１６】
0003742035.tif 000017
を用いる。
【００４６】
離散点移動部９、収束判定部１０では概輪郭抽出部７における離散点移動部９、収束判定部１０と同様の処理を行う。すなわち、図６、７で表される処理である。但し、全エネルギーとしては、次式を用いる。
【００４７】
【数１７】
0003742035.tif 000018
但し、
【数１８】
0003742035.tif 000019
収束判定部１０で収束条件を満たせば、出力部１１で結果を出力する。結果の出力方法としては、データとしてファイルに記録したり、ディスプレイに表示するなどの方法があるが、本実施例ではディスプレイに表示する。
【００４８】
このようにエッジが存在しない部分の画像エネルギーの係数を小さくすることにより、対象とする物体の輪郭のエッジ情報の欠落が大きい場合に、弾性エネルギーの二次の係数を小さくしても、輪郭以外の部分からのノイズの影響が少なくなり、精度よく輪郭抽出を行うことができるようになる。図１５が、図２の輪郭抽出の図である。
【００４９】
［第２の実施例］
次に本発明の第２の実施例について説明する。
【００５０】
第２の実施例は、エッジ対応点検出をエッジ強度ではなく、画素値の一つである輝度を用いて行う。
【００５１】
全体の構成としては、第１の実施例と同様である。但し、エッジ対応点検出部に対しては図１０を用いる。
【００５２】
画素平均算出部２３では、離散点ｉの近傍の画素値の平均値Ｉmean(i) を算出する。画素平均比較部２４では
Ｉmean(i) としきい値Ｉthreを比較し、
【数１９】
0003742035.tif 000020
を満たす場合には、その制御点をエッジ対応点とする。つまり画素値が小さい部分の画像エネルギーの係数の絶対値を小さくする。
【００５３】
以後の処理は第１の実施例と同様である。
【００５４】
このように画素値が低い部分の画像エネルギーの係数を小さくすることにより、対象とする物体の輪郭のエッジ情報の欠落が大きい場合に、弾性エネルギーの二次の係数を小さくしても、輪郭以外の部分からのノイズの影響が少なくなり、精度よく輪郭抽出を行うことができるようになる。
【００５５】
この方法は特に磁気標識付きＭＲ画像の場合に有効である。
【００５６】
なお、画素値として色情報を用いてもよい。
【００５７】
［第３の実施例］
次に本発明の第３の実施例について説明する。
【００５８】
全体の構成としては、第１の実施例と同様である。
【００５９】
但し、離散点移動部９及び収束判定部１０で、画像エネルギーＥimage(i)として、
【数２０】
0003742035.tif 000021
を用いる。但し、Ｅcornerは以下に述べる角点の特徴を表すエネルギーである。なお、角点とは、エッジ対応点である離散点とそうでないと判断された離散点の境界に属するどちらかの点である。
【００６０】
次に本実施例で用いたＥcornerについて説明する。
【００６１】
まず、注目する画素（ｘ，ｙ）について、８方向の微分を計算する。その大きさがあるしきい値を超える方向の数Ｎedgeを数える。例えば図１１の場合には、３となる。
【００６２】
このＮedgeは例えば、図１２のように注目画素（ｘ，ｙ）が角部分になっている場合には、Ｎedge＝５になる。
【００６３】
また、図１３のように上にある場合には、Ｎedge＝３となり、エッジの方向にＮedge＝３の点が並ぶようになる。
【００６４】
したがってＥcornerとしては、例えば次式のようなものを用いればよい。
【００６５】
【数２１】
0003742035.tif 000022
但し、
【数２２】
0003742035.tif 000023
とする。
【００６６】
このようなエネルギーを用いることで、角点及び角点に近い点でのエネルギーが低くなり、かつ図１３のように輪郭の途中の部分にある場合はエネルギーが高くなり、角点部分に引き付けられるエネルギーとなる。
【００６７】
Ｅcornerとして、このようなものを用いれば、画素値の分布が平坦な場合やある一方向にエッジが存在する場合にはＥcornerの絶対値が非常に小さくなるため、角点部分に離散点を近付けることができる。
【００６８】
［他の実施例］
なお、本発明はここに挙げた実施例に限定されるものではない。
【００６９】
第１〜３の実施例において、収束判定部１０における収束条件としては、エネルギーの変化量による方法を挙げたが、複数個の離散点の移動量がある一定値より小さくなったとき、あるいはこのような条件で収束しない場合もあることを考慮して、繰り返しの回数で収束させる、すなわち、ある一定回数収束演算を行ったら収束したとみなすようにすることもできる。
【００７０】
また、概輪郭抽出部７で、輪郭抽出方法としてエネルギー最小化による方法の例を示したが、手で輪郭抽出した結果を用いても差し支えない。
【００７１】
第１の実施例において、エッジ強度として、［数１６］に示す一次微分を用いたものを用いたが、例えばソーベルフィルタや二次微分のような他のエッジ検出方法によって求めても差し支えない。
【００７２】
エッジ対応点決定部では離散点の画像中での位置でのエッジ強度の値を用いたが、離散点近傍のエッジ強度の平均値や分散値を用いても差し支えない。
【００７３】
第２の実施例において、エッジ対応点決定部では離散点近傍の画素値の平均値を用いたが、離散点における画素値そのものを用いても差し支えない。
【００７４】
第３の実施例において、角点の特徴を表すエネルギーとして、エッジ強度の大きな方向の数を用いる方法を用いたが、エッジの方向の変化量を用いる方法や、マスクを使用する方法を用いても差し支えない。
【００７５】
また、以下のような画素値の分散を利用する方法を用いても差し支えない。
【００７６】
図１４で示されるような注目する画素（ｘ，ｙ）を中心とした幅Ｄ（この図ではＤ＝５）のウインドウを考える。
【００７７】
図１４中でａ、ｂ、ｃ、ｄで表される４方向について、このウインドウ内でＤ個の画素の分散を求める。例えばａの方向の場合には、注目画素の座標を（ｘ，ｙ）とすると、
【数２３】
0003742035.tif 000024
である。Ｖa はａ方向の分散を表す。但し、Ｉa は次式で表されるａ方向の画素値の平均である。
【００７８】
【数２４】
0003742035.tif 000025
Ｖb 、Ｖc 、Ｖd についても同様である。
【００７９】
これらの値を用いてＥcornerを
【数２５】
0003742035.tif 000026
とする。但しｒは正の定数である。
【００８０】
Ｅcornerとして、このようなものを用いれば、画素値の分布が平坦な場合や、ある一方向にエッジが存在する場合にはＥcornerの絶対値が非常に小さくなるため、角点部分に離散点を近付けることができる。
【００８１】
【発明の効果】
本発明の画像処理方法によれば、画像中の物体の輪郭のとぎれが大きな画像からの輪郭抽出が容易となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の構成を表す図。
【図２】磁気標識ＭＲ画像の例。
【図３】概輪郭抽出部の例を表す図。
【図４】初期値の例。
【図５】離散点の番号を表す図。
【図６】離散点移動部の例を表す図。
【図７】収束判定部の例を表す図。
【図８】概輪郭の例。
【図９】エッジ対応点決定部の例を表す図。
【図１０】第２の実施例におけるエッジ対応点決定部の例を表す図。
【図１１】角点エネルギーの説明図。
【図１２】角点エネルギーの説明図。
【図１３】角点エネルギーの説明図。
【図１４】分散のウインドウを表す図。
【図１５】図２の輪郭抽出の図。
【図１６】従来例を表す図。
【図１７】従来例を表す図。
【図１８】従来例を表す図。
【図１９】従来例を表す図。
【符号の説明】
１  輪郭抽出の対象となる物体
２  閉輪郭
３  求めたい輪郭（点線）
４  エッジ（太い実線）
５  抽出された輪郭（実線）
６  画像入力部
７  概輪郭抽出部
８  エッジ対応点決定部
９  離散点移動部
１０  収束判定部
１１  出力部
１２  初期値設定部
１３  初期値の例
１４  画像エネルギー算出部
１５  外部エネルギー算出部
１６  次座標算出部
１７  記憶部
１８  エネルギー算出部
１９  記憶部
２０  エネルギー比較部
２１  エッジ強度算出部
２２  エッジ強度比較部
２３  画素平均算出部
２４  画素平均比較部
【図１】
0003742035.tif 000027
【図２】
0003742035.tif 000028
【図３】
0003742035.tif 000029
【図４】
0003742035.tif 000030
【図５】
0003742035.tif 000031
【図６】
0003742035.tif 000032
【図７】
0003742035.tif 000033
【図８】
0003742035.tif 000034
【図９】
0003742035.tif 000035
【図１０】
0003742035.tif 000036
【図１１】
0003742035.tif 000037
【図１２】
0003742035.tif 000038
【図１３】
0003742035.tif 000039
【図１４】
0003742035.tif 000040
【図１５】
0003742035.tif 000041
【図１６】
0003742035.tif 000042
【図１７】
0003742035.tif 000043
【図１８】
0003742035.tif 000044
【図１９】
0003742035.tif 000045