(57)【要約】【課題】領域の形状に依存することなく、各領域の色情報および相対的な位置関係に基づいて領域分割を自動的に行えるようにする。【解決手段】画像入力部１０１には生検画像のデータDが入力される。色空間変換部１０３は、複数の色空間変換スクリプトを備え、各色空間の相互変換を行う。閾値決定部１０４は、生検画像データDを二値化するための閾値kを自動的に決定する。二値化部１０５は、前記生検画像データDを閾値kに基づいて二値化する。領域分割部１０６は、生検画像データDを二値画像D2に基づいて２つの領域に分割する。分割制御部１０８は、生検画像データDに対する領域分割が繰り返されて複数の領域の画像データDp(Dp1，Dp2，Dp3…)が順次に抽出されるように、前処理部１０２、色空間変換部１０３、閾値決定部１０４、二値化部１０５および領域分割部１０６を制御する。【選択図】図１
2009210409.tif 000002
【特許請求の範囲】
【請求項１】
カラーの生検画像を複数の領域に分割する画像領域分割装置において、
生検画像の色空間を変換する色空間変換手段と、
生検画像を所定の色空間で二値化するための閾値を決定する閾値決定手段と、
生検画像を前記閾値で二値化して二値画像を生成する二値化手段と、
前記二値画像に基づいて前記生検画像を２つの領域に分割する領域分割手段と、
前記分割された一方の領域を対象に、前記色空間変換手段により色空間を変換しながら領域分割が繰り返させるように、前記色空間変換手段、閾値決定手段、二値化手段および領域分割手段を制御する分割制御手段とを含むことを特徴とする画像領域分割装置。
【請求項２】
前記色空間変換手段は、前記生検画像を、その一部分を占める第１領域と他の領域との選択性が高い第１の色空間に色変換し、
前記閾値決定手段は、前記生検画像を前記第１領域と他の領域とに二値化する第１閾値を決定し、
前記二値化手段は、前記生検画像を前記第１閾値に基づいて二値化し、
前記領域分割手段は、前記生検画像から第１領域を分割することを特徴とする請求項１に記載の画像領域分割装置。
【請求項３】
前記色空間変換手段はさらに、前記第１領域の生検画像を、その一部分を占める第２領域と他の領域との選択性が高い第２の色空間に色変換し、
前記閾値決定手段はさらに、前記第１領域の生検画像を前記第２領域と他の領域とに二値化する第２閾値を決定し、
前記二値化手段は、前記第１領域の生検画像を前記第２閾値に基づいて二値化し、
前記領域分割手段はさらに、前記第１領域の生検画像から第２領域を分割することを特徴とする請求項２に記載の画像領域分割装置。
【請求項４】
前記色空間変換手段はさらに、前記第２領域の生検画像を、その一部分を占める第３領域と他の領域との選択性が高い第３の色空間に色変換し、
前記閾値決定手段はさらに、前記第２領域の生検画像を前記第３領域と他の領域とに二値化する第３閾値を決定し、
前記二値化手段は、前記第２領域の生検画像を前記第３閾値に基づいて二値化し、
前記領域分割手段はさらに、前記第２領域の生検画像から第３領域を分割することを特徴とする請求項３に記載の画像領域分割装置。
【請求項５】
前記第１領域が間質領域であることを特徴とする請求項２に記載の画像領域分割装置。
【請求項６】
前記第１領域が間質領域であり、前記第２領域が腺管領域であることを特徴とする請求項３に記載の画像領域分割装置。
【請求項７】
前記第１領域が間質領域であり、前記第２領域が腺管領域であり、前記第３領域が細胞核領域であることを特徴とする請求項４に記載の画像領域分割装置。
【請求項８】
分割対象の画像に前処理を施す前処理手段を含み、
前記前処理手段が、コントラスト強調および平滑化の少なくとも一方を実行することを特徴とする請求項１ないし７のいずれかに記載の画像領域分割装置。
【請求項９】
分割された画像に後処理を施す後処理手段を含み、
前記後処理手段が、平滑化および膨張・縮退の少なくとも一方を実行することを特徴とする請求項１ないし８のいずれかに記載の画像領域分割装置。
【請求項１０】
カラーの生検画像を複数の領域に分割する画像領域分割装置において、
生検画像の色空間を変換する第１手順と、
生検画像を所定の色空間で二値化するための閾値を決定する第２手順と、
生検画像を前記閾値で二値化して二値画像を生成する第３手順と、
前記二値画像に基づいて前記生検画像を２つの領域に分割する第４手順と、
前記分割された一方の領域を対象に、前記第１手順で色空間を変換しながら領域分割が繰り返させるように、前記第１ないし第４手順を繰り返す第５手順とを含むことを特徴とする画像領域分割方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の領域分割方法および装置に係り、特に、胃生検画像において細胞核などの診断に利用される領域分割に好適な画像領域分割方法および装置に関する。
【背景技術】
【０００２】
生検画像の領域分割は、病理専門医の診断を支援する自動診断装置を作成するにあたり、医師の診断の観点を反映させて自動診断装置の精度を向上させるために必要な技術である。特に、胃粘膜上皮細胞の胃生検画像に対する知見から、腺細胞の並びである腺管の領域、およびその細胞核の領域を抽出することが重要である。
【０００３】
非特許文献１に開示されている領域分割手法では、初めに、胃生検画像中で腺管が存在する領域が手動で矩形に分割され、この分割領域の画像を対象に、RGB色空間でGおよびB成分を用いて固定閾値で背景領域の抽出が行われる。次いで、RおよびB成分を用いて細胞核領域が抽出され、最後に、腺管の細胞核の連結性と背景領域の関係とに基づいて腺管領域候補が結合されて腺管領域が抽出される。
【非特許文献１】勝倉、“胃組織画像の腺腔抽出法の改良、”電子情報通信学会論文誌、Vol.J71-D, No.1 pp.176-181, 1988.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
生検画像の領域分割は、最終的に自動で病理専門医の注目する特徴を抽出し診断の支援をする前処理として必須であるが、上記した先行技術では、まず取得した生検画像から腺管領域を含む矩形に病理専門医が手動で分割する必要があり、計算機により自動抽出する方法ではなかった。
【０００５】
また、背景領域を抽出する際に固定閾値が利用されているが、撮影環境が異なれば取得される画像の色特徴が変化するため、ある画像用に用意した閾値が他の画像で有効に働くとは限らず、撮影環境にロバストな領域分割が難しかった。
【０００６】
さらに、間質領域、腺管領域、細胞核領域を含む全体画像から細胞核領域を抽出する際、細胞核領域は腺管領域などの細胞質領域中に存在するにもかかわらず、このような各領域の位置的な関係が考慮されていなかった。
【０００７】
さらに、腺管領域の領域分割は、腺管に存在する細胞核の並びが正常に近い形状であることを前提とした処理であったため、細胞核の並びに個体差がある一般的な胃生検画像の腺管領域の領域分割には不向きであった。
【０００８】
本発明は、上記した従来技術の課題を解決し、生検画像から間質領域、腺管領域、細胞核領域などを分割する際に、各領域の形状に依存することなく、各領域の色情報および相対的な位置関係に基づいて、領域分割を自動的に行えるようにした画像領域分割方法および装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記した目的を達成するために、本発明は、カラーの生検画像を複数の領域に分割する画像領域分割装置において、生検画像の色空間を変換する色空間変換手段と、生検画像を所定の色空間で二値化するための閾値を決定する閾値決定手段と、生検画像を前記閾値に基づいて二値化する二値化手段と、前記二値画像に基づいて前記生検画像を２つの領域に分割する領域分割手段と、前記分割された一方の領域を対象に、前記色空間変換手段により色空間を変換しながら領域分割が繰り返させるように、前記色空間変換手段、閾値決定手段、二値化手段および領域分割手段を制御する分割制御手段とを含むことを特徴とを含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、生検画像を診断支援装置に利用するために重要な領域である腺管領域や細胞核領域を、各領域の形状を考慮することなく、その色彩的な特徴量および相対的な位置関係のみに基づいて分割できるので、対象画像領域を予め指定することなく、自動的かつロバストが領域分割が可能になる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の最良の実施形態について詳細に説明する。図２は、本実施形態において領域分割の対象となる生検画像の一例を示した図であり、ここでは、生検画像を間質領域A1、腺管領域A2、細胞核領域A3およびその他の背景領域(A4)に４分割する場合を例にして説明する。
【００１２】
生検画像は間質領域A1と背景領域A4とに排他的に領域分割され、この間質領域A1中に腺管領域A2が存在し、さらに腺管領域A2中に細胞核領域A3が存在する。すなわち、各領域の相対的な位置関係および大きさは、間質領域A1＞腺管領域A2＞細胞核領域A3となる。
【００１３】
図３は、染色液で染色された各領域の色分布が色空間に応じて変化する様子を示した図であり、横軸は彩度や明度などのカラー画像に固有の色彩的な特徴量を示し、縦軸は度数を示している。
【００１４】
同図(a)に示した第１の色空間では、背景領域A4と、それ以外の間質領域A1、腺管領域A2および細胞核領域A3とは特徴量の差が大きく、両者の選択性が高くなる一方、間質領域A1、腺管領域A2および細胞核領域A3には特徴量に大きな差がなく、それぞれの選択性が低くなることが判る。
【００１５】
これに対して、同図(b)に示した第２の色空間では、背景領域A4および間質領域A1と、それ以外の腺管領域A2および細胞核領域A3とは特徴量の差が大きく、両者の選択性が高くなる一方、背景領域A4と間質領域A1、および腺管領域A2と細胞核領域A3とには特徴量に大きな差がなく、両者の選択制が低くなることが判る。
【００１６】
本発明は、このような考察に基づいてなされたものであり、各領域を、その相対的な位置関係および大小関係、換言すれば包含関係に基づいて、大きな領域から小さな領域を抽出する分割処理を繰り返すことで生検画像を複数の領域に分割すると共に、その際、分割したい領域の選択性が高くなるように、分割対象に応じて生検画像の色空間を変換するようにした点に特徴がある。
【００１７】
図４は、本発明における領域分割の手順を模式的に示した図であり、初めは同図(a)に示したように、背景領域A4から、その一部分を占める間質領域A1を分割すべく、特徴量に基づく両者の選択性が高くなるように、生検画像の色空間を第１の色空間に設定し、この第１の色空間における特徴量に基づいて背景領域A4から間質領域A1を分割する。
【００１８】
次いで同図(b)に示したように、前記間質領域A1から、その一部分を占める腺管領域A2を分割すべく、特徴量に基づく両者の選択性が高くなるように、生検画像の色空間を第２の色空間に設定し、この第２の色空間における特徴量に基づいて間質領域A1から腺管領域A2を分割する。
【００１９】
最後は同図(c)に示したように、前記腺管領域A2から、その一部分を占める細胞核領域A3を分割すべく、特徴量に基づく両者の選択性が高くなるように、生検画像の色空間を第３の色空間に設定し、この第３の色空間における特徴量に基づいて腺管領域A2から細胞核領域A3を分割する。
【００２０】
図１は、本発明に係る画像領域分割装置の主要部の構成を示したブロック図であり、画像入力部１０１には、領域分割の対象となる生検画像のデータDが入力される。この生検画像データDは、適宜の染色手法で染色された組織片を撮影したカラー画像である。前処理部１０２は、この生検画像データDに対して、コントラスト強調や平滑化などの前処理を適宜に行う。
【００２１】
色空間変換部１０３は、複数の色空間変換スクリプトを備え、RGB，HSL，RGBA, YCbCr，CMY，CMYK，L*a*b*等の各色空間の相互変換を行う。閾値決定部１０４は、生検画像データDを二値化するための閾値kを自動的に決定する。二値化部１０５は、前記生検画像データDを前記閾値kに基づいて画素単位で二値化して二値画像D2を生成する。
【００２２】
領域分割部１０６は、生検画像データDを前記二値画像D2に基づいて２つの領域に分割する。分割された一方の領域の生検画像データDpは、後処理部１０７で平滑化や膨張・縮退などの後処理を適宜に施された後に前記前処理部１０２へ戻され、この一方領域の生検画像データDpに対して更なる領域分割が繰り返される。
【００２３】
分割制御部１０８は、前記生検画像データDに対する領域分割が繰り返されて複数の領域の画像データDp(Dp1，Dp2，Dp3…)が順次に抽出されるように、前処理部１０２、色空間変換部１０３、閾値決定部１０４、二値化部１０５および領域分割部１０６を制御する。前記各分割領域の生検画像データDp1，Dp2，Dp3…は記憶部１０９に記憶される。
【００２４】
次いで、本実施形態の動作をフローチャートに沿って説明する。図５は、本発明に係る領域分割の手順を示したフローチャートであり、図６は、領域分割の過程で得られる二値画像D2の一例を示した図である。
【００２５】
ステップＳ１では、図６(a)に一例を示した生検画像の画像データDが画像入力部１０１に取り込まれて一時記憶される。本実施形態では、領域分割が色彩的な特徴量に基づいて行われるので、この画像データは適宜の染色手法により染色された組織片を撮影したカラー画像である。ここでは、染色液としてHE(ヘマトキシリン・エオジン)を使用した場合を例にして説明する。
【００２６】
ステップＳ２では、前記前処理部１０２において、前記生検画像データDに対して、画素単位でコントラスト強調および平滑化が実行される。本実施形態では、コントラスト強調がガンマ補正により行われる。ガンマ補正は、入力画素濃度をBin、出力画素濃度をBoutとすれば次式(1)で表される。本実施形態では、RGB色空間のそれぞれの空間においてガンマ補正が施される。このガンマ補正により、後述する領域分割処理の閾値決定が容易になる。
【００２７】
【数１】
2009210409.tif 000003
【００２８】
また、平滑化に関して、本実施形態ではメディアンフィルタが利用される。メディアンフィルタは、対象画素付近のm×mピクセルの領域で中央値を取る画素値に対象画素を変換する手法である。この平滑化によりノイズの除去が可能になる。
【００２９】
ステップＳ３では、前記色空間変換部１０３において、生検画像データDの色空間を変換する処理が行われる。本発明者等の実験結果によれば、染色液としてHEを使用した場合、HSV色空間において、そのS（彩度）成分に着目すれば、間質領域A1と背景領域A4との選択性が高くなることが実験的に確認されているので、ここでは、生検画像データDの色空間をRGBからHSVへ変換する色変換が行われる。ステップＳ４では、前記閾値決定部１０４において、前記HSV色空間に変換された生検画像データDのS成分に着目して、当該画像データDを二値化するための閾値kが決定される。
【００３０】
ここでは、分割対象の間質領域A1が、それ以外の背景領域A4に比較して大きな領域を占めるため、Kittlerの判別分析法(J. Kittler, and J. Illingworth, “Minimum Error Thresholding,” Pattern Recognition, vol.19, no.1,pp.41-47, 1986.)を利用する。この手法は、対象画像を二値化する際に各領域の画素値が共に正規分布に従うという仮定のもとで、平均誤識別率に関する基準を最小とする閾値選定法である。
【００３１】
閾値kによって各画素を二つのクラスC1，C2に分類する際、全画素数で正規化した画素値のヒストグラムを利用して、閾値k以下の画素数の割合をy1(k)，閾値k+1以上の画素数の割合をy2(k)、各クラスの分散をs12,  s22としたとき、次式(2)で定義されるj(k)を最小値とするkが閾値と定義される。なお、背景領域が存在しない場合は閾値kが正しく計算されず、この場合には背景領域が存在しない旨の判定がなされる。
【００３２】
【数２】
2009210409.tif 000004
【００３３】
ステップＳ５では、前記二値化部１０５において、生検画像データDが前記閾値kに基づいて二値化される。図６(b)は、二値画像D2の一例を示した図であり、ここでは、間質領域A1の画素値が「２５５（白）」に変換され、背景領域A4の画素値が「０（黒色）」に変換される。ステップＳ６では、前記領域分割部１０６により、二値画像D2と生検画像データDとの論理積を取ることで生検画像データDから間質領域A1が分割される。ステップＳ７では、分割された間質領域A1の画像データDp1に対して平滑化や膨張・縮退などの後処理が施される。
【００３４】
ステップＳ８では、腺管領域A2と細胞核領域A3との分割が完了したか否かが判定され、ここでは未だ完了していないと判定されるので、前記分割された間質領域の生検画像データDp1が、次の分割対象として前処理部１０２へ入力され、この領域分割された間質領域A1の生検画像データDp1から腺管領域A2を更に分割する処理が同様に繰り返される。
【００３５】
このとき、本発明等の実験結果によれば、間質領域A1と腺管領域A2とは赤色の度合いが異なり、YCbCr色空間のCb成分を利用すれば両者の選択性が高くなることが実験的に確認されている。したがって、ステップＳ３では、前記色変換部１０２において、生検画像データDp1の色空間がHSVからYCbCrへ変換される。
【００３６】
ステップＳ４の閾値決定処理では、YCbCr色空間の生検画像データDp1を二値化するための閾値kが決定される。なお、前記間質領域A1と背景領域A4との二値化では、その面積の違いに着目して閾値kを設定したが、間質領域A1と腺管領域A2との間には、一般的な領域面積の差の傾向がないため、ここでは大津の判別分析法(大津展之，“判別および最小２乗基準に基づく自動しきい値選定法，” 電子通信学会論文誌，vol.63-D，no.4，pp.349-356，1980.)を利用する。
【００３７】
この手法は、閾値kによって各画素を二つのクラスC1，C2に分類する際、全画素数で正規化した画素値のヒストグラムを利用して、閾値k以下の画素数の割合をy1(k)，閾値kレベルまでの画素値の分布の１次モーメントの累積量をl1(k)、画像全体の画素値の平均をlTとしたときに、次式(3)で与えられるクラス間分散sE2 を最大値とするkを閾値とする手法である。
【００３８】
【数３】
2009210409.tif 000005
【００３９】
ステップＳ５では、間質領域A1の生検画像データDp1が前記閾値kに基づいて二値化される。図６(c)は、二値画像D2の一例を示した図であり、ここでは、腺管領域A2の画素値が「２５５（白色）」に変換され、間質領域A1を含む他の領域の画素値が「０（黒色）」に変換される。ステップＳ６では、二値画像D2と生検画像データDとの論理積を取ることで生検画像データDから腺管領域A2が分割される。ステップＳ７では、分割された腺管領域A2の画像データDp2に対して平滑化や膨張・縮退などの後処理が施される。
【００４０】
ステップＳ８では、未だ腺管領域A2と細胞核領域A3との分割が完了していないと判定されるので、前記分割された腺管領域A2の生検画像データDp2が、次の分割対象として前処理部１０２へ入力され、この腺管領域A2に関する生検画像データDp2から細胞核領域A3を分割する処理が繰り返される。
【００４１】
このとき、本発明等の実験結果によれば、腺管領域A2と細胞核領域A3とは、L*a*b*色空間のb*成分を利用すれば両者の選択性が高くなることが実験的に確認されているので、ステップＳ３では、前記色変換部１０２において、生検画像データDp2の色空間がYCbCrからL*a*b*へ変換される。ステップＳ４では、前記大津の判別分析法を適用して閾値kが決定される。
【００４２】
ステップＳ５では、腺管領域A2の生検画像データDp2が前記閾値kに基づいて二値化される。図６(d)は、二値画像D2の一例を示した図であり、ここでは、細胞核領域A3の画素値が「２５５（白色）」に変換され、腺管領域A2を含む他の領域の画素値が「０（白色）」に変換される。ステップＳ６では、二値画像D2と腺管領域A2の生検画像データDp2との論理積を取ることで、腺管領域A2から細胞核領域A3が分割される。ステップＳ７では、分割された細胞核領域A3の画像データDp3に対して平滑化や膨張・縮退などの後処理が施される。
【００４３】
図７は、上記した領域分割処理による領域分割の結果を示した図、図８は、その部分拡大図であり、いずれにおいても、生検画像D[各図(a)]から間質領域A1、腺管領域A2および細胞核領域A3のいずれもが正確に分割されている[各図(b)]ことがわかる。
【図面の簡単な説明】
【００４４】
【図１】本発明に係る画像領域分割装置の構成を示したブロック図である。
【図２】領域分割対象の生検画像の一例を示した図である。
【図３】各領域の選択性が色空間に応じて変化する様子を示した図である。
【図４】本発明における領域分割の手順を模式的に示した図である。
【図５】本発明に係る領域分割の手順を示したフローチャートである。
【図６】領域分割の過程で得られる二値画像の一例を示した図である。
【図７】領域分割結果の一例を示した図である。
【図８】領域分割結果の一例を示した拡大図である。
【符号の説明】
【００４５】
１０１…入力部、１０２…前処理部、１０３…色空間変換、１０４…閾値決定部、１０５…二値化部、１０６…領域分割部、１０７…後処理部、１０８…分割制御部、１０９…記憶部
【図１】
2009210409.tif 000006
【図３】
2009210409.tif 000007
【図４】
2009210409.tif 000008
【図５】
2009210409.tif 000009
【図２】
2009210409.tif 000010
【図６】
2009210409.tif 000011
【図７】
2009210409.tif 000012
【図８】
2009210409.tif 000013