(57)【要約】      （修正有）【課題】細胞画像処理装置、細胞画像の特性を定量化する方法およびその非一時的なコンピュータ可読媒体を提供する。【解決手段】細胞画像処理装置は、複数の画素を有する細胞画像を読み込む工程、色空間内の細胞画像の各画素の複数の色属性のうち少なくとも１つに従って細胞画像からバックグラウンド部分を除去してバックグラウンド除去画像を得る工程、バックグラウンド除去画像を核部分および細胞質部分に分割する工程、バックグラウンド除去画像内の複数のエッジ画素を検出してバックグラウンド除去画像内の複数の核ブロックをセグメント化する工程、核ブロックに基づいてパラメータセットを生成する工程およびバックグラウンド除去画像を可視化することによって出力画像を生成する工程を含む方法を実行する。【選択図】図２Ａ
2018116685.tif 000002
【特許請求の範囲】
【請求項１】
細胞画像処理装置で用いられる細胞画像の特性を定量化する方法であって、該方法は下記の、
（ａ）複数の画素を有する細胞画像を読み込む工程と、
（ｂ）色空間内の前記画素それぞれの複数の色属性の少なくとも１つに従って前記細胞画像からバックグラウンド部分を除去して、バックグラウンド除去画像を得る工程と、
（ｃ）前記バックグラウンド除去画像を核部分および細胞質部分に分割する工程と、
（ｄ）前記核部分および前記細胞質部分に基づいて核／細胞質色比を生成する工程とを含むことを特徴とする方法。
【請求項２】
前記工程（ｂ）はさらに下記の、
（ｂ１）前記細胞画像の画素の色属性の少なくとも１つに従って複数の第１初期基準点を決定する工程と、
（ｂ２）前記第１初期基準点に基づいて前記細胞画像の前記画素をクラスタリングすることによって前記細胞画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を得る工程と、
（ｂ３）前記バックグラウンド除去画像の画素の色属性の少なくとも１つに従って複数の第２初期基準点を決定する工程と、
（ｂ４）前記第２初期基準点に基づいて前記バックグラウンド除去画像の前記画素をクラスタリングすることによって前記バックグラウンド除去画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を更新する工程とを含み、
前記工程（ｃ）はさらに下記の、
（ｃ１）前記バックグラウンド除去画像の画素の色属性の少なくとも１つおよび該画素間の重み比率に従って複数の前記第３初期基準点を決定し、該第３初期基準点および前記重み比率に基づいて前記バックグラウンド除去画像の前記画素をクラスタリングすることにより前記バックグラウンド除去画像を前記核部分および前記細胞質部分に分割する工程を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記核／細胞質色比を、前記核部分の前記色属性の関数値を前記細胞質部分の前記色属性の関数値で除算することによって生成することを特徴とする請求項１に記載の方法。
【請求項４】
細胞画像処理装置で用いられる細胞画像の特性を定量化する方法であって、該方法は下記の、
（ａ）複数の画素を有する細胞画像を読み込む工程と、
（ｂ）色空間内の前記画素それぞれの複数の色属性の少なくとも１つに従って前記細胞画像からバックグラウンド部分を除去して、バックグラウンド除去画像を得る工程と、
（ｃ）前記バックグラウンド除去画像を核部分および細胞質部分に分割する工程と、
（ｄ）前記バックグラウンド除去画像内の複数のエッジ画素を検出して、前記バックグラウンド除去画像内の複数の核ブロックをセグメント化する工程と、
（ｅ）核極性、核内細胞質偽封入体の指数ならびに核重複および鋳型核の指数のうち少なくとも１つを含み、前記核極性は前記核ブロックに基づいて生成され、前記核内細胞質偽封入体の指数は前記核部分に基づいて生成され、前記核重複および鋳型核の指数は前記核ブロックおよび前記核部分に基づいて生成されるパラメータセットを生成する工程と、
（ｆ）前記バックグラウンド除去画像を可視化することによって出力画像を生成する工程とを含むことを特徴とする方法。
【請求項５】
前記工程（ｂ）はさらに下記の、
（ｂ１）前記細胞画像の画素の色属性の少なくとも１つに従って複数の第１初期基準点を決定する工程と、
（ｂ２）前記第１初期基準点に基づいて前記細胞画像の前記画素をクラスタリングすることによって前記細胞画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を得る工程と、
（ｂ３）前記バックグラウンド除去画像の画素の色属性の少なくとも１つに従って複数の第２初期基準点を決定する工程と、
（ｂ４）前記第２初期基準点に基づいて前記バックグラウンド除去画像の前記画素をクラスタリングすることによって前記バックグラウンド除去画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を更新する工程とを含み、
前記工程（ｃ）はさらに下記の、
（ｃ１）前記バックグラウンド除去画像の画素の色属性の少なくとも１つおよび該画素間の重み比率に従って複数の第３初期基準点を決定し、該第３初期基準点および前記重み比率に基づいて前記バックグラウンド除去画像の前記画素をクラスタリングすることによって前記バックグラウンド除去画像を前記核部分および前記細胞質部分に分割する工程を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記工程（ｄ）はさらに下記の、
（ｄ１−１）前記バックグラウンド除去画像の画素の色属性の少なくとも１つに従って、二次元（２Ｄ）グレースケール行列を生成する工程と、
（ｄ１−２）前記２Ｄグレースケール行列をｉ番目のパラメータを有するデリチェフィルタ行列で乗算してｉ番目の２Ｄ勾配行列を得る、該ｉ番目の２Ｄ勾配行列は前記画素に隣接する画素に対する前記画素それぞれの水平方向勾配および垂直方向勾配を記録し、ｉの初期値は１である工程と、
（ｄ１−３）前記ｉ番目の２Ｄ勾配行列にマスクを施して、該マスク内の中央画素の総勾配の大きさが前記マスク内の相対的最大値であるか否かを判断し、前記マスク内の前記中央画素の前記総勾配の大きさが前記マスク内の前記相対的最大値ではない場合には、前記中央画素の前記水平方向勾配および前記垂直方向勾配を０に設定して、前記ｉ番目の２Ｄ勾配行列を更新する工程と、
（ｄ１−４）前記更新されたｉ番目の２Ｄ勾配行列に前記マスクを施して、前記マスク内の前記中央画素に隣接する垂直画素の総勾配の大きさおよび隣接する水平画素の総勾配の大きさがいずれも０ではないか否かを判断し、前記マスク内の前記中央画素に隣接する垂直画素の前記総勾配の大きさおよび隣接する水平画素の前記総勾配の大きさがいずれも０ではない場合、前記中央画素の前記水平方向勾配および前記垂直方向勾配を０に設定して前記ｉ番目の２Ｄ勾配行列を更新する、該更新されたｉ番目の２Ｄ勾配行列で前記総勾配の大きさが０ではない前記画素は前記エッジ画素である工程と、
（ｄ１−５）ｉを２に設定して前記工程（ｄ１−２）ないし（ｄ１−４）を実行し、第２番目の２Ｄ勾配行列を得る工程と、
（ｄ１−６）ｉを３に設定して前記工程（ｄ１−２）ないし（ｄ１−４）を実行し、第３番目の２Ｄ勾配行列を得る工程とを含み、
前記ｉ番目の２Ｄ勾配行列に関し、ｉは１ないし３であり、前記工程（ｄ）はさらに下記の、
（ｄ２−１）前記エッジ画素を８接続式接続性ルールに従って接続して複数の線セグメントを形成する工程であって、対象のエッジ画素に接続された隣のエッジ画素の総勾配の大きさは第１の閾値よりも大きく、前記対象のエッジ画素の総勾配方向と前記対象のエッジ画素に接続された前記隣のエッジ画素の前記総勾配方向の間の角度は第２の閾値未満である工程と、
（ｄ２−２）長さが第３の閾値の３／４未満または平均勾配が第４の閾値未満である線セグメント、および該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ２−３）前記線セグメントそれぞれの先頭エッジ画素と終端エッジ画素の間の距離が第５の閾値未満であるか否かを判断する工程と、
（ｄ２−４）前記先頭エッジ画素と前記終端エッジ画素の間の前記距離が前記第５の閾値未満である前記線セグメントについて、該線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の距離が第６の閾値未満であるか否かを判断し、該距離が前記第６の閾値未満である場合、前記線セグメントに対してエッジ補間処置を実行する工程と、
（ｄ２−５）前記エッジ補間処置によって処理された前記線セグメントについて、該線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の距離が前記第５の閾値未満であるか否かを判断し、該距離が前記第５の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ２−６）前記線セグメントのそれぞれについて、該線セグメントに対応する前記エッジ画素の前記総勾配方向が前記線セグメントによって囲まれた領域の円心を向いているか否かを判断する工程と、
（ｄ２−７）前記エッジ画素の前記総勾配方向が前記円心を向いていない前記線セグメントについて、該線セグメントによって囲まれた前記領域内の画素を核内細胞質偽封入体ブロックに分類し、前記線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ２−８）前記エッジ画素の前記総勾配方向が前記円心を向いている前記線セグメントについて、該線セグメントの周囲長さが前記第３の閾値未満であるか否かを判断し、該周囲長さが前記第３の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ２−９）前記周囲長さが前記第３の閾値以上である前記線セグメントについて、該線セグメントの円形度が第７の閾値未満であるか否かを判断する工程と、
（ｄ２−１０）前記円形度が前記第７の閾値未満である前記線セグメントについて、該線セグメントの楕円度が第８の閾値未満であるか否かを判断し、該楕円度が該第８の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ２−１１）ｉ番目のエッジ行列および該ｉ番目のエッジ行列のエッジ画素のｉ番目の接続情報を、前記線セグメントのうち除去されていない線セグメントおよび該線セグメントに対応するエッジ画素に基づいて生成する工程とを含み、
前記工程（ｄ）はさらに下記の、
（ｄ２−１２）前記第１番目のエッジ行列、前記第２番目のエッジ行列および前記第３番目のエッジ行列、ならびに前記第１番目の接続情報、前記第２番目の接続情報および前記第３番目の接続情報を積分して、積分エッジ行列および該積分エッジ行列のエッジ画素の積分接続情報を得る工程と、
（ｄ２−１３）前記積分エッジ行列および前記積分エッジ行列の前記エッジ画素の前記積分接続情報に基づいて、前記バックグラウンド除去画像内の前記核ブロックをセグメント化する工程とを含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記工程（ｄ）はさらに下記の、
（ｄ３−１）前記ｉ番目のエッジ行列および該ｉ番目のエッジ行列の前記エッジ画素のｉ番目の接続情報に基づいて、前記バックグラウンド除去画像内の前記線セグメントのそれぞれによって囲まれた領域内の前記画素をバックグラウンド画素として設定して、一時的バックグラウンド除去画像を生成する工程と、
（ｄ３−２）前記一時的バックグラウンド除去画像の画素の色属性のうち少なくとも１つに従って２Ｄグレースケール行列を生成し、前記工程（ｄ１−２）ないし（ｄ１−４）および前記工程（ｄ２−１）ないし（ｄ２−１１）を実行して、前記一時的バックグラウンド除去画像の前記ｉ番目のエッジ行列および該ｉ番目のエッジ行列のエッジ画素のｉ番目の接続情報を得る工程と、
（ｄ３−３）前記一時的バックグラウンド除去画像の前記ｉ番目のエッジ行列内に前記エッジ画素が存在するか否かを判断する工程と、
（ｄ３−４）前記エッジ画素が存在する場合、前記一時的バックグラウンド除去画像の前記ｉ番目のエッジ行列および該ｉ番目のエッジ行列の前記エッジ画素の前記ｉ番目の接続情報を、それぞれ前記バックグラウンド除去画像の前記ｉ番目のエッジ行列および該ｉ番目のエッジ行列のエッジ画素の前記ｉ番目の接続情報に組み込む工程と、
（ｄ３−５）前記工程（ｄ３−３）において前記エッジ画素が存在しないと判断するまで前記工程（ｄ３−１）ないし（ｄ３−４）を繰り返す工程とを含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記工程（ｄ）はさらに下記の、
（ｄ４−１）前記積分エッジ行列および該積分エッジ行列の前記エッジ画素の前記接続情報に基づいて、前記バックグラウンド除去画像の前記線セグメントそれぞれによって囲まれた前記領域内の前記画素を前記バックグラウンド画素として設定して、一時的バックグラウンド除去画像を生成する工程と、
（ｄ４−２）前記一時的バックグラウンド除去画像の画素の色属性のうち少なくとも１つに従って２Ｄ二値行列を生成する工程と、
（ｄ４−３）パラメータを有するデリチェフィルタ行列で前記２Ｄ二値行列を乗算して２Ｄ勾配行列を得る、該２Ｄ勾配行列は前記画素それぞれの隣接する画素に対する前記水平方向勾配および前記垂直方向勾配を記録する工程と、
（ｄ４−４）前記マスクを前記２Ｄ勾配行列に施して、前記マスク内の前記中央画素の前記総勾配の大きさがマスクの相対的最大値であるか否かを判断し、前記マスク内の前記中央画素の前記総勾配の大きさが前記マスクにおける前記相対的最大値ではない場合、前記中央画素の前記水平方向勾配および前記垂直方向勾配を０に設定して、前記２Ｄ勾配行列を更新する工程と、
（ｄ４−５）前記マスクを前記更新された２Ｄ勾配行列に施して、前記マスク内の前記中央画素に隣接する垂直画素の前記総勾配の大きさおよび隣接する水平画素の前記総勾配の大きさがいずれも０ではないか否かを判断し、前記中央画素に隣接する垂直画素の前記総勾配の大きさおよび隣接する水平画素の前記総勾配の大きさがいずれも０ではない場合、前記中央画素の前記水平方向勾配および前記垂直方向勾配を０に設定して、前記２Ｄ勾配行列を更新する、該更新された２Ｄ勾配行列の前記総勾配の大きさが０ではない前記画素は前記エッジ画素である工程とを含み、
前記２Ｄ勾配行列に関し、前記工程（ｄ）はさらに下記の、
（ｄ５−１）前記エッジ画素を前記８接続式接続性ルールに従って接続して複数の線セグメントを形成する、前記対象のエッジ画素の前記総勾配方向と前記対象のエッジ画素に接続された前記隣のエッジ画素の前記総勾配方向の間の角度が前記第２の閾値未満である工程と、
（ｄ５−２）長さが前記第３の閾値の３／４未満である前記線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ５−３）前記線セグメントそれぞれの前記先頭エッジ画素と前記終端エッジ画素の間の距離が前記第５の閾値未満であるか否かを判断する工程と、
（ｄ５−４）前記先頭エッジ画素と前記終端エッジ画素の間の前記距離が前記第５の閾値以上である前記線セグメントについて、該線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の距離が前記第６の閾値未満であるか否かを判断し、該距離が該第６の閾値未満である場合、前記線セグメントに対して前記エッジ補間処置を行う工程と、
（ｄ５−５）前記エッジ補間処置によって処理された前記線セグメントについて、該線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の距離が前記第５の閾値未満であるか否かを判断し、該距離が該第５の閾値よりも大きい線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ５−６）前記線セグメントそれぞれについて、該線セグメントに対応する前記エッジ画素の前記総勾配方向が該線セグメントによって囲まれた領域の円心を向いているか否かを判断する工程と、
（ｄ５−７）前記エッジ画素の前記総勾配方向が前記円心を向いていない前記線セグメントについて、該線セグメントによって囲まれた前記領域内の画素を核内細胞質偽封入体ブロックに分類し、前記線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ５−８）前記エッジ画素の前記総勾配方向が前記円心を向いている前記線セグメントについて、該線セグメントの周囲長さが前記第３の閾値未満であるか否かを判断し、該周囲長さが第３の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ５−９）前記周囲長さが前記第３の閾値以上である前記線セグメントについて、該線セグメントの円形度が第７の閾値未満であるか否かを判断する工程と、
（ｄ５−１０）前記円形度が前記第７の閾値未満である前記線セグメントについて、該線セグメントの楕円度が第８の閾値未満であるか否かを判断し、該楕円度が該第８の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ５−１１）エッジ行列および該エッジ行列のエッジ画素の接続情報を前記線セグメントのうち除去されていない線セグメントおよび該線セグメントに対応するエッジ画素に基づいて生成する工程と、
（ｄ５−１２）前記エッジ行列および該エッジ行列のエッジ画素の前記接続情報を、それぞれ前記積分エッジ行列および該積分エッジ行列の前記エッジ画素の前記積分接続情報に組み込む工程とを含むことを特徴とする請求項６に記載の方法。
【請求項９】
前記工程（ｃ）はさらに下記の、
前記細胞質部分に関し、該細胞質部分は前記セグメント化された核ブロック内に配置されかつ前記核内細胞質偽封入体ブロック内に配置されていない複数の画素を有するか否かを判断し、前記細胞質部分は前記セグメント化された核ブロック内に配置されかつ前記核内細胞質偽封入体ブロック内に配置されていない前記画素を有する場合、前記セグメント化された核ブロック内に配置されかつ前記核内細胞質偽封入体ブロック内に配置されていない前記画素を前記核部分に再度分類する工程を含むことを特徴とする請求項６に記載の方法。
【請求項１０】
前記工程（ｄ２−１２）はさらに下記の、
少なくとも１つの第１の新たな線セグメントが前記第２番目のエッジ行列の前記線セグメント間に存在するか否か、さらに前記第１の新たな線セグメントの重心と、前記第１番目のエッジ行列の前記線セグメントによって囲まれた前記領域の複数の重心の間の複数の重心距離はすべて核の平均短軸長さを超えるか否かを判断する工程と、
前記少なくとも１つの第１の新たな線セグメントが存在する場合、該少なくとも１つの第１の新たな線セグメントのエッジ画素を前記第１番目のエッジ行列に付加して前記積分エッジ行列を生成し、さらに前記少なくとも１つの第１の新たな線セグメントと関連付けられた接続情報を前記第１番目の接続情報に付加して前記積分接続情報を生成する工程と、
少なくとも１つの第２の新たな線セグメントは前記第３番目のエッジ行列の前記線セグメント間に存在するか否か、さらに前記第２の新たな線セグメントの重心と、前記積分エッジ行列の前記線セグメントによって囲まれた前記領域の複数の重心の間の複数の重心距離はすべて前記核の平均短軸長さを超えるか否かを判断する工程と、
前記少なくとも１つの第２の新たな線セグメントが存在する場合、該少なくとも１つの第２の新たな線セグメントのエッジ画素を前記積分エッジ行列に付加して前記積分エッジ行列を更新し、さらに前記少なくとも１つの第２の新たな線セグメントと関連付けられた接続情報を前記積分接続情報に付加して、前記積分接続情報を更新する工程とを含むことを特徴とする請求項６に記載の方法。
【請求項１１】
前記エッジ補間処置はさらに下記の、
前記線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の傾き、水平距離および垂直距離に基づいて、複数のエッジ画素を段階的に１つずつ前記先頭エッジ画素から前記終端エッジ画素に付加する工程を含むことを特徴とする請求項６に記載の方法。
【請求項１２】
前記出力画像を用いて、核／細胞質比（ＮＣＲ）、前記核ブロック、前記核ブロック間にある少なくとも１つの細長い核ブロック、前記核部分中の重複した核部分、少なくとも１つの前記核内細胞質偽封入体ブロックおよび核主軸分布のうちの少なくとも１つを可視化することを特徴とする請求項４に記載の方法。
【請求項１３】
前記セグメント化された核ブロックの核主軸と水平軸の間の角度の標準偏差を計算することによって前記核極性を生成し、
前記核部分中の複数の核内細胞質偽封入体ブロックの総面積を前記核部分の総面積で除算することによって前記核内細胞質偽封入体の指数を生成し、
前記核部分中の前記核ブロックに属さない残りの面積を前記核部分の前記総面積で除算することによって前記核重複および鋳型核の指数を生成することを特徴とする請求項４に記載の方法。
【請求項１４】
複数の画素を含む細胞画像を保存するように構成されている記憶部と、
該記憶部に電気的に接続され、細胞画像の特性を定量化する方法を実行するように構成されている処理部とを有し、前記方法は下記の、
（ａ）前記記憶部から前記細胞画像を読み込む工程と、
（ｂ）色空間内の前記画素それぞれの複数の色属性のうち少なくとも１つに従って前記細胞画像からバックグラウンド部分を除去して、バックグラウンド除去画像を得る工程と、
（ｃ）該バックグラウンド除去画像を核部分および細胞質部分に分割する工程と、
（ｄ）前記バックグラウンド除去画像内の複数のエッジ画素を検出して、前記バックグラウンド除去画像内の複数の核ブロックをセグメント化する工程と、
（ｅ）パラメータセットを生成する、該パラメータセットは核極性、核内細胞質偽封入体の指数、核／細胞質色比ならびに核重複および鋳型核の指数のうちの少なくとも１つを含み、前記核／細胞質色比は前記核部分および前記細胞質部分に基づいて生成され、前記核極性は前記核ブロックに基づいて生成され、前記核内細胞質偽封入体の指数は前記核部分に基づいて生成され、前記核重複および鋳型核の指数は前記核ブロックおよび前記核部分に基づいて生成される工程と、
（ｆ）前記バックグラウンド除去画像を可視化することによって出力画像を生成する工程とを含むことを特徴とする細胞画像処理装置。
【請求項１５】
前記細胞画像処理装置はさらに入力インタフェースおよび出力インタフェースを有し、前記処理部はさらに前記入力インタフェースを介して前記細胞画像を読み込み、該細胞画像を前記記憶部に保存し、前記処理部は前記出力インタフェースを介して前記出力画像を送信することを特徴とする請求項１４に記載の細胞画像処理装置。
【請求項１６】
前記工程（ｂ）はさらに下記の、
（ｂ１）前記細胞画像の画素の色属性のうち少なくとも１つに従って複数の第１初期基準点を決定する工程と、
（ｂ２）前記第１初期基準点に基づいて前記細胞画像の前記画素をクラスタリングすることによって前記細胞画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を得る工程と、
（ｂ３）前記バックグラウンド除去画像の画素の色属性のうち少なくとも１つに従って複数の第２初期基準点を決定する工程と、
（ｂ４）前記第２初期基準点に基づいて前記バックグラウンド除去画像の前記画素をクラスタリングすることによって前記バックグラウンド除去画像の前記バックグラウンド部分を除去し、前記バックグラウンド除去画像を更新する工程とを含み、
前記工程（ｃ）はさらに下記の、
（ｃ１）前記バックグラウンド除去画像の画素の色属性のうち少なくとも１つおよび該画素間の重み比率に従って複数の第３初期基準点を決定し、該第３初期基準点および前記重み比率に従って前記バックグラウンド除去画像の前記画素をクラスタリングすることによって、前記バックグラウンド除去画像を前記核部分および前記細胞質部分に分割する工程を含むことを特徴とする請求項１４に記載の細胞画像処理装置。
【請求項１７】
前記工程（ｄ）はさらに下記の、
（ｄ１−１）前記バックグラウンド除去画像の画素の色属性のうち少なくとも１つに従って２Ｄグレースケール行列を生成する工程と、
（ｄ１−２）該２Ｄグレースケール行列をｉ番目のパラメータを有するデリチェフィルタ行列で乗算してｉ番目の２Ｄ勾配行列を得る、該ｉ番目の２Ｄ勾配行列は前記画素それぞれの該画素の隣接する画素に対する水平方向勾配および垂直方向勾配を記録し、ｉの初期値は１である工程と、
（ｄ１−３）前記ｉ番目の２Ｄ勾配行列にマスクを施し、該マスク内の中央画素の総勾配の大きさが前記マスクにおける相対的最大値であるか否かを判断し、前記マスク内の前記中央画素の前記総勾配の大きさが前記マスクにおける前記相対的最大値ではない場合、前記中央画素の前記水平方向勾配および前記垂直方向勾配を０に設定して、前記ｉ番目の２Ｄ勾配行列を更新する工程と、
（ｄ１−４）前記更新されたｉ番目の２Ｄ勾配行列に前記マスクを施し、該マスク内の前記中央画素に隣接する垂直画素の総勾配の大きさおよび隣接する水平画素の総勾配の大きさがいずれも０ではないか否かを判断し、前記マスク内の前記中央画素に隣接する垂直画素の前記総勾配の大きさおよび隣接する水平画素の前記総勾配の大きさがいずれも０ではない場合、前記中央画素の前記水平方向勾配および前記垂直方向勾配を０に設定して、前記ｉ番目の２Ｄ勾配行列を更新する、前記更新されたｉ番目の２Ｄ勾配行列において前記総勾配の大きさが０ではない画素は前記エッジ画素である工程と、
（ｄ１−５）ｉを２に設定し、前記工程（ｄ１−２）ないし（ｄ１−４）を実行して、第２番目の２Ｄ勾配行列を得る工程と、
（ｄ１−６）ｉを３に設定し、前記工程（ｄ１−２）ないし（ｄ１−４）を実行して、第３番目の２Ｄ勾配行列を得る工程とを含み、
前記ｉ番目の２Ｄ勾配行列に関して、ｉは１ないし３であり、前記工程（ｄ）はさらに下記の、
（ｄ２−１）前記エッジ画素を８接続式接続性ルールに従って接続して複数の線セグメントを形成する、対象のエッジ画素に接続された隣のエッジ画素の総勾配の大きさは第１の閾値を上回り、前記対象のエッジ画素の総勾配方向と、該対象のエッジ画素に接続された前記隣のエッジ画素の前記総勾配方向の間の角度は第２の閾値を下回る工程と、
（ｄ２−２）前記線セグメントのうち長さが第３の閾値の３／４未満または平均勾配が第４の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ２−３）前記線セグメントそれぞれの先頭エッジ画素と終端エッジ画素の間の距離が第５の閾値未満であるか否かを判断する工程と、
（ｄ２−４）前記先頭エッジ画素と前記終端エッジ画素の間の前記距離が第５の閾値以上である前記線セグメントについて、該線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の前記距離が第６の閾値未満であるか否かを判断し、該距離が該第６の閾値未満である場合、前記線セグメントに対してエッジ補間処置を行う工程と、
（ｄ２−５）前記エッジ補間処置によって処理された前記線セグメントについて、前記線セグメントの前記先頭エッジ画素と前記終端エッジ画素の間の距離が前記第５の閾値未満であるか否かを判断し、前記セグメントのうち前記距離が前記第５の閾値以上である線セグメントおよび該線セグメントに前記対応するエッジ画素を除去する工程と、
（ｄ２−６）前記線セグメントそれぞれについて、該線セグメントに対応する前記エッジ画素の前記総勾配方向が前記線セグメントによって囲まれた領域の円心を向いているか否かを判断する工程と、
（ｄ２−７）前記エッジ画素の前記総勾配方向が前記円心を向いていない前記線セグメントについて、該線セグメントによって囲まれた前記領域内の画素を核内細胞質偽封入体ブロックに分類し、前記線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ２−８）前記エッジ画素の前記総勾配方向が前記円心を向いている前記線セグメントについて、該線セグメントの周囲長さが前記第３の閾値未満であるか否かを判断し、前記周囲長さが前記第３の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ２−９）前記周囲長さが前記第３の閾値以上である前記線セグメントについて、該線セグメントの円形度が第７の閾値未満であるか否かを判断する工程と、
（ｄ２−１０）前記円形度が前記第７の閾値未満である前記線セグメントについて、該線セグメントの楕円度が第８の閾値未満であるか否かを判断し、前記楕円度が前記第８の閾値未満である線セグメントおよび該線セグメントに対応するエッジ画素を除去する工程と、
（ｄ２−１１）ｉ番目のエッジ行列および該ｉ番目のエッジ行列のエッジ画素のｉ番目の接続情報を、前記除去されていない線セグメントおよび該線セグメントに対応するエッジ画素に基づいて生成する工程とを含み、
前記工程（ｄ）はさらに下記の、
（ｄ２−１２）前記第１番目のエッジ行列、前記第２番目のエッジ行列および前記第３番目のエッジ行列ならびに前記第１の接続情報、前記第２の接続情報および前記第３の接続情報を積分して、積分エッジ行列および該積分エッジ行列のエッジ画素の積分接続情報を得る工程と、
（ｄ２−１３）前記積分エッジ行列および該積分エッジ行列の前記エッジ画素の前記積分接続情報に基づいて、前記バックグラウンド除去画像内の前記核ブロックをセグメント化する工程とを含むことを特徴とする請求項１４に記載の細胞画像処理装置。
【発明の詳細な説明】
【関連出願】
【０００１】
本出願は、２０１６年１１月９日に出願された米国仮特許出願第６２／４１９、９２８号に基づいて優先権の利益を主張するものであり、本明細書中、上記出願全体を参照することにより本願に取り込む。
【関連出願の相互参照】
【０００２】
該当なし。
【発明の分野】
【０００３】
本発明は、細胞画像処理装置および細胞画像の特性を定量化する方法に関するものである。より詳細には、本発明の細胞画像処理装置は、細胞画像の特性を定量化して細胞画像中の核ブロックを取得する方法を実行し、核ブロックに従ってパラメータセットおよび可視画像を出力する。
【関連技術の説明】
【０００４】
科学技術の急速な発展により、データおよび画像のデジタル化技術が徐々に発展してきている。そのため、電子製品（例えば、コンピュータ、タブレットコンピュータおよびスマートフォン）は、どの職業においても、データ保存および画像表示を行うための最も重要な必需品となっている。
【０００５】
従来の臨床細胞学的検査では、光学顕微鏡を用いて患者の細胞を載せた染色スライドを観察して、細胞画像を生成する。その後、医師は、患者の細胞画像上の細胞核および細胞質の分布に基づいて診断を行い、可能性がある疾病を判断することができる。しかしながら、細胞画像に高度な処理を施さずに細胞画像のみに基づいて診断を行なって関連する定量化パラメータまたは分析画像を取得する場合、別の医師は同じ細胞画像に対して全く異なる診断を下す可能性がある。また、診断が過度に主観的に行われれば、患者の病状を判断する際に診断の精度に影響が及び得る。
【０００６】
そのため、当該分野において、細胞画像に対して高度な処理を行って関連する定量化パラメータまたは分析画像を取得することにより、医師による診断を支援する細胞画像についての高度な情報を医師に提供して、同一の細胞画像に対する別々の医師による診断結果が一致しないことを減少させ、患者の病状を判断する際に診断の精度を向上させる必要に迫られている。
【発明の概要】
【０００７】
本発明は、細胞画像に関連する定量化パラメータおよび分析画像を提供することを目的とする。本発明は、細胞画像を核部分、細胞質部分および核を示すセグメント核ブロックに分割して、細胞画像に関連する定量化パラメータを生成して出力画像を提供することにより、核ブロックを可視化する。このようにして、本発明は従来技術と比較して、医師による診断を支援する細胞画像についての高度な情報を医師に提供し、同一の細胞画像に対する別々の医師による診断結果が一致しないことを減少させ、患者の病状を判断する際の診断精度を向上させる。
【０００８】
上述の目的を達成するために、本発明は、細胞画像処理装置に用いられる細胞画像の特性を定量化する方法を開示する。細胞画像の特性を定量化する方法は、以下の工程を含む。すなわち、（ａ）複数の画素を有する細胞画像を読み込み、（ｂ）色空間における各画素の複数の色属性のうちの少なくとも１つに従って細胞画像からバックグラウンド部分を除去してバックグラウンド除去画像を取得し、（ｃ）バックグラウンド除去画像を核部分および細胞質部分に分割し、（ｄ）核部分および細胞質部分に基づいて核／細胞質色比を生成する。
【０００９】
さらに、本発明は、細胞画像処理装置に用いられる細胞画像の特性を定量化するさらなる方法を開示する。細胞画像の特性を定量化する方法は、以下の工程を含む。すなわち、（ａ）複数の画素を有する細胞画像を読み込み、（ｂ）色空間における各画素の複数の色属性のうちの少なくとも１つに従って細胞画像からバックグラウンド部分を除去してバックグラウンド除去画像を取得し、（ｃ）バックグラウンド除去画像を核部分および細胞質部分に分割し、（ｄ）バックグラウンド除去画像中の複数のエッジ画素を検出してバックグラウンド除去画像中の複数の核ブロックをセグメント化し、（ｅ）核極性、核内細胞質偽封入体の指数、ならびに核重複および核鋳型の指数のうち少なくとも１つを含むパラメータセットを生成し、ここでは核極性を核ブロックに基づいて生成し、核内細胞質偽封入体の指数を核部分に基づいて生成し、核重複および核鋳型の指数を核ブロックおよび核部分に基づいて生成し、（ｆ）バックグラウンド除去画像を可視化することにより出力画像を生成する。
【００１０】
さらに、本発明は、記憶部および処理部を有するさらなる細胞画像処理装置を開示する。処理部は、記憶部と電気的に接続される。処理部は、細胞画像の特性を定量化する方法を実行する。そして、本方法は以下の工程を含む。すなわち、（ａ）記憶部から複数の画素を有する細胞画像を読み込み、（ｂ）色空間におけるそれぞれの画素の複数の色属性のうちの少なくとも１つに従って細胞画像からバックグラウンド部分を除去してバックグラウンド除去画像を取得し、（ｃ）バックグラウンド除去画像を核部分および細胞質部分に分割し、（ｄ）バックグラウンド除去画像内にある複数のエッジ画素を検出してバックグラウンド除去画像内にある複数の核ブロックをセグメント化し、（ｅ）核極性、核内細胞質偽封入体の指数、核／細胞質色比ならびに核重複および鋳型核の指数のうち少なくとも１つを含むパラメータセットを生成し、ここでは核／細胞質色比を核部分および細胞質部分に基づいて生成し、核極性を核ブロックに基づいて生成し、核内細胞質偽封入体の指数を核部分に基づいて生成し、核重複および鋳型核の指数を核ブロックおよび核部分に基づいて生成し、（ｆ）バックグラウンド除去画像を可視化することにより出力画像を生成する。
【００１１】
当業者が本願特許請求の範囲に記載された発明の特徴を理解できるように、本発明に対して実施される技術および好適な実施例の詳細については以下の段落および添付図面にて述べる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施例による細胞画像の特性を定量化する装置１を示す模式図である。
【図２Ａ】本発明の第１の実施例による細胞画像の特性を定量化する方法を示すフローチャート図である。
【図２Ｂ】および
【図２Ｃ】本発明の他の実施例による細胞画像の特性を定量化する方法を示すフローチャート図である。
【図３】、
【図４Ａ】、
【図４Ｂ】および
【図４Ｃ】本発明の第２の実施例によるエッジ検出段階における方法のフローチャートを示す。
【図５】、
【図６Ａ】、
【図６Ｂ】および
【図６Ｃ】本発明の第４の実施例によるエッジ検出段階における方法のフローチャートを示す。
【図７Ａ】細胞画像を示す。
【図７Ｂ】バックグラウンド除去画像を示す。
【図８Ａ】グレースケール画像を示す。
【図８Ｂ】バックグラウンド除去画像のエッジ画素を示す。
【図９】核主軸と水平軸の間の角度を示す。
【図１０】定量化されたパラメータセットを示す。
【図１１】セグメント化された核ブロックの可視化を示す。
【図１２】核／細胞質比（ＮＣＲ）の可視化を示す。
【図１３】核間にある少なくとも１つの細長い核ブロックの可視化を示す。
【図１４】核部分中における重複核および鋳型核の可視化を示す。
【図１５】核内細胞質偽封入体ブロックの可視化を示す。
【図１６】核主軸分布の可視化を示す。
【好適な実施例の説明】
【００１３】
以下の記載において、本発明について実施例を参照しながら説明する。しかしながら、これらの本発明の実施例は、本発明を実施例に記載されるいかなる環境、用途または実施に限定することも意図していない。そのため、これらの実施例の記載は、本発明の範囲を制限するものではなく、ひとえに例示することを目的とする。以下の実施例および添付図面において、本発明と無関係の要素を本記載から省略していると理解すべきである。
【００１４】
本発明の第１の実施例は、図１および図２Ａに示すとおりである。図１は、本発明による細胞画像処理装置１の模式図である。細胞画像処理装置１は、入力インタフェース１１、出力インタフェース１３、処理部１５および記憶部１７を含む。処理部１５は、入力インタフェース１１、出力インタフェース１３および記憶部１７と電気的に接続される。
【００１５】
入力インタフェース１１を用いて、光学顕微鏡（または高拡大率の任意の画像センサ）によって生成された染色細胞画像１０１（例えば、図７Ａに示すような、バックグラウンド部分７０１、核７０３および細胞質７０５を含む、拡大率４００倍の細胞画像）を受信する。入力インタフェース１１は、有線インタフェース（例えばＵＳＢ送信インタフェースであるが、これに制限するものでない）または無線送信インタフェース（例えば、WIFI送信インタフェース）でよい。入力インタフェース11を光学顕微鏡に接続してもよく、または細胞画像を保存する記憶装置に接続してもよい。処理部１５は、入力インタフェース１１を介して細胞画像１０１を受信し、細胞画像１０１を記憶部１７に記憶する。出力インタフェース１３は、データ送信インタフェースまたは画像送信インタフェースでよい。出力インタフェース１３を用いて、細胞画像に関連する定量化されたパラメータおよび処理部１５によって生成された核の可視画像を出力する。
【００１６】
処理部１５は、本発明による細胞画像の特性を定量化する方法を実行することにより、細胞画像および可視画像に関連する定量化パラメータを生成するように構成される。本発明による細胞画像の特性を定量化する方法を、非一時的なコンピュータ可読媒体によって実施してもよい。非一時的なコンピュータ可読媒体は、複数のコードを含むコンピュータプログラムを記憶する。コンピュータプログラムが電子機器（例えば、細胞画像処理装置１）内に読込みおよびインストールされると、コンピュータプログラムに含まれるコードが電子機器の処理部によって実行され、本発明による細胞画像の特性を定量化する方法を実行する。非一時的なコンピュータ可読媒体は、例えば、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、フロッピーディスク、ハードディスク、コンパクトディスク（ＣＤ）、モバイルディスク、磁気テープ、ネットワークにアクセス可能なデータベース、または同様の機能を有し当業者に公知の他の任意の記憶媒体でよい。
【００１７】
本発明による細胞画像の特性を定量化する方法のフローチャートは、図２Ａに示すようなものである。まず、工程Ｓ２０１において、処理部１５は、記憶部１７から細胞画像１０１を読み込む。細胞画像１０１は複数の画素を含み、複数の細胞を所定の拡大率で示す。細胞画像１０１における各画素の位置が水平方向におけるｘ値および垂直方向におけるｙ値によって表されることにより、細胞画像１０１中の画素は二次元（２Ｄ）行列を形成する。
【００１８】
細胞画像１０１を、ＲＧＢ（赤、緑および青）色空間、ＨＳＶ（色相、彩度および明度）色空間または任意の色空間によって表現してもよく、任意の色空間から別の色空間に自在に変換可能であると理解すべきである。例えば、読み込まれた細胞画像１０１がＲＧＢ色空間によって表される場合、処理部１５は、細胞画像１０１をＲＧＢ色空間によって表されるものからＨＳＶ色空間によって表されるものへ変換することができる。色空間の変換機構は当該分野において周知であるため、本明細書においてはこれ以上の説明を省略する。
【００１９】
次に、工程Ｓ２０３において、処理部１５は、図７Ｂに示すように、細胞画像１０１の画素を細胞部分およびバックグラウンド部分に分割し、バックグラウンド部分を細胞画像１０１から除去して、色空間中の細胞画像１０１の画素の複数の色属性のうちの少なくとも１つに応じたバックグラウンド除去画像１０３を取得する（すなわち、図７Ａのバックグラウンド部分７０１を除去する）。本明細書中、バックグラウンド部分７０１とは、細胞画像１０１の染色後の画像中の非染色部分（通常は、細胞を除いた領域）を指すと理解すべきである。
【００２０】
その後、工程Ｓ２０５において、処理部１５は、バックグラウンド除去画像１０３中の画素を、図１２に示すように、核部分１２０１および細胞質部分１２０３に分割する。細胞画像１０１の画素の分割およびバックグラウンド除去画像１０３の画素の分割を行うために、クラスタリングアルゴリズムを用いてもよいと理解すべきである。一次元、二次元もしくは三次元のクラスタリング、または複数回クラスタリングでさえも、各画素の１つ、２つまたは３つの特定の属性（すなわち、色属性）について、所定の比率でそれぞれに行ってもよい。さらに、本発明において用いられるクラスタリングアルゴリズムは、Ｋ平均クラスタリングでよいが、これに限定するものではない。そのため、同一の目的を達成する任意のクラスタリングアルゴリズムは、本発明の範囲内に含まれることになる。
【００２１】
例えば、色空間がＨＳＶ色空間である（すなわち、３つの属性、より具体的には色相、彩度および明度で構成される）場合、処理部１５は、これら３つの属性（すなわち、色相、彩度および明度）のうち少なくとも１つについてＫ平均クラスタリングを３回行ってもよい。最初の２回のクラスタリングを行う目的は、バックグラウンド部分の除去であり、３回目のクラスタリングを行う目的は、細胞質部分を核部分と区別することである。
【００２２】
詳細には、初回のＫ平均クラスタリングでは色相を基準として用い、画素の色相の最大値と最小値の差を６つの均等な部分に分割して、６つの初期基準点を決定する。画素の色相の最大値が８０で、その最小値が３０であるならば、６つの初期基準点の色相はそれぞれ、３０、４０、５０、６０、７０および８０である。そのため、６つの初期基準点に基づいて画素に対し一次元Ｋ平均クラスタリングを実行し、細胞画像１０１の画素を６つの群に分割することができる。そして、画素を６つの群に応じて細胞部分およびバックグラウンド部分に分割する。このようにして、処理部１５は、バックグラウンド部分に分類された画素を除去して、バックグラウンド除去画像１０３を生成することができる。
【００２３】
次に、２回目のＫ平均クラスタリングをバックグラウンド除去画像１０３に対して行う。２回目のＫ平均クラスタリングでは、彩度を基準にして基準点を選択し、６つの基準点をバックグラウンド除去画像１０３の画素の彩度の最大値と最小値の差に応じて決定する。よって、６つの基準点に基づいてバックグラウンド除去画像１０３の画素に対して一次元Ｋ平均クラスタリングを行うことにより、１回目のＫ平均クラスタリングにおいてバックグラウンド部分として分類されていない画素をさらに決定し、バックグラウンド除去画像１０３から除去して、バックグラウンド除去画像１０３を更新することができる。クラスタリング結果に応じて画素を細胞部分およびバックグラウンド部分に分割する基準は、利用者が決定してもよく、または事前設定された閾値によって決定してもよい。これにより、細胞部分に属する群の画素およびバックグラウンド部分に属する残りの群の画素を決定すると理解すべきである。
【００２４】
上述した２回の一次元Ｋ平均クラスタリングの後、処理部１５は、３回目のＫ平均クラスタリングをバックグラウンド除去画像１０３の画素に対して実行し、画素を核部分１２０１および細胞質部分１２０３に分割する。最初の２回のＫ平均クラスタリングと異なり、３回目のＫ平均クラスタリングでは、処理部１５は、彩度と明度の重み比率に従って二次元Ｋ平均クラスタリングを実行する。例えば、彩度と明度の重み比率５：３に従って二次元Ｋ平均クラスタリングを実行する。
【００２５】
画素の彩度の最大値が８０であり、その最小値が３０であるならば、二次元初期基準点の第一次元の値はそれぞれ、彩度に関しては３０、４０、５０、６０、７０および８０である。一方、画素の明度の最大値が１００であり、その最小値が２５であれば、二次元初期基準点の第二次元の値はそれぞれ、明度に関しては２５、４０、５５、７０、８５および１００である。そのため、６つの二次元初期基準点はそれぞれ、（３０，２５）、（４０，４０）、（５０，５５）、（６０，７０）、（７０，８５）および（８０，１００）である。よって、処理部１５が二次元Ｋ平均クラスタリングを行う場合、各画素と基準点の間の距離は、
【数１】
2018116685.tif 000003
に等しい。ここで、Δｄ１は彩度差であり、Δｄ２は明度差である。
【００２６】
別の例として、色空間がＲＧＢ色空間である（すなわち、赤色、緑色および青色の３つの属性によって構成される）場合、処理部１５は、これら３つの属性（すなわち、赤色、緑色および青色）のうちの少なくとも１つに対してＫ平均クラスタリングを３回行ってもよい。最初の２回のクラスタリングの目的はバックグラウンド部分を除去することであり、３回目のクラスタリングの目的は細胞質部分を核部分と区別することである。詳細には、１回目のＫ平均クラスタリングにおいて、緑色を基準として用いて、画素の緑色の最大値と最小値の差を６つの均等な部分に分割して、６つの初期基準点を決定する。
【００２７】
画素の緑色の最大値が９５であり、その最小値が１０であるならば、６つの初期基準点の緑色はそれぞれ、１０、２７、４４、６１、７８および９５である。したがって、６つの初期基準点に基づいて画素に対し一次元Ｋ平均クラスタリングを実行することにより、細胞画像１０１の画素を６つの群に分割することができる。そして、画素を６つの群に従って細胞部分およびバックグラウンド部分に分割する。このようにして、処理部１５は、バックグラウンド部分として分類された画素を除去して、バックグラウンド除去画像１０３を生成することができる。次に、２回目のＫ平均クラスタリングを実行する。１回目のＫ平均クラスタリングと異なり、２回目のＫ平均クラスタリングは、同様の動作を実行する基準として青色を採用する。そのため、１回目のＫ平均クラスタリングにおいてバックグラウンド部分として分類されなかった画素をさらに決定して、バックグラウンド除去画像１０３から除去し、バックグラウンド除去画像１０３を更新することができる。上述の２回分の一次元平均クラスタリングを行った後、処理部１５は、３回目のＫ平均クラスタリングをバックグラウンド除去画像１０３の画素に対して行って、画素を核部分１２０１および細胞質部分１２０３に分割する。同様に、３回目においては、上述したものと同様の動作を行う基準として赤色を採用する。
【００２８】
バックグラウンド除去画像１０３の画素を核部分１２０１および細胞質部分１２０３に分割した後、処理部１５は工程Ｓ２０７を実行して、バックグラウンド除去画像１０３にある複数のエッジ画素を検出する。このようにして、バックグラウンド除去画像１０３中のエッジ画素を検出した後、処理部１５はそれらのエッジ画素を接続して、図１１に示すように、バックグラウンド除去画像１０３内の複数の核ブロック１１０１（核を表す）をセグメント化することができる。
【００２９】
その後、工程Ｓ２０９において、処理部１５は、核ブロック１１０１、核部分１２０１および細胞質部分１２０３に応じてパラメータセットを生成する。パラメータセットは、核極性、核内細胞質偽封入体の指数、核／細胞質色比ならびに核重複および鋳型核の指数のうちの少なくとも１つを含んでいてもよい。核／細胞質色比は核部分および細胞質部分に基づいて生成され、核極性は核ブロックに基づいて生成される。核内細胞質偽封入体の指数は核部分に基づいて生成され、核重複および鋳型核の指数は核ブロックおよび核部分に基づいて生成される。
【００３０】
例えば、セグメント化された核の核主軸と水平軸の間の角度の標準偏差を算出して、核極性を生成してもよい（図９に示すような手法で角度を計算する）。別の例として、（図１５に示すように）複数の核内細胞質偽封入体１５０１の総面積を核部分１２０１の総面積で除算することにより、核内細胞質偽封入体の指数を生成してもよい。
【００３１】
別の例として、核／細胞質色比は、核部分の色属性の関数値を細胞質部分の色属性の関数値で除算することにより生成できる過染色症指数でもよい。例えば、ＨＳＶ色空間において、過染色症指数は、細胞核／細胞質の彩度／明度比または細胞核／細胞質の色相／明度比でよい。細胞核／細胞質の彩度／明度比は、核部分における平均彩度の平均明度に対する比（すなわち、関数値）を細胞質部分における平均彩度の平均明度に対する比（すなわち、関数値）で除算することにより生成できる。細胞核／細胞質の色相／明度比は、核部分における平均色相の平均明度に対する比を細胞質部分における平均色相の平均明度に対する比で除算することにより生成できる。さらに、過染色症指数は、細胞核／細胞質色相比または細胞核／細胞質彩度比であってもよい。細胞核／細胞質色相比は、核部分の平均色相値（すなわち、関数値）を細胞質部分の平均色相値（すなわち、関数値）で除算することにより生成できる。細胞核／細胞質彩度比は、核部分の平均彩度値（すなわち、関数値）を細胞質部分の平均彩度値（すなわち、関数値）で除算することにより生成できる。
【００３２】
別の例として、核重複および鋳型核の指数を、核部分中の核ブロック１１０１に属していない残りの面積を核部分１２０１の総面積で除算することにより生成してもよい。図１０に示すように、これらの関連する定量化されたパラメータを利用者が決定してもよく、または事前設定された基準によって決定してもよいと理解すべきである。細胞学的特性情報に従って定量化を行う関連動作は、当業者が容易に理解できるであろうから、本明細書ではさらなる詳述を控える。
【００３３】
上述のように、核／細胞質色比を核部分１２０１および細胞質部分１２０３に基づいて生成してもよく、核極性を核ブロック１１０１に基づいて生成してもよい。核内細胞質偽封入体の指数を核部分１２０１に基づいて生成してもよく、核重複および鋳型核の指数を核ブロック１１０１および核部分１２０１に基づいて生成してもよい。換言すれば、工程Ｓ２０５を実行してバックグラウンド除去画像１０３中の画素を核部分１２０１および細胞質部分１２０３に分割した後、処理部１５は、工程Ｓ２０７を実行してバックグラウンド除去画像１０３中の核ブロック１１０１がセグメント化されるのを待たずに、核／細胞質色比を核部分１２０１および細胞質部分１２０３に基づいて計算してもよい。
【００３４】
本発明の実施例中の図面は、Ｒｉｕ染料による処理が行われた後の細胞画像であると理解すべきである。過染色症指数を一例としてとると、細胞核および細胞質を染める色は、青色および紫色（紫色は、赤色および青色によって生成される）からなり、細胞の病理学的変化は、Ｒｉｕ染料の着色結果に影響を及ぼし、色が濃くなるまたは薄くなり、細胞核および細胞質の色相および彩度に差が生じる。加えて、細胞核および細胞質双方の明度が増加すると、細胞核および細胞質の赤色部分および青色部分にも差が生じる。染色方法が異なると染色効果も異なってくるが、当業者であればさまざまな染色方法に応じて重み／属性比率を調節する関連動作について理解の及ぶところであるので、さらなる詳述を控える。
【００３５】
別の例として、核内細胞質偽封入体の指数は等式1を用いて計算可能であり、核内細胞質偽封入体ブロック１５０１として決定された面積を核部分１２０１の総面積で除算して、核内細胞質偽封入体ブロック１５０１の比率を得る。
【数２】
2018116685.tif 000004
ここで、areainclusionsは、核内細胞質偽封入体ブロック１５０１の総面積であり、areanucleiは、核部分１２０１の総面積である。
【００３６】
さらに、核部分中の核ブロック１１０１に属しない残りの面積を核部分の面積で除算することにより、等式２を用いて核重複および鋳型核の指数を計算する。換言すれば、核重複および鋳型核の指数は、核部分中の重複核および鋳型核面積（エッジが壊れて不規則になっている核および重複した核の面積を含む）が占める比率を示す。
【数３】
2018116685.tif 000005
ここで、areadiscrete nucleiは核ブロック１１０１の総面積であり、areanucleiは核部分１２０１の総面積である。
【００３７】
いくつかの実施例において、パラメータセットは、例えば面積、円形度、楕円率および伸長性または同種のもののようなパラメータをさらに含む。例えば、等式３を用いて細胞核の伸長性を計算してもよい。
【数４】
2018116685.tif 000006
ここで、ｄ１は核ブロックの主軸長さであり、ｄ２は核ブロックの短軸長さである。
【００３８】
最後に、処理部１５は、工程Ｓ２１１を実行してバックグラウンド除去画像１０３を可視化し、出力画像１０５を生成して、核ブロック１１０１、核部分１２０１および細胞質部分１２０３を示す。例えば、図１２では、出力画像１０５を用いて核部分１２０１および細胞質部分１２０３の核／細胞質比（ＮＣＲ）を可視化する。図１１では、出力画像１０５を用いてセグメント化された核１１０１を可視化する。図１３では、出力画像１０５を用いて核間の細長い核ブロック１３０１を可視化する。図１４では、出力画像１０５を用いて核部分中の重複核部分１４０１を可視化する。図１５では、出力画像１０５を用いて核内細胞質偽封入体ブロック１５０１を可視化する。図１６では、出力画像１０５を用いて核主軸の分布（例えば、核主軸１６０１）を可視化する。
【００３９】
上述の記載から分かるように、本発明による細胞画像の特性を定量化する方法は、３つの動作段階に分割できる。第１段階はクラスタリング段階であり、第２段階はエッジ検出段階であり、第３段階は核形態および可視化特性の関連パラメータを計算する段階である。クラスタリング段階における動作については、本実施例の典型的な例と共に述べてきた。エッジ検出段階ならびに核形態および可視化特性の関連パラメータを計算する段階については、以下の実施例において後述する。
【００４０】
核／細胞質色比を生成した後、処理部１５は、生成された核／細胞質色比の情報を表示部または出力装置などを介して利用者に提供することができると理解すべきである。したがって、他の実施例において、利用者は核／細胞質色比の生成のみをするように画像処理装置１を設定し、核ブロックのセグメント化、核ブロックに基づく他のパラメータの生成、バックグラウンド除去画像の可視化などのその後の工程を実行不要にすることもできる。図２Ｂに示すように、工程Ｓ２０５を実行してバックグラウンド除去画像１０３中の画素を核部分１２０１および細胞質部分１２０３に分割した後、処理部１５は工程Ｓ２０６の実行のみをして、核／細胞質色比を核部分１２０１および細胞質部分１２０３に基づいて生成してもよい。換言すれば、利用者は、出力する必要のあるパラメータを自身の必要性に基づいて選択して、全工程を実行せずに選択されたパラメータに対応する工程のみを処理部１５に実行させることも可能である。
【００４１】
加えて、他の実施例において、利用者が選択したパラメータに基づいて、図２Ａの工程Ｓ２０９を、図２Ｃに示すように工程Ｓ２０８に置き換えてもよい。この場合、生成されたパラメータセットは、核極性、核内細胞質偽封入体の指数ならびに核重複および鋳型核の指数を含んでよい一方で、核／細胞質色比を含まない。
【００４２】
本発明の第２の実施例については、併せて図３〜図４Ｃを参照されたい。第２の実施例は第１の実施例を拡張したものであり、エッジ検出段階に関連する動作について述べる。すなわち、第１の実施例の工程Ｓ２０７は、図３、図４Ａ、図４Ｂおよび図４Ｃに示す工程をさらに含む。まず、工程Ｓ３０１において処理部１５は、バックグラウンド除去画像１０３の画素の色属性の少なくとも１つに従って、二次元（２Ｄ）グレースケール行列を生成する。
【００４３】
例えば、ＨＳＶ色空間において処理部１５は、図８Ａに示すように、彩度と明度の重み比率５：−３に従って、バックグラウンド除去画像１０３をグレースケール画像１０５へ変換する。グレースケール画像１０５の各画素はグレースケール値をもつため、処理部は、２Ｄグレースケール行列中の画素のグレースケール値を示し得る。上述の重み比率は、本発明を限定するものではなく、例示を目的とするものであると理解すべきである。さらに、ＲＧＢ色空間において、バックグラウンド除去画像１０３をグレースケール画像１０５に変換する方法も、当業者であれば理解の及ぶところであるため、本明細書ではさらなる詳述を控える。
【００４４】
次に、工程Ｓ３０３において、処理部１５は、２Ｄグレースケール行列を、ｉ番目のパラメータを有するデリチェフィルタ行列で乗算して、ｉ番目の２Ｄ勾配行列を得る。ここで、ｉは１ないし３である。ｉ番目の２Ｄ勾配行列は、各画素の水平方向勾配（Ｄｘ）および垂直方向勾配（Ｄｙ）を当該画素に隣接する画素に対して記録する。ｉ番目のパラメータはガウス分布パラメータであるため、異なるパラメータを有するデリチェフィルタ行列を用いてグレースケール画像１０５を異なるレベルでぼかして、グレースケール画像１０５のノイズを低減させる。
【００４５】
その後、工程Ｓ３０５において、処理部１５はｉ番目の２Ｄ勾配行列にマスクを施す。例えば、マスクは３×３行列であり、処理部１５は、マスクを用いて、ｉ番目の２Ｄ勾配行列の各３×３部分行列内の画素の水平方向勾配および垂直方向勾配を検査して、エッジ画素と思われる画素を探し出す。詳細には、処理部１５は、使用中のマスク内の中央画素の総勾配の大きさがマスク内の相対的最大値であるかを判断し、マスク内の中央画素の総勾配の大きさがマスク内の相対的最大値ではない場合、処理部１５は、使用中のマスク内の中央画素の水平方向勾配および垂直方向勾配を０（すなわち、非最大抑制）に設定する。
【００４６】
例えば、処理部１５は、マスク内の中央画素および中央画素の勾配方向における中央画素の前後にそれぞれ配置された２つの画素の強度を測定する。中央画素の総勾配の大きさが上述の２つの画素よりも大きい場合、中央画素の総勾配の大きさが維持される。そうではない場合は、総勾配の大きさは０に設定されることにより、ｉ番目の２Ｄ勾配行列を更新する。勾配方向がマスク内の画素に配置されていない（例えば、０度、４５度、９０度、１３５度、１８０度、…、３６０度ではない）場合、経路周囲の画素に対して補間を行うことにより、仮想画素を勾配方向として得られると理解すべきである。
【００４７】
別の例として、別の非最大抑制方法において、処理部１５は、使用中のマスク内の中央画素の総勾配の大きさが隣接する画素すべての総勾配の大きさよりも小さいか否かを判断してもよい。判断結果が肯定である場合、中央画素はエッジ画素ではないことを意味する。そのため、処理部１５は、使用中のマスク内の中央画素の水平方向勾配および垂直方向勾配を０に設定して、ｉ番目の２Ｄ勾配行列を更新する。各画素の総勾配の大きさは、等式４に基づいて計算される。
【数５】
2018116685.tif 000007
【００４８】
工程Ｓ３０５の実行後、更新されたｉ番目の２Ｄ勾配行列内の０ではない水平方向勾配および垂直方向勾配を有する画素は、あらかじめエッジ画素であると判断される。次に、処理部１５は、あらかじめエッジ画素であると判断された画素に対して間引き方法を行う。すなわち、これらのエッジ画素をさらに鮮明にする工程Ｓ３０７を実行する。工程Ｓ３０７において、処理部１５は、更新されたｉ番目の２Ｄ勾配行列にマスクを再度施して、隣接する垂直画素の総勾配の大きさおよび使用中のマスク内の中央画素の隣接する水平画素の総勾配の大きさが０でないかどうかを逐次判断する。隣接する垂直画素の総勾配の大きさおよび使用中のマスク内の中央画素の隣接する水平画素の総勾配の大きさがいずれも０ではない場合、処理部１５は、使用中のマスク内の中央画素の水平方向勾配および垂直方向勾配を０に設定して、ｉ番目の２Ｄ勾配行列を再度更新する。このようにして、更新されたｉ番目の２Ｄ勾配行列内の画素のうち総勾配の大きさが０ではない画素は、図８Ｂに示すようにエッジ画素であると判断される。
【００４９】
処理部１５は、図４Ａ〜図４Ｃに示す工程を実行して、上述のｉ番目の２Ｄ勾配行列内のエッジ画素であると判断された画素を接続し、これにより、複数の核ブロック１１０１をセグメント化する。まず、工程Ｓ４０１において、処理部１５は、８接続式接続性ルールに従ってエッジ画素を接続して、複数の線セグメントを形成する。接続されていないエッジ画素それぞれについて、処理部１５は、対象のエッジ画素に接続すべき隣のエッジ画素の総勾配の大きさが第１の閾値を上回るか否かを判断し、さらに、対象のエッジ画素の総勾配方向と対象のエッジ画素に接続すべき隣のエッジ画素の総勾配方向の間の角度が第２の閾値を下回るか否かを判断する。例えば、総勾配方向は、等式５に基づいて計算してもよい。
【数６】
2018116685.tif 000008
【００５０】
接続すべき隣のエッジ画素の総勾配の大きさが第１の閾値を上回り、なおかつ角度が第２の閾値を下回る場合、処理部１５は、対象のエッジ画素を隣のエッジ画素に接続し、接続されている隣のエッジ画素を対象のエッジ画素とみなす。その後、処理部１５は、隣のエッジ画素が接続に利用可能であるか否かを続けて判断し、判断結果が肯定である場合、隣のエッジ画素を接続する。したがって、接続に利用できる隣のエッジ画素が無いと判断されるまで、線セグメントが形成される。次に、処理部１５は、以下の工程に示すように、上述の線セグメントそれぞれについて判断を行い、どの線セグメントが正常な細胞核のエッジ画素であるかに関してエッジ画素を判断する。
【００５１】
工程Ｓ４０３において、処理部１５は、線セグメントの長さが第３の閾値の３／４未満であるか、または線セグメントの画素の平均勾配が第４の閾値未満であるかを判断する。これによって、長さが過度に短いまたは平均勾配が過度に小さい線セグメントを除去する。線セグメントの長さが第３の閾値の３／４未満であるか、または線セグメントの画素の平均勾配が第４の閾値未満である場合、処理部１５は工程Ｓ４１３を実行して、線セグメントおよびこれに対応するエッジ画素を除去する。上述の第３の閾値は、正常な細胞核のエッジ周囲長さでもよいこと理解すべきである。
【００５２】
その後、線セグメントが全体として閉曲線であるか否かを判断するために、処理部１５は工程Ｓ４０５をさらに実行して、線セグメントそれぞれの先頭エッジ画素（すなわち、始点）と終端エッジ画素（すなわち、終点）の間の距離が第５の閾値未満であるか否かを判断する。線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第５の閾値未満である場合、線セグメントは全体として閉曲線であり、線セグメントによって囲まれる領域は核ブロックであり得ることを意味する。次に、処理部１５は工程Ｓ４１５を実行して、線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第５の閾値未満であるか否かを判断する。
【００５３】
さらに、線セグメントの先頭エッジ画素と終端エッジ画素との間の距離が第５の閾値以上である場合、処理部１５は工程Ｓ４０７を実行して、線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第６の閾値未満であるか否かを判断する。線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第６の閾値未満である場合、エッジ補間処置を行うことにより、線セグメントの先頭エッジ画素と終端エッジ画素の間の距離を第５の閾値未満にし得ることを意味する。そのため、処理部１５は工程Ｓ４０９を実行して、線セグメントにエッジ補間処置を行う。第６の閾値は、線セグメントの長さを所定の比、例えば０．２５で乗算することによって得られる値でよいと理解すべきである。すなわち、線セグメントは、その先頭エッジ画素と終端エッジ画素の間の距離（すなわち、未接続の線セグメント）を、最大でも線セグメントの長さの１／４までにできる。
【００５４】
例えば、エッジ補間処置において、処理部１５は、先頭エッジ画素と終端エッジ画素の間の垂直距離および水平距離を計算して、水平距離が垂直距離よりも長いか否かを判断してもよい。水平距離が垂直距離よりも長い場合、エッジ補間処置は水平方向から開始される。水平方向が１画素分だけ前方に移動するたびに、垂直方向は先頭エッジ画素と終端エッジ画素を接続する線の傾きに沿って前方に移動する。逆に、水平距離が垂直距離よりも長くない場合、エッジ補間処置は垂直方向から開始される。垂直方向が１画素分だけ前方に移動するたびに、水平方向は先頭エッジ画素と終端エッジ画素を接続する線の傾きに沿って前方に移動する。
【００５５】
エッジ補間処置を行った後、処理部１５は工程Ｓ４１１を実行して、エッジ補間手順が行われた線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第５の閾値未満になったか否かを判断する。線セグメントの先頭エッジ画素および終端エッジ画素の間の距離がなおも第５の閾値以上である場合、未接続の線セグメントをエッジ補間処置によって補うことができないことを意味する。そのため、処理部１５は工程Ｓ４１３を実行して、線セグメントおよびこれに対応するエッジ画素を除去する。逆に、線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第５の閾値未満になった場合、処理部１５は工程Ｓ４１５を実行する。
【００５６】
次に、工程Ｓ４１５において、処理部１５は、線セグメントに対応するエッジ画素の総勾配方向が線セグメントの円心（すなわち、線セグメントで囲まれる領域の円心）を向いているか否かを判断して、線セグメントで囲まれる領域内の画素が核内細胞質偽封入体ブロックに属するか否かを判断する。一般的に言えば、細胞質の明度は細胞核の明度よりも高いため、細胞質のエッジ画素の総勾配方向は円心から細胞核のエッジ画素に向けられ、細胞核のエッジ画素の総勾配方向が円心に向いている細胞核の場合と逆になる。そのため、線セグメントに対応するエッジ画素の総勾配方向が線セグメントの円心に向いていない場合、処理部１５は工程Ｓ４２５を実行して、線セグメントで囲まれた領域内の画素を核内細胞質偽封入体ブロックに分類し、さらに工程Ｓ４１３を実行して、線セグメントおよびこれに対応するエッジ画素を除去する。核内細胞質偽封入体とは、膜で覆われ細胞質オルガネラを含む１つ以上の球状細胞質が細胞核に含まれることを指し、これは大抵の場合悪性の特性と判断されるものと理解すべきである。このような方法により、この種の核を分類して、その後のさらなる判断を促進することができる。そのため、図１５に示すように、核内細胞質偽封入体ブロックに分類された画素を後から可視化してもよい。
【００５７】
線セグメントのエッジ画素の総勾配方向が線セグメントの円心を向いている場合、処理部１５は工程Ｓ４１７を実行して、線セグメントの周囲長さが第３の閾値未満であるか否かを判断する。周囲長さが第３の閾値未満である場合、処理部１５は工程Ｓ４１３を実行して、線セグメントおよびこれに対応するエッジ画素を除去する。周囲長さが第３の閾値未満ではない場合、処理部１５は工程Ｓ４１９を実行して、線セグメントの円形度が第７の閾値以上であるか否かをさらに判断する。詳細には、処理部１５は、下記の等式６を用いて線セグメントの円形度を計算する。
【数７】
2018116685.tif 000009
ここで、Ａは線セグメントで囲まれた領域であり、Ｐは線セグメントの周囲長さである。
【００５８】
線セグメントの円形度が第７の閾値以上である場合、処理部１５は工程Ｓ４２３を実行して、線セグメントのエッジ画素を細胞核エッジとして分類し、線セグメントを完全かつほぼ円形の核エッジであると判断する。他方、線セグメントの円形度が第７の閾値未満である場合、処理部１５は工程Ｓ４２１を実行して、線セグメントの楕円度が第８の閾値以上であるか否かを判断する。詳細には、処理部１５は、線セグメントの楕円度を下記の等式７を用いて計算する。
【数８】
2018116685.tif 000010
ここで、Ａは線セグメントで囲まれた領域であり、Ｐは線セグメントの周囲長さであり、ｄ１は線セグメントで囲まれた領域の主軸長さであり、ｄ２は線セグメントで囲まれた領域の短軸長さである。
【００５９】
線セグメントの楕円度が第８の閾値以上である場合、工程Ｓ４２３を実行して線セグメントのエッジ画素を細胞核エッジとして分類し、線セグメントを完全かつ細長い（楕円形の）核エッジであると判断する。その後、細長い核エッジを可視化して、核ブロック間に少なくとも１つの細長い核ブロックを示す。逆に、線セグメントの楕円度が第８の閾値未満である場合、線セグメントのエッジ画素を不規則形状の核エッジであると判断し、工程Ｓ４１３を実行して線セグメントおよびこれに対応するエッジ画素を除去する。
【００６０】
したがって、図４Ｂおよび図４Ｃに示す動作後に除去されなかった線セグメントのエッジ画素は、正常な細胞核のエッジ画素である。そのため、処理部１５は、ｉ番目のエッジ行列および当該ｉ番目のエッジ行列のエッジ画素のｉ番目の接続情報を各ｉ番目の２Ｄ勾配行列に対して生成してもよい。その後、処理部１５は、第１のエッジ行列、第２のエッジ行列および第３のエッジ行列ならびに第１の接続情報、第２の接続情報および第３の接続情報を積分して、積分エッジ行列および積分エッジ行列のエッジ画素の積分接続情報を取得する。このようにして、エッジ検出段階において、処理部１５は、バックグラウンド除去画像中の核ブロックを最大範囲でセグメント化して、積分エッジ行列および積分エッジ行列のエッジ画素の積分接続情報に基づいてどんな核ブロックも見逃さないようにして、核内細胞質偽封入体ブロックを取得することができる。
【００６１】
さらに、第１のエッジ行列、第２のエッジ行列および第３のエッジ行列ならびに第１の接続情報、第２の接続情報および第３の接続情報を上述のように積分する方法は、第１のエッジ行列、第２のエッジ行列および第３のエッジ行列内の線セグメントの重心（すなわち、核エッジ）を比較することにより実現され得る。例えば、第２のエッジ行列を入手した後、処理部１５は、少なくとも１つの新たな線セグメント（すなわち、核エッジ）が存在し、その線セグメントの重心と、第１のエッジ行列の線セグメント（すなわち、核領域）によって囲まれた領域の複数の重心の間にある複数の重心距離がすべて第２のエッジ行列の線セグメント間において核の平均短軸長さよりも長いか否かを判断する。すべての重心距離が核の平均短軸長さよりも長い場合、少なくとも１つの新たな線セグメントは第１のエッジ行列内に存在しないことを意味する。そのため、少なくとも１つの新たな線セグメント（すなわち、核エッジ）のエッジ画素は第１のエッジ行列に加えられて積分エッジ行列が生成される。さらに、少なくとも１つの新たな線セグメントと関連付けられた接続情報が第１の接続情報に加えられて、積分接続情報が生成される。
【００６２】
同様に、積分エッジ行列および積分接続情報を取得した後、処理部１５は、少なくとも１つの新たな線セグメントがあり、その線セグメントの重心と、積分エッジ行列の線セグメント（すなわち、核領域）で囲まれた領域の複数の重心の間にある複数の重心距離がすべて第３のエッジ行列の線セグメント間において核の平均短軸長さよりも長いか否かを判断する。すべての重心距離が核の平均短軸長さよりも長い場合、少なくとも１つの新たな線セグメントは積分エッジ行列内に存在しないことを意味する。したがって、少なくとも１つの新たな線セグメント（すなわち、核エッジ）のエッジ画素が積分エッジ行列に加えられて、積分エッジ行列が更新される。そして、少なくとも１つの新たな線セグメントと関連付けられた接続情報が積分接続情報に加えられて、積分接続情報が更新される。このようにして、処理部１５は、線セグメント（すなわち、核領域）で囲まれた領域の重心を比較することにより、第１のエッジ行列、第２のエッジ行列および第３のエッジ行列ならびに第１の接続情報、第２の接続情報および第３の接続情報を積分することができる。
【００６３】
３つのエッジ行列およびこれらの行列に対応する接続情報が上述の実施例において生成されるが、これは模範的な例であると理解すべきである。しかしながら、本発明は２つのエッジ行列およびこれらの行列に対応する接続情報のみを積分してもよく、または、本発明は４つ以上のエッジ行列およびこれらの行列に対応する接続情報を生成および積分してもよいことは、当業者であれば上述の記載を鑑みて理解の及ぶことだろう。したがって、任意の数のエッジ行列およびこれらの行列に対応する接続情報の生成および積分はすべて、本発明の範囲に入るであろう。
【００６４】
本発明の第３の実施例は、第２の実施例をさらに拡張したものである。本実施例において、いくつかのエッジ行列およびこれらの行列に対応する接続情報を取得した後でありこれらのエッジ行列およびこれらの行列に対応する接続情報を積分する前に、処理部１５は、線セグメントのエッジ画素およびバックグラウンド除去画像１０３に基づいて、他の線セグメントが各エッジ行列の核エッジであり得るかどうかを再確認してもよい。
【００６５】
詳細には、処理部１５は、バックグラウンド除去画像１０３の各線セグメントで囲まれた領域（すなわち、完全な核エッジ）内の画素をｉ番目のエッジ行列およびその行列のｉ番目の接続情報に基づいてバックグラウンド画素として設定して、一時的バックグラウンド除去画像１０３＿ｔｅｍｐを生成する。本発明は、一時的バックグラウンド除去画像に対して最初に適切な正規化処理を行って、一時的バックグラウンド除去画像の画素をさらに強調することも可能であると理解すべきである。
【００６６】
その後、工程Ｓ３０１と同様に、処理部１０５は、一時的バックグラウンド除去画像１０３＿ｔｅｍｐをグレースケール画像に変換して２Ｄグレースケール行列を生成し、工程Ｓ３０３〜Ｓ３０７および工程Ｓ４０１〜Ｓ４２５を２Ｄグレースケール行列に対して実行して、一時的バックグラウンド除去画像１０３＿ｔｅｍｐのｉ番目のエッジ行列およびｉ番目の接続情報を取得する。
【００６７】
その後、処理部１５は、一時的バックグラウンド除去画像１０３＿ｔｅｍｐのｉ番目のエッジ行列およびｉ番目の接続情報中にエッジ画素が存在するか否かを判断する。エッジ画素が存在する場合、エッジ画素を接続させる線セグメントによって囲まれた領域は核ブロックであることを意味する。したがって、一時的バックグラウンド除去画像１０３＿ｔｅｍｐのｉ番目のエッジ行列およびｉ番目の接続情報は、それぞれバックグラウンド除去画像１０３のｉ番目のエッジ行列およびｉ番目の接続情報に組み込まれる。
【００６８】
その後、処理部１５は、更新されたバックグラウンド除去画像１０３のｉ番目のエッジ行列およびｉ番目の接続情報に基づいて、新たな一時的バックグラウンド除去画像１０３＿ｔｅｍｐを生成する。同様に、処理部１０５は、新たな一時的バックグラウンド除去画像１０３＿ｔｅｍｐをグレースケール画像に変換して２Ｄグレースケール行列を生成し、工程Ｓ３０３〜Ｓ３０７および工程Ｓ４０１〜Ｓ４２５を２Ｄグレースケール行列に対して実行して、新たな一時的バックグラウンド除去画像１０３＿ｔｅｍｐのｉ番目のエッジ行列およびｉ番目の接続情報をそれぞれバックグラウンド除去画像１０３のｉ番目のエッジ行列およびｉ番目の接続情報に組み込む。このようにして、上述の動作を通じて処理部１５は、新たな一時的バックグラウンド除去画像１０３＿ｔｅｍｐ中にエッジ画素（すなわち、核エッジ）が無くなるまで、すなわち一時的バックグラウンド除去画像１０３＿ｔｅｍｐにセグメント化可能な核ブロックが無くなるまで、新たな一時的バックグラウンド除去画像１０３＿ｔｅｍｐを連続的に生成して、新たな一時的バックグラウンド除去画像１０３＿ｔｅｍｐのｉ番目のエッジ行列およびｉ番目の接続情報をそれぞれバックグラウンド除去画像１０３のｉ番目のエッジ行列およびｉ番目の接続情報に組み込むことができる。
【００６９】
本発明の第４の実施例も、第２の実施例をさらに拡張したものである。本実施例において、エッジ行列およびこれらの行列に対応する接続情報を積分した後、処理部１５は、線セグメントのエッジ画素およびバックグラウンド除去画像１０３に基づいて、他の線セグメントが核エッジであり得るか否かを再確認してもよい。
【００７０】
詳細には、処理部１５は工程Ｓ５０１を実行して、各線セグメントのエッジ画素およびバックグラウンド除去画像１０３の各線セグメントによって囲まれた領域（すなわち、完全な核エッジ）内にある画素を、積分エッジ行列および積分エッジ行列のエッジ画素の接続情報に従ってバックグラウンド画素として設定して、一時的バックグラウンド除去画像１０３＿ｔｅｍｐを生成する。次に、処理部１５は、一時的バックグラウンド除去画像１０３＿ｔｅｍｐの画素の色属性のうち少なくとも１つに従って一時的バックグラウンド除去画像１０３＿ｔｅｍｐを白黒画像に変換して、２Ｄ二値行列を生成する。例えば、ＨＳＶ色空間において、処理部１５は、一時的バックグラウンド除去画像１０３＿ｔｅｍｐの画素の明度に従って一時的バックグラウンド除去画像１０３＿ｔｅｍｐを白黒画像に変換して、２Ｄ二値行列を生成する。例えば、処理部１５は、一時的バックグラウンド除去画像１０３＿ｔｅｍｐの核部分に属する画素を最も明るくなるように調節し、一時的バックグラウンド除去画像１０３＿ｔｅｍｐの細胞質部分に属する画素を最も暗くなるように調節して、白黒画像を生成してもよい。また、一時的バックグラウンド除去画像１０３＿ｔｅｍｐをＲＧＢ色空間中の白黒画像に変換する方法は当業者であれば理解の及ぶはずであろうから、本明細書においてはさらなる説明を控える。
【００７１】
その後、処理部１５は工程Ｓ５０５を実行して、パラメータを有するデリチェフィルタ行列で２Ｄ二値行列を乗算して２Ｄ勾配行列を得る。上述のように、２Ｄ勾配行列は、各画素のその隣接画素に対する水平方向勾配および垂直方向勾配を記録する。次に、工程Ｓ３０５と同様に、処理部１５は工程Ｓ５０７を実行して、２Ｄ勾配行列にマスクを施す。マスク内の中央画素の総勾配の大きさがマスクにおける相対的最大値ではない場合、中央画素の水平方向勾配および垂直方向勾配を０に設定して、２Ｄ勾配行列を更新する。
【００７２】
その後、工程Ｓ３０７と同様に、処理部１５は、工程Ｓ５０９を実行して、更新された２Ｄ勾配行列にマスクを施す。マスク内の中央画素の隣接する垂直画素の総勾配の大きさおよび隣接する水平画素の総勾配の大きさがいずれも０ではない場合、中央画素の水平方向勾配および垂直方向勾配を０に設定して、２Ｄ勾配行列を更新する。更新された２Ｄ勾配行列において水平方向勾配および垂直方向勾配が０ではない画素は、エッジ画素である。
【００７３】
次に、工程Ｓ４０１と同様に、処理部１５は工程Ｓ６０１を実行して、８接続式接続性ルールに従ってエッジ画素を接続して、複数の線セグメントを形成する。前述したものと異なり、対象のエッジ画素の総勾配方向と、対象のエッジ画素に接続された隣のエッジ画素の総勾配方向の間の角度は、第２の閾値未満にする必要がある。
【００７４】
次に、処理部１５は、図６Ｂおよび図６Ｃに示すような工程を線セグメントのそれぞれに対して実行する。工程Ｓ６０３において、処理部１５は、線セグメントの長さが第３の閾値の３／４未満であるか否かを判断する。線セグメントの長さが第３の閾値の３／４未満である場合、処理部１５は工程Ｓ６１３を実行して、線セグメントおよびこの線セグメントに対応するエッジ画素を除去する。逆に、線セグメントの長さが第３の閾値の３／４未満ではない場合、処理部１５は工程Ｓ６０５を実行して、各線セグメントにおける先頭エッジ画素と終端エッジ画素の間の距離が第５の閾値未満であるか否かを判断する。距離が第５の閾値未満である場合、処理部１５は工程Ｓ６１５を実行する。
【００７５】
他方、距離が第５の閾値以上である場合、処理部１５は工程Ｓ６０７を実行して、線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第６の閾値未満であるか否かを判断する。距離が第６の閾値未満である場合、処理部１５は工程Ｓ６０９を実行して、線セグメントに対してエッジ補間処置を実行する。その後、工程Ｓ６１１において処理部１５は、エッジ補間処置によって処理された線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第５の閾値未満であるか否かを判断する。距離が第５の閾値未満ではない場合、処理部１５は工程Ｓ６１３を実行して、線セグメントおよびこの線セグメントに対応するエッジ画素を除去する。
【００７６】
エッジ補間処置後に線セグメントの先頭エッジ画素と終端エッジ画素の間の距離が第５の閾値未満になった場合、処理部１５は工程Ｓ６１５を実行する。工程Ｓ６１５において、処理部１５は、線セグメントに対応するエッジ画素の総勾配方向が線セグメントで囲まれた領域の円心を向いているか否かを判断する。勾配方向が円心を向いていない場合、線セグメントで囲まれた領域内の画素を核内細胞質偽封入体ブロックに分類し、工程Ｓ６１３を実行して線セグメントおよびこの線セグメントに対応するエッジ画素を除去する。
【００７７】
線セグメントに対応するエッジ画素の勾配方向が線セグメントの円心を向いている場合、処理部１５は工程Ｓ６１７を実行して、線セグメントの周囲長さが第３の閾値未満であるか否かを判断する。周囲長さが第３の閾値未満である場合、工程Ｓ６１３を実行して、線セグメントおよびこの線セグメントに対応するエッジ画素を除去する。周囲長さが第３の閾値を超える場合、処理部１５は工程Ｓ６１９を実行する。工程Ｓ６１９において、処理部１５は、線セグメントの円形度が第７の閾値以上であるか否かを判断する。円形度が第７の閾値以上である場合、処理部１５は工程Ｓ６２３を実行して、線セグメントのエッジ画素を核エッジとして分類して、エッジ画素を完全でほぼ円形の核エッジであるものと判断する。
【００７８】
他方、線セグメントの円形度が第７の閾値未満である場合、処理部１５は工程Ｓ６２１を実行して、線セグメントの楕円度が第８の閾値以上であるか否かを判断する。線セグメントの楕円度が第８の閾値以上である場合、工程Ｓ６２３を実行して、線セグメントのエッジ画素を核エッジとして分類して、エッジ画素を完全な細長い（楕円形）核エッジであるものと判断する。その後、細長い核エッジを可視化して、核ブロック間にある少なくとも１つの細長い核ブロックを示す。逆に、線セグメントの楕円度が第８の閾値未満の場合には、線セグメントのエッジ画素は不規則形状の核エッジであるものと判断し、工程Ｓ６１３を実行して線セグメントおよびこの線セグメントに対応するエッジ画素を除去する。
【００７９】
上述の動作を行った後でも除去されない線セグメントのエッジ画素は正常な細胞核のエッジ画素であるため、処理部１５はエッジ行列およびエッジ行列のエッジ画素の接続情報を取得することができる。このように、処理部１５は、一時的バックグラウンド除去画像１０３＿ｔｅｍｐに基づいて得られたエッジ行列およびエッジ行列の接続情報をそれぞれ、第２の実施例において生成された積分エッジ行列および積分エッジ行列のエッジ画素の統合接続情報に上述の動作を通じて組み込むことができる。これによって、バックグラウンド除去画像１０３内の核ブロック１１０１を極力高精度にセグメント化できる。
【００８０】
加えて、上述の実施例において、核ブロックのセグメント化後に、細胞質部分に関し、処理部１５は、セグメント化された核ブロック内に配置されかつ核内細胞質偽封入体ブロック内に配置されていない複数の画素を細胞質部分が有するか否かをさらに判断することも可能である。そして、このような画素が存在する場合、処理部１５はこれらの画素を核部分として再度分類する。
【００８１】
上述の記載によれば、本発明は、細胞画像を核部分および細胞質部分に分割し、核ブロックをセグメント化することにより、従来技術と比較して細胞画像および分析画像が定量化された関連パラメータを提供することができる。このようにして、本発明によって提供される細胞画像に関する高度な情報は、医師による細胞画像の診断を支援し、同一の細胞画像に対して別々の医師により診断結果が相違することを減らすことができる。これによって、患者の病状を判断する際の診断精度を向上させることができる。
【００８２】
上述の開示は、詳細な技術的内容およびその発明的特徴に関するものである。当業者であれば、記載された本発明の開示および示唆に基づいて、本発明の特徴から逸脱することなく、様々な変更および置換を行うことができる。このような変更および置換について、上述の記載では完全には開示されてはいないものの、以下に添付した特許請求の範囲に実質的に網羅されている。
【図１】
2018116685.tif 000011
【図２Ａ】
2018116685.tif 000012
【図２Ｂ】
2018116685.tif 000013
【図２Ｃ】
2018116685.tif 000014
【図３】
2018116685.tif 000015
【図４Ａ】
2018116685.tif 000016
【図４Ｂ】
2018116685.tif 000017
【図４Ｃ】
2018116685.tif 000018
【図５】
2018116685.tif 000019
【図６Ａ】
2018116685.tif 000020
【図６Ｂ】
2018116685.tif 000021
【図６Ｃ】
2018116685.tif 000022
【図７Ａ】
2018116685.tif 000023
【図７Ｂ】
2018116685.tif 000024
【図８Ａ】
2018116685.tif 000025
【図８Ｂ】
2018116685.tif 000026
【図９】
2018116685.tif 000027
【図１０】
2018116685.tif 000028
【図１１】
2018116685.tif 000029
【図１２】
2018116685.tif 000030
【図１３】
2018116685.tif 000031
【図１４】
2018116685.tif 000032
【図１５】
2018116685.tif 000033
【図１６】
2018116685.tif 000034
【外国語明細書】
2018116685000001.pdf