(57)【要約】  検出輝点を含む観察画像を興味領域と非興味領域とに分割する。非興味領域の輝度値を所定の輝度値に置換することにより第一の画像を得る。第一の画像に輝点強調の処理を実行することにより第二の画像を得る。第二の画像において検出輝点を抽出する。この画像処理方法により、観察画像中の検出輝点を精度よく抽出することができる。
2016194338.tif 000002
【特許請求の範囲】
【請求項１】
検出輝点を含む観察画像を興味領域と非興味領域とに分割するステップと、
前記非興味領域の輝度値を所定の輝度値に置換することにより第一の画像を得るステップと、
前記第一の画像に輝点強調の処理を実行することにより第二の画像を得るステップと、
前記第二の画像において前記検出輝点を抽出するステップと、
を含む画像処理方法。
【請求項２】
前記観察画像を前記興味領域と前記非興味領域とに分割する前記ステップは、輝度の閾値と大きさの閾値とを用いて前記観察画像を前記興味領域と前記非興味領域とに分割するステップを含む、請求項１に記載の画像処理方法。
【請求項３】
前記観察画像を前記興味領域と前記非興味領域とに分割する前記ステップは、モルフォロジー処理を用いて前記興味領域の輪郭線を補正するステップを含む、請求項１に記載の画像処理方法。
【請求項４】
前記第二の画像を得る前記ステップは、前記第一の画像にアンシャープマスクによる輝点強調の処理を実行することにより前記第二の画像を得るステップを含む、請求項１に記載の画像処理方法。
【請求項５】
前記所定の輝度値は、前記観察画像の平均輝度を基に算出した値である、請求項１に記載の画像処理方法。
【請求項６】
前記検出輝点を抽出する前記ステップは、輝度値の閾値と大きさの閾値とを用いて前記検出輝点を抽出するステップを含む、請求項１に記載の画像処理方法。
【請求項７】
検出輝点を含む観察画像を記憶する記憶部と、
前記観察画像の領域を興味領域と非興味領域とに分割し、
前記非興味領域の輝度値を所定の輝度値に置換することにより第一の画像を得て、
前記第一の画像に対して輝点強調の処理を実行することにより第二の画像を得て、
前記第二の画像において前記検出輝点を抽出する、
ように構成された処理部と、
を備えた画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、観察画像内の検出対象物を抽出する画像処理方法に関する。
【背景技術】
【０００２】
病原菌に感染した細胞や、所定のタンパク質等を有する細胞を検出することは、食品や医療の分野において重要である。例えば、病原菌の感染率等を調べることにより、動植物の健康状態を知ることができる。病原菌の感染率を調べるためには、観察画像内の細胞の数と細胞内の病原菌の数を抽出することが必要である。【０００３】
従来、細胞内の病原菌の数は、蛍光色素で標識した病原菌の蛍光観察画像を画像解析することにより計測される。一方、細胞の数は、例えば、病原菌を標識する蛍光色素とは異なる蛍光色素で染色した細胞の蛍光観察画像を画像解析することにより計測される。また、別の方法として、細胞の数は、細胞の明視野観察画像を画像解析することにより計測される。病原菌の感染率は、計測された病原菌の数および細胞の数を用いて計算される。【０００４】
なお、本開示に関連する先行技術文献は、例えば、特許文献１および特許文献２が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−５７６３１号公報
【特許文献２】特開２００４−５４９５６号公報
【発明の概要】
【０００６】
検出輝点を含む観察画像を興味領域と非興味領域とに分割する。非興味領域の輝度値を所定の輝度値に置換することにより第一の画像を得る。第一の画像に輝点強調の処理を実行することにより第二の画像を得る。第二の画像において検出輝点を抽出する。
【０００７】
この画像処理方法により、観察画像中の検出輝点を精度よく抽出することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は実施の形態における画像処理方法の観察画像を示す図である。
【図２】図２は実施の形態における画像処理方法のフローを示す図である。
【図３Ａ】図３Ａは実施の形態における画像処理方法での画像を示す図である。
【図３Ｂ】図３Ｂは実施の形態における画像処理方法での画像を示す図である。
【図３Ｃ】図３Ｃは実施の形態における画像処理方法での画像を示す図である。
【図３Ｄ】図３Ｄは実施の形態における画像処理方法での画像を示す図である。
【図３Ｅ】図３Ｅは実施の形態における画像処理方法での画像を示す図である。
【図４】図４は実施の形態における画像処理装置のブロック図である。
【発明を実施するための形態】
【０００９】
以下では、本開示の実施の形態に係る画像処理方法について、図面を参照しながら説明する。なお、本開示は、本明細書に記載された基本的な特徴に基づく限り、以下に記載の内容に限定されるものではない。
【００１０】
本実施の形態における画像処理方法は、例えば、試料と試料に含まれる検出対象物を撮影した蛍光観察画像に用いることができる。
【００１１】
試料は、細胞や組織など生体からの採取物である。細胞は、赤血球やＩＰＳ細胞（Ｉｎｄｕｃｅｄ  Ｐｌｕｒｉｐｏｔｅｎｔ  Ｓｔｅｍ  Ｃｅｌｌｓ）などである。また、検出対象物は、試料内部に存在するマラリア属原虫、ヘモプラズマ属原虫、バベシア属原虫などの寄生虫、ウィルス、たんぱく質、細胞核または異物などである。
【００１２】
本実施の形態において、試料は赤血球であり、検出対象物は赤血球の内部に存在する寄生虫であるとして画像処理方法を説明する。
【００１３】
図１は実施の形態における画像処理方法に用いる観察画像１０を示す。
【００１４】
観察画像１０は、例えば、蛍光色素で修飾した試料および検出対象物を蛍光検出装置で撮影した蛍光観察画像である。
【００１５】
試料は、所定の波長の励起光で蛍光を発する蛍光色素と特異的に結合している。蛍光色素は、例えば、試料に特有のタンパク質と選択的に結合する抗原等を含む。これにより、蛍光検出装置は、試料のみを撮影することができる。同様に、検出対象物は、所定の波長の励起光で蛍光を発する蛍光色素と特異的に結合している。なお、試料を示す蛍光色素が蛍光を発する励起光の波長は、検出対象物を示す蛍光色素が蛍光を発する励起光の波長と異なることが望ましい。これにより、蛍光検出装置は、検出対象物のみを撮影することができる。このとき、蛍光検出装置は２種類の波長の励起光を照射する光学系を備える。観察画像１０は、２波長の励起光を用いて撮影される。
【００１６】
観察画像１０は、互いに異なる励起光でそれぞれ撮影された複数の画像を重ね合わせて得られた画像である。なお、重ね合わせる複数の画像のうちの１枚は、位相差等を用いた透過光観察画像でもよい。透過光観察画像は、例えば、試料を撮影した画像である。
【００１７】
観察画像１０は、興味領域１１と非興味領域１２とを有する。興味領域１１は試料である赤血球が存在する領域である。非興味領域１２は、観察画像１０のうち興味領域１１以外の領域である。
【００１８】
また、観察画像１０は、蛍光色素から発せられる蛍光の輝点１３を有する。輝点１３は、検出対象物を示す検出輝点１４と非検出対象物を示す非検出輝点１５とを含む。
【００１９】
本実施の形態において、検出対象物である寄生虫は赤血球内に存在する。したがって、検出輝点１４は、興味領域１１内に存在する輝点１３である。また、検出ノイズである非検出輝点１５は、非興味領域１２内に存在する輝点１３である。
【００２０】
実施の形態における画像処理方法は、検出輝点１４を抽出するために実行される。
【００２１】
図２は実施の形態における画像処理方法のフローチャートである。図３Ａから図３Ｅは実施の形態における画像処理方法での画像を示す。
【００２２】
画像処理を適用する観察画像１０を取得する（ステップＳ０１）。図３ＡはステップＳ０１で取得した観察画像１０を示す。
【００２３】
観察画像１０の複数のピクセルは、複数のピクセルにそれぞれ対応する輝度値のデータを有している。例えば、観察画像１０のピクセルの輝度値は、検出対象物の位置のピクセルの輝度値、バックグラウンドの位置のピクセルの輝度値、試料の位置のピクセルの輝度値の順に小さくなる。
【００２４】
なお、輝度値の大きさの順番は、観察画像１０の取得方法に応じて決まるものである。画像処理方法が用いられる輝度値の大きさの順は、特に限定されない。
【００２５】
次に、観察画像１０の領域を、興味領域１１と非興味領域１２とに分割する（ステップＳ０２）。図３ＢはステップＳ０２で得られた観察画像１０を示す。興味領域１１は、観察画像１０において、試料が存在している領域である。興味領域１１以外の領域は、非興味領域１２である。つまり、非興味領域１２は、試料が存在しない領域である。非興味領域１２は、例えば、検査プレートなどのバックグラウンドの領域である。
【００２６】
興味領域１１と非興味領域１２との分割は、観察画像１０の輝度値を用いて行う。所定の輝度の閾値で、観察画像１０を２値化することにより、興味領域１１と非興味領域１２とを判別する。
【００２７】
興味領域１１と非興味領域１２とを分割する輝度の閾値は、試料の輝度値とバックグラウンドの輝度値との間の値に設定することができる。この場合には、例えば、その閾値未満の輝度値を有するピクセルは興味領域１１に含まれると判定し、その閾値以上の輝度値を有するピクセルは非興味領域１２に含まれると判定する。
【００２８】
また、興味領域１１は、上限値と下限値とからなる２つの閾値で特定してもよい。この場合には、例えば、下限値以上で上限値未満輝度値を有するピクセルは興味領域１１に含まれると判定し、上限値以上または下限値未満の輝度値を有するピクセルは非興味領域１２に含まれると判定する。これにより、さらに正確に興味領域１１を特定することができる。
【００２９】
興味領域１１は大きさの閾値をさらに用いて特定してもよい。この場合には、上記の輝度値により興味領域１１に含まれると判定された複数のピクセルよりなる１つの候補領域が大きさの閾値以上の大きさを有する場合、その候補領域は興味領域１１であると判定する。その候補領域が大きさの閾値未満の大きさを有する場合、その候補領域は興味領域１１ではなく非興味領域１２に含まれると判定する。これにより、ランダムノイズによる輝度の下ぶれで発生してかつ試料の大きさよりも小さい領域を非興味領域１２とみなすことができる。そのため、興味領域１１の誤判別を抑制することができる。
【００３０】
なお、興味領域の大きさは、興味領域の面積である。例えば、面積は、所定の輝度値以上を有する連続したピクセルの数で表される。
【００３１】
領域の分割に用いる輝度の閾値および大きさの閾値は、試料に応じてあらかじめ設定される。
【００３２】
なお、２値化の処理を行った画像は、本来であれば試料の存在する領域の内部や輪郭に領域欠けが生じる場合がある。領域欠けは、試料の内部に存在する検出対象物の蛍光シグナルや試料が部分的に透けてバックグラウンドと同等の輝度になることにより生じる。領域欠けは、後の検出輝点の抽出に影響を及ぼす。したがって、欠けた領域を埋めることにより画像を補正する必要がある。欠けた領域は、２値化の処理を行った画像にモルフォロジー処理を行うことにより補正される。
【００３３】
モルフォロジー処理は、画像内の１つのピクセルのデータを、その１つのピクセルの周囲のピクセルを参照してデータを更新する処理である。具体的には、２値化により非興味領域１２と判定されたピクセルは、そのピクセルに隣接するピクセルのうちの所定の個数以上が興味領域１１に属する場合、興味領域１１とみなすように変換される。
【００３４】
また、領域欠けを抑制する方法として、画像全体を平滑化する方法を用いてもよい。平滑化する方法としては、ガウシアンマスクまたはバイラテラルマスクなどがある。画像を平滑化することにより試料領域の内部の欠けた領域の輝度をその領域の周囲の輝度、すなわち、試料の領域の輝度に近づけることができる。そのため、画像全体を平滑化することにより、領域欠けを抑制することができる。
【００３５】
ガウシアンマスクは、１つのピクセルの輝度値について、そのピクセルの輝度値と、そのピクセルからの距離に応じてガウシアン分布で重み付けした周囲のピクセルの輝度値と、を用いて画像全体の輝度値を平滑化する処理である。
【００３６】
また、バイラテラルマスクは、１つのピクセルの輝度値について、そのピクセルの輝度値と、そのピクセルからの距離および輝度値の差を考慮してガウシアン分布により重み付けした周囲のピクセルの輝度値と、を用いて画像全体の輝度値を平滑化する処理である。
【００３７】
なお、画像を平滑化する前に、試料の内部に存在する検出対象物の蛍光シグナルを含めた全ての輝点を所定の閾値で予め抽出してもよい。抽出した輝度値を、バックグラウンドの輝度値と試料領域の分割に用いる輝度の閾値との間の所定の輝度値で置換する。これにより、突出して大きい輝度値を有するピクセルをなくすことができる。そのため、興味領域１１と非興味領域１２とをより正確に切り分けることができる。
【００３８】
次に、観察画像１０の非興味領域１２に位置するピクセルの輝度値を、所定の輝度値に置換する（ステップＳ０３）。図３ＣはステップＳ０３で観察画像１０の非興味領域１２の輝度値を所定の輝度値に置換した画像１６を示す。所定の輝度値は、例えば、観察画像１０の一部の領域の平均輝度値、または、全体の平均輝度値、または、それらの平均輝度値から算出した輝度値である。平均輝度値から算出した輝度値は、例えば、平均輝度値よりも大きく、検出輝点よりも小さい値である。
【００３９】
なお、非興味領域１２の全てのピクセルの輝度値を所定の輝度値へ置換してもよい。また、非興味領域１２のピクセルのうち、所定の輝度値より大きい輝度値を有するピクセルの輝度値を所定の輝度値へ置換してもよい。この場合、所定の輝度値以下の輝度値を有するピクセルの輝度値はそのままで変換されない。
【００４０】
ステップＳ０３の処理により、非興味領域１２に存在する非検出輝点１５は取り除かれる。
【００４１】
次に、ステップＳ０３で得られた画像１６に対して輝点強調の処理を行う（ステップＳ０４）。輝点強調の処理により、観察画像１０中の微弱な蛍光を明瞭にし、検出輝点１４を抽出し易くすることができる。図３Ｄは輝点強調の処理が行われた画像１７を示す。
【００４２】
輝点強調の処理は、例えば、アンシャープマスクで行われる。アンシャープマスクは、微弱な蛍光シグナルを強調させる処理として用いられる。以下では、ガウシアンマスクによるアンシャープマスクを用いて輝点強調の処理を説明する。
【００４３】
アンシャープマスクは、例えば、解析対象の観察画像１０の各ピクセルにおいて、画像１６のピクセルの輝度値Ｌ１と、ガウシアンマスクにより平滑化した画像１６のピクセルの輝度値Ｇａと、重み付けの係数Ｈａとを用いて以下の式により画像１７のピクセルの輝度値Ｌ２を置換する処理である。
Ｌ２＝Ｌ１＋（Ｌ１−Ｈａ×Ｇａ）／（１−Ｈａ）
なお、ステップＳ０３の操作は、ステップＳ０４において興味領域１１の縁部でアンシャープマスクを行うために必要である。例えば、ステップＳ０２において、興味領域１１を切り取り、非興味領域１２のピクセルが輝度値を有しない状態にした場合、興味領域１１と非興味領域１２の境目でアンシャープマスクを実行することができない。一方、実施の形態における画像処理方法では、非興味領域１２に所定の輝度値を入れる操作を行うことにより、アンシャープマスクを実行することができる。
【００４４】
なお、輝点強調の処理は、フーリエ変換によるバンドパスフィルタやマキシマムフィルタを用いる方法で行ってもよい。バンドパスフィルタによる輝点強調の処理は、フーリエ変換を行うことにより、検出輝点１４に特有の高周波成分を強調させる。マキシマムフィルタによる輝点強調の処理は、所定範囲内のピクセルのうち最大の輝度値で、所定範囲内のピクセルの輝度値を置換する。
【００４５】
次に、画像１７において強調した検出輝点１４を抽出する（ステップＳ０５）。これにより、観察画像１０内の検出対象物を検出することができる。図３ＥはステップＳ０５で得られた画像１９を示す。
【００４６】
検出輝点１４は、輝度値の閾値を用いて検出する。輝度の閾値は、ステップＳ０３における非興味領域１２の輝度値の置換に用いた所定の輝度値と検出輝点１４の輝度値との間の値である。すなわち、処理部２２は、例えば、輝度の閾値以上の輝度値を有するピクセルは検出輝点１４に含まれると判定し、その閾値未満の輝度値を有するピクセルは検出輝点１４に含まれないと判定する。なお、検出輝点１４の輝度値は、例えば、検出対象物を示すピクセルの輝度値の平均値である。
【００４７】
検出輝点１４は、大きさの閾値をさらに用いて検出してもよい。この場合には、処理部２２は、上記の輝度値により検出輝点１４に含まれると判定された複数のピクセルよりなる１つの候補領域が大きさの上限閾値以下で、かつ下限閾値以上の大きさを有する場合、その候補領域は検出輝点１４であると判定する。その候補領域が上限閾値より大きい面積を有する場合、または、下限閾値より小さい面積を有する場合、その候補領域は検出輝点１４ではないと判定する。
【００４８】
図４は実施の形態における画像処理方法を実行する画像処理装置２０のブロック図である。
【００４９】
画像処理装置２０は、観察画像１０を記憶する記憶部２１と、観察画像１０に画像処理方法を実行する処理部２２とを備える。
【００５０】
処理部２２は、画像処理方法のプログラムを実行するＣＰＵを含む。プログラムは、例えば、処理部２２のメモリ等に記憶されている。なお、プログラムは、記憶部２１や外部の記憶装置などに記憶されていてもよい。
【００５１】
画像処理装置２０は、計測した検出輝点１４の数、試料の数および計算した感染率等を表示する表示部２３を備えてもよい。表示部２３は、例えば、ディスプレイ等である。
【００５２】
また、画像処理方法のプログラムは、パーソナルコンピュータにより実行されてもよい。
【００５３】
蛍光観察において、病原菌等の検出対象物を標識する蛍光色素は、検出対象物以外のものとも結合する。検出対象物以外のものと結合した蛍光色素が発する蛍光は、観察画像上でノイズとなる。ノイズは、検出対象物の誤抽出の原因となる。そのため、検出対象物を正確に抽出するためには、検出対象物を示す蛍光点が細胞内を意味する興味領域にあるか、細胞外を意味する非興味領域にあるかを判別する必要がある。
【００５４】
前述の従来の画像処理方法では、正確に輝点の位置を判別することは難しい。そのため、従来の方法は、観察画像中の検出対象物を示す検出輝点を精度良く抽出できない。
【００５５】
実施の形態における画像処理方法は、従来の画像処理方法では困難であった、興味領域１１と非興味領域１２とを分割して興味領域外のノイズの排除を行う処理と、アンシャープマスクの処理とを両立することができる。したがって、実施の形態における画像処理方法により、観察画像中の検出輝点１４を精度良く抽出することができ、検出対象物を正確に検出することができる。
【００５６】
なお、本実施の形態は、興味領域１１を試料の存在領域と設定して試料内に存在する検出対象物を示す検出輝点１４を抽出するが、これに限定されない。興味領域１１は、検出対象物の存在する領域に応じて設定することができる。例えば、興味領域１１を試料外として設定することにより、試料外に存在する検出対象物を示す輝点を抽出してもよい。また、観察画像１０は、蛍光観察画像に限られない。観察画像１０は、例えば、蛍光を含まない観察画像でもよい。
【００５７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。従って、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００５８】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。
【産業上の利用可能性】
【００５９】
本開示の画像処理方法は、細胞や組織等の観察画像の処理に特に有用である。
【符号の説明】
【００６０】
１０    観察画像
１１    興味領域
１２    非興味領域
１３    輝点
１４    検出輝点
１５    非検出輝点
１６    画像（第一の画像）
１７    画像（第二の画像）
２０    画像処理装置
２１    記憶部
２２    処理部
２３    表示部
【図１】
2016194338.tif 000003
【図２】
2016194338.tif 000004
【図３Ａ】
2016194338.tif 000005
【図３Ｂ】
2016194338.tif 000006
【図３Ｃ】
2016194338.tif 000007
【図３Ｄ】
2016194338.tif 000008
【図３Ｅ】
2016194338.tif 000009
【図４】
2016194338.tif 000010
【国際調査報告】
2016194338.tif 000011
2016194338.tif 000012
2016194338.tif 000013
2016194338.tif 000014