(57)【要約】  画像処理装置は、撮像された細胞情報の細胞を識別する識別要素の情報と、前記識別要素以外の細胞の要素である非識別要素の情報画像に基づいて、前記識別要素の情報と前記非識別要素の情報との関連付けをする関連付紐付部と、前記紐付部が関連付けた前記識別要素の情報と前記非識別要素の情報とに基づいて、前記細胞の状態を判定する状態判定部とを備える画像処理装置。
2017154200.tif 000002
【特許請求の範囲】
【請求項１】
撮像された細胞情報の細胞を識別する識別要素の情報と、前記識別要素以外の細胞の要素である非識別要素の情報画像に基づいて、前記識別要素の情報と前記非識別要素の情報との関連付けをする関連付紐付部と、
前記紐付部が関連付けた前記識別要素の情報と前記非識別要素の情報とに基づいて、前記細胞の状態を判定する状態判定部と
を備える画像処理装置。
【請求項２】
前記非識別要素の情報に基づいて、当該非識別要素の情報に対応する画像マスクを生成するマスク生成部
を更に備え、
前記紐付部は、
前記マスク生成部が生成する前記画像マスクと前記識別要素の情報とを関連付けることにより、前記識別要素の情報と前記非識別要素の情報とを関連付ける
請求項１に記載の画像処理装置。
【請求項３】
前記状態判定部は、
前記マスク生成部が生成する前記画像マスクと、当該画像マスクに関連付けられた前記識別要素の情報とに基づいて、前記細胞の状態を判定する
請求項２に記載の画像処理装置。
【請求項４】
前記マスク生成部は、
前記非識別要素の情報の状態に応じた複数の種類の前記画像マスクをそれぞれ生成し、
前記状態判定部は、
前記識別要素の情報に関連付けられた前記画像マスクの種類に更に基づいて、前記細胞の状態を判定する
請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記紐付部は、
前記識別要素の情報が示す識別要素どうしの距離に更に基づいて、前記識別要素の情報と前記非識別要素の情報とを関連付ける
請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記情報は、細胞を撮影した細胞画像である
請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記非識別要素の情報は、取得した情報に応じて複数の異なる細胞状態を示す情報とする
請求項１から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記判定装置は、前記複数の異なる情報の各情報と、前記識別要素の情報との関連付けの結果に応じて、細胞の状態を判定する
請求項７に記載の画像処理装置。
【請求項９】
前記非識別要素の複数の異なる細胞状態を示す情報は、前記細胞の状態を判定するための異なる細胞状態を示す情報であり、前記判定装置は、前記異なる細胞状態を示す情報の何れが前記識別要素の情報に関連付けらたかにより状態を判定する
請求項１から請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
細胞を撮像した画像を出力する撮像部と、
請求項１から請求項９のいずれか一項に記載の画像処理装置と、
を備える観察装置。
【請求項１１】
コンピュータに、
撮像された細胞画像の細胞を識別する識別要素と、前記識別要素以外の細胞の要素である非識別要素の情報に基づいて、前記識別要素の情報と前記非識別要素の情報とを関連付ける関連付けステップと、
前記関連付けステップにおいて関連付けられた前記識別要素の情報と前記非識別要素の情報とに基づいて、前記細胞の状態を判定する状態判定ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、観察装置、及びプログラムに関するものである。
【背景技術】
【０００２】
一般的に、細胞の培養状態を評価する技術は、再生医療などの先端医療分野や医薬品のスクリーニングを含む幅広い分野での基盤技術となっている。例えば、再生医療分野では、in vitroで細胞を増殖、分化させるプロセスが存在する。そして、上述のプロセスでは、細胞の分化の成否、細胞の癌化や感染の有無などの、細胞の培養状態を的確に評価することが求められる。一例として、細胞が撮像された画像を画像処理することによって、細胞の培養状態を判定する方法が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１１／０２０６６４３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
細胞の培養状態について、例えば神経突起などの細胞の構造が、複数の細胞のうちのどの細胞由来の構造であるのかを評価したい場合がある。しかしながら、上述したような従来技術では、細胞の構造が、複数の細胞のうちのどの細胞由来の構造であるのかまでは判定できないため、評価に手間がかかることがあった。つまり、上述したような従来技術では、細胞の培養状態の評価に手間がかかるという問題があった。【０００５】
本発明は、上記問題に鑑みてなされたものであり、細胞の培養状態の評価の手間を低減することができる画像処理装置、観察装置及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明の一態様は、撮像された細胞情報の細胞を識別する識別要素の情報と、前記識別要素以外の細胞の要素である非識別要素の情報に基づいて、前記識別要素の情報と前記非識別要素の情報との関連付けをする関連付と、前記紐付部が関連付けた前記識別要素の情報と前記非識別要素の情報とに基づいて、前記細胞の状態を判定する状態判定部とを備える画像処理装置である。【０００７】
また、上記問題を解決するために、細胞を撮像した画像を出力する撮像部と、上述の画像処理装置とを備える観察装置である。【０００８】
また、上記問題を解決するために、本発明の一態様は、コンピュータに、撮像された細胞画像の細胞を識別する識別要素と、前記識別要素以外の細胞の要素である非識別要素の情報に基づいて、前記識別要素の情報と前記非識別要素の情報とを関連付ける関連付けステップと、前記関連付けステップにおいて関連付けられた前記識別要素の情報と前記非識別要素の情報とに基づいて、前記細胞の状態を判定する状態判定ステップとを実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、細胞の培養状態の評価の手間を低減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態による観察装置の構成の一例を示す模式図である。
【図２】本実施形態の画像処理装置の機能構成を示すブロック図である。
【図３】本実施形態の画像処理装置の動作の一例を示す図である。
【図４】本実施形態の撮像部が撮像する観察画像の一例を示す図である。
【図５】本実施形態の観察画像に含まれる非識別要素の一例を示す図である。
【図６】本実施形態の非識別要素抽出部が抽出する第１パターンの非識別要素の画像の一例を示す図である。
【図７】本実施形態の非識別要素抽出部が抽出する第２パターンの非識別要素の画像の一例を示す図である。
【図８】本実施形態の非識別要素抽出部が抽出する第１パターン要素の画像と第２パターン要素の画像とを重ねあわせた画像の一例を示す図である。
【図９】本実施形態のマスク生成部が生成する画像マスクの一例を示す図である。
【図１０】本実施形態の紐付部による紐付け結果の一例を示す図である。
【図１１】本実施形態の状態判定部による判定動作の一例を示す図である。
【図１２】本実施形態の状態判定部による判定結果の一例を示す図である。
【発明を実施するための形態】
【００１１】
［観察装置１の構成］
以下、図面を参照して、本実施形態に係る観察装置１の構成について説明する。
図１は、本発明の実施形態による観察装置１の構成の一例を示す模式図である。
【００１２】
観察装置１は、細胞等を撮像することにより取得される画像に対して、画像処理を行う。以下の説明において、細胞等を撮像することにより取得される画像を、単に細胞画像とも記載する。観察装置１は、画像処理装置１０と、顕微鏡装置２０と、表示部３０と、操作検出部４０とを備える。
【００１３】
顕微鏡装置２０は、生物顕微鏡であり、電動ステージ２１と、撮像部２２とを備える。電動ステージ２１は、所定の方向（例えば、水平方向の二次元平面内のある方向）に、撮像対象物の位置を任意に稼働可能である。撮像部２２は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary MOS）などの撮像素子を備えており、電動ステージ２１上の撮像対象物を撮像する。なお、顕微鏡装置２０に電動ステージ２１を備えていなくてもよく、ステージが所定方向に稼働しないステージとしても構わない。
【００１４】
より具体的には、顕微鏡装置２０は、例えば、微分干渉顕微鏡（Differential  Interference  Contrast  microscope；DIC）や位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡等の機能を有する。顕微鏡装置２０は、電動ステージ２１上に載置された培養容器を撮像する。この培養容器とは、例えば、ウェルプレートＷＰである。顕微鏡装置２０は、ウェルプレートＷＰが有する多数のウェルＷの中に培養された細胞に光を照射することで、細胞を透過した透過光を細胞の画像として撮像する。これによって、細胞の透過ＤＩＣ画像や、位相差画像、暗視野画像、明視野画像等の画像を取得することができる。さらに、細胞に蛍光物質を励起する励起光を照射することで、生体物質から発光される蛍光を細胞の画像として撮像する。また、顕微鏡装置２０は、生体物質内に取り込まれた発色物質そのものから発光される蛍光や、発色団を持つ物質が生体物質に結合することによって発光される蛍光を、上述した細胞の画像として撮像してもよい。これにより、観察装置１は、蛍光画像、共焦点画像、超解像画像を取得することができる。なお、細胞の画像を取得する方法は、光学顕微鏡に限られない。
【００１５】
ウェルプレートＷＰは、複数のウェルＷを有する。この一例では、ウェルプレートＷＰは、１２×８の９６個のウェルＷを有する。細胞は、ウェルＷの中において、特定の実験条件のもと培養される。特定の実験条件とは、温度、湿度、培養期間、刺激が付与されてからの経過時間、付与される刺激の種類や強さ、刺激の有無、生物学的特徴の誘導等を含む。刺激とは、例えば、電気、音波、磁気、光等の物理的刺激や、物質や薬物の投与による化学的刺激等である。また、生物学的特徴とは、細胞の分化の段階や、形態、細胞数等を示す特徴である。
【００１６】
表示部３０は、液晶ディスプレイなどを備えており、画像処理装置１０による演算結果を表示する。
操作検出部４０は、キーボードや不図示のマウスなどを備えており、画像処理装置１０に対する操作を検出する。
【００１７】
［画像処理装置１０の機能構成］
図２は、本実施形態の画像処理装置１０の機能構成を示すブロック図である。画像処理装置１０は、演算部１００と、記憶部２００とを備えている。
【００１８】
記憶部２００は、画像処理手順記憶部２０１を備えている。
画像処理手順記憶部２０１には、画像処理装置１０において処理される画像の処理手順が記憶されている。
また、記憶部２００には、顕微鏡装置２０の制御プログラムが予め記憶されている。
【００１９】
演算部１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を備えており、記憶部２００に記憶されている制御プログラムに従って、顕微鏡装置２０の各部を駆動する。この演算部１００による顕微鏡装置２０の制御の具体的な内容については、既知であるため、その説明を省略する。
【００２０】
また、演算部１００は、識別要素抽出部１０１と、非識別要素抽出部１０２と、マスク生成部１０３と、紐付部１０４と、状態判定部１０５とを、その機能部として備えている。
【００２１】
識別要素抽出部１０１は、撮像部２２が撮像した画像から、識別要素の情報である例えば画像を抽出する。識別要素とは、細胞を構成する要素のうち、複数の細胞が撮像された画像において、１つ１つの細胞を識別する要素である。この識別要素は、細胞を識別する（例えば、画像内においてラベリングする）場合に用いられる。識別要素は、細胞の他の要素と区別できることが好ましい。具体的には、識別要素とは、細胞核、細胞膜、細胞体、細胞内小器官などである。以下の一例においては、識別要素が「細胞核」である場合について説明する。
具体的には、撮像部２２は、ウェルプレートＷＰのウェルＷにおいて培養されている細胞を撮像する。つまり、この撮像部２２が撮像した画像には、細胞核の画像が含まれている。識別要素抽出部１０１は、撮像部２２が撮像した画像について、パターンマッチングなどの既知の方法により画像処理することにより、撮像部２２が撮像した画像から、細胞核の画像を抽出する。ここで、細胞核は、ＤＡＰＩ（４’，６−ｄｉａｍｉｄｉｎｏ−２−ｐｈｅｎｙｌｉｎｄｏｌｅ；ダピ）などのマーカーによって染色される場合がある。この場合には、識別要素抽出部１０１は、撮像部２２が撮像した画像のうち、ＤＡＰＩによって染色されている部分を細胞核の画像として抽出する。識別要素抽出部１０１は、抽出した細胞核の画像を、演算部１００の各機能部に供給する。
【００２２】
非識別要素抽出部１０２は、撮像部２２が撮像した画像から、細胞を構成する要素のうちの識別要素以外の要素の情報である例えば画像を抽出する。以下、識別要素以外の要素を「非識別要素」とも記載する。また、識別要素が「細胞核」である以下の一例においては、識別要素以外の要素を「非核要素」とも記載する。撮像部２２が撮像する細胞が神経細胞の場合、非核要素には、樹状突起や軸索などが含まれる。非核要素は、それぞれの要素に適合するマーカーによって染色されることがある。例えば、神経細胞に発現する要素は、Ｎｅｓｔｉｎ（ネスチン）などのマーカーによって染色される場合がある。この場合には、非識別要素抽出部１０２は、撮像部２２が撮像した画像のうち、Ｎｅｓｔｉｎによって染色されている部分を非核要素の画像として抽出する。非識別要素抽出部１０２は、抽出した非核要素の画像を、演算部１００の各機能部に供給する。
【００２３】
マスク生成部１０３は、撮像部２２が撮像した画像に対して、画像処理を行うための画像マスクを生成する。具体的には、マスク生成部１０３は、非識別要素抽出部１０２が抽出する非核要素の画像に基づいて、この非核要素の画像に対応する画像マスクを生成する。
【００２４】
紐付部１０４は、非識別要素抽出部１０２が抽出する非核要素の画像に基づいて、識別要素抽出部１０１が抽出する細胞核の画像と非核要素の画像とを関連付ける（以下、紐付けると称する）。
【００２５】
状態判定部１０５は、紐付部１０４が紐づけた細胞核の画像と非核要素の画像とに基づいて、細胞の状態を判定する。
【００２６】
［画像処理装置１０の動作］
次に、図３を参照して画像処理装置１０の動作の一例について説明する。
図３は、本実施形態の画像処理装置１０の動作の一例を示す図である。撮像部２２がウェルプレートＷＰ内の細胞を撮像すると、演算部１００は、撮像部２２が撮像した観察画像ＯＰを取得する（ステップＳ１０）。この観察画像ＯＰの一例を、図４に示す。
【００２７】
図４は、本実施形態の撮像部２２が撮像する観察画像ＯＰの一例を示す図である。この観察画像ＯＰには、細胞核がＤＡＰＩによって染色されている細胞の画像が含まれている。
識別要素抽出部１０１は、観察画像ＯＰの中からＤＡＰＩによって染色されている部分を細胞核の画像として抽出する（ステップＳ２０）。図４の具体例においては、識別要素抽出部１０１は、細胞核画像Ｎ１から細胞核画像Ｎ１９までの１９個の細胞核の画像をそれぞれ抽出する。
【００２８】
図３に戻り、非識別要素抽出部１０２は、撮像部２２が撮像した観察画像ＯＰを取得する。この観察画像ＯＰには、非核要素が含まれている場合がある。観察画像ＯＰに含まれる非核要素の画像の一例を図５に示す。
【００２９】
図５は、本実施形態の観察画像ＯＰに含まれる非核要素の一例を示す図である。この一例においては、非核要素ＳＴ１から非核要素１９までの１９個の比較要素が、観察画像ＯＰに含まれている。非識別要素抽出部１０２は、観察画像ＯＰの中から非核要素を抽出する（ステップＳ３０）。図５に示す一例においては、非識別要素抽出部１０２は、観察画像ＯＰの中から、非核要素ＳＴ１から非核要素１９までの１９個の非核要素を抽出する。
【００３０】
非核要素には様々な種類がある。この一例においては、非核要素には、第１パターンＰ１の非核要素と、第２パターンＰ２の非核要素とがある。第１パターンＰ１の非核要素の画像には、繊維状のパターンが現れている場合がある。ここで、繊維状のパターンとは、画像に現れる模様のうち、縦横比が所定値以上のもの、つまり細長いものであって、その長手方向の長さが所定値以上のものである。また、第２パターンＰ２の非核要素の画像には、非核要素の画像の明るさが、当該非核要素の周囲の画像よりも明るい場合がある。非識別要素抽出部１０２は、観察画像ＯＰに繊維状のパターンが含まれている場合、この繊維状のパターンを第１パターンＰ１の非核要素として抽出する。また、非識別要素抽出部１０２は、観察画像ＯＰに比較的明るい画像領域がある場合には、この明るい画像領域を第２パターンＰ２の非核要素として抽出する。第１パターンＰ１の非核要素の画像の一例を図６に示す。以下の説明において、第１パターンＰ１の非核要素を単に「第１パターン要素」とも記載する。
【００３１】
図６は、本実施形態の非識別要素抽出部１０２が抽出する第１パターンＰ１の非核要素の画像の一例を示す図である。この一例において非識別要素抽出部１０２は、図６に示す第１パターン要素ＳＥ１から第１パターン要素ＳＥ２０までの１１個の第１パターン要素を抽出する。
また、第２パターンＰ２の非核要素の画像の一例を図７に示す。以下の説明において、第２パターンＰ２の非核要素を単に「第２パターン要素」とも記載する。
【００３２】
図７は、本実施形態の非識別要素抽出部１０２が抽出する第２パターンＰ２の非核要素の画像の一例を示す図である。この一例において非識別要素抽出部１０２は、図７に示す第２パターン要素ＷＥ１から第２パターン要素ＷＥ２０までの１８個の第１パターン要素を抽出する。ここで、非識別要素抽出部１０２が抽出する第１パターン要素の画像と第２パターン要素の画像とを重ねあわせた画像の一例を図８に示す。
【００３３】
図８は、本実施形態の非識別要素抽出部１０２が抽出する第１パターン要素の画像と第２パターン要素の画像とを重ねあわせた画像の一例を示す図である。第１パターン要素の画像と第２パターン要素の画像とは、互いに重なる場合と、重ならない場合とがある。図８の具体例においては、第１パターン要素ＳＥ１と、第２パターン要素ＷＥ１とは重なる。また、第１パターン要素ＳＥ２０と、第２パターン要素ＷＥ２０とは重なる。一方、第２パターン要素ＷＥ２や第２パターン要素ＷＥ４は、他の第１パターン要素と重ならない。
【００３４】
図３に戻り、マスク生成部１０３は、画像マスクを生成する（ステップＳ４０）。このマスク生成部１０３が生成する画像マスクの一例について、図９を参照して説明する。
【００３５】
図９は、本実施形態のマスク生成部１０３が生成する画像マスクの一例を示す図である。マスク生成部１０３は、非核要素の画像に基づいて、この非核要素の画像に対応するマスクを生成する。図９に示す具体例においては、マスク生成部１０３は、第１パターン要素ＳＥ１に基づいて、第１パターンマスクＭＳ１を生成する。また、マスク生成部１０３は、第２パターン要素ＷＥ１に基づいて、第２パターンマスクＭＷ１を生成する。ここで、マスク生成部１０３が、画像マスクを生成する方法には、種々の方法がある。この一例では、マスク生成部１０３は、画像に対して膨張処理を行うことにより、画像マスクを生成する。より具体的には、マスク生成部１０３は、第１パターン要素ＳＥ１の画像を所定の画素数ぶんだけ膨張させる。この一例では、所定の画素数とは３０画素である。つまり、この一例では、マスク生成部１０３は、第１パターン要素ＳＥ１の画像を３０画素ぶんだけ膨張させる。この膨張処理の結果、第１パターン要素ＳＥ１の画像は、第１パターンマスクＭＳ１になる。つまり、マスク生成部１０３は、第１パターン要素ＳＥ１の画像に基づいて、第１パターンマスクＭＳ１を生成する。
【００３６】
また、マスク生成部１０３は、第２パターン要素ＷＥ１に対しても上述と同様にして画像マスクを生成する。具体的には、マスク生成部１０３は、第２パターン要素ＷＥ１の画像を３０画素ぶんだけ膨張させる。この膨張処理の結果、第２パターン要素ＷＥ１の画像は、第２パターンマスクＭＷ１になる。つまり、マスク生成部１０３は、第２パターン要素ＷＥ１の画像に基づいて、第２パターンマスクＭＷ１を生成する。マスク生成部１０３は、他の第２パターンＰ２画像及び第１パターンＰ１画像に対して、上述と同様にして画像マスクを生成する。すなわち、マスク生成部１０３は、非核要素の画像の状態に応じた複数の種類の画像マスクをそれぞれ生成する。
【００３７】
紐付部１０４は、細胞核の画像と非核要素の画像とを紐付ける（ステップＳ５０）。紐付部１０４による紐付け結果の一例について、図１０を参照して説明する。
【００３８】
図１０は、本実施形態の紐付部１０４による紐付け結果の一例を示す図である。紐付部１０４は、図４に示す細胞核の画像（細胞核画像Ｎ１から細胞核画像Ｎ１９）と、図９に示す画像マスクとを取得する。紐付部１０４は、取得した細胞核の画像が、いずれかの画像マスクに含まれる場合、この細胞核の画像と画像マスクとを紐付ける。上述したように画像マスクは、非核要素の画像に基づいて生成されている。細胞核の画像と画像マスクとを紐付けることとは、細胞核の画像と非核要素の画像とを紐付けることである。
【００３９】
ここで、細胞核の画像が、第１パターンマスクＭＳと第２パターンマスクＭＷとのいずれの画像マスクにも含まれる場合がある。また、細胞核の画像が、第２パターンマスクＭＷの画像マスクのみに含まれる場合がある。また、細胞核の画像が、いずれの画像マスクにも含まれない場合がある。図１０に示す具体例においては、細胞核画像Ｎ１は、第１パターンマスクＭＳ１と第２パターンマスクＭＷ１とのいずれの画像マスクにも含まれる。細胞核画像Ｎ３は、第１パターンマスクＭＳ３と、第２パターンマスクＭＷ３とのいずれの画像マスクにも含まれる。一方、細胞核画像Ｎ２は、第２パターンマスクＭＷ２の画像マスクのみに含まれる。また、細胞核画像Ｎ８は、いずれの画像マスクにも含まれない。
【００４０】
紐付部１０４は、細胞核画像Ｎ１と、第１パターンマスクＭＳ１及び第２パターンマスクＭＷ１とを紐付ける。紐付部１０４は、細胞核画像Ｎ２と、第２パターンマスクＭＷ２とを紐付ける。紐付部１０４は、細胞核画像Ｎ８には、いずれの画像マスクも紐づけない。上述と同様にして、紐付部１０４は、細胞核画像Ｎ４から細胞核画像Ｎ１９までの各細胞核画像Ｎについて、細胞核画像Ｎと画像マスクとを紐付ける。
すなわち、紐付部１０４は、マスク生成部１０３が生成する画像マスクと細胞核の画像とを紐付けることにより、細胞核の画像と非核要素の画像とを紐付ける。
【００４１】
なお、この一例では、紐付部１０４は、細胞核の画像が、画像マスクに含まれるか否かによって細胞核と非核要素とを紐付ける場合について説明したが、これに限られない。紐付部１０４は、細胞核の画像が示す細胞核どうしの距離に更に基づいて、細胞核の画像と非核要素の画像とを紐付けてもよい。例えば、複数の細胞核の画像の互いの距離が所定値以下である場合には、一つの画像マスクにこれら複数の細胞核の画像が含まれてしまうことがある。このような場合には、紐付部１０４は、これら複数の細胞核の画像を、この一つの画像マスクにそれぞれ紐づけてもよい。つまり、細胞核の画像が示す細胞核どうしの距離に応じて、細胞核の画像と画像マスクとの紐付けルールが複数ある場合がある。この場合、紐付部１０４は、細胞核どうしの距離に基づいて、この距離に応じた紐付けルールを採用してもよい。
【００４２】
図３に戻り、状態判定部１０５は、紐付部１０４が紐づけた細胞核の画像と非核要素の画像とに基づいて、細胞の状態を判定する（ステップＳ６０）。この状態判定部１０５による細胞の状態の判定動作の詳細な具体例について、図１１を参照して説明する。
【００４３】
図１１は、本実施形態の状態判定部１０５による判定動作の一例を示す図である。状態判定部１０５は、判定対象の細胞核画像Ｎを決める（ステップＳ６１０）。具体的には、状態判定部１０５は、図４に示す細胞核画像Ｎ１から細胞核画像Ｎ１９の複数の細胞核画像Ｎの中から、判定対象の細胞核画像Ｎを選択する。この選択は、ユーザが選択してもよいし、例えば、判定対象の条件を予め設定しておき自動的に選択する構成でもよい。
【００４４】
状態判定部１０５は、細胞核画像Ｎが第１パターン要素に紐づけられているか否かを判定する（ステップＳ６２０）。ここで細胞核画像Ｎが第１パターン要素に紐づけられていることとは、細胞核画像Ｎが第１パターンマスクＭＳに紐づけられていることである。つまり、状態判定部１０５は、細胞核画像Ｎが第１パターンマスクＭＳに紐づけられているか否かを判定する。状態判定部１０５は、細胞核画像Ｎが第１パターンマスクＭＳに紐づけられていると判定した場合（ステップＳ６２０；ＹＥＳ）には、この細胞核画像Ｎについて「第１パターンＰ１」と判定する（ステップＳ６３０）。
【００４５】
一方、状態判定部１０５は、細胞核画像Ｎが第１パターンマスクＭＳに紐づけられていないと判定した場合（ステップＳ６２０；ＮＯ）には、細胞核画像Ｎが第２パターン要素に紐づけられているか否かを判定する（ステップＳ６４０）。ここで細胞核画像Ｎが第２パターン要素に紐づけられていることとは、細胞核画像Ｎが第２パターンマスクＭＷに紐づけられていることである。つまり、状態判定部１０５は、細胞核画像Ｎが第２パターンマスクＭＷに紐づけられているか否かを判定する。状態判定部１０５は、細胞核画像Ｎが第２パターンマスクＭＷに紐づけられていると判定した場合（ステップＳ６４０；ＹＥＳ）には、この細胞核画像Ｎについて「第２パターンＰ２」と判定する（ステップＳ６５０）。
【００４６】
また、状態判定部１０５は、細胞核画像Ｎが第２パターンマスクＭＷに紐づけられていないと判定した場合（ステップＳ６４０；ＮＯ）には、この細胞核画像Ｎについて「第３パターンＰ３」と判定する（ステップＳ６６０）。すなわち、状態判定部１０５は、細胞核の画像に紐づけられた画像マスクの種類に更に基づいて、細胞の状態を判定する。
【００４７】
状態判定部１０５は、観察画像ＯＰに含まれるすべての細胞核画像Ｎについて判定したか否かを判定し（ステップＳ６７０）、すべての細胞核画像Ｎについて判定した場合には一連の処理を終了する。
【００４８】
状態判定部１０５による判定結果の具体例を図１２示す。
図１２は、本実施形態の状態判定部１０５による判定結果の一例を示す図である。状態判定部１０５は、細胞核画像Ｎ１について、第１パターンマスクＭＳ１に紐づけられていると判定する。この場合、状態判定部１０５は、細胞核画像Ｎ１について「第１パターンＰ１」と判定する。状態判定部１０５は、細胞核画像Ｎ２について、第２パターンマスクＭＷ２に紐づけられていると判定する。この場合、状態判定部１０５は、細胞核画像Ｎ２について「第２パターンＰ２」と判定する。また、状態判定部１０５は、細胞核画像Ｎ８について、いずれの画像マスクにも紐づけられていないと判定する。この場合、状態判定部１０５は、細胞核画像Ｎ８について「第３パターンＰ３」と判定する。つまり、状態判定部１０５は、マスク生成部１０３が生成する画像マスクと、当該画像マスクに紐づけられた細胞核の画像とに基づいて、細胞の状態を判定する。
【００４９】
状態判定部１０５は、「第１パターンＰ１」、「第２パターンＰ２」及び「第３パターンＰ３」をそれぞれ互いに異なる画像にして、結果出力部３００に出力する。具体的には、状態判定部１０５は、「第１パターンＰ１」と判定した細胞核画像Ｎ１の周囲に第１パターンＰ１枠ＳＩの画像を生成する。状態判定部１０５は、「第２パターンＰ２」と判定した細胞核画像Ｎ２の周囲に第２パターンＰ２枠ＷＩの画像を生成する。また、状態判定部１０５は、「第３パターンＰ３」と判定した細胞核画像Ｎ８の周囲に第３パターン枠ＮＩの画像を生成する。結果出力部３００は、「第１パターンＰ１」を示す第１パターンＰ１枠ＳＩと、「第２パターンＰ２」を示す第２パターンＰ２枠ＷＩと、「第３パターンＰ３」を示す第３パターン枠ＮＩとを、表示部３０に表示させる。この結果、表示部３０には、図１２に示す結果画像ＲＰが表示される。
【００５０】
以上説明したように、本実施形態の画像処理装置１０は、細胞核の画像と非核要素の画像とを紐付けるため、細胞の構造が、複数の細胞のうちのどの細胞由来の構造であるのかを判定することができる。つまり、本実施形態の画像処理装置１０によれば、細胞の構造が、複数の細胞のうちのどの細胞由来の構造であるのかの判定を、人手を介さずに自動的に行うことができるため、細胞の培養状態の評価の手間を低減することができる。
【００５１】
また、画像処理装置１０は、非核要素の画像に基づいて、この非核要素の画像に対応する画像マスクを生成する。画像処理装置１０は、生成した画像マスクと、細胞核の画像とを紐付ける。ここで、画像マスクを用いずに細胞核の画像と非核要素の画像とを紐付ける場合には、非核要素の状態によっては、細胞核の画像と非核要素の画像との紐付けが困難である場合があった。例えば、非核要素が神経細胞の樹状突起である場合に、細胞核の画像と、樹状突起の画像とが接していれば、細胞核の画像と樹状突起の画像とを紐付けることは容易である。しかしながら、観察画像ＯＰには、細胞核の画像と、樹状突起の画像とが接しておらず互いに離れた位置に現れる場合がある。この場合には、細胞核の画像を、いずれの樹状突起の画像と紐付ければよいのかを判定することが困難になる場合がある。本実施形態の画像処理装置１０は、非核要素の画像に基づく画像マスクを生成することにより、この画像マスクに細胞核の画像に含まれる場合が生じる。画像処理装置１０は、画像マスクに細胞核の画像が含まれる場合には、この画像マスクの元になった非核要素の画像と、細胞核の画像とを紐付ける。このように構成することにより、画像処理装置１０は、画像マスクを利用しない場合に比べて、画像どうしの紐付けを容易に行うことができる。
【００５２】
また、画像処理装置１０の状態判定部１０５は、マスク生成部１０３が生成する画像マスクと、当該画像マスクに紐づけられた細胞核の画像とに基づいて、細胞の状態を判定する。ここで、画像マスクには複数の種類がある。上述した具体例においては、画像マスクには、第１パターンＰ１の画像マスクと第２パターンＰ２の画像マスクとの２種類がある。つまり、この状態判定部１０５は、画像マスクの種類と、この画像マスクに含まれる細胞核の画像との対応関係に基づいて、細胞の状態を判定する。ここで、画像マスクを用いずに、細胞核の画像と非核要素の画像とを比較することによって細胞の状態を判定しようとすれば、それぞれの画像の特徴量を算出してから、これらの特徴量を比較するといった手間が生じる。つまり、画像マスクを用いずに細胞の状態を判定しようとすれば、判定のための演算が煩雑になる。本実施形態の状態判定部１０５は、画像マスクの種類に基づいて、細胞の状態を判定するため、判定のための演算を煩雑にすることなく、細胞の状態を判定することができる。
細胞の状態判定としては、識別要素である細胞核を含む領域を細胞と識別した後、非識別要素であり、細胞の分化の状態を判定するための領域が核の周囲に存在するか否かによって細胞の状態を判定することができる。このような細胞の分化が進行すれば存在する領域が細胞核の周囲に存在するか否かを紐付る（関連付ける）ことで、細胞の分化の状態を判定することができる。細胞核の周囲に細胞の分化が進行すれば存在する領域が細胞核の周囲に無い場合は、細胞の分化は進んでいないと判断できる。この場合は、細胞核の周囲に存在する細胞分化が進む領域とは別の領域が存在し、この領域と細胞核とを紐付る（関連付ける）ことで細胞の状態の判定が可能となる。
【００５３】
また、画像処理装置１０の紐付部１０４は、細胞核の画像が示す細胞核どうしの距離に更に基づいて、細胞核の画像と非核要素の画像とを紐付ける。ここで、画像マスクを生成する際に非核要素の画像について膨張処理すると、画像マスクに複数の細胞核の画像が含まれてしまう場合がある。このような場合であっても、紐付部１０４は、細胞核の画像をいずれの画像マスクに紐付ければよいかを細胞核どうしの距離に基づいて判定しながら、画像を紐付けることができる。つまり、この紐付部１０４を備える画像処理装置１０によれば、細胞核の画像と、非核要素の画像とを精度よく紐づけることができる。
【００５４】
なお、上述の説明においては、識別要素抽出部１０１が細胞核の画像を抽出し、非識別要素抽出部１０２が細胞核以外の要素、すなわち非核要素を抽出するとして説明したが、これに限られない。
【００５５】
なお、本発明の実施形態における観察装置１又は画像処理装置１０の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
【００５６】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００５８】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５９】
１…観察装置、１０…画像処理装置、２０…顕微鏡装置、２２…撮像部、３０…表示部、１００…演算部、１０１…識別要素抽出部、１０２…非識別要素抽出部、１０３…マスク生成部、１０４…紐付部、１０５…状態判定部、２００…記憶部、３００…結果出力部
【図１】
2017154200.tif 000003
【図２】
2017154200.tif 000004
【図３】
2017154200.tif 000005
【図４】
2017154200.tif 000006
【図５】
2017154200.tif 000007
【図６】
2017154200.tif 000008
【図７】
2017154200.tif 000009
【図８】
2017154200.tif 000010
【図９】
2017154200.tif 000011
【図１０】
2017154200.tif 000012
【図１１】
2017154200.tif 000013
【図１２】
2017154200.tif 000014
【国際調査報告】
2017154200.tif 000015
2017154200.tif 000016
2017154200.tif 000017
2017154200.tif 000018