(57)【要約】基板を該基板上の生体組織の切片と一緒に多数のチップに分割して得られたチップ配列を撮影して、分割された切片の全体を含む分割切片画像を取得する画像取得工程（Ｓ１）と、分割切片画像からチップの像を認識するチップ認識工程（Ｓ３）と、認識されたチップの像を構成する画素の各々に対し、その画素が属するチップの像のチップ配列の像における位置情報を付与する属性情報付与工程（Ｓ４）と、位置情報を付与された画素からなるチップの像同士を１つに繋ぎ合わせることによって、分割された切片の像が１つに繋ぎ合わされた復元切片画像を生成する復元工程（Ｓ５）とを含む画像処理方法を提供する。
2016067456.tif 000002
【特許請求の範囲】
【請求項１】
生体組織の切片が貼り付けられた基板を前記切片と一緒に多数のチップに分割して得られた、前記チップ同士が隙間を空けて２次元的に配列するチップ配列の画像を処理する画像処理方法であって、
前記チップ配列を撮影して、分割された前記切片の全体を含む分割切片画像を取得する画像取得工程と、
該画像取得工程において取得された前記分割切片画像から、前記チップの像を認識するチップ認識工程と、
該チップ認識工程において認識された前記チップの像を構成する画素の各々に対し、その画素が属するチップの像の前記チップ配列の像における位置情報を含む属性情報を付与する属性情報付与工程と、
該属性情報付与工程において前記属性情報を付与された画素からなる前記チップの像同士を１つに繋ぎ合わせることによって、前記分割された切片の像が１つに繋ぎ合わされた復元切片画像を生成する復元工程とを含む画像処理方法。
【請求項２】
前記復元切片画像内の隣接する前記チップの像の境界において、該境界を挟んで隣接する画素の色を、当該画素の近傍の画素の色に基づいて補正する色補正工程を含む請求項１に記載の画像処理方法。
【請求項３】
前記属性情報付与工程において、前記分割切片画像を構成する全ての画素に対して、前記チップの像を構成する画素であるか否かを示す領域情報を前記属性情報としてさらに付与し、
前記復元工程において、前記領域情報に基づいて前記チップの像を構成しない画素を削除し、残された前記チップの像を構成する画素同士を１つに繋ぎ合わせることによって、前記復元切片画像を生成する請求項１または請求項２に記載の画像処理方法。
【請求項４】
請求項１から請求項３のいずれかに記載の画像処理方法と、
前記復元切片画像を表示する表示工程と、
該表示工程において表示された前記復元切片画像に対して、前記切片から採取すべき位置を指定する指定工程と、
該指定工程において指定された位置に対応する画素に付された前記位置情報に基づき、前記チップ配列からチップを採取する採取工程とを含む細胞分取方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および細胞分取方法に関するものである。
【背景技術】
【０００２】
従来、シート上に接着された基板に生体組織の切片を貼り付け、シートの伸展によって基板を切片と一緒に多数のチップに分割し、一部のチップをシートから採取することで、切片内の特定領域の細胞を分取する方法が知られている（例えば、特許文献１参照。）。特許文献１では、生体組織の隣接する位置から２枚の切片を切り出し、一方を上記の方法によって基板と一緒に分割し、他方を染色している。そして、染色された切片の画像に基づいて切片内の採取すべき領域を決定し、決定した領域と対応する位置のチップを採取している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１２／０６６８２７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、シート上には、非常に多くの微小な（例えば、０．５ｍｍ以下の）チップが、行列状に並んでいる。このようなチップ配列の中から、分割前の基板および切片の画像と、分割後の実際の基板および切片とを見比べて所望のチップの位置を正確に特定する作業は、煩雑かつ困難である。
本発明は、上述した事情に鑑みてなされたものであって、多数の微小なチップが配列するチップ配列の中からであっても、所望のチップを容易に特定することができる画像処理方法および細胞分取方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第１の態様は、生体組織の切片が貼り付けられた基板を前記切片と一緒に多数のチップに分割して得られた、前記チップ同士が隙間を空けて２次元的に配列するチップ配列の画像を処理する画像処理方法であって、前記チップ配列を撮影して、分割された前記切片の全体を含む分割切片画像を取得する画像取得工程と、該画像取得工程において取得された前記分割切片画像から、前記チップの像を認識するチップ認識工程と、該チップ認識工程において認識された前記チップの像を構成する画素の各々に対し、その画素が属するチップの像の前記チップ配列の像における位置情報を含む属性情報を付与する属性情報付与工程と、該属性情報付与工程において前記属性情報を付与された画素からなる前記チップの像同士を１つに繋ぎ合わせることによって、前記分割された切片の像が１つに繋ぎ合わされた復元切片画像を生成する復元工程とを含む画像処理方法である。【０００６】
本発明の第１の態様によれば、画像取得工程において取得された分割切片画像の内のチップの像がチップ認識工程において認識され、復元工程においては、チップの像同士が隙間なく、かつ、重なり合いなく１つに合成されることによって、分割前の切片の全体像を含む復元切片画像が生成される。復元切片画像からは、切片内の組織構造や細胞の分布等を正確に把握することができる。したがって、ユーザは、復元切片画像に基づいて、切片から採取すべき位置を適切に選定することができる。【０００７】
この場合に、復元切片画像を構成する個々の画素には、属性情報付与工程において、その画素が、チップ配列の内のいずれの位置のチップに対応しているかを示す位置情報が属性情報として付されている。したがって、復元切片画像内の採取すべき位置の画素の位置情報から、採取すべきチップが分割切片画像内のいずれのチップであるかを容易にかつ正確に特定することができる。そして、分割切片画像内のチップ配列の像と実際のチップ配列との比較によって、多数の微小なチップの中からであっても所望のチップを容易に特定することができる。【０００８】
上記第１の態様においては、前記復元切片画像内の隣接する前記チップの像の境界において、該境界を挟んで隣接する画素の色を、当該画素の近傍の画素の色に基づいて補正する色補正工程を含んでいてもよい。
復元切片画像において、チップの像間の境界は、基板および切片を分割する際に分割線に沿って生じるバリ等に起因して目立ちやすい。したがって、境界に位置する画素の色を、その周囲の画素の色と同一のまたは類似の色に補正することによって、チップの像間の境界が目立たない、より自然な分割前の切片の全体像を復元することができる。【０００９】
上記第１の態様においては、前記属性情報付与工程において、前記分割切片画像を構成する全ての画素に対して、前記チップの像を構成する画素であるか否かを示す領域情報を前記属性情報としてさらに付与し、前記復元工程において、前記領域情報に基づいて前記チップの像を構成しない画素を削除し、残された前記チップの像を構成する画素同士を１つに繋ぎ合わせることによって、前記復元切片画像を生成してもよい。
このようにすることで、復元画像を簡単な処理で生成することができる。【００１０】
本発明の第２の態様は、上記いずれかに記載の画像処理方法と、前記復元切片画像を表示する表示工程と、該表示工程において表示された前記復元切片画像に対して、前記切片から採取すべき位置を指定する指定工程と、該指定工程において指定された位置に対応する画素に付された前記位置情報に基づき、前記チップ配列からチップを採取する採取工程とを含む細胞分取方法である。
本発明の第２の態様によれば、指定工程において指定された位置の画素の位置情報に基づき、実際のチップ配列の中から採取すべきチップを容易に特定することができ、特定されたチップを採取工程において採取することができる。
【発明の効果】
【００１１】
本発明によれば、多数の微小なチップが配列するチップ配列の中からであっても、所望のチップを容易に特定することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る細胞分取方法を実施するための細胞分取システムの全体構成図である。
【図２Ａ】図１の細胞分取システムに使用される、分割前の基板および切片を示す図である。
【図２Ｂ】図２Ａの基板および切片の分割後を示す図である。
【図３】本発明の一実施形態に係る画像処理方法および細胞分取方法を示すフローチャートである。
【図４】画像取得工程において取得された分割切片画像の一例である。
【図５】復元工程において生成された復元切片画像の一例である。
【図６】図３の画像処理方法および細胞分取方法の変形例を示すフローチャートである。
【図７】色補正工程において色補正された復元切片画像の一例である。
【発明を実施するための形態】
【００１３】
以下に、本発明の一実施形態に係る細胞分取方法について図面を参照して説明する。
まず、本実施形態に係る細胞分取方法を実施するための細胞分取システム１について説明する。
【００１４】
細胞分取システム１は、生体組織の切片Ａから、所望の細胞を含む特定領域を採取するためのシステムであり、図１に示されるように、水平なステージ１０を有する倒立型の光学顕微鏡２と、ステージ１０の上方に設けられた打ち抜き部３と、光学顕微鏡２によって取得された画像を処理する画像処理装置４と、表示部５と、これらを互いに接続するデータバス６とを備えている。
【００１５】
細胞分取システム１に用いられる切片Ａは、図２Ａに示されるように、カバーガラスのような薄い基板７上に貼り付けられている。基板７の表面には、基板７の厚さ寸法の途中位置までの深さを有する溝８が、格子状に形成されている。隣接する溝８の間隔は、０．２ｍｍ〜２．０ｍｍであり、好ましくは０．３ｍｍ〜１．０ｍｍであり、より好ましくは０．３ｍｍ〜０．５ｍｍである。
【００１６】
基板７の裏面は、表面方向に伸縮性を有するシート９（例えば、ダイシング用のシート）上に粘着剤によって粘着されている。このシート９を表面方向に伸展させると、図２Ｂに示されるように、基板７を溝８に沿って多数の小さな矩形のチップ７ａに分割することができる。このときに、基板７上の切片Ａも、基板７と一緒に溝８に沿って多数の小さな断片に分割される。これにより、図２Ｂに示されるように、隙間を開けて正方配列した多数のチップ７ａからなるチップ配列７０が生成される。
【００１７】
光学顕微鏡２は、ステージ１０の下方に、ステージ１０上の標本を拡大観察する対物レンズ１１と、該対物レンズ１１によって取得された標本の像を撮影するデジタルカメラのような撮像部１２とを備えている。また、ステージ１０は、その略中央部分に、鉛直方向に貫通する窓１０ａを有している。図１に示されるように、窓１０ａにチップ配列７０が位置するように、かつ、チップ配列７０が形成されている面が下側を向くように、ステージ１０上にシート９を載置することによって、チップ配列７０をステージ１０の下側から対物レンズ１１によって観察し、該対物レンズ１１によって取得されたチップ配列７０の像を撮像部１２によって撮影することができる。
【００１８】
打ち抜き部３は、針１３と、針先１３ａを下側に向けて針１３を保持するとともに、水平方向および鉛直方向に移動可能なホルダ１４とを備えている。ホルダ１４の水平方向の移動によって、ステージ１０上のチップ７ａに対して針先１３ａを水平方向に位置合わせできるようになっている。また、ホルダ１４の鉛直方向の下降によって、チップ７ａの裏面を針先１３ａで突き、当該チップ７ａをシート９から剥離および落下させることができるようになっている。
【００１９】
画像処理装置４は、例えば、コンピュータであり、ＣＰＵ（中央演算処理装置）のような演算部１５と、画像処理プログラムを記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）のような記憶部１６とを備えている。また、画像処理装置４は、ユーザが画像処理装置４に対して入力を行うためのキーボードやマウス等の入力装置（図示略）を備えている。
【００２０】
画像処理装置４は、光学顕微鏡２から受信した分割切片画像Ｐを、ＲＡＭのような図示しない一時記憶装置に記憶し、記憶部１６に記憶されている画像処理プログラムを実行することによって、分割切片画像Ｐから復元切片画像Ｑを生成し、生成された復元切片画像Ｑを表示部５に出力して表示させるようになっている。
【００２１】
次に、細胞分取システム１を用いた細胞分取方法について説明する。
本実施形態に係る細胞分取方法は、図３に示されるように、画像取得工程Ｓ１と、テンプレート作成工程Ｓ２と、チップ認識工程Ｓ３と、属性情報付与工程Ｓ４と、復元工程Ｓ５と、表示工程Ｓ６と、抜き位置指定工程（指定工程）Ｓ７と、採取工程Ｓ８とを含む。
本発明に係る画像処理方法は、画像取得工程Ｓ１から復元工程Ｓ５に相当する。
【００２２】
画像取得工程Ｓ１において、ユーザは、光学顕微鏡２でチップ配列７０を観察し、分割された切片Ａの全体が撮像部１２の視野に含まれる適切な撮影倍率で、切片Ａの全体を撮像部１２によって撮影する。撮像部１２によって取得された分割切片画像Ｐは、データバス６を介して画像処理装置４に送信される。
なお、画像取得工程Ｓ１における分割切片画像Ｐの取得には、任意の方法を用いることができる。例えば、チップ配列７０の部分画像を高倍率で取得し、取得された複数の部分画像を適切に繋ぎ合わせることによって、分割切片画像Ｐを得てもよい。
【００２３】
テンプレート作成工程Ｓ２から表示工程Ｓ６までは、演算部１５が画像処理プログラムを実行することよって行われる。
テンプレート作成工程Ｓ２において、演算部１５は、チップ７ａの１辺の実寸法と、顕微鏡２による分割切片画像Ｐの撮影倍率と、分割切片画像Ｐの縦横の画素数とに基づいて、この後のチップ認識工程Ｓ３において使用するテンプレートを作成する。チップ７ａの１辺の寸法は、溝８の間隔に相当し、例えば、ユーザによって入力装置を介して画像処理装置４に入力され、記憶部１６に記憶される。顕微鏡２の撮影倍率および分割切片画像Ｐの縦横の画素数は、例えば、演算部１５によって顕微鏡２から取得されて記憶部１６に記憶される。
【００２４】
画像処理装置４は、顕微鏡２の撮影倍率と分割切片画像Ｐの縦横の画素数とから、分割切片画像Ｐの１画素当たりの像の実寸法を算出し、算出された１画素当たりの像の実寸法と、チップ７ａの１辺の実寸法とから、１個のチップ７ａの１辺に相当する画素の数を算出する。そして、画像処理装置４は、１辺が、算出された数の画素からなる矩形のテンプレートを作成する。
【００２５】
次に、チップ認識工程Ｓ３において、演算部１５は、一時記憶装置から分割切片画像Ｐを読み出し、テンプレートと分割切片画像Ｐとのパターンマッチングを行い、分割切片画像Ｐ内の、テンプレートと高い相関を有する領域をチップ領域Ｒとして認識する。パターンマッチングにおいて、分割切片画像Ｐ内の個々のチップ７ａの像と略合同な形状を有するテンプレートを使用することによって、チップ７ａの像以外の、異なる大きさの矩形のゴミ等の像をチップ領域Ｒとして誤認識してしまうことがなくなり、分割切片画像Ｐ内のチップ７ａの像を正確にかつ迅速にチップ領域Ｒとして認識することができる。ここで、パターンマッチングの精度を向上するために、パターンマッチングの前に、階調値の２値化、細線化、輪郭抽出等の画像処理を、分割切片画像Ｐに対して施してもよい。
【００２６】
次に、属性情報付与工程Ｓ４において、演算部１５は、分割切片画像Ｐ内の全画素に対して属性情報を付与し、該属性情報を画素と対応付けて記憶部１６に記憶する。属性情報には、フラグ（領域情報）と、アドレス（位置座標）と、チップ領域Ｒの中心座標とが含まれる。
【００２７】
フラグは、例えば、「０」、「１」、および「２」の３種類であり、チップ領域Ｒを構成する画素には「１」、各チップ領域Ｒを構成する画素のうち最も外側に位置し、チップ領域Ｒの輪郭を構成する画素には「２」、チップ領域Ｒ以外の領域を構成する画素には「０」を付す。このフラグに基づいて、各画素が、分割切片画像Ｐ内のいずれの領域に属しているかを判別することができる。
【００２８】
アドレスは、分割切片画像Ｐ内のチップ配列７０の像における各チップ領域Ｒの位置を示す情報であり、例えば、図４に示されるように、行番号Ａ，Ｂ，Ｃ，…と列番号１，２，３，…との組み合わせによって定義される。アドレスは、フラグ「１」または「２」が付された画素に対して付される。例えば、図４に示される例においては、チップ配列７０の像内の左上隅に位置するチップ領域Ｒに含まれる全ての画素には、「Ａ１」というアドレスが付される。
【００２９】
チップ領域Ｒの中心座標は、その画素が属するチップ領域Ｒの中心位置の分割切片画像Ｐ内における座標である。チップ領域Ｒの中心座標は、個々のチップ領域Ｒを構成する画素群の座標に基づいて演算部１５によって算出される。
【００３０】
次に、復元工程Ｓ５において、演算部１５は、各画素に付与された属性情報に基づいて、隣接するチップ領域Ｒ同士が、隙間なく、かつ、重なり合うことなく接するように、チップ領域Ｒの再配置を行う。
具体的には、まず、フラグ「０」が付されている画素を分割切片画像Ｐから削除する。これにより、隙間を空けて配列するチップ領域Ｒのみが残る。次に、複数のチップ領域Ｒの中の１つのチップ領域Ｒに注目し、該注目するチップ領域Ｒのフラグ「２」が付された画素と、注目するチップ領域Ｒに隣接するチップ領域Ｒのフラグ「２」が付された画素とが直接隣接するように、隣接するチップ領域Ｒを平行移動させる。これにより、チップ領域Ｒ間の隙間を詰める。注目するチップ領域Ｒを変更しながら、隣接するチップ領域Ｒの平行移動を繰り返すことによって、図５に示されるように、隙間なく１つに繋がった切片Ａの全体像を含む復元切片画像Ｑが得られる。復元切片画像Ｑを構成する各画素には、上述したフラグ「１」または「２」と、アドレスと、チップ領域Ｒの中心座標とが、属性情報として付されている。
【００３１】
次に、表示工程Ｓ６において、生成された復元切片画像Ｑが演算部１５から表示部５へ出力され、復元切片画像Ｑが表示部５に表示される。
次に、抜き位置指定工程Ｓ７において、ユーザは、表示部５上の復元切片画像Ｑを観察し、復元切片画像Ｑ内の切片Ａの所望の位置を、例えば図示しないタッチパネルのようなユーザインタフェースを用いて指定する。演算部１５は、指定された位置の画素に付されているアドレスに基づき、復元切片画像Ｑ内のチップ領域Ｒのうち、指定された位置の画素を含むチップ領域Ｒを特定し、特定されたチップ領域Ｒの中心座標を打ち抜き部３に送信する。
【００３２】
次に、採取工程Ｓ８において、打ち抜き部３は、演算部１５から受信したチップ領域Ｒの中心座標から、針１３によって打ち抜くべきチップ７ａの中心位置を演算し、算出された中心位置へ針１３を水平方向に移動させ、針１３を下降させる。これにより、ユーザが表示部５上の復元切片画像Ｑに対して指定した位置のチップ領域Ｒと対応するチップ７ａが打ち抜かれてシート９から落下する。落下したチップ７ａは、ステージ１０の鉛直下方に予め配置された図示しない容器内に回収される。
【００３３】
このように、本実施形態によれば、分割切片画像Ｐ内のチップ領域Ｒを構成する各画素に、当該画素がいずれのチップ領域Ｒに属するかを示すアドレスが付され、その後に、チップ領域Ｒ同士を繋ぎ合わせて切片Ａの全体像を復元した復元切片画像Ｑが生成される。アドレスは、実際のチップ配列７０における各チップ７ａの位置とも対応している。したがって、復元切片画像Ｑに対してユーザが指定した位置に対応するチップ７ａを、アドレスに基づいて、多数の微小なチップ７ａが配列したチップ配列７０の中から正確にかつ簡単に特定することができるという利点がある。
【００３４】
なお、本実施形態においては、復元切片画像Ｑに対してユーザが指定した位置に基づき、自動でチップ配列７０の中から所望のチップ７ａを採取することとしたが、これに代えて、ユーザ自身がホルダ１４を操作することによって、手動で針１３の位置合わせとチップ７ａの採取とを行ってもよい。
この場合には、表示部５に分割切片画像Ｐも表示し、打ち抜き位置指定工程Ｓ７において指定された位置に対応するチップ領域Ｒが分割切片画像Ｐ内のいずれのチップ領域Ｒであるかをユーザが視覚的に認識できるような処理を分割切片画像Ｐに対して行う。分割切片画像Ｐ内のチップ配列７０の像は、実際のチップ配列７０を撮影したものであるので、分割切片画像Ｐ内の指定されたチップ領域Ｒが、実際のチップ配列７０の中のいずれのチップ７ａに対応しているかを、ユーザは容易に識別することができる。
【００３５】
また、本実施形態においては、図６に示されるように、復元工程Ｓ５の後に、復元切片画像Ｑ内の隣接するチップ領域Ｒ間の境界に位置する画素の色を、その近傍の画素の色に基づいて補正する色補正工程Ｓ９をさらに含んでいてもよい。この場合、表示工程Ｓ６においては、色補正された復元切片画像Ｑ’が表示部５に表示される。
【００３６】
復元工程Ｓ５において生成された復元切片画像Ｑにおいて、隣接する２つのチップ領域Ｒ間の境界には、フラグ「２」が付された２個の画素（以下、境界画素ともいう。）が隣接して並んでいる。色補正工程Ｓ９において、演算部１５は、このような２個一対の境界画素の色を、該２個一対の境界画素の配列方向の両側に位置する画素の色（色相、明度、彩度）に基づいて補正する。例えば、演算部１５は、２個一対の境界画素の両側の画素の色の平均色、または、一方の側の画素と同一の色を、境界画素に与える。演算部１５は、隣接する２つのチップ領域Ｒの境界に位置する全ての２個一対の境界画素について、同様にして色補正を行う。これにより、境界をまたいで色が滑らかに連続するように復元切片画像Ｑの色が局所的に補正され、図７に示されるように、チップ領域Ｒの境界が目立たない復元切片画像Ｑ’を得ることができるという利点がある。なお、色補正は、境界画素だけではなく、必要に応じて境界画素の近傍の画素に対しても行ってもよい。
【符号の説明】
【００３７】
１  細胞分取システム
２  光学顕微鏡
３  打ち抜き部
４  画像処理装置
５  表示部
６  データバス
７  基板
７ａ  チップ
７０  チップ配列
８  溝
９  シート
１０  ステージ
１０ａ  窓
１１  対物レンズ
１２  撮像部
１３  針
１３ａ  針先
１４  ホルダ
１５  演算部
１６  記憶部
Ａ  切片
Ｐ  分割切片画像
Ｑ  復元切片画像
Ｓ１  画像取得工程
Ｓ２  テンプレート作成工程
Ｓ３  チップ認識工程
Ｓ４  属性情報付与工程
Ｓ５  復元工程
Ｓ６  表示工程
Ｓ７  抜き位置指定工程（指定工程）
Ｓ８  採取工程
Ｓ９  色補正工程
【図１】
2016067456.tif 000003
【図２Ａ】
2016067456.tif 000004
【図２Ｂ】
2016067456.tif 000005
【図３】
2016067456.tif 000006
【図４】
2016067456.tif 000007
【図５】
2016067456.tif 000008
【図６】
2016067456.tif 000009
【図７】
2016067456.tif 000010
【国際調査報告】
2016067456.tif 000011
2016067456.tif 000012
2016067456.tif 000013
2016067456.tif 000014