(57)【要約】【課題】類似する２つの試料を撮影した２つの画像を簡単にかつ正確に重ね合わせる。【解決手段】互いに類似する形状を有する第１の対象物および第２の対象物が互いに等倍で表示された第１の画像および第２の画像を取得する画像取得工程Ｓ１と、第１の画像および第２の画像の各々に表示されている対象物の輪郭を取得する輪郭取得工程Ｓ２と、各輪郭の重心を検出する重心検出工程Ｓ３と、輪郭の重心が互いに一致するように第１の画像および第２の画像を重ね合わせる重ね合わせ工程Ｓ４と、一致された重心を中心に第１の画像および第２の画像を相対回転させてこれら画像の相対角度を調整する回転工程Ｓ５とを含む画像重ね合わせ方法を提供する。【選択図】図１
2015031599.tif 000002
【特許請求の範囲】
【請求項１】
第１の対象物を撮影した第１の画像と、前記第１の対象物と類似する形状を有する第２の対象物を撮影した第２の画像とを重ね合わせる方法であって、
前記第１の対象物および前記第２の対象物が互いに等倍で表示された前記第１の画像および前記第２の画像を取得する画像取得工程と、
該画像取得工程において取得された前記第１の画像および前記第２の画像の各々に表示されている前記対象物の輪郭を取得する輪郭取得工程と、
該輪郭取得工程において取得された各前記輪郭の重心を検出する重心検出工程と、
該重心検出工程において検出された前記輪郭の重心が互いに一致するように前記第１の画像および前記第２の画像を重ね合わせる重ね合わせ工程と、
該重ね合わせ工程において一致された前記重心を中心に前記第１の画像および前記第２の画像を相対回転させてこれら画像の相対角度を調整する回転工程とを含む画像重ね合わせ方法。
【請求項２】
前記回転工程において、各前記輪郭によって囲まれている２つの領域の互いに重なり合う面積が最大となる角度に、前記相対角度を調整する請求項１に記載の画像重ね合わせ方法。
【請求項３】
前記回転工程の後に、前記第１の画像および前記第２の画像を相対的に平行移動してこれら画像の相対位置を調整する平行移動工程を含む請求項１または請求項２に記載の画像重ね合わせ方法。
【請求項４】
前記平行移動工程において、各前記輪郭によって囲まれている２つの領域の面積の平均に対する、前記２つの領域の互いに重なり合う面積の割合が最大となる位置に、前記相対位置を調整する請求項３に記載の画像重ね合わせ方法。
【請求項５】
前記平行移動工程の後に、前記重心を中心に前記第１の画像および前記第２の画像を相対回転させてこれら画像の相対角度を微調整する再回転工程を含む請求項３または請求項４に記載の画像重ね合わせ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像重ね合わせ方法に関するものである。
【背景技術】
【０００２】
従来、同一試料または類似の２つの試料を撮影した２つの画像を重ね合わせる際に、２つの画像を位置合わせするための技術が知られている（例えば、特許文献１〜３参照。）。特許文献１では、光学識別マークが設けられた保持部に試料を保持した状態で同一の光学系を用いて試料の蛍光または発光画像と透過光画像とを撮影し、各画像内に撮影された光学識別マークを位置合わせの基準として用いている。特許文献２では、測定領域に人為的なマーカを付した試料の画像を質量分析計と光学顕微鏡とを用いて取得し、得られた画像内のマーカを位置合わせの基準として用いている。特許文献３では、切片を切り出す検体を樹脂に包埋する際に柱状のマーカも検体と一緒に樹脂に埋め込み、マーカに垂直に検体を薄切し、作成された切片内のマーカを位置合わせの基準として用いている。
【０００３】
一方、カバーガラスのような基板上に貼り付けた切片を基板と共に切断することによって、切片内の特定の領域の断片を採取する方法が知られている（例えば、特許文献４参照。）。特許文献４では、生体組織の検体の近接する位置から切り出した２つの切片のうち、一方を切断用に用い、他方を染色に用いている。２つの切片は類似の組織形態を有しているので、染色した切片を参照することによって、もう１つの切片内の各位置の組織形態を推定し、癌化した領域のような採取すべき領域を特定することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７６６４２１号公報
【特許文献２】特開２０１０−８５２１９号公報
【特許文献３】特開２０１３−８３４７４号公報
【特許文献４】国際公開第２０１１／１４９００９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献４において、採取すべき切片の断片を正確に特定するために、２つの切片が正確に一致するようにこれら切片の画像を重ね合わせる技術が求められている。しかしながら、特許文献１〜３はいずれも、試料に対してマーカを取り付ける処理が必要となり不都合である。また、特許文献１および２は、同一試料を撮影した２つの画像に関する技術であるため、特許文献４への適用は難しい。特許文献３は、特許文献４と同様に、類似の組織形態を有する２つの切片を撮影した２つの画像に関するものである。しかし、切片の薄切方向に対してマーカが斜めに埋め込まれた場合、切片とマーカとの位置関係が切片毎にずれるため、マーカを基準にして２つの画像を正確に重ね合わせることができないという問題がある。
【０００６】
本発明は、上述した事情に鑑みてなされたものであって、類似する２つの試料を撮影した２つの画像を簡単にかつ正確に重ね合わせることができる画像重ね合わせ方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、第１の対象物を撮影した第１の画像と、前記第１の対象物と類似する形状を有する第２の対象物を撮影した第２の画像とを重ね合わせる方法であって、前記第１の対象物および前記第２の対象物が互いに等倍で表示された前記第１の画像および前記第２の画像を取得する画像取得工程と、該画像取得工程において取得された前記第１の画像および前記第２の画像の各々に表示されている前記対象物の輪郭を取得する輪郭取得工程と、該輪郭取得工程において取得された各前記輪郭の重心を検出する重心検出工程と、該重心検出工程において検出された前記輪郭の重心が互いに一致するように前記第１の画像および前記第２の画像を重ね合わせる重ね合わせ工程と、該重ね合わせ工程において一致された前記重心を中心に前記第１の画像および前記第２の画像を相対回転させてこれら画像の相対角度を調整する回転工程とを含む画像重ね合わせ方法を提供する。
【０００８】
本発明によれば、画像取得工程において得られた第１の画像および第２の画像内の各対象物の輪郭を輪郭取得工程において取得し、次に各輪郭の重心を重心検出工程において検出し、次に重心が一致するように重ね合わせ工程において２つの画像を重ね合わせ、次に重心を中心とする２つの画像の相対角度を調整する。
これにより、類似しているものの同一ではない輪郭を有する２つの対象物を正確に位置合わせすることができる。また、２つの対象物の位置合わせのためのマーカを必要とせず、通常の画像を用いた簡単な処理のみで、２つの画像を重ね合わせることができる。
【０００９】
上記発明においては、前記回転工程において、各前記輪郭によって囲まれている２つの領域の互いに重なり合う面積が最大となる角度に、前記相対角度を調整してもよい。
このようにすることで、２つの対象物の位置合わせの精度を簡単な計算のみを用いて評価し、２つの対象物の位置が最も一致する相対角度を決定することができる。
【００１０】
また、上記発明においては、前記回転工程の後に、前記第１の画像および前記第２の画像を相対的に平行移動してこれら画像の相対位置を調整する平行移動工程を含んでもよい。
このようにすることで、一方の対象物の一部が変形する等してその対象物の輪郭の重心が偏っている場合に、２つの画像を平行移動することによって重心位置の偏りを補正し、２つの対象物の位置合わせ精度をさらに高めることができる。
【００１１】
また、上記発明においては、前記平行移動工程において、各前記輪郭によって囲まれている２つの領域の面積の平均に対する、前記２つの領域の互いに重なり合う面積の割合が最大となる位置に、前記相対位置を調整してもよい。
このようにすることで、２つの対象物の位置合わせの精度を簡単な計算のみを用いて評価し、２つの対象物の位置が最も一致する相対位置を決定することができる。
【００１２】
また、上記発明においては、前記平行移動工程の後に、前記重心を中心に前記第１の画像および前記第２の画像を相対回転させてこれら画像の相対角度を微調整する再回転工程を含んでもよい。
このようにすることで、平行移動工程を行った結果、回転工程において決定された相対角度よりもさらに最適な相対角度が生じる可能性がある。そこで、２つの画像の相対角度を微調整することによって、２つの対象物の位置合わせ精度をさらに高めることができる。
【発明の効果】
【００１３】
本発明によれば、類似する２つの試料を撮影した２つの画像を簡単にかつ正確に重ね合わせることができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る画像重ね合わせ方法を示すフローチャートである。
【図２】図１の画像重ね合わせ方法において用いられる第１の画像および第２の画像である。
【図３】重ね合わせ工程を説明する図である。
【図４】回転工程を説明する図である。
【図５】本発明の第２の実施形態に係る画像重ね合わせ方法を示すフローチャートである。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下に、本発明の第１の実施形態に係る画像重ね合わせ方法について図１から図４を参照して説明する。
本実施形態に係る画像重ね合わせ方法は、第１の対象物を撮影した第１の画像と、第１の対象物と類似の形状を有する第２の対象物を撮影した第２の画像とを重ね合わせる方法であって、図１に示されるように、第１および第２の画像を取得する画像取得工程Ｓ１と、各画像内の対象物の輪郭を取得する輪郭取得工程Ｓ２と、各輪郭の重心を検出する重心検出工程Ｓ３と、重心を基準にして第１および第２の画像を重ね合わせる重ね合わせ工程Ｓ４と、重心回りに第１および第２の画像を相対回転させる回転工程Ｓ５とを含む。
【００１６】
図２は、本実施形態において用いられる第１の画像Ｇ１および第２の画像Ｇ２の例を示している。本実施形態においては、２つの対象物として、生体組織の検体から切り出された２つの切片１，２を想定している。２つの切片１，２は、検体の近接する位置、好ましくは隣接する位置から切り出されたものであって、互いにほぼ同一の形状および組織形態を有している。２つの切片１，２はそれぞれ、カバーガラスのような別々の基板に貼り付けられる。そして、一方の切片（第１の切片）１は、基板と共に小さな断片に切断され、選別された一部の断片が遺伝子検査等に供される。他方の切片（第２の切片）２は病理染色が施される。
【００１７】
ここで、断片を選別するために、本実施形態に係る画像重ね合わせ方法が用いられる。すなわち、本実施形態に係る画像重ね合わせ方法によって、第１の切片１を撮影した第１の画像Ｇ１と、第２の切片２を撮影した第２の画像Ｇ２とを、第１の切片１と第２の切片２とが一致するように重ね合わせることによって、操作者は、第２の切片２の内、関心領域（例えば、癌化した領域）を特定し、特定した関心領域と対応する位置の断片を第１の切片１から選別することができる。
【００１８】
なお、本実施形態に係る画像重ね合わせ方法は、切片１，２の画像に限らず、類似する外形状を有する２つの対象物を撮影した画像であれば、どのような画像に対しても適用することができる。
【００１９】
次に、本実施形態に係る画像重ね合わせ方法の各工程Ｓ１〜Ｓ５について詳細に説明する。
本実施形態に係る画像重ね合わせ方法は、例えば、パーソナルコンピュータ等のコンピュータ上で実行される画像処理用アプリケーションプログラムとして実現される。すなわち、ＣＰＵ（中央演算処理装置）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の主記憶装置と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の補助記憶装置と、キーボードやマウス等の入力装置と、表示装置とを備えるコンピュータにおいて、ＣＰＵが、補助記憶装置に予め格納されたプログラムを主記憶装置に読み出し、実行することによって、各工程Ｓ１〜Ｓ５を実行する。
または、本実施形態に係る重ね合わせ方法は、各工程Ｓ１〜Ｓ５を実行する手段を備える画像処理装置によって実現されてもよい。
【００２０】
まず、画像取得工程Ｓ１において、切片１，２が互いに同じ倍率で表示された第１の画像Ｇ１および第２の画像Ｇ２を、例えば、補助記憶装置から読み出すことによって取得する。これら画像Ｇ１，Ｇ２は、例えば、第１の切片１および第２の切片２を、同一の撮影装置を用いて同一の倍率で撮影して得られたものである。もし、画像Ｇ１，Ｇ２が、第１の切片１および第２の切片２を互いに異なる倍率で撮影したものである場合には、切片１，２が互いに同じ倍率で表示されるように、２つの画像Ｇ１，Ｇ２のうち少なくとも一方を撮影倍率に応じて拡大または縮小する。
【００２１】
画像取得工程Ｓ１においては、画像Ｇ１，Ｇ２に対して画像処理を適宜施してもよい。例えば、２つの切片１，２のうち一方が、表裏が反対に基板に貼り付けられ、その結果、第１の画像Ｇ１と第２の画像Ｇ２とにおいて切片１，２が互いに反転することがある。このような場合には、２つの画像Ｇ１，Ｇ２のうち一方に、像を反転させる処理を施してもよい。さらに、この後に行われる工程Ｓ２〜Ｓ５を容易にするために、各画像Ｇ１，Ｇ２の明るさ、コントラスト、ガンマカーブ等を調整してもよく、画像Ｇ１，Ｇ２に効果を与えてもよい。
【００２２】
次に、輪郭取得工程Ｓ２においては、画像処理によって各画像Ｇ１，Ｇ２から切片１，２の輪郭Ａ，Ｂを抽出する。画像処理としては、階調値の二値化処理や微分処理等の公知の方法が利用される。
【００２３】
輪郭取得工程Ｓ２においては、画像処理に代えて、操作者による手入力によって輪郭Ａ，Ｂを取得してもよい。例えば、表示装置に表示された各画像Ｇ１，Ｇ２内の切片１，２の輪郭に沿って操作者が入力装置を用いてベジエ曲線を描き、描かれたベジエ曲線を輪郭Ａ，Ｂとして取得してもよい。または、タッチパネルに表示されている各画像Ｇ１，Ｇ２内の切片１，２の輪郭を操作者がスタイラスペンを用いてなぞり、その軌跡を輪郭Ａ，Ｂを取得してもよく、タッチパッド、ポインティングスティック、マウス等のデバイスを使用してもよい。また、画像処理と操作者による手入力とを組み合わせ、画像処理によって抽出された輪郭Ａ，Ｂを、操作者が手入力で修正してもよい。
【００２４】
次に、重心検出工程Ｓ３においては、各輪郭Ａ，Ｂを構成する画素の座標の平均を計算することによって、重心Ｃ１，Ｃ２の位置を算出する。ここで、重心Ｃ１，Ｃ２の計算には、輪郭Ａ，Ｂを構成する全ての画素の座標を必ずしも用いなくてもよく、計算量を低減するために一部の座標を間引いてもよい。
【００２５】
次に、重ね合わせ工程Ｓ４においては、図３に示されるように、重心検出工程Ｓ３によって検出された重心Ｃ１，Ｃ２が互いに一致するように、第１の画像Ｇ１上に第２の画像Ｇ２を重ね合わせる。
なお、図３および図４において、第１の画像Ｇ１と第２の画像Ｇ２、第１の切片１と第２の切片２を識別し易くするために、第１の画像Ｇ１および第１の切片１は破線で示されている。
【００２６】
次に、回転工程Ｓ５においては、重心Ｃ１，Ｃ２が互いに一致するように重ね合わされている２つの画像Ｇ１，Ｇ２のうち、第２の画像Ｇ２を、重心Ｃ１，Ｃ２を中心にして所定の角度範囲内、好ましくは３６０°回転させる。そして、図４に示されるように、第１の画像Ｇ１に対する第２の画像Ｇ２の回転角度を、一致率が最大となる角度に調整する。一致率は、下式によって定義される。
一致率＝２Ｒ／（ｒ１×ｒ２）
ここで、ｒ１は、輪郭Ａによって囲まれる領域の面積、ｒ２は、輪郭Ｂによって囲まれる領域の面積、Ｒは、各輪郭Ａ，Ｂによって囲まれる２つの領域が互いに重なり合っている領域（図３および図４において、ハッチングで示される領域）の面積である。Ｒは、ｒ１とｒ２とのうち、小さい方の面積を超えることはない。このため、ｒ１およびｒ２の値、または、第１の画像Ｇ１および第２の画像Ｇ２の形態により、一致率の最大値は１以下となる。
【００２７】
具体的には、例えば、第２の画像Ｇ２を１０°単位で回転させながら各回転角度における一致率を計算し、算出された一致率が最大である回転角度を決定する。この後に、さらに、決定した回転角度の前後９°の範囲において１°単位で第２の画像Ｇ２を回転させ、同様にして一致率が最大である回転角度を決定してもよい。このようにすることで、重ね合わせ精度を向上することができる。なお、回転角度の単位は、任意であって、例えば、０．５°であってもよく、さらに小さくてもよい。
【００２８】
回転工程Ｓ５の最中には、操作者が輪郭Ａ，Ｂの重ね合わせ状況を認識し易いように、２つの輪郭Ａ，Ｂと、重ね合わされている２つの画像Ｇ１，Ｇ２とを別々に表示してもよく、補助的な情報を表示してもよい。例えば、輪郭Ａ，Ｂによって囲まれる２つの領域が互いに重なり合っている領域を、所定の色で表示してもよい。さらに、一致率を示す、数値またはバーグラフのようなグラフィックスを表示してもよい。一致率は、操作者が理解し易いように、値を０を超え最大１までとして、重ね合わせる画像に関わらずに一定の範囲に収まるようにすることが好ましい。また、一致率に代えて、面積Ｒの値をそのまま操作者に提示してもよい。
【００２９】
なお、回転工程Ｓ５においては、操作者が第２の画像Ｇ２の回転角度を入力装置を用いて入力し、入力された回転角度だけ画像処理によって第１の画像Ｇ１を回転させてもよい。また、第２の画像Ｇ２に対して第１の画像Ｇ１を回転させてもよい。
【００３０】
また、回転工程Ｓ５においては、複数の回転角度において十分に高い一致率が得られた場合には、それら複数の回転角度を候補として操作者に提示し、提示された候補の中から１つを操作者が選定してもよい。一致率は、２つの輪郭Ａ，Ｂの全体的な形状のみに基づいて決定される値であり、輪郭Ａ，Ｂによって囲まれている領域内の組織形態や、輪郭Ａ，Ｂの局所的な特徴等を考慮していない。そのため、輪郭Ａ，Ｂが重心Ｃ１，Ｃ２に対してほぼ対称な形状を有する場合には、第２の画像Ｇ２が、適切な回転角度から例えば１８０°回転した角度においても、一致率が高くなる。また、輪郭Ａ，Ｂがほぼ円形である場合には、重心Ｃ２を中心に第２の画像Ｇ２を回転させたとしても、一致率があまり変化しない。そこで、複数の回転角度において高い一致率が得られ場合には、操作者が２つの切片１，２の組織形態に基づいて最適な回転角度を選定してもよい。
【００３１】
以上の手順によって、第１の画像Ｇ１および第２の画像Ｇ２を、第１の切片１と第２の切片２とが一致するように重ね合わせることができる。この場合に、本実施形態に係る画像重ね合わせ方法によれば、画像Ｇ１，Ｇ２内の切片１，２の輪郭Ａ，Ｂの重心Ｃ１，Ｃ２を検出し、重心Ｃ１，Ｃ２回りに２つの切片１，２の相対角度を調整することによって、２つの切片１，２が精度良く一致するように２つの画像Ｇ１，Ｇ２を重ね合わせることができる。さらに、２つの切片１，２の位置合わせのためのマーカは不要であり、通常の画像Ｇ１，Ｇ２を利用することができるので、特別な部材や処理が不要であると共に、簡単な画像処理および演算処理のみで足り、短時間で画像Ｇ１，Ｇ２の重ね合わせを行うことができるという利点がある。
【００３２】
（第２の実施形態）
次に、本発明の第２の実施形態に係る画像重ね合わせ方法について図５を参照して説明する。
本実施形態に係る画像重ね合わせ方法は、図５に示されるように、回転工程Ｓ５の後に、平行移動工程Ｓ６および再回転工程Ｓ７をさらに含む点において、第１の実施形態と異なっている。したがって、本実施形態においては、これら２つの工程Ｓ６，Ｓ７について主に説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
【００３３】
平行移動工程Ｓ６においては、第２の画像Ｇ２を、第１の画像Ｇ１に対して平行移動し、各位置において一致率を計算し、一致率が最大となる位置に第２の画像Ｇ２を位置決めする。このときに、第２の画像Ｇ２を平行移動する範囲を予め設定しておくことが好ましい。
【００３４】
例えば、第１の画像Ｇ１の横方向をＸ軸、縦方向をＹ軸と定義する。そして、重心Ｃ１，Ｃ２が一致する位置を基準にして、輪郭ＡのＸ軸方向の最大長さの５％の距離の範囲内において、第２の画像Ｇ２をＸ軸方向に平行移動させる。移動量の単位は、１ピクセルであることが好ましいが、計算量を低減するために２ピクセルから１０ピクセル程度であってもよい。同様に、重心Ｃ１，Ｃ２が一致する位置を基準にして、輪郭ＡのＹ軸方向の最大長さの５％の距離の範囲内において、第２の画像Ｇ２をＹ軸方向に平行移動させる。そして、Ｘ軸方向の各位置と、Ｙ軸方向の各位置との全ての組み合わせについて、一致率を計算し、一致率が最大となる位置を決定する。
【００３５】
平行移動工程Ｓ６においては、前述した回転工程Ｓ５と同様に、複数の位置において十分に高い一致率が得られた場合には、それら複数の位置を候補として操作者に提示し、提示された候補の中から１つを操作者が選定してもよい。
【００３６】
再回転工程Ｓ７は、前述した回転工程Ｓ５と同様に行われる。ただし、第１の画像Ｇ１と第２の画像Ｇ２との相対角度は、回転工程Ｓ５において既に一度調整されているので、本工程Ｓ７においては、回転工程Ｓ５よりも狭い角度範囲内において、回転工程Ｓ５よりも小さい単位で第２の画像Ｇ２を回転させることが好ましい。
【００３７】
薄い切片１，２は、基板に貼り付ける際に歪んだり端部が折れたりすることによって、輪郭Ａ，Ｂが変形することがある。このような変形が生じている場合には、重心Ｃ１，Ｃ２の位置が本来の位置からずれて、その結果、重ね合わせ工程Ｓ４において、２つの画像Ｇ１，Ｇ２が本来の相対位置からずれた位置で重ね合わせられる。本実施形態によれば、平行移動工程Ｓ６によって、重心Ｃ１，Ｃ２の位置のずれを補正し、２つの切片１，２がさらに正確に一致するように２つの画像Ｇ１，Ｇ２の重ね合わせることができる。
【００３８】
さらに、平行移動工程Ｓ６を行った結果、回転工程Ｓ５において決定された相対角度よりもさらに最適な角度が生じ得る。本実施形態によれば、再回転工程Ｓ７によって、２つの画像Ｇ１，Ｇ２の相対角度を再度調整することによって、２つの画像Ｇ１，Ｇ２の重ね合わせ精度をさらに高めることができる。
【００３９】
なお、本実施形態においては、回転工程Ｓ５、平行移動工程Ｓ６および再回転工程Ｓ７の各々において得られた、２つの画像Ｇ１，Ｇ２の重ね合わせ結果や角度または位置の候補を、一致率と一緒に記憶しておき、再回転工程Ｓ７の後に、全ての重ね合わせ結果を一致率と一緒に操作者に提示し、操作者が、最終的な重ね合わせ結果を選定してもよい。
【符号の説明】
【００４０】
１，２  切片（対象物）
Ａ，Ｂ  輪郭
Ｃ１，Ｃ２  重心
Ｇ１，Ｇ２  画像
Ｓ１  画像取得工程
Ｓ２  輪郭取得工程
Ｓ３  重心検出工程
Ｓ４  重ね合わせ工程
Ｓ５  回転工程
Ｓ６  平行移動工程
Ｓ７  再回転工程
【図１】
2015031599.tif 000003
【図２】
2015031599.tif 000004
【図３】
2015031599.tif 000005
【図４】
2015031599.tif 000006
【図５】
2015031599.tif 000007