(57)【要約】      （修正有）【課題】電子顕微鏡において、画像セグメント化を使用した物体追跡方法を提供する。【解決手段】セグメント化画像は、関心のある物体に対応するセグメントを示す。セグメント化画像内の関心のある物体から、１つ以上の標的物体を識別する。位置および／または形状において、前の画像に示された標的物体に最も類似している関心のある物体を識別する。あるいは、前の画像内の標的物体を接続する接続ベクトルに最も類似している接続ベクトルに関連付けられた関心のある物体を識別してもよい。移動ベクトルを、前の画像の標的物体の位置から、セグメント化画像の標的物体の位置まで描画する。標本の別の画像をキャプチャするために、顕微鏡の視野を移動ベクトルに従って標本に対して移動する。【選択図】図３Ｂ
2020057391.tif 000002
【特許請求の範囲】
【請求項１】
標本に対応する第１の画像を取得することであって、前記標本に対応する前記第１の画像が前記標本の第１の断面を示す、第１の画像、を取得することと、
標的物体に対応する前記第１の画像内の第１の位置を識別することと、
前記標本のブロック面から薄いスライスを切断することと、
前記標本に対応する第２の画像を取得することであって、前記第２の画像が顕微鏡によってキャプチャされ、前記標本に対応する前記第２の画像が前記標本の第２の断面を示す、取得することと、
セグメント化画像を取得するために画像セグメント化技術を前記第２の画像に適用することであって、前記セグメント化画像が、（ａ）関心のある物体に対応する第１の組のセグメントおよび（ｂ）関心のある物体に対応しない第２の組のセグメントを示す、適用することと、
前記セグメント化画像に示された前記関心のある物体のうち、前記第１の画像に示された前記標的物体と最も高い類似度スコアで関連付けられた特定の関心のある物体を、前記セグメント化画像に示された標的物体として決定することと、
前記標的物体に対応する前記セグメント化画像内の第２の位置を識別することと、
前記第１の画像内の前記第１の位置から前記セグメント化画像内の前記第２の位置への移動ベクトルを決定することと、
前記標本に対応する第３の画像をキャプチャするために、前記顕微鏡の視野を前記移動ベクトルに従って前記標本に対して移動させることと、を含む方法であって、
当該方法が、ハードウェアプロセッサを含む少なくとも１つのデバイスによって実行される、方法。
【請求項２】
前記顕微鏡の前記視野を前記移動ベクトルに従って前記標本に対して移動させた後、前記標本に対応し、前記標本の前記第２の断面を示す前記第３の画像をキャプチャすること、をさらに含む、請求項１に記載の方法。
【請求項３】
前記標本に対応し、前記標本の前記第２の断面を示す前記第３の画像を取得することであって、
前記第３の画像が、前記顕微鏡の前記視野が前記移動ベクトルに従って前記標本に対して移動した後、前記顕微鏡によってキャプチャされる、取得することと、
前記標的物体を追跡する一組の画像を寄せ集めることであって、前記一組の画像が、前記第３の画像を含むが前記第２の画像を含まない、寄せ集めることと、をさらに含む、請求項１に記載の方法。
【請求項４】
前記顕微鏡の視野を前記移動ベクトルに従って前記標本に対して移動させた後、前記標本に対応し、前記標本の第３の断面を示す前記第３の画像をキャプチャすること、をさらに含む、請求項１に記載の方法。
【請求項５】
前記標本に対応し、前記標本の第３の断面を示す前記第３の画像を取得することであって、
前記第３の画像が、前記顕微鏡の前記視野が前記移動ベクトルに従って前記標本に対して移動した後、前記顕微鏡によってキャプチャされる、取得することと、
前記標的物体を追跡する一組の画像を寄せ集めることであって、前記一組の画像が、前記第２の画像および前記第３の画像を含む、寄せ集めることと、をさらに含む、請求項１に記載の方法。
【請求項６】
前記標本に対応する前記第１の画像が、第１の時間間隔での前記標本を示し、
前記標本に対応する前記第２の画像が、前記第１の時間間隔に続く第２の時間間隔での前記標本を示す、請求項１に記載の方法。
【請求項７】
前記セグメント化画像に示された前記関心のある物体のうち、前記第１の画像に示された前記標的物体と前記最も高い類似度スコアで関連付けられた前記特定の関心のある物体を、前記セグメント化画像に示された前記標的物体として決定することが、
前記特定の関心のある物体が、前記第１の画像内の前記第１の位置に最も近いと判定することを含む、請求項１に記載の方法。
【請求項８】
前記セグメント化画像に示された前記関心のある物体のうち、前記第１の画像に示された前記標的物体と前記最も高い類似度スコアで関連付けられた前記特定の関心のある物体を、前記セグメント化画像に示された前記標的物体として決定することが、
前記特定の関心のある物体の第１の形状が、前記第１の画像に示された前記標的物体の第２の形状に最も類似していると判定することを含む、請求項１に記載の方法。
【請求項９】
前記第１の画像が前記顕微鏡によってキャプチャされる、請求項１に記載の方法。
【請求項１０】
前記第１の画像が、前記顕微鏡によってキャプチャされた別の画像のセグメント化されたバージョンである、請求項１に記載の方法。
【請求項１１】
前記画像セグメント化技術が、人工ニューラルネットワーク（ＡＮＮ）を使用することを含む、請求項１に記載の方法。
【請求項１２】
標本に対応する第１の画像を取得することであって、前記標本に対応する前記第１の画像が前記標本の第１の断面を示す、第１の画像、を取得することと、
前記第１の画像に示された複数の標的物体を接続する第１の組のベクトルを識別することと、
前記複数の標的物体に対応する前記第１の画像内の第１の位置を識別することと、
前記標本のブロック面から薄いスライスを切断することと、
前記標本に対応する第２の画像を取得することであって、前記第２の画像が顕微鏡によってキャプチャされ、前記標本に対応する前記第２の画像が前記標本の第２の断面を示す、取得することと、
セグメント化画像を取得するために画像セグメント化技術を前記第２の画像に適用することであって、前記セグメント化画像が、（ａ）関心のある物体に対応する第１の組のセグメントおよび（ｂ）関心のある物体に対応しない第２の組のセグメントを示す、適用することと、
前記セグメント化画像に示された前記関心のある物体のサブグループを識別することと、
前記セグメント化画像に示された前記関心のある物体の前記サブグループにそれぞれ対応する複数組のベクトルを識別することと、
前記複数組のベクトルのうち、前記第１の組のベクトルからの最小の差分と関連付けられた特定の一組のベクトルを決定することと、
前記関心のある物体の前記サブグループのうち、前記特定の一組のベクトルによって接続された前記関心のある物体の特定のサブグループを、前記複数の標的物体として決定することと、
前記複数の標的物体に対応する前記セグメント化画像内の第２の位置を識別することと、
前記第１の画像内の前記第１の位置から前記セグメント化画像内の前記第２の位置への移動ベクトルを決定することと、
前記標本に対応する第３の画像をキャプチャするために、前記顕微鏡の視野を前記移動ベクトルに従って前記標本に対して移動させることと、を含み、
前記方法が、ハードウェアプロセッサを含む少なくとも１つのデバイスによって実行される、方法。
【請求項１３】
前記標的物体に対応する前記第１の画像が、第１の時間間隔での前記標本を示し、
前記標的物体に対応する前記第２の画像が、前記第１の時間間隔に続く第２の時間間隔での前記標本を示す、請求項１２に記載の方法。
【請求項１４】
前記顕微鏡の前記視野を前記移動ベクトルに従って前記標本に対して移動させた後、前記標本に対応し、前記第２の時間間隔に続く第３の時間間隔での前記標本を示す第３の画像をキャプチャすること、をさらに含む、請求項１３に記載の方法。
【請求項１５】
前記標本に対応し、前記第２の時間間隔に続く第３の時間間隔での前記標本を示す第３の画像を取得することであって、
前記第３の画像が、前記顕微鏡の前記視野が前記移動ベクトルに従って前記標本に対して移動した後、前記顕微鏡によってキャプチャされる、取得することと、
前記複数の標的物体を追跡する一組の画像を寄せ集めることであって、前記一組の画像が、前記第２の画像および前記第３の画像を含む、寄せ集めることと、をさらに含む、請求項１３に記載の方法。
【請求項１６】
１つ以上のハードウェアプロセッサによって実行されると、請求項１〜１５のいずれかに記載の動作の実行を引き起こす命令を含む非一時的なコンピュータ可読媒体。
【請求項１７】
システムであって、
ハードウェアプロセッサを含む少なくとも１つのデバイスを備え、
請求項１〜１５のいずれかに記載の動作を実行するように構成された、システム。
【請求項１８】
請求項１〜１５のいずれかに記載の動作を実行するための１つ以上の手段を備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、標本画像取得に関する。具体的には、本開示は、画像セグメント化を使用した物体追跡に関する。
【背景技術】
【０００２】
顕微鏡検査は、顕微鏡を使用して肉眼では見ること困難な物体をよりよく閲覧するための技術分野である。顕微鏡検査の異なる分野としては、例えば、光学顕微鏡検査、荷電粒子（電子および／またはイオン）顕微鏡検査、ならびに走査型プローブ顕微鏡検査が挙げられる。
【０００３】
荷電粒子顕微鏡検査は、加速された荷電粒子のビームを照明源として使用することを伴う。電子顕微鏡検査のタイプとしては、例えば、透過型電子顕微鏡検査、走査型電子顕微鏡検査、走査透過型電子顕微鏡検査、および集束イオンビーム顕微鏡検査が挙げられる。
【０００４】
透過型電子顕微鏡（ＴＥＭ）のコンポーネントには、電子鏡筒、真空システム、必要な電子機器（ビームを集束および偏向するためのレンズ供給品ならびに電子源のための高電圧発生器）、ならびに制御ソフトウェアが含まれる。電子鏡筒には、一端に電子銃があり、他端に閲覧装置（カメラなど）がある。電子ビームは、電子銃から出て、薄い標本を通過し、電子を送出し、電子は、収集され、集束され、閲覧装置に投影される。銃からカメラまでの電子経路全体は真空下にある。
【０００５】
ＴＥＭと同様に、走査型電子顕微鏡（ＳＥＭ）のコンポーネントには、電子鏡筒、真空システム、必要な電子機器（ビームを集束および偏向するためのレンズ供給品ならびに電子源のための高電圧発生器）、ならびに制御ソフトウェアが含まれる。電子銃は、電子鏡胴の一端に配置されている。標本は、電子鏡胴の他端に配置されている。電子銃からの電子ビームは、標本表面の微細なスポットに集束される。電子ビームは、標本にわたって長方形ラスター状に走査される。ビーム電子と標本との相互作用によって生成される様々な信号の強度が測定され、コンピュータのメモリに記憶される。記憶された値は、次いで、画像ディスプレイ上の輝度のばらつきとしてマッピングされる。
【０００６】
走査透過型電子顕微鏡（ＳＴＥＭ）は、電子が十分に薄い標本を通過することで画像が形成されるという点で、ＴＥＭに類似している。しかしながら、ＴＥＭとは異なり、ＳＴＥＭは、電子ビームの焦点を微細なスポットに集束し、次いでこれをラスター照明システムでサンプルにわたって走査する。
【０００７】
集束イオンビーム顕微鏡（ＦＩＢ顕微鏡）はＳＥＭに類似しているが、ＦＩＢ顕微鏡は電子のビームの代わりにイオンのビームを使用する。イオンビーム源の例としては、ガリウムイオン源などの液体金属イオン源（ＬＭＩＳ）が挙げられる。
【０００８】
顕微鏡は、様々な構成可能な顕微鏡検査パラメータに関連付けられている。ＳＥＭの顕微鏡検査パラメータの例としては、加速電圧（電子が電子鏡筒を通過するときに電子が加速される電圧）、電子ビームの収束角、ビーム電流、スポットサイズ（標本上のビームスポットの直径）、滞留時間、および分解能が挙げられる。様々な顕微鏡検査パラメータの異なる値は、異なる品質と属性の画像をもたらす。例えば、より高い倍率では、より小さいスポットサイズが必要である。より高い信号対雑音比とコントラスト分解能には、より大きなビーム電流が必要である。しかしながら、スポットサイズを小さくすると、ビーム電流も減少する。
【０００９】
標本の３次元（３Ｄ）レンダリングを取得するには、様々な方法を使用できる。例として、ブロック面走査型電子顕微鏡検査は、顕微鏡の真空チャンバに標本を取り付けることと、顕微鏡を使用して標本のブロック面の画像をキャプチャすることと、ブロックの面から薄いスライスを切り取ることと、新しいブロック面が顕微鏡の焦点面に戻るように標本を持ち上げることと、新しいブロック面の別の画像をキャプチャすることと、を伴う。プロセスは、３Ｄ体積全体がキャプチャされるまで繰り返される。別の例として、連続切片走査型電子顕微鏡検査は、標本を薄いスライスに切断することと、顕微鏡の真空チャンバに第１のスライスを取り付けることと、第１のスライスの表面の画像をキャプチャすることと、顕微鏡の真空チャンバに次のスライスを取り付けることと、現在のスライスの表面の別の画像をキャプチャすることと、を伴う。プロセスは、すべてのスライスの画像がキャプチャされるまで繰り返される。本明細書で使用される「切片表面」という用語は、ブロック面走査型電子顕微鏡検査方法のブロック面、または連続切片走査型電子顕微鏡検査方法のスライスの表面など、各２Ｄ画像でキャプチャされた標本の一部を指す。切片表面の２Ｄ画像を積み重ねて、標本の３Ｄレンダリングを生成する。３Ｄレンダリングは、ユーザインターフェースで提示され、紙に印刷され、ならびに／または他の方法でユーザおよび／もしくは別のアプリケーションに提供されてもよい。３Ｄレンダリングは、標本の上部から底部への標本の切片表面を示す３Ｄモデルおよび／またはアニメーションとして提示されてもよい。３Ｄレンダリングは対話型であってもよく、例えば、ユーザは３Ｄモデルを回転させ、および／またはアニメーションを巻き戻し、停止、早送りしてもよい。
【００１０】
経時的に変化する標本の連続画像を取得するには、様々な方法を使用できる。原位置電子顕微鏡検査は、刺激に対する標本の応答を観察するために電子顕微鏡が使用される調査技術である。標本は、顕微鏡の視野内に取り付けられる。刺激を作動させ、標本を反応させる。顕微鏡は、定期的な時間間隔、例えば０．１秒ごとに標本の画像をキャプチャしてもよい。キャプチャ画像は、アニメーションを形成するために集められる。アニメーションは、経時的に標本内で発生する変化を示している。
【００１１】
標本の３Ｄレンダリングの取得に関連する欠点の１つは、顕微鏡の視野が限られていることである。標的物体（ユーザが観察したい物体）は、標本の異なる切片表面にわたって異なる位置に現れている場合がある。標的物体は特定の切片表面の視野内に現れている場合があるが、標的物体は別の切片表面の視野外にある場合がある。したがって、３Ｄレンダリングでは、標的物体は、標本の深さにわたって完全にはキャプチャされないであろう。
【００１２】
経時的に変化する標本の連続画像を取得することに関連する欠点の１つは、顕微鏡の視野が限られていることである。標的物体は、関心のある期間を通じて異なる位置に移動する場合がある。標的物体は特定の時間間隔では視野内に現れている場合があるが、標的物体は別の時間間隔では視野外にある場合がある。したがって、標的物体は、関心のある期間を通じて完全にはキャプチャされないであろう。
【００１３】
標本の３Ｄレンダリングの取得、および経時的に変化する標本の連続画像の取得に関連する別の欠点は、標的物体を追跡するのが非常に困難であることである。関心のある複数の物体が切片表面に現れている場合がある。他の雑多な物体も切片表面に現れている場合がある。ノイズも、標本画像をキャプチャする際に伴う場合がある。したがって、標本画像に示された関心のある物体のうちのどれが標的物体であるかを判定することは非常に困難である。例として、脳組織の切片表面に複数のミトコンドリアが現れている場合がある。しかしながら、ユーザは、ミトコンドリアのうちの１つに特に関心がある場合がある。ミトコンドリアの類似度のため、ユーザが特に関心のあるミトコンドリアを、キャプチャ画像に示された他のミトコンドリアならびに他の物体およびノイズから区別することは非常に困難である。別の例として、複数の気泡が、刺激のため、標本内で移動する場合がある。しかしながら、ユーザは、特定の一組の気泡に特に関心がある場合がある。気泡の類似度のため、ユーザが特に関心のある特定の一組の気泡を識別することは非常に困難である。
【００１４】
本発明の目的は、標本の３Ｄレンダリングを取得するプロセスを改善することである。具体的には、標的物体をよりよく追跡する３Ｄレンダリングを取得する改善された方法を提供することが目的である。
【００１５】
本発明の目的は、経時的に変化する標本の連続画像を取得するプロセスを改善することである。具体的には、標的物体をよりよく追跡する標本の連続画像を取得する改善された方法を提供することが目的である。
【００１６】
この目的のために、本発明は、請求項１で定義される方法を提供する。請求項１の方法は、標本に対応する第１の画像を取得するステップを含む。標的物体に対応する第１の画像内の第１の位置が識別される。次いで、標本に対応する（顕微鏡でキャプチャされた）第２の画像が取得される。画像セグメント化技術は、セグメント化画像を取得するために第２の画像に適用される。セグメント化画像は、（ａ）関心のある物体に対応する第１の組のセグメントおよび（ｂ）関心のある物体に対応しない第２の組のセグメントを含む。セグメント化画像に示された関心のある物体のうち、第１の画像に示された標的物体と最も高い類似度スコアで関連付けられた特定の関心のある物体を、セグメント化画像に示された標的物体として決定する。標的物体に対応するセグメント化画像内の第２の位置が識別される。第１の画像内の第１の位置からセグメント化画像内の第２の位置への移動ベクトルが決定される。標本に対応する第３の画像をキャプチャするために、顕微鏡の視野を移動ベクトルに従って標本に対して移動させる。方法は、一実施形態では、ハードウェアプロセッサを含む少なくとも１つのデバイスによって実行され得る。上記の方法を使用すると、標本の異なる切片表面にわたって標的物体を正確に識別および追跡することが可能である。さらに、上記の方法を使用すると、経時的に変化する標本にわたって標的物体を正確に識別および追跡することが可能である。標的物体がキャプチャ画像から直接識別されないため、精度が向上する。むしろ、標的物体は、キャプチャ画像に基づいて生成されたセグメント化画像から識別される。セグメント化画像は、キャプチャ画像に示された関心のない物体を除外するのに役立つ。したがって、セグメント化画像には、標的物体を識別するプロセスにとっての「ノイズ」が少なくなる。上記の方法に基づいて、標的物体は顕微鏡の視野内にとどまる。
【００１７】
標本に対応する第１の画像は、標本の第１の切片表面を示している。標本に対応する第２の画像は、標本の第２の切片表面を示している。このようにして、方法は標本の異なる切片表面に適用され、標本の３Ｄレンダリングが取得される。標的物体は、標本の３Ｄレンダリングを通じて追跡される。方法は、標本のブロック面から薄いスライスを切断して、標本の第１の切片表面を除去し、標本の第２の切片表面を露出させるステップを含む。
【００１８】
一実施形態では、顕微鏡の視野を移動ベクトルに従って標本に対して移動させた後、標本に対応する第３の画像がキャプチャされる。第３の画像は、標本の第２の切片表面を示している。このようにして、第２の切片表面から２つの画像がキャプチャされる。「第２の画像」は、標的物体を識別し、移動ベクトルを決定する目的でキャプチャされる。「第３の画像」は、移動ベクトルに基づいて標的物体を中心に配置した後にキャプチャされる。したがって、標的物体を正確に中心に配置した画像がキャプチャされる。
【００１９】
一実施形態では、標本に対応する第３の画像が取得される。第３の画像は、標本の第２の切片表面を示している。第３の画像は、顕微鏡の視野が移動ベクトルに従って標本に対して移動した後、顕微鏡によってキャプチャされる。標的物体を追跡する一組の画像が寄せ集められる。一組の画像は第３の画像を含むが、第２の画像は含まない。このようにして、第２の切片表面から２つの画像がキャプチャされる。「第２の画像」は、標的物体を識別し、移動ベクトルを決定する目的でキャプチャされる。「第３の画像」は、移動ベクトルに基づいて標的物体を中心に配置した後にキャプチャされる。標的物体を追跡する一組の画像を寄せ集める際、標的物体が中心に配置された画像のみが含められる。移動ベクトルを決定する目的で撮影された（かつ必ずしも標的物体を中心に配置しない）画像は含められない。したがって、標的物体を追跡する一組の画像は、標的物体が中心に配置された画像のみを含む。
【００２０】
一実施形態では、顕微鏡の視野を移動ベクトルに従って標本に対して移動させた後、標本に対応する第３の画像がキャプチャされる。第３の画像は、標本の第３の切片表面を示している。このようにして、第２の切片表面から１つの画像のみがキャプチャされる。第２の画像に示された標的物体の中心からの逸脱はすべて許容される。ある切片表面から次の切片表面においての標的物体の位置の変化は、重要ではないか、画像後処理ステップで簡単に修正できるほど小さいと想定される。したがって、第２の画像に示された標的物体の位置を中心に配置することに基づいて、第３の切片表面をキャプチャするための視野が移動される。同じ切片表面の画像取得を繰り返すことなく、標本全体のすべての切片表面の画像取得がより効率的にキャプチャされる。
【００２１】
一実施形態では、標本に対応する第３の画像が取得される。第３の画像は、標本の第３の切片表面を示している。第３の画像は、顕微鏡の視野が移動ベクトルに従って標本に対して移動した後、顕微鏡によってキャプチャされる。標的物体を追跡する一組の画像が寄せ集められる。一組の画像は、第２の画像および第３の画像を含む。このようにして、各切片表面が１回キャプチャされる。物体を追跡する一組の画像には、キャプチャされたあらゆる画像が含まれる。各画像が必ずしも標的物体の中心に配置されているとは限らない場合があるが、切片表面にわたっての標的物体の位置の変化が大きくないと想定すると、標的物体は視野内にとどまるであろう。同じ切片表面の画像取得を繰り返すことなく、標本全体のすべての切片表面の画像取得がより効率的にキャプチャされる。
【００２２】
一実施形態では、標本に対応する第１の画像は、第１の時間間隔での標本を示す。標本に対応する第２の画像は、第１の時間間隔に続く第２の時間間隔での標本を示す。このようにして、方法は異なる時間間隔で標本に適用され、標本の連続画像が取得される。標本は経時的に変化する可能性があるが、標的物体は標本の連続画像を通じて追跡される。
【００２３】
一実施形態では、セグメント化画像に示された関心のある物体のうち、第１の画像に示された標的物体と最も高い類似度スコアで関連付けられた特定の関心のある物体を、セグメント化画像に示された標的物体として決定することは、特定の関心のある物体が第１の画像内の第１の位置に最も近いと判定することを含む。追加的または代替的に、セグメント化画像に示された関心のある物体のうち、第１の画像に示された標的物体と最も高い類似度スコアで関連付けられた特定の関心のある物体を、セグメント化画像に示された標的物体として決定することは、特定の関心のある物体の第１の形状が第１の画像に示された標的物体の第２の形状に最も類似していると判定することを含む。このようにして、セグメント化画像に示された関心のある物体と別の画像に示された標的物体との間の類似度スコアは、物体の位置および／または物体の形状などの１つ以上の要因に基づいて決定され得る。
【００２４】
第１の画像は顕微鏡によってキャプチャされ得ることに留意されたい。あるいは、第１の画像は、顕微鏡によってキャプチャされた別の画像のセグメント化されたバージョンであってもよい。画像セグメント化技術は人工ニューラルネットワーク（ＡＮＮ）を使用し得ることにさらに留意されたい。
【００２５】
さらに、上述の目的を達成するために、本発明は、請求項１２で定義される方法を提供する。請求項１２の方法は、標本に対応する第１の画像を取得するステップを含む。第１の画像に示された複数の標的物体を接続する第１の組のベクトルが識別される。複数の標的物体に対応する第１の画像内の第１の位置が識別される。次いで、標本に対応する（顕微鏡でキャプチャされた）第２の画像が取得される。画像セグメント化技術は、セグメント化画像を取得するために第２の画像に適用される。セグメント化画像は、（ａ）関心のある物体に対応する第１の組のセグメントおよび（ｂ）関心のある物体に対応しない第２の組のセグメントを示す。セグメント化画像に示された関心のある物体のサブグループが識別される。セグメント化画像に示された関心のある物体のサブグループにそれぞれ対応する複数組のベクトルが決定される。複数組のベクトルのうち、第１の組のベクトルからの最小の差分と関連付けられた特定の一組のベクトルが決定される。関心のある物体のサブグループのうち、特定の一組のベクトルによって接続された関心のある物体の特定のサブグループが、複数の標的物体として決定される。複数の標的物体に対応するセグメント化画像内の第２の位置が識別される。第１の画像内の第１の位置からセグメント化画像内の第２の位置への移動ベクトルが決定される。標本に対応する第３の画像をキャプチャするために、顕微鏡の視野を移動ベクトルに従って標本に対して移動させる。方法は、一実施形態では、ハードウェアプロセッサを含む少なくとも１つのデバイスによって実行され得る。上記の方法を使用すると、上述のように標本のブロック面から薄いスライスを切断することによって、標本の異なる切片表面にわたって標的物体を正確に識別および追跡することが可能である。さらに、上記の方法を使用すると、経時的に変化する標本にわたって標的物体を正確に識別および追跡することが可能である。標的物体がキャプチャ画像から直接識別されないため、精度が向上する。むしろ、標的物体は、キャプチャ画像に基づいて生成されたセグメント化画像から識別される。セグメント化画像は、キャプチャ画像に示された関心のない物体を除外するのに役立つ。したがって、セグメント化画像には、標的物体を識別するプロセスの「ノイズ」が少なくなる。上記の方法に基づいて、標的物体は顕微鏡の視野内にとどまる。
【００２６】
一実施形態では、標本に対応する第１の画像は、第１の時間間隔での標本を示す。標本に対応する第２の画像は、第１の時間間隔に続く第２の時間間隔での標本を示す。このようにして、方法は異なる時間間隔で標本に適用され、標本の連続画像が取得される。標本は経時的に変化する可能性があるが、標的物体は標本の連続画像を通じて追跡される。
【００２７】
一実施形態では、顕微鏡の視野を移動ベクトルに従って標本に対して移動させた後、標本に対応する第３の画像がキャプチャされる。第３の画像は、第２の時間間隔に続く第３の時間間隔での標本を示す。このようにして、標本に対応する画像が各時間間隔で取得される。標的物体は、標本の連続画像を通じて追跡される。
【００２８】
一実施形態では、標本に対応する第３の画像が取得される。第３の画像は、第２の時間間隔に続く第３の時間間隔での標本を示す。第３の画像は、顕微鏡の視野が移動ベクトルに従って標本に対して移動した後、顕微鏡によってキャプチャされる。複数の標的物体を追跡する一組の画像が寄せ集められる。第２の画像および第３の画像を含む一組の画像。このようにして、標本に対応する画像が各時間間隔で取得される。標的物体は、標本の連続画像を通じて追跡される。複数の標的物体を追跡する一組の画像には、各時間間隔でキャプチャされたあらゆる画像が含まれる。
【００２９】
本発明の一態様によれば、請求項１５に記載の非一時的なコンピュータ可読媒体が提供される。非一時的なコンピュータ可読媒体は、１つ以上のハードウェアプロセッサによって実行されると、上記の実施形態のいずれかに記載されている動作の実行を引き起こす命令を含む。利点はすでに上で議論されている。
【００３０】
本発明のさらなる態様によれば、請求項１６に記載のシステムが提供される。システムは、ハードウェアプロセッサを含む少なくとも１つのデバイスを備える。システムは、上述の本発明による方法に関して記載されている動作を実行するように構成される。実施形態では、システムは、上記の説明に記載されている動作を実行するための１つ以上の手段を備えてもよい。
【００３１】
本発明のさらなる態様によれば、請求項１７に記載のシステムが提供される。システムは、上記の説明に記載されている動作を実行するための１つ以上の手段を備える。
【００３２】
このセクションに記載されるアプローチは、追求できるアプローチであるが、必ずしも以前に考案または追求されたアプローチではない。したがって、特に断りのない限り、このセクションに記載されるアプローチのいずれかが、単にこのセクションに含まれているという理由だけで、先行技術として認められると想定すべきではない。
【図面の簡単な説明】
【００３３】
実施形態は、限定としてではなく例として、添付の図面の図に示されている。本開示における「ある」または「１つの」実施形態への言及は、必ずしも同じ実施形態への言及ではなく、少なくとも１つを意味することに留意されたい。
【００３４】
【図１Ａ】１つ以上の実施形態による、例示的な物体追跡画像取得システムを示す。
【図１Ｂ】１つ以上の実施形態による、物体追跡画像取得システムの例示的なプロセスフローを示す。
【図１Ｃ】１つ以上の実施形態による、例示的な標本を示す。
【図２Ａ】１つ以上の実施形態による、標的物体を追跡する３Ｄ標本レンダリングを取得するための例示的な一連の動作を示す。
【図２Ｂ】１つ以上の実施形態による、標的物体を追跡する３Ｄ標本レンダリングを取得するための例示的な一連の動作を示す。
【図３Ａ】１つ以上の実施形態による、標的物体を追跡する連続標本画像を取得するための例示的な一連の動作を示す。
【図３Ｂ】１つ以上の実施形態による、標的物体を追跡する連続標本画像を取得するための例示的な一連の動作を示す。
【図４】１つ以上の実施形態による、標本の例示的な断面を示す。
【図５Ａ−５Ｊ】１つ以上の実施形態による、標的物体を追跡する３Ｄ標本レンダリングを取得する例を示す。
【図６】１つ以上の実施形態による、経時的に変化する例示的な標本を示す。
【図７Ａ−７Ｈ】１つ以上の実施形態による、標的物体を追跡する連続標本画像を取得する例を示す。
【図８Ａ−８Ｃ】１つ以上の実施形態による、複数の標的物体を追跡する３Ｄ標本レンダリングを取得するための例示的な一連の動作を示す。
【図９Ａ−９Ｃ】１つ以上の実施形態による、複数の標的物体を追跡する連続標本画像を取得するための例示的な一連の動作を示す。
【図１０Ａ−１０Ｎ】１つ以上の実施形態による、複数の標的物体を追跡する連続標本画像を取得する例を示す。
【図１１】１つ以上の実施形態による、コンピュータシステムを示すブロック図を示す。
【発明を実施するための形態】
【００３５】
下記の記載では、説明の目的で、徹底的な理解を提供するために、多くの具体的な細部が説明される。これらの具体的な詳細なしで、１つ以上の実施形態を実施することができる。ある実施形態に記載される特徴は、異なる実施形態に記載される特徴と組み合わせることができる。いくつかの例では、本発明を不必要に曖昧にすることを避けるために、周知の構造およびデバイスがブロック図形式を参照して説明される。
１．概要
２．物体追跡画像取得システムのアーキテクチャ
３．セグメント化画像内の関心のある物体に関連付けられた比較距離に基づく物体追跡
４．例示的な実施形態
５．セグメント化画像内の関心のある物体に関連付けられた比較接続ベクトルに基づく物体追跡
６．例示的な実施形態
７．ハードウェアの概要
８．雑項、外延
【００３６】
１．概要
１つ以上の標的物体は、一組の標本画像を通じて追跡される。一組の画像は、標本にわたっての切片表面の画像を含んでもよい。あるいは、一組の画像は、経時的に変化する標本から連続して撮影された画像を含んでもよい。
【００３７】
１つ以上の実施形態は、セグメント化画像内の関心のある物体に関連付けられた比較距離に基づいて標的物体を追跡することを含む。標本に対応する第１の画像が取得される。標的物体に対応する第１の画像内の第１の位置が識別される。次いで、標本に対応する（顕微鏡でキャプチャされた）第２の画像が取得される。画像セグメント化技術は、セグメント化画像を取得するために第２の画像に適用される。セグメント化画像は、（ａ）関心のある物体に対応する第１の組のセグメントおよび（ｂ）関心のある物体に対応しない第２の組のセグメントを含む。セグメント化画像に示された関心のある物体のうち、第１の画像に示された標的物体と最も高い類似度スコアで関連付けられた特定の関心のある物体を、セグメント化画像に示された標的物体として決定する。標的物体に対応するセグメント化画像内の第２の位置が識別される。第１の画像内の第１の位置からセグメント化画像内の第２の位置への移動ベクトルが決定される。標本に対応する第３の画像をキャプチャするために、顕微鏡の視野を移動ベクトルに従って標本に対して移動させる。
【００３８】
１つ以上の実施形態は、セグメント化画像内の関心のある物体に関連付けられた比較接続ベクトルに基づいて標的物体を追跡することを含む。標本に対応する第１の画像が取得される。第１の画像に示された複数の標的物体を接続する第１の組のベクトルが識別される。複数の標的物体に対応する第１の画像内の第１の位置が識別される。次いで、標本に対応する（顕微鏡でキャプチャされた）第２の画像が取得される。画像セグメント化技術は、セグメント化画像を取得するために第２の画像に適用される。セグメント化画像は、（ａ）関心のある物体に対応する第１の組のセグメントおよび（ｂ）関心のある物体に対応しない第２の組のセグメントを示す。セグメント化画像に示された関心のある物体のサブグループが識別される。セグメント化画像に示された関心のある物体のサブグループにそれぞれ対応する複数組のベクトルが決定される。複数組のベクトルのうち、第１の組のベクトルからの最小の差分と関連付けられた特定の一組のベクトルが決定される。関心のある物体のサブグループのうち、特定の一組のベクトルによって接続された関心のある物体の特定のサブグループが、複数の標的物体として決定される。複数の標的物体に対応するセグメント化画像内の第２の位置が識別される。第１の画像内の第１の位置からセグメント化画像内の第２の位置への移動ベクトルが決定される。標本に対応する第３の画像をキャプチャするために、顕微鏡の視野を移動ベクトルに従って標本に対して移動させる。
【００３９】
本明細書に記載されているおよび／または特許請求の範囲に記載されている１つ以上の実施形態は、この概要セクションに含まれていない場合がある。
【００４０】
２．物体追跡画像取得システムのアーキテクチャ
図１Ａは、１つ以上の実施形態による、例示的な物体追跡画像取得システムを示す。図１Ａに示されるように、システム１００は、標本１０２、顕微鏡１０４、人工ニューラルネットワーク（ＡＮＮ）１０８、顕微鏡位置決めマネージャ１１４、およびデータリポジトリ１１６を含む。１つ以上の実施形態では、システム１００は、図１Ａに示されるコンポーネントよりも多いまたは少ないコンポーネントを含むことができる。図１Ａに示されるコンポーネントは、互いにローカルであっても遠隔であってもよい。図１Ａに示されるコンポーネントは、ソフトウェアおよび／またはハードウェアで実装されてもよい。各コンポーネントは、複数のアプリケーションおよび／またはマシンに分散できる。複数のコンポーネントを組み合わせて１つのアプリケーションおよび／またはマシンにすることができる。あるコンポーネントに関して説明された動作は、代わりに別のコンポーネントによって実行することができる。
【００４１】
１つ以上の実施形態では、標本１０２は、研究および／または分析される物体（または物体の一部）である。生命科学の分野では、標本の例としては、組織、細胞、タンパク質構造、およびウイルスが挙げられる。天然資源の分野では、標本の例としては、油、ガス、有機材料、および岩石が挙げられる。半導体の分野では、標本の例としては、結晶材料および半導体材料が挙げられる。追加的および／または代替的な分野の標本を使用してもよい。
【００４２】
標本１０２は、特定の深さを有し得る。図１Ｃを参照すると、標本の「深さ」とは、上面１２０から底面１２２までの距離を指す。切片表面１２４（「ブロック面」とも呼ばれる）は、標本１０２の片側から標本１０２の反対側へ標本１０２をスライスすることによって作成される標本１０２の平面である。断面１２６は、標本１０２を標本１０２の上部から標本１０２の底部までスライスすることによって作成される標本１０２の平面である。顕微鏡１０４は、標本の上面１２０から標本の底面１２２までの切片表面１２４の画像のキャプチャを開始することができる。
【００４３】
標本１０２は、経時的に変化する場合がある。変化は、刺激によって引き起こされる場合がある。例として、標本内の様々な物体は、サイズ、形状、および／または位置が経時的に変化する場合がある。様々な物体が経時的に標本内に生成される場合がある。様々な物体が経時的に標本から消失することがある。
【００４４】
標本１０２は、１つ以上の関心のある物体を含む。関心のある物体は、研究中の物体タイプに関連付けられている。標本の残りの部分は、関心のある物体のコンテキストを提供する。例として、標本は、細胞膜および他の構造を含む脳構造である場合がある。細胞膜は、研究中の物体のタイプである可能性がある。したがって、細胞膜は、関心のある物体と呼ばれる場合がある。一方、他の構造は関心のある物体ではない。関心のある物体の他の例としては、ミトコンドリア、特定の神経構造、生物学的構造の他の部分、結晶構造内の欠陥、結晶構造の境界、ナノワイヤ内の構造、および液体内の気泡が挙げられる。
【００４５】
標本１０２は、１つ以上の標的物体を含む。標的物体は、特定の関心のある物体である。標本の３Ｄレンダリングが生成されるシナリオでは、標的物体は、標本１０２の断面を通して観察されるべき関心のある物体である。追加的または代替的に、変化する標本の連続画像が生成されるシナリオでは、標的物体は、特定の期間を通して観察されるべき関心のある物体である。したがって、標的物体は、関心のある物体のサブセットである場合がある。例として、標本には１０個の細胞膜が含まれる場合がある。細胞膜は、研究中の物体タイプである可能性がある。したがって、１０個すべての細胞膜が関心のある物体である場合がある。しかしながら、１０個の細胞膜のうち１つだけを標本の断面を通して追跡する必要がある場合がある。追跡される関心のある物体は、標的物体と呼ばれる。
【００４６】
図１Ａを再び参照すると、１つ以上の実施形態では、顕微鏡１０４は、肉眼では見ることが困難な物体をよりよく閲覧するための光学機器である。顕微鏡のタイプとしては、透過型電子顕微鏡（ＴＥＭ）、走査型電子顕微鏡（ＳＥＭ）、走査透過型電子顕微鏡（ＳＴＥＭ）、集束イオンビーム顕微鏡（ＦＩＢ顕微鏡）、および走査型光学顕微鏡が挙げられる。本明細書で使用される「顕微鏡」という用語は、エネルギー分散分光法（ＥＤＳ）、および／または電子後方散乱回折（ＥＢＳＤ）、波長分散分光法（ＷＤＳ）、マイクロＸ線蛍光（Ｍｉｃｒｏ−ＸＲＦ）、および／またはＸ線計測などの検出システムも包含し得る。
【００４７】
１つ以上の実施形態では、顕微鏡１０４の視野は、顕微鏡１０４のレンズを通して閲覧可能な標本１０２の一部を指す。顕微鏡１０４は、顕微鏡１０４の視野を位置決めするための１つ以上の位置決めパラメータ１０６に関連付けられている。顕微鏡１０４の視野は、様々な方法で、標本１０２に対して移動させることができる。位置決めパラメータ１０６は、例えば、顕微鏡１０４内の電子ビームの位置であってもよい。追加的または代替的に、位置決めパラメータ１０６は、顕微鏡１０４に対する標本ステージの位置であってもよい。標本１０２が取り付けられる標本ステージは移動されてもよい。追加的または代替的に、位置決めパラメータ１０６は、標本ステージに対する標本１０２の位置であってもよい。標本１０２は、標本ステージ上の異なる位置に取り付けることができる。追加的または代替的に、位置決めパラメータ１０６は、顕微鏡１０２に対する顕微鏡のレンズの位置であってもよい。追加的または代替的な位置決めパラメータ１０６も使用され得る。
【００４８】
１つ以上の実施形態では、顕微鏡１０４は、１つ以上の顕微鏡検査パラメータに関連付けられている。顕微鏡検査パラメータは、顕微鏡１０４の構成可能な属性である。ＳＥＭの顕微鏡検査パラメータの例としては、加速電圧（電子が電子鏡筒を通過するときに電子が加速される電圧）、電子ビームの収束角、ビーム電流、スポットサイズ（標本上のビームスポットの直径）、滞留時間、および分解能が挙げられる。
【００４９】
様々な顕微鏡検査パラメータの異なる値は、異なる品質と属性の画像をもたらす。例えば、より高い倍率では、より小さいスポットサイズが必要である。より高い信号対雑音比とコントラスト分解能には、より大きなビーム電流が必要である。しかしながら、スポットサイズを小さくすると、ビーム電流も減少する。
【００５０】
１つ以上の実施形態では、データリポジトリ１１６は、データを記憶するための任意のタイプの記憶ユニットおよび／またはデバイス（例えば、ファイルシステム、データベース、テーブルのコレクション、または任意の他の記憶機構）である。さらに、データリポジトリ１１６は、複数の異なる記憶ユニットおよび／またはデバイスを含むことができる。複数の異なる記憶ユニットおよび／またはデバイスは、同じタイプであってもなくてもよく、同じ物理サイトに位置してもしなくてもよい。さらに、データリポジトリ１１６は、顕微鏡１０４、ＡＮＮ１０８、および／またはマージモジュール１１４と同じコンピューティングシステム上で実装または実行されてもよい。追加的または代替的に、データリポジトリ１０４は、顕微鏡１０４、ＡＮＮ１０８、および／またはマージモジュール１１４とは別個のコンピューティングシステム上で実装または実行されてもよい。データリポジトリ１０４は、直接接続を介してまたはネットワークを介して、顕微鏡１０４、ＡＮＮ１０８、および／またはマージモジュール１１４に通信可能に結合されてもよい。
【００５１】
キャプチャ標本画像１１６およびセグメント化標本画像１１８を記述する情報は、システム１００内の任意のコンポーネントにわたって実装され得る。しかしながら、この情報は、明確化および説明の目的でデータリポジトリ１１６内に示されている。
【００５２】
１つ以上の実施形態では、キャプチャ標本画像１１６（本明細書では「標本画像」または「画像」とも呼ばれる）は、顕微鏡１０４によって生成される標本１０２の画像である。キャプチャ標本画像１１６は、顕微鏡１０４の視野内にある標本１０２の領域を示す。キャプチャ標本画像１１６は、特定のレベルの画像品質に関連付けられ得る。画質品質は、例えば、分解能、倍率、標本画像のピクセル数、標本画像のピクセルサイズ、および／または他の属性によって定義され得る。
【００５３】
一実施形態では、標本１０２に対応する一組のキャプチャ標本画像１１６が取得される。一組のキャプチャ標本画像１１６は、標本１０２内の１つ以上の標的物体を追跡する３Ｄレンダリングを構成し得る。追加的または代替的に、一組のキャプチャ標本画像１１６は、標本１０２内で変化および／または移動する１つ以上の標的物体を追跡する連続画像を構成し得る。一組のキャプチャ標本画像１１６は、アニメーションおよび／またはビデオを生成するために寄せ集められ得る。
【００５４】
１つ以上の実施形態では、セグメント化標本画像１１８（本明細書では「セグメント化画像」とも呼ばれる）は、キャプチャ標本画像１１６の簡略バージョンである。セグメント化標本画像１１８は、キャプチャ標本画像１１６を複数のセグメントに分割する。セグメント化標本画像内のあらゆるピクセルまたは位置は、複数のセグメントのいずれかに属する。各セグメントは、定義された一組のラベルのいずれかに関連付けられる。定義された一組のラベルには、任意の数のラベルを含めることができる。
【００５５】
例として、セグメント化標本画像には、関心のある物体を示すセグメントと、関心のある物体を示さないセグメントとの２つのタイプのセグメントが含まれる。セグメント化標本画像内のあらゆるピクセルまたは位置は、セグメントのいずれかに属する場合がある。したがって、セグメント化標本画像は、バイナリ画像とも呼ばれ、セグメント化標本画像の各ピクセルまたは位置は、２つの可能な値のいずれかでラベル付けされる。
【００５６】
一実施形態では、セグメント化標本画像１１６は複数のセグメントを含み、各セグメントは１つ以上の関心のある物体を示す。上述のように、各関心のある物体は、研究中の物体タイプに関連付けられている。しかしながら、複数の関心のある物体のサブセットのみが標的物体として識別されてもよい。すべての関心のある物体が、標本の３Ｄレンダリングで、または経時的に撮影された連続標本画像で追跡されるわけではない。標的物体のみが、標本の３Ｄレンダリングで、または経時的に撮影された連続標本画像で追跡される。
【００５７】
１つ以上の実施形態では、ＡＮＮ１０８（深層学習システムとも呼ばれる）は機械学習コンピューティングシステムである。ＡＮＮ１０８は、人工ニューロンと呼ばれる接続されたユニットまたはノードのコレクションを含む。各接続は、ある人工ニューロンから別のニューロンに信号を送信する。受信した信号を処理して別の信号を別の人工ニューロンに送信する人工ニューロン。人工ニューロンは層に集約されてもよい。異なる層は、入力に対して異なる種類の変換を実行してもよい。
【００５８】
ＡＮＮの１つのタイプは、畳み込みニューラルネットワークである。畳み込みニューラルネットワークは、３つのカラーチャネルのピクセル強度を含む３つの２次元配列で構成されるカラー画像など、複数の配列の形式で到来するデータを処理するように設計されている。従来のニューラルネットワークの例示的なアーキテクチャは、一連の段階として構成される。最初の数段階は、畳み込み層とプーリング層の２つのタイプの層で構成される。畳み込み層は、入力に畳み込み演算を適用し、結果を次の層に渡す。畳み込みは、視覚刺激に対する個々のニューロンの応答をエミュレートする。プーリング層は、ある層のニューロンクラスターの出力を次の層の単一のニューロンに結合する。例えば、最大プーリングでは、前の層のニューロンのクラスターのそれぞれからの最大値を使用する。従来のニューラルネットワークの例は、ｕ−ｎｅｔである。ｕ−ｎｅｔは、Ｒｏｎｎｅｂｅｒｇｅｒ  ｅｔ  ａｌ．，Ｕ−Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｂｉｏｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ，Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ  −  ＭＩＣＣＡＩ  ２０１５，２３４−２４１（２０１５）に記載されており、同文献は、ここに参照により組み込まれる。
【００５９】
１つ以上の実施形態では、ＡＮＮ１０８は、標本画像に示された関心のある物体を検出および／または識別するように構成される。標本画像内の各位置について、ＡＮＮ１０８は、その位置が関心のある物体を示す確率を判定する。確率は「予測値」と呼ばれることもある。予測マスク１１０は、標本画像の各位置の予測値を示す。予測マスク１１０の各位置は、標本画像内の対応する位置にマッピングされる。
【００６０】
予測マスク１１０に基づいて、セグメント化標本画像１１８が生成され得る。例として、予測マスクは、閾値処理することができる。閾値を超える予測値を有する位置は、１つのラベル（例えば、関心のある物体に対応するセグメント）に関連付けることができる。閾値を下回る予測値を有する位置は、別のラベル（例えば、関心のある物体に対応しないセグメント）に関連付けることができる。したがって、ＡＮＮ１０８は、キャプチャ標本画像１１６に対して画像セグメント化を実行して、セグメント化標本画像１１８を生成するように構成され得る。
【００６１】
１つ以上の実施形態では、キャプチャ標本画像１１６に対して画像セグメント化を実行してセグメント化標本画像１１８を生成するための追加的または代替的な方法が使用されてもよい。一例として、グレースケール画像に閾値処理方法を適用することができる。グレースケール画像内の特定の範囲内の値は、特定のラベルに関連付けられていると分類され得る。グレースケール画像内の別の範囲内の値は、別のラベルに関連付けられていると分類され得る。別の例として、クラスタリング方法が使用されてもよい。Ｋ−ｍｅａｎｓアルゴリズムは、画像をＫ個のクラスターに分割するために使用される反復技術である。別の例として、エッジ検出方法が使用されてもよい。別の例として、グラフ分割方法が使用されてもよい。別の例として、分水嶺変換方法が使用されてもよい。
【００６２】
１つ以上の実施形態では、顕微鏡位置決めマネージャ１１２は、標本１０２に対して顕微鏡１０４の視野を移動させ、標本１０２内の１つ以上の標的物体を追跡するように構成されたハードウェアおよび／またはソフトウェアを指す。標的物体は、セグメント化標本画像１１８に示された複数の関心のある物体から識別され得る。標的物体を追跡するための動作の例を、図２Ａ〜２Ｂおよび図３Ａ〜３Ｂを参照して以下に説明する。
【００６３】
一実施形態では、顕微鏡位置決めマネージャ１１２は、１つ以上のデジタルデバイス上に実装される。「デジタルデバイス」という用語は一般に、プロセッサを含むハードウェアデバイスを指す。デジタルデバイスは、アプリケーションまたは仮想マシンを実行する物理デバイスを指してもよい。デジタルデバイスの例としては、コンピュータ、タブレット、ラップトップ、デスクトップ、ネットブック、サーバ、ウェブサーバ、ネットワークポリシーサーバ、プロキシサーバ、汎用マシン、機能固有のハードウェアデバイス、メインフレーム、テレビ、コンテンツ受信機、プリンタ、携帯電話、スマートフォン、および／または携帯情報端末（ＰＤＡ）が挙げられる。
【００６４】
図１Ｂは、１つ以上の実施形態による、物体追跡画像取得システムの例示的なプロセスフローを示す。図１Ａ〜１Ｂで同じ番号が付けられているコンポーネントは、類似のコンポーネントを指す。
【００６５】
図示されるように、顕微鏡１０４は、一組の１つ以上の位置決めパラメータ１０６に対する第１の組の値で構成される。顕微鏡１０４は、位置決めパラメータ１０６の第１の組の値を使用して標本１０２を観察するために使用される。顕微鏡１０４は、標本１０２の現在のキャプチャ標本画像１１６ａを生成する。
【００６６】
現在のキャプチャ標本画像１１６ａは、ＡＮＮ１０８に入力される。ＡＮＮ１０８は、現在のキャプチャ標本画像１１６ａ内の関心のある物体を識別する。セグメント化標本画像１１８は、現在のキャプチャ標本画像１１６ａに基づいて生成される。セグメント化標本画像１１８は、関心のある物体に対応する現在のキャプチャ標本画像１１６ａのセグメントと、関心のある物体に対応しない現在のキャプチャ標本画像１１６ａのセグメントを示す。
【００６７】
セグメント化標本画像１１８は、顕微鏡位置決めマネージャ１１２に入力される。顕微鏡位置決めマネージャ１１２は、セグメント化標本画像１１８に示された関心のある物体から１つ以上の標的物体を識別する。顕微鏡位置決めマネージャ１１２は、（ａ）前のキャプチャ標本画像内の標的物体の位置から（ｂ）セグメント化標本画像１１８内の標的物体の位置までの移動ベクトルを決定する。顕微鏡位置決めマネージャ１１２は、視野を移動ベクトルに従って移動させるように、顕微鏡１０４の位置決めパラメータ１０６の第２の組の値を構成する。視野は、移動ベクトルに従って標本１０２に対して移動される。
【００６８】
顕微鏡１０４は、位置決めパラメータ１０６の第２の組の値を使用して標本１０２を観察するために使用される。顕微鏡１０４は、標本１０２の次のキャプチャ標本画像１１６ｂを生成する。
【００６９】
現在のキャプチャ標本画像１１６ａおよび次のキャプチャ標本画像１１６ｂは、標本１０２の異なる切片表面のものであってもよい。追加的または代替的に、現在のキャプチャ標本画像１１６ａおよび次のキャプチャ標本画像１１６ｂは、異なる時間間隔で時間１０２にわたって変化する標本のものであってもよい。
【００７０】
任意選択的に、現在のキャプチャ標本画像１１６ａと次のキャプチャ標本画像１１６ｂとの間で、繰り返しキャプチャ標本画像（図示せず）を撮影することができる。繰り返しキャプチャ標本画像と現在のキャプチャ標本画像１１６ａは、標本１０２の同じ切片表面のものであり、位置決めパラメータ１０６の異なる値で撮影されたものである。視野が移動ベクトルに従って移動された後、繰り返しキャプチャ標本画像が撮影される。視野は、繰り返しキャプチャ標本画像と次のキャプチャ標本画像１１６ｂとの取得の間に移動されない。
【００７１】
一実施形態では、繰り返しキャプチャ標本画像は、現在のキャプチャ標本画像１１６ａと比較して、低減された分解能、または低減された滞留時間など、低減された品質パラメータで撮影されてもよい。あるいは、現在のキャプチャ標本画像１１６ａは、繰り返しキャプチャ標本画像と比較して、低減された品質パラメータで撮影されてもよい。低減された品質パラメータを使用すると、プロセスの速度を向上し、かつ／またはサンプルの損傷を低減し得る。
【００７２】
プロセスは、次のキャプチャ標本画像１１６ｂで繰り返されてもよい。次のキャプチャ標本画像１１６ｂは、次いで、ＡＮＮ１０８に入力される。ＡＮＮは、上述のように、次のキャプチャ標本画像１１６ｂに基づいてセグメント化標本画像を生成する。
【００７３】
次のキャプチャ標本画像１１６ｂに基づくセグメント化標本画像は、顕微鏡位置決めマネージャ１１２に入力される。顕微鏡位置決めマネージャ１１２は、次のキャプチャ標本画像１１６ｂに基づくセグメント化標本画像に示された関心のある物体から１つ以上の標的物体を識別する。顕微鏡位置決めマネージャ１１２は、（ａ）現在のキャプチャ標本画像１１６ａ内の標的物体の位置から、（ｂ）次のキャプチャ標本画像１１６ｂに基づくセグメント化標本画像内の標的物体の位置までの移動ベクトルを決定する。顕微鏡位置決めマネージャ１１２は、視野を移動ベクトルに従って移動させるように、顕微鏡１０４の位置決めパラメータ１０６の第３の組の値を構成する。視野は、移動ベクトルに従って標本１０２に対して移動される。
【００７４】
したがって、複数の標本画像が顕微鏡１０４によって生成される。現在のキャプチャ標本画像１１６ａ内の標的物体の位置に関する情報は、次のキャプチャ標本画像１１６ｂを生成するためにシステムにフィードバックされる。顕微鏡１０４の位置決めパラメータ１０６は、標的物体を追跡するように構成される。
【００７５】
３．セグメント化画像内の関心のある物体に関連付けられた比較距離に基づく物体追跡
図２Ａ〜図２Ｂは、１つ以上の実施形態による、標的物体を追跡する３Ｄ標本レンダリングを取得するための例示的な一連の動作を示す。図２Ａ〜２Ｂに示される１つ以上の動作は、すべて一緒に変更、再配置、または省略され得る。したがって、図２Ａ〜２Ｂに示される特定の動作シーケンスは、１つ以上の実施形態の範囲を限定するものとして解釈されるべきではない。
【００７６】
１つ以上の実施形態は、標本の第１の切片表面のキャプチャ画像を取得することを含む（動作２０２）。顕微鏡は、１つ以上の位置決めパラメータの第１の組の値を使用して構成される。標本は、顕微鏡下で観察するためにステージに取り付けられる。標本の第１の切片表面を顕微鏡を使用して観察する。顕微鏡の視野内にある第１の切片表面の特定の領域を示すキャプチャ画像が生成される。物体追跡画像取得システムは、顕微鏡から第１の切片表面のキャプチャ画像を取得する。
【００７７】
１つ以上の実施形態は、キャプチャ画像内の標的物体を識別することを含む（動作２０４）。物体追跡画像取得システムは、キャプチャ画像内の標的物体を識別する情報を取得する。キャプチャ画像内の標的物体を識別する情報は、ユーザによって入力されてもよい。追加的または代替的に、キャプチャ画像内の標的物体を識別する情報は、別のアプリケーションによって生成されてもよい。
【００７８】
１つ以上の実施形態は、キャプチャ画像内の標的物体の位置を識別することを含む（動作２０６）。物体追跡画像取得システムは、標的物体に対応するキャプチャ画像内の位置を識別する。標的物体に対応する画像内の位置は、本明細書では「画像内の標的物体の位置」とも呼ばれ得る。特定の画像内の標的物体の位置は、一対の座標として表され得る。例として、（３、２）の標的物体の位置は、標的物体の位置が画像の左下隅の３単位右、画像の左下隅の２単位上にあることを示し得る。
【００７９】
特定の画像内の標的物体の位置は、様々なルールに基づいて決定できる。一例として、ルールは、画像に示された標的物体の中心が画像内の標的物体の位置とみなされることを指定してもよい。別の例として、ルールは、画像に示された標的物体の右上の点が画像内の標的物体の位置とみなされることを指定してもよい。別の例として、複数の標的物体が存在する場合、ルールは、画像に示された複数の標的物体の中心が画像内の標的物体の位置とみなされることを指定してもよい。例えば、特定の画像に同じサイズの２つの標的物体が含まれる場合がある。１つの標的物体は、位置（２、４）を中心として配置できる。他の標的物体は、位置（４、４）を中心として配置できる。そのとき、２つの標的物体の中心は（３、４）であり得る。したがって、位置（３、４）は、特定の画像内の標的物体の位置とみなすことができる。
【００８０】
１つ以上の実施形態は、キャプチャ画像の中心からキャプチャ画像内の標的物体の位置への移動ベクトルを決定することを含む（動作２０８）。キャプチャ画像の中心からキャプチャ画像内の標的物体の位置への移動ベクトルが描画される。移動ベクトルは、大きさと方向として表されてもよい。追加的または代替的に、移動ベクトルは、ｘ軸の単位の数およびｙ軸の単位の数として表されてもよい。
【００８１】
１つ以上の実施形態は、顕微鏡の視野を移動ベクトルに従って標本に対して移動させることを含む（動作２１０）。物体追跡画像取得システムは、顕微鏡の視野を移動ベクトルに従って移動させる。物体追跡画像取得システムは、顕微鏡の視野を移動ベクトルに従って移動させるように命令する命令を顕微鏡に送信してもよい。視野は、移動ベクトルと同じ大きさと方向に移動する場合がある。あるいは、視野は、移動ベクトルの大きさの特定の範囲内で、および移動ベクトルの方向の特定の範囲内で移動してもよい。命令に基づいて、顕微鏡は、位置決めパラメータの別の一組の値を使用して再構成される。
【００８２】
一実施形態では、電子ビームの位置は、レンズの偏向器設定および／または電磁設定を変更することによって移動される。視野を移動ベクトルに従って標本に対して移動させるために、電子ビームを移動ベクトルと同じ大きさと方向に移動させる。電子ビームが移動ベクトルと同じ大きさと方向に移動するように、新しい値を位置決めパラメータに割り当てることができる。
【００８３】
一実施形態では、標本が取り付けられるステージが移動される。視野を移動ベクトルに従って標本に対して移動させるために、ステージを移動ベクトルと同じ大きさで、ただし移動ベクトルの反対方向に移動させる。ステージが移動ベクトルと同じ大きさで、ただし移動ベクトルの反対方向に移動するように、新しい値を位置決めパラメータに割り当てることができる。
【００８４】
一実施形態では、標本は移動され、ステージ上の異なる位置に取り付けられる。視野を移動ベクトルに従って標本に対して移動させるために、標本を移動ベクトルと同じ大きさと方向に移動させる。標本が移動ベクトルと同じ大きさと方向に移動するように、新しい値を位置決めパラメータに割り当てることができる。
【００８５】
一実施形態では、顕微鏡のレンズが移動される。視野を移動ベクトルに従って標本に対して移動させるために、レンズを移動ベクトルと同じ大きさと方向に移動させる。レンズが移動ベクトルと同じ大きさと方向に移動するように、新しい値を位置決めパラメータに割り当てることができる。
【００８６】
一実施形態では、顕微鏡の異なるコンポーネントの移動の組み合わせを実行することができる。電子ビーム、ステージ、標本、および／またはレンズをそれぞれ移動させることができる。移動の組み合わせは、視野を移動ベクトルに従って標本に対して移動させる。
【００８７】
１つ以上の実施形態は、標的物体を中心として、標本の第１の切片表面の別のキャプチャ画像を取得することを含む（動作２１２）。顕微鏡の視野を移動した後、標的物体に対応する位置は、今や視野の中心にある。物体追跡画像取得システムにより、顕微鏡は第１の切片表面の別のキャプチャ画像を取得する。動作２０２および２１２で取得した両方のキャプチャ画像は、第１の切片表面を示している。しかしながら、動作２０２で取得されたキャプチャ画像は、必ずしも標的物体を中心とするとは限らない。動作２１２で取得されたキャプチャ画像は、標的物体を実質的に中心とする。
【００８８】
一実施形態では、動作２１２は実行されない。動作２０２で取得されたキャプチャ画像は必ずしも標的物体を中心とするとは限らないが、動作２０２で取得されたキャプチャ画像は、標本の３Ｄレンダリング用の第１の切片表面の画像として受け入れられる。動作２１２をスキップすることにより、標本の３Ｄレンダリングを取得するために必要な時間および／またはリソースの量が削減される。顕微鏡の視野は、標的物体を中心とする現在の切片表面のキャプチャ画像を取得する目的のためではなく、標的物体を追跡する次の切片表面のキャプチャ画像を取得する目的のために、動作２１０で移動される。
【００８９】
１つ以上の実施形態は、次のキャプチャ画像を取得する準備として、第２の切片表面を現在の切片表面として設定することを含む（動作２１４）。第２の切片表面は、顕微鏡下での観察のために準備される。
【００９０】
一実施形態では、ブロック面走査型電子顕微鏡検査が使用される。プロセスは、顕微鏡のステージ上に標本を取り付けることから始まる。標本のブロック面が観察される。第１の観察されるブロック面は、動作２０２でキャプチャされる第１の切片表面を構成する。次いで、標本のブロック面から薄いスライスを切り取る。薄いスライスを削除すると、第１の切片表面が除去され、第２の切片表面が露出する。これにより、第２の切片表面は顕微鏡下で観察できる状態になる。
【００９１】
一実施形態では、連続切片走査型電子顕微鏡検査が使用される。プロセスは、標本を薄いスライスに切断することから始まる。第１のスライスを顕微鏡のステージ上に取り付ける。第１のスライスを観察する。第１のスライスの表面は、動作２０２でキャプチャされる第１の切片表面を構成する。次いで、第１のスライスをステージから除去する。第２のスライスをステージ上に取り付ける。これにより、第２の切片表面である第２のスライスの表面は、顕微鏡下で観察できる状態になる。
【００９２】
動作２２６で上述したように、ステージに対して標本を動かすことなく視野を移動させることができる。この場合、第１のスライスと第２のスライスは、顕微鏡のステージの同じ位置に取り付けられる。一例として、第１のスライスの中心がステージの中心になるように、第１のスライスを取り付けることができる。したがって、第１の切片表面である第１のスライスの表面が観察され得る。次いで、ステージを移動させ、かつ／または顕微鏡のレンズを移動させることによって、視野を移動させることができる。観察のために第２の切片表面を準備する際に、第１のスライスをステージから除去してもよい。第２のスライスの中心もステージの中心になるように、第２のスライスを取り付けることができる。したがって、第１のスライスと第２のスライスは、顕微鏡のステージの同じ位置に取り付けられる。
【００９３】
また、動作２２６で上述したように、ステージに対して標本を移動させることによって視野を移動させることができる。この場合、第１のスライスの位置と第２のスライスの位置の間の距離は、ステージに対して標本が移動されるべき距離に等しい。一例として、第１のスライスの中心がステージの中心になるように、第１のスライスを取り付けることができる。したがって、第１の切片表面である第１のスライスの表面が観察され得る。移動ベクトルは（４、２）として決定され得る。視野は、標本をステージに対してｘ方向に４単位、ｙ方向に２単位移動させることによって移動させることができる。観察のために第２の切片表面を準備する際に、第１のスライスをステージから除去してもよい。第２のスライスの中心が第１のスライスの中心からｘ方向に４単位、第１のスライスの中心からｙ方向に２単位になるように、第２のスライスを取り付けることができる。したがって、第１のスライスの位置と第２のスライスの位置の間の距離は、標本がステージに対して移動されるべき距離に等しい。
【００９４】
１つ以上の実施形態は、標本の現在の切片表面のキャプチャ画像を取得することを含む（動作２１６）。標本の現在の切片表面を顕微鏡を使用して観察する。顕微鏡の視野内にある現在の切片表面の特定の領域を示すキャプチャ画像が生成される。物体追跡画像取得システムは、顕微鏡から現在の切片表面のキャプチャ画像を取得する。
【００９５】
１つ以上の実施形態は、キャプチャ画像に基づいてセグメント化画像を生成することを含む（動作２１８）。動作２１６で取得されたキャプチャ画像は、セグメント化画像を生成するために分析される。
【００９６】
一実施形態では、セグメント化画像を生成するために、ＡＮＮをキャプチャ画像に適用する。ＡＮＮは、キャプチャ画像を入力として受け取る。ＡＮＮは、キャプチャ画像内の各位置の予測値を決定する。例として、キャプチャ画像にｕ−ｎｅｔ畳み込みニューラルネットワークを適用して、キャプチャ画像内のニューロン構造を識別することができる。ｕ−ｎｅｔ畳み込みネットワークは、キャプチャ画像内の各位置が特定のニューロン構造の少なくとも一部を示す可能性を決定し得る。キャプチャ画像内の位置のそれぞれの予測値は、予測マスクを構成する。
【００９７】
閾値処理アルゴリズムが予測マスクに適用される。予測マスク内の各位置について、固定の閾値が存在してもよい。あるいは、閾値は、予測マスク内の位置にわたって変化してもよい。特定の位置の閾値は、例えば、周囲の位置および／または他の要因に対応する予測値に基づいて調整されてもよい。
【００９８】
各位置のそれぞれの予測値は、その位置の閾値と比較される。予測値が閾値を超えている場合、キャプチャ画像内の対応する位置は、関心のある物体を示していると判定される。逆に、予測値が閾値を下回る場合、キャプチャ画像内の対応する位置は、関心のある物体を示していないと判定される。したがって、キャプチャ画像内のあらゆる位置は、関心のある物体を示しているか、関心のある物体を示していないかのいずれかであると判定される。このようにして、セグメント化画像が生成される。セグメント化画像には、（ａ）関心のある物体を示すキャプチャ画像内の位置を含むセグメントと、（ｂ）関心のある物体を示さないキャプチャ画像内の位置を含むセグメントとの２つのタイプのセグメントが示される。
【００９９】
一実施形態では、上述のように、キャプチャ画像に対して画像セグメント化を実行してセグメント化画像を生成するための追加的または代替的な方法が使用されてもよい。
【０１００】
１つ以上の実施形態は、前の切片表面のキャプチャ画像に示された標的物体と最も高い類似度スコアで関連付けられたセグメント化画像に示された関心のある物体を識別することを含む（動作２２０）。関心のある物体を示すとラベル付けされたセグメント化画像内の別個の各セグメントは、別個の関心のある物体として判定される。セグメント化画像に示された関心のある物体と、前の切片表面のキャプチャ画像に示された標的物体との間の類似度スコアは、様々な方法で決定され得る。
【０１０１】
一実施形態では、類似度スコアは、物体の位置に基づいて決定される。前の切片表面のキャプチャ画像内の標的物体の位置に最も近い関心のある物体は、最も高い類似度スコアに関連付けられる。
【０１０２】
各関心のある物体に対応するセグメント化画像内のそれぞれの位置が識別される。特定の物体に対応する特定の画像内の位置を識別するための動作の例は、動作２０６を参照して上で説明されている。第１の切片表面のキャプチャ画像内の標的物体の位置を決定するために動作２０６で使用されるのと同じ一組のルールが、関心のある物体に対応するセグメント化画像内のそれぞれの位置を決定するために使用される。
【０１０３】
例として、ルールは、画像に示された物体の中心が画像内の標的物体の位置とみなされることを指定してもよい。ルールを適用すると、第１の切片表面のキャプチャ画像に示された標的物体の中心は、キャプチャ画像内の標的物体の位置とみなされる。同じルールを適用すると、特定の切片表面のセグメント化画像に示された関心のある物体の中心は、関心のある物体に対応するセグメント化画像内の位置とみなされる。
【０１０４】
各関心のある物体について、物体追跡画像取得システムは、（ａ）前の切片表面のキャプチャ画像内の標的物体の位置と（ｂ）関心のある物体に対応する現在の切片表面のセグメント化画像内の位置との間の距離を決定する。したがって、各関心のある物体について計算を繰り返して、物体追跡画像取得システムは一組の距離を決定する。物体追跡画像取得システムは、一組の距離の中で最小の距離を識別する。最小の距離に対応する特定の関心のある物体は、前の切片表面のキャプチャ画像内の標的物体の位置に最も近い関心のある物体である。物体追跡画像取得システムは、特定の関心のある物体を標的物体として識別する。
【０１０５】
一例として、前の切片表面のキャプチャ画像内の標的物体の位置は（３、２）であり得る。現在の切片表面のセグメント化画像には、２つの関心のある物体が含まれる場合がある。第１の関心のある物体に対応するセグメント化画像内の位置は、（４、５）であり得る。第２の関心のある物体に対応するセグメント化画像内の位置は、（６、７）であり得る。（ａ）前の切片表面のキャプチャ画像内の標的物体の位置と、（ｂ）第１の関心のある物体に対応する現在の切片表面のセグメント化画像内の位置との間の距離は
【数１】
2020057391.tif 000003
である。（ａ）前の切片表面のキャプチャ画像内の標的物体の位置と、（ｂ）第２の関心のある物体に対応する現在の切片表面のセグメント化画像内の位置との間の距離は、
【数２】
2020057391.tif 000004
である。最小の距離は３．１６であり、これは第１の関心のある物体に対応する。したがって、第１の関心のある物体が標的物体として識別され得る。
【０１０６】
一実施形態では、物体の形状に基づいて類似度スコアが決定される。前の切片表面のキャプチャ画像に示された標的物体と形状が最も類似している関心のある物体は、最も高い類似度スコアに関連付けられる。
【０１０７】
例として、特定のタイプの関心のある物体は、特定の幾何学的形状に関連付けられてもよい。例えば、ミトコンドリアは楕円としてモデル化される。したがって、前の切片表面のキャプチャ画像に示された標的物体の楕円パラメータ（偏心、長軸の方向、表面など）が決定され得る。セグメント化画像に示された各関心のある物体の楕円パラメータを決定できる。標的物体と各関心のある物体の楕円パラメータを比較できる。標的物体と最小の楕円パラメータの差分で関連付けられた標的物体は、形状が最も類似していると、したがって標的物体であると判定され得る。
【０１０８】
別の例として、前の切片表面のキャプチャ画像に示された標的物体の形状が識別され得る。セグメント化画像に示された各関心のある物体の形状が識別されてもよい。標的物体の形状は、各関心のある物体の形状の上に重ねることができる。２つの形状が重なり合わない場所の面積が、関心のある物体ごとに決定される。最小の非重なり合い面積に関連付けられた標的物体は、形状が最も類似していると、したがって標的物体であると判定され得る。
【０１０９】
別の例として、バウンディングボックス（物体の形状に最も緊密に適合する長方形など）を、前の切片表面のキャプチャ画像に示された標的物体の周りに描画することができる。セグメント化画像に示された各関心のある物体の周りにバウンディングボックスを描画することができる。（ａ）標的物体の周りのバウンディングボックスの面積と（ｂ）各関心のある物体の周りのバウンディングボックスの面積との間の差分が計算され得る。最小のバウンディングボックス面積の差分に関連付けられた関心のある物体は、形状が最も類似していると、したがって標的物体であると判定され得る。
【０１１０】
別の例として、前の切片表面のキャプチャ画像に示された標的物体の面積および周囲長が決定され得る。標的物体の面積対周囲長比が決定され得る。セグメント化画像に示された各関心のある物体の面積および周囲長が決定され得る。各関心のある物体の面積対周囲長比が決定され得る。（ａ）標的物体の面積対周囲長比と（ｂ）各関心のある物体の面積対周囲長比との間の差分が計算され得る。最小の面積対周囲長比の差分に関連付けられた関心のある物体は、形状が最も類似していると、したがって標的対象であると判定され得る。
【０１１１】
別の例として、前の切片表面のキャプチャ画像に示された標的物体とセグメント化画像に示された関心のある物体との間の類似度スコアは、楕円パラメータ、非重なり合い面積、バウンディングボックス面積、物体面積、および／または周囲長などの上記の要因の組み合わせに基づいて決定され得る。追加的または代替的に、前の切片表面のキャプチャ画像に示された標的物体とセグメント化画像に示された関心のある物体との間の類似度スコアは、他の要因に基づいて決定され得る。
【０１１２】
一実施形態では、類似度スコアは、物体の位置、物体の形状、および／または他の要因の組み合わせに基づいて決定される。各要因は、同じに重み付けされても、異なって重み付けされてもよい。
【０１１３】
一実施形態では、物体追跡画像セグメント化システムは、前の切片表面のキャプチャ画像ではなく、前の切片表面のセグメント化画像を使用して動作２２０を実行し得る。したがって、物体追跡画像セグメント化システムは、前の切片表面のセグメント化画像に示された標的物体と最も高い類似度スコアで関連付けられた現在の切片表面のセグメント化画像に示された関心のある物体を識別する。
【０１１４】
１つ以上の実施形態は、現在の切片表面のセグメント化画像内の標的物体の位置を識別することを含む（動作２２２）。動作２２０で上述したように、現在の切片表面のセグメント化画像に示された特定の関心のある物体は、標的物体として識別される。特定の物体に対応する特定の画像内の位置を識別するための動作の例は、動作２０６を参照して上で説明されている。第１の切片表面のキャプチャ画像内の標的物体の位置を決定するために動作２０６で使用されるのと同じ一組のルールが、セグメント化画像内の標的物体の位置を決定するために使用される。
【０１１５】
１つ以上の実施形態は、前の切片表面のキャプチャ画像内の標的物体の位置から現在の切片表面のセグメント化画像内の標的物体の位置への移動ベクトルを決定することを含む（動作２２４）。画像内のある位置から画像内の別の位置への移動ベクトルを決定するための動作の例は、動作２０８を参照して上で説明されている。
【０１１６】
一実施形態では、物体追跡画像セグメント化システムは、前の切片表面のキャプチャ画像ではなく、前の切片表面のセグメント化画像を使用して動作２２４を実行し得る。したがって、物体追跡画像セグメント化システムは、前の切片表面のセグメント化画像内の標的物体の位置から現在の切片表面のセグメント化画像内の標的物体の位置への移動ベクトルを決定する。
【０１１７】
１つ以上の実施形態は、顕微鏡の視野を移動ベクトルに従って移動させることを含む（動作２２６）。顕微鏡の視野を移動ベクトルに従って移動させるための動作の例は、動作２１０を参照して上で説明されている。
【０１１８】
１つ以上の実施形態は、標本の現在の切片表面の別のキャプチャ画像を取得することを含む（動作２２８）。顕微鏡の視野を特定の切片表面の標的物体を中心とするように移動した後、特定の切片表面の別のキャプチャ画像を取得するための動作の例は、動作２１２を参照して上で説明されている。
【０１１９】
一実施形態では、動作２２８は実行されない。動作２１６で取得された現在の切片表面のキャプチャ画像は必ずしも標的物体を中心とするとは限らないが、動作２１６で取得されたキャプチャ画像は、標本の３Ｄレンダリングの現在の切片表面の画像として受け入れられる。
【０１２０】
１つ以上の実施形態は、観察されるべき追加の切片表面が存在するかどうかを判定することを含む（動作２３０）。
【０１２１】
一実施形態では、ブロック面走査型電子顕微鏡検査が使用される。物体追跡画像取得システムは、標本の別のスライスを実行するかどうかを決定する。標本にまだ十分な深さが残っている場合、別のスライス切り出しが実行されてもよい。ただし、標本に十分な深さが残っていない場合、別のスライス切り出しは実行されない。追加的または代替的に、観察される切片表面の数が不十分な場合、別のスライス切り出しが実行されてもよい。ただし、観察される切片表面の数が十分な場合、別のスライス切り出しは実行されない。追加的または代替的な基準を使用して、顕微鏡下での観察のために追加の切片表面を露出させるために別のスライス切り出しを実行するかどうかを決定できる。
【０１２２】
一実施形態では、連続切片走査型電子顕微鏡検査が使用される。標本は、最初に一組のスライスに切断される。物体追跡画像取得システムは、まだ観察されていない標本のスライスが存在するかどうかを判定する。
【０１２３】
観察されるべき追加の切片表面が存在する場合、１つ以上の実施形態は、次のキャプチャ画像を取得する準備として、次の切片表面を現在の切片表面として設定することを含む（動作２３２）。顕微鏡下で観察するために次の切片表面を準備するための動作の例は、動作２１４を参照して上で説明されている。
【０１２４】
動作２１６〜２３０が、現在の切片表面に関して繰り返される。したがって、物体追跡画像取得システムは、標本の各切片表面を横断する。物体追跡画像取得システムは、次の切片表面のキャプチャ画像を取得する準備として特定の切片表面のキャプチャ画像を取得した後、顕微鏡の視野を移動させる。したがって、物体追跡画像取得システムは、標本の複数の切片表面にわたって標的物体を追跡する。
【０１２５】
すべての切片表面が観察された後、１つ以上の実施形態は、標的物体を追跡する標本の３Ｄレンダリングを寄せ集めることを含む（動作２３４）。
【０１２６】
一実施形態では、動作２１２および２３０が実行される。動作２１２および２３０では、顕微鏡の視野が標的物体を中心とするように移動された後に、キャプチャ画像が取得される。動作２１２および２３０におけるキャプチャ画像は、標本の３Ｄレンダリングを生成するために寄せ集められる。しかしながら、動作２０２および２１６で取得されたキャプチャ画像は、必ずしも標的物体を中心とするとは限らない。動作２０２および２１６では、前の切片表面と比較して、標的物体がどれだけ移動したかを判定する目的で、キャプチャ画像が取得される。したがって、動作２０２および２１６におけるキャプチャ画像は、標本の３Ｄレンダリングを生成するときに寄せ集められない。
【０１２７】
一実施形態では、動作２１２および２３０は実行されない。動作２０２および２１６で取得されたキャプチャ画像は、必ずしも標的物体を中心とするとは限らないが、動作２０２および２１６で取得されたキャプチャ画像は、標的物体を十分に追跡するものとして受け入れられる。標的物体は、切片表面から切片表面へと位置を大きく変化させないと想定されている。想定に基づいて、特定の切片表面の画像をキャプチャするための視野は、前の切片表面の標的物体の位置に基づいて配置されてもよい。したがって、動作２０２および２１６におけるキャプチャ画像は、標本の３Ｄレンダリングを生成するために寄せ集められる。一実施形態では、標本の３Ｄレンダリングを生成するために、あらゆる切片表面のあらゆるキャプチャ画像が寄せ集められる。
【０１２８】
一実施形態では、寄せ集めるために選択されたキャプチャ画像は、アニメーションを生成するために使用される。第１の切片表面に関連付けられたキャプチャ画像は、アニメーションの１番目に配置される。第２の切片表面に関連付けられたキャプチャ画像は、アニメーションの２番目に配置される。したがって、すべてのキャプチャ画像はアニメーションで順序付けられる。ユーザはアニメーションを再生できる。ユーザインターフェースは、順序付けられたキャプチャ画像を連続して提示できる。アニメーションは、標的物体を追跡しながら、標本の断面にわたって移動するように見える。
【０１２９】
一実施形態では、寄せ集めるために選択されたキャプチャ画像は、対話型３Ｄモデルを生成するために使用される。ユーザは、３Ｄモデルを回転させ、または３Ｄモデルにズームインもしくはズームアウトすることができる。３Ｄモデルは、標本の断面にわたって標的物体を追跡できる。
【０１３０】
一実施形態では、追加的または代替的な３Ｄレンダリングを生成することができる。
【０１３１】
図３Ａ〜３Ｂは、１つ以上の実施形態による、標的物体を追跡する連続標本画像を取得するための例示的な一連の動作を示す。図３Ａ〜３Ｂに示される１つ以上の動作は、すべて一緒に変更、再配置、または省略され得る。したがって、図３Ａ〜３Ｂに示される特定の動作シーケンスは、１つ以上の実施形態の範囲を限定するものとして解釈されるべきではない。
【０１３２】
１つ以上の実施形態は、第１の時間間隔で標本のキャプチャ画像を取得することを含む（動作３０２）。顕微鏡は、１つ以上の位置決めパラメータの第１の組の値を使用して構成される。標本は、顕微鏡下で観察するためにステージに取り付けられる。刺激は標本を刺激し、標本を経時的に変化させ得る。例として、標本内で化学反応が起こる場合がある。標本内に気泡が発生する場合がある。様々な元素および／または化合物が標本で生成される場合がある。
【０１３３】
標本の表面を顕微鏡を使用して観察する。顕微鏡の視野内にある標本の特定の領域を示すキャプチャ画像が生成される。物体追跡画像取得システムは、顕微鏡から標本のキャプチャ画像を取得する。
【０１３４】
１つ以上の実施形態は、キャプチャ画像内の標的物体を識別することを含む（動作３０４）。キャプチャ画像内の標的物体を識別するための動作の例は、動作２０４を参照して上で説明されている。
【０１３５】
１つ以上の実施形態は、キャプチャ画像内の標的物体の位置を識別することを含む（動作３０６）。キャプチャ画像内の標的物体の位置を識別するための動作の例は、動作２０６を参照して上で説明されている。
【０１３６】
１つ以上の実施形態は、キャプチャ画像の中心からキャプチャ画像内の標的物体の位置への移動ベクトルを決定することを含む（動作３０８）。画像内のある位置から画像内の別の位置への移動ベクトルを決定するための動作の例は、動作２０８を参照して説明される。
【０１３７】
１つ以上の実施形態は、顕微鏡の視野を移動ベクトルに従って標本に対して移動させることを含む（動作３１０）。顕微鏡の視野を移動ベクトルに従って移動させるための動作の例は、動作２１０を参照して上で説明されている。視野はリアルタイムで移動される。視野が移動されるにつれて、標本は経時的に変化し続ける。第１の時間間隔は既に過ぎており、標本の外観はすでに変化しているため、第１の時間間隔で標本の別のキャプチャ画像を取得することはできない。
【０１３８】
１つ以上の実施形態は、現在の時間間隔で標本のキャプチャ画像を取得することを含む（動作３１２）。標本のキャプチャ画像を取得する間の時間間隔は、ユーザおよび／または別のアプリケーションによって指定されてもよい。各キャプチャ画像間の時間間隔は同じでも異なっていてもよい。例として、ユーザは、標本画像が０．１秒ごとにキャプチャされることを指定してもよい。第１の標本画像は、「第１の時間間隔」と呼ばれる９：００：００．１００にキャプチャされ得る。その場合、第２の標本画像をキャプチャするための第２の時間間隔は、９：００：００．２００になるであろう。その場合、第３の標本画像をキャプチャするための第３の時間間隔は、９：００：００．３００になるであろう。別の例として、ユーザは、顕微鏡が不規則な時間間隔で連続標本画像をキャプチャすることを指定してもよい。顕微鏡は、９：００：００．１００に第１の標本画像、９：００：００．３００に第２の標本画像、９：００：００．４００に第３の標本画像をキャプチャすることになる。別の標本画像をキャプチャするための時間間隔が到来すると、顕微鏡は別の標本画像をキャプチャする。
【０１３９】
標本の表面を顕微鏡を使用して観察する。顕微鏡の視野内にある標本の特定の領域を示すキャプチャ画像が生成される。物体追跡画像取得システムは、顕微鏡から標本のキャプチャ画像を取得する。
【０１４０】
１つ以上の実施形態は、キャプチャ画像に基づいてセグメント化画像を生成することを含む（動作３１４）。キャプチャ画像に基づいてセグメント化画像を生成するための動作の例は、動作２１８を参照して上で説明されている。
【０１４１】
１つ以上の実施形態は、前の時間間隔のキャプチャ画像に示された標的物体と最も高い類似度スコアで関連付けられたセグメント化画像に示された関心のある物体を識別することを含む（動作３１６）。別の画像に示された標的物体と最も高い類似度スコアで関連付けられたセグメント化画像に示された関心のある物体を識別するための動作の例は、動作２２０を参照して上で説明されている。
【０１４２】
一実施形態では、直前の時間間隔のキャプチャ画像が使用される。直前の時間間隔のキャプチャ画像に示された標的物体と最も高い類似度スコアで関連付けられたセグメント化画像に示された関心のある物体が識別される。別の実施形態では、直前の時間間隔よりも早い前の時間間隔のキャプチャ画像が使用される。これは、処理速度が不十分なため必要になる場合がある。例として、画像は０．１秒ごとにキャプチャされ得るが、処理時間は１秒かかり得る。この場合、現在の時間間隔より１０時間間隔前のキャプチャ画像が使用され得る。
【０１４３】
１つ以上の実施形態は、現在の時間間隔のセグメント化画像内の標的物体の位置を識別することを含む（動作３１８）。セグメント化画像内の標的物体の位置を識別するための動作の例は、動作２２２を参照して上で説明されている。
【０１４４】
１つ以上の実施形態は、前の時間間隔のキャプチャ画像内の標的物体の位置から現在の時間間隔のセグメント化画像内の標的物体の位置への移動ベクトルを決定することを含む（動作３２０）。画像内のある位置から画像内の別の位置への移動ベクトルを決定するための動作の例は、動作２０８を参照して上で説明されている。
【０１４５】
１つ以上の実施形態は、顕微鏡の視野を移動ベクトルに従って移動させることを含む（動作２２６）。顕微鏡の視野を移動ベクトルに従って移動させるための動作の例は、動作２１０を参照して上で説明されている。
【０１４６】
１つ以上の実施形態は、現在の時刻が依然として関心のある期間内にあるかどうかを判定することを含む（動作３２４）。関心のある期間は、ユーザおよび／または別のアプリケーションによって指定されてもよい。例として、ユーザは、関心のある期間が３分であることを指定してもよい。ユーザは、標本画像が０．５秒ごとにキャプチャされることを指定してもよい。ユーザの入力に基づいて、連続標本画像が０．５秒ごとに合計３分間キャプチャされてもよい。第１の標本画像のキャプチャから３分後に、関心のある期間が経過する。別の例として、ユーザは、関心のある期間が１０００個の標本画像をキャプチャするのに必要な時間であることを指定してもよい。ユーザは、標本画像が０．８秒ごとにキャプチャされることを指定してもよい。１０００個の標本画像がキャプチャされるまで、連続標本画像が０．８秒ごとにキャプチャされてもよい。１０００番目の標本画像をキャプチャした後に、関心のある期間が経過する。
【０１４７】
関心のある期間が経過していない場合、動作３１２〜３２２は各時間間隔に関して繰り返される。したがって、物体追跡画像取得システムは、関心のある期間にわたってキャプチャ標本画像を取得する。物体追跡画像取得システムは、次の時間間隔でキャプチャ画像を取得する準備として、各時間間隔でキャプチャ画像を取得した後、顕微鏡の視野を移動させる。したがって、対象追跡画像取得システムは、関心のある期間内の時間間隔にわたって標的対象を追跡する。
【０１４８】
関心のある期間が経過した後、１つ以上の実施形態は、標的物体を経時的に追跡する連続標本画像を寄せ集めることを含む（動作３２６）。動作３０２および３１２におけるキャプチャ画像は、標的物体を追跡する一組の連続標本画像として寄せ集められる。一実施形態では、あらゆる時間間隔におけるあらゆるキャプチャ画像は、一組の連続標本画像に寄せ集められる。
【０１４９】
動作３０２および３１２で取得されたキャプチャ画像は、必ずしも標的物体を中心とするとは限らないが、動作３０２および３１２で取得されたキャプチャ画像は、標的物体を十分に追跡するものとして受け入れられる。
【０１５０】
一実施形態では、キャプチャ画像は、アニメーションを生成するために寄せ集められる。キャプチャ画像は、キャプチャ画像が生成された時間に基づいて、アニメーション内で時系列に順序付けられる。ユーザはアニメーションを再生できる。ユーザインターフェースは、順序付けられたキャプチャ画像を連続して提示できる。アニメーションは、標的物体を追跡しながら、標本の経時的変化を示す。
【０１５１】
一実施形態では、連続画像の追加的または代替的な寄せ集めを生成されてもよい。
【０１５２】
４．例示的な実施形態
わかりやすくするために、詳細な例を以下に説明する。以下で説明するコンポーネントおよび／または動作は、特定の実施形態に適用可能ではない場合がある具体的な例として理解されるべきである。したがって、以下で説明するコンポーネントおよび／または動作は、特許請求の範囲の範囲を限定するものと解釈されるべきではない。
【０１５３】
図４は、１つ以上の実施形態による、標本の例示的な断面を示す。標本４００は、標本４００の断面を通る標的物体４１０を含む。標本４００には、他の物体（描画せず）も含まれている。標本の様々な切片表面４０２〜４０４は、顕微鏡下で観察することができる。切片表面４０２では、標的物体４１０は位置Ｘに位置する。切片表面４０４では、標的物体４１０は位置Ｙに位置する。
【０１５４】
図５Ａ〜図５Ｊは、１つ以上の実施形態による、標的物体を追跡する３Ｄ標本レンダリングを取得する例を示す。
【０１５５】
図５Ａは、標本の切片表面５０２を示す。関心のある物体５５２と関心のない物体５５４を含むいくつかの物体が切片表面５０２に現れている。例として、関心のある物体はミトコンドリアであってもよく、関心のない物体は標本内の他の生物学的構造である。顕微鏡の位置決めパラメータの第１の組の値は、切片表面５０２に関して視野５１２をもたらす。したがって、視野５１２内の切片表面５０２の領域は、顕微鏡で観察可能である。視野５１２の外側の領域は、顕微鏡で観察可能ではない。
【０１５６】
図５Ｂは、切片表面５０２のキャプチャ画像５２２を示す。キャプチャ画像５２２は、視野５１２内にある切片表面５０２の領域を示している。キャプチャ画像５２２は、関心のある物体５５２と関心のない物体５５４の両方を示している。
【０１５７】
ユーザは、キャプチャ画像５２２を閲覧する。ユーザは、標的物体５１０を識別するユーザ入力を入力する。標的物体５１０の中心は、位置Ｘで識別される。位置Ｘは、座標（５、５）に関連付けられ得る。位置Ｘは、キャプチャ画像５２２内の標的物体の位置とみなされる。
【０１５８】
次の切片表面５０４が、顕微鏡下での観察のために準備される。図５Ｃは、標本の切片表面５０４を示す。切片表面５０２に現れている関心のある物体５５２と関心のない物体５５４は、切片表面５０４にも現れている。しかしながら、物体は異なる形状および／または異なる位置で現れている場合がある。位置決めパラメータの第１の組の値が、依然として顕微鏡を構成するために使用されている。位置決めパラメータの第１の組の値は、切片表面５０４に関して視野５１４ａをもたらす。したがって、視野５１４ａ内の切片表面５０４の領域は、顕微鏡で観察可能である。視野５１４ａの外側の領域は、顕微鏡で観察可能ではない。
【０１５９】
図５Ｄは、切片表面５０４のキャプチャ画像５２４ａを示す。キャプチャ画像５２４ａは、視野５１４ａ内にある切片表面５０４の領域を示している。キャプチャ画像５２４ａは、関心のある物体５５２と関心のない物体５５４の両方を示している。標的物体５１０は、必ずしもキャプチャ画像５２４ａの中心にあるとは限らないことに留意されたい。
【０１６０】
図５Ｅは、切片表面５０４のキャプチャ画像５２４ａに基づいて生成されたセグメント化画像５３４を示す。セグメント化画像５３４は、関心のある物体５５２ａ〜ｂを示す特定のセグメントを示す。セグメント化画像５３４は、特定のセグメントの外側の領域には関心のある物体が示されていないことを示す。
【０１６１】
関心のある物体５５２ａの中心は、位置Ｚで識別される。位置Ｚは、関心のある物体５５２ａに対応するセグメント化画像５３４内の位置とみなされる。位置Ｚは、座標（９、９）に関連付けられ得る。キャプチャ画像５２２内の位置Ｘ（標的物体の位置）とセグメント化画像５３４内の位置Ｚとの間の距離は、
【数３】
2020057391.tif 000005
として計算される。
【０１６２】
関心のある物体５５２ｂの中心は、位置Ｙで識別される。位置Ｙは、関心のある物体５５２ｂに対応するセグメント化画像５３４内の位置とみなされる。位置Ｙは、座標（７、６）に関連付けられ得る。キャプチャ画像５２２内の位置Ｘ（標的物体の位置）とセグメント化画像５３４内の位置Ｙとの間の距離は、
【数４】
2020057391.tif 000006
として計算される。
【０１６３】
したがって、最小の距離は２．２４として決定される。最小の距離は、関心のある物体５５２ｂに対応する。関心のある物体５５２ｂは、標的物体５１０として識別される。位置Ｙは、セグメント化画像５３４内の標的物体の位置とみなされる。
【０１６４】
図５Ｆは、キャプチャ画像５２２内の標的物体の位置（位置Ｘ）からセグメント化画像５３４内の標的物体の位置（位置Ｙ）への移動ベクトル５５６を示す。移動ベクトルは、（２、１）として表され得る。移動ベクトルは、ｘ方向に２単位の長さ、ｙ方向に１単位の長さである。
【０１６５】
図５Ｇは、標本の切片表面５０４を示す。位置決めパラメータの第２の組の値が、顕微鏡用に構成される。位置決めパラメータの第２の組の値は、視野を移動ベクトル５５６に従って移動させる。具体的には、前に使用された視野５１４ａと現在の視野５１４ｂとの間の距離は、移動ベクトル５５６に等しい。したがって、視野５１４ｂ内の切片表面５０４の領域は、顕微鏡で観察可能である。視野５１４ｂの外側の領域は、顕微鏡で観察可能ではない。図示されるように、標的物体５１０は現在、視野５１４ｂの中心にある。
【０１６６】
図５Ｈは、切片表面５０４のキャプチャ画像５２４ｂを示す。キャプチャ画像５２４ｂは、視野５１４ｂ内にある切片表面５０４の領域を示している。キャプチャ画像５２４ａとキャプチャ画像５２４ｂは、キャプチャ画像５２４ｂが標的物体５１０を中心とすることを除いて、類似している。
【０１６７】
次の切片表面５０６が、顕微鏡下での観察のために準備される。プロセスは、切片表面５０６に対して繰り返される。図５Ｉは、標本の切片表面５０６を示す。切片表面５０２と切片表面５０４に現れている関心のある物体５５２と関心のない物体５５４は、切片表面５０６にも現れている。しかしながら、物体は異なる形状および／または異なる位置で現れている場合がある。位置決めパラメータの第２の組の値が、依然として顕微鏡を構成するために使用されている。位置決めパラメータの第２の組の値は、切片表面５０６に関して視野５１６ａをもたらす。したがって、視野５１６ａ内の切片表面５０６の領域は、顕微鏡で観察可能である。視野５１６ａの外側の領域は、顕微鏡で観察可能ではない。
【０１６８】
図５Ｊは、切片表面５０６のキャプチャ画像５２６ａを示す。キャプチャ画像５２６ａは、視野５１６ａ内にある切片表面５０６の領域を示している。キャプチャ画像５２６ａは、関心のある物体５５２と関心のない物体５５４の両方を示している。標的物体５１０は、必ずしもキャプチャ画像５２６ａの中心にあるとは限らないことに留意されたい。
【０１６９】
したがって、プロセスは、標本の各切片表面で引き続き繰り返される可能性がある。標的物体５１０を中心とするキャプチャ画像（キャプチャ画像５２４ｂなどであるが、キャプチャ画像５２４ａおよび５２６ａではない）は、標本の３Ｄレンダリングを生成するために寄せ集められる。
【０１７０】
図６は、１つ以上の実施形態による、経時的に変化する例示的な標本を示す。標本６００には、経時的に移動および変化する標的物体が含まれている。標本６００には、他の物体（描画せず）も含まれている。時刻Ｔ１において、標的物体６１０ａは位置Ｘに位置し得る。時刻Ｔ２において、同じ標的物体６１０ｂは位置Ｙに位置し得る。
【０１７１】
図７Ａ〜７Ｈは、１つ以上の実施形態による、標的物体を追跡する連続標本画像を取得するための例を示す。
【０１７２】
図７Ａは、時刻Ｔ１における標本７００を示している。関心のある物体７５２と関心のない物体７５４を含むいくつかの物体が、標本７００の表面に現れている。顕微鏡の位置決めパラメータの第１の組の値は、標本７００に関して視野７１２をもたらす。したがって、視野７１２内の標本７００の領域は、顕微鏡で観察可能である。視野７１２の外側の領域は、顕微鏡で観察可能ではない。
【０１７３】
図７Ｂは、時刻Ｔ１における標本７００のキャプチャ画像７２２を示している。キャプチャ画像７２２は、視野７１２内にある標本７００の領域を示している。キャプチャ画像７２２は、関心のある物体７５２と関心のない物体７５４の両方を示している。
【０１７４】
ユーザは、キャプチャ画像７２２を閲覧する。ユーザは、標的物体７１０を識別するユーザ入力を入力する。標的物体７１０の中心は、位置Ｘで識別される。位置Ｘは、座標（５、５）に関連付けられ得る。位置Ｘは、キャプチャ画像７２２内の標的物体の位置とみなされる。
【０１７５】
１つの時間間隔が経過し、現在は時刻Ｔ２である。図５Ｃは、時刻Ｔ２における標本７００を示している。時刻Ｔ１で標本に現れていた興味のある物体７５２と興味のない物体７５４は、時刻Ｔ２でも標本に現れている。しかしながら、物体は異なる形状および／または異なる位置で現れている場合がある。位置決めパラメータの第１の組の値が、依然として顕微鏡を構成するために使用されている。位置決めパラメータの第１の組の値は、標本７００に関して視野７１４をもたらす。したがって、視野７１４内の標本７００の領域は、顕微鏡で観察可能である。視野７１４の外側の領域は、顕微鏡で観察可能ではない。
【０１７６】
図７Ｄは、時刻Ｔ２における標本７００のキャプチャ画像７２４を示している。キャプチャ画像７２４は、視野７１４内にある標本７００の領域を示している。キャプチャ画像７２４は、関心のある物体７５２と関心のない物体７５４の両方を示している。標的物体７１０は、必ずしもキャプチャ画像７２４の中心にあるとは限らないことに留意されたい。
【０１７７】
図７Ｅは、時刻Ｔ２における標本７００のキャプチャ画像７２４に基づいて生成されたセグメント化画像７３４を示している。セグメント化画像７３４は、関心のある物体７５２ａ〜ｂを示す特定のセグメントを示す。セグメント化画像７３４は、特定のセグメントの外側の領域には関心のある物体が示されていないことを示す。
【０１７８】
関心のある物体７５２ａの中心は、位置Ｚで識別される。位置Ｚは、関心のある物体７５２ａに対応するセグメント化画像７３４内の位置とみなされる。位置Ｚは、座標（９、９）に関連付けられ得る。キャプチャ画像７２２内の位置Ｘ（標的物体の位置）とセグメント化画像７３４内の位置Ｚとの間の距離は、
【数５】
2020057391.tif 000007
として計算される。
【０１７９】
関心のある物体７５２ｂの中心は、位置Ｙで識別される。位置Ｙは、関心のある物体７５２ｂに対応するセグメント化画像７３４内の位置とみなされる。位置Ｙは、座標（７、６）に関連付けられ得る。キャプチャ画像７２２内の位置Ｘ（標的物体の位置）とセグメント化画像７３４内の位置Ｙとの間の距離は、
【数６】
2020057391.tif 000008
として計算される。
【０１８０】
したがって、最小の距離は２．２４として決定される。最小の距離は、関心のある物体７５２ｂに対応する。関心のある物体７５２ｂは、標的物体７１０として識別される。位置Ｙは、セグメント化画像７３４内の標的物体の位置とみなされる。
【０１８１】
図７Ｆは、キャプチャ画像７２２内の標的物体の位置（位置Ｘ）からセグメント化画像７３４内の標的物体の位置（位置Ｙ）への移動ベクトル７５６を示す。移動ベクトルは、（２、１）として表され得る。移動ベクトルは、ｘ方向に２単位の長さ、ｙ方向に１単位の長さである。
【０１８２】
１つの時間間隔が経過し、現在は時刻Ｔ３である。プロセスは、時刻Ｔ３で標本７００に対して繰り返される。図７Ｇは、時刻Ｔ３における標本７００を示している。時刻Ｔ１およびＴ２で標本７００に現れている関心のある物体７５２と関心のない物体７５４は、時刻Ｔ３でも標本７００に現れている。しかしながら、物体は異なる形状および／または異なる位置で現れている場合がある。
【０１８３】
位置決めパラメータの第２の組の値が、顕微鏡用に構成される。位置決めパラメータの第２の組の値は、視野を移動ベクトル７５６に従って移動させる。具体的には、前に使用された視野７１４と現在の視野７１６との間の距離は、移動ベクトル７５６に等しい。したがって、視野７１６内の標本７００の領域は、顕微鏡で観察可能である。視野７１６の外側の領域は、顕微鏡で観察可能ではない。
【０１８４】
顕微鏡の視野はリアルタイムで移動される。顕微鏡の視野が移動するにつれて、標本７００は変化し続ける。したがって、時刻Ｔ２から時刻Ｔ３では、標的物体７１０は形状および／または位置が変化している。したがって、視野が移動ベクトル７５６に従って更新されたとしても、標的物体５１０は必ずしも現在の視野７１６の中心にあるとは限らない。
【０１８５】
図７Ｈは、時刻Ｔ３における標本７００のキャプチャ画像７２６を示している。キャプチャ画像７２６は、視野７１６内にある標本７００の領域を示している。キャプチャ画像７２６は、関心のある物体７５２と関心のない物体７５４の両方を示している。標的物体７１０は、必ずしもキャプチャ画像７２６の中心にあるとは限らないことに留意されたい。
【０１８６】
したがって、プロセスは、関心のある期間内の各時間間隔で引き続き繰り返される可能性がある。各キャプチャ画像（キャプチャ画像７２２、７２４、７２６など）は、経時的な標本の変化を示すアニメーションを生成するために寄せ集められる。
【０１８７】
５．セグメント化画像内の関心のある物体に関連付けられた比較接続ベクトルに基づく物体追跡
図８Ａ〜図８Ｃは、１つ以上の実施形態による、複数の標的物体を追跡する３Ｄ標本レンダリングを取得するための例示的な一連の動作を示す。図８Ａ〜８Ｃに示される１つ以上の動作は、すべて一緒に変更、再配置、または省略され得る。したがって、図８Ａ〜８Ｃに示される特定の動作シーケンスは、１つ以上の実施形態の範囲を限定するものとして解釈されるべきではない。
【０１８８】
１つ以上の実施形態は、標本の第１の切片表面のキャプチャ画像を取得することを含む（動作８０２）。標本の第１の切片表面のキャプチャ画像を取得するための動作の例は、動作２０２を参照して上で説明されている。
【０１８９】
１つ以上の実施形態は、キャプチャ画像内の標的物体のグループを識別することを含む（動作８０４）。キャプチャ画像内の標的物体を識別するための動作の例は、動作２０４を参照して上で説明されている。
【０１９０】
１つ以上の実施形態は、キャプチャ画像内の標的物体を接続する第１の組の接続ベクトルを識別することを含む（動作８０６）。物体追跡画像取得システムは、グループ内の各標的物体に対応する位置を識別する。各標的物体に対応する位置は、例えば、各標的物体の中心であってもよい。グループ内の各２つの標的物体間にベクトルを描画することができる。標的物体の一組の接続ベクトルには、各標的物体に少なくとも１回接続するのに十分なベクトルが少なくとも含まれている。
【０１９１】
例として、標的物体のグループには、物体Ａ、物体Ｂ、および物体Ｃが含まれる。位置Ａ（２、２）は物体Ａに対応し得る。位置Ｂ（４、２）は物体Ｂに対応し得る。位置Ｃ（２、５）は物体Ｃに対応し得る。
【０１９２】
標的物体の一組の接続ベクトルには、（ａ）位置Ａ（２、２）から位置Ｂ（４、２）へのベクトル、および（ｂ）位置Ａ（２、２）から位置Ｃ（２、５）へのベクトルが含まれ得る。各ベクトルは２つの標的物体を接続する。一組の接続ベクトルは、物体Ａ、物体Ｂ、および物体Ｃのそれぞれに少なくとも１回接続する。
【０１９３】
あるいは、標的物体の一組の接続ベクトルには、（ａ）位置Ａ（２、２）から位置Ｂ（４、２）へのベクトル、（ｂ）位置Ａ（２、２）から位置Ｃ（２、５）へのベクトルが含まれ得る。各ベクトルは２つの標的物体を接続する。および（ｃ）位置Ｂ（４、２）から位置Ｃ（２、５）へのベクトル。
【０１９４】
１つ以上の実施形態は、キャプチャ画像内の標的グループの位置を識別することを含む（動作８０８）。物体追跡画像取得システムは、標的物体のグループに対応するキャプチャ画像内の位置を識別する。標的物体のグループに対応する画像内の位置は、本明細書では「画像内の標的グループの位置」とも呼ばれ得る。特定の画像内の標的グループの位置は、一対の座標として表され得る。例として、（３、２）の標的グループの位置は、標的グループの位置が画像の左下隅の３単位右、画像の左下隅の２単位上にあることを示し得る。
【０１９５】
特定の画像内の標的グループの位置は、様々なルールに基づいて決定できる。一例として、ルールは、画像に示された標的物体のグループの中心が画像内の標的グループの位置とみなされることを指定してもよい。例えば、特定の画像に同じサイズの２つの標的物体が含まれる場合がある。１つの標的物体は、位置（２、４）を中心として配置できる。他の標的物体は、位置（４、４）を中心として配置できる。そのとき、２つの標的物体の中心は（３、４）であり得る。したがって、位置（３、４）は、特定の画像内の標的グループの位置とみなすことができる。別の例として、ルールは、画像に示された標的物体のグループの右上の点が画像内の標的グループの位置とみなされることを指定してもよい。別の例として、ルールは、グループ内の各標的物体の右上の点の中心が画像内の標的グループの位置とみなされることを指定してもよい。例えば、特定の画像に２つの標的物体が含まれる場合がある。第１の標的物体の右上の点は、位置（２、５）にある。第２の標的物体の右上の点は、位置（４、５）にある。その場合、右上の２つの点の中心は（３、５）にある。したがって、位置（３、５）は、特定の画像内の標的グループの位置と見なすことができる。
【０１９６】
１つ以上の実施形態は、キャプチャ画像の中心からキャプチャ画像内の標的グループの位置への移動ベクトルを決定することを含む（動作８１０）。キャプチャ画像の中心からキャプチャ画像内の標的グループの位置への移動ベクトルが描画される。移動ベクトルは、大きさと方向として表されてもよい。追加的または代替的に、移動ベクトルは、ｘ軸の単位の数およびｙ軸の単位の数として表されてもよい。
【０１９７】
１つ以上の実施形態は、顕微鏡の視野を移動ベクトルに従って標本に対して移動させることを含む（動作８１２）。顕微鏡の視野を移動ベクトルに従って移動させるための動作の例は、動作２１０を参照して上で説明されている。
【０１９８】
１つ以上の実施形態は、標的物体を中心として、標本の第１の切片表面の別のキャプチャ画像を取得することを含む（動作８１４）。顕微鏡の視野を特定の切片表面の標的物体のグループを中心とするように移動した後、特定の切片表面の別のキャプチャ画像を取得するための動作の例は、動作２１２を参照して上で説明されている。
【０１９９】
一実施形態では、動作８１４は実行されない。動作８０２で取得された第１の切片表面のキャプチャ画像は必ずしも標的物体を中心とするとは限らないが、動作８０２で取得されたキャプチャ画像は、標本の３Ｄレンダリング用の第１の切片表面の画像として受け入れられる。
【０２００】
１つ以上の実施形態は、次のキャプチャ画像を取得する準備として、第２の切片表面を現在の切片表面として設定することを含む（動作８１６）。顕微鏡下で観察するために次の切片表面を準備するための動作の例は、動作２１４を参照して上で説明されている。
【０２０１】
１つ以上の実施形態は、標本の現在の切片表面のキャプチャ画像を取得することを含む（動作８１８）。標本の現在の切片表面のキャプチャ画像を取得するための動作の例は、動作２１６を参照して上で説明されている。
【０２０２】
１つ以上の実施形態は、キャプチャ画像に基づいてセグメント化画像を生成することを含む（動作８２０）。キャプチャ画像に基づいてセグメント化画像を生成するための動作の例は、動作２１８を参照して上で説明されている。
【０２０３】
１つ以上の実施形態は、セグメント化画像に示された関心のある物体のサブグループを識別することを含む（動作８２２）。関心のある物体を示すとラベル付けされたセグメント化画像内の別個の各セグメントは、別個の関心のある物体として判定される。物体追跡画像取得システムは、セグメント化画像に示された標的物体のサブグループを識別する。各サブグループには、標的物体の数と同じ数の関心のある物体が含まれる。
【０２０４】
例として、ユーザが識別した標的物体のグループには、３つの物体が含まれる場合がある。セグメント化画像には、関心のある物体を示すとラベル付けされた５つのセグメントが示される場合がある。５つのセグメントはそれぞれ、物体Ａ、物体Ｂ、物体Ｃ、物体Ｄ、および物体Ｅを含む別個の関心のある物体として決定される。物体追跡画像取得システムは、それぞれが３つの関心のある物体を含む標的物体のサブグループを識別してもよい。例えば、サブグループには物体Ａ、物体Ｂ、物体Ｃが含まれてもよい。別のサブグループには物体Ｂ、物体Ｃ、物体Ｄが含まれてもよい。別のサブグループには物体Ａ、物体Ｄ、物体Ｅが含まれてもよい。
【０２０５】
１つ以上の実施形態は、セグメント化画像内の関心のある物体のサブグループにそれぞれ対応する複数組の接続ベクトルを識別することを含む（動作８２４）。操作８２２で識別された各サブグループについて、物体追跡画像取得システムは、サブグループ内の物体を接続するベクトルを描画する。特定の物体のグループを接続する一組の接続ベクトルを識別するための動作の例は、動作８０６を参照して上で説明されている。動作８２４において関心のある物体の各サブグループに対して描画されるベクトルの数は、動作８０６において標的物体のグループに対して描画されたベクトルの数と同じである。関心のある物体のサブグループごとに、一組以上の接続ベクトルを描画できる。
【０２０６】
例として、ユーザが識別した標的物体のグループには、３つの標的物体が含まれる場合がある。物体追跡画像取得システムは、３つの標的物体を接続する一組の２つの接続ベクトルを描画できる。
【０２０７】
セグメント化画像には、関心のある物体を示すとラベル付けされた５つのセグメントが示される場合がある。５つのセグメントのそれぞれは、物体Ａ、物体Ｂ、物体Ｃ、物体Ｄ、および物体Ｅを含む別個の関心のある物体として決定される。位置Ａ（２、２）は物体Ａに対応し得る。位置Ｂ（４、２）は物体Ｂに対応し得る。位置Ｃ（２、５）は物体Ｃに対応し得る。位置Ｄ（５、５）は物体Ｄに対応し得る。位置Ｅ（５、４）は物体Ｅに対応し得る。
【０２０８】
物体追跡画像取得システムは、それぞれが３つの関心のある物体を含む関心のある物体のサブグループを識別してもよい。例えば、第１のサブグループには物体Ａ、物体Ｂ、物体Ｃが含まれてもよい。第２のサブグループには物体Ｂ、物体Ｃ、物体Ｄが含まれてもよい。第３のサブグループには物体Ａ、物体Ｄ、物体Ｅが含まれてもよい。
【０２０９】
物体追跡画像取得システムは、第１のサブグループである物体Ａ、物体Ｂ、物体Ｃのための一組の接続ベクトルを識別してもよい。接続ベクトルには、（ａ）位置Ａ（２、２）から位置Ｂ（４、２）へのベクトル、および（ｂ）位置Ａ（２、２）から位置Ｃ（２、５）へのベクトルが含まれる。
【０２１０】
物体追跡画像取得システムは、第１のサブグループである物体Ａ、物体Ｂ、物体Ｃのための別の一組の接続ベクトルを識別してもよい。接続ベクトルには、（ａ）位置Ａ（２、２）から位置Ｂ（４、２）へのベクトル、および（ｂ）位置Ｂ（４、２）から位置Ｃ（２、５）へのベクトルが含まれる。
【０２１１】
物体追跡画像取得システムは、第２のサブグループである物体Ｂ、物体Ｃ、物体Ｄのための一組の接続ベクトルを識別してもよい。接続ベクトルには、（ａ）位置Ｂ（４、２）から位置Ｃ（２、５）へのベクトル、および（ｂ）位置Ｄ（５、５）から位置Ｃ（２、５）へのベクトルが含まれる。
【０２１２】
物体追跡画像取得システムは、第３のサブグループである物体Ａ、物体Ｄ、物体Ｅのための一組の接続ベクトルを識別してもよい。接続ベクトルには、（ａ）位置D（５、５）から位置A（２、２）へのベクトル、および（ｂ）位置Ｄ（５、５）から位置Ｅ（５、４）へのベクトルが含まれる。
【０２１３】
１つ以上の実施形態は、複数組の接続ベクトルのうち、前の切片表面のキャプチャ画像内の標的物体を接続する一組の接続ベクトルからの最小の差分に関連付けられた特定の一組の接続ベクトルを決定することを含む（動作８２６）。物体追跡画像取得システムは、動作８２４で識別された各組の接続ベクトルを、前の切片表面のキャプチャ画像内の標的物体を接続する一組の接続ベクトルと比較する。動作８２４で特定された各組の接続ベクトルについて、物体追跡画像取得システムは、（ａ）前の切片表面のキャプチャ画像内の標的物体を接続する一組の接続ベクトルと（ｂ）動作８２４で識別された一組の接続ベクトルとの間の差分値を決定する。したがって、動作８２４で識別された各組の接続ベクトルについて計算を繰り返して、物体追跡画像取得システムは、一組の差分値を決定する。物体追跡画像取得システムは、一組の差分値の中で最小の差分値を識別する。物体追跡画像取得システムは、セグメント化画像に示された関心のある物体の特定のサブグループを接続する特定の一組の接続ベクトルを、前の切片表面のキャプチャ画像内の標的物体を接続する一組の接続ベクトルからの最小の差分と関連付けられているとして識別する。
【０２１４】
一実施形態では、第１の組の接続ベクトルと第２の組の接続ベクトルとの間の差分値は、まず互いに比較するための複数のベクトル対を識別することによって決定される。各ベクトル対には、（ａ）第１の組の接続ベクトルからのベクトルと（ｂ）第２の組の接続ベクトルからのベクトルが含まれる。第１の組の接続ベクトルと第２の組の接続ベクトルの中の各ベクトルは、単一のベクトル対に含まれる。各ベクトル対間の差分の絶対値の合計は、第１の組の接続ベクトルと第２の組の接続ベクトルとの間の差分値を構成する。
【０２１５】
例として、前の切片表面のキャプチャ画像に示された標的物体のグループを接続する一組の接続ベクトルには、ベクトルＡ（１、１）とベクトルＢ（４、３）が含まれる。セグメント化画像現在の切片表面に示された関心のある物体の第１のサブグループを接続する一組の接続ベクトルには、ベクトルＣ（１、２）およびベクトルＤ（３、３）が含まれる。セグメント化画像現在の切片表面に示された関心のある物体の第２のサブグループを接続する一組の接続ベクトルには、ベクトルＥ（２、２）およびベクトルＦ（３、３）が含まれる。
【０２１６】
第１に、（ａ）標的物体の接続ベクトルと（ｂ）関心のある物体の第１のサブグループの接続ベクトルとの間の差分値が決定される。差分値の計算に使用される複数のベクトル対は次のとおりである。
第１のベクトル対：ベクトルＡ（１、１）およびベクトルＣ（１、２）、および
第２のベクトル対：ベクトルＢ（４、３）およびベクトルＤ（３、３）。
【０２１７】
第１のベクトル対の場合、ベクトルＡ（１、１）とベクトルＣ（１、２）との間の差分は、（０、−１）として計算される。（０、−１）の絶対値は１である。
【０２１８】
第２のベクトル対の場合、ベクトルＢ（４、３）とベクトルＤ（３、３）との間の差分は、（１、０）として計算される。（１、０）の絶対値は１である。
【０２１９】
各ベクトル対間の差分の絶対値の合計は、１＋１＝２として計算される。したがって、（ａ）標的物体の接続ベクトルと（ｂ）関心のある物体の第１のサブグループの接続ベクトルとの間の差分値は２である。
【０２２０】
第２に、（ａ）標的物体の接続ベクトルと（ｂ）関心のある物体の第２のサブグループの接続ベクトルとの間の差分値が決定される。差分値の計算に使用される複数のベクトル対は次のとおりである。
第１のベクトル対：ベクトルＡ（１、１）およびベクトルＥ（２、２）、および
第２のベクトル対：ベクトルＢ（４、３）およびベクトルＦ（３、３）。
【０２２１】
第１のベクトル対の場合、ベクトルＡ（１、１）とベクトルＥ（２、２）との間の差分は、（−１、−１）として計算される。（−１、−１）の絶対値は１．４１である。
【０２２２】
第２のベクトル対の場合、ベクトルＢ（４、３）とベクトルＦ（３、３）との間の差分は、（１、０）として計算される。（１、０）の絶対値は１である。
【０２２３】
各ベクトル対間の差分の絶対値の合計は、１．４１＋１＝２．４１として計算される。したがって、（ａ）標的物体の接続ベクトルと（ｂ）関心のある物体の第２のサブグループの接続ベクトルとの間の差分値は２．４１である。
【０２２４】
差分値を比較すると、差分値２は差分値２．４１よりも小さい。したがって、関心のある物体の第１のサブグループのための一組の接続ベクトルは、前の切片表面のキャプチャ画像内の標的物体のための一組の接続ベクトルからの最小の差分に関連付けられる。
【０２２５】
１つ以上の実施形態は、動作８２６で識別された特定の一組の接続ベクトルに対応する関心のある物体の特定のサブグループを、標的物体のグループとして決定することを含む（動作８２８）。上述のように、物体追跡画像取得システムは、動作８２６で、前の切片表面のキャプチャ画像内の標的物体を接続する一組の接続ベクトルからの最小の差分に関連付けられた特定の一組の接続ベクトルを識別する。物体追跡画像取得システムは、特定の一組の接続ベクトルに対応する関心のある物体の特定のサブグループを識別する。関心のある物体の特定のサブグループは、標的物体のグループとして識別される。
【０２２６】
１つ以上の実施形態は、現在の切片表面のセグメント化画像内の標的グループの位置を識別することを含む（動作８３０）。動作８２８で上述したように、現在の切片表面のセグメント化画像に示された関心のある物体の特定のサブグループは、標的物体のグループとして識別される。標的物体のグループに対応する現在の切片表面のセグメント化画像内の位置が識別される。特定の画像内の標的グループの位置を識別するための動作の例は、動作８０８を参照して上で説明されている。
【０２２７】
１つ以上の実施形態は、前の切片表面のキャプチャ画像内の標的グループの位置から現在の切片表面のセグメント化画像内の標的グループの位置への移動ベクトルを決定することを含む（動作８３２）。画像内のある位置から画像内の別の位置への移動ベクトルを決定するための動作の例は、動作２０８を参照して上で説明されている。
【０２２８】
１つ以上の実施形態は、顕微鏡の視野を移動ベクトルに従って移動させることを含む（動作８３４）。顕微鏡の視野を移動ベクトルに従って移動させるための動作の例は、動作２１０を参照して上で説明されている。
【０２２９】
１つ以上の実施形態は、標本の現在の切片表面の別のキャプチャ画像を取得することを含む（動作８３６）。顕微鏡の視野を特定の切片表面の標的物体のグループを中心とするように移動した後、特定の切片表面の別のキャプチャ画像を取得するための動作の例は、動作２１２を参照して上で説明されている。
【０２３０】
一実施形態では、動作８３６は実行されない。動作８１８で取得された現在の切片表面のキャプチャ画像は必ずしも標的物体を中心とするとは限らないが、動作８１８で取得されたキャプチャ画像は、標本の３Ｄレンダリングの現在の切片表面の画像として受け入れられる。
【０２３１】
１つ以上の実施形態は、観察されるべき追加の切片表面が存在するかどうかを判定することを含む（動作８３８）。観察されるべき追加の切片表面が存在するかどうかを判定するための動作の例は、動作２３０を参照して上で説明されている。
【０２３２】
観察されるべき追加の切片表面が存在する場合、１つ以上の実施形態は、次のキャプチャ画像を取得する準備として、次の切片表面を現在の切片表面として設定することを含む（動作８４０）。顕微鏡下で観察するために次の切片表面を準備するための動作の例は、動作２１４を参照して上で説明されている。
【０２３３】
動作８１８〜８３６が、現在の切片表面に関して繰り返される。したがって、物体追跡画像取得システムは、標本の各切片表面を横断する。物体追跡画像取得システムは、次の切片表面のキャプチャ画像を取得する準備として特定の切片表面のキャプチャ画像を取得した後、顕微鏡の視野を移動させる。したがって、物体追跡画像取得システムは、標本の複数の切片表面にわたって標的物体のグループを追跡する。
【０２３４】
すべての切片表面が観察された後、１つ以上の実施形態は、標的物体を追跡する標本の３Ｄレンダリングを寄せ集めることを含む（動作８４２）。
【０２３５】
一実施形態では、動作８１４および８３６が実行される。動作８１４および８３６におけるキャプチャ画像は、標本の３Ｄレンダリングを生成するために寄せ集められる。しかしながら、動作８０２および８１８におけるキャプチャ画像は、標本の３Ｄレンダリングを生成するときに寄せ集められない。
【０２３６】
一実施形態では、動作８１４および８３６は実行されない。したがって、動作８０２および８１８におけるキャプチャ画像は、標本の３Ｄレンダリングを生成するために寄せ集められる。
【０２３７】
標的物体を追跡する標本の３Ｄレンダリングを寄せ集めるための動作の例は、動作２３４を参照して上で説明されている。
【０２３８】
図９Ａ−図９Ｃは、１つ以上の実施形態による、複数の標的物体を追跡する連続標本画像を取得するための例示的な一連の動作を示す。図９Ａ−９Ｃに示す１つ以上の動作は、すべて一緒に変更、再配置、または省略され得る。したがって、図９Ａ−９Ｃに示される特定の動作シーケンスは、１つ以上の実施形態の範囲を限定するものとして解釈されるべきではない。
【０２３９】
１つ以上の実施形態は、第１の時間間隔で標本のキャプチャ画像を取得することを含む（動作９０２）。第１の時間間隔で標本のキャプチャ画像を取得するための動作の例は、動作３０２を参照して上で説明されている。
【０２４０】
１つ以上の実施形態は、キャプチャ画像内の標的物体のグループを識別することを含む（動作９０４）。キャプチャ画像内の標的物体を識別するための動作の例は、動作２０４を参照して上で説明されている。
【０２４１】
１つ以上の実施形態は、キャプチャ画像内の標的物体を接続する第１の組の接続ベクトルを識別することを含む（動作９０６）。特定の物体のグループを接続する一組の接続ベクトルを識別するための動作の例は、動作８０６を参照して上で説明されている。
【０２４２】
１つ以上の実施形態は、キャプチャ画像内の標的物体の位置を識別することを含む（動作９０８）。特定の画像内の標的グループの位置を識別するための動作の例は、動作８０８を参照して上で説明されている。
【０２４３】
１つ以上の実施形態は、キャプチャ画像の中心からキャプチャ画像内の標的物体の位置への移動ベクトルを決定することを含む（動作９１０）。画像内のある位置から画像内の別の位置への移動ベクトルを決定するための動作の例は、動作２０８を参照して説明される。
【０２４４】
１つ以上の実施形態は、顕微鏡の視野を移動ベクトルに従って標本に対して移動させることを含む（動作９１２）。顕微鏡の視野を移動ベクトルに従って移動させるための動作の例は、動作２１０を参照して上で説明されている。視野はリアルタイムで移動される。視野が移動されるにつれて、標本は経時的に変化し続ける。第１の時間間隔は既に過ぎており、標本の外観はすでに変化しているため、第１の時間間隔で標本の別のキャプチャ画像を取得することはできない。
【０２４５】
１つ以上の実施形態は、現在の時間間隔で標本のキャプチャ画像を取得することを含む（動作９１４）。現在の時間間隔で標本のキャプチャ画像を取得するための動作の例は、動作３１２を参照して上で説明されている。
【０２４６】
１つ以上の実施形態は、キャプチャ画像に基づいてセグメント化画像を生成することを含む（動作９１６）。キャプチャ画像に基づいてセグメント化画像を生成するための動作の例は、動作２１８を参照して上で説明されている。
【０２４７】
１つ以上の実施形態は、セグメント化画像に示された関心のある物体のサブグループを識別することを含む（動作９１８）。セグメント化画像に示された関心のある物体のサブグループを識別するための動作の例は、動作８２２を参照して上で説明されている。
【０２４８】
１つ以上の実施形態は、セグメント化画像内の関心のある物体のサブグループにそれぞれ対応する複数組の接続ベクトルを識別することを含む（動作９２０）。セグメント化画像内の関心のある物体のサブグループにそれぞれ対応する複数組の接続ベクトルを識別するための動作の例は、動作８２４を参照して上で説明されている。
【０２４９】
１つ以上の実施形態は、複数組の接続ベクトルのうち、前の時間間隔のキャプチャ画像内の標的物体を接続する一組の接続ベクトルからの最小の差分に関連付けられた特定の一組の接続ベクトルを決定することを含む（動作９２２）。前のキャプチャ画像内の標的物体を接続する一組の接続ベクトルからの最小の差分に関連付けられた特定の一組の接続ベクトルを決定するための動作の例は、動作８２６を参照して上で説明されている。
【０２５０】
一実施形態では、直前の時間間隔のキャプチャ画像が使用される。直前の時間間隔のキャプチャ画像内の標的物体を接続する一組の接続ベクトルとの最小の差分に関連付けられた特定の一組の接続ベクトルが決定される。別の実施形態では、直前の時間間隔よりも早い前の時間間隔のキャプチャ画像が使用される。これは、処理速度が不十分なため必要になる場合がある。例として、画像は０．１秒ごとにキャプチャされ得るが、処理時間は１秒かかり得る。この場合、現在の時間間隔より１０時間間隔前のキャプチャ画像が使用され得る。
【０２５１】
１つ以上の実施形態は、特定の一組の接続ベクトルに対応する関心のある物体の特定のサブグループを標的物体として決定することを含む（動作９２４）。特定の一組の接続ベクトルに対応する関心のある物体の特定のサブグループを標的物体として決定するための動作の例は、動作８２８を参照して上で説明されている。
【０２５２】
１つ以上の実施形態は、現在の時間間隔のセグメント化画像内の標的グループの位置を識別することを含む（動作９２６）。特定の画像内の標的グループの位置を識別するための動作の例は、動作８３０を参照して上で説明されている。
【０２５３】
１つ以上の実施形態は、前の時間間隔のキャプチャ画像内の標的グループの位置から現在の時間間隔のセグメント化画像内の標的グループの位置への移動ベクトルを決定することを含む（動作９２８）。画像内のある位置から画像内の別の位置への移動ベクトルを決定するための動作の例は、動作２０８を参照して上で説明されている。
【０２５４】
１つ以上の実施形態は、顕微鏡の視野を移動ベクトルに従って移動させることを含む（動作９３０）。顕微鏡の視野を移動ベクトルに従って移動させるための動作の例は、動作２１０を参照して上で説明されている。
【０２５５】
１つ以上の実施形態は、現在の時刻が依然として関心のある期間内にあるかどうかを判定することを含む（動作９３２）。現在の時刻が依然として関心のある期間内にあるかどうかを判定するための動作の例は、動作３２４を参照して上で説明されている。
【０２５６】
関心のある期間が経過していない場合、動作９１４〜９３０は各時間間隔に関して繰り返される。したがって、物体追跡画像取得システムは、関心のある期間にわたってキャプチャ標本画像を取得する。物体追跡画像取得システムは、次の時間間隔でキャプチャ画像を取得する準備として、各時間間隔でキャプチャ画像を取得した後、顕微鏡の視野を移動させる。したがって、対象追跡画像取得システムは、関心のある期間内の時間間隔にわたって標的対象を追跡する。
【０２５７】
関心のある期間が経過した後、１つ以上の実施形態は、標的物体を経時的に追跡する連続標本画像を寄せ集めることを含む（動作９３４）。動作９０２および９１４におけるキャプチャ画像は、標的物体を追跡する一組の連続標本画像として寄せ集められる。
【０２５８】
標的物体を経時的に追跡する連続標本画像を寄せ集めるための動作の例は、動作３２６を参照して上で説明されている。
【０２５９】
６．例示的な実施形態
わかりやすくするために、詳細な例を以下に説明する。以下で説明するコンポーネントおよび／または動作は、特定の実施形態に適用可能ではない場合がある具体的な例として理解されるべきである。したがって、以下で説明するコンポーネントおよび／または動作は、特許請求の範囲の範囲を限定するものと解釈されるべきではない。
【０２６０】
図１０Ａ〜１０Ｎは、１つ以上の実施形態による、複数の標的物体を追跡する連続標本画像を取得する例を示す。
【０２６１】
図１０Ａは、時刻Ｔ１における標本１０００を示している。関心のある物体１０５２と関心のない物体１０５４を含むいくつかの物体が標本１０００の表面に現れている。顕微鏡の位置決めパラメータの第１の組の値は、標本１０００に関して視野１０１２をもたらす。したがって、視野１０１２内の標本１０００の領域は、顕微鏡で観察可能である。視野１０１２の外側の領域は、顕微鏡で観察可能ではない。
【０２６２】
図１０Ｂは、時刻Ｔ１における標本１０００のキャプチャ画像１０２２を示している。キャプチャ画像１０２２は、視野１０１２内にある標本１０００の領域を示している。キャプチャ画像１０２２は、関心のある物体１０５２と関心のない物体１０５４の両方を示している。
【０２６３】
ユーザは、キャプチャ画像１０２２を閲覧する。ユーザは、３つの標的物体１０１０のグループを識別するユーザ入力を入力する。物体追跡画像取得システムは、標的物体１０１０を接続する一組の接続ベクトル１０６０を識別する。
【０２６４】
図１０Ｃは、時刻Ｔ１における標本１０００のキャプチャ画像１０２２を再び示している。物体追跡画像取得システムはまた、標的物体１０１０の中心が位置Ｘにあると判定する。位置Ｘは座標（５、５）に関連付けられ得る。位置Ｘは、キャプチャ画像１０２２内の標的グループの位置とみなされる。
【０２６５】
１つの時間間隔が経過し、現在は時刻Ｔ２である。図１０Ｄは、時刻Ｔ２における標本１０００を示している。時刻Ｔ１で標本に現れていた関心のある物体１０５２と関心のない物体１０５４は、時刻Ｔ２でも標本に現れている。しかしながら、物体は異なる形状および／または異なる位置で現れている場合がある。位置決めパラメータの第１の組の値が、依然として顕微鏡を構成するために使用されている。位置決めパラメータの第１の組の値は、標本１０００に関して視野１０１４をもたらす。したがって、視野１０１４内の標本１０００の領域は、顕微鏡で観察可能である。視野１０１４の外側の領域は、顕微鏡で観察可能ではない。
【０２６６】
図１０Ｅは、時刻Ｔ２における標本１０００のキャプチャ画像１０２４を示している。キャプチャ画像１０２４は、視野１０１４内にある標本１０００の領域を示している。キャプチャ画像１０２４は、関心のある物体１０５２と関心のない物体１０５４の両方を示している。標的物体１０１０のグループは、必ずしもキャプチャ画像１０２４の中心にあるとは限らないことに留意されたい。
【０２６７】
図１０Ｆは、時刻Ｔ２における標本１０００のキャプチャ画像１０２４に基づいて生成されたセグメント化画像１０３４を示している。セグメント化画像１０３４は、関心のある物体１０５２を示す特定のセグメントを示す。セグメント化画像７３４は、特定のセグメントの外側の領域には関心のある物体が示されていないことを示す。
【０２６８】
物体追跡画像取得システムは、関心のある物体１０５２のサブグループを識別し、各サブグループは、標的物体１０１０の数（３つ）と同じ数の関心のある物体を有する。物体追跡画像取得システムは、関心のある物体１０１０の各サブグループの接続ベクトルを描画する。
【０２６９】
図１０Ｇは、時刻Ｔ２における標本１０００のキャプチャ画像１０２４に基づいて生成されたセグメント化画像１０３４を再び示している。接続ベクトル１０６２は、関心のある物体１０１０の第１のサブグループに対して描画されている。
【０２７０】
物体追跡画像取得システムは、接続ベクトル１０６０と接続ベクトル１０６２との間の差分値を決定する。差分値は、例えば８．５４であり得る。
【０２７１】
図１０Ｈは、時刻Ｔ２における標本１０００のキャプチャ画像１０２４に基づいて生成されたセグメント化画像１０３４を再び示している。接続ベクトル１０６４は、関心のある物体１０１０の第２のサブグループに対して描画されている。
【０２７２】
物体追跡画像取得システムは、接続ベクトル１０６０と接続ベクトル１０６４との間の差分値を決定する。差分値は、例えば２．４３であり得る。
【０２７３】
図１０Ｉは、時刻Ｔ２における標本１０００のキャプチャ画像１０２４に基づいて生成されたセグメント化画像１０３４を再び示している。接続ベクトル１０６６は、関心のある物体１０１０の第３のサブグループに対して描画されている。
【０２７４】
物体追跡画像取得システムは、接続ベクトル１０６０と接続ベクトル１０６４との間の差分値を決定する。差分値は、例えば３．８９であり得る。
【０２７５】
図１０Ｊは、時刻Ｔ２における標本１０００のキャプチャ画像１０２４に基づいて生成されたセグメント化画像１０３４を再び示している。接続ベクトル１０６８は、関心のある物体１０１０の第４のサブグループに対して描画されている。
【０２７６】
物体追跡画像取得システムは、接続ベクトル１０６０と接続ベクトル１０６８との間の差分値を決定する。差分値は、例えば１．７２であり得る。
【０２７７】
差分値を比較すると、接続ベクトル１０６８に対応する１．７２の差分値が最小である。したがって、接続ベクトル１０６８に対応する関心のある物体のサブグループは、標的物体１０５０のグループとして識別される。
【０２７８】
図１０Ｋは、時刻Ｔ２における標本１０００のキャプチャ画像１０２４に基づいて生成されたセグメント化画像１０３４を再び示している。物体追跡画像取得システムは、標的物体１０５０の中心が位置Ｙにあると判定する。位置Ｙは座標（４、４．５）に関連付けられ得る。位置Ｙは、セグメント化画像１０３４内の標的グループの位置とみなされる。
【０２７９】
図１０Ｌは、キャプチャ画像１０２２内の標的グループの位置（位置Ｘ）からセグメント化画像１０３４内の標的グループの位置（位置Ｙ）への移動ベクトル１０５６を示す。移動ベクトルは、（−１、０．５）として表され得る。移動ベクトルは、ｘ方向に−１単位の長さ、ｙ方向に１単位の長さである。
【０２８０】
１つの時間間隔が経過し、現在は時刻Ｔ３である。プロセスは、時刻Ｔ３で標本１０００に対して繰り返される。図１０Ｍは、時刻Ｔ３における標本１０００を示している。時刻Ｔ１およびＴ２で標本７００に現れている関心のある物体１０５２および関心のない物体１０５４は、時刻Ｔ３でも標本７００に現れている。しかしながら、物体は異なる形状および／または異なる位置で現れている場合がある。
【０２８１】
位置決めパラメータの第２の組の値が、顕微鏡用に構成される。位置決めパラメータの第２の組の値は、視野を移動ベクトル１０５６に従って移動させる。具体的には、前に使用された視野１０１４と現在の視野１０１６との間の距離は、移動ベクトル１０５６に等しい。したがって、視野１０１６内の標本１０００の領域は、顕微鏡で観察可能である。視野１０１６の外側の領域は、顕微鏡で観察可能ではない。
【０２８２】
顕微鏡の視野はリアルタイムで移動される。顕微鏡の視野が移動するにつれて、標本１０００は変化し続ける。したがって、時刻Ｔ２から時刻Ｔ３では、標的物体１０５０は形状および／または位置が変化している。したがって、視野が移動ベクトル１０５６に従って更新されたとしても、標的物体１０５０は必ずしも現在の視野１０１６の中心にあるとは限らない。
【０２８３】
図１０Ｎは、時刻Ｔ３における標本１０００のキャプチャ画像１０２６を示す。キャプチャ画像１０２６は、視野１０１６内にある標本１０００の領域を示している。キャプチャ画像１０２６は、関心のある物体１０５２と関心のない物体１０５４の両方を示している。標的物体１０５０は、必ずしもキャプチャ画像１０２６の中心にあるとは限らないことに留意されたい。
【０２８４】
したがって、プロセスは、関心のある期間内の各時間間隔で引き続き繰り返される可能性がある。各キャプチャ画像（キャプチャ画像１０２２、１０２４、１０２６など）は、経時的な標本の変化を示すアニメーションを生成するために寄せ集められる。
【０２８５】
７．ハードウェアの概要
一実施形態によれば、本明細書で説明される技術は、１つ以上の専用コンピューティングデバイスによって実装される。専用コンピューティングデバイスは、技術を実行するようにハードワイヤードとされていてもよく、または技術を実行するように永続的にプログラムされた１つ以上の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、もしくはネットワーク処理ユニット（ＮＰＵ）などのデジタル電子デバイスを含んでもよく、またはファームウェア、メモリ、他の記憶装置、もしくは組み合わせ中のプログラム命令に従って技術を実行するようにプログラムされた１つ以上の汎用ハードウェアプロセッサを含んでもよい。そのような専用コンピューティングデバイスは、カスタムハードワイヤードロジック、ＡＳＩＣ、ＦＰＧＡ、またはＮＰＵをカスタムプログラミングと組み合わせて、技術を実現することもできる。専用コンピューティングデバイスは、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイス、または技術を実装するためのハードワイヤードおよび／もしくはプログラムロジックを組み込んだ任意の他のデバイスである。
【０２８６】
例えば、図１１は、本発明の実施形態が実装され得るコンピュータシステム１１００を示すブロック図である。コンピュータシステム１１００は、情報を通信するためのバス１１０２または他の通信機構、および情報を処理するためにバス１１０２に結合されたハードウェアプロセッサ１１０４を含む。ハードウェアプロセッサ１１０４は、例えば、汎用マイクロプロセッサであり得る。
【０２８７】
コンピュータシステム１１００は、プロセッサ１１０４によって実行されるべき情報および命令を記憶するためにバス１１０２に結合された、ランダムアクセスメモリ（ＲＡＭ）または他の動的記憶デバイスなどのメインメモリ１１０６も含む。メインメモリ１１０６はまた、プロセッサ１１０４によって実行されるべき命令の実行中に一時的変数または他の中間情報を記憶するのに使用されてもよい。そのような命令は、プロセッサ１１０４にアクセス可能な非一時的な記憶媒体に記憶されると、コンピュータシステム１１００を、命令で指定された動作を実行するようにカスタマイズされた専用マシンにする。
【０２８８】
コンピュータシステム１１００は、プロセッサ１１０４のための静的情報および命令を記憶するためにバス１１０２に結合された、読み出し専用メモリ（ＲＯＭ）１１０８または他の静的記憶デバイスをさらに含む。磁気ディスクまたは光学ディスクなどの記憶デバイス１１１０が、情報および命令を記憶するために提供され、バス１１０２に結合される。
【０２８９】
コンピュータシステム１１００は、コンピュータユーザに情報を表示するために、陰極線管（ＣＲＴ）などのディスプレイ１１１２にバス１１０２を介して結合されてもよい。英数字および他のキーを含む入力デバイス１１１４が、プロセッサ１１０４に情報およびコマンド選択を通信するためにバス１１０２に結合されている。別のタイプのユーザ入力デバイスが、方向情報およびコマンド選択をプロセッサ１１０４に通信し、ディスプレイ１１１２上のカーソル移動を制御するための、マウス、トラックボールまたはカーソル方向キーのような、カーソル制御装置１１１６である。この入力デバイスは通常、デバイスが平面内の位置を指定することを可能にする、２つの軸、すなわち、第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ）における２自由度を有する。
【０２９０】
コンピュータシステム１１００は、カスタマイズされたハードワイヤードロジック、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを使用して本明細書で説明される技術を実装することができ、これらは、コンピュータシステムと組み合わせることでコンピュータシステム１１００を専用マシンにするかまたは専用マシンへとプログラムする。一実施形態によれば、本明細書の技術は、プロセッサ１１０４がメインメモリ１１０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行することに応答して、コンピュータシステム１１００によって実行される。そのような命令は、記憶デバイス１１１０などの別の記憶媒体からメインメモリ１１０６に読み込まれてもよい。メインメモリ１１０６に含まれる命令シーケンスの実行により、プロセッサ１１０４は、本明細書で説明されるプロセスステップを実行する。代替的な実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用されてもよい。
【０２９１】
本明細書で使用される「記憶媒体」という用語は、機械を特定の方式で動作させるデータおよび／または命令を記憶する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体としては、例えば、記憶デバイス１１１０などの光または磁気ディスクが挙げられる。揮発性媒体としては、メインメモリ１１０６のような動的メモリが挙げられる。記憶媒体の一般的な形式としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ−ＲＯＭ、任意の他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジ、連想メモリ（ＣＡＭ）、ならびに三値連想メモリ（ＴＣＡＭ）が挙げられる。
【０２９２】
記憶媒体は伝送媒体とははっきり異なるが、伝送媒体と組み合わせて使用できる。伝送媒体は、記憶媒体間の情報の転送に関与する。例えば、伝送媒体としては、バス１１０２を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバが挙げられる。伝送媒体は、電波および赤外線データ通信中に生成されるものなど、音響波または光波の形を取ることもできる。
【０２９３】
様々な形態の媒体が、１つ以上の命令の１つ以上のシーケンスを実行のためにプロセッサ１１０４に搬送するのに関与してもよい。例えば、命令は、最初は遠隔コンピュータの磁気ディスクまたはソリッドステートドライブ上に搬送されていてもよい。遠隔コンピュータは、命令をその動的メモリにロードして、モデムを使用して電話回線を介して命令を送信することができる。コンピュータシステム１１００に対してローカルなモデムが、電話回線上のデータを受信して、赤外線送信機を使用してデータを赤外線信号に変換することができる。赤外線検出器が、赤外線信号内で搬送されているデータを受信することができ、適切な回路が、データをバス１１０２上に置くことができる。バス１１０２は、データをメインメモリ１１０６に搬送し、プロセッサ１１０４は、そこから命令を取り出し実行する。メインメモリ１１０６によって受信される命令は任意選択的に、プロセッサ１１０４による実行の前または後のいずれかに、記憶デバイス１１１０に記憶されてもよい。
【０２９４】
コンピュータシステム１１００は、バス１１０２に結合された通信インターフェース１１１８も含む。通信インターフェース１１１８は、ローカルネットワーク１１２２に接続されたネットワークリンク１１２０に結合する双方向データ通信を提供する。例えば、通信インターフェース１１１８は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または対応するタイプの電話回線へのデータ通信接続を提供するモデムであり得る。別の例として、通信インターフェース１１１８は、互換性のあるＬＡＮへのデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードであってもよい。無線リンクも実装されてもよい。そのような実装では、通信インターフェース１１１８は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁信号、または光信号を送受信する。
【０２９５】
ネットワークリンク１１２０は通常、１つ以上のネットワークを介して他のデータデバイスへのデータ通信を提供する。例えば、ネットワークリンク１１２０は、ローカルネットワーク１１２２を介して、ホストコンピュータ１１２４またはインターネットサービスプロバイダ（ＩＳＰ）１１２６によって運用されるデータ機器への接続を提供することができる。ＩＳＰ１１２６は、現在一般的に「インターネット」１１２８と呼ばれる世界的なパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク１１２２およびインターネット１１２８は両方とも、デジタルデータストリームを搬送する電気信号、電磁信号、または光信号を使用する。コンピュータシステム１１００との間でデジタルデータを搬送する、様々なネットワークを通る信号ならびにネットワークリンク１１２０上の信号および通信インターフェース１１１８を通る信号は、伝送媒体の例示的な形態である。
【０２９６】
コンピュータシステム１１００は、ネットワーク（複数可）、ネットワークリンク１１２０、および通信インターフェース１１１８を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ１１３０は、インターネット１１２８、ＩＳＰ１１２６、ローカルネットワーク１１２２、および通信インターフェース１１１８を介して、アプリケーションプログラムのために要求されたコードを送信し得る。
【０２９７】
受信されたコードは、受信されたときにプロセッサ１１０４によって実行されてもよく、かつ／または後で実行するために記憶デバイス１１１０もしくは他の不揮発性記憶装置に記憶されてもよい。
【０２９８】
８．雑項、外延
実施形態は、ハードウェアプロセッサを含み、本明細書に記載されているおよび／または添付の特許請求の範囲のいずれかに記載されている動作のいずれかを実行するように構成された１つ以上のデバイスを有するシステムを対象とする。
【０２９９】
一実施形態では、非一時的なコンピュータ可読記憶媒体は、１つ以上のハードウェアプロセッサによって実行されると、本明細書に記載されているおよび／または請求項に記載されている動作の実行を引き起こす命令を含む。
【０３００】
本明細書で説明される特徴および機能の任意の組み合わせは、１つ以上の実施形態に従って使用され得る。前述の明細書では、実施形態は、実装ごとに異なる場合がある多数の具体的な詳細を参照して説明されている。したがって、明細書および図面は、制限的な意味ではなく、例示的な意味でみなされるべきである。本発明の範囲および本出願人が本発明の範囲とすることを意図するものの唯一かつ排他的な指標は、本出願から発行される一組の特許請求の範囲の、その後の修正を含むそのような特許請求の範囲が発行された具体的な形式における文字通りおよび均等の範囲である。
【図１Ａ】
2020057391.tif 000009
【図１Ｂ】
2020057391.tif 000010
【図１Ｃ】
2020057391.tif 000011
【図２Ａ】
2020057391.tif 000012
【図２Ｂ】
2020057391.tif 000013
【図３Ａ】
2020057391.tif 000014
【図３Ｂ】
2020057391.tif 000015
【図４】
2020057391.tif 000016
【図５Ａ】
2020057391.tif 000017
【図５Ｂ】
2020057391.tif 000018
【図５Ｃ】
2020057391.tif 000019
【図５Ｄ】
2020057391.tif 000020
【図５Ｅ】
2020057391.tif 000021
【図５Ｆ】
2020057391.tif 000022
【図５Ｇ】
2020057391.tif 000023
【図５Ｈ】
2020057391.tif 000024
【図５Ｉ】
2020057391.tif 000025
【図５Ｊ】
2020057391.tif 000026
【図６】
2020057391.tif 000027
【図７Ａ】
2020057391.tif 000028
【図７Ｂ】
2020057391.tif 000029
【図７Ｃ】
2020057391.tif 000030
【図７Ｄ】
2020057391.tif 000031
【図７Ｅ】
2020057391.tif 000032
【図７Ｆ】
2020057391.tif 000033
【図７Ｇ】
2020057391.tif 000034
【図７Ｈ】
2020057391.tif 000035
【図８Ａ】
2020057391.tif 000036
【図８Ｂ】
2020057391.tif 000037
【図８Ｃ】
2020057391.tif 000038
【図９Ａ】
2020057391.tif 000039
【図９Ｂ】
2020057391.tif 000040
【図９Ｃ】
2020057391.tif 000041
【図１０Ａ】
2020057391.tif 000042
【図１０Ｂ】
2020057391.tif 000043
【図１０Ｃ】
2020057391.tif 000044
【図１０Ｄ】
2020057391.tif 000045
【図１０Ｅ】
2020057391.tif 000046
【図１０Ｆ】
2020057391.tif 000047
【図１０Ｇ】
2020057391.tif 000048
【図１０Ｈ】
2020057391.tif 000049
【図１０Ｉ】
2020057391.tif 000050
【図１０Ｊ】
2020057391.tif 000051
【図１０Ｋ】
2020057391.tif 000052
【図１０Ｌ】
2020057391.tif 000053
【図１０Ｍ】
2020057391.tif 000054
【図１０Ｎ】
2020057391.tif 000055
【図１１】
2020057391.tif 000056
【外国語明細書】
2020057391000001.pdf