(57)【要約】      （修正有）【課題】クラウド内のネットワークに学習させるステップを含む、顕微鏡画像を再構成および／またはセグメント化するためにネットワークに学習させる方法を提供する。【解決手段】クラウド４内のネットワークに学習させるために、顕微鏡画像を含む学習データをクラウド４内にアップロードでき、ネットワークが、顕微鏡画像によって学習する。さらに、ネットワークに学習させるために、顕微鏡画像の再構成および／またはセグメント化の後にネットワークを比較・評価することができる。ネットワークを比較・評価するにあたり、ネットワークによる再構成および／またはセグメント化を受けた画像（複数可）の品質が、既知のアルゴリズムおよび／または第２のネットワークによる再構成および／またはセグメント化を受けた画像（複数可）の品質と比較され得る。【選択図】図１
2019110120.tif 000002
【特許請求の範囲】
【請求項１】
顕微鏡画像を再構成および／またはセグメント化するためのネットワークに学習させる方法であって、クラウド内のネットワークに学習させるステップを含む、方法。
【請求項２】
前記クラウド内の前記ネットワークに学習させるために、顕微鏡画像を含む学習データが、前記クラウド内にアップロードされ、ネットワークが、前記顕微鏡画像によって学習する、請求項１に記載の方法。
【請求項３】
前記ネットワークに学習させるために、前記ネットワークが、前記顕微鏡画像の前記再構成および／またはセグメント化の後に、比較・評価される、請求項２に記載の方法。
【請求項４】
前記ネットワークを比較・評価するために、前記ネットワークによる前記再構成および／またはセグメント化を受けた１以上の前記画像の品質が、既知のアルゴリズムおよび／または第２のネットワークによる再構成および／またはセグメント化を受けた前記画像（複数可）の品質と比較される、請求項３に記載の方法。
【請求項５】
前記ネットワークに学習させる前記さらなるステップを伴い、前記ネットワークおよび／またはそれらの関係における要素が、前記ネットワークを最適化するために、自動的に修正および比較・評価される、請求項１〜４のいずれかに記載の方法。
【請求項６】
前記学習したネットワークによって前記顕微鏡画像を再構成および／またはセグメント化するステップをさらに含む、請求項１〜５のいずれかに記載の方法。
【請求項７】
前記事前学習したネットワークが前記追加の画像をローカルに再構成および／またはセグメント化するように適合されるように、ローカル顕微鏡システムが、追加の画像を入力し、前記クラウド内での学習を終えた前記事前学習済みのネットワークを受信し、前記ローカル顕微鏡システムへのネットワークの転送のために提供される、請求項６に記載の方法。
【請求項８】
前記事前学習したローカルで動作するネットワークが、前記クラウド内で定期的に試験、および／または比較・評価され、したがって、前記ローカル顕微鏡システムから前記クラウド内に定期的に転送される、請求項１〜７のいずれかに記載の方法。
【請求項９】
前記事前学習したネットワークが前記クラウド内でさらに改善された場合、すでにローカルに存在する関連ネットワークに取って代わるために、前記事前学習したネットワークが、改善された形態で前記クラウドから前記ローカル顕微鏡システムに逆に転送される、請求項８に記載の方法。
【請求項１０】
単一粒子分析、極低温電子顕微鏡検査、ボリューム・スコープデータ取得、ニューロン再構成、画像超解像、単一画像解像、単一画像超解像のうちの少なくとも１つによって、画像を少なくとも収集する１以上のステップをさらに含む、請求項１〜９のいずれかに記載の方法。
【請求項１１】
前記クラウド内の前記学習が、深層畳み込みネットワーク、好ましくは非常に深層な畳み込みネットワーク、強化された深層残差ネットワーク（ＥＤＳＲ）、および／またはマルチスケールの深層超解像システム（ＭＤＳＲ）のうちの少なくとも１つを学習させるために実行される、請求項１〜１０のいずれかに記載の方法。
【請求項１２】
複数の顕微鏡装置によって前記画像を入力し、前記ネットワークに学習させるために前記画像を前記クラウド内に供給するさらなるステップ、および／または前記学習したネットワークを前記複数の顕微鏡装置に送信するさらなるステップを伴う、請求項１〜１１のいずれかに記載の方法。
【請求項１３】
前記クラウド内で受信された前記画像の初期分析に従い、事前学習したネットワークのライブラリを提供し、このライブラリから事前学習したネットワークを選択するステップを伴う、請求項１〜１２のいずれかに記載の方法。
【請求項１４】
前記初期分析が、前記事前学習したネットワークを選択する前に、前記事前学習したネットワークのうちのどれが所望の画像に最も近いかを、好ましくはその品質を分析または推定することによって検出するステップを含む、請求項１３に記載の方法。
【請求項１５】
前記学習したネットワークの前記品質および／または精度を定期的にチェックするステップを伴う、請求項１〜１４のいずれかに記載の方法。
【請求項１６】
請求項１〜１５のいずれかに記載の方法を実行するためのコンピュータプログラムを伴うコンピュータ可読媒体。
【請求項１７】
ローカル顕微鏡システムから遠隔アクセス可能であるように適合され、かつそれぞれの請求項１〜１６のいずれかに記載の方法を実行するように構成される、クラウドシステム。
【請求項１８】
クラウド内の事前学習したネットワークを学習させるために、顕微鏡画像を前記クラウド内に送信するようにローカルに配置、かつ構成され、ならびに／または前記ネットワークによって顕微鏡画像をローカルに再構成および／もしくはセグメント化するために、学習したネットワークを受信するように構成される、顕微鏡システム。
【請求項１９】
単一粒子分析、極低温電子顕微鏡検査、ボリューム・スコープデータ取得、ニューロン再構成、画像超解像、単一画像解像、および／または単一画像超解像のうちの少なくとも１つによって、画像を少なくとも収集するように適合されている顕微鏡を備える、請求項１８に記載の顕微鏡システム。
【請求項２０】
単一粒子分析、極低温電子顕微鏡検査、ボリューム・スコープデータ取得、ニューロン再構成、画像超解像、単一画像解像、および／または単一画像超解像のうちの少なくとも１つのためのそれぞれの請求項１〜１９のいずれかに記載の方法および／または顕微鏡システムの使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動化された顕微鏡画像再構成および／またはセグメント化のための方法に関する。本発明はまた、顕微鏡画像再構成および／またはセグメント化を自動化するように特に構成されたクラウドシステムおよび顕微鏡システムに関する。画像は、２つ以上の顕微鏡または顕微鏡システム等、２つ以上の装置から生じ得る。
【背景技術】
【０００２】
２０世紀後半の電子および走査型プローブ顕微鏡の開発は、ナノメートル、分子、および原子分解を用いて、物質の内部構造および組成の劇的な画像を生成している。主に、この進歩は、顕微鏡操作、データ取得、および分析のコンピュータ支援方法によって可能となった。２１世紀の初めにおける画像化技術の進歩が、構造および機能性に関する高い正確性の情報の利用可能性において広く知られることとなった。ハードウェアの観点から、高解像画像化法は、現在、サブオングストロームの精度で原子位置を定常的に解像し、材料の原子構造および動力学の洞察を可能にする。
【０００３】
電子顕微鏡検査、荷電粒子顕微鏡検査、透過電子顕微鏡（ＴＥＭ）、走査電子顕微鏡（ＳＥＭ）、および走査透過電子顕微鏡（ＳＴＥＭ）等、また集束イオンビーム（ＦＩＢ）を付加的に用いる、いわゆる「二重ビーム」ツール（例えば、ＦＩＢ−ＳＥＭ）等の様々なサブ形態等、様々な種類の顕微鏡検査が、本発明に関連し得、イオンビームミリング、またはイオンビーム誘起付着（ＩＢＩＤ）、もしくはイオンベースの画像化等の支持活動を可能にする。これは、高性能顕微鏡手法の非排他的なリストである。
【０００４】
機能的な画像化は、多数の、またはさらに多くのパラメータ（時間、温度、または他の外部刺激）の関数として取得された、関心のある特性に関する部分的または完全な情報を含む、多次元データセットにつながることが多い。この多次元の構造的および機能的データを視覚化し、圧縮し、物理的、化学的に関連する情報に変換するための、大きく、深いデータ分析方法のうちのいくつかの最近の出願が、開示されている。
【０００５】
走査型顕微鏡を使用して試料の画像を蓄積することは、以下の、放射源からの放射ビームを照明装置を通じて方向づけて、試料の表面Ｓを照射するステップと、前記照射に応答して、試料から放射される放射束を検出するために検出器を使用するステップと、前記ビームを前記表面に対する走査経路に追従させるステップと、前記走査経路内の１組の試料点の各々について、選択された測定パラメータの値の関数として検出器の出力Ｄｎを記録し、測定セットをコンパイルするステップと、測定セットを自動的にデコンボリューションし、それを空間的に解像して、標本の再構成画像を生成するためにコンピュータ処理装置を使用するステップと、を含むことができる。
【０００６】
より具体的には、ＳＥＭにおいて、走査電子ビームによる試料の照射は、二次電子、後方散乱電子、Ｘ線およびフォトルミネッセンス（赤外線、可視および／または紫外線光子）の形態で、試料からの「補助」放射線の放出を引き起こし、例えば、発散するこの放射線の束の１つ以上の構成要素が検出され、画像蓄積の目的で使用される。
【０００７】
ＴＥＭにおいて、試料に照射するために使用される電子ビームは、試料を貫通するのに十分なエネルギーであるように選択され（つまり、この目的のために、概してＳＥＭ試料の場合よりも薄い）、試料から放出される透過電子の束は、次いで画像を作成するために使用することができる。このようなＴＥＭが走査モードで動作するとき（このためＳＴＥＭとなる）、当該画像は、試料に対するビームの走査運動中に蓄積されるであろう。
【０００８】
照射ビームとして電子を使用する代替として、荷電粒子顕微鏡検査もまた、他の種類の荷電粒子を用いて遂行することができる。この点に関して、「荷電粒子」という語句は、例えば、電子、正イオン（例えば、ＧａまたはＨｅイオン）、負イオン、陽子、および陽電子を包括するものとして広く解釈されるべきである。
【０００９】
イオンベースの顕微鏡検査に関して、例えば、以下のような情報源からいくつかのさらなる情報を収集することができる。
【００１０】
Ｗ．Ｈ．Ｅｓｃｏｖｉｔｚ，Ｔ．Ｒ．Ｆｏｘ  ａｎｄ  Ｒ．Ｌｅｖｉ−Ｓｅｔｔｉ，Ｓｃａｎｎｉｎｇ  Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｉｏｎ  Ｍｉｃｒｏｓｃｏｐｅ  ｗｉｔｈ  ａ  Ｆｉｅｌｄ  Ｉｏｎ  Ｓｏｕｒｃｅ，Ｐｒｏｃ．Ｎａｔ．Ａｃａｄ．Ｓｃｉ．ＵＳＡ  ７２（５），ｐｐ１８２６−１８２８（１９７５）。
【００１１】
画像化に加えて、荷電粒子顕微鏡（ＣＰＭ）はまた、分光法の実施、回折図の検査、（局部的な）表面改質（例えば、ミリング、エッチング、堆積）の実施等の、他の機能も有してもよいということに留意すべきである。
【００１２】
荷電粒子を照射ビームとして使用することの他に、光子ビームを使用して、走査顕微鏡検査を遂行することも可能である。そのような技術の例は、光子の点光源による走査照射が、標本からの蛍光放射の局所的発散を刺激する、いわゆる共焦点顕微鏡検査である。検出器は、この蛍光放射の束（の一部）を収集し、それに基づいて画像を蓄積するために使用することができる。
【００１３】
走査型顕微鏡は、少なくとも以下の構成要素：ＣＰＭの場合、ショットキー源もしくはイオン銃等の放射源、または光学顕微鏡の場合、レーザもしくはランプ、光源からの「未加工の」放射ビームを操作し、集束、収差緩和、クロッピング（開口部を伴い）、フィルタリングなどの特定の動作を遂行するように働く照明装置を備えるであろう。概して、１つ以上の（荷電粒子）レンズを含み、他の種類の（粒子）光学構成要素もまた含み得る。所望されれば、照明装置は、その出力ビームが調査される標本を横切って走査運動を遂行させるように呼び出し得る、偏向器システムを備えることができる。検査中の試料をその上に保持して、位置決め（例えば、傾斜、回転）できる、試料ホルダもまた、提供され得る。所望されれば、このホルダは、移動させて、標本に関するビームの所望の走査運動をもたらすことができる。一般に、このような試料ホルダは、メカニカルステージ等の位置決めシステムに接続されるであろう。検出器は、本来単一または組み合わせ／分配し得、かつ検出される放射線に依存して、多くの異なる形態を取ることができる。実施例は、例えば、シンチレータ膜と共に使用され得る、光電子増倍管（固体光電子増倍管、ＳＳＰＭを含む）、フォトダイオード、ＣＭＯＳ検出器、ＣＣＤ検出器、光電池等を含む。
【００１４】
走査型顕微鏡の様々な形態が数十年前から既知であるが、それらは、科学技術の多くの分野においてボトルネックとして現れ始めている共通の欠点を有する。この欠点は、走査ベースの画像化が比較的遅く退屈なプロセスである傾向があることから、これまで非常に小さい（一部の）試料を、例えば、ＣＰＭ内の数十ミクロン、共焦点顕微鏡検査では数百ミクロンである、典型的な大きさで、検査することに従来限定されていたということに関係する。しかし、人間の努力の多くの分野において、これらの技術によって提供される解像度を維持し、その画像化エリアを数桁拡大する必要性が高まっている。例えば、細胞生物学において、例えば、（特に異なる種類の）細胞間、特に脳組織、筋組織、新生物（癌組織）等の相互作用をより明確に調査するために、細胞レベルの画像化を組織レベルに拡大することが所望される。
【００１５】
鉱物学／岩石学において、例えば、追跡研究における石マトリックス材料内のガストラップ挙動、石英層内の貴金属封入、合成宝石およびその他の結晶内の望ましくない介在物等をより明確に調査するために、分子レベルでの分析を粒子および粒界のレベルまで拡大する必要性がある。
【００１６】
半導体産業において、例えば、重要な寸法、重ね合わせ、汚染等に対する品質管理を遂行するとき、個々の接合部のレベルでの調査を、装置および装置アレイ全体のより広い適格性へと拡大することが所望される。
【００１７】
しかしながら、現行の走査型顕微鏡技術をそのような大きな画像化スケールまで延長することは、そのような拡大を基本的に不可能にするほど、画像蓄積時間を劇的に増大させることになるであろう。したがって、多くの要求および必要性にもかかわらず、現在の技術は、この点に関して非常に実行困難であるため、現実的な適用性から技術自体を排除している。
【００１８】
現存の走査型顕微鏡技術の別の問題は、例えば（生きている）生物学的試料、極低温試料等の、放射線感受性試料を画像化するときに現れ得る。このような試料にエネルギービーム（特に荷電粒子ビーム）で照射するまさにその行為は、照射ビームの衝突範囲付近で損傷（例えば、分子の再配列／変異、解凍、乾燥など）を引き起こす傾向がある。この影響を軽減するために、照射ビームの強度を減少させること、および／または照射ビームの走査速度を増加させることを考慮することができるが、そのような手段は、概して信号対雑音比（ＳＮＲ）の望ましくない低下をもたらす。
【００１９】
このような技術は、本発明の譲受人に譲渡された、ＥＰ２９６３６７３Ａ１、ならびにＥＰ２９５８１３１Ａ１にさらに記載される。このような手法は、譲受人によって近年広く開発されている。
【００２０】
特に、以下の注目すべき公開物は、言及に値する：ＵＳ８，２３２，５２３／ＥＰ２３８３７６８８１、この中で、Ｐは、ビームエネルギー、ビーム収束角、またはビーム焦点深度等の、（入射）放射ビームの特性であり、空間解像度（デコンボリューション）は、統計的ブラインドソース分離（ＢＳＳ）アルゴリズムを使用して遂行される。
【００２１】
ＵＳ８，５８１，１８９／ＥＰ２５５７５８６８１、この中で、Ｐは、ビームエネルギー、ビーム収束角、またはビーム焦点深度等の、（入射）放射ビームの特性であり、Ｍのデコンボリューションは、例えば、ベイジアン統計的手法に基づいて、一般化された三次元再構成技術を使用して遂行される。
【００２２】
ＵＳ８，５８６，９２１／ＥＰ２５５７５８７Ａ２、この中で、Ｐは、（放出する）放射束、具体的に放射角（例えば、放射された二次電子）の特性であり、Ｍのデコンボリューションは、一般的な体積再構成アルゴリズムを使用して再度実施される。
【００２３】
ＵＳ８，７０４，１７６／ＥＰ２６４８２０８Ａ２、この中で、Ｐは、再度（放出する）放射束、具体的に、放射された電子のエネルギーの特性であり、Ｍのデコンボリューションは、三次元再構成の数学を使用して再度達成される。
【００２４】
論文、Ｌｏｎｇらの「Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ」において、２０１５  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）が、畳み込みネットワークを記載している。それらは、特徴の階層を生み出す強力なビジュアルモデルである。それら自体によって、端部から端部まで、ピクセルからピクセルまで、学習した畳み込みネットワークは、セマンティックセグメント化の最先端技術を超えることが示される。この論文によれば、本質は、任意のサイズの入力を受け取り、それに対応するサイズの出力を効率的な推論と学習を伴い生成する「完全畳み込み」ネットワークを構築することである。著者は、完全畳み込みネットワークの空間を定義し詳細に説明し、空間的に密な予測タスクへの応用を説明し、以前のモデルへの接続を描く。彼らは、ＡｌｅｘＮｅｔ、ＶＧＧネット、ＧｏｏｇＬｅＮｅｔ等の最新の分類ネットワークを完全に畳み込みネットワークに適合させ、セグメント化タスクに微調整することによって学習した表現を転送する。著者は、深く、粗い層からのセマンティック情報を、浅い、細かい層からの外観情報と組み合わせて、正確で詳細なセグメント化を生成するスキップアーキテクチャをさらに定義する。
【００２５】
Ｈａｏ  Ｃｈｅｎらによる、論文「Ｄｅｅｐ  Ｃｏｎｔｅｘｔｕａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｎｅｕｒｏｎａｌ  Ｓｔｒｕｃｔｕｒｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｔｈｉｒｔｉｅｔｈ  ＡＡＡＩ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  （ＡＡＡＩ−１６）は、ニューラル系と電子顕微鏡検査（ＥＭ）画像との相互接続を表すことを目的としている。ＥＭ画像データのサイズは、ジョブ全体を達成するには数十年かかるため、人間の注釈を実用的なものにすることができない。コネクトームを再構成する代替的な方法は、ニューロンの構造を自動的にセグメント化できる、コンピュータ化されたスキームで実現することができる。ＥＭ画像のセグメント化は、描写された構造が非常に多様であり得るため、非常に困難である。この困難な問題に対処するために、深層コンテキストネットワークが、深層階層構造からのマルチレベルのコンテキスト情報を活用することにより提案されて、より良好なセグメント化性能を達成する。消失する勾配に抗する堅牢性をさらに改善し、勾配フローのバックプロパゲーションの能力を強化するために、補助分類器が、深層ニューラルネットワークのアーキテクチャ内に組み込まれる。本方法は、潜在的なニューラルネットワークで画像から意味論上の意味を効果的に解析し、低レベルな文脈上の手がかりを参照して、構造の境界を正確に描写するものと推定され得る。
【００２６】
論文Ｔ．Ｍ．  Ｑｕａｎ，  Ｄ．Ｇ．Ｃ．  Ｈｉｌｄｅｂｒａｎｄ  ａｎｄ  Ｗ．  Ｊｅｏｎｇ．  Ｆｕｓｉｏｎｎｅｔ：Ａ  ｄｅｅｐ  ｆｕｌｌｙ  ｒｅｓｉｄｕａｌ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｆｏｒ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｉｎ  ｃｏｎｎｅｃｔｏｍｉｃｓ．ＣｏＲＲ，ａｂｓ／１６１２．０５３６０，２０１６。Ａｒｘｉｖでは、新規の深層ニューラルネットワークアーキテクチャが、コネクトミクスデータ内のニューロン構造の自動セグメント化のためのＦｕｓｉｏｎＮｅｔを紹介する。ＦｕｓｉｏｎＮｅｔは、より正確なセグメント化のためのより深いネットワークアーキテクチャを可能にする加算ベースのスキップ接続の導入を伴う、セマンティックセグメント化および残渣ニューラルネットワーク等の、機械学習の進歩を活用する。
【００２７】
深層畳み込みニューラルネットワーク（ＣＮＮ）にわたる概要、特に性能と速度との間のトレードオフを達成するための、異なるネットワーク構造やパラメータの設定にわたる概要は、論文Ｃｈａｏ  Ｄｏｎｇ，Ｃｈｅｎ  Ｃｈａｎｇｅ  Ｌｏｙ，Ｋａｉｍｉｎｇ  Ｈｅ，Ｘｉａｏｏｕ  Ｔａｎｇ．Ｌｅａｒｎｉｎｇ  ａ  Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ  ｆｏｒ  Ｉｍａｇｅ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ，ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＥＣＣＶ），２０１４  ａｎｄ  Ｃｈａｏ  Ｄｏｎｇ，Ｃｈｅｎ  Ｃｈａｎｇｅ  Ｌｏｙ，Ｋａｉｍｉｎｇ  Ｈｅ，Ｘｉａｏｏｕ  Ｔａｎｇ．Ｉｍａｇｅ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  Ｕｓｉｎｇ  Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  （ＴＰＡＭＩ），Ｐｒｅｐｒｉｎｔ，２０１５内で提供される。
【００２８】
論文「Ａｃｃｕｒａｔｅ  Ｉｍａｇｅ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  Ｕｓｉｎｇ  ｖｅｒｙ  Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ」（Ｊｉｗｏｎ  Ｋｉｍ，Ｊｕｎｇ  Ｋｗｏｎ  Ｌｅｅ，Ｋｙｏｕｎｇ  Ｍｕ  Ｌｅｅ；Ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１６，ｐｐ．１６４６−１６５４）は、高精度の単一画像超解像（ＳＲ）法を開示する。この方法は、ＩｍａｇｅＮｅｔ分類に使用されるＶＧＧネットによって発想を得られた非常に深い畳み込みネットワークを使用する。ネットワーク深度を増加させることで、精度が大幅に向上することを示す。例示された最終モデルは、２０重量の層を使用する。深層ネットワーク構造内に、小さいフィルタを何度もカスケード接続することは、効率的な方法で有効に使用される大きい画像領域にわたって、コンテキスト情報を利用する。しかしながら、非常に深層のネットワークでは、収束速度が、学習中の重要な問題になる。単純だが効果的な学習手順が提案される。残差のみが学習され、非常に高い学習率（従来の１０４倍以上）の使用が、調整可能なグラデーションクリッピングによって可能となる。提案された方法は、精度および視覚的な改善において、既存の方法よりも優れた性能を示す。
【００２９】
論文Ｌａｒｉｓｓａ  Ｈｅｉｎｒｉｃｈ，Ｊｏｈｎ  Ａ．Ｂｏｇｏｖｉｃ，Ｓｔｅｐｈａｎ  Ｓａａｌｆｅｌｄ：Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ  ｆｏｒ  Ｉｓｏｔｒｏｐｉｃ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  ｆｒｏｍ  Ｎｏｎ−ｉｓｏｔｒｏｐｉｃ  ３Ｄ  Ｅｌｅｃｔｒｏｎ  Ｍｉｃｒｏｓｃｏｐｙ。ＭＩＣＣＡＩ（２）２０１７：１３５−１４３は、三次元超解像のためのアーキテクチャ（ＦＳＲＣＮＮ）の適応を説明し、超解像を生成するために、依然は使用されていない３Ｄ  Ｕネットアーキテクチャと、その性能を比較する。両方のアーキテクチャは、集束イオンビームミリング走査ＥＭ（ＦＩＢ−ＳＥＭ）から人工的に縮小された等方性グラウンドトゥルー上で学習され、様々なハイパーパラメータ設定のための性能が試験されている。両方のアーキテクチャが、非等方性ＥＭから、３Ｄ等方性超解像を無事生成することができ、Ｕネットの性能は一貫して良好であると結論付けられる。
【００３０】
以前に引用された全ての特許および非特許文献ならびにそこに含まれる引用は、参照により本明細書に組み込まれる。
【発明の概要】
【００３１】
上記に照らして、本発明の目的は、画像再構成および／またはセグメント化を改善するための方法、装置、およびシステムを提供することである。
【００３２】
この目的は、特許請求の範囲に記載の主題によって達成される。
【００３３】
本発明は、顕微鏡画像を再構成および／またはセグメント化するためにネットワークに学習させる方法に関する。画像は、デジタル画像またはデジタル化画像とすることができる。ネットワークは、ニューロンネットワークを備える任意のソフトウェアを意味することが意図される。
【００３４】
画像セグメント化という用語は、デジタル画像を複数のセグメント（ピクセル、またスーパーピクセルなどとして既知、のセット）に仕切るプロセスを意味すると理解される。セグメント化の１つの目標は、画像の表現をより意味がわかりやすく、分析しやすいものに、単純化および／または変更することであり得る。画像セグメント化は、画像内の物体および境界（線、曲線など）を位置付けるために典型的に使用される。より正確には、画像セグメント化は、同じラベルを有するピクセルが特定の特性を共有するように、画像内の全てのピクセルにラベルを割り当てるプロセスである。
【００３５】
画像再構成という用語は、物体の形状および外観を入力するプロセスである。  
【００３６】
この方法は、クラウド内のネットワークに学習させるステップをさらに含む。クラウドコンピューティングとも称されるクラウドという用語は、ユーザによって遠隔にアクセス可能な、１つ以上のコンピュータネットワーク、サーバ（複数可）、ストレージ（複数可）、アプリケーション（複数可）、および／またはサービス（複数可）を意味することを意図される。
【００３７】
クラウド内のネットワークに学習させるために、顕微鏡画像を含む学習データが、クラウド内にアップロードされ得、ネットワークが、顕微鏡画像によって学習する。アップロードは、ケーブル、無線、および／またはその両方による等の、データ転送の任意の手段によって行うことができ、パッケージ内および／または並行して、順次行うことができる。
【００３８】
ネットワークに学習させるために、ネットワーク結果は、顕微鏡画像の再構成および／またはセグメント化の後に比較・評価される。画像の再構成およびセグメント化の結果は、品質パラメータ（複数可）および／または品質表示（複数可）を確認することができる。比較・評価は、品質パラメータ（複数可）および／または品質表示（複数可）のグレードの提供を含むことができる。
【００３９】
ネットワークを比較・評価するために、ネットワークによる再構成および／またはセグメント化を受けた画像（複数可）の品質が、既知のおよび／または第２のネットワークによる再構成および／またはセグメント化を受けた画像（複数可）の品質と比較される。この既知または第２のネットワークは、画像および／またはタスクのプロファイルに従って、予め選択することができる。クラウド内に位置付けられ得るライブラリからも取得することができる。
【００４０】
ネットワークに学習させるさらなるステップは、ネットワークおよび／またはそれらの関係における要因が、ネットワークを最適化するために自動的に修正、および比較・評価される場合に実行することができる。
【００４１】
学習したネットワークによる顕微鏡画像を再構成および／またはセグメント化する別のステップが、開始、および遂行され得る。これは、先に説明されたように、特に別のネットワークを用いて、画像の品質を確認および／または比較・評価するために、まずクラウド内で行うことができる。
【００４２】
ローカル顕微鏡システムは、追加の画像を入力するために、ならびにクラウド内で学習、およびローカル顕微鏡システムへのその転送後に、事前学習したネットワークを受信するために提供され得、そのため事前学習したネットワークが、追加の画像をローカルに再構成および／またはセグメント化するように適合される。これは、互いに遠隔に位置付けられる複数の、またはより多数のローカル顕微鏡システムにも適用することができる。
【００４３】
事前学習したローカルで動作するネットワークは、クラウド内で定期的に試験、および／または比較・評価され、したがって、ローカル顕微鏡システムからクラウド内に定期的に転送される。転送は、既知の通信媒体を介して行うことができる。
【００４４】
事前学習したネットワークが、クラウド内でさらに改善された場合、すでにローカルに適所にある関連ネットワークに取って代わるために、事前学習したネットワークは、学習したネットワークとして改善された形態でクラウドからローカル顕微鏡システムに転送し戻される。学習したネットワークはまた、事前学習したネットワーク（複数可）および／または学習したネットワーク（複数可）が要求に応じて画像を計算するように、顕微鏡装置内に平行して任意に提供され得る。この要求は、ユーザインターフェースによって選択することができる。
【００４５】
さらに、単一粒子分析、極低温電子顕微鏡検査、ボリューム・スコープデータ取得、ニューロン再構成、画像超解像、単一画像解像、および／または単一画像超解像のうちの少なくとも１つによって、画像を収集するステップ等の、ステップ（複数可）が、追加され得る。これは、排他的なリストではなく、これらの技術、ならびにそのさらなる開発に近い、類似の、および／または等価なものもまた、本発明の対象とされる。画像の収集は、特に顕微鏡によって行うことができ、
【００４６】
単一粒子分析は、透過電子顕微鏡（ＴＥＭ）からの画像を分析するために使用される、コンピュータ画像加工技術関連の群である。これらの方法は、微粒子試料のＴＥＭ画像、典型的には、タンパク質、またはウイルス等の他の大きな生物学的実体、から獲得可能な情報を改善、および拡張するために開発された。染色された、または染色されていない粒子の個々の画像は、非常にノイズがあり、解釈が難しい。同様の粒子のいくつかのデジタル画像を共に組み合わせることは、より強く、より容易に解釈可能な特徴を伴う画像を与える。この技術は、粒子の３次元再構成を構築する。単一粒子分析を使用して、サブナノメートル解像および原子に近い解像で再構成を生成することが可能となる。
【００４７】
極低温電子顕微鏡検査（低温ＥＭ）または電子低温顕微鏡検査は、透過電子顕微鏡検査（ＴＥＭ）の形態であり、試料が、極低温度（概して、液体窒素温度）で研究される。低温ＥＭは、構造生物学で人気を広めている。
【００４８】
極低温電子顕微鏡検査の有用性は、それらの自然環境でそれらを示しながら、任意の方法で染色、または固定されていない標本の観察を可能にするという事実に起因する。電子低温顕微鏡検査のバージョンが、低温電子断層撮影（ＣＥＴ）であり、試料の３Ｄ再構成が、傾けられた２Ｄ画像から作成され、この再構成もまた、本出願を通じて、極低温電子顕微鏡検査という用語によって含まれる。
【００４９】
ボリューム・スコープデータ取得は、通常、ｚ解像（深度まで）を可能にする、ＳＥＭおよびマルチエネルギーデコンボリューションＳＥＭを用いる。これは、それらの自然な状況で細胞または組織等の構造の３Ｄアーキテクチャを解明する。これは、とりわけ、本譲受人の「Ｔｅｎｅｏ  ＶｏｌｕｍｅＳｃｏｐｅ  ＳＥＭ」の文献に言及される。
【００５０】
ニューロントレースまたはニューロンの再構成は、ニューラル軸索および樹状突起（また、多くの場合ニューラル突起と呼ばれる）の経路を判定するために神経科学において使用される技術である。
【００５１】
超解像画像化（ＳＲ）は、画像化システムの解像を強化する技術のクラスである。いくつかのＳＲ技術において、光学ＳＲと呼ばれる、システムの回折限界が超越する、一方で他、幾何ＳＲ、デジタル画像化センサの解像が強化される。
【００５２】
超解像の方法は、（ｉ）古典的多画像超解像（サブピクセルミスアライメントで得られた画像を組み合わせること）と、（ｉｉ）用例に基づく超解像（データベースから低解像度画像パッチと高解像度画像パッチとの間の学習対応）と、の２つの方法のファミリーに大きく分類することができる。これらのファミリーは、（データベースまたは前例のない）単一の画像と同じように少ない画像から超解像を得るために、組み合わせることができる。自然画像内のパッチは、同じスケール内、ならびに異なるスケールにわたっても、両方で、画像内で何度も重複して繰り返される傾向があるという観察に基づく。同じ画像スケール（サブピクセルミスアライメント）内のパッチの繰り返しは、古典的な超解像度をもたらすが、同じ画像の異なるスケールにわたるパッチの繰り返しは、用例ベースの超解像をもたらす。各ピクセルは、スケール内およびスケールにわたるパッチの冗長性に基づいて、可能な限り解像の増加まで回復することができる。
【００５３】
クラウド内の学習は、深層畳み込みネットワーク、好ましくは非常に深い畳み込みネットワーク、強化された深層残差ネットワーク（ＥＤＳＲ）、および／またはマルチスケール深層超解像システム（ＭＤＳＲ）のうちの少なくとも１つを学習するために実行される。これは、排他的なリストではなく、これらの技術、ならびにそのさらなる開発に近い、類似の、および／または等価なものもまた、本発明の対象とされる。
【００５４】
深層学習は、ネットワークが学習する機械学習プロセスであり、ネットワークは線形に、特に非線形に相関する、要因またはニューラルを含有する２つ以上の隠れ層のマトリクスを使用する。
【００５５】
畳み込みネットワークまたは畳み込みニューラルネットワークつまりＣＮＮは、１つ以上の畳み込み層およびプール層を備えるフィードフォワード人工ニューラルネットワークである。各連続層は、前の層からの出力を入力として使用する。アルゴリズムは、管理され得るか、または管理されず、アプリケーションは、パターン分析（管理されず）と分類（管理される）を含む。
【００５６】
非常に深い畳み込みネットワークは、畳み込み層およびプール層の平均を超える反復を含む。
【００５７】
超解像に関する最近の研究は、深い畳み込みニューラルネットワーク（ＤＣＮＮ）の開発により進歩している。特に、残渣学習技術は、向上した性能を呈する。強化された深層超解像ネットワーク（ＥＤＳＲ）は、現在の最先端の超解像方法を超える性能を備えて、開発されている。これは、従来の残差ネットワーク内の不要なモジュールを除去することによる最適化によって、行われることができる。性能は、学習の手順が安定している間に、モデルのサイズを拡張することで、さらに改善される。新しいマルチスケール深層超解像システム（ＭＤＳＲ）および学習方法もまた、開発され、単一のモデル内で異なるアップスケール要因の高解像画像を再構成することができる。
【００５８】
画像を入力するさらなるステップが、複数の顕微鏡装置によって遂行され得、ネットワークに学習させるために画像をクラウド内に供給すること、および／または学習したネットワークを複数の顕微鏡装置に送信するさらなるステップが遂行され得る。これは、画像を収集すること、つまり学習用の試料画像の数を増やすことによって、多数の顕微鏡装置による上流のネットワークを改善する手法である。下流の、より学習したネットワーク（複数可）は、次いで１つの顕微鏡装置だけでなく、それらの多くに適用することができる。
【００５９】
本発明は、事前学習したネットワークのライブラリを提供し、クラウド内で受信された画像の初期分析に従って、ライブラリから事前学習したネットワークを選択するさらなるステップを含むことができる。ライブラリは、選択のために、手動および／または自動で接近することができる。
【００６０】
初期分析はまた、好ましくは品質を分析または推定することによって、事前学習したネットワークを選択する前に、事前学習したネットワークのうちのどれが所望の画像に最も近いかを検出するステップを含む。これはまた、手動、半自動、および／または自動で行うこともできる。
【００６１】
さらに、学習したネットワークの品質および／または精度を定期的に確認するステップを適用することができる。これは、予め設定された基準および／または手動で、定期的にトリガすることができる。
【００６２】
本発明はまた、前述の方法を実行するためのコンピュータプログラムを伴うコンピュータ可読媒体に関する。
【００６３】
さらに、本発明はまた、ローカル顕微鏡システムによって遠隔からアクセス可能であるように構成され、前述の方法を実行するように構成されたクラウドシステムを対象にする。
【００６４】
顕微鏡システムは、顕微鏡画像を収集するように構成された顕微鏡であり、顕微鏡画像を再構成および／またはセグメント化するようにそれ自体を適合されている、ネットワークを実行させるように構成された、少なくともコンピュータまたは同様の装置である。
【００６５】
さらに、本発明は、（ａ）クラウド内の事前学習したネットワークに学習させるために、顕微鏡画像をクラウド内に送信するようにローカルに配置、かつ構成され、ならびに／またはネットワークによって顕微鏡画像をローカルに再構成および／もしくはセグメント化するために、学習したネットワークを受信するように構成される、顕微鏡システム（複数可）に関する。
【００６６】
本発明は、単一粒子分析、極低温電子顕微鏡検査、ボリューム・スコープデータ取得、ニューロン再構成、画像超解像、単一画像解像、および／または単一画像超解像のうちの少なくとも１つによって、画像を少なくとも収集するように適合されている顕微鏡を、さらに備えることができる。
【００６７】
本発明はまた、単一の粒子分析、極低温電子顕微鏡検査、ボリューム・スコープデータ取得、ニューロン再構成、画像超解像、単一画像解像、単一画像超解像のうちの少なくとも１つに関して記載された実施形態に従う、方法および／または顕微鏡システムの使用を対象にする。
【００６８】
一方で、先行技術の画像再構成およびセグメント化は、遅く、ツール上の「ライブ」計算には適していない。他方で、現在の共通帯域幅は、クラウド内で再構成およびセグメント化されるフィギュアのクラウドベースの伝送を妨げている。
【００６９】
さらに、深層学習画像の再構成およびセグメント化に関してネットワークに学習させるために相当の努力と時間を投資して、迅速かつ高品質の結果を提供することは有用である。クラウドを利用することは、ネットワークに学習させるために必要な、非常に洗練され、かつ高価なローカルデータ処理装置を各顕微鏡装置に提供しなくともよい、という効果および利点を提供することができる。
【００７０】
本発明は、最小限のデータ転送で、そのため最小限の時間損失で、画像の再構成およびセグメント化のプロセスを実施する利点を提供することができる。付加的に、ネットワーク学習の目的で、異なるサイトからクラウド内でより多くのデータが利用可能となるため、ネットワーク推論の品質が向上するであろう。
【００７１】
一度クオリティが確実とされると、ネットワークの学習ステップをクラウドにオフロードし、学習したネットワークをダウンロードすることが、本発明の好ましい利点または目的の１つである。これは、顕微鏡サイトよりもはるかにより洗練された計算能力を使用することを、好ましくは可能にする。
【００７２】
別の好ましい利点または効果に従って、以前の実行または類似の機械の事前学習したネットワークは、学習を開始する前に、ネットワークの基礎を容易かつ迅速に達成することができるように、比較・評価される。比較・評価は、クラウド内で入力、かつ受信された画像の初期分析の後に指定することができる。
【００７３】
ネットワークの精度の定期的な確認、およびそれらからの入力に基づいて複数のマシンを再最適化することもまた、実現することができる。特に、これにより、複数の顕微鏡および同一または異なる種類の顕微鏡にわたって適用可能な、一般的なワークフローの概念が可能になる。このように、顕微鏡は、互いに、および／または過去の画像、ならびに画像化された欠陥などから学習することができる。
【００７４】
本発明は、特に、顕微鏡活動に並行して、非常に深い畳み込みネットワークを適用、および学習することができることにより、正確な画像超解像を提供することができる。このために、深層畳み込みネットワークを使用して、アップスケーリングによって引き起こされる画像からの低周波または高周波のアーチファクトを除去することができる。
【００７５】
別の利点は、学習データセットの品質および縮小、および大幅にノイズの除去された画像の再構成のための計算時間にある。
【００７６】
本技術は、添付の図面を参照して、これより考察されるであろう。
【図面の簡単な説明】
【００７７】
【図１】本発明に従って、クラウドに接続された多くの顕微鏡システムの実施形態を示す。
【図２】本発明に従って、一実施形態を伴うフローチャートを図示する。
【発明を実施するための形態】
【００７８】
図１は、顕微鏡１（以下、１ａ〜１ｃ）、およびコンピュータまたはコンピューティング装置２（以下２ａ〜２ｃ）、ならびに任意の他の装置を、各々もしくは個別に、備えることができる多くの顕微鏡システム１、２を伴う実施形態を示す。両方とも、一体化された装置であり得、および／または互いに離れることもある。顕微鏡は、特に上記で定義または例示されるように、いずれの種類のものであり得る。
【００７９】
通信チャネル３（以下３ａ〜３ｃとして使用）は、遠隔クラウド４を伴い、顕微鏡装置（複数可）と一方向または双方向に接続することができる。通信チャネルは、異なることができ、（ａ）有線および／または無線通信区分（複数可）を備えることができる。
【００８０】
図２は、本発明の一実施形態を模式的に図示する。これは、例示目的のみのための非常に特定の実施形態を示す。多くの変更が本発明に沿って可能である。
【００８１】
複数の実施例のうちの１つは、長い取得時間を必要とする、高品質の画像化のために構成されたＳＥＭ顕微鏡であり得る。例えば、１画像当たり１６８秒必要とする、１０μｓの滞留時間を伴う４０９６×４０９６ポイントの画像の積層を取る。大容量を取得しなければならない、すなわち多数の４０９６×４０９６フレームのシナリオに関して、取得時間は、深刻なネックとなる。取得の速度を上げるために、圧縮センシング技術が、高速取得に使用することができる。同じ視野を維持しながら、ポイントの数を１０２４×１０２４に削減することができる。これにより、取得時間が１６分の１に削減される。付加的に、ポイント当たり０．１μｓの削減された滞留時間を使用することができ、その結果、取得データ率が、Ｄｒ＝１６０Ｍｂｉｔ／ｓに増加し、さらに重要なことに、取得時間が、フレームあたりより実用的な０．１秒に削減される。
【００８２】
第１のステップ１０において、画像データを含む学習データは、１つ以上の顕微鏡および任意で関連付けられた装置によって、および／または過去に収集されたそれぞれの収集物の使用によって、その生成後、クラウド内へアップロードされる。データは、１つ以上の粒子分析顕微鏡（複数可）等の、１つ以上の種類の光源から生じ得る。アップロードは、アップロード速度が適切である限り、任意の既知の手段によって行うことができる。
【００８３】
画像データに基づいて、ネットワークは、ステップ２０における、事前学習したネットワークを得るように学習することができる。開始点として、上記に上げられた当該技術で説明されたように、既知のネットワークまたは新たに開発されたネットワークを、採用することができる。付加的に、すでに事前学習したネットワークまたは複数の事前学習したネットワークは、ネットワーク（複数可）の深層学習のために、さらに開発または学習することができる。これは、以前の分析および／または既存のネットワークの結果であった、１つ以上のネットワーク（複数可）であり得る。複数のネットワークの場合、それらは１つ以上のライブラリ内に格納することができる。それらは、その種類、適用分野、強みおよび／または弱点に従って、ラベル付けすることができる。例えば、それらは、特定のタンパク質構造、ウイルス、化学構造、半導体、ミネラルなどに割り当てることができる。
【００８４】
学習は、逐次的におよび／または並列コンピューティングによって行うことができる。ローカル顕微鏡システムおよび潜在的に関連付けられたインフラストラクチャから離れた、クラウド内で行われるように、クラウド内の学習および／またはテストは、ローカル顕微鏡（複数可）の動作と並行して遂行することができる。
【００８５】
ネットワーク（複数可）または事前学習したネットワークを、さらに学習することができる。一実施例は、ステップ３０で取得された第１の画像（複数可）をアップロードすることである。これらの第１の画像は、次いで、ステップ４０において代替的なネットワークおよび／またはステップ４１における古典的なアルゴリズムを受ける。代替的に、または付加的に、ネットワーク内の要因は、ネットワークの出力を向上させるために、変更および最適化することができる。
【００８６】
その後、結果の品質を確認および比較することができ、最も適切な手法、すなわち最も適切なネットワークが、選択される。結果の品質は、例えば画像の入力、画像の改善の程度、セグメント化、ノイズ対信号比、エッジ基準等の、１つ以上の基準に基づくことができる。試験は、負および／または正の選択基準を含むことができる。
【００８７】
１つの可能性のある結果として、最も適切な、または最良の事前学習したネットワークが、ステップ５０において選択されるであろう。これは、基準に依存し得、ならびに／または手動、半手動、および／もしくは自動的に選択することができる。
【００８８】
次のステップ６０において、追加の画像、または画像のセット、もしくは画像の最後の部分が、ネットワークをさらに学習および実行させるために、顕微鏡、または顕微鏡システム、ならびに環境からアップロードされる。ネットワークの学習および実行は、ステップ７０において行われる。平行して、データは、ネットワークの性能の結果を比較・評価するために、ステップ７１において１つ以上の古典的なアルゴリズムを受けることができる。
【００８９】
その後、ステップ７０内のネットワークの結果の品質およびステップ７１内のアルゴリズムの品質が、ステップ８０において比較される。これは、先に説明されたような様式で行うことができる。ネットワークの結果の品質が古典的なアルゴリズムによって実行される結果よりも劣っているならば、ネットワークは、例えば、追加の画像（複数可）に基づいて、さらなる学習を受けることができる。そのために、ステップ６０に戻って、別の選択されたネットワークが、選択され得、および／または追加の画像が、前のネットワークのさらなる学習、もしくは別のネットワークの学習のためにアップロードされ得る。
【００９０】
ステップ８０において、選択されたネットワークの結果が、古典的なアルゴリズムまたは比較されたネットワークの結果よりも品質においてより良好であれば、ネットワークは、顕微鏡システムまたは複数の顕微鏡システムにダウンロードされ得る。この文脈において、顕微鏡という用語は、顕微鏡、任意のローカルインフラストラクチャ、および／または顕微鏡にローカルに割り当てられた任意のコンピュータ実装システムを含む。このため、ステップ８５において、ネットワークは、クラウドからローカル顕微鏡システムに転送されて、顕微鏡システムにおいて、またはその近くでローカルに実行される。
【００９１】
ステップ９０において、複数の次の画像（複数可）が取得される。この画像またはこれらの画像は、顕微鏡上のステップ１００内で再構成される。これはまた、単一粒子画像手法を含むこともできる。ステップ１２０において、再構成された画像（複数可）が、表示および記憶される。ストレージは、ローカルに、および／またはクラウド内で行うことができる。
【００９２】
ステップ１４０、１５０、１５１、１６０、および１７０、ステップ６０〜８０が、同様の様式で遂行される。これは、ステップ１４０で顕微鏡によって取得された最後の画像をアップロードすることであり、次いで選択されたネットワーク、および選択されたネットワークを比較・評価または試験するための古典的なアルゴリズムおよび／または別のネットワークを実行させる。
【００９３】
比較実施例
【００９４】
顕微鏡取得システムの周囲の２つのデータ処理シナリオが、計算クラウドに接続されているシナリオと比較される。
【表１】
2019110120.tif 000003
【００９５】
シナリオ１：取得システム上でローカルにデータ処理を遂行する
システムのデータレートＤｒが計算スループットＣより大きい一般的な場合において、システムは、ライブ処理を遂行することができない、またはほとんど遂行できない。
Ｃ≪Ｄｒのとき、ライブ処理がほとんど不可能または完全に不可能である。
【００９６】
シナリオ２：クラウド内でデータ処理を遂行する
本発明に従って、より多くの計算資源を有する計算クラウドにおける処理を遂行する。しかしながら、システムのデータレートＤｒがクラウドＮへの帯域幅よりも大きい場合において、システムは、ライブ処理を遂行することができない。Ｎ≪Ｄｒのとき、クラウド内のライブ処理は、不可能である。実際には、結果が共有送信源を通じて転送し戻されなければならない場合には、データレート要求は、さらに大きくなる可能性がある。これは、データレート要件Ｄｒを増加させ、ドメイン１≦ｋ＜ｘにまたがる因数ｋは、用途に依存する。ここでは、単純化のためにこの因数
を除いている。
【００９７】
シナリオ３：より迅速な近似モデルをローカルで得るための、クラウドのハイブリッド使用
新しいシナリオ３は、スループットＣを伴う古典的なアルゴリズムを、スループット
【数１】
2019110120.tif 000004
を伴う近似アルゴリズムによって代用することを提案する。
【００９８】
【数２】
2019110120.tif 000005
のスループットの場合、いくつかの興味深いシナリオのスループットが発生し得る。
１．
【数３】
2019110120.tif 000006
であるが、依然として
【数４】
2019110120.tif 000007
である場合、遅延処理を遂行することができる。オリジナルよりもスピードアップが可能であるが、ライブ処理は形成することができない。
２．
【数５】
2019110120.tif 000008
および
【数６】
2019110120.tif 000009
の場合、ライブ処理シナリオが考慮され得る。
【００９９】
【数７】
2019110120.tif 000010
と比較した許容可能な、または類似の品質を提供する、スループットＣを伴う近似アルゴリズムを得るために、深層学習技術が使用され、学習時間を必要とする。クラウドにおけるこの学習は、近似アルゴリズムに対する待ち時間ペナルティを導入する。組み合わされた待ち時間およびスループットは、新しいシナリオ３が既存のシナリオ１および２に対して優位性を有するかどうかを定義するであろう。
【０１００】
体積比較の処理
データセットを取得するための時間は、
【数８】
2019110120.tif 000011
として与えられ、処理のための時間は、
【数９】
2019110120.tif 000012
であろう。これらの２つの違いはＴＬ＝（ＴＰ−ＴＤ）によって与えられる、処理マージンを定義する。処理マージンには、２つの可能なシナリオがある。
１．ＴＬ≦０容量オーバー、ライブ処理が、ローカル計算により、シナリオ１で可能である。
２．ＴＬ＞０容量不足、処理され得るより多くのデータが生成される。ライブ処理は不可能であり、遅延処理には適切なバッファリングが必要である。
【０１０１】
深層学習ベースのソリューションで容量不足を解決する
【０１０２】
容量不足の場合、より多くのスループット
【数１０】
2019110120.tif 000013
を備える、深層学習ベースの近似アルゴリズムに切り替えることができる。これには、クラウド内の学習タスクおよび学習のために転送されるデータＳ学習の一部が必要である。両方のタスクは、透過のための付加的な待ち時間
【数１１】
2019110120.tif 000014
および学習タスクのためのＴ学習を導入する。その結果、新しい深層学習ベースの処理マージンが、項
【数１２】
2019110120.tif 000015
を加えることによって計算され得る。結果として、シナリオ３は、式（１）が有効であるとき、システム全体のスループットを改善させる。
【数１３】
2019110120.tif 000016
再度これも、次の３つのシナリオをもたらす。
【０１０３】
１．不等式（１）が有効でない場合、
【数１４】
2019110120.tif 000017
であり、深層学習ソリューションを適用するメリットがない。深層学習近似アルゴリズムは元のアルゴリズムと比較してより多くのスループットを有するが
【数１５】
2019110120.tif 000018
学習のオーバーヘッドにより、所与の時間内により多くのデータを処理出来ないソリューションをもたらす可能性がある。
２．
【数１６】
2019110120.tif 000019
の場合、ライブ処理は、データ収集手順上の少なくとも一部で可能である。このシナリオにおいて、近似アルゴリズムおよび取得のための時間は、学習のペナルティを完全に吸収するのに十分な容量があることを可能にする。はじめにいくらかのバッファ空間が必要であるが、時間がたつにつれて、近似ソリューションは、データを生成速度より速く処理するためバッファを空にするであろう。最後のフレームが生成されるとき、結果は、最小限の待ち時間で準備されるであろう。
３．
【数１７】
2019110120.tif 000020
のとき、元のアルゴリズムを超える高速化があるが、ライブ処理は不可能である。このシナリオにおいて、バッファは、最後のフレームが生成されたとき空ではないため、システムは、最後のフレームを表示するためにさらに時間を必要とするであろう。しかしながら、総遅延は、元のアルゴリズム未満である。
【０１０４】
現実の再構成アプリケーション
高品質の画像化のために構成されたＳＥＭ顕微鏡は、長い取得時間を必要とする。例えば、１画像当たり１６８秒必要とする、１０μｓの滞留時間を伴う４０９６×４０９６ポイントの画像の積層を取る。大容量を取得しなければならない、（これらの４０９６×４０９６フレームの多く）シナリオに関して、この取得時間は、深刻なネックとなる。取得の速度を上げるために、圧縮センシング技術が、高速取得に使用することができる。例えば、１ポイント当たり０．１μｓの滞留時間を使用することができ、一方で同じ視野を維持しながら、ポイントの数を１０２４×１０２４に低減する。結果として、取得データ率が、Ｄｒ＝１６０Ｍｂｉｔ／ｓに増加し、さらに重要なことに、取得時間が、フレームあたりより実用的な０．１秒に削減される。
【０１０５】
シナリオ１：ローカル処理
圧縮センシングドメインからの高度な再構成アルゴリズムは、ノイズの多い疎データからクリーンな４０９６×４０９６ピクセルの画像を再構成することができる。これは、ワークステーション上でフレームあたり２０時間の処理が必要となり得るため、取得のネックが計算上のネックになる。再構成アルゴリズムを最適化し、ＧＰＵにマッピングすることによって、例えば、２０分の処理時間まで速度を上げることができる。改善されたＧＰＵシナリオにおいて、Ｃ＝１４キロビット／秒のローカルの計算スループットは、ライブ処理を阻止し、大きな取得のために急速に成長するバッファリング要件を引き起こすであろうことに留意されたい。したがって、Ｃ≪Ｄｒであるため、ローカル処理シナリオ１は不可能であろう。
【０１０６】
各フレームが、１０２４×１０２４ポイントからなる圧縮センシングモードで、４０９６フレームの体積が走査され得ると仮定する。古典的なアルゴリズムは、莫大な容量不足
【数１８】
2019110120.tif 000021
に直面する。４０９６フレームに関して、最後のフレームが取得された後、１３６３時間の付加的な処理時間に急上昇する。
【０１０７】
シナリオ２：クラウド内のデータ処理
クラウドインフラストラクチャは、より多くの計算能力を提供することができるので、Ｃクラウド＝１Ｇｂｉｔ／ｓと仮定しよう。しかしながら、クラウドへの転送帯域幅Ｎは、例えば、１００Ｍｂｉｔ／ｓに限定される。結果として、取得データレートＤｒ＝１６０Ｍｂｉｔ／ｓをライブでクラウドにストリーミングすることは、困難であろう。加えて、ライブモードにおいて、処理済み、かつスケーリングされた結果（Ｄｒ・１６＝２５６０Ｍｂｉｔ／ｓ）を検索することも困難であろう。明らかに、シナリオ２は、データ転送問題Ｎ≪Ｋ／Ｄｒに直面する。
【０１０８】
インクラウドシナリオを試す場合、４０９６フレームがクラウド内で処理される。
【数１９】
2019110120.tif 000022
我々は、クラウドにおける処理のための付加的な待ち時間を仮定していない。４０９６フレームの取得にはわずか７分のみを必要とするため、最後のフレームを取得した後、３時間の転送時間が、完全な再構成データセットを得るために必要である。
【０１０９】
シナリオ３：より速い近似ソリューションを得るための、クラウドのハイブリッド使用
学習した深層畳み込みネットワークは、圧縮センシングソリューションに比べてはるかに速く再構成タスクを遂行することができる。例えば、学習した畳み込みネットワークのナイーブＧＰＵマッピングは、２０分ではなく、２秒でフレーム再構成タスクを遂行する。ここで元のアルゴリズム
【数２０】
2019110120.tif 000023
を超える高速化が達成されるが、ライブ処理は、不可能である。処理は、取得データレート
【数２１】
2019110120.tif 000024
に追いつくことができず、ここでは、
【数２２】
2019110120.tif 000025
およびＤｒ＝１６０Ｍｂｉｔ／ｓである。しかしながら、取得もまた、待ち時間（ステージ移動、区分の切り取りなど）を有し、これにより以前として半ライブにする十分な遅延を導入している。
【０１１０】
より多くの努力によって、高度に調整されたネットワークおよびＦＰＧＡまたはＧＰＵ上での一致したマッピングは、推論速度を４０ｘ高速化し、フレームあたり０．０５秒の処理時間をもたらす。これにより、処理による学習の待ち時間がなくなり得る場合、ライブ処理が可能になる。このシナリオにおいて、ローカル処理スループットは、
【数２３】
2019110120.tif 000026
に増加する。
【０１１１】
深層学習ソリューションを使用する場合、最初に学習セットをクラウドに転送するはずであり、例えば、１２８フレームである。クラウドへの転送速度の制限があるため、これは、待ち時間ペナルティ
【数２４】
2019110120.tif 000027
を与えるであろう。加えて、学習のためのクラウド時間が必要であり、例えば、事前学習したネットワークの選択、およびデータセット上の微調整のために、２０分が追加される（Ｔ学習＝１２００ｓ）。ナイーブニューラルネットワークマッピングのための新たな処理マージンは、
【数２５】
2019110120.tif 000028
であろう。４０９６フレームの場合、これはすでに古典的なシナリオを超える高速化を与えるであろう。最終フレームを取得した後、
【数２６】
2019110120.tif 000029
付加的な処理遅延であり、これは、ローカルの古典的な場合では、１３６３時間を超える実質的な改善である。
【０１１２】
ライブ処理は、負ＴＬ’が得られた場合にのみ達成されるため、ニューラルネットワークのスループットは、ＦＰＧＡまたはＧＰＵで
【数２７】
2019110120.tif 000030
に最適化される。この改善されたシナリオにおいて、
【数２８】
2019110120.tif 000031
である。このマージンは、学習の待ち時間を補うために使用することができる。４０９６フレームに関して、これは十分ではなく
【数２９】
2019110120.tif 000032
の付加的な遅延である。しかしながら、２４４２０フレーム以上のジョブサイズからは、最後のフレームを取得した後の処理遅延は生じないであろう。処理マージン
【数３０】
2019110120.tif 000033
は、学習待ち時間を補うために、−１２２１秒でなければならない。これらの数値は、アルゴリズムおよびプラットフォームの特性に応じて変化することに留意されたい。
【０１１３】
本明細書において、「約」、「実質的に」、または「およそ」等の相対用語が使用されるときはいつでも、そのような用語が、厳密な用語も含むものと解釈されるべきである。すなわち、例えば、「実質的にまっすぐ」は、「（正確に）直線的」も含むと解釈されるべきである。
【０１１４】
ステップが上記または添付の特許請求の範囲に列挙されるときはいつでも、本明細書で列挙されるステップの順序が、好ましい順序であり得るが、列挙された順序どおりにステップを実行することが必須ではない場合があるということに留意されるべきである。すなわち、別段の指定がない限り、または当業者に明らかでない限り、ステップが列挙される順序は必須ではない場合がある。すなわち、本明細書が、例えば、方法はステップ（Ａ）および（Ｂ）を含むことを述べるとき、これは必ずしもステップ（Ａ）がステップ（Ｂ）に先行することを意味せず、ステップ（Ａ）がステップ（Ｂ）と（少なくとも部分的に）同時に遂行される、またはステップ（Ｂ）がステップ（Ａ）に先行する可能性もある。さらに、ステップ（Ｘ）が別のステップ（Ｚ）に先行すると言われるとき、これはステップ（Ｘ）とステップ（Ｚ）との間にいずれのステップもないということを暗示するものではない。すなわち、ステップ（Ｚ）に先行するステップ（Ｘ）は、ステップ（Ｚ）の直前にステップ（Ｘ）が遂行される状況を包含するが、また（Ｘ）が一つ以上のステップ（Ｙ１）・・・、の前に遂行され、ステップ（Ｚ）が続くという状況もまた包含する。対応する考慮事項は、「後」または「前」などの用語が使用されるときに適用される。
【図１】
2019110120.tif 000034
【図２】
2019110120.tif 000035
【外国語明細書】
2019110120000001.pdf