(57)【要約】  撮像信号抽出装置は、インターフェースと、インターフェースに動作可能に結合された処理デバイスと、命令を記録したコンピュータ可読記録媒体とを備え、命令は、処理デバイスによって実行されると、a)インターフェースから取得された撮像情報から2次元画像を生成し、それによって、撮像情報の弾道成分を推定することと、b)2次元画像を再マッピングすることによって3次元画像を生成することと、c)3次元画像内の候補オブジェクトを識別することと、d)撮像装置に関連付けられた点拡がり関数を用いて候補オブジェクトの3次元画像をマッピングすることによって候補オブジェクトの推定された空間前方モデルを取得することと、e)候補モデルの推定された空間前方モデルと推定された時間成分とを使用することによって、背景補正されたデータを取得することと、f)候補オブジェクトについて収束に達するまで、推定された空間前方モデルと推定された時間成分とを繰り返し更新し、それによって信号情報を抽出することとを含む動作を実行する。
2020521171.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置インターフェースと、
前記撮像装置インターフェースに動作可能に結合された処理デバイスと、
命令を記録したコンピュータ可読記録媒体と
を備え、
前記命令は、前記処理デバイスによって実行されると、
a)前記撮像装置インターフェースから取得された撮像情報から2次元画像を生成し、それによって、前記撮像情報の弾道成分を推定することと、
b)前記2次元画像を再マッピングすることによって3次元画像を生成することと、
c)前記3次元画像内の候補オブジェクトを識別することと、
d)撮像装置に関連付けられた点拡がり関数を用いて前記候補オブジェクトの前記3次元画像をマッピングすることによって前記候補オブジェクトの推定された空間前方モデルを取得することと、
e)前記候補モデルの前記推定された空間前方モデルと推定された時間成分とを使用することによって、背景補正されたデータを取得することと、
f)前記候補オブジェクトについて収束に達するまで、前記推定された空間前方モデルと推定された時間成分とを繰り返し更新し、それによって信号情報を抽出することと
を含む動作を実行する、撮像信号抽出装置。
【請求項２】
前記撮像信号抽出装置がライトフィールド顕微鏡である、請求項1に記載の撮像信号抽出装置。
【請求項３】
前記2次元画像が2次元標準偏差画像である、請求項1に記載の撮像信号抽出装置。
【請求項４】
再マッピングすることによって3次元画像を生成することが、前記2次元画像をデコンボリューションすることを含む、請求項1に記載の撮像信号抽出装置。
【請求項５】
マッピングすることによって前記候補オブジェクトの推定された空間前方モデルを取得することが、前記撮像装置に関連付けられた点拡がり関数を用いて前記候補オブジェクトの前記3次元画像に畳み込み演算を行うことを含む、請求項1に記載の撮像信号抽出装置。
【請求項６】
動作(a)の前に、前記撮像装置によって取得された背景情報が、前記撮像装置インターフェースを使用して減算される、請求項1に記載の撮像信号抽出装置。
【請求項７】
前記背景情報が、ライトフィールド顕微鏡から取得された背景蛍光である、請求項6に記載の撮像信号抽出装置。
【請求項８】
前記背景情報の減算が、ランク1行列因数分解を適用することを含む、請求項6に記載の撮像信号抽出装置。
【請求項９】
動作(a)が、カメラフレームの時系列の標準偏差を決定することを含む、請求項1に記載の撮像信号抽出装置。
【請求項１０】
動作(b)が、前記撮像装置に関連付けられた数値シミュレートされた弾道点拡がり関数を使用することを含む、請求項1に記載の撮像信号抽出装置。
【請求項１１】
動作(b)の前に、前記2次元画像が、残留背景活動を除外するために閾値処理される、請求項1に記載の撮像信号抽出装置。
【請求項１２】
動作(b)が、全変動およびスパース性制約を前記マッピングに組み込むことによって再構築アーティファクトを低減することをさらに含む、請求項1に記載の撮像信号抽出装置。
【請求項１３】
再構築アーティファクトを低減することが、以下の式、
xn+l = xn(PTy/Py+λ1dim(x))
を適用することを含み、ここで、xがボリューム推定値であり、1dim(x)がxと同じ次元を有する1のベクトルを表し、Pが点拡がり関数を表し、λがスパース性促進項の重みを表し、yが背景を減算された生データを表す、請求項12に記載の撮像信号抽出装置。
【請求項１４】
動作(c)が、オブジェクト形状と矛盾する空間周波数を抑制するために空間分割を使用することを含む、請求項1に記載の撮像信号抽出装置。
【請求項１５】
前記空間分割が、
前記3次元画像にバンドパスフィルタを適用することと、
背景アーティファクトを除外するために閾値処理を行うことと、
局所最大探索アルゴリズムを適用することと
を含む、請求項14に記載の撮像信号抽出装置。
【請求項１６】
前記撮像装置に関連付けられた前記点拡がり関数を用いて前記候補オブジェクトの前記3次元画像をマッピングする動作(d)が、スパース性の非負のp×n行列Siを生成することを含み、ここで、nがオブジェクト候補の数であり、pがピクセルの数であり、iが反復数であり、S0が候補オブジェクトの初期空間前方モデルである、請求項1に記載の撮像信号抽出装置。
【請求項１７】
背景補正されたデータを取得することが、S0とT0との行列積を使用してp×t行列Yを生成することを含み、ここで、Tiが時間成分の非負のn×t行列であり、tが記録における時間ステップの数である、請求項6に記載の撮像信号抽出装置。
【請求項１８】
Tiが、スパース性制約を有する適応型Richardson-Lucy型ソルバを繰り返し適用することによって取得される、請求項17に記載の撮像信号抽出装置。
【請求項１９】
前記推定された空間前方モデルと推定された時間成分とを繰り返し更新することが、
i)推定されたTiを一定に保ちながら、更新された推定されたSiを取得し、推定されたSiを一定に保ちながら、更新された推定されたTiを取得することと、
ii)前記オブジェクト候補について収束に達するまで、動作(i)を反復的に繰り返すことと
を含む、請求項18に記載の撮像信号抽出装置。
【請求項２０】
前記候補オブジェクトがニューロンである、請求項1に記載の撮像信号抽出装置。
【請求項２１】
撮像装置インターフェースと、
前記撮像装置インターフェースに動作可能に結合された処理デバイスと、
命令を記録したコンピュータ可読記録媒体と
を備え、
前記命令は、前記処理デバイスによって実行されると、
a)前記撮像装置インターフェースから取得された撮像情報から2次元画像を生成し、それによって、前記撮像情報の弾道成分を推定することと、
b)前記2次元画像を再マッピングすることによって3次元画像を生成することと、
c)前記3次元画像内の候補オブジェクトを識別することと、
d)撮像装置に関連付けられた点拡がり関数を用いて前記候補オブジェクトの前記3次元画像をマッピングすることによって前記候補オブジェクトの推定された空間前方モデルを取得することと、
e)前記候補オブジェクトの前記推定された空間前方モデルと推定された時間成分とを使用することによって、背景補正されたデータを取得することと、
f)前記候補オブジェクトについて収束に達するまで、前記推定された空間前方モデルと推定された時間成分とを繰り返し更新し、それによって信号情報を抽出することと
を含む動作を実行し、
前記撮像装置インターフェースが、Miniscopeプラットフォームを使用して開発されたハードウェアと、埋込み内視鏡GRINリレーと、センサと、マイクロレンズアレイとを備え、前記マイクロレンズアレイが、後焦点面およびセンサ面が一致するように、前記センサに近接して位置合わせされ取り付けられる、撮像信号抽出装置。
【請求項２２】
前記マイクロレンズアレイが、画像平面の光路内に配置され、前記マイクロレンズアレイが、前記センサから1焦点距離離れて配置される、請求項21に記載の撮像信号抽出装置。
【請求項２３】
前記センサを保持するように構成された保持部材をさらに備え、前記保持部材が、Miniscope設計と比較すると、2.7mmだけ延長される、請求項21に記載の撮像信号抽出装置。
【請求項２４】
撮像信号を抽出する方法であって、
処理デバイスに動作可能に結合された撮像装置インターフェースを使用するステップを含み、前記処理デバイスが、以下の動作、すなわち、
a)前記撮像装置インターフェースから取得された撮像情報から2次元画像を生成し、それによって、前記撮像情報の弾道成分を推定することと、
b)前記2次元画像を再マッピングすることによって3次元画像を生成することと、
c)前記3次元画像内の候補オブジェクトを識別することと、
d)撮像装置に関連付けられた点拡がり関数を用いて前記候補オブジェクトの前記3次元画像をマッピングすることによって前記候補オブジェクトの推定された空間前方モデルを取得することと、
e)前記候補オブジェクトの前記推定された空間前方モデルと推定された時間成分とを使用することによって、背景補正されたデータを取得することと、
f)前記候補オブジェクトについて収束に達するまで、前記推定された空間前方モデルと推定された時間成分とを繰り返し更新し、それによって信号情報を抽出することと
を実行する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、Department of Interior/Interior Business Center(DoI/IBC)によって授与された契約番号D16PC00002のIntelligence Advanced Research Projects Activity(IARPA)の下で政府の支援によりなされた。本発明はまた、National Science Foundationによって授与された助成金番号DBI-1707408の下で政府の支援によりなされた。政府は、本発明において一定の権利を有する。
【０００２】
開示された実施形態は、例えば、撮像記録、例えば、散乱媒体内の撮像記録を含む、時系列記録から信号を抽出することに関する。
【背景技術】
【０００３】
感覚入力のマルチスケール統合と、大きいニューロン集団のグローバルダイナミクスからの複雑な行動の出現とを理解することは、現在の神経科学における根源的な問題である。最近になって、遺伝子コード型カルシウム(Ca2+)指示薬(GECI)1と新しい光学撮像技法との組合せは、高速かつ単一細胞分解能における、C.elegans2、3およびゼブラフィッシュ幼虫4、5などの小さいモデル生物の神経系全体からのニューロン集団活動の記録を可能にした。しかしながら、哺乳類の新皮質などの散乱組織における高速かつ大きい深度での大きいボリュームの単一細胞分解能の機能的撮像は、困難であることが証明されている。
【０００４】
主要な制限は、連続取得方式と並行取得方式との間の基本的なトレードオフである。空間分解能が励起の3D位置によって決定される、標準的な2光子走査顕微鏡(2PM)6などの連続取得方式は、放射された蛍光が点検出器上で統合されるので、放射経路における散乱および信号クロストークに対する堅牢性を提供する。この能力は、2PMを深部組織撮像7のための標準的な方法にした。しかしながら、励起スポットが3Dでスキャンされる必要があるので、これは、時間分解能を犠牲にして達成されている。より最近では、例えば、音響光学偏向器9、機械式アクチュエータ10もしくは音響光学レンズ11を使用する遠隔フォーカシング、時間的もしくは空間的多重化12〜14を使用してより高速に走査することによって、ランダムアクセス走査15〜17によって既知のソース位置を選択的にアドレス指定することによって、または、より効率的な励起方式18と組み合わせて顕微鏡の点拡がり関数(PSF)をスカルプティングすることによって、増加する複雑さを犠牲にしてこの制限8を緩和するために、いくつかの手法が開発されている。
【０００５】
対照的に、広視野落射蛍光顕微鏡、多視点光シート技術21および掃引共焦点配置平面励起22を含む光シート顕微鏡9、20、5、広視野時間集光2、ならびにホログラフィック手法23〜25などの並行取得方式は、時間分解能を改善し得る。典型的には、これらの方法において、複数の領域またはサンプル全体が同時に励起され、2Dセンサアレイを使用して蛍光が検出される。しかしながら、典型的には、光散乱は、別個のニューロンから発せられる蛍光信号を混合し、それらの位置に関する情報を劣化させる。したがって、並行取得方式はほとんどの場合、非常に透明な標本、または、哺乳類の皮質などの散乱組織の最も表面の領域に限定されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】http://github.com/daharoni/Miniscope_Analysis
【発明の概要】
【課題を解決するための手段】
【０００７】
本明細書で開示される実施形態は、撮像装置インターフェースと、処理デバイスと、コンピュータ可読記録媒体とを含む撮像信号抽出(例えば、デミキサ)装置を含む。撮像装置は、特定の方法で3次元サンプルボリューム位置を2次元センサ位置にマッピングする任意の装置であり得る。そのようなデバイスの例は、ライトフィールド顕微鏡である。処理デバイスは、撮像装置インターフェースに動作可能に結合される。コンピュータ可読記録媒体は、処理デバイスによって実行されると動作を実行する命令を含み、動作は、(a)撮像装置インターフェースから取得された撮像情報から2次元画像(例えば、2次元標準偏差画像)を生成し、それによって、撮像情報の弾道(ballistic)成分を推定する動作と、(b)2次元画像を再マッピング(例えば、デコンボリューション)することによって3次元画像(すなわち、3Dボリューム)を生成する動作と、(c)3次元画像内の候補オブジェクトを識別する動作と、(d)撮像装置に関連付けられた点拡がり関数を用いて候補オブジェクトの3次元画像をマッピングする(例えば、畳み込む)ことによって候補オブジェクトの推定された空間前方モデルを取得する動作と、(e)候補モデルの推定された空間前方モデルと推定された時間成分とを使用することによって、背景補正されたデータを取得する動作と、(f)候補オブジェクトについて収束に達するまで、推定された空間前方モデルと推定された時間成分とを繰り返し更新し、それによって信号情報を分離する動作とを含む。
【０００８】
一実施形態において、動作(a)の前に、撮像装置インターフェースを使用して、撮像装置によって取得された背景情報が減算され得る。背景情報は、ライトフィールド顕微鏡によって取得された背景蛍光であり得、背景情報の減算は、ランク1行列因数分解を適用することを含み得る。動作(a)は、カメラフレームの時系列の標準偏差を決定することを含み得、動作(b)は、撮像装置に関連付けられた点拡がり関数を使用することを含み得る。点拡がり関数は、数値的にシミュレートされるか、または実験的に取得され得、弾道または非弾道広がり関数であり得る。動作(b)の前に、2次元標準偏差画像は、残留背景活動を除外するために閾値処理され得、動作(b)は、全変動およびスパース性制約を再マッピング(例えば、デコンボリューション)に組み込むことによって再構築アーティファクトを低減することをさらに含み得る。
【０００９】
再構築アーティファクトを低減することは、式xn+1=xn(PTy/PTPy+λ1dim(x))を提供することを含み得、ここで、xは、ボリューム推定値を表し、1dim(x)は、xと同じ次元を有する1のベクトルを表し、Pは、点拡がり関数を表し、λは、スパース性促進項の重みを表し、yは、背景を減算された生データを表す。動作(c)は、オブジェクト形状と矛盾する空間周波数を抑制するために空間分割を使用することを含み得る。空間分割は、3次元画像にバンドパスフィルタを適用することと、背景アーティファクトを除外するために閾値処理を行うことと、局所最大探索アルゴリズムを適用することとを含み得る。撮像装置に関連付けられた点拡がり関数を用いて候補オブジェクトの3次元画像をマッピングする(例えば、畳み込む)動作(d)は、スパース性の非負のp×n行列Siを生成することを含み得、ここで、nは、オブジェクト候補の数であり、pは、ピクセルの数であり、iは、反復数であり、ここで、S0は、候補オブジェクトの初期空間前方モデルである。動作(e)は、S0とT0との行列積を使用してp×t行列Yを生成することを含み得、ここで、Tiは、非負のn×t行列の時間成分であり、tは記録における時間ステップの数である。Tiはスパース性制約を有する適応型Richardson-Lucy型ソルバを繰り返し適用することによって取得され得る。推定された空間前方モデルと推定された時間成分とを繰り返し更新することは、(i)推定されたTiを一定に保ちながら、更新された推定されたSiを取得することと、(ii)推定されたSiを一定に保ちながら、更新された推定されたTiを取得することと、(iii)オブジェクト候補について収束に達するまで、動作(i)および(ii)を反復的に繰り返すこととを含み得る。オブジェクト候補はニューロンであり得る。
【００１０】
散乱媒体(例えば、散乱組織)における効率的な信号抽出を可能にし、半透明の標本における向上した時間的および空間的忠実度を提供することに加えて、開示される実施形態の重要な進歩は、以前の画像再構築(例えば、LFMに関する画像再構築)および後処理と比較して3桁分の計算コストの劇的な低減である。これは、リアルタイムの全脳記録、光遺伝学および行動と組み合わせたニューロン集団活動の閉ループ尋問(interrogation)、ならびに、データの分析への高度な機械学習技法の適用を含む、様々な定性的に新しい用途を可能にする。
【００１１】
別の実施形態において、撮像信号抽出装置は、撮像装置インターフェースと、撮像装置インターフェースに動作可能に結合された処理デバイスと、処理デバイスによって実行されると動作を実行する命令を備えるコンピュータ可読記録媒体とを含む。動作は、撮像装置インターフェースから取得された撮像情報から2次元画像を生成し、それによって、撮像情報の弾道成分を推定する動作と、2次元画像を再マッピングすることによって3次元画像を生成する動作と、3次元画像内の候補オブジェクトを識別する動作と、撮像装置に関連付けられた点拡がり関数を用いて候補オブジェクトの3次元画像をマッピングすることによって候補オブジェクトの推定された空間前方モデルを取得する動作と、候補モデルの推定された空間前方モデルと推定された時間成分とを使用することによって、背景補正されたデータを取得する動作と、候補オブジェクトについて収束に達するまで、推定された空間前方モデルと推定された時間成分とを繰り返し更新し、それによって信号情報を抽出する動作とを含む。撮像装置インターフェースは、Miniscopeプラットフォームを使用して開発されたハードウェアと、埋込み内視鏡GRINリレーと、センサと、マイクロレンズアレイとを含む。マイクロレンズアレイは、後焦点面およびセンサ面が一致するように、センサに近接して位置合わせされ取り付けられる。マイクロレンズアレイは、センサから1焦点距離離れた画像平面の光路内に配置され得る。装置は、センサを保持するように構成された保持部材も含み得る。保持部材は、Miniscope設計と比較すると、2.7mmだけ長くされ得る。
【００１２】
一実施形態において、本発明は、画像信号を抽出する方法を提供する。方法は、処理デバイスに動作可能に結合された撮像装置インターフェースを使用するステップを含む。処理デバイスは、以下の動作、すなわち、a)撮像装置インターフェースから取得された撮像情報から2次元画像を生成し、それによって、撮像情報の弾道成分を推定する動作と、b)2次元画像を再マッピングすることによって3次元画像を生成する動作と、c)3次元画像内の候補オブジェクトを識別する動作と、d)撮像装置に関連付けられた点拡がり関数を用いて候補オブジェクトの3次元画像をマッピングすることによって候補オブジェクトの推定された空間前方モデルを取得する動作と、e)候補モデルの推定された空間前方モデルと推定された時間成分とを使用することによって、背景補正されたデータを取得する動作と、f)候補オブジェクトについて収束に達するまで、推定された空間前方モデルと推定された時間成分とを繰り返し更新し、それによって信号情報を抽出する動作とを実行する。
【００１３】
他の実施形態は、添付図面と併せて考慮される以下の詳細な説明から明らかになるであろう。しかしながら、図面は、例示としてのみ設計され、実施形態のいずれかの限界の定義として設計されていないことを理解すべきである。
【図面の簡単な説明】
【００１４】
【図１】散乱組織におけるライトフィールド記録のシード型(Seeded)の反復的な分離。シード型反復分離(SID)アルゴリズムにおける主要なステップの図である。
【図２】マウス海馬におけるビデオレートボリュームCa2+撮像。脳漿(CC)、ならびに海馬固有アンモン角(CA1、CA3)および歯状回(DG)の領域を示す海馬窓の準備の概略図であり、CA1上の長方形は、おおよその撮像ボリュームを示す。
【図３Ａ】同時2PM-SID記録、すなわち、(a)2PMデータに適用された分析パッケージCaImAnによって達成されたスコア(青色のトレース)と比較した、SIDによって達成されたニューロン検出スコア対深さ(緑色のトレース)であり、両方ともグラウンドトゥルースに関して評価されている、(i)感度スコア(実際のニューロンに対する検出された数の比)、(ii)精度スコア(真陽性と偽陽性の合計に対する真陽性の数の比)、(iii)Fスコア(感度および精度の調和平均)n=4である。
【図３Ｂ】(b)SID抽出信号とグラウンドトゥルースとの比較、(i)相関平均対深さおよび(ii)一例として示す、SID信号の相関係数とそのグラウンドトゥルース対応物のヒストグラム、(iii)2対のSID(緑色)および対応するグラウンドトゥルース(赤色)信号対ならびにそれらのそれぞれの相関係数の例、(iv)グラウンドトゥルースとの相関が0.5未満のSID信号対撮像深度の比、に基づくSIDニューロン検出および信号抽出性能の統計分析である。
【図４】本明細書で開示される1つまたは複数の実施形態による方法を実行するコンピューティングシステムの形態における例示的な機械の少なくとも一部のブロック図である。
【図５】頭部装着型小型ライトフィールド顕微鏡(MiniLFM)を示す図である。MiniLFMの分解図(左)および断面図(右)が示されている。いくつかの部分は、視覚的明確さのために透過的にレンダリングされている。
【図６】MiniLFM MLA対センサ位置合わせジグのレンダリングを示す。MLAをセンサチップに位置合わせするために、ホースクランプ(図示せず)を使用して締結され得る一対のカスタム4フィンガーホルダ(銀色の円柱スロット付き部品、中央左)が設計された。一方のクランプは、MLA(見えず、クランプによって塞がれている)を保持し、ポスト/ポストホルダ(左端部)に静的に取り付けられる。他方のクランプは、センサ(青緑色の長方形)を保持し、チップ、チルト、および回転、ならびに横方向位置を調整するための6軸キネマティックマウント(Thorlabs K6XS)によってそれ自体が保持される。キネマティックマウントは、MLAからセンサまでの距離を調節するため、ならびに横方向位置の簡単な粗調整のための3軸リニアステージアセンブリ(Thorlabs PTA3A/M)に取り付けられる。
【図７Ａ】デバイス、Miniscope、およびMiniLFMを装着していないときの動物の機敏性の比較を示すグラフを含む図である。動物の機敏性の定量化は、トレーニングの完了後の、線形トラックでの行動の記録から示される。3匹のマウス、3日連続の間に動物ごとおよび日にちごとに各条件の下で1つのトライアル、合計n=27トライアルをもたらした。トライアル期間:10分。トライアル間の休憩:1時間。幅広い水平バーは、平均を示し、エラーバーは、s.e.m.である。データ点の色は、動物を示し、(a)平均歩行速度、ns、一元ANOVAでは有意ではない。
【図７Ｂ】(b)トライアルごとの移動距離、ns、一元ANOVAでは有意ではない。
【図７Ｃ】(c)トライアル中に行われた停止の数、ns、有意ではない、*、一元ANOVAでp<0.05において有意である(p=0.011)。
【図８】同時2PM+MiniLFM/SID記録に使用される実験設定のスケッチを示す図である。
【発明を実施するための形態】
【００１５】
図中の要素は、簡潔性および明確性のために示されていることが認識されるべきである。商業的に成り立つ実施形態において有用または必要である一般的であるがよく理解されている要素は、図示された実施形態のより妨げられない図を容易にするために示されていない。
【００１６】
開示される実施形態は、時系列記録から撮像信号を抽出することに関する。時系列は、時間順にインデックスが付けられた一連のデータ点である。撮像信号の抽出の例は、撮像記録、特に、散乱媒体における撮像記録からの信号の分離である。
【００１７】
開示される実施形態の撮像信号抽出装置は、(1)残留弾道光内に含まれる高分解能の空間情報を活用し、同時に、散乱光から方向情報を抽出し、(2)特定の撮像装置の点拡がり関数(PSF)と散乱の影響とを組み込み、(3)ソース位置または信号特性におけるさらなる仮定を必要とすることなく、撮像データ内に存在する空間情報と時間情報の両方を利用することによって、ボリューム内の近くに位置するソースからの信号を抽出(例えば、分離)する(例えば、散乱の影響を分離する)。
【００１８】
一実施形態において、撮像信号抽出装置が提供される。装置は、装置インターフェースと、装置インターフェースに動作可能に結合された処理デバイスと、処理デバイスによって実行されると、信号情報を抽出する(例えば、分離する)動作を実行する命令を含むコンピュータ可読記録媒体とを含む。
【００１９】
撮像信号抽出装置は、3次元(3D)画像を2次元(2D)センサアレイ、特に並行取得方式を使用するものにマッピングする任意の装置であり得る。そのような撮像装置の例は、ライトフィールド顕微鏡(LFM)、広視野落射蛍光顕微鏡、多視点光シート技術および掃引共焦点整列平面励起を含む光シート顕微鏡、広視野時間集光、ならびにホログラフィック手法を含む。典型的には、これらの方法では、複数の領域またはサンプル全体が同時に励起され、2Dセンサアレイを使用して蛍光が検出される。
【００２０】
ライトフィールド顕微鏡による撮像
好ましい実施形態において、撮像装置は、LFMである。LFMは、3Dボリューム情報を2Dセンサアレイに効率的にマッピングすることによって、大きい視野において非常に高いボリューム取得レート(GECI応答ダイナミクスおよびカメラフレームレートのみによって制限される)を達成し、ここで、マイクロレンズアレイは、顕微鏡の画像平面内に配置され、カメラは、マイクロレンズアレイの焦点面内に配置される。これは、入射光線の空間座標と角度座標の両方をセンサ上の2Dパターンに符号化する、空間的に変化する点拡がり関数(PSF)をもたらす。完全な3D情報は、単一のカメラ露光によってキャプチャされ、生画像の計算再マッピング(例えば、デコンボリューション)によってオフラインで取得される。
【００２１】
並行取得技術の中で、ライトフィールド顕微鏡(LFM)4、26〜29は、C.elegansおよびゼブラフィッシュ幼虫などの小さい半透明モデルシステムにおける高速ボリュームCa2+撮像に対する特に単純でかつ強力な手法である4。LFMは、3D情報を収集するために時間のかかる励起ビームのいかなる走査も必要としないことによって、競合する撮像方法よりも優れている。さらに、2光子励起に基づく方法とは対照的に、LFMは、高価で複雑な超高速レーザシステムを必要とせず、サンプルの加熱および非線形の光損傷の傾向がない。
【００２２】
LFMは、3Dボリューム情報を2Dセンサアレイに効率的にマッピングすることによって、大きい視野において非常に高いボリューム取得レート(GECI応答ダイナミクスおよびカメラフレームレートのみによって制限される)を達成し、ここで、マイクロレンズアレイは、顕微鏡の画像平面内に配置され、カメラは、マイクロレンズアレイの焦点面内に配置される。これは、入射光線の空間座標と角度座標の両方をセンサ上の2Dパターンに符号化する、空間的に変化する点拡がり関数(PSF)をもたらす。完全な3D情報は、単一のカメラ露光によってキャプチャされ、生画像の計算再マッピング(例えば、デコンボリューション)によってオフラインで取得される4、27。
【００２３】
LFMが収集する情報は、本質的にベクトル的かつ冗長である29、30。LFMでは、入射光線の位置と方向の両方が記録され、点光源によって放射され、光学系によって透過されるすべての光線の集合体は、センサ上に高度に特定のPSFパターンを形成する。
【００２４】
しかしながら、LFM画像4、27の従来のフレームごとの再構築は、高度に計算リソース集約的であることに加えて、LFMデータに固有の潜在的なロバスト性を収穫するときに大いに失敗する。
【００２５】
平均して、1つの散乱長の特徴的な距離(皮質7における可視光について約50〜100μm)を伝播した後、入射光子の約34%は、依然として、それらの元の方向において移動し、それらは、「弾道光子」と呼ばれ、残りの光子は、ランダムな散乱角によって偏向される。脳組織において、散乱角の確率分布、異方性パラメータg≒0.97を有するHenyey-Greenstein分布は、均一ではなく、順方向の周囲で強いピークに達する。したがって、散乱光子の元の方向に関する情報は、いくつかの散乱長7について保存されるが、この情報は、ぼやけ、残りの弾道光子の周囲の円錐形領域に広がる。
【００２６】
従来の広視野撮像では、デフォーカスの効果と同様に、散乱は、画像特徴をぼやけて重なり合って見えるようにし、レンダリングが非常に非適切な数学的問題を分離する。対照的に、LFMでは、散乱がない場合、焦点面の下または上に位置する光源は、入射光フィールドに関する位置情報と角度情報の両方を符号化するセンサ上のシャープで特定のパターンをもたらす。散乱媒体では、LFM内の散乱光子は、弾道光子によって照らされたセンサピクセルの周囲の多くのセンサピクセルにわたって分散される。特に、散乱光線において保持された任意の方向情報は、散乱光の強度分布における方向固有の勾配として現れ、ここで、弾道ピークおよび勾配は、矢印によって示されるように、散乱によるものである。散乱がない場合、数値シミュレートされた弾道PSF4、27を使用する生のLFM画像のデコンボリューションは、近くのニューロンが解決され、それらのそれぞれの時間信号を忠実に回復することを可能にする。しかしながら、散乱が存在する場合、同じ画像再構築方法は、クロストークにより深さが増加する近くのニューロンの信号を忠実に回復することにますます失敗する。加えて、散乱光は、再構築アーティファクトの出現、および、拡散背景成分への輝度の誤った割り当てをもたらす。まとめると、これらの効果は、以前に確立されたデコンボリューション方式4、27を使用する散乱組織における信号抽出を重要なタスクにする。
【００２７】
しかしながら、いくつかの方向情報は、散乱光フィールド内に保持され、LFMによって記録されるので、生のLFMデータからのよりロバストな信号抽出が必要である。空間画像分割31、32に基づく方法は、明確な輪郭がない場合に有用な結果をもたらすと期待することができない。(主に2PMベースの)Ca2+活動ムービーからニューロン信号を抽出するためのより一般的に使用される方法は、独立成分分析(ICA)33に基づく。ICAは、ニューロンがかなりよく分離されているときにうまく機能することができる。しかしながら、ニューロンのセットの記録された画像が空間的に重複するとき、またはそれらの活動が強く相関している場合、ICAは、しばしば、これらのソースを正しく分離することに失敗する34。特に空間的および時間的制約が組み込まれているとき、非負、スパース、およびその他の制約のある時空間行列因数分解34〜37に基づく方法は、密接に詰め込まれたニューロンに関する分離能力においてICAを上回る34。しかしながら、実用的なレベルにおいて、これらの方法は、典型的には、アルゴリズムのロバストで迅速な収束のために高い精度で空間成分を適切に初期化する必要がある。さらに、現在利用可能な実装形態は、散乱などの確率的で非特異的なプロセスは言うまでもなく、そのPSFなどの撮像システムに関する情報を含まない。
【００２８】
頭部装着型装置によるニューロン撮像
自由にふるまう齧歯動物において高速かつ単一細胞分解能において神経ダイナミクスをボリュームに関してキャプチャすることは、神経科学における主要な未解決の課題であり続けている。ライトフィールド顕微鏡(LFM)とシード型反復分離(SID)との組合せは、強く散乱する哺乳類皮質における用途のためのスケーラブルな高速ボリュームカルシウム撮像方法の実現を可能にする。
【００２９】
小型頭部装着型ライトフィールド顕微鏡(「MiniLFM」)が設計および構築されており、それは、SIDアルゴリズムと組み合わせて、16Hzのボリュームレートにおける約600×600×350μmのボリューム内のカルシウム撮像を可能にし、それによって、自由に移動するマウスの海馬において撮像セッションごとに約530ニューロンのダイナミクスをキャプチャする。MiniLFMおよび最適化されたSIDアルゴリズムの性能は、埋め込まれたGRIN対物レンズの表面から345μm程度の深さのニューロン活動トレースの抽出および割り当てを示すことによって証明された。
【００３０】
別の重要な特徴は、SID処理が影響を受けないままであることを保証するために追加の運動センサおよびそれらの修正を必要とすることなく、専用の処理パイプラインが生の撮像データ内の任意の残留運動を検出しながら、運動アーティファクトを最小限にする独自の剛性ハードウェア設計および頭部装着アセンブリである。さらに、パイプラインは、基礎となるファイアリングレートおよびカルシウム指示薬応答ダイナミクスに関するモデルをトレーニングし、運動の影響を受けたフレームについても、ファイアリングレートのロバストな推定を提供する。
【００３１】
哺乳類における高度に統合された認知プロセス、ならびに、複雑で動物行動学的に関連する行動の神経基礎を理解するために、自由行動および社会的相互作用と互換性のある、高速で深さ浸透するボリューム撮像技法が使用される。現在の主題の前に、哺乳類または鳥類の脳から情報を抽出することができるすべての既存のボリュームCa2+撮像技法は、頭部固定を必要とした。自由に動く動物20A〜24Aからの記録を可能にするいくつかの携帯用頭部装着型ミニチュア顕微鏡が開発されたが、これらのどれもボリューム撮像することができない。頭部装着型蛍光撮像デバイス20A、25A、26Aの初期設計は、共焦点または2光子励起を実装するために、レーザ光源からの光の伝達のために光ファイバを使用したが、蛍光検出について、個々の光ファイバ27Aならびにファイバ束21Aを介する読み出しが検討された。勾配率(GRIN)ロッドレンズ27Aなどの埋込み型内視鏡要素が使用されると、広視野構成において深部脳構造にアクセス可能である。より最近では、海馬の場所の細胞の長期記録を可能にした28A、背側線条体における運動関連情報のエンコーディング24Aならびに異なる文脈記憶の関連付けにおける共有ニューロン集団の役割23Aの研究を可能にした、単一光子広視野ミニチュア顕微鏡(「Miniscope」)22A〜24A、28Aが構築された。これらの研究は、行動学に関連した複雑な行動のニューロンの基礎を明らかにするために、抑制されていない行動中のニューロンの記録の重要性を強調している。
【００３２】
開示された主題の一実施形態は、頭部装着型ミニチュア顕微鏡(「Miniscope」)技法23Aを、ライトフィールド顕微鏡ベース(LFM)3A、29Aの検出、および、光散乱に対する増加したロバスト性を提供する制約された行列因数分解手法(シード型反復分離、「SID」)4Aに基づく計算戦略と組み合わせることによって、前述の制限を克服する。LFMは、2D画像センサの単一の露光においてボリューム情報をキャプチャすることを可能にし、SIDは、LFMの範囲を散乱する哺乳類の脳4Aに拡張する。開示された主題は、LFMハードウェア(「MiniLFM」)を使用する小型頭部装着型SID顕微鏡を提供し、これは、16Hzのボリュームレートにおける約700×600×360μmのボリューム内のCa2+撮像を可能にし、それによって、自由に移動するマウスの海馬において単一細胞に近い分解能において撮像セッションごとに約810ニューロンのダイナミクスをキャプチャする。SIDアルゴリズム4Aは、埋め込まれたGRIN対物レンズの表面から360μm程度の深さのニューロン活動トレースの抽出および割り当てを可能にする。
【００３３】
MiniLFMのハードウェア設計は、2つの重要な側面において典型的なLFM設計と異なる。第1に、MiniLFM設計(図5)は、オープンソースのMiniscopeプラットフォーム23Aを活用し、これは、最小の重量、動作の簡単さ、および、深部脳構造に達するように埋め込まれた内視鏡GRINリレーとの互換性について最適化される。第2に、マイクロレンズアレイ(MLA)の焦点面をカメラセンサ面に中継する典型的な構成は、MLAの後焦点面およびセンサ面が一致するようにマイクロレンズアレイがセンサに近接して位置合わせされ取り付けられる手法に置き換えられた(図5)。この手法の主な利点は、1つの追加の光学要素であるマイクロレンズアレイのみを組み込むことによって、MiniLFMの全体重量が最小限に保たれることである。
【００３４】
位置合わせ戦略は、固定前の画像センサに対するMLAの向きおよび位置の正確で定量的な最適化を可能にする。デコンボリューション3A、30Aによって2Dの生の画像からボリュームデータを復元するために、システムの数値シミュレートされた点拡がり関数(PSF)と物理的PSFとの間の良好な重なり合いが必要であるので、正確な位置合わせが重要である。
【００３５】
顕微鏡は、ミリメートルあたり80ライン対の横方向分解能を達成し、これは、約6μmのスポットサイズおよび約30μmの軸方向分解能に対応する。しかしながら、散乱が存在する場合、光学分解能は、一般に、ニューロンを識別するための限界を定量化するものではない。実際の空間的識別可能性は、それらの活動の時間における類似性と組み合わせて、センサ上のニューロンの散乱空間フットプリントの空間的重なり合いの量などの要因によってさらに決定される。2つのニューロンがロバストに分離され得るそれらの質量中心間の最小距離は、本明細書では「識別閾値」と呼ばれる。一実施形態において、この閾値は、約15μmであることがわかった。
【００３６】
頭部装着型モジュールは、成体マウスによって持ち運び可能であり、生体マウスがアリーナ内で自由に移動することを可能にする。ビデオは、アリーナ内で50秒間自発的に行動し移動する成体マウスを示す。MiniLFMは、頭蓋骨に接着されたベースプレートにねじ止めされ、埋め込まれたGRIN対物レンズを中心とする。データケーブルは、アリーナの中心の上のアームから吊り下げられる。動物の機敏性に対するデバイスの重量の潜在的な影響は、3つの条件、すなわち、標準的なMiniscopeを装着すること、MiniLFMを装着すること、またはデバイスなしについて、線形トラック上での動物の行動を記録し定量化することによって特徴付けられた。予想通り、デバイスなしの動物からMiniscopeを装着した動物へ、およびMiniscopeを装着した動物からMiniLFMを装着した動物へ、機敏性の低下のわずかな傾向が観察され得るが、MiniLFMとMiniscopeとの間で、移動した距離、停止の数、または平均速度に大きい違いは見られなかった。
【００３７】
次に、MiniLFMの性能は、自由に移動するマウスにおいて海馬CA1ニューロンの自発的なボリューム活動を記録することによって検証された。生のMiniLFMフレームは、カメラ上で非常にぼやけて見え、個々のニューロンの識別を可能にしないが、SIDアルゴリズムを適用することは、360μmの深さまでのCA1錐体層および放射状層におけるニューロン位置および対応する活動時系列の明確な抽出を可能にする。さらにmボリューム記録を実行する方法の能力は、記録ボリュームの3Dレンダリングを介して錐体層の形状をより明確にする。約8μm程度の近い間隔のニューロンがデータセット内に見いだされ得るが、最近傍のニューロン距離の最も頻繁な値は、12〜16μmの範囲内である。
【００３８】
30分の例示的な記録において識別された807の活動ニューロンに対応する時間信号。他の方法で観察されたCa2+トランジェントの典型的な形状は、約360μmの最大の記録された深度におけるニューロンについても忠実に再現されることがわかった。この定性的な観察を検証し、散乱する哺乳類の脳内の近くのニューロンの活動を検出および分離する、SIDと組み合わせたMiniLFMの能力をベンチマーク処理するために、同じニューロンの活動に関する同時機能的なグラウンドトゥルース情報が取得され得るように、MiniLFMに修正が加えられた。MiniLFMを卓上2光子走査顕微鏡(2PM)と結合することによって、海馬のCA1ニューロンは、興奮し得、ニューロンの活動は2PMの検出アームと未修正のMiniLFMセンサモジュールとを介して同時に検出され得た。2PMデータからグラウンドトゥルースのニューロンの位置トレースおよび活動トレースを確立するために、最新式の信号抽出アルゴリズム31Aとそれに続く人間の検査とが使用された。SIDで抽出された位置および活動は、その後グラウンドトゥルースと比較された。
【００３９】
両方の検出チャネルにおける大きく低下した信号対雑音比にもかかわらず、2つの検出チャネルへの蛍光の分割ならびに結合の非効率により、MiniLFM/SIDデータとグラウンドトゥルースとの間の良好な一致が実証された。活動ニューロンは、SIDによって正確(精度スコア:0.97±0.02)かつ確実(感度スコア:0.79±0.04)に検出され、0.87±0.03のFスコア(すべての記録にわたってプールされる平均±標準誤差)によって定量化された全体的な検出パフォーマンスを結果として生じることがわかった。データのより詳細な調査は、位置とニューロン信号の両方がMiniLFM/SIDとグラウンドトゥルース記録との間でよく重複していることを明らかにした。撮像条件下でのSIDのパフォーマンスに関する上限(控えめな見積もり)を取得するために、SIDで抽出された活動トレースの忠実度は、2つの方法において特徴付けられた。第1に、個々のSIDで抽出されたトレースとそれらのグラウンドトゥルース対応物との間の相互相関が計算され、高い全体的な重複を示す0.88の中央値が見いだされた。使用されるハイブリッド(2PM-MiniLFM)検出モダリティでは、相互相関によって測定される取得可能な信号類似性と、ニューロン検出パフォーマンス(Fスコア)の両方が、ハイブリッドセットアップにおけるGRINレンズを介する2P励起の準最適配置によって与えられる達成可能な信号対雑音比、ならびに、信号を検出するために必要な高いMiniLFMセンサゲインによって制限されることに留意されたい。蛍光が1光子励起を介して生成される通常のMiniLFM動作条件下では、信号レベルは、数桁高く、これは、MiniLFMを用いた実際の実験中に同等のまたはよりよいパフォーマンスパラメータに変換されると予想される。
【００４０】
第2に、別個のニューロン対に関するニューロン活動の準最適な分離に起因する任意のクロストークを定量化するメトリックが導出され、ニューロン対の距離の関数として調査された。それを行うために、グラウンドトゥルーストレースの各々の可能な対ごとに見いだされた相互情報値は、対応するSIDトレースの相互情報値から減算され、この差は、2つのニューロンの間の距離の関数としてビニングされた(「過剰な相互情報」)。クロストークの影響が無視できる大きいニューロン距離について、予想通り、結果として生じる過剰な相互情報値は、ノイズが制限された低いベースライン付近でプラトーに達することが観察された。しかしながら、短いニューロン対の距離について、メトリックは、任意のクロストークによって誘発されたトレース間の誤った類似性を拾い上げることが予想され、これは、過剰な相互情報値の非生理学的な増加を結果として生じる。しかしながら、そのような増加は、より短いニューロン対の距離に関する記録では検出され得なかった。データを個々のカルシウムトランジェントレベルにカットし、ベースラインを削除し、それによって、感度を人為的に高めるときにのみ、約15μm未満で分離されたニューロン対について、クロストークメトリックの値における最小だが有意な増加が検出され得た。これらの分析は、手法が約15μmまたはそれよりも大きい間隔におけるニューロンのクロストークのない分離を忠実に識別および達成し得、「ニューロン識別パフォーマンス」と呼ばれるものの価値を確立することを実証する。
【００４１】
ニューロピル活動による神経信号の汚染は、空間分解能が低下したものを含む、いくつかのカルシウム撮像モダリティにおける別の懸念となり得る。この問題は、細胞核に局在する発現を有するCa2+指示薬を使用することによって、分子レベルにおいて対処され得る。GCaMP発現の核への局在化は、応答の感度を低下させ、より遅い応答時間を結果として生じる可能性があるが、ニューロピル信号を除去することは、有効な戦略である。GCaMP6の核局在化バージョンを発現する動物を使用すると、(いくらか低い観察可能な全体的なニューロン活動にもかかわらず)同様に良好に分離されたソース、低いかまたは明確でない信号クロストーク、および良好な信号対雑音比が見いだされた。これらの観察は、グラウンドトゥルース記録および分析とともに、ニューロピル汚染が実験条件下では重大な問題ではないことを示唆する。より遅いダイナミクスを示している間、核内に閉じ込められた指示薬は、ニューロピルからのクロストークおよび背景を排除し、したがって、非常に高密度の活性ニューロン、プロセスによって占められる撮像ボリュームの高い比率、または、より深刻な散乱を有する条件下で、信号品質とニューロンの分離性とを最大化し、MiniLFM/SID撮像の範囲をより大きい深さまで最終的に拡張することが予期され得る。
【００４２】
運動誘発性記録アーティファクトを最小化することは、脳および頭蓋骨がより大きい程度の運動に自然にさらされる自由行動の設定において不可欠である。Miniscope本体および頭蓋骨に取り付けられたベースプレートは、撮像される脳ボリュームに対する光学系の動きを最小化するように設計される。文献23、28において報告されていることと一致して、運動の影響は、本体の軸方向の剛性に起因する影響である、FOVの一時的な横方向の変位によって支配されることがわかっている。これらの変位を最小化するために、開示された主題において、ベースプレートは、大きい接触面にわたって頭蓋骨に強固に接着されており、MiniLFM本体は、磁石を使用してベースプレートに取り付けられ、本体の金属で補強されたファセットに対してねじを締めることによって固定される。移動する光学機械部品がないこと、および比較的高いフレームレートは、Ca2+活動読み出しの運動に誘発された摂動に対する全体的な感受性を大幅に低下させる。記録された画像の運動に誘発された変位の大きさは、10分の通常の(非LFM)Miniscope記録中の観測可能な横方向(前後および外側内側)シフトをプロットすることによって定量化され、シフトは、MiniLFM/SIDにおけるよりもより直接的に観測可能である。短期的な横方向シフトは、典型的には、外側内側方向においてニューロン直径の10分の1のスケールであり、前後方向におけるニューロン半径よりも小さいことがわかった。記録全体にわたる長期ドリフトは、ニューロン直径の10分の1程度であり、その条件下で、以前の観察28と一致して、数日および数週間にわたってニューロンの信頼できる再識別を可能にするのに十分なほど小さい。さらに特徴付けられたのは、動物の頭部上の顕微鏡がアリーナの壁に接触したときに誘発される強い機械的衝撃がどのように残留運動アーティファクトにつながり得るのかである。この問題に対処するために、生の撮像データにおける運動バーストを検出するカスタムの信号抽出パイプランを使用して、すなわち、追加の運動センサを必要とせずに、そのような運動イベントを自動的に修正するアルゴリズムが開発された。それはバースト間の低運動セグメントに個別にSIDアルゴリズムを適用し、次いで、すべてのセグメントにわたるすべてのニューロン検出をプールし、実験的に確認されたように、運動バースト後にニューロンが視野(FOV)内のそれらの元の位置に確実に戻るという事実を活用する。最後に、GCaMP応答カーネル31Aのモデルは、各ニューロンに対して最適化され、その後、運動の影響を受けたフレームにわたって活動トレースを補間するために使用される。同時に、このモデルは、基礎となるファイアリングレートの最尤推定値ももたらす。
【００４３】
この手法の基礎となる運動検出メトリックは、MiniLFMに取り付けられた加速度計によって同時に記録されたデータとそれを比較することによって検証された。必ずしもすべての加速度ピークが機能的撮像データ内の運動アーティファクトにつながるわけではないが、2つのメトリックは、明確に定性的に一致することがわかった。
【００４４】
したがって、開示された実施形態(MiniLFM設計)は、自由に移動する動物の散乱組織における低光退色および光毒性における高速ボリューム撮像を可能にする強力な戦略を提供するために、LFM、SID、およびMiniscope技法を組み合わせる。MiniLFM設計は、他のモデル動物に容易にカスタマイズおよび適用できる単純で拡張可能なプラットフォームを確立する。SIDアルゴリズムの計算効率およびニューロン識別能力とともに、したがって、この手法は、自由に行動する動物における神経情報処理の集団レベルの研究のためのユニークなプラットフォームを提供し、社会的相互作用の神経基盤の分析を可能にする。
【００４５】
信号情報を抽出する方法
一実施形態において、信号情報を分離するために実行される動作は、本明細書で論じられるように以下を含む。撮像装置インターフェースから取得された情報から2D標準偏差画像が生成される。2D標準偏差画像は、撮像情報の弾道成分を推定する。次に、2D標準偏差画像を再マッピング(例えば、デコンボリューション)することによって3D画像が生成される。3D画像から、候補オブジェクトが識別される。次に、撮像装置に関連付けられたPSFを用いて候補オブジェクトの3D画像をマッピングする(例えば、畳み込む)ことによって、候補オブジェクトの推定された空間前方モデルが取得される。次に、候補オブジェクトの推定された空間前方モデルと、推定された時間成分とを使用することによって、背景補正されたデータが取得される。推定された空間前方モデル、および推定された時間成分は、候補オブジェクトについて収束に達するまで繰り返し更新され、それによって信号情報を分離する。
【００４６】
一実施形態において、2D標準偏差画像が生成される前に、撮像装置によって取得された背景情報は、撮像装置インターフェースを使用して減算される。一実施形態において、背景情報は、LFMから取得された背景蛍光である。一実施形態において、背景情報の減算は、ランク1行列因数分解を適用することを含む。
【００４７】
一実施形態において、2D標準偏差画像は、カメラフレームの時系列の標準偏差をとることによって放射信号の弾道成分を推定することによって生成される。弾道光子は、散乱光よりも少ないセンサピクセルにわたって広がるので、弾道照射されたピクセルからの信号は、所与の基礎となるソース活動について時間においてより大きい変動を有し、したがって、散乱成分から分離され得る。
【００４８】
一実施形態において、2D標準偏差画像を再マッピング(例えば、デコンボリューション)することによって生成された3D画像は、関連する画像装置の数値的にシミュレートされた弾道PSFを用いて2D画像を再マッピング(例えば、デコンボリューション)することによって2D画像(例えば、2D標準偏差画像)から3D位置情報を解明することを含む。散乱が存在する場合、この手法は、生データを直接デコンボリューションし、その後、結果の標準偏差を計算することによって得られるものよりも非常にシャープなソースと低減した背景とを含むボリュームを結果として生じる。一実施形態において、3D画像が生成される前、2D画像は、残留背景活動を排除するために閾値処理される。一実施形態において、3D画像の生成は、全変動とスパース性制約とをデコンボリューションに組み込むことによって、再構築アーティファクトを低減することをさらに含む。例えば、再構築アーティファクトを低減することは、以下の式、
xn+l= xn(PTy/Py+λ1dim(x))   (1)
を適用することを含み得、ここで、xは、ボリューム推定値を表し、1dim(x)は、xと同じ次元を有する1のベクトルを表し、Pは、点拡がり関数を表し、λは、スパース性促進(encouraging)項の重みを表し、yは、背景を減算した生データを表す。
【００４９】
候補オブジェクトは、任意の空間的に限定された信号放射エンティティであり得る。一実施形態において、候補オブジェクトの識別は、オブジェクト形状と矛盾する空間周波数を抑制するために、空間分割を使用することを含む。オブジェクト形状の例は、例えば、ニューロン、器官、骨、筋肉、細胞構造、および/または腫瘍性増殖を含む、生物学的存在の解剖学的構造の任意の部分であり得る。例えば、ニューロンは、3D画像、すなわち、再構築された3Dボリューム内で局在化され分離され得る。一実施形態において、空間的分離は、バンドパスフィルタを3D画像に適用することと、背景アーティファクトを除去するために閾値処理することと、極大探索アルゴリズムを適用することとを含む。分割閾値は、ノイズとアーティファクトとをロバストに除去するように選択される。
【００５０】
一実施形態において、PSFを用いて候補オブジェクトの3D画像をマッピングする(例えば、畳み込む)ことによって取得された候補オブジェクトの推定された空間前方モデルは、スパース性の非負のp×n行列Siを生成することを含み、ここで、nは、オブジェクト候補の数であり、pは、ピクセルの数であり、iは、反復数であり、S0は、候補オブジェクトの初期空間前方モデルである。例えば、各々の識別された候補オブジェクトについて、予想されるLFMフットプリント(例えば、予測されるカメラセンサパターン)は、撮像装置に関連付けられたPSFを用いて候補オブジェクトの3D画像をマッピングする(例えば、畳み込む)ことによって計算される。
【００５１】
一実施形態において、候補オブジェクトの推定された空間前方モデルと推定された時間成分とを使用することによって取得された背景修正されたデータは、SoとToとの行列積を使用してp×t行列Yを生成することを含み、ここで、Tiは、時間成分の非負のn×t行列であり、tは、記録内の時間ステップの数である。一実施形態において、Tiは、スパース性制約を有する適応型Richardson-Lucy型ソルバを反復的に適用することによって取得される。
【００５２】
一実施形態において、推定された空間前方モデルと推定された時間成分とを繰り返し更新することは、i)推定されたTiを一定に保ちながら、Siの更新された推定値を取得し、推定されたSiを一定に保ちながら、Tiの更新された推定値を取得することと、ii)オブジェクト候補について収束に達するまで、動作(i)を反復的に繰り返すこととを含む。例えば、Toを一定に保ちながら、更新された前方モデル推定値S1が見いだされる。一実施形態において、問題は、空間的に重複する成分のセットに対応する信号をkのより小さいメトリックT0kにグループ化し、非負の最小二乗問題を解くことによって更新された空間成分推定値S1kを見いだすことによって分解される。この更新ステップ中、S1kの行は、コンパクトな解決策を保証するために、弾道フットプリントから導出された事前定義されたマスクの外側でゼロになるように強制される。この手順は、収束まで繰り返される。そのような手順は、収束に達するまで時間的および空間的更新動作を交互に繰り返すことによって解決される双凸最適化問題である。
【００５３】
一実施形態において、SIDと呼ばれる散乱LFMデータのための反復ソース抽出手順が提供される。この手順は、残りの弾道光から取得された情報を用いて推論をシードすることによって、正確なニューロン局在化および信号分離を達成する。時系列の推定および各活性ニューロンの散乱画像は、非負の制約付き最小二乗最適化によって繰り返し更新される。
【００５４】
SIDの開示された実施形態は、散乱組織において高速かつ高深度においてボリュームニューロン集団活動を記録するための新しいスケーラブルな手法を表す。これは、Ca2+撮像のためのLFMの2つの重要な制限、すなわち、散乱に対するロバスト性の欠如および高い計算コストに対処することによって行われた。開示された実施形態は、半透明モデル有機体を超えて、散乱する哺乳類の脳までLFMの適用を拡張することを可能にし、覚醒時の齧歯動物における複数の皮質層にわたるニューロン活動の大FOV、高ボリュームレートの読み出しを可能にする。そのような実施形態は、マウス海馬における同様のサイズのボリュームからだけでなく、20μmの識別性パフォーマンスにおいて30Hzのボリュームレートにおける380μm程度の深さに位置するマウス皮質における約900×900×260μmのボリューム内の遺伝的に符号化されたCa2+指示薬を発現する細胞のニューロン活動トレースを確実に抽出することを可能にする。
【００５５】
ソース位置情報の初期推定値を用いてSID分離アルゴリズムをシードすることは、脳組織の散乱および等方性パラメータに基づいて予想されるものと一致して、記録内の散乱光子からの動的情報の回復を可能にする。開示された実施形態は、散乱媒体から情報を抽出するために、共同で設計された計算アルゴリズムと光学撮像とを組み合わせることの進歩を強調する。
【００５６】
SIDは、少なくとも約375μmの深さまでニューロンをロバストに検出し、活性ニューロピルが存在するときに高い忠実度で実際のニューロン信号の大部分を回復することができる。高速ボリュームCa2+撮像9、15、17〜22のための他の既存の方法と比較して、SIDは、その組み合わされた取得ボリュームおよび速度、その単純さおよび非常に低いコスト、ならびにその極端なスケーラビリティによって優れている。
【００５７】
2P励起に基づくいくつかの逐次取得方法は、より高い空間分解能を提供し得るが、これらとは異なり、SIDにおけるボクセル取得レートおよび分解能は、取得されたサンプルボリュームのサイズに依存せず、カメラフレームレート(100Hzまで)および蛍光色素分子特性のみによって制限される。したがって、ある時点で、2P技法における組み合わされた取得可能なボリュームサイズおよび速度は、組織の加熱によって最終的に制限されることになるが、速度および分解能におけるそのパフォーマンスを犠牲にすることなく、SIDをはるかにより大きいFOVに拡張することが考えられる。
【００５８】
光シート顕微鏡の様々な実装形態を含む単一光子技法5、26、27とは対照的に、SIDは、散乱光から情報を抽出し、他の単一光子技法について示されたものを超えて、それが散乱標本において画像化することを可能にする。
【００５９】
一実施形態において、再構築されたボリュームの下から現れる背景蛍光によって影響を受ける可能性がある深さ浸透が対処される。この実施形態では、PSFは、拡散背景に関してではなく、局在化されたソースに関してより多くの記録された光を説明することができるより大きい軸方向範囲でモデル化される。標識された活性のニューロピルがこの背景に寄与し、したがって、細胞体に拘束されたまたは核に制限されたCa2+レポータは、取得可能な深さ範囲と抽出された信号の質とを高めるのに役立つ。
【００６０】
一実施形態において、分解能とソース分離性とを高めるために、適応光学系48を使用して、組織の不均一性によって引き起こされる波面歪の補正が存在する。多くの生物学的用途は、高い標識密度を必要としない場合があり、むしろ、標的化されたまたはまばらな標識を必要とする場合があり、したがって、背景を減らし、ニューロン信号の割り当てと分離のタスクを大幅に緩和する。さらに、スペクトルの赤色および近赤外線領域における増加した散乱長のため、より長い波長において蛍光を発するGECIは、一般に、深部組織の撮像に有益である。
【００６１】
ニューロン信号の忠実な抽出は、多光子散乱による方向情報の損失によって制限される可能性がある。情報損失に関する臨界深さは、輸送平均自由行程として知られており、散乱長異方性パラメータに依存する。マウスの脳において、それは、約10の散乱長、または500〜1000μmになる7。
【００６２】
LFM顕微鏡における画像再構築およびデータ抽出の以前の実装形態は、典型的にはコンピューティングクラスタ4の使用を伴っており、これは、生物学的ユーザ間のその普及と、リアルタイムおよび閉ループ用途におけるその使用の両方を厳しく制限する。開示されたSIDは、この問題を個々のワークステーションにおいて扱いやすくし、広く利用可能な単純なハードウェアを使用して、前例のない速度での複数の皮質領域および層にわたるボリューム測定読み出しを可能にする。これに関連して、開示された実施形態は、計算負荷における3桁の低減が、単なる増分の改善ではなく、既存のスケールおよび汎用性をはるかに超えるLFM由来のボリューム測定撮像手法を可能にする革新的なステップであることを実証した。ニューロン識別および信号抽出47に関する高度な機械学習と組み合わせた計算撮像、特に、LFMなどのプレノプティック記録技術は、光学センシングの到達範囲、適用可能性、および鋭さを大幅に改善する。
【００６３】
例
以下の例は、シミュレートされたデータセットを使用して、開示された手法の有効性を確認する。従来のデコンボリューションと比較して、開示された実施形態は、約4散乱長の深さまで(マウス皮質における約400μmまでに対応する)のロバストな信号分離を提供する。加えて、幼生のゼブラフィッシュなどの弱く散乱するサンプルに適用されると、開示されたアルゴリズムは、増加した時間的および空間的忠実度を実現する。
【００６４】
SID手法の分離パフォーマンスを検証および特徴付けるために、それは、部分的に相関したGECI様活動を有するランダムに配置されたニューロンを含む合成データセットに適用された。モンテカルロ手法38を使用してシミュレートされた散乱PSFは、そのパラメータに関する文献7、39からの値を使用して生成された。次いで、散乱PSFを有するランダムに配置されたニューロンを含むボリューム測定フレームは、マウス皮質における約400μmの深さに対応する合成LFM生データをもたらすために畳み込まれた。実験データと一致するように選択された信号対背景比および信号対雑音比を用いてカメラノイズおよび背景蛍光が追加された。合成データへのSIDアルゴリズムの適用は、重複する空間フットプリントを確実に分離し、単純な信号抽出が高度に混合された信号を与える場合、SIDは、抽出された信号の密接な対応(0.76の平均相関)をもたらす忠実な信号分離を可能にした。SIDは、2つのエンティティを忠実に区別するために、時間的活動および空間フットプリントにおける小さい違いのみを必要とすることがわかった。
【００６５】
シード型反復分離(SID)は、ゼブラフィッシュ幼虫におけるソースの局在化を改善する
LFMベースのCa2+撮像は、ゼブラフィッシュ幼虫の脳の大きい部分からニューロン活動をキャプチャすることができることが示されている。これらの実験で一般的に使用される無色素の変異体は、著しく低い光吸収を有するが、これらの変異体は、完全に透明ではなく、若干の散乱を示す。したがって、ゼブラフィッシュ幼虫は、現在の強化されたソース抽出方法のための理想的なテストベッドである。弱い散乱レジームにおけるベースラインパフォーマンスが確立されることを可能にしながら、幼生ゼブラフィッシュの脳を撮像することは、哺乳類皮質におけるよりも高いニューロン密度という追加の困難をもたらす。
【００６６】
LFMにおいて、横方向分解能は、光フィールドから角度情報を収集する能力とトレードオフされる。LFM設計のパラメータは、ゼブラフィッシュ幼虫5のニューロン直径の約半分に対応する3.5μmの横方向分解能と、嗅球から後脳の前部まで脳をキャプチャするのに十分な大きさである700×700×200μmの視野FOVとをもたらすように選択された。
【００６７】
カスタムのハイブリッド2光子およびライトフィールド顕微鏡を用いて、ゼブラフィッシュの脊髄の前部における755×195×200μmのボリュームを使用して、SIDを介して抽出されたニューロン位置は、高分解能2PM画像スタックと比較された。2PMスタックの空間分割は、上記のボリューム内で合計1337のニューロンをもたらし、これらは、活性ニューロンと不活性ニューロンの両方を含む。SIDは、本質的に活性ニューロンのみを検出し、その位置が2PMスタック内のニューロンと明らかに一致する508のニューロンをもたらした。4分間、20fpsにおいて、700×700×200μmのボリュームをカバーする幼生ゼブラフィッシュの脳全体からの自発的なニューロン活動が記録された。この場合、SIDは、合計5505の活性ニューロンを見いだした。
【００６８】
SIDによって識別された信号およびニューロン位置は、同じデータの従来の再構築後のICAベースの分析と比較された。多くの場合、ICAおよびSIDは、一致する位置および信号の対をもたらすが、ICAは、ほぼ同じ信号でニューロンをいくつかの空間フィルタに分割することによって、データを過度にセグメント化する傾向があることがわかった。さらに、ICAベースの分析は、いくつかの周囲のニューロンからの散乱寄与を含む領域を偽陽性ニューロンとして識別する傾向もあり、深刻なクロストークを示す重複信号を結果として生じる。
【００６９】
全体として、ICAと比較したとき、SIDは、典型的には、かなりより多くの(この例では約50%)活性ニューロンを識別することがわかった。さらに、ICAによって識別された信号の大部分は、SIDによっても回復された(全画像ボリュームにおけるICA信号の82%についてICAとSIDとの間で0.8よりも大きい相互相関)。同時に、SIDは、ICAによって識別された偽陽性信号を確実に拒絶する。
【００７０】
シード型反復分離(SID)は、380μmの深さにおいてマウス皮質および海馬における高速ボリューム測定Ca2+撮像を可能にする
標準的なLFM再構築における散乱による劣化の激しさは、マウス皮質からの生体内LFMデータが従来的に再構築されたときに著しく明らかになる。覚醒時のマウスの後頭部皮質における様々な深さにおいて取得されたLFM記録にSIDを適用すると、開示された実施形態の有効性が明らかになった。30fpsのボリューム取得レートにおいて380μmの深さまでの約900μmの直径の横方向FOVでボリューム内のGCaMP6mを表すニューロンの活動は、頭蓋窓を使用して記憶された。この手法の計算効率は、同時に計算コストを大幅に低減しながら、より大きい軸方向範囲にわたってニューロン位置および活動トレースの確実な割り当てを可能にする。これは、2つの連続する記録のみを用いて、30fpsボリュームレートにおけるマウス皮質層I〜IIIおよび層IVの一部におけるニューロンの位置および活動のキャプチャを可能にした。開示されたアルゴリズムは、高分解能2PMを使用して識別されたすべての標識されたニューロン(5296)の約10%に対応する、1分間の記録中に500を超える活性ニューロンを識別した。活性ニューロンの総数のうち、296は、ゼロから170μmまでの深さ範囲にあり、208の活性ニューロンは、120から380μmまでの範囲にあった。
【００７１】
開示されたアルゴリズムは、研究されている生物学的疑問に基づいてユーザによって調整され得る、偽陽性信号と弱い信号に対する感度との間のいくらかのトレードオフを可能にする。本明細書で論じたすべての結果について、弱い信号に対する感度よりも偽陽性の拒絶を優先するむしろ保守的な抽出戦略が使用された。そのような設定は、空間形状に基づく事後選択の実施とともに、ニューロピル信号のより効率的な拒絶も可能にする。しかしながら、生物学的疑問とGECI特性とに応じて、抽出戦略は、より保守的でない推定値を結果として生じるように調整もされ得る。
【００７２】
SIDの多用途性をさらに説明するために、開示された方法は、皮質吸引40、41後に埋め込まれた頭蓋窓を使用してCA1海馬ニューロンの撮像に適用された。CA1ニューロンの細胞体層を含む約900×900×200μmのボリューム内のニューロン集団活動をキャプチャし、この領域の解剖学的構造の典型的な湾曲層幾何学的構造内に配置された150のニューロンからのCa2+信号が確実に識別、抽出、および分離され得た。SIDによって抽出されたロバストで明白なCa2+過渡状態は、この脳領域内のニューロンタイプの高周波バーストと一致する42。要約すると、SIDは、生体内のマウス皮質および海馬において380μmまでの深さまでニューロン位置と時間信号とを明らかにすることが示された。次のセクションでは、開示された実施形態の抽出忠実度は、それを2PM記録と比較することによって検証される。
【００７３】
シード型反復分離(SID)は、2PMと一致する時系列を提供しながら、マウスの脳内の重複するニューロン信号の分離を可能にする
2PMなどのより確立された方法によって得られたものと密接に一致するニューロン時系列を提供しながら散乱組織内のニューロン信号を分離するSIDの能力は、実験的に実証された。それらの空間フットプリントに基づいて区別がつかず、高度に相関する活動を示す2つのCA1ニューロンを取り、SIDがこれらのニューロンを空間的に分離し、それらの時間信号を分離することができることが示された。これを達成するために、SIDは、残りのニューロンからのクロストークを排除するために、各ニューロンの空間フットプリント内の数ピクセルのみを必要とする。LFMのボリューム測定FOVおよびフレームレートは、マウス皮質における同様の深さにおける生体内Ca2+撮像に典型的に使用される2PMなどの他の方法のものを上回る。したがって、典型的なLFMボリュームサイズおよびボリューム取得レート内でSIDおよび2PMによって取得されたニューロン時系列を直接比較することによって、開示された実施形態に関する実験的グラウンドトゥルースを確立することは不可能である。それにもかかわらず、実験的グラウンドトゥルースデータが生成され、SIDを使用して抽出された時系列が、現在の技術の制限内で、2PMなどのより確立された方法からのデータと実際に一致することが検証された。そうするために、ハイブリッド2PM-LFMにおけるLFM検出アームと光電子増倍管(PMT)点検出器とを使用して蛍光を同時に検出しながら、マウス皮質内の単一平面内で2PM励起が実行された。2PMハードウェアは、5Hzにおいて200×200μmの平面を走査することを可能にした。取得された2PMデータ上の空間分割と、LFM検出アームにおけるSIDとを使用して、この領域内で見いだされた12のニューロンについて局在化および信号抽出を比較すると、検出された12の活性ニューロンのうちの12と、0.85の2つの方法からの信号の平均相互相関とをもたらす、SIDによって抽出された信号が2PM記録と定量的に一致することが明らかに実証された。
【００７４】
シード型反復分離(SID)は、2PMグラウンドトゥルースと一致する時系列でマウス脳内の重複するニューロン信号の分離および局在化を可能にする
次に、2PMなどのより確立された方法によって取得されるものと密接に一致するニューロン時系列を提供しながら、散乱組織内のニューロン信号を分離するSIDの能力は、実験的および体系的に実証された。単一ニューロンレベルにおける例として、それらの空間的センサフットプリントに基づいて区別することができず、高度に相関する行動を示す2つのCA1ニューロンが選択された。SIDは、ニューロンを空間的に個々のニューロンとして検出することができ、それらの対応する時間信号を分離することができる。これを達成するために、SIDは、それぞれの他のニューロンからのクロストークを排除するために、各ニューロンの空間フットプリント内の数ピクセルのみを必要とする。
【００７５】
開示された実施形態のボリューム測定FOVおよびフレームレートは、マウス皮質における同様の深さにおける生体内Ca2+撮像に典型的に使用される2PMなどの他の技術のものを超える。したがって、典型的なボリュームサイズおよびボリューム取得レート内でSIDおよび2PMによって取得されたニューロン時系列を直接比較することによって、開示された実施形態に関する実験的グラウンドトゥルースを確立することは不可能である。それにもかかわらず、実験的グラウンドトゥルースデータが生成され、SIDによって抽出された時系列が、現在の技術の制限内で、2PMなどのより確立された方法からのデータと一致することが検証された。そのようなことは、ハイブリッド2PM-SID顕微鏡を使用して行われた(方法を参照)。開示されたハイブリッド2PM-SIDにおけるSID検出アームと光電子増倍管(PMT)点検出器とを使用して蛍光を同時に検出しながら、マウス皮質内の単一平面内で2PM励起が実行された。2PMハードウェアは、5Hzにおいて200×200μmの平面の走査を可能にした。取得された2PMデータにおける分水嶺変換と、LFM検出アームにおいて取得されたデータにおけるSIDとに基づいて、空間分割を使用してこの領域内で見いだされた12のニューロンに関する局在化および信号抽出を比較すると、SIDによって抽出された信号が2PM記録と定量的に一致すること(検出された12の活性ニューロンのうちの12、2つの方法からの信号の平均相互相関:0.85)が明らかに実証された。
【００７６】
SIDパフォーマンスのより包括的かつ定量的な評価を得るために、一連の軸方向深さ(100〜375μm、合計n=18記録)における単一平面の同時2PM-SIDムービーのセットが記録された。ニューロンの位置および信号は、制約付き行列因数分解(「CaImAn」)に基づいて、最近公開され、ますます使用されている方法36を使用して、2PMチャネルから抽出された。CaImAnの出力は、グラウンドトゥルースを確立するために手動で評価および修正され、グラウンドトゥルースに対して生のCaImAn出力とSIDの両方が定量的に比較された。
【００７７】
図3aにおいて、異なる組織深さにおける2つの方法のニューロン検出パフォーマンスは、正確に検出された真のニューロンの比率である「感度」スコア(図3a(i))と、総検出に対する偽陽性検出の比率である「精度」(図3a(ii))と、これら2つの量の調和平均である「Fスコア」(図3a(iii))とをプロットすることによって示された。感度と精度との間にトレードオフが存在するが、Fスコアは、各方法の全体的なパフォーマンスを特徴付けるパラメータとして使用され得る。両方の方法は、大部分の実際のニューロンを正しく識別する(図3a)。しかしながら、SIDは、偽陽性分類がより少ない傾向がある(図3b)。全体的に、SIDは、感度(感度スコア)とロバスト性(精度スコア)との間の同等のまたはより良好な妥協を提供し、わずかにより高いFスコアを結果として生じる。
【００７８】
グラウンドトゥルースと比較したSID抽出ニューロン活動トレースの品質は、図3bにおける異なる深さにおいて特徴付けられた。SID抽出信号と2PMグラウンドトゥルース信号との間の平均相関は、100μmの深さにおける0.84±0.05から375μmにおける0.77±0.05まで緩やかに減衰するだけである(図3b(i))。抽出された信号の10%のみが2PMグラウンドトゥルースとの低い(<0.4)相関と、それに対応して近くのニューロピルとのクロストークによるニューロン信号の劣化した重複とを示しながら、すべての真の陽性SID検出のうち、73%は、0.8よりも良好なグラウンドトゥルースとの相関を有し、60%が0.9よりもよかった(図3Bb(ii)のヒストグラムおよび図3b(iii)の例示的なトレース対)。組織の深さの関数としてのそのような不一致の依存性に関する洞察を得るために、0.5未満のグラウンドトゥルースとの相関を有するSID抽出ニューロンの割合が組織の深さにどのように依存するかが計算された(図3b(iv))。それらの割合は、100μmの深さにおいて6%のみ、375μmにおいて約12%を示すことがわかった。とはいえ、上記の不一致の主な原因は、ニューロピルとの相互作用であったので、これは、高密度標識されたサンプルであっても、SIDがニューロンの大多数についてニューロン信号を正しく識別し割り当てることができることを示す。細胞体または核に限られたCa2+指示薬を使用することによってニューロピル標識を排除することによって、さらに良い結果が得られる。加えて、信号からニューロピル寄与を分離および拒絶するための計算戦略も概説された。
【００７９】
次に、近くのニューロンの信号を分離するSIDのパフォーマンスが調査された。ニューロン対の距離を減少させることで一般的に増加することが知られているニューロン信号の生理学的相関と、短いニューロン対の距離におけるSIDのパフォーマンスの低下の両方は、ニューロン対の減少する距離に対して観察される相関の増加を結果として生じることが予想される。SID抽出対に関するそのような観察される相関の基礎となる原動力を分析するために、基礎となるグラウンドトゥルース対のダイナミクスが相関していたかどうかに対するそれらの依存性が調査された。そのようなグラウンドトゥルースニューロン対を識別するために、対応する相互相関行列およびヒストグラムが計算された。その後すべての非相関ニューロン対(<0.2)ならびに相関ニューロン対(>0.6)が選択され、SIDにおける対応する信号対の相関が調査された。約20μm未満の分離に対して非相関グラウンドトゥルースニューロンの対に関する相関の増加が見いだされ、一方、相関するグラウンドトゥルース活動を有する対について、対応するSID抽出対は、横方向距離の範囲にわたって、約20μm程度の近さについて、それらのグラウンドトゥルース対と同様の相関を示した。約20μm未満のSIDによって抽出された非相関グラウンドトゥルースニューロン対に関する観察された相関における上記の非生理学的な増加、ならびに、ほぼ同じ距離までの相関するグラウンドトゥルース対とSIDとの一貫性は、開示されたSIDのアルゴリズムによって達成された識別可能性を表すメトリック、すなわち、散乱マウス脳におけるニューロンの時系列を検出および割り当てるその能力を提供する。SIDが非相関であることが知られているニューロン間の人為的な「相関」を検出し始めると、SIDの限界に達する。
【００８０】
方法
ハイブリッドライトフィールドおよび2光子顕微鏡
同時2PMおよびLFM撮像、魚記録、およびマウス記録に使用される顕微鏡は、カスタムLFM検出アームを有するScientifica Slicescopeプラットフォームの周りに構築される。
【００８１】
2光子励起光源(Coherent Chameleon)は、80MHzの繰り返しレートおよび920nmの波長において140fsのパルスを送達した。ビーム強度は、減衰およびブランキングのために電子光学変調器(Conoptics)を介して制御され、ガルボベースのスキャンヘッド(Scientifica)に供給された。2P経路および1光子励起/LFM検出経路は、ショートパスダイクロイックミラー(Semrock FF746-SDi01)を介して結合された。青色LED(CoolLED pe-2)からの1光子励起光は、Olympusの落射蛍光照明装置に供給され、標準EGFP励起フィルタとダイクロイックとを介してLFM検出経路に反射された。
【００８２】
実験に応じて、1光子光または2光子光のいずれかが使用され、他方は遮断された。いずれも、Nikon16×0.8NA水浸生理学用対物レンズによってサンプルに焦点が合わされた。ゼブラフィッシュの実験について、Olympus20×1.0NAおよびOlympus20×0.5NA水浸対物レンズが使用された。
【００８３】
サンプルからの蛍光は、非デスキャン型PMTアームもしくはLFMアームのいずれかによって検出され、または両方の間で分割された。分割比は、対物レンズの後ろのビーム経路に挿入された主ビームスプリッタによって決定された。カスタム検出ヘッド設計は、100%をPMTにルーティングする構成(665nmロングパスダイクロイック、Scientifica)と、100%をLFMアームにルーティングする構成(フィルタなし)との間でのすばやい切り替え、または、蛍光を10:90もしくは50:50(PMT:LFM)に分割する構成間のすばやい切り替えを可能にした(それぞれ、Omega10%ビームサンプラまたはThorlabs50:50可視光線ビームスプリッタ)。PMT検出アームは、IR遮断フィルタ、集光レンズ、565LPダイクロイック、および525/50nmおよび620/60nm発光フィルタ、ならびにScientifica GaAsP(緑色チャネル)およびアルカリ(赤色)PMTモジュールで構成された。
【００８４】
LFM検出について、蛍光は、レーザをビーム経路に結合するショートパスダイクロイック、ならびに1光子フィルタキューブを通過した。標準的なOlympusチューブレンズによって形成された画像は、次いで、2つの2インチ色消しレンズ(f=200mm、Thorlabs)を介してマイクロレンズアレイ(MLA、Okotech、カスタムモデル、サイズ1インチ平方、F値10、114μmのマイクロレンズピッチ、二次格子、ギャップなし)に中継された。MLAのF値は、顕微鏡の出力F値に一致した。MLAの後焦点面は、フル解像度(2560×2160ピクセル、16ビット)において75fpsまで読み出され得るAndor Zyla5.5sCMOS科学カメラのセンサ上に等倍で写真撮影マクロ対物レンズ(Nikon105mm/2.8)によって中継された。
【００８５】
セットアップは、高速画像取得用のRAID-0構成における4つのソリッドステートディスクと、アナログおよびタイミングI/O用のNational Instruments6110および6321カードとを有するデュアルCPUワークステーション(HP Z820)から制御された。実験は、1光子部分および2光子部分のセットアップに関して、それぞれ、Micro-managertとScanimageとを使用して制御された。
【００８６】
ソース抽出アルゴリズムおよびデータ分析
開示されたソース抽出手法は、背景およびコモンモードダイナミクスを除去するために、生の画像の時系列のランク1行列因数分解で始まる。運動検出メトリックは、背景が減算された画像において計算され、運動メトリック値が閾値を超えるフレームは、さらなる処理から除外される。次に、時間に沿った各ピクセル標準偏差が計算され、「標準偏差画像」が結果として生じる。標準偏差画像は、前述の4、29で説明したように、Richardson-Lucy型アルゴリズム(非負の、オプションでスパース性の制約を用いる)と数値シミュレートされたPSFとを使用してデコンボリューションされた。これは、記録において活性なニューロンを明るい領域として含むボリューム測定フレームを結果として生じる。再構築されたボリュームは、バンドパスフィルタ処理され、局所最大探索を使用して分割され、ニューロン候補位置の辞書を結果として生じる。各位置は、LFMカメラにおけるその(弾道)フットプリントの初期の推定を取得するために、シミュレートされたPSFで畳み込まれる。各フットプリントについて、弾道フットプリントからの寄与を受け取るすべてのマイクロレンズの背後のすべてのピクセルにおける1つであるブールマスクmiが生成された。ニューロンフットプリントのセットは、非負のp×n行列S0に収集され、nは、セグメントにおいて見いだされたニューロンの数であり、pは、カメラピクセルの数である。また、Yをp×nの非負のデータ行列とする(tは、記録における時間ステップの数である)。次いで、非負の最小二乗問題、
T||Y-S T||2を最小化する
T≧0を条件とする
を解くことによって時間更新ステップが実行され、ここで、Tは、反復ソルバを使用する時間成分の非負のn×t行列Tである。前に実行されたランク1行列因数分解において見いだされた背景成分は、それぞれS行列およびT行列の追加の行および列として挿入され、したがって、ニューロン候補とともに更新される。
【００８７】
次に、空間更新ステップが実行される。空間的に重複する成分のすべてのセットOkが見いだされる。これらのkのグループの各々について、Ok内の空間成分に対応するTのすべての列tiを含む行列Tkと、Ok内のマスクmiの非ゼロ領域に入るそれらのピクセルのみを含むデータ行列Ykとが形成される。各kについて、以下の非負の空間的に制約された最小二乗問題が解かれ、すなわち、
Sk||Yk-SkTk||2を最小化する
Sk≧0を条件とする
Skの行=0であり、ここで、マスクmi=0(∀i∈Ok)である。
次いで、時間更新ステップおよび空間更新ステップは、収束まで繰り返される。
【００８８】
最後に、すべての空間成分の積分が計算され、それは1に正規化され、時間成分は、積分によってスケーリングされる。時間成分は、それらが含むノイズの標準偏差(Savitzky-Golayフィットの残差として定義される)に個別にスケーリングされる。
【００８９】
フレームごとに再構築されたLFMデータセットからの信号抽出。
標準的なLFMデータセット(すなわち、Richardson-Lucy型アルゴリズムと数値シミュレートされたPSFとを使用して生のフレームを個別にデコンボリューションすることによって取得されたボリューム測定フレームの列)から信号と空間フィルタとを抽出するために、参考文献35に基づく手法のカスタムMatlab実装形態が使用された。データから緩やかに変化する傾向関数をフィッティングおよび分割した後、経時的なすべてのボクセルの分散が計算され、分散分布の80パーセンタイルよりも上のボクセルは、問題のサイズを小さくするために選択された。選択されたボクセル時系列において主成分分析(PCA)が実行される。過剰適合を回避し、データのノイズを除去するために、PCA成分の最初の8%が保持され、FastICA Matlabパッケージに供給される。結果として生じるICA空間成分は、それらの重み分布に基づいて事後選択される。形状においてニューロンと互換性がある顕著なピーク(すなわち、重み分布の20パーセンタイルよりも大きい値を持つ領域)を含むもののみが保持される。対応する信号は、ピーク内のすべてのボクセルを平均することによって、トレンド除去されたデータから抽出される。
【００９０】
頭部を固定されたゼブラフィッシュ幼虫の生体内Ca2+撮像。
ゼブラフィッシュ実験について、elavl3:H2B-GCaMP6sフィッシュ(n=4)が受精後5〜8日で撮像された。この線は、mitfa-/-、roy-/-背景において核内に閉じ込められたカルシウム指示薬を汎ニューロン的に表現する。幼虫は、2%の低融点アガロース内にそれらを埋め込むことによって固定化された。脊髄記録のために、実験の少なくとも1時間前に、心腔へのαブンガロトキシン(125μM)の注入によって幼虫が麻痺された。
【００９１】
覚醒マウスの動物手術および生体内Ca2+撮像。
手術および実験手順は、動物実験のためのオーストリアおよびヨーロッパの規制(Austrian§26 Tierversuchsgesetz2012-TVG2012)を満たし、ロックフェラー大学のIACUCによって承認された。成体(P90+)のオスおよびメスのC57B1/6J野生型マウス(n=10)が、イソフルラン(0.5〜0.71/minの2〜3%流量)を用いて麻酔させられ、定位固定フレーム(RWD Life Science Co.,Ltd.中国)内に配置された。頭皮を除去し、頭蓋骨から結合組織を取り除いた後、特注の軽金属頭部バーが、シアノアクリレート接着剤(Krazy Glue)を用いて頭蓋骨に固定され、黒色歯科用セメント(Ortho-Jet、Lang Dental、米国またはPaladur、Heraeus Kulzer、GmbH、ドイツ)で覆われた。頭部バーは、後頭骨および頭頂骨において挿入された3本までの無頭M1.4ねじでそれを固定することによって安定化された。次いで、撮像部位(後頭頂皮質、PPC、約2.5mm尾側および約1.8mm外側を中心とする;一次運動皮質、MI、約2.5mm前部および1.5mm外側;背側海馬2.0〜2.5mm尾側およびブレグマに対して1.4〜1.8mm外側)の上で円形開頭術(直径3〜5mm)が実行された。頭蓋骨が開かれ、硬膜が無傷のまま、GECI搬送ウィルスAAV8:hSyn-GCaMP6mが400μm間隔で4〜12の部位に注入され(10nl/minにおいて各25nl;力価約1012ウィルス粒子/ml)、PPCについては硬膜下400〜450μmの深さにおいて、海馬については1200μmの深さにおいて、開頭の中心近くにグリッドを形成する。構築物AAV2/1:Hsyn-JRGECOが注入された。注入後、直径3〜5mm、厚さ#1(0.16mm)のカバーガラスからなるガラス頭蓋窓が開頭術において埋め込まれ、生理食塩水で洗い流され、脳表面に接触して配置され、組織接着剤(Vetbond)を使用して所定の位置で密封された。頭蓋窓を取り囲む露出した頭蓋骨は、水浸対物レンズを用いて撮像するための小さいチャンバを構築するために歯科用セメントで覆われた。背側海馬にアクセスするために、以前に報告されたように、皮質吸引後に頭蓋窓が埋め込まれた42、43。手術後感染
と手術後の痛みとを防ぐために、動物は、抗生物質エンロフロキサシン(50mg/Kg)と鎮痛剤カプロフェン(5mg/Kg)とを含む水を約7日間供給された。手術後、動物は、撮像実験に供する前に、回復とウィルス遺伝子発現のために2〜3週間それらのホームケージに戻された。頭蓋窓埋込みの前後に硬膜が損傷または大きな出血を経験しないことを確実にするために、細心の注意が払われた。損傷した硬膜または不明瞭な窓を有するマウスは、安楽死させられ、撮像実験には使用されなかった。撮像セッション中、動物は、頭部バーホルダとマウス本体スタビライザ(ボディジャケット)とで補完されたカスタマイズされたマウントを使用して頭部固定され、ディスク(直径200mm)上を自由に走ることができた。自発的な活動が記録された。これは、撮像中、動物が誘発する脳の動きを大幅に低減した。マウスのひげおよび顔にエアパフ機械刺激を提供し、同時に、必要に応じてガス麻酔を提供するために、マウスの鼻の前に換気マスクが配置された。典型的な撮像セッションは、2〜10分間連続的に続いた。
【００９２】
SIDアルゴリズム実装形態の詳細
背景拒絶
深部組織LFMムービーは、標準偏差画像を計算する前、および任意のさらなるステップの前に減算されなければならない強い全体的な背景蛍光を含む。この背景は、主に、再構築に使用される数値シミュレートされたPSFによってキャプチャされた深さ範囲の上下から発生する蛍光によるものである。この背景は、ランク1行列因数分解をLFM生データに適用することによって抽出された。ランク1行列因数分解から取得された空間成分および時間成分は、それぞれ、S行列およびT行列の追加の行および列として、空間更新ステップおよび時間更新ステップにおいてニューロン候補に追加される。したがって、背景推定値は、これらの最適化ステップ中に洗練され、活動がニューロンから背景にまたはその逆に再割当てされ得る。時間更新ステップにおいて、これは、固有の背景減算に対応し、空間更新ステップにおいて、背景の形状が洗練される。
【００９３】
背景減算なしでは、LFMムービーの標準偏差画像は、背景における時間的変動によって支配される。背景の一次元近似は、ニューロンフットプリントの弾道成分を取得するのに十分であった。標準偏差画像は、それぞれ、背景減算なしおよび背景減算ありで比較された。背景を除去することが局在化されたソースのLFMフットプリントを明らかにすることは、明らかである。
【００９４】
スパース性分割を用いる再構築
標準偏差画像は、非負の成分をもたらす、ISRA1として知られるRichardson-Lucy型アルゴリズムの改良版を使用して再構築された(数値シミュレートされたPSFを用いてデコンボリューションされた)。弾道PSF2、3を用いるRichardson-Lucyデコンボリューションに基づく古典的なLFM再構築は、光学的空間サンプリング密度が強く減少する顕微鏡の本来の焦点面近くでブロック状のアーティファクトを生じやすい2。これらのアーティファクトは、後続の分割手順の成功に有害である。必要なとき、ISRAは、スパース性制約を用いて修正された。ボリューム推定値xの更新ステップは、
xn+l=xn(PTy/PTPy+λ1dim(x))
であり、ここで、1dim(x)は、xと同じ次元を有する1のベクトルであり、Pは、PSFである。パラメータλは、スパース性促進項の重みを決定する。ゼブラフィッシュ記録のためにλ>0が使用された。深部マウス記録について、パフォーマンス上の理由のためにλ=0が設定され、代わりに、アーティファクト領域内で検出されたニューロン候補が破棄された。再構築の前に、残留背景活動を除外するために、標準偏差画像が閾値処理された。
【００９５】
分割
ニューロン形状に適合しない空間周波数を抑制するために、再構築された標準偏差ボリュームにバンドパスフィルタが適用され、背景を除外するために結果を閾値処理することが続けられた。次いで、局所最大探索アルゴリズムが適用された。再構築された標準偏差画像内の検出された領域は、赤点で標識される。分割閾値は、ノイズとアーティファクトとをロバストに除去するように選択された。
【００９６】
非負行列因数分解
アルゴリズムは、時間更新ステップと空間更新ステップとを交互に行うことによって、本文の方法セクションで説明したように進行する。最初の空間推定値は、弾道フットプリントのみを含むが、更新された推定値は、その周囲の散乱光をますます組み込む。対応する時間成分は、より顕著になり、重複信号からますます分離される。
【００９７】
収束
空間最適化ステップと時間最適化ステップの両方は、凸問題であり、したがって、各々は、大域的最適に収束する。組み合わされた問題は、双凸であり、このクラスの問題のために頻繁に使用されるアルゴリズムである、文献において交互凸探索4として知られているものの変形である。交互凸探索アルゴリズムは、問題をその凸サブ問題に分割することによって、双凸目標関数を最適化し、推測により解を初期化し、以前に解決されたサブ問題(または初期推測)の最適値に固定された他方の変数を維持しながら2つのサブ問題のうちの一方を反復的に解き、次いで、停止基準に達するまでサブ問題を交互にすることによって、双凸目標関数を最適化する。交互凸探索アルゴリズムによって追跡される反復シーケンスは、少なくとも1つの累積点を有し、各累積点がサブ問題の各々についての一意の解を有する場合、連続反復間の差は、ゼロに収束することが示された4。目標関数の値は、各累積点において同じであり、部分的最適値(すなわち、凸変数の各々における最適値)に達する。厳密な意味で、解の大域的な最適性は、保証されない。しかしながら、交互凸探索は、例えば、2PMデータ5の空間-時間分離のためのCa2+撮像の文脈において、双凸最適化問題にルーチン的に適用され、成功している。
【００９８】
空間更新ステップと時間更新ステップの両方について、ISRAアルゴリズムは、スパース性制約なしで使用された。複数のCPUコアならびに数千のGPUコアにわたって効率的に並列化し、大きい問題(ニューロンあたり約1GPU秒以内で数千ピクセル×数千時間ステップ)の迅速な解決を可能にすることがわかった。残差が4桁減少したとき、約10回の反復後にアルゴリズムの高速な収束および中断がルーチン的に観察された。そのような時点で、空間的または時間的な構造は、残差データにおいて明らかではない。
【００９９】
合成データセット生成
合成データセットは、以下のように、パラメータ7〜9について文献の値を使用して生成され、40のニューロン(直径8μmの球体)が70×70×200μmのボリューム内にランダムに配置され、1ニューロン直径の最小距離を維持し、境界線アーティファクトを回避するために各辺において25μmのマージンで取り囲まれた。シミュレートされたニューロン密度は、立法ミリメートルあたり40000になるように選択された。これは、所与の記録中にすべてのニューロンが活性であるというわけでないという事実を説明するために、マウス皮質10について報告されている平均密度よりも約2倍低い。ボリュームサイズは、LFM軸方向範囲の大部分に及ぶのに十分な大きさで、かつ、20CPUコア、クアッドGPUワークステーションの容量内に計算量を維持しながらボリュームの離れた側から発生する散乱ニューロン画像がシミュレートされたLFMセンサ上で重複しないように選択された。活動電位のポアソニアンスパイク列がランダムに生成され(平均発火レート0.5Hz、5Hzのサンプリングレートにおいて1000時間ステップ)、それらの間に何らかの相関関係を導入するために線形に混合され(混合行列は、主成分によって説明される分散の指数分布を結果として生じるように選択された)、指数関数的に減衰するGECI応答カーネル(平均減衰時定数1.2秒)で畳み込まれた。25のGECI信号対雑音比(SNR)をエミュレートするために、結果として生じたトレースにガウスノイズが追加された。
【０１００】
次いで、ランダムに配置されたニューロンおよびシミュレートされたGECI活動トレースは、時系列のボリュームを生成するために組み合わされた。ニューロピルおよび検出ノイズによる背景蛍光の変動を説明するために、合成ボリューム全体(SNR25)、ならびに最終的なシミュレートされたセンサ画像にノイズ背景が追加された。散乱がないときのシミュレートされたセンサデータを取得するために、合成ボリュームは、数値シミュレートされた弾道LFM PSF(16×0.8NA水浸対物レンズに対応する)で畳み込まれた。散乱されたセンサデータの近似値を取得するために、合成ボリュームは、文献の値7、8に従って、100μmの散乱長、深さ400μm、およびHenyey-Greenstein異方性パラメータ0.9に対してモンテカルロ手法から取得されたシミュレートされた散乱PSFで畳み込まれた。
【０１０１】
散乱PSFのモンテカルロシミュレーション
散乱PSFを生成するために、指数分布から散乱イベント(自由経路)間の距離とHenyey-Greenstein分布からの散乱角とをサンプリングすることによって光軸上の点光源から発せられ伝播された100000の仮想光線を使用するモンテカルロ手法が続けられた。各散乱イベントについて、散乱光線の見かけ上の原点において、かつ散乱イベントの前の自由経路に対応する深さにおいて、「仮想」光源が配置された。仮想光源の結果として生じるボリュームは、弾道PSFで畳み込み演算を行うことによって、センサに前方に投影された。これは、空間的に変化するが周期的なLFM PSFの構造を完全にキャプチャするために必要なすべての横方向および軸方法の変位に対して繰り返された。
【０１０２】
SIDで抽出された神経信号の統計分析
抽出品質特性を得るために、覚醒した頭部を固定されたマウスの後頭頂皮質から一連の深さにおいて、１組の単一平面同時2PM-SIDムービーが記録された(100〜375μm、合計n=18記録、4動物)。
【０１０３】
信号抽出、および検出特性の調整
CaImAn分析パッケージにおいて実装されたCa2+信号抽出5のための制約付き行列因数分解アルゴリズムは、パッケージを備えるデモスクリプト6において正確に実施された2PM記録を分析するために使用され、それによって、活性ニューロンのニューロンサイズおよびおおよその数をデータに適した値に適合させた。初期化サブルーチンとコア制約付き行列因数分解とを実行した後、スクリプトは、空間的な形状およびサイズに基づいてROIの事後選択を実行する。アルゴリズムの全体的な感度および精度は、必要な凸性およびニューロンのサイズに関する閾値、ならびに最初に選択された活性ニューロンのおおよその数に大きく依存することがわかった。3つの推定品質、すなわち、「感度」推定(偽陽性を検出するより大きいリスクを容認しながら、ニューロンを取り損なうことを回避する)と、「保守的」推定(実際のニューロンを取り損なうより大きいリスクをとりながら、偽陽性を回避する)と、感度と精度との間の最適なトレードオフを目的とする「バランスのとれた」設定とを結果として生じるデータに関するパラメータ値の3つのセットが決められた。
【０１０４】
ライトフィールド生データが処理された。背景減算の後、運動メトリックが計算され、運動の影響を受けたフレームがさらなる処理から除外された。SIDの感度値および精度値は、データのノイズフロアと背景レベルとをそれぞれ推定する2つのパラメータを変化させ、分割ステップの出力を手動で検査することによって調整される。感度は、ノイズフロアと背景推定値とを低減することによって、精度を犠牲にして増大され得、逆もまた同じである。再び、保守的な信号抽出品質と、バランスのとれた信号抽出品質と、感度信号抽出品質とを結果として生じたパラメータの3つの異なるセットが選択された。SIDは、すべてのデータセットにおいて「バランスのとれた」設定で実行され、加えて、1つの動物からの記録において「保守的」設定および「高感度」設定で実行された。
【０１０５】
グラウンドトゥルースの編集、および検出の分類
高感度CaImAn実行の出力は、手動で検査され、そこに含まれる検出は、検出されたオブジェクトの形状と、単一のオブジェクトがいくつかのROIに分割されたかどうかとを評価することによって、真陽性または偽陽性として分類された。ピックアップされなかった任意のニューロンは、手動で追加され、偽陰性として分類された。一緒に、2PM記録における真陽性CaImAn検出および手動で追加されたニューロン(位置および信号)は、すべてのさらなる分析のためのグラウンドトゥルースと見なされたものを構成する。
【０１０６】
第2の手動ステップにおいて、「高感度」品質設定のすべてのSIDの実行は、SID検出位置をグラウンドトゥルース位置と比較し、一致する対を識別し、任意の欠落しているニューロンを追加し、それらを偽陰性としてマークすることによって評価された。すべての他のCaImAnおよびSID結果の真/偽の陽性/陰性としての分類(すなわち、「バランスのとれた」および「保守的な」抽出品質)は、「高感度」抽出出力に基づいて手動で分類された位置および信号との自動比較と、それに続く手動の検査および検証とによって推測された。
【０１０７】
ニューロン検出スコア
CaImAnおよびSIDのニューロン検出パフォーマンスを説明するために、分類/検出モデルの文脈において一般的に使用される3つの標準品質スコア、すなわち、リコールまたは感度(検出されたニューロンに対する真のニューロンの比率)として知られるスコアと、精度(総検出、すなわち、真陽性および偽陽性の合計に対する真陽性の比率)と、精度およびリコールの調和平均(その値を(0,1)範囲にスケーリングするために2が乗算された)として定義されるFスコアとが計算された。Fスコアは、感度と精度の両方が1に等しいとき、すなわち、すべての真のニューロンが正しく検出され、偽陽性検出が現れなかったとき、1である。
【０１０８】
SIDとCaImAnの両方に関するこれらの3つのスコア、および3つの抽出品質設定がプロットされた。「高感度」品質設定は、SIDとCaImAnの両方において感度スコアを最大化するが、「保守的な」設定は、最大精度スコアを結果として生じる。Fスコアは、「バランスのとれた」設定について最適化される。この結果は、パラメータセットが適切な方法で選択されたことを実証し、「バランスのとれた」SID設定がSID実装形態におけるデフォルトの設定であると判定された。
【０１０９】
SID抽出ニューロン信号の相関分析
図3bに提示されている信号品質評価について、真陽性SID信号のゼロラグ相関係数と、グラウンドトゥルースにおけるそれらのそれぞれの対応物とが、それらの持続時間全体を含んで計算された。したがって、図3bにおいて与えた値は、抽出された信号内の任意のピークがグラウンドトゥルースピークと一致するかどうか(真/偽陽性GECIトランジェント検出)と、抽出された信号におけるそれらの不在が正しいかどうか(真/偽陰性トランジェント検出)の両方に関する情報を含む。比較のために、ピークのみにわたるグラウンドトゥルースに対するSID信号の相関も計算された。結果として生じたピーク-ゲート化信号相関対深さのヒストグラムが形成された。図3b-iに示す非ゲート化信号との比較において、有意差は、観察されなかった。これは、グラウンドトゥルースと比較した抽出された信号における任意の不一致が、偽陰性または偽陽性のピークの方に強く偏らないこと、および、図3b全体を通して使用される非ゲート化相関値が信号抽出品質のよい尺度であることの指標である。
【０１１０】
ニューロピル除去
一般に、近くの神経突起の信号から、ならびに任意の背景信号(ニューロピル)からニューロン信号への汚染を除去することが望ましい場合がある。開示された実施形態において、ニューロピルおよび非常に小さい神経突起からの拡散蛍光は、背景減算、および分割の開始点としての標準偏差画像の使用のためだけでなく、アルゴリズムの残りのために、かなりの程度除外される。LFMおよび2PMにおいて同時に記録されたマウス皮質から平面ムービーが作成された。信号対背景比は、深さ200μmで記録された2PM平面ムービーの平均画像において約2程度の低さであるが、同じムービーの標準偏差画像では約20程度の高さである。後者では、拡散背景は、活性細胞体およびより大きい神経突起と比較して強く抑制される。明らかに細胞体である2PM標準偏差画像の高強度領域は、LFM記録の対応する再構築された標準偏差画像においても際立っており、局所最大探索アルゴリズムとそれに続く分割とによって確実に識別される。このアルゴリズムは、主に活性細胞体を選出するが、より大きくて非常に活性の神経突起のうちのいくつかも選出する。これらのより大きい神経突起は、さらに処理され、それらの空間成分および時間成分は、上記で説明したように繰り返し最適化される。最適化後、最適化された空間成分は、それらの形状をより詳細に調べるために再構築され得る。細胞体は、密集し、より大きく、球形であるが、神経突起は、それらの形態のために、しばしばより大きい領域にわたって延在し、近くの神経突起がそれらの相関する活動のためにしばしば同じ空間成分にマージされるので、より規則的ではない形状を有する。これらの違いは、神経突起からの信号が識別され、神経細胞体の信号から減算され得る手動のまたは自動化された後選択処理のために使用される。
【０１１１】
運動検出および修正
撮像セッション中、他の場所12でより詳細に説明したように、マウスは、頭部バーホルダおよびマウス本体スタビライザ(ボディジャケット)で補完されたカスタマイズされたマウントを使用して頭部を固定され、ディスク(直径200mm)上を自由に走ることができた。これは、撮像中、動物が誘発する脳の動きを大幅に低減した。さらなる処理の前に生のSID/LFM生データにおける任意の残留運動を検出するために、以下のように計算される、画像自己相関に基づく単純な運動検出メトリックが開発された。最初に、生データは、SID/LFMカメラフレームの時系列のランク1非負行列因数分解によって背景減算された。次に、すべての背景減算されたフレーム間の差分フレームが計算され、差分フレームの自己相関画像が計算される。差分フレームにおいて、FOV内の光源の移動は、以前の光源位置から照らされたピクセルにおいて負の値、および新しい光源位置によって照らされたピクセルにおいて正の値として発現する。したがって、ピクセルのこれら2つのセットの値は、反相関し、運動効果の程度に対応する空間的な「ラグ」(距離)において、自己相関画像内に負のピークを結果として生じる。各自己相関画像(自己相関画像の最大値に正規化された)の最小値が抽出され、LFM生フレーム内の運動に関する明確なメトリックを取得するために、この一連の最小値の時間微分がとられた。このメトリックは、同時2PM+SID記録からのデータに対してプロットされた。2PMおよびLFM/SID生データから計算された運動メトリックは、よく一致しており、両方のメトリックにおけるピークは、高分解能光学コンピュータマウスを用いてランニングディスクの動きを追跡することによって記録された動物の動きの始まりと相関する。
【０１１２】
SID/LFMにおいて、システムの点拡がり関数は、(軸方向分解能を提供するために)空間的に変化するように設計されているので、光源の移動は、古典的な広視野撮像におけるようなセンサ上の画像の単なる移動を結果として生じず、より複雑な移動を生じる。しかしながら、差分フレーム自己相関画像の最小値を単に取得することが、依然として運動をうまく捕捉することがわかった。
【０１１３】
運動によって影響を受けるピクセルは、ニューロン活動に起因しない時間に沿った高い標準偏差を示し、したがって、SID分離および分割の精度に悪影響を及ぼす。したがって、標準偏差画像を計算する(図1中のステップii)前に、運動メトリック値が閾値を超えるフレームが除外された。
【０１１４】
運動の影響を受けたフレームからの神経活動は、回復されなかった。LFM/SIDは、公平な方法で全記録ボリュームをキャプチャするので、影響を受けていないフレームのSID検出ニューロンフットプリントを運動の影響を受けたフレームにおける変換されたフットプリントに登録することによってニューロン活動情報を回復し、光源輝度を抽出できることが期待された。前述のように、LFM/SIDにおける光源(ニューロン)の移動は、LFMにおける空間的に変化する点拡がり関数のため、単純な移動ではないそのLFM画像の変換を結果として生じる。しかしながら、点拡がり関数は、既知であるので、光源位置を画像にマッピングし、運動フレーム中に観察される画像を最もよく説明する光源位置の変換を繰り返し見つけることができる。この手順は、LFM点拡がり関数で畳み込み演算を行うことによって位置推定値をLFM画像にマッピングする追加のステップを用いて、画像登録のための標準オプティマイザに基づき得る。
【０１１５】
MiniLFMの光学アライメント
従来の広視野MiniscopeのMiniLFMへの変換のために、画像面の光路内に、CMOS撮像センサから正確に1焦点距離離れてマイクロレンズアレイが導入された。一例では、マイクロレンズアレイは、780μmの焦点距離を有し、100μmのレンズレットピッチで13×13mmと測定された(RPC Photonics MLA-S-100-f8)。画像センサの活性表面から780μmの距離に配置することができるようにするために、センサカバーガラスは、熱風はんだ付けリワークステーションを使用してセンサカバーガラスを定位置に保持する接着剤を焦がすことによって除去された。
【０１１６】
マイクロレンズアレイの後焦点面内にCMOS撮像センサ(1280×1024ピクセル、5.2μmピクセルサイズ、ON Semiconductor、米国)を正確に配置するために、特注のホルダが両方の要素に用いられた。3軸移動ステージおよび高精度キネティックマウント(Thorlabs Inc.、米国)と組み合わせて、セットアップは、マイクロメートルの精度における6自由度における平行移動、回転、傾斜を可能にした。拡張されたコリメートされた緑色レーザビーム(532nm)が法線入射においてMLAに向けられ、センサ画像が各マイクロレンズの後ろに最適で均一な焦点を示すまで、MLAおよびセンサの相対位置が調整された。
【０１１７】
反復プロセスにおいて、焦点は、ImageJマクロ(補足ソフトウェア)を使用して分析され、それに応じてアライメントが調整された。MLA回転は、フレーム全体で線プロファイルをプロットすることによって簡単に診断され、傾斜および平行移動は、粒子分析によって定量化された。ピクセルにおける個々の焦点を合わされたレーザスポットの面積、およびスポットあたりの平均強度は、FOV全体の3600のスポットすべてについて色分けされた方法で焦点位置と傾斜とを視覚化するためにリアルタイムでプロットされた(補足ソフトウェア)。フレーム全体のピーク焦点強度の均一な分布は、傾斜がないことを示す。さらに、センサがマイクロレンズアレイの焦点面内に配置されたとき、レーザスポットの面積は、最小になる。加えて、FOV全体で良好に整列されたシステムの個々のスポットは、サイズ、強度、および対称性について調べられた。
【０１１８】
したがって、粒子分析からの結果は、焦点面積の同時最小化と平均強度の最大化が到達された要素の正確な位置を決定するために使用された。この構成が得られたら、構成要素は、立体顕微鏡の下で、高粘度UV硬化接着剤(NOA63、Norland、米国)を用いて互いに恒久的に接着された。
【０１１９】
GRIN対物レンズとチューブレンズとの間隔における変動にもかかわらず、明確に定義された倍率とオブジェクト空間作動距離とを達成するために、顕微鏡は、「無限」構成において動作するように調整された。非LFM顕微鏡において、これは、画像センサがチューブレンズの後焦点面内に配置されることを意味する。LFMにおいて、これは、チューブレンズの後焦点面内に配置されているMLA(および、上記で説明したアライメント手順によって保証されるように、MLAの後焦点面内のセンサ)に移動する。「無限」構成を見つけるために、定位置のGRIN対物レンズなしで、コリメートされた緑色レーザが絞りを通してMiniLFMの下部開口部に向けられる。レーザは、フィルタを通過し、チューブレンズによって集束され、その強度の一部がMLAの表面から反射され、前の要素を通って後方に伝播する。ここで、チューブレンズからのMLAの距離は、MiniLFMの下部開口部から出てくるMLAの表面からのレーザの後方反射がコリメートされるまで調整される。これは、反射面(MLA)がチューブレンズの後焦点面内に位置する場合のみ当てはまる。
【０１２０】
ミニチュア頭部装着型ライトフィールド顕微鏡。
MiniLFM設計は、オープンソースのMiniscopeプロジェクト23Aに基づき、LEDからの青色光は、ボールレンズによってコリメートされ、励起フィルタ(Chroma ET470/40x)を通過し、ダイクロイックミラー(Chroma T4951pxr)で反射される。GRINレンズ(Edmund64-520、0.5NA、0.23ピッチ、直径1.8mm、長さ3.93mm、530nmにおける作動距離:約200μm)は、その焦点面が対象のサンプル領域の軸中心と一致するように外科的に埋め込まれる(外科的処置については以下を参照)。励起光は、蛍光も収集するGRINレンズを通過する。蛍光は、次いで、ダイクロイックミラーと、発光フィルタ(Chroma ET525/50m)と、GRIN前焦点面の8.93倍された画像を形成するアクロマティックダブレットチューブレンズ(Edmund45-207、f=15mm)とを通過する。MLA(RPC Photonics MLA-S-100-f8、f=780μm、マイクロレンズピッチ100μm、正方形パターン、ギャップなし、13×13mmにダイシング、基板厚2mm)がこの画像面内に配置され、画像センサ(On Semiconductor MT9M001C12STM、1.3Mpx、5.2μmピクセルサイズ、ローリングシャッタ)がMLAの焦点面内に配置される。マイクロレンズアレイを収容するために、画像センサを保持する部分は、Miniscope設計と比較して2.7mmだけ延長された。MLAおよびセンサは、カスタムのアライメントリグを使用して互いに対して整列され、UV硬化接着剤を使用して接着される。既知の倍率を保証するために、GRINとチューブレンズとの距離は、2つのレンズがそれらの焦点距離の合計において配置されるように固定される。読み出し電子機器、ファームウェア、およびソフトウェアは、Miniscopeプロジェクトによって公開されてものと変わらない。センサチップの全フレーム読み出し時間は、50ミリ秒であり、これは、GCaMP6fの立ち上がり時間(200ミリ秒)と比較して短く、したがって、ニューロンタイミング抽出に対するローリングシャッタ読み出しパターンの影響は、無視できる。より薄いガラス基板(同じ製造業者から利用可能な0.2mm)を有するカスタムMLAを使
用することによって、将来Miniscope全体の重量が低減され得ることに留意されたい。これは、全体の重量を約15%低減する。ベースプレートに対するMiniLFMの安定性を改善するために、MiniLFM本体ベースの1つの面は、止めねじを用いたベースプレートへのより強固な固定を可能にするために、薄い1×1.5mmのアルミプレートで補強された。安定性は、本体をベースプレートに接続するために除去可能な接着剤(その重量が無視できるシリコーンエラストマなど)を使用することによってさらに改善され得る。
【０１２１】
信号抽出およびデータ分析。
生データは、以下で簡単に概説する最近確立されたSIDアルゴリズム4に基づくパイプランを使用して処理された。背景減算のためのランク1行列因数分解の後、差分フレームの値範囲に基づく運動メトリックが計算される。生フレームの時系列は、運動メトリック値が閾値を超えるすべての時点において分割され、結果として生じる低運動セグメントは、SIDアルゴリズムを使用して別々に処理される。セグメントの各々について、標準偏差画像が計算され、システムのシミュレートされたPSFを用いる制約付きデコンボリューションによって再構築され、局所最大探索を使用して分割される。結果として生じるニューロン候補位置は、固定された空間(時間)成分を維持しながら時間(空間)成分を交互に更新する制約付き空間-時間行列因数分解アルゴリズムを使用して繰り返し更新される空間フットプリントテンプレートの辞書をシードするために使用される。これは、ニューロンフットプリントのセット(すなわち、LFMセンサにおける各ニューロンの画像のセット)と時間信号とを結果として生じる。ニューロンフットプリントは、前述の光学系のシミュレートされたLFM PSFでのデコンボリューションによって個別に再構築される。これらの各ニューロンの再構築されたボリューム測定画像は、空間のコンパクト性と、予想されるニューロンサイズとの互換性とについてチェックされる。その後、すべての低運動セグメントからのニューロンフットプリントおよび時間信号は、プールされる(フットプリントが強く重複するニューロンをマージする)。この段階における時間信号は、より弱い運動イベントのために短いグリッチを依然として示す場合がある。これらのグリッチは、約1〜10フレーム続くニューロンの輝度における突然の上昇または低下を示し、大部分の信号にわたって同期される。これらの運動グリッチは、(オプションの手動追加を使用して)上記の運動メトリックを使用して検出され、各ニューロンに対してGECI応答モデルダイナミクス31Aを学習し、運動の影響を受けたフレーム全体を補間するためにそれを使用することによって、グリッチ全体で信号を補間する。同じGECI応答モデルは、基礎となるファイアリングレートの推定値ももたらす。モデルは、基礎となる活動電位に対する相対的な蛍光変化の較正を考慮しないので、結果として生じるカルシウム濃度およびファイアリングレートの推定値は、任意の単位において引用される。
【０１２２】
同時の2光子顕微鏡記録およびMiniLFM記録
同時に取得された2光子顕微鏡データとの比較によってMiniLFM/SID結果を検証するために、覚醒マウス(海馬CA1においてGCaMP6fを発現し、GRINレンズが埋め込まれ、金属頭部バーとMiniLFMベースプレートとが頭蓋骨に取り付けられている。動物の処置については以下を参照されたい)が、マウスの頭部の正確な位置決めおよび整列を可能にした円形トレッドミルアセンブリ11A上に、頭部を固定されているが歩くのが自由なように取り付けられた。修正されたMiniLFMデバイスが、市販の正立2光子顕微鏡(2PM 920nmに調整されたCoherent Chameleon Ultra IIレーザ、Olympus PlanApo N 1.25x/0.04対物レンズを有する、Scientifica Slicescope)とインターフェース接続された。MiniLFM本体は、蛍光発光経路の位置において切断され、2P励起光を透過し、GCaMP発光の70%を反射するビームスプリッタ(Thorlabs BST10R)が、その位置において組み込まれ、光軸に対して45度の角度で取り付けられた。反射されたGCaMP発光は、2P励起光を除去するために2つの赤外線ブロッキングフィルタ(Thorlabs GFS900-AおよびSemrock Brightline 720SP)に通され、上記で説明したように、CMOSセンサに整列され接着されたマイクロレンズアレイからなる、変更されていないMiniLFM検出モジュールに向けられた。透過したGCaMP発光は、2PM対物レンズに向けられ、Slicescopeの非走査検出アーム内の光電子増倍管において検出された。MiniLFMフレームレートは、2Hzに設定され、2PM取得トリガは、MiniLFMフレームクロックに同期された。2PMは、蛍光励起を最大化するために各MiniLFMフレームについて9フレームを取得し平均するように設定された。
【０１２３】
それぞれ180秒間続く合計n=5の記録が2匹のマウスから取得された。MiniLFMデータは、上記で説明したように、SIDアルゴリズムを使用して処理された。2PMデータは、活性ニューロンを検出し、それらの信号を抽出するために、CaImAnアルゴリズム31Aに通された。CaImAn出力は、人間が検証したグラウンドトゥルースを確立するために、手動で検査され、偽陽性検出および偽陰性検出について修正された。次いで、SIDで検出されたニューロンは、グラウンドトゥルースと比較され、真/偽陽性/陰性として分類され、対にされたSIDおよびグラウンドトゥルースの時間信号間の相関が計算された。加えて、過剰な相互情報が、グラウンドトゥルースニューロン活動トレースの各々の可能な対に関する相互情報数値と、SID活動トレースの対応する対との間の差として計算された。
【０１２４】
動物の機敏性の定量化
マウスは、トラックの両端における「ベース」領域において提供される水の報酬のために高さのある直線トラック(地上37cm、長さ198cm、壁の高さ2cm)上を前後に走るように訓練された(連続5日間)。訓練が完了した後、3つの条件(搭載されたデバイスなし、Miniscopeあり、MiniLFMあり)の各々についてオーバヘッドカメラ(HDウェブカムC615、Logitech)を使用してマウスの行動が記録された。1回の試験は、10分間続き、1時間の試験間休止期間で、3匹のマウスの各々について1日あたり3回の試験が行われた(並べ替えられた順序で各条件について1回の試験)。試験は、3日間連続して繰り返され、合計n=27回の試験を結果として生じた。動物がトラックを横断する回数を手動で評価し、停止の数をカウントすることによってビデオが分析された。スクリーン定規を使用してトラックに沿って移動した距離を測定し、横断に必要な時間(停止を含まず)でこの値を割ることによって速度が計算された。
【０１２５】
運動および運動アーティファクトによる加速度の定量化
MiniLFM頭部装着型デバイスが受ける加速度を測定するために、3軸MEMS加速度計チップ(Sparkfun ADXL335、範囲±3g、軸あたり10ビット、50Hz帯域幅)を含む回路基板が、MiniLFMセンサ回路基板の背面に取り付けられた。それは、5本の細いワイヤを介してArduinoマイクロコントローラに接続され、Arduinoマイクロコントローラは、生の加速度値を読み出し、それらをPCに転送する。生の値は、重力の影響を除去するためにハイパスフィルタ処理され、MiniLFMフレームレートに一致するようにビニングされた。
【０１２６】
広視野Miniscope記録における運動アーティファクトは、http://github.com/daharoni/Miniscope_AnalysisにおいてMiniscopeデータ分析パッケージの一部として公開された再帰的なFFTベースの剛性画像登録アルゴリズムを適用することによって定量化された。
【０１２７】
実験モデルおよび被写体の詳細
すべての手順は、ロックフェラー大学、ニューヨークにおけるInstitutional Animal Care and Use Committee(IACUC)に従った。マウスは、Jackson Laboratory(C57BL/6J)から取得され、典型的には、適宜に餌および水を用いて標準的なケージ内で12時間/12時間の光サイクルでグループ飼育された。
【０１２８】
動物の手術、および自由に運動するマウスの生体内Ca2+撮像。
成体(P90+)のオスおよびメスのC57B1/6J野生型マウス(n=5)が、イソフルラン(1〜1.5%、流速0.5〜0.71/min)を用いて麻酔させられ、定位フレーム(RWD Life Science Co.,Ltd.中国)内に配置された。250nlのAAVl.Syn.GCaMP6f.WPRE.SV40(力価約1012ウィルス粒子/ml、AV-1-PV2822 Penn Vector Core)が、ブレグマの後方2.1mm、頭蓋骨の上部から2mm横方向で-1.65mm背腹側の座標で海馬後部に注入された。核局在化AAV9.Syn.H2B.GCaMP6f.WPRE.Pzac2.1が同じ力価において注入された。注入は、以前に引かれ、面取りされ、鉱油で満たされたガラスピペットを使用してマイクロインジェクションコントローラ(World Precision Instruments、フロリダ)を用いて行われた。注入の1週間後、GRINレンズ埋込み手術が行われた。頭皮を除去し、頭蓋骨から結合組織を取り除いた後、特注の軽金属頭部バーが、シアノアクリレート接着剤(Krazy Glue)を用いて頭蓋骨に固定され、黒色歯科用セメント(Ortho-Jet、Lang Dental、米国)で覆われた。開頭術の概要は、注入部位を基準として使用して作成された。注入部位から、開頭術の中点は、ブレグマに対して0.5mmより近くに設定された。頭蓋骨を除去した後、皮質は、脳梁が見えるようになるまで大量の冷たい生理食塩水を用いて吸引され、垂直条線が見えるようになるまで、水平条線が注意深く除去された。領域全体がきれいになり、出血が止まると、GRINレンズが頭蓋骨の上部から1.35mmの深さまでゆっくりと挿入され、Vetbond(3M)を使用して定位置に接着された。乾燥すると、頭蓋骨の残りの部分は、黒色歯科用セメントで覆われた。手術後感染と手術後の痛みとを防ぐために、マウスは、抗生物質サプリメント(トリメトプリムおよびスルファメトキサゾール、Purina Mod 5053、LabDiet、ミズーリ州)を含む小球を2週間、および1mg/mlメロキシカムi.p.注射(Putney、英国)を3〜5日間供給された。最後の手術の2週間後、マウスは、麻酔をかけられ、ミニチュア顕微鏡のベースプレートを固定するために定位フレ
ーム内に再び配置された。この目的のため、ベースプレートは、MiniLFMに取り付けられ、ベースプレートの向きのアライメントは、照らされたFOVが画像センサ上の中心になり、センサ上のマイクロレンズアレイによる拡散照明から形成された明るい円がFOVの中心に関して対称に見えるようになるまで手動で調整される。ベースプレートは、次いで、歯科用セメントとKrazy Glueとを使用して定位置に接着される。MiniLFMは、歯科用セメントが硬化するとすぐに除去され、動物は、そのホームケージに戻った。この後、動物は、撮像の準備ができている。
【０１２９】
撮像は、長くても1時間続く実験セッションにおいて行われた。MiniLFMは、固定されたベースプレートにスナップ留めされ、そこで、ベースプレートならびにMiniLFMの底面に埋め込まれた小さいマグネットによって定位置に保持され、さらに止めねじによって固定された。マウスは、オープンフィールドアリーナまたは直線トラックに置かれ、そこでそれらは、記録セッション中に自由に歩いた。
【０１３０】
5匹の動物からの合計12のニューロンの記録が分析された(同時2PM-MiniLFM検証記録を含む)。動物は、すべての準備動物手順が信号検出を可能にするのに十分なほど良好に機能した研究に含まれていた。標準的な2光子顕微鏡を使用して検証されたように、動物手順(手術およびウィルス注入/GECI発現)が成功した場合、撮像結果およびデータ品質は、同じ動物による撮像セッション全体と動物全体の両方で確実に再現可能であることがわかった。この研究の目的は、任意の生物学的所見ではなく神経記録方法を確立することであるので、このサンプルサイズは、開示された方法のパフォーマンスを検証するのに十分である。
【０１３１】
標準的な2光子顕微鏡を使用して検証されたように、すべての準備動物手順が信号検出を可能にするのに十分なほど良好に機能した(すなわち、GECI発現が観察可能であり、埋め込まれたGRINレンズ配置が正しい)動物のみが研究に含まれた。これらの動物のうち、除外された動物はなかった。
【０１３２】
動物手順(手術およびウィルス注入/GECI発現)が(標準的な2光子顕微鏡を使用して検証されたように)成功したすべての動物について、撮像およびデータ分析結果は、同じ動物による撮像セッション全体と動物全体の両方で確実に再現された。
【０１３３】
ソフトウェアおよびコンピューティングシステム
MiniLFMアライメントおよびデータ分析パイプランのためのカスタムコードが開発された。本文およびオンライン方法で説明したように、LFMアライメントのための焦点分析を実装する特注のJava(登録商標)(ImageJ/Fiji、2017年5月30日リリース)およびR(v3.x)コード、ならびに、信号抽出および運動検出パイプランを実装するMatlab(2017a)コードも開発された。以前の文献Nobauer、T.らVideo rate volumetric Ca2+imaging across cortex using seeded iterative demixing(SID)microscopy. Nat Meth 14、811〜818(2017)、doi:10.1038/nmeth.4341によりSupplementary Softwareとして公開されたSID Matlabパッケージ、ならびに、そのパッケージに付属するREADME.txtファイルにリストされている依存関係が必要とされる。
【０１３４】
本明細書で開示された1つもしくは複数の実施形態、またはその一部は、コンピュータまたはワークステーション上で実行されるソフトウェアを使用し得る。単に例として、限定はしないが、図4は、コンピューティングシステム400の形態における機械の実施形態のブロック図であり、その中に、実行されると、本開示の主題の実施形態による方法論のうちの任意の1つまたは複数を機械に実行させる命令402のセットがある。1つまたは複数の実施形態において、機械は、スタンドアロンデバイスとして動作し、1つまたは複数の他の実施形態において、機械は、(例えば、ネットワーク422を介して)他の機械に接続される。ネットワーク化された実装形態において、機械は、サーバ-クライアントユーザネットワーク環境においてサーバまたはクライアントユーザ機械として動作する。開示された主題の実施形態によって企図される機械の例示的な実装形態は、限定はしないが、サーバコンピュータ、クライアントユーザコンピュータ、パーソナルコンピュータ(PC)、タブレットPC、携帯情報端末(PDA)、セルラ電話、モバイルデバイス、パームトップコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、通信デバイス、パーソナルトラステッドデバイス、Webアプライアンス、ネットワークルータ、スイッチもしくはブリッジ、または、その機械によってとられるべきアクションを指定する命令のセット(シーケンシャルまたはその他)を実行することができる任意の機械を含む。
【０１３５】
コンピューティングシステム400は、バス410を介して互いに通信する、処理デバイス404(例えば、中央処理装置(CPU)、グラフィック処理ユニット(GPU)、またはその両方)と、プログラムメモリデバイス406と、データメモリデバイス408とを含む。コンピューティングシステム400は、ディスプレイデバイス412(液晶ディスプレイ(LCD)、フラットパネル、ソリッドステートディスプレイ、または陰極線管(CRT))をさらに含む。コンピューティングシステム400は、バス410を介して互いにおよび/または他の機能ブロックと動作的に結合された、入力デバイス414(例えば、キーボード)と、カーソル制御デバイス416(例えば、マウス)と、ディスクドライブユニット418と、信号生成デバイス420(例えば、スピーカまたはリモートコントロール)、ネットワークインターフェースデバイス424とを含む。
【０１３６】
ディスクドライブユニット418は、本明細書で例示されたそれらの方法を含む本明細書における方法論または機能のうちの任意の1つまたは複数を具体化する命令402(例えば、ソフトウェア)の1つまたは複数のセットが記憶される機械可読記録媒体426を含む。命令402はまた、コンピューティングシステム400によるそれらの実行中に、プログラムメモリデバイス406内、データメモリデバイス408内、および/または処理デバイス404内に完全にまたは少なくとも部分的に存在し得る。プログラムメモリデバイス406および処理デバイス404は、機械可読記録媒体も構成する。本明細書で説明した方法を実装するために、限定はしないが、ASIC、プログラマブルロジックアレイ、および他のハードウェアデバイスなどの専用ハードウェア実装形態が同様に構成され得る。様々な実施形態の装置およびシステムを含む用途は、様々な電子機器およびコンピュータシステムを広く含む。いくつかの実施形態は、関連する制御信号およびデータ信号がモジュール間およびモジュールを介して通信される2つ以上の特定の相互接続されたハードウェアモジュールまたはデバイスにおいて、またはASICの一部として機能を実装する。したがって、例示的なシステムは、ソフトウェア、ファームウェア、および/またはハードウェアの実装形態に適用可能である。
【０１３７】
本明細書で使用される「処理デバイス」という用語は、例えば、CPU(中央処理装置)および/または他の形態の処理回路を含むものなどの任意のプロセッサを含むことを意図している。さらに、「処理デバイス」という用語は、2つ以上の個別のプロセッサを指す場合がある。「メモリ」という用語は、例えば、RAM(ランダムアクセスメモリ)、ROM(読み出し専用メモリ)、固定メモリデバイス(例えば、ハードドライブ)、リムーバブルメモリデバイス(例えば、ディスケット)、フラッシュメモリなどの、プロセッサまたはCPUに関連付けられたメモリを含むことを意図している。加えて、ディスプレイデバイス412、入力デバイス414、カーソル制御デバイス416、信号生成デバイス420などは、まとめて「入力/出力インターフェース」と呼ばれる場合があり、処理デバイス404にデータを入力するための1つまたは複数のメカニズムと、処理デバイスに関連付けられた結果を提供するための1つまたは複数のメカニズムとを含むことを意図している。(限定はしないが、キーボード(例えば、英数字入力デバイス414、ディスプレイデバイス412など)を含む)入力/出力またはI/Oデバイスは、(バス410を介するなどして)直接、または介在する入力/出力コントローラ(明瞭さのために省略)を介してシステムに結合され得る。
【０１３８】
開示された主題の1つまたは複数の実施形態の集積回路の実装形態において、複数の同一のダイが、典型的には、半導体ウェーハの表面上に繰り返しパターンで製造される。各々のそのようなダイは、本明細書で説明したデバイスを含み得、他の構造および/または回路を含み得る。個々のダイは、ウェーハから切断またはダイシングされ、次いで、集積回路としてパッケージ化される。当業者は、集積回路を製造するためにどのようにウェーハをダイシングし、ダイをパッケージ化するのかを知っているであろう。添付図面に示される例示的な回路または方法のうちのいずれかまたはその一部は、集積回路の一部であり得る。そのように製造された集積回路は、この開示された主題の一部と見なされる。
【０１３９】
開示された主題の実施形態による集積回路は、バッファが利用される本質的に任意のアプリケーションおよび/または電子システムにおいて使用され得る。開示された主題の1つまたは複数の実施形態を実装するための適切なシステムは、限定はしないが、パーソナルコンピュータ、インターフェースデバイス(例えば、インターフェースネットワーク、高速メモリインターフェース(例えば、DDR3、DDR4)など)、データ記憶システム(例えば、RAIDシステム)、データサーバなどを含む。そのような集積回路を組み込んだシステムは、開示された主題の実施形態の一部と見なされる。本明細書で提供される教示が与えられると、当業者は、他の実装形態および用途を企図することができるであろう。
【０１４０】
様々な実施形態によれば、本明細書で説明した方法、機能、またはロジックは、コンピュータプロセッサ上で実行される1つまたは複数のソフトウェアプログラムとして実装される。限定はしないが、特定用途向け集積回路、プログラマブル論理アレイ、および他のハードウェアデバイスを含む専用ハードウェア実装形態は、同様に、本明細書で説明した方法を実装するために構築され得る。さらに、限定はしないが、分散処理もしくは構成要素/オブジェクト分散処理、並列処理、または仮想マシン処理を含む、代替のソフトウェア実装形態も、本明細書で説明した方法、機能、またはロジックを実装するために構築され得る。
【０１４１】
実施形態は、命令402を含む機械可読記録媒体またはコンピュータ可読記録媒体、または、ネットワーク環境422に接続されたデバイスが音声、ビデオ、またはデータを送信または受信することができるように、そして、命令402を使用してネットワーク422を介して通信するために、伝播信号から命令402を受信および実行するものを考慮する。命令402は、ネットワークインターフェースデバイス424を介してネットワーク422を介してさらに送信または受信される。機械可読記録媒体は、本明細書におけるシステムおよび方法の例示的実施形態において、データと機械またはコンピュータとの間の機能的関係を提供する際に有用なデータを記憶するためのデータ構造も含む。
【０１４２】
機械可読記録媒体412は、例示的な実施形態において単一の媒体であるように示されているが、「機械可読記録媒体」という用語は、命令の1つまたは複数のセットを記憶する単一の媒体または複数の媒体(例えば、集中型もしくは分散型データベース、ならびに/または関連するキャッシュおよびサーバ)を含むと解釈されるべきである。「機械可読記録媒体」という用語はまた、機械によって実行するための命令のセットを記憶、符号化、または搬送することができ、実施形態の方法論のうちの任意の1つまたは複数を機械に実行させる任意の媒体を含むと解釈されるべきである。したがって、「機械可読記録媒体」という用語は、限定はしないが、ソリッドステートメモリ(例えば、ソリッドステートドライブ(SSD)、フラッシュメモリなど)、読み出し専用メモリ(ROM)もしくは他の不揮発性メモリ、ランダムアクセスメモリ(RAM)もしくは他の書き換え可能(揮発性)メモリ、ディスクもしくはテープなどの光磁気もしくは光媒体、および/または、有形の記憶媒体と同等の配布媒体と見なされる電子メールもしくは他の自己完結型情報アーカイブもしくはアーカイブのセットへのデジタルファイル添付を含むと解釈されるべきである。したがって、実施形態は、本明細書においてリストされた、本明細書におけるソフトウェア実装形態が記憶される技術的に認められた同等物および後継媒体を含む、有形の機械可読記録媒体または有形の配布媒体のうちの任意の1つまたは複数を含むと見なされる。
【０１４３】
本明細書における方法、機能、および/またはロジックを実装するソフトウェアは、ディスクもしくはテープなどの磁気媒体、ディスクなどの光磁気もしくは光学媒体、または、1つもしくは複数の読み出し専用(不揮発性)メモリ、ランダムアクセスメモリ、もしくは他の書き換え可能(揮発性)メモリを収容するメモリオートモービルもしくは他のパッケージなどのソリッドステート媒体などの有形の記憶媒体上にオプションで記憶されることも留意されるべきである。電子メールまたは他の自己完結型情報アーカイブもしくはアーカイブのセットへのデジタルファイルの添付は、有形の記憶媒体と同等の配布媒体と見なされる。したがって、本開示は、本明細書においてリストされた有形の記憶媒体または配布媒体と、本明細書におけるソフトウェア実装形態が記憶される他の同等物および後継媒体とを含むと見なされる。
【０１４４】
本明細書は、特定の標準およびプロトコルを参照して実施形態において実装される構成要素および機能を説明しているが、実施形態は、そのような標準およびプロトコルに限定されない。
【０１４５】
本明細書で説明した実施形態の図は、様々な実施形態の構造の一般的な理解を提供することを意図しており、それらは、本明細書で説明された構造を使用する可能性がある装置およびシステムのすべての要素および特徴の完全な理解として機能することを意図していない。上記の説明を検討すると、当業者には多くの他の実施形態が明らかであろう。本開示の範囲から逸脱することなく構造的および論理的な置換および変更が行われるように、他の実施形態が利用され、そこから導出される。また、図は、単なる具象的なものであり、縮尺通りに描かれていない。その特定の割合は誇張され、他の割合は減少されている。したがって、本明細書および図面は、制限的な意味ではなく、例示的な意味において考えられるべきである。
【０１４６】
2つ以上が実際に示されている場合、そのような実施形態は、本明細書において、便宜上単に「実施形態」という用語によって、本出願の範囲を任意の単一の実施形態または発明概念に自発的に限定することを意図せずに、個別におよび/または集合的に言及される。したがって、本明細書において特定の実施形態が示された説明されているが、同じ目的を達成するために計算された任意の配置は、示された特定の実施形態に置き換えられることが認識されるべきである。本開示は、様々な実施形態のあらゆるすべての適応または変形を網羅することを意図している。本明細書において具体的に説明されていない上記の実施形態の組合せ、および他の実施形態は、上記の説明を検討すると、当業者には明らかであろう。
【０１４７】
実施形態の前述の説明において、本開示を合理化する目的のため、様々な特徴が単一の実施形態にグループ化されている。この開示の方法は、特許請求された実施形態が各請求項において明示的に列挙された特徴よりも多くの特徴を有することを反映するものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明の主題は、単一の実施形態のすべての特徴よりも少ないものにある。したがって、以下の特許請求の範囲は、ここで詳細な説明に組み込まれ、各請求項は、個別の例示的な実施形態として独立している。
【０１４８】
要約は、読者が技術的開示の性質を迅速に確認することを可能にする要約を要求する37C.F.R.§1.72(b)に準拠するために提供される。それは、特許請求の範囲の範囲または意味を解釈または制限するために使用されないという理解で提出される。加えて、前述の詳細な説明において、本開示を合理化する目的のため、様々な特徴が単一の実施形態にグループ化されていることがわかる。この開示の方法は、特許請求された実施形態が各請求項において明示的に列挙された特徴よりも多くの特徴を必要とすることを反映するものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明の主題は、単一の実施形態のすべての特徴よりも少ないものにある。したがって、以下の特許請求の範囲は、ここで詳細な説明に組み込まれ、各請求項は、個別に特許請求される主題として独立している。
【０１４９】
特定の例示的な実施形態について説明したが、本明細書で説明した本発明の主題のより広い範囲から逸脱することなく、これらの実施形態に様々な修正および変更が行われることは明らかであろう。したがって、本明細書および図面は、制限的な意味ではなく、例示的な意味において考えられるべきである。本明細書の一部を形成する添付図面は、限定ではなく例示として、主題が実施される特定の実施形態を示す。示された実施形態は、当業者が本明細書における教示を実施することができるように十分詳細に説明されている。本開示の範囲から逸脱することなく構造的および論理的な置換および変更が行われるように、他の実施形態が利用され、そこから導出される。したがって、この詳細な説明は、限定的な意味で解釈されるべきではなく、様々な実施形態の範囲は、添付の特許請求の範囲と、そのような特許請求の範囲が権利を有する均等物のすべての範囲とによってのみ定義される。
【０１５０】
本明細書で提供される教示が与えられると、当業者は、開示された実施形態の技法の他の実装形態および適用を企図することができるであろう。本明細書において添付図面を参照して例示的な実施形態について説明したが、これらの実施形態が開示された実施形態に限定されないこと、および、添付の特許請求の範囲から逸脱することなく当業者によって様々な他の変更および修正がなされることが理解されるべきである。
【０１５１】
参考文献
1. Chenら、Nature499、295-300(2013)
2. Schrodelら、Nat. Methods10、1013-1020(2013)
3. Nguyenら、Proc. Natl. Acad. Sci.113、E1074-E1081(2016)
4. Prevedelら、Nat. Methods11、727-730(2014)
5. Ahrensら、Nat. Methods 10、413-420(2013)
6. Denkら、Science 248、73-76(1990)
7. Helmchenら、Nat. Methods2、932-940(2005)
8. Jiら、Nat. Neurosci.19、1154-1164(2016)
9. Greweら、Nat. Methods 7、399-405(2010)
10. Botcherbyら、Proc. Natl. Acad. Sci.109、2919-2924(2012)
11. Kirkbyら、Opt. Express 18、13720(2010)
12. Chengら、Nat. Methods 8、139-142(2011)
13. Kimら、Opt. Express 15、11658(2007)
14. http://hiorxiv.org/lookup/doi/10.1101/011320におけるStirmanら、Wide field-of-view, twin region two-photon imaging across extended cortical networks.(2014)
15. Reddyら、Nat. Neurosci. 11、713-720(2008)
16. Katonaら、Nat. Methods 9、201-208(2012)
17. Fernandez-Alfonsoら、J. Neurosci. Methods 222, 69-81(2014)
18. Prevedelら、Nat. Methods advance online publication、(2016)
19. Huisken、J. Science 305、1007-1009(2004)
20. Wuら、Proc. Natl. Acad. Sci. 108、17708-17713(2011)
21. Chhetriら、Nat. Methods 12、1171-1178(2015)
22. Bouchardら、Nat. Photonics 9、113-119(2015)
23. Yangら、Neuron 89, 269-284(2016)
24. Abrahamssonら、Nat. Methods 10、60-63(2012)
25. Packerら、Nat. Methods 12、140-146(2015)
26. Levoyら、ACM Trans. Graph. 25、924(2006)
27. Broxtonら、Opt. Express 21、25418-25439(2013)
28. Cohenら、Opt. Express 22、24817-24839(2014)
29. Pegardら、Optica 3、517(2016)
30. Liuら、Opt. Express 23、14461(2015)
31. Kaifoshら、Front. Neuroinformatics 8、80(2014)
32.<http://papers.nips.cc/paper/5167-extracting-regions-of-interest-from-biological-imageswith-convolutional-sparse>におけるPachitariuら、Extracting regions of interest from biological images with convolutional sparse block coding, in Adv. Neural Inf. Process. Syst. 1745-1753(2013)
33. Mukamelら、Neuron 63、747-760(2009)
34. http://www.sciencedirect.com/science/article/pii/S0896627315010843におけるPnevmatikakisら、Neuron(2016)
35. Maruyamaら、Neural Netw. Off. J. Int. Neural Netw. Soc. 55、11-19(2014)
36. Haeffeleら、Structured Low-Rank Matrix Factorization: Optimality, Algorithm, and Applications to Image Processing, in Proc. 31st Int. Conf. Mach. Learn. 32、(JMLR:, 2014)
37.<http://papers.nips.cc/paper/5342-sparse-space-timedeconvolution-for-calcium-image-analysis.pdf>におけるDiego Andilla, F. & Hamprecht, F. A. in Adv. Neural Inf. Process. Syst. 27(eds. Ghahramani, Z., Welling, M., Cortes, C, Lawrence, N. D. & Weinberger, K. Q.)64-72(Curran Associates, Inc.、2014)
38. Nairatら、Approach for incorporating aerosol scattering in wave optics propagation simulation in 2013 IEEE Aero sp. Conf. 1-5(2013) doi: 10.1109/AERO.2013.6497321
39. Jacques, S. L., Phys. Med. Biol. 58, R37(2013)
40. Dombeckら、Nat. Neurosci. 13、1433-1440(2010)
41. Kaifoshら、Nat. Neurosci. 16、1182-1184(2013)
42. Gravesら、Neuron 76、776-789(2012)
43. Wallerら、Nature 523、416-417(2015)
44. https://www.semanticscholar.org/paper/Efficient-and-accurate-extraction-of-in-vivo-Zhou-Resendez/e57dh51b5518da58ae734ff58014f3a862b30b0eにおけるZhouら、Efficient and accurate extraction of in vivo calcium signals from microendoscopic video data、(2015)
45. http://arxiv.org/abs/1606.07372におけるApthorpeら、Automatic Neuron Detection in Calcium Imaging Data Using Convolutional Networks. ArXivl60607372 Cs Q-Bio(2016)
46. Wangら、Nat. Commun. 6、(2015)
1A. Jiら、Nat. Neurosci. 19、1154-1164(2016)
2A. Yangら、Nat. Methods 14、349-359(2017)
3A. Prevedelら、Nat. Methods 11、727-730(2014)
4A. Nobauerら、Nat. Methods 14、811-818(2017)
5A. Pegardら、Optica 3、517(2016)
6A. Huiskenら、Science 305、1007-1009(2004)
7A. Ahrensら、Nat. Methods 10、413-420(2013)
8A. Chhetriら、Nat. Methods 12、1171-1178(2015)
9A. Bouchardら、Nat. Photonics 9、113-119(2015)
10A. Schrodelら、Nat. Methods 10、1013-1020(2013)
11A. Prevedelら、Nat. Methods 13、1021-1028(2016)
12A. Duemani Reddyら、Nat. Neurosci. 11、713-720(2008)
13A. Yangら、Neuron 89、269-284(2016)
14A. Katonaら、Nat. Methods 9、201-208(2012)
15A. Fernandez-Alfonso,ら、J. Neurosci. Methods 222、69-81(2014)
16A. Botcherbyら、Proc. Natl. Acad. Sci. 109、2919-2924(2012)
17A. Lu,ら、Nat. Neurosci. 20、620-628(2017)
18A. Song,ら、Nat. Methods 14、420-426(2017)
19A. Chenら、Nature 499、295-300(2013)
20A. Helmchenら、Neuron 31、903-912(2001)
21A. Flusbergら、Nat. Methods 5、935-938(2008)
22A. Ghosh,ら、Nat. Methods 8、871-878(2011)
23A. Caiら、Nature 534、115-118(2016)
24A. Barbera,ら、Neuron 92、202-213(2016)
25A. Sabharwalら、Appl. Opt. 38、7133-7144(1999)
26A. Jung et al, J. Neurophysiol. 92、3121-3133(2004)
27A. Flusbergら、Opt. Lett. 30、2272-2274(2005)
28A. Zivら、Nat. Neurosci. 16、264-266(2013)
29A. Levoy,ら、ACM Trans. Graph. 25、924(2006)
30A. Broxtonら、Opt. Express 21、25418-25439(2013)
31A. Pnevmatikakisら、Neuron 89、285-299(2016)
32A. Matzら、Opt. Express 24、10987-11001(2016)
【符号の説明】
【０１５２】
400  コンピューティングシステム
402  命令
404  処理デバイス
406  プログラムメモリデバイス
408  データメモリデバイス
410  バス
412  ディスプレイデバイス
414  入力デバイス、英数字入力デバイス
416  カーソル制御デバイス
418  ディスクドライブユニット
420  信号生成デバイス
421  機械可読記録媒体
422  ネットワーク、ネットワーク環境
424  ネットワークインターフェースデバイス
【図１】
2020521171.tif 000003
【図２】
2020521171.tif 000004
【図３Ａ】
2020521171.tif 000005
【図３Ｂ】
2020521171.tif 000006
【図４】
2020521171.tif 000007
【図５】
2020521171.tif 000008
【図６】
2020521171.tif 000009
【図７Ａ】
2020521171.tif 000010
【図７Ｂ】
2020521171.tif 000011
【図７Ｃ】
2020521171.tif 000012
【図８】
2020521171.tif 000013
【国際調査報告】
2020521171.tif 000014