(57)【特許請求の範囲】
【請求項１】
粒子（Ｐ）が流れる流路（１０）上の第１視野（１２）及び第２視野（１４）を撮像する撮像部（２０）と、
システム時間を発するシステム時間管理部（４０）と、
前記システム時間とともに、前記撮像部（２０）が撮像した画像を記憶する画像記憶部（３０）と、
前記粒子（Ｐ）が含まれる画像を検出する第１粒子検出部（３２）と、
前記粒子（Ｐ）が対象粒子であるか否かを判断するソート判断部（３４）と、
前記流路（１０）上の検出位置（Ｘ）において前記粒子（Ｐ）を検出する検出器（６０）と、
前記システム時間とともに、前記検出器（６０）からの検出信号を記憶する検出信号記憶部（７０）と、
前記粒子（Ｐ）の通過に対応する検出信号を検出する第２粒子検出部（７２）と、
前記第１視野（１２）及び前記第２視野（１４）で撮像された前記粒子（Ｐ）の画像により求められる、前記粒子（Ｐ）が前記第１視野（１２）及び前記第２視野（１４）を通過した時間である視野通過時間（ΔＴ）に基づき、前記粒子（Ｐ）が前記検出位置（Ｘ）に到達する到達予想時間を計算する計算部（３６）と、
前記ソート判断部（３４）の判断結果に応じて、前記計算部（３６）によって計算されたタイミングに合わせて前記粒子（Ｐ）をソートするために、ソート信号を発するソート信号制御部（３８）と、
前記ソート信号に基づいて、前記対象粒子をソートするソート部（５０）と、
前記計算部（３６）によって計算された前記到達予想時間と、前記検出器（６０）によって検出された前記粒子（Ｐ）の前記検出位置（Ｘ）への到達時間とを比較する比較部（８０）と、を有し、
前記ソート信号制御部（３８）は、前記到達予想時間と前記到達時間との比較結果と、前記検出位置（Ｘ）と前記ソート部（５０）との距離に基づき、前記ソート部（５０）が前記対象粒子（Ｐ）をソートするタイミングを調整する、
イメージングフローサイトメーター（１）。
【請求項２】
前記撮像部（２０）は、ＴＤＩカメラである、
請求項１に記載のイメージングフローサイトメーター。
【請求項３】
前記第１粒子検出部（３２）は、検出された前記粒子（Ｐ）に識別番号を付与する、
請求項１又は２に記載のイメージングフローサイトメーター。
【請求項４】
前記計算部（３６）は、同じ識別番号が付与された前記粒子（Ｐ）の前記第１視野（１２）及び前記第２視野（１４）における画像の前記システム時間に基づいて、前記粒子（Ｐ）が前記ソート部（５０）に到達するまでの時間を計算する、
請求項１〜３のいずれかに記載のイメージングフローサイトメーター。
【請求項５】
前記検出位置（Ｘ）は、前記ソート部（５０）に位置する、
請求項１〜４のいずれかに記載のイメージングフローサイトメーター。
【請求項６】
前記検出位置（Ｘ）は、前記ソート部（５０）よりも上流に位置する、
請求項１〜４のいずれかに記載のイメージングフローサイトメーター。
【請求項７】
前記ソート信号制御部（３８）は、第１の前記視野通過時間（ΔＴ１）を有する前記粒子（Ｐ）を第１の時間幅（Ｗ１）でソートし、第１の前記視野通過時間（ΔＴ１）より長い第２の前記視野通過時間（ΔＴ２）を有する前記粒子（Ｐ）を前記第１の時間幅（Ｗ１）よりも長い第２の時間幅（Ｗ２）でソートするように、前記ソート部（５０）が前記対象粒子（Ｐ）をソートするタイミングを調整する、
請求項１〜６のいずれかに記載のイメージングフローサイトメーター。
【請求項８】
粒子（Ｐ）が流れる流路（１０）上の第１視野（１２）及び第２視野（１４）を撮像部（２０）が撮像し、
前記撮像部（２０）が撮像した画像を、システム時間とともに記憶し、
前記粒子（Ｐ）が含まれる画像を第１粒子検出部（３２）が検出し、
前記流路（１０）上の検出位置（Ｘ）において前記粒子（Ｐ）を検出器（６０）が検出し、
前記検出器（６０）からの検出信号を、前記システム時間とともに記憶し、
前記粒子（Ｐ）の通過に対応する検出信号を第２粒子検出部（７２）が検出し、
前記第１視野（１２）及び前記第２視野（１４）で撮像された前記粒子（Ｐ）の画像により求められる、前記粒子（Ｐ）が前記第１視野（１２）及び前記第２視野（１４）を通過した時間である視野通過時間（ΔＴ）に基づき、前記粒子（Ｐ）が前記検出位置（Ｘ）に到達する到達予想時間を計算し、
前記検出信号に基づき、前記粒子（Ｐ）が前記検出位置（Ｘ）に到達した到達時間を取得し、
前記到達時間に基づいて、前記視野通過時間（ΔＴ）から計算される前記到達予想時間を調整し、
前記検出位置（Ｘ）は、ソート部（５０）に位置し、
調整された前記到達予想時間に基づき、前記ソート部（５０）が前記粒子（Ｐ）をソートするタイミングを調整する、
キャリブレーション方法。
【請求項９】
粒子（Ｐ）が流れる流路（１０）上の第１視野（１２）及び第２視野（１４）を撮像部（２０）が撮像し、
前記撮像部（２０）が撮像した画像を、システム時間とともに記憶し、
前記粒子（Ｐ）が含まれる画像を第１粒子検出部（３２）が検出し、
前記流路（１０）上の検出位置（Ｘ）において前記粒子（Ｐ）を検出器（６０）が検出し、
前記検出器（６０）からの検出信号を、前記システム時間とともに記憶し、
前記粒子（Ｐ）の通過に対応する検出信号を第２粒子検出部（７２）が検出し、
前記第１視野（１２）及び前記第２視野（１４）で撮像された前記粒子（Ｐ）の画像により求められる、前記粒子（Ｐ）が前記第１視野（１２）及び前記第２視野（１４）を通過した時間である視野通過時間（ΔＴ）に基づき、前記粒子（Ｐ）が前記検出位置（Ｘ）に到達する到達予想時間を計算し、
前記検出信号に基づき、前記粒子（Ｐ）が前記検出位置（Ｘ）に到達した到達時間を取得し、
前記到達時間に基づいて、前記視野通過時間（ΔＴ）から計算される前記到達予想時間を調整し、
前記検出位置（Ｘ）は、ソート部（５０）よりも上流に位置し、
調整された前記到達予想時間と、前記検出位置（Ｘ）と前記ソート部（５０）との距離とに基づき、前記ソート部（５０）が前記粒子（Ｐ）をソートするタイミングを調整する、
キャリブレーション方法。
【請求項１０】
前記ソート部（５０）は、第１の前記視野通過時間（ΔＴ１）を有する前記粒子（Ｐ）を第１の時間幅（Ｗ１）でソートし、第１の前記視野通過時間（ΔＴ１）より長い第２の前記視野通過時間（ΔＴ２）を有する前記粒子（Ｐ）を前記第１の時間幅（Ｗ１）よりも長い第２の時間幅（Ｗ２）でソートする、
請求項８又は９に記載のキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を用いて細胞などの対象物をソートするイメージングフローサイトメーター、ソート方法、及び、キャリブレーション方法に関する。
【背景技術】
【０００２】
一般に、細胞などの対象物をソートするフローサイトメーターは、対象物に由来する信号を検出する検出部と、検出部で得られた信号に基づいて、特定の対象物であるか否かを判断するソート判断部と、ソート判断部の判断結果に基づいて、対象物をソートするソー部とを有する（例えば、特許文献１）。対象物のソート精度を高めるためには、特定の対象物がソート部に到達するタイミングに合わせて、ソート部を動作させる必要がある。
【０００３】
従来のフローサイトメーターでは、ソート判断部が信号処理に要する時間は短く、概ね１ミリ秒以内である。現実的には、流路を流れる対象物は、対象物による速度ばらつきを有する。例えば、異なる種類の細胞は、速度が異なる場合がある。また、同じ種類の細胞であっても、流路内の中心付近を流れる細胞ほど速度が速くなる。
これに対し、検出部からソート部までの距離を短くすることにより、対象物の速度ばらつきの影響を抑制できる。そのため、従来のフローサイトメーターでは、対象物の速度ばらつきを考慮せず、対象物が検出部を通過してから、一定の遅延時間が経過したタイミングでソート部を動作させるのが一般的であった。
【０００４】
一方、画像を用いて特定の対象物であるか否かを判断するイメージングフローサイトメーターでは、必要な情報を取得するための信号処理時間が長くなる場合があり、例えば、２〜３２ミリ秒程度の時間を要する場合がある。この場合、検出部からソート部までの距離を長くする必要がある。対象物の速度ばらつきを考慮せず、対象物が検出部を通過してから、一定の遅延時間が経過したタイミングでソート部を動作させると、速度ばらつきの影響により、ソート精度が低下する。
【０００５】
このような速度ばらつきによるソート精度の低下を抑制するため、個々の対象物の速度を計測する速度計測部を有する構成が提案されている。例えば、特許文献１には、グレーティング（回折格子）を用いた速度計測部が開示されている。また、非特許文献１には、対象物が流れる流路の上流側と下流側にレーザースポットを配置し、対象物が各レーザースポットを通過するタイミングから、個々の対象物の速度を計測する構成が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６，５３２，０６１号公報
【非特許文献】
【０００７】
【非特許文献１】N. Nitta et al., Intelligent Image-Activated Cell Sorting. Cell 175, 266-276 (2018)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１のようにグレーティングを用いた速度計測部では、複数の対象物が近接した状態で流路を流れる場合、個々の対象物の速度を計測することが困難となる。
また、個々の対象物の速度を計測できたとしても、特許文献１では速度信号と細胞分類の計算を各々独立して行い、それらの結果を遅延処理回路に入力してソート部を制御するものである。そのため、カメラで撮像された個々の画像と速度計測部で計測された個々の対象物の速度とが、正確に1対1対応で紐付けされる確証がない。異なる対象物に由来する画像の処理結果と速度情報とが誤って紐付けられてしまうと、正確にソートできないため問題となる。具体的には、高いスループットで対象物を流路に流す場合には、個々の対象物の信号間隔が狭まり、場合によっては信号が重複して埋没し、紐付けにエラーを引き起こすことがある。あるいは、計測対象物が小さい場合など、カメラでは識別されたが速度検出部では検出できなかった場合も、信号の1対1対応にエラーを来たすことがある。
【０００９】
非特許文献１のように２つのレーザースポットを用いる構成によれば、近接する複数の対象物に対しても、個々の対象物の速度を計測できる。しかし、２つのレーザースポットを用いる構成では、速度検出のために２か所へのレーザー照射、およびそれらレーザースポット各々から発せられる信号の検出器などが必要となり、装置が大掛かりになる。
【００１０】
また、フローサイトメーター中を流れる粒子の撮像や検出を行うためには通常、対物レンズを用いるが、対物レンズから得られる視野（field of view）には限りがある。非特許文献１の方法では、少なくとも速度計測用の２スポットと画像撮像用の１スポットを対物レンズの視野内に収める必要があるが、光の漏れこみなどを防ぐためにスポット間にはある程度の間隔をあける必要がある。そのため、特に画像撮像用に複数スポットを設定したい場合などは、対物レンズの視野中でのレーザースポットの場所の取り合いが課題となる。例えば、異なる波長の励起光を照射した際に得られる蛍光画像を別々に撮像したい場合、異なる波長の励起光ごとに位置を離してレーザースポットを設置することが考えられる。しかし、このような場合に、さらに速度検出用に２スポットを設定することは設計上の負担となる。
【００１１】
さらに非特許文献１では、速度計測用の2つのレーザースポットのうち片方で粒子が検出された場合に、その一定時間後にカメラで撮像を行い、その際に速度計測値および画像の各々に共通の識別番号を付与することで、速度情報と画像情報との紐付けを行う。しかし、感度不十分などの理由でレーザースポットでの信号検出に失敗すると、画像は保持されず、取り漏らしが発生する。
【００１２】
本発明は、簡易な構成で対象物の速度ばらつきを考慮したソート精度の高いイメージングフローサイトメーター、ソート方法、及びキャリブレーション方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の観点は、
粒子が流れる流路上の第１視野及び第２視野を撮像する撮像部と、
システム時間を発するシステム時間管理部と、
前記システム時間とともに、前記撮像部が撮像した画像を記憶する画像記憶部と、
前記粒子が含まれる画像を検出する粒子検出部と、
前記粒子が対象粒子であるか否かを判断するソート判断部と、
前記粒子の遅延時間を計算する遅延時間計算部と、
前記ソート判断部の判断結果に応じて、前記遅延時間計算部によって計算されたタイミングに合わせて前記粒子をソートするために、ソート信号を発するソート信号制御部と、
前記ソート信号に基づいて、前記対象粒子をソートするソート部と、
を有し、
前記遅延時間計算部は、前記第１視野及び前記第２視野で撮像された前記粒子の画像に基づき、前記粒子が前記ソート部に到達するまでの前記遅延時間を計算する、
イメージングフローサイトメーターである。
【００１４】
本発明の第２の観点は、
粒子が流れる流路上の第１視野及び第２視野を撮像部が撮像し、
前記撮像部が撮像した画像を、システム時間とともに記憶し、
前記粒子が含まれる画像を粒子検出部が検出し、
前記粒子が対象粒子であるか否かをソート判断部が判断し、
前記第１視野及び前記第２視野で撮像された前記粒子の画像に基づき、前記粒子がソート部に到達するまでの遅延時間を計算し、
前記ソート判断部の判断結果に応じて、前記粒子の遅延時間に基づいてソート部が前記対象粒子をソートする、
ソート方法である。
【００１５】
本発明の第３の観点は、
粒子が流れる流路上の第１視野及び第２視野を撮像部が撮像し、
前記撮像部が撮像した画像を、システム時間とともに記憶し、
前記粒子が含まれる画像を第１粒子検出部が検出し、
前記流路上の検出位置を検出器が検出し、
前記検出器からの検出信号を、前記システム時間とともに記憶し、
前記粒子の通過に対応する検出信号を第２粒子検出部が検出し、
前記第１視野及び前記第２視野で撮像された前記粒子の画像により求められる、前記粒子が第１視野及び前記第２視野を通過した時間に基づき、前記粒子が前記検出位置に到達する到達予想時間を計算し、
前記検出信号に基づき、前記粒子が検出位置に到達した到達時間を取得し、
前記到達時間に基づいて、前記粒子が第１視野及び前記第２視野を通過した時間から計算される前記到達予想時間を調整する、
キャリブレーション方法である。
【発明の効果】
【００１６】
本発明によれば、簡易な構成で対象物の速度ばらつきを考慮したソート精度の高いイメージングフローサイトメーター、ソート方法、及びキャリブレーション方法を提供できる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態のイメージングフローサイトメーターの構成図
【図２】（ａ）は識別番号ＩＤの粒子が時刻ｔ１に第１視野の中心に位置する画像、（ｂ）は識別番号ＩＤの粒子が時刻ｔ２に第２視野の中心に位置する画像
【図３】第２実施形態のイメージングフローサイトメーターの構成図
【図４】キャリブレーション方法の一例を示す図
【発明を実施するための形態】
【００１８】
＜第１実施形態＞
以下、図面を参照して、第１実施形態のイメージングフローサイトメーター１について説明する。図１は、本実施形態のイメージングフローサイトメーターの構成図である。本実施形態のイメージングフローサイトメーター１は、流路１０を流れる粒子Ｐがソート対象となる対象粒子であるか否かを判断し、対象粒子をソートするものである。粒子Ｐは、例えば、ビーズ、細胞および細胞塊（血球細胞、骨髄細胞、リンパ球、循環がん細胞、血管内皮細胞、血小板、血小板凝集塊、卵子、精子、受精卵、スフェロイド、オルガノイドなど）、オルガネラ（染色体、葉緑体、ミトコンドリアなど）、微生物、寄生虫、花粉、藻（クラミドモナス、ユーグレナなど）である。多数の粒子Ｐは、流路１０を一定の方向に流れる。図１は、異なる種類の粒子Ｐ１，Ｐ２，Ｐ３が、この順で流路１０を流れる様子を示す。
【００１９】
イメージングフローサイトメーター１は、撮像部２０と、画像記憶部３０と、粒子検出部３２と、ソート判断部３４と、遅延時間計算部３６と、ソート信号制御部３８と、システム時間管理部４０と、ソート部５０と、を有する。
【００２０】
撮像部２０は、流路１０上の第１視野１２及び第２視野１４を連続的に撮像する。図１は、第１視野１２内に粒子Ｐ３が流れ、第２視野１４内には粒子Ｐが流れていない状態を示す。撮像部２０は、例えば、ＴＤＩ（Time Delay Integration）カメラである。
第１視野１２及び第２視野１４は、いずれも撮像部２０の光学系の視野に含まれる。なお、単一のカメラ上で第１視野１２及び第２視野１４の双方を撮像してもよいし、各々の視野に対して個別にカメラを割り当ててもよい。
【００２１】
ＴＤＩカメラは、撮像対象物の移動とカメラの画像センサ上での電荷の移動を一致させることで、一定速度で移動する物体を、露光時間を確保しつつブレを防いで撮像する。ＴＤＩカメラの画像センサ上での電荷の移動方向が粒子Pの移動方向と一致するように配置し、さらに電荷の移動速度と粒子Pの画像センサ上での見かけの移動速度が一致するように、光学系の倍率や粒子の移動速度、画像センサのクロックなどのパラメータを適切に設定することで、粒子Ｐの画像を撮像できる。ＴＤＩカメラについては、例えば、米国特許第６，２１１，９５５号公報や米国特許第６，２４９，３４１号公報に記載されている。
【００２２】
また、撮像部２０は、ＴＤＩカメラに限られず、一般のラインセンサを用いたり、エリアセンサと回転ミラーを組み合わせたりしてもよい（例えば、D. B. Kay et al., The Journal of Histochemistry and Cytochemistry 27, 329-334, 1979）。
【００２３】
また、撮像部２０は、フラッシュランプとエリアセンサを組み合わせた方法（例えば、K. Satoh et al., Cytometry 48, 194-201, 2002）、ＳＴＥＡＭ法（例えば、K. Goda et al., Proc. Natl. Acad. Sci. USA 109, 11630-11635, 2012）、ＦＩＲＥ法（例えば、E, D. Diebold et al., Nature Photonics 7, 806-810, 2013）、Spatial-Temporal Transformation法（例えば、Y. Han and Y.-H Lo, Scientific Reports 5, 13267, 2015）、ＦＤＭ法（例えば、H. Mikami et al., Optica 5, 117-126, 2018）などの各種のイメージングフローサイトメーター技術と組み合わせてもよい。
【００２４】
撮像部２０が撮像した第１視野１２及び第２視野１４の画像は、画像記憶部３０に出力される。
システム時間管理部４０は、システム時間を発する。システム時間管理部４０により発せられたシステム時間は、画像記憶部３０とソート信号制御部３８に送信される。
【００２５】
画像記憶部３０は、撮像部２０から連続的に出力される第１視野１２及び第２視野１４の画像を記憶する。また、画像記憶部３０は、システム時間管理部４０が発するシステム時間を受信する。そして、第１視野１２及び第２視野１４の画像が画像記憶部３０に入力されたタイミングのシステム時間を、画像記憶部３０は画像とともに記憶する。すなわち、各画像にはタイムスタンプが付与される。
【００２６】
画像記憶部３０は、撮像部２０からの画像入力と、粒子検出部３２への画像出力と、システム時間管理部４０からのシステム時間の入力をリアルタイムに処理する。画像は、ラインバッファ又は画像バッファで保存される。
【００２７】
画像記憶部３０は、画像バッファとなる内部メモリを搭載したＦＰＧＡ（Field Programmable Gate Array）や、ＦＰＧＡとＤＲＡＭ（Dynamic Random Access Memory）などの外部メモリを組合わせた構成や、ＦＰＧＡを専用もしくは汎用の論理回路に置き換えた構成、マイクロプロセッサとメモリを組合わせたコンピュータシステムでもよい。
【００２８】
粒子検出部３２は、粒子Ｐが含まれる画像を検出する。具体的には、画像記憶部３０に記憶される画像の中には、粒子Ｐが含まれる画像と粒子Ｐが含まれない画像があるが、例えば、画像解析の技術により、粒子Ｐが含まれる画像を検出できる。また、粒子検出部３２は、画像解析の技術により、粒子Ｐの領域や輪郭、位置を取得できる。
【００２９】
様々な画像解析の方法が知られており、粒子Ｐの種類などによって選択できる。例えば、非特許文献１に示されるように、粒子検出部３２は、ビーズ粒子を対象として、画像の二値化により粒子領域を検出してもよい。また、粒子検出部３２は、藻類細胞を対象として、フィルタにより細胞輪郭を示す特徴量を抽出した後に、その輪郭を二値化し、モルフォロジー演算により連結・拡縮することで細胞領域を検出してもよい。
また、市販の画像解析ソフトウエアや、オープンソースの画像解析ソフトウエアなどを用いて、細胞の輪郭抽出や細胞領域のセグメンテーションなどにより細胞領域を検出してもよい。
【００３０】
また、粒子検出部３２は、検出された粒子Ｐに対し、図２（ａ）、図２（ｂ）に示すように、粒子Ｐの第１視野１２における画像と第２視野１４における画像とを１対１に対応付け、粒子単位で識別番号を付与する。
粒子検出部３２で検出され識別番号を付与された粒子Ｐの画像は、ソート判断部３４に出力される。また、粒子検出部３２は、識別番号を付与され、かつ、画像記憶部３０でシステム時間を付与された粒子Ｐの画像より、検出された粒子Ｐの所定の特徴点（例えば、中心、重心、先端、後端など）が第１視野１２及び第２視野１４の所定の基準位置（例えば、中央）を通過した時間ｔ１およびｔ２を計算する。
【００３１】
ここで、図２を参照して、粒子検出部３２による通過時間を詳細に説明する。図２（ａ）は、識別番号ＩＤの粒子Ｐが第１視野１２の中心に位置する画像を示す。このとき、第２視野１４には粒子Ｐは存在しない。図２（ｂ）は、同じ識別番号ＩＤの粒子Ｐが第２視野１４の中心に位置する画像を示す。このとき、第１視野１２には粒子Ｐは存在しない。
【００３２】
撮像部２０がＴＤＩカメラなどのラインセンサであり、各ラインに対してシステム時間が付与されている場合、粒子Ｐの特徴点が含まれるラインに付与されたシステム時間を、粒子Ｐが第１視野１２及び第２視野１４を通過した時間ｔ１およびｔ２とする。
【００３３】
撮像部２０がエリアセンサであり、各画像に対してシステム時間が付与されており、図２に示すように、第１視野１２及び第２視野１４の中心に粒子Ｐが到達したタイミングでの画像を得ることができる場合、画像に付与されたシステム時間をｔ１およびｔ２とする。
ここで、第１視野１２及び第２視野１４の中で粒子Ｐが撮像される位置が所定の基準位置と異なる場合は、画像に付与されたシステム時間及び粒子Ｐの特徴点の位置情報より、ｔ１およびｔ２の推定値を計算できる。例えば、第１視野１２及び第２視野１４での粒子Ｐを含む画像に付与されたシステム時間がＴ１およびＴ２、画像上の基準位置から粒子Ｐの特徴点の流路の流れ方向へのずれ量がΔｙ１およびΔｙ２、粒子の流れ方向での移動速度の推定値がＶである場合、ｔ１＝Ｔ１＋Δｙ１／Ｖ、ｔ２＝Ｔ２＋Δｙ２／Ｖなどとして計算できる。
【００３４】
なお、図２（ａ）においては、システム時間ｔ１において第２視野１４に粒子Ｐが含まれていない例を示したが、システム時間ｔ１において別の粒子Ｐが第２視野１４に含まれていてもよい。また、図２（ｂ）においては、システム時間ｔ２において第１視野１２に粒子Ｐが含まれていない例を示したが、システム時間ｔ２において別の粒子Ｐが第１視野１２に含まれていてもよい。
粒子検出部３２は、粒子Ｐに対して算出されたシステム時間ｔ１及びｔ２を、粒子Ｐに対して付与された識別番号とともに、遅延時間計算部３６に出力する。
【００３５】
ソート判断部３４は、粒子Ｐが対象粒子であるか否かを判断する。具体的には、ソート判断部３４は、粒子検出部３２から出力される粒子Ｐの画像を解析することにより、粒子Ｐが対象粒子であるか否かを判断する。そして、ソート判断部３４は、粒子Ｐの識別番号とともに判断結果をソート信号制御部３８へ出力する。
ソート判断部３４は、対象となる粒子の種類に応じて様々な画像解析方法を用いることが出来る。例えば、画像から1つ以上の特徴量を計算し、その分布から粒子Ｐを分類する方法、特徴量の分布に対してＳＶＭ（Support Vector Machine）などの機械学習により分類する方法、画像に対して深層学習を適用することで分類する方法などが用いられる。
【００３６】
特徴量による分類方法として、非特許文献１に示されるように、ソート判断部３４は、ビーズ粒子を対象として、画像の粒子面積や明るさなどの分布に対して、特定の領域をソート対象とする方法を用いてもよい。また、ソート判断部３４は、藻類細胞を対象として、画像内の蛍光の明るさの局在を特徴量化し、細胞面積と併せた分布に対して特定の領域をソート対象とする方法を用いてもよい。
また、深層学習による分類方法として、ソート判断部３４は、ビーズ粒子を対象として２クラスを分類するＣＮＮ（Convolutional Neural Network）を構成して、一方のクラスをソート対象とした方法を用いてもよい。また、ソート判断部３４は、ヒトの血球細胞を対象として、３クラスを分類するＣＮＮを構成して、各クラスの確信度の分布に対して、特定の領域をソートする方法を用いてもよい。
このほか、ソート判断部３４は、米国特許第６，２１１，９５５号公報に記載されるように、細胞核内部の蛍光画像から輝点の有無により分類する方法を用いてもよい。
【００３７】
遅延時間計算部３６は、粒子検出部３２で計算された、粒子Ｐが第１視野１２及び第２視野１４の基準位置を通過した時間ｔ１及びｔ２に基づき、粒子Ｐがソート部５０に到達するまでの遅延時間を計算する。具体的には、第１視野１２及び第２視野１４の各々の基準位置の間の距離をＬ１、第１視野１２の基準位置とソート部５０との間の距離をＬ２とすると、遅延時間ΔＴは、ΔＴ＝（Ｌ２／Ｌ１）×（ｔ２−ｔ１）として求められる。この時、Ｌ１及びＬ２の値がいずれも既知である場合、それらの値を用いてもよい。Ｌ１及びＬ２のうち少なくとも一方が不確定な場合は、係数Ａ＝Ｌ２／Ｌ１の値をキャリブレーションによって求めてもよい。
なお、上記の遅延時間ΔＴは、粒子Ｐが第１視野１２の基準位置を通過してから粒子Ｐがソート部５０に到達するまでの時間であるが、これに限られない。遅延時間は、粒子Ｐが第２視野１４の基準位置を通過してからソート部５０に到達するまでの時間でもよい。
【００３８】
遅延時間計算部３６は、粒子Ｐの識別番号とともに粒子Ｐの遅延時間をソート信号制御部３８へ出力する。
【００３９】
ソート信号制御部３８は、ソート判断部３４の判断結果に応じて、遅延時間計算部３６によって計算された粒子Ｐの遅延時間に基づいて計算されるタイミングで粒子Ｐをソートするために、必要となるソート信号を発する。
ソート信号制御部３８には、システム時間管理部４０からシステム時間が送信されているため、粒子Ｐがソート部５０に到達するタイミングに合わせて、ソート信号制御部３８はソート部５０に適切なソート信号を発する。
【００４０】
ソート信号は、例えば、パルス信号である。パルス信号は、対象粒子がソート部に到達したタイミングに合わせて発せられ、ソート部５０に伝達される。または、タイミングの情報を符号化した信号を、別途準備した信号線を用いて伝達してもよい。
また、ソート部５０が対象粒子を２種類以上に分けてソートする場合がある。例えば、２種類に分けてソートする場合（2-way sorting）、４種類に分けてソートする場合（4-way sorting）がある。そのような場合には、ソート判断部３４が対象粒子をさらに複数の異なる種類に分類し、その分類結果がソート信号に含まれる。その場合、例えば、パルス信号の振幅や符号などを用いて、分類結果をパルス信号に含ませることができる。
または、パルス信号と合わせて別途準備した信号線を用いて、分類結果をデジタル信号などとしてソート部５０に伝達してもよい。
さらに、ソート信号はソートのタイミングを開始時間としてソートを持続する時間幅を伝達してもよい。その場合、ソートを持続する時間幅を、パルス信号のパルス幅として伝達してもよいし、ソートを持続する時間幅を符号化した信号を別途準備した信号線を用いて伝達してもよい。
【００４１】
なお、粒子Ｐがソート部５０に到達するシステム時間は、遅延時間計算部３６、ソート信号制御部３８のいずれが計算してもよい。
ソート判断部３４の判断結果により、粒子Ｐが対象粒子である場合のみに、ソート信号制御部３８がソート信号を発してもよい。また、ソート判断部３４の判断結果により、粒子Ｐが対象粒子である場合と対象粒子ではない場合に、ソート信号制御部３８が異なるソート信号を発してもよい。
【００４２】
ソート部５０は、ソート信号制御部３８から発せられるソート信号に基づいて、対象粒子をソートする。ソート部５０は、ソート信号で示されたタイミングに基づき、ソート信号制御部３８から受信、又は、ソート部５０内部に格納された、ソートウィンドウの情報（後述する図４のＷ１、Ｗ２）より、ソート方向の切り替えを制御する。ソート部５０は、例えば、ドロップレットソーターやオンチップソーターである。
【００４３】
ソート部５０は、例えば、M. J. Fulwyler, Science 150, 910-911 (1965)に開示されたドロップレットソーターでもよい。この場合、ソート部５０は、流路１０の先端に配置されたノズルを有し、ノズルより液滴（droplet）が一定周期で形成される。対象粒子を含む液滴が形成されるタイミングで対象粒子近傍の液体に電場を与えることで、対象粒子を含む液滴に対して選択的に荷電する。液滴が落下する軌跡の近傍に静電場を与えることで、荷電された対象粒子を含む液滴のみ選択的に、落下軌跡をずらすことができ、落下点に回収容器を設置することで対象粒子をソートできる。さらに、液滴に荷電する電荷の正負及び電荷量をコントロールし、液滴の軌跡を異なるの方向や角度に振り分けることによって、２種類以上の種類の細胞を２つ以上の個別の容器に分けて回収することもできる。
【００４４】
ソート部５０は、例えば、非特許文献１に開示されたオンチップソーターでもよい。この場合、流路１０を跨ぐ形でデュアルメンブレンポンプ（dual-membrane pump）を配置することで、対象粒子が通過するタイミングで流路１０に対して直交する方向に局所的な流れを引き起こして対象粒子の軌跡をずらし、下流に配置した分岐流路で異なる方向の流路に振り分けることで、対象粒子をソートする。デュアルメンブレンポンプについては、例えば、S. Sakuma et al., Lab on a Chip 17, 2760-2767, 2017に記載されている。
【００４５】
以下、本実施形態のイメージングフローサイトメーター１を用いたソート方法について説明する。まず、多数の粒子Ｐが流路１０を流れる。撮像部２０は、第１視野１２及び第２視野１４を連続的に撮像する。撮像部２０が撮像した画像は、システム時間とともに画像記憶部３０に記憶される。そして、粒子検出部３２は、粒子Ｐが含まれる画像を検出する。
ソート判断部３４は、粒子Ｐが対象粒子であるか否かを判断する。また、遅延時間計算部３６は、粒子Ｐが第１視野１２及び第２視野１４の基準位置を通過した時間ｔ１及びｔ２に基づき、粒子Ｐがソート部５０に到達するまでの遅延時間を計算する。そして、ソート部５０は、ソート判断部３４の判断結果に応じて、遅延時間に基づいて粒子Ｐをソートする。
【００４６】
このように、本実施形態のイメージングフローサイトメーター１やソート方法によれば、従来よりも簡易な構成で、粒子Ｐの速度ばらつきを考慮し、ソート精度を高めることができる。
【００４７】
＜第２実施形態＞
以下、図面を参照して、第２実施形態のイメージングフローサイトメーター１について説明する。図３は、本実施形態のイメージングフローサイトメーター１の構成図である。本実施形態のイメージングフローサイトメーター１は、遅延時間のキャリブレーション機能を有する。具体的には、イメージングフローサイトメーター１では、キャリブレーション用のビーズ（粒子Ｐ）を流路１０に流し、第１視野１２、第２視野１４を流れる粒子Ｐが、検出位置Ｘで検出される到達時間を測定する。これにより、第１視野１２、第２視野１４を流れる粒子Ｐから計算される粒子Ｐの到達予想時間のキャリブレーションを行う。
【００４８】
イメージングフローサイトメーター１は、撮像部２０と、画像記憶部３０と、第１粒子検出部３２と、遅延時間計算部３６と、システム時間管理部４０と、検出器６０と、検出信号記憶部７０と、第２粒子研修部７２と、比較部８０と、を有する。本実施形態の撮像部２０、画像記憶部３０、遅延時間計算部３６は、第１実施形態と同一である。
【００４９】
本実施形態の第１粒子検出部３２は、第１実施形態の粒子検出部３２と同一である。第１粒子検出部３２で検出され識別番号を付与された粒子Ｐの画像は、比較部８０に出力される。
また、第１粒子検出部３２は、粒子Ｐに対して算出されたシステム時間ｔ１及びｔ２を、粒子Ｐに対して付与された識別番号とともに、遅延時間計算部３６に出力する。
【００５０】
遅延時間計算部３６は、第１粒子検出部３２で計算された、粒子Ｐが第１視野１２及び第２視野１４の基準位置を通過した時間ｔ１及びｔ２に基づき、粒子Ｐが後述する検出位置Ｘに到達する時間（到達予想時間）を計算する。
遅延時間計算部３６は、粒子Ｐの識別番号とともに粒子Ｐの到達予想時間を比較部８０へ出力する。
【００５１】
システム時間管理部４０は、システム時間を発する。システム時間管理部４０により発せられたシステム時間は、画像記憶部３０と検出信号記憶部７０に送信される。
【００５２】
検出器６０は、流路１０上の検出位置Ｘを流れる粒子Ｐを検出する。検出器６０は、例えば、カメラ、ストロボカメラ、レーザーとディテクタである。カメラやストロボカメラは、検出位置Ｘの画像を取得し、その画像から粒子Ｐの通過を検出する。レーザーとディテクタでは、レーザーをディテクタに入射させて検出位置Ｘにおけるディテクタの信号を取得し、検出位置Ｘを粒子Ｐが通過したときの信号波形の変化から、粒子Ｐの通過を検出する。検出位置Ｘは、ソート位置の近くであることが好ましい。検出器６０は、検出信号を検出信号記憶部７０に出力する。
なお、検出器６０が画像を取得する場合は、第１視野１２、第２視野１４、検出位置Ｘを同時に検出できるものであることが好ましい。
【００５３】
検出信号記憶部７０は、検出器６０から出力される検出信号を記憶する。また、検出信号記憶部７０は、システム時間管理部４０が発するシステム時間を受信する。そして、検出信号が検出されたタイミングのシステム時間（到達時間）を、検出信号記憶部７０は検出信号とともに記憶する。すなわち、各検出信号にはタイムスタンプが付与される。
【００５４】
検出信号記憶部７０は、検出器６０からの検出信号の入力と、第２粒子検出部７２への検出信号の出力と、システム時間管理部４０からのシステム時間の入力をリアルタイムに処理する。
検出器６０が画像を取得する場合、検出信号記憶部７０は、画像記憶部３０と同様の構成を採用してもよい。検出器６０がディテクタのように時間方向に連続な信号を取得する場合、検出信号記憶部７０は、検出信号をデジタル信号に変換するＡＤＣ（Analog Digital Converter）と、検出信号バッファとなる内部メモリおよび処理回路を搭載したＦＰＧＡ（Field Programmable Gate Array）で構成できる。検出信号バッファと処理回路については、ＦＰＧＡとＤＲＡＭ（Dynamic Random Access Memory）などの外部メモリを組合わせた構成や、ＦＰＧＡを専用もしくは汎用の論理回路に置き換えた構成、マイクロプロセッサとメモリを組合わせたコンピュータシステムでもよい。
【００５５】
第２粒子検出部７２は、粒子Ｐの通過によって引き起こされた検出信号の変化を検出することで粒子Ｐの検出を行い、検出信号記憶部７０によって粒子Ｐの通過に対応する検出信号に付与されたシステム時間（到達時間）を比較部８０へ出力する。
検出器６０が画像を取得する場合は、第２粒子検出部７２は、第１粒子検出部３２と同様の構成を採用してもよい。検出器６０がディテクタのように時間方向に連続な信号を取得する場合、例えば、信号の変化が一定の閾値以上であった時間を粒子Ｐの通過時間として粒子Ｐを検出するなどの方法により、粒子を検出することができる。
【００５６】
比較部８０は、遅延時間計算部３６から出力される粒子Ｐの識別番号と、第２粒子検出部７２から出力される粒子Ｐの到達時間を紐付ける。具体的には、比較部８０は、遅延時間計算部３６からの粒子Ｐの到達予想時間と、第２粒子検出部７２からの粒子Ｐの到達時間に基づいて、粒子Ｐの識別番号を紐付ける。
比較部８０は、紐付けられた粒子Ｐの識別番号、到達予想時間、到達時間をセットで出力する。
【００５７】
比較部８０は、粒子Ｐの到達予想時間、到達時間に基づいて、キャリブレーションを行う。図４は、キャリブレーション方法の一例を示す。横軸は、遅延時間計算部３６により計算される視野通過時間ΔＴを示す。ここで、粒子Ｐが第１視野１２及び第２視野１４の基準位置を通過した時間をｔ１、ｔ２とすると、視野通過時間ΔＴは（ｔ２−ｔ１）となる。縦軸は、粒子Ｐの到達時間Ｔを示す。
第１視野１２及び第２視野１４の各々の基準位置の間の距離をＬ１、第１視野１２の基準位置と検出位置Ｘの間の距離をＬ２とすると、粒子Ｐが等速運動をしている場合には、到達予想時間は（Ｌ２／Ｌ１）×（ｔ２−ｔ１）として求められる。ここでは係数Ａ＝Ｌ２／Ｌ１の値をキャリブレーションにより求めることで、ｔ１およびｔ２が与えられた際に到達予想時間を求めることができる。
【００５８】
比較部８０は、粒子Ｐの視野通過時間ΔＴと到達時間Ｔをプロットし、モデル式にフィッティングを行う。モデル式は、例えば、図４に示すような原点を通る直線であるが、これに限られない。原点を通る直線をモデル式とする場合、モデル式はＴ＝Ａ×ΔＴとなる。比較部８０は、粒子Ｐの視野通過時間ΔＴと到達時間Ｔのプロットから係数Ａを求めることにより、キャリブレーションを行う。
【００５９】
比較部８０は、粒子Ｐの到達予想時間に代えて、又は、粒子Ｐの到達予想時間に加えて、ソートウィンドウをキャリブレーションしてもよい。ここで、ソートウィンドウとは、ソート部５０がソートを行う時間帯を示す。図４に示す例では、粒子Ｐの視野通過時間がΔＴ１である場合、到達時間Ｔ１を含むソートウィンドウＷ１の時間帯において、ソートを行うことを示す。また、粒子Ｐの視野通過時間がΔＴ２である場合、到達時間Ｔ２を含むソートウィンドウＷ２の時間帯において、ソートを行うことを示す。ソートウィンドウの幅（時間の長さ）は、粒子Ｐの遅延時間によらず一定でもよいし、粒子Ｐの遅延時間に依存して可変でもよい。一般に、粒子Ｐの速度が速い場合は視野通過時間が短くなり、遅延時間が小さくなる。反対に、粒子Ｐの速度が遅い場合は視野通過時間が長くなり、遅延時間が大きくなる。図４に示す例では、粒子Ｐの視野通過時間が長くなり遅延時間が大きいほど、ソートウィンドウの幅が広くなる。遅延時間が大きいほど誤差も大きくなるため、ソートウィンドウの幅を広くすることでソート精度を高めることが出来るためである。
【００６０】
ソートウィンドウは、必ずしも測定された到達時間Ｔを中心としなくてもよい。比較部８０は、粒子の視野通過時間ΔＴと到達時間Ｔのプロットに基づき、ソートウィンドウを設定できる。
【００６１】
図３には記載されていないが、本実施形態のイメージングフローサイトメーター１は、第１実施形態と同様のソート判断部３４、ソート信号制御部３８、ソート部５０を更に有してもよい。このとき、検出位置Ｘがソート部５０と一致することが好ましいが、必ずしも検出位置Ｘがソート部５０と一致しなくてもよい。例えば、検出位置Ｘは、ソート部５０よりもわずかに上流に位置してもよい。この場合、検出位置Ｘおよびソート部５０の位置のずれに合わせて、ソートウィンドウの中心位置を到達予想時間から適宜ずらして、粒子Ｐがソート部５０に到達するタイミングにソートウィンドウが設定されるように調整してもよい。
【００６２】
以下、本実施形態のイメージングフローサイトメーター１を用いたキャリブレーション方法及びソート方法について説明する。
まず、多数の粒子Ｐが流路１０を流れる。撮像部２０は、第１視野１２及び第２視野１４を連続的に撮像する。撮像部２０が撮像した画像は、システム時間とともに画像記憶部３０に記憶される。そして、第１粒子検出部３２は、粒子Ｐが含まれる画像を検出する。遅延時間計算部３６は、粒子Ｐが第１視野１２及び第２視野１４を通過した時間に基づき、粒子Ｐが検出位置Ｘに到達する到達予想時間を計算する。
また、検出器６０は、検出位置Ｘを流れる粒子Ｐを検出する。検出器６０が検出した検出信号は、システム時間とともに検出信号記憶部７０に記憶される。そして、第２粒子検出部７２は、粒子Ｐの通過に対応する検出信号を検出し、粒子Ｐが検出位置Ｘに到達した到達時間を出力する。
比較部８０は、到達時間に基づいて、遅延時間計算部３６で計算される粒子Ｐの到達予想時間の計算式をキャリブレーションし調整する。そして、ソート信号制御部３８とソート部５０は、調整された到達予想時間に基づき、粒子Ｐをソートするタイミングを調整する。
【００６３】
このように、本実施形態のイメージングフローサイトメーター１、ソート方法、キャリブレーション方法によれば、ソート精度をより高めることができる。
【符号の説明】
【００６４】
１  イメージングフローサイトメーター
１０  流路
１２  第１視野
１４  第２視野
２０  撮像部
３０  画像記憶部
３２  粒子検出部（第１粒子検出部）
３４  ソート判断部
３６  遅延時間計算部
３８  ソート信号制御部
４０  システム時間管理部
５０  ソート部
６０  検出器
７０  検出信号記憶部
７２  第２粒子検出部
８０  比較部
Ｐ，Ｐ１，Ｐ２，Ｐ３  粒子
Ｘ  検出位置
【要約】      （修正有）【課題】簡易な構成で対象物の速度ばらつきを考慮したソート精度の高いイメージングフローサイトメーターを提供する。【解決手段】第１視野１２及び第２視野１４を撮像する撮像部２０と、システム時間管理部４０と、システム時間とともに画像を記憶する画像記憶部３０と、粒子Ｐ１，Ｐ２，Ｐ３が含まれる画像を検出する粒子検出部３２と、粒子Ｐ１，Ｐ２，Ｐ３が対象粒子であるか否かを判断するソート判断部３４と、粒子Ｐ１，Ｐ２，Ｐ３の遅延時間を計算する遅延時間計算部３６と、ソート判断部３４の判断結果に応じて、遅延時間計算部３６によって計算されたタイミングに合わせて粒子Ｐ１，Ｐ２，Ｐ３をソートするために、ソート信号を発するソート信号制御部３８と、ソート信号に基づいて対象粒子をソートするソート部５０と、を有する、イメージングフローサイトメーター１。【選択図】図１【図１】
0006685057.tif 000002
【図２】
0006685057.tif 000003
【図３】
0006685057.tif 000004
【図４】
0006685057.tif 000005