(57)【要約】  マイクロ流体デバイス１００に配設された複数の流路１０３a〜１０３eの内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置１において、マイクロ流体デバイス１００の画像を取得する撮像部４と、取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部２１と、前記画像に含まれる前記複数の流路１０３a〜１０３eの位置を特定する流路特定部２２と、前記特定した複数の流路１０３a〜１０３eの内部に存在する連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出する被検物特徴画素群検出部２４と、被検物特徴画素群の数及び／又は該被検物特徴画素群のそれぞれを構成する前記抽出画素の数に基づいて被検物の統計特徴量を求める統計特徴量算出部２６とを備える。
2020021604.tif 000002
【特許請求の範囲】
【請求項１】
マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
前記マイクロ流体デバイスの画像を取得する撮像部と、
取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出する被検物特徴画素群検出部と、
前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める統計特徴量算出部と
を備えることを特徴とするマイクロ流体デバイス観察装置。
【請求項２】
前記統計特徴量算出部が、1つの流路の内部に複数の前記被検物特徴画素群が存在する場合に、該複数の前記被検物特徴画素群の前記統計特徴量の代表値を求める
ことを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
【請求項３】
さらに、
前記複数の流路のうちの1つについて求められた前記統計特徴量を他の流路について求められた前記統計特徴量と比較した結果に基づいて前記被検物の状態を判定する判定部
を備えることを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
【請求項４】
マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
前記マイクロ流体デバイスの画像を取得する撮像部と、
前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
取得された前記画像が入力されると、前記特定された複数の流路の内部に存在する前記被検物の数及び／又は形状を特定する識別部と、
を備えることを特徴とするマイクロ流体デバイス観察装置。
【請求項５】
前記識別部が、1つの流路の内部に複数の前記被検物が存在する場合に、該複数の前記被検物の数及び／又は形状に関連する統計特徴量の代表値を求める
ことを特徴とする請求項４に記載のマイクロ流体デバイス観察装置。
【請求項６】
前記識別部が、さらに、
前記特定した前記被検物の数及び／又は形状に基づいて各流路の内部に存在する前記被検物の状態を判定する
ことを特徴とする請求項４に記載のマイクロ流体デバイス観察装置。
【請求項７】
前記マイクロ流体デバイスの少なくとも一部の領域において前記複数の流路は同一の幅を有して平行に配設されており、
前記流路特定部が、
それぞれが線状に連続に並ぶ所定個数以上の前記抽出画素からなる複数の抽出画素群のうち、相互の平行度が予め決められた平行度以上である複数の抽出画素群をそれぞれ流路特徴画素群として検出する流路特徴画素群検出部と、
前記複数の流路特徴画素群の中から、離間距離が前記流路の幅に対応する特徴画素群の組を流路境界画素群として選択する流路境界画素群選択部と、
前記画像における前記流路境界画素群の位置に基づき前記1乃至複数の流路の境界の位置を特定して各流路の画像を抽出する流路画像抽出部と
を有することを特徴とする請求項１又は４に記載のマイクロ流体デバイス観察装置。
【請求項８】
前記抽出画素選択部が、微分フィルタを用いて前記画像のエッジ強度を求めることを特徴とする請求項６に記載のマイクロ流体デバイス観察装置。
【請求項９】
前記流路が直線状に形成されており、
前記流路特徴画素群検出部が、前記抽出画素群のそれぞれについて、当該抽出画素群を構成する画素の位置に対応する近似直線を求め、該近似直線の傾きと他の近似曲線の傾きの差が予め決められた大きさ以下であるものを特徴画素群として検出することを特徴とする請求項６に記載のマイクロ流体デバイス観察装置。
【請求項１０】
前記流路特徴画素群検出部が、ハフ変換により前記近似直線を求めることを特徴とする請求項９に記載のマイクロ流体デバイス観察装置。
【請求項１１】
前記流路が複数、互いに平行に設けられており、
前記流路境界画素群選択部が、隣接する2つの前記流路特徴画素群の離間距離が等しいものを前記流路境界画素群として選択することを特徴とする請求項６に記載のマイクロ流体デバイス観察装置。
【請求項１２】
前記流路境界画素群選択部が、前記離間距離に関するヒストグラムを作成し、その最大階級に属するものを前記流路境界画素群として選択することを特徴とする請求項１１に記載のマイクロ流体デバイス観察装置。
【請求項１３】
マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
前記マイクロ流体デバイスの画像を取得し、
取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択し、
前記画像に含まれる前記複数の流路の位置を特定し、
前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出し、
前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める
ことを特徴とするマイクロ流体デバイス観察方法。
【請求項１４】
マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
前記マイクロ流体デバイスの画像を取得し、
前記画像に含まれる前記複数の流路の位置を特定し、
取得された前記画像の入力に応じて前記特定した複数の流路の内部に存在する前記菌の数及び／又は形状を特定する
ことを特徴とするマイクロ流体デバイス観察方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、1乃至複数の流路が配設されたマイクロ流体デバイスについて、それら流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法に関する。
【背景技術】
【０００２】
マイクロ流体デバイスは、微小機械システム（MEMS: Micro Electro Mechanical System）等を用いた微細加工技術によって基板に1乃至複数の流路を形成したものである（例えば特許文献１）。マイクロ流体デバイスは、例えば、下面側に流路となる凹部を形成し、また該流路の端部にあたる位置に被検流体の導入等に用いられる貫通孔を形成した上基板と、下基板とを接合することにより作製される。マイクロ流体デバイスは、例えば特許文献２に記載のように、細菌や真菌（対象菌）の抗菌薬に対する感受性を検査するために用いられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−３０１１号公報
【特許文献２】特開２０１５−１７７８０６号公報
【特許文献３】特開平１１−９７５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明により解決しようとする課題を具体的に説明するために、前記検査で用いられるマイクロ流体デバイスの一例を説明する（図１を参照）。このマイクロ流体デバイス１００の上面には1つの導入口１０１と5つの空気口１０２a〜１０２eが設けられている。マイクロ流体デバイス１００の内部には、導入口１０１の直下に一端を有する菌液導入流路１０３が設けられている。菌液導入流路１０３は途中で5つの分岐流路１０３a〜１０３eに分岐しており、それらの分岐流路はそれぞれ上記空気口１０２a〜１０２eの直下まで延びている。5つの分岐流路１０３a〜１０３eは、空気口１０２a〜１０２eの近傍では相互に平行に配設されている。【０００５】
上記マイクロ流体デバイス１００を用いた対象菌の検査では、まず、空気口１０２a〜１０２dから分岐流路１０３a〜１０３dに、同じ種類の抗菌薬を異なる濃度で含む抗菌液ａ〜ｄを導入する。ここで導入される抗菌液ａ〜ｄの量は、分岐流路１０３a〜１０３dの内部に留まる（菌液導入流路１０３まで達しない）程度の量である。分岐流路１０３eには抗菌液を導入しない。そして、各分岐流路１０３a〜１０３dに導入した抗菌液ａ〜ｄを乾燥させて抗菌薬を各分岐流路１０３a〜１０３dの壁面に定着させる。続いて対象菌を含む菌液を導入口１０１から菌液導入流路１０３に導入する。分岐流路１０３a〜１０３eの端部に通気のための空気口１０２a〜１０２eが形成されていることから、菌液の流入に伴って各分岐流路１０３a〜１０３e内の空気が空気口から排出され菌液が各分岐流路１０３a〜１０３eに流入する。分岐流路１０３a〜１０３dでは、流入した菌液が各流路の壁面に定着した抗菌薬と接触する。【０００６】
菌液を導入してから所定時間経過したあと、マイクロ流体デバイス１００を顕微鏡の所定位置にセットし、該顕微鏡の視野に捉えた領域（観察領域）１０４の画像を取得する。そして、観察領域１０４の画像から各分岐流路１０３a〜１０３eにあたる部分を特定し、該分岐流路１０３a〜１０３e内に存在する対象菌の状態を確認する。【０００７】
上記の通り、分岐流路のうちの1つ（上記例では分岐流路１０３e）には抗菌液を導入していないため、該分岐流路１０３eの画像から確認した菌の数や形状と、それ以外の分岐流路１０３ａ〜１０３ｄの画像から確認した菌の数や形状を比較することにより、どのくらいの濃度で抗菌薬を含む抗菌液を用いれば対象菌に対する効果が現れるかを知ることができる。【０００８】
上記の検査では、対象菌を抗菌薬に所定時間作用させて対象菌の状態を観察するという作業を繰り返し行い、時間の経過に伴う対象菌の状態変化を確認することが一般的である。そのため、検査者は、マイクロ流体デバイスを顕微鏡で観察する度に、流路内に存在する対象菌の数を数えたり対象菌の形状を確認したりする作業を繰り返さなければならず手間がかかっていた。また、多くの場合、多数のマイクロ流体デバイスを用いて検査が行われるため、そうした多数のマイクロ流体デバイスのそれぞれについて、マイクロ流体デバイスを撮像して流路内に存在する対象菌の数を数えたり対象菌の形状を確認したりする作業を行わなければならず、検査者にとって大きな負担となっていた。【０００９】
本発明が解決しようとする課題は、マイクロ流体デバイスに配設された流路の内部に存在する被検物の状態を簡便に把握することができるマイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するために成された本発明の第１の態様は、マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
前記マイクロ流体デバイスの画像を取得する撮像部と、
取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出する被検物特徴画素群検出部と、
前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める統計特徴量算出部と
を備えることを特徴とする。【００１１】
前記撮像部は、マイクロ流体デバイスに形成された流路の境界や被検物が存在する位置にコントラストが現れるような画像を取得可能なものであればその種類は限定されない。前記撮像部には、例えば、光学顕微鏡、光学カメラ、位相差顕微鏡、微分干渉顕微鏡を用いることができる。【００１２】
本発明の第１の態様に係るマイクロ流体デバイス観察装置では、まず、複数の流路が配設されている領域が視野に捉えられるようにマイクロ流体デバイスを撮像部の所定の位置にセットし、該領域の画像を取得する。続いて、抽出画素選択部が、取得した画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する。これは、例えば、流路の境界及び被検物のいずれもが存在しない位置の画素について想定される輝度値（バックグラウンド輝度値）を閾値とし、その閾値よりも輝度が高い（もしくは低い）画素を特定することにより行うことができる。あるいは、全画素の輝度の平均値や、画像の四隅のように流路の境界と被検物のいずれもが存在しないと考えられる位置の画素の輝度値を閾値とし、その閾値よりも輝度が高い（もしくは低い）画素を特定するようにしてもよい。また、輝度値そのものを用いるのではなく、微分フィルタを用いて画像データからエッジ強度（輝度の変化量）を求め、その値を予め決められた値と比較した結果に基づいて抽出画素を選択するようにしてもよい。このような微分フィルタを用いることにより、バックグラウンドを除去して流路の境界や該流路内の被検物に対応する抽出画素を選択しやすくすることができる。なお、輝度が高い画素を選択するか、輝度が低い画素を選択するかは、使用する撮像部の特性（流路の境界や被検物が明暗のいずれとなって現れるか）に応じて決めればよい。【００１３】
次に、流路特定部が、撮像部で取得されたマイクロ流体デバイスの画像に含まれる複数の流路の位置を特定する。これは、例えば、使用するマイクロ流体デバイスのテンプレート画像を用意しておき、撮像部により取得した画像とテンプレート画像を照合する、テンプレートマッチングにより行うことができる。この処理では、マイクロ流体デバイスの画像そのものをテンプレート画像と照合することにより流路の位置を特定してもよく、あるいは前記抽出画素選択部により選択された抽出画素の位置とテンプレート画像を照合することにより流路の位置を特定してもよい。また、前記マイクロ流体デバイスが、少なくとも一部の領域において同一の幅を有する複数の流路が平行に配設されたものである場合には、後述する実施例のような画像解析処理によって該複数の流路の位置を特定することができる。【００１４】
前記流路特定部により特定された流路の内部には、被検物（例えば菌）のような構造物だけでなく、ノイズに由来するコントラストが現れている場合がある。そのため、抽出画素選択部により選択される抽出画素には、これらが存在する位置に対応する画素が混在している可能性がある。そこで、次に、特定した複数の流路の内部に存在する、連続する所定個数以上の抽出画素を被検物特徴画素群として検出する。この所定個数は、被検物として想定される最小の大きさに相当する画素数とすればよい。ノイズデータが多数の画素に連続して存在することは少ないため、この処理により、ノイズが除去される。【００１５】
次に、統計特徴量算出部が、被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を算出する。統計特徴量とは、被検物特徴画素群の数や形状に関連する量（値）である。この統計特徴量には、被検物特徴画素群の面積や長さなど該被検物特徴画素群の形状に直接的には依存しないものも含まれうる。被検物特徴画素群の数は、流路内に存在する被検物の数に対応する。また、被検物特徴画素群の形状、つまり各被検物特徴画素群を構成する画素の配列は、1つの被検物の形状に対応する。本発明に係るマイクロ流体デバイス観察装置を用いると、撮像部により取得される画像が、流路特定部、抽出画素選択部、被検物特徴画素群検出部、及び統計特徴量算出部によって順に処理され、流路内に存在する被検物の統計特徴量が得られる。従って、検査者が自ら、流路内に存在する被検物の数を数えたり形状を確認したりする必要がなく、被検物の状態を簡便に把握することができる。【００１６】
本発明の第１の態様に係るマイクロ流体デバイス観察装置では、
前記統計特徴量算出部が、1つの流路の内部に複数の前記被検物特徴画素群が存在する場合に、該複数の前記被検物特徴画素群の前記統計特徴量の代表値を求めるように構成することができる。前記統計特徴量の代表値は、平均値、中央値、最頻値、及びこれらの組み合わせからなる群から適宜に選択することができる。この態様のマイクロ流体デバイス観察装置を用いることにより、例えば各流路内に存在する被検物の平均的な大きさや形状を簡便に知ることができる。【００１７】
前記被検物が細胞や菌などの生体試料である場合、本発明の第１の態様に係るマイクロ流体デバイス観察装置は、さらに、
前記複数の流路のうちの1つについて求められた前記統計特徴量を他の流路について求められた前記統計特徴量と比較した結果に基づいて前記被検物の状態を判定する判定部
を備えた構成を採ることができる。【００１８】
細胞や菌などの被検物の抗菌薬等の薬剤に対する感受性を検査する場合、一般に、複数の流路のうちの1つには薬剤を導入せず、その流路の内部に存在する被検物の数や形状が被検物の状態を判定する基準として用いられる。被検物が生体試料である場合にこの態様のマイクロ流体デバイス観察装置を用いることにより、その状態を簡便に知ることができる。なお、1つの流路内に前記被検物特徴画素群が複数存在する場合には、それらの統計特徴量の代表値に基づいて前記被検物の状態を判定するとよい。【００１９】
上記課題を解決するために成された本発明の第２の態様は、マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
前記マイクロ流体デバイスの画像を取得する撮像部と、
前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
取得された前記画像が入力されると、前記特定された複数の流路の内部に存在する前記被検物の数及び／又は形状を特定する識別部と、
を備えることを特徴とする。【００２０】
第２の態様のマイクロ流体デバイス観察装置では、第１の態様における抽出画素選択部、被検物特徴画素群検出部、及び統計特徴量算出部に代えて、撮像部により取得されたマイクロ流体デバイスの画像が入力されると、流路特定部により特定された複数の流路のそれぞれに含まれる被検物の数及び／又は形状を特定する識別部を用いる。この態様のマイクロ流体デバイス観察装置を用いることによっても、第１の態様と同様に、被検物の状態を簡便に把握することができる。【００２１】
前記被検物が細胞や菌などの生体試料である場合、第２の態様のマイクロ流体デバイス観察装置は、前記識別部が、さらに、前記特定した前記被検物の数及び／又は形状に基づいて各流路の内部に存在する前記被検物の状態を判定する
ように構成することができる。【００２２】
被検物が生体試料である場合にこの態様のマイクロ流体デバイス観察装置を用いることにより、その状態を簡便に知ることができる。【００２３】
本発明に係るマイクロ流体デバイス観察技術は、対象菌の薬剤に対する感受性の検査に好適に用いることができる。【００２４】
即ち、上記課題を解決するために成された本発明の第３の態様は、マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
前記マイクロ流体デバイスの画像を取得し、
取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択し、
前記画像に含まれる前記複数の流路の位置を特定し、
前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出し、
前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める
ことを特徴とする。【００２５】
また、上記課題を解決するために成された本発明の第４の態様は、マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
前記マイクロ流体デバイスの画像を取得し、
前記画像に含まれる前記複数の流路の位置を特定し、
取得された前記画像の入力に応じて前記特定した複数の流路の内部に存在する前記菌の数及び／又は形状を特定する
を備えることを特徴とする。
【発明の効果】
【００２６】
本発明の第１の態様あるいは第２の態様に係るマイクロ流体デバイス観察装置、又は第３の態様あるいは第４の態様に係るマイクロ流体デバイス観察方法を用いることにより、マイクロ流体デバイスに配設された流路の内部に存在する被検物の状態を簡便に把握することができる。
【図面の簡単な説明】
【００２７】
【図１】マイクロ流体デバイスの一構成例。
【図２】実施例１のマイクロ流体デバイス観察装置の要部構成図。
【図３】実施例１においてマイクロ流体デバイスの流路の内部に存在する被検物を観察する手順を説明するフローチャート。
【図４】実施例１において観察画像データの輝度値を二値化した画像の例。
【図５】実施例１において使用するテンプレート画像について説明する図。
【図６】実施例１において観察画像内の流路位置を特定する手順の一つを説明するフローチャート。
【図７】実施例１における観察画像内の流路位置を特定する手順の一つにおいて直線の離間距離を求める方法を説明する図。
【図８】実施例１における観察画像内の流路位置を特定する手順の一つにおいて作成されるヒストグラムの例。
【図９】実施例１における観察画像内の流路位置を特定する手順の一つにおいて観察画像から流路を特定する方法を説明する図。
【図１０】実施例２のマイクロ流体デバイス観察装置の要部構成図。
【発明を実施するための形態】
【００２８】
本発明に係るマイクロ流体デバイス観察装置の実施例１、２について、以下、図面を参照して説明する。これらの実施例では、図１を参照して説明したマイクロ流体デバイス１００を用いて、同じ抗菌薬を互いに異なる4種類の濃度で含む抗菌液ａ〜ｄに対する対象菌の感受性を検査する。本実施例では4種類の濃度の抗菌液ａ〜ｄを用いるが、抗菌液の数（濃度の種類）は適宜に変更可能である。5種類以上の濃度の抗菌液を用いる場合は、6本以上の流路が形成されたマイクロ流体デバイスを用いればよい。
【００２９】
図２は実施例１のマイクロ流体デバイス観察装置１の要部構成図である。本実施例のマイクロ流体デバイス観察装置１は、大別して分注部２、インキュベータ３、位相差顕微鏡４（撮像部）、及び制御・処理部１０から構成される。分注部２とインキュベータ３の間、インキュベータと位相差顕微鏡４の間には、制御・処理部１０からの指示を受けて両者の間でマイクロ流体デバイス１００を搬送するためのデバイス搬送経路及び搬送機構（図示略）が設けられている。
【００３０】
制御・処理部１０は、分注部２、インキュベータ３、及び位相差顕微鏡４の動作を制御する機能と、位相差顕微鏡４により得られた画像を処理する機能とを有している。制御・処理部１０は、記憶部１１を備え、さらに機能ブロックとして抽出画素選択部２１、流路特定部２２、被検物特定部２３、特徴画素群検出部２４、流路境界画素群選択部２５、統計特徴量算出部２６、及び判定部２７を備えている。制御・処理部１０の実体は一般的なコンピュータであり、そのプロセッサによりマイクロ流体デバイス観察用プログラム２０を実行することにより、これらの機能ブロックが具現化される。また、制御・処理部１０には検査者が適宜情報を入力するための入力部４１と、マイクロ流体デバイス１００の流路の画像等を表示するための表示部４２が接続されている。
【００３１】
記憶部１１には、マイクロ流体デバイス１００のテンプレート画像が保存されている。マイクロ流体デバイス１００のテンプレート画像は、位相差顕微鏡４によりマイクロ流体デバイス１００を撮像することにより得られる画像から流路の位置を特定するために用いられる。本実施例では1種類のマイクロ流体デバイス１００のみを使用するが、複数種類のマイクロ流体デバイスが用いられる場合は、その種類ごとにテンプレート画像が用意され記憶部１１に保存される。
【００３２】
マイクロ流体デバイス１００の上面には1つの導入口１０１と5つの空気口１０２a〜１０２eが設けられている。マイクロ流体デバイス１００の内部には、導入口１０１の直下に一端を有する菌液導入流路１０３が設けられている。菌液導入流路１０３は途中で5つの分岐流路１０３a〜１０３eに分岐しており、それらの分岐流路はそれぞれ上記空気口１０２a〜１０２eの直下まで直線状に延びている。5つの分岐流路１０３a〜１０３eは、空気口１０２a〜１０２eの近傍では相互に平行に配設されている。なお、図１は各分岐流路１０３a〜１０３eを分かりやすく示したものであり、実際のマイクロ流体デバイスでは分岐流路１０３a〜１０３eの流路幅の方が流路間隔よりも広い。
【００３３】
次に、本実施例のマイクロ流体デバイス観察装置１を用いた、対象菌の抗菌薬に対する感受性の検査の流れを説明する。
【００３４】
検査者は、対象菌を所定の割合（例えば対象菌の数とその培養液の量により規定）で含む菌液と、検査に使用する抗菌薬を異なる濃度で含む抗菌液ａ〜ｄを準備し、分注部２にセットしておく。
【００３５】
検査者が、入力部４１を通じて検査の開始を指示すると、制御・処理部１０から分注部２に分注動作の開始を指示する制御信号が送信される。また、使用可能なマイクロ流体デバイスが複数種類存在する場合には、検査者は、検査に使用するマイクロ流体デバイス１００の種類を指定することができる。
【００３６】
分注部２では、マイクロ流体デバイス１００の分岐流路１０３a〜１０３dのそれぞれに抗菌液ａ〜ｄを導入し、続いて対象菌を含む菌液を導入口１０１から菌液導入流路１０３に導入する。なお、分岐流路１０３eには抗菌液を導入せず、該分岐流路１０３ｅ内の対象菌の数や大きさなどを、他の流路に導入した抗菌液ａ〜ｄに対する対象菌の感受性を判定する際の基準として用いる。菌液の導入量は、分岐流路１０３a〜１０３dに定着させた抗菌薬の位置に達する程度の量に、予め決められている。分岐流路１０３a〜１０３eの端部に通気のための空気口１０２a〜１０２eが形成されていることから、菌液の流入に伴って各分岐流路１０３a〜１０３e内の空気が空気口から排出され菌液が各分岐流路１０３a〜１０３eに流入する。分岐流路１０３a〜１０３dでは、流入した菌液が各流路の壁面に定着した抗菌薬と接触する。
【００３７】
抗菌液ａ〜ｄと菌液を導入した後、マイクロ流体デバイス１００をインキュベータ３に搬送し、所定時間、所定の温度に加温して対象菌を培養する。所定時間の培養後、マイクロ流体デバイス１００をインキュベータ３から位相差顕微鏡４に搬送する。以下、図３のフローチャートを参照して、本実施例のマイクロ流体デバイス観察装置１においてマイクロ流体デバイスの流路の内部に存在する対象菌を観察する手順を説明する。
【００３８】
位相差顕微鏡４に搬送されたマイクロ流体デバイス１００は所定の撮像位置に所定の向きで保持される。位相差顕微鏡４ではその視野に捉えたマイクロ流体デバイス１００の領域を撮像する。マイクロ流体デバイス１００全体のうち、位相差顕微鏡４の視野に捉えられた領域（マイクロ流体デバイス１００の少なくとも一部の領域に相当。）が観察領域１０４となり、位相差顕微鏡４では観察領域１０４の画像（以下、これを「観察画像」と呼ぶ。）が取得される（ステップＳ１）。位相差顕微鏡４は、取得した観察領域１０４の画像データを制御・処理部１０に送信する。制御・処理部１０では受信した撮像データが記憶部１１に保存される。
【００３９】
画像データが記憶部１１に保存されると、抽出画像選択部２１は、微分フィルタを用いて画像内のエッジ強度（輝度の変化量）を算出する（ステップＳ２）。位相差顕微鏡４により得られた画像をそのまま用いて後述する処理を行っても良いが、微分フィルタを用いて前処理を施すことにより、画像内のエッジ強度を用いてより高い精度で後述の処理を進めることができる。微分フィルタとしては、sobelフィルタ、prewittフィルタ、cannyフィルタといった一次微分フィルタのほか、laplacianフィルタなどの二次微分フィルタを用いることができる。また、微分フィルタを用いる代わりに、モーフォロジー（morphology）演算など、画像データに含まれる輝度変化を検出する種々の方法を用いることができる。
【００４０】
抽出画像選択部２１は、微分フィルタを用いてエッジ強度を抽出した画像データについて、そのエッジ強度の値が所定値以上である画素を抽出画素として選択し（ステップＳ３）、選択した画素に１、非選択の画素に０の値を付して画像データを二値化する（ステップＳ４。図４参照）。ここでは、０と１という値により二値化したが、他の値や符号などにより二値化してもよい。また、ここでは、画素内での位置を問わず、同一の所定値を用いて抽出画素を選択するが、各画素の輝度値の大きさに応じた所定値を用いる（例えば、対象画素の輝度値に対して所定割合以上のエッジ強度の値である画素を抽出画素とする）こともできる。これにより、撮像時の環境によって画像内に明るい（輝度値が大きい）部分と暗い（輝度値が小さい）部分が存在している場合でも適切に抽出画素を選択することができる。また、画像全体のうち、注目画素を中心とする所定の範囲（例えば9画素×9画素の範囲）における輝度値の分散に応じて異なる閾値を用いるようにしてもよい。なお、菌の大きさは流路の幅や長さに比べると微小であるが、図４では対象菌の存在を分かりやすく示すために実際よりも大きく示している。
【００４１】
画像データを二値化した後の処理方法には大きく分けて2つある。検査者が、検査開始時に検査に使用するマイクロ流体デバイス１００の種類を指定した場合（若しくは使用可能なマイクロ流体デバイス１００が1種類のみである場合）には、流路特定部２２はテンプレートマッチングにより観察画像に含まれる流路の位置を特定する。まずはこの処理を説明する。
【００４２】
流路特定部２２は、記憶部１１からマイクロ流体デバイス１００のテンプレート画像１１０を読み出す。テンプレート画像１１０は、図５(a)に示すように、流路以外の場所にハッチングが付された画像である。
【００４３】
次に、流路特定部２２は、位相差顕微鏡４により取得した観察画像にテンプレート画像１１０を重ね合わせ、両画像の相対位置を少しずつずらしながら、観察画像に含まれる流路の境界とテンプレート画像１１０の流路の境界の一致度が最も高い位置を特定する。観察画像に含まれる流路の境界とテンプレート画像１１０の流路の境界の一致度が最も高い位置が特定されると、流路特定部２２は、図５(b)に示すように、テンプレート画像を観察画像に重畳した画像１０４a（分岐流路１０３a〜１０３e以外の箇所にハッチングが付された画像）を作成し、各分岐流路１０３a〜１０３eの画像を特定する（ステップＳ５）。そして、各分岐流路１０３a〜１０３eの画像データを記憶部１１に保存し、それらの画像を表示部４２に表示する。
【００４４】
なお、上述したテンプレート画像１１０を使用する代わりに、マイクロ流体デバイス１１０の流路に関する既知の構造情報（例えば直線状の流路が5つ形成されている）を利用し、直線状のテンプレートフィルタと画像の一致度に基づいて各分岐流路１０３a〜１０３eの画像を抽出することもできる。あるいは、使用されるマイクロ流体デバイス１００が予め決まっており、かつ位相差顕微鏡４にセットされる位置が高精度で位置決めされている場合は、テンプレート画像やテンプレートフィルタを用いることなく、観察画像の予め決められた位置に存在する領域を自動的に各分岐流路１０３a〜１０３eの画像として抽出することもできる。流路を特定するもう一つの方法は後述する。
【００４５】
上記ステップＳ５により観察画像における分岐流路１０３a〜１０３eの位置が特定されると、被検物特定部２３は、特徴画素群検出部２４を動作させて各分岐流路１０３a〜１０３eの内部に存在する対象菌を特定する。本実施例では、被検物特定部２３と特徴画素群検出部２４が協働することにより被検物特徴画素群を検出する（即ち、本発明における被検物特徴画素群検出部として機能する）。
【００４６】
被検物を特定する際には、特徴画素群検出部２４は、二値化された各分岐流路１０３a〜１０３eの画像から、連続する所定個数以上の抽出画素を被検物特徴画素群として検出する（ステップＳ６）。この所定個数は、流路の内部に存在する対象菌とノイズを分離可能な数であればよく、例えば対象菌として想定される最小の大きさに相当する画素数（例えば5画素）とすることができる。ノイズデータが多数の画素に連続して存在することは少ないため、この処理により、二値化された流路の画像に含まれるノイズを除去することができる。
【００４７】
特徴画素群検出部２４により被検物特徴画素群が検出されると、統計特徴量算出部２６は各分岐流路１０３a〜１０３eの内部に存在する被検物特徴画素群の数（対象菌の数）と、被検物特徴画素群のそれぞれを構成する画素の配置（対象菌の形状）を特定する。これにより各分岐流路１０３a〜１０３eの内部に存在する被検物の数及び形状に関連する統計特徴量が求められる（ステップＳ７）。なお、1つの流路内に被検物特徴画素群が複数存在する場合には、それら複数の対象菌に対応する被検物特徴画素群の統計特徴量の総和をその数で除すことにより被検物の平均的な形状を表す統計特徴量を求める。対象菌の形状に関する統計特徴量としては、対象菌の面積（あるいは面積比）、対象菌の周囲長、対象菌の長軸長・短軸長、対象菌の直線性や円形度などとすることができる。対象菌の面積比は、流路内の画素数に占める、被検物特徴画素群を構成する画素数の割合から求めることができる。対象菌の周囲長は、被検物特徴画素群を取り囲む外周の長さから求めることができる。対象菌の長軸長と短軸長は、被検物特徴画素群を取り囲む矩形の直線長さの最大値と最小値として求めることができる。対象菌の直線性や円形度は被検物特徴画素群の形状のアスペクト比や、所定の数式（例えば、4π×面積÷（周囲長）2）から求めることができる。統計特徴量として、その他公知の統計量を適宜に用いることができる。ここでは統計特徴量の平均を求めているが、平均値のほか、中央値、最頻値などを求めるようにしてもよい。
【００４８】
統計特徴量算出部２６により各分岐流路１０３a〜１０３e内の対象菌の統計特徴量が求められると、判定部２７は抗菌液を導入していない分岐流路１０３e内の対象菌の統計特徴量を基準として、異なる濃度の抗菌液ａ〜ｄをそれぞれ導入した分岐流路１０３a〜１０３d内の対象菌の統計特徴量から該流路内に存在する対象菌の状態（異なる濃度で抗菌薬を含む抗菌液ａ〜ｄに対する感受性）を判定する（ステップＳ８）。流路の画像、該画像から求められた統計特徴量、及び該統計特徴量に基づく判定結果は表示部４２に表示される。
【００４９】
また、対象菌の形態変化に関する情報を出力するようにしてもよい。例えば、分岐流路１０３ａ〜１０３ｄの内部の対象菌の形状（直線性、円形度等）が分岐流路１０３e内の対象菌の形状と異なる場合に、その形状に対応した統計特徴量の変化を表示部４２に表示するように構成することができる。これにより、抗菌薬の作用による対象菌の変性の有無等の情報等を得ることができる。
【００５０】
ここで、観察画像に含まれる流路の位置を特定するもう一つの方法について、図６のフローチャートを参照して説明する。
【００５１】
検査に使用可能なマイクロ流体デバイスが複数種類存在し、かつ検査者からマイクロ流体デバイスの種類が特定されていない場合には、流路特定部２２は、特徴画素群検出部２４と流路境界画素群選択部２５を順に動作させて流路の画像を抽出する。以降の処理では、流路特定部２２と特徴画素群検出部２４の協働により流路特徴画素群を検出する。
【００５２】
抽出画像選択部２１により選択された抽出画素の中には、流路の境界に位置する画素、対象菌が存在する位置の画素、及びノイズが発生した位置の画素などが混在している。そこで、特徴画素群検出部２４は、二値化された画像データの中から、線状に連続に並ぶ所定個数以上の抽出画素を流路特徴画素群として検出する（ステップＳ５−１）。ここで、所定個数は、該個数の画素の位置から流路特徴画素群の形状を推定することが可能な数としておく。所定個数をどの程度の数にすればよいかは流路の形状によって異なる。本実施例では、流路特徴画素群を構成する画素の位置（座標）に基づいて該流路特徴画素群を表す直線式を求めるため、最低2個抽出画素を含んでいればよいが、所定個数が少なすぎると直線式の精度が悪い。一方、所定個数を多くするほど流路特徴画素群を表す直線式を高い精度で求めることができるが、所定個数が多すぎると、流路の境界に位置する画素の一部にコントラストが現れず抽出画素として選択されなかった場合（つまり、抽出画素の連続する数が少ない場合）に、流路の境界に位置する抽出画素が流路特徴画素群として検出されなくなってしまう。これらを勘案すると、上記所定個数は、画像サイズ（矩形画像の場合は短径、円形画像の場合は直径）の1割にあたる長さに相当する画素数程度とすることが好ましい。
【００５３】
次に、流路境界画素群選択部２５は、特徴画素群検出部２４により検出されたn個の流路特徴画素群に番号m（mは1以上n以下の整数）を付し、各流路特徴画素群を表す直線式Lmを求める（ステップＳ５−２）。流路特徴画素群を表す直線式Lmとは、当該流路特徴画素群を構成する複数の抽出画素の座標に基づく近似直線を意味する。本実施例では、各流路特徴画素群を表す直線式Lmを求めるためにハフ変換を用いる。
【００５４】
ハフ変換は、画像処理の分野で画像の特徴を抽出する際に用いられる手法の1つである。ハフ変換では、二次元平面（x-y平面）上で、原点から直線への法線の距離rと、法線とx軸とがなす角度θで直線式を表現する。ハフ変換では、次式（1）で表される直線式を用いる。
r=x cosθ+y sinθ  …(1)
【００５５】
まず、流路特徴画素群を構成する抽出画素の1つについて式（1）を用いた直線式を求める。この段階では座標値が1つしか指定されていないことから直線式は一意に決まらず、rとθの関数となる。流路特徴画素群を構成する抽出画素のそれぞれについて、該抽出画素の座標を用いてrとθの関数を求める。そして、抽出画素の数だけ得られたrとθの関数を、これらを二軸とするハフ空間に投影し、投影数の多い（最も一致度が高い）rとθの値を求める。これにより流路特徴画素群を表す直線式を決定する。流路特徴画素群を構成する抽出画素が一直線上に位置している場合には、それら抽出画素のそれぞれについて求められたrとθの関数が1点で交わり、その交点にあたるrとθの値により直線を厳密に決めることができる。しかし、実際の画像では、流路特徴画素群が、その幅方向において複数の画素にまたがっていたり、部分的に階段状になっていたりするため、抽出画素が完全に一直線上に位置することは少ない。そこで、ハフ空間において投影数の多いrとθの値により、当該流路特徴画素群に対応する直線式を決定する。こうして、m番目の流路特徴画素群に対する直線式Lmとして次式(2)が得られる。
amx+bmy=1  （am, bmは係数）…(2)
【００５６】
本実施例ではハフ変換により流路特徴画素群のそれぞれに対応する直線式Lmを求めているが、別の方法により直線式Lmを求めることもできる。例えば、最小二乗法を用いて流路特徴画素群を構成する各抽出画素の座標に対する近似直線を求めることができる。
【００５７】
流路境界画素群選択部２５は、次に、流路特徴画素群のそれぞれについて得られた直線式Lmの傾き判定を行う。上式（2）で表される直線式Lmの傾きを表す単位ベクトルvmは次式（3）のように表される。
vm=（-bm/lm, am/lm）  （ただし、lm=(am2+bm2)1/2）  …(3)
【００５８】
全ての直線式Lmについて傾きvmが得られた後、その傾きの中央値vctrを求める。そして、次式（4）を満たさない傾きを有する直線に対応する流路特徴画素群（外れ値）を処理対象から除外する（ステップＳ５−３）。
｜＜vm・vctr＞｜≧α  （αは0以上1未満の値）  …(4)
【００５９】
式（4）は、各流路特徴画素群に対応する直線式Lmの傾きvmと、それら全ての中央値vctrの内積である。また、αは0以上1未満の実数である。つまり、式(4)は、平均値vctrの傾きを有する直線に対する平行度が一定以上である（直線式Lmの傾きvmが他の直線式の傾きと近い）ことを意味する。本実施例のマイクロ流体デバイス１００では、観察領域１０４内に複数の分岐流路１０３a〜１０３eが平行に形成されていることから、各流路の境界に位置する流路特徴画素群に対応する直線は相互に平行になるはずである。従って、上式（4）を満たさない傾きを有する直線に対応する流路特徴画素群を処理対象から除外することにより、流路の境界ではないと考えられる流路特徴画素群（対象菌等の位置に対応するもの）を除外することができる。
【００６０】
ここでは各流路特徴画素群に対応する直線式Lmの中央値vctrを用いたが、必ずしも中央値である必要はなく、各流路特徴画素群に対応する直線式Lmの傾きvmの平均や、各流路特徴画素群に対応する直線式Lmの傾きvmの分布を求め、その分布の端部に当たる所定個の傾きを除いた平均など、適宜のものを用いることができる。また、流路の境界に相当する直線のおおよその傾き（観察画像内での流路の傾き）を推定することが可能な場合はその推定値を用いることもできる。
【００６１】
上記の処理後に残ったk個（k≦n）の直線式Lp（pは1以上k以下の整数）について、それぞれの直線から見て特定の方向（例えばx軸の正方向）に隣接する別の直線との離間距離を求める（ステップＳ５−４）。これらの直線式Lpは相互に厳密に平行なものではないため、以下のように直線の離間距離dpを規定する。
【００６２】
本実施例では、図７(a)に示すように、注目する直線式Lp及び隣接する直線式Lp+1で表される直線のそれぞれついて、観察画像の中心Cを通る、y軸と平行な直線（直線式Ly）との交点を求める。そして、これらの交点間の距離を両直線の離間距離dpとする。なお、図７(b)に示すように、注目する直線式Lp及び隣接する直線式Lp+1で表される直線のそれぞれついて、観察画像の中心Cを通る、x軸と平行な直線（直線式Lx）との交点を求め、これらの交点間の距離を両直線の離間距離dpとすることもできる。さらに、図７(c)に示すように、注目する直線Lp及び隣接する直線Lp+1で表される直線のそれぞれついて、観察画像の中心Cを通る、直線式Lpの法線L’との交点を求め、これらの交点間の距離を両直線の離間距離dpとすることもできる。
【００６３】
次に、k-1本の直線のそれぞれについて求めた直線の離間距離dpについて、所定の階級幅でヒストグラムを作成する（ステップＳ５−５）。本実施例のマイクロ流体デバイス１００に形成されている分岐流路１０３a〜１０３eの流路幅と流路間隔はいずれも一定である。従って、作成されたヒストグラムでは、その流路幅に相当する離間距離dpが最も多くなり、次いで流路間隔に相当する離間距離dpが多くなるはずである。そこで、k-1本の直線のそれぞれについて、当該直線に関する離間距離dpが最大階級に含まれているか否かを判定する。
【００６４】
本実施例のマイクロ流体デバイス１００には5本の分岐流路１０３a〜１０３eが平行に形成されている。従って、理想的には図８(a)に示すように、流路間の距離に対応する位置に4つのデータが、流路幅に対応する位置に5つのデータが存在し、それ以外の位置にはデータが存在しない。もし、このようなヒストグラムが得られた場合には、5本の直線について求めた離間距離dpが最大階級に含まれていると判断されることになる。最大階級に含まれていると判断されたものについて、それに対応する直線Lpと、その直線に隣接する直線Lp+1の組を抽出することにより、流路の境界を構成する画素群（流路境界画素群）を選択することができる。
【００６５】
しかし、実際には、上述の各処理を経てもなお、流路の境界を構成する直線以外の直線（対象菌由来のものやノイズ由来の直線）が含まれている場合があり得る。その場合、例えば図８(b)や図８(c)に示すようなヒストグラムとなる。そうした場合でも、流路の境界を構成する直線が流路幅や流路間距離に応じた一定の間隔で位置するのに対し、それ以外の直線はランダムに位置する。そのため、ヒストグラムにおける最大階級を選択すると、流路幅（図８(b)）あるいは流路間距離（図８(c)）のいずれかが選択されることになる。従って、それに対応する直線Lpと、その直線に隣接する直線Lp+1の組を抽出することにより（ステップＳ５−６）、流路の境界を構成する画素群（流路境界画素群）を選択することができる（ステップＳ５−７）。
【００６６】
上記の処理によって流路境界画素群を選択すると、図９(a)または図９(b)に示すように観察画像における流路の境界の位置が分かる。図９(a)に示す状態（図８(a)あるいは図８(b)のヒストグラムから得られる状態）では、画像の端部から2本の直線を1組としてその間に挟まれた領域（ハッチングを付した部分）を流路とすればよい。一方、図９(b)に示す状態（図８(c)のヒストグラムから得られる状態）では、画像の端部から2本直線を1組とした場合にそれらの間に挟まれた領域（ハッチングを付した部分）は流路ではない。
【００６７】
そこで、観察画像における流路の境界の位置を決めた後、その端部から2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅と、端部から2本目の直線から順に2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅のいずれが広いかを比較する。上述のとおり、図１では流路を分かりやすく示すために流路幅を狭く示しているが、実際に用いられるマイクロ流体デバイスでは、流路幅の方が流路間隔よりも広い。そこで、上記比較の結果、より広いと判定された方を流路とする。後者（端部から2本目の直線から順に2本を1組として選択した場合）の流路幅の方が広いと判定された場合、直線状に位置する流路境界画素群が画像の両端に1本ずつ残った状態となる。両端に残された直線のそれぞれの外側に、他の流路と同じ幅の流路を追加可能であるか（つまり、当該直線の外側に流路幅に相当する空間が残っているか）を判定し、可能である場合には流路の境界に相当する直線（図９(c)に一点鎖線で表示）を追加する。これにより流路が追加される。
【００６８】
上記の処理によって観察画像における流路の位置が確定すると、流路特定部２２は、観察画像に含まれる各流路１０３a〜１０３eの位置を特定する（ステップＳ５、ステップＳ５−８）。そして、各流路１０３a〜１０３eの画像データを記憶部１１に保存し、それらの画像を表示部４２に表示する。このとき、特定された流路の位置の画像をそのまま抽出してもよいが、流路の境界のコントラストが流路の画像に影響し、そのコントラストが対象菌と誤認されるのを防止するために、確定した流路の位置よりも所定数の画素分だけ内側の領域を流路の画像として抽出するようにしてもよい。
【００６９】
次に、実施例２のマイクロ流体デバイス観察装置１aについて説明する。図１０は実施例のマイクロ流体デバイス観察装置１aの要部構成図である。実施例１のマイクロ流体デバイス観察装置１と同じ構成要素には同一の符号を付して説明を省略する。
【００７０】
実施例２のマイクロ流体デバイス観察装置１aは、制御・処理部の構成の一部が実施例１のマイクロ流体デバイス観察装置１と異なる。制御・処理部１０aは、実施例１の制御・処理部１０と同様に、分注部２、インキュベータ３、及び位相差顕微鏡４の動作を制御する機能と、位相差顕微鏡４により得られた画像を処理する機能とを有している。制御・処理部１０aは、記憶部１１aを備え、機能ブロックとして抽出画素選択部２１と流路特定部２２を備えている。さらに、後述する機械学習によって構築された識別部２８がインストールされている。制御・処理部１０aの実体は一般的なコンピュータであり、そのプロセッサによりマイクロ流体デバイス観察用プログラム２０aを実行することにより、上記機能ブロックが具現化される。また、制御・処理部１０には検査者が適宜情報を入力するための入力部４１と、マイクロ流体デバイス１００の流路の画像等を表示するための表示部４２が接続されている。
【００７１】
記憶部１１aには、実施例１で説明したテンプレート画像１１０、及び多数の被検物参照画像が保存されている。被検物参照画像は、本実施例と同じ被検物である対象菌について、様々な種類の抗菌薬を様々な濃度で作用させた状態を撮影した画像である。これらの画像はいずれも解析済みのものであり、各画像に含まれる対象菌の数及び形状に関連する統計特徴量が予め特定されている。また、被検物参照画像の中には、標準的な形状の対象菌の画像のほか、抗菌薬により変性して形状が変化したものの画像も含まれており、その画像についても統計特徴量が求められている。
【００７２】
実施例２のマイクロ流体デバイス観察装置１aは、流路の内部に存在する対象菌の統計特徴量を算出し、対象菌の状態を判定する処理に特徴を有している。実施例２では、識別部２８が、記憶部１１に保存されている、多数の被検物参照画像を学習データとする機械学習によって作成されている。こうした機械学習の手法としては、例えばディープラーニングや、サポートベクターマシン（SVM: Support Vector Machine）やランダムフォレストといった手法が提案されている。
【００７３】
実施例２のマイクロ流体デバイス観察装置１aでは、対象菌の検査を開始する前に、マイクロ流体デバイス１００の流路の画像及び該画像に対応する対象菌の統計特徴量を学習データとする機械学習によって、入力された画像から対象菌の数及び形状を特定する識別部２８を構築しておく。
【００７４】
実施例２においても、マイクロ流体デバイス１００を位相差顕微鏡４で撮像し、その画像データを微分フィルタで処理することによりエッジ強度を取得し、その画像データを二値化する処理は実施例１のマイクロ流体デバイス観察装置１と同様である。また、観察画像における流路の位置を特定する処理には、実施例１において説明した方法のいずれかを用いる。
【００７５】
流路特定部２２によって観察画像に含まれる各分岐流路１０３a〜１０３eの位置が特定されると、各分岐流路１０３a〜１０３dの画像データが識別部２８に入力される。識別部２８は、入力された各分岐流路１０３a〜１０３eの画像のそれぞれについて、当該画像に含まれる被検物の数及び形状（例えば直線性、円形度）を特定し、それらを対象菌の統計特徴量として出力する。分岐流路１０３a〜１０３e内に対象菌が複数存在する場合には、それら複数の対象菌について各統計特徴量の平均を出力する。統計特徴量としては、直線性や円形度の他、対象菌の面積（あるいは面積比）、対象菌の周囲長、対象菌の長軸長・短軸長や、その他公知の統計量を用いることができる。これらの統計特徴量を用いる場合には、対象菌が含まれた流路の画像の入力に応じて該当する統計特徴量を出力する機械学習により識別部２８を構築しておけばよい。ここでは統計特徴量の平均を求めているが、平均値のほか、中央値、最頻値などを求めるようにしてもよい。
【００７６】
識別部２８は、対象菌の数や形状を表す統計特徴量の平均を求めると、実施例１と同様に、抗菌液を導入していない分岐流路１０３e内の対象菌の統計特徴量を基準として、異なる濃度の抗菌液ａ〜ｄをそれぞれ導入した分岐流路１０３a〜１０３d内の対象菌の統計特徴量からそれらの状態（異なる濃度で抗菌薬を含む抗菌液ａ〜ｄに対する感受性）を判定する。流路の画像、該画像から求められた統計特徴量、及び該統計特徴量に基づく判定結果は表示部４２に表示される。
【００７７】
上記の実施例はいずれも一例であって、本発明の趣旨に沿って適宜に変更することができる。上記実施例では対象菌の抗菌薬に対する感受性の検査を行う場合を説明したが、他の目的の検査等においても上記同様のマイクロ流体デバイス観察装置を用いることができる。
【００７８】
上記実施例では、流路の境界の検出と菌の特徴画素の抽出とを同じ手法で行う方法を説明したが、互いに違う方法で行ってもよい。例えば、流路の境界の検出をテンプレートマッチングで行う場合には、菌の特徴画素の抽出を例えば機械学習で行うことにより、（面積などの情報を含む）形状を検出することができる。
【００７９】
上記実施例ではマイクロ流体デバイス１００に5本の直線状の分岐流路１０３a〜１０３eが形成されている場合を例に説明したが、流路の数は検査に使用する抗菌液の数（濃度の種類）に応じて適宜に変更可能である。また、流路の形状は直線状に限定されず、曲線状であってもよい。曲線状は、例えば円弧状（楕円弧を含む）やＳ字状（蛇行形状）とすることができる。流路形状が曲線状であっても、本明細書で説明しているハフ変換を適用可能である。特に、流路形状が円弧や楕円弧である場合には、上記実施例のハフ変換に代えて円や楕円を表す数式により特徴画素群の形状を求め、上記実施例における直線の平行度に代えて曲線の平行度を用いればよい。例えば、ある曲線に対して、その曲線上の各点から法線方向へ一定の距離にある曲線として定義される平行曲線の考え方を用いることができる。
【００８０】
上記実施例１、２ではいずれも、撮像部として位相差顕微鏡を用いたが、撮像部はマイクロ流体デバイスに形成された流路の境界にコントラストが現れるような画像を取得可能なものであればその種類は限定されない。例えば、光学顕微鏡、光学カメラ、微分干渉顕微鏡を用いることができる。
【００８１】
上記実施例１で説明した流路の位置を特定に関する処理では、観察画像における流路の位置を決めた後に、画像の端部から2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅と、端部から2本目の直線から順に2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅のいずれが広いかを比較することにより流路を決定したが、観察画像における流路の位置を特定した画像を表示部４２に表示し、入力部４１を通じた操作によっていずれが流路であるかを検査者に選択させるようにしてもよい。あるいは、上記の比較を行うことなく流路を決定して流路特定部２２に該流路の画像を抽出させたものを表示部４２に表示し、検査者がこれを確認して流路でないと判断した場合に、反転操作（先に流路を構成する境界として使用した直線の組と異なる2本の直線に挟まれた領域を流路とし、流路特定部２２にその画像を抽出させる操作）を指示するように構成することもできる。
【００８２】
また、上記実施例２では、流路の位置が特定された観察画像を識別部２８に入力する構成としたが、マイクロ流体デバイス１００の画像データ（流路の位置が特定されていない画像データ）をそのまま識別部２８に入力し、該識別部２８により流路の位置を特定するように構成することもできる。その場合には、様々な数及び形状の流路が形成されたマイクロ流体デバイスの画像データであって、各流路の位置が既に特定されているものを学習データとする機械学習により識別部２８を構成すればよい。
【符号の説明】
【００８３】
１、１a…マイクロ流体デバイス観察装置
２…分注部
３…インキュベータ
４…位相差顕微鏡
１０a…制御・処理部
１０、１０a…制御・処理部
１１、１１a…記憶部
１１０…テンプレート画像
２０、２０a…マイクロ流体デバイス観察用プログラム
２１…抽出画素選択部
２２…流路特定部
２３…被検物特定部
２４…特徴画素群検出部
２５…流路境界画素群選択部
２６…統計特徴量算出部
２７…判定部
２８…識別部
４１…入力部
４２…表示部
１００…マイクロ流体デバイス
１０１…導入口
１０２a〜１０２e…空気口
１０３…菌液導入流路
１０３a〜１０３e…分岐流路
１０４…観察領域
１１０…テンプレート画像
【図１】
2020021604.tif 000003
【図２】
2020021604.tif 000004
【図３】
2020021604.tif 000005
【図４】
2020021604.tif 000006
【図５】
2020021604.tif 000007
【図６】
2020021604.tif 000008
【図７】
2020021604.tif 000009
【図８】
2020021604.tif 000010
【図９】
2020021604.tif 000011
【図１０】
2020021604.tif 000012
【手続補正書】
【提出日】令和2年12月10日(2020.12.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
前記マイクロ流体デバイスの画像を取得する撮像部と、
取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出する被検物特徴画素群検出部と、
前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める統計特徴量算出部と
を備えることを特徴とするマイクロ流体デバイス観察装置。
【請求項２】
前記統計特徴量算出部が、1つの流路の内部に複数の前記被検物特徴画素群が存在する場合に、該複数の前記被検物特徴画素群の前記統計特徴量の代表値を求める
ことを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
【請求項３】
さらに、
前記複数の流路のうちの1つについて求められた前記統計特徴量を他の流路について求められた前記統計特徴量と比較した結果に基づいて前記被検物の状態を判定する判定部
を備えることを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
【請求項４】
マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
前記マイクロ流体デバイスの画像を取得する撮像部と、
前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
流路の内部に被検物が存在するマイクロ流体デバイスの画像と該画像における被検物の数及び／又は形状を学習データとする機械学習によって構築され、取得された前記画像が入力されると、前記特定された複数の流路の内部に存在する前記被検物の数及び／又は形状を特定する識別部と、
を備えることを特徴とするマイクロ流体デバイス観察装置。
【請求項５】
前記識別部が、1つの流路の内部に複数の前記被検物が存在する場合に、該複数の前記被検物の数及び／又は形状に関連する統計特徴量の代表値を求める
ことを特徴とする請求項４に記載のマイクロ流体デバイス観察装置。
【請求項６】
前記識別部が、さらに、
前記特定した前記被検物の数及び／又は形状に基づいて各流路の内部に存在する前記被検物の状態を判定する
ことを特徴とする請求項４に記載のマイクロ流体デバイス観察装置。
【請求項７】
前記流路特定部が、前記画像に含まれる前記複数の流路の境界の位置を特定し、隣接する境界に挟まれた領域を前記流路として特定する
ことを特徴とする請求項１又は４に記載のマイクロ流体デバイス観察装置。
【請求項８】
前記マイクロ流体デバイスの少なくとも一部の領域において前記複数の流路は同一の幅を有して平行に配設されており、
前記流路特定部が、
それぞれが線状に連続に並ぶ所定個数以上の前記抽出画素からなる複数の抽出画素群のうち、相互の平行度が予め決められた平行度以上である複数の抽出画素群をそれぞれ流路特徴画素群として検出する流路特徴画素群検出部と、
前記複数の流路特徴画素群の中から、離間距離が前記流路の幅に対応する特徴画素群の組を流路境界画素群として選択する流路境界画素群選択部と、
前記画像における前記流路境界画素群の位置に基づき前記1乃至複数の流路の境界の位置を特定して各流路の画像を抽出する流路画像抽出部と
を有することを特徴とする請求項１又は４に記載のマイクロ流体デバイス観察装置。
【請求項９】
前記抽出画素選択部が、微分フィルタを用いて前記画像のエッジ強度を求めることを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
【請求項１０】
前記流路が直線状に形成されており、
前記流路特徴画素群検出部が、前記抽出画素群のそれぞれについて、当該抽出画素群を構成する画素の位置に対応する近似直線を求め、該近似直線の傾きと他の近似曲線の傾きの差が予め決められた大きさ以下であるものを特徴画素群として検出することを特徴とする請求項８に記載のマイクロ流体デバイス観察装置。
【請求項１１】
前記流路特徴画素群検出部が、ハフ変換により前記近似直線を求めることを特徴とする請求項１０に記載のマイクロ流体デバイス観察装置。
【請求項１２】
前記流路が複数、互いに平行に設けられており、
前記流路境界画素群選択部が、隣接する2つの前記流路特徴画素群の離間距離が等しいものを前記流路境界画素群として選択することを特徴とする請求項８に記載のマイクロ流体デバイス観察装置。
【請求項１３】
前記流路境界画素群選択部が、前記離間距離に関するヒストグラムを作成し、その最大階級に属するものを前記流路境界画素群として選択することを特徴とする請求項１２に記載のマイクロ流体デバイス観察装置。
【請求項１４】
マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
前記マイクロ流体デバイスの画像を取得し、
取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択し、
前記画像に含まれる前記複数の流路の位置を特定し、
前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出し、
前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める
ことを特徴とするマイクロ流体デバイス観察方法。
【請求項１５】
マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
前記マイクロ流体デバイスの画像を取得し、
前記画像に含まれる前記複数の流路の位置を特定し、
取得された前記画像の入力に応じて前記特定した複数の流路の内部に存在する前記菌の数及び／又は形状を特定する
ことを特徴とするマイクロ流体デバイス観察方法。
【国際調査報告】
2020021604.tif 000013
2020021604.tif 000014
2020021604.tif 000015
2020021604.tif 000016