(57)【要約】      （修正有）【課題】管状器具の位置を良好に検出することが可能なマニピュレーションシステムを提供する。【解決手段】管状器具１０を用いて微小対象物を採取するマニピュレーションシステム１００であって、管状器具１０と、管状器具１０が取り付けられるマニピュレータ２０と、微小対象物を収容するための容器３８が載置される試料ステージ３０と、試料ステージ３０の上方に配置される第１顕微鏡４１と、第１顕微鏡４１を介して第１画像を撮像する第１撮像装置４５と、コントローラ５０と、を備え、コントローラ５０は、第１画像に基づいて、しきい値以下の輝度を有する暗部を表示する第１バイナリ画像を作成する画像処理部と、第１バイナリ画像に基づいて管状器具の位置を検出する位置検出部と、を有する。【選択図】図３
2020122891.tif 000002
【特許請求の範囲】
【請求項１】
管状器具を用いて微小対象物を採取するマニピュレーションシステムであって、
前記管状器具と、
前記管状器具が取り付けられるマニピュレータと、
前記微小対象物を収容するための容器が載置される試料ステージと、
前記試料ステージの上方に配置される第１顕微鏡と、
前記第１顕微鏡を介して第１画像を撮像する第１撮像装置と、
コントローラと、を備え、
前記コントローラは、
前記第１画像に基づいて、しきい値以下の輝度を有する暗部を表示する第１バイナリ画像を作成する画像処理部と、
前記第１バイナリ画像に基づいて前記管状器具の位置を検出する位置検出部と、を有する
マニピュレーションシステム。
【請求項２】
前記コントローラは、前記管状器具の基準バイナリ画像を記憶する記憶部を有し、
前記位置検出部は、前記第１バイナリ画像において前記管状器具の前記暗部から形成される検出部分と、前記基準バイナリ画像とを比較して、前記管状器具を検出する
請求項１に記載のマニピュレーションシステム。
【請求項３】
前記コントローラは、前記第１画像の輝度に基づいて、前記しきい値を設定するしきい値設定部を有する
請求項１又は請求項２に記載のマニピュレーションシステム。
【請求項４】
前記画像処理部は、前記第１画像を輝度のみで表示したグレースケール画像に変換し、前記グレースケール画像に基づいて前記第１バイナリ画像を作成する
請求項１から請求項３のいずれか１項に記載のマニピュレーションシステム。
【請求項５】
前記画像処理部は、前記第１バイナリ画像において、前記管状器具の前記暗部から形成される検出部分を拡大することで、前記管状器具の内部の空間に対応する領域を挟んで配置された２つの前記暗部を１つにつなげる
請求項１から請求項４のいずれか１項に記載のマニピュレーションシステム。
【請求項６】
前記画像処理部は、前記微小対象物を示す前記暗部を前記第１バイナリ画像から除去する
請求項１から請求項５のいずれか１項に記載のマニピュレーションシステム。
【請求項７】
前記画像処理部は、前記第１画像から、検出された前記管状器具を囲む部分領域で切り取った画像を作成し、
前記位置検出部は、前記部分領域で切り取った画像から、前記管状器具の前記暗部から形成される検出部分と背景との輝度の差に基づいて、前記管状器具の前記暗部から形成される検出部分の延在方向に沿った部分の外形形状を検出する
請求項１から請求項６のいずれか１項に記載のマニピュレーションシステム。
【請求項８】
前記画像処理部は、前記第１画像から、前記管状器具の前記暗部から形成される検出部分の延在方向に沿った部分の外形形状と、前記管状器具の延在方向の端部と隣り合う部分の前記部分領域の外周とで囲まれた領域を切り取って、前記管状器具を抽出した管状器具画像を作成し、
前記位置検出部は、前記管状器具画像に基づいて、前記管状器具の延在方向の端部の位置を検出する
請求項７に記載のマニピュレーションシステム。
【請求項９】
前記画像処理部は、前記管状器具画像に基づいて、しきい値以上の輝度を有する明部を表示する管状器具バイナリ画像を作成し、
前記位置検出部は、前記管状器具バイナリ画像に基づいて、前記管状器具の内部の空気層及び液層を検出する
請求項８に記載のマニピュレーションシステム。
【請求項１０】
前記画像処理部は、前記管状器具画像から、前記管状器具の内部に前記微小対象物が存在しない部分の画像を切り取って、基準管状器具画像を作成し、
前記位置検出部は、検出された前記管状器具の画像と、前記基準管状器具画像との、輝度の差分を示す画像に基づいて、前記管状器具の内部の前記微小対象物を検出する
請求項８又は請求項９に記載のマニピュレーションシステム。
【請求項１１】
さらに、前記マニピュレータは、前記管状器具を前記試料ステージに対して相対的に移動させる駆動装置を有し、
前記コントローラは、
前記位置検出部によって検出された前記微小対象物と前記管状器具との離隔距離を自動で検出する距離検出部、を有し、
前記コントローラは、
前記駆動装置を動作させて、前記管状器具の先端が、前記位置検出部によって検出された前記微小対象物の位置に近づくように移動させ、
前記離隔距離があらかじめ設定された値よりも大きい場合に、前記位置検出部は、複数回、前記管状器具の位置を検出する
請求項１から請求項１０のいずれか１項に記載のマニピュレーションシステム。
【請求項１２】
前記管状器具の内側には、表面処理が施されている
請求項１から請求項１１のいずれか１項に記載のマニピュレーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マニピュレーションシステムに関する。
【背景技術】
【０００２】
バイオ医薬品は細胞を原料として製造される。原料となる細胞は、単一細胞に由来していることが求められる。このため、培養液中から特定の細胞を選別し回収することが必要となる。特許文献１には、細胞を吸引するマニピュレータを有する細胞採取装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６９１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
マニピュレータを有する細胞採取装置では、画像処理により検出された管状器具の端部の位置と、実際の管状器具の端部の位置との間に誤差が生じる可能性がある。このため、検出された管状器具の位置情報に基づいて、確実に細胞を採取することが困難となる場合がある。
【０００５】
本発明は、上記に鑑みてなされたものであり、管状器具の位置を良好に検出することが可能なマニピュレーションシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
一態様に係るマニピュレーションシステムは、管状器具を用いて微小対象物を採取するマニピュレーションシステムであって、前記管状器具と、前記管状器具が取り付けられるマニピュレータと、前記微小対象物を収容するための容器が載置される試料ステージと、前記試料ステージの上方に配置される第１顕微鏡と、前記第１顕微鏡を介して第１画像を撮像する第１撮像装置と、コントローラと、を備え、前記コントローラは、前記第１画像に基づいて、しきい値以下の輝度を有する暗部を表示する第１バイナリ画像を作成する画像処理部と、前記第１バイナリ画像に基づいて前記管状器具の位置を検出する位置検出部と、を有する。
【０００７】
これによれば、マニピュレーションシステムは、第１バイナリ画像に基づいて、管状器具以外の微小対象物等の検出部分を除去する等の画像処理を容易に行うことができる。また、マニピュレーションシステムは、第１バイナリ画像に基づいて、エッジ検出やパターンマッチングを行うことにより、良好に管状器具の位置を検出することができる。
【０００８】
望ましい態様として、前記コントローラは、前記管状器具の基準バイナリ画像を記憶する記憶部を有し、前記位置検出部は、前記第１バイナリ画像において前記管状器具の前記暗部から形成される検出部分と、前記基準バイナリ画像とを比較して、前記管状器具を検出する。これによれば、マニピュレーションシステムは、第１画像に撮像された微小対象物や、管状器具の内部の液層の影響を抑制して、管状器具の位置を良好に検出することができる。
【０００９】
望ましい態様として、前記コントローラは、前記第１画像の輝度に基づいて、前記しきい値を設定するしきい値設定部を有する。これによれば、第１顕微鏡の視野中の輝度が、測定環境等により変化した場合でも、マニピュレーションシステムは、良好に管状器具の明部及び暗部を検出することができる。すなわち、マニピュレーションシステムは、環境の変化に対するロバスト性を向上させることができる。
【００１０】
望ましい態様として、前記画像処理部は、前記第１画像を輝度のみで表示したグレースケール画像に変換し、前記グレースケール画像に基づいて前記第１バイナリ画像を作成する。これによれば、カラー画像を用いる場合に比べて画像処理部が行う画像処理の負荷を抑制することができる。
【００１１】
望ましい態様として、前記画像処理部は、前記第１バイナリ画像において、前記管状器具の前記暗部から形成される検出部分を拡大することで、前記管状器具の内部の空間に対応する領域を挟んで配置された２つの前記暗部を１つにつなげる。これによれば、マニピュレーションシステムは、管状器具の内部の液層と空気層との境界の位置の違いに起因する誤検出を抑制することができる。
【００１２】
望ましい態様として、前記画像処理部は、前記微小対象物を示す前記暗部を前記第１バイナリ画像から除去する。これによれば、マニピュレーションシステムは、微小対象物の存在に起因する管状器具の誤検出を抑制することができる。
【００１３】
望ましい態様として、前記画像処理部は、前記第１バイナリ画像から、検出された前記管状器具を囲む部分領域で切り取った画像を作成し、前記位置検出部は、前記部分領域で切り取った画像から、前記管状器具の前記暗部から形成される検出部分と背景との輝度の差に基づいて、前記管状器具の前記暗部から形成される前記検出部分の延在方向に沿った部分の外形形状を検出する。これによれば、マニピュレーションシステムは、管状器具の延在方向に沿った外形形状を正確に検出することができる。
【００１４】
望ましい態様として、前記画像処理部は、前記第１画像から、前記管状器具の前記暗部から形成される検出部分の延在方向に沿った部分の外形形状と、前記管状器具の延在方向の端部と隣り合う部分の前記部分領域の外周とで囲まれた領域を切り取って、前記管状器具を抽出した管状器具画像を作成し、前記位置検出部は、前記管状器具画像に基づいて、前記管状器具の延在方向の端部の位置を検出する。これによれば、マニピュレーションシステムは、管状器具の延在方向の端部の位置を正確に検出することができる。
【００１５】
望ましい態様として、前記画像処理部は、前記管状器具画像に基づいて、しきい値以上の輝度を有する明部を表示する管状器具バイナリ画像を作成し、前記位置検出部は、前記管状器具バイナリ画像に基づいて、前記管状器具の内部の空気層及び液層を検出する。これによれば、マニピュレーションシステムは、管状器具内の任意の領域が、空気層であるか液層であるかを検出することができる。
【００１６】
望ましい態様として、前記画像処理部は、前記第１画像から、前記管状器具の内部に前記微小対象物が存在しない部分の画像を切り取って、基準管状器具画像を作成し、前記位置検出部は、検出された前記管状器具の画像と、前記基準管状器具画像との、輝度の差分を示す画像に基づいて、前記管状器具の内部の前記微小対象物を検出する。これによれば、マニピュレーションシステムは、管状器具内に微小対象物が採取されたことを確実に検出することができる。
【００１７】
望ましい態様として、さらに、前記マニピュレータは、前記管状器具を前記試料ステージに対して相対的に移動させる駆動装置を有し、前記コントローラは、前記位置検出部によって検出された前記微小対象物と前記管状器具との離隔距離を自動で検出する距離検出部、を有し、前記コントローラは、前記駆動装置を動作させて、前記管状器具の先端が、前記位置検出部によって検出された前記微小対象物の位置に近づくように移動させ、前記離隔距離があらかじめ設定された値よりも大きい場合に、前記位置検出部は、複数回、前記管状器具の位置を検出する。これによれば、マニピュレーションシステムは、管状器具の位置を繰り返し検出することで、管状器具の端部の位置を、微小対象物を採取するための適切な位置に補正することができる。
【００１８】
望ましい態様として、前記管状器具の内側には、表面処理が施されている。これによれば、マニピュレーションシステムは、微小対象物が管状器具の内側に付着することを抑制できる。
【発明の効果】
【００１９】
本発明によれば、管状器具の位置を良好に検出することが可能なマニピュレーションシステムを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、第１実施形態に係るマニピュレーションシステムの構成例を示す斜視図である。
【図２】図２は、図１に示すマニピュレーションシステムの一部を拡大して示す斜視図である。
【図３】図３は、第１実施形態に係るマニピュレーションシステムの構成例を示す模式図である。
【図４】図４は、第１実施形態に係るマニピュレーションシステムの構成例を示すブロック図である。
【図５】図５は、検出部の構成例を示すブロック図である。
【図６】図６は、記憶部の構成例を示すブロック図である。
【図７】図７は、表示部の画面の一例を示す図である。
【図８】図８は、第１実施形態に係る採取用ピペットの構成例を示す側面図である。
【図９】図９は、採取用ピペットの先端部を拡大して示す図である。
【図１０】図１０は、第１実施形態に係るマニピュレーションシステムの、採取用ピペットを検出する検出シーケンスの一例を示すフローチャートである。
【図１１】図１１は、第１画像を輝度のみで表示したグレースケール画像の一例を示す模式図である。
【図１２】図１２は、細胞及び採取用ピペットの輝度の分布を模式的に示すグラフである。
【図１３】図１３は、バイナリ画像の一例を示す模式図である。
【図１４】図１４は、図１３に示す領域Ａ２の細胞の暗部を拡大して示す模式図である。
【図１５】図１５は、図１４に示す細胞の暗部の形状を補完する処理を説明するための模式図である。
【図１６】図１６は、暗部の形状を補完する処理を行ったバイナリ画像を示す模式図である。
【図１７】図１７は、細胞の暗部を除去したバイナリ画像を示す模式図である。
【図１８】図１８は、採取用ピペットの検出部分を拡大したバイナリ画像を示す模式図である。
【図１９】図１９は、基準バイナリ画像の一例を示す模式図である。
【図２０】図２０は、採取用ピペットの検出結果を表示する第１画像の一例を示す模式図である。
【図２１】図２１は、第２実施形態に係るマニピュレーションシステムの、採取用ピペットの形状を検出する検出シーケンスの一例を示すフローチャートである。
【図２２】図２２は、図２０に示す部分領域を切り取って、輝度のみで表示したグレースケール画像の一例を示す模式図である。
【図２３】図２３は、部分領域のバイナリ画像を示す模式図である。
【図２４】図２４は、部分領域のバイナリ画像において、暗部の形状を補完する処理を行ったバイナリ画像を示す模式図である。
【図２５】図２５は、部分領域のバイナリ画像において、細胞の暗部を除去したバイナリ画像を示す模式図である。
【図２６】図２６は、部分領域のバイナリ画像において、採取用ピペットの検出部分を拡大したバイナリ画像を示す模式図である。
【図２７】図２７は、採取用ピペットの検出部分のエッジを検出する方法を説明するための説明図である。
【図２８】図２８は、第３実施形態に係るマニピュレーションシステムの、採取用ピペットの端部を検出する検出シーケンスの一例を示すフローチャートである。
【図２９】図２９は、検出部分の端部のＹ軸方向の位置を説明するための説明図である。
【図３０】図３０は、第１画像から採取用ピペットを切り取ったピペット画像の一例を示す模式図である。
【図３１】図３１は、採取用ピペットの端部を検出する方法を説明するための説明図である。
【図３２】図３２は、第４実施形態に係るマニピュレーションシステムの、採取用ピペットの内部を検出する検出シーケンスの一例を示すフローチャートである。
【図３３】図３３は、ピペット画像を輝度のみで表示したグレースケール画像の一例を示す模式図である。
【図３４】図３４は、採取用ピペットの明部を示すピペットバイナリ画像である。
【図３５】図３５は、第５実施形態に係るマニピュレーションシステムの、採取用ピペットの内部の細胞を検出する検出シーケンスの一例を示すフローチャートである。
【図３６】図３６は、採取用ピペットの内部に細胞が存在しない部分の画像を切り取って作成した、基準画像の一例を示す模式図である。
【図３７】図３７は、検出されたピペット画像の一部を切り取った画像の一例を示す模式図である。
【図３８】図３８は、検出されたピペット画像と基準画像の差分の画像の一例を示す模式図である。
【図３９】図３９は、差分の画像の明部を示すバイナリ画像の一例を示す模式図である。
【図４０】図４０は、第６実施形態に係るマニピュレーションシステムの動作シーケンスの一例を示すフローチャートである。
【図４１】図４１は、第６実施形態に係る第１画像を模式的に示す模式図である。
【発明を実施するための形態】
【００２１】
以下、発明を実施するための形態（以下、実施形態という）につき図面を参照しつつ詳細に説明する。なお、下記の実施形態により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、下記実施形態で開示した構成要素は適宜組み合わせることが可能である。
【００２２】
（第１実施形態）
図１は、第１実施形態に係るマニピュレーションシステムの構成例を示す斜視図である。図２は、図１に示すマニピュレーションシステムの一部を拡大して示す斜視図である。図３は、第１実施形態に係るマニピュレーションシステムの構成例を示す模式図である。図１から図３に示すマニピュレーションシステム１００は、容器３８に収容された複数個の微小対象物のうちから、所望の微小対象物を１個ずつ分取する装置である。微小対象物は、例えば細胞である。
【００２３】
図１から図３に示すように、マニピュレーションシステム１００は、基台１と、採取用ピペット１０と、ピペット保持部１５と、マニピュレータ２０と、試料ステージ３０と、第１撮像装置４５を有する第１顕微鏡ユニット４０と、コントローラ５０と、第２撮像装置６５を有する第２顕微鏡ユニット６０と、第３撮像装置７５と、ジョイスティック５７と、入力部５８と、表示部８０と、を備える。なお、本実施形態では、試料ステージ３０の載置面３０ａに平行な一方向をＸ軸方向とする。載置面３０ａに平行で、かつ、Ｘ軸方向と直交する方向をＹ軸方向とする。載置面３０ａの法線方向をＺ軸方向とする。例えば、載置面３０ａが鉛直方向と直交する水平面となるように、基台１の配置が調整されている。
【００２４】
採取用ピペット１０は、細胞を採取するための管状器具である。例えば、採取用ピペット１０は針状であり、その材質は例えばガラスである。採取用ピペット１０の先端には、細胞を採取するための開口部が設けられている。採取用ピペット１０の詳細は、後で図８及び図９を参照しながら説明する。
【００２５】
ピペット保持部１５は、採取用ピペット１０を保持するための管状器具である。ピペット保持部１５の材質は、例えばガラス又は金属である。ピペット保持部１５の一端は、採取用ピペット１０に連結している。また、ピペット保持部１５の他端は、マニピュレータ２０が有する電動マイクロポンプ２９に接続されている。ピペット保持部１５及び採取用ピペット１０の内部圧力は、電動マイクロポンプ２９から供給される圧力Ｐにより減圧又は増圧される。採取用ピペット１０の内部圧力が常圧よりも低いとき、採取用ピペット１０は先端の開口部から細胞を吸引して採取することができる。また、採取用ピペット１０の内部圧力が常圧よりも高いとき、採取用ピペット１０は、採取した細胞を採取用ピペット１０の先端の開口部から外部へ吐出（放出）することができる。ピペット保持部１５は、後述の連結部２８を介してマニピュレータ２０に連結されている。
【００２６】
マニピュレータ２０は、ピペット保持部１５及び採取用ピペット１０をＸ軸方向、Ｙ軸方向及びＺ軸方向に移動させるための装置である。
【００２７】
図３に示すように、マニピュレータ２０は、Ｘ軸テーブル２１と、Ｙ軸テーブル２２と、Ｚ軸テーブル２３と、駆動装置２６、２７（例えば、モータ）と、連結部２８、７１（図１参照）と、電動マイクロポンプ２９と、を備える。Ｘ軸テーブル２１は、駆動装置２６が駆動することによって、Ｘ軸方向に移動する。Ｙ軸テーブル２２は、駆動装置２６が駆動することによって、Ｙ軸方向に移動する。Ｚ軸テーブル２３は、駆動装置２７が駆動することによって、Ｚ軸方向に移動する。駆動装置２６、２７と、電動マイクロポンプ２９は、コントローラ５０に接続されている。
【００２８】
マニピュレータ２０において、Ｚ軸テーブル２３はＹ軸テーブル２２上に取り付けられている。これにより、ピペット保持部１５及び採取用ピペット１０は、Ｙ軸テーブル２２の移動にしたがって、Ｙ軸テーブル２２と同じ距離だけＹ軸方向に移動することができる。さらに、Ｙ軸テーブル２２はＸ軸テーブル２１上に取り付けられている。これにより、ピペット保持部１５及び採取用ピペット１０は、Ｘ軸テーブル２１の移動にしたがって、Ｘ軸テーブル２１と同じ距離だけＸ軸方向に移動することができる。また、ピペット保持部１５及び採取用ピペット１０は、Ｚ軸テーブル２３の移動にしたがって、Ｚ軸テーブル２３と同じ距離だけＺ軸方向に移動することができる。
【００２９】
図３に示すように、試料ステージ３０は、容器３８を支持する。例えば、試料ステージ３０の載置面３０ａに容器３８が載置される。容器３８は、例えば、ディッシュ又はウェルプレートである。試料ステージ３０は、Ｘ軸ステージ３１と、Ｙ軸ステージ３２と、駆動装置３６と、を備える。Ｘ軸ステージ３１は、駆動装置３６が駆動することによって、Ｘ軸方向に移動する。Ｙ軸ステージ３２は、駆動装置３６が駆動することによって、Ｙ軸方向に移動する。Ｘ軸ステージ３１はＹ軸ステージ３２上に取り付けられている。駆動装置３６は、コントローラ５０に接続されている。
【００３０】
なお、図３では、試料ステージ３０の平面視による形状（以下、平面形状）が円形の場合を示しているが、試料ステージ３０の平面形状は円形に限定されず、例えば矩形でもよい。また、図３では、容器３８の平面形状が円形の場合を示しているが、容器３８の平面形状は円形に限定されない。図１に示すように、容器３８の平面形状は、例えば矩形でもよい。また、図１及び図３では、試料ステージ３０上に１個の容器３８が載置されている場合を示しているが、試料ステージ３０上に載置される容器３８の数は１個に限定されず複数個でもよい。
【００３１】
第１顕微鏡ユニット４０は、試料ステージ３０の上方に配置されている。第１顕微鏡ユニット４０は、第１顕微鏡４１と、第１撮像装置４５と、試料ステージ３０の載置面３０ａに向けて光を照射する光源（図示せず）とを有する。図２に示すように、第１顕微鏡４１は、鏡筒４１１と、対物レンズ４１２と、駆動装置４１４（図３参照）とを有する。第１顕微鏡４１は、対物レンズ４１２が容器３８の上方に位置する実体顕微鏡である。第１顕微鏡ユニット４０の鏡筒４１１は、駆動装置４１４が駆動することによって、Ｚ軸方向に移動する。これにより、第１顕微鏡４１は、焦点位置を調節することができる。対物レンズ４１２は、所望の倍率に合わせて複数種類が用意されていてもよい。第１撮像装置４５は、第１顕微鏡４１を介して、採取用ピペット１０の先端をＺ軸方向から撮像することができる。なお、第１顕微鏡ユニット４０は、図示しない接眼レンズを備えてもよい。
【００３２】
図１に示す連結部２８は、ピペット保持部１５をマニピュレータ２０に連結している。また、第１顕微鏡ユニット４０の鏡筒４１１は、連結部７１によりマニピュレータ２０に連結されている。これにより、鏡筒４１１がＺ軸方向へ移動すると、これと一緒にマニピュレータ２０、ピペット保持部１５及び採取用ピペット１０もＺ軸方向へ移動する。連結部２８、７１は、例えば金属製である。連結部２８、７１は、例えばＺ軸テーブル２３に取り付けられている。
【００３３】
第２顕微鏡ユニット６０は、試料ステージ３０の側方に配置されている。第２顕微鏡ユニット６０は、第２顕微鏡６１と、第２撮像装置６５とを有する。図２に示すように、第２顕微鏡６１は、鏡筒６１１と、対物レンズ６１２と、駆動装置６１３（図１参照）と、を有する。対物レンズ６１２は、駆動装置６１３が駆動することによって、Ｙ軸方向に移動する。これにより、第２顕微鏡６１は、焦点位置を調節することができる。第２撮像装置６５は、第２顕微鏡６１を介して、採取用ピペット１０の先端をＹ軸方向から撮像することができる。第２顕微鏡ユニット６０は、固定具３を介して基台１に固定されている。第１撮像装置４５及び第２撮像装置６５は、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等の固体撮像素子を有する。
【００３４】
第３撮像装置７５は、固定具４を介して基台１に固定されている。固定具４は、Ｘ軸方向及びＹ軸方向に動くことができ、Ｚ軸方向に延伸することができる。これにより、第３撮像装置７５は、Ｘ軸方向、Ｙ軸方向及びＺ軸方向とそれぞれ交差する、試料ステージ３０の斜め上方向から、試料ステージ３０側を撮像することができる。
【００３５】
図３に示す入力部５８は、キーボードやタッチパネル等である。ジョイスティック５７及び入力部５８は、コントローラ５０に接続されている。オペレータは、ジョイスティック５７及び入力部５８を介して、コントローラ５０にコマンドを入力することができる。
【００３６】
次に、コントローラ５０の機能について、図４を参照して説明する。図４は、第１実施形態に係るマニピュレーションシステムの構成例を示すブロック図である。コントローラ５０は、演算手段としてのＣＰＵ（中央演算処理装置）及び記憶手段としてのハードディスク、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のハードウェア資源を備える。
【００３７】
図４に示すように、コントローラ５０は、その機能として、画像入力部５１ａ、画像出力部５１ｂ、画像処理部５２、検出部５３、画像編集部５４、制御部５５及び記憶部５６を有する。画像入力部５１ａ、画像出力部５１ｂ、画像処理部５２、検出部５３、画像編集部５４及び制御部５５は、上記の演算手段により実現される。記憶部５６は、上記の記憶手段により実現される。コントローラ５０は、記憶部５６に格納されたプログラムに基づいて各種の演算を行い、演算結果にしたがって制御部５５が各種の制御を行うように駆動信号を出力する。
【００３８】
制御部５５は、第１顕微鏡ユニット４０の駆動装置４１４と、マニピュレータ２０の駆動装置２６、２７及び電動マイクロポンプ２９と、試料ステージ３０の駆動装置３６と、第２顕微鏡ユニット６０の駆動装置６１３とを制御する。制御部５５は、駆動装置４１４、２６、２７、３６、６１３に駆動信号Ｖｚ１、Ｖｘｙ２、Ｖｚ２、Ｖｘｙ３、Ｖｙ４（図３参照）をそれぞれ供給する。また、制御部５５は、電動マイクロポンプ２９に駆動信号Ｖｍｐ（図３参照）を供給する。なお、制御部５５は、必要に応じて設けられたドライバやアンプ等を介して、駆動信号Ｖｚ１、Ｖｘｙ２、Ｖｚ２、Ｖｘｙ３、Ｖｙ４、Ｖｍｐをそれぞれ供給してもよい。
【００３９】
第１撮像装置４５から出力される第１画像信号Ｖｐｉｘ１（図３参照）と、第２撮像装置６５から出力される第２画像信号Ｖｐｉｘ２（図３参照）と、第３撮像装置７５から出力される第３画像信号Ｖｐｉｘ３（図３参照）は、画像入力部５１ａにそれぞれ入力される。画像処理部５２は、画像入力部５１ａから第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３を受け取って、画像処理を行う。画像出力部５１ｂは、画像処理部５２で画像処理された画像情報を記憶部５６及び表示部８０へ出力する。
【００４０】
例えば、第１画像信号Ｖｐｉｘ１には、第１顕微鏡４１を通して第１撮像装置４５が撮像した第１画像８１１（図７参照）と、その撮像時刻とが含まれている。第１画像８１１は動画である。同様に、第２画像信号Ｖｐｉｘ２には、第２顕微鏡６１を通して第２撮像装置６５が撮像した第２画像８１２（図７参照）と、その撮像時刻とが含まれている。第２画像８１２も動画である。第３画像信号Ｖｐｉｘ３には、第３撮像装置７５が撮像した第３画像８１３（図７参照）と、その撮像時刻とが含まれている。第３画像８１３も動画である。
【００４１】
また、第１画像８１１、第２画像８１２及び第３画像８１３は、それぞれカラー画像又はグレー画像である。グレー画像は、白色及び黒色と、白色と黒色の中間色である灰色を含む画像である。グレー画像は、灰色に複数の階調を有する。階調とは、色や明るさの濃淡の段階数のことである。
【００４２】
画像処理部５２は、細胞の検出を容易にするために、第１画像８１１又は第２画像８１２の少なくとも一方について、画像の拡大や２値化等の画像処理をする。画像の２値化とは、カラー画像又はグレー画像（以下、元画像）を、濃淡がなく、白色と黒色としかない２値画像（ｂｉｎａｒｙ  ｉｍａｇｅ）に変換することである。画像処理部５２は、第１画像８１１又は第２画像８１２の少なくとも一方について、元画像を拡大した拡大画像や、元画像を２値化した２値画像を作成する。また、画像処理部５２は、元画像を拡大し、２値化した拡大２値画像を作成してもよい。画像処理部５２は、拡大画像、２値画像、拡大２値画像の少なくとも１種類以上を画像情報として、検出部５３と画像編集部５４とに出力する。
【００４３】
検出部５３は、画像処理部５２から画像情報を受け取り、受け取った画像情報に基づいて、細胞の位置や個数を自動で検出する。そして、検出部５３は検出結果を画像編集部５４及び制御部５５に出力する。なお、本開示において「自動」とは、装置が作業者の判断を介さずに動作することを意味する。
【００４４】
図５は、検出部の構成例を示すブロック図である。図５に示すように、検出部５３は、その機能として、位置検出部５３１と、距離検出部５３２と、個数検出部５３３と、輝度検出部５３４と、しきい値設定部５３５とを有する。位置検出部５３１は、画像処理部５２によって画像処理された第１画像８１１又は第２画像８１２に基づいて、細胞ｃｅ（図７参照）の位置を自動で検出する。また、位置検出部５３１は、画像処理部５２によって画像処理された第１画像８１１又は第２画像８１２に基づいて、採取用ピペット１０の先端部１０３の位置を検出する。
【００４５】
距離検出部５３２は、位置検出部５３１によって検出された細胞ｃｅと先端部１０３の開口部１０３ａ（後述の図９参照）との離隔距離を自動で検出する。個数検出部５３３は、画像処理部５２によって画像処理された第１画像８１１又は第２画像８１２に基づいて、細胞ｃｅの個数を自動で検出する。画像処理部５２によって画像処理された画像として、例えば、拡大画像、２値画像及び拡大２値画像の少なくとも１種類以上が挙げられる。位置検出部５３１、距離検出部５３２及び個数検出部５３３の各検出結果は、画像編集部５４及び制御部５５にそれぞれ出力される。
【００４６】
輝度検出部５３４は、画像処理部５２によって画像処理された第１画像８１１に基づいて、第１画像８１１全体の輝度Ｌ−ＢＧを検出する。輝度Ｌ−ＢＧは、第１画像８１１全体における輝度の平均値である。しきい値設定部５３５は、輝度検出部５３４によって検出された輝度Ｌ−ＢＧに基づいて、しきい値Ｌ−ＴＨを設定する（図１２参照）。しきい値Ｌ−ＴＨは、画像処理部５２が２値画像（バイナリ画像８１１Ａ（図１３参照））を作成する際の輝度の基準値である。輝度Ｌ−ＢＧ及びしきい値Ｌ−ＴＨは、例えば、大津の二値化処理によって自動で設定される。
【００４７】
画像編集部５４は、第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３を、撮像時刻に基づいて互いに関連付けして、編集画像信号Ｖｐｉｘ４を作成する。編集画像信号Ｖｐｉｘ４には、編集画像が含まれている。編集画像は、互いに同じ時刻に撮像された第１画像８１１、第２画像８１２及び第３画像８１３を並べて表示する動画である。編集画像において、第１画像８１１、第２画像８１２及び第３画像８１３はそれぞれ、元画像でもよいし、元画像を画像処理した拡大画像、２値画像又は拡大２値画像であってもよい。画像出力部５１ｂは、第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３及び編集画像信号Ｖｐｉｘ４を記憶部５６に出力する。
【００４８】
また、画像編集部５４は、検出部５３から細胞ｃｅの検出結果を受信する。検出部５３が細胞ｃｅの位置を検出した場合、画像編集部５４は、その検出結果を編集画像に反映させてもよい。例えば、画像編集部５４は、画像処理部５２から受け取った拡大画像、２値画像又は拡大２値画像において、検出部５３が検出した細胞ｃｅの位置を矢印で自動で示したり、検出部５３が検出した細胞の位置を枠線で自動で囲んだりしてもよい。
【００４９】
図６は、記憶部の構成例を示すブロック図である。図６に示すように、記憶部５６は、その機能として、マニピュレーションシステム１００を動作させるためのプログラムを記憶したプログラム記憶部５６ａと、画像信号を記憶する画像記憶部５６ｂとを有する。画像記憶部５６ｂは、第１画像信号Ｖｐｉｘ１を記憶する第１画像記憶部５６１と、第２画像信号Ｖｐｉｘ２を記憶する第２画像記憶部５６２と、第３画像信号Ｖｐｉｘ３を記憶する第３画像記憶部５６３と、編集画像信号Ｖｐｉｘ４を記憶する編集画像記憶部５６４と、基準バイナリ画像１０３ｒ１（図１９参照）を記憶する基準画像記憶部５６５と、を有する。第１画像記憶部５６１は、画像処理部５２が作成した、拡大画像、２値画像、拡大２値画像の少なくとも１種類以上を一時的に記憶してもよい。
【００５０】
画像出力部５１ｂは、第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３及び編集画像信号Ｖｐｉｘ４のうち、少なくとも１つ以上の画像信号を表示部８０に出力する。
【００５１】
表示部８０は、例えば液晶パネル等である。表示部８０は、コントローラ５０に接続されている。表示部８０は、種々の文字情報や画像等を画面に表示する。図７は、表示部の画面の一例を示す図である。図７は、表示部８０の画面８１に編集画像が表示されている場合を例示している。編集画像では、互いに同じタイミングで撮像された第１画像８１１、第２画像８１２、第３画像８１３が並んで配置されている。表示部８０は、編集画像をリアルタイム又はほぼリアルタイムで表示してもよいし、編集画像記憶部５６４に記憶されている編集画像を読み出して再生表示してもよい。
【００５２】
オペレータがジョイスティック５７又は入力部５８を操作することによって、画面８１に表示される画像を切り替えることが可能である。また、オペレータがジョイスティック５７又は入力部５８を操作することによって、画面８１に表示される編集画像（動画）を一時停止させることが可能である。また、プログラム記憶部５６ａ（図６参照）が記憶しているプログラムに基づいて、制御部５５（図４参照）が所定の画像を画面８１に自動で表示させたり、画面８１に表示される画像を自動で切り替えたりしてもよい。
【００５３】
また、画面８１に表示される画像は、編集画像に限定されることはなく、第１画像８１１、第２画像８１２又は第３画像８１３のみでもよい。また、画面に表示される画像は、元画像に限定されることはなく、画像処理部５２によって画像処理された画像（例えば、拡大画像、２値画像及び拡大２値画像の少なくとも１種以上）であってもよい。例えば、画面８１に表示される画像は、図１１に示すグレースケール画像８１１Ｇや、図１３等に示すバイナリ画像８１１Ａや、図２３等に示す部分領域ＢＢのバイナリ画像８１４Ａ等であってもよい。
【００５４】
図８は、実施形態１に係る採取用ピペットの構成例を示す側面図である。図８に示すように、採取用ピペット１０は、２段に屈曲した形状のガラス針である。具体的には、採取用ピペット１０は、平面視で、管状の中央部１０１と、中央部１０１の一端に接続する管状の後方部１０２と、中央部１０１の他端に接続する管状の先端部１０３と、を有する。後方部１０２は、ピペット保持部１５によって保持される側の部位である。先端部１０３は、細胞等の微小対象物を採取する側の部位である。
【００５５】
中央部１０１と後方部１０２との間には第１屈曲部１０４が存在する。中央部１０１と先端部１０３との間には第２屈曲部１０５が存在する。中央部１０１の長手方向と後方部１０２の長手方向は互いに交差している。中央部１０１の長手方向と先端部１０３の長手方向も互いに交差している。後方部１０２の長手方向と先端部１０３の長手方向は互いに平行又はほぼ平行である。例えば、中央部１０１の長手方向と後方部１０２の長手方向とが成す鈍角の角度（以下、第１屈曲部１０４の屈曲角度）をθ１とする。中央部１０１の長手方向と先端部１０３の長手方向とが成す鈍角の角度（以下、第２屈曲部１０５の屈曲角度）をθ２とする。第１屈曲部１０４の屈曲角度θ１と第２屈曲部１０５の屈曲角度θ２との差の絶対値｜θ１−θ２｜は、０°以上５°未満である。
【００５６】
また、中央部１０１の長手方向の長さをＬ１とし、後方部１０２の長手方向の長さをＬ２とし、先端部１０３の長手方向の長さをＬ３としたとき、Ｌ３＜Ｌ１、かつ、Ｌ３＜Ｌ２である。これによれば、採取用ピペット１０の先端部である先端部１０３を容器３８内に配置することが容易である。
【００５７】
中央部１０１を、中央部１０１の長手方向と直交する平面で切断した形状は円形である。同様に、後方部１０２を、後方部１０２の長手方向と直交する平面で切断した形状は円形である。先端部１０３を、先端部１０３の長手方向と直交する平面で切断した形状は円形である。後方部１０２の外径をφ２１とし、先端部１０３の外径をφ３１としたとき、φ２１＞φ３１である。また、中央部１０１の外径φ１１は、第１屈曲部１０４の側から第２屈曲部１０５の側に向かって小さくなっている。
【００５８】
例えば、中央部１０１は、第１屈曲部１０４と第２屈曲部１０５との間に、外径が大きく変化する狭窄部１０６を有する。中央部１０１において、狭窄部１０６と第１屈曲部１０４との間に位置する第１部位１０１ａよりも、狭窄部１０６と第２屈曲部１０５との間に位置する第２部位１０１ｂの方が、外径φ１１が小さい。また、第２部位１０１ｂの長手方向の長さＬ１’は、先端部１０３の長手方向の長さＬ３よりも長い。
【００５９】
図９は、第１実施形態に係る採取用ピペットの先端部を拡大して示す図である。図９に示すように、先端部１０３の先端には開口部１０３ａが設けられている。開口部１０３ａと第２屈曲部１０５との間で、先端部１０３の内径φ３２の大きさはほぼ一定である。採取用ピペット１０の採取対象である細胞ｃｅの直径をφｃｅとしたとき、φ３２はφｃｅよりも数μｍ程度大きいことが好ましい。これにより、採取用ピペット１０は、細胞ｃｅを先端部１０３の内部に導入することができる。
【００６０】
採取用ピペット１０の内側には、表面処理が施されている。例えば、採取用ピペット１０の内周面は、ポリビニルピロリドン（以下、ＰＶＰ（Ｐｏｌｙｖｉｎｙｌｐｙｒｒｏｌｉｄｏｎｅ））によりコーティングされる。採取用ピペット１０の内周面をコーティングする際には、例えば、ＰＶＰ溶液内に採取用ピペット１０を浸け、複数回吸引と吐出とを繰り返す。その後、液体３９（図７参照）の中で複数回吸引と吐出とを繰り返すことで、すすぎを行う。これにより、採取用ピペット１０の内周面がＰＶＰ溶液によりコーティングされる。これにより、マニピュレーションシステム１００は、細胞ｃｅの採取の際に、細胞ｃｅが採取用ピペット１０の内側に付着することを抑制できる。
【００６１】
次に、マニピュレーションシステム１００の採取用ピペット１０の検出動作について説明する。図１０は、第１実施形態に係るマニピュレーションシステムの、採取用ピペットを検出する検出シーケンスの一例を示すフローチャートである。
【００６２】
図１０に示す動作シーケンスでは、容器３８は液体３９と複数個の細胞ｃｅとを収容している（図７参照）。図１０に示すように、マニピュレーションシステム１００は、第１顕微鏡４１の焦点を採取用ピペット１０の先端部１０３に自動で合わせる（ステップＳＴ１１）。例えば、オペレータはジョイスティック５７又は入力部５８（図３参照）を操作して、コントローラ５０（図３参照）に細胞ｃｅの自動検出を実行するように指示する。
【００６３】
この指示を受けて、コントローラ５０の制御部５５（図３参照）は、駆動装置４１４に駆動信号Ｖｚ１（図３参照）を出力して、対物レンズ４１２をＺ軸方向に動かす。これにより、第１顕微鏡ユニット４０は、第１顕微鏡４１の焦点を採取用ピペット１０の先端部１０３に合わせる。
【００６４】
次に、第１撮像装置４５は、第１顕微鏡４１を介して第１画像８１１を撮像する。画像処理部５２は、第１画像８１１の情報である第１画像信号Ｖｐｉｘ１を受け取って、第１画像８１１から輝度のパラメータのみを抽出した画像（グレースケール画像８１１Ｇ）に変換する（ステップＳＴ１２）。これにより、画像処理部５２が行う画像処理の負荷を抑制することができ、２値化処理や拡大処理等を良好に行うことができる。
【００６５】
図１１は、第１画像を輝度のみで表示したグレースケール画像の一例を示す模式図である。図１１に示すように、第１顕微鏡４１の焦点が採取用ピペット１０に合うとき、採取用ピペット１０の先端部１０３は容器３８の内部に位置する。グレースケール画像８１１Ｇには、多数の細胞ｃｅと、採取用ピペット１０の先端部１０３が撮像されている。先端部１０３は、液体が存在する液層１０９と、液体が存在しない空気層１０８とを有する。
【００６６】
次に、輝度検出部５３４及びしきい値設定部５３５（図５参照）は、輝度のしきい値Ｌ−ＴＨを設定する（ステップＳＴ１３）。
【００６７】
輝度検出部５３４は、グレースケール画像８１１Ｇ全体の輝度Ｌ−ＢＧ（図１２参照）を検出する。輝度Ｌ−ＢＧは、グレースケール画像８１１Ｇ全体の輝度の平均値である。しきい値設定部５３５は、輝度検出部５３４が検出した輝度Ｌ−ＢＧの情報を受け取って、しきい値Ｌ−ＴＨを設定する。輝度Ｌ−ＢＧ及びしきい値Ｌ−ＴＨは、例えば、大津の二値化処理によって自動で設定される。
【００６８】
図１２は、細胞及び採取用ピペットの輝度の分布を模式的に示すグラフである。図１２は、図１１に示すＸＩＩ−ＸＩＩ’に沿った輝度の分布を模式的に示している。図１２に示すように、しきい値設定部５３５は、グレースケール画像８１１Ｇ全体の輝度Ｌ−ＢＧをしきい値Ｌ−ＴＨとして設定している。ただし、これに限定されず、しきい値Ｌ−ＴＨは背景の輝度Ｌ−ＢＧと異なる輝度であってもよい。このように、しきい値設定部５３５が自動的にしきい値Ｌ−ＴＨを設定することにより、第１顕微鏡４１の視野中の輝度が、測定環境等により変化した場合でも、マニピュレーションシステム１００は、良好に採取用ピペット１０の暗部Ｔ−ａ及び明部Ｔ−ｂを検出することができる。すなわち、マニピュレーションシステム１００は、環境の変化に対するロバスト性を向上させることができる。
【００６９】
第１顕微鏡４１で観察される細胞ｃｅには、光源から照射される光の状態に応じて影が生じる。このため、１つの細胞ｃｅは、暗部ｃｅ−ａと、明部ｃｅ−ｂとを有する。暗部ｃｅ−ａは背景の輝度Ｌ−ＢＧよりも小さい輝度を有する。明部ｃｅ−ｂは背景の輝度Ｌ−ＢＧよりも大きい輝度を有する。また、採取用ピペット１０の先端部１０３は、図１１に示すように、空気層１０８に対応する明部Ｔ−ｂと、空気層１０８を挟むガラス管の部分に対応する暗部Ｔ−ａと、を有する。明部Ｔ−ｂは暗部Ｔ−ａよりも大きい輝度を有し、暗部Ｔ−ａでは、しきい値Ｌ−ＴＨ（輝度Ｌ−ＢＧ）よりも小さい輝度を有する。
【００７０】
次に、画像処理部５２は、しきい値Ｌ−ＴＨの情報を受け取って、グレースケール画像８１１Ｇの画像処理を行う。具体的には、画像処理部５２は、グレースケール画像８１１Ｇからしきい値Ｌ−ＴＨ以下の輝度の部分を抽出して、バイナリ画像８１１Ａを作成する（ステップＳＴ１４）。図１３は、バイナリ画像の一例を示す模式図である。図１３に示すように、バイナリ画像８１１Ａにおいて、細胞ｃｅのうち、しきい値Ｌ−ＴＨ以下の輝度を有する暗部ｃｅ−ａが白表示となり、しきい値Ｌ−ＴＨよりも大きい輝度を有する明部ｃｅ−ｂ及び背景が黒表示となる。また、採取用ピペット１０の先端部１０３において、しきい値Ｌ−ＴＨ以下の輝度を有する暗部Ｔ−ａが白表示となり、空気層１０８及び液層１０９の明部Ｔ−ｂが黒表示となる。つまり、バイナリ画像８１１Ａは、反転画像として作成される。
【００７１】
なお、以下の説明では、採取用ピペット１０の２つの暗部Ｔ−ａから形成される部分を検出部分１０３ｇと表す。一方の暗部Ｔ−ａと他方の暗部Ｔ−ａは、空気層１０８及び液層１０９に対応する明部Ｔ−ｂを挟んで配置される。
【００７２】
次に、画像処理部５２は、細胞ｃｅの暗部ｃｅ−ａの形状を補完する（ステップＳＴ１５）。図１４は、図１３に示す領域Ａ２の細胞の暗部を拡大して示す模式図である。図１５は、図１４に示す細胞の暗部の形状を補完する処理を説明するための模式図である。図１６は、暗部の形状を補完する処理を行ったバイナリ画像を示す模式図である。具体的には、図１４に示すように、画像処理部５２は、複数の細胞ｃｅの暗部ｃｅ−ａのうち、外周に凹部ｃｅ−ｘを有する暗部ｃｅ−ａを抽出する。凹部ｃｅ−ｘを有する暗部ｃｅ−ａと、凹部ｃｅ−ｘを有さない暗部ｃｅ−ａとの判定は、ヘイウッドの円形ファクターに基づいて行うことができる。
【００７３】
図１５に示すように、画像処理部５２は、暗部ｃｅ−ａの凹部ｃｅ−ｘを埋めるように、暗部ｃｅ−ａの形状を補完する。これにより、複数の暗部ｃｅ−ａの外径形状が、凹部ｃｅ−ｘを有さない滑らかな形状となる。図１５には、３つの暗部ｃｅ−ａを示したが、図１６に示すように、画像処理部５２は、バイナリ画像８１１Ａに含まれる全ての暗部ｃｅ−ａに対して、凹部ｃｅ−ｘを埋めるように、暗部ｃｅ−ａの形状を補完する。
【００７４】
次に、画像処理部５２は、細胞ｃｅの暗部ｃｅ−ａをバイナリ画像８１１Ａから除去する（ステップＳＴ１６）。図１７は、細胞の暗部を除去したバイナリ画像を示す模式図である。図１７に示すように、画像処理部５２は、細胞ｃｅを示す小さい丸い形状の暗部ｃｅ−ａ（図１６参照）をバイナリ画像８１１Ａから除去する。これにより、バイナリ画像８１１Ａには、採取用ピペット１０の検出部分１０３ｇのみが表示される。なお、図１７において、２つの暗部Ｔ−ａの間に示される暗部は、空気層１０８と液層１０９との界面１０９ａに対応する。
【００７５】
画像処理部５２は、バイナリ画像８１１Ａから小さい暗部ｃｅ−ａを除去することにより、採取用ピペット１０と重なって検出された暗部ｃｅ−ａも除去される。これにより、マニピュレーションシステム１００は、採取用ピペット１０と重なる細胞ｃｅや、採取用ピペット１０と近接する細胞ｃｅを、採取用ピペット１０の一部として誤検出することを抑制できる。したがって、マニピュレーションシステム１００は、細胞ｃｅの存在に起因して、採取用ピペット１０の位置や形状の誤差が生じることを抑制することができる。
【００７６】
また、画像処理部５２は、あらかじめ、暗部ｃｅ−ａの形状を補完する処理を行っているので、暗部ｃｅ−ａの形状のばらつきが小さくなる。このため、画像処理部５２は、バイナリ画像８１１Ａから、確実に暗部ｃｅ−ａを抽出して除去することができる。
【００７７】
次に、画像処理部５２は、バイナリ画像８１１Ａにおいて、採取用ピペット１０の検出部分１０３ｇを拡大する（ステップＳＴ１７）。図１８は、採取用ピペットの検出部分を拡大したバイナリ画像を示す模式図である。図１８に示すように、画像処理部５２は、バイナリ画像８１１Ａにおいて、採取用ピペット１０の複数の暗部Ｔ−ａをそれぞれ拡大する。これにより、採取用ピペット１０の空気層１０８及び液層１０９に対応する明部Ｔ−ｂを挟んで配置された２つの暗部Ｔ−ａが１つにつながる。
【００７８】
図１８に示すバイナリ画像８１１Ａにおいて、図１７に示す検出部分１０３ｇから、空気層１０８と液層１０９との界面１０９ａが除去される。このため、マニピュレーションシステム１００は、採取用ピペット１０の内部の界面１０９ａの位置がどこにあった場合でも、暗部Ｔ−ａのみに基づいて採取用ピペット１０を検出することができる。したがって、マニピュレーションシステム１００は、界面１０９ａの位置の違いに起因する、採取用ピペット１０の誤検出を抑制することができる。
【００７９】
拡大された暗部Ｔ−ａは、拡大前の暗部Ｔ−ａに対して、面積比で６倍程度に拡大される。また、拡大された暗部Ｔ−ａの重心位置は、それぞれ、拡大前の暗部Ｔ−ａの重心位置と一致している。なお、暗部Ｔ−ａの拡大倍率は、採取用ピペット１０の形状、大きさ（ガラス管の厚さ）、しきい値Ｌ−ＴＨあるいは観察環境に応じて適宜設定することができる。
【００８０】
次に、位置検出部５３１は、図１８に示すバイナリ画像８１１Ａの画像情報を受け取って、検出部分１０３ｇの画像と基準バイナリ画像を比較して採取用ピペット１０の位置を検出する（ステップＳＴ１８）。図１９は、基準バイナリ画像の一例を示す模式図である。基準バイナリ画像１０３ｒ１は、標準的な採取用ピペット１０について、上述したステップＳＴ１１からステップＳＴ１７と同様の画像処理を施した場合のバイナリ画像である。基準バイナリ画像１０３ｒ１は記憶部５６の基準画像記憶部５６５にあらかじめ記憶される。また、記憶部５６は、採取用ピペット１０の種類ごとに、複数の基準バイナリ画像１０３ｒ１を保持していてもよい。
【００８１】
位置検出部５３１は、例えばテンプレートマッチングや形状マッチングにより、バイナリ画像８１１Ａの検出部分１０３ｇと基準バイナリ画像１０３ｒ１とを比較する。そして、位置検出部５３１は、検出部分１０３ｇと、基準バイナリ画像１０３ｒ１との類似度を演算する。位置検出部５３１は、類似度が所定の基準値以上の検出部分１０３ｇの位置を検出する。
【００８２】
図２０は、採取用ピペットの検出結果を表示する第１画像の一例を示す模式図である。図２０に示すように、画像編集部５４は、第１画像８１１において、画像処理部５２から受け取った第１画像８１１と、検出部５３から受け取った検出結果に基づいて、採取用ピペット１０を含む部分領域ＢＢを境界ボックスで囲んで示している。
【００８３】
なお、位置検出部５３１は、画像編集部５４から境界ボックスの情報を受け取る。位置検出部５３１は、境界ボックスが所定の大きさよりも小さい場合、例えば境界ボックスの一辺が２０ピクセルよりも小さい場合、採取用ピペット１０が非検出状態であるという検出結果を画像処理部５２及び制御部５５に出力する。採取用ピペット１０が非検出の場合、画像処理部５２は、検出結果に基づいて画像処理を終了する。
【００８４】
なお、図１０及び図１１から図２０に示す検出動作は、適宜変更することができる。例えば、図１０に示すステップＳＴ１５及び図１４から図１６において、画像処理部５２は、細胞ｃｅの暗部ｃｅ−ａの形状を補完する処理を省略して、所定の面積よりも小さい暗部ｃｅ−ａをバイナリ画像８１１Ａから除去してもよい。
【００８５】
以上説明したように、第１実施形態に係るマニピュレーションシステム１００は、採取用ピペット１０（管状器具）を用いて細胞ｃｅ（微小対象物）を採取するマニピュレーションシステム１００であって、採取用ピペット１０と、マニピュレータ２０と、試料ステージ３０と、第１顕微鏡４１と、第１撮像装置４５と、コントローラ５０と、を備える。マニピュレータ２０は、採取用ピペット１０が取り付けられる。試料ステージ３０は、細胞ｃｅを収容するための容器３８が載置される。第１顕微鏡４１は、試料ステージ３０の上方に配置される。第１撮像装置４５は、第１顕微鏡４１を介して第１画像８１１を撮像する。コントローラ５０は、画像処理部５２と、位置検出部５３１とを有する。画像処理部５２は、第１画像８１１に基づいて、しきい値Ｌ−ＴＨ以下の輝度を有する暗部Ｔ−ａを表示するバイナリ画像８１１Ａ（第１バイナリ画像）を作成する。位置検出部５３１は、バイナリ画像８１１Ａに基づいて採取用ピペット１０の位置を検出する。
【００８６】
これによれば、マニピュレーションシステム１００は、バイナリ画像８１１Ａに基づいて、採取用ピペット１０以外の細胞ｃｅ等の検出部分を除去する等の画像処理を容易に行うことができる。また、マニピュレーションシステム１００は、バイナリ画像８１１Ａに基づいて、エッジ検出やパターンマッチングを行うことにより、良好に管状器具の位置を検出することができる。
【００８７】
また、コントローラ５０は、採取用ピペット１０の基準バイナリ画像１０３ｒ１を記憶する記憶部５６を有する。位置検出部５３１は、バイナリ画像８１１Ａにおいて採取用ピペット１０の暗部Ｔ−ａから形成される検出部分１０３ｇと、基準バイナリ画像１０３ｒ１とを比較して、採取用ピペット１０を検出する。これによれば、マニピュレーションシステム１００は、第１画像８１１に撮像された細胞ｃｅや、採取用ピペット１０の内部の液層１０９の影響を抑制して、採取用ピペット１０の位置を良好に検出することができる。
【００８８】
また、コントローラ５０は、しきい値設定部５３５を有する。しきい値設定部５３５は、第１画像８１１全体の輝度Ｌ−ＢＧに基づいてしきい値Ｌ−ＴＨを設定する。これによれば、第１顕微鏡４１の視野中の輝度が、測定環境等により変化した場合でも、マニピュレーションシステム１００は、良好に暗部Ｔ−ａを検出することができる。すなわち、マニピュレーションシステム１００は、環境の変化に対するロバスト性を向上させることができる。
【００８９】
また、画像処理部５２は、第１画像８１１を輝度のみで表示したグレースケール画像８１１Ｇに変換し、グレースケール画像８１１Ｇに基づいてバイナリ画像８１１Ａを作成する。これによれば、カラー画像を用いる場合に比べて、画像処理部５２が行う画像処理の負荷を抑制することができる。
【００９０】
また、画像処理部５２は、バイナリ画像８１１Ａにおいて、検出部分１０３ｇを拡大することで、採取用ピペット１０の内部の空間に対応する領域を挟んで配置された２つの暗部Ｔ−ａを１つにつなげる。これによれば、マニピュレーションシステム１００は、採取用ピペット１０の内部の液層１０９と空気層１０８との界面１０９ａの位置の違い起因する誤検出を抑制することができる。
【００９１】
また、画像処理部５２は、細胞ｃｅを示す暗部ｃｅ−ａをバイナリ画像８１１Ａから除去する。これによれば、マニピュレーションシステム１００は、細胞ｃｅの存在に起因する、採取用ピペット１０の誤検出を抑制することができる。
【００９２】
（第２実施形態）
図２１は、第２実施形態に係るマニピュレーションシステムの、採取用ピペットの形状を検出する検出シーケンスの一例を示すフローチャートである。第２実施形態において、画像処理部５２は、図２０に示す第１画像８１１から、採取用ピペット１０を含む部分領域ＢＢを切り取ったピペット画像を作成する（ステップＳＴ２１）。この場合、画像処理部５２は、図２０に示す境界ボックスよりも大きい領域を部分領域ＢＢとしてもよい。例えば、画像処理部５２は、図２０に示す境界ボックスからＹ軸方向の一方に１０ピクセル分拡大し、Ｙ軸方向の他方に１０ピクセル分拡大した領域を部分領域ＢＢとしてもよい。
【００９３】
次に、画像処理部５２は、切り取ったピペット画像について、第１実施形態のステップＳＴ１２及びステップＳＴ１４からステップＳＴ１５と同様の画像処理を行う。このため、上述した画像処理と同様の処理については、詳細な説明を省略する。
【００９４】
画像処理部５２は、切り取ったピペット画像からから輝度のパラメータのみを抽出した画像（グレースケール画像８１４Ｇ）に変換する（ステップＳＴ２２）。図２２は、図２０に示す部分領域を切り取って、輝度のみで表示したグレースケール画像の一例を示す模式図である。図２２に示すように、グレースケール画像８１４Ｇには、採取用ピペット１０の先端部１０３が含まれる。なお、図２２では、細胞ｃｅは含まれていないが、細胞ｃｅが先端部１０３と重なって、又は近接して存在する場合には、グレースケール画像８１４Ｇには、採取用ピペット１０の先端部１０３及び複数の細胞ｃｅが含まれる場合がある。
【００９５】
次に、画像処理部５２は、グレースケール画像８１４Ｇからしきい値Ｌ−ＴＨ以下の輝度の部分を抽出して、バイナリ画像８１４Ａを作成する（ステップＳＴ２３）。図２３は、部分領域のバイナリ画像を示す模式図である。図２３に示すように、部分領域のバイナリ画像８１４Ａには、採取用ピペット１０の検出部分１０３ｇが白表示となる。
【００９６】
次に、画像処理部５２は、細胞ｃｅの暗部ｃｅ−ａの形状を補完し、細胞ｃｅの暗部ｃｅ−ａをバイナリ画像８１４Ａから除去する（ステップＳＴ２４）。図２４は、部分領域のバイナリ画像において、暗部の形状を補完する処理を行ったバイナリ画像を示す模式図である。図２５は、部分領域のバイナリ画像において、細胞の暗部を除去したバイナリ画像を示す模式図である。図２４に示すように、画像処理部５２は、バイナリ画像８１４Ａの右辺側に位置する暗部ｃｅ−ａの形状を補完する。図２５に示すように、画像処理部５２は、バイナリ画像８１４Ａから暗部ｃｅ−ａを除去する。これにより、画像処理部５２は、採取用ピペット１０の検出部分１０３ｇのみが含まれるバイナリ画像８１４Ａを作成する。
【００９７】
次に、画像処理部５２は、バイナリ画像８１４Ａにおいて、採取用ピペット１０の検出部分１０３ｇを拡大する（ステップＳＴ２５）。図２６は、部分領域のバイナリ画像において、採取用ピペットの検出部分を拡大したバイナリ画像を示す模式図である。図２６に示すように、検出部分１０３ｇは、２つの暗部Ｔ−ａがＹ軸方向につなげられて、１つの暗部Ｔ−ａで構成される。
【００９８】
次に、位置検出部５３１は、バイナリ画像８１４Ａに基づいて、検出部分１０３ｇのエッジを検出する（ステップＳＴ２６）。図２７は、採取用ピペットの検出部分のエッジを検出する方法を説明するための説明図である。図２７に示すように、位置検出部５３１は、Ｙ軸方向の他方から一方に向かうＤ１方向に沿って、検出部分１０３ｇのエッジ１０３ｅを検出し、また、Ｄ１方向と反対方向のＤ２方向に沿って、エッジ１０３ｅを検出する。位置検出部５３１は、Ｙ軸方向での輝度の差に基づいてエッジ１０３ｅを検出する。
【００９９】
位置検出部５３１は、Ｄ１方向及びＤ２方向の検出を、Ｘ軸方向に沿って複数箇所で行う。これにより、位置検出部５３１は、検出部分１０３ｇと背景との輝度の差に基づいて、検出部分１０３ｇの延在方向に沿った部分の外形形状を検出することができる。位置検出部５３１は、検出部分１０３ｇの延在方向に沿ったエッジ１０３ｅを、２本の直線状の線として近似して検出する。
【０１００】
位置検出部５３１は、検出された２本の直線状のエッジ１０３ｇｅ（図２９参照）の情報に基づいて、Ｙ軸方向における２本のエッジ１０３ｇｅの距離が所定の大きさ以上の場合、例えば１５ピクセル以上の場合に、採取用ピペット１０の外径形状が検出できたと判断する。一方、位置検出部５３１は、Ｙ軸方向における２本のエッジ１０３ｇｅの距離が所定の大きさよりも小さい場合、例えば１５ピクセルよりも小さい場合に、採取用ピペット１０の外径形状が非検出であると判断する。
【０１０１】
位置検出部５３１は、２本のエッジ１０３ｇｅの角度を検出し、２本のエッジ１０３ｇｅの角度の差が所定の角度以下の場合、例えば２°以下の場合に、採取用ピペット１０の外径形状が検出できたと判断する。一方、位置検出部５３１は、２本のエッジ１０３ｇｅの角度の差が所定の角度よりも大きい場合、例えば２°よりも大きい場合に、採取用ピペット１０の外径形状が非検出であると判断する。また、位置検出部５３１は、２本のエッジ１０３ｇｅを、８ピクセルずつ、上側のエッジ１０３ｇｅをＹ軸方向下へ、下側のエッジ１０３ｇｅをＹ軸方向上へ移動させる。これにより、位置検出部５３１は、拡大された暗部Ｔ−ａのエッジ１０３ｇｅの位置から、実際の採取用ピペット１０の大きさのエッジへ近づけることができる。
【０１０２】
以上のような方法により、第２実施形態のマニピュレーションシステム１００において、画像処理部５２は、第１画像８１１から、検出された採取用ピペット１０を囲む部分領域ＢＢで切り取った画像を作成し、位置検出部５３１は、部分領域ＢＢで切り取った画像から、検出部分１０３ｇと背景との輝度の差に基づいて、検出部分１０３ｇの延在方向に沿った部分の外形形状を検出する。これにより、マニピュレーションシステム１００は、採取用ピペット１０の近傍に位置する細胞ｃｅや、採取用ピペット１０の内部の界面１０９ａによる検出誤差を抑制して、採取用ピペット１０の延在方向に沿った外形形状を正確に検出することができる。
【０１０３】
（第３実施形態）
図２８は、第３実施形態に係るマニピュレーションシステムの、採取用ピペットの端部を検出する検出シーケンスの一例を示すフローチャートである。位置検出部５３１は、第２実施形態で作成した部分領域ＢＢのバイナリ画像８１４Ａに基づいて、採取用ピペット１０の端部１０３ｆのＹ軸方向の位置を検出する（ステップＳＴ３１）。
【０１０４】
図２９は、検出部分の端部のＹ軸方向の位置を説明するための説明図である。図２９に示すように、位置検出部５３１は、検出部分１０３ｇの端部側（図２９の左側）におけるバイナリ画像８１４Ａの外周と、エッジ１０３ｇｅの延長線とが交差する位置Ｙ１、Ｙ２を検出する。そして、位置検出部５３１は、Ｙ軸方向における位置Ｙ１と位置Ｙ２との中点を、採取用ピペット１０の端部１０３ｆのＹ軸方向の位置１０３ｙとして算出する。
【０１０５】
次に、画像処理部５２は、エッジ１０３ｇｅの情報を受け取って、第１画像８１１から、検出部分１０３ｇのエッジ１０３ｇｅで切り取ったピペット画像８１４Ｂを作成する（ステップＳＴ３２）。図３０は、第１画像から採取用ピペットを切り取ったピペット画像の一例を示す模式図である。ピペット画像８１４Ｂは、上述した２値化処理やグレースケール処理等の画像処理は行わず、画像を切り取った処理のみを行った画像である。図３０に示すように、画像処理部５２は、ピペット画像８１４Ｂの上端及び下端を、エッジ１０３ｇｅに沿って切り取って作成する。また、画像処理部５２は、ピペット画像８１４Ｂの左端を、部分領域ＢＢの外周の左端に沿って切り取って作成している。画像処理部５２は、ピペット画像８１４Ｂの右端を、２本のエッジ１０３ｇｅの右端の点を繋いだ線に沿って切り取って作成する。これにより、ピペット画像８１４Ｂには、採取用ピペット１０（先端部１０３）の端部１０３ｆが含まれる。
【０１０６】
次に、位置検出部５３１は、ピペット画像８１４Ｂの情報を受け取って、ピペット画像８１４Ｂに基づいて、採取用ピペット１０の端部１０３ｆの位置を検出する（ステップＳＴ３３）。図３１は、採取用ピペットの端部を検出する方法を説明するための説明図である。図３１に示すように、位置検出部５３１は、ピペット画像８１４Ｂの右端から左端に向かうＤ３方向に沿って、採取用ピペット１０の端部１０３ｆを検出する。これにより、位置検出部５３１は、採取用ピペット１０と背景との輝度の差に基づいて、採取用ピペット１０の延在方向における、端部１０３ｆの位置を検出することができる。
【０１０７】
以上説明したように、第３実施形態のマニピュレーションシステム１００において、画像処理部５２は、第１画像８１１から、検出部分１０３ｇの延在方向に沿った部分の外形形状と、採取用ピペット１０の延在方向の端部１０３ｆと隣り合う部分の部分領域ＢＢの外周と、２本のエッジ１０３ｇｅの右端の点を繋いだ線とで囲まれた領域を切り取って、採取用ピペット１０を抽出したピペット画像８１４Ｂ（管状器具画像）を作成し、位置検出部５３１は、ピペット画像８１４Ｂに基づいて、採取用ピペット１０の延在方向の端部１０３ｆの位置を検出する。これによれば、マニピュレーションシステム１００は、採取用ピペット１０の周囲に配置された細胞ｃｅ等が検出されることを抑制することができる。また、ピペット画像８１４Ｂは、画像の切り取りのみの画像処理を行っているので、採取用ピペット１０の延在方向の端部１０３ｆの位置を正確に検出することができる。
【０１０８】
（第４実施形態）
図３２は、第４実施形態に係るマニピュレーションシステムの、採取用ピペットの内部を検出する検出シーケンスの一例を示すフローチャートである。図３２に示すように、画像処理部５２は、第３実施形態において作成したピペット画像８１４Ｂから、輝度のパラメータのみを抽出した画像（グレースケール画像８１４ＢＧ）を作成する（ステップＳＴ４１）。図３３は、ピペット画像を輝度のみで表示したグレースケール画像の一例を示す模式図である。
【０１０９】
図３３に示すように、グレースケール画像８１４ＢＧにおいて、採取用ピペット１０の内部の空気層１０８と液層１０９とで輝度の差が表示される。空気層１０８の輝度は、液層１０９の輝度に比べて大きい。
【０１１０】
次に、画像処理部５２は、グレースケール画像８１４ＢＧからしきい値以上の輝度の部分を抽出し、バイナリ画像（ピペットバイナリ画像８１４ＢＢ）を作成する（ステップＳＴ４２）。図３４は、採取用ピペットの明部を示すピペットバイナリ画像である。画像処理部５２は、判別分析法を用いて、グレースケール画像８１４ＢＧの輝度の分布の情報からしきい値を自動で設定する。画像処理部５２は、設定されたしきい値に基づいて、グレースケール画像８１４ＢＧから、図３４に示すピペットバイナリ画像８１４ＢＢに自動的に変換する。
【０１１１】
図３４に示すように、ピペットバイナリ画像８１４ＢＢでは、採取用ピペット１０の明部１０３ｈが白表示となり、暗部１０３ｉが黒表示となる。明部１０３ｈは、採取用ピペット１０の空気層１０８に対応する領域であり、暗部１０３ｉは、採取用ピペット１０の液層１０９及びガラス管の部分に対応する領域である。
【０１１２】
次に、輝度検出部５３４は、ピペットバイナリ画像８１４ＢＢの情報を受け取って、ピペットバイナリ画像８１４ＢＢの任意の領域Ａ３において輝度を検出し、明部１０３ｈのピクセル数を計算する（ステップＳＴ４３）。位置検出部５３１は、ピペットバイナリ画像８１４ＢＢの情報と、計算結果（明部１０３ｈのピクセル数）の情報とを受け取って、計算結果を所定のしきい値と比較する。これにより、位置検出部５３１は、任意の領域Ａ３が空気層１０８か液層１０９かを判定する（ステップＳＴ４４）。位置検出部５３１は、明部１０３ｈのピクセル数がしきい値以上の場合、任意の領域Ａ３が空気層１０８であることを検出できる。また、位置検出部５３１は、明部１０３ｈのピクセル数がしきい値よりも小さい場合、任意の領域Ａ３が液層１０９であることを検出できる。
【０１１３】
以上説明したように、第４実施形態のマニピュレーションシステム１００において、画像処理部５２は、ピペット画像８１４Ｂに基づいて、しきい値以上の輝度を有する明部１０３ｈを表示するピペットバイナリ画像８１４ＢＢを作成し、位置検出部５３１は、ピペットバイナリ画像８１４ＢＢに基づいて、採取用ピペット１０の内部の空気層１０８及び液層１０９を検出する。これによれば、マニピュレーションシステム１００は、採取用ピペット１０内の任意の領域Ａ３が、空気層１０８であるか液層１０９であるかを検出することができる。任意の領域Ａ３が、空気層１０８であるか液層１０９であるかを検出することで、制御部５５は、電動マイクロポンプ２９を自動で制御することができる。
【０１１４】
（第５実施形態）
図３５は、第５実施形態に係るマニピュレーションシステムの、採取用ピペットの内部の細胞を検出する検出シーケンスの一例を示すフローチャートである。図３５に示すように、マニピュレーションシステム１００は、上述した第１実施形態から第３実施形態の検出シーケンスを実行し、採取用ピペット１０の形状を検出する（ステップＳＴ５１）。
【０１１５】
次に、画像処理部５２は、検出されたピペット画像８１４Ｂ（図３０参照）から一部の領域を切り取り、細胞ｃｅがない状態の基準画像を作成する（ステップＳＴ５２）。図３６は、採取用ピペットの内部に細胞が存在しない部分の画像を切り取って作成した、基準画像の一例を示す模式図である。図３６に示すように、基準画像１０３ｒ２の採取用ピペット１０の空気層１０８には、細胞ｃｅが存在しない。なお、基準画像１０３ｒ２は、２値化処理やグレースケール処理等の画像処理が行われていない画像である。
【０１１６】
次に、制御部５５（図４参照）は、電動マイクロポンプ２９を駆動させる（ステップＳＴ５３）。これにより、採取用ピペット１０の内部圧力が常圧より低くなり、採取用ピペット１０の開口部１０３ａから細胞ｃｅを吸引して採取する。
【０１１７】
画像処理部５２は、ステップＳＴ５１及びステップＳＴ５２と同様に、細胞ｃｅを採取した状態の採取用ピペット１０のピペット画像８１４Ｂを撮像し、ピペット画像８１４Ｂの一部を切り取った検出画像８１４Ｂｓを作成する（ステップＳＴ５４）。画像処理部５２は、ピペット画像８１４Ｂから、図３６に示す基準画像１０３ｒ２と同じ領域を切り取る。
【０１１８】
図３７は、検出されたピペット画像の一部を切り取った画像の一例を示す模式図である。図３７に示すように、検出画像８１４Ｂｓにおいて、採取用ピペット１０の空気層１０８に、採取された細胞ｃｅが存在している。
【０１１９】
次に、画像処理部５２は、検出画像８１４Ｂｓと基準画像１０３ｒ２の差分の画像を作成する（ステップＳＴ５５）。図３８は、検出されたピペット画像と基準画像の差分の画像の一例を示す模式図である。図３８に示すように、差分の画像８１４Ｃにおいて、採取用ピペット１０の空気層１０８やガラス管の部分は、検出画像８１４Ｂｓと基準画像１０３ｒ２との差分が小さいため黒表示となり、細胞ｃｅは、空気層１０８よりも大きい輝度で表示される。
【０１２０】
次に、画像処理部５２は、差分の画像８１４Ｃから所定のしきい値以上の輝度の部分を抽出して、バイナリ画像８１４Ｄを作成する（ステップＳＴ５６）。図３９は、差分の画像の明部を示すバイナリ画像の一例を示す模式図である。図３９に示すように、バイナリ画像８１４Ｄにおいて、細胞ｃｅの明部ｃｅ−ｂが白表示となり、明部ｃｅ−ｂ以外の部分が黒表示となる。
【０１２１】
位置検出部５３１は、バイナリ画像８１４Ｄの情報を受け取って、バイナリ画像８１４Ｄに明部ｃｅ−ｂが有る場合に、採取用ピペット１０に細胞ｃｅが採取されたことを検出することができる。また、個数検出部５３３（図５参照）は、バイナリ画像８１４Ｄに基づいて、採取用ピペット１０の一部の領域に位置する細胞ｃｅの個数を検出してもよい。これにより、これにより、マニピュレーションシステム１００は、細胞ｃｅを１個ずつ採取することができる。また、細胞ｃｅが検出されない場合には、マニピュレーションシステム１００は、ステップＳＴ５３からステップＳＴ５６の動作を繰り返し実行する。
【０１２２】
以上説明したように、第５実施形態のマニピュレーションシステム１００において、画像処理部５２は、ピペット画像８１４Ｂから、採取用ピペット１０の内部に細胞ｃｅが存在しない部分の画像を切り取って、基準画像１０３ｒ２（基準管状器具画像）を作成し、位置検出部５３１は、検出された採取用ピペット１０の画像と、基準画像１０３ｒ２との、輝度の差分を示す画像に基づいて、採取用ピペット１０の内部の細胞ｃｅを検出する。これによれば、マニピュレーションシステム１００は、採取用ピペット１０に細胞ｃｅが採取されたことを確実に検出することができる。
【０１２３】
（第６実施形態）
図４０は、第６実施形態に係るマニピュレーションシステムの動作シーケンスの一例を示すフローチャートである。図４０に示すように、マニピュレーションシステム１００は、上述した第１実施形態から第３実施形態の検出シーケンスを実行し、採取用ピペット１０の端部１０３ｆの位置を検出する（ステップＳＴ６１）。
【０１２４】
次に、マニピュレーションシステム１００は、第１顕微鏡ユニット４０を容器３８の底面に向けて下降させ、第１顕微鏡４１の焦点を複数の細胞ｃｅに合わせる。第１撮像装置４５は、第１顕微鏡４１を介して第１画像８１１を撮像する。位置検出部５３１は、第１撮像装置４５により撮像された第１画像８１１の情報に基づいて、細胞ｃｅの位置を検出する（ステップＳＴ６２）。なお、ステップＳＴ６２において、画像処理部５２は、細胞ｃｅの検出を容易にするために、第１画像８１１に２値化等の画像処理を行ってもよい。
【０１２５】
図４１は、第６実施形態に係る第１画像を模式的に示す模式図である。図４１に示すように、第１画像８１１には、複数の細胞ｃｅ及び採取用ピペット１０の先端部１０３が撮像される。制御部５５（図５参照）は、位置検出部５３１からの細胞ｃｅの位置情報に基づいて、複数の細胞ｃｅから、特定の領域に存在する細胞ｃｅ１を採取対象として選択する。特定の領域は、任意に設定することができ、例えば端部１０３ｆよりも左側の矩形状の領域である。
【０１２６】
次に、制御部５５は、採取用ピペット１０を移動させる（ステップＳＴ６３）。具体的には、制御部５５は、駆動装置２６、２７（図３参照）を動作させることにより、Ｘ軸テーブル２１、Ｙ軸テーブル２２及びＺ軸テーブル２３を移動させる。採取用ピペット１０及びピペット保持部１５は、Ｘ軸テーブル２１、Ｙ軸テーブル２２及びＺ軸テーブル２３の移動に伴って移動する。これにより、制御部５５は、先端部１０３の端部１０３ｆを細胞ｃｅ１に近づけることができる。なお、制御部５５は、試料ステージ３０をＸ軸方向及びＹ軸方向の少なくとも一方向（以下、水平方向）に移動させてもよい。試料ステージ３０の水平方向の移動は、制御部５５が駆動装置３６に駆動信号Ｖｘｙ３を出力することで実現される。
【０１２７】
次に、マニピュレーションシステム１００は、採取用ピペット１０が細胞ｃｅ１に近づいた状態で、上述した第１実施形態から第３実施形態の検出シーケンスを実行し、採取用ピペット１０の端部１０３ｆの位置を再度検出する（ステップＳＴ６４）。
【０１２８】
次に、距離検出部５３２（図５参照）は、位置検出部５３１によって検出された細胞ｃｅの位置と採取用ピペット１０の端部１０３ｆの位置との誤差を検出する（ステップＳＴ６５）。ここで、細胞ｃｅの位置と採取用ピペット１０の端部１０３ｆの位置との誤差とは、細胞ｃｅとの端部１０３ｆとの間の離隔距離や、Ｘ軸方向の位置ずれ及びＹ軸方向の位置ずれ等の情報を含む。
【０１２９】
距離検出部５３２は、あらかじめ設定されたしきい値と比較して、細胞ｃｅの位置と採取用ピペット１０の端部１０３ｆの位置との誤差が有るかどうかを判定する（ステップＳＴ６６）。誤差に関するしきい値の情報は、あらかじめ記憶部５６に記憶されている。
【０１３０】
しきい値よりも大きい誤差が有る場合（ステップＳＴ６６、Ｙｅｓ）、例えば、離隔距離がしきい値よりも大きい場合、ステップＳＴ６３に戻って、制御部５５は、距離検出部５３２からの情報を受け取って、採取用ピペット１０を移動させる。これにより、マニピュレーションシステム１００は、採取用ピペット１０の位置の補正を行うことができ、確実に細胞ｃｅの採取を行うことができる。
【０１３１】
誤差がしきい値以下の場合（ステップＳＴ６６、Ｎｏ）、例えば、離隔距離がしきい値以下である場合、マニピュレーションシステム１００は、細胞ｃｅの採取を行う（ステップＳＴ６７）。具体的には、制御部５５は、採取用ピペット１０に細胞ｃｅ１を吸引させる。細胞ｃｅの吸引は、制御部５５が電動マイクロポンプ２９に駆動信号Ｖｍｐ（図３参照）を出力して電動マイクロポンプ２９を駆動させ、採取用ピペット１０の内部圧力を採取用ピペット１０の外部圧力よりも低くすることで実現される。
【０１３２】
なお、マニピュレーションシステム１００は、第６実施形態の検出シーケンスと、上述した第４実施形態及び第５実施形態の検出シーケンスとを組み合わせて実行してもよい。
【０１３３】
以上説明したように、さらに、マニピュレータ２０は、採取用ピペット１０を試料ステージ３０に対して相対的に移動させる駆動装置２６、２７を有し、コントローラ５０は、位置検出部５３１によって検出された細胞ｃｅと採取用ピペット１０との離隔距離を自動で検出する距離検出部５３２、を有し、コントローラ５０は、駆動装置２６、２７を動作させて、採取用ピペット１０の端部１０３ｆが、位置検出部５３１によって検出された細胞ｃｅの位置に近づくように移動させ、離隔距離があらかじめ設定された値よりも大きい場合に、位置検出部５３１は、複数回、採取用ピペット１０の位置を検出する。これによれば、マニピュレーションシステム１００は、採取用ピペット１０の位置を繰り返し検出することで、採取用ピペット１０の端部１０３ｆの位置を、細胞ｃｅを採取するための適切な位置に補正することができる。
【符号の説明】
【０１３４】
１０  採取用ピペット
１５  ピペット保持部
２０  マニピュレータ
２６、２７、３６、４１４、６１３  駆動装置
２９  電動マイクロポンプ
３０  試料ステージ
３８  容器
４０  第１顕微鏡ユニット
４１  第１顕微鏡
４５  第１撮像装置
５０  コントローラ
５２  画像処理部
５３  検出部
５３１  位置検出部
５３５  しきい値設定部
８０  表示部
１００  マニピュレーションシステム
１０３  先端部
１０３ｇ  検出部分
１０３ｒ１  基準バイナリ画像
１０３ｒ２  基準画像
８１１  第１画像
８１１Ａ、８１４Ａ  バイナリ画像
８１１Ｇ、８１４Ｇ  グレースケール画像
８１２  第２画像
８１３  第３画像
ｃｅ  細胞
Ｔ−ａ、ｃｅ−ａ  暗部
Ｔ−ｂ、ｃｅ−ｂ  明部
Ｌ−ＴＨ  しきい値
Ｌ−ＢＧ  背景の輝度
【図１】
2020122891.tif 000003
【図２】
2020122891.tif 000004
【図３】
2020122891.tif 000005
【図４】
2020122891.tif 000006
【図５】
2020122891.tif 000007
【図６】
2020122891.tif 000008
【図７】
2020122891.tif 000009
【図８】
2020122891.tif 000010
【図９】
2020122891.tif 000011
【図１０】
2020122891.tif 000012
【図１１】
2020122891.tif 000013
【図１２】
2020122891.tif 000014
【図１３】
2020122891.tif 000015
【図１４】
2020122891.tif 000016
【図１５】
2020122891.tif 000017
【図１６】
2020122891.tif 000018
【図１７】
2020122891.tif 000019
【図１８】
2020122891.tif 000020
【図１９】
2020122891.tif 000021
【図２０】
2020122891.tif 000022
【図２１】
2020122891.tif 000023
【図２２】
2020122891.tif 000024
【図２３】
2020122891.tif 000025
【図２４】
2020122891.tif 000026
【図２５】
2020122891.tif 000027
【図２６】
2020122891.tif 000028
【図２７】
2020122891.tif 000029
【図２８】
2020122891.tif 000030
【図２９】
2020122891.tif 000031
【図３０】
2020122891.tif 000032
【図３１】
2020122891.tif 000033
【図３２】
2020122891.tif 000034
【図３３】
2020122891.tif 000035
【図３４】
2020122891.tif 000036
【図３５】
2020122891.tif 000037
【図３６】
2020122891.tif 000038
【図３７】
2020122891.tif 000039
【図３８】
2020122891.tif 000040
【図３９】
2020122891.tif 000041
【図４０】
2020122891.tif 000042
【図４１】
2020122891.tif 000043