(57)【要約】      （修正有）【課題】観察のみならず、作業性の向上を可能にすることができる装置、システムを提供することを目的とする。【解決手段】観察装置１０は、培養容器が載置された方向の画像を取得する画像取得部１３ａと、表示部２２を有する眼鏡型端末装置２０と通信する通信部１４と、上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部１１とを具備する。【選択図】図１
2018046773.tif 000002
【特許請求の範囲】
【請求項１】
培養容器が載置された方向の画像を取得する画像取得部を有し、
上記培養容器中の試料に対する作業を行う時の試料位置を与えられた時に、上記画像取得部を制御して上記試料位置に対応する撮像画像を取得させる制御部と
を具備したことを特徴とする観察装置。
【請求項２】
上記制御部は、上記試料位置の位置情報に基づいて上記画像取得部が取得する画像の視野範囲を制御する
ことを特徴とする請求項１に記載の観察装置。
【請求項３】
上記制御部は、上記試料位置の位置情報に基づいて上記画像取得部を移動させることで上記視野範囲の位置を移動させて、上記試料位置を含む所定範囲の画像を表示可能にする画像出力を得る
ことを特徴とする請求項２に記載の観察装置。
【請求項４】
上記培養容器中の試料に対する作業に関する情報を取得する情報取得部と、
上記作業に関する情報に基づいて作業判定を行って上記試料位置の位置情報を取得する作業判定部と、
を具備したことを特徴とする請求項１乃至３のいずれか１つに記載の観察装置。
【請求項５】
上記情報取得部は、上記培養容器中の試料に対する作業を撮像して得た撮像画像を上記作業に関する情報とする
ことを特徴とする請求項４に記載の観察装置。
【請求項６】
上記情報取得部は、上記画像取得部における画像取得において採用される撮像レンズよりも広角の撮像レンズを用いて画像を取得する
ことを特徴とする請求項５に記載の観察装置。
【請求項７】
上記制御部が取得した撮像画像に基づく表示を行う表示部
を具備したことを特徴とする請求項１乃至６のいずれか１つに記載の観察装置。
【請求項８】
上記表示部は、眼鏡型のウェアラブル端末により構成される
ことを特徴とする請求項７に記載の観察装置。
【請求項９】
培養の作業時に使用される眼鏡型端末装置であって、
培養容器中の試料に対する作業に関する情報を取得する情報取得部と、
上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する作業判定部と
を具備したことを特徴とする眼鏡型端末装置。
【請求項１０】
筐体上に載置された上記培養容器の撮像画像を取得する画像取得部と、上記試料位置の位置情報が与えられ、上記画像取得部を制御して上記培養容器中の試料の撮像画像を取得させて、上記試料位置を含む所定範囲の画像を表示可能にする画像出力を得る制御部とを具備する観察部から上記画像出力を受信し、受信した上記画像出力に基づく表示を行う表示部
を具備したことを特徴とする請求項９に記載の眼鏡型端末装置。
【請求項１１】
上記表示部は、眼鏡のレンズ部に上記画像出力に基づく表示を行う
ことを特徴とする請求項１０に記載の眼鏡型端末装置。
【請求項１２】
培養容器が載置された方向の画像を取得する画像取得部と、
表示部を有する眼鏡型端末装置と通信する通信部と、
上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部と
を具備したことを特徴とする観察装置。
【請求項１３】
表示部を有する眼鏡型端末装置と、
培養容器が載置された方向の画像を取得する画像取得部と、
上記眼鏡型端末装置と通信する通信部と、
上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部と
を具備したことを特徴とする観察システム。
【請求項１４】
培養容器中の試料に対する作業を行う時の試料位置を取得する手順と、
上記培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する撮像画像を取得させる手順と
を具備したことを特徴とする観察方法。
【請求項１５】
培養の作業時に使用される眼鏡型端末装置によって、培養容器中の試料に対する作業に関する情報を取得する手順と、
上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する手順と
を具備したことを特徴とする試料位置取得方法。
【請求項１６】
表示部を有する眼鏡型端末装置によって、培養容器中の試料に対する作業を行う時の試料位置に関する情報を取得する手順と、
上記試料位置に関する情報に基づいて、培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する位置の撮像画像を取得させる手順と、
上記取得した撮像画像を上記眼鏡型端末装置に送信して上記表示部に上記撮像画像を表示させる手順と
を具備したことを特徴とする観察方法。
【請求項１７】
コンピュータに、
培養容器中の試料に対する作業を行う時の試料位置を取得する手順と、
上記培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する撮像画像を取得させる手順と
を実行させるための観察プログラム。
【請求項１８】
コンピュータに、
培養の作業時に使用される眼鏡型端末装置によって、培養容器中の試料に対する作業に関する情報を取得する手順と、
上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する手順と
を実行させるための試料位置取得プログラム。
【請求項１９】
コンピュータに、
表示部を有する眼鏡型端末装置によって、培養容器中の試料に対する作業を行う時の試料位置に関する情報を取得する手順と、
上記試料位置に関する情報に基づいて、培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する位置の撮像画像を取得させる手順と、
上記取得した撮像画像を上記眼鏡型端末装置に送信して上記表示部に上記撮像画像を表示させる手順と
を実行させるための観察プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞培養等に関する作業を効率的に支援する観察装置、眼鏡型端末装置、観察システム、観察方法、試料位置取得方法、観察プログラム及び試料位置取得プログラムに関する。
【背景技術】
【０００２】
一般に、細胞培養は、増殖環境を厳密に管理する必要があり、インキュベータ等が採用される。インキュベータは、温度、湿度、二酸化炭素濃度等の増殖条件を安定して制御できるようになっており、インキュベータ内に培養容器を配置することで、管理された環境下での培養が可能となる。
【０００３】
このようなインキュベータ内に配置された培養容器内の細胞の状態を観察する観察装置も開発されている。
【０００４】
特許文献１においては、インキュベータ内にカメラ装置を配置した観察装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４４９０１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、細胞培養等では、多種多様の作業と状態確認のための各種観察が繰り返される。これらの作業の多くに、手際の良さが求められていた。
【０００７】
本発明は、観察のみならず、作業性の向上を可能にすることができる観察装置、眼鏡型端末装置、観察システム、観察方法、試料位置取得方法、観察プログラム及び試料位置取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様による観察装置は、培養容器が載置された方向の画像を取得する画像取得部を有し、上記培養容器中の試料に対する作業を行う時の試料位置を与えられた時に、上記画像取得部を制御して上記試料位置に対応する撮像画像を取得させる制御部とを具備する。
【０００９】
また、本発明の一態様による眼鏡型端末装置は、培養の作業時に使用される眼鏡型端末装置であって、培養容器中の試料に対する作業に関する情報を取得する情報取得部と、上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する作業判定部とを具備する。
【００１０】
また、本発明の他の態様による観察装置は、培養容器が載置された方向の画像を取得する画像取得部と、表示部を有する眼鏡型端末装置と通信する通信部と、上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部とを具備する。
【００１１】
また、本発明の他の態様による観察システムは、表示部を有する眼鏡型端末装置と、培養容器が載置された方向の画像を取得する画像取得部と、上記眼鏡型端末装置と通信する通信部と、上記培養容器中の試料に対する作業を行う時の試料位置に関する情報を当該眼鏡型端末装置から取得して、上記画像取得部を制御して上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部とを具備する。
【００１２】
また、本発明の他の態様による観察方法は、培養容器中の試料に対する作業を行う時の試料位置を取得する手順と、上記培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する撮像画像を取得させる手順とを具備する。
【００１３】
また、本発明の他の態様による試料位置取得方法は、培養の作業時に使用される眼鏡型端末装置によって、培養容器中の試料に対する作業に関する情報を取得する手順と、上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する手順とを具備する。
【００１４】
また、本発明の他の態様による観察方法は、表示部を有する眼鏡型端末装置によって、培養容器中の試料に対する作業を行う時の試料位置に関する情報を取得する手順と、上記試料位置に関する情報に基づいて、培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する位置の撮像画像を取得させる手順と、上記取得した撮像画像を上記眼鏡型端末装置に送信して上記表示部に上記撮像画像を表示させる手順とを具備する。
【００１５】
また、本発明の他の態様による観察プログラムは、コンピュータに、培養容器中の試料に対する作業を行う時の試料位置を取得する手順と、上記培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する撮像画像を取得させる手順とを実行させる。
【００１６】
また、本発明の他の態様による試料位置取得プログラムは、コンピュータに、培養の作業時に使用される眼鏡型端末装置によって、培養容器中の試料に対する作業に関する情報を取得する手順と、上記作業に関する情報に基づいて作業判定を行って、上記試料に対する上記作業を行う時の試料位置の位置情報を取得する手順とを実行させる。
【００１７】
また、本発明の他の態様による観察プログラムは、コンピュータに、表示部を有する眼鏡型端末装置によって、培養容器中の試料に対する作業を行う時の試料位置に関する情報を取得する手順と、上記試料位置に関する情報に基づいて、培養容器が載置された方向の画像を取得する画像取得部を制御して、上記試料位置に対応する位置の撮像画像を取得させる手順と、上記取得した撮像画像を上記眼鏡型端末装置に送信して上記表示部に上記撮像画像を表示させる手順とを実行させる。
【発明の効果】
【００１８】
本発明によれば、効率的な作業と微細観察の両立を可能にすることができるという効果を有する。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態に係る観察装置を示すブロック図。
【図２】第１観察部の一例を示す説明図。
【図３】第２観察部の一例を示す説明図。
【図４】操作及び記録部３０の一例として、タブレットＰＣやスマートフォン等によって構成された例を示す説明図。
【図５】実施の形態の動作を説明するための説明図。
【図６】実施の形態の動作を説明するための説明図。
【図７】実施の形態の動作を説明するための説明図。
【図８】実施の形態の動作を説明するためのフローチャート。
【図９】実施の形態の動作を説明するためのフローチャート。
【図１０】培養容器の一例を示す説明図。
【図１１】培養容器の一例を示す説明図。
【図１２】透明板４１ｆ上に形成した指標５０を利用した場合のピペット先端位置の判定方法の一例を示す説明図。
【図１３】透明板４１ｆ上に形成した指標５０を利用した場合のピペット先端位置の判定方法の一例を示す説明図。
【図１４】本発明の第２の実施の形態において採用される動作フローを示すフローチャート。
【図１５】カウントモードにおいて採用される移動パターン情報を示す説明図。
【図１６】カウントモードにおけるカメラ装置４３の移動を説明するための説明図。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００２１】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る観察装置を示すブロック図である。本実施の形態は、培養中の細胞を観察する第１観察部（ヘッド部）と第１観察部における観察結果を得て確認するための第２観察部（表示部）とを備える。図２は第１観察部（ヘッド部）の一例を示す説明図であり、図３は第２観察部（表示部）の一例を示す説明図である。なお、図３では第２観察部（表示部）をウェアラブル端末によって構成する例を示しているが、第２観察部としては各種表示機器を採用することができる。更に、後述するように、第１観察部（ヘッド部）の一部機能拡張によって第２観察部（表示部）の機能を達成することや、第２観察部（表示部）の一部機能拡張によって第１観察部（ヘッド部）の機能を達成することで、一方を省略して実施形態を構成することも可能である。
【００２２】
図１において、第１観察部（ヘッド部）１０には制御部１１が設けられている。制御部１１は、第１観察部１０の各部を制御する。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、必要に応じて、ハードウェアの電子回路で一部を置き換えてもよく、人工知能に一部の判断を担わせてもよい。
【００２３】
第１観察部（ヘッド部）１０は、情報取得部１３を備えている。情報取得部１３は、画像取得部１３ａ及び位置取得部１３ｂを有する。画像取得部１３ａは、例えば図示しない撮像レンズ及び撮像素子により構成された撮像部を有するカメラ装置等によって構成することができ、被写体を撮像し、電気的な撮像画像データを取得して画像出力として出力することができるようになっている。
【００２４】
移動部１２は、制御部１１に制御されて、画像取得部１３ａが撮像する画像の視野を動かすことができるようになっている。例えば、移動部１２は、撮像レンズを移動させることにより、視野の位置を変化させることができる。例えば、移動部１２は、撮像レンズをズーム及びフォーカス方向と直交するｘ方向、ｙ方向に所定範囲で動かすものである。これによって、視野の位置が変わる。その他、撮像レンズをズーム及びフォーカス方向に移動させるとことにより、画角やピントなども設定可能である。なお、画像取得部１３ａは高倍率の望遠画像を撮像することができるようになっており、視野範囲は比較的狭いが、ズーム機能や複眼などを利用してこれに限らない工夫が可能である。
【００２５】
位置取得部１３ｂは、画像取得部１３ａによる撮像画像又は画像取得部１３ａを構成する撮像レンズや撮像素子の位置の情報に基づいて画像取得部１３ａの視野範囲の情報を取得し、位置情報として移動部１２にフィードバックすることができる。移動部１２は、フィードバック制御によって、確実に指定した視野範囲で撮像が行われるように制御を行うことができる。なお、移動部１２において移動制御量を把握して移動制御を行うことができる場合には、位置取得部１３ｂは省略可能である。
【００２６】
操作部３２は、ユーザ操作を受け付けて、ユーザ操作に基づく操作信号を通信部１４に出力することができるようになっている。通信部１４は、操作部３２から操作信号を受信すると、受信した操作信号を制御部１１に与える。これにより、制御部１１は、ユーザ操作に応じて各部を制御することができるようになっている。例えば、操作部３２によって、画像取得部１３ａの視野範囲の移動に関する移動制御情報が操作信号として出力された場合には、制御部１１は、受信した移動制御情報に基づいて、画像取得部１３ａの視野範囲を変化させるように、移動部１２を制御するようになっている。
【００２７】
制御部１１は、情報取得部１３からの撮像画像を記録部３１に与えて記録させることができる。記録部３１は、所定の記録媒体に撮像画像を記録する。また、記録部３１には、移動パターン記録部３１ａが設けられている。移動パターン記録部３１ａには、画像取得部１３ａの視野範囲を変化させるための移動パターンの情報（移動パターン情報）が記録されている。制御部１１は、移動パターン記録部３１ａから移動パターン情報を読み出して、この情報に基づく移動パターンに従って、移動部１２を制御することにより、画像取得部１３ａの視野範囲を移動パターンに応じて変化させることができるようになっている。
【００２８】
なお、第１観察部（ヘッド部）１０にはバッテリ１５が設けられている。バッテリ１５は、第１観察部１０を駆動するために必要な電力を発生して各部に供給するようになっている。なお、バッテリ１５の電力の発生は、手動の機械スイッチや制御部１１によって制御されるようになっている。
【００２９】
第２観察部（表示部）２０には、制御部２１が設けられている。制御部２１は、第２観察部２０の各部を制御する。制御部２１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよい。
【００３０】
第２観察部２０（表示部）には、通信部２４が設けられている。通信部２４は、第１観察部１０の通信部１４との間で通信により情報の授受が可能である。また、第２観察部２０には、表示部２２が設けられている。第１観察部１０の制御部１１は、情報取得部１３によって取得された撮像画像を通信部１４，２４を介して第２観察部２０に与えることが可能である。制御部２１は、通信部１４，２４を介して受信した撮像画像を表示部２２に与えて表示させることができる。こうして、第１観察部１０の情報取得部１３によって取得された被写体の撮像画像を第２観察部２０の表示部２２において表示させることが可能である。
【００３１】
第２観察部（表示部）２０にはバッテリ２５が設けられている。バッテリ２５は、第２観察部２０を駆動するために必要な電力を発生して各部に供給するようになっている。なお、バッテリ２５の電力の発生は、制御部２１によって制御されるようになっている。
【００３２】
本実施の形態においては、第２観察部２０（表示部）においても情報取得部２３が設けられている。情報取得部２３は、画像取得部２３ａを有している。画像取得部２３ａは、例えば図示しない撮像レンズ及び撮像素子により構成された撮像部を有するカメラ装置等によって構成することができ、比較的広い視野範囲での撮像が可能である。例えば、画像取得部２３ａは、第１観察部１０の画像取得部１３ａにおける視野範囲を含む広い範囲の視野範囲であって、画像取得部１３ａの被写体に対する作業を観察可能な視野範囲を有していてもよい。なお、情報取得部２３は、ユーザの発話音声を取得する音声取得部を備えていてもよい。
【００３３】
情報取得部２３からの撮像画像は制御部２１に供給される。制御部２１は作業判定部２１ａを備えている。作業判定部２１ａは、情報取得部２３からの撮像画像に対する画像解析によって、画像取得部１３ａの被写体に対するユーザの作業に関する判定（作業判定）を行うことができるようになっている。例えば、作業判定部２１ａは、ユーザが画像取得部１３ａの被写体に対してピペッティングを実施した場合には、当該ユーザの作業がピペッティング作業であるものと判定し（例えば、その旨を指定するなどした場合、通信や音声判定、画像判定等を開始して）、当該ピペッティング作業の対象である被写体の位置（以下、作業対象位置という）を判定することができるようになっている。作業判定部２１ａは、判定結果である作業対象位置の位置情報を通信部２４，１４を介して第１観察部１０の制御部１１に送信することができるようになっている。つまり、培養容器が載置される部分からの画像を取得する画像取得部１３ａを有し、上記培養容器中の試料に対する作業を行う時の試料位置（上記作業対象位置）の情報を通信部等で得た時に（通信せず、自機で判定してもよい）、上記画像取得部を制御して上記試料位置に対応する撮像画像を取得させる制御部を具備したことを特徴とする観察装置となっている。
【００３４】
なお、実施形態においては、ピペッティング作業の判定の例を示したが、作業判定はこの例に限らない。例えば、スパチュラによる細胞の回収時等の作業を判定することも可能であり、細胞培養に関する各種作業についての作業判定が可能である。
【００３５】
更に、情報取得部２３が音声取得部を備えている場合には、作業判定部２１ａはユーザが発した音声を解析して、作業判定を行ってもよい。この場合には、作業判定部２１ａは、音声認識結果によって作業の内容や作業対象位置を判定することができる。また、作業判定部２１ａは、画像及び音声解析によって、作業判定を行ってもよい。例えば、ユーザが培養容器をふったり傾けたりした状態で細胞を確認する場合等においては、作業判定部２１ａは、ユーザのこのような作業を画像解析により判定すると共に、ユーザが発する作業対象位置を特定する音声に対する判定によって、作業内容及び作業対象位置の判定を行ってもよい。制御部１１が一部の判断を人工知能などに担わせる時には、このユーザの音声や操作の特徴で、正しい判定と間違った判定の違いを学習するようにして、深層学習を行い、判定精度を向上させていく事が出来る。
【００３６】
本実施の形態においては、制御部１１は、第２観察部２０から送信された位置情報に基づいて移動部１２を制御して、視野範囲内に作業対象位置が含まれるように、画像取得部１３ａの視野範囲の位置を移動させるようになっている。
【００３７】
なお、図１では第１観察部１０に制御部１１を設け、第２観察部２０に制御部２１をそれぞれ設ける例を示したが、第１観察部１０又は第２観察部２０のいずれか一方に制御部を設けて、この制御部によって第１観察部１０及び第２観察部２０の各部を制御してもよく、また、制御部１１，２１及び通信部１４，２４によって制御部１を構成し、制御部１によって第１観察部１０及び第２観察部２０の各部を制御してもよい。
【００３８】
図２は図１中の第１観察部１０の一例を示している。第１観察部１０の観察対象は、シャーレ等の培養容器５１中の試料である。図２では、培養容器５１は、底板が四角形状の上方が開口した箱体であるが、底板の形状は円形状のものであってもその他の形状のものであってもよい。培養容器５１の底板上には培地５２が形成されている。培地５２上に細胞５３が培養されている。
【００３９】
第１観察部１０は図１の操作及び記録部３０を除く回構成要素が収納された筐体４１を有する。筐体４１は培養が行われる高い湿度、比較的高温の環境下で装置に影響が出ることがないように、密封構造が取られ、四方が側板４１ａ〜４１ｄによって囲まれ、底面に底板４１ｅが配置され、上面は培養容器が載置される方向なので、装置から観察が可能なように透明板４１ｆが配置されて、側板４１ａ〜４１ｄ、底板４１ｅ及び透明板４１ｆによって密閉された箱形状を有する。なお、図２では図面の見やすさを考慮して、透明板４１ｆは側板４１ａ〜４１ｄから離間した状態を示しているが、実際には透明板４１ｆを側板４１ａ〜４１ｄに当接させて、筐体４１内部を密封する構造となっている。なお、この筐体４１に操作及び記録部３０の全部または一部が収められていてもよく、作業性に合わせて外部に拡張可能にしてもよい。
【００４０】
筐体４１内には、カメラ台４２に取り付けられたカメラ装置４３が収納されている。カメラ装置４３は、図１の情報取得部１３、制御部１１及び通信部１４に相当する。筐体４１内には、ｘ方向にカメラ装置４３を進退させるためのｘ送りネジ４４ｘ、ｙ方向にカメラ装置４３を進退させるためのｙ送りネジ４４ｙが設けられている。ｘ送りネジ４４ｘは、一端が支持部材４５に回動自在に支持され、他端はカメラ台４２の図示しないねじ孔に螺入されている。ｘ送りネジ４４ｘが回動することで、カメラ台４２はｘ方向に進退自在である。また、ｙ送りネジ４４ｙは、一端が支持部材４７に回動自在に支持され、他端は支持部材４５が固定された移動部材４６の図示しないねじ孔に螺入されている。ｙ送りネジ４４ｙが回動することで、移動部材４６はｙ方向に進退自在である。従って、ｘ，ｙ送りネジ４４ｘ，４４ｙを適宜回動させることによって、カメラ台４２をｘ，ｙ方向の任意の位置に移動させることが可能である。
【００４１】
ｘ，ｙ送りネジ４４ｘ，４４ｙは、それぞれ図示しない２つのモータによって回動されるようになっており、移動制御回路４８は、この２つのモータを駆動することができるようになっている。移動制御回路４８を含むカメラ台４２の移動機構によって、図１の移動部１２が構成される。なお、この位置を変えるスキャン（走査）機構は、様々な方式に変更可能で、ベルトで動かす方式でもよく、レールに沿ってモータで移動する方式でもよい。
【００４２】
図１の画像取得部１３ａを構成するカメラ装置４３は、透明板４１ｆを介して入射される光を取り込む光学系４３ａを有しており、光学系４３ａの結像位置には、図示しない撮像素子が設けられている。光学系４３ａは、フォーカス（合焦）状態に設定するために可動されるフォーカスレンズやフォーカス状態で変倍するズームレンズ等（図示せず）を有する。なお、カメラ装置４３は、光学系４３ａ中のレンズ及び絞りを駆動する図示しない機構部を有している。
【００４３】
本実施の形態においては、透明板４１ａ上には、培養容器５１を載置可能である。透明板４１ｆのサイズ、即ち筐体４１のサイズは、例えば、培養容器５１を透明板４１ｆ上に載置可能なサイズであればよい。図２では、透明板４１ｆは培養容器５１よりもサイズが大きい例を示したが、筐体４１は、培養容器５１と同様のサイズで構成することができ、例えば、携帯性に優れたスマートフォン等と同様のサイズ及び重量に構成することが可能である。
【００４４】
本実施の形態においては、培養容器５１を図示しない支持部材によって、透明板４１ｆ上に固定的に配置することができるようになっていてもよい。筐体が密閉構造で小型であれば、洗浄などの取り扱いにも耐え、あたかも培養容器と一体の機器として扱うことが出来る。
【００４５】
カメラ装置４３は、透明板４１ｆ上に載置された培養容器５１内の細胞５３の撮像画像を取得することができる。培養容器５１を透明板４１ｆ上に固定的に配置した場合には、筐体４１を傾斜させた場合でも、透明板４１ｆと培養容器５１との位置関係は変化しない。従って、例えば、クリーンベンチ内において筐体４１と共に培養容器５１を傾斜させるような作業を行う場合でも、透明板４１ｆ上に固定された状態の培養容器５１とカメラ装置４３の光学系４３ａとの位置関係は変化しないので、カメラ装置４３のｘ、ｙ方向の位置や、フォーカス状態が変化することはなく、カメラ装置４３の固定などの制御により同じ細胞の状態を継続して観察可能である。
【００４６】
カメラ装置４３は、図１の通信部１４に相当する通信部４９を備えており、撮像して得た細胞等の撮像画像を通信部４９を介して筐体４１外部の機器に送信することができるようになっている。もちろん、この筐体部に表示パネルを設け、ここに上記撮像結果を表示する応用も考えられる。この筐体４１外部の機器として、図１の操作及び記録部３０を採用してもよい。この操作及び記録部３０に表示パネルを設け、ここに上記撮像結果を表示する応用も考えられる。図１では第１観察部１０内に操作及び記録部３０が設けられている例を示しているが、操作及び記録部３０を第１観察部１０とは別体にして、筐体４１外部に配置してもよい。このような操作及び記録部３０として、タブレットＰＣやスマートフォン等を採用してもよい。
【００４７】
図４は操作及び記録部３０の一例として、タブレットＰＣやスマートフォン等によって構成された例を示す説明図である。
【００４８】
図４に示すように、操作及び記録部３０は通信部３０ａが内蔵されており、表面に液晶パネル等により構成された表示画面３０ｂを備えている。表示画面３０ｂ上には、図示しないタッチパネルが設けられている。タッチパネルは、ユーザが指で指し示した表示画面３０ｂ上の位置に応じた操作信号を発生することができる。この操作信号は、操作及び記録部３０を構成する操作部３２に供給される。操作部３２は、ユーザが表示画面３０ｂ上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出して、ユーザ操作に対応した操作信号を通信部３０ａを介して筐体４１内の通信部４９に送信することができるようになっている。
【００４９】
この他、専用のメカスイッチ機構を設けてもよい。ｘ、ｙ方向への撮像部移動は十字キー形式でよく、同様にピント方向の制御を行うスイッチを設ける。その他、撮影用に露出や絞りや画像処理用のスイッチを設けてもよく、これは、タッチ操作で行ってもよい。また、音声入力用のマイクをここに設けて、ユーザが音声で操作を行ってもよい。スマートフォン等の情報端末は、通信機能が充実しており、アプリケーション・ソフトのダウンロードや、外部サーバとの連携などで、システム制御部としての拡張性が高いので、本願の多くの制御や判断を、この操作及び記録部３０に担当させてもよい。つまり、ウェアラブル部からは、画像のみを取得して作業判定は、操作及び記録部３０が行ってもよく、カメラ装置の移動や各種制御もこの操作及び記録部３０が、第１観察部１０に行わせるようにしてもよい。座標変換などは、各観察部が分担等してもよいが、この操作及び記録部３０が行う方が、システムとして柔軟な構造となる。
【００５０】
例えば、操作部３２は、ユーザ操作に基づいて、カメラ装置４３による撮影範囲の移動を制御するための移動制御信号を発生して、通信部３０ａを介して通信部４９に送信することができる。通信部４９は、受信した移動制御信号を移動制御回路４８に転送するようになっている。移動制御回路４８は、受信した移動制御信号に基づいて、ｘ，ｙ送りネジ４４ｘ，４４ｙの回転を制御するようになっている。これにより、カメラ装置４３を、透明板４１ｆの表面に平行な面内で任意の位置に移動させることが可能である。
【００５１】
また、カメラ装置４３は、オートフォーカス機能を備えており、光学系４３ａのフォーカスレンズを駆動して、合焦状態を維持させることができるようになっている。また、カメラ装置４３は、ズームレンズを駆動することで、画角を変化させることが可能である。なお、カメラ装置４３におけるズーム動作についても、ユーザ操作によって制御することができるようになっている。ユーザがタッチパネル等によりズーム操作を行うと、操作部３２は、この操作に基づく制御信号を通信部３０ａを介して通信部４９に送信する。通信部４９によって受信された制御信号に基づいて、カメラ装置４３は、ズームレンズを駆動して、画角を変化させる。このように、カメラ装置４３は、ユーザ操作に基づいて、透明板４１ｆ表面に平行な任意の位置において任意の画角の視野範囲で撮像を行うことができる。なお、ズームレンズに代えて、カメラ装置４３の位置を透明板４１ｆの表面に垂直な方向に移動自在に構成してもよい。
【００５２】
更に、本実施の形態においては、カメラ装置４３の画角及び視野範囲の設定を第２観察部の取得画像によって自動制御することもできるようになっている。
【００５３】
図３は図１中の第２観察部２０の一例を示しており、第２観察部２０をメガネ型のウェアラブル端末装置（メガネ型端末装置）によって構成した例を示しており、観察を行う主要部のみを示している。
【００５４】
図３において、メガネフレーム６１の一部には、図１の制御部２１、情報取得部２３、通信部２４及び表示部２２の一部を構成する各回路が収納される回路収納部６２が配設されている。図示しない左右のリムに嵌込まれる左右のレンズのうち右側レンズの前方側には、メガネフレーム６１に支持された導光部２２ａが設けられている。また、回路収納部６２の側面には、導光部２２ａの入射面に向かって映像光を出射する表示パネル２３ｃが配設されている。導光部２２ａの出射面は、人物が顔７１にメガネフレーム６１を装着した状態で、右目７２の前方であって右レンズの一部の領域に対応する位置に配置されるようになっている。
【００５５】
回路収納部６２内に収納された表示部２２の一部を構成する図示しない表示制御部は、制御部２１から映像信号が与えられ、この映像信号に基づく映像光を表示パネル２３ｃから導光部２２ａの入射面に向かって出射させる。映像光は導光部２２ａ内を導光されて出射面から出射される。こうして、右目７２の視野範囲の一部に、制御部２１からの映像信号に基づく画像が視認されることになる。
【００５６】
なお、第２観察部２０は、シースルーで観察対象を直接観察することを妨げず、直接観察の観察対象と視野範囲の一部に見える入力された映像信号に基づく画像とを同時に観察することができるように構成されている。例えば、細胞培養の各種作業時に、作業の状況を直接観察すると同時に、第１観察部１０によって取得された細胞の撮像画像を観察することも可能である。しかも、図３の第２観察部２０は、ウェアラブル端末であり、ハンズフリーの機器であるから、観察に際して手足の動作が制限されることはないので、両手を駆使した作業性を損なうことなく第１観察部１０によって取得された画像の観察が可能である。
【００５７】
また、この第２観察部は、眼鏡型であることの利点を考慮した工夫がされており、例えば、口元に向かって音声収音する音声入力部などを併設してもよい。また、ユーザ（操作者）の見ている方向を撮影すれば、その操作の様子を判定することが可能となる。したがって、回路収納部６２の先端には、操作の様子を観察可能なように、画像取得部２３ａを構成する撮像レンズ２３ｂが設けられている。被写体からの光学像は、撮像レンズ２３ｂを介して回路収納部６２内に設けられた画像取得部２３ａの撮像素子に与えられる。この撮像素子によって、被写体光学像に基づく撮像画像を取得することができる。図３の例では、撮像レンズ２３ｂは、メガネフレーム６１のツル部分の先端に設けられており、ツル部分は人物の顔７１と略同じ向きを向いているので、画像取得部２３ａは、人の目７２による観察方向と同じ方向の被写体を撮像することが可能になるのである。これにより、画像取得部２３ａは、人が観察している作業状態に対応する画像を撮像画像として取得することが可能である。上述したように、画像取得部２３ａによって取得された撮像画像に基づいて、作業判定が行われる。
【００５８】
なお、作業判定部２１ａによる作業対象位置の判定のために、透明板４１ｆ又は培養容器５１等に指標を設けるようになっていてもよい。なお、この指標は、培養容器５１との相対的な位置関係が既知であればよく、観察範囲内のいずれの位置に設けてもよい。この指標は、特定のパターンで第１観察部１０のカメラ装置４３（画像取得部２３ａ）が判定可能として、指標位置をｘ、ｙ方向の原点の一つとして、第１観察部１０のカメラ装置４３（画像取得部２３ａ）が判定可能としてもよい。
【００５９】
次に、このように構成された実施の形態の動作について図５乃至図１３を参照して説明する。図５乃至図７は実施の形態の動作を説明するための説明図であり、図８及び図９は実施の形態の動作を説明するためのフローチャートである。
【００６０】
図５はクリーンベンチ８０内での作業の様子を示している。図２の第１観察部１０は、クリーンベンチ８０内の図示しない作業台上に載置されている。また、図３の第２観察部２０は、作業者８１の顔８１ａの前面に装着されている。第２観察部２０の回路収納部６２内の画像取得部２３ａは、作業者８１の視線方向と同じ方向の視野範囲で撮像を行う。クリーンベンチは、清潔な環境下で様々な作業が出来るようになっているが、外部からなるべく汚染等が起きないように、狭い空間で手を動かして作業するなど、実際の培養のための作業には不自由さがつきまとう。この中で通常の顕微鏡観察などは極めて困難な状況と言える。
【００６１】
作業者８１は、クリーンベンチ８０の前面開口部８０ａから手８１ｂをクリーンベンチ８０内に挿入して、第１観察部１０の透明板４１ｆ上に載置された培養容器５１等に対する作業を行う。図５の例では、作業者８１は手８１ｂでピペット８５を把持し、培養容器５１内の所定の位置の細胞に対してピペッティングを行う作業を示している。
【００６２】
第１観察部１０のカメラ装置４３（画像取得部２３ａ）は、光学系４３ａを介して透明板４１ｆ上に載置された培養容器５１内の試料からの（透明板の方向、つまり載置された試料の方向の）光学像を取込み、撮像画像を取得する。この撮像画像は、通信部４９（通信部１４）を介して第２観察部２０の通信部２４に送信され、制御部２１によって表示部２２に供給される。表示部２２は、図６に示すように、作業者８１の右目８２Ｒ前方に配置された導光部２２ａによって、カメラ装置４３が取得した撮像画像を作業者８１に視認させる。
【００６３】
図６における右目８２Ｒ及び左目８２Ｌをそれぞれ囲む破線は左右の目８２Ｒ，８２Ｌによる視界を示している。図７はこの視界を説明するものである。左視界８３Ｌは左目８２Ｌによる視界を示し、右視界８３Ｒは右目８２Ｒによる視界を示している。左視界８３Ｌは第２観察部２０の図示しない左レンズ（素通しガラスでもよく、ガラスがなくてもよい）を通過した光学眼鏡視界であり、右視界８３Ｒは第２観察部２０の図示しない右レンズ（素通しガラスでもよく、ガラスがなくてもよい）を通過した光学眼鏡視界である。右視界８３Ｒの一部に、導光部２２ａによる表示領域２２ｂが設けられる。
【００６４】
左右の視界８３Ｌ，８３Ｒにおける光学眼鏡視界は、作業者８１が実際に見ている観察対象を示すものであり、表示領域２２ｂは第１観察部１０のカメラ装置４３によって取得された画像である。従って、作業者８１は、作業対象の培養容器５１等を肉眼で確認しつつ不自由な環境下で両手を駆使して注意を要する作業をしながら、培養容器５１内の試料の撮像画像を表示領域２２ｂにおいて観察することができる。これは、従来の顕微鏡装置等ではほぼ不可能な事である。
【００６５】
つまり、クリーンベンチ８０を使用する場合には、前面開口部８０ａを介してクリーンベンチ８０内に配置した培養容器５１内の試料を観察することになり、肉眼では試料が見にくく、試料の確認は比較的困難である。しかし、本実施の形態においては、作業対象を肉眼で観察すると同時に、カメラ装置４３によって取得した撮像画像を確認することができ、試料の確認を容易にして、作業性を著しく向上させることができる。
【００６６】
更に、移動部１２は、作業者８１の作業に応じて、第１観察部１０のカメラ装置４３による視野範囲を自動的に変更することができる。図８はこの場合の制御を示している。なお、第１観察部１０の制御部１１及び第２観察部２０の制御部２１は、相互に連携して処理を行うので、以下の説明ではこれらの制御部１１，２１等による制御部１が制御を行うものとして説明する。
【００６７】
図８のステップＳ１において、制御部１は作業判定を行う。情報取得部２３の画像取得部２３ａは、撮像レンズ２３ｂを介して入射した被写体光学像に基づく撮像画像を取得して、作業判定部２１ａに供給する。作業判定部２１ａは、作業者８１による作業の内容及び作業の対象の位置（作業対象位置）を判定する（ステップＳ１）。制御部１は、作業対象位置が特定された場合には、ステップＳ２から処理をステップＳ３に移行して、移動部１２を制御して、視野範囲内に作業対象位置が含まれるようにカメラ装置４３を移動させる。なお、ステップＳ１では、撮像画像を用いて作業対象位置を判定する例を示したが、前述のように、音声入力部をウェアラブルの第２観察部２０や操作部３０に設け、音声入力によって作業対象位置を判定するようになっていてもよい。このように、細胞などの培養の作業時に使用されるこの眼鏡型端末装置は、表示部として機能するのみならず、培養容器中の試料に対する作業に関する情報をユーザの視線方向やユーザの指示から取得する情報取得部としても機能し、上記作業に関する情報を、カメラ装置４３を制御するために送信するので、上記作業中の試料に関する画像などの情報を当該カメラ装置４３などから取得して表示することができる。そのために上記作業対象位置の位置情報を取得する作業判定部を具備したことを特徴としている。このような作業判定は、必ずしも眼鏡型端末装置が単独で行う必要はなく、他の機器と通信で一部を連携して判定してもよく、また、画像のみを送信し、判定については外部にすべて委託してもよい。
【００６８】
移動部１２を構成する移動制御回路４８は、ｘ，ｙ送りネジ４４ｘ，４４ｙの回転を制御して、カメラ装置４３を透明板４１ｆの表面に平行な面内で任意の位置に移動させる。カメラ装置４３は、移動後において、光学系４３ａのフォーカスレンズを駆動してオートフォーカス処理を行う。また、制御部１は、カメラ装置４３の光学系４３ａを制御して、画角を変更することも可能である。こうして、作業対象位置を含む視野範囲で、カメラ装置４３による撮像が行われる。こうして取得された撮像画像は、第２観察部２０の表示部２２の導光部２２ａによって、図７の表示領域２２ｂに表示される（ステップＳ４）。
【００６９】
例えば、作業者８１が培養容器５１内の所定の位置の細胞に対してピペッティング作業を行った場合には、制御部１のこのピペッティング作業の対象となった細胞が撮像されるように、視野範囲を設定することが可能である。
【００７０】
図９はピペッティング作業時における作業対象位置の特定方法の一例を示すものである。
また、近年、ピペットは適量のピペッティング作業を容易にした、電動のものが普及していることから、本実施例のピペットも専用の装置として、先端近傍に発光部などを設けたものにしても良い。発光部から特殊な波長の光や特殊なパターンの光を発光させれば、第２観察部２０の画像取得部２３ａも、第１観察部１０のカメラ装置４３も、より容易にピペット先端部を検出することが出来るようになる。その位置と指標位置の差異から、カメラ装置４３の位置を制御してもよいし、その光を追跡するようにカメラ装置４３の位置を制御してもよい。
【００７１】
制御部１は、ピペット先端の画像部分の判定が可能な場合には、ステップＳ１３において、ピペット先端近傍の試料位置を判定する。この判定に際して、制御部１は、指標等を利用してもよい。また、制御部１は、培養容器の種類によっては、あるいは、培養容器の画像特徴などを利用して、指標等を利用することなく、ピペット先端近傍の試料位置を判定することが可能である。例えば、特殊形状の容器の特定の（例えば右端の）縁部などは、第２観察部２０の画像取得部２３ａによって、容易に画像判定ができる。この結果を第１観察部１０に送れば、第１観察部１０のカメラ装置４３も培養容器の右側縁部を容易に探し出して判定することができる。探さずとも、その位置（座標）を予めデータとして記録しておき、それに従って移動してもよい。
【００７２】
図１０及び図１１はこのような培養容器の一例を示す説明図である。図１０の培養容器９１は、３つのウェル９１ａに分割されたものである。また、図１１の培養容器９２は、１２個のウェル９２ａに分割されたマルチディッシュ型マイクロプレートである。図１１のウェル９２ａは、例えば、画像取得部１３ａの視野範囲である例えば数ｍｍ径のものを採用することができ、画像取得部１３ａの１回の撮像において各ウェル９２ａの略全領域の撮像が可能である。従って、この場合には、制御部１は、ピペット先端がいずれのウェル９２ａ近傍に位置するかを判定することで、比較的容易に作業対象位置の判定が可能である。
【００７３】
数ｍｍ径であれば、第１観察部１０のカメラ装置４３の画角でもほぼ撮像範囲に収めることが出来るが、径の右端、左端、上端、下端といった指示で、より的確にピペットの先で起こっていることを観察することが出来る。これも第２観察部２０の画像取得部２３ａは、マルチディッシュのどのディッシュかやそのどの端部の作業であるかを容易に画像判定ができる。また、ユーザは、ピペットの先のものではなく、特定の試料に興味がある場合があり、このような場合は、ピペットから外れた位置に、一度、ピペット先端を持っていった時に、観察位置をロックするような工夫をしてもよい。このような繊細な制御は人工知能などの助けを借りて行ってもよい。このような作業判定は、必ずしも眼鏡型端末装置が単独で行う必要はなく、他の機器と通信で一部連携、または、すべて委託して判定をしてもよい。
【００７４】
図１１の培養容器９２を採用した場合には、図８のステップＳ２において、いずれのウェル９２ａの作業対象位置に設定するかを音声によって指定することも可能である。例えば、ウェル９２ａの配列に対応した２けたの数字を発声することで、制御部１が音声認識により作業対象位置を判定するようになっていてもよい。また、ユーザは、ピペットの先のものではなく、特定の試料に興味がある場合があり、このような場合も音声で、「右」、「左」と指示できるような応用制御をしてもよい。
【００７５】
図１２及び図１３は透明板４１ｆ上に形成した指標５０を利用した場合のピペット先端位置の判定方法の一例を示す説明図である。
【００７６】
図１２においては、第２観察部２０の画像取得部２３ａを構成する撮像素子の撮像面２３ｄが示してある。
【００７７】
図１２の例では、ｙ方向について、撮像レンズ２３ｂの中心の位置を基準（Ｙ＝０）として、指標５０までの距離がＹ０であり、ピペット８５による作業対象の位置までの距離がＹｐであることを示している。指標５０のｙ方向の長さはΔＹ０である。また、撮像レンズ２３ｂの中心から透明板４１ｆの表面Ｐ４１ｆまでの距離はＺ０であるものとする。この場合には、下記（１）式及び（２）式が成立する。なお、Ｙ０は、指標が特定の仕様であれば、ΔＹ０が既知であることやそこから換算したり、指標までの距離や指標の画像の入射角度Φ１を測定したりして得ることが出来る。
Ｙ０＝Ｚ０×ｔａｎθ１    …（１）
Ｙｐ＝Ｚ０×ｔａｎθｐ    …（２）
（１）式を変形して下記（３）式が得られ、（２）式及び（３）式から下記（４）式が得られる。
Ｚ０＝Ｙ０／ｔａｎθ１    …（３）
Ｙｐ＝Ｙ０×ｔａｎθｐ／ｔａｎθ１    …（４）
また、θ１，θｐは下記（５）式又は（６）式で示される。
θ１＝π／２−φ１    …（５）
θｐ＝π／２−φｐ    …（６）
ここで、φ１及びφｐは、撮像面２３ｄ上における光軸基準位置ＺＩ１，ＺＩｐから求められる。（５），（６）式を（４）式に代入することで、制御部１は、ｙ方向についての作業対象位置を求めることができる。制御部１は、ｘ方向についても同様の演算によって、作業対象位置を求めることが可能である。
【００７８】
なお、上記各式によらず、測距によって図１２の距離Ｄを求め、下記（７）式によって、ｙ方向についての作業対象位置を求めてもよい。
Ｙｐ＝Ｄ×ｓｉｎθｐ    …（７）
図１２はピペット８５の先端が透明板４１ｆの表面Ｐ４１ｆに略位置するものとして説明したが、実際は培養容器５１の厚み等を考慮する必要がある。図１３はピペット８５の先端が培養容器５１の高さ位置Ｚｓに存在する場合の例を示している。この場合には、上記（４）式に代えて、下記（４ａ）式が導かれる。
Ｙｐ１＝Ｙ０×ｔａｎθｐ１／ｔａｎθ１    …（４ａ）
ＹｐはＹｐ１−ΔＹｐであり、下記（８）式が得られる。
Ｙｐ＝Ｙｐ１−ΔＹｐ＝Ｙｐ−Ｚｓ×ｔａｎθｐ１    …（８）
θｐ１＝π／２ーφｐ１であり、φｐは撮像面２３ｄ上における光軸基準位置ＺＩｐ１から求めることができる。こうして、この場合においても、制御部１は、ｙ方向についての作業対象位置を求めることができる。制御部１は、ｘ方向についても同様の演算によって、作業対象位置を求めることが可能である。
【００７９】
図９のステップＳ１３において、制御部１は、ピペット８５の先端部の試料位置の判定を行うと、次のステップＳ１４において、ピペット８５の先端位置を作業対象位置に設定して、処理を図８のステップＳ３に戻す。上述したように、ステップＳ３では、制御部１は、移動部１２を制御して、カメラ装置４３を移動させ、カメラ装置４３の視野範囲内にピペット８５による作業対象の位置が含まれるようにする。
【００８０】
なお、この場合には、制御部１は、カメラ装置４３の画像取得部１３ａによる撮像画像を元にして、作業対象位置を微調整するようにしてもよい。例えば、カメラ装置４３からの撮像画像の画像特徴と、ピペット８５の先端形状の画像特徴との一致比較によって、作業対象位置を高精度に決定してもよい。カメラ装置４３による画像は、第２観察部２０内の撮像素子による画像よりも拡大率が大きいので、作業対象位置をより高精度に求めることが可能である。こうして、制御部１は、カメラ装置４３の視野範囲内にピペット８５の作業対象位置が含まれるように、カメラ装置４３の移動を制御する。また、ユーザは、ピペットの先のものではなく、特定の試料に興味がある場合があり、このような場合は、ピペットから外れた位置にまずピペットを持って行って、そこでカメラ装置４３の撮像位置をロックするような工夫をしてもよい。後述の修正モーションも有効である。
【００８１】
図９のステップＳ１３において、第２観察部２０からの撮像画像ではピペット８５の先端部の位置を判定することができなかった場合には、制御部１は、ステップＳ１５に移行して、ユーザによりカメラ装置４３の位置を修正する修正モーションの指示が発生したか否かを判定する。ユーザが修正モーションの指示を行った場合には、制御部１は、移動部１２を制御して、この指示に従った作業対象位置までカメラ装置４３を移動させ（ステップＳ１６）、処理を図８のステップＳ３に戻す。
【００８２】
なお、制御部１は、ステップＳ１２においてピペット８５の先端の判定ができなかった場合又はステップＳ１５において修正モーションの指示が発生しなかった場合には、処理を図８のステップＳ１に戻す。
【００８３】
このように本実施の形態においては、第１観察部の筐体を携帯性に優れたサイズで構成し、この筐体を密封する透明板上に培養容器を固定的に載置可能にする。筐体内には透明板を介して培養容器内の試料の撮像画像を取得する画像取得部を設ける。そして、培養容器等に対する作業を観察する第２観察部からの撮像画像に基づいて作業対象位置を判定し、この判定結果に基づいて、第１観察部の画像取得部の視野範囲に作業対象位置が含まれるように、画像取得部を移動させる。これにより、ユーザが第２観察部の観察範囲内で所定の作業をしただけで、第１観察部の画像取得部の移動制御が行われて、作業対象の位置が第１観察部の撮像範囲内に入って作業対象位置の撮像画像が得られる。例えば、細胞培養において、ピペッティング作業を行うと、当該ピペッティング作業の対象位置が高倍率の画像取得部によって撮像されて、細胞等の画像を観察することができる。しかも、第１観察部は携帯性に優れ、培養容器は筐体に固定的に載置されているので、培養容器を傾ける等の作業を行う場合でも、容易にフォーカシング可能であり、細胞等の鮮明な撮像画像による観察が可能である。例えば、細胞容器をインキュベータから取りだして、クリーンベンチ等において細胞培養に関する作業を行う場合でも、簡単に細胞等の撮像画像による観察が作業と同時に可能となる。
【００８４】
これによって、より注意深い作業が可能となり、作業経過などを客観的に記録することもでき、失敗なく、正確な作業や研究が可能となる。上記第２観察部（情報取得部）によって、上記培養容器中の試料に対する作業を撮像して得た撮像画像から得られた情報を、上記作業に関する位置情報として、第１観察部に送信している。この作業に関する位置情報は、上記作業を撮像して得た撮像画像の分析以外にも、作業に伴う予備動作の撮像結果を分析して得た結果であってもよく、ウエアラブル部で検出した撮像結果に限る必要もない。つまり発光部を検出して位置情報としてもよく、音声で指示した結果を位置情報としてもよい。また、作業を判定した位置情報そのものではなく、作業している試料や器具に関する情報から、位置情報を第１観察部が算出してもよい。
【００８５】
更に、第２観察部をウェアラブル端末によって構成し、培養容器等に対する作業を観察する機能だけでなく表示機能を付加することで、作業を行いながら第１観察部により取得した細胞等の撮像画像による観察を行うことも可能である。特に、第２観察部を眼鏡型のウェアラブル端末により構成した場合には、作業の観察を行いながら、視線を移動させることなく視界の範囲内において、作業状況の観察及び作業対象の細胞等の撮像画像の観察が可能となり、作業性を著しく向上させることができる。
【００８６】
細胞などの培養に関する作業の多くが、培養容器を培養そのものが起こるインキュベータから取り出して、清潔な環境下のクリーンベンチ等に移した状態で行われるが、適宜、精細な顕微鏡等による確認も必要で、環境全体を通じて培養に影響を及ばすことのない清潔さの確保が重要であった。これには、作業を迅速化することが重要で、例えば、細胞の継代操作を一つとっても、培地の温度変更、コンフルエントであることの確認、新しい培地への移行、試薬の添加、インキュベート、細胞状態の確認、ピペッティング等の多くの作業工程があるが、これらの作業と培養状態の間でインキュベータからの取り出し工程があった。ここで、適宜、細胞状態の観察がないと、作業や培養状況の成否、進捗の確認ができない。一方では、細胞レベルの観察には、高倍率撮影が必要である。この観察装置（マイクロスコープ等）の視野範囲は、２〜３ｍｍ径程度となり、培養容器全体の観察には長時間を要する。また、マイクロスコープによる撮影では、被写界深度が極めて浅いので観察にも多くの調整などの作業工程を要し、こうした工程も含めての効率化が求められていた。このように、表示部を有する眼鏡型端末装置と通信する通信部を有し、培養容器中の試料に対する作業位置に関する情報をこの眼鏡型端末装置から得て、培養容器が載置された方向の画像を取得する画像取得部を移動制御させて、上記試料位置に対応する位置の撮像画像を取得させ、上記眼鏡型端末装置に上記撮像結果を表示させる制御部とを具備したことを特徴とする観察装置及び眼鏡型端末装置と組み合わせた観察システムが提供できる。これらの位置判定やその位置への制御については、システム構成に自由度があり、一つの機器が個別の機能を受け持つ場合もあれば、複数の機器がまたがって一つの機能を構成する場合もあり、さらには、すべての制御をいずれかの機器が統括する場合、または、図示していない外部機器が統括して制御する場合と、様々な応用が可能であることは言うまでもない。
【００８７】
（変形例）
第１の実施の形態においては、作業判定を行うために、第２観察部２０によって取得した撮像画像を利用した。細胞の観察には高倍率の望遠レンズが必要であり、作業判定には作業状態を観察するための比較的広角のレンズでの撮像が必要である。しかし、仮に、第１観察部１０の画像取得部１３ａにおいて、広角撮影から望遠撮影まで可能である場合には、画像取得部１３ａにおける広角撮影によって得た画像により作業判定を行い、作業判定結果によって、望遠撮影における視野範囲の位置を制御するようにしてもよい。即ち、この場合には、第２観察部２０は省略可能である。
【００８８】
なお、この場合でも、第１観察部１０からの細胞の撮像画像については、所定のディスプレイ装置に表示させるようにする。特に、ディスプレイ装置として、眼鏡型のウェアラブル端末を用いることで、作業性を一層向上させることが可能である。
【００８９】
（変形例）
第１の実施の形態においては、作業判定の判定結果に基づいて、望遠撮影における視野範囲の位置を制御した。しかし、第１観察部１０の画像取得部１３ａにおいて、培養容器５１の全体又は十分に広い範囲を極めて高解像度で撮像することができる場合には、視野範囲の位置を移動させることなく、作業対象位置が視野範囲に含まれることも考えられる。この場合には、第１観察部１０の制御部１１は、画像取得部１３ａによる撮像画像中から、作業対象位置を含む所定範囲の画像部分を切出して、拡大表示させるように制御してもよい。即ち、この場合には移動部１２は省略可能である。
【００９０】
（第２の実施の形態）
図１４は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。第２の実施の形態のハードウェア構成は第１の実施の形態と同様である。本実施の形態における第１観察部１０は、動作モードとして、カウントモードと、第１の実施の形態と同様に動作する作業モードとを有する。これにより、従来、インキュベータ内で実施されていた細胞カウントを、本実施の形態ではクリーンベンチ内においても実施可能とし、更に作業時の観察も可能にしている。
【００９１】
図１４は第１観察部１０及び第２観察部２０の動作を示している。なお、図１４において第１観察部のフロー中の各処理と第２観察部のフロー中の各処理との間を結ぶ線分は、通信が行われることを示している。また、図１５はカウントモードにおいて採用される移動パターン情報を示す説明図であり、図１６はカウントモードにおけるカメラ装置４３の移動を説明するための説明図である。
【００９２】
移動パターン記録部３１ａには、図１５に示す移動パターン情報が記憶される。図１５に示す移動パターン情報は、カメラ装置４３の移動の仕方を規定するための各種条件の情報（移動規定情報）を含む。移動規定情報中の開始条件は、カウントモードにおける撮像開始の条件、即ち撮像タイミングを規定するものであり、開始位置は、カメラ装置４３の初期位置を規定するものであり、終了条件はカメラ装置４３の移動を終了させる条件を規定するものである。また、移動規定情報中のＸ−Ｙ条件は、カメラ装置４３の移動方向をＸ方向からＹ方向に切換えるための条件を規定するものであり、Ｙ−Ｘ条件は、カメラ装置４３の移動方向をＹ方向からＸ方向に切換えるための条件を規定するものである。また、移動規定情報中のＮＧ判定条件は、撮像結果をカウントに利用できない場合の条件を規定するものであり、例えば、正規の位置以外の位置で撮像が行われた場合や露出やフォーカスが不良の画像が撮影された場合等に警告を発するための条件である。また、再トライ判定条件はＮＧ判定時に再度撮像を行うための条件を規定するものであり、例えばＮＧ判定が行われた場合に開始位置に戻して撮像を再開する条件を規定している。
【００９３】
記録部３１には、カウントモードにおいて取得された情報も記録されるようになっている。図１５の破線で囲った各領域は、それぞれカメラ装置４３の各位置において得られた情報を示している。例えば、１秒間に１回撮像を行い、培養容器５１全体の撮像に１時間要したものとすると、１回のカウントモードにおいて３６００コマの画像が撮影される。図１５のコマ１，２，…は各撮像画像情報を示す。また、時刻は撮像の時刻を示し、Ｚ１は撮影時のピント位置を示し、撮影条件１，２，…は、撮影時における培養容器５１上の位置（ＸＹ座標）情報、露光量、シャッター速度等の各種撮影条件を示している。図１５の例では、カウントモードにおいては、一定のピント位置（その他、撮影深度や対象物位置などＺ方向の情報などでもよい）で撮像が行われていることを示している。その他、拡大率（画角）などを記録してもよい。
【００９４】
第１観察部１０の制御部１１は、図１４のステップＳ２１において、操作待ち状態である。培養容器５１が載置された第１観察部１０を、例えばクリーンベンチ内に載置して作業が行われる。第１観察部１０に対する操作が行われると、制御部１１は、ステップＳ２２において操作を判定する。撮像をオフにする操作が行われた場合には、制御部１１はステップＳ２３において撮像をオフにし、撮像が必要な操作が行われた場合には、制御部１１はステップＳ２３において撮像をオンにする。ステップＳ２３のオン，オフ制御によって、撮像が不要な場合にバッテリ１５の消費量が増大することを抑制することができる。
【００９５】
一方、第２観察部２０の制御部２１は、図１４のステップＳ４１において、操作待ち状態である。第２観察部２０に対する操作又は第１観察部１０からの通信が発生すると、制御部２１は、ステップＳ４２において操作を判定する。撮像又は表示をオフにする操作が行われた場合には、制御部２１はステップＳ４３において撮像又は表示をオフにし、撮像又は表示が必要な状態が発生した場合には、制御部２１はステップＳ４３において撮像又は表示をオンにする。ステップＳ４３のオン，オフ制御によって、撮像又は表示が不要な場合にバッテリ２５の消費量が増大することを抑制することができる。
【００９６】
第１観察部１０の制御部１１は、ステップＳ２４において作業モードが指定されているか否かを判定する。作業モードにおいては、第１及び第２観察部１０，２０は、第１の実施の形態と同様の動作を行うことができる。作業モードが指定されている場合には、制御部１１は、ステップＳ２５において第２観察部２０と通信を行う。なお、この通信によって、第２観察部２０はステップＳ４３において撮像を開始することが可能である。
【００９７】
制御部１１は、ステップＳ２６において位置情報の通信があったか否かを判定する。第２観察部の制御部２１において、作業判定が行われて、作業対象位置の位置情報が第１観察部１０に送信された場合には、制御部１１は処理をステップＳ２８に移行する。第２観察部の制御部２１による作業判定において作業対象位置の位置情報が取得されていない場合には、制御部１１は処理をステップＳ２７に移行する。
【００９８】
ステップＳ２７では、制御部１１は、画像取得部１３ａに、視野範囲を変化させることなく撮像させ、取得された撮像画像を第２観察部２０に送信する。また、ステップＳ２８では、制御部１１は、移動部１２により画像取得部１３ａの視野範囲を位置情報に基づく範囲に変化させた後撮像させ、取得された撮像画像を第２観察部２０に送信する。
【００９９】
第２観察部２０の制御部２１は、ステップＳ４４において第１観察部１０から撮像画像が受信されたか否かを判定する。第１観察部１０からの撮像画像が受信されると、制御部２１は、ステップＳ４５において受信した画像を表示部２２に与えて表示させる。
【０１００】
制御部２１は、ステップＳ４６において画像取得部２３ａにより作業状態を撮像して得た撮像画像を取得し、作業判定を行う。制御部２１は、ステップＳ４７において作業位置判定が行われたか否かを判定し、作業について判定結果が得られた場合にはステップＳ４８において位置情報を第１観察部１０に送信する。作業位置判定が行われなかった場合には、制御部２１は処理をステップＳ４９に移行する。
【０１０１】
第１観察部１０の制御部１１は、ステップＳ２４において作業モードが指定されていないと判定した場合には、ステップＳ２９においてカウントモードが指定されているか否かを判定する。本実施の形態においては、作業モード時と同様に、細胞数のカウントはクリーンベンチ内に第１観察部１０を載置した状態で実施することが可能である。例えば、ユーザが操作部３２を操作してカウントモードを指定すると、制御部１１は、ステップＳ３０において移動パターンの情報を読み出し、移動パターンに従った画像取得、記録及びカウント処理を実行する。
【０１０２】
図１６は横軸に透明板４１ｆのＸ方向の位置をとり縦軸に透明板４１ｆのＹ方向の位置をとって、カウントモードにおける画像取得部１３ａの視野範囲の中心位置（以下、視野範囲の位置という）の移動を直線によって示している。図１６中の円形は培養容器５１ａを示している。なお、図１６における視野範囲の位置の移動を示す直線の間隔は実際のものとは異なり、実際には培養容器５１の全域が撮影されるように、視野範囲の位置の移動、即ちスキャンが行われる。
【０１０３】
制御部１１は、移動パターン記録部３１ａから移動パターンの情報を読出し、移動パターンの情報中の開始位置に画像取得部１３ａの視野範囲の例えば中心を移動させる。図１６の例では、制御部１１は、視野範囲を先ずＹ方向の負方向に移動させる。制御部１１は、開始条件を満足すると、撮像を行う。制御部１１は、培養容器５１ａの縁辺部を検出することで撮像を開始してもよく、また、培養容器５１ａのサイズ及び透明板４１ｆ上の載置位置が規定されている場合には、培養容器５１ａの縁辺部として予め決められた位置に到達することで、撮像を開始してもよい。開始条件には撮像のタイミングが視野範囲の位置の移動量に応じて決められており、視野範囲の位置が所定の距離だけ移動する毎に、制御部１１は画像取得部１３ａに画像を取得させる。
【０１０４】
こうして、制御部１１は、画像取得部１３ａの視野範囲の位置を移動させながら撮像を繰り返し、撮像結果を順次記録部３１に与えて記録させる。こうして、図１５の各破線領域にて囲った撮像結果が蓄積される。制御部１１は、視野範囲の位置がＸ−Ｙ条件を満足すると、移動部１２を制御して視野範囲の位置の移動をＸ方向に変化させる。図１６の例では視野範囲の位置はＸ方向の負方向に変化している。以後同様にして、培養容器５１ａをスキャンしながら撮像を繰り返す。視野範囲の位置が終了条件を満足すると、制御部１１はスキャンを停止し、記録された撮像画像に基づいて、細胞数のカウントを行う。なお、細胞数のカウントは、スキャン中に実行してもよい。
【０１０５】
制御部１１は、ステップＳ３０において、カウント処理が終了したか否かを判定する。終了した場合にはカウント結果を第２観察部２０に送信する（ステップＳ３１）。制御部１１は、カウント処理が終了していない場合には、処理をステップＳ３０からステップＳ２４に戻す。
【０１０６】
第２観察部２０の制御部２１は、ステップＳ４８においてカウント結果を受信したか否かを判定する。カウント結果を受信すると、制御部２１は、受信したカウント結果を表示部２２に与えて表示させる（ステップＳ５０）。
【０１０７】
このように、本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、細胞数をカウントすることができる。カウントモードは、クリーンベンチ内において、例えば作業モードに引き続き実施することができ、極めて簡単に細胞の培養状態の確認を行うことができる。ここでは、細胞培養について説明したが、細胞の他、酵素抗体法のタンパク質実験、その他、菌、微細藻類、原生動物などの培養観察にも応用が可能となる。
【０１０８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【０１０９】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【０１１０】
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、半導体やその他の記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。また、様々な判断の部分は、人工知能を利用して行ってもよい。この場合、その判断を深層学習の結果に応じて変更するが、予め状況に応じての判断の善し悪しを学習させておけばよく、実使用時にも、自動化されていた判断の結果に、ユーザが修正を加えることで、好ましい制御と好ましくない制御の違いを人工知能に入力可能となり、さらに判定の精度を上げていくような事が可能となる。
【符号の説明】
【０１１１】
１，１１，２１…制御部、１０…第１観察部、１２…移動部、１３，２３…情報取得部、１３ａ，２３ａ…画像取得部、１３ｂ…位置取得部、１４，２４…通信部、２１ａ…作業判定部、２２…表示部、３１…記録部、３１ａ…移動パターン記録部、３２…操作部。
【図１】
2018046773.tif 000003
【図２】
2018046773.tif 000004
【図３】
2018046773.tif 000005
【図４】
2018046773.tif 000006
【図５】
2018046773.tif 000007
【図６】
2018046773.tif 000008
【図７】
2018046773.tif 000009
【図８】
2018046773.tif 000010
【図９】
2018046773.tif 000011
【図１０】
2018046773.tif 000012
【図１１】
2018046773.tif 000013
【図１２】
2018046773.tif 000014
【図１３】
2018046773.tif 000015
【図１４】
2018046773.tif 000016
【図１５】
2018046773.tif 000017
【図１６】
2018046773.tif 000018