(57)【要約】  画質を向上した第２の画像の取得条件を決定する。  入力層７０１で、入力された第１の画像７１０の輝度値をダウンサンプリングした値ｘｉを受け取る。畳み込み層７０２で、フィルタを走査させて畳み込み演算を行う。出力層７０３で、畳み込み層７０２の出力ｚ１〜ｚ４及び第１の画像の第１の取得条件ｖ＝（ｖ１、ｖ２、ｖ３、ｖ４）を受け取り、第２の取得条件ｙを算出する。
2019106730.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像と前記第１の画像の取得条件とに基づいて、第２の画像の取得条件を決定する決定部
を備える
顕微鏡システム。
【請求項２】
前記第２の画像の取得条件は、複数の項目を含む
請求項１に記載の顕微鏡システム。
【請求項３】
前記決定部は、一つ以上の入力信号を受け取り一つ以上の出力信号を決定する
計算モデルを用いて、第１の画像と前記第１の画像の取得条件を入力信号とし、前記第２の画像の取得条件を決定する
請求項１又は２に記載の顕微鏡システム。
【請求項４】
前記計算モデルは、機械学習を用いて生成される
請求項３に記載の顕微鏡システム。
【請求項５】
前記計算モデルは、
ニューラルネットワークを含む
請求項３又は４の何れか１項に記載の顕微鏡システム。
【請求項６】
前記計算モデルを、教師データを用いて更新する更新部を有する
請求項３〜５の何れか１項に記載の顕微鏡システム。
【請求項７】
前記教師データは、第１の教師画像および前記第１の教師画像の取得条件と、第２の教師画像および第２の教師画像の取得条件と、取得条件の正解値と
を有する
請求項６に記載の顕微鏡システム。
【請求項８】
前記取得条件の正解値は、前記第２の教師画像を取得した取得条件に含まれる
請求項７に記載の顕微鏡システム。
【請求項９】
前記第１の画像は、前記第１の教師画像として用いられ
前記第１の画像の取得条件は、前記第１の教師画像の取得条件として用いられ、
前記第２の画像は、前記第２の教師画像として用いられ
前記第２の画像の取得条件は、前記第２の教師画像の取得条件として用いられる
請求項７又は８に記載の顕微鏡システム。
【請求項１０】
前記教師画像を生成する教師画像生成部を有し、
前記教師画像生成部は、複数の画像から前記第２の教師画像を決定する
請求項７〜９の何れか１項に記載の顕微鏡システム。
【請求項１１】
前記教師画像生成部は、
前記複数の画像の画質を示すスコアに基づいて、前記第２の教師画像を決定する
請求項１０に記載の顕微鏡システム。
【請求項１２】
前記計算モデルは、画像を取得する対象の種類に対応して設けられる
請求項３〜１１の何れか１項に記載の顕微鏡システム。
【請求項１３】
前記決定部は、前記対象の種類に対応する計算モデルを用いて、前記第２の画像の取得条件を決定する、請求項１２に記載の顕微鏡システム。
【請求項１４】
前記更新部は、前記対象の種類に対応する教師データを用いて前記計算モデルを更新する
請求項６に従属する請求項１２又は請求項６に従属する請求項１２に従属する請求項１３に記載の顕微鏡システム。
【請求項１５】
第１の画像と前記第１の画像の取得条件とに基づいて、第２の画像の取得条件を決定する決定部
を備え、
前記第２の画像の取得条件は、複数の項目を含む
顕微鏡システム。
【請求項１６】
光源から射出された光を物体に照射する照明光学系と、
前記物体からの光を検出する検出部と、
前記検出した光を用いて画像を生成する画像生成部と、
第１の画像と前記第１の画像の取得条件とに基づいて、第２の画像の取得条件を決定する決定部
を備える
顕微鏡システム。
【請求項１７】
光源から射出された光を物体に照射する照明光学系と、
前記物体からの光を検出する検出部と、
前記検出した光を用いて画像を生成する画像生成部と、
第１の画像に基づいて、第２の画像の取得条件を決定する決定部
を備え、
前記第２の画像の取得条件は、複数の項目を含む
顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の技術は、顕微鏡システムに関する。
【背景技術】
【０００２】
測定サンプルをスキャンし、得られた画像を用いて形状可変ミラーの形状を決定する走査型光学顕微鏡装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2005-292538号公報
【発明の概要】
【０００４】
本開示の第１の態様に係る顕微鏡システムは、第１の画像と前記第１の画像の取得条件とに基づいて、第２の画像の取得条件を決定する決定部を備える。
本開示の第２の態様に係る顕微鏡システムは、第１の画像と前記第１の画像の取得条件とに基づいて、第２の画像の取得条件を決定する決定部を備え、前記第２の画像の取得条件は、複数の項目を含む。
本開示の第３の態様に係る顕微鏡システムは、光源から射出された光を物体に照射する照明光学系と、前記物体からの光を検出する検出部と、前記検出した光を用いて画像を生成する画像生成部と、第１の画像と前記第１の画像の取得条件とに基づいて、第２の画像の取得条件を決定する決定部を備える。
本開示の第４の態様に係る顕微鏡システムは、光源から射出された光を物体に照射する照明光学系と、前記物体からの光を検出する検出部と、前記検出した光を用いて画像を生成する画像生成部と、第１の画像に基づいて、第２の画像の取得条件を決定する決定部を備え、前記第２の画像の取得条件は、複数の項目を含む。
【図面の簡単な説明】
【０００５】
【図１】顕微鏡システムの一例を示す図である。
【図２】顕微鏡装置１０１の構成の一例を示す図である。
【図３Ａ】第１実施形態に係る顕微鏡装置１０１の電気系の要部構成の一例を示すブロック図である。
【図３Ｂ】第１実施形態に係る情報処理装置１０２の電気系の要部構成の一例を示すブロック図である。
【図３Ｃ】第１実施形態に係るサーバ１０４の電気系の要部構成の一例を示すブロック図である。
【図４Ａ】第１実施形態に係る顕微鏡装置１０１の要部機能の一例を示す機能ブロック図である。
【図４Ｂ】第１実施形態に係る情報処理装置１０２の要部機能の一例を示す機能ブロック図である。
【図４Ｃ】第１実施形態に係るサーバ１０４の要部機能の一例を示す機能ブロック図である。
【図５】顕微鏡装置１０１の顕微鏡制御部２１８のＣＰＵ３０２及び情報処理装置１０２のＣＰＵ４０２が画像取得処理のプログラムを実行する際の動作シーケンスの一例を示す図である。
【図６】計算モデルの具体的内容の一例を示す図である。
【図７】画像取得処理のプログラムが実行される際のデータの送受信の様子の一例を示す図である。
【図８Ａ】複数の第２の取得条件を決定する場合の計算モデルの具体的内容の一例を示す図である。
【図８Ｂ】画像処理をせずに、第１の画像７１２をそのまま入力する場合の計算モデルの一例を示す図である。
【図８Ｃ】入力層７０１に、試料２０８の領域の画像のみを入力する場合の計算モデルの一例を示す図である。
【図９】情報処理装置１０２の表示装置４１４の表示画面１８００に表示される、教師データを作成するためのユーザインタフェースの一例を示す図である。
【図１０】顕微鏡装置１０１の顕微鏡制御部２１８のＣＰＵ３０２及び情報処理装置１０２のＣＰＵ４０２が教師データの作成処理のプログラムを実行する際の動作シーケンスの一例を示す図である。
【図１１】２組の教師データを示す図である。
【図１２】情報処理装置１０２の表示装置４１４の表示画面２３００に表示される、教師データを作成するためのユーザインタフェースの一例を示す図である。
【図１３】顕微鏡装置１０１の顕微鏡制御部２１８のＣＰＵ３０２及び情報処理装置１０２のＣＰＵ４０２が教師データの作成処理のプログラムを実行する際の動作シーケンスの一例を示す図である。
【図１４】複数の設定値を含む教師データを作成する場合の２組の教師データを示す図である。
【図１５】サーバ１０４のＣＰＵ５０２が実行する計算モデルの更新処理のプログラムの一例を示すフローチャートである。
【図１６】計算モデルの更新処理の作用の一例を示す図である。
【図１７】顕微鏡装置１０１の顕微鏡制御部２１８のＣＰＵ３０２及び情報処理装置１０２のＣＰＵ４０２が画像取得処理のプログラムを実行する際の動作シーケンスの一例を示す図である。
【図１８】複数の撮像データと、各撮像データに対応する複数の教師データとを示す図である。
【図１９】サーバ１０４のＣＰＵ５０２が実行する計算モデルの更新処理のプログラムの一例を示すフローチャートである。
【図２０】計算モデルの更新処理の作用の一例を示す図である。
【図２１】情報処理装置１０２の表示装置４１４の表示画面３６００に表示される、第１の画像及び第２の画像と、第１の取得条件の値を設定するためのユーザインタフェースの一例を示す図である。
【図２２】顕微鏡装置１０１の顕微鏡制御部２１８のＣＰＵ３０２及び情報処理装置１０２のＣＰＵ４０２が画像取得処理のプログラムを実行する際の動作シーケンスの一例を示す図である。
【図２３】第２の取得条件の値、及び第２の取得条件の値で得られた第２の画像が表示されたユーザインタフェースの一例を示す図である。
【図２４】情報処理装置１０２の表示装置４１４の表示画面４１００に表示される、ユーザインタフェースの一例を示す図である。
【図２５】情報処理装置１０２のＣＰＵ４０２が実行するＬｉｖｅ撮影処理のプログラムの一例を示すフローチャートである。
【図２６】情報処理装置１０２の表示装置４１４の表示画面４３００に表示される、ユーザインタフェースの一例を示す図である。
【図２７】情報処理装置１０２のＣＰＵ４０２が実行するタイムラプス撮影処理のプログラムの一例を示すフローチャートである。
【図２８】第６の変形例における情報処理装置１０２のＣＰＵ４０２が実行する通常撮影を顕微鏡装置１０１に指示する通常撮影処理のプログラムの一例を示すフローチャートである。
【図２９】第６の変形例におけるサーバ１０４のＣＰＵ５０２が実行する計算モデルの更新処理のプログラムの一例を示すフローチャートである。
【図３０】第６の変形例における計算モデルの更新処理の作用の一例を示す図である。
【図３１】第２の実施の形態の顕微鏡システムの構成の一例を示す図である。
【図３２】顕微鏡装置１０１の顕微鏡制御部２１８のＣＰＵ３０２及び情報処理装置１０２のＣＰＵ４０２が計算モデルの更新処理のプログラムを実行する際の動作シーケンスの一例を示す図である。
【図３３】サーバ１０４を省略した顕微鏡システムの構成の一例を示す図である。
【図３４Ａ】全体構成の第１の変形例の構成を示す図である。
【図３４Ｂ】全体構成の第２の変形例の構成を示す図である。
【発明を実施するための形態】
【０００６】
以下、添付図面に従って本発明に係る実施形態の一例について説明する。
第１の実施の形態を説明する。
［構成］
図１を参照して顕微鏡システムの構成を説明する。図１に示すように、顕微鏡システムは、ネットワーク１０３を介して相互に接続された情報処理装置１０２及びサーバ装置（以下、「サーバ」という）１０４と、情報処理装置１０２に接続されたレーザ走査型顕微鏡装置（以下、顕微鏡装置という）１０１と、を備えている。
【０００７】
次に、図２を参照して、ステージ２２０上に配置され、蛍光色素が予め添加された試料（例えば、細胞）２０８の画像を取得する顕微鏡装置１０１の構成を説明する。図２に示すように、顕微鏡装置１０１は、光源２０９−１、シャッタ２０９−２、及び音響光学素子２０９−３から構成される光源部２０９、照明用レンズ２１０、励起フィルタ２１１、及びダイクロイックミラー２１２を含む。光源２０９−１としては、所定の波長のレーザ光等の励起光を発光する装置を用いることができる。顕微鏡装置１０１は、ダイクロイックミラー２１２から試料２０８側に配置されている、スキャナ２１３、及び対物レンズ２１４を含む。スキャナ２１３として、ガルバノスキャナ又はレゾナントスキャナを用いることができる。顕微鏡装置１０１は、ダイクロイックミラー２１２から試料２０８側とは反対側に配置されている、蛍光フィルタ２１５、集光レンズ２１６、検出部２１７を含む。検出部２１７として、光電子増倍管を用いることができる。顕微鏡装置１０１は、試料２０８が配置されたステージ２２０を平面状に移動させるステージ駆動部２２１を含む。なお、ステージ駆動部２２１は、ステージ２２０を対物レンズ２１４の光軸方向に移動させてもよい。顕微鏡装置１０１は、検出部２１７の光の入射側に配置された、試料の焦点面と共役の位置に配置され、その径により、ある一定以上焦点面から光軸方向にずれた位置の光を除去するピンホール２３０と、ピンホール２３０のサイズを調整するピンホール駆動部２３１とを含む。顕微鏡装置１０１は、画像を取得するために作動する複数の構成部、例えば、光源部２０９、ピンホール駆動部２３１、ステージ駆動部２２１、及びスキャナ２１３等を制御する顕微鏡制御部２１８を含む。
【０００８】
試料２０８は、本開示の技術の「物体」の一例である。光源２０９−１は、本開示の技術の「光源」の一例である。照明用レンズ２１０、励起フィルタ２１１、ダイクロイックミラー２１２、スキャナ２１３、及び対物レンズ２１４は、本開示の技術の「照明光学系」の一例である。検出部２１７は、本開示の技術の「検出部」の一例である。顕微鏡制御部２１８は、本開示の技術の「画像生成部」の一例である。
【０００９】
次に、図３を参照して、顕微鏡システムの各装置の電気系の要部構成を説明する。図３Ａに示すように、顕微鏡装置１０１は、顕微鏡制御部２１８を備えている。顕微鏡制御部２１８は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０４、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０６、及び２次記憶装置３０８を含むコンピュータにより構成されている。ＲＯＭ３０４には、後述する各プログラム（図５、図１０、図１３、図１７、及び図２２における顕微鏡制御部２１８が実行するプログラム）が記憶されている。ＣＰＵ３０２は、各プログラム（図５、図１０、図１３、図１７、及び図２２における顕微鏡制御部２１８が実行するプログラム）を、ＲＯＭ３０４から読み出しＲＡＭ３０６に展開し、実行する。顕微鏡装置１０１は、光源部２０９、検出部２１７、入力装置３１０、表示装置３１４、ピンホール２３０のサイズを調整するピンホール駆動部２３１、ステージ２２０を移動させるステージ駆動部２２１、及び情報処理装置１０２とデータを送受信する送受信装置３１６を含む。顕微鏡装置１０１の図３Ａに示す各部はバス３２０により相互に接続されている。
【００１０】
図３Ｂに示すように、情報処理装置１０２は、ＣＰＵ４０２、ＲＯＭ４０４、ＲＡＭ４０６、２次記憶装置４０８、ネットワーク１０３を介してサーバ１０４とデータを送受信する送受信装置４１０、顕微鏡装置１０１とデータを送受信する送受信装置４１６、入力装置４１２、及び表示装置４１４を含む。情報処理装置１０２の図３Ｂに示す各部はバス４２０により相互に接続されている。ＲＯＭ４０４には、後述する各プログラム（図５、図１０、図１３、図１７、図２２、及び図３２における情報処理装置１０２により実行されるプログラム、図２５、図２７、及び図２８におけるプログラム）が記憶されている。ＣＰＵ４０２は、各プログラム（図５、図１０、図１３、図１７、図２２、及び図３２における情報処理装置１０２により実行されるプログラム、図２５、図２７、及び図２８におけるプログラム）を、ＲＯＭ４０４から読み出しＲＡＭ４０６に展開し、実行する。
【００１１】
図３Ｃに示すように、サーバ１０４は、ＣＰＵ５０２、ＲＯＭ５０４、ＲＡＭ５０６、２次記憶装置５０８、ネットワーク１０３を介して情報処理装置１０２とデータを送受信する送受信装置５１２、表示装置５１４、及び入力装置５１６を含む。サーバ１０４の図３Ｃに示す各部はバス５２０により相互に接続されている。ＲＯＭ５０４には、後述する各プログラム（図１５、図１９、及び図２９におけるプログラム、図３２におけるサーバ１０４により実行されるプログラム）が記憶されている。ＣＰＵ５０２は、各プログラム（図１５、図１９、及び図２９におけるプログラム、図３２におけるサーバ１０４により実行されるプログラム）を、ＲＯＭ５０４から読み出しＲＡＭ５０６に展開し、実行する。
【００１２】
ＣＰＵ３０２、４０２、５０２に代えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を用いることができる。２次記憶装置３０８、４０８、５０８としては、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、フレキシブルディスク、光磁気ディスク、フラッシュメモリなどを用いることができる。
【００１３】
次に、図４を参照して、顕微鏡システムの各装置の機能を説明する。図４Ａに示すように、顕微鏡装置１０１は、制御部６０２、及び画像構成部６０４を含む。ＣＰＵ３０２が各プログラム（図５、図１０、図１３、図１７、及び図２２における顕微鏡制御部２１８が実行するプログラム）を実行すると、ＣＰＵ３０２は、制御部６０２、画像構成部６０４として機能する。
【００１４】
図４Ｂに示すように、情報処理装置１０２は、計算モデル７０４を含む設定値算出部７０２０、及び教師データ生成部７０６を含む。ＣＰＵ４０２が各プログラム（図５、図１０、図１３、図１７、図２２、及び図３２における情報処理装置１０２により実行されるプログラム、図２５、図２７、及び図２８におけるプログラム）を実行すると、ＣＰＵ４０２は、設定値算出部７０２０、教師データ生成部７０６として機能する。
なお、教師データ生成部７０６は、本開示の技術の「教師画像生成部」の一例である。
【００１５】
計算モデル７０４は、本開示の技術の「計算モデル」の一例である。設定値算出部７０２０は、本開示の技術の「決定部」の一例である。
【００１６】
図４Ｃに示すように、サーバ１０４は、計算モデル８０４を含む機械学習部８０２を備える。詳細には後述するが、サーバ１０４は、情報処理装置１０２から送信された教師データに基づいて、計算モデル８０４を更新し、更新した計算モデル８０４を、情報処理装置１０２に送信する。情報処理装置１０２は、サーバ１０４から受信した計算モデルを、設定値算出部７０２０に、既にある計算モデル７０４に代えて、格納する。ＣＰＵ５０２が各プログラム（図１５、図１９、及び図２９におけるプログラム、図３２におけるサーバ１０４により実行されるプログラム）を実行すると、ＣＰＵ５０２は、機械学習部８０２として機能する。
機械学習部８０２は、本開示の技術の「更新部」の一例である。
【００１７】
［作用］
次に、本開示の技術の作用を説明する。
まず、図２を参照して、顕微鏡装置１０１による試料２０８を示す画像を取得する作用を説明する。光源部２０９から射出した所定の波長の光（励起光）は、照明用レンズ２１０及び励起フィルタ２１１を通り、ダイクロイックミラー２１２に入射する。
【００１８】
本実施の形態におけるダイクロイックミラー２１２は、上記所定の波長の励起光を反射し、上記所定の波長の励起光以外の光を透過させる性質を有する。よって、ダイクロイックミラー２１２に入射した励起光は、ダイクロイックミラー２１２にて反射され、スキャナ２１３に入射する。スキャナ２１３は、入射した励起光を走査し、走査された光は、対物レンズ２１４により、ステージ２２０上の試料２０８に集光される。スキャナ２１３により光の集光位置は２次元的に走査される。
【００１９】
上記のように、試料２０８には、蛍光色素が予め添加されており、試料２０８上で励起光が照射された位置からは、光（蛍光）が発せられる。その試料２０８から射出した光（蛍光）は、対物レンズ２１４、スキャナ２１３を通り、ダイクロイックミラー２１２へ入射する。ダイクロイックミラー２１２に入射した光（蛍光）は、励起光の波長と異なるので、ダイクロイックミラー２１２を透過し、蛍光フィルタ２１５を通り、集光レンズ２１６にて、集光される。集光した光（蛍光）は検出部２１７に入射し、検出部２１７は、入射された光の光電子変換を行い、大きさがその光の量（明るさ）に対応する値のデジタルデータを生成し、生成したデジタルデータを顕微鏡制御部２１８に送信する。
【００２０】
顕微鏡制御部２１８はそのデータを１画素のデータとして、顕微鏡制御部２１８に備えられたＲＡＭ３０６に記録する。この記録をスキャナ２１３の２次元的に走査するタイミングと同期して並べることで１つの画像として生成することで、画像が取得される。
【００２１】
顕微鏡制御部２１８は、画像を取得するために作動する複数の構成部である、光源部２０９、ピンホール駆動部２３１、及びステージ駆動部２２１等を制御する。よって、顕微鏡制御部２１８は、画像の取得条件として、例えば、光源部２０９の励起光の強さ、ピンホール２３０のサイズ、試料２０８上のスポットの走査速度等を設定する。
【００２２】
顕微鏡制御部２１８は、取得した画像及び取得条件の値を、情報処理装置１０２に送信する。
【００２３】
本開示の技術は、顕微鏡装置１０１で取得された試料２０８を示す第１の画像と、第１の画像を取得する際の顕微鏡装置１０１の少なくとも１つの構成部（光源部２０９、スキャナ２１３等）の設定情報である第１の取得条件とに基づいて、第２の画像の取得条件（第２の取得条件）を決定する。
【００２４】
ここで、第２の取得条件は、１つの項目でもよいが、各々第２の画像を取得する際の所定の取得状態、例えば、試料２０８の明るさに影響を及ぼすと共に各々異なる効果を生じさせる複数の項目を含むこともできる。例えば、第２の画像の取得条件には、励起光の強度、印加電圧、ＰＭＴオフセット、スキャンサイズ、スキャン速度、ピンホールサイズ等の複数の項目が含まれる。印加電圧とは、検出部２１７に印加する電圧の値である。ＰＭＴオフセットとは、検出部２１７の出力電流のオフセット（底上げ）の量を示す値である。スキャンサイズとは、スキャナ２１３が一定時間（サンプリング時間）に走査するサンプル上の距離を示す値である。スキャン速度とは、スキャナ２１３により光が走査される速度の値である。ピンホールサイズとは、ピンホール２３０のサイズである。励起光の強度、印加電圧、ＰＭＴオフセット、スキャンサイズ、スキャン速度、ピンホールサイズは、本開示の技術の「項目」の一例である。
【００２５】
例えば、励起光の強度、印加電圧、スキャン速度、ピンホールサイズは、いずれも撮像画像の明るさを上げるためのパラメーターであるが、明るさと同時に表１に示すような、異なる効果を生じさせるものがある。
【００２６】
【表１】
2019106730.tif 000003
【００２７】
具体的には、励起光の強度を上げると、明るさとＳＮ比が上がるが、試料２０８である細胞の蛍光色素退色も進行してしまう。印加電圧を上げると、明るさが上がるが、ＳＮ比が減少してしまう。スキャン速度を下げると、明るさが上がるが、撮像時間が長くなってしまう。ピンホールサイズを上げると、明るさとＳＮ比が上がるが、解像度が下がってしまう。
【００２８】
このように、明るさを上げるパラメーターにはそれぞれデメリットが存在しており、単に各設定項目を独立で最適化するのではなく、様々な評価項目を総合的に判断して、設定項目の値を決定する必要がある。
【００２９】
そこで、詳細には後述するが、本実施の形態では、第２の画像の取得条件を決定するために、計算モデルを用いると共に、計算モデルを更新（例えば、学習）する。
【００３０】
第２の取得条件である上記項目は、前述した励起光の強度、印加電圧、ＰＭＴオフセット、スキャンサイズ、スキャン速度、ピンホールサイズに限定されない。例えば、次の項目も適用できる。即ち、上記項目には、対物レンズＺ座標、対物レンズ種類、ライン平均、ライン積算、及びラインスキップを含むことができる。
【００３１】
ここで、対物レンズＺ座標とは、対物レンズ２１４の光軸方向の座標である。対物レンズ２１４は、光軸方向に移動可能なレボルバー２１９に取り付けられ、顕微鏡制御部２１８によりレボルバー２１９を光軸方向に移動することによって、対物レンズ２１４は、光軸方向に移動する。対物レンズ２１４の光軸方向の座標は、エンコーダ等により測定された対物レンズ２１４の位置によって、認識することができる。
【００３２】
対物レンズ種類について説明する。図２に示す例では、１つの対物レンズ２１４を備えている。しかし、レーザ走査型顕微鏡装置には、倍率等が異なる複数の種類の対物レンズがレボルバー２１９に取り付けられ、当該レボルバー２１９により、複数の対物レンズの内の選択された対物レンズが光軸にセットされるレーザ走査型顕微鏡装置もある。対物レンズ種類は、レンズの倍率等により定まる。
【００３３】
ライン平均、ライン積算について説明する。
ライン平均は、同じ位置（ライン）を複数回スキャンし、取得したデータを平均して得た値をその位置（ライン）の画素値とする場合のスキャンの数である。例えば、ライン平均が２の場合は、同じ位置（ライン）を２回スキャンし、その平均値を画素値とする。ライン積算は、同じ位置（ライン）を複数回スキャンし、取得したデータを合計して得た値をその位置（ライン）の画素値とする場合のスキャンの数である。ライン積算が２の場合は、２回スキャンした合計を画素値とする。これらは、カメラのビニングに対応する。なお、ここではラインという形状で説明をしたが、全面を走査して画像を生成する動作を複数回行い、その複数枚の２次元データを用いて平均や積算を行ってもよい。
【００３４】
ラインスキップは、ライン単位のサンプリング幅である。ラインスキップが２の場合、１行飛ばしに検出を行う。
【００３５】
次に、図５を参照して、顕微鏡装置１０１の顕微鏡制御部２１８のＣＰＵ３０２及び情報処理装置１０２のＣＰＵ４０２が実行する画像取得処理のプログラムの画像取得処理を説明する。図７には、画像取得処理のプログラムが実行される際のデータの送受信の様子の一例が示されている。
【００３６】
ユーザが情報処理装置１０２の入力装置４１２を操作して、試料２０８を示す第１の画像を取得する指示が情報処理装置１０２に入力されると、情報処理装置１０２から指示が顕微鏡装置１０１の顕微鏡制御部２１８に入力されて図５の情報処理装置１０２が実行する画像取得処理がスタートする。
【００３７】
画像取得処理がスタートすると、ステップ９００で、情報処理装置１０２の設定値算出部７０２０は、第１の画像を取得する際の顕微鏡装置１０１の複数の構成部の設定情報である第１の取得条件を取得するように命令する第１の条件取得命令データを、顕微鏡装置１０１に送信し、顕微鏡装置１０１の制御部６０２は、第１の条件取得命令データを受信する。
ステップ９０２で、顕微鏡装置１０１の制御部６０２は、第１の取得条件の値を取得する。第１の取得条件の値として、例えば、励起光の強度の値ｖ１として、例えば、１０、印加電圧の値ｖ２として、例えば、１００、スキャン速度の値ｖ３として、例えば、１、ピンホールサイズの値ｖ４として、例えば、３０を取得する。ステップ９０４で、第１の取得条件を情報処理装置１０２に送信し、情報処理装置１０２は、第１の取得条件を受信する。
情報処理装置１０２の設定値算出部７０２０は、ステップ９０６で、第１の取得条件で第１の画像を撮影するように顕微鏡装置１０１に命令する第１の画像撮影命令データを顕微鏡装置１０１に送信し、顕微鏡装置１０１の制御部６０２は、第１の画像撮影命令データを受信する。
顕微鏡装置１０１の画像構成部６０４は、ステップ９０８で、第１の画像を取得するように複数の構成部（光源部２０９、スキャナ２１３等）を制御する。これにより、試料２０８を示す画像を取得する作用において説明したように第１の画像が取得される。
ステップ９１０で、顕微鏡装置１０１の制御部６０２は、第１の画像を情報処理装置１０２に送信し、情報処理装置１０２は、第１の画像を受信する。
ステップ９１２で、情報処理装置１０２の設定値算出部７０２０は、詳細には後述するが、第１の画像と、第１の取得条件の各値とから、設定値算出部７０２０が有する計算モデル７０４（具体的には、２次記憶装置４０８に記憶されている）を用いて、顕微鏡装置１０１の第２の取得条件の値を計算する。
ステップ９１４で、情報処理装置１０２の設定値算出部７０２０は、顕微鏡装置１０１に第２の取得条件の値を設定することを顕微鏡装置１０１に命令する第２の条件設定命令データを顕微鏡装置１０１に送信し、顕微鏡装置１０１の制御部６０２は、第２の取得条件を受信する。
ステップ９１６で、顕微鏡装置１０１の制御部６０２は、第２の取得条件を設定する。例えば、顕微鏡制御部２１８は、光源２０９−１からの励起光の強度が第２の取得条件において指定された値となるように、光源２０９−１を設定する。なお、顕微鏡制御部２１８は、ピンホール２３０のサイズが第２の取得条件において指定された値となるように、ピンホール駆動部２３１を設定するようにしてもよい。
ステップ９１８で、情報処理装置１０２の設定値算出部７０２０は、第２の取得条件で第２の画像を撮影することを顕微鏡装置１０１に命令する第２の画像撮影命令データを送信し、顕微鏡装置１０１の制御部６０２は、第２の画像撮影命令データを受信する。
ステップ９２０で、顕微鏡装置１０１の画像構成部６０４は、第２の取得条件で第２の画像を取得し、ステップ９２４で、第２の画像を情報処理装置１０２に送信し、情報処理装置１０２は、第２の画像を受信し、表示装置４１４に、第２の画像を表示する。
【００３８】
以上のように、第２の取得条件を顕微鏡装置１０１に送信することにより、顕微鏡装置１０１が第２の取得条件で第２の画像を取得するようにさせることができる。
【００３９】
次に、図６を参照して、図５のステップ９１２の第２の取得条件の計算処理を説明する。
【００４０】
上記計算モデル７０４の一例としては、多層ニューラルネットワーク、例えば、図６に示す畳み込みニューラルネットワークを用いることができる。図６には、１枚の第１の画像７１０と、４つの第１の取得条件の値ｖ＝（ｖ１、ｖ２、ｖ３、ｖ４）とを用いて、１つの第２の取得条件を算出する場合の例が示されている。例えば、上記のように第１の取得条件ｖのｖ１は、励起光の強度の１０、ｖ２は、印加電圧 の１００、ｖ３は、スキャン速度の１、ｖ４は、ピンホールサイズの３０である。図６に示すように、畳み込みニューラルネットワークは、第１の画像７１０に関連するデータが入力される入力層７０１と、入力層７０１に入力された第１の画像７１０に関連するデータに対して畳み込み演算をする畳み込み層７０２と、畳み込み層７０２の出力と、第１の画像の取得条件ｖの各値とから、第２の画像の取得条件ｙを出力する出力層７０３とを備える。
ここで、計算モデルとは、一つ以上の入力信号を受け取り一つ以上の出力信号を決定するシステムであり、例えば、上記のようにニューラルネットワークが該当するが、ニューラルネットワークに限定されず、線形回帰モデルやサポートベクターマシンでもよい。
また、ニューラルネットワークとは、一つ以上の入力信号を受け取り、各入力信号に対する重みと活性化関数とを用いて、一つ以上の出力信号を決定する計算モデルである。
図６に示す畳み込みニューラルネットワークは、本開示の技術の「多層ニューラルネットワーク」の一例である。畳み込み層７０２に代えて全結合層を用いた多層ニューラルネットワークを用いるようにしてもよい。また、ニューラルネットワークの層数は、３層に限定されず、３以外の複数層でもよい。
【００４１】
設定値算出部７０２０は、入力層７０１で、入力された第１の画像７１０に画像処理した値、例えば、第１の画像７１０の輝度値をダウンサンプリングした値ｘｉを受け取る。
【００４２】
ここで、ダウンサンプリングは、例えば、第１の画像７１０の複数の画素を複数（例えば、９）個のブロックに分割し、各ブロック内の画素の輝度値の平均値、最大値、又は、最小値等を求めることにより行われる。図６に示す例では、９個のブロックの画素の輝度値の平均値ｘ１〜ｘ９が求められる。
【００４３】
設定値算出部７０２０は、畳み込み層７０２で、フィルタ（例：２＊２のフィルタ）を走査させて畳み込み演算を行う。フィルタは、重みω１、ω２、ω３、ω４を持っており、畳み込み層７０２では、フィルタを走査させる際には同じ重みを使う。よって、例えば、入力層７０１の出力ｚ１〜ｚ４は、
【００４４】
ｚ１＝ｆ（ｘ１＊ω１＋ｘ２＊ω２＋ｘ４＊ω３＋ｘ５＊ω４＋ｂ１）
ｚ２＝ｆ（ｘ２＊ω１＋ｘ３＊ω２＋ｘ５＊ω３＋ｘ６＊ω４＋ｂ１）
ｚ３＝ｆ（ｘ４＊ω１＋ｘ５＊ω２＋ｘ７＊ω３＋ｘ８＊ω４＋ｂ１）
ｚ４＝ｆ（ｘ５＊ω１＋ｘ６＊ω２＋ｘ８＊ω３＋ｘ９＊ω４＋ｂ１）
として計算される。なお、ωｉ（ｉ＝１、２、３、４）は、重みを、ｂ１は畳み込み層７０２におけるバイアスを、ｆは活性化関数を示す。
【００４５】
設定値算出部７０２０は、出力層７０３で、畳み込み層７０２の出力ｚ１〜ｚ４及び第１の取得条件の値ｖ＝（ｖ１、ｖ２、ｖ３、ｖ４）を受け取り、以下の式から、第２の取得条件ｙの値を算出する。
【００４６】
ｙ＝ｆ（ｚ１＊ω５＋ｚ２＊ω６＋ｚ３＊ω７＋ｚ４＊ω８＋ｖ１＊ω９＋ｖ２＊ω１０＋ｖ３＊ω１１＋ｖ４＊ω１２＋ｂ２）
【００４７】
なお、ωｐ（ｐ＝５〜１２）は、重みを、ｂ２は出力層７０３におけるバイアスを、ｆは活性化関数を示す。
【００４８】
第１の取得条件の値ｖ＝（ｖ１、ｖ２、ｖ３、ｖ４）は、上記のように励起光の強度、印加電圧、スキャン速度、ピンホールサイズの各値である。第２の取得条件ｙは、励起光の強度の値である。
【００４９】
以上説明したように本実施の形態では、第１の画像と第１の画像の取得条件（第１の取得条件）とに基づいて、第２の画像の取得条件（第２の取得条件）を決定する。本実施の形態を、第１の画像から第２の取得条件を決定する例と比較すると、本実施の形態では、第１の取得条件も加味して第２の取得条件を決定する点で相違する。本実施の形態は、第１の取得条件を加味しない例における第２の画像よりも画質を向上した第２の画像を取得することができる。
【００５０】
よって、顕微鏡装置１０１の操作を熟知したユーザでなくとも、画質を向上した第２の画像を取得するための取得条件を設定させることができる。
【００５１】
また、本実施の形態では、従来自動化が達成されていない取得条件である励起光の強度を自動的に設定することができる。
【００５２】
［変形例］
次に、第１の実施の形態の第１の変形例〜第６の変形例を説明する。第１の変形例〜第６の変形例は第１の実施の形態とほぼ同様であるので、以下、第１の変形例〜第６の変形例を、第１の実施の形態と異なる部分を説明する。
【００５３】
（第１の変形例）
第１の実施の形態では、第２の取得条件の値ｙは、第１の取得条件の値ｖ＝（ｖ１、ｖ２、ｖ３、ｖ４）の中の何れかの値としている。本開示の技術では、第２の取得条件の値ｙは、これらの第１の取得条件の値ｖ＝（ｖ１、ｖ２、ｖ３、ｖ４）以外の値でもよい。上記例では、例えば、スキャンサイズの値等の何れかでもよい。
【００５４】
（第２の変形例）
第１の実施の形態では、入力層７０１に入力される第１の画像７１０に対してする画像処理として、ダウンサンプリングを行っている。本開示の技術はこれに限定されず、例えば、画像正規化、画像反転等他の画像処理を適用することができる。
【００５５】
（第３の変形例）
第１の実施の形態では、第１の画像と第１の取得条件の値とに基づいて、１つの第２の取得条件の値（例えば、励起光の強度の値）を決定する。本開示の技術はこれに限定されず、例えば、第１の画像と第１の取得条件の値とに基づいて、複数の第２の取得条件の値を決定することができる。
【００５６】
上記表１に示すように、複数の第２の取得条件は、各々第２の画像を取得する際の所定の取得状態（例えば、試料２０８の明るさ）に影響を及ぼすと共に各々異なる効果を生じさせる複数の項目を含むこともできる。
【００５７】
例えば、複数の第２の取得条件の項目として、第１の取得条件の中の複数の項目が適用できる。また、複数の第２の取得条件の項目として、第１の取得条件以外の複数の項目が適用できる。更に、第１の取得条件の中の少なくとも１つの項目と、第１の取得条件以外の中から少なくとも１つの項目とに適用することができる。
【００５８】
次に、図８Ａを参照して、複数の第２の取得条件の値を決定する場合の計算モデルの具体的内容を説明する。図８Ａの入力層７０１、畳み込み層７０２は、図６に示す例と同様であるが、図８Ａの出力層７０３では、複数の第２の取得条件の値、例えば、４つの取得条件の値を次のように計算することにより、決定する。
【００５９】
ｙ１＝ｆ（ｚ１＊ω５，１＋ｚ２＊ω６，１＋ｚ３＊ω７，１＋ｚ４＊ω８，１＋ｖ１＊ω９，１＋ｖ２＊ω１０，１＋ｖ３＊ω１１，１＋ｖ４＊ω１２，１＋ｂ２）
ｙ２＝ｆ（ｚ１＊ω５，２＋ｚ２＊ω６，２＋ｚ３＊ω７，２＋ｚ４＊ω８，２＋ｖ１＊ω９，２＋ｖ２＊ω１０，２＋ｖ３＊ω１１，２＋ｖ４＊ω１２，２＋ｂ２）
ｙ３＝ｆ（ｚ１＊ω５，３＋ｚ２＊ω６，３＋ｚ３＊ω７，３＋ｚ４＊ω８，３＋ｖ１＊ω９，３＋ｖ２＊ω１０，３＋ｖ３＊ω１１，３＋ｖ４＊ω１２，３＋ｂ２）
ｙ４＝ｆ（ｚ１＊ω５，４＋ｚ２＊ω６，４＋ｚ３＊ω７，４＋ｚ４＊ω８，４＋ｖ１＊ω９，４＋ｖ２＊ω１０，４＋ｖ３＊ω１１，４＋ｖ４＊ω１２，４＋ｂ２）
【００６０】
なお、ωｓ、ｔ（ｓ＝５、６、７、８、ｔ＝１、２、３、４）は、重みを、ｂ２は出力層７０３におけるバイアスを、ｆは活性化関数を示す。
【００６１】
以上のように、第３の変形例では、各々第２の画像を取得する際の所定の取得状態に影響を及ぼすと共に各々異なる効果を生じさせる複数の項目の第２の取得条件の値を、計算モデルに基づいて、決定する。よって、複数の項目の第２の取得条件の各々の値を、他の第２の取得条件との影響を考慮して、総合的に決定することができる。
【００６２】
また、第３の変形例では、従来自動化が達成されていない取得条件を、他の取得条件との影響を考慮して、総合的に決定することができる。
【００６３】
（第４の変形例）
第１の実施の形態では、入力層７０１に入力される第１の画像７１０に対して、ダウンサンプリング、画像正規化、画像反転等他の画像処理を行っている。本開示の技術はこれに限定されず、上記画像処理をせずに、第１の画像７１０をそのまま入力するようにしてもよい。
【００６４】
図８Ｂには、上記画像処理をせずに、第１の画像７１０をそのまま入力する場合の一例が示されている。
【００６５】
例えば、図６に示す例では、５×５の領域をダウンサンプリングしてｘ１とする場合が例示されている。これに対し、図８Ｂでは、第１の画像７１２（３×３）の１つの画素値がそのままｘ１に対応する。
【００６６】
（第５の変形例）
第１の実施の形態では、第１の画像の全ての画素を利用している。本開示の技術はこれに限定されず、図８Ｃに示すように、画像７１０の領域（ＲＯＩ）の画像７１４のみを抽出し、入力層７０１に入力するようにしてもよい。なお、画像７１４に上記画像処理をしてもよい。
第６の変形例は後述する。
【００６７】
［教師データの作成処理と、教師データを用いた計算モデルの更新処理］
（教師データの作成処理）
引き続き、第１の実施の形態における教師データの作成処理と、教師データを用いた計算モデルの更新処理を説明する。まず、教師データの作成処理を説明する。
最初に、ユーザが介在して、ユーザインタフェースを用いて１つの設定値（ユーザが自ら判断した正解）を含む教師データを作成する場合の第１の例を説明する。
図９を参照して、情報処理装置１０２の表示装置４１４の表示画面１８００に表示される、教師データを作成するためのユーザインタフェースを説明する。図９に示すように、情報処理装置１０２の表示装置４１４の表示画面１８００に表示されるユーザインタフェースの画面には、Ｌｉｖｅ画像の表示部１８０１、撮像画像の表示部１８０２、設定値コントロール部１８０３、及び教師データ作成の指示部１８１０が含まれる。設定値コントロール部１８０３には、複数の第１の取得条件の各々の値を設定するために、つまみをスライドさせて入力数値を変化させる複数のスライダーバー１８０３−ｉと、Ａｕｔｏ  Ｓｅｔｔｉｎｇボタン１８０４と、が含まれる。教師データ作成の指示部１８１０には、設定開始ボタン１８１１と設定完了ボタン１８１２とが含まれる。
【００６８】
次に、図１０を参照して、顕微鏡装置１０１の顕微鏡制御部２１８のＣＰＵ３０２及び情報処理装置１０２のＣＰＵ４０２が実行する教師データの作成処理のプログラムを説明する。教師データの作成処理がスタートすると、ステップ１００２で、情報処理装置１０２の教師データ生成部７０６は、第１の画像の複数（例えば、４個）の取得条件を設定するように顕微鏡装置１０１に命令する第１の取得条件設定命令データを顕微鏡装置１０１に送信する。具体的には、ユーザは、設定値コントロール部１８０３のスライダーバー１８０３−ｉのつまみを操作する。例えば、励起光の強度を１０、印加電圧を１００、スキャン速度を１、ピンホールサイズを２０にスライダーバー１８０３−ｉのつまみを移動する。これらの値が入力装置４１２を介して教師データ生成部７０６に入力され、ＲＡＭ４０６に記憶される。これにより、４個の取得条件が設定される。これらの取得条件の値（励起光の強度の値：１０、印加電圧の値：１００、スキャン速度の値：１、ピンホールサイズの値：２０）を含み、これらの値を設定するように顕微鏡装置１０１に命令する第１の取得条件設定命令データが顕微鏡装置１０１に送信される。顕微鏡装置１０１の制御部６０２は、第１の取得条件設定命令データを受信する。
ステップ１００４で、顕微鏡装置１０１の制御部６０２は、第１の取得条件の値を設定する。具体的には、制御部６０２は、励起光の強度の値が１０、印加電圧の値が１００、スキャン速度の値が１、ピンホールサイズの値が２０となるように、各部（２０９、２１７、２１３、２３１）を制御する。
【００６９】
ユーザが、図９に示す、情報処理装置１０２の表示装置４１４の表示画面１８００の「設定開始」ボタン１８１１を押下すると、ステップ１００６で、情報処理装置１０２の教師データ生成部７０６は、「設定開始」ボタン１８１１の押下を検知する。
【００７０】
ステップ１００８で、教師データ生成部７０６は、第１の取得条件の値で第１の画像を撮影するように顕微鏡装置１０１に命令する第１の画像撮影命令データを、顕微鏡装置１０１に送信し、顕微鏡装置１０１の制御部６０２は、第１の画像撮影命令データを受信する。
ステップ１０１０で、顕微鏡装置１０１の画像構成部６０４は、第１の取得条件の値で第１の画像を取得し、ステップ１０１２で、第１の画像を、情報処理装置１０２に送信し、情報処理装置１０２は、第１の画像を受信する。
【００７１】
情報処理装置１０２の教師データ生成部７０６は、ステップ１０１４で、第２の取得条件を設定する第２の取得条件設定命令データを顕微鏡装置１０１に送信する。具体的には、第１の画像が図９のＬｉｖｅ画像の表示部１８０１に表示され、ユーザは、Ｌｉｖｅ画像を見ながら、顕微鏡装置１０１の第２の取得条件の値を、設定値コントロール部１８０３のつまみを移動させることで、設定する。つまみの移動に伴いつまみにより示される値が顕微鏡装置１０１に送信される。つまみが移動される間、以上の処理が繰り返される。ユーザは、Ｌｉｖｅ画像の表示部１８０１に表示された第１の画像を見て、第２の画像の取得条件の最適な値（例えば、励起光の強度８）を自ら判断して決定する。励起光の強度の値：８、印加電圧の値：１００、スキャン速度の値：１、ピンホールサイズの値：２０が含まれる第２の取得条件設定命令データが送信され、第２の取得条件設定命令データを顕微鏡装置が受信する。
ユーザは、「設定完了」ボタン１８１２を押下する。ステップ１０１８で、情報処理装置１０２の教師データ生成部７０６は、「設定完了」ボタン１８１２の押下を検知し、ステップ１０２０で、教師データ生成部７０６は、顕微鏡装置１０１に第２の取得条件で第２の画像を取得するように命令する第２の画像撮影命令データを送信し、顕微鏡装置１０１の制御部６０２は、第２の画像撮影命令データを受信する。
ステップ１０２２で、顕微鏡装置１０１の画像構成部６０４は、第２の取得条件の値（励起光の強度の値：８、印加電圧の値：１００、スキャン速度の値：１、ピンホールサイズの値：２０）で第２の画像を取得し、ステップ１０２４で、第２の画像を、情報処理装置１０２に送信し、情報処理装置１０２は、第２の画像を受信する。
【００７２】
ステップ１０２４で、教師データ生成部７０６は、教師データを作成し、２次記憶装置４０８に保存する。具体的には、図１１に示すように、｛画像（入力）、取得条件，設定値（正解）｝の２組の教師データを作成し、２次記憶装置４０８に保存する。２組の教師データには、｛第１の画像Ａ、第１の取得条件Ａ、励起光の強度８（１つの設定値：正解）｝を含む第１の教師データ２２０１と、｛第２の画像Ｂ、第２の取得条件Ｂ、励起光の強度８（１つの設定値：正解）｝からなる第２の教師データ２２０２とがある。
なお、第１の画像Ａ及び第２の画像Ｂは、本開示の技術の「教師画像」の一例である。
【００７３】
ステップ１０２６で、情報処理装置１０２の教師データ生成部７０６は、教師データ（２組の教師データ２２０１、２２０２）をサーバ１０４に送信する。なお、詳細には後述するが、サーバ１０４は、計算モデルの更新のために教師データを利用する（図１５のステップ２８０２で利用される）。
【００７４】
次に、ユーザが介在して、ユーザインタフェースを用いて、１つの設定値（ユーザが自ら判断した正解）を含む教師データを作成する場合の第２の例を説明する。
【００７５】
図１２を参照して、情報処理装置１０２の表示装置４１４の表示画面２３００に表示される、教師データを作成するためのユーザインタフェースを説明する。図１２に示すように、情報処理装置１０２の表示装置４１４の表示画面２３００に表示されるユーザインタフェースの画面には、上記第１の例と同様のＬｉｖｅ画像の表示部１８０１、撮像画像の表示部１８０２、設定値コントロール部１８０３が含まれる。第２の例のユーザインタフェースの画面には、教師データ作成の指示部１８１０は含まれないが、Ｃａｐｔｕｒｅボタン２３１０と、試料２０８が置かれたステージ２２０（図２参照）を移動させる指示を入力するためのステージ操作部２３２０とが含まれている。
【００７６】
次に、図１３を参照して、顕微鏡装置１０１の顕微鏡制御部２１８のＣＰＵ３０２及び情報処理装置１０２のＣＰＵ４０２が教師データの作成処理を説明する。教師データの作成処理がスタートすると、情報処理装置１０２の教師データ生成部７０６は、ステップ１５０２で、上記第１の例と同様に、第１の取得条件（励起光の強度：１０、印加電圧：１００、スキャン速度：１、ピンホールサイズ：２０）を設定するように顕微鏡装置１０１に命令する第１の取得条件設定命令データを顕微鏡装置１０１に送信し、顕微鏡装置１０１の制御部６０２は、第１の取得条件設定命令データを受信する。ステップ１５０４で、情報処理装置１０２の教師データ生成部７０６は、観察したい試料２０８（細胞）が対物レンズ２１４の光軸中心に来るように、ステージ２２０の位置の移動を、顕微鏡装置１０１に指示する移動指示命令データを、顕微鏡装置１０１に送信し、顕微鏡装置１０１の制御部６０２は、移動指示命令データを受信する。
ステップ１５０６で、顕微鏡装置１０１の制御部６０２は、移動指示命令データの指示に従ってステージ２２０の位置に移動しながら、ステップ１５０８で、ステージ２２０の座標を定期的（例えば、１秒ごと）に情報処理装置１０２に送信し、観察したい試料２０８（細胞）が上記光軸中心に来ると、ステージ２２０の座標の送信を停止する。
【００７７】
ステージの座標が送信されると情報処理装置１０２の教師データ生成部７０６は、ステップ１５１０で、ステージの座標の送信が停止されることを検知することにより、ステージ２２０が静止したことを検知する。
【００７８】
ステップ１５１２で、情報処理装置１０２の教師データ生成部７０６は、顕微鏡装置１０１に第１の取得条件の値（励起光の強度の値：１０、印加電圧の値：１００、スキャン速度の値：１、ピンホールサイズの値：２０）で第１の画像を取得するように命令する第１の画像撮影命令データを、顕微鏡装置１０１に送信し、顕微鏡装置１０１の制御部６０２は、第１の画像撮影命令データを受信する。
顕微鏡装置１０１の制御部６０２は、ステップ１５１４で、第１の取得条件を設定し、ステップ１５１６で、画像構成部６０４は、第１の取得条件の値で第１の画像を取得し、ステップ１５１８で、第１の画像を、情報処理装置１０２に送信し、情報処理装置１０２の教師データ生成部７０６は第１の画像を受信する。
【００７９】
情報処理装置１０２の教師データ生成部７０６は、ステップ１５２０で、第２の取得条件の調整処理を実行する。具体的には、第１の画像がＬｉｖｅ画像の表示部１８０１に表示され、ユーザは、Ｌｉｖｅ画像を見ながら、顕微鏡装置１０１の１つの第１の取得条件を、設定値コントロール部１８０３のつまみを移動させることにより、設定する。つまみの移動に伴いつまみにより示される値が顕微鏡装置１０１に送信される。以上の処理が繰り返され、ユーザは、Ｌｉｖｅ画像の表示部１８０１に表示された第１の画像を見て、第２の画像の取得条件の最適な値（例えば、励起光の強度８）を自ら判断して決定し、ユーザは、「Ｃａｐｕｔｕｒｅ」ボタン２３１０を押下する。ステップ１５２２で、情報処理装置１０２の教師データ生成部７０６は、「Ｃａｐｕｔｕｒｅ」ボタン２３１０の押下を検知し、ステップ１５２４で、教師データ生成部７０６は、顕微鏡装置１０１に第２の取得条件の値（励起光の強度の値：８、印加電圧の値：１００、スキャン速度の値：１、ピンホールサイズの値：２０）を設定するように命令する第２の取得条件設定命令データを顕微鏡装置１０１に送信し、顕微鏡装置１０１の制御部６０２は、第２の取得条件設定命令データを受信する。顕微鏡装置１０１の制御部６０２は、ステップ１５２６で、第２の取得条件の値を設定する。
ステップ１５２８で、情報処理装置１０２の教師データ生成部７０６は、第２の取得条件の値で第２の画像を撮影することを顕微鏡装置１０１に命令する第２の画像撮影命令データを送信し、顕微鏡装置１０１の制御部６０２は、第２の画像撮影命令データを受信し、ステップ１５３０で、画像構成部６０４は、第２の取得条件の値で第２の画像を取得し、ステップ１５３２で、第２の画像を、情報処理装置１０２に送信し、情報処理装置１０２の教師データ生成部７０６は、第２の画像を受信する。
【００８０】
ステップ１５３４で、教師データ生成部７０６は、図１１に示すように、教師データを作成し、２次記憶装置４０８に保存する。具体的には、｛画像（入力）、取得条件，設定値（正解）｝の２組の教師データを作成し、ＲＡＭ４０６に保存する。より詳細には、２組の教師データには、第１に、｛第１の画像Ａ、第１の取得条件Ａ、励起光の強度８（１つの設定値）｝からなる第１の教師データ２７０１と、第２に、｛第２の画像Ｂ、第２の取得条件Ｂ、励起光の強度８（１つの設定値）｝からなる第２の教師データ２７０２とがある。
【００８１】
ステップ１５３６、情報処理装置１０２の教師データ生成部７０６は、教師データ（２組の教師データ２２０１、２２０２）をサーバ１０４に送信する。サーバ１０４は、計算モデルの更新のために教師データを利用する（図１５のステップ２８０２で利用される）。
【００８２】
以上説明したユーザが介在して教師データを作成する場合の第２の例では、上記第１の例（図９参照）における「設定開始」ボタン１８１１、「設定完了」ボタン１８１２が省略されている。第２の例では、ステージ２２０の静止の検知、「Ｃａｐｔｕｒｅ」ボタン２３１０の押下の検知が、「設定開始」ボタン１８１１、「設定完了」ボタン１８１２の押下の動作に代替している。よって、第２の例では、ユーザが意図せずとも教師データを作成することができる。
【００８３】
次に、ユーザが介在して、複数の設定値（ユーザが自ら判断した正解）を含む教師データを作成する場合を説明する。本場合は、ユーザが介在して、１つの設定値を含む教師データを作成する場合の第１の例及び第２の例と略同様であるので、その詳細な説明を省略し、異なる部分のみを説明する。複数の設定値（ユーザが自ら判断した正解）を含む教師データを作成する場合を、ユーザが介在して、１つの設定値を含む教師データを作成する場合の第１の例を参考に説明する。
【００８４】
上記第１の例で、第２の画像の取得条件の最適な値として、励起光の強度８を設定している。これに対し、複数の設定値を含む教師データを作成する本場合では、励起光の強度：８、印加電圧：１８０、スキャン速度：１／１６、ピンホールサイズ：４０のように複数（例えば、４個）を設定する点で相違する。
【００８５】
図１４を参照して、複数の設定値を含む教師データを作成する場合の２組の教師データを説明する。図１４に示すように、２組の教師データには、第１の教師データ２７０１と、第２の教師データ２７０２とがある。
【００８６】
第１の教師データ２７０１は、{第１の画像Ａ、第１の取得条件Ａ（励起光の強度：１０、印加電圧：１００、スキャン速度：１、ピンホールサイズ：２０）、第２の取得条件Ｂ（励起光の強度：８、印加電圧：１８０、スキャン速度：１／１６、ピンホールサイズ：４０）を含む。第２の教師データ２７０２は、（第２の画像Ｂ、第２の取得条件Ｂ）を含む。なお、上記のように励起光の強度：８、印加電圧：１８０、スキャン速度：１／１６、ピンホールサイズ：４０は正確な設定値（正解設定値）である。教師データはサーバ１０４に送信され、サーバ１０４は、計算モデルの更新のために教師データを利用する（図１５のステップ２８０２で利用される）。
【００８７】
（教師データを用いた計算モデルの更新処理）
次に、教師データを用いた計算モデルの第１の更新処理を説明する。
最初に、図１５及び図１６を参照して、第１の画像と第１の取得条件の値とを入力し、第２の取得条件の値である１つの設定値を出力して、計算モデルを更新する第１の更新処理を説明する。
【００８８】
図１５の計算モデルの更新処理がスタートすると、ステップ２８０２で、機械学習部８０２は、図１６に示すように、計算モデルの入力層７０１に、教師データの第１の画像Ａを、上記画像処理（例えば、ダウンサンプリング）したデータを入力し、出力層７０３に、第１の取得条件を入力する。なお、試料２０８の領域（ＲＯＩ）のみの画像を入力層７０１に入力してもよい。
【００８９】
ステップ２８０２で用いられる教師データは、図１０のステップ１０２６や図１３のステップ１５３６で送信された教師データである。
【００９０】
ステップ２８０４で、機械学習部８０２は、畳み込み層７０２、出力層７０３を経由し、計算モデルから第２の取得条件の値である設定値（例：励起光の強度ｙ＝９．６）を出力する。
【００９１】
ステップ２８０６で、機械学習部８０２は、出力された設定値（例：励起光の強度ｙ＝９．６）と、入力された画像Ａに対応する正解値（例：励起光の強度８（設定値））の二乗誤差を計算する（図１６も参照）。
【００９２】
ステップ２８０８で、機械学習部８０２は、二乗誤差に基づき、以下の式を用いて勾配降下法により計算モデルの重みω、バイアスｂを更新する。
【００９３】
ωｉ←ωｉ−ρ＊（（∂（二乗誤差））／（∂ωｉ））
ｂｊ←ｂｊ−ρ＊（（∂（二乗誤差））／（∂ｂｊ））
【００９４】
ステップ２８１０で、全ての教師データについて以上の処理（ステップ２８０２〜２８１０）を実行したか否かを判断する。
【００９５】
全ての教師データについて以上の処理（ステップ２８０２〜２８１０）を実行したと判断されなかった場合には、ステップ２８０２に戻って、残りの教師データについて以上の処理（ステップ２８０２〜２８１０）を実行する。
【００９６】
全ての教師データについて以上の処理（ステップ２８０２〜２８１０）を実行したと判断された場合には、本処理を終了する。
【００９７】
サーバ１０４は、上記のように更新した計算モデルを、情報処理装置１０２に送信する。情報処理装置１０２は、サーバ１０４から受信した計算モデルを、設定値算出部７０２０に、既にある計算モデル７０４に代えて、格納する。
【００９８】
（教師データの作成処理）
次に、ユーザが介在しないで、教師データを作成する場合を説明する。
図１７を参照して、情報処理装置１０２のＣＰＵ４０２が実行する教師データの作成処理を説明する。図１７の教師データの作成処理がスタートすると、ステップ１８０２で、教師データ生成部７０６は、第１の取得条件の値として、励起光の強度について、所定範囲、例えば、０〜８０を一定間隔、例えば、４刻み（２０通り）で動かし、それぞれの第１の取得条件の値で第１の画像を取得するように指示する第１の画像撮影命令データを送信し、顕微鏡装置１０１は第１の画像撮影命令データを受信する。
【００９９】
顕微鏡装置１０１の制御部６０２は、ステップ１８０４ＮＮで、各励起光の強度Ｘｉ（Ｘ１〜Ｘ２０）を設定し、ステップ１８０４ｎ１〜１８０４ｎｎで、画像構成部６０４は、各励起光の強度で第１の画像Ａｉ（Ａ１〜Ａ２０）を取得し、各々の第１の取得条件Ｅｉ（Ｅ１〜Ｅ２０）を、２次記憶装置３０８に保存し、各第１の画像Ａｉ（Ａ１〜Ａ２０）及び第１の取得条件の値Ｅｉ（Ｅ１〜Ｅ２０）を、情報処理装置１０２に送信し、情報処理装置１０２の教師データ生成部７０６は、各第１の画像及び第１の取得条件の値を受信する。
ステップ１８０６ｎ１〜１８０６ｎｎで、教師データ生成部７０６は、各第１の画像Ａｉ（Ａ１〜Ａ２０）について、画像の画質を表すスコアを計算する。スコアとしては、例えば、Ｓａｔｕｒａｔｉｏｎ画素数や、ＳＮ比など）を計算する。
【０１００】
ここで、Ｓａｔｕｒａｔｉｏｎ画素数とは、検出部２１７からの画素の輝度値が所定値以上の画素数のことである。
【０１０１】
また、ＳＮ比は、検出部２１７から得られた１画素のデータを集めた１枚の画像から以下の手順で計算される。
【０１０２】
最初に（１）、画像の各画素を、輝度値に応じて３つにクラス分ける。例えば、輝度値０〜２９をノイズクラス、３０〜９９を除外クラス、１００〜２５５をシグナルクラスに分ける。
【０１０３】
次に（２）、ノイズと分類された画素の輝度平均を計算し、次に（３）、シグナルと分類された画素の輝度平均を計算する。
【０１０４】
最後に（４）、シグナルの輝度平均÷ノイズの輝度平均をＳＮ比として計算する。
【０１０５】
ステップ１８０８で、教師データ生成部７０６は、最大スコアにおける画像（例えば、Ａ２）に対応する励起光の強度（例えば、Ｘ２＝８）を設定値（正解値）として選択する。
【０１０６】
ステップ１８１０で、教師データ生成部７０６は、教師データを作成し、ＲＡＭ４０６に保存する。教師データは、画像、第１の取得条件の値、設定値（正解）の複数の組を含む。具体的には、図１８に示すように、教師データは、（Ａ１、Ｅ１、Ｘ２）、（Ａ２、Ｅ２、Ｘ２）、（Ａ３、Ｅ３、Ｘ２）・・・（Ａ２０、Ｅ２０、Ｘ２）の２０組を含む。
【０１０７】
ステップ１８１２で、教師データ生成部７０６は、教師データをサーバ１０４に送信する。サーバ１０４は、計算モデルの更新のために教師データを利用する（図１９）。
【０１０８】
（教師データを用いた計算モデルの更新処理）
次に、第１の画像と第１の取得条件の値とを入力し、１つの設定値を出力し、バッチ単位で計算モデルを更新する第２の更新処理を説明する。
【０１０９】
上記第１の更新処理では、複数の教師データの各々を用いて計算モデルを更新するのに対し、第２の更新処理では、複数の教師データを１バッチとし、１バッチ単位で、計算モデルを更新する点で相違する。
【０１１０】
図１９には、計算モデルの第１の更新処理のプログラムの一例を示すフローチャートが示される。図１９のステップ３４０２〜ステップ３４０６は、図１５のステップ２８０２〜ステップ２８０６の処理と同一の処理を実行する。なお、ステップ３４０２で用いられる教師データは、上記のように、図１７のステップ１８１２で送信された教師データである。
【０１１１】
ステップ３４０８で、機械学習部８０２は、全ての教師データについて以上の処理（ステップ３４０２〜３４０８）を実行したか否かを判断する。
【０１１２】
全ての教師データについて以上の処理（ステップ３４０２〜３４０８）を実行したと判断されなかった場合には、ステップ３４０２に戻って、残りの教師データについて以上の処理（ステップ３４０２〜３４０８）を実行する。
【０１１３】
全ての教師データについて以上の処理（ステップ３４０２〜３４０８）を実行したと判断された場合には、ステップ３４１０で、教師データの１００セットの各々の二乗誤差の平均値を算出し、ステップ３４１２で、二乗誤差の平均に基づいて計算モデルの重み及びバイアスを更新する。
【０１１４】
次に、第１の画像と第１の取得条件の値とを入力、複数の設定値を出力して、計算モデルを更新する第３の更新処理を説明する。図２０には、計算モデルの更新処理の作用の一例が示されている。第３の更新処理は、第１の更新処理及び第２の更新処理とほぼ同様であるので、その詳細な説明を省略し、異なる部分のみ説明する。以下、第１の更新処理との相違を、図２０を参考に説明する。
【０１１５】
第１の更新処理では、１つの設定値（例えば、励起光の強度）を用いているが、第３の更新処理では、図２０に示すように、複数、例えば、４個の設定値、励起光の強度３０、印加電圧１４０、スキャン速度１／８、ピンホールサイズ２０を用いる。
【０１１６】
具体的には、畳み込み層７０２、出力層７０３を経由し、計算モデルから４個の設定値（例：励起光の強度３０、印加電圧１４０、スキャン速度１／８、ピンホールサイズ２０）が出力される（図１９のステップ３４０４）。
【０１１７】
そして、出力された設定値（励起光の強度３０、印加電圧１４０、スキャン速度１／８、ピンホールサイズ２０）と、正解値である第１の取得条件（例：励起光の強度２０、印加電圧１８０、スキャン速度１／１６、ピンホールサイズ４０）の平均二乗誤差を計算する（図１９のステップ３４０６）。
【０１１８】
二乗誤差に基づき、上記式を用いて、勾配降下法により計算モデルの重みω、バイアスｂを更新する。
【０１１９】
（通常撮影時）
次に、試料２０８を１回撮影して得られた画像を表示する通常撮影時において、試料２０８を示す第１の画像と、第１の画像を取得する際の顕微鏡装置１０１の第１の取得条件の値とに基づいて決定された第２の取得条件の値で第２の画像を取得する処理を説明する。
【０１２０】
図２１を参照して、通常撮影を指示する図示しないアイコン（情報処理装置１０２の表示装置４１４の画面上）が操作された時に、情報処理装置１０２の表示装置４１４の表示画面３６００に表示される、ユーザインタフェースの一例が示されている。ユーザインタフェースは、第１の画像又は第２の画像と、第１の取得条件の値を設定するためのものである。図２１に示すように、ユーザインタフェースは、第１の画像又は第２の画像を表示する表示部３６０２と、第１の取得条件の値を設定するための設定値コントロール部３６０４とが含まれている。設定値コントロール部３６０４には、複数の第１の取得条件の各々の値を設定するために、つまみをスライドさせて入力数値を変化させる複数のスライダーバー３６０８-ｉと、「Ａｕｔｏ  Ｓｅｔｔｉｎｇ」ボタン３６０６とが含まれる。
【０１２１】
次に、図２２を参照して、顕微鏡装置１０１の顕微鏡制御部２１８のＣＰＵ３０２及び情報処理装置１０２のＣＰＵ４０２が画像取得処理を説明する。
通常撮影を指示する際、ユーザは、「Ａｕｔｏ  Ｓｅｔｔｉｎｇ」ボタン３６０６を押下する。これにより、情報処理装置１０２の設定値算出部７０２０は、ステップ３８０２で、「Ａｕｔｏ  Ｓｅｔｔｉｎｇ」ボタン３６０６の押下を検知する。ステップ３８０４で、設定値算出部７０２０は、第１の取得条件の値を送信するように情報処理装置１０２に命令する第１の取得条件送信命令データを情報処理装置１０２に送信する。
【０１２２】
これにより顕微鏡装置１０１の制御部６０２は、ステップ３７０２で、第１の取得条件送信命令データを受信する。制御部６０２は、ステップ３７０４で、顕微鏡装置１０１の各構成部から設定値（第１の取得条件）を取得する。例えば、励起光の強度の値として１０、印加電圧の値として１００、スキャン速度の値として１、ピンホールサイズの値として３０を取得する。制御部６０２は、第１の取得条件の値を情報処理装置１０２に送信する。
【０１２３】
これにより、情報処理装置１０２の設定値算出部７０２０は、ステップ３８０６で、第１の取得条件を受信する。設定値算出部７０２０は、ステップ３８０８で、第１の画像の撮影を顕微鏡装置１０１に命令する第１の画像撮影命令データを顕微鏡装置１０１に送信する。
【０１２４】
これにより、顕微鏡装置１０１の制御部６０２は、ステップ３７０６で、第１の画像撮影命令データを受信する。画像構成部６０４は、ステップ３７０８で、各構成部の現在の設定値（第１の取得条件）で第１の画像を取得する。制御部６０２は、ステップ３７１０で、第１の画像を情報処理装置１０２に送信する。
これにより、情報処理装置１０２の設定値算出部７０２０は、ステップ３８１０で、第１の画像を受信する。
【０１２５】
設定値算出部７０２０は、ステップ３８１２で、設定値算出部７０２０が有する計算モデル７０４（具体的には、２次記憶装置４０８に記憶されている）を用いて、第１の取得条件の値及び第１の画像から、顕微鏡装置１０１の第２の取得条件の値を計算する。例えば、励起光の強度の値として８が計算される。ステップ３８１４で、励起光の強度の値＝８に変更する。これにより、ステップ３８１４が実行されるまで、図２１のユーザインタフェースの設定値コントロール部３６０４のスライダーバー３６０８−ｉの中の励起光の強度３６０８−Ｌ１に示すように１０であったものが、図２３に示すように、励起光の強度３６０８−Ｌ２に示すように８に変更される。設定値算出部７０２０は、ステップ３８１６で、励起光の強度の値＝８（第２の取得条件の値）を顕微鏡装置１０１に送信する。
【０１２６】
これにより顕微鏡装置１０１の制御部６０２は、ステップ３７１２で、励起光の強度の値＝８（第２の取得条件の値）を受信し、ステップ３７１４で、励起光の強度の値を８になるように光源２０９−１を設定する。
【０１２７】
情報処理装置１０２の設定値算出部７０２０は、ステップ３８１８で、第２の取得条件の値で第２の画像を取得するように顕微鏡装置１０１に命令する第２の画像撮影命令データを送信する。
【０１２８】
これにより、顕微鏡装置１０１の制御部６０２は、ステップ３７１６で、第２の画像撮影命令データを受信し、画像構成部６０４は、ステップ３７１８で、励起光の強度の値が８、印加電圧の値が１００、スキャン速度の値が１、ピンホールサイズの値が３０の状態で、第２の画像を取得する。制御部６０２は、ステップ３７２０で、第２の画像を情報処理装置１０２に送信する。
これにより、情報処理装置１０２の設定値算出部７０２０は、ステップ３８２０で、第２の画像を受信し、ステップ３８２２で、第２の画像を表示部３６０２に表示する。
【０１２９】
（Ｌｉｖｅ撮影時）
次に、試料２０８を連続して撮影し画像を表示するＬｉｖｅ撮影時における各回において、試料２０８を示す第１の画像と、第１の画像を取得する際の顕微鏡装置１０１の第１の取得条件の値とに基づいて決定された第２の取得条件の値で第２の画像を取得する処理を説明する。
【０１３０】
図２４を参照して、Ｌｉｖｅ撮影を指示する図示しないアイコン（情報処理装置１０２の表示装置４１４の画面上）が操作された時に、情報処理装置１０２の表示装置４１４の表示画面４１００に表示される、ユーザインタフェースを説明する。図２４に示すように、ユーザインタフェースには、第１の画像又は第２の画像を表示する表示部４１０２と、第１の取得条件の値を設定するための設定値コントロール部４１０４と、「Ｌｉｖｅ開始」ボタン４１０８と、「Ｌｉｖｅ終了」ボタン４１１０と、が含まれている。設定値コントロール部４１０４には、複数の第１の取得条件の各々の値を設定するために、つまみをスライドさせて入力数値を変化させる複数のスライダーバー４１０８−ｉと、「Ａｕｔｏ  Ｓｅｔｔｉｎｇ」チェックボックス４１０６とが含まれる。
【０１３１】
次に、図２５を参照して、情報処理装置１０２のＣＰＵ４０２が実行するＬｉｖｅ撮影処理を説明する。Ｌｉｖｅ撮影を指示する際、ユーザは、「Ａｕｔｏ  Ｓｅｔｔｉｎｇ」チェックボックス４１０６を押下して有効にする。これにより、情報処理装置１０２の設定値算出部７０２０は、図２５のステップ４２０２で、「Ａｕｔｏ  Ｓｅｔｔｉｎｇ」チェックボックス４１０６が有効になったことを検知する。また、続いてユーザは、「Ｌｉｖｅ開始」ボタン４１０８を押下する。これにより、設定値算出部７０２０は、ステップ４２０４で、「Ｌｉｖｅ開始」ボタン４１０８の押下を検知する。
【０１３２】
次のステップ４２０６で、図２２のステップ３８０４〜３８２２が実行される。これに伴って、図２２の通常撮影処理が実行される。
【０１３３】
次のステップ４２０８で、設定値算出部７０２０は、「Ｌｉｖｅ終了」ボタン４１１０が押下されたか否かを判断する。「Ｌｉｖｅ終了」ボタン４１１０が押下されたと判断されなかった場合には、ステップ４２０６に戻って、図２２のステップ３８０４〜３８２２が実行され、図２２の通常撮影処理が実行される。
一方、Ｌｉｖｅ撮影を終了することを指示する場合、ユーザは、「Ｌｉｖｅ終了」ボタン４１１０を押下する。この場合、ステップ４２０８が否定判定となって、Ｌｉｖｅ撮影処理が終了する。
【０１３４】
（タイムラプス撮影時）
次に、試料２０８を、タイムラプス撮影が開始した時から、所定期間（全体撮像時間）が経過するまで、一定時間（間欠撮像時間）間隔で連続して撮影して画像を表示するタイムラプス撮影時における各回において、試料２０８を示す第１の画像と、第１の画像を取得する際の顕微鏡装置１０１の第１の取得条件の値とに基づいて決定された第２の取得条件の値で第２の画像を取得する処理を説明する。
図２６を参照して、タイムラプス撮影を指示する図示しないアイコン（情報処理装置１０２の表示装置４１４の画面上）が操作された時に、情報処理装置１０２の表示装置４１４の表示画面４３００に表示される、ユーザインタフェースを説明する。
【０１３５】
図２６に示すように、ユーザインタフェースには、第１の画像又は第２の画像を表示する表示部４３０２と、第１の取得条件の値を設定するための設定値コントロール部４３０４と、タイムラプス設定画面４３０６とが含まれている。設定値コントロール部４３０４には、複数の第１の取得条件の各々の値を設定するために、つまみをスライドさせて入力数値を変化させる複数のスライダーバー４３０８−ｉが含まれている。タイムラプス設定画面４３０６には、タイムラプス設定部４８１６、「Ａｕｔｏ  Ｓｅｔｔｉｎｇ」チェックボックス４８１０、「Ｒｕｎ」ボタン４８１２、及び「Ｆｉｎｉｓｈ」ボタン４８１４が含まれている。タイムラプス設定部４８１６には、間欠撮像時間を設定する間欠撮像時間設定部４８１８と、全体撮像時間を設定する全体撮像時間設定部４８２０とが含まれている。
ここで、間欠撮像時間とは、ある撮影から次の撮影までの時間を表し、全体撮像時間とは、タイムラプス撮影が開始されたから最後の撮影が終わるまでの全体の時間を表す。すなわち、間欠撮像時間として１秒、全体撮像時間として１０秒が設定された場合、タイムラプス撮影が開始した時から０秒、１秒、２秒、・・・１０秒の計１１枚の画像が撮影される。
【０１３６】
次に、図２７を参照して、情報処理装置１０２のＣＰＵ４０２が実行するタイムラプス撮影処理を説明する。
タイムラプス撮影を指示する際、ユーザは、タイムラプス設定部４８１６の間欠撮像時間設定部４８１８に間欠撮像時間を、全体撮像時間設定部４８２０に全体撮像時間を設定する（図２７のステップ４４００）。
その後、ユーザは、「Ａｕｔｏ  Ｓｅｔｔｉｎｇ」チェックボックス４８１０を押下して有効にする。これにより、情報処理装置１０２の設定値算出部７０２０は、図２７のステップ４４０２で、「Ａｕｔｏ  Ｓｅｔｔｉｎｇ」チェックボックス４８１０が有効になったことを検知する。また、続いてユーザは、「Ｒｕｎ」ボタン４８１２を押下する。これにより、設定値算出部７０２０は、ステップ４４０４で、「Ｒｕｎ」ボタン４８１２の押下を検知する。
【０１３７】
次のステップ４４０６で、図２２のステップ３８０４〜３８２２が実行される。これに伴って、図２２の通常撮影処理が実行される。
【０１３８】
次のステップ４４０８で、設定値算出部７０２０は、タイムラプス撮影が開始した時から、ステップ４４００で設定された全体撮像時間が経過したか否かを判断する。全体撮像時間が経過していないと判断された場合には、設定値算出部７０２０は、ステップ４４０６が実行された時からステップ４４００で設定された間欠撮像時間が経過したか否かを判断する。設定値算出部７０２０は、間欠撮像時間が経過していなければ、間欠撮像時間が経過するまで待つ。間欠撮像時間が経過した場合、タイムラプス撮影指示処理は、ステップ４４０６に戻る。ステップ４４０６で、図２２のステップ３８０４〜３８２２が実行され、図２２の通常撮影処理が再度実行される。
【０１３９】
一方、ステップ４４０８でタイムラプス撮影が開始した時から、ステップ４４００で設定された全体撮像時間が経過したと判断された場合には、タイムラプス撮影処理が終了する。
なお、全体撮像時間設定部４８２０には、無期限を設定することもできる。その場合は、タイムラプス撮影が開始された後に、ユーザが「Ｆｉｎｉｓｈ」ボタン４８１４を押下することでタイムラプス撮影が終了される。
【０１４０】
図２７に示す例では、ステップ４４１０で、情報処理装置１０２が所定時間経過したかを判断しているが、顕微鏡装置１０１側で、所定時間経過したかを判断してもよい。即ち、図２７のステップ４４０６が実行されるのに伴って顕微鏡装置１０１側で図２２の通常撮影処理を実行する毎に所定時間待つようにしてもよい。
【０１４１】
（第６の変形例）
次に、上記第１の変形例〜第５の変形例に加えて、第６の変形例を説明する。以下、第６の変形例を、前述した第１の実施の形態と異なる点を説明する。
【０１４２】
前述した第１の実施の形態では、試料２０８の種類に無関係に、情報処理装置１０２は計算モデル７０４（図４Ｂ参照）を、また、サーバ１０４は計算モデル８０４（図４Ｃ参照）を有している。本開示の技術はこれに限定されるものではなく、計算モデルは、試料２０８の種類（クラス）に応じて有してもよい。
【０１４３】
ここで、クラスには、試料２０８、例えば、細胞の種類（神経細胞、心筋細胞、ｉＰＳ細胞など）がある
【０１４４】
細胞の種類によって、形状や大きさが異なり、それに伴う第２の取得条件の最適な値が異なる。大きな要素として見た目の違いが影響するからである。
【０１４５】
そこで、第６の変形例では、詳細には後述するが、試料２０８のクラスに応じた計算モデルを用いて第２の取得条件を計算したり（図２８）、試料２０８のクラスに応じた計算モデルの学習をしたり（図２９、図３０）する。
【０１４６】
上記細胞の種類の例の場合には、計算モデルには、「神経細胞用計算モデル」、「心筋細胞用計算モデル」、「ｉＰＳ細胞用計算モデル」がある。これらの計算モデルにおける多層ニューラルネットワークの構造は共通であるが、重みωとバイナリｂが各細胞の種類に応じた値となる。つまり、計算モデルの構造は、細胞の種類に共通であるが、計算モデルの内部に保持されるパラメーターが、細胞の種類に応じて変わる。
【０１４７】
このように試料２０８のクラスに応じた計算モデルを用いて第２の取得条件を計算したりクラスに応じて計算モデルの学習をしたりすると、第２の取得条件の自動設定の精度を向上させることができる。
【０１４８】
図２８を参照して、第６の変形例における情報処理装置１０２のＣＰＵ４０２が実行する通常撮影を顕微鏡装置１０１に指示する通常撮影処理を説明する。
【０１４９】
第６の変形例においては、情報処理装置１０２の２次記憶装置４０８及びサーバ１０４の２次記憶装置５０８には、「神経細胞用計算モデル」、「心筋細胞用計算モデル」、「ｉＰＳ細胞用計算モデル」が、各細胞の種類のＩＤに対応して記憶されている。
【０１５０】
試料２０８の通常撮影を行う際に、ユーザは、情報処理装置１０２の入力装置４１２を介して、試料２０８の種類のＩＤを入力する。
【０１５１】
図２８に示す通常撮影処理では、ステップ４５０２〜４５１０、４５１４〜４５２２では、図２２のステップ３８０２〜３８１０、３８１４〜３８２２を実行する点で共通する。しかし、図２８の通常撮影指示処理では、ステップ４５１１が、ステップ４５１０とステップ４５１２との間で実行される点、及びステップ４５１２で用いられる計算モデルが、試料２０８のクラス応じた計算モデルである点で相違する。
【０１５２】
ステップ４５１１で、設定値算出部７０２０は、第１の画像が分類されるクラスを、上記入力されたＩＤに基づいて、特定する。ステップ４５１２では、ステップ４５１１で分類されたクラスに対応する計算モデルを用いて、第１の取得条件及び第１の画像から励起光の強度Ｌを計算する。
【０１５３】
次に、図２９を参照して、計算モデルの更新処理を説明する。第６の変形例では、教師データの作成処理（図１０）では、ユーザは、情報処理装置１０２の入力装置４１２を介して、試料２０８の種類のＩＤを入力する。教師データを作成する際（ステップ１０２４）、教師データに試料２０８のＩＤが付加されている。
【０１５４】
図２９のステップ４６００で、サーバ１０４の機械学習部８０２は、教師データの画像Ａが分類されるクラスを、教師データに付加されているＩＤに基づいて、特定する（図３０も参照）。次のステップ４６０２で、分類されたクラスに対応する計算モデルに、画像Ａと第１の取得条件の値を入力する。
【０１５５】
以後、ステップ４６０４〜４６１０では、図１５のステップ２８０４〜２８１０を実行する。
【０１５６】
次に、第２の実施の形態を説明する。
図３１には、第２の実施の形態の顕微鏡システムの一例が示されている。図３１に示すように、第２の実施の形態の顕微鏡システムは、ネットワーク１０３を介して相互に接続された、各々顕微鏡装置及び情報処理装置を含む複数の組と、サーバ１０４とを備えている。図３１に示すように、複数の組の各々は、各々第１の実施の形態における顕微鏡装置１０１と情報処理装置１０２と同様の構成の複数の顕微鏡装置１０１−１、１０１−２・・・及び複数の情報処理装置１０２−１、１０２−２・・・を含む。
【０１５７】
第２の実施の形態の作用は、第１の実施の形態の作用とほぼ同様であるので、異なる部分のみ説明する。
【０１５８】
図３２を参照して、複数の情報処理装置１０２−１、１０２−２・・・の各々のＣＰＵと、サーバ１０４のＣＰＵ５０２が実行する計算モデルの更新処理のプログラムを説明する。計算モデルの変更処理を、複数の情報処理装置１０２−１、１０２−２・・・を代表して、以下、情報処理装置１０２−１を例にとり説明する。ステップ４９０２で、情報処理装置１０２−１の教師データ生成部７０６は、教師データをサーバ１０４に送信する。
【０１５９】
教師データが送信されたサーバ１０４では、ステップ５００２で、機械学習部８０２は、教師データを受信し、ステップ５００４で、機械学習部８０２は、教師データに基づいて、計算モデルを更新し、ステップ５００６で、機械学習部８０２は、更新した計算モデルを、情報処理装置１０２に送信する。
【０１６０】
情報処理装置１０２−１では、ステップ４９０４で、設定値算出部７０２０は、更新された計算モデルを受信し、ステップ４９０６で、設定値算出部７０２０は、既にある計算モデル７０４に代えて、格納する。
【０１６１】
以上説明した第２の実施の形態では、サーバ１０４は、複数の情報処理装置１０２−１、１０２−２・・・の各々の計算モデルを個別に更新している。本開示の技術は、これに限定されない。例えば、サーバ１０４は、ステップ４９０２で、複数の情報処理装置１０２−１、１０２−２・・・の全てから教師データを受信し、ステップ４９０４で、複数の情報処理装置１０２−１、１０２−２・・・の全体の計算モデルとして更新するようにしてもよい。
【０１６２】
また、以上説明した第２の実施の形態の顕微鏡システムは、サーバ１０４を備えている。本開示の技術は、これに限定されず、サーバ１０４を省略することもできる。図３３には、サーバ１０４を省略した顕微鏡システムの構成の一例が示されている。図３３に示されるように、顕微鏡システムは、ネットワーク１０６を介して相互に接続された、各々顕微鏡装置及び情報処理装置を含む複数の組を備えている。図３３に示すように、複数の組の各々は、各々第１の実施の形態における顕微鏡装置１０１と情報処理装置１０２と同様の構成の複数の顕微鏡装置１０１−１、１０１−２・・・及び複数の情報処理装置１０２−１、１０２−２・・・を含む。
【０１６３】
なお、この場合、複数の情報処理装置１０２−１、１０２−２・・・の何れか、例えば、情報処理装置１０２−１が、情報処理装置１０２及びサーバ１０４の各々の機能を有するようにする。
【０１６４】
［変形例］
（全体の構成の変形例）
最初にシステムの全体の構成の変形例を説明する。図３４Ａには、全体構成の第１の変形例の構成が示されている。図３４Ｂには、全体構成の第２の変形例の構成が示されている。第１の実施の形態の顕微鏡システムは、図１に示すように、顕微鏡装置１０１、情報処理装置１０２、及びサーバ１０４を備えている。本開示の技術は、これに限定されず、図３４Ａに示すように、顕微鏡装置１０１と情報処理装置１０２とを備える顕微鏡システム１１０に、サーバ１０４が接続される構成も適用することができる。また、本開示の技術は、図３４Ｂに示すように、顕微鏡装置１０１に、情報処理装置１０２を備える構成にも適用することができる。
【０１６５】
（レーザ走査型顕微鏡装置以外の画像取得装置）
以上説明した各例では、顕微鏡装置１０１は、レーザ走査型顕微鏡装置である場合における第２の画像の取得条件を決定する例にとり説明した。本開示の技術は、これに限定されず、レーザ走査型顕微鏡装置以外の顕微鏡装置にも適用できる。レーザ走査型顕微鏡装置以外の顕微鏡装置には種々の顕微鏡装置があるが、例えば、正立顕微鏡装置や倒立顕微鏡装置等がある。これらの場合の第２の画像の取得条件は、上記対物レンズＺ座標、上記対物レンズ種類、照明光強度、Ｚスタックレンジ、フィルタ種類である。ここで、照明光強度は、正立顕微鏡装置や倒立顕微鏡装置における明視野観察の際のハロゲンランプからの光の明るさの強さや、蛍光観察の際の水銀ランプからの光の明るさの強さである。更に、本開示の技術は、レーザ走査型顕微鏡装置やレーザ走査型顕微鏡装置以外の顕微鏡装置ばかりではなく、顕微鏡装置に接続されるカメラの第２の画像の取得条件を決定する場合にも適用することができる。この場合の第２の画像の取得条件は、露光時間、ゲイン、ビニング、ホワイトバランスである。ここで、ビニングとは、検出輝度を上げるために、ＣＣＤのチップ上で隣り合う複数の素子をひとまとめにして１画素として扱う際のひとまとめにする素子の数である。例えば、ビニングが４の場合には、隣接する縦横２つずつ合計４画素の合計を１画素として扱う。ホワイトバランスは、光源の色温度による被写体の色変化を補正するための値である。
なお、本開示の技術は、レーザ走査型顕微鏡装置、レーザ走査型顕微鏡装置以外の顕微鏡装置、カメラの上記取得条件に限定されず、例えば、温度、湿度等のこれらの装置の環境情報や、測定対象の温度、湿度等も適用することができる。
【０１６６】
また、上記各例では、第１の画像と第１の画像の取得条件とに基づいて、第２の画像の取得条件を決定する。本開示の技術は、１つの第１の画像から、複数の第２の取得条件を決定するようにしてもよい。例えば、１つの第１の画像から、例えば、励起光の強度、印加電圧、スキャン速度、ピンホールサイズを決定するようにしてもよい。
【０１６７】
また、上記各例の各処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、各処理は、ＦＰＧＡ又はＡＳＩＣ等のハードウェア構成のみで実現されてもよいし、コンピュータを利用したソフトウェア構成とハードウェア構成との組み合わせで実現されてもよい。
【０１６８】
（その他の変形例）
以上説明した各例では、計算モデルを用いて、第２の画像の取得条件を決定しているが、本開示の技術はこれに限定されるものではなく、計算モデルを用いずに、次の第１の態様〜第３の態様のように、第２の取得条件を決定するようにしてもよい。
【０１６９】
（第１の態様）
以上説明した各例で得られたデータを、以下のようにデータベース化する。
【０１７０】
【表２】
2019106730.tif 000004
データベース化した後、具体的には次のように第２の取得条件を決定する。
【０１７１】
（１）第１の実施の形態のように、第１の条件及び第１の画像を取得する。
（２）（ａ）（１）で取得した第１の条件の値（ｖ１、ｖ２、ｖ３、ｖ４）と、データベースの中の複数の第１の条件の各々の値との距離Ｌを計算する。
Ｌ＝√（（Ｇ１Ｖ１１−Ｖ１）＾２＋（Ｇ１Ｖ１２−Ｖ２）＾２＋（Ｇ１Ｖ１３−Ｖ３）＾２＋（Ｇ１Ｖ１４−Ｖ４）＾２)
（ｂ）データベースの中で最も距離の短い第１の条件から距離の短い順に複数の第１の条件に対応する第１の画像を選択する。
【０１７２】
（３）（２）（ｂ）で選択した複数の画像の中から、（１）で取得した第１の画像と最も近い画像を抽出する。
ここで、「最も近い画像」は、
（ａ）パターンマッチングして類似度を計算し、最も高い画像を選択するか、または、
（ｂ）細胞の種類（神経細胞、心筋細胞、ｉＰＳ細胞など）が同じものを選択することにより得る。
【０１７３】
（４）（３）抽出した最も近い画像（例えば、Ｇ１）に対応する第２の条件（Ｇ１Ｖ２１、Ｇ１Ｖ２２、Ｇ１Ｖ２３、Ｇ１Ｖ２４）を、最終的な第２の取得条件として決定する。
（５）（４）で決定された第２の取得条件で第２の画像を取得する。
（６）（１）で得られた第１の画像、第１の条件、（４）で得られた第２の条件、（５）で得られた第２の画像をデータベース（表２）に追加する。
【０１７４】
（第２の態様）
第２の態様も第１の態様のデータベースを用いる。
（１）第１の実施の形態のように、第１の条件及び第１の画像を取得する。
（２）（１）で取得した第１の画像に「最も近い画像」（第１の態様の（３）と同様）を、データベースの中から取得する。
（３）、（４）、（５）として、第１の態様の（４）、（５）、（６）を実行する。
【０１７５】
（第３の態様）
第１の実施の形態や第２の実施の形態のように計算モデルで第２の条件を決定するものを第１のモードとし、第１の態様を第２のモードとし、ユーザが、第１のモードか第２のモードかを選択する。
【０１７６】
（その他の発明）
次に、その他の発明を説明する。上記各例は、第１の画像と前記第１の画像の取得条件とに基づいて、第２の画像の取得条件を決定する。これに対し、その他の発明は、第１の画像のみに基づいて、第２の画像の取得条件を決定する。具体的には、次の通りである。
以上説明した各例で得られたデータを、以下のように複数の画像の各々（ｇ１、ｇ２、ｇ３・・・）に対応して、最適とされた第２の取得条件のテーブル（データベース）を用意する。
【０１７７】
【表３】
2019106730.tif 000005
情報処理装置１０２は、顕微鏡装置１０１から現在の第１の画像を取得し、第１の画像に最も近い画像」（第１の態様と同様）（例えば、ｇ２）に対応する第２の取得条件の組（ｊ１２、ｊ２２、ｊ３２、ｊ４２・・・）を、取得する第２の取得条件として選択する。
【０１７８】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１７９】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【符号の説明】
【０１８０】
１０１  顕微鏡装置
１０２  情報処理装置
１０４  サーバ
２０９  光源部
２１３  スキャナ
２３１  ピンホール駆動部
７０４、８０４  計算モデル
７０２０  設定値算出部
６０２  制御部
【図１】
2019106730.tif 000006
【図２】
2019106730.tif 000007
【図３Ａ】
2019106730.tif 000008
【図３Ｂ】
2019106730.tif 000009
【図３Ｃ】
2019106730.tif 000010
【図４Ａ】
2019106730.tif 000011
【図４Ｂ】
2019106730.tif 000012
【図４Ｃ】
2019106730.tif 000013
【図５】
2019106730.tif 000014
【図６】
2019106730.tif 000015
【図７】
2019106730.tif 000016
【図８Ａ】
2019106730.tif 000017
【図８Ｂ】
2019106730.tif 000018
【図８Ｃ】
2019106730.tif 000019
【図９】
2019106730.tif 000020
【図１０】
2019106730.tif 000021
【図１１】
2019106730.tif 000022
【図１２】
2019106730.tif 000023
【図１３】
2019106730.tif 000024
【図１４】
2019106730.tif 000025
【図１５】
2019106730.tif 000026
【図１６】
2019106730.tif 000027
【図１７】
2019106730.tif 000028
【図１８】
2019106730.tif 000029
【図１９】
2019106730.tif 000030
【図２０】
2019106730.tif 000031
【図２１】
2019106730.tif 000032
【図２２】
2019106730.tif 000033
【図２３】
2019106730.tif 000034
【図２４】
2019106730.tif 000035
【図２５】
2019106730.tif 000036
【図２６】
2019106730.tif 000037
【図２７】
2019106730.tif 000038
【図２８】
2019106730.tif 000039
【図２９】
2019106730.tif 000040
【図３０】
2019106730.tif 000041
【図３１】
2019106730.tif 000042
【図３２】
2019106730.tif 000043
【図３３】
2019106730.tif 000044
【図３４Ａ】
2019106730.tif 000045
【図３４Ｂ】
2019106730.tif 000046
【国際調査報告】
2019106730.tif 000047
2019106730.tif 000048