(57)【要約】【課題】蛍光の像の特徴量を算出する処理の負荷を低減する。【解決手段】情報処理装置は、蛍光の像を表すデータが入力される入力層と、蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークにおいて、入力層に入力値の教師データが入力された際に出力層から出力される出力値と、特徴量の教師データとを用いて、入力層と出力層と間の結合係数を算出する機械学習部を備える。
2018116851.tif 000002
【特許請求の範囲】
【請求項１】
蛍光の像を表すデータが入力される入力層と、前記蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークによって機械学習を行う機械学習部を備え、
前記入力層に入力値の教師データが入力された場合に前記出力層から出力される出力値と、前記特徴量の教師データとに基づいて、前記入力層と前記出力層との間の結合係数を算出する
情報処理装置。
【請求項２】
前記ニューラルネットワークは、前記入力層と前記出力層との間の中間層を含み、
前記機械学習部は、前記入力層に前記入力値の教師データが入力された際に前記出力層から出力される出力値と、前記特徴量の教師データとを用いて、前記中間層のニューロンに割り付けられるバイアスを算出する、請求項１に記載の情報処理装置。
【請求項３】
前記入力値の教師データおよび前記特徴量の教師データを、所定の点像分布関数に基づいて生成する教師データ生成部を備える、請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記教師データ生成部は、前記蛍光の像を含む入力画像に対して前記所定の点像分布関数を用いて、前記蛍光の像の重心を算出する重心算出部を備え、
前記機械学習部は、前記入力画像を前記入力値の教師データに用い、前記重心算出部が算出した前記重心を前記特徴量の教師データに用いる、請求項１または請求項２に記載の情報処理装置。
【請求項５】
前記入力画像から、前記重心算出部が算出する前記重心を含む領域の輝度分布を抽出する抽出部を備え、
前記機械学習部は、前記輝度分布を前記入力値の教師データに用いる、請求項４に記載の情報処理装置。
【請求項６】
前記教師データ生成部は、
前記入力画像に含まれる前記蛍光の像の候補を前記所定の点像分布関数にフィッティングした際の残差を算出する残差算出部と、
前記残差算出部が算出した残差に基づいて前記蛍光の像の候補を、前記入力値の教師データおよび前記特徴量の教師データに用いるか否かを判定する候補判定部と、を備える請求項４または請求項５に記載の情報処理装置。
【請求項７】
前記教師データ生成部は、指定された重心に対して前記所定の点像分布関数を用いて前記入力値の教師データを生成する入力値生成部を備え、
前記機械学習部は、前記特徴量の教師データとして前記指定された重心を用いる、請求項４に記載の情報処理装置。
【請求項８】
前記入力値生成部は、前記指定された重心に対して前記所定の点像分布関数を用いて生成される第１輝度分布と、前記第１輝度分布と異なる第２輝度分布とを合成して、前記入力値の教師データを生成する、請求項７に記載の情報処理装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の情報処理装置から出力される前記機械学習部の算出結果を用いたニューラルネットワークによって、蛍光物質を含む標本を撮像した画像から前記特徴量を算出する画像処理装置。
【請求項１０】
蛍光物質を含む標本を撮像する撮像装置と、
前記撮像装置が撮像した画像における蛍光の像の特徴量を算出する請求項８に記載の画像処理装置と、を備える顕微鏡。
【請求項１１】
請求項１から請求項８のいずれか一項に記載の情報処理装置と、
蛍光物質を含む標本を撮像する撮像装置と、
前記情報処理装置から出力される前記機械学習部の算出結果を用いたニューラルネットワークによって、前記撮像装置が撮像した画像における蛍光の像の特徴量を算出する画像処理装置と、を備える顕微鏡。
【請求項１２】
前記蛍光物質は、活性化光を受けて活性化し、前記活性化した状態で励起光を受けて蛍光を発し、
前記撮像装置は、前記標本を繰り返し撮像して複数の第１画像を取得し、
前記画像処理装置は、前記複数の第１画像の少なくとも一部について算出した前記特徴量を用いて、第２画像を生成する、請求項１０または請求項１１に記載の顕微鏡。
【請求項１３】
請求項１から請求項８のいずれか一項に記載の情報処理装置を用いて、前記結合係数を算出することを含む情報処理方法。
【請求項１４】
コンピュータに、
蛍光の像を表すデータが入力される入力層と、前記蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークによって機械学習を行う機械学習部が、前記入力層に入力値の教師データが入力された際に前記出力層から出力される出力値と、前記特徴量の教師データとを用いて、前記入力層と前記出力層と間の結合係数を算出することを実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【０００２】
ＳＴＯＲＭ、ＰＡＬＭ等のSingle-molecule Localization Microscopy法を利用した顕微鏡が知られている（例えば特許文献１参照）。この顕微鏡は、標本に活性化光を照射して蛍光物質を低密度な空間分布で活性化させ、その後に励起光を照射して蛍光物質を発光させて蛍光画像を取得する。このようにして取得した蛍光画像では、蛍光の像が空間的に低密度で配置され、個々に分離されるため、個々の像の重心位置を求めることができる。重心位置の算出には、例えば、点像分布関数にElliptical Gaussian Functionを仮定し、非線形最小二乗法を適用する手法が用いられる。また、蛍光画像を得るステップを複数回、例えば数百回以上、数千回以上、あるいは数万回以上繰り返し、得られた複数の蛍光画像に含まれる複数の蛍光の像の重心位置に輝点を配置する画像処理を行うことにより、高分解能の標本画像を得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許公開第２００８／００３２４１４号
【発明の概要】
【０００４】
本発明の第１の態様に従えば、蛍光の像を表すデータが入力される入力層と、蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークによって機械学習を行う機械学習部を備え、入力層に入力値の教師データが入力された場合に出力層から出力される出力値と、特徴量の教師データとに基づいて、入力層と出力層との間の結合係数を算出する情報処理装置が提供される。本発明の態様に従えば、蛍光の像を表すデータが入力される入力層と、蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークにおいて、入力層に入力値の教師データが入力された際に出力層から出力される出力値と、特徴量の教師データとを用いて、入力層と出力層と間の結合係数を算出する機械学習部を備える情報処理装置が提供される。
【０００５】
本発明の第２の態様に従えば、第１の態様の情報処理装置から出力される機械学習部の算出結果を適用したニューラルネットワークを用いて、蛍光物質を含む標本を撮像した画像から特徴量を算出する画像処理装置が提供される。
【０００６】
本発明の第３の態様に従えば、蛍光物質を含む標本を撮像する撮像装置と、撮像装置が撮像した画像における蛍光の像の特徴量を算出する第２の態様の画像処理装置と、を備える顕微鏡が提供される。
【０００７】
本発明の第４の態様に従えば、第１の態様の情報処理装置と、蛍光物質を含む標本を撮像する撮像装置と、情報処理装置から出力される機械学習部の算出結果を適用したニューラルネットワークを用いて、撮像装置が撮像した画像における蛍光の像の特徴量を算出する画像処理装置と、を備える顕微鏡が提供される。
【０００８】
本発明の第５の態様に従えば、第１の態様の情報処理装置を用いて、結合係数を算出することを含む情報処理方法が提供される。本発明の態様に従えば、蛍光の像を表すデータが入力される入力層と、蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークにおいて、入力層に入力値の教師データが入力された際に出力層から出力される出力値と、特徴量の教師データとを用いて、入力層と出力層と間の結合係数を算出することを含む情報処理方法が提供される。
【０００９】
本発明の第６の態様に従えば、コンピュータに、蛍光の像を表すデータが入力される入力層と、蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークによって機械学習を行う機械学習部が、入力層に入力値の教師データが入力された際に出力層から出力される出力値と、特徴量の教師データとを用いて、入力層と出力層と間の結合係数を算出することを実行させる情報処理プログラムが提供される。本発明の態様に従えば、蛍光の像を表すデータが入力される入力層と、蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークにおいて、入力層に入力値の教師データが入力された際に出力層から出力される出力値と、特徴量の教師データとを用いて、入力層と出力層と間の結合係数を算出することを実行させる情報処理プログラムが提供される。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る顕微鏡を示す概念図である。
【図２】第１実施形態に係る顕微鏡を示すブロック図である。
【図３】第１実施形態に係る顕微鏡本体を示す図である。
【図４】第１実施形態に係る画像処理装置の処理を示す概念図である。
【図５】第１実施形態に係る情報処理装置の処理を示す概念図である。
【図６】第１実施形態に係る情報処理方法を示すフローチャートである。
【図７】第１実施形態に係る画像処理方法を示すフローチャートである。
【図８】第２実施形態に係る顕微鏡を示すブロック図である。
【図９】第２実施形態に係る教師データ生成部の処理を示す概念図である。
【図１０】第２実施形態に係る情報処理方法を示すフローチャートである。
【図１１】第３実施形態に係る顕微鏡を示すブロック図である。
【図１２】第３実施形態に係る情報処理方法を示すフローチャートである。
【図１３】第４実施形態に係る顕微鏡を示すブロック図である。
【図１４】第４実施形態に係る情報処理方法を示すフローチャートである。
【図１５】第５実施形態に係る情報処理装置の教師データ生成部の処理を示す概念図である。
【図１６】第５実施形態に係る情報処理方法を示すフローチャートである。
【図１７】第６実施形態に係る顕微鏡、及び情報処理装置を示す概念図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
第１実施形態について説明する。図１は、本実施形態に係る顕微鏡を示す概念図である。図２は、本実施形態に係る顕微鏡を示すブロック図である。実施形態に係る顕微鏡１は、例えば、ＳＴＯＲＭ、ＰＡＬＭ等のSingle-molecule Localization Microscopy法を利用した顕微鏡である。顕微鏡１は、蛍光物質で標識（ラベル）された標本Ｓの蛍光観察に利用される。蛍光物質の種類は、１種類でもよいし、２種類以上でもよい。本実施形態では、標識に用いられる蛍光物質（例、レポータ色素）が１種類であるとする。また、顕微鏡１は、２次元の超解像画像および３次元の超解像画像をそれぞれ生成可能である。例えば、顕微鏡１は、２次元の超解像画像を生成するモード、及び３次元の超解像画像を生成するモードを有し、２つのモードを切り替え可能である。
【００１２】
標本Ｓは、生きた細胞（ライブセル）を含むものでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含むものでもよく、組織等でもよい。蛍光物質は、シアニン（ｃｙａｎｉｎｅ）染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。蛍光色素は、活性化された状態（以下、活性化状態という）で励起光を受けた場合に蛍光を発するレポータ色素を含む。また、蛍光色素は、活性化光を受けてレポータ色素を活性化状態にするアクティベータ色素を含む場合がある。蛍光色素がアクティベータ色素を含まない場合、レポータ色素は、活性化光を受けて活性化状態になる。蛍光色素は、例えば、２種類のシアニン（ｃｙａｎｉｎｅ）染料を結合させた染料対（例、Ｃｙ３−Ｃｙ５染料対（Ｃｙ３、Ｃｙ５は登録商標）、Ｃｙ２−Ｃｙ５染料対（Ｃｙ２、Ｃｙ５は登録商標）、Ｃｙ３−Ａｌｅｘａ Ｆｌｕｏｒ６４７染料対（Ｃｙ３、Ａｌｅｘａ Ｆｌｕｏｒは登録商標））、１種類の染料（例、Ａｌｅｘａ Ｆｌｕｏｒ６４７（Ａｌｅｘａ Ｆｌｕｏｒは登録商標））である。蛍光タンパク質は、例えばＰＡ−ＧＦＰ、Ｄｒｏｎｐａなどである。
【００１３】
顕微鏡１（顕微鏡システム）は、顕微鏡本体２と、画像処理装置３（画像処理部）と、情報処理装置４（情報処理部）とを備える。顕微鏡本体２は、蛍光物質を含む標本Ｓを撮像する撮像装置５を備える。撮像装置５は、標本Ｓに含まれる蛍光物質から放射される蛍光の像を撮像する。顕微鏡本体２は、蛍光の像を撮像した第１画像のデータを出力する。画像処理装置３は、撮像装置５が撮像した画像における蛍光の像の特徴量を算出する。画像処理装置３（図２参照）は、顕微鏡本体２から出力された第１画像のデータを用い、ニューラルネットワークによって上記の特徴量を算出する。
【００１４】
情報処理装置４（図２参照）は、画像処理装置３が特徴量の算出を行うことに先立ち、画像処理装置３が特徴量の算出に用いるニューラルネットワークの設定を示す計算モデルデータを算出する。計算モデルデータは、例えば、ニューラルネットワークにおける層の数、各層に含まれるニューロン（ノード）の数、及びニューロン間の結合係数（結合荷重）を含む。画像処理装置３は、情報処理装置４の算出結果（計算モデルデータ）を用いて自装置におけるニューラルネットワークを設定し、設定後のニューラルネットワークを用いて上記の特徴量を算出する。
【００１５】
画像処理装置３は、例えば、特徴量として蛍光の像の重心（輝度の重心）を算出し、算出した重心を用いて第２画像Ｐｂを生成する。例えば、画像処理装置３は、算出した重心の位置に輝点を配置することによって、第２画像Ｐｂとして超解像画像（例、STORMによる画像）を生成（構築）する。画像処理装置３は、例えば、液晶ディスプレイなどの表示装置６と接続され、生成した第２画像Ｐｂを表示装置６に表示させる。
【００１６】
なお、画像処理装置３は、ＳＴＯＲＭ以外のSingle-molecule Localization Microscopy法（例、ＰＡＬＭ）によって第２画像Ｐｂを生成してもよい。また、画像処理装置３は、Single Particle Tracking（単粒子解析法）を実行する装置でもよし、画像のデコンボリューションを実行する装置でもよい。また、画像処理装置３は、第２画像Ｐｂを生成しなくてもよく、例えば、第１画像のデータを用いて算出した特徴量を数値データとして出力する装置でもよい。
【００１７】
以下、顕微鏡１の各部について説明する。図３は、本実施形態に係る顕微鏡本体を示す図である。顕微鏡本体２は、ステージ１１と、光源装置１２と、照明光学系１３と、撮像装置５と、制御装置１４とを備える。
【００１８】
ステージ１１は、観察対象の標本Ｓを保持する。ステージ１１は、例えば、その上面に標本Ｓを載置可能である。ステージ１１は、例えば、ＸＹステージのように標本Ｓを移動させる機構を有してもよいし、机等のように標本Ｓを移動させる機構を有さなくてもよい。顕微鏡本体２は、ステージ１１を備えなくてもよい。
【００１９】
光源装置１２は、活性化光源２１、励起光源２２、シャッタ２３、及びシャッタ２４を備える。活性化光源２１は、標本Ｓに含まれる蛍光物質の一部を活性化する活性化光Ｌ１を発する。ここでは、蛍光物質がレポータ色素を含み、アクティベータ色素を含まないものとする。蛍光物質のレポータ色素は、活性化光Ｌ１が照射されることで、蛍光を発することが可能な活性化状態となる。蛍光物質は、レポータ色素およびアクティベータ色素を含むものでもよく、この場合、アクティベータ色素は、活性化光Ｌ１を受けた場合にレポータ色素を活性状態にする。
【００２０】
励起光源２２は、標本Ｓにおいて活性化された蛍光物質の少なくとも一部を励起する励起光Ｌ２を発する。蛍光物質は、活性化状態において励起光Ｌ２が照射されると、蛍光を発するか、不活性化される。蛍光物質は、不活性化された状態（以下、不活性化状態という）において活性化光Ｌ１が照射されると、再度、活性化状態となる。
【００２１】
活性化光源２１および励起光源２２は、例えば、レーザ光源などの固体光源を含み、それぞれ、蛍光物質の種類に応じた波長のレーザ光を発する。活性化光源２１の射出波長、励起光源２２の射出波長は、例えば、約４０５ｎｍ、約４５７ｎｍ、約４８８ｎｍ、約５３２ｎｍ、約５６１ｎｍ、約６４０ｎｍ、約６４７ｎｍなどから選択される。ここでは、活性化光源２１の射出波長が約４０５ｎｍであり、励起光源２２の射出波長が約４８８ｎｍ、約５６１ｎｍ、約６４７ｎｍから選択される波長であるとする。
【００２２】
シャッタ２３は、制御装置１４により制御され、活性化光源２１からの活性化光Ｌ１を通す状態と、活性化光Ｌ１を遮る状態とを切り替え可能である。シャッタ２４は、制御装置１４により制御され、励起光源２２からの励起光Ｌ２を通す状態と、励起光Ｌ２を遮る状態とを切り替え可能である。
【００２３】
また、光源装置１２は、ミラー２５、ダイクロイックミラー２６、音響光学素子２７、及びレンズ２８を備える。ミラー２５は、例えば、励起光源２２の射出側に設けられる。励起光源２２からの励起光Ｌ２は、ミラー２５で反射し、ダイクロイックミラー２６に入射する。ダイクロイックミラー２６は、例えば、活性化光源２１の射出側に設けられる。ダイクロイックミラー２６は、活性化光Ｌ１が透過し、励起光Ｌ２が反射する特性を有する。ダイクロイックミラー２６を透過した活性化光Ｌ１と、ダイクロイックミラー２６で反射した励起光Ｌ２は、同じ光路を通って音響光学素子２７に入射する。
【００２４】
音響光学素子２７は、例えば音響光学フィルタなどである。音響光学素子２７は、制御装置１４に制御され、活性化光Ｌ１の光強度および励起光Ｌ２の光強度のそれぞれを調整可能である。また、音響光学素子２７は、制御装置１４に制御され、活性化光Ｌ１、励起光Ｌ２のそれぞれについて、音響光学素子２７を通る状態（以下、通光状態という）と、音響光学素子２７により遮られる状態または強度が低減される状態（以下、遮光状態という）とを切り替え可能である。例えば、蛍光物質がレポータ色素を含みアクティベータ色素を含まない場合、制御装置１４は、活性化光Ｌ１と励起光Ｌ２とが同時に照射されるように、音響光学素子２７を制御する。また、蛍光物質がレポータ色素およびアクティベータ色素を含む場合、制御装置１４は、例えば、活性化光Ｌ１の照射後に励起光Ｌ２を照射するように、音響光学素子２７を制御する。レンズ２８は、例えばカプラであり、音響光学素子２７からの活性化光Ｌ１、励起光Ｌ２を導光部材３１に集光する。
【００２５】
なお、顕微鏡本体２は、光源装置１２の少なくとも一部を備えなくてもよい。例えば、光源装置１２は、ユニット化されており、顕微鏡本体２に交換可能（取り付け可能、取り外し可能）に設けられていてもよい。例えば、光源装置１２は、顕微鏡本体２による観察時などに、顕微鏡本体２に取り付けられてもよい。
【００２６】
照明光学系１３は、標本Ｓに含まれる蛍光物質の一部を活性化する活性化光Ｌ１と、活性化された蛍光物質の少なくとも一部を励起する励起光Ｌ２とを照射する。照明光学系１３は、光源装置１２からの活性化光Ｌ１と励起光Ｌ２とを標本Ｓに照射する。照明光学系１３は、導光部材３１、レンズ３２、レンズ３３、フィルタ３４、ダイクロイックミラー３５、及び対物レンズ３６を備える。
【００２７】
導光部材３１は、例えば光ファイバであり、活性化光Ｌ１、励起光Ｌ２をレンズ３２へ導く。図３などにおいて、導光部材３１の射出端から標本Ｓまでの光路を点線で示す。レンズ３２は、例えばコリメータであり、活性化光Ｌ１、励起光Ｌ２を平行光に変換する。レンズ３３は、例えば、活性化光Ｌ１、励起光Ｌ２を対物レンズ３６の瞳面の位置に集光する。フィルタ３４は、例えば、活性化光Ｌ１および励起光Ｌ２が透過し、他の波長の光の少なくとも一部を遮る特性を有する。ダイクロイックミラー３５は、活性化光Ｌ１および励起光Ｌ２が反射し、標本Ｓからの光のうち所定の波長帯の光（例、蛍光）が透過する特性を有する。フィルタ３４からの光は、ダイクロイックミラー３５で反射し、対物レンズ３６に入射する。標本Ｓは、観察時に対物レンズ３６の前側焦点面に配置される。
【００２８】
活性化光Ｌ１、励起光Ｌ２は、上述のような照明光学系１３により、標本Ｓに照射される。なお、上述した照明光学系１３は一例であり、適宜、変更可能である。例えば、上述した照明光学系１３の一部が省略されてもよい。また、照明光学系１３は、光源装置１２の少なくとも一部を含んでいてもよい。また、照明光学系１３は、開口絞り、照野絞りなどを備えてもよい。
【００２９】
撮像装置５は、第１観察光学系４１および撮像部４２を備える。第１観察光学系４１は、標本Ｓからの蛍光の像を形成する。第１観察光学系４１は、対物レンズ３６、ダイクロイックミラー３５、フィルタ４３、レンズ４４、光路切替部材４５、レンズ４６、及びレンズ４７を備える。第１観察光学系４１は、対物レンズ３６およびダイクロイックミラー３５を照明光学系１３と共用している。図３において、標本Ｓと撮像部４２との間の光路を実線で示す。標本Ｓからの蛍光は、対物レンズ３６およびダイクロイックミラー３５を通ってフィルタ４３に入射する。
【００３０】
フィルタ４３は、標本Ｓからの光のうち所定の波長帯の光が選択的に通る特性を有する。フィルタ４３は、例えば、標本Ｓで反射した照明光、外光、迷光などを遮断する。フィルタ４３は、例えば、フィルタ３４およびダイクロイックミラー３５とユニット化されてフィルタユニット４８を構成する。フィルタユニット４８は、交換可能（光路に挿入可能、かつ光路から退避可能）に設けられる。フィルタユニット４８は、例えば、光源装置１２から射出される光の波長（例、活性化光Ｌ１の波長、励起光Ｌ２の波長）、標本Ｓから放射される蛍光の波長などに応じて交換されてもよい。フィルタユニット４８は、複数の励起、蛍光波長に対応したフィルタユニットでもよく、この場合に交換されなくてもよい。
【００３１】
フィルタ４３を通った光は、レンズ４４を介して光路切替部材４５に入射する。レンズ４４から射出された光は、光路切替部材４５を通過した後、中間像面５ｂに中間像を結ぶ。光路切替部材４５は、例えばプリズムであり、第１観察光学系４１の光路に挿脱可能に設けられる。光路切替部材４５は、例えば、制御装置１４により制御される駆動部（図示せず）によって、第１観察光学系４１の光路に挿入され、また、第１観察光学系４１の光路から退避する。光路切替部材４５は、第１観察光学系４１の光路に挿入された状態において、標本Ｓからの蛍光を内面反射によって撮像部４２へ向かう光路へ導く。
【００３２】
レンズ４６は、中間像から射出された蛍光（中間像面５ｂを通った蛍光）を平行光に変換し、レンズ４７は、レンズ４６を通った光を集光する。第１観察光学系４１は、非点収差光学系（例、シリンドリカルレンズ４９）を備える。シリンドリカルレンズ４９は、標本Ｓからの蛍光の少なくとも一部に作用し、蛍光の少なくとも一部に対して非点収差を発生させる。すなわち、シリンドリカルレンズ４９などの非点収差光学系は、蛍光の少なくとも一部に対して非点収差を発生させて、非点隔差を発生させる。この非点収差は、例えば、三次元の超解像画像を生成するモードにおいて、標本Ｓの深さ方向（対物レンズ３６の光軸方向）における蛍光物質の位置を算出することに利用される。シリンドリカルレンズ４９は、標本Ｓと撮像部４２（例、撮像素子６０）との間の光路に挿脱可能に設けられる。例えば、シリンドリカルレンズ４９は、レンズ４６とレンズ４７との間の光路に挿入可能であり、この光路から退避可能である。シリンドリカルレンズ４９は、３次元の超解像画像を生成するモード時にこの光路に配置され、２次元の超解像画像を生成するモード時にこの光路から退避される。
【００３３】
本実施形態において、顕微鏡本体２は、第２観察光学系５０を備える。第２観察光学系５０は、観察範囲の設定などに利用される。第２観察光学系５０は、標本Ｓから観察者の視点Ｖｐに向かう順に、対物レンズ３６、ダイクロイックミラー３５、フィルタ４３、レンズ４４、ミラー５１、レンズ５２、ミラー５３、レンズ５４、レンズ５５、ミラー５６、及びレンズ５７を備える。第２観察光学系５０は、対物レンズ３６からレンズ４４までの構成を第１観察光学系４１と共用している。
【００３４】
標本Ｓからの蛍光は、レンズ４４を通った後に、光路切替部材４５が第１観察光学系４１の光路から退避した状態において、ミラー５１に入射する。ミラー５１で反射した光は、レンズ５２を介してミラー５３に入射し、ミラー５３で反射した後に、レンズ５４およびレンズ５５を介してミラー５６に入射する。ミラー５６で反射した光は、レンズ５７を介して、視点Ｖｐに入射する。第２観察光学系５０は、例えば、レンズ５５とレンズ５７との間の光路に標本Ｓの中間像を形成する。レンズ５７は、例えば接眼レンズであり、観察者は、中間像を観察することにより観察範囲の設定などを行うことができる。
【００３５】
撮像部４２は、第１観察光学系４１が形成した像を撮像する。撮像部４２は、撮像素子６０および制御部６１を備える。撮像素子６０は、例えばＣＭＯＳイメージセンサであるが、ＣＣＤイメージセンサなどでもよい。撮像素子６０は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子６０は、例えば、光電変換素子に蓄積された電荷を、読出回路によって読み出す。撮像素子６０は、読み出された電荷をデジタルデータに変換し、画素の位置と階調値とを関連付けたデジタル形式のデータ（例、画像のデータ）を出力する。制御部６１は、制御装置１４から入力される制御信号に基づいて撮像素子６０を動作させ、撮像画像のデータを制御装置１４に出力する。また、制御部６１は、電荷の蓄積期間と電荷の読み出し期間を制御装置１４に出力する。
【００３６】
制御装置１４は、顕微鏡本体２の各部を総括して制御する。制御装置１４は、撮像部４２の制御部６１から供給される電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）に基づいて、音響光学素子２７に、光源装置１２からの光を通す通光状態と、光源装置１２からの光を遮る遮光状態とを切り替える制御信号を供給する。音響光学素子２７は、この制御信号に基づいて、通光状態と遮光状態とを切り替える。制御装置１４は、音響光学素子２７を制御し、標本Ｓに活性化光Ｌ１が照射される期間、及び標本Ｓに活性化光Ｌ１が照射されない期間を制御する。また、制御装置１４は、音響光学素子２７を制御し、標本Ｓに励起光Ｌ２が照射される期間、及び、標本Ｓに励起光Ｌ２が照射されない期間を制御する。制御装置１４は、音響光学素子２７を制御し、標本Ｓに照射される活性化光Ｌ１の光強度および励起光Ｌ２の光強度を制御する。なお、撮像部４２の制御部６１は、制御装置１４の代わりに、音響光学素子２７に遮光状態と通光状態とを切り替える制御信号を供給し、音響光学素子２７を制御してもよい。
【００３７】
また、制御装置１４は、撮像部４２を制御し、撮像素子６０に撮像を実行させる。制御装置１４は、撮像部４２から撮像結果（第１画像のデータ）を取得する。制御装置１４は、例えば、画像処理装置３と有線または無線によって通信可能に接続され、第１画像のデータを画像処理装置３に供給する。
【００３８】
図２の説明に戻り、画像処理装置３は、特徴量抽出部７１と、画像生成部７２とを備える。特徴量抽出部７１は、ニューラルネットワーク７３によって、蛍光物質を含む標本を撮像した第１画像から特徴量を算出する。特徴量抽出部７１は、第１画像のデータを用い、特徴量として蛍光の像の重心を算出する。特徴量抽出部７１は、算出した重心を示す特徴量データを出力する。画像生成部７２は、特徴量抽出部７１が出力した特徴量データを用いて、第２画像を生成する。画像処理装置３は、画像生成部７２が生成した第２画像のデータを表示装置６に出力し、表示装置６に第２画像Ｐｂ（図１参照）を表示させる。
【００３９】
図４は、本実施形態に係る画像処理装置の処理を示す概念図である。図３に示した顕微鏡本体２の撮像装置５は、標本Ｓを繰り返し撮像して複数の第１画像Ｐａ１〜Ｐａｎを取得する。複数の第１画像Ｐａ１〜Ｐａｎは、それぞれ、蛍光の像Ｉｍを含む。特徴量抽出部７１は、複数の第１画像Ｐａ１〜Ｐａｎのそれぞれについて、重心Ｑの位置（特徴量）を算出する。画像生成部７２は、複数の第１画像Ｐａ１〜Ｐａｎの少なくとも一部について算出した重心Ｑの位置を用いて、第２画像Ｐｂを生成する。例えば、画像生成部７２は、複数の蛍光の像から得られる複数の重心Ｑのそれぞれの位置に輝点を配置することで、第２画像Ｐｂを生成する。
【００４０】
図２の説明に戻り、情報処理装置４は、機械学習部７５および記憶部７６を備える。機械学習部７５は、外部から入力される教師データＴＤを用いて、ニューラルネットワーク７７の学習を行う。教師データＴＤは、ニューラルネットワーク７７に対する入力値の教師データＴＤａと、特徴量の教師データＴＤｂとを含む。入力値の教師データＴＤａは、例えば、蛍光の像を表す輝度分布（例、画像）である。特徴量の教師データＴＤｂは、例えば、入力値の教師データＴＤａに表された蛍光の像の重心である。なお、特徴量の情報は、重心以外の情報を含んでもよい。特徴量の情報の種類は、１つでもよいし、２以上でもよい。例えば、特徴量の情報は、重心のデータと、データの信頼度（確度）のデータとを含んでもよい。
【００４１】
機械学習部７５は、ニューラルネットワーク７７の学習の結果を示す計算モデルデータを生成する。機械学習部７５は、生成した計算モデルデータを記憶部７６に記憶させる。情報処理装置４は、記憶部７６に記憶された計算モデルデータを外部へ出力し、この計算モデルデータは、画像処理装置３に供給される。なお、情報処理装置４は、有線または無線による通信によって、計算モデルデータを画像処理装置３に供給してもよい。また、情報処理装置４は、ＵＳＢメモリ、ＤＶＤなどの記憶媒体に計算モデルデータを出力し、画像処理装置３は、記憶媒体を介して計算モデルデータを受け取ってもよい。
【００４２】
図５は、本実施形態に係る情報処理装置の処理を示す概念図である。図５には、図２のニューラルネットワーク７７を概念的に示した。ニューラルネットワーク７７は、入力層８１および出力層８２を有する。入力層８１は、入力値が入力される層である。Ｘ１、Ｘ２、Ｘ３、・・・、Ｘｓは、それぞれ、入力層に入力される入力値の教師データである。ｓは、入力値に割り付けられる添え字である。ｓは、１セットの入力値の教師データに含まれる要素の数に相当し、自然数である。出力層８２は、ニューラルネットワーク７７を伝搬したデータが出力される層である。また、Ｙ１、Ｙ２、Ｙ３、・・・、Ｙｔは、それぞれ、出力値である。ｔは、出力値に割り付けられる添え字である。ｔは、１セットの出力値の要素の数に相当し、自然数である。また、Ｚ１、Ｚ２、Ｚ３、・・・、Ｚｔは、それぞれ、特徴量（出力値）の教師データである。ｔは、１セットの特徴量の教師データに含まれる要素の数に相当し、出力値の要素と同数（自然数）である。
【００４３】
図５のニューラルネットワーク７７は、１または２以上の中間層（第１中間層８３ａ、・・・第ｕ中間層８３ｂ）を有し、機械学習部７５は、ディープラーニング（深層学習）を行う。ｕは、中間層の数を示す添え字であり、自然数である。
【００４４】
ニューラルネットワーク７７の各層は、１または２以上のニューロン８４を有する。入力層８１に属するニューロン８４の数は、入力値の教師データの数（ｓ）と同じである。各中間層（例、第１中間層８３ａ）に属するニューロン８４の数は、任意に設定される。出力層８２に属するニューロンの数は、出力値の数（ｔ）と同じである。１つの層（例、入力層８１）に属するニューロン８４は、それぞれ、隣の層（例、第１中間層８３ａ）に属するニューロン８４と関連付けられている。
【００４５】
図５（Ｂ）は、ニューラルネットワーク７７の一部を拡大して示す図である。図５（Ｂ）には、第ｉ中間層８３ｃに属する複数のニューロン８４と、第（ｉ＋１）中間層８３ｄに属する１つのニューロン８４との関係を代表的に示した。ｉは、入力層８１側を基準とする中間層の順番を示す添え字であり、自然数である。ｊは、第ｉ中間層８３ｃに属するニューロンに割り付けられる添え字であり、自然数である。ｋは、第（ｉ＋１）中間層８３ｄに属するニューロンに割り付けられる添え字であり、自然数である。
【００４６】
第ｉ中間層８３ｃに属する複数のニューロン８４は、それぞれ、第（ｉ＋１）中間層８３ｄに属するニューロン８４と関連付けられている。各ニューロン８４は、関連付けられた出力層８２側のニューロン８４に対して、例えば「０」または「１」を出力する。Ｗｉ，１，ｋ、Ｗｉ，２，ｋ、Ｗｉ，１，ｋ、Ｗｉ，３，ｋ、・・・、Ｗｉ，ｊ，ｋは、結合係数であり、各ニューロン８４からの出力に対する重み付けの係数に相当する。第（ｉ＋１）中間層８３ｄに属するニューロン８４に入力されるデータは、第ｉ中間層８３ｃに属する複数のニューロン８４のそれぞれについて出力と結合係数とをかけた値を、複数のニューロン８４で総和をとった値である。
【００４７】
第（ｉ＋１）中間層８３ｄに属するニューロン８４には、バイアスＢｉ＋１，ｋが設定される。バイアスは、例えば、下流側の層への出力に影響を及ぼす閾値である。下流側の層に対してバイアスが及ぼす影響は、活性化関数の選択によって異なる。１つの形態において、バイアスは、上流側の層からの入力に対して、下流側の層に「０」と「１」のいずれを出力するかを定める閾値である。例えば、第（ｉ＋１）中間層８３ｄに属するニューロン８４は、第ｉ中間層８３ｃからの入力がバイアスＢｉ＋１，ｋを超える場合に、下流側の隣の層の各ニューロンに「１」を出力する。また、第（ｉ＋１）中間層８３ｄに属するニューロン８４は、第ｉ中間層８３ｃからの入力がバイアスＢｉ＋１，ｋ以下の場合に下流側の隣の層の各ニューロンに対して「０」を出力する。また、バイアスは、１つの形態において、上流側の層の各ニューロンの出力と結合係数との乗算値をこの層で総和をとった総和値に、加算される値である。この場合、下流側の層に対する出力値は、上記の総和値にバイアスを加算した値に対して活性化関数を作用させた値になる。
【００４８】
図２の情報処理装置４の機械学習部７５は、ニューラルネットワーク７７の入力層８１に入力値の教師データＴＤａ（Ｘ１、Ｘ２、Ｘ３、・・・、Ｘｓ）を入力する。機械学習部７５は、ニューラルネットワーク７７において、入力層８１から出力層８２へデータを伝搬させ、出力層８２から出力値（Ｙ１、Ｙ２、Ｙ３、・・・、Ｙｔ）を得る。機械学習部７５は、入力層８１に入力値の教師データＴＤａが入力された際に出力層８２から出力される出力値（Ｙ１、Ｙ２、Ｙ３、・・・、Ｙｔ）と、特徴量の教師データＴＤｂとを用いて、入力層８１と出力層８２と間の結合係数を算出する。例えば、機械学習部７５は、出力値（Ｙ１、Ｙ２、Ｙ３、・・・、Ｙｔ）と、特徴量の教師データ（Ｚ１、Ｚ２、Ｚ３、・・・、Ｚｔ）との差が減少するように、結合係数を調整する。
【００４９】
また、機械学習部７５は、入力層８１に入力値の教師データＴＤａが入力された際に出力層８２から出力される出力値（Ｙ１、Ｙ２、Ｙ３、・・・、Ｙｔ）と、特徴量の教師データＴＤｂとを用いて、中間層のニューロンに割り付けられるバイアスを算出する。例えば、機械学習部７５は、バックプロパゲーション（誤差逆伝播）によって、出力値（Ｙ１、Ｙ２、Ｙ３、・・・、Ｙｔ）と特徴量の教師データ（Ｚ１、Ｚ２、Ｚ３、・・・、Ｚｔ）との差が設定値未満になるように、結合係数およびバイアスを調整する。
【００５０】
なお、中間層の数は、任意に設定され、例えば１以上１０以下から選択される。中間層の数は、例えば、中間層の数を変更しながら収束の状態（例、学習時間、出力値と特徴量の教師データとの残差）をテストし、収束が所望の状態となるように選択される。階層型ネットワークは、ニューラルネットワーク７７のように入力層８１、出力層８２、及び１層以上の中間層を含む３層以上の構造とすることで、任意のパターンを識別可能なことが保証される。したがって、ニューラルネットワーク７７は、１層以上の中間層を設けると汎用性、利便性が高いが、中間層がなくてもよい。
【００５１】
機械学習部７５は、機械学習の結果として、調整後の結合係数およびバイアスを含む計算モデルデータを生成する。計算モデルデータは、例えば、図５のニューラルネットワーク７７における層の数、各層に属するニューロンの数、結合係数、及びバイアスを含む。機械学習部７５は、生成した計算モデルデータを記憶部７６に記憶させる。計算モデルデータは、記憶部７６から読み出されて、画像処理装置３に供給される。
【００５２】
画像処理装置３の特徴量抽出部７１は、特徴量を抽出する処理に先立ち、情報処理装置４から供給された計算モデルデータに基づいて、ニューラルネットワーク７３を設定する。特徴量抽出部７１は、ニューラルネットワーク７３における層の数、ニューロンの数、結合係数、及びバイアスを、計算モデルデータに指定された値に設定する。このようにして、特徴量抽出部７１は、機械学習部７５の算出結果（計算モデルデータ）を用いたニューラルネットワーク７３によって、蛍光物質を含む標本Ｓを撮像した第１画像から特徴量を算出する。
【００５３】
ＳＴＯＲＭ、ＰＡＬＭ等のSingle-molecule Localization Microscopy法において、蛍光の像の重心を算出するには、一般的に、蛍光の像の輝度分布を所定の関数形（例、点像分布関数）でフィッティングし、フィッティング得られた関数から重心を求める手法が用いられる。蛍光の像の輝度分布を所定の関数形でフィッティングするには、例えば、Levenberg-Marquardt法などの非線形最小二乗法が用いられる。非線形最小二乗法によるフィッティングは、反復演算が必要とされ、多大な処理時間を要する。例えば、１枚の超解像画像を生成する上で、撮像した画像が数万枚である場合、数万枚の画像に含まれる複数の蛍光の像の重心を算出する処理に数十秒から数分程度の処理時間を要する。
【００５４】
実施形態に係る画像処理装置３は、予め設定されたニューラルネットワーク７３によって蛍光の像の特徴量を算出するので、例えば特徴量を算出する処理において反復演算を減らすこと、あるいは無くすことができ、処理時間の短縮に寄与する。
【００５５】
次に、上述の顕微鏡１の動作に基づき、実施形態にかかる情報処理方法および画像処理方法について説明する。図６は、本実施形態に係る情報処理方法を示すフローチャートである。顕微鏡１の各部については図２を適宜参照し、ニューラルネットワーク７７の各部については図５を適宜参照する。
【００５６】
ステップＳ１において、機械学習部７５は、ニューラルネットワーク７７のアーキテクチャ（構造）を設定する。例えば、機械学習部７５は、ニューラルネットワーク７７のアーキテクチャとして、ニューラルネットワーク７７に含まれる層の数、及び各層に属するニューロンの数を設定する。ニューラルネットワーク７７に含まれる層の数、及び各層に属するニューロンの数は、例えば、オペレータ（ユーザ）が指定した値に設定される。ステップＳ２において、機械学習部７５は、ニューラルネットワーク７７における結合係数およびバイアスの初期値を設定する。例えば、機械学習部７５は、結合係数の初期値を乱数によって決定し、バイアスの初期値を０に設定する。
【００５７】
ステップＳ３において、機械学習部７５は、外部から入力された教師データＴＤに含まれる入力値の教師データＴＤａから蛍光の像を選択する。ステップＳ４において、機械学習部７５は、ステップＳ３で選択した入力値の教師データＴＤａを入力層８１に入力し、ニューラルネットワーク７７でデータを伝搬させる。ステップＳ５において、機械学習部７５は、出力層８２からの出力値（Ｙ１、Ｙ２、Ｙ３、・・・、Ｙｔ）と、特徴量の教師データＴＤｂとの差を算出する。
【００５８】
ステップＳ６において、機械学習部７５は、機械学習に用いる次の蛍光の像があるか否かを判定する。機械学習部７５は、予定された蛍光の像の少なくとも１つについてステップＳ３からステップＳ５の処理が終了していない場合に、次の蛍光の像があると判定する（ステップＳ６；Ｙｅｓ）。機械学習部７５は、次の蛍光の像があると判定した場合（ステップＳ６；Ｙｅｓ）、ステップＳ３に戻り次の蛍光の像を選択し、ステップＳ４以降の処理を繰り返す。
【００５９】
また、ステップＳ６において、機械学習部７５は、予定された全ての蛍光の像についてステップＳ３からステップＳ５の処理が終了している場合に、次の蛍光の像がないと判定する（ステップＳ６；Ｎｏ）。機械学習部７５は、次の蛍光の像がないと判定した場合（ステップＳ６；Ｎｏ）、ステップＳ７において、ステップＳ５で算出した差について、複数の蛍光の像で差の二乗ノルムの平均を算出する。
【００６０】
ステップＳ８において、機械学習部７５は、ステップＳ７で算出した平均値は設定値未満であるか否かを判定する。この設定値は、例えば、ニューラルネットワーク７３による特徴量の算出に要求される精度に応じて、任意に設定される。機械学習部７５は、平均値は設定値未満でないと判定した場合（ステップＳ８；Ｎｏ）、例えばSGD（Stochastic Gradient Descent）によって、係合係数およびバイアスを更新する。係合係数およびバイアスの最適化に用いる手法は、SGDでなくてもよく、例えば、MomentumSGD、AdaGrad、AdaDelta、Adam、RMSpropGraves、あるいはNesterovAGなどでもよい。機械学習部７５は、ステップＳ９の処理後に、ステップＳ３に戻り、以降の処理を繰り返す。機械学習部７５は、ステップＳ８において平均値は設定値未満であると判定した場合（ステップＳ８；Ｙｅｓ）、ステップＳ１０において、ニューラルネットワーク７７の計算モデルデータを記憶部７６に記憶させる。
【００６１】
図７は、本実施形態に係る画像処理方法を示すフローチャートである。ステップＳ１１において、画像処理装置３は、情報処理装置４からの計算モデルデータを取得する。ステップＳ１２において、特徴量抽出部７１は、ステップＳ１１で取得した計算モデルデータによってニューラルネットワーク７３を設定する。これにより、ニューラルネットワーク７３は、図５のニューラルネットワーク７７と同等の構造になる。ステップＳ１３において、画像処理装置３は、顕微鏡本体２から第１画像のデータを取得する。
【００６２】
ステップＳ１４において、特徴量抽出部７１は、ステップＳ１３で取得した第１画像のデータに基づいて、第１画像から蛍光の像を選択する。例えば、特徴量抽出部７１は、第１画像の一部の領域ごとに、輝度（例、画素値）を閾値と比較し、輝度が閾値以上の領域に蛍光の像が含まれると判定する。上記の閾値は、例えば、予め定められた固定値でもよいし、第１画像の輝度の平均値などの可変値でもよい。特徴量抽出部７１は、蛍光の像が含まれると判定した領域から処理の対象となる領域を選択する。ステップＳ１５において、特徴量抽出部７１は、第１画像のから蛍光の像を含む領域（例、複数の画素、部分画像）を抽出する。例えば、特徴量抽出部７１は、ステップＳ１４で選択した蛍光の像について、予め定められた広さの領域における輝度分布を抽出する。例えば、特徴量抽出部７１は、対象領域について、予め定められた画素数の画素群における画素値の分布を抽出する。
【００６３】
ステップＳ１６において、特徴量抽出部７１は、ステップＳ１４で抽出した部分画像の輝度分布を、ステップＳ１２で設定したニューラルネットワーク７３の入力層に入力し、ニューラルネットワーク７３でデータを伝搬させる。ステップＳ１７において、特徴量抽出部７１は、ニューラルネットワーク７３の出力層からの出力値を特徴量として、記憶部（図示せず）に記憶させる。
【００６４】
ステップＳ１８において、特徴量抽出部７１は、次の蛍光の像があるか否かを判定する。
特徴量抽出部７１は、予定された蛍光の像の少なくとも１つについてステップＳ１５からステップＳ１７の処理が終了していない場合に、次の蛍光の像があると判定する（ステップＳ１８；Ｙｅｓ）。特徴量抽出部７１は、次の蛍光の像があると判定した場合（ステップＳ１８；Ｙｅｓ）、ステップＳ１４に戻り次の蛍光の像を選択し、ステップＳ１５以降の処理を繰り返す。
【００６５】
また、ステップＳ１８において、特徴量抽出部７１は、予定された全ての蛍光の像についてステップＳ１５からステップＳ１７の処理が終了している場合に、次の蛍光の像がないと判定する（ステップＳ１８；Ｎｏ）。特徴量抽出部７１は、次の蛍光の像がないと判定した場合（ステップＳ１８；Ｎｏ）、ステップＳ１９において、次の第１画像があるか否かを判定する。特徴量抽出部７１は、予定された複数の第１画像の少なくとも１つについてステップＳ１４からステップＳ１７の処理が終了していない場合に、次の第１画像があると判定する（ステップＳ１９；Ｙｅｓ）。特徴量抽出部７１は、次の第１画像があると判定した場合（ステップＳ１９；Ｙｅｓ）、ステップＳ１３に戻り次の第１画像のデータを取得し、以降の処理を繰り返す。
【００６６】
また、特徴量抽出部７１は、予定された全ての第１画像についてステップＳ１４からステップＳ１７の処理が終了している場合に、次の第１画像がないと判定する（ステップＳ１９；Ｎｏ）。特徴量抽出部７１は、次の第１画像がないと判定した場合（ステップＳ１９；Ｎｏ）、ステップＳ２０において、画像生成部７２は、特徴量抽出部７１が算出した特徴量を用いて第２画像を生成する。
【００６７】
本実施形態において、情報処理装置４は、例えばコンピュータシステムを含む。情報処理装置４は、記憶部７６に記憶されている情報処理プログラムを読み出し、この情報処理プログラムに従って各種の処理を実行する。この情報処理プログラムは、コンピュータに、蛍光の像を表すデータが入力される入力層と、蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークにおいて、入力層に入力値の教師データが入力された際に出力層から出力される出力値と、特徴量の教師データとを用いて、入力層と出力層と間の結合係数を算出することを実行させる。この情報処理プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
【００６８】
［第２実施形態］
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図８は、本実施形態に係る顕微鏡を示すブロック図である。本実施形態において、情報処理装置４は、教師データ生成部９１を備える。教師データ生成部９１は、入力値の教師データおよび特徴量の教師データを、所定の点像分布関数に基づいて生成する。例えば、教師データ生成部９１は、外部から供給される入力画像のデータを用いて、教師データを生成する。入力画像は、蛍光の像を含むサンプル画像である。入力画像は、例えば、顕微鏡本体２の撮像装置５が撮像した第１画像でもよいし、その他の装置で撮像あるいは生成された画像でもよい。
【００６９】
教師データ生成部９１は、重心算出部９２および抽出部９３を備える。図９は、本実施形態に係る教師データ生成部の処理を示す概念図である。図９において、ｘは入力画像Ｐｄに設定される方向（例、水平走査方向）であり、ｙは、ｘに垂直な方向（例、垂直走査方向）である。重心算出部９２は、蛍光の像Ｉｍを含む入力画像Ｐｄに対して所定の点像分布関数を用いて、蛍光の像Ｉｍの重心Ｑの位置を算出する。
【００７０】
所定の点像分布関数は、例えば、下記の式（１）の関数で与えられる。式（１）において、ｐ０は蛍光の像Ｉｍの重心のｘ方向の位置（ｘ座標）であり、ｐ１は蛍光の像Ｉｍの重心のｙ方向の位置（ｙ座標）である。また、ｐ２は蛍光の像Ｉｍのｘ方向の幅であり、ｐ３は蛍光の像Ｉｍのｙ方向の幅である。また、また、ｐ４は蛍光の像Ｉｍのｘ方向の幅とｙ方向の幅との比（縦横比）である。また、ｐ５は蛍光の像Ｉｍの輝度である。
【００７１】
【数１】
2018116851.tif 000003
【００７２】
重心算出部９２は、入力画像における蛍光の像Ｉｍの輝度分布を式（１）の関数形でフィッティングし、例えばLevenberg-Marquardt法などの非線形最小二乗法によって、上記のパラメータ（ｐ０〜ｐ５）を算出する。図９の入力画像Ｐｄには、１つの蛍光の像Ｉｍを代表的に示すが、入力画像Ｐｄには複数の蛍光の像が含まれ、重心算出部９２は、蛍光の像ごとに上記のパラメータ（ｐ０〜ｐ５）を算出する。教師データ生成部９１は、重心算出部９２が算出した蛍光の像の重心の位置（ｐ０、ｐ１）を特徴量の教師データとして、記憶部７６に記憶させる。機械学習部７５は、重心算出部９２が算出した重心の位置を記憶部７６から読み出し、特徴量の教師データに用いる。
【００７３】
また、抽出部９３は、入力画像から、重心算出部９２が算出する重心を含む領域の輝度分布を抽出する。例えば、抽出部９３は、入力画像の一部の領域ごとに、輝度（例、画素値）を閾値と比較し、輝度が閾値以上の領域に蛍光の像が含まれると判定する。上記の閾値は、例えば、予め定められた固定値でもよいし、入力画像の輝度の平均値などの可変値でもよい。抽出部９３は、蛍光の像が含まれると判定した領域（以下、対象領域という）について、予め定められた広さの領域における輝度分布を抽出する。例えば、抽出部９３は、対象領域について、予め定められた画素数の画素群における画素値の分布を抽出する。重心算出部９２は、例えば、抽出部９３が抽出した領域ごとに、蛍光の像の重心を算出する。抽出部９３は、重心算出部９２が算出した蛍光の像の重心を含む所定の広さの領域を抽出してもよい。教師データ生成部９１は、抽出部９３が抽出した領域の輝度分布を入力値の教師データとして、記憶部７６に記憶させる。機械学習部７５は、抽出部９３が抽出した領域の輝度分布を記憶部７６から読み出し、入力値の教師データに用いる。
【００７４】
なお、所定の点像分布関数は、式（１）に示した例に限定されない。例えば、所定の点像分布関数は、下記の式（２）で表される関数でもよい。式（２）の点像分布関数は、上記の式（１）の右辺の定数項（ｐ５）を省略した関数である。
【００７５】
【数２】
2018116851.tif 000004
【００７６】
また、所定の点像分布関数は、下記の式（３）で表される関数でもよい。式（３）の点像分布関数は、上記の式（１）の右辺における第一項の指数部に自由度を持たせた関数（例、スーパーガウス関数）である。式（３）の点像分布関数は、右辺における第一項のべき指数（power index）にパラメータ（ｐ６、ｐ７）を含む。なお、所定の点像分布関数は、式（２）のように、式（３）の右辺から定数項（ｐ５）を省略した関数でもよい。
【００７７】
【数３】
2018116851.tif 000005
【００７８】
なお、所定の点像分布関数は、上記の式（１）から式（３）においてガウス型関数で表されるが、他の関数型で表されてもよい。例えば、所定の点像分布関数は、下記の式（４）で表される関数でもよい。式（４）の点像分布関数は、ローレンツ型関数である。
【００７９】
【数４】
2018116851.tif 000006
【００８０】
また、所定の分布関数は、下記の式（５）で表される関数でもよい。式（５）の点像分布関数は、上記の式（４）の右辺に定数項（ｐ５）を加えた関数である。
【００８１】
【数５】
2018116851.tif 000007
【００８２】
また、所定の分布関数は、下記の式（６）で表される関数でもよい。式（６）の点像分布関数は、上記の式（５）の右辺における第１項の指数部に自由度を持たせた関数である。式（６）の点像分布関数は、右辺における第一項のべき指数（power index）にパラメータ（ｐ６）を含む。なお、所定の点像分布関数は、式（４）のように、式（６）の右辺から定数項（ｐ５）を省略した関数でもよい。
【００８３】
【数６】
2018116851.tif 000008
【００８４】
なお、第１実施形態のように情報処理装置４は、教師データ生成部９１を備えなくてもよい。例えば、教師データ生成部９１は、情報処理装置４の外部の装置に設けられてもよい。この場合、情報処理装置４は、第１実施形態で説明したように、外部から供給される教師データを用いて、ニューラルネットワーク７７による機械学習を実行することができる。
【００８５】
次に、上述の顕微鏡１の動作に基づき、実施形態にかかる情報処理方法について説明する。図７は、本実施形態に係る情報処理方法を示すフローチャートである。顕微鏡１の各部については図８を適宜参照する。
【００８６】
ステップＳ２１において、教師データ生成部９１は、入力画像から蛍光の像を選択する。例えば、教師データ生成部９１は、入力画像の一部の領域ごとに、輝度（例、画素値）を閾値と比較し、輝度が閾値以上の領域に蛍光の像が含まれると判定する。教師データ生成部９１は、蛍光の像が含まれると判定した複数の領域から処理の対象の領域を選択する。ステップＳ２２において、抽出部９３は、蛍光の像を含む部分画像（輝度分布）を抽出する。
【００８７】
ステップＳ２３において、重心算出部９２は、蛍光の像の重心を算出する。ステップＳ２３のステップＳ２４において、重心算出部９２は、ステップＳ２２で抽出部９３が抽出した輝度分布を点像分布関数でフィッティングする。ステップＳ２５において、重心算出部９２は、ステップＳ２４のフィッティングで得られた関数のパラメータ（ｐ０〜ｐ５）から重心の位置（ｐ０、ｐ１）を算出する。
【００８８】
ステップＳ２６において、教師データ生成部９１は、ステップＳ２２で抽出部９３が抽出した輝度分布を入力値の教師データとし、ステップＳ２５で重心算出部９２が算出した重心の位置を特徴量の教師データとして、これらの組を教師データとして記憶部７６に記憶させる。ステップＳ２７において、教師データ生成部９１は、教師データの生成に用いる次の蛍光の像があるか否かを判定する。教師データ生成部９１は、予定された蛍光の像の少なくとも１つについてステップＳ２２からステップＳ２６の処理が終了していない場合に、次の蛍光の像があると判定する（ステップＳ２７；Ｙｅｓ）。教師データ生成部９１は、次の蛍光の像があると判定した場合（ステップＳ１７；Ｙｅｓ）、ステップＳ２１に戻り次の蛍光の像を選択し、ステップＳ２２以降の処理を繰り返す。また、ステップＳ２７において、教師データ生成部９１は、予定された全ての蛍光の像についてステップＳ２２からステップＳ２６の処理が終了している場合に、次の蛍光の像がないと判定する（ステップＳ２７；Ｎｏ）。
【００８９】
本実施形態において、情報処理装置４は、例えばコンピュータシステムを含む。情報処理装置４は、記憶部７６に記憶されている情報処理プログラムを読み出し、この情報処理プログラムに従って各種の処理を実行する。この情報処理プログラムは、コンピュータに、所定の点像分布関数に基づいて、入力値の教師データおよび特徴量の教師データを生成することを実行させる。例えば、この情報処理プログラムは、コンピュータに、蛍光の像を含む入力画像に対して所定の点像分布関数を用いて、蛍光の像の重心を算出することと、重心を含む領域の輝度分布を抽出することとの一方または双方を実行させる。上記の情報処理プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
【００９０】
［第３実施形態］
第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１１は、本実施形態に係る顕微鏡を示すブロック図である。本実施形態において、教師データ生成部９１は、複数の蛍光の像の候補から、教師データの生成に用いる蛍光の像を選定する。教師データ生成部９１は、残差算出部９４および候補判定部９５を備える。
【００９１】
教師データ生成部９１において、重心算出部９２は、図９を参照して説明したように、蛍光の像Ｉｍを含む入力画像Ｐｄに対して、蛍光の像Ｉｍの輝度分布を所定の関数形（点像分布関数）でフィッティングすることによって、蛍光の像Ｉｍの重心を算出する。残差算出部９４は、入力画像Ｐｄに含まれる蛍光の像Ｉｍの候補を所定の点像分布関数にフィッティングした際の残差を算出する。候補判定部９５は、残差算出部９４が算出した残差に基づいて蛍光の像の候補を、入力値の教師データおよび特徴量の教師データに用いるか否かを判定する。候補判定部９５は、残差算出部９４が算出した残差が閾値未満である場合、残差に対応する蛍光の像の候補を特徴量の教師データに用いると判定する。候補判定部９５は、残差算出部９４が算出した残差が閾値以上である場合、残差に対応する蛍光の像の候補を特徴量の教師データに用いないと判定する。
【００９２】
次に、上述の顕微鏡１の動作に基づき、実施形態にかかる情報処理方法について説明する。図１２は、本実施形態に係る情報処理方法を示すフローチャートである。顕微鏡１の各部については図１１を適宜参照する。また、図１０と同様の処理については、その説明を適宜省略あるいは簡略化する。
【００９３】
ステップＳ２１からステップＳ２４の処理については、図１０と同様であり、その説明を省略する。ステップＳ３１において、残差算出部９４は、ステップＳ２４のフィッティングの残差を算出する。例えば、残差算出部９４は、フィッティングにより得られた関数と、蛍光の像の輝度分布とを比較して残差を算出する。
【００９４】
ステップＳ３２において、候補判定部９５は、ステップＳ３１で算出された残差は設定値未満であるか否かを判定する。候補判定部９５は、残差は設定値未満であると判定した場合（ステップＳ３２；Ｙｅｓ）、ステップＳ２５において、重心算出部９２は蛍光の像の重心を算出し、ステップＳ２６において、教師データ生成部９１は、輝度分布と重心との組を教師データとして記憶部７６に記憶させる。候補判定部９５は、残差は設定値以上であると判定した場合（ステップＳ３２；Ｎｏ）、教師データ生成部９１は、この蛍光の像を教師データの生成に用いることなく、ステップＳ２１に戻り以降の処理を繰り返す。
【００９５】
上記のフィッティングの残差は、例えば、蛍光の像の位置あるいはその周囲におけるノイズによって増加する。このノイズは、例えば、本実施形態において、教師データ生成部９１は、フィッティングの残差に基づいて教師データの生成に用いる蛍光の像を選定するので、例えば、機械学習の時間を短縮すること、機械学習の結果がノイズ等の影響を受けることが抑制される。
【００９６】
本実施形態において、情報処理装置４は、例えばコンピュータシステムを含む。情報処理装置４は、記憶部７６に記憶されている情報処理プログラムを読み出し、この情報処理プログラムに従って各種の処理を実行する。この情報処理プログラムは、コンピュータに、所定の点像分布関数に基づいて、入力画像に含まれる蛍光の像の候補を所定の点像分布関数にフィッティングした際の残差を算出することと、残差算出部が算出した残差に基づいて蛍光の像の候補を、入力値の教師データおよび特徴量の教師データに用いるか否かを判定することと、を実行させる。この情報処理プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
【００９７】
［第４実施形態］
第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１３は、本実施形態に係る顕微鏡を示すブロック図である。本実施形態において、教師データ生成部９１は、入力値生成部９６を備える。入力値生成部９６は、指定された重心に対して所定の点像分布関数を用いて入力値の教師データを生成する。例えば、入力値生成部９６は、図９（Ｂ）の式（１）に示した点像分布関数に対して、重心の指定値を用いてパラメータ（ｐ０〜ｐ５）を設定し、この点像分布関数が表す輝度分布を入力値の教師データとして生成する。また、教師データ生成部９１は、指定された重心を特徴量の教師データとし、機械学習部７５は、特徴量の教師データとして指定された重心を用いる。
【００９８】
次に、上述の顕微鏡１の動作に基づき、実施形態にかかる情報処理方法について説明する。図１４は、本実施形態に係る情報処理方法を示すフローチャートである。顕微鏡１の各部については図１３を適宜参照する。ステップＳ４１において、教師データ生成部９１は、重心を指定する。ステップＳ４２において、教師データ生成部９１は、点像分布関数のパラメータを設定する。例えば、ステップＳ４１およびステップＳ４２において、教師データ生成部９１は、乱数によって、図９（Ｂ）の式（１）におけるパラメータ（ｐ０〜ｐ５）を設定する。上記の乱数は、例えば、上限値および下限値が定められており、パラメータ（ｐ０〜ｐ５）は、予め定められた範囲内で任意の値をとりえる。なお、パラメータ（ｐ０〜ｐ５）のうち少なくとも１つは、乱数で決定されなくてもよく、例えばオペレータが指定する値などでもよい。
【００９９】
ステップＳ４３において、入力値生成部９６は、指定された重心に対して、ステップＳ４１およびステップＳ４２で設定された点像分布関数を用いて、指定された重心を含む所定の広さの領域における輝度分布を算出する。ステップＳ４４において、教師データ生成部９１は、ステップＳ４４で算出された輝度分布を入力値の教師データとし、ステップＳ４１で指定された重心を特徴量の教師データとして、これらを組にした教師データを記憶部７６に記憶させる。
【０１００】
本実施形態において、情報処理装置４は、例えばコンピュータシステムを含む。情報処理装置４は、記憶部７６に記憶されている情報処理プログラムを読み出し、この情報処理プログラムに従って各種の処理を実行する。この情報処理プログラムは、コンピュータに、指定された重心に対して所定の点像分布関数を用いて入力値の教師データを生成することを実行させる。この情報処理プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
【０１０１】
［第５実施形態］
第５実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、顕微鏡の構成は、図１３と同様であるが、入力値生成部９６が行う処理が異なる。図１５は、本実施形態に係る情報処理装置の教師データ生成部の処理を示す概念図である。入力値生成部９６は、指定された重心Ｑに対して、所定の点像分布関数を用いて第１輝度分布Ｉｍ１を生成する。また、入力値生成部９６は、第１輝度分布Ｉｍ１と、第１輝度分布Ｉｍ１と異なる第２輝度分布Ｉｍ２とを合成した輝度分布Ｉｍ３を入力値の教師データとして生成する。
【０１０２】
第２輝度分布Ｉｍ２は、例えば、ノイズを表す輝度分布である。ノイズは、例えば、標本Ｓにおいて観察位置と異なる深さの蛍光からの光、光学系で発生する迷光、外光等に起因するもの、あるいは撮像素子６０における電気的なノイズに起因するもの等がある。第２輝度分布Ｉｍ２は、例えば、顕微鏡本体２が取得した第１画像に含まれるノイズを予め解析しておき、第１画像に表れるノイズを再現した輝度分布でもよい。
【０１０３】
教師データ生成部９１は、上記の輝度分布Ｉｍ３を入力値の教師データとし、指定された重心（第１輝度分布Ｉｍ１の重心）を特徴量の教師データとして、これらを組にした教師データを記憶部７６（図１３参照）に記憶させる。機械学習部７５は、記憶部７６に記憶された教師データＴＤを読み出し、ニューラルネットワーク７７における機械学習に用いる。
【０１０４】
次に、上述の顕微鏡１の動作に基づき、実施形態にかかる情報処理方法について説明する。図１６は、本実施形態に係る情報処理方法を示すフローチャートである。顕微鏡１の各部については図１３を適宜参照する。また、図１４と同様の処理については、その説明を適宜省略あるいは簡略化する。
【０１０５】
ステップＳ４１およびステップＳ４２の処理については、図１４と同様である。また、ステップＳ４５において、入力値生成部９６は、指定された重心Ｑに対して、所定の点像分布関数を用いて第１輝度分布Ｉｍ１を生成する（図１５参照）。また、ステップＳ４６において、入力値生成部９６は、第１輝度分布Ｉｍ１と異なる第２輝度分布Ｉｍ２を取得する。例えば、第２輝度分布Ｉｍ２は、顕微鏡本体２が取得した第１画像に含まれるノイズを予め解析したものであり、第２輝度分布Ｉｍ２を示す情報は、記憶部７６に記憶されている。入力値生成部９６は、記憶部７６から第２輝度分布を示す情報を読み出すことにより、第２輝度分布Ｉｍ２を取得する。なお、入力値生成部９６は、図９（Ｂ）の式（１）に示した点像分布関数に対して、第１輝度分布Ｉｍ１と異なるパラメータを設定することで、第２輝度分布Ｉｍ２を生成してもよい。
【０１０６】
ステップＳ４７において、入力値生成部９６は、第１輝度分布Ｉｍ１と第２輝度分布Ｉｍ２とを合成した輝度分布Ｉｍ３を入力値の教師データとして生成する。ステップＳ４８において、教師データ生成部９１は、ステップＳ４７で生成された輝度分布Ｉｍ３を入力値の教師データとし、ステップＳ４１で指定された重心を特徴量の教師データとして、これらを組にした教師データを記憶部７６に記憶させる。
【０１０７】
本実施形態において、情報処理装置４は、例えばコンピュータシステムを含む。情報処理装置４は、記憶部７６に記憶されている情報処理プログラムを読み出し、この情報処理プログラムに従って各種の処理を実行する。この情報処理プログラムは、コンピュータに、指定された重心に対して所定の点像分布関数を用いて生成される第１輝度分布と、第１輝度分布と異なる第２輝度分布とを合成して、入力値の教師データを生成することを実行させる。この情報処理プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
【０１０８】
［第６実施形態］
第６実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１７は、本実施形態に係る顕微鏡、及び情報処理装置を示す概念図である。本実施形態において、顕微鏡１は、顕微鏡本体２および画像処理装置３を備え、情報処理装置４を備えていない。情報処理装置４は、顕微鏡１の外部の装置であり、計算モデルデータを生成する。例えば、情報処理装置４は、顕微鏡本体２が撮像した第１画像のデータの少なくとも一部をサンプルデータとして、通信または記憶媒体を介して、顕微鏡１から受け取る。
【０１０９】
情報処理装置４は、サンプルデータを図８等に示した入力画像のデータに用いて教師データを生成し、ニューラルネットワークの機械学習によって、計算モデルデータを生成する。情報処理装置４は、通信または記憶媒体を介して、計算モデルデータを画像処理装置３に供給する。画像処理装置３は、情報処理装置４からの計算モデルデータ（機械学習部７５の算出結果）を適用したニューラルネットワークによって第１画像のデータを処理する。
【０１１０】
なお、顕微鏡１は、サンプルデータを情報処理装置４に供給しなくてもよく、顕微鏡１以外の装置がサンプルデータを情報処理装置４に供給してもよい。また、情報処理装置４は、サンプルデータの供給を受けなくてもよく、例えば、図１３などで説明したように、サンプルデータ（入力画像）を用いないで教師データを生成してもよい。また、情報処理装置４は、教師データを生成しなくてもよく、図２に示したように外部から教師データの供給を受けて、計算モデルデータを生成してもよい。
【０１１１】
上述の実施形態に従えば、例えば、蛍光の像を表すデータが入力される入力層と、蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークによって機械学習を行い、入力層に入力値の教師データが入力された際に出力層から出力される出力値と、特徴量の教師データとを用いて、入力層と出力層と間の結合係数を算出する機械学習部を備える情報処理装置が提供される。
【０１１２】
上述の実施形態に従えば、例えば、蛍光の像を表すデータが入力される入力層と、蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークによって機械学習を行い、入力層に入力値の教師データが入力された際に出力層から出力される出力値と、特徴量の教師データとを用いて、入力層と出力層と間の結合係数を算出することを含む情報処理方法が提供される。
【０１１３】
上述の実施形態に従えば、例えば、コンピュータに、蛍光の像を表すデータが入力される入力層と、蛍光の像の特徴量を出力する出力層とを有するニューラルネットワークによって機械学習を行い、入力層に入力値の教師データが入力された際に出力層から出力される出力値と、特徴量の教師データとを用いて、入力層と出力層と間の結合係数を算出することを実行させる情報処理プログラムが提供される。
【０１１４】
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、特願２０１６−２４８１２７、及び上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
【符号の説明】
【０１１５】
１・・・顕微鏡、２・・・顕微鏡本体、３・・・画像処理装置、４・・・情報処理装置、５・・・撮像装置、７１・・・特徴量抽出部、７２・・・画像生成部、７３・・・ニューラルネットワーク、７５・・・機械学習部、７６・・・記憶部、７７・・・ニューラルネットワーク、８１・・・入力層、８２・・・出力層、８３ａ〜８３ｄ・・・中間層、８４・・・ニューロン、９１・・・教師データ生成部、９２・・・重心算出部、９３・・・抽出部、９４・・・残差算出部、９５・・・候補判定部、９６・・・入力値生成部
【図１】
2018116851.tif 000009
【図２】
2018116851.tif 000010
【図３】
2018116851.tif 000011
【図４】
2018116851.tif 000012
【図５】
2018116851.tif 000013
【図６】
2018116851.tif 000014
【図７】
2018116851.tif 000015
【図８】
2018116851.tif 000016
【図９】
2018116851.tif 000017
【図１０】
2018116851.tif 000018
【図１１】
2018116851.tif 000019
【図１２】
2018116851.tif 000020
【図１３】
2018116851.tif 000021
【図１４】
2018116851.tif 000022
【図１５】
2018116851.tif 000023
【図１６】
2018116851.tif 000024
【図１７】
2018116851.tif 000025
【国際調査報告】
2018116851.tif 000026
2018116851.tif 000027
2018116851.tif 000028
2018116851.tif 000029