(57)【要約】      （修正有）【課題】電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得する電磁波検出装置を提供する。【解決手段】電磁波検出装置１００は、可干渉性を有する電磁波ＥＬを照射する照射部ＲＬと、照射される電磁波の位相と振幅とのうちの一方又は両方を変調させるものであって、変調の状態を撮像対象ＯＢに対して相対的に変化させる電磁波変調部ＭＰと、照射部から照射される電磁波が撮像対象と電磁波変調部とによって変調され、変調された電磁波である変調後電磁波ＳＬの強度を１画素によって検出する変調後電磁波強度検出部１２とを備える。【選択図】図１
2018132501.tif 000002
【特許請求の範囲】
【請求項１】
可干渉性を有する電磁波を照射する照射部と、
照射される前記電磁波の位相と振幅とのうちの一方又は両方を変調させるものであって、前記変調の状態を撮像対象に対して相対的に変化させる電磁波変調部と、
前記照射部から照射される前記電磁波が前記撮像対象と前記電磁波変調部とによって変調され、変調された前記電磁波である変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出部と
を備える電磁波検出装置。
【請求項２】
前記変調後電磁波強度検出部が検出する複数の前記変調後電磁波の強度を機械学習する機械学習部と、
前記機械学習部によって機械学習された結果と前記変調後電磁波強度検出部が検出する複数の前記変調後電磁波の強度とに基づいて、前記撮像対象を判別する判別部と
を更に備える、請求項１に記載の電磁波検出装置。
【請求項３】
複数の前記変調後電磁波の強度と、当該強度を検出した際のそれぞれの前記電磁波変調部を示す情報と、当該電磁波変調部の前記変調の寄与度を示す寄与度情報（Pz2）とに基づいて、前記撮像対象からの前記電磁波のうちの少なくとも位相と振幅とを示す複素振幅情報を生成する生成部
を更に備える請求項１に記載の電磁波検出装置。
【請求項４】
前記生成部は、
前記撮像対象のスパース性に基づくスパース拘束演算を行うことにより、前記複素振幅情報を生成する
請求項３に記載の電磁波検出装置。
【請求項５】
前記照射部は、
前記電磁波変調部を介した前記電磁波を、前記撮像対象に対して照射する
請求項１から請求項４のいずれか一項に記載の電磁波検出装置。
【請求項６】
前記照射部は、
前記撮像対象を介した前記電磁波を、前記電磁波変調部に対して照射する
請求項１から請求項４のいずれか一項に記載の電磁波検出装置。
【請求項７】
前記電磁波変調部に含まれるパターンを、前記撮像対象に応じたパターンに変更する変更部
を更に備える請求項１から請求項６のいずれか一項に記載の電磁波検出装置。
【請求項８】
前記電磁波変調部は、ランダムなパターンを有する電磁波変調部である
請求項１から請求項７のいずれか一項に記載の電磁波検出装置。
【請求項９】
前記電磁波変調部には、
前記変調の状態を示す第１の状態と、前記第１の状態とは前記変調の状態が異なる第２の状態とがあって、
前記変調後電磁波強度検出部は、
前記撮像対象と前記第１の状態の前記電磁波変調部とによって変調される前記変調後電磁波の強度を示す第１の変調後電磁波の強度と、
前記撮像対象と前記第２の状態の前記電磁波変調部とによって変調される前記変調後電磁波の強度を示す第２の変調後電磁波の強度と
を少なくとも検出する
請求項１から請求項８のいずれか一項に記載の電磁波検出装置。
【請求項１０】
請求項１から請求項９のいずれか一項に記載の電磁波検出装置と、
前記撮像対象としての観察対象が流される流路とを備え、
前記電磁波検出装置の前記照射部は、前記流路に対して前記電磁波を照射し、
前記変調後電磁波強度検出部は、前記流路に対して照射された前記電磁波を検出する
フローサイトメーター。
【請求項１１】
可干渉性を有する電磁波を照射する照射ステップと、
照射される前記電磁波の位相と振幅とのうちの一方又は両方を変調させる電磁波変調部の前記変調の状態を撮像対象に対して相対的に変化させる電磁波変調ステップと、
前記照射ステップにおいて照射された前記電磁波が前記撮像対象と前記電磁波変調部とによって変調され、変調された前記電磁波である変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出ステップと
を有する電磁波検出方法。
【請求項１２】
コンピュータに、
可干渉性を有する電磁波を照射する照射ステップと、
照射される前記電磁波の位相と振幅とのうちの一方又は両方を変調させる電磁波変調部の前記変調の状態を撮像対象に対して相対的に変化させる電磁波変調ステップと、
前記照射ステップにおいて照射された前記電磁波が前記撮像対象と前記電磁波変調部とによって変調され、変調された前記電磁波である変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出ステップと
を実行させるための電磁波検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラムに関する。
【背景技術】
【０００２】
従来、電磁波を撮像対象に照射し、照射された電磁波が撮像対象によって散乱した電磁波を、領域毎に電磁波を減衰させる大きさが異なるランダムなパターンを持つ散乱板を介して撮像し、撮像画像とランダムなパターンとから、撮像対象によって散乱した電磁波の位相と振幅とを示す複素振幅を生成する技術が知られている（例えば、非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｓｉｎｇｌｅ−ｓｈｏｔ  ｐｈａｓｅ  ｉｍａｇｉｎｇ  ｗｉｔｈ  ａ  ｃｏｄｅｄ  ａｐｅｒｔｕｒｅ（ＯＰＴＩＣＳ  ＬＥＴＴＥＲＳ  ／  Ｖｏｌ．  ３９，  Ｎｏ．  ２２  ／  Ｎｏｖｅｍｂｅｒ  １５，  ２０１４）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では、複数の画素を備える撮像素子から取得した電磁波の強度の情報に基づいて、電磁波の位相と振幅とを再構成する。しかし、検出する電磁波の周波数によっては複数の画素を備える撮像素子を製造することが難しいという課題があった。
本発明の課題は、電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得することができる電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一態様は、可干渉性を有する電磁波を照射する照射部と、照射される前記電磁波の位相と振幅とのうちの一方又は両方を変調させるものであって、前記変調の状態を撮像対象に対して相対的に変化させる電磁波変調部と、前記照射部から照射される前記電磁波が前記撮像対象と前記電磁波変調部とによって変調され、変調された前記電磁波である変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出部とを備える電磁波検出装置である。
【０００６】
また、本発明の一態様は、上記の電磁波検出装置において、前記変調後電磁波強度検出部が検出する複数の前記変調後電磁波の強度を機械学習する機械学習部と、前記機械学習部によって機械学習された結果と前記変調後電磁波強度検出部が検出する複数の前記変調後電磁波の強度とに基づいて、前記撮像対象を判別する判別部とを更に備える。
【０００７】
また、本発明の一態様は、上記の電磁波検出装置において、複数の前記変調後電磁波の強度と、当該強度を検出した際のそれぞれの前記電磁波変調部を示す情報と、当該電磁波変調部の前記変調の寄与度を示す寄与度情報とに基づいて、前記撮像対象からの前記電磁波のうちの少なくとも位相と振幅とを示す複素振幅情報を生成する生成部を更に備える。
【０００８】
また、本発明の一態様は、上記の電磁波検出装置において、前記生成部は、前記撮像対象のスパース性に基づくスパース拘束演算を行うことにより、前記複素振幅情報を生成する。
【０００９】
また、本発明の一態様は、上記の電磁波検出装置において、前記照射部は、前記電磁波変調部を介した前記電磁波を、前記撮像対象に対して照射する。
【００１０】
また、本発明の一態様は、上記の電磁波検出装置において、前記照射部は、前記撮像対象を介した前記電磁波を、前記電磁波変調部に対して照射する。
【００１１】
また、本発明の一態様は、上記の電磁波検出装置において、前記電磁波変調部に含まれるパターンを、前記撮像対象に応じたパターンに変更する変更部を更に備える。
【００１２】
また、本発明の一態様は、上記の電磁波検出装置において、前記電磁波変調部は、ランダムなパターンを有する電磁波変調部である。
【００１３】
また、本発明の一態様は、上記の電磁波検出装置において、前記電磁波変調部には、前記変調の状態を示す第１の状態と、前記第１の状態とは前記変調の状態が異なる第２の状態とがあって、前記変調後電磁波強度検出部は、前記撮像対象と前記第１の状態の前記電磁波変調部とによって変調される前記変調後電磁波の強度を示す第１の変調後電磁波の強度と、前記撮像対象と前記第２の状態の前記電磁波変調部とによって変調される前記変調後電磁波の強度を示す第２の変調後電磁波の強度とを少なくとも検出する。
【００１４】
また、本発明の一態様は、上記の電磁波検出装置と、前記撮像対象としての観察対象が流される流路とを備え、前記電磁波検出装置の前記照射部は、前記流路に対して前記電磁波を照射し、前記変調後電磁波強度検出部は、前記流路に対して照射された前記電磁波を検出するフローサイトメーターである。
【００１５】
また、本発明の一態様は、可干渉性を有する電磁波を照射する照射ステップと、照射される前記電磁波の位相と振幅とのうちの一方又は両方を変調させる電磁波変調部の前記変調の状態を撮像対象に対して相対的に変化させる電磁波変調ステップと、前記照射ステップにおいて照射された前記電磁波が前記撮像対象と前記電磁波変調部とによって変調され、変調された前記電磁波である変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出ステップとを有する電磁波検出方法である。
【００１６】
また、本発明の一態様は、コンピュータに、可干渉性を有する電磁波を照射する照射ステップと、照射される前記電磁波の位相と振幅とのうちの一方又は両方を変調させる電磁波変調部の前記変調の状態を撮像対象に対して相対的に変化させる電磁波変調ステップと、前記照射ステップにおいて照射された前記電磁波が前記撮像対象と前記電磁波変調部とによって変調され、変調された前記電磁波である変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出ステップとを実行させるための電磁波検出プログラムである。
【発明の効果】
【００１７】
本発明によれば、電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得することができる電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】電磁波検出システムの構成の一例を示す図である。
【図２】結合強度情報の一例を示す図である。
【図３】構造化検出の構成の電磁波検出装置の構成の一例を示す図である。
【図４】電磁波検出装置の動作の一例を示す流れ図である。
【図５】撮像対象と、可変電磁波変調部と、変調後電磁波強度検出部との位置の関係を示す図である。
【図６】行列Ｍの一例を示す図である。
【図７】撮像対象の位相及び振幅の情報、撮像対象を顕微鏡によって撮像した撮像画像の一例を示す図である。
【図８】構造化照明の構成の電磁波検出装置の構成の一例を示す図である。
【図９】固定電磁波変調部に対して相対的に移動する撮像対象を介して変調される変調後電磁波の一例を示す図である。
【図１０】固定電磁波変調部の変調の状態の一例を示す図である。
【図１１】撮像対象が移動する場合の、構造化検出の電磁波検出装置の構成の一例を示す図である。
【図１２】電磁波検出装置の動作の一例を示す流れ図である。
【図１３】撮像対象が移動する場合の、構造化照明の電磁波検出装置の構成の一例を示す図である。
【図１４】変調後電磁波の強さを機械学習する電磁波検出装置の構成の一例を示す図である。
【図１５】電磁波検出装置の動作の一例を示す流れ図である。
【図１６】固定電磁波変調部の変調の状態を、撮像対象に応じて変更する電磁波検出装置の構成の一例を示す図である。
【図１７】遺伝的アルゴリズムによって生成されるパターンの一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して電磁波検出装置の実施形態について説明する。
図１は、電磁波検出システム１００の構成の一例を示す図である。
【００２０】
電磁波検出システム１００は、撮像対象ＯＢと電磁波変調部ＭＰとによって変調される電磁波を検出する。電磁波検出システム１００は検出した電磁波の強度と、電磁波変調部ＭＰとに基づいて、撮像対象ＯＢの位相又は振幅の情報を再構成する。
【００２１】
具体的には、電磁波検出システム１００は、照射部ＲＬから照射される電磁波ＥＬを撮像対象ＯＢに対して照射する。この電磁波ＥＬは、可干渉性を有する電磁波である。この電磁波ＥＬは、一部分に可干渉性を有する電磁波であればよい。言い換えると、照射部ＲＬは、コヒーレント光を出射する。照射部ＲＬから照射された電磁波ＥＬは、撮像対象ＯＢによって位相又は振幅が変調される。ここで、変調とは、電磁波の位相又は振幅に変化を与えることである。この撮像対象ＯＢによって変調された電磁波ＦＬは、電磁波変調部ＭＰによって位相又は振幅が変調される。電磁波変調部ＭＰとは、照射される電磁波ＥＬの位相と振幅とのうちの一方又は両方を変調させるものである。電磁波変調部ＭＰは、変調の状態が撮像対象ＯＢに対して相対的に変化する。この、撮像対象と電磁波変調部ＭＰとによって変調された電磁波のことを、変調後電磁波ＳＬとも記載する。
【００２２】
変調後電磁波強度検出部１２は、この変調後電磁波ＳＬの強度を検出する。以下の説明では、変調後電磁波ＳＬの強度を、強度情報とも記載する。変調後電磁波強度検出部１２とは、変調後電磁波の強度を１画素によって検出する検出器である。変調後電磁波強度検出部１２は、検出した強度情報を、電磁波検出装置１０に対して供給する。
【００２３】
電磁波検出装置１０は、変調後電磁波強度検出部１２から強度情報を取得する。電磁波検出装置１０は、強度情報の信号を処理する。電磁波検出装置１０は、処理した結果をフローサイトメーター４０に供給する。フローサイトメーター４０は、電磁波検出装置１０から供給される結果に基づいて、撮像対象ＯＢの分析を行う。以下の説明では、照射部ＲＬから撮像対象ＯＢを介して電磁波変調部ＭＰに電磁波を照射する構成を、構造化検出の構成とも記載する。
【００２４】
また、電磁波検出システム１００は、破線部Ａに含まれる撮像対象ＯＢと、電磁波変調部ＭＰとの配置を入れ替えてもよい。具体的には、照射部ＲＬから照射された電磁波ＥＬを、電磁波変調部ＭＰが変調する。撮像対象ＯＢは、この電磁波変調部ＭＰが変調した電磁波を変調する。変調後電磁波強度検出部１２は、撮像対象ＯＢが変調した変調後電磁波ＳＬを検出する。以下の説明では、照射部ＲＬから電磁波変調部ＭＰを介して撮像対象ＯＢに電磁波を照射する構成を、構造化照明の構成とも記載する。
【００２５】
上述した、構造化検出の構成及び構造化照明の構成では、電磁波ＥＬの進行方向に対して、撮像対象ＯＢ及び電磁波変調部ＭＰは移動しない。言い換えると、構造化検出の構成及び構造化照明の構成では、撮像対象ＯＢと、電磁波変調部ＭＰとの相対的な位置は変化しない。
また、電磁波変調部ＭＰは、変調後電磁波強度検出部１２が変調後電磁波ＳＬの強度を検出中には変化しない。電磁波変調部ＭＰは、変調後電磁波強度検出部１２が変調後電磁波ＳＬの強度の検出後に変化する。
【００２６】
次に、図２を参照して、変調後電磁波強度検出部１２が検出する強度情報の一例について説明する。
図２は、結合強度情報ＤＳＴの一例を示す図である。
図２（ａ）は、複数の強度情報ＤＳと、強度情報ＤＳそれぞれが取得された時刻順に並べたグラフである。図２（ｂ）は、変調の状態ＭＳを出力された時刻順に並べたグラフである。結合強度情報ＤＳＴとは、この図２（ａ）に示す複数の強度情報ＤＳと、図２（ｂ）に示す変調の状態ＭＳとのそれぞれの時刻を対応付けた情報である。
【００２７】
この一例では、結合強度情報ＤＳＴには、強度情報ＤＳ０から強度情報ＤＳ７までの情報が含まれる。変調後電磁波強度検出部１２は、時刻ｔ０のときに強度情報ＤＳ０を検出する。強度情報ＤＳ０を検出したときの電磁波変調部ＭＰは、変調の状態ＭＳ０である。変調後電磁波強度検出部１２は、時刻ｔ０と同様に、時刻ｔ１から時刻ｔ７までの強度情報ＤＳを検出する。また、電磁波変調部ＭＰは、時刻０から時刻ｔ７まで、それぞれ互いに異なる変調の状態ＭＳである。言い換えると、電磁波変調部ＭＰは、変調の状態ＭＳ０から電磁波変調部ＭＰ７までがそれぞれ互いに異なる状態で、電磁波ＥＬの位相と振幅とのうちの一方又は両方を変調させる。
【００２８】
つまり、電磁波変調部ＭＰには、変調の状態ＭＳを示す第１の状態と、第１の状態とは変調の状態ＭＳが異なる第２の状態とがある。
変調後電磁波強度検出部１２は、撮像対象ＯＢと第１の状態の電磁波変調部ＭＰとによって変調される変調後電磁波の強度ＤＳを示す第１の変調後電磁波ＳＬの強度を検出する。また、変調後電磁波強度検出部１２は、撮像対象ＯＢと第２の状態の電磁波変調部ＭＰとによって変調される変調後電磁波の強度ＤＳを示す第２の変調後電磁波ＳＬの強度とを少なくとも検出する。
【００２９】
［第１の実施形態］
［構造化検出の電磁波検出装置の構成］
次に、図３を参照して、電磁波位相振幅生成装置１０が構造化検出の構成の場合の一例について説明する。
図３は、構造化検出の構成の電磁波検出装置１０ａの構成の一例を示す図である。
【００３０】
電磁波検出装置１０ａは、照射部ＲＬと、可変電磁波変調部ＭＰＣと、変更部１１と、変調後電磁波強度検出部１２と、強度信号結合部１３と、生成部１４ａとを備える。
【００３１】
照射部ＲＬは、電磁波ＥＬを撮像対象ＯＢに対して照射する。撮像対象ＯＢとは、電磁波検出装置１０ａによって観察される試料である。具体的には、撮像対象ＯＢとは、不透明又は無色透明な生体試料、非生体試料である材料及び素材などである。ここで、電磁波ＥＬとは、可視光線、Ｘ線、電子線、紫外線、赤外線、テラヘルツ波、ミリ波及びマイクロ波のうち少なくとも１つである。なお、上述した電磁波ＥＬは、これに限られず、どのような波長の電磁波であってもよい。この一例では、電磁波が可視光線の場合について説明する。以下の説明では、可視光線を単に光と記載する場合もある。
【００３２】
可変電磁波変調部ＭＰＣは、照射される電磁波の位相と振幅とのうちの一方又は両方を変化させる。可変電磁波変調部ＭＰＣとは、変調の状態が変更可能な電磁波変調部ＭＰである。可変電磁波変調部ＭＰＣとは、具体的には、空間光変調器である。空間光変調器は、上述した可変電磁波変調部ＭＰＣの変調の状態ＭＳを、印加される電流、電圧、電気信号などに応じて変化させる装置である。より具体的には、可変電磁波変調部ＭＰＣは、照射される電磁波を変調する程度が異なる複数の領域を有する。以下の説明では、この複数の領域のことを、パターンとも記載する。この領域は、正方形に分割される。
【００３３】
変更部１１は、可変電磁波変調部ＭＰＣの変調の状態ＭＳを変化させる。変更部１１は、強度信号結合部１３に対して、可変電磁波変調部ＭＰＣの変調の状態ＭＳを示す変調状態情報を供給する。
【００３４】
変調後電磁波強度検出部１２は、変調後電磁波ＳＬを検出する。上述したように、この変調後電磁波ＳＬは、撮像対象ＯＢを介した電磁波ＦＬを、可変電磁波変調部ＭＰＣが変調した電磁波である。変調後電磁波強度検出部１２とは、１画素検出器である。より具体的には、変調後電磁波強度検出部１２とは、単一光検出器である。
変調後電磁波強度検出部１２は、検出した変調後電磁波ＳＬの強度情報を、強度信号結合部１３に対して供給する。
【００３５】
強度信号結合部１３は、変更部１１から変調状態情報を取得する。強度信号結合部１３は、変調後電磁波強度検出部１２から強度情報ＤＳを取得する。強度信号結合部１３は、取得した強度情報ＤＳと変調状態情報とを最新の情報とする結合強度情報ＤＳＴを生成する。強度信号結合部１３は、生成した結合強度情報ＤＳＴを記憶する。強度信号結合部１３は、記憶した結合強度情報ＤＳＴを、生成部１４ａに対して供給する。
【００３６】
生成部１４ａは、複数の変調後電磁波の強度と、この強度を検出した際のそれぞれの変調の状態ＭＳを示す変調状態情報と、この可変電磁波変調部ＭＰＣの変調の寄与度を示す寄与度情報とに基づいて、撮像対象ＯＢからの電磁波のうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。具体的には、生成部１４ａは、強度信号結合部１３から結合強度情報ＤＳＴを取得する。生成部１４ａは、結合強度情報ＤＳＴに基づいて、撮像対象ＯＢの位相又は振幅の情報が含まれる複素振幅を算出する。より具体的には生成部１４ａは、結合強度情報ＤＳＴと、電磁波変調部ＭＰの変調の寄与度を示す寄与度情報とに基づいて、撮像対象ＯＢからの電磁波ＦＬのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。
【００３７】
寄与度情報とは、ある位置に配置された点を光源とする点光源から照射される光が、電磁波変調部ＭＰ上の所定の位置において、変調される程度を示す情報である。具体的には、寄与度情報とは、点光源からの光が照射された電磁波変調部ＭＰＣ上の複数の位置におけるそれぞれのフレネル伝搬のインパルス応答を示す情報である。より具体的には、可変電磁波変調部ＭＰＣの各画素に点光源からの光が照射され、画素毎のそれぞれのフレネル伝搬のインパルス応答を示す情報である。
【００３８】
生成部１４ａは、算出した複素振幅の情報に基づいて、撮像対象ＯＢの位相又は振幅の情報を生成する。生成部１４ａは、生成した位相又は振幅の情報を、画像情報として表示部２０に表示させる。表示部２０は、生成部１４ａが生成する画像情報を表示する。
【００３９】
［構造化検出の電磁波検出装置の動作の概要］
次に、図４を参照して、構造化検出の電磁波検出装置１０ａの動作の概要について説明する。
図４は、電磁波検出装置１０ａの動作の一例を示す流れ図Ｓ１である。
【００４０】
撮像対象ＯＢを不図示の撮像部によって撮像する。不図示の撮像部は、撮像画像を生成部１４ａに対して出力する（ステップＳ１１０）。
変更部１１は、可変電磁波変調部ＭＰＣを、変調の状態ＭＳを変化させる。変更部１１は、この変化させた変調の状態ＭＳを、強度信号結合部１３に対して供給する（ステップＳ１２０）。
照射部ＲＬは、電磁波ＥＬを撮像対象ＯＢ及び可変電磁波変調部ＭＰＣに対して照射する（ステップＳ１３０）。
【００４１】
電磁波ＥＬは、撮像対象ＯＢ及び可変電磁波変調部ＭＰＣによって変調される。変調後電磁波強度検出部１２は、この変調された電磁波である変調後電磁波ＳＬを検出する。変調後電磁波強度検出部１２は、この検出した変調後電磁波ＳＬの強度である強度情報ＤＳを、強度信号結合部１３に対して供給する（ステップＳ１４０）。
【００４２】
強度信号結合部１３は、変調後電磁波強度検出部１２から、強度情報ＤＳを取得する。強度信号結合部１３は、変更部１１から、強度情報ＤＳを検出したときの変調の状態ＭＳを取得する。強度信号結合部１３は、取得した強度情報ＤＳと、変調の状態ＭＳとに基づいて、結合強度情報ＤＳＴを生成する。強度信号結合部１３は、生成した結合強度情報ＤＳＴに２回以上の強度情報ＤＳの検出結果が含まれない場合（ステップＳ１５０；ＮＯ）には、ステップＳ１２０からステップＳ１５０までの処理を繰り返す。
強度信号結合部１３は、生成した結合強度情報ＤＳＴに２回以上の強度情報ＤＳの検出結果が含まれる場合（ステップＳ１５０；ＹＥＳ）には、生成部１４ａに対して結合強度情報ＤＳＴを供給する。
【００４３】
生成部１４ａは、強度信号結合部１３から供給される結合強度情報ＤＳＴに基づいて、複素振幅情報を算出する（ステップＳ１６０）。この、複素振幅情報を算出する方法は、後述する。
生成部１４ａは、算出した複素振幅の情報に基づいて、撮像対象ＯＢの位相又は振幅の情報を生成する。生成部１４ａは、生成した振幅の情報に基づいて、撮像対象ＯＢの像を再構成する。生成部１４ａは、再構成した撮像対象ＯＢの像と、上述したステップＳ１１０で撮像した撮像画像とを比較する。
【００４４】
生成部１４ａは、この比較の結果、再構成した撮像対象ＯＢの像と、撮像画像とが近似しない場合（ステップＳ１７０；ＮＯ）には、ステップＳ１６０からの処理を繰り返す。
生成部１４ａは、この比較の結果、再構成した撮像対象ＯＢの像と、撮像画像とが近似する場合（ステップＳ１７０；ＹＥＳ）には、処理を終了する。
【００４５】
なお、上述したステップＳ１２０と、ステップＳ１３０との処理は、どちらを先に処理してもよい。また、ステップＳ１５０では、１回以上の検出結果が結合強度情報ＤＳＴに含まれていればよい。変調後電磁波強度検出部１２は、強度情報ＤＳを予め定められた回数検出してもよい。この予め定められた回数とは、一例として、撮像対象ＯＢに合わせて予め定められた回数であってもよい。
【００４６】
なお、ステップＳ１７０で、再構成した撮像対象ＯＢの像と、撮像画像とを比較する処理は、複素振幅情報を所定の回数算出し、この所定の回数算出された振幅の情報に基づいて、撮像対象ＯＢの像を再構成してもよい。また、ステップＳ１７０は、電磁波検出装置１０ａを操作する人が、表示部２０に表示される撮像対象ＯＢの像を観察し、所望の像が得られたときに、ステップＳ１７０の処理を終了させてもよい。
【００４７】
［構造化検出の構成の複素振幅情報の算出方法］
次に、図５から図７を参照して、上述したステップＳ１６０において、生成部１４ａが複素振幅情報を算出する方法について説明する。
図５は、撮像対象ＯＢと、可変電磁波変調部ＭＰＣと、変調後電磁波強度検出部１２との位置の関係を示す図である。
撮像対象ＯＢと可変電磁波変調部ＭＰＣとの間の距離が、距離ｚ１であって、可変電磁波変調部ＭＰＣと変調後電磁波強度検出部１２との間の距離が、距離ｚ２の場合について説明する。以下の説明における距離ｚ１も同様である。
撮像対象ＯＢによって変調された電磁波ＦＬは、距離ｚ１を伝搬する。変調後電磁波ＳＬは、この撮像対象ＯＢによって変調された電磁波ＦＬが可変電磁波変調部ＭＰＣによって変調された電磁波である。この変調後電磁波ＳＬは、距離ｚ２を伝搬する。
【００４８】
生成部１４ａは、結合強度情報ＤＳＴに含まれる複数の強度情報ＤＳと、変調の状態ＭＳとに基づいて、撮像対象ＯＢのスパース性に基づくスパース拘束演算を行うことにより、撮像対象ＯＢの位相と振幅とを示す情報を生成する。具体的には、生成部１４ａは、式（１）、式（２）、式（３）及び式（４）から、撮像対象ＯＢの複素振幅情報を生成する。
【００４９】
【数１】
2018132501.tif 000003
【００５０】
式（１）は順問題、すなわち数理モデルを使って予測する問題を示す式である。
式（１）に含まれるｆとは、撮像対象ＯＢの複素振幅情報である。以下の数式におけるｆも同様である。
式（１）に含まれるａとは、撮像対象ＯＢによって変調された電磁波が、可変電磁波変調部ＭＰＣに伝搬する途中の、ある平面における複素振幅を示す信号である。以下の数式におけるａも同様である。以下の説明では、このａを、補助平面ａとも記載する。より具体的には、式（１）に含まれるａとは、撮像対象ＯＢから距離ｚ１離れた可変電磁波変調部ＭＰＣの位置において仮定される複素振幅情報である。
【００５１】
式（１）に含まれるＰｚ１とは、撮像対象ＯＢから可変電磁波変調部ＭＰＣまでのフレネル伝搬を示すテープリッツ行列である。以下の数式におけるＰｚ１も同様である。より具体的には、Ｐｚ１は、寄与度情報を行成分とするテープリッツ行列である。
【００５２】
【数２】
2018132501.tif 000004
【００５３】
式（２）は、上述した式（１）と同様に、順問題である。
式（２）に含まれる｜ｇ｜２とは、変調後電磁波強度検出部１２が検出した変調後電磁波ＳＬの強度を示す強度情報ＤＳである。この具体的には、強度情報ＤＳとは、変調後電磁波ＳＬの振幅の絶対値を二乗した情報である。以下の数式における｜ｇ｜２も同様である。
【００５４】
式（２）に含まれるｇとは、変調後電磁波強度検出部１２が検出する変調後電磁波ＳＬの位相と振幅とを示す複素振幅情報である。以下の数式におけるｇも同様である。また、以下の説明では、この変調後電磁波強度検出部１２が検出する変調後電磁波ＳＬの位相と振幅とを示す複素振幅情報を、単に複素振幅情報ｇと記載することがある。
式（２）に含まれるＭとは、電磁波変調部ＭＰの変調の状態ＭＳを示す行列である。このＭとは、この実施形態では可変電磁波変調部ＭＰＣの変調の状態ＭＳを示す行列である。このＭについては、後述する。
【００５５】
式（１）に含まれるＰｚ２とは、可変電磁波変調部ＭＰＣから変調後電磁波強度検出部１２までのフレネル伝搬を示す対角行列である。以下の数式におけるＰｚ２も同様である。より具体的には、Ｐｚ２は、寄与度情報を対角成分とする行列である。
【００５６】
上述した、式（１）及び式（２）を解くことにより、複素振幅情報ｇを生成する。この式（１）及び式（２）に示す順問題が、非線形問題であり、容易に解くことができない場合がある。そこで、この一例では、式（３）及び式（４）に示す最適化問題を解くことにより、複素振幅情報ｇを生成する。
【００５７】
【数３】
2018132501.tif 000005
【００５８】
式（３）は逆問題、すなわちデータから数理モデルを推定する問題を示す式である。式（３）は、可変電磁波変調部ＭＰＣ上の補助平面ａから、撮像対象ＯＢの複素振幅ｆハットを推定する最適化問題を示す。
式（３）に含まれるΨ［ｆ］とは、スパース拘束である。具体的には、Ψ［ｆ］とは、撮像対象ＯＢの信号を示す情報のスパース性に基づく正則化関数である。式（３）に含まれるτとは、正則のための正則化パラメータである。以下の数式におけるＲ（ｆ）及びτも同様である。
式（３）に含まれるｌ２とは、ｌ２ノルムである。以下の数式におけるｌ２も、同様である。
【００５９】
【数４】
2018132501.tif 000006
【００６０】
式（４）は、式（３）と同様に逆問題である。式（４）は、強度情報ＤＳである｜ｇ｜２と、補助平面ａの複素振幅から、変調後電磁波強度検出部１２上の複素振幅ｇハットを推定する。
式（２）に含まれる、Ｒ（ｆ）とは、スパース拘束である。具体的には、Ｒ（ｆ）とは、撮像対象ＯＢの信号を示す情報のスパース性に基づく正則である。式（２）に含まれるτとは、正則のためのパラメータである。以下の数式におけるＲ（ｆ）及びτも同様である。
【００６１】
つまり、生成部１４ａは、撮像対象ＯＢのスパース性に基づくスパース拘束演算を行うことにより、変調後電磁波ＳＬの複素振幅情報ｇを生成する。なお、生成部１４ａは、スパース拘束演算を公知の手法によって生成する。例えば、生成部１４ａは、公知のスパースソルバーを用いてスパース拘束演算を行う。
【００６２】
［寄与度情報について］
次に、上述したＰｚ１に含まれる寄与度情報について説明する。
上述した式（１）に含まれる寄与度情報は、式（５）によって表すことができる。
【００６３】
【数５】
2018132501.tif 000007
【００６４】
ここで、式（５）に含まれるｒ１は、式（６）によって表すことができる。このｒ１は、変調後電磁波強度検出部１２と、可変電磁波変調部ＭＰＣ上のある位置との距離を示す。以下の数式におけるｒ１も同様である。
式（５）に含まれるｈｚ１は、Ｐｚ１に含まれる寄与度情報である。より具体的には、ｈｚ１とは、フレネル伝搬のインパルス応答関数である。上述したように、Ｐｚ１とは、このｈｚ１を行成分とするテープリッツ行列である。
【００６５】
【数６】
2018132501.tif 000008
【００６６】
式（５）及び式（６）に含まれるｘとは、変調後電磁波強度検出部１２と、可変電磁波変調部ＭＰＣのある位置とのＸ方向の距離である。以下の数式におけるｘも同様である。
式（５）及び式（６）に含まれるｙとは、変調後電磁波強度検出部１２と、可変電磁波変調部ＭＰＣのある位置とのＹ方向の距離である。以下の数式におけるｙも同様である。
言い換えると、ｘとは、変調後電磁波強度検出部１２からＸ軸方向にｘの距離に配置される画素と、変調後電磁波強度検出部１２との距離である。また、ｙとは、変調後電磁波強度検出部１２からＹ軸方向にｙの距離に配置される画素の位置と、変調後電磁波強度検出部１２との距離である。
【００６７】
次に、上述したＰｚ２に含まれる寄与度情報について説明する。
Ｐｚ２に含まれる寄与度情報は、式（７）によって表すことができる。
【００６８】
【数７】
2018132501.tif 000009
【００６９】
式（７）に含まれるｒ２は、式（８）によって表すことができる。このｒ２は、撮像対象ＯＢと、可変電磁波変調部ＭＰＣ上のある位置との距離を示す。以下の数式におけるｒ２も同様である。
式（７）に含まれるｈｚ２は、Ｐｚ２に含まれる寄与度情報である。より具体的には、ｈｚ２とは、フレネル伝搬のインパルス応答関数である。上述したように、Ｐｚ２とは、このｈｚ２を対角成分とする対角行列である。
【００７０】
【数８】
2018132501.tif 000010
【００７１】
式（７）及び式（８）に含まれるｘ２とは、撮像対象ＯＢと、可変電磁波変調部ＭＰＣのある位置とのＸ方向の距離である。以下の数式におけるｘ２も同様である。
式（７）及び式（８）に含まれるｙ２とは、撮像対象ＯＢと、可変電磁波変調部ＭＰＣのある位置とのＹ方向の距離である。以下の数式におけるｙ２も同様である。
言い換えると、ｘ２とは、変調後電磁波強度検出部１２からＸ軸方向にｘ２の距離に配置される画素と、撮像対象ＯＢとの距離である。また、ｙ２とは、変調後電磁波強度検出部１２からＹ軸方向にｙ２の距離に配置される画素の位置と、撮像対象ＯＢとの距離である。
【００７２】
［撮像対象ＯＢの複素振幅情報について］
ここで、上述した撮像対象ＯＢの複素振幅情報について説明する。
撮像対象ＯＢの複素振幅情報は、式（９）に示す行列である。
【００７３】
【数９】
2018132501.tif 000011
【００７４】
式（９）に含まれるＮとは、生成部１４が再構成する画像の画素数である。以下の数式におけるＮも同様である。
【００７５】
［複素振幅情報ｇについて］
次に、上述した複素振幅情報ｇについて説明する。
複素振幅情報ｇは、式（１０）に示す行列である。
【００７６】
【数１０】
2018132501.tif 000012
【００７７】
式（１０）に含まれるＫとは、変調後電磁波強度検出部１２が、変調後電磁波ＳＬを検出した回数である。言い換えると、Ｋとは、結合強度情報ＤＳＴに含まれる強度情報ＤＳ及び変調の状態ＭＳの情報の数である。以下の数式におけるＫも同様である。
【００７８】
［電磁波変調部ＭＰについて］
次に、図６を参照して、上述した数式（２）に含まれる行列Ｍについて説明する。
図６は、行列Ｍの一例を示す図である。図６には、電磁波変調部ＭＰが広がる面を直交座標の軸とするＸＹ軸を示してある。
行列Ｍは、電磁波変調部ＭＰ上の各位置における変調の程度を示す行列である。具体的には、行列Ｍとは式（１１）に示す行列である。
【００７９】
【数１１】
2018132501.tif 000013
【００８０】
図６に示すように、電磁波変調部ＭＰ１は、強度情報ＤＳを１回目に検出したときの変調の状態ＭＳである。電磁波変調部ＭＰ２は、強度情報ＤＳを２回目に検出したときの変調の状態ＭＳである。電磁波変調部ＭＰ３は、強度情報ＤＳを３回目に検出したときの変調の状態ＭＳである。電磁波変調部ＭＰｍは、強度情報ＤＳをｍ回目に検出したときの変調の状態ＭＳである。
【００８１】
行列Ｍは、電磁波変調部ＭＰ１から電磁波変調部ＭＰｍまでの、それぞれの電磁波変調部ＭＰの変調の程度を示す値を含む行列である。この変調の程度を示す値とは、例えば、電磁波変調部ＭＰ１から電磁波変調部ＭＰｍが、光の振幅を変調するパターンの場合には、照射された光を通さない０から、光の振幅をそのままにして散乱する１までの数値によって示される値である。変調の程度を示す値とは、光の位相を変調するパターンの場合には、照射された光の位相の変調の程度に応じた０から１までの数値によって示される値である。
【００８２】
行列Ｍの１行目の要素ＭＥ１には、電磁波変調部ＭＰ１の変調の程度を示す値が入力される。具体的には、要素ＭＥ１には、電磁波変調部ＭＰ１の列ＸＡ１から列ＸＡ３までに含まれる各振幅の程度示す値をそれぞれ順に、行方向に走査した値が入力される。ここで、列方向とは、電磁波変調部ＭＰ１の左上を原点とするＸ軸方向である。行方向とは、電磁波変調部ＭＰ１の左上を原点とするＹ軸方向である。
要素ＭＥ２から要素ＭＥｍには、要素ＭＥ１と同様に、それぞれ、電磁波変調部ＭＰ２から電磁波変調部ＭＰｍの変調の程度を示す値が入力される。
【００８３】
［電磁波検出装置の動作の具体例］
［補助平面による解法］
ここまでは、生成部１４ａの動作の概要について説明した。
以下の説明では、生成部１４ａは、オルタネイティングプロジェクションによって、複素振幅情報ｇハットを生成する。
生成部１４ａは、上述した式（３）及び式（４）を交互に演算し、撮像対象ＯＢの複素振幅情報を生成する。具体的には、生成部１４ａは、式（３）を、正則化関数に全変動を用いたＴｗＩＳＴ法により解く。ＴｗＩＳＴ法とは、圧縮センシングの一般的な解法である。生成部１４ａは、式（４）をＧ−Ｓ法によって解くことにより、複素振幅ｇハットを推定する。Ｇ−Ｓ法とは、反復型位相推定法である。
【００８４】
具体的には、生成部１４ａは、式（４）に含まれる複素振幅情報ｇハットに、初期値として仮の値を設定する。初期値としての複素振幅情報ｇハットの仮の値は、どのような値であってもよい。生成部１４ａは、可変電磁波変調部ＭＰＣの位置に補助平面ａを仮定する。生成部１４ａは、この仮置きの補助平面ａを、式（３）に代入する。生成部１４ａは、式（３）を、ＴｗＩＳＴ法によって解くことにより、仮置きのｆハットを生成する。ＴｗＩＳＴ法とは、圧縮センシングの一般的な解法である。
生成部１４ａは、仮置きのｆハットを伝搬させる。生成部１４ａは、伝搬させた仮置きのｆハットを初期値として、式（３）から補助平面ａを生成する。
【００８５】
つまり、生成部１４ａは複素振幅情報ｇの初期値にランダムな値を代入して、Ｇ−Ｓ法により補助平面ａを生成する。生成部１４ａは、生成した補助平面ａを式（３）に代入し、仮置きのｆハットをＴｗＩＳＴ法により生成する。生成部１４ａは、生成した仮置きのｆハットを式（４）に代入し、ランダムな値よりも精度がよい仮置きのｇハットを生成する。
生成部１４ａは、上述した処理を、仮置きのｇハットから再構成した変調後電磁波ＳＬの強度を示す情報から再構成した撮像対象ＯＢの像である再構成画像と、撮像対象ＯＢを撮像した撮像画像とが近似するまで繰り返す。生成部１４ａは、この再構成画像と、撮像画像とが近似する場合には、表示部２０に再構成画像を表示させる。
【００８６】
図７に、生成部１４ａが再構成した撮像対象ＯＢの位相と振幅の情報の一例を示す。
図７は、撮像対象ＯＢの位相及び振幅の情報、撮像対象ＯＢを顕微鏡によって撮像した撮像画像の一例を示す図である。
図７（ａ）は、電磁波検出装置１０ａが再構成した撮像対象ＯＢの振幅の情報を、画像情報にした振幅画像情報ＲＶＡである。図７（ｂ）は、電磁波検出装置１０ａが再構成した撮像対象ＯＢの位相の情報を、画像情報にした位相画像情報ＲＰである。図７（ｃ）は、顕微鏡によって撮像された撮像対象ＯＢの撮像画像ＰＧである。
ここで、図７に示す撮像対象ＯＢは、水と油の混合液である。なお、振幅画像情報ＲＶＡ及び位相画像情報ＲＰの画像サイズは、縦２０６画素、横２０６画素の画像情報である。変調後電磁波強度検出部１２は、強度情報ＤＳを７０００回検出した。
【００８７】
なお、式（１）及び式（２）を解く方法は、上述したＧ−Ｓ法及びＴｗＩＳＴ法のオルタネイティングプロジェクションによる方法に限られない。
【００８８】
［第１の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ａは、照射部ＲＬと、撮像対象ＯＢと、可変電磁波変調部ＭＰＣと、変調後電磁波強度検出部１２との位置の関係が、構造化検出の構成である。この構成により、電磁波検出装置１０ａは、構造化照明の構成と比較して、より遠くの撮像対象ＯＢの複素振幅情報が含まれる信号を取得することに適している。
また、変調後電磁波強度検出部１２は、１画素検出器である。この1画素検出器は、複数の画素を有するイメージセンサよりも多くの種類の波長に対応した検出器がある。この単一光検出器を、所望の波長が検出可能な検出器に変更することにより、電磁波検出装置１０ａは、複数の画素を有するイメージセンサよりも多くの種類の波長を検出することができる。これにより、電磁波検出装置１０ａは、照射部ＲＬから照射される電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得することができる。
また、電磁波検出装置１０ａは、生成部１４ａを備える。生成部１４ａは、変調後電磁波強度検出部１２が検出した複数の強度情報ＤＳと、強度情報ＤＳを検出したときの可変電磁波変調部ＭＰＣの変調の状態ＭＳのそれぞれとに基づいて、撮像対象ＯＢの位相又は振幅の情報を生成することができる。これにより、細胞などの撮像対象を、観察のための染色などの処理を行わずに観察することができ、染色コストを抑制することができる。また、染色などによる細胞への影響を抑えることができるため、観察後の細胞を再び生体に戻すことができる。この、低侵襲の観察方法は、再生医療などで求められていた。
また、生成部１４ａは、撮像対象ＯＢの位相の情報を生成する。これにより、光の振幅の情報である撮像画像と比較して、撮像対象ＯＢの屈折率なども観察することができる。
【００８９】
なお、上述した説明では、可変電磁波変調部ＭＰＣが空間光変調器の場合について説明したが、これに限られない。可変電磁波変調部ＭＰＣは、電磁波の振幅と位相とのうちの一方又は両方を変調するものであればよい。つまり、電磁波変調部ＭＰは、ランダムなパターンを有する。このランダムなパターンは、空間周波数上では、位相の変調の程度がランダムなパターンである。また、このランダムなパターンは、空間周波数上では、振幅はほぼ一様に広がるパターンである。この、周波数空間上では位相の変調の程度がランダムかつ振幅はほぼ一様に広がるパターンとは、実空間上では、上述した複数の領域のそれぞれがランダムな変調の程度を有するパターンである。電磁波変調部ＭＰは、どのような変調の状態ＭＳのものであっても、撮像対象ＯＢに因らずに、撮像対象ＯＢの位相又は振幅の情報を再構成することができる。より具体的には、可変電磁波変調部ＭＰＣは、液晶ディスプレイ、机及び紙などであってもよい。変更部１１は、電気信号などにより可変電磁波変調部ＭＰＣの変調の状態ＭＳを変化させることができない場合には、物理的に可変電磁波変調部ＭＰＣとは異なる変調の状態ＭＳを有する電磁波変調部に交換すればよい。この場合には、変更部１１は、交換後の可変電磁波変調部ＭＰＣの変調の状態ＭＳが、操作部３０などから供給されればよい。
【００９０】
また、可変電磁波変調部ＭＰＣは、電磁波の振幅のみを変調にして電磁波の位相を一定にするものであってもよい。可変電磁波変調部ＭＰＣは、電磁波の振幅を一定にして電磁波の位相のみを変調するものであってもよい。可変電磁波変調部ＭＰＣは、電磁波の振幅と位相とを変調するものであってもよい。
【００９１】
［第２の実施形態］
［構造化照明の構成の電磁波検出装置の構成の一例］
次に、図８を参照して、上述した電磁波検出装置１０が、構造化照明の構成の場合の一例について説明する。なお、第１の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図８は、構造化照明の構成の電磁波検出装置１０ｂの構成の一例を示す図である。
【００９２】
電磁波検出装置１０ｂは、照射部ＲＬと、可変電磁波変調部ＭＰＣと、変更部１１と、変調後電磁波強度検出部１２と、強度信号結合部１３と、生成部１４ｂとを備える。
【００９３】
照射部ＲＬから照射された電磁波ＥＬは、可変電磁波変調部ＭＰＣによって変調される。この変調された電磁波とは、電磁波ＭＬである。
強度信号結合部１３は、生成部１４ｂに対して結合強度情報ＤＳＴを供給する。
生成部１４ｂは、強度信号結合部１３から結合強度情報ＤＳＴを取得する。生成部１４ｂは、強度信号結合部１３から取得した結合強度情報ＤＳＴに基づいて、撮像対象ＯＢの位相又は振幅の情報が含まれる複素振幅を算出する。具体的には、生成部１４ｂは、結合強度情報ＤＳＴと、電磁波変調部ＭＰの変調の寄与度を示す寄与度情報とに基づいて、撮像対象ＯＢからの電磁波ＦＬのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。生成部１４ｂは、生成した位相又は振幅の情報を、画像情報として表示部２０に表示させる。表示部２０は、生成部１４ｂが生成する画像情報を表示する。
【００９４】
［構造化検出の構成の電磁波検出装置の動作の概要］
電磁波検出装置１０ｂの動作の一例について説明する。
電磁波検出装置１０ｂは、図４に示す流れ図Ｓ１におけるステップＳ１６０の、複素振幅情報の算出方法が、構造化照明の構成の場合と異なる。また、本実施形態では、撮像対象ＯＢと変調後電磁波強度検出部１２との間の距離が、距離ｚ２の場合について説明する。
【００９５】
［構造化照明の構成の複素振幅情報の算出方法］
次に、上述したステップＳ１６０において、生成部１４ｂが複素振幅情報を算出する方法について説明する。
構造化照明の場合には、可変電磁波変調部ＭＰＣの位置が、撮像対象ＯＢの位置と同じ位置にあると仮定して計算を行う。具体的には、補助平面ａを、撮像対象ＯＢ上に配置して計算する。つまり、式（１２）に示すように、補助平面ａと、撮像対象ＯＢの複素振幅とが等しい。
【００９６】
【数１２】
2018132501.tif 000014
【００９７】
生成部１４ｂは、結合強度情報ＤＳＴに含まれる複数の強度情報ＤＳと、変調の状態ＭＳとに基づいて、撮像対象ＯＢのスパース性に基づくスパース拘束演算を行うことにより、撮像対象ＯＢの位相と振幅とを示す情報を生成する。具体的には、生成部１４ｂは、式（１２）、式（１３）、式（１４）及び式（１５）から、撮像対象ＯＢの複素振幅情報を生成する。
【００９８】
【数１３】
2018132501.tif 000015
【００９９】
この式（１３）は、順問題である。式（１３）に含まれるＰｚ２とは、撮像対象ＯＢから変調後電磁波強度検出部１２までのフレネル伝搬を示すテープリッツ行列である。
【０１００】
【数１４】
2018132501.tif 000016
【０１０１】
この式（１４）は、逆問題である。
【０１０２】
【数１５】
2018132501.tif 000017
【０１０３】
この式（１５）も、上述した式（１４）と同様に逆問題である。式（１５）に含まれるＰｚ２とは、撮像対象ＯＢから変調後電磁波強度検出部１２までのフレネル伝搬を示すテープリッツ行列である。
【０１０４】
［補助平面による解法］
以下の説明では、生成部１４ｂは、オルタネイティングプロジェクションによって、複素振幅情報ｇを生成する。
生成部１４ｂは、補助平面ａを、撮像対象ＯＢと、撮像素子との間に設定する。補助平面ａを仮定すると、式（１３）は、式（１４）及び式（１５）によって表現することができる。補助平面ａは、線形問題を解くことにより生成する。
なお、補助平面ａは、式（１５）に含まれる仮置きのｇハットを逆フレネル変換することにより生成される。つまり、生成部１４ｂは、位相推定問題を解くことにより、複素振幅情報ｇを生成することができる。
【０１０５】
生成部１４ｂは、初期値として、複素振幅情報ｇに仮の値を設定する。初期値としての複素振幅情報ｇの仮の値は、どの様な値であってもよい。生成部１４ｂは、仮の値を設定した補助平面ａを式（１５）に代入する。生成部１４ｂは、式（１５）を、Ｇ−Ｓ法によって解くことにより仮置きのｇハットを生成する。Ｇ−Ｓ法とは、反復型位相推定法である。なお、生成部１４ｂは、結合強度情報ＤＳＴに含まれる強度情報ＤＳのそれぞれを、距離ｚ２の位置での複素振幅情報及び補助平面ａの強度によって要素単位で除算する。生成部１４ｂは、要素単位で除算した値を１／２乗した値と、距離ｚ２の位置での複素振幅情報及び補助平面ａを要素単位で乗算することにより、仮置きのｇハットを生成する。生成部１４ｂは、生成した仮置きのｇハットを、逆フレネル変換することにより、仮置きの補助平面ａを生成する。
【０１０６】
生成部１４ｂは、仮置きのｆを伝搬させる。生成部１４ｂは、伝搬させた仮置きのｆを初期値として、式（１５）から補助平面ａを生成する。
つまり、生成部１４ｂは複素振幅情報ｇの初期値にランダムな値を代入して、Ｇ−Ｓ法により補助平面ａを生成する。生成部１４ｂは、生成した補助平面ａを式（１４）に代入し、仮置きのｆをＴｗＩＳＴ法により生成する。生成部１４ｂは、生成した仮置きのｆを式（１５）に代入し、ランダムな値よりも精度がよい仮置きのｇハットを生成する。
生成部１４ｂは、上述した処理を、仮置きのｇハットから再構成した変調後電磁波ＳＬの複素振幅ｇに含まれる強度を示す情報と、撮像部１１が撮像対象ＯＢを撮像した撮像画像とが近似するまで繰り返す。
なお、式（１４）及び式（１５）を解く方法は、上述したＧ−Ｓ法及びＴｗＩＳＴ法のオルタネイティングプロジェクションによる方法に限られない。
【０１０７】
［第２の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ｂは、照射部ＲＬと、撮像対象ＯＢと、可変電磁波変調部ＭＰＣと、変調後電磁波強度検出部１２との位置の関係が、構造化照明の構成である。この構成により、電磁波検出装置１０ｂは、構造化検出の構成と比較して、より撮像対象ＯＢに照射する電磁波ＥＬの強さを弱めることができる。電磁波ＥＬの強さを弱めることにより、撮像対象ＯＢに対する電磁波ＥＬからの影響を抑制することができる。つまり、電磁波検出装置１０ｂは、構造化検出の構成と比較して、より撮像対象ＯＢに対して低い侵襲性である。
【０１０８】
［撮像対象ＯＢが固定電磁波変調部ＭＰＳに対して相対的に移動する場合］
次に、図９を参照して、撮像対象ＯＢが、固定電磁波変調部ＭＰＳに対して相対的に移動する場合の、構成の一例について説明する。固定電磁波変調部ＭＰＳとは、変調の状態ＭＳが固定される電磁波変調部である。
図９は、固定電磁波変調部ＭＰＳに対して相対的に移動する撮像対象ＯＢを介して変調される変調後電磁波ＳＬの一例を示す図である。図９には、３次元直交座標系として、ＸＹＺ座標系を示す。本実施形態において、Ｚ軸方向が照射部ＲＬから出射される電磁波の光軸方向である。また、撮像対象ＯＢは、Ｙ軸方向の＋Ｙ方向に移動する。Ｘ軸方向は、フローサイトメーター４０の奥行き方向である。
【０１０９】
電磁波検出システム１００ｃは、電磁波検出装置１０と、フローサイトメーター４０とを備える。この一例では、電磁波検出装置１０は、フローサイトメーター４０が備える照射部ＲＬ、固定電磁波変調部ＭＰＳ、変調後電磁波強度検出部１２が、流路Ｆを移動する撮像対象ＯＢと固定電磁波変調部ＭＰＳとが変調した変調後電磁波ＳＬを検出する。固定電磁波変調部ＭＰＳとは、電磁波変調部ＭＰの一例である。また、固定電磁波変調部ＭＰＳとは、変調の状態ＭＳが変化しない電磁波変調部ＭＰである。流路Ｆとは、水溶液と共に、細胞などが流されることにより、固定電磁波変調部ＭＰＳに対して撮像対象ＯＢを相対的に移動させる機構である。この細胞とは、撮像対象ＯＢとしての観察対象である。この流路Ｆには、照射部ＲＬから電磁波ＥＬが照射される。
【０１１０】
撮像対象ＯＢは、流路Ｆに沿って移動する。流路Ｆ内の水溶液は、原点から＋Ｙ軸方向に向かって撮像対象ＯＢを移動させる。具体的には、この一例では、撮像対象ＯＢは、＋Ｙ軸方向である向きＭＶに移動する。
変調後電磁波強度検出部１２は、この移動する撮像対象ＯＢと、固定電磁波変調部ＭＰＳとが変調した電磁波を検出する。図９に示す電磁波検出装置１０は、上述した第１の実施形態で説明した構造化検出の構成の場合を示す。この電磁波検出装置１０は、上述した第２の実施形態で説明した構造化照明の構成であってもよい。
【０１１１】
次に、図１０を参照して、撮像対象ＯＢが固定電磁波変調部ＭＰＳに対して相対的に移動する場合の、変調の状態ＭＳについて、説明する。
図１０は、固定電磁波変調部ＭＰＳの変調の状態ＭＳの一例を示す図である。なお、図１０に示す固定電磁波変調部ＭＰＳは、図９に示す撮像対象ＯＢを、照射部ＲＬ側からＺ軸方向に向かって見た図である。変調の状態ＭＳは、撮像対象ＯＢの大きさ及び移動速度に応じて変化する。ここでは、撮像対象ＯＢが流路Ｆに沿って＋Ｙ軸方向に移動する場合について説明する。
【０１１２】
電磁波検出装置１０は、不図示の相対パターン領域算出部を備える。相対パターン領域算出部は、撮像対象ＯＢと固定電磁波変調部ＭＰＳとの相対位置に基づいて、複素振幅情報の算出に用いるパターンを固定電磁波変調部ＭＰＳのうちから選択する。相対パターン領域算出部は、固定電磁波変調部ＭＰＳのうちから、撮像対象ＯＢの大きさ及び移動速度に応じた変調の状態ＭＳを選択する。相対パターン領域算出部は、選択した変調の状態ＭＳを、不図示の強度信号結合部に対して供給する。具体的には、相対パターン領域算出部は、撮像対象ＯＢが変調領域ＵＡ１に応じた位置を移動している場合には、変調領域ＵＡ１を、変調の状態ＭＳを示す変調状態情報として、強度信号結合部に対して供給する。同様に、相対パターン領域算出部は、撮像対象ＯＢが変調領域ＵＡ２に応じた位置を移動している場合には、変調領域ＵＡ２を、変調の状態ＭＳを示す変調状態情報として、強度信号結合部に対して供給する。相対パターン領域算出部は、撮像対象ＯＢが変調領域ＵＡ３に応じた位置を移動している場合には、変調領域ＵＡ３を、変調の状態ＭＳを示す変調状態情報として、強度信号結合部に対して供給する。以下の説明では、変調領域ＵＡ１から変調領域ＵＡ３を区別しない場合には、単に変調領域ＵＡとも記載する。
【０１１３】
［第３の実施形態］
［撮像対象が移動する場合の構造化検出の電磁波検出装置の構成］
次に、図１１を参照して、撮像対象ＯＢが移動する場合の、構造化検出の電磁波検出装置の構成ついて説明する。なお、上述した第１の実施形態及び第２の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図１１は、撮像対象ＯＢが移動する場合の、構造化検出の電磁波検出装置の構成の一例を示す図である。
【０１１４】
電磁波検出装置１０ｃは、照射部ＲＬと、固定電磁波変調部ＭＰＳと、相対パターン領域算出部１５ｃと、変調後電磁波強度検出部１２と、強度信号結合部１３ｃと、生成部１４ｃとを備える。
相対パターン領域算出部１５ｃには、予め固定電磁波変調部ＭＰＳの変調の状態ＭＳが記憶される。相対パターン領域算出部１５ｃは、変調後電磁波強度検出部１２から強度情報ＤＳを取得する。相対パターン領域算出部１５ｃは、変調後電磁波強度検出部１２から取得した強度情報ＤＳと対応する変調領域ＵＡを選択する。相対パターン領域算出部１５ｃは、選択した変調領域ＵＡの変調の状態ＭＳを示す変調状態情報を、強度信号結合部１３ｃに対して供給する。
【０１１５】
強度信号結合部１３ｃは、変調後電磁波強度検出部１２から強度情報ＤＳを取得する。強度信号結合部１３ｃは、相対パターン領域算出部１５ｃから、この強度情報ＤＳと対応する位置の変調状態情報を取得する。強度信号結合部１３ｃは、取得した強度情報ＤＳと変調状態情報とを最新の情報とする結合強度情報ＤＳＴを生成する。強度信号結合部１３ｃは、生成した結合強度情報ＤＳＴを記憶する。強度信号結合部１３ｃは、記憶した結合強度情報ＤＳＴを、生成部１４ｃに対して供給する。
【０１１６】
生成部１４ｃは、強度信号結合部１３ｃから結合強度情報ＤＳＴを取得する。生成部１４ｃは、結合強度情報ＤＳＴに基づいて、撮像対象ＯＢの位相又は振幅の情報が含まれる複素振幅を算出する。具体的には、生成部１４ｃは、結合強度情報ＤＳＴと、電磁波変調部ＭＰの変調の寄与度を示す寄与度情報とに基づいて、撮像対象ＯＢからの電磁波ＦＬのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。生成部１４ｃは、生成した位相又は振幅の情報を、画像情報として表示部２０に表示させる。表示部２０は、生成部１４ｃが生成する画像情報を表示する。
【０１１７】
［撮像対象が移動する場合の構造化検出の電磁波検出装置の動作の概要］
次に、図１２を参照して、撮像対象が移動する場合の構造化検出の電磁波検出装置１０ｃの動作の概要について説明する。
図１２は、電磁波検出装置１０ｃの動作の一例を示す流れ図Ｓ２である。
【０１１８】
撮像対象ＯＢを不図示の撮像部によって撮像する。不図示の撮像部は、撮像画像を生成部１４ｃに対して出力する（ステップＳ２１０）。
照射部ＲＬは、電磁波ＥＬを撮像対象ＯＢ及び固定電磁波変調部ＭＰＳに対して照射する（ステップＳ２２０）。
撮像対象ＯＢと、固定電磁波変調部ＭＰＳの相対位置を変化させる（ステップＳ２３０）。具体的には、撮像対象ＯＢは、流路Ｆに流される。
【０１１９】
変調後電磁波強度検出部１２は、流路Ｆを流された撮像対象ＯＢと、固定電磁波変調部ＭＰＳとが変調した変調後電磁波ＳＬを検出する（ステップＳ２４０）。変調後電磁波強度検出部１２は、検出した強度情報ＤＳを、強度信号結合部１３ｃに対して供給する。相対パターン領域算出部１５ｃは、検出した強度情報ＤＳに応じた位置の変調状態情報を、強度信号結合部１３ｃに対して供給する。
【０１２０】
強度信号結合部１３ｃは、変調後電磁波強度検出部１２から強度情報ＤＳを取得する。強度信号結合部１３ｃは、相対パターン領域算出部１５ｃから変調状態情報を取得する。強度信号結合部１３ｃは、結合強度情報ＤＳＴを生成する。強度信号結合部１３ｃは、撮像対象ＯＢが検出範囲外に移動したかを判定する。具体的には、強度信号結合部１３ｃは、変調後電磁波強度検出部１２から供給される強度情報ＤＳが示す信号の強さに基づいて、撮像対象ＯＢが検出範囲外に移動したかを判定する。この強度情報ＤＳが示す信号の強さが所定の強さを超える場合には、強度信号結合部１３ｃは、撮像対象ＯＢが検出範囲内にあると判定し、ステップＳ２３０からの処理を繰り返す（ステップＳ２５０；ＮＯ）。
強度情報ＤＳが示す信号の強さが所定の強さを下回る場合には、強度信号結合部１３ｃは、撮像対象ＯＢが検出範囲外に移動したと判定する（ステップＳ２５０；ＹＥＳ）。
【０１２１】
強度信号結合部１３ｃは、撮像対象ＯＢが検出範囲外に移動したと判定した場合には、結合強度情報ＤＳＴを、生成部１４ｃに対して出力する。生成部１４ｃは、強度信号結合部１３ｃから供給される結合強度情報ＤＳＴに基づいて、複素振幅情報を算出する（ステップＳ２６０）。この、撮像対象が移動する場合の複素振幅情報を算出する方法は、後述する。
【０１２２】
生成部１４ｃは、算出した複素振幅の情報に基づいて、撮像対象ＯＢの位相又は振幅の情報を生成する。生成部１４ｃは、生成した振幅の情報に基づいて、撮像対象ＯＢの像を再構成する。生成部１４ｃは、再構成した撮像対象ＯＢの像と、上述したステップＳ２１０で撮像した撮像画像とを比較する（ステップＳ２７０）。
【０１２３】
生成部１４ｃは、この比較の結果、再構成した撮像対象ＯＢの像と、撮像画像とが近似しない場合（ステップＳ２７０；ＮＯ）には、ステップＳ２６０からの処理を繰り返す。
生成部１４ｃは、この比較の結果、再構成した撮像対象ＯＢの像と、撮像画像とが近似する場合（ステップＳ２７０；ＹＥＳ）には、処理を終了する。
【０１２４】
［撮像対象が移動する場合の構造化検出の構成の複素振幅情報の算出方法］
次に、生成部１４ｃが複素振幅情報を算出する方法について説明する。なお、本実施形態では、固定電磁波変調部ＭＰＳと変調後電磁波強度検出部１２との間の距離が、距離ｚ２の場合について説明する。
生成部１４ｃは、結合強度情報ＤＳＴに含まれる複数の強度情報ＤＳと、変調の状態ＭＳとに基づいて、撮像対象ＯＢのスパース性に基づくスパース拘束演算を行うことにより、撮像対象ＯＢの位相と振幅とを示す情報を生成する。具体的には、生成部１４ｃは、式（１６）及び式（１７）から、撮像対象ＯＢの複素振幅情報を生成する。
【０１２５】
【数１６】
2018132501.tif 000018
【０１２６】
式（１６）は順問題、すなわち数理モデルを使って予測する問題を示す式である。
【０１２７】
【数１７】
2018132501.tif 000019
【０１２８】
式（１７）は順問題、すなわち数理モデルを使って予測する問題を示す式である。
生成部１４ｃは、式（１６）及び式（１７）を、上述したオルタネイティングプロジェクションによって解くことにより、複素振幅情報ｇを生成することができる。
【０１２９】
［第３の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ｃは、流路Ｆと、変調後電磁波強度検出部１２と、固定電磁波変調部ＭＰＳと、相対パターン領域算出部１５ｃと、強度信号結合部１３ｃと、生成部１４ｃとを備える。撮像対象ＯＢは、流路Ｆを流されることにより、変調後電磁波強度検出部１２及び固定電磁波変調部ＭＰＳとの相対位置が変化する。変調後電磁波強度検出部１２は、検出した強度情報ＤＳを強度信号結合部１３ｃに対して供給する。相対パターン領域算出部１５ｃは、移動する撮像対象ＯＢと対応する位置の変調領域ＵＡを選択する。相対パターン領域算出部１５ｃは、選択した変調領域ＵＡの変調状態情報を強度信号結合部１３ｃに対して供給する。強度信号結合部１３ｃは、強度情報ＤＳと、選択した変調領域ＵＡの変調状態情報とを対応付けた状態で時刻順に並べた結合強度情報ＤＳＴを生成する。これにより、電磁波検出装置１０ｃは、流路Ｆを移動する撮像対象ＯＢを介して変調される変調後電磁波ＳＬを検出することができる。
電磁波検出装置１０ｃは、検出した変調後電磁波ＳＬの強度情報ＤＳに基づいて、複素振幅情報を算出する。電磁波検出装置１０ｃは、算出した複素振幅情報に基づいて、撮像対象ＯＢの位相又は振幅を生成する。これにより、電磁波検出装置１０ｃは、フローサイトメーターなどの、移動する撮像対象ＯＢの位相又は振幅を生成することができる。
【０１３０】
［第４の実施形態］
［撮像対象が移動する場合の構造化照明の電磁波検出装置の構成］
次に、図１３を参照して、撮像対象ＯＢが移動する場合の、構造化照明の電磁波検出装置の構成ついて説明する。なお、上述した第１の実施形態、第２の実施形態及び第３の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図１３は、撮像対象ＯＢが移動する場合の、構造化照明の電磁波検出装置の構成の一例を示す図である。
【０１３１】
電磁波検出装置１０ｄは、照射部ＲＬと、固定電磁波変調部ＭＰＳと、相対パターン領域算出部１５ｃと、変調後電磁波強度検出部１２と、強度信号結合部１３ｃと、生成部１４ｄとを備える。
【０１３２】
強度信号結合部１３ｃは、生成部１４ｄに対して結合強度情報ＤＳＴを供給する。
生成部１４ｄは、強度信号結合部１３ｃから結合強度情報ＤＳＴを取得する。生成部１４ｄは、結合強度情報ＤＳＴに基づいて、撮像対象ＯＢの位相又は振幅の情報が含まれる複素振幅を算出する。具体的には、生成部１４ｄは、結合強度情報ＤＳＴと、電磁波変調部ＭＰの変調の寄与度を示す寄与度情報とに基づいて、撮像対象ＯＢからの電磁波ＦＬのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。生成部１４ｄは、生成した位相又は振幅の情報を、画像情報として表示部２０に表示させる。表示部２０は、生成部１４ｄが生成する画像情報を表示する。
【０１３３】
［撮像対象が移動する場合の構造化照明の構成の電磁波検出装置の動作の概要］
電磁波検出装置１０ｄの動作の一例について説明する。
電磁波検出装置１０ｄは、図１２に示す流れ図Ｓ２におけるステップＳ２６０の、複素振幅情報の算出方法が、構造化照明の構成の場合と異なる。
【０１３４】
［撮像対象が移動する場合の構造化照明の構成の複素振幅情報の算出方法］
次に、上述したステップＳ２６０において、生成部１４ｄが複素振幅情報を算出する方法について説明する。
構造化照明の場合には、固定電磁波変調部ＭＰＳの位置が、撮像対象ＯＢの位置と同じ位置にあると仮定して計算を行う。具体的には、補助平面ａを、撮像対象ＯＢ上に配置して計算する。
【０１３５】
生成部１４ｄは、結合強度情報ＤＳＴに含まれる複数の強度情報ＤＳと、変調状態情報とに基づいて、撮像対象ＯＢのスパース性に基づくスパース拘束演算を行うことにより、撮像対象ＯＢの位相と振幅とを示す情報を生成する。具体的には、生成部１４ｄは、上述した式（１２）及び式（１７）から、撮像対象ＯＢの複素振幅情報を生成する。生成部１４ｄは、式（１２）及び式（１７）を、上述したオルタネイティングプロジェクションによって解くことにより、複素振幅情報ｇを生成することができる。
【０１３６】
［第４の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ｄは、生成部１４ｄを備える。これにより、電磁波検出装置１０ｄは、撮像対象ＯＢの複素振幅情報を生成することができる。また、電磁波検出装置１０ｄは、構造化照明の構成のため、撮像対象ＯＢに対して照射する電磁波ＥＬの強さを抑えることができる。これにより、撮像対象ＯＢの侵襲性を抑制することができる。
【０１３７】
［第５の実施形態］
［変調後電磁波の強さを機械学習する電磁波検出装置の構成］
次に、図１４を参照して、変調後電磁波ＳＬの強さを機械学習する電磁波検出装置の構成ついて説明する。なお、上述した第１の実施形態、第２の実施形態、第３の実施形態及び第４の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図１４は、変調後電磁波ＳＬの強さを機械学習する電磁波検出装置の構成の一例を示す図である。
【０１３８】
フローサイトメーター４０ｅは、分別部４１と、電磁波検出装置１０ｅを備える。具体的には、フローサイトメーター４０ｅとは、セルソーターである。セルソーターとは、流路Ｆに流される細胞などの試料を、試料の種類ごとに分別する装置である。分別部４１は、電磁波検出装置１０ｅが判定した結果に基づいて、流路Ｆを流れる撮像対象ＯＢを分別する。電磁波検出装置１０ｅは、強度信号結合部１３ｅと、記憶部１６と、判別部１７とを備える。
強度信号結合部１３ｅは、変調後電磁波強度検出部１２から供給される強度情報ＤＳに基づいて、結合強度情報ＤＳＴを生成する。強度信号結合部１３ｅは、機械学習部１６に対して、生成した結合強度情報ＤＳＴを供給する。強度信号結合部１３ｅは、判別部１７に対して、生成した結合強度情報ＤＳＴを供給する。
【０１３９】
機械学習部１６は、変調後電磁波強度検出部１２が検出する複数の変調後電磁波の強度を機械学習する。具体的には、機械学習部１６は、強度信号結合部１３ｅから取得する結合強度情報ＤＳＴに基づいて、機械学習する。具体的には、機械学習部１６は、撮像対象ＯＢを介して変調された変調後電磁波ＳＬを、撮像対象ＯＢの位相又は振幅が含まれる信号として、サポートベクターマシンによって機械学習する。この機械学習部１６は、予め教師ありの機械学習済みである。
機械学習部１６は、機械学習した結果を、判別部１７に対して出力する。
【０１４０】
判別部１７は、機械学習部１６によって機械学習された結果と変調後電磁波強度検出部１２が検出する複数の強度情報ＤＳとに基づいて、撮像対象ＯＢを判別する。判別部１７は、判定した結果を、分別部４１に対して供給する。
分別部４１は、判別部１７から判定した結果を取得する。分別部４１は、取得した判定結果に基づいて、流路Ｆを流される撮像対象ＯＢを分別する。
【０１４１】
［変調後電磁波の強さを機械学習する電磁波検出装置の動作の概要］
次に、図１５を参照して、変調後電磁波の強さを機械学習する電磁波検出装置１０ｅの動作の概要について説明する。
図１５は、電磁波検出装置１０ｅの動作の一例を示す流れ図Ｓ３である。
【０１４２】
判別部１７は、強度信号結合部１３ｅから結合強度情報ＤＳＴを取得する（ステップＳ３１０）。ここで、このステップＳ３１０の処理は、撮像対象ＯＢが移動しない場合には、流れ図Ｓ１のステップＳ１２０からステップＳ１５０；ＹＥＳまでの処理を行う。また、このステップＳ３１０の処理は、撮像対象ＯＢが移動する場合には、ステップＳ２２０からステップＳ２５０；ＹＥＳまでの処理を行う。
【０１４３】
機械学習部１６は、機械学習結果を判別部１７に対して供給する。判別部１７は、機械学習部１６から機械学習結果を取得する。判別部１７は、結合強度情報ＤＳＴと、機械学習結果とに基づいて、撮像対象ＯＢを判別する（ステップＳ３２０）。判別部１７は、判別した結果を、分別部４１に対して供給する。
分別部４１は、判別部１７から判別結果を取得する。分別部４１は、この判別結果に基づいて、流路Ｆを流される撮像対象ＯＢを分別する（ステップＳ３３０）。
【０１４４】
［機械学習部の学習について］
機械学習部１６は、結合強度情報ＤＳＴをサポートベクターマシンによって機械学習する。この学習の一例を説明する。
機械学習部１６は、撮像対象ＯＢである観察対象を識別する情報が入力される。この観察対象を、第１の観察対象とも記載する。より具体的には、第１の観察対象とは、細胞である。この第１の観察対象を識別する情報とは、第１の観察対象の名称などの情報である。機械学習部１６は、この目標観察対象からの位相又は振幅の情報が含まれる結合強度情報ＤＳＴを機械学習する。以下の説明では、この第１の観察対象の機械学習の結果を、第１の機械学習結果とも記載する。
【０１４５】
機械学習部１６は、上述した第１の観察対象とは異なる観察対象の情報が入力される。この第１の観察対象とは異なる観察対象を、第２の観察対象とも記載する。より具体的には、第２の観察対象とは、第１の観察対象とは異なる細胞や、ゴミなどである。機械学習部１６は、第２の観察対象からの位相又は振幅の情報が含まれる結合強度情報ＤＳＴを機械学習する。以下の説明では、この第２の観察対象の機械学習の結果を、第２の機械学習結果とも記載する。
機械学習部１６は、第１の機械学習結果と、第２の機械学習結果とに基づいて、撮像対象ＯＢからの結合強度情報ＤＳＴが第１の観察対象からの信号か、第２の観察対象からの信号かを識別する。
【０１４６】
［第５の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ｅは、強度信号結合部１３ｅと、機械学習部１６と、判別部１７とを備える。機械学習部１６は、強度信号結合部１３ｅから生成される結合強度情報ＤＳＴを機械学習する。判別部１７は、強度信号結合部１３ｅから結合強度情報ＤＳＴを取得する。判別部１７は、機械学習部１６から機械学習結果を取得する。判別部１７は、結合強度情報ＤＳＴと、機械学習結果とに基づいて、撮像対象ＯＢを判別する。つまり、電磁波検出装置１０ｅは、結合強度情報ＤＳＴから、撮像対象ＯＢの位相又は振幅の情報を再構成せずに、撮像対象ＯＢを判別する。電磁波検出装置１０ｅは、検出した複数の強度情報ＤＳに基づいて、位相又は振幅の情報を再構成する時間をかけずに、撮像対象ＯＢを判別することができる。これにより、電磁波検出装置１０ｅは、位相又は振幅の情報を再構成することにより撮像対象ＯＢを判別する装置よりも、短時間で撮像対象ＯＢを判別することができる。この撮像対象ＯＢを判別するまでの時間を短縮できることにより、分別部４１が撮像対象ＯＢを分別するまでに装置の駆動に要する時間や、電位の印加に要する時間までの時間に余裕をもたせることができる。
【０１４７】
また、電磁波検出装置１０ｅは、位相又は振幅の情報を再構成せずに撮像対象ＯＢを判別することができるため、位相又は振幅の情報を再構成して撮像対象ＯＢを判別する場合と比較して、より少ない強度情報ＤＳに基づいて、撮像対象ＯＢを判別することができる。これにより、電磁波検出装置１０ｅは、強度情報ＤＳを取得する回数を減らすことができ、高速に撮像対象ＯＢを判別することができる。
【０１４８】
また、電磁波検出装置１０ｅは、予め機械学習された結果に基づいて、撮像対象ＯＢとしての観察対象の像を再構成することなく観察対象を判別および分別してもよい。
具体的には、再生医療や細胞治療に向けて生産される細胞の品質管理において、分子標識を用いない細胞判別及び分別のニーズがある。なお、分子標識を用いない細胞判別及び分別とは、細胞に対して蛍光染色などの侵襲性が高い処理をせずに判別及び分類することである。このニーズにおいて、細胞の形態に応じて変調される位相が含まれる強度情報ＤＳを機械学習することにより、フローサイトメトリー上での細胞の迅速な判別および分別を行うことができる。一例として、幹細胞を用いた再生医療においては、未分化細胞と分化細胞との分類に分子標識を用いている。具体的には、幹細胞とは、自分自身を複製する能力と他の複数系統の細胞に分化する能力を兼ね備えた細胞である。より具体的には、幹細胞とは、人工多能性幹細胞（ｉＰＳ細胞）などである。
【０１４９】
この幹細胞に対し、電磁波検出装置１０ｅは、まず分子標識を施したトレーニング用細胞群に対してフローサイトメトリー上で計測を行い、分子標識陽性のラベルのついた強度情報ＤＳと、分子標識陰性のラベルのついた強度情報ＤＳとを機械学習する。この場合には、電磁波検出装置１０ｅは、この分子標識を識別することができる構成であればよい。また、電磁波検出装置は、他の装置がこの分子標識を施したトレーニング用細胞群を機械学習した結果を取得する構成であってもよい。
次に、電磁波検出装置１０ｅは、分子標識を施していない細胞群に対してフローサイトメトリー上で判別および分別を行い、最終的に体内へと入れる細胞を集めることができる。つまり、電磁波検出装置１０ｅは、予め侵襲性は高いが、撮像対象ＯＢの判別の精度が高い強度情報ＤＳを機械学習する。電磁波検出装置１０ｅは、この判別の精度が高い機械学習結果に基づいて、分子標識を用いていない細胞を判別及び分別する。これにより、体内に入れる細胞を精度よく分別することができる。
【０１５０】
なお、上述した説明では、電磁波検出装置１０ｅをフローサイトメーター４０ｅが備える場合について説明したが、これに限られない。また、フローサイトメーター以外の顕微鏡などの装置が、電磁波検出装置１０ｅを備えてもよい。
また、上述した説明では、電磁波検出装置１０ｅが、構造化検出の構成の場合について説明したが、構造化照明の構成であってもよい。また、撮像対象ＯＢが移動しないものであってもよい。
【０１５１】
［第６の実施形態］
［電磁波変調部の変調の状態を撮像対象に応じたパターンに変更する変更部］
次に、図１６から図１７を参照して、電磁波変調部ＭＰの変調の状態ＭＳを、撮像対象ＯＢに応じたパターンに変更する電磁波検出装置１０ｆについて説明する。なお、上述した第１の実施形態、第２の実施形態、第３の実施形態、第４の実施形態及び第５の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図１６は、電磁波変調部ＭＰの変調の状態ＭＳを、撮像対象に応じて変更する電磁波検出装置１０ｆの構成の一例を示す図である。
【０１５２】
電磁波検出装置１０ｆは、判定結果取得部１８と、記憶部ＳＴ、と変調パターン算出部１９とを備える。
電磁波検出装置１０ｆを操作するユーザは、判別部１７が判定した結果が、正しいか否かを示す判定正否情報を、操作部３０によって入力する。判定結果取得部１８は、この判定正否情報を取得する。判定結果取得部１８は、判定正否情報を変調パターン算出部１９に対して供給する。
記憶部ＳＴには、複数の変調の状態ＭＳが記憶される。
【０１５３】
変調パターン算出部１９は、変調の状態ＭＳが互いに異なる電磁波変調部ＭＰを複数算出する。具体的には、変調パターン算出部１９は、判定結果取得部１８から判定正否情報を取得する。変調パターン算出部１９は、判別部１７から、判別部１７が判定した結果を取得する。変調パターン算出部１９は、判定正否情報と、判別部１７が判定した結果とに基づいて、電磁波変調部ＭＰの変調の状態ＭＳに対してスコアを付与する。変調パターン算出部１９は、判別部１７が正しく判定した場合には、高いスコアを付与する。具体的には、変調パターン算出部１９は、１つの変調の状態ＭＳに対して複数回、判別部１７が正しく判定したか否かを判定する。変調パターン算出部１９は、判別部１７が正しく判定した場合には、この変調の状態ＭＳと対応するスコアの値を増加させる。変調パターン算出部１９は、変調の状態ＭＳと、算出されたスコアとを対応付けた状態で、記憶部ＳＴに記憶させる。変調パターン算出部１９は、このスコアを付与する処理を、複数の互いに変調の状態ＭＳが異なる電磁波変調部ＭＰに対して、それぞれ行う。変調パターン算出部１９は、複数の電磁波変調部ＭＰのうちから、スコアが高いパターンを選択する。
【０１５４】
より具体的には、変調パターン算出部１９は遺伝的アルゴリズムによって、変調の状態ＭＳが互いに異なる電磁波変調部ＭＰを算出する。
図１７は、遺伝的アルゴリズムによって生成されるパターンの一例を示す図である。
変調パターン算出部１９は、電磁波変調部ＭＰ６１から電磁波変調部ＭＰ６４までの電磁波変調部ＭＰに対して、それぞれスコアを算出する。変調パターン算出部１９は、スコアが高い電磁波変調部ＭＰ６２と、電磁波変調部ＭＰ６５とに基づいて、電磁波変調部ＭＰ６５から電磁波変調部ＭＰ６７までの電磁波変調部ＭＰを算出する。変調パターン算出部１９は、スコアが高い電磁波変調部ＭＰの変調の状態ＭＳ同士を変異を加えつつ交叉させることによって算出する。変調パターン算出部１９は、電磁波変調部ＭＰ６５から電磁波変調部ＭＰ６７までの電磁波変調部ＭＰに対して、それぞれスコアを算出する。変調パターン算出部１９は、電磁波変調部ＭＰ６５から電磁波変調部ＭＰ６７までの電磁波変調部ＭＰの中からスコアが最も高い電磁波変調部ＭＰ６６を、撮像対象ＯＢに応じた電磁波変調部ＭＰ６８として算出する。変調パターン算出部１９は、この算出した電磁波変調部ＭＰ６８を、変更部１１に対して供給する。
【０１５５】
変調パターン算出部１９は、スコアが高いパターンを、変更部１１に対して供給する。変更部１１は、変調パターン算出部１９から供給される電磁波変調部ＭＰに含まれるパターンを、撮像対象ＯＢに応じたパターンに変更する。具体的には、変更部１１は、変調の状態ＭＳを、撮像対象ＯＢに応じたものに変更する。
【０１５６】
［第６の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ｆは、判定結果取得部１８と、記憶部ＳＴ、と変調パターン算出部１９とを備える。判定結果取得部１８は、判別部１７が判定した結果が正しいか否かを示す正否情報を取得する。変調パターン算出部１９は、判定結果取得部１８が取得する正否情報と、判別部１７の判定結果とに基づいて、撮像対象ＯＢをより多くの回数、正しく判定した電磁波変調部ＭＰを、撮像対象ＯＢに応じた変調の状態ＭＳを含む電磁波変調部ＭＰとする。つまり、電磁波検出装置１０ｆは、撮像対象ＯＢに応じた変調の状態ＭＳを算出する。これにより、電磁波検出装置１０ｆは、撮像対象ＯＢに応じた変調の状態ＭＳを含まない電磁波変調部ＭＰよりも、より正確に撮像対象ＯＢを判別することができる変調の状態ＭＳを含む電磁波変調部ＭＰを算出できる。これにより、電磁波検出装置１０ｆは、精度よく撮像対象ＯＢを判別することができる。
【０１５７】
また、上述した説明では、電磁波検出装置１０ｆが、構造化照明の構成の場合について説明したが、構造化検出の構成であってもよい。また、撮像対象ＯＢが移動しないものについて説明したが、移動するものであってもよい。言い換えると、第１の実施形態から第５の実施形態までの電磁波検出装置１０は、判定結果取得部１８と、記憶部ＳＴ、と変調パターン算出部１９とを備えていてもよい。
【０１５８】
また、上述した説明では、第１の実施形態から第４の実施形態までは、電磁波検出装置は、撮像対象ＯＢの複素振幅に基づいて、再構成画像を生成する場合について説明したが、必須ではない。第１の実施形態から第４の実施形態までの電磁波検出装置は、変調後電磁波ＳＬを検出できればよい。また、電磁波検出装置は算出した複素振幅情報から、撮像対象ＯＢの位相のみを再構成してもよい。電磁波検出装置は算出した複素振幅情報から、撮像対象ＯＢの振幅の情報のみを再構成してもよい。電磁波検出装置は算出した複素振幅情報から、撮像対象ＯＢの、位相と振幅との両方の情報を再構成してもよい。
【０１５９】
なお、上述した第３の実施形態及び第４の実施形態では、相対パターン領域算出部１５ｃは、撮像対象ＯＢの位置に応じた変調領域ＵＡを選択する場合について説明したがこれに限られない。電磁波検出装置１０ｃ及び電磁波検出装置１０ｄは、検出した強度情報ＤＳの時間の長さに応じた変調領域ＵＡを、変調の状態ＭＳのうちから選択してもよい。
【０１６０】
なお、上述した第３の実施形態及び第４の実施形態では、撮像対象ＯＢが移動する構成について説明したが、検出側が移動してもよい。具体的には、電磁波検出装置１０ｃ及び電磁波検出装置１０ｄは、移動しない撮像対象ＯＢに対して、固定電磁波変調部ＭＰＳと変調後電磁波強度検出部１２とが移動する構成であってもよい。
【０１６１】
上述した説明では、第１の実施形態から第４の実施形態までが備える生成部がスパース拘束演算をして複素振幅情報ｇを生成する場合について説明したが、複素振幅情報ｇは、他の装置が演算してもよい。他の装置とは、ネットワーク上のサーバが稼働するウェブサービスなどである。この場合には、生成部は、複素振幅情報ｇを生成するために必要な情報を他の装置に出力する。生成部は、他の装置が生成した複素振幅情報ｇを取得すればよい。
【０１６２】
なお、上述した第１の実施形態から第６の実施形態までの電磁波検出装置は、透過型の光学系又は反射型光学系のいずれであってもよい。透過型の光学系は、上述した図１及び図９に示すように、撮像対象ＯＢからの透過光を観測する。反射型の光学系は、上述した図３、図８、図１１、図１３、図１４及び図１６に示すように、撮像対象ＯＢからの反射光を観測する。また、上述した第１の実施形態から第６の実施形態までの電磁波検出装置は、電磁波変調部ＭＰの反射光を測定してもよい。同様に、第１の実施形態から第６の実施形態までの電磁波検出装置は、電磁波変調部ＭＰの透過光を測定してもよい。
【０１６３】
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
【０１６４】
なお、上述の電磁波検出装置１０、電磁波検出装置１０ａ、電磁波検出装置１０ｂ、電磁波検出装置１０ｃ、電磁波検出装置１０ｄ、電磁波検出装置１０ｅ及び電磁波検出装置１０ｆは内部にコンピュータを有している。そして、上述した装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【０１６５】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【０１６６】
１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ，１０ｆ…電磁波検出装置、１１…変更部、１２…変調後電磁波強度検出部、１３ａ，１３ｃ，１３ｅ…強度信号結合部、１４ａ，１４ｂ，１４ｃ，１４ｄ…生成部、１５ｃ…相対パターン領域算出部、１６…機械学習部、１７…判別部、１８…判定結果取得部、１９…変調パターン算出部、ＳＴ…記憶部、２０…表示部、３０…操作部、４０，４０ｅ…フローサイトメーター、４１…分別部、
１００…電磁波検出システム、Ｆ…流路、ＲＬ…照射部、ＭＰ，ＭＰ１，ＭＰ２，ＭＰ３，ＭＰ６１，ＭＰ６２，ＭＰ６３，ＭＰ６４，ＭＰ６５，ＭＰ６６，ＭＰ６７，ＭＰ６８，ＭＰｍ…電磁波変調部、ＭＥ１，ＭＥ２，ＭＥ３，ＭＥｍ…要素、ＭＰＣ…可変電磁波変調部、ＭＰＳ…固定電磁波変調部、ＯＢ…撮像対象、ＲＶＡ…振幅画像情報、ＲＰ…位相画像情報、ＰＧ…撮像画像、ＵＡ，ＵＡ１，ＵＡ２，ＵＡ３…変調領域、ＥＬ，ＦＬ，ＭＬ…電磁波、ＳＬ…変調後電磁波
【図１】
2018132501.tif 000020
【図２】
2018132501.tif 000021
【図３】
2018132501.tif 000022
【図４】
2018132501.tif 000023
【図５】
2018132501.tif 000024
【図６】
2018132501.tif 000025
【図７】
2018132501.tif 000026
【図８】
2018132501.tif 000027
【図９】
2018132501.tif 000028
【図１０】
2018132501.tif 000029
【図１１】
2018132501.tif 000030
【図１２】
2018132501.tif 000031
【図１３】
2018132501.tif 000032
【図１４】
2018132501.tif 000033
【図１５】
2018132501.tif 000034
【図１６】
2018132501.tif 000035
【図１７】
2018132501.tif 000036