(57)【要約】      （修正有）【課題】細胞を撮像した明視野画像から疑似的な位相差画像を高い精度で生成することのできる画像処理技術を提供する。【解決手段】画像処理方法は、細胞を明視野撮像した明視野画像である処理対象画像Ｉｔを取得する工程と、予め構築された学習モデルに処理対象画像を入力し、学習モデルが出力する画像を結果画像Ｉｓとして出力する工程とを備える。学習モデルは、互いに同一の試料に対応する第１教師画像Ｉ１と第２教師画像Ｉ２とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、第１教師画像Ｉ１は試料を明視野撮像した明視野画像であってディープラーニングにおいては入力に対応づけられ、第２教師画像Ｉ２は試料を位相差撮像した位相差画像であってディープラーニングにおいては出力に対応づけられる。【選択図】図１
2020060822.tif 000002
【特許請求の範囲】
【請求項１】
細胞を明視野撮像した明視野画像である処理対象画像を取得する工程と、
予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程と
を備え、
前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、
前記第１教師画像は前記試料を明視野撮像した明視野画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料を位相差撮像した位相差画像であって前記ディープラーニングにおいては出力に対応づけられる、画像処理方法。
【請求項２】
細胞を含む試料を明視野撮像した明視野画像および前記試料を位相差撮像した位相差画像を収集する工程と、
互いに同一の前記試料に対応する前記明視野画像と前記位相差画像とのセットを教師データとし、前記明視野画像を第１教師画像として入力に、前記位相差画像を第２教師画像として出力にそれぞれ対応させてディープラーニングを実行して学習モデルを構築する工程と、
細胞を明視野撮像した明視野画像である処理対象画像を取得する工程と、
前記学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程と
を備える画像処理方法。
【請求項３】
前記処理対象画像が、明視野撮像機能を有し位相差撮像機能を有さない撮像装置によって撮像されたものである請求項１または２に記載の画像処理方法。
【請求項４】
前記試料は、前記処理対象画像の撮像対象となった前記細胞と同一種類の細胞を含むものである請求項１ないし３のいずれかに記載の画像処理方法。
【請求項５】
細胞を明視野撮像した明視野画像を処理対象画像として取得する画像取得部と、
予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する画像処理部と
を備え、
前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、
前記第１教師画像は前記試料を明視野撮像した明視野画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料を位相差撮像した位相差画像であって前記ディープラーニングにおいては出力に対応づけられた、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、細胞を明視野撮像した画像を処理対象とする画像処理方法および画像処理装置に関するものである。
【背景技術】
【０００２】
生体から採取された組織や培養された細胞等の生試料を観察する目的においては、位相差撮像技術が広く用いられている。これは、撮像対象物である組織や細胞が無染色状態ではほぼ透明であり、明視野撮像では十分なコントラストが得にくいのに対し、位相差撮像は撮像対象物を透過する際の屈折率の変化に伴う光の位相変化をコントラストに変換して検出するという原理に基づくものであるため、透明な撮像対象物においても優れたコントラストを得ることができるからである。また、位相差画像は明視野画像にはない情報を含んでいる。位相差撮像のための装置構成としては、通常の光学顕微鏡の光学系に位相差コンデンサと位相差対物レンズとを導入したものが一般的である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１２４２１５号公報（例えば図２）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した位相差撮像専用の光学素子は装置および撮像コストの増大を招く。また、設置スペースや構造上の制約により位相差撮像機能を設けることができない撮像装置もある。その一方で、医学や生化学の分野における研究者は位相差画像を用いた観察、評価に慣れている。また、個別の試料を撮像した２つの画像を比較対照して評価することが求められる場合において、一方が明視野画像であり他方が位相差画像であるため比較が難しくなるという状況もあり得る。
【０００５】
これらの理由から、例えばある試料を撮像した明視野画像から、同じ試料を位相差撮像した場合に得られるであろう画像を高い精度で模した画像を疑似的に生成することができれば、その技術的な意義は極めて大きい。しかしながら、このような技術的アプローチはこれまでなされておらず、明視野画像から疑似的な位相差画像を生成する技術は実用化されるに至っていない。
【０００６】
この発明は上記課題に鑑みなされたものであり、細胞を撮像した明視野画像から疑似的な位相差画像を高い精度で生成することのできる画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像処理方法の一の態様は、上記目的を達成するため、細胞を明視野撮像した明視野画像である処理対象画像を取得する工程と、予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程とを備え、前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、前記第１教師画像は前記試料を明視野撮像した明視野画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料を位相差撮像した位相差画像であって前記ディープラーニングにおいては出力に対応づけられる。
【０００８】
また、この発明に係る画像処理方法の他の態様は、上記目的を達成するため、細胞を含む試料を明視野撮像した明視野画像および前記試料を位相差撮像した位相差画像を収集する工程と、互いに同一の前記試料に対応する前記明視野画像と前記位相差画像とのセットを教師データとし、前記明視野画像を第１教師画像として入力に、前記位相差画像を第２教師画像として出力にそれぞれ対応させてディープラーニングを実行して学習モデルを構築する工程と、細胞を明視野撮像した明視野画像である処理対象画像を取得する工程と、前記学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する工程とを備える。
【０００９】
また、この発明に係る画像処理装置の一の態様は、上記目的を達成するため、細胞を明視野撮像した明視野画像を処理対象画像として取得する画像取得部と、予め構築された学習モデルに前記処理対象画像を入力し、前記学習モデルが出力する画像を結果画像として出力する画像処理部とを備え、前記学習モデルは、互いに同一の試料に対応する第１教師画像と第２教師画像とのセットを教師データとしてディープラーニングを実行することで構築されたものであり、前記第１教師画像は前記試料を明視野撮像した明視野画像であって前記ディープラーニングにおいては入力に対応づけられ、前記第２教師画像は前記試料を位相差撮像した位相差画像であって前記ディープラーニングにおいては出力に対応づけられている。
【００１０】
このように構成された発明では、試料を明視野撮像した画像である第１教師画像と、同じ試料を位相差撮像した画像である第２教師画像とのセットが教師データとされる。このような教師データに基づくディープラーニングを実行すると、同一試料に対応する明視野画像と位相差画像とにそれぞれ現れる形態的特徴に基づきそれらの画像を相互に関連付ける学習モデルが構築されることになる。
【００１１】
このとき、明視野画像である第１教師画像を入力に対応させ、位相差画像である第２教師画像を出力に対応させる。そのようにして構築された学習モデルは、ある明視野画像が入力されるとそれに対応する位相差画像、つまり明視野撮像された試料を位相差撮像したときに得られる画像を模した画像を出力することとなる。
【００１２】
画質の良好な教師データのセットを多数用意し学習を行わせることで、出力画像の精度を高めることが可能である。そして、高度に学習した学習モデルを用いれば、細胞を撮像した新たな明視野画像である処理対象画像から、これに対応する疑似的な位相差画像を生成しそれを結果画像として出力することが可能になる。なおここでいう精度とは、明視野画像が与えられた学習モデルが出力する画像と、当該明視野画像が撮像された試料を実際に位相差撮像して得られる位相差画像との類似の度合いを意味するものである。
【００１３】
教師付き機械学習により細胞の画像を分類することは以前から行われているが、それらの多くは人為的に選択された特徴量に基づく特徴量空間内でのクラスタリングによるものである。この場合、どのような特徴量を使用するかが分類精度に影響を与えるため、観察対象の細胞が示す特徴に応じて特徴量を決定する必要がある。したがって、運用に当たっては特徴量を選択するための専門的知識が必要となり、また種々の細胞に対する汎用性は必ずしも高くない。
【００１４】
これに対し、ディープラーニングによる本発明では、事前の特徴量の選択が不要であり、教師データとなる画像サンプルを十分に用意することさえできれば、高精度な学習モデルを構築することが可能である。このため、画像に現れる特徴が異なる種々の細胞についても、同一の学習アルゴリズムでの対応が可能となる。
【発明の効果】
【００１５】
本発明によれば、同一試料に対応する明視野画像と位相差画像とのセットを教師データとするディープラーニングにより構築された学習モデルを使用することで、未知の明視野画像である処理対象画像から、これに対応する疑似的な位相差画像を高い精度で生成することが可能である。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態である画像処理プロセスの概念を示す図である。
【図２】この画像処理プロセスを示すフローチャートである。
【図３】学習モデルを構築するための学習プロセスを示すフローチャートである。
【図４】本実施形態が採用する学習モデルの動作を示す模式図である。
【図５】本実施形態の画像処理プロセスの作用を示す画像の例である。
【図６】本実施形態の画像処理プロセスにより得られた他の結果の例を示す図である。
【図７】本実施形態の画像処理を実行可能な装置構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
図１は本発明の一実施形態である画像処理プロセスの概念を示す図である。また、図２はこの画像処理プロセスを示すフローチャートである。この画像処理プロセスの目的は、細胞を含む試料を明視野撮像することで得られた明視野画像であるテスト画像Ｉｔから疑位相差画像Ｉｓを生成することである。ここでいう「疑位相差画像」とは、テスト画像Ｉｔが撮像されたものと同じ試料の同じ箇所を位相差撮像した場合に得られる画像を模した疑似的な位相差画像である。
【００１８】
以下の説明において、「明視野画像に対応する位相差画像」という表現は、ある明視野画像に対して、当該明視野画像が撮像されたものと同一試料の同一箇所を位相差撮像したときに得られる画像を意味するものとする。
【００１９】
擬位相差画像Ｉｓを表す画像データは、実際に位相差撮像により得られたデータを使用することなく、明視野画像であるテスト画像Ｉｔの画像データが有する情報に基づいて作成される。擬位相差画像Ｉｓを高い精度で、すなわち実際に位相差撮像されることにより得られる真の位相差画像に対し高い類似性を有するように作成することができれば、擬位相差画像Ｉｓを真の位相差画像の代替物として利用することが可能となる。その用途としては次のような例が挙げられる。
【００２０】
例えば、明視野画像では必ずしも明瞭に現れず位相差画像において明瞭な特徴に基づき試料を観察、評価することを求められる場合が、これに相当する。それ自身がほぼ透明である細胞においては、特にその内部テクスチャが明視野画像では不鮮明となりやすい。この問題を回避するために位相差画像が利用されるが、実験環境によっては明視野画像しか取得することができない場合があり得る。このような場合に、明視野画像から擬位相差画像を作成し、これを観察に供することができる。
【００２１】
また、複数の試料を比較観察する際に、それらが別の環境で撮像されることで明視野画像と位相差画像とが混在することがあり得る。このような場合にも、新たに位相差撮像を行うことなく、明視野画像を擬位相差画像に変換することにより同じ観察条件での比較が可能になる。また、明視野画像のみが保存されている過去の試料についても、これに対応する位相差画像を事後的に作成することが可能となる。
【００２２】
また、画像に対し何らかの画像解析処理を施すことで定量的な情報を得ようとする場合がある。例えば画像中の細胞の位置や種別を特定したり、その個数を計数したりする目的の画像解析処理がある。このような処理において、処理のための入力画像として位相差画像が想定されている場合や、明視野画像よりも位相差画像を入力画像とした方が好結果を得ることができる場合などがあり得る。例えば解析に際して細胞の厚みが有意な重みを有する場合があるが、厚みに関する情報をより多く含むのは位相差画像である。これらの処理に際し明視野画像しか準備できない場合があったとしても、前処理として明視野画像から擬位相差画像の生成を行うことによって、良好な結果を得ることが可能になる。
【００２３】
具体的な処理プロセスの概要は以下の通りである。まず対象となるテスト画像Ｉｔが取得される（ステップＳ１０１）。テスト画像Ｉｔは新たに撮像を実行することによって取得されてもよく、また予め撮像され適宜の記憶手段に保存されている画像データを読み出すことにより取得されてもよい。
【００２４】
テスト画像Ｉｔは学習モデル１０に入力される（ステップＳ１０２）。学習モデル１０は、テスト画像Ｉｔに基づき作成した擬位相差画像Ｉｓを出力する（ステップＳ１０３）。前述のように、擬位相差画像Ｉｓは、もしテスト画像Ｉｔと同一のサンプルの同一箇所が位相差撮像されれば得られるであろう画像を、テスト画像Ｉｔが有する情報から推定し作成したものである。学習モデル１０から出力された擬位相差画像Ｉｓは、本処理の結果画像として、表示手段への表示出力、記憶手段への書き込み、通信回線を介した外部装置への送信出力等の適宜の出力形態でユーザに提示される（ステップＳ１０４）。
【００２５】
明視野画像からの擬位相差画像の生成という目的のために、学習モデル１０は、予め収集された教師データを用いたディープラーニングによって構築される。教師データは、細胞を含んで予め用意された学習用の試料の同一位置を明視野撮像して得られた明視野画像である第１教師画像Ｉ１と位相差撮像して得られた位相差画像である第２教師画像Ｉ２とのセットを、多数収集したものである。
【００２６】
このような第１教師画像Ｉ１と第２教師画像Ｉ２との間では、画像内で対応する位置同士を比較することで、試料中の同一オブジェクトを明視野撮像した場合と位相差撮像した場合との間での画像への現れ方を相互に関連付けることができる。テスト画像Ｉｔに含まれる細胞の種類が予め特定されている場合には、第１および第２教師画像Ｉ１，Ｉ２についても同種の細胞が含まれていることが好ましい。
【００２７】
第１および第２教師画像Ｉ１，Ｉ２の収集は、以下のようにして行うことができる。例えば位相差顕微鏡のように位相差撮像を行うための構成および機能を有する装置は一般的に、明視野撮像を行うための構成および機能を併せ持っているものが多い。このような装置を用い、同一試料の同一位置を視野に収めて明視野撮像と位相差撮像とをそれぞれ実行することで、１セット分の第１教師画像Ｉ１および第２教師画像Ｉ２とを取得することができる。同一試料で撮像位置を変えて同様に、また別途用意した他の試料についても同様に、明視野撮像と位相差撮像とをそれぞれ実行することで、第１教師画像Ｉ１と第２教師画像Ｉ２とのセットを多数収集することができる。また１つの画像内の複数位置から部分画像を切り出してそれらを複数の教師画像としてもよい。
【００２８】
なお、テスト画像Ｉｔがカラー画像である場合には第１および第２教師画像Ｉ１，Ｉ２もカラー画像であることが好ましく、テスト画像Ｉｔがモノクロ画像である場合には第１および第２教師画像Ｉ１，Ｉ２もモノクロ画像であることが好ましい。また、テスト画像Ｉｔおよび教師画像Ｉ１，Ｉ２のうち一方がカラー画像、他方がモノクロ画像である場合にはカラー画像をモノクロ画像に変換することで統一する態様であってもよい。
【００２９】
このような事例を多数収集して教師データとして用い機械学習を実行することで、例えば明視野画像に現れるオブジェクトが、位相差画像においてどのような像として現れるかを類推することが可能となる。このことを利用して、明視野画像から疑似的な位相差画像、すなわち本明細書にいう擬位相差画像を作成することが可能である。特に学習アルゴリズムとしてディープラーニングを用いたとき、画像を解析するための特徴量を人為的に与える必要がないので、用途に応じて適切に特徴量を選定するための専門的知識が不要であり、しかも特徴量の不適切な選択による誤判定の可能性を排除した最適な学習モデルを構築することが可能である。
【００３０】
ディープラーニングの原理や学習アルゴリズムについては種々の公知資料が既に存在しているため、ここでは詳しい説明を省略する。本実施形態において利用可能なディープラーニング手法は特定のアルゴリズムに限定されるものではない。なお本実施形態において特に好適に利用可能な、画像等の対データを入出力に用い対データ間の相関を学習させるディープラーニング手法としては、例えばConditional GANをベースにしたpix2pixとして知られた方法がある（参考文献：Phillip Usola et al., Image-to-Image Translation with Conditional Adversarial Networks. CVPR, 21-Nov. 2016、ＵＲＬ：https://arxiv.org/pdf/1611.07004v1.pdf）。
【００３１】
図３は学習モデルを構築するための学習プロセスを示すフローチャートである。上記したように、第１の学習モデル１０は、互いに同一試料の同一位置を撮像した明視野画像と位相差画像とのセットを種々の試料について多数収集し（ステップＳ２０１）、これらを教師データとしてディープラーニングを実行することにより、学習モデル１０を構築することができる（ステップＳ２０２）。
【００３２】
図４は本実施形態が採用する学習モデルであるpix2pixアルゴリズムの動作を示す模式図である。図４に示すように、学習モデル１０は、画像生成部１１と、識別部１２と、オプチマイザ１３とを備えている。画像生成部１１は、複数段の畳み込み層で画像特徴を捉えるエンコーダ１１ａと、同じ段数の逆畳み込み層でその特徴から逆演算を行って画像生成を行うデコーダ１１ｂとを有する。
【００３３】
明視野画像である第１教師画像Ｉ１が入力画像として画像生成部１１に与えられると、エンコーダ１１ａがその画像特徴を求め、求められた画像特徴に基づきデコーダ１１ｂが画像生成を行って生成画像Ｉｇを出力する。
【００３４】
識別部１２は、画像特徴から入力画像か生成画像かを識別する。具体的には、識別部１２は位相差画像である第２教師画像Ｉ２を識別部１２に入力として本物学習を行う一方、画像生成部１１から出力された生成画像Ｉｇを入力として偽物学習を行う。オプチマイザ１３は、画像生成部１１が出力した生成画像Ｉｇが本物（第２教師画像Ｉ２）に近づくように学習モデルの内部パラメータ調整を行う。これを繰り返すことで学習が進む。十分学習が進めば、学習モデル１０は、未知の明視野画像（テスト画像Ｉｔ）からこれに対応する疑似的な位相差画像（擬位相差画像Ｉｓ）を生成する機能を有することとなる。
【００３５】
このようにして構築された学習モデル１０を用いることで、本実施形態の画像処理プロセスでは、細胞を含む明視野画像がテスト画像Ｉｔとして与えられると、これに対応する位相差画像を模した疑似的な画像である擬位相差画像Ｉｓを生成し結果画像として出力することが可能である。前記した各事例のように、位相差画像が必要であるが取得することが難しい場合に上記の画像処理プロセスを実行することで、生成される擬位相差画像Ｉｓを本来の位相差画像の代替物として利用することができる。
【００３６】
次に説明するように、良質の教師データを収集して学習モデルを構築すれば、実際の位相差撮像により得られる画像と遜色のない擬位相差画像を明視野画像から生成することが可能である。
【００３７】
図５は本実施形態の画像処理プロセスの作用を示す画像の例である。図のＡ欄は、ディープラーニングにおける教師データとして用いられた試料の一例に対応しており、左端の画像は第１教師画像Ｉ１として使用された、当該試料を明視野撮像して得られた明視野画像である。また、右端の画像は第２教師画像Ｉ２として使用された、当該試料の位相差撮像により得られた位相差画像である。これら２つの画像は同一試料の同一位置を撮像範囲として撮像されたものである。一方、中央の画像は、この試料の画像（明視野画像および位相差画像）を含む教師データに基づくディープラーニングの実行により構築された学習モデル１０にこの試料の明視野画像（左端に示す画像）をテスト画像として入力して生成された画像（擬位相差画像）である。
【００３８】
Ｂ欄およびＣ欄の画像は教師データとして用いられた他の試料の例である。上記と同様に、左端の画像が当該試料の明視野画像、右端の画像が位相差画像であり、これらはそれぞれディープラーニングにおける第１教師画像Ｉ１、第２教師画像Ｉ２として用いられたものである。また、中央の画像は、左端の明視野画像を学習モデル１０に入力して得られた擬位相差画像である。
【００３９】
本実施形態の画像処理プロセスにおいて使用される学習モデル１０の理想的な動作は、Ａ〜Ｃ各欄左端の明視野画像が入力されたときに、右端の位相差画像と同じ画像を出力することである。この意味において右端の位相差画像は、本学習モデル１０が出力すべきターゲット画像であると言える。
【００４０】
各欄において、入力画像を与えられた学習モデル１０が学習の結果に基づき生成し出力した中央の生成画像（擬位相差画像）を、実際に試料を位相差撮像して得られた位相差画像である右端のターゲット画像と比較すると、部分的に背景濃度の違いがあるものの、画像に含まれる細胞等の輪郭や内部テクスチャなどの現れ方が極めてよく一致している。また生成画像においては、明視野画像である入力画像に対し細胞内部のコントラストがより鮮明となっており、明視野画像では視認しにくい細胞内部のテクスチャが明瞭になっている。これらのことから、本実施形態の画像処理プロセスが明視野画像から生成する擬位相差画像は、実際の位相差撮像により得られる位相差画像の代替物として十分に利用可能なものであると言える。
【００４１】
図５のＤ欄は教師データとして用いられていない試料の例である。ここでも、左端の画像が明視野画像、右端の画像がこれに対応する位相差画像であり、中央の画像は左端の明視野画像に基づき学習モデル１０が出力した擬位相差画像である。右端の位相差画像は本来必要ではないが、学習モデル１０が生成する擬位相差画像との比較のために取得されたものである。
【００４２】
教師データとして用いられなかった、つまり学習モデル１０にとって未知の入力画像であっても、学習モデル１０が出力した擬位相差画像（中央）は、実際の位相差撮像により得られた位相差画像（右端）とよく似たものとなっている。このことからも、本実施形態の画像処理プロセスが有効な擬位相差画像を生成する機能を有することがわかる。
【００４３】
図６は本実施形態の画像処理プロセスにより得られた他の結果の例を示す図である。より具体的には、図６は位相差撮像機能を持たない明視野撮像装置で撮像された試料の明視野画像から擬位相差画像を生成した例を示している。図のＡ欄およびＢ欄は互いに異なる試料に対応しており、各欄の左側の画像は入力画像（テスト画像Ｉｔ）である明視野画像を、右側の画像はこれから生成された生成画像（擬位相差画像Ｉｓ）である。これらの例においても、生成された擬位相差画像は、元の明視野画像に対して細胞の輪郭や内部テクスチャが鮮明であり、位相差画像が本来持つ特徴を有するものとなっている。
【００４４】
これらの例が示すように、本実施形態の画像処理プロセスは、細胞を含む試料の明視野画像から、これに対応する位相差画像を模した擬位相差画像を生成する機能を有するものである。その主要部となる学習モデル１０は、明視野画像とこれに対応する位相差画像とのセットを教師データとしてディープラーニングを実行することにより構築されるものである。したがって、良質の教師データをできるだけ多く収集して学習に適用することにより、明視野画像から擬位相差画像を生成する際の精度を高く、つまり生成される擬位相差画像と真の位相差画像との差異を小さくすることが可能となる。
【００４５】
図７は本実施形態の画像処理を実行可能な装置構成の一例を示すブロック図である。この装置は、本発明に係る画像処理方法を実行可能な画像処理システムの一例である。画像処理システム１００は、本発明に係る画像処理装置の一実施形態であり、データ処理装置１１０および撮像装置１２０を備えている。データ処理装置１１０は、画像処理部１１２を内蔵するＣＰＵ（Central Processing Unit）１１１と、メモリ１１３と、インターフェース１１４と、表示部１１５とを備えている。
【００４６】
ＣＰＵ１１１は、メモリ１１３に予め記憶された所定の制御プログラムを実行することで、上記した画像処理プロセスおよびディープラーニングを実行する。該プロセスにおいて画像データに対する処理は画像処理部１１２により実行される。メモリ１１３はＣＰＵ１１１が実行する制御プログラムや処理により生成されるデータを記憶する。インターフェース１１４は外部装置とのデータ通信を司る。インターフェース１１４はまた、図示しない入力装置（例えばキーボード、マウス等）を介してユーザからの操作入力を受け付ける。表示部１１５は、プロセスの進行状況や結果を表示出力してユーザに報知する。
【００４７】
撮像装置１２０は、例えば撮像機能を備えた顕微鏡装置である。撮像装置１２０は、例えばウェルプレートで培養された細胞等の試料を撮像して画像データを生成し、データ処理装置１１０のインターフェース１１４に送信する。撮像装置１２０が第１教師画像Ｉ１および第２教師画像Ｉ２を収集する目的で設けられる場合、明視野撮像機能と位相差撮像機能とを有していればよい。１つの試料に対し明視野撮像と位相差撮像とを同一視野で実行可能であることが望ましい。
【００４８】
一方、撮像装置１２０がテスト画像Ｉｔを撮像することを目的として設けられる場合、明視野撮像機能を有していればよく、位相差撮像機能は不要である。言い換えれば、撮像装置１２０が位相差撮像機能を有しているのであれば、明視野画像を撮像しそれをテスト画像Ｉｔとして擬位相差画像Ｉｓを生成するという処理を行う必要性が生じない。さらに言い方を変えれば、本実施形態の画像処理を組み込むことにより、撮像装置から位相差撮像機能を省くことができる。位相差撮像を行うためには専用の光学系が必要となるが、これらを省くことで、装置の小型化および低コスト化を図ることが可能である。
【００４９】
このように、明視野画像から高精度の擬位相差画像を生成することができる本実施形態の画像処理を位相差撮像機能のない撮像装置に組み合わせれば、当該撮像装置を、位相差撮像機能を有する装置と同様に機能させることが可能である。
【００５０】
なお、画像処理システムの構成は上記に限定されず、例えばデータ処理装置１１０と撮像装置１２０とが一体的に構成されていてもよい。また、例えば過去に撮像された画像データのライブラリを（例えばインターフェース１１４を介して受信することで）利用することができる場合には、画像処理システム１００が撮像機能を有していなくてもよい。このため、本実施形態の画像処理プロセスは、パーソナルコンピュータとして一般的なハードウェア構成を有するコンピュータ装置に、上記処理を実現するための適宜のソフトウェアを実装することによっても実施可能である。
【００５１】
以上のように、この実施形態では、予め収集された同一試料に対応する明視野画像と位相差画像とのセットを教師データとするディープラーニングにより構築される学習モデル１０が予め準備される。そして、テスト画像Ｉｔとしての明視野画像が学習モデル１０に入力されると、学習モデル１０は、学習結果に基づき、テスト画像Ｉｔに対応する位相差画像を疑似的に模した擬位相差画像Ｉｓを出力する。つまり、学習モデル１０は、細胞を含む試料を明視野撮像した明視野画像から、同じ試料に対し位相差撮像を行ったのと同様の画像を作成することができる。
【００５２】
このため、明視野画像しか取得できない環境においても、実際に位相差撮像を行うことなく、明視野画像から精度の高い擬位相差画像を生成することが可能である。こうして生成される生成画像は、位相差画像が必要とされるが取得不可能な状況において、その代替物として有効に機能し得るものである。また、位相差撮像が実行可能な環境においても、擬位相差画像を利用することで撮像を省略することが可能となる。
【００５３】
以上説明したように、上記の実施形態においては、第１教師画像Ｉ１、第２教師画像Ｉ２およびテスト画像Ｉｔがそれぞれ本発明の「第１教師画像」、「第２教師画像」および「処理対象画像」に相当している。また、擬位相差画像Ｉｓが本発明の「結果画像」に相当している。また、本発明の「画像処理装置」として機能する図７の画像処理システム１００においては、データ処理装置１１０が本発明の「画像処理部」として機能し、撮像装置１２０が本発明の「画像取得部」として機能している。なお、外部の画像ライブラリ等に記録されている画像データを受け入れて処理する態様においては、外部データを受け入れるインターフェース１１４が本発明の「画像取得部」として機能することになる。
【００５４】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、複数の試料ごとに第１教師画像Ｉ１と第２教師画像Ｉ２とのセットが取得される。しかしながら、同一の試料の互いに異なる位置から複数のセットが取得されてもよい。
【００５５】
また例えば、上記実施形態では、学習モデル１０が生成出力する擬位相差画像Ｉｓがそのまま表示出力または画像データとして出力される。しかしながら、本実施形態の画像処理は、他の画像処理プロセスの前処理として実行されてもよい。具体的には、例えば生体から採取された組織標本や培養された細胞等の画像に対し画像解析処理を施して細胞の種類を同定したりその個数を計数したりする解析処理のために、本実施形態の画像処理を利用することが可能である。このような画像解析処理では、明視野画像よりも、より高いコントラストが得られる位相差画像を入力画像とする方が好結果を得られる場合がある。このような場合において明視野画像しか入手できないとき、本実施形態の画像処理により明視野画像から擬位相差画像を生成し、これを入力画像として解析処理に供するようにすれば、良好な解析結果を得ることが可能となる。
【００５６】
また、位相差画像を教師画像として構築された学習モデルを用いて明視野画像を解析することも可能となる。すなわち、このような学習モデルでは入力画像として位相差画像が想定されているが、テスト画像としての明視野画像を上記方法で擬位相差画像に変換した上で学習モデルの入力画像とすることで、結果的に明視野画像の解析を行うことができる。
【００５７】
また例えば、学習モデルを構築するための処理を実行する装置と、その結果を利用してテスト画像Ｉｔを処理する装置とが異なっていてもよい。例えば、ある画像処理装置においてディープラーニングを実行することで構築された学習モデル１０を他の画像処理装置に移植し、移植先の装置がテスト画像Ｉｔを処理するように構成されてもよい。学習モデルの構築を例えばスーパーコンピュータにより実行するようにすれば、大量のデータを用いて精度の高い学習モデルを構築することが可能となる。一方、構築された学習モデルを利用してテスト画像Ｉｔを処理する装置では、比較的簡単な演算のみで済むため高い演算能力を備える必要がなく、例えば撮像装置に内蔵された比較的単純な演算装置で処理を実行することが可能になる。
【００５８】
以上、具体的な実施形態を例示して説明してきたように、この発明において、例えば処理対象画像は、明視野撮像機能を有し位相差撮像機能を有さない撮像装置によって撮像されたものであってもよい。本発明では明視野画像である処理対象画像からのデータ処理により疑似的な位相差画像を作成することができるから、位相差撮像機能のない環境下で処理対象画像が撮像される場合に、特に顕著な効果を奏することになる。
【００５９】
また例えば、試料は、処理対象画像の撮像対象となった細胞と同一種類の細胞を含むものであってもよい。明視野画像と位相差画像との間の形態的な差異の現れ方は細胞の種類により異なるから、処理対象画像内の細胞と同種の細胞を含む試料を撮像した画像を教師データとすることで、より精度の高い、すなわち実際の撮像で得られる位相差画像との差異の小さい擬位相差画像を生成することが可能になる。
【産業上の利用可能性】
【００６０】
この発明は、細胞を含む試料を撮像した明視野画像から、実際に撮像することで得られる位相差画像を模した擬似的な位相差画像を生成することが可能であり、位相差画像に基づく観察や画像処理に好適に適用可能である。例えば医療や創薬などの医学分野や生化学分野に広く応用することができる。
【符号の説明】
【００６１】
１０  学習モデル
１００  画像処理システム
１１０  画像処理装置
１１１  ＣＰＵ
１１２  画像処理部
１１４  インターフェース
１２０  撮像装置（画像取得部）
Ｉ１  第１教師画像
Ｉ２  第２教師画像
Ｉｓ  擬位相差画像（結果画像）
Ｉｔ  テスト画像（処理対象画像）
【図１】
2020060822.tif 000003
【図２】
2020060822.tif 000004
【図３】
2020060822.tif 000005
【図４】
2020060822.tif 000006
【図５】
2020060822.tif 000007
【図６】
2020060822.tif 000008
【図７】
2020060822.tif 000009