(57)【要約】【課題】より正確に細胞の形態を解析する。【解決手段】画像解析方法は、ニューラルネットワーク構造の深層学習アルゴリズム６０を用いて、細胞の形態を解析する画像解析方法であって、解析対象の細胞を含む解析用画像７８から解析用データ８０を生成し、解析用データ８０を、深層学習アルゴリズム６０に入力し、深層学習アルゴリズム６０によって、解析対象の細胞の形態を示すデータ８３を生成する。【選択図】図３
2018185759.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワーク構造の深層学習アルゴリズムを用いて、細胞の形態を解析する画像解析方法であって、
解析対象の細胞を含む解析用画像から解析用データを生成し、
前記解析用データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析対象の細胞の形態を示すデータを生成する
画像解析方法。
【請求項２】
前記解析用画像が、前記解析対象の細胞を複数含む
請求項１の画像解析方法。
【請求項３】
前記深層学習アルゴリズムによって、複数の前記解析対象の細胞の各々の形態を示すデータを生成する
請求項２の画像解析方法。
【請求項４】
前記深層学習アルゴリズムによって、前記細胞の形態として、前記解析対象の細胞の領域を判定する
請求項１乃至３のいずれか１項の画像解析方法。
【請求項５】
前記解析用画像における所定画素数の領域毎に、複数の前記解析用データを生成する
請求項１乃至４のいずれか１項の画像解析方法。
【請求項６】
前記解析用データは、所定の画素を中心として周辺の画素を含む前記所定画素数の領域毎に生成され、
前記深層学習アルゴリズムは、入力された前記解析用データに対し前記所定画素に対し細胞形態を示すラベルを生成する
請求項５の画像解析方法。
【請求項７】
前記所定画素数と、前記ニューラルネットワークの入力層のノード数と、が同じである
請求項５または６の画像解析方法。
【請求項８】
前記領域が、前記解析対象の細胞の種別により異なる
請求項５乃至７のいずれか１項の画像解析方法。
【請求項９】
前記領域が、前記解析対象の細胞のサイズにより異なる
請求項５乃至７のいずれか１項の画像解析方法。
【請求項１０】
前記解析用画像が、前記解析対象の細胞の位相差像または微分干渉像である
請求項１乃至９のいずれか１項の画像解析方法。
【請求項１１】
前記解析用画像が、互いに離間された複数の前記解析対象の細胞を撮像した画像である
請求項１乃至１０のいずれか１項の画像解析方法。
【請求項１２】
前記深層学習アルゴリズムが、互いに離間された複数の前記解析対象の細胞の各々の形態を判別する
請求項１乃至１１のいずれか１項の画像解析方法。
【請求項１３】
前記解析用画像が、単一の種別の細胞を撮像した画像である
請求項１乃至１２のいずれか１項の画像解析方法。
【請求項１４】
前記解析用画像が、移植用細胞を撮像した画像である
請求項１乃至１３のいずれか１項の画像解析方法。
【請求項１５】
前記深層学習アルゴリズムの学習に用いられる訓練データが、染色された細胞の蛍光画像に基づいて生成されている
請求項１乃至１４のいずれか１項の画像解析方法。
【請求項１６】
前記訓練データが、前記蛍光画像から抽出された、細胞の形態を示すラベル値を含む
請求項１５の画像解析方法。
【請求項１７】
前記訓練データが、前記ラベル値を前記蛍光画像の画素毎に含む
請求項１６の画像解析方法。
【請求項１８】
前記訓練データが、染色された細胞の前記蛍光画像における所定画素数の領域毎に生成されている
請求項１５の画像解析方法。
【請求項１９】
前記深層学習アルゴリズムが、前記解析用データを、前記解析対象の細胞の形態を示すクラスに分類する
請求項１乃至１８のいずれか１項の画像解析方法。
【請求項２０】
前記ニューラルネットワークの出力層がソフトマックス関数を活性化関数とするノードである
請求項１乃至１９のいずれか１項の画像解析方法。
【請求項２１】
前記深層学習アルゴリズムは、前記解析用データが入力される度に、前記解析対象の細胞の形態を示すデータを単位画素毎に生成する、請求項１乃至２０のいずれか１項の画像解析方法。
【請求項２２】
前記深層学習アルゴリズムが、前記解析対象の細胞の種別に応じて生成されている
請求項１乃至２１のいずれか１項の画像解析方法。
【請求項２３】
さらに、前記解析対象の細胞の種別を選択し、
複数の前記深層学習アルゴリズムの中から、選択された細胞に対応する前記深層学習アルゴリズムを用いて、前記解析用データを処理する
請求項２２の画像解析方法。
【請求項２４】
ニューラルネットワーク構造の深層学習アルゴリズムを用いて、細胞の形態を解析する画像解析装置であって、
解析対象の細胞を含む解析用画像から解析用データを生成し、
前記解析用データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析対象の細胞の形態を示すデータを生成する処理部、
を備える画像解析装置。
【請求項２５】
ニューラルネットワーク構造の深層学習アルゴリズムを用いて、細胞の形態を解析するコンピュータプログラムであって、
コンピュータに、
解析対象の細胞を含む解析用画像から解析用データを生成する処理と、
前記解析用データを、前記深層学習アルゴリズムに入力する処理と、
前記深層学習アルゴリズムによって、前記解析対象の細胞の形態を示すデータを生成する処理と、
を実行させるプログラム。
【請求項２６】
学習対象の細胞の形態を示す第１の訓練データを取得する第１の取得ステップと、
前記学習対象の細胞の形態の正解を示す第２の訓練データを取得する第２の取得ステップと、
前記第１の訓練データおよび前記第２の訓練データを訓練データとして、前記第１の訓練データを入力層とし、前記第２の訓練データを出力層とするニューラルネットワークを用いた深層学習アルゴリズムを学習させる学習ステップと、
を含む深層学習アルゴリズムの製造方法。
【請求項２７】
前記第１の取得ステップの前に、第１の訓練用画像から前記第１の訓練データを生成するステップをさらに含み、
前記第２の取得ステップの前に、前記学習対象の細胞を撮像した第２の訓練用画像から前記第２の訓練データを生成するステップをさらに含む、
請求項２６の深層学習アルゴリズムの製造方法。
【請求項２８】
前記第１の訓練用画像が、前記学習対象の細胞の位相差像または微分干渉像であり、前記第２の訓練用画像が、染色された前記学習対象の細胞の蛍光画像である
請求項２７の深層学習アルゴリズムの製造方法。
【請求項２９】
前記第１の訓練用画像および前記第２の訓練用画像が、移植用細胞を撮像した画像である
請求項２８の深層学習アルゴリズムの製造方法。
【請求項３０】
深層学習アルゴリズムを用いて細胞の領域を解析する画像解析方法であって、
解析対象の細胞を含む解析用画像から、前記解析用画像における所定画素数の領域毎に、複数の解析用データを生成し、
複数の前記解析用データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、複数の前記解析対象の細胞の各々の領域を示すデータを生成する
画像解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析方法、装置、プログラムおよび深層学習アルゴリズムの製造方法に関する。
【背景技術】
【０００２】
近年、細胞等の顕微鏡画像において、細胞の認識をコンピュータに実行させる方法が開発されている。例えば、特許文献１には、顕微鏡画像においてユーザが特定の種類の細胞（あるいは細胞の領域）の画素と、細胞がない領域の画素をコンピュータに入力し、そのデータに基づいて訓練データを作成し、machine training techniquesによって、訓練されたモデルを作成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１５／０６５６９７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
再生医療においては、現在従来移植に使用されてきた造血幹細胞や臍帯血幹細胞に加え、人工多能性幹細胞のように遺伝子組換え技術により作製した幹細胞を使用することが試みられている。
【０００５】
移植される細胞は、移植前に、細胞の分化状態や、移植後に癌化しないか等の細胞特性を確認する必要がある。例えば、幹細胞を例えば心筋細胞や網膜細胞に分化させてから移植する場合には、幹細胞が目的の細胞に十分分化しているか否かを確認する必要がある。
【０００６】
一方で、移植させる幹細胞や分化細胞は染色等の処理を施すことができないため、移植前の細胞は、位相差顕微鏡像等の非染色の状態でその特性を判別する必要がある。
【０００７】
細胞特性の判別は、現在ヒトの目に頼っているが、１回に移植される細胞の数は膨大であり、移植される全ての細胞を確認することは困難である。このため、細胞の観察をコンピュータに行わせることは移植前の細胞の特性の識別の効率化につながることが期待される。
【０００８】
しかし、特許文献１に等に開示される技術等では、現状としては、実際の細胞の形態を正確に判別するには不十分であり、実用には至っていない。
【０００９】
本発明は、より正確に細胞の形態を解析するための画像解析方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
本発明の一態様は、画像解析方法である。実施形態において、画像解析方法は、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用いて、細胞の形態を解析する画像解析方法であって、解析対象の細胞を含む解析用画像（７８）から解析用データ（８０）を生成し（Ｓ２１からＳ２３）、解析用データ（８０）を、深層学習アルゴリズム（６０）に入力し（Ｓ２４）、深層学習アルゴリズム（６０）によって、解析対象の細胞の形態を示すデータ（８３）を生成する（Ｓ２５からＳ２８）。これにより、解析対象の細胞の形態をより正確に解析することが可能となる。
【００１１】
解析用画像（７８）が、解析対象の細胞を複数含むことが望ましい。これにより、解析対象の細胞を複数含む対象について、細胞の形態を効率的に解析することが可能となる。
【００１２】
深層学習アルゴリズム（６０）によって、複数の解析対象の細胞の各々の形態を示すデータ（８３）を生成することが望ましい。これにより、解析対象の細胞を複数含む対象について、細胞の形態を効率的に解析することが可能となる。
【００１３】
深層学習アルゴリズム（６０）によって、細胞の形態として、解析対象の細胞の領域を判定することが望ましい。これにより、解析対象の細胞の形態として、細胞領域をより正確に解析することが可能となる。
【００１４】
解析用画像（７８）における所定画素数の領域毎に、複数の解析用データ（８０）を生成することが望ましい。これにより、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００１５】
解析用データ（８０）は、所定の画素を中心として周辺の画素を含む所定画素数の領域毎に生成され、深層学習アルゴリズム（６０）は、入力された解析用データ（８０）に対し所定画素に対し細胞形態を示すラベル（８２）を生成することが望ましい。これにより、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００１６】
所定画素数と、ニューラルネットワーク（６０）の入力層（６０ａ）のノード数と、が同じであることが望ましい。これにより、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００１７】
領域が、解析対象の細胞の種別により異なることが望ましい。これにより、解析対象の細胞の種別に応じて、所定画素数の領域を選択することが可能となり、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００１８】
領域が、解析対象の細胞のサイズにより異なることが望ましい。これにより、解析対象の細胞のサイズに応じて、所定画素数の領域を選択することが可能となり、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００１９】
解析用画像（７８）が、解析対象の細胞の位相差像または微分干渉像であることが望ましい。これにより、解析対象の細胞を撮像するために特別な撮像装置を必要とすることなく、一般的な位相差顕微鏡または微分干渉顕微鏡を用いて、解析用画像を手軽に準備することが可能となる。
【００２０】
解析用画像（７８）が、互いに離間された複数の解析対象の細胞を撮像した画像であることが望ましい。これにより、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００２１】
深層学習アルゴリズム（６０）が、互いに離間された複数の解析対象の細胞の各々の形態を判別することが望ましい。これにより、解析対象の細胞を複数含む対象について、細胞の形態を効率的に解析することが可能となる。
【００２２】
解析用画像（７８）が、単一の種別の細胞を撮像した画像であることが望ましい。これにより、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００２３】
解析用画像（７８）が、移植用細胞を撮像した画像であることが望ましい。これにより
、観察時に染色を行うことができない移植用細胞について、細胞の形態を効率的に解析することが可能となる。
【００２４】
深層学習アルゴリズム（６０）の学習に用いられる訓練データ（７４）が、染色された細胞の蛍光画像（７１）に基づいて生成されていることが望ましい。これにより、深層学習アルゴリズムを予め学習させておけば、観察時に染色を行うことができない細胞についても、染色を行うことなく、細胞の形態を効率的に解析することが可能となる。
【００２５】
訓練データ（７４）が、蛍光画像（７１）から抽出された、細胞の形態を示すラベル値を含むことが望ましい。これにより、細胞の形態を示すラベル値をニューラルネットワーク（６０）に学習させることが可能となる。
【００２６】
訓練データ（７４）が、ラベル値を蛍光画像（７１）の画素毎に含むことが望ましい。これにより、細胞の形態を示すラベル値をニューラルネットワーク（６０）に学習させることが可能となる。
【００２７】
訓練データ（７５）が、染色された細胞の蛍光画像（７１）における所定画素数の領域毎に生成されていることが望ましい。これにより、細胞の形態を示すラベル値を、高い精度でニューラルネットワーク（６０）に学習させることが可能となる。
【００２８】
深層学習アルゴリズム（６０）が、解析用データ（８０）を、解析対象の細胞の形態を示すクラスに分類することが望ましい。これにより、解析対象の細胞の形態について、細胞領域と、細胞領域以外の背景領域とに分類することが可能となる。
【００２９】
ニューラルネットワーク（６０）の出力層（６０ｂ）がソフトマックス関数を活性化関数とするノードであることが望ましい。これにより、ニューラルネットワーク（６０）が、解析対象の細胞の形態を有限個のクラスに分類することが可能となる。
【００３０】
深層学習アルゴリズム（６０）は、解析用データ（８０）が入力される度に、解析対象の細胞の形態を示すデータ（８２）を単位画素毎に生成することが望ましい。これにより、解析対象の細胞を含む解析用画像の単位画素（１画素）毎に、細胞の形態を解析することが可能となる。
【００３１】
深層学習アルゴリズム（６０）が、解析対象の細胞の種別に応じて生成されていることが望ましい。これにより、解析対象の細胞の種別に応じて深層学習アルゴリズム（６０）を使い分けることが可能となり、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００３２】
さらに、解析対象の細胞の種別を選択し、複数の深層学習アルゴリズム（６０）の中から、選択された細胞に対応する深層学習アルゴリズム（６０）を用いて、解析用データ（８０）を処理することが望ましい。これにより、解析対象の細胞の種別に応じて深層学習アルゴリズム（６０）を使い分けることが可能となり、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００３３】
本発明の一態様は、画像解析装置である。実施形態において、画像解析装置（２００Ａ）は、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用いて、細胞の形態を解析する画像解析装置であって、解析対象の細胞を含む解析用画像（７８）から解析用データ（８０）を生成し、解析用データ（８０）を、深層学習アルゴリズム（６０）に入力し、
深層学習アルゴリズム（６０）によって、解析対象の細胞の形態を示すデータを生成す
る処理部（２０Ａ）、を備える。これにより、解析対象の細胞の形態をより正確に解析することが可能となる。
【００３４】
本発明の一態様は、コンピュータプログラムである。実施形態において、コンピュータプログラムは、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用いて、細胞の形態を解析するコンピュータプログラムであって、コンピュータに、解析対象の細胞を含む解析用画像（７８）から解析用データ（８０）を生成する処理と、解析用データ（８０）を、深層学習アルゴリズム（６０）に入力する処理と、深層学習アルゴリズム（６０）によって、解析対象の細胞の形態を示すデータを生成する処理と、を実行させるプログラムである。これにより、解析対象の細胞の形態をより正確に解析することが可能となる。
【００３５】
本発明の一態様は、深層学習アルゴリズムの製造方法である。実施形態において、深層学習アルゴリズム（６０）の製造方法は、学習対象の細胞の形態を示す第１の訓練データ（７２）を取得する第１の取得ステップと、学習対象の細胞の形態の正解を示す第２の訓練データ（７３）を取得する第２の取得ステップと、第１の訓練データ（７２）および第２の訓練データ（７３）を訓練データとして、第１の訓練データ（７２）を入力層（５０ａ）とし、第２の訓練データ（７３）を出力層（５０ｂ）とするニューラルネットワークを用いた深層学習アルゴリズム（５０）を学習させる学習ステップ（Ｓ１３からＳ１９）と、を含む。これにより、解析対象の細胞の形態をより正確に解析するための、深層学習アルゴリズムを製造することが可能となる。
【００３６】
第１の取得ステップの前に、第１の訓練用画像から第１の訓練データを生成するステップ（Ｓ１１）をさらに含み、第２の取得ステップの前に、学習対象の細胞を撮像した第２の訓練用画像から第２の訓練データを生成するステップ（Ｓ１２）をさらに含むことが望ましい。これにより、解析対象の細胞の形態をより正確に解析するための、深層学習アルゴリズムを製造することが可能となる。
【００３７】
第１の訓練用画像（７０）が、学習対象の細胞の位相差像または微分干渉像であり、第２の訓練用画像（７１）が、染色された学習対象の細胞の蛍光画像（７１）であることが望ましい。これにより、解析対象の細胞を撮像するために特別な撮像装置を必要とすることなく、一般的な位相差顕微鏡または微分干渉顕微鏡を用いて、解析用画像を手軽に準備することが可能となる。また、深層学習アルゴリズムを予め学習させておけば、観察時に染色を行うことができない細胞についても、染色を行うことなく、細胞の形態を効率的に解析することが可能となる。
【００３８】
第１の訓練用画像（７０）および第２の訓練用画像（７１）が、移植用細胞を撮像した画像であることが望ましい。これにより、観察時に染色を行うことができない移植用細胞について、細胞の形態を効率的に解析することが可能となる。
【００３９】
本発明の一態様は、画像解析方法である。実施形態において、画像解析方法は、深層学習アルゴリズム（６０）を用いて細胞の領域を解析する画像解析方法であって、解析対象の細胞を含む解析用画像（７８）から、解析用画像（７８）における所定画素数の領域毎に、複数の解析用データ（８０）を生成し、複数の解析用データ（８０）を、深層学習アルゴリズム（６０）に入力し、深層学習アルゴリズム（６０）によって、複数の解析対象の細胞の各々の領域を示すデータを生成する。これにより、解析対象の細胞の形態として、細胞領域をより正確に解析することが可能となる。
【発明の効果】
【００４０】
本発明によると、解析対象の細胞の形態をより正確に解析することができる。
【図面の簡単な説明】
【００４１】
【図１】深層学習方法の概要を説明するための模式図である。
【図２】訓練データの詳細を説明するための模式図である。
【図３】画像解析方法の概要を説明するための模式図である。
【図４】第１の実施形態に係る画像解析システムの概略構成図である。
【図５】ベンダ側装置１００のハードウェア構成を示すブロック図である。
【図６】ユーザ側装置２００のハードウェア構成を示すブロック図である。
【図７】第１の実施形態に係る深層学習装置１００Ａの機能を説明するためのブロック図である。
【図８】深層学習処理の手順を示すフローチャートである。
【図９】ニューラルネットワークによる学習の詳細を説明するための模式図である。
【図１０】第１の実施形態に係る画像解析装置２００Ａの機能を説明するためのブロック図である。
【図１１】画像解析処理の手順を示すフローチャートである。
【図１２】第２の実施形態に係る画像解析システムの概略構成図である。
【図１３】第２の実施形態に係る統合型の画像解析装置２００Ｂの機能を説明するためのブロック図である。
【図１４】第３の実施形態に係る画像解析システムの概略構成図である。
【図１５】第３の実施形態に係る統合型の画像解析装置１００Ｂの機能を説明するためのブロック図である。
【図１６】実施形態に係る画像解析方法による解析結果の二値画像と真値像との比較結果を示す図である。
【図１７】閾値法による解析結果の二値画像と真値像との比較結果を示す図である。
【図１８】最適化に用いたウィンドウサイズのパターンを示す図である。
【発明を実施するための形態】
【００４２】
以下、本発明の概要および実施の形態を、添付の図面を参照して詳細に説明する。以下では、深層学習時に使用する学習用の第１の訓練用画像および第２の訓練用画像として、図１に示す染色された細胞の位相差像７０および蛍光像７１をそれぞれ用いる。画像解析処理時に使用する解析対象の解析用データとして、図３に示す細胞の位相差像７８を用いる。ニューラルネットワーク５０に正解として学習させる、判別対象の細胞の形態としては、細胞領域とする。
【００４３】
本発明の概要および実施の形態では、画像内に含まれる複数の間葉系幹細胞（Mesenchymal Stem Cell；以下MSCと記す）の細胞領域を、ニューラルネットワーク構造の深層学習アルゴリズムによって判別する場合を一例として説明する。処理対象のMSCは移植用の細胞であり、好ましくはMSCのみで培養されている。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する説明を省略する。
【００４４】
［深層学習方法および画像解析方法の概要］
以下ではまず、深層学習方法および画像解析方法の概要について説明する。次に、本発明の複数の実施形態のそれぞれについて、詳細に説明する。
【００４５】
・深層学習方法の概要
図１に示すように、深層学習方法では、学習対象の複数の細胞を撮像した位相差像（第１の訓練用画像）７０から、複数の学習対象の細胞の各々の形態を示す階調画像（第１の訓練データ）７２を生成し、複数の学習対象の細胞を撮像した蛍光像（第２の訓練用画像）７１から、複数の学習対象の細胞の各々の形態を示す真値像（真値像７３）を生成する。学習対象の細胞は、上述のようにMSCであり、複数の細胞が互いに離間された状態で存
在している。位相差像７０および蛍光像７１は、染色された細胞の画像であり、例えば公知の位相差顕微鏡を用いて、予め取得することができる。以後、位相差顕微鏡から取得される位相差像７０および蛍光像７１の画素数のことを、画像全体サイズと呼ぶ。蛍光像７１は位相差像７０と撮像位置が同一である。
【００４６】
位相差像７０を、各画素の輝度値が階調化されたグレースケール像としてデータ化すると、画像全体サイズの階調画像７２となる。図１に例示的に示す階調画像７２では、３階調のグレースケール像に代えて、値０から値７の８段階（３階調）で階調化された輝度値を表示している。
【００４７】
２階調以上のグレースケールのまたは色つきの蛍光像７１を、二値化処理により白黒の蛍光画像としてデータ化すると、真値像７３となる。真値像７３は、白黒の真値像７３であり、ニューラルネットワーク５０に正解として学習させる。ニューラルネットワーク５０に判別させる細胞の形態が、例えば細胞領域である場合、真値像７３は、細胞領域の正解を示すデータである。蛍光像７１が二値化されることにより、細胞領域と細胞以外の背景領域とが区別され、細胞領域が判別される。背景領域または細胞領域のいずれであるかの判断は、例えば、画像内の各画素の階調を、所定の条件（例えば、階調のしきい値）と比較することにより行う。
【００４８】
深層学習方法では、階調画像７２および真値像７３を訓練データ７４として、階調画像７２を入力層５０ａとし、真値像７３を出力層５０ｂとするニューラルネットワーク５０を用いた深層学習アルゴリズムを学習させる。すなわち、階調画像７２および真値像７３のペアを、ニューラルネットワーク５０の訓練データ７４として使用する。
【００４９】
図２（ａ）ないし（ｃ）を参照して、訓練データ７４の生成方法を説明する。図２（ａ）に示す訓練データ７４は、階調画像７２と真値像７３とを組み合わせた画像全体サイズのデータである。訓練データ７４は、説明の便宜のために簡素化されており、階調画像７２および真値像７３が、縦方向９画素および横方向９画素の合計８１画素を有する。
【００５０】
図２（ｂ）に、訓練データ７４を構成する画素の一例を示す。図中の上段に示す値７４ａが、階調画像７２の階調値データであり、図中の下段に示す値７４ｂが、真値像７３の二値データである。上段に示す階調画像７２の各画素は、輝度値が値０から値７の８段階（３階調）で階調化されている。階調値は、例えば黒色を階調値７とし、白色の程度が高くなるに従い徐々に低い値を割り当ててゆき、白色を階調値０とする。下段に示す真値像７３の二値データ７７はラベル値とも呼ぶ。例えばラベル値０は背景を示し、ラベル値１は細胞領域を示すこととする。すなわち、図１に示す真値像７３において、ラベル値が０から１に変化する画素または１から０に変化する画素の位置が、背景領域と細胞領域との境界に相当する。
【００５１】
訓練データ７５は、図２（ａ）に示す訓練データ７４の所定の画素数の領域（以下、「ウィンドウサイズ」と記載する）を切り出したデータである。例えば、図２（ｃ）に示すように、３×３画素のウィンドウＷ１を設定し、訓練データ７４に対するウィンドウＷ１を相対移動させる。ウィンドウＷ１の中心は、訓練データ７４のいずれかの画素に位置しており、例えば、白枠で示すウィンドウＷ１内の訓練データ７４が訓練データ７５として切り出される。切り出した訓練データ７５は図１に示すニューラルネットワーク５０の学習に用いられる。
【００５２】
図１に示すように、ニューラルネットワーク５０の入力層５０ａのノード数は、入力される訓練データ７５の画素数に対応している。訓練データ７５のうち、各画素の階調画像７２に対応する階調値７６を、ニューラルネットワークの入力層５０ａとし、中心に位置
する画素の真値像７３に対応する二値データ７７を、ニューラルネットワークの出力層５０ｂとして、ニューラルネットワーク５０を学習させる。
【００５３】
このように、ニューラルネットワーク５０に入力する訓練データ７５は、ユーザが作成することなく、コンピュータが自動的に作成することができる。これにより、ニューラルネットワーク５０の効率的な深層学習が促進される。
【００５４】
図２（ｃ）に示すように、初期状態において、ウィンドウＷ１の中心は、訓練データ７４の左上角に位置している。以後、ウィンドウＷ１によって訓練データ７５を切り出し、ニューラルネットワーク５０の学習を行う度に、ウィンドウＷ１の位置を移動させる。具体的には、ウィンドウＷ１の中心が訓練データ７４の全ての画素を走査するように、ウィンドウＷ１を１画素単位で移動させる。これにより、訓練データ７４の全ての画素から切り出された訓練データ７５が、ニューラルネットワーク５０の学習に用いられる。よってニューラルネットワーク５０の学習の程度を向上でき、深層学習の結果、図３に示すニューラルネットワーク構造の深層学習アルゴリズム６０が得られる。
【００５５】
・画像解析方法の概要
図３に示すように、画像解析方法では、解析対象の少なくとも１つの細胞を撮像した位相差像（解析用画像）７８から、解析用データ８０を生成する。位相差像７８も、例えば公知の位相差顕微鏡を用いて取得することができる。以後、位相差顕微鏡から取得される解析対象の位相差像７８の画素数のことを、画像全体サイズと呼ぶ。位相差像７８を、各画素の輝度値を階調化したグレースケール像としてデータ化すると、画像全体サイズの階調画像７９となる。図３に例示的に示す階調画像７９では、３階調のグレースケール像に代えて、値０から値７の８段階（３階調）で階調化された輝度値を表示している。画像全体サイズの階調画像７９を、３×３画素のウィンドウＷ２によって切り出すと、解析用データ８０が得られる。
【００５６】
画像解析方法では、図１に示す訓練データ７５を用いて学習された、入力画像内に含まれる複数の細胞の各々の形態を判別する、ニューラルネットワーク構造の深層学習アルゴリズム６０を用いて、解析用データ８０を処理することによって、解析対象の細胞の形態を示すデータ８３を生成する。深層学習アルゴリズム６０は、上述の深層学習方法において、ニューラルネットワーク５０を学習させることにより得られた学習済みのニューラルネットワークである。
【００５７】
再び図３を参照し、階調画像７９から切り出された解析用データ８０が深層学習アルゴリズム６０に入力される。深層学習アルゴリズム６０の入力層６０ａのノード数は、入力される画素数に対応している。解析用データ８０を、深層学習アルゴリズム６０に入力すると、出力層６０ｂからは、ウィンドウサイズの解析用画像の中心に位置する画素の推定値８２（二値）が出力される。
【００５８】
以後、ウィンドウＷ２の中心が階調画像７９の全ての画素を走査するように、ウィンドウＷ２を１画素単位で移動させながら、解析用データ８０をウィンドウサイズで切り出し、切り出された解析用データ８０を、深層学習アルゴリズム６０に入力する。これにより、解析対象の細胞の形態を示すデータ８３として、画像全体サイズの二値画像を得る。
【００５９】
深層学習アルゴリズム６０を得るための訓練データ７５は、深層学習方法の概要で説明したように、ユーザが作成することなく、コンピュータが自動的に作成できる。したがって、ニューラルネットワーク５０の効率的な深層学習が促進され、結果として、画像解析方法における細胞の形態解析を効率化できる。
【００６０】
＜第１の実施形態＞
第１の実施形態では、上述の概要で説明した深層学習方法および画像解析方法を実施するシステムの構成について、具体的に説明する。
【００６１】
［構成の概要］
図４を参照すると、第１の実施形態に係る画像解析システムは、深層学習装置１００Ａと、画像解析装置２００Ａとを備える。ベンダ側装置１００は深層学習装置１００Ａとして動作し、ユーザ側装置２００は画像解析装置２００Ａとして動作する。深層学習装置１００Ａは、ニューラルネットワーク５０の学習を行い、深層学習アルゴリズム６０をユーザに提供する。深層学習アルゴリズム６０は、記録媒体９８またはネットワーク９９を通じて、深層学習装置１００Ａから画像解析装置２００Ａに提供される。画像解析装置２００Ａは、深層学習アルゴリズム６０を用いて解析対象の画像の解析を行う。
【００６２】
深層学習装置１００Ａは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、深層学習処理を行う。画像解析装置２００Ａは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、画像解析処理を行う。記録媒体９８は、例えばＤＶＤ−ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体である。
【００６３】
深層学習装置１００Ａは撮像装置３００に接続されている。撮像装置３００は、撮像素子３０１と、位相差顕微鏡３０２とを備え、ステージ３０９上にセットされた学習用の試料細胞３０８の、位相差像および蛍光像を撮像する。学習用の試料細胞３０８は、蛍光色素を用いて予め染色されている。深層学習装置１００Ａは、撮像装置３００によって撮像された位相差像７０および蛍光像７１を取得する。
【００６４】
画像解析装置２００Ａは撮像装置４００に接続されている。撮像装置４００は、撮像素子４０１と、位相差顕微鏡４０２とを備え、ステージ４０９上にセットされた解析対象の試料細胞４０８の、位相差像を撮像する。画像解析装置２００Ａは、撮像装置４００によって撮像された位相差像７８を取得する。
【００６５】
撮像装置３００，４００には、観察対象の試料を撮像する機能を有する、公知の位相差顕微鏡を用いることができる。
【００６６】
［ハードウェア構成］
図５を参照すると、ベンダ側装置１００（１００Ａ，１００Ｂ）は、処理部１０（１０Ａ，１０Ｂ）と、入力部１６と、出力部１７とを備える。
【００６７】
処理部１０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）１１と、データ処理の作業領域に使用するメモリ１２と、後述するプログラムおよび処理データを記録する記録部１３と、各部の間でデータを伝送するバス１４と、外部機器とのデータの入出力を行うインタフェース部１５とを備えている。入力部１６および出力部１７は、処理部１０に接続されている。例示的には、入力部１６はキーボードまたはマウス等の入力装置であり、出力部１７は液晶ディスプレイ等の表示装置である。
【００６８】
また、処理部１０は、以下の図８で説明する各ステップの処理を行うために、本発明に係るプログラムおよび学習前のニューラルネットワーク５０を、例えば実行形式（例えばプログラミング言語からコンパイラにより変換されて生成される）で記録部１３に予め記録している。処理部１０は、記録部１３に記録したプログラムおよび学習前のニューラルネットワーク５０を使用して処理を行う。
【００６９】
以下の説明においては、特に断らない限り、処理部１０が行う処理は、記録部１３またはメモリ１２に格納されたプログラムおよびニューラルネットワーク５０に基づいて、ＣＰＵ１１が行う処理を意味する。ＣＰＵ１１はメモリ１２を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、記録部１３に演算結果等の長期保存するデータを適宜記録する。
【００７０】
図６を参照すると、ユーザ側装置２００（２００Ａ，２００Ｂ，２００Ｃ）は、処理部２０（２０Ａ，２０Ｂ，２０Ｃ）と、入力部２６と、出力部２７とを備える。
【００７１】
処理部２０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）２１と、データ処理の作業領域に使用するメモリ２２と、後述するプログラムおよび処理データを記録する記録部２３と、各部の間でデータを伝送するバス２４と、外部機器とのデータの入出力を行うインタフェース部２５とを備えている。入力部２６および出力部２７は、処理部２０に接続されている。例示的には、入力部２６はキーボードまたはマウス等の入力装置であり、出力部２７は液晶ディスプレイ等の表示装置である。
【００７２】
また、処理部２０は、以下の図１１で説明する各ステップの処理を行うために、本発明に係るプログラムおよび学習済みのニューラルネットワークであるニューラルネットワーク構造の深層学習アルゴリズム６０を、例えば実行形式（例えばプログラミング言語からコンパイラにより変換されて生成される）で記録部２３に予め記録している。処理部２０は、記録部２３に記録したプログラムおよび深層学習アルゴリズム６０を使用して処理を行う。
【００７３】
以下の説明においては、特に断らない限り、処理部２０が行う処理は、記録部２３またはメモリ２２に格納されたプログラムおよび深層学習アルゴリズム６０に基づいて、実際には処理部２０のＣＰＵ２１が行う処理を意味する。ＣＰＵ２１はメモリ２２を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、記録部２３に演算結果等の長期保存するデータを適宜記録する。
【００７４】
［機能ブロックおよび処理手順］
・深層学習処理
図７を参照すると、第１の実施形態に係る深層学習装置１００Ａの処理部１０Ａは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３とを備える。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラムを、処理部１０Ａの記録部１３またはメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部１０Ａの記録部１３またはメモリ１２に記録される。
【００７５】
学習用の細胞の位相差像７０および蛍光像７１は、撮像装置３００によって予め撮像され、処理部１０Ａの記録部１３またはメモリ１２に予め記載されていることとする。学習前のニューラルネットワーク５０はアルゴリズムデータベース１０５に予め格納されている。
【００７６】
深層学習装置１００Ａの処理部１０Ａは、図８に示す処理を行う。図７に示す各機能ブロックを用いて説明すると、ステップＳ１１からＳ１３、Ｓ１８およびＳ１９の処理は、訓練データ生成部１０１が行う。ステップＳ１４の処理は、訓練データ入力部１０２が行う。ステップＳ１５からＳ１７の処理は、アルゴリズム更新部１０３が行う。
【００７７】
以下に説明するステップＳ１１からＳ１９では、１対の入力画像のペアに対する深層学
習処理を説明する。１対の入力画像のペアとは、例えば公知の位相差顕微鏡を用いて取得される、画像全体サイズの１枚の位相差像７０と画像全体サイズの１枚の蛍光像７１とのペアである。
【００７８】
ステップＳ１１において、処理部１０Ａは、入力された位相差像７０から階調画像７２を生成する。階調画像７２は、位相差像７０の各画素の輝度値を階調化して、グレースケール化することにより作成する。本実施形態では、輝度値が値０から値７の８段階（すなわち３階調）のグレースケール像として階調画像７２を作成する。階調値の割り当ては、例えば黒色を階調値７とし、白色の程度が高くなるに従い徐々に低い値を割り当ててゆき、白色を階調値０とする。
【００７９】
ステップＳ１２において、処理部１０Ａは、入力された蛍光像７１の各画素の階調を二値化して真値像７３を生成する。真値像７３（二値化画像７３）は、ニューラルネットワーク５０に正解として学習させる訓練データを構成する。二値化の処理は、例えば、画像内の各画素の階調を、所定のしきい値と比較することにより行う。
【００８０】
ステップＳ１３において、処理部１０Ａは、入力部１６を通じて、深層学習装置１００Ａ側のオペレータからの、学習用の細胞の種別の入力を受け付ける。処理部１０Ａは、入力された細胞の種別に基づき、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズを設定する。MSCを解析対象とする本実施形態では、ウィンドウサイズは例えば３×３画素とする。ウィンドウサイズは、１回の入力時にニューラルネットワーク５０に入力する訓練データの単位であり、入力層５０ａのノード数に対応している。ウィンドウサイズは細胞の種別と対応付けられて、ウィンドウサイズデータベース１０４内に予め記録されている。
【００８１】
ステップＳ１４において、処理部１０Ａは、画像全体サイズの階調画像７２および真値像７３から、ウィンドウサイズの訓練データ７５を生成する。具体的には、上述の「深層学習方法の概要」において、図２（ａ）ないし（ｃ）を参照して説明したように、階調画像７２および真値像７３を組み合わせた訓練データ７４から、ウィンドウＷ１によって、訓練データ７５を作成する。
【００８２】
図８に示すステップＳ１５において、処理部１０Ａは、訓練データ７５を用いて、ニューラルネットワーク５０を学習させる。ニューラルネットワーク５０の学習結果は、訓練データ７５を用いてニューラルネットワーク５０を学習させる度に蓄積される。
【００８３】
実施形態に係る画像解析方法では、確率的勾配降下法を用いるため、ステップＳ１６において、処理部１０Ａは、予め定められた所定の試行回数分の学習結果が蓄積されているか否かを判断する。学習結果が所定の試行回数分蓄積されている場合、処理部１０ＡはステップＳ１７の処理を行い、学習結果が所定の試行回数分蓄積されていない場合、処理部１０ＡはステップＳ１８の処理を行う。
【００８４】
学習結果が所定の試行回数分蓄積されている場合、ステップＳ１７において、処理部１０Ａは、ステップＳ１５において蓄積しておいた学習結果を用いて、ニューラルネットワーク５０の結合重みｗを更新する。実施形態に係る画像解析方法では、確率的勾配降下法を用いるため、所定の試行回数分の学習結果が蓄積した段階で、ニューラルネットワーク５０の結合重みｗを更新する。結合重みｗを更新する処理は、具体的には、後述の（式１１）および（式１２）に示される、勾配降下法による計算を実施する処理である。
【００８５】
ステップＳ１８において、処理部１０Ａは、入力画像内の全ての画素を処理したか否かを判断する。入力画像は、画像全体サイズの訓練データ７４であり、画像全体サイズの訓
練データ７４内の全ての画素について、ステップＳ１４からステップＳ１７の一連の処理がなされている場合は、深層学習処理を終了する。
【００８６】
入力画像内の全ての画素が処理されていない場合は、処理部１０Ａは、ステップＳ１９において、図２（ｃ）に示すように、画像全体サイズの訓練データ７４内において、ウィンドウの中心位置を１画素単位で移動させる。その後、処理部１０Ａは、移動後の新たなウィンドウ位置において、ステップＳ１４からステップＳ１７の一連の処理を行う。すなわち、処理部１０Ａは、ステップＳ１４において、移動後の新たなウィンドウ位置において訓練データ７４をウィンドウサイズで切り出し、ステップＳ１５において、新たに切り出したウィンドウサイズの訓練データ７５を用いて、ニューラルネットワーク５０を学習させる。ステップＳ１６において、所定の試行回数分の学習結果が蓄積されている場合は、処理部１０Ａは、ステップＳ１７において、ニューラルネットワーク５０の結合重みｗを更新する。このようなウィンドウサイズ毎のニューラルネットワーク５０の学習を、画像全体サイズの訓練データ７４内の全ての画素に対して行う。
【００８７】
以上説明した、１対の入力画像のペアに対するステップＳ１１からＳ１９の深層学習処理を、異なる入力画像の複数のペアに対して繰り返し行うことにより、ニューラルネットワーク５０の学習の程度を向上させ、図３に示すニューラルネットワーク構造の深層学習アルゴリズム６０を得る。
【００８８】
・ニューラルネットワークの構造
図９（ａ）に示すように、第１の実施形態では、深層学習タイプのニューラルネットワークを用いる。深層学習タイプのニューラルネットワークとは、図９に示すニューラルネットワーク５０のように、入力層５０ａと、出力層５０ｂと、入力層５０ａおよび出力層５０ｂの間の中間層５０ｃとを備え、中間層５０ｃが複数の層で構成されているニューラルネットワークである。中間層５０ｃを構成する層の数は、例えば５層以上とすることができる。
【００８９】
ニューラルネットワーク５０では、層状に配置された複数のノード８４が、隣接する層間においてのみ結合されている。これにより、情報が入力側の層５０ａから出力側の層５０ｂに、図中矢印Ｄに示す一方向のみに伝播する。入力層５０ａのノード数は、入力される画像の画素数に対応しており、図２（ｃ）に示すウィンドウＷ１の画素数に対応している。入力層５０ａに画像の画素データ（階調値）を入力することができるので、ユーザは入力画像から特徴量を別途算出することなく、入力画像を入力層５０ａに入力することができる。
【００９０】
・各ノードにおける演算
図９（ｂ）は、各ノードにおける演算を示す模式図である。各ノード８４では、複数の入力（ｕ）を受け取り、１つの出力（ｚ）を計算する。図９（ｂ）に示す例の場合、ノード８４は４つの入力を受け取る。ノード８４が受け取る総入力（ｕ）は、以下の（式１）で表される。
【数１】
2018185759.tif 000003
【００９１】
各入力には、それぞれ異なる重みｗが掛けられる。（式１）中、ｂはバイアスと呼ばれる値である。ノードの出力（ｚ）は、（式１）で表される総入力（ｕ）に対する所定の関数ｆの出力となり、以下の（式２）で表される。関数ｆは活性化関数と呼ばれる。
【数２】
2018185759.tif 000004
【００９２】
図９（ｃ）は、ノード間の演算を示す模式図である。ニューラルネットワーク５０では、（式１）で表される総入力（ｕ）に対して、（式２）で表される結果（ｚ）を出力するノードが層状に並べられている。前の層のノードの出力が、次の層のノードの入力となる。図９（ｃ）に示す例では、図中左側の層のノード８４ａの出力が、図中右側の層のノード８４ｂの入力となる。右側の層の各ノード８４ｂは、それぞれ、左側の層のノード８４ａからの出力を受け取る。左側の層の各ノード８４ａと右側の層の各ノード８４ｂとの間の各結合には、異なる重みｗｉｊが掛けられる。左側の層の複数のノード８４ａのそれぞれの出力をｘ１〜ｘ４とすると、右側の層の複数のノード８４ｂ（ｊ＝１，２，３）のそれぞれに対する入力は、以下の（式３−１）〜（式３−３）で表される。
【数３】
2018185759.tif 000005
【００９３】
これら（式３−１）〜（式３−３）を一般化すると、（式３−４）となる。ここで、ｉ＝１，・・・Ｉ、ｊ＝１，・・・Ｊである。
【数４】
2018185759.tif 000006
【００９４】
（式３−４）を活性化関数に適用すると出力が得られる。出力は以下の（式４）で表される。
【数５】
2018185759.tif 000007
【００９５】
・活性化関数
実施形態に係る画像解析方法では、活性化関数として、正規化線形関数（rectified linear unit function）を用いる。正規化線形関数は以下の（式５）で表される。
【数６】
2018185759.tif 000008
【００９６】
（式５）は、ｚ＝ｕの線形関数のうち、ｕ＜０の部分をｕ＝０とする関数である。図９（ｃ）に示す例では、ｊ＝１のノードの出力は、（式５）により、以下の式で表される。
【数７】
2018185759.tif 000009
【００９７】
・ニューラルネットワークの学習
ニューラルネットワークを用いて表現される関数をｙ（ｘ：ｗ）とおくと、関数ｙ（ｘ：ｗ）は、ニューラルネットワークのパラメータｗを変化させると変化する。入力ｘに対してニューラルネットワークがより好適なパラメータｗを選択するように、関数ｙ（ｘ：ｗ）を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワークを用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力ｘに対する望ましい出力をｄとすると、入出力の組は、｛（ｘ１，ｄ１），（ｘ２，ｄ２），・・・，（ｘｎ，ｄｎ）｝と与えられる。（ｘ，ｄ）で表される各組の集合を、訓練データと呼ぶ。具体的には、図２（ｂ）に示す、各画素における位相差像の輝度の階調値と真
値像のラベルとの組、の集合が、図２（ａ）に示す訓練データである。
【００９８】
ニューラルネットワークの学習とは、どのような入出力の組（ｘｎ，ｄｎ）に対しても、入力ｘｎを与えたときのニューラルネットワークの出力ｙ（ｘｎ：ｗ）が、出力ｄｎになるべく近づくように重みｗを調整することを意味する。誤差関数（error function）とは、ニューラルネットワークを用いて表現される関数と訓練データとの近さ
【数８】
2018185759.tif 000010
を測る尺度である。実施形態に係る画像解析方法において用いる誤差関数Ｅ（ｗ）は、以下の（式６）で表される。（式６）は交差エントロピー（cross entropy）と呼ばれる。
【数９】
2018185759.tif 000011
【００９９】
（式６）の交差エントロピーの算出方法を説明する。実施形態に係る画像解析方法において用いるニューラルネットワーク５０の出力層５０ｂでは、すなわちニューラルネットワークの最終層では、入力ｘを内容に応じて有限個のクラスに分類するための活性化関数を用いる。活性化関数はソフトマックス関数（softmax function）と呼ばれ、以下の（式７）で表される。なお、出力層５０ｂには、クラス数ｋと同数のノードが並べられているとする。出力層Ｌの各ノードｋ（ｋ＝１，・・・Ｋ）の総入力ｕは、前層Ｌ−１の出力から、ｕｋ（Ｌ）で与えられるとする。これにより、出力層のｋ番目のノードの出力は以下の（式７）で表される。
【数１０】
2018185759.tif 000012
【０１００】
（式７）がソフトマックス関数である。（式７）で決まる出力ｙ１，・・・ｙＫの総和は常に１となる。
【０１０１】
各クラスをＣ１，・・・ＣＫと表すと、出力層Ｌのノードｋの出力ｙＫ（すなわちｕｋ（Ｌ））は、与えられた入力ｘがクラスＣＫに属する確率を表す。以下の（式８）を参照されたい。入力ｘは、（式８）で表される確率が最大になるクラスに分類される。
【数１１】
2018185759.tif 000013
【０１０２】
ニューラルネットワークの学習では、ニューラルネットワークで表される関数を、各クラスの事後確率（posterior probability）のモデルとみなし、そのような確率モデルの下で、訓練データに対する重みｗの尤度（likelihood）を評価し、尤度を最大化するような重みｗを選択する。
【０１０３】
（式７）のソフトマックス関数による目標出力ｄｎを、出力が正解のクラスである場合のみ１とし、出力がそれ以外の場合は０になるとする。目標出力をｄｎ＝［ｄｎ１，・・・，ｄｎＫ］というベクトル形式で表すと、例えば入力ｘｎの正解クラスがＣ３である場合、目標出力ｄｎ３のみが１となり、それ以外の目標出力は０となる。このように符号化すると、事後分布（posterior）は以下の（式９）で表される。
【数１２】
2018185759.tif 000014
【０１０４】
訓練データ｛（ｘｎ，ｄｎ）｝（ｎ＝１，・・・Ｎ）に対する重みｗの尤度Ｌ（ｗ）は、以下の（式１０）で表される。尤度Ｌ（ｗ）の対数をとり符号を反転すると、（式６）の誤差関数が導出される。
【数１３】
2018185759.tif 000015
【０１０５】
学習は、訓練データを基に計算される誤差関数Ｅ（ｗ）を、ニューラルネットワークのパラメータｗについて最小化することを意味する。実施形態に係る画像解析方法では、誤差関数Ｅ（ｗ）は（式６）で表される。
【０１０６】
誤差関数Ｅ（ｗ）をパラメータｗについて最小化することは、関数Ｅ（ｗ）の局所的な極小点を求めることと同じ意味である。パラメータｗはノード間の結合の重みである。重みｗの極小点は、任意の初期値を出発点として、パラメータｗを繰り返し更新する反復計算によって求められる。このような計算の一例には、勾配降下法（gradient descent method）がある。
【０１０７】
勾配降下法では、次の（式１１）で表されるベクトルを用いる。
【数１４】
2018185759.tif 000016
【０１０８】
勾配降下法では、現在のパラメータｗの値を負の勾配方向（すなわち−∇Ｅ）に移動させる処理を何度も繰り返す。現在の重みをｗ（ｔ）とし、移動後の重みをｗ（ｔ＋１）とすると、勾配降下法による演算は、以下の（式１２）で表される。値ｔは、パラメータｗを移動させた回数を意味する。
【数１５】
2018185759.tif 000017
【０１０９】
記号
【数１６】
2018185759.tif 000018
は、パラメータｗの更新量の大きさを決める定数であり、学習係数と呼ばれる。（式１２）で表される演算を繰り返すことにより、値ｔの増加に伴って誤差関数Ｅ（ｗ（ｔ））が減少し、パラメータｗは極小点に到達する。
【０１１０】
なお、（式１２）による演算は、全ての訓練データ（ｎ＝１，・・・，Ｎ）に対して実施してもよく、一部の訓練データのみに対して実施してもよい。一部の訓練データのみに対して行う勾配降下法は、確率的勾配降下法（stochastic gradient descent）と呼ばれる。実施形態に係る画像解析方法では、確率的勾配降下法を用いる。
【０１１１】
・画像解析処理
図１０を参照すると、第１の実施形態に係る画像解析装置２００Ａの処理部２０Ａは、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３とを備える。これらの機能ブロックは、本発明に係るコンピュータに画像解析処理を実行させるプログラムを、処理部２０Ａの記録部２３またはメモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、記録媒体９８またはネットワーク９９を通じて深層学習装置１００Ａから提供され、処理部２０Ａの記録部２３またはメモリ２２に記録される。
【０１１２】
解析対象の細胞の位相差像７８は、撮像装置４００によって予め撮像され、処理部２０Ａの記録部２３またはメモリ２２に予め記録されていることとする。学習済みの結合重みｗを含む深層学習アルゴリズム６０は、アルゴリズムデータベース１０５に格納されており、コンピュータに画像解析処理を実行させるプログラムの一部であるプログラムモジュールとして機能する。すなわち、深層学習アルゴリズム６０は、ＣＰＵおよびメモリを備えるコンピュータにて用いられ、解析対象の細胞の形態を示すデータを出力するという、使用目的に応じた特有の情報の演算または加工を実行するよう、コンピュータを機能させる。具体的には、処理部２０ＡのＣＰＵ２１は、記録部２３またはメモリ２２に記録された深層学習アルゴリズム６０に規定されているアルゴリズムに従って、入力層６０ａに入力された、解析対象の細胞を撮像した位相差像７８に対して、学習済みの結合重みｗに基づくニューラルネットワーク６０の演算を行い、出力層６０ｂから、解析対象の細胞の形態を示すデータである二値画像８３を出力する。
【０１１３】
図１１を参照すると、画像解析装置２００Ａの処理部２０Ａは、図１１に示す処理を行う。図１０に示す各機能ブロックを用いて説明すると、ステップＳ２１およびＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。
【０１１４】
ステップＳ２１において、処理部２０Ａは、入力された位相差像７８から階調画像７９を生成する。階調画像７９の生成方法は、図８に示す深層学習処理時におけるステップＳ１１での生成方法と同様である。
【０１１５】
図１１に示すステップＳ２２において、処理部２０Ａは、入力部２６を通じて、解析条件として、画像解析装置２００Ａ側のユーザからの、細胞の種別の入力を受け付ける。処理部２０Ａは、入力された細胞の種別に基づき、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を参照して、解析に用いるウィンドウサイズを設定し、解析に用いる深層学習アルゴリズム６０を取得する。ウィンドウサイズは、１回の入力時にニューラルネットワーク６０に入力する解析用データの単位であり、入力層６０ａのノード数に対応している。ウィンドウサイズは細胞の種別と対応付けられて、ウィンドウサイズデータベース１０４内に予め記録されている。ウィンドウサイズは、図３に示すウィンドウＷ２のように、例えば３×３画素である。深層学習アルゴリズム６０も、細胞の種別と対応付けられて、図１０に示すアルゴリズムデータベース１０５内に予め記録されている。
【０１１６】
図１１に示すステップＳ２３において、処理部２０Ａは、画像全体サイズの階調画像７９から、ウィンドウサイズの解析用データ８０を生成する。
【０１１７】
ステップＳ２４において、処理部２０Ａは、図３に示す解析用データ８０を、深層学習アルゴリズム６０に入力する。ウィンドウの初期位置は、深層学習処理時におけるステッ
プＳ１５と同様に、例えばウィンドウ内の３×３画素の中心に位置する画素が、画像全体サイズを有する解析用データの左上角に対応する位置である。処理部２０Ａは、ウィンドウサイズの解析用データ８０に含まれる、３×３画素の合計９個の階調値の値８１を入力層６０ａに入力すると、深層学習アルゴリズム６０は、出力層６０ｂに判別結果８２を出力する。
【０１１８】
図１１に示すステップＳ２５において、処理部２０Ａは、図３に示す出力層６０ｂに出力される判別結果８２を記録する。判別結果８２は、解析対象である、階調画像７９の中心に位置する画素の推定値（二値）である。
【０１１９】
図１１に示すステップＳ２６において、処理部２０Ａは、入力画像内の全ての画素を処理したか否かを判断する。入力画像は、図３に示す画像全体サイズの階調画像７９であり、階調画像７９内の全ての画素について、図１１に示すステップＳ２３からステップＳ２５の一連の処理がなされている場合は、ステップＳ２８の処理を行う。
【０１２０】
入力画像内の全ての画素が処理されていない場合は、処理部２０Ａは、ステップＳ２７において、深層学習処理時におけるステップＳ１９と同様に、図３に示す階調画像７９内において、ウィンドウＷ２の中心位置を１画素単位で移動させる。その後、処理部２０Ａは、移動後の新たなウィンドウＷ２の位置において、ステップＳ２３からステップＳ２５の一連の処理を行う。処理部２０Ａは、ステップＳ２５において、移動後の新たなウィンドウ位置に対応する、判別結果８２を記録する。このようなウィンドウサイズ毎の判別結果８２の記録を、画像全体サイズの解析用データ内の全ての画素に対して行うことにより、解析結果の二値画像８３が得られる。解析結果の二値画像８３は、画像全体サイズである。
【０１２１】
図１１に示すステップＳ２８では、処理部２０Ａは、解析結果の二値画像８３を出力部２７に出力し、画像解析処理を終了する。
【０１２２】
以上、画像解析装置２００Ａのユーザは、解析対象の細胞の位相差像７８を画像解析装置２００Ａに入力することにより、解析結果として、二値画像８３を取得することができる。二値画像８３は、解析対象の細胞の細胞領域と背景領域とを表しており、ユーザは、解析対象の細胞の形態として、細胞領域を判別することが可能となる。
【０１２３】
＜第２の実施形態＞
【０１２４】
以下、第１の実施形態に係る画像解析システムと相違する点について、第２の実施形態に係る画像解析システムを説明する。
【０１２５】
［構成の概要］
図１２を参照すると、第２の実施形態に係る画像解析システムは、ユーザ側装置２００を備え、ユーザ側装置２００が、統合型の画像解析装置２００Ｂとして動作する。画像解析装置２００Ｂは、例えば汎用コンピュータで構成されており、第１の実施形態において説明した深層学習処理および画像解析処理の両方の処理を行う。つまり、第２の実施形態に係る画像解析システムは、ユーザ側で深層学習および画像解析を行う、スタンドアロン型のシステムであり、ユーザ側に設置された統合型の画像解析装置２００Ｂが、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａの両方の機能を担う点において、第１の実施形態に係る画像解析システムと異なる。
【０１２６】
画像解析装置２００Ｂは撮像装置４００に接続されている。撮像装置４００は、深層学習処理時には、学習用の細胞の位相差像７０および蛍光像７１を取得し、画像解析処理時
には、解析対象の細胞の位相差像７８を取得する。
【０１２７】
［ハードウェア構成］
画像解析装置２００Ｂのハードウェア構成は、図６に示すユーザ側装置２００のハードウェア構成と同様である。
【０１２８】
［機能ブロックおよび処理手順］
図１３を参照すると、第２の実施形態に係る画像解析装置２００Ｂの処理部２０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３とを備える。これらの機能ブロックは、コンピュータに深層学習処理および画像解析処理を実行させるプログラムを、処理部２０Ｂの記録部２３またはメモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部２０Ｂの記録部２３またはメモリ２２に記録され、どちらも深層学習時および画像解析処理時に共通して使用される。学習前のニューラルネットワーク５０はアルゴリズムデータベース１０５に予め格納されており、深層学習処理により結合重みｗが更新されて、深層学習アルゴリズム６０として、アルゴリズムデータベース１０５に格納される。なお、学習用の細胞の位相差像７０および蛍光像７１は、撮像装置４００によって予め撮像され、処理部２０Ｂの記録部２３またはメモリ２２に予め記載されていることとする。解析対象の細胞の位相差像７８も、撮像装置４００によって予め撮像され、処理部２０Ｂの記録部２３またはメモリ２２に予め記録されていることとする。
【０１２９】
画像解析装置２００Ｂの処理部２０Ｂは、深層学習処理時には、図８に示す処理を行い、画像解析処理時には、図１１に示す処理を行う。図１３に示す各機能ブロックを用いて説明すると、深層学習処理時には、ステップＳ１１からＳ１３、Ｓ１８およびＳ１９の処理は、訓練データ生成部１０１が行う。ステップＳ１４の処理は、訓練データ入力部１０２が行う。ステップＳ１５からＳ１７の処理は、アルゴリズム更新部１０３が行う。画像解析処理時には、ステップＳ２１およびＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。
【０１３０】
第２の実施形態に係る画像解析装置２００Ｂが行う深層学習処理の手順および画像解析処理の手順は、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａがそれぞれ行う手順と同様である。なお、第２の実施形態に係る画像解析装置２００Ｂは、次の点において第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａと異なる。
【０１３１】
深層学習処理時のステップＳ１３において、処理部２０Ｂは、入力部２６を通じて、画像解析装置２００Ｂのユーザからの、学習用の細胞の種別の入力を受け付ける。処理部２０Ｂは、入力された細胞の種別に基づき、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズを設定する。
【０１３２】
以上、画像解析装置２００Ｂのユーザは、解析対象の細胞の位相差像７８を画像解析装置２００Ｂに入力することにより、解析結果として、二値画像８３を取得することができる。
【０１３３】
第２の実施形態に係る画像解析装置２００Ｂによると、ユーザは、自身が選択した種類の細胞を、学習用の細胞として用いることができる。これは、ニューラルネットワーク５０の学習がベンダ側任せではなく、ユーザ自身がニューラルネットワーク５０の学習の程
度を向上できることを意味する。
【０１３４】
＜第３の実施形態＞
【０１３５】
以下、第２の実施形態に係る画像解析システムと相違する点について、第３の実施形態に係る画像解析システムを説明する。
【０１３６】
［構成の概要］
図１４を参照すると、第３の実施形態に係る画像解析システムは、ベンダ側装置１００と、ユーザ側装置２００とを備える。ベンダ側装置１００は統合型の画像解析装置１００Ｂとして動作し、ユーザ側装置２００は端末装置２００Ｃとして動作する。画像解析装置１００Ｂは、例えば汎用コンピュータで構成されており、第１の実施形態において説明した深層学習処理および画像解析処理の両方の処理を行う、クラウドサーバ側の装置である。端末装置２００Ｃは、例えば汎用コンピュータで構成されており、ネットワーク９９を通じて、解析対象の画像を画像解析装置１００Ｂに送信し、ネットワーク９９を通じて、解析結果の画像を画像解析装置１００Ｂから受信する、ユーザ側の端末装置である。
【０１３７】
第３の実施形態に係る画像解析システムは、ベンダ側に設置された統合型の画像解析装置１００Ｂが、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａの両方の機能を担う点において、第２の実施形態に係る画像解析システムと同様である。一方、第３の実施形態に係る画像解析システムは、端末装置２００Ｃを備え、解析対象の画像の入力インタフェースと、解析結果の画像の出力インタフェースとをユーザ側の端末装置２００Ｃに提供する点において、第２の実施形態に係る画像解析システムと異なる。つまり、第３の実施形態に係る画像解析システムは、深層学習処理および画像解析処理を行うベンダ側が、解析対象の画像および解析結果の画像の入出力インタフェースをユーザ側に提供する、クラウドサービス型のシステムである。
【０１３８】
画像解析装置１００Ｂは撮像装置３００に接続されており、撮像装置３００によって撮像される、学習用の細胞の位相差像７０および蛍光像７１を取得する。
【０１３９】
端末装置２００Ｃは撮像装置４００に接続されており、撮像装置４００によって撮像される、解析対象の細胞の位相差像７８を取得する。
【０１４０】
［ハードウェア構成］
画像解析装置１００Ｂのハードウェア構成は、図５に示すベンダ側装置１００のハードウェア構成と同様である。端末装置２００Ｃのハードウェア構成は、図６に示すユーザ側装置２００のハードウェア構成と同様である。
【０１４１】
［機能ブロックおよび処理手順］
図１５を参照すると、第３の実施形態に係る画像解析装置１００Ｂの処理部１０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３とを備える。これらの機能ブロックは、コンピュータに深層学習処理および画像解析処理を実行させるプログラムを、処理部１０Ｂの記録部１３またはメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部１０Ｂの記録部１３またはメモリ１２に記録され、どちらも深層学習時および画像解析処理時に共通して使用される。学習前のニューラルネットワーク５０はアルゴリズムデータベース１０５に予め格納されており、深層学習処理により結合重みｗが更新されて、深層学習アルゴリズム６０として、アルゴリズムデータベース１０５に格納される。
【０１４２】
なお、学習用の細胞の位相差像７０および蛍光像７１は、撮像装置３００によって予め撮像され、処理部１０Ｂの記録部１３またはメモリ１２に予め記載されていることとする。解析対象の細胞の位相差像７８も、撮像装置４００によって予め撮像され、端末装置２００Ｃの処理部２０Ｃの記録部２３またはメモリ２２に予め記録されていることとする。
【０１４３】
画像解析装置１００Ｂの処理部１０Ｂは、深層学習処理時には、図８に示す処理を行い、画像解析処理時には、図１１に示す処理を行う。図１５に示す各機能ブロックを用いて説明すると、深層学習処理時には、ステップＳ１１からＳ１３、Ｓ１８およびＳ１９の処理は、訓練データ生成部１０１が行う。ステップＳ１４の処理は、訓練データ入力部１０２が行う。ステップＳ１５からＳ１７の処理は、アルゴリズム更新部１０３が行う。画像解析処理時には、ステップＳ２１およびＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。
【０１４４】
第３の実施形態に係る画像解析装置１００Ｂが行う深層学習処理の手順および画像解析処理の手順は、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａがそれぞれ行う手順と同様である。なお、第３の実施形態に係る画像解析装置１００Ｂは、次の３つの点において第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａと異なる。
【０１４５】
図１１に示す画像解析処理時のステップＳ２１において、処理部１０Ｂは、解析対象の細胞の位相差像７８を、ユーザ側の端末装置２００Ｃから受信し、受信した位相差像７８から階調画像７９を生成する。階調画像７９の生成方法は、図８に示す深層学習処理時におけるステップＳ１１での生成方法と同様である。
【０１４６】
図１１に示す画像解析処理時のステップＳ２２において、処理部１０Ｂは、端末装置２００Ｃの入力部２６を通じて、解析条件として、端末装置２００Ｃのユーザからの、細胞の種別の入力を受け付ける。処理部１０Ｂは、入力された細胞の種別に基づき、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を参照して、解析に用いるウィンドウサイズを設定し、解析に用いる深層学習アルゴリズム６０を取得する。
【０１４７】
画像解析処理時のステップＳ２８において、処理部１０Ｂは、解析結果の二値画像８３を、ユーザ側の端末装置２００Ｃに送信し、画像解析処理を終了する。ユーザ側の端末装置２００Ｃでは、処理部２０Ｃが、受信した解析結果の二値画像８３を出力部２７に出力する。
【０１４８】
以上、端末装置２００Ｃのユーザは、解析対象の細胞の位相差像７８を画像解析装置１００Ｂに送信することにより、解析結果として、二値画像８３を取得することができる。
【０１４９】
第３の実施形態に係る画像解析装置１００Ｂによると、ユーザは、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を深層学習装置１００Ａから取得することなく、画像解析処理の結果を享受することができる。これにより、解析対象の細胞の形態を解析するサービスとして、細胞領域を判別するサービスを、クラウドサービスとして提供することができる。
【０１５０】
＜付記事項＞
以上、本発明を概要および特定の実施形態によって説明したが、本発明は上記した概要および各実施形態に限定されるものではない。
【０１５１】
上記概要および各実施形態では、処理対象の細胞を間葉系幹細胞（MSC）として、深層
学習処理および画像解析処理を行っているが、処理対象の細胞はMSCに限定されず、移植用の細胞とすることができる。移植用の細胞は、幹細胞および前駆細胞を含む。幹細胞は、組織幹細胞（体性幹細胞または成体幹細胞）と、人工多様性幹細胞（iPS細胞）と、胚性幹細胞（ES細胞）と、胚性生殖幹細胞（EG細胞）とを含む。前駆細胞は、血管内皮前駆細胞と、平滑筋前駆細胞と、芽球とを含む。組織幹細胞（体性幹細胞または成体幹細胞）は、SP(Side Population)細胞を含む造血幹細胞と、Muse細胞を含む間葉系幹細胞（MSC）と、神経幹細胞と、サテライト細胞と、腸管幹細胞と、乳腺幹細胞と、表皮幹細胞および真皮幹細胞を含む皮膚幹細胞と、肝幹細胞と、膵幹細胞と、心筋幹細胞と、生殖幹細胞とを含む。これら移植用の細胞は、好ましくは単一の種別（細胞種）のみで培養される細胞である。
【０１５２】
上記第１から第３の実施形態では、深層学習処理時のステップＳ１３において、処理部１０Ａ，２０Ｂ，１０Ｂは、入力された細胞の種別に基づいて、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズの画素数を設定しているが、オペレータまたはユーザがウィンドウサイズを直接設定してもよい。この場合、ウィンドウサイズデータベース１０４は不要となる。
【０１５３】
上記第１から第３の実施形態では、深層学習処理時のステップＳ１３において、処理部１０Ａ，２０Ｂ，１０Ｂは、入力された細胞の種別に基づいて、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズの画素数を設定しているが、細胞の種別の入力に代えて、細胞のサイズを入力してもよい。処理部１０Ａ，２０Ｂ，１０Ｂは、入力された細胞のサイズに基づいて、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズの画素数を設定すればよい。画像解析処理時のステップＳ２２においてもステップＳ１３と同様に、細胞の種別の入力に代えて、細胞のサイズを入力してもよい。処理部２０Ａ，２０Ｂ，１０Ｂは、入力された細胞のサイズに基づいて、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を参照して、解析に用いるウィンドウサイズの画素数を設定し、解析に用いる深層学習アルゴリズム６０を取得すればよい。
【０１５４】
細胞のサイズを入力する態様については、サイズを数値として直接入力してもよいし、例えば入力のユーザインタフェースをプルダウンメニューとして、ユーザが入力しようとするサイズに対応する、所定の数値範囲をユーザに選択させて入力してもよい。
【０１５５】
また、深層学習処理時のステップＳ１３および画像解析処理時のステップＳ２２において、細胞の種別または細胞のサイズに加えて、細胞の位相差像７０、７８および蛍光像７１を撮像した際の撮像倍率を入力してもよい。撮像倍率を入力する態様については、倍率を数値として直接入力してもよいし、例えば入力のユーザインタフェースをプルダウンメニューとして、ユーザが入力しようとする倍率に対応する、所定の数値範囲をユーザに選択させて入力してもよい。
【０１５６】
深層学習処理時のステップＳ１３において、処理部１０Ａ，２０Ｂ，１０Ｂは、入力された細胞の種別または細胞のサイズに基づいて、ウィンドウサイズデータベース１０４を参照してウィンドウサイズの画素数を取得し、さらに、取得したウィンドウサイズの画素数を、入力された撮像倍率に基づいて補正してもよい。後述する実施例において説明するように、ウィンドウサイズの画素数は細胞のサイズに応じて設定される値であり、細胞の撮像倍率が変化すると、同じウィンドウサイズを表す画素数も変化するからである。
【０１５７】
上記第１から第３の実施形態では、深層学習処理時のステップＳ１７において、処理部１０Ａ，２０Ｂ，１０Ｂは、深層学習アルゴリズム６０を、細胞の種別と一対一に対応付けて、アルゴリズムデータベース１０５に記録しているが、処理部１０Ａ，２０Ｂ，１０
Ｂは、１つの深層学習アルゴリズム６０に、複数の細胞の種別を対応付けて、アルゴリズムデータベース１０５に記録してもよい。
【０１５８】
上記第１から第３の実施形態では、深層学習処理時のステップＳ１１において、処理部１０Ａ，２０Ｂ，１０Ｂは、階調画像７２を３階調のグレースケール像として作成しているが、階調画像７２のグレースケール像の階調は３階調に制限されず、２階調以上のグレースケール像であればよい。同様に、画像解析処理時のステップＳ２１において、処理部２０Ａ，２０Ｂ，１０Ｂは、階調画像７９を３階調のグレースケール像として作成しているが、階調画像７９のグレースケール像の階調は３階調に制限されず、２階調以上のグレースケール像であればよい。例示的に、階調画像７２，７９のグレースケール像の階調を、輝度値が値０から値２５５の２５６段階（８階調）とすることができる。
【０１５９】
上記第１から第３の実施形態では、深層学習処理時のステップＳ１１において、処理部１０Ａ，２０Ｂ，１０Ｂは、入力された位相差像７０から階調画像７２を生成しているが、入力される位相差像７０は予めグレースケール像として階調化されていてもよい。すなわち、処理部１０Ａ，２０Ｂ，１０Ｂは、階調画像７２を直接取得してもよい。同様に、画像解析処理時のステップＳ２１において、処理部２０Ａ，２０Ｂ，１０Ｂは、入力された位相差像７８から階調画像７９を生成しているが、入力される位相差像７８は予めグレースケール像として階調化されていてもよい。すなわち、処理部２０Ａ，２０Ｂ，１０Ｂは、階調画像７９を直接取得してもよい。
【０１６０】
上記第１から第３の実施形態では、深層学習処理時のステップＳ１２において、処理部１０Ａ，２０Ｂ，１０Ｂは、入力された蛍光像７１の各画素の階調を二値化して真値像７３を生成しているが、予め二値化された真値像７３を取得してもよい。
【０１６１】
上記第１から第３の実施形態では、学習対象および解析対象の細胞の画像として位相差像７０，７８を用いているが、位相差像に代えて微分干渉像を用いてもよい。微分干渉像は、公知の微分干渉顕微鏡を用いて撮像することができる。位相差像および微分干渉像は、共に観察対象の物体のコントラストが強調されて現れている画像であり、例えば明視野像として取得することができる。
【０１６２】
上記第１から第３の実施形態では、処理部１０Ａ，１０Ｂは一体の装置として実現されているが、処理部１０Ａ，１０Ｂは一体の装置である必要はなく、ＣＰＵ１１、メモリ１２、記録部１３等が別所に配置され、これらがネットワークで接続されていてもよい。処理部１０Ａ，１０Ｂと、入力部１６と、出力部１７とについても、一ヶ所に配置される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に接続されていてもよい。処理部２０Ａ，２０Ｂ，２０Ｃについても処理部１０Ａ，１０Ｂと同様である。
【０１６３】
上記第１から第３の実施形態では、訓練データ生成部１０１、訓練データ入力部１０２、アルゴリズム更新部１０３、解析用データ生成部２０１、解析用データ入力部２０２および解析部２０３の各機能ブロックは、単一のＣＰＵ１１または単一のＣＰＵ２１において実行されているが、これら各機能ブロックは単一のＣＰＵにおいて実行される必要は必ずしもなく、複数のＣＰＵで分散して実行されてもよい。
【０１６４】
上記第２および第３の実施形態では、図８および図１１で説明する各ステップの処理を行うためのプログラムを記録部１３，２３に予め記録しているが、プログラムは、例えばＤＶＤ−ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体９８から処理部１０Ｂ，２０Ｂにインストールしてもよい。または、処理部１０Ｂ，２０Ｂをネットワーク９９と接続し、ネットワーク９９を介して例えば外部のサー
バ（図示せず）からプログラムをダウンロードしてインストールしてもよい。
【０１６５】
上記第１から第３の実施形態では、入力部１６，２６はキーボードまたはマウス等の入力装置であり、出力部１７，２７は液晶ディスプレイ等の表示装置として実現されているが、入力部１６、２６と出力部１７、２７とを一体化してタッチパネル式の表示装置として実現してもよい。または、出力部１７，２７をプリンター等で構成し、解析結果の二値画像８３を印刷して出力してもよい。
【０１６６】
上記第１から第３の実施形態では、撮像装置３００は、深層学習装置１００Ａまたは画像解析装置１００Ｂと直接接続されているが、撮像装置３００は、ネットワーク９９を介して深層学習装置１００Ａまたは画像解析装置１００Ｂと接続されていてもよい。撮像装置４００についても同様に、撮像装置４００は、画像解析装置２００Ａまたは画像解析装置２００Ｂと直接接続されているが、撮像装置４００は、ネットワーク９９を介して画像解析装置２００Ａまたは画像解析装置２００Ｂと接続されていてもよい。
【０１６７】
＜実施例＞
以下に本発明の実施例を示し、本発明の特徴をより明確にする。
【実施例１】
【０１６８】
［解析結果の検証］
実施形態に係る画像解析方法と、特願2015-257131に記載の閾値法（以下、単に閾値法と記載する）による画像解析方法との間で、解析結果の比較を行った。解析対象の細胞はMSCとした。訓練データとして、位相差／蛍光顕微鏡により、位相差像および蛍光像を次の条件にて撮像した。
［位相差像］
・播種密度：５×１０４  ｃｅｌｌｓ／ｗｅｌｌ  （６  ｗｅｌｌ  ｐｌａｔｅ）
・撮像枚数：５００枚
・露出時間：２０％、５００ｍｓ
［蛍光像］
・播種密度：５×１０４  ｃｅｌｌｓ／ｗｅｌｌ  （６  ｗｅｌｌ  ｐｌａｔｅ）
・撮像枚数：５００枚
・試薬：Ｃａｌｃｅｉｎ−ＡＭ
・露出時間：２０％、５００ｍｓ
【０１６９】
また、解析対象の画像データとして、位相差像を上記同様の条件で５枚撮像し、これら５枚の位相差像のそれぞれに対応する蛍光像を、上記同様の条件で５枚撮像した。これら５枚の蛍光像をそれぞれ二値化処理することにより、５枚の真値像を作成した。
【０１７０】
上記第２の実施形態に示すスタンドアロン型のシステムにて、実施形態に係る画像解析方法による深層学習処理および画像解析処理を行った。ニューラルネットワークの深層学習処理には、上記条件で撮像した訓練データを用いた。学習済みのニューラルネットワークを用いて、５枚の位相差像を画像解析することにより、解析結果として、評価用の５枚の二値画像が得られた。深層学習処理時および画像解析処理時のウィンドウサイズは、３３×３３画素とした。
【０１７１】
図１６に、実施例に係る画像解析方法による解析結果の二値画像と真値像との比較結果を示す。画素毎の比較の結果が、異なるグレースケールの濃度で示されている。
【０１７２】
図１６中に示す画素毎の比較の結果は、次の４つのパターンに分類される。「真陽性」とは、入力の真値像における細胞領域が、解析結果の二値画像において細胞領域であると
正しく判定されている画素である。「真陰性」とは、入力の真値像における背景領域が、解析結果の二値画像において背景領域であると正しく判定されている画素である。「擬陽性」とは、入力の真値像における背景領域が、解析結果の二値画像において細胞領域であると誤って判定されている画素である。「擬陰性」とは、入力の真値像における細胞領域が、解析結果の二値画像において背景領域であると誤って判定されている画素である。
【０１７３】
感度を次の（式１３）で表すと、図１６に示す実施形態に係る画像解析方法による解析結果の二値画像の感度は、０．９５３であった。
【数１７】
2018185759.tif 000019
【０１７４】
図１７に、特願2015-257131に記載の閾値法による解析結果の二値画像と真値像との比較結果を示す。図１６と同様に、画素毎の比較の結果が、異なるグレースケールの濃度で示されている。図１７に示す閾値法による解析結果の二値画像の感度は、０．４３２であった。
【０１７５】
図１６に示す実施形態に係る画像解析方法による解析結果の画像では、閾値法による解析結果の画像と比較して、「擬陰性」と判定されている画素が著しく減少していた。すなわち、実施形態に係る画像解析方法による解析によると、細胞領域であると判定すべき画素を、閾値法よりも高い感度で、細胞領域であると正しく判定することができた。
【０１７６】
実施形態に係る画像解析方法により解析された評価用の５枚の二値画像について、それぞれ真値像との比較を行った結果を表１に示す。
【０１７７】
【表１】
2018185759.tif 000020
【０１７８】
表１に示すように、感度は最小でも０．９以上となっていた。実施形態に係る画像解析方法は、閾値法よりも高い感度で細胞領域を正しく判定することができた。
【実施例２】
【０１７９】
［ウィンドウサイズの最適化］
実施形態に係る画像解析方法において、ウィンドウサイズの最適化を行った。実験条件として、解析対象の細胞はMSC（サイズ約４０μｍ）とし、学習に用いた訓練データの枚数（位相差像および蛍光像のペアの数）は６０８００枚、検証を実施した画像の枚数は１５２００枚であった。
【０１８０】
図１８に、最適化に用いたウィンドウサイズのパターンを示す。ウィンドウサイズの大きい順に、「I」、「II」、「III」、「IV」および「V」の５つのウィンドウサイズのパターンを用いて深層学習処理を行い、深層学習処理時と同じウィンドウサイズを用いて画像解析処理を行い、解析結果の二値画像を得た。実験結果を表２に示す。
【０１８１】
【表２】
2018185759.tif 000021
【０１８２】
表２中、値「valid_misclass」（以下、valid_misclass値とする）は、画像全体における真陽性画素および真陰性画素の割合である。valid_misclass値が高く「１」に近い程、細胞領域を正しく細胞領域と判定し、背景領域を正しく背景領域と判定していること、すなわち判定の感度が高いことを意味する。表２に示す実験結果によると、「III」のウィンドウサイズを用いた場合に、valid_misclass値が最大の０．９４２となり、高い判定の感度が得られた。この「III」のウィンドウサイズである４２．９μｍは、実験に用いたMSCの実際のサイズ（約４０μｍ）にほぼ相当する大きさであった。また、「IV」または「II」のウィンドウサイズを用いた場合であっても、valid_misclass値は０．９３以上となり、比較的高い判定の感度が得られた。以上、表２に示す実験結果から、MSCにおける好ましいウィンドウサイズの範囲は、約２０μｍから約９０μｍの範囲であることが示された。
【０１８３】
表２の実験結果から、深層学習処理時および画像解析処理時において設定すべきウィンドウサイズを、解析対象の細胞のサイズと同程度にすべきことが示された。次に、この知見に基づき、実験に用いたMSC以外の様々な細胞について、ウィンドウサイズの設定値の範囲について考察した。
【０１８４】
例えば、ニューラルネットワークに学習させる細胞の種別として赤血球を指定し、学習済みのニューラルネットワークを用いて、赤血球を撮像した位相差像を解析対象として、赤血球細胞の領域と背景領域との判別を行う場合を検討する。このような場合、深層学習処理時および画像解析処理時において設定すべきウィンドウサイズは、赤血球の実際のサイズ（約５μｍ）に相当する、約２．５μｍから約１０μｍの範囲であることが好ましい。
【０１８５】
同様に、癌細胞の領域と背景領域との判別を行う場合、深層学習処理時および画像解析処理時において設定すべきウィンドウサイズは、癌細胞の実際のサイズ（約１００μｍ）に相当する、約５０μｍから約２００μｍの範囲であることが好ましい。
【０１８６】
MSCを用いた実験では、MSCの平均的なサイズ付近において、valid_misclass値が最大値となった。この理由は、ウィンドウサイズを、対象とする細胞の平均的なサイズに合わせて設定することにより、処理対象とする画像内に含まれている複数のMSCの大部分がウィンドウ内に包含され、ニューラルネットワークが個々の細胞の領域を適切に捉えて学習することができるからである。したがって、解析対象の細胞の種別に応じてウィンドウサイズを設定することにより、ニューラルネットワークの判別精度が向上し、解析結果として得られる、細胞領域の解析精度も向上する。
【符号の説明】
【０１８７】
１０（１０Ａ，１０Ｂ）      処理部
２０（２０Ａ，２０Ｂ，２０Ｃ）     処理部
１１，２１    ＣＰＵ
１２，２２    メモリ
１３，２３    記録部
１４，２４    バス
１５，２５    インタフェース部
１６，２６    入力部
１７，２７    出力部
５０   ニューラルネットワーク（深層学習アルゴリズム）
５０ａ 入力層
５０ｂ 出力層
５０ｃ 中間層
６０   学習済みのニューラルネットワーク（学習済みの深層学習アルゴリズム）
６０ａ 入力層
６０ｂ 出力層
６０ｃ 中間層
７０   学習用の位相差像（第１の訓練用画像）
７１   学習用の蛍光像（第２の訓練用画像）
７２   学習用の位相差像の階調画像（第１の訓練データ）
７３   学習用の真値像（二値化画像、第２の訓練データ）
７４   画像全体サイズの訓練データ
７４ａ 位相差像の階調化された輝度値
７４ｂ 真値像の二値データ
７５   ウィンドウサイズの訓練データ
７６   階調値
７７   真値像の二値データ
７８   解析対象の位相差像
７９   解析対象の位相差像の階調画像
８０   解析用データ
８１   階調値
８２   判別結果（画素の推定値）
８３   解析結果の二値画像
８４（８４ａ，８４ｂ）      ノード
９８   記録媒体
９９   ネットワーク
１００ ベンダ側装置
１００Ａ      深層学習装置
１００Ｂ      統合型の画像解析装置
１０１ 訓練データ生成部
１０２ 訓練データ入力部
１０３ アルゴリズム更新部
１０４ ウィンドウサイズデータベース
１０５ アルゴリズムデータベース
２００ ユーザ側装置
２００Ａ      画像解析装置
２００Ｂ      統合型の画像解析装置
２００Ｃ      端末装置
２０１ 解析用データ生成部
２０２ 解析用データ入力部
２０３ 解析部
３００，４００       撮像装置
３０１，４０１       撮像素子
３０２，４０２       位相差顕微鏡
３０８，４０８       試料細胞
３０９，４０９       ステージ
Ｗ１   ウィンドウ
Ｗ２   ウィンドウ
【図１】
2018185759.tif 000022
【図２】
2018185759.tif 000023
【図３】
2018185759.tif 000024
【図４】
2018185759.tif 000025
【図５】
2018185759.tif 000026
【図６】
2018185759.tif 000027
【図７】
2018185759.tif 000028
【図８】
2018185759.tif 000029
【図９】
2018185759.tif 000030
【図１０】
2018185759.tif 000031
【図１１】
2018185759.tif 000032
【図１２】
2018185759.tif 000033
【図１３】
2018185759.tif 000034
【図１４】
2018185759.tif 000035
【図１５】
2018185759.tif 000036
【図１６】
2018185759.tif 000037
【図１７】
2018185759.tif 000038
【図１８】
2018185759.tif 000039