(57)【要約】【課題】組織または細胞の画像について、腫瘍化状態を示すデータを生成する画像解析方法を提供する。【解決手段】画像解析方法は、ニューラルネットワーク構造の深層学習アルゴリズム６０を用いて、組織または細胞の画像を解析する画像解析方法であって、解析対象の組織または細胞を含む解析対象画像７８から解析用データ８０を生成し、解析用データ８０を、深層学習アルゴリズム６０に入力し、深層学習アルゴリズム６０によって、解析対象画像７８における組織または細胞の腫瘍化状態を示すデータ８２，８３を生成する。【選択図】図５
2019095212.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織または細胞の画像を解析する画像解析方法であって、
解析対象の組織または細胞を含む解析対象画像から解析用データを生成し、
前記解析用データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析対象画像における組織または細胞の腫瘍化状態を示すデータを生成する、
ことを含む、画像解析方法。
【請求項２】
前記解析対象画像が、組織診断用標本の画像であり、前記解析対象画像が１つの原色からなる色相を含むか、２以上の原色を組み合わせた色相を含む、
請求項１の画像解析方法。
【請求項３】
前記解析対象画像が、細胞診断用標本の画像であり、前記解析対象画像が１つの原色からなる色相を含むか、２以上の原色を組み合わせた色相を含む、
請求項１の画像解析方法。
【請求項４】
前記腫瘍化状態を示すデータが、腫瘍細胞の核の領域とそれ以外の領域とを区別して提示するためのデータである、
請求項１乃至３のいずれか１項の画像解析方法。
【請求項５】
前記腫瘍化状態を示すデータが、腫瘍細胞の核の領域とそれ以外の領域との境界を示すデータである、
請求項１乃至３のいずれか１項の画像解析方法。
【請求項６】
前記深層学習アルゴリズムは、腫瘍細胞の核か非腫瘍細胞の核かを判定する
請求項１乃至５のいずれか１項の画像解析方法。
【請求項７】
１つの解析対象画像について所定画素数の領域毎に、複数の前記解析用データを生成する
請求項１乃至６のいずれか１項の画像解析方法。
【請求項８】
前記解析用データは、所定の画素を中心として周辺の画素を含む前記所定画素数の領域毎に生成され、
前記深層学習アルゴリズムは、入力された前記解析用データに対し前記所定画素に対し腫瘍化状態を示すラベルを生成する
請求項７の画像解析方法。
【請求項９】
前記ニューラルネットワークの入力層のノード数が、前記解析用データの前記所定画素数と前記組み合わせた原色の数との積に対応している、
請求項７または８の画像解析方法。
【請求項１０】
前記標本が染色された標本であり、前記解析対象画像は、前記染色された標本を顕微鏡の明視野下で撮像した画像である
請求項２乃至９のいずれか１項の画像解析方法。
【請求項１１】
前記深層学習アルゴリズムの学習に用いられる訓練データが、個体から採取された腫瘍を含む組織試料の標本または個体から採取された腫瘍細胞を含む試料の標本に対して明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した明視野画像、および
前記標本に対応する、または同一の標本に蛍光核染色を施して作製された標本の染色像を蛍光顕微鏡の蛍光観察下で撮像した細胞核の蛍光画像であって、前記蛍光画像の標本内での位置は前記取得された明視野画像の標本内での位置に対応する蛍光画像、
に基づいて生成されている
請求項１乃至８のいずれか１項の画像解析方法。
【請求項１２】
前記明視野観察用染色は、核染色にヘマトキシリンを用いる、請求項１１の画像解析方法。
【請求項１３】
前記標本が組織試料の標本である場合、前記明視野観察用染色が、ヘマトキシリン・エオジン染色であり、
前記標本が細胞を含む試料の標本である場合、前記明視野観察用染色が、パパニコロウ染色である、
請求項１２の画像解析方法。
【請求項１４】
前記訓練データが、前記明視野画像および前記蛍光画像から抽出された、細胞の腫瘍化状態を示すラベル値を含む
請求項１１乃至１３のいずれか１項の画像解析方法。
【請求項１５】
前記訓練データが、前記ラベル値を前記明視野画像の画素毎に含む
請求項１４の画像解析方法。
【請求項１６】
前記訓練データが、前記明視野画像における所定画素数の領域毎に生成されている
請求項１１乃至１３のいずれか１項の画像解析方法。
【請求項１７】
前記深層学習アルゴリズムが、前記解析用データを、前記解析対象画像に含まれる細胞の腫瘍化状態を示すクラスに分類する
請求項１乃至１４のいずれか１項の画像解析方法。
【請求項１８】
前記ニューラルネットワークの出力層がソフトマックス関数を活性化関数とするノードである
請求項１乃至１７のいずれか１項の画像解析方法。
【請求項１９】
前記深層学習アルゴリズムは、前記解析用データが入力される度に、前記解析対象画像に含まれる腫瘍化状態を示すデータを単位画素毎に生成する、
請求項１乃至１８のいずれか１項の画像解析方法。
【請求項２０】
前記深層学習アルゴリズムが、前記組織試料の種類または細胞を含む試料の種類に応じて生成されている
請求項１乃至１９のいずれか１項の画像解析方法。
【請求項２１】
さらに、前記組織試料の種類または細胞を含む試料の種類に応じて複数の前記深層学習アルゴリズムの中から選択された、前記試料の種類に対応する前記深層学習アルゴリズムを用いて、前記解析用データを処理する
請求項２０の画像解析方法。
【請求項２２】
ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織または細胞の画像を解析する画像解析装置であって、
解析対象の組織または細胞を含む解析対象画像から解析用データを生成し、
前記解析用データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析対象画像における組織または細胞の腫瘍化状態を示すデータを生成する処理部、
を備える画像解析装置。
【請求項２３】
ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織または細胞の画像を解析するコンピュータプログラムであって、
コンピュータに、
解析対象の組織または細胞を含む解析対象画像から解析用データを生成する処理と、
前記解析用データを、前記深層学習アルゴリズムに入力する処理と、
前記深層学習アルゴリズムによって、前記解析対象画像における組織または細胞の腫瘍化状態を示すデータを生成する処理と、
を実行させるプログラム。
【請求項２４】
腫瘍組織または腫瘍細胞を撮像した第１の訓練用画像に対応する第１の訓練データを取得する第１の取得ステップと、
前記第１の訓練用画像における腫瘍細胞の核領域を示す第２の訓練用画像に対応する第２の訓練データを取得する第２の取得ステップと、
非腫瘍組織または非腫瘍細胞を撮像した第３の訓練用画像に対応する第３の訓練データを取得する第３の取得ステップと、
前記第３の訓練用画像における非腫瘍細胞の核領域であることを示す第４の訓練用画像に対応する第４の訓練データを取得する第４の取得ステップと、
前記第１の訓練データと、前記第２の訓練データとの関係をニューラルネットワークに学習させる学習ステップと、
前記第３の訓練データと、前記第４の訓練データとの関係をニューラルネットワークに学習させる学習ステップと、
を含む学習済み深層学習アルゴリズムの製造方法。
【請求項２５】
前記第１の訓練データと第３の訓練データとをニューラルネットワークの入力層とし、前記第２の訓練データと第４の訓練データとを第１の訓練データおよび第３の訓練データのそれぞれに対応するニューラルネットワークの出力層とする、
請求項２４の学習済み深層学習アルゴリズムの製造方法。
【請求項２６】
前記第１の取得ステップの前に、前記第１の訓練用画像から、前記第１の訓練データを生成するステップと、
前記第２の取得ステップの前に、前記第２の訓練用画像から、前記第２の訓練データを生成するステップと、
前記第３の取得ステップの前に、前記第３の訓練用画像から、前記第３の訓練データを生成するステップと、
前記第４の取得ステップの前に、前記第４の訓練用画像から、前記第４の訓練データを生成するステップと、
をさらに含む、
請求項２４または２５の学習済み深層学習アルゴリズムの製造方法。
【請求項２７】
前記第１の訓練用画像が、個体から採取された組織試料または個体から採取された細胞を含む試料に対して明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した腫瘍細胞を含む明視野画像であり、
前記第２の訓練用画像が、前記組織試料または細胞を含む試料に蛍光核染色を施して作製された標本の染色像を顕微鏡の蛍光観察下で撮像した蛍光画像であって、前記蛍光画像の標本内での位置は前記取得された前記第１の訓練用画像の標本内での位置に対応する蛍光画像であり、
前記第３の訓練用画像が、前記個体から採取された組織試料または個体から採取された細胞を含む試料に対して明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した非腫瘍細胞を含む明視野画像であり、
前記第４の訓練用画像が、前記組織試料または細胞を含む試料に蛍光核染色を施して作製された標本の染色像を顕微鏡の蛍光観察下で撮像した蛍光画像であって、前記蛍光画像の標本内での位置は前記取得された前記第３の訓練用画像の標本内での位置に対応する蛍光画像である、
請求項２４乃至２６のいずれか１項の学習済み深層学習アルゴリズムの製造方法。
【請求項２８】
第１の訓練データおよび第３の訓練データをニューラルネットワークの入力層とし、第２の訓練データおよび第４の訓練データを第１の訓練データおよび第３の訓練データのそれぞれに対応するニューラルネットワークの出力層として学習させた深層学習アルゴリズムであって、
前記第１の訓練データは、腫瘍組織または腫瘍細胞を撮像した第１の訓練用画像から生成され、
前記第２の訓練データは、前記第１の訓練用画像における腫瘍細胞の核領域を示し、
前記第３の訓練データは、非腫瘍組織または非腫瘍細胞を撮像した第３の訓練用画像から生成され、
前記第４の訓練データは、前記第３の訓練用画像における非腫瘍細胞の核の領域を示す、
学習済み深層学習アルゴリズム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズムに関する。より詳細には、組織または細胞の画像の任意の位置について、腫瘍化状態を示すデータを生成することを含む画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズムに関する。
【背景技術】
【０００２】
特許文献１には、病理組織画像において組織像を、正常、良性腫瘍、前癌状態および癌状態の４つのグループに分類し、判定する画像診断支援装置が開示されている。画像分類手段は、画像データから注視領域を抽出し、注視領域の特徴を示す特徴量を算出し、算出した特徴量に基づいてグループの分類を行う。特徴量は、細胞核における単位面積あたりの塊の密度、塊面積の密度、塊の面積、塊の太さ、および塊の長さなどである。画像判定手段は、このような特徴量と判定結果との関係を学習し、学習済みの学習パラメータに基づいて判定を行う。学習は、サポートベクターマシンなどの学習アルゴリズムを用いて、機械学習を実行する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０３９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
悪性腫瘍であるか否かを確定診断する際に、病理組織標本を用いた病理組織診断が行われる。また病理組織診断は、手術中に悪性腫瘍を含む組織の切除部位を決定するための術中迅速診断として行われることも少なくない。術中迅速診断は、手術中に患者の患部を切開した状態で待機させ、腫瘍が悪性であるか、切除した組織の断端に腫瘍が残っていないか、リンパ節転移があるか等の判断を病理組織診断により行うものである。術中迅速診断の結果により、待機している患者のその後の手術の方向性が決められる。
【０００５】
病理組織診断は、医師、特に病理医が顕微鏡等により組織標本を観察して診断するが、組織標本の観察により正確な確定診断を行えるようになるためには、長い期間、熟練した病理専門医の元で、様々な症例の組織標本の観察を繰り返す必要があり、病理医の育成にも膨大な時間を要している。
【０００６】
病理医の不足は深刻であり、病理医が不足している結果、患者の悪性腫瘍の確定診断が遅れ、治療開始が遅れる、あるいは確定診断を待たずに治療を開始するという状態も危惧されている。また、通常の組織診断と術中迅速診断との両方が、少ない病理医に集中するために、一人の病理医の業務量が膨大となり、病理医自身の労務状態も問題となっている。しかし、現在のところこの問題の解消策は見つかっていない。
【０００７】
したがって、病理組織診断を装置がサポートできるようになることは、特にその診断が人の目による判断に近いほど、病理医不足の解消、及び病理医の労務状態の改善に大きく貢献すると考えられる。
【０００８】
装置が病理組織診断をサポートするという点において、上述の特許文献１に記載の発明では、機械学習による画像解析に基づいて標本組織の病理判定を行っている。この方法では、特徴量を人の手で作成する必要がある。特徴量を人の手で作成する方法には、その人の力量が画像解析の性能に大きく影響を与えるという問題がある。
【０００９】
例えば、顕微鏡を使った組織診断あるいは細胞診断において、観察対象の一つは、細胞核の状態であり、細胞核１つ１つの大きさや形態、並びに複数の細胞核の配列状態等から、良性腫瘍と悪性腫瘍を区別する。このため、病理組織診断において、細胞核を精度よく抽出できることは非常に重要であり、組織診断および細胞診断の根幹となる。さらに抽出した核領域について、それが非腫瘍細胞のものであるか腫瘍細胞のものであるか自動的に検出できることは、診断の一助となる。
【００１０】
本発明は、組織または細胞の画像について、腫瘍化状態を示すデータを生成する画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズムを提供することを課題とする。
【課題を解決するための手段】
【００１１】
本発明の一態様は、画像解析方法である。この一態様において、画像解析方法は、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用いて、組織または細胞の画像を解析する画像解析方法であって、解析対象の組織または細胞を含む解析対象画像（７８）から解析用データ（８０）を生成し（Ｓ２１からＳ２３）、解析用データ（８０）を、深層学習アルゴリズム（６０）に入力し（Ｓ２４）、深層学習アルゴリズム（６０）によって、解析対象画像（７８）における組織または細胞の腫瘍化状態を示すデータ（８２．８３）を生成する（Ｓ２５からＳ２８）。これにより、解析対象画像における組織または細胞の腫瘍化状態を示すデータを生成することが可能となる。
【００１２】
解析対象画像が、組織診断用標本の画像であり、解析対象画像（７８）が１つの原色からなる色相を含むか、２以上の原色を組み合わせた色相（Ｒ，Ｇ，Ｂ）を含むことが好ましい。
【００１３】
解析対象画像が、細胞診断用標本の画像であり、解析対象画像（７８）が１つの原色からなる色相を含むか、２以上の原色を組み合わせた色相（Ｒ，Ｇ，Ｂ）を含むことが好ましい。
【００１４】
腫瘍化状態を示すデータ（８２，８３）が、腫瘍細胞の核の領域とそれ以外の領域とを区別して提示するためのデータであることが好ましい。
【００１５】
腫瘍化状態を示すデータ（８２，８３）が、腫瘍細胞の核の領域とそれ以外の領域との境界を示すデータであることが好ましい。
【００１６】
深層学習アルゴリズム（６０）は、腫瘍細胞の核か非腫瘍細胞の核かを判定することが好ましい。
【００１７】
１つの解析対象画像（７８）について所定画素数の領域毎に、複数の解析用データ（８０）を生成することが好ましい。これにより、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００１８】
解析用データ（８０）は、所定の画素を中心として周辺の画素を含む所定画素数の領域毎に生成され、深層学習アルゴリズム（６０）は、入力された解析用データ（８０）に対し所定画素に対し腫瘍化状態を示すラベルを生成することが好ましい。これにより、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００１９】
ニューラルネットワーク（６０）の入力層（６０ａ）のノード数が、解析用データ（８０）の所定画素数と組み合わせた原色の数との積に対応していることが好ましい。これにより、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００２０】
標本が染色された標本であり、解析対象画像（７８）は、染色された標本を顕微鏡の明視野下で撮像した画像であることが好ましい。
【００２１】
深層学習アルゴリズム（６０）の学習に用いられる訓練データ（７４Ｃ，７４ＮＣ）が、個体から採取された腫瘍を含む組織試料の標本または個体から採取された腫瘍細胞を含む試料の標本に対して明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した明視野画像（７０Ｃ，７０ＮＣ）、および標本に対応する、または同一の標本に蛍光核染色を施して作製された標本の染色像を蛍光顕微鏡の蛍光観察下で撮像した細胞核の蛍光画像（７１Ｃ，７１ＮＣ）であって、蛍光画像（７１Ｃ，７１ＮＣ）の標本内での位置は取得された明視野画像（７０Ｃ，７０ＮＣ）の標本内での位置に対応する蛍光画像（７１Ｃ，７１ＮＣ）、に基づいて生成されていることが好ましい。
【００２２】
明視野観察用染色は、核染色にヘマトキシリンを用いることが好ましい。
【００２３】
標本が組織試料の標本である場合、明視野観察用染色が、ヘマトキシリン・エオジン染色であり、標本が細胞を含む試料の標本である場合、明視野観察用染色が、パパニコロウ染色であることが好ましい。
【００２４】
訓練データ（７４Ｃ，７４ＮＣ）が、明視野画像（７０Ｃ，７０ＮＣ）および蛍光画像（７１Ｃ，７１ＮＣ）から抽出された、細胞の腫瘍化状態を示すラベル値を含むことが好ましい。これにより、細胞の腫瘍化状態を示すラベル値をニューラルネットワーク（５０）に学習させることが可能となる。
【００２５】
訓練データ（７４Ｃ，７４ＮＣ）が、ラベル値を明視野画像（７０Ｃ，７０ＮＣ）の画素毎に含むことが好ましい。これにより、細胞の腫瘍化状態を示すラベル値をニューラルネットワーク（５０）に学習させることが可能となる。
【００２６】
訓練データ（７４Ｃ，７４ＮＣ）が、明視野画像（７０Ｃ，７０ＮＣ）における所定画素数の領域毎に生成されていることが好ましい。これにより、細胞の腫瘍化状態を示すラベル値を、高い精度でニューラルネットワーク（５０）に学習させることが可能となる。
【００２７】
深層学習アルゴリズム（６０）が、解析用データ（８０）を、解析対象画像（７８）に含まれる細胞の腫瘍化状態を示すクラスに分類することが好ましい。これにより、細胞を含む解析対象画像の任意の位置について、腫瘍化状態を分類することが可能となる。
【００２８】
ニューラルネットワーク（６０）の出力層（６０ｂ）がソフトマックス関数を活性化関数とするノードであることが好ましい。これにより、ニューラルネットワーク（６０）が、細胞を含む解析対象画像の任意の位置を、有限個のクラスに分類することが可能となる。
【００２９】
深層学習アルゴリズム（６０）は、解析用データ（８０）が入力される度に、解析対象画像（７８）に含まれる腫瘍化状態を示すデータ（８２）を単位画素毎に生成することが好ましい。これにより、細胞を含む解析対象画像の単位画素（１画素）毎に、腫瘍化状態を分類することが可能となる。
【００３０】
深層学習アルゴリズム（６０）が、組織試料の種類または細胞を含む試料の種類に応じて生成されていることが好ましい。これにより、細胞を含む解析対象画像の種別に応じて深層学習アルゴリズム（６０）を使い分けることが可能となり、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００３１】
さらに、組織試料の種類または細胞を含む試料の種類に応じて複数の深層学習アルゴリズム（６０）の中から選択された、試料の種類に対応する深層学習アルゴリズム（６０）を用いて、解析用データ（８０）を処理することが好ましい。これにより、細胞を含む解析対象画像の種別に応じて深層学習アルゴリズム（６０）を使い分けることが可能となり、ニューラルネットワーク（６０）の判別精度を向上させることが可能となる。
【００３２】
本発明の一態様は、画像解析装置である。この一態様において、画像解析装置（２００Ａ）は、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用いて、組織または細胞の画像を解析する画像解析装置であって、解析対象の組織または細胞を含む解析対象画像（７８）から解析用データ（８０）を生成し、解析用データ（８０）を、深層学習アルゴリズム（６０）に入力し、深層学習アルゴリズム（６０）によって、解析対象画像（７８）における組織または細胞の腫瘍化状態を示すデータ（８２．８３）を生成する処理部（２０Ａ）、を備える。これにより、解析対象画像における組織または細胞の腫瘍化状態を示すデータを生成することが可能となる。
【００３３】
本発明の一態様は、コンピュータプログラムである。この一態様において、コンピュータプログラムは、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用いて、組織または細胞の画像を解析するコンピュータプログラムであって、コンピュータに、解析対象の組織または細胞を含む解析対象画像（７８）から解析用データ（８０）を生成する処理と、解析用データ（８０）を、深層学習アルゴリズム（６０）に入力する処理と、深層学習アルゴリズム（６０）によって、解析対象画像（７８）における組織または細胞の腫瘍化状態を示すデータ（８２．８３）を生成する処理と、を実行させるプログラムである。これにより、解析対象画像における組織または細胞の腫瘍化状態を示すデータを生成することが可能となる。
【００３４】
本発明の一態様は、学習済み深層学習アルゴリズムの製造方法である。この一態様において、学習済み深層学習アルゴリズム（６０）の製造方法は、腫瘍組織または腫瘍細胞を撮像した第１の訓練用画像（７０Ｃ）に対応する第１の訓練データ（７２ｒ、７２ｇ、７２ｂ）を取得する第１の取得ステップ（Ｓ１０）と、第１の訓練用画像（７０Ｃ）における腫瘍細胞の核領域を示す第２の訓練用画像（７１Ｃ）に対応する第２の訓練データ（７３Ｃ）を取得する第２の取得ステップ（Ｓ１３ａ）と、非腫瘍組織または非腫瘍細胞を撮像した第３の訓練用画像（７０ＮＣ）に対応する第３の訓練データ（７２ｒ、７２ｇ、７２ｂ）を取得する第３の取得ステップ（Ｓ１０）と、第３の訓練用画像（７０ＮＣ）における非腫瘍細胞の核領域であることを示す第４の訓練用画像（７１ＮＣ）に対応する第４の訓練データ（７３ＮＣ）を取得する第４の取得ステップ（Ｓ１３ｂ）と、第１の訓練データ（７２ｒ、７２ｇ、７２ｂ）と、第２の訓練データ（７３Ｃ）との関係をニューラルネットワーク（５０）に学習させる学習ステップ（Ｓ１４からＳ２０）と、第３の訓練データ（７２ｒ、７２ｇ、７２ｂ）と、第４の訓練データ（７３ＮＣ）との関係をニューラルネットワーク（５０）に学習させる学習ステップ（Ｓ１４からＳ２０）と、を含む。これにより、解析対象画像における組織または細胞の腫瘍化状態を示すデータを生成するための、深層学習アルゴリズムを製造することが可能となる。
【００３５】
第１の訓練データ（７２ｒ、７２ｇ、７２ｂ）と第３の訓練データ（７２ｒ、７２ｇ、７２ｂ）とをニューラルネットワーク（５０）の入力層（５０ａ）とし、第２の訓練データ（７３Ｃ）と第４の訓練データ（７３ＮＣ）とを第１の訓練データ（７２ｒ、７２ｇ、７２ｂ）および第３の訓練データ（７２ｒ、７２ｇ、７２ｂ）のそれぞれに対応するニューラルネットワーク（５０）の出力層（５０ｂ）とすることが好ましい。
【００３６】
第１の取得ステップの前に、第１の訓練用画像（７０Ｃ）から、第１の訓練データ（７２ｒ、７２ｇ、７２ｂ）を生成するステップ（Ｓ１０）と、第２の取得ステップの前に、第２の訓練用画像（７１Ｃ）から、第２の訓練データ（７３Ｃ）を生成するステップ（Ｓ１３ａ）と、第３の取得ステップの前に、第３の訓練用画像（７０ＮＣ）から、第３の訓練データ（７２ｒ、７２ｇ、７２ｂ）を生成するステップ（Ｓ１０）と、第４の取得ステップの前に、第４の訓練用画像（７１ＮＣ）から、第４の訓練データ（７３ＮＣ）を生成するステップ（Ｓ１３ｂ）と、をさらに含むことが好ましい。これにより、解析対象画像における組織または細胞の腫瘍化状態を示すデータを生成するための、深層学習アルゴリズムを製造することが可能となる。
【００３７】
第１の訓練用画像（７０Ｃ）が、個体から採取された組織試料または個体から採取された細胞を含む試料に対して明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した腫瘍細胞を含む明視野画像（７０Ｃ）であり、第２の訓練用画像（７１Ｃ）が、組織試料または細胞を含む試料に蛍光核染色を施して作製された標本の染色像を顕微鏡の蛍光観察下で撮像した蛍光画像（７１Ｃ）であって、蛍光画像（７１Ｃ）の標本内での位置は取得された第１の訓練用画像（７０Ｃ）の標本内での位置に対応する蛍光画像（７１Ｃ）であり、第３の訓練用画像（７０ＮＣ）が、個体から採取された組織試料または個体から採取された細胞を含む試料に対して明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した非腫瘍細胞を含む明視野画像（７０ＮＣ）であり、第４の訓練用画像（７１ＮＣ）が、組織試料または細胞を含む試料に蛍光核染色を施して作製された標本の染色像を顕微鏡の蛍光観察下で撮像した蛍光画像（７１ＮＣ）であって、蛍光画像（７１ＮＣ）の標本内での位置は取得された第３の訓練用画像（７０ＮＣ）の標本内での位置に対応する蛍光画像（７１ＮＣ）であることが好ましい。
【００３８】
本発明の一態様は、学習済み深層学習アルゴリズム（６０）である。この一態様において、学習済み深層学習アルゴリズム（６０）は、第１の訓練データ（７２ｒ、７２ｇ、７２ｂ）および第３の訓練データ（７２ｒ、７２ｇ、７２ｂ）をニューラルネットワーク（５０）の入力層（５０ａ）とし、第２の訓練データ（７３Ｃ）および第４の訓練データ（７３ＮＣ）を第１の訓練データ（７２ｒ、７２ｇ、７２ｂ）および第３の訓練データ（７２ｒ、７２ｇ、７２ｂ）のそれぞれに対応するニューラルネットワーク（５０）の出力層（５０ｂ）として学習させた深層学習アルゴリズム（６０）であって、第１の訓練データ（７２ｒ、７２ｇ、７２ｂ）は、腫瘍組織または腫瘍細胞を撮像した第１の訓練用画像（７０Ｃ）から生成され、第２の訓練データ（７３Ｃ）は、第１の訓練用画像（７０Ｃ）における腫瘍細胞の核領域を示し、第３の訓練データ（７２ｒ、７２ｇ、７２ｂ）は、非腫瘍組織または非腫瘍細胞を撮像した第３の訓練用画像（７０ＮＣ）から生成され、第４の訓練データ（７３ＮＣ）は、第３の訓練用画像（７０ＮＣ）における非腫瘍細胞の核の領域を示す。
【発明の効果】
【００３９】
本発明によると、組織または細胞の画像の任意の位置について、腫瘍化状態を示すデータを生成することができる。
【図面の簡単な説明】
【００４０】
【図１】深層学習方法の概要を説明するための模式図である。
【図２】深層学習方法の概要を説明するための模式図である。
【図３】訓練データの詳細を説明するための模式図である。
【図４】訓練データの詳細を説明するための模式図である。
【図５】画像解析方法の概要を説明するための模式図である。
【図６】第１の実施形態に係る画像解析システムの概略構成図である。
【図７】ベンダ側装置１００のハードウェア構成を示すブロック図である。
【図８】ユーザ側装置２００のハードウェア構成を示すブロック図である。
【図９】第１の実施形態に係る深層学習装置１００Ａの機能を説明するためのブロック図である。
【図１０】深層学習処理の手順を示すフローチャートである。
【図１１】ニューラルネットワークによる学習の詳細を説明するための模式図である。
【図１２】第１の実施形態に係る画像解析装置２００Ａの機能を説明するためのブロック図である。
【図１３】画像解析処理の手順を示すフローチャートである。
【図１４】第２の実施形態に係る画像解析システムの概略構成図である。
【図１５】第２の実施形態に係る統合型の画像解析装置２００Ｂの機能を説明するためのブロック図である。
【図１６】第３の実施形態に係る画像解析システムの概略構成図である。
【図１７】第３の実施形態に係る統合型の画像解析装置１００Ｂの機能を説明するためのブロック図である。
【図１８】実施例１に示す、胃から取得された癌組織標本の画像（ＨＥ染色）の解析結果である。
【図１９】実施例１に示す、胃から取得された非癌組織（炎症組織）標本の画像（ＨＥ染色）の解析結果である。
【図２０】実施例２に示す、学習済みのニューラルネットワークによる、胃から取得された癌組織標本の画像（ＨＥ染色）の解析結果である。
【図２１】実施例２に示す、学習済みのニューラルネットワークによる、胃から取得された非癌組織標本の画像（ＨＥ染色）の解析結果である。
【図２２】実施例２に比較例として示す、サポートベクターマシンによる、胃から取得された癌組織標本の画像（ＨＥ染色）の解析結果である。
【図２３】実施例２に比較例として示す、サポートベクターマシンによる、胃から取得された非癌組織標本の画像（ＨＥ染色）の解析結果である。
【発明を実施するための形態】
【００４１】
以下、本発明の概要および実施の形態を、添付の図面を参照して詳細に説明する。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する説明を省略する。
【００４２】
本発明は、組織または細胞の画像を解析する画像解析方法であって、ニューラルネットワーク構造の、好ましくは、畳み込みニューラルネットワーク構造の深層学習アルゴリズムを用いる画像解析方法に関する。
【００４３】
本発明において、組織または細胞の画像は、組織試料の標本または細胞を含む試料の標本から取得される画像である。組織試料の標本または細胞を含む試料の標本は、個体から採取されている。個体は、特に制限されないが、好ましくは哺乳類であり、より好ましくはヒトである。前記個体から試料が採取される際に、個体が生きているか死亡しているかは問わない。前記組織は、個体内に存在するものである限り、制限されない。前記個体から採取された組織としては、外科的な切除組織、生検組織等を挙げることができる。前記細胞を含む試料は、個体から採取されたものである限り、制限されない。例えば、喀痰、胸水、腹水、尿、脳脊髄液、骨髄、血液、のう胞液等を挙げることができる。前記組織、および前記細胞を含む試料には、腫瘍細胞を含みうる。前記腫瘍は、良性および悪性のいずれであってもよい。前記腫瘍は上皮性および非上皮性のいずれであってもよい。前記腫瘍として好ましくは悪性上皮性腫瘍である。悪性腫瘍は、特に制限されないが、悪性腫瘍としては、例えば、気管、気管支又は肺等から発生する呼吸器系悪性腫瘍；上咽頭、食道、胃、十二指腸、空腸、回腸、盲腸、虫垂、上行結腸、横行結腸、Ｓ状結腸、直腸又は肛門部等から発生する消化管系悪性腫瘍；肝臓癌；膵臓癌；膀胱、尿管又は腎臓から発生する泌尿器系悪性腫瘍；卵巣、卵管及び子宮等から発生する女性生殖器系悪性腫瘍；乳癌；前立腺癌；皮膚癌；視床下部、下垂体、甲状腺、副甲状腺、副腎等の内分泌系悪性腫瘍；中枢神経系悪性腫瘍；骨軟部組織から発生する悪性腫瘍等の固形腫瘍が挙げられる。より好ましくは、肺癌（扁平上皮癌、小細胞癌、大細胞癌、腺癌）等の呼吸器系上皮性悪性腫瘍；胃癌、十二指腸癌、大腸癌（Ｓ状結腸癌、直腸癌等）等の消化管系上皮性悪性腫瘍；肝臓癌；膵臓癌；膀胱癌；甲状腺癌；卵巣癌；乳癌；前立腺癌を挙げることができる。最も好ましくは、胃癌である。
【００４４】
前記標本は、前記組織試料または細胞を含む試料を顕微鏡等で観察ができるように加工した状態のもの、例えばプレパラートを意図する。前記標本は、公知の方法に従って作製することができる。例えば、組織標本の場合には、前記個体から組織を採取した後に、所定の固定液（ホルマリン固定等）で組織を固定し、その固定組織をパラフィン包埋し、パラフィン包埋組織を薄切する。薄切切片をスライドグラスにのせる。切片がのったスライドグラスに対して光学顕微鏡での観察のため、すなわち明視野観察のための染色を施し、所定の封入処理をして標本が完成する。組織標本の典型例は、組織診断用標本（病理標本）であり、染色は、へマトキシリン・エオジン（ＨＥ）染色である。
【００４５】
例えば、細胞を含む試料の標本の場合には、前記試料中の細胞を、遠心、塗抹等によってスライドグラス上に付着させ、所定の固定液（エタノール等）で固定し、明視野観察用の染色を施し、所定の封入処理をして標本が完成する。細胞を含む試料の標本の典型例は、細胞診断用標本（細胞診標本）であり、染色は、パパニコロウ染色である。前記細胞診断用標本には、前記組織標本用に採取された組織の捺印標本も含まれる。
【００４６】
ＨＥ染色、パパニコロウ染色共に核染色はヘマトキシリンである。ヘマトキシリンは、組織細胞染色において核染色剤として幅広く使用されている（例えば、免疫染色、レクチン染色、糖染色、脂肪染色、膠原線維染色等）。このため、本発明は、このようなヘマトキシリンを核染色に使う標本全般において、適用が可能である。
【００４７】
前記画像解析には、４種類の訓練用画像を用いて訓練された学習済みの深層学習アルゴリズムを用いる。前記画像解析は、前記標本から取得した、解析対象の組織または細胞を含む解析対象画像から解析用データを生成する。前記解析用データを、前記深層学習アルゴリズムに入力し、前記解析対象画像内に存在する細胞の腫瘍化状態を示すデータを生成する。腫瘍化状態とは、判別対象にある注目画素の位置の組織が、腫瘍であることを意味する。好ましくは、腫瘍化状態とは、判別対象にある注目画素の位置の組織が、腫瘍であるか否かを意味する。また、腫瘍化状態を示すデータは、解析対象画像内に存在する細胞の核領域が腫瘍細胞の核領域であるか、非腫瘍細胞の核領域であるかを示すデータである。腫瘍化状態を示すデータは、腫瘍細胞の核領域と、非腫瘍細胞の核領域と、腫瘍細胞の核領域でも非腫瘍細胞の核領域でもない領域とを区別できるラベル値等であり得る。
【００４８】
４種類の訓練用画像のうち、第１の訓練用画像は、個体から採取された腫瘍を含む組織試料の標本または個体から採取された腫瘍細胞を含む試料の標本に含まれる、腫瘍組織または腫瘍細胞を含む画像である。この画像は、顕微鏡観察により、組織構造または細胞構造が認識できるように染色された標本から取得される。前記染色は、組織構造または細胞構造が認識できる限り制限されないが、好ましくは明視野観察用の染色である。前記明視野観察用染色は、少なくとも細胞核と細胞核以外の部位が、色相で区別可能に染色できる限り制限されない。前記標本が哺乳類の組織標本である場合には、例えば、ＨＥ染色を挙げることができる。また、例えば、前記標本が哺乳類の細胞を含む標本である場合には、パパニコロウ染色を挙げることができる。
【００４９】
第１の訓練用画像からは、第１の訓練データと、第１の予備訓練データが生成される。第１の訓練データは、第１の訓練用画像に含まれる色相を原色毎に分離した単一色画像に関する情報である。第１の予備訓練データは、第１の訓練用画像に含まれている細胞が、腫瘍細胞の核領域であることを示す二値化データである。第１の訓練用画像に含まれる組織または細胞が腫瘍細胞を含むことは、例えば医師による標本診断により判定される。第１の訓練用画像から生成される第１の予備訓練データとして、「腫瘍細胞の領域である」ことを示すラベル値が生成される。
【００５０】
４種類の訓練用画像のうち、第２の訓練用画像は、第１の訓練用画像において、どこが細胞の核領域であるかを示す、すなわち「細胞核領域である」という正解が第１の訓練用画像のどこの領域であるかを示す画像である。前記細胞の画像は、好ましくは腫瘍細胞の核の領域を示す画像である。この画像は、第１の訓練用画像を取得した標本と同一の標本、または第１の訓練用画像を取得した標本に対応する標本（例えば、連続切片標本）に対して、細胞核を選択的に染色する蛍光核染色を施し、撮像された画像である。前記蛍光核染色としては、制限されないが、4',6-diamidino-2-phenylindole（DAPI）染色を挙げることができる。第２の訓練用画像からは、第２の予備訓練データが生成される。第２の予備訓練データは、第２の訓練用画像を二値化することにより生成される二値化データであり、細胞核の領域かそれ以外の領域かを示している。
【００５１】
第２の予備訓練データと第１の予備訓練データは、画素毎に紐付けられ、第２の予備訓練データの中で細胞核領域を示す画素には、「腫瘍細胞の核領域である」ことを示すラベル値がさらに付与される。第２の予備訓練データ内の細胞核の領域に「腫瘍細胞の核領域である」ことを示すラベル値が付されたデータを第２の訓練用データとして用いる。
【００５２】
４種類の訓練用画像のうち、第３の訓練用画像は、個体から採取された組織試料の標本または個体から採取された細胞を含む試料の標本に含まれる、非腫瘍組織または非腫瘍細胞を含む画像である。この画像は、顕微鏡観察により、組織構造または細胞構造が認識できるように染色された標本から取得される。前記染色は、組織構造または細胞構造が認識できる限り制限されないが、好ましくは明視野観察用の染色である。前記明視野観察用染色は、少なくとも細胞核と細胞核以外の部位が、色相で区別可能に染色できる限り制限されない。前記標本が哺乳類の組織標本である場合には、例えば、ＨＥ染色を挙げることができる。また、例えば、前記標本が哺乳類の細胞を含む標本である場合には、パパニコロウ染色を挙げることができる。前記染色は第１の訓練用画像を取得する際の標本に施した染色と同じであることが好ましい。
【００５３】
第３の訓練用画像からは、第３の訓練データと、第３の予備訓練データが生成される。第３の訓練データは、第３の訓練用画像に含まれる色相を原色毎に分離した単一色画像に関する情報である。第３の予備訓練データは、第３の訓練用画像に含まれている細胞が、非腫瘍細胞の領域であることを示す二値化データである。第３の訓練用画像に含まれる組織または細胞が非腫瘍細胞を含むことは、例えば医師による標本診断により判定される。第３の訓練用画像から生成される第３の予備訓練データとして、「非腫瘍細胞の領域である」ことを示すラベル値が生成される。
【００５４】
４種類の訓練用画像のうち、第４の訓練用画像は、第３の訓練用画像において、どこが細胞の核領域であるかを示す、すなわち「細胞核領域である」という正解が第３の訓練用画像のどこの領域であるかを示す画像である。前記細胞の画像は、好ましくは非腫瘍細胞の核の領域を示す画像である。この画像は、第１の訓練用画像を取得した標本と同一の標本、または第３の訓練用画像を取得した標本に対応する標本（例えば、連続切片標本）に対して、細胞核を選択的に染色する蛍光核染色を施し、撮像された画像である。前記蛍光核染色としては、制限されないが、4',6-diamidino-2-phenylindole（DAPI）染色を挙げることができる。前記染色は第２の訓練用画像を取得する際の標本に施した染色と同じであることが好ましい。第４の訓練用画像からは、第４の予備訓練データが生成される。第４の予備訓練データは、第４の訓練用画像を二値化することにより生成される二値化データであり、細胞核の領域かそれ以外の領域かを示している。
【００５５】
第４の予備訓練データと第３の予備訓練データは、画素毎に紐付けられ、第４の予備訓練データの中で細胞核領域を示す画素には、「非腫瘍細胞の核領域である」ことを示すラベル値がさらに付与される。第２の予備訓練データ内の細胞核の領域に「非腫瘍細胞の核領域である」ことを示すラベル値が付されたデータを第４の訓練用データとして用いる。
【００５６】
訓練データは、腫瘍部訓練データおよび非腫瘍部訓練データを含む。
【００５７】
前記細胞の核の領域とは、１つまたは複数の核を含む領域をいう。
【００５８】
本発明の概要および実施の形態では、ＨＥ染色された組織標本を撮像した画像内に含まれる細胞の腫瘍化状態を、深層学習アルゴリズムによって判別する場合を一例として説明する。
【００５９】
［深層学習方法および画像解析方法の概要］
以下ではまず、深層学習方法および画像解析方法の概要について説明する。次に、本発明の複数の実施形態のそれぞれについて、詳細に説明する。
【００６０】
・深層学習方法の概要
図１には、腫瘍組織と非腫瘍組織を含むホールスライドイメージ７０Ｗを使ったニューラルネットワークへの訓練データの入力例を示す。ホールスライドイメージ７０Ｗに示される記号Ｃで示される実線で囲まれた領域は、腫瘍組織の領域を示す。記号Ｒ１は第１の訓練用画像７０Ｃとして使用する領域を示す。記号ＮＣで示される実線で囲まれた領域は、非腫瘍組織の領域を示す。記号Ｒ２は第３の訓練用画像７０ＮＣ（図２に示す）として使用する領域を示す。第１の訓練用画像７０Ｃが腫瘍組織を含むか否かは、第１の訓練用画像７０Ｃを取得する前に判定していてもよく、第１の訓練用画像を取得してから判定してもよい。第３の訓練用画像７０ＮＣが非腫瘍組織を含むか否かについても同様であり、第３の訓練用画像７０ＮＣを取得する前に判定していてもよく、第３の訓練用画像７０ＮＣを取得してから判定してもよい。
【００６１】
図１において、第１の訓練用画像７０Ｃは、ＨＥ染色した標本を顕微鏡の明視野観察下で例えばカラー画像として撮像しているため、第１の訓練用画像７０Ｃには複数の色相が含まれる。
【００６２】
第１の訓練用画像（明視野画像）７０Ｃは、例えば公知の光学顕微鏡、蛍光顕微鏡またはバーチャルスライドスキャナ等の画像取得装置を用いて、予め取得することができる。例示的には、本実施形態において画像取得装置から取得されるカラー撮像は、カラースペースがＲＧＢの２４ビットカラーであることが好ましい。ＲＧＢの２４ビットカラーでは、赤色、緑色および青色のそれぞれの濃さ（色濃度）を、８ビット（２５６段階）で表すことが好ましい。第１の訓練用画像（明視野画像）７０Ｃは、１以上の原色を含む画像であればよい。第１の訓練用画像７０Ｃからは、第１の訓練データと、第１の予備訓練データ７０ＣＬとが生成される。
【００６３】
本発明において、色相は、例示的には、光の３原色の組み合わせ、または色の３原色の組み合わせで規定される。第１の訓練データは、第１の訓練用画像７０Ｃから生成される、第１の訓練用画像７０Ｃに現れる色相を個々の原色に分離して原色毎に生成し、その濃度に応じた符号で表されたデータである。図１では光の３原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色毎に分離した単一色の画像７２Ｒ，７２Ｇ，７２Ｂを得る。
【００６４】
単一色の画像７２Ｒ，７２Ｇ，７２Ｂ上の各画素について各色の色濃度を符号化すると、画像全体をＲ、Ｇ、Ｂ毎の各画像について、画素毎の色濃度に対応した符号化図７２ｒ，７２ｇ，７２ｂとなる。色濃度は、各色２５６段階を示す数値で符号化しても良い。また、色濃度は、各色２５６段階を示す数値に対して、さらに前処理を行って、各画素における色濃度を例えば、値０から値７の８段階で示す数字で符号化してもよい。図１に例示的に示すＲ、Ｇ、Ｂ各色の単一色画像における色濃度符号化図７２ｒ，７２ｇ，７２ｂは、各画素における色濃度を値０から値７の８段階（階調で表すと３階調）の符号で表している。図１に示す色濃度符号化図７２ｒ，７２ｇ，７２ｂが第１の訓練データとなる。色濃度を示す符号は、本明細書において色濃度値ともいう。
【００６５】
図１において、第１の予備訓練データ７０ＣＬは、第１の訓練用画像７０Ｃに含まれている組織について、腫瘍細胞であることを示す二値化データである。前記二値化データは、画像データであってもよく、第１の訓練用画像７０Ｃ内の各画素に対応するラベル値であってもよい。例えば、第１の訓練用画像７０Ｃは、腫瘍組織であるため第１の訓練用画像７０Ｃ内の各画素全てに対して腫瘍細胞であることを示すラベル値として同じ数値が付される。
【００６６】
図１において、第２の訓練用画像７１Ｃは、蛍光核染色された標本を蛍光顕微鏡の蛍光観察下で、２階調以上のグレースケールで撮像またはカラー撮像した画像である。第２の訓練用画像７１Ｃは、例えば公知の蛍光顕微鏡またはバーチャルスライドスキャナ等明視野画像取得装置を用いて、予め取得することができる。第２の訓練用画像７１Ｃからは、第２の予備訓練データ７１ＣＮが生成される。
【００６７】
第２の予備訓練データ７１ＣＮは、学習対象の組織を撮像した第２の訓練用画像７１Ｃから生成される、学習対象の組織の細胞核の領域を示す二値化データである。
【００６８】
第２の予備訓練データ７１ＣＮは、２階調以上のグレースケールのまたはカラーの第２の訓練用画像７１Ｃを、二値化処理により白黒の蛍光画像としてデータ化することにより生成される。第２の訓練用画像７１Ｃが二値化されることにより、細胞核の領域とそれ以外の領域とが区別され、細胞核の領域が判別される。細胞核の領域またはそれ以外の領域のいずれであるかの判断は、例えば、画像内の各画素の色濃度を、所定の条件（例えば、色濃度のしきい値）と比較することにより行う。前記二値化データは、画像データであってもよく、第２の訓練用画像７１Ｃ内の各画素に対応するラベルであってもよい。例えば、細胞核の領域を示す画素には「１」、細胞核の領域以外には「０」のラベルが付される。
【００６９】
次に第２の訓練データ７３Ｃを生成する。第２の訓練データ７３Ｃは、第１の予備訓練データ７０ＣＬと、第２の予備訓練データ７１ＣＮとから生成されるデータであり、真値像７３Ｃとしてニューラルネットワーク５０に正解として学習させるデータである。第２の訓練データ７３Ｃは、腫瘍組織を含む第１の訓練用画像７０Ｃおよび第２の訓練用画像７１Ｃから生成されるため、組織または細胞の腫瘍化状態を示す正解は、腫瘍細胞の核領域である。第２の訓練データ７３Ｃには、第２の訓練用画像７１Ｃの各画素に対応する腫瘍細胞の核領域と、それ以外の領域を区別して示すラベル値が含まれる。例えば腫瘍細胞の核領域を示すラベル値は「１」、それ以外の領域を示すラベルは「０」である。図１に示す第２の訓練データ７３Ｃは、説明の便宜上画像で示されているが、前記ニューラルネットワークに入力される際には、各画素には、腫瘍細胞の核領域と、それ以外の領域を区別して示すラベル値が付与される。
【００７０】
深層学習法では、図１に示す色濃度符号化図７２ｒ，７２ｇ，７２ｂ（第１の訓練データともいう）および第２の訓練データ７３Ｃを腫瘍部訓練データ７４Ｃとして使用する。具体的には、色濃度符号化図７２ｒ，７２ｇ，７２ｂを入力層５０ａとし、第２の訓練データ７３Ｃを出力層５０ｂとするニューラルネットワーク５０に学習させる。すなわち、Ｒ、Ｇ、Ｂ各色の色濃度符号化図７２ｒ，７２ｇ，７２ｂと第２の訓練データ７３Ｃとのペアの関係を、ニューラルネットワーク５０に学習させる。
【００７１】
図２において、ホールスライドイメージ７０Ｗは図１と同様である。第３の訓練用画像７０ＮＣは、ＨＥ染色した標本を顕微鏡の明視野観察下でカラー画像として撮像しているため、第３の訓練用画像７０ＮＣには複数の色相が含まれる。
【００７２】
第３の訓練用画像（明視野画像）７０ＮＣは、第１の訓練用画像７０Ｃと同様の方法で生成される。第３の訓練用画像７０ＮＣからは、第３の訓練データと、第３の予備訓練データ７０ＮＣＬとが生成される。
【００７３】
第３の訓練データは、第１の訓練データと同様の方法で生成される。図３に示す色濃度符号化図７２ｒ，７２ｇ，７２ｂが第３の訓練データとなる。
【００７４】
図２において、第３の予備訓練データ７０ＮＣＬは、第３の訓練用画像７０ＮＣに含まれている組織について、非腫瘍細胞であることを示す二値化データである。前記二値化データは、画像データであってもよく、第３の訓練用画像７０ＮＣ内の各画素に対応するラベル値であってもよい。例えば、第３の訓練用画像７０ＮＣは非腫瘍組織であるため、第３の訓練用画像７０ＮＣ内の各画素全てに対して非腫瘍細胞であることを示すラベル値として同じ数値が付される。非腫瘍細胞であることを示す数値は、腫瘍細胞を示す数値とは区別される。
【００７５】
図２において、第４の訓練用画像７１ＮＣは、蛍光核染色された標本を蛍光顕微鏡の蛍光観察下で、２階調以上のグレースケールで撮像またはカラー撮像した画像である。第４の訓練用画像７１ＮＣは、例えば公知の蛍光顕微鏡またはバーチャルスライドスキャナ等明視野画像取得装置を用いて、予め取得することができる。第４の訓練用画像７１ＮＣからは、第４の予備訓練データ７１ＮＣＮが生成される。
【００７６】
第４の予備訓練データ７１ＮＣＮは、第２の予備訓練データ７１ＣＮと同様の方法で生成される。
【００７７】
次に第４の訓練データ７３ＮＣを生成する。第４の訓練データ７３ＮＣは、第３の予備訓練データ７０ＮＣＬと、第４の予備訓練データ７１ＮＣＮとから生成されるデータであり、真値像７３ＮＣとしてニューラルネットワーク５０に正解として学習させるデータである。第４の訓練データ７３ＮＣは、非腫瘍組織を含む第３の訓練用画像７０ＮＣおよび第４の訓練用画像７１ＮＣから生成されるため、組織または細胞の腫瘍化状態を示す正解は、非腫瘍細胞の核領域である。第４の訓練データ７３ＮＣには、第４の訓練用画像の各画素に対応する非腫瘍細胞の核領域と、それ以外の領域を区別して示すラベル値が含まれる。例えば非腫瘍細胞の核領域を示すラベル値は「２」、それ以外の領域を示すラベル値は「０」である。図２に示す第４の訓練データ７３ＮＣは、説明の便宜上画像で示されているが、前記ニューラルネットワークに入力される際には、各画素は、腫瘍細胞の核領域と、それ以外の領域を区別して示すラベル値が付与される。
【００７８】
深層学習方法では、図２に示す色濃度符号化図７２ｒ，７２ｇ，７２ｂ（第３の訓練データともいう）および第４の訓練データ７３ＮＣを非腫瘍部訓練データ７４ＮＣとして使用する。具体的には、色濃度符号化図７２ｒ，７２ｇ，７２ｂを入力層５０ａとし、第４の訓練データ７３ＮＣを出力層５０ｂとするニューラルネットワーク５０に学習させる。すなわち、Ｒ、Ｇ、Ｂ各色の色濃度符号化図７２ｒ，７２ｇ，７２ｂと第４の訓練データ７３ＮＣとのペアの関係を、ニューラルネットワーク５０に学習させる。
【００７９】
図３（ａ）ないし（ｃ）を参照して、腫瘍部訓練データ７４Ｃの生成方法を説明する。腫瘍部訓練データ７４Ｃは、Ｒ、Ｇ、Ｂ各色の色濃度符号化図７２ｒ，７２ｇ，７２ｂと第２の訓練データ７３Ｃとを組み合わせたデータである。腫瘍部訓練データ７４Ｃは、図３（ａ）では、その画像サイズ（訓練データ１つあたりの大きさ）が説明の便宜のために簡素化されており、色濃度符号化図７２ｒ，７２ｇ，７２ｂおよび第２の訓練データ７３Ｃが、縦方向９画素および横方向９画素の合計８１画素を有する。
【００８０】
図３（ｂ）に、腫瘍部訓練データ７４Ｃを構成する画素の一例を示す。図３（ｂ）中の上段に示す３つの値７４ａが、各画素におけるＲ、Ｇ、Ｂ各色の濃度値である。例示的には、３つの値は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の順序で格納されている。色濃度符号化図７２ｒ，７２ｇ，７２ｂの各画素は、色濃度値が値０から値７の８段階で示されている。これは、画像の前処理の一例として、撮像された際に２５６段階で表されている各色の画像７２Ｒ，７２Ｇ，７２Ｂの明るさを、８段階の色濃度値にそれぞれ変換する処理である。色濃度値は、例えば最も低い明るさ（ＲＧＢカラー２５６段階で表した時の輝度値が低い階調群）を色濃度値０とし、明るさの程度が高くなるに従い徐々に高い値を割り当ててゆき、最も高い明るさ（ＲＧＢカラー２５６段階で表した時の輝度値が高い階調群）を色濃度値７とする。図３（ｂ）中の下段に示す値７４ｂが、第２の訓練データ７３Ｃのラベル値である。例えばラベル値１は腫瘍細胞の細胞核を示し、ラベル値０はそれ以外の領域を示すこととする。すなわち、図１に示す第２の訓練データ７３Ｃにおいて、ラベル値が１から０に変化する画素または０から１に変化する画素の位置が、腫瘍細胞の核領域とそれ以外の領域との境界に相当する。
【００８１】
図３（ｃ）に示す腫瘍部訓練データ７５Ｃは、図３（ａ）に示す腫瘍部訓練データ７４Ｃの所定の画素数の領域（以下、「ウィンドウサイズ」と記載する）を切り出したデータである。ウィンドウサイズの腫瘍部訓練データ７５Ｃも、説明の便宜のために３×３画素に簡素化して示すが、実際の好ましいウィンドウサイズは、例示的には１１３×１１３画素程度であり、その中に正常の胃上皮細胞の核が３×３個程度入る大きさが、学習効率の点から好ましい。例えば、図３（ｃ）に示すように、３×３画素のウィンドウＷ１を設定し、腫瘍部訓練データ７４Ｃに対してウィンドウＷ１を移動させる。ウィンドウＷ１の中心は、腫瘍部訓練データ７４Ｃのいずれかの画素に位置しており、例えば、黒枠で示すウィンドウＷ１内の腫瘍部訓練データ７４Ｃがウィンドウサイズの腫瘍部訓練データ７５Ｃとして切り出される。切り出したウィンドウサイズの腫瘍部訓練データ７５Ｃは図１に示すニューラルネットワーク５０の学習に用いられる。
【００８２】
図１に示すように、ニューラルネットワーク５０の入力層５０ａのノード数は、入力されるウィンドウサイズの腫瘍部訓練データ７５Ｃの画素数と画像に含まれる原色の数（例えば光の三原色であれば、Ｒ、Ｇ、Ｂの３つ）との積に対応している。ウィンドウサイズの腫瘍部訓練データ７５Ｃの各画素の色濃度値データ７６をニューラルネットワークの入力層５０ａとし、腫瘍部訓練データ７５Ｃの各画素の第２の訓練データ７３Ｃに対応するラベル値７４ｂのうち中心に位置する画素のラベル値７７を、ニューラルネットワークの出力層５０ｂとして、ニューラルネットワーク５０に学習させる。各画素の色濃度値データ７６は、腫瘍部訓練データ７５Ｃの各画素のＲ、Ｇ、Ｂ各色の色濃度値７４ａの集合データである。例示として、ウィンドウサイズの腫瘍部訓練データ７５Ｃが３×３画素である場合には、各画素についてＲ、Ｇ、Ｂ毎に１つずつの色濃度値７４ａが与えられるので、色濃度値データ７６の色濃度値数は「２７」（３×３×３＝２７）となり、ニューラルネットワーク５０の入力層５０ａのノード数も「２７」となる。
【００８３】
このように、ニューラルネットワーク５０に入力するウィンドウサイズの腫瘍部訓練データ７５Ｃは、ユーザが作成することなく、コンピュータが自動的に作成することができる。これにより、ニューラルネットワーク５０の効率的な深層学習が促進される。
【００８４】
図３（ｃ）に示すように、初期状態において、ウィンドウＷ１の中心は、腫瘍部訓練データ７４Ｃの左上角に位置している。以後、ウィンドウＷ１によってウィンドウサイズの腫瘍部訓練データ７５Ｃを切り出し、ニューラルネットワーク５０の学習を行う度に、ウィンドウＷ１の位置を移動させる。具体的には、ウィンドウＷ１の中心が腫瘍部訓練データ７４Ｃの例えば全ての画素を走査するように、ウィンドウＷ１を１画素単位で移動させる。これにより、腫瘍部訓練データ７４Ｃの全ての画素から切り出されたウィンドウサイズの腫瘍部訓練データ７５Ｃが、ニューラルネットワーク５０の学習に用いられる。よってニューラルネットワーク５０の学習の程度を向上でき、深層学習の結果、図５に示すニューラルネットワーク６０構造を有する深層学習アルゴリズムが得られる。
【００８５】
図４には、非腫瘍部訓練データ７４ＮＣを示す。非腫瘍部訓練データ７４ＮＣの生成方法は、腫瘍部訓練データ７４Ｃにおける説明と同様である。ただし、非腫瘍部訓練データ７４ＮＣにおいては。例えばラベル値２は非腫瘍細胞の核領域を示し、ラベル値０はそれ以外の領域を示すこととする。すなわち、図２に示す第４の訓練データ７３ＮＣにおいて、ラベル値が２から０に変化する画素または０から２に変化する画素の位置が、非腫瘍細胞の核領域とそれ以外の領域との境界に相当する。
【００８６】
腫瘍部訓練データ７４Ｃと非腫瘍部訓練データ７４ＮＣは、合わせて腫瘍細胞の核領域を示すラベルが１、非腫瘍細胞の核領域を示すラベルが２、腫瘍細胞の核領域でも非腫瘍細胞の核領域でもない部分を示すラベルが０の三値のデータとなり、真値データとしてニューラルネットワーク５０に学習される。
【００８７】
・画像解析方法の概要
図５に示すように、画像解析方法では、解析対象の組織または細胞を含む標本を撮像した解析対象画像（明視野画像）７８から、解析用データ８０を生成する。前記標本は、第１の訓練用画像と同じ染色が施されていることが好ましい。解析対象画像７８も、例えば公知の顕微鏡またはバーチャルスライドスキャナ等を用いて、例えばカラー画像として取得することができる。解析対象画像（明視野画像）７８は、１以上の原色を含む画像であればよい。カラーの解析対象画像７８を、各画素についてＲ、Ｇ、Ｂ各色の色濃度値で符号化すると、画像全体をＲ、Ｇ、Ｂ毎に各画素における色濃度値の符号化図として表すことができる（解析用色濃度符号化図７９ｒ，７９ｇ，７９ｂ）。図５に例示的に示すＲ、Ｇ、Ｂ各色の単一色画像における色濃度の符号を示す色濃度符号化図７９ｒ，７９ｇ，７９ｂは、３原色の各画像７９Ｒ，７９Ｇ，７９Ｂに代えて、値０から値７の８段階で符号で表された色濃度値を表示している。
【００８８】
解析用データ８０は、色濃度符号化図７９ｒ，７９ｇ，７９ｂの所定の画素数の領域（すなわち、ウィンドウサイズ）を切り出したデータであり、解析対象画像７８に含まれている組織または細胞の色濃度値を含むデータである。ウィンドウサイズの解析用データ８０も、腫瘍部訓練データ７５Ｃおよび非腫瘍部訓練データ７５ＮＣと同様に、説明の便宜のために３×３画素に簡素化して示すが、実際の好ましいウィンドウサイズは、例示的には１１３×１１３画素程度であり、その中に正常の胃上皮細胞の核が３×３個程度入る大きさが、判別精度の点から好ましく、例えば４０倍の視野で１１３×１１３画素程度である。例えば、３×３画素のウィンドウＷ２を設定し、色濃度符号化図７９ｒ，７９ｇ，７９ｂに対してウィンドウＷ２を移動させる。ウィンドウＷ２の中心は、色濃度符号化図７９ｒ，７９ｇ，７９ｂのいずれかの画素に位置しており、色濃度符号化図７９ｒ，７９ｇ，７９ｂを、例えば３×３画素の黒枠で示すウィンドウＷ２によって切り出すと、ウィンドウサイズの解析用データ８０が得られる。このように、解析用データ８０は、色濃度符号化図７９ｒ，７９ｇ，７９ｂから、所定の画素を中心として周辺の画素を含む領域毎に生成される。所定の画素とは、ウィンドウＷ２の中心に位置する色濃度符号化図７９ｒ，７９ｇ，７９ｂの画素を意味し、周辺の画素とは、この所定の画素を中心とする、ウィンドウサイズの範囲内に含まれる色濃度符号化図７９ｒ，７９ｇ，７９ｂの画素を意味する。解析用データ８０においても、腫瘍部訓練データ７４Ｃ、非腫瘍部訓練データ７４ＮＣと同様に、各画素について、色濃度値が赤（Ｒ）、緑（Ｇ）および青（Ｂ）の順序で格納されている。
【００８９】
画像解析方法では、図１および図２に示すウィンドウサイズの腫瘍部訓練データ７５Ｃ、非腫瘍部訓練データ７５ＮＣを用いて学習されたニューラルネットワークを有する深層学習アルゴリズム６０を用いて、解析用データ８０を処理する。解析用データ８０を処理することによって、解析対象の組織または細胞における腫瘍化状態を示すデータ８３を生成する。
【００９０】
再び図５を参照し、Ｒ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂから切り出された解析用データ８０が深層学習アルゴリズムを構成するニューラルネットワーク６０に入力される。ニューラルネットワーク６０の入力層６０ａのノード数は、入力される画素数と画像に含まれる原色の数との積に対応している。解析用データ８０の各画素の色濃度値データ８１を、ニューラルネットワーク６０に入力すると、出力層６０ｂからは、解析用データ８０の中心に位置する画素の推定値８２（三値）が出力される。例えば推定値が１の場合は腫瘍細胞の核領域であることを示し、推定値が２の場合は、腫瘍細胞の核領域ではない、非腫瘍細胞の核領域であることを示し、推定値が０の場合は、細胞核以外の領域であることを示す。すなわち、ニューラルネットワーク６０の出力層６０ｂから出力される推定値８２は、解析対象画像の画素毎に生成されるデータであり、解析対象画像における細胞の腫瘍化状態を示すデータである。推定値８２は、腫瘍細胞の核領域であることと、非腫瘍細胞の核領域であることと、細胞核以外の領域であることとを、例えば値１と値２と値０との三値で区別している。推定値８２はラベル値とも呼ばれ、ニューラルネットワークに関する後述する説明ではクラスとも呼ばれる。ニューラルネットワーク６０は、入力された解析用データ８０に対し、解析用データ８０の中心に位置する画素に対し、細胞の腫瘍化状態を示すラベルを生成する。言い替えると、ニューラルネットワーク６０は、解析用データ８０を、解析対象画像に含まれる組織または細胞の腫瘍化状態を示すクラスに分類する。なお、各画素の色濃度値データ８１は、解析用データ８０の各画素のＲ、Ｇ、Ｂ各色の色濃度値の集合データである。
【００９１】
以後、ウィンドウＷ２の中心がＲ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂの全ての画素を走査するように、ウィンドウＷ２を１画素単位で移動させながら、解析用データ８０をウィンドウサイズで切り出す。切り出された解析用データ８０を、ニューラルネットワーク６０に入力する。これにより、解析対象画像における組織または細胞の腫瘍化状態を示すデータとして、ラベル値８３を得る。図５に示す例では、ラベル値８３についてさらに腫瘍細胞核領域検出処理を行うことにより、腫瘍細胞核の領域を示す腫瘍細胞核領域強調画像８４を得る。腫瘍細胞核領域検出処理は、具体的には、例えば推定値８２が値１である画素を検出する処理となり、実際に腫瘍細胞核の領域を判別する処理となる。腫瘍細胞核領域強調画像８４は、画像解析処理により得られた細胞核の領域を、解析対象の解析対象画像７８に重ねて表示した画像である。また、腫瘍細胞核の領域を判別した後に、腫瘍細胞核と、それ以外の領域（すなわち、非腫瘍細胞核または細胞核以外）とを識別可能に表示装置に表示させる処理を行ってもよい。例えば、腫瘍細胞核の領域を色で塗りつぶす、腫瘍細胞核の領域とそれ以外の領域との間に線を描画する等の処理を行い、これらを表示装置に識別可能に表示する。
【００９２】
＜第１の実施形態＞
第１の実施形態では、上述の概要で説明した深層学習方法および画像解析方法を実施するシステムの構成について、具体的に説明する。
【００９３】
［構成の概要］
図６を参照すると、第１の実施形態に係る画像解析システムは、深層学習装置１００Ａと、画像解析装置２００Ａとを備える。ベンダ側装置１００は深層学習装置１００Ａとして動作し、ユーザ側装置２００は画像解析装置２００Ａとして動作する。深層学習装置１００Ａは、ニューラルネットワーク５０に訓練データを使って学習させ、訓練データによって訓練された深層学習アルゴリズム６０をユーザに提供する。学習済みのニューラルネットワーク６０から構成される深層学習アルゴリズムは、記録媒体９８またはネットワーク９９を通じて、深層学習装置１００Ａから画像解析装置２００Ａに提供される。画像解析装置２００Ａは、学習済みのニューラルネットワーク６０から構成される深層学習アルゴリズムを用いて解析対象の画像の解析を行う。
【００９４】
深層学習装置１００Ａは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、深層学習処理を行う。画像解析装置２００Ａは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、画像解析処理を行う。記録媒体９８は、例えばＤＶＤ−ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体である。
【００９５】
深層学習装置１００Ａは撮像装置３００に接続されている。撮像装置３００は、撮像素子３０１と、蛍光顕微鏡３０２とを備え、ステージ３０９上にセットされた学習用の標本３０８の、明視野画像および蛍光画像を撮像する。学習用の標本３０８は、上述の染色が施されている。深層学習装置１００Ａは、撮像装置３００によって撮像された第１の訓練用画像７０および第２の訓練用画像７１を取得する。
【００９６】
画像解析装置２００Ａは撮像装置４００に接続されている。撮像装置４００は、撮像素子４０１と、蛍光顕微鏡４０２とを備え、ステージ４０９上にセットされた解析対象の標本４０８の、明視野画像を撮像する。解析対象の標本４０８は、上述の通り予め染色されている。画像解析装置２００Ａは、撮像装置４００によって撮像された解析対象画像７８を取得する。
【００９７】
撮像装置３００，４００には、標本を撮像する機能を有する、公知の蛍光顕微鏡またはバーチャルスライドスキャナ等を用いることができる。撮像装置４００は、標本を撮像する機能を有する限り、光学顕微鏡であっても良い。
【００９８】
［ハードウェア構成］
図７を参照すると、ベンダ側装置１００（１００Ａ，１００Ｂ）は、処理部１０（１０Ａ，１０Ｂ）と、入力部１６と、出力部１７とを備える。
【００９９】
処理部１０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）１１と、データ処理の作業領域に使用するメモリ１２と、後述するプログラムおよび処理データを記録する記録部１３と、各部の間でデータを伝送するバス１４と、外部機器とのデータの入出力を行うインタフェース部１５と、ＧＰＵ（Graphics Processing Unit）１９とを備えている。入力部１６および出力部１７は、処理部１０に接続されている。例示的には、入力部１６はキーボードまたはマウス等の入力装置であり、出力部１７は液晶ディスプレイ等の表示装置である。ＧＰＵ１９は、ＣＰＵ１１が行う演算処理（例えば、並列演算処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ１１が行う処理とは、ＣＰＵ１１がＧＰＵ１９をアクセラレータとして用いて行う処理も含むことを意味する。
【０１００】
また、処理部１０は、以下の図１０で説明する各ステップの処理を行うために、本発明に係るプログラムおよび学習前のニューラルネットワーク５０を、例えば実行形式で記録部１３に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。処理部１０は、記録部１３に記録したプログラムおよび学習前のニューラルネットワーク５０を使用して処理を行う。
【０１０１】
以下の説明においては、特に断らない限り、処理部１０が行う処理は、記録部１３またはメモリ１２に格納されたプログラムおよびニューラルネットワーク５０に基づいて、ＣＰＵ１１が行う処理を意味する。ＣＰＵ１１はメモリ１２を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、記録部１３に演算結果等の長期保存するデータを適宜記録する。
【０１０２】
図８を参照すると、ユーザ側装置２００（２００Ａ，２００Ｂ，２００Ｃ）は、処理部２０（２０Ａ，２０Ｂ，２０Ｃ）と、入力部２６と、出力部２７とを備える。
【０１０３】
処理部２０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）２１と、データ処理の作業領域に使用するメモリ２２と、後述するプログラムおよび処理データを記録する記録部２３と、各部の間でデータを伝送するバス２４と、外部機器とのデータの入出力を行うインタフェース部２５と、ＧＰＵ（Graphics Processing Unit）２９とを備えている。入力部２６および出力部２７は、処理部２０に接続されている。例示的には、入力部２６はキーボードまたはマウス等の入力装置であり、出力部２７は液晶ディスプレイ等の表示装置である。ＧＰＵ２９は、ＣＰＵ２１が行う演算処理（例えば、並列演算処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ２１が行う処理とは、ＣＰＵ２１がＧＰＵ２９をアクセラレータとして用いて行う処理も含むことを意味する。
【０１０４】
また、処理部２０は、以下の図１３で説明する各ステップの処理を行うために、本発明に係るプログラムおよび学習済みのニューラルネットワーク構造の深層学習アルゴリズム６０を、例えば実行形式で記録部２３に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。処理部２０は、記録部２３に記録したプログラムおよび深層学習アルゴリズム６０を使用して処理を行う。
【０１０５】
以下の説明においては、特に断らない限り、処理部２０が行う処理は、記録部２３またはメモリ２２に格納されたプログラムおよび深層学習アルゴリズム６０に基づいて、実際には処理部２０のＣＰＵ２１が行う処理を意味する。ＣＰＵ２１はメモリ２２を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、記録部２３に演算結果等の長期保存するデータを適宜記録する。
【０１０６】
［機能ブロックおよび処理手順］
・深層学習処理
図９を参照すると、第１の実施形態に係る深層学習装置１００Ａの処理部１０Ａは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３とを備える。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラムを、処理部１０Ａの記録部１３またはメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部１０Ａの記録部１３またはメモリ１２に記録される。
【０１０７】
学習用の標本の第１の訓練用画像７０Ｃ、第２の訓練用画像７１Ｃ、第３の訓練用画像７０ＮＣおよび第４の訓練用画像７１ＮＣは、撮像装置３００によって予め撮像され、処理部１０Ａの記録部１３またはメモリ１２に予め記憶されていることとする。ニューラルネットワーク５０は、例えば解析対象の標本が由来する組織試料の種別（例えば組織名）または細胞を含む試料の種類と対応付けられて、アルゴリズムデータベース１０５に予め格納されている。
【０１０８】
深層学習装置１００Ａの処理部１０Ａは、図１０に示す処理を行う。図９に示す各機能ブロックを用いて説明すると、ステップＳ１０からＳ１４、Ｓ１９およびＳ２０の処理は、訓練データ生成部１０１が行う。ステップＳ１５の処理は、訓練データ入力部１０２が行う。ステップＳ１６からＳ１８の処理は、アルゴリズム更新部１０３が行う。
【０１０９】
以下に説明するステップＳ１０からＳ２０では、１対の第１の訓練用画像７０Ｃおよび第２の訓練用画像７１Ｃのペアと、１対の第３の訓練用画像７０ＮＣおよび第４の訓練用画像７１ＮＣのペアと、に対する深層学習処理を説明する。第１の訓練用画像７０Ｃおよび第２の訓練用画像７１Ｃのペアは、注目画素が細胞核の領域でありかつ腫瘍細胞の細胞核であるか、または細胞核の領域でないかを学習させるための訓練用画像のペアである。第３の訓練用画像７０ＮＣおよび第４の訓練用画像７１ＮＣのペアは、注目画素が細胞核の領域でありかつ非腫瘍細胞の細胞核であるか、または細胞核の領域でないかを学習させるための訓練用画像のペアである。
【０１１０】
ステップＳ１０において、処理部１０Ａは、入力された第１の訓練用画像７０ＣからＲ、Ｇ、Ｂ各色の色濃度符号化図７２ｒ，７２ｇ，７２ｂを生成する。色濃度符号化図７２ｒ，７２ｇ，７２ｂは、第１の訓練用画像７０Ｃの各画素のＲ、Ｇ、Ｂ各色の色濃度値を段階的に表すことにより作成する。本実施形態では、色濃度値を値０から値７の８段階として各Ｒ、Ｇ、Ｂ階調画像について色濃度符号化図７２ｒ，７２ｇ，７２ｂを作成する。色濃度値の割り当ては、例えば最も低い明るさを色濃度値０とし、明るさの程度が高くなるに従い徐々に高い値を割り当ててゆき、最も高い明るさを色濃度値７とする。
【０１１１】
ステップＳ１１において、処理部１０Ａは、第１の訓練用画像７０Ｃにおける、学習対象の組織の腫瘍細胞の領域であることを示す第１の予備訓練データ７０ＣＬを生成する。第１の予備訓練データ７０ＣＬは、後述する三値の第２の訓練データ７３Ｃを生成するために使用される。第１の予備訓練データ７０ＣＬには、腫瘍細胞の領域を含むことを示すラベル値が含まれている。
【０１１２】
例えば、処理部１０Ａは、第１の訓練用画像７０Ｃの領域を含む広い領域の画像（ホールスライドイメージ７０Ｗ）を、出力部１７に表示する。判定を行う病理医は、出力部１７に表示されたホールスライドイメージ７０Ｗの画像を目視で確認する。病理医は、腫瘍細胞を含むと判定したホールスライドイメージ７０Ｗ中の領域を、例えば入力部１６を介して指定し、ホールスライドイメージ７０Ｗに例えば赤色等の実線を記入する。ホールスライドイメージ中に赤色の実線で囲まれる領域が、病理医により腫瘍細胞を含むと判定された領域である。同様に、病理医は、第１の訓練用画像７０Ｃにおいて腫瘍細胞を含まないと判定したホールスライドイメージ７０Ｗ中の領域について、例えば赤色とは異なる青色等の実線を記入する。ホールスライドイメージ７０Ｗ中に青色の実線で囲まれる領域が、病理医により腫瘍細胞を含まないと判定された領域である。処理部１０Ａは、ホールスライドイメージ７０Ｗを出力部１７に表示して病理医により判断してもらうことに代えて、病理医による判定済みのホールスライドイメージ７０Ｗを、Ｉ／Ｆ部１５を介して例えばネットワーク９９を介して取得してもよい。
【０１１３】
処理部１０Ａは、ホールスライドイメージ７０Ｗ中に赤色の実線で囲まれている領域から取得された明視野画像の各画素には、腫瘍領域であることを示すラベル値として、例えば値「１」を付与する。その後、処理部１０Ａは、病理医による判定が行われたホールスライドイメージのうち、第１の訓練用画像７０Ｃの領域に対応する領域を切り出すことにより、学習対象の組織の腫瘍化状態を示す第１の予備訓練データ７０ＣＬを生成する。青色の実線で囲まれている領域から取得された明視野画像の各画素には、非腫瘍領域であることを示すラベル値として、例えば値「２」を付与する。その後、処理部１０Ａは、病理医による判定が行われたホールスライドイメージのうち、第３の訓練用画像７０ＮＣの領域に対応する領域を切り出すことにより、学習対象の組織の腫瘍化状態を示す第３の予備訓練データ７０ＮＣＬを生成する。
【０１１４】
なお、病理医による判定結果が赤色および青色の実線で示されたホールスライドイメージ中において、赤色で囲む領域と青色で囲む領域とは重なることはなく、互いに区別された領域として示されている。腫瘍細胞を含む領域と腫瘍細胞を含まない領域とが隣接し、赤色で囲む領域と青色で囲む領域とが隣接している場合もある。
【０１１５】
ステップＳ１２において、処理部１０Ａは、入力された第２の訓練用画像７１Ｃの各画素の階調を二値化して、学習対象の組織の細胞核領域を示す第２の予備訓練データ７１ＣＮを生成する。細胞核領域を示す第２の予備訓練データ７１ＣＮは、後述する三値の第２の訓練データ７３Ｃを生成するために使用される。二値化の処理は、例えば、画像内の各画素の階調を、所定のしきい値と比較することにより行う。しきい値との比較に代えて、最尤推定法を用いて二値化してもよい。
【０１１６】
ステップＳ１３ａにおいて、処理部１０Ａは、第１の予備訓練データ７０ＣＬと、第２の予備訓練データ７１ＣＮとから、第２の訓練データ７３Ｃを生成する。第２の訓練データ７３Ｃ（三値化画像）は、ニューラルネットワーク５０に正解として学習させる腫瘍部訓練データ７４Ｃを生成させるために使用する。すなわち処理部１０Ａは、第１の予備訓練データ７０ＣＬおよび第２の予備訓練データ７１ＣＮの対応する同じ位置の画素について、画素に付与されている、腫瘍細胞であることを示すラベル値と、細胞核領域とそれ以外の領域を示すラベル値とに基づいて、腫瘍細胞の核領域であることを示すラベル値と、それ以外の領域であることを示すラベル値を各画素に付与する。処理部１０Ａは、第１の予備訓練データ７０ＣＬおよび第２の予備訓練データ７１ＣＮに含まれる全ての画素について、このような判定処理を画素毎に行うことにより、第２の訓練データ７３Ｃを生成する。
【０１１７】
画素毎の判定の一例としては、処理部１０Ａは、第２の訓練データ７３Ｃにおいて画素毎に付与する細胞の腫瘍化状態のラベル値として、例えば、値「１」および「０」のラベル値のいずれかを付与する。例えば、腫瘍細胞の細胞核に対応する画素には値「１」を付与し、そもそも細胞核の領域ではない画素には値「０」を付与する。
【０１１８】
例えば、細胞核領域を示す第２の予備訓練データ７１ＣＮの注目画素の値が、細胞核の領域を示すラベル値であれば、処理部１０Ａは、さらに、腫瘍化状態を示す第１の予備訓練データ７０ＣＬの注目画素のラベル値を参照し、参照した注目画素のラベル値を、第２の訓練データ７３Ｃの注目画素の腫瘍化状態を示すラベル値として付与する。参照した注目画素の値が、例えば腫瘍細胞の領域であることを示す値「１」であれば、処理部１０Ａは、第２の訓練データ７３Ｃの注目画素に値「１」を付与する。これに対して、細胞核領域を示す第２の予備訓練データ７１ＣＮの注目画素の値が、細胞核以外の領域を示す値であれば、処理部１０Ａは、第１の予備訓練データ７０ＣＬの注目画素のラベル値を参照することなく、第２の訓練データ７３Ｃの注目画素に値「０」を付与する。
【０１１９】
ステップＳ１３ｂにおいて、処理部１０Ａは、第３の予備訓練データ７０ＮＣＬと、第４の予備訓練データ７１ＮＣＮとから、第４の訓練データ７３ＮＣを生成する。第４の訓練データ７３ＮＣは、ニューラルネットワーク５０に正解として学習させる非腫瘍部訓練データ７４ＮＣを生成させるために使用する。すなわち処理部１０Ａは、第３の予備訓練データ７０ＮＣＬおよび第４の予備訓練データ７１ＮＣＮの対応する同じ位置の画素について、画素に付与されている、非腫瘍細胞であることを示すラベル値と、細胞核領域とそれ例外の領域を示すラベル値とに基づいて、非腫瘍細胞の核領域を示すラベル値と、それ以外の領域を示すラベル値を各画素に付与する。処理部１０Ａは、第３の予備訓練データ７０ＮＣＬおよび第４の予備訓練データ７１ＮＣＮに含まれる全ての画素について、このような判定処理を画素毎に行うことにより、第４の訓練データ７３ＮＣを生成する。
【０１２０】
画素毎の判定の一例としては、処理部１０Ａは、第４の訓練データ７３ＮＣにおいて画素毎に付与する細胞の腫瘍化状態を示すラベル値として、例えば、値「２」および「０」のラベル値のいずれかを付与する。例えば、非腫瘍細胞の細胞核に対応する画素には値「２」を付与し、そもそも細胞核の領域ではない画素には値「０」を付与する。
【０１２１】
例えば、細胞核領域を示す第４の予備訓練データ７１ＮＣＮの注目画素の値が、細胞核の領域を示すラベル値であれば、処理部１０Ａは、さらに、腫瘍化状態を示す第３の予備訓練データ７０ＮＣＬの注目画素のラベル値を参照し、参照した注目画素のラベル値を、第４の訓練データ７３ＮＣの注目画素の腫瘍化状態を示すラベル値として付与する。参照した注目画素の値が、例えば非腫瘍細胞の領域であることを示す値「２」であれば、処理部１０Ａは、第２の訓練データ７３Ｃの注目画素に値「２」を付与する。これに対して、細胞核領域を示す第４の予備訓練データ７１ＮＣＮの注目画素の値が、細胞核以外の領域を示す値であれば、処理部１０Ａは、第３の予備訓練データ７０ＮＣＬの注目画素のラベル値を参照することなく、第４の訓練データ７３ＮＣの注目画素の腫瘍化状態を示すラベル値として、注目画素に値「０」を付与する。
【０１２２】
ステップＳ１４において、処理部１０Ａは、入力部１６を通じて、深層学習装置１００Ａ側のオペレータからの、学習用の組織の種別の入力を受け付ける。処理部１０Ａは、入力された組織の種別に基づき、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズを設定し、アルゴリズムデータベース１０５を参照して、学習に用いるニューラルネットワーク５０を設定する。胃の組織標本を解析対象とする本実施形態では、ウィンドウサイズは例えば１１３×１１３画素とする。この画素サイズは、例えば４０倍で撮像された画像におけるサイズである。例示的には２つから９つ程度の複数の細胞のうち、少なくとも１つの細胞の細胞核領域の全体形状が、ウィンドウ内に含まれることをサポートするサイズである。ウィンドウサイズは、１回の入力時にニューラルネットワーク５０に入力する訓練データの単位であり、ウィンドウサイズの腫瘍部訓練データ７５Ｃの画素数と画像に含まれる色の原色の数との積が、入力層５０ａのノード数に対応している。ウィンドウサイズは組織試料の種別または細胞を含む試料の種別と対応付けられて、ウィンドウサイズデータベース１０４内に予め記録されている。
【０１２３】
ステップＳ１５において、処理部１０Ａは、色濃度符号化図７２ｒ，７２ｇ，７２ｂである第１の訓練データおよび第２の訓練データ７３Ｃから、ウィンドウサイズの腫瘍部訓練データ７５Ｃを生成する。具体的には、上述の「深層学習方法の概要」において、図３（ａ）ないし（ｃ）を参照して説明したように、第１の訓練データおよび第２の訓練データ７３Ｃを組み合わせた腫瘍部訓練データ７４Ｃから、ウィンドウＷ１によって、ウィンドウサイズの腫瘍部訓練データ７５Ｃを作成する。また、処理部１０Ａは、色濃度符号化図７２ｒ，７２ｇ，７２ｂである第３の訓練データおよび第４の訓練データ７３Ｃから、ウィンドウサイズの非腫瘍部訓練データ７５ＮＣを生成する。具体的には、上述の「深層学習方法の概要」において、図３（ａ）ないし（ｃ）を参照して説明したように、色濃度符号化図７２ｒ，７２ｇ，７２ｂである第３の訓練データおよび第４の訓練データ７３ＮＣを組み合わせた非腫瘍部訓練データ７４ＮＣから、ウィンドウＷ１によって、ウィンドウサイズの非腫瘍部訓練データ７５ＮＣを作成する。
【０１２４】
図１０に示すステップＳ１６において、処理部１０Ａは、ウィンドウサイズの腫瘍部訓練データ７５Ｃおよび非腫瘍部訓練データ７５ＮＣを用いて、ニューラルネットワーク５０を学習させる。ニューラルネットワーク５０の学習結果は、ウィンドウサイズの腫瘍部訓練データ７５Ｃおよび非腫瘍部訓練データ７５ＮＣを用いてニューラルネットワーク５０を学習させる度に蓄積される。
【０１２５】
実施形態に係る画像解析方法では、畳み込みニューラルネットワークを使用しており、確率的勾配降下法を用いるため、ステップＳ１７において、処理部１０Ａは、予め定められた所定の試行回数分の学習結果が蓄積されているか否かを判断する。学習結果が所定の試行回数分蓄積されている場合、処理部１０ＡはステップＳ１８の処理を行い、学習結果が所定の試行回数分蓄積されていない場合、処理部１０ＡはステップＳ１９の処理を行う。
【０１２６】
学習結果が所定の試行回数分蓄積されている場合、ステップＳ１８において、処理部１０Ａは、ステップＳ１６において蓄積しておいた学習結果を用いて、ニューラルネットワーク５０の結合重みｗを更新する。実施形態に係る画像解析方法では、確率的勾配降下法を用いるため、所定の試行回数分の学習結果が蓄積した段階で、ニューラルネットワーク５０の結合重みｗを更新する。結合重みｗを更新する処理は、具体的には、後述の（式１１）および（式１２）に示される、勾配降下法による計算を実施する処理である。
【０１２７】
ステップＳ１９において、処理部１０Ａは、入力画像内の規定数の画素を処理したか否かを判断する。入力画像は、腫瘍部訓練データ７４Ｃおよび非腫瘍部訓練データ７５ＮＣであり、腫瘍部訓練データ７４Ｃおよび非腫瘍部訓練データ７５ＮＣ内の規定数の画素について、ステップＳ１６からステップＳ１８の一連の処理がなされている場合は、深層学習処理を終了する。ニューラルネットワークの学習は、必ずしも入力画像内の全ての画素に対して行う必要は無く、処理部１０Ａは、入力画像内の一部の画素、すなわち規定数の画素に対して処理をし学習を行うことができる。規定数の画素は、入力画像内の全ての画素であってもよい。
【０１２８】
入力画像内の規定数の画素が処理されていない場合は、処理部１０Ａは、ステップＳ２０において、図３（ｃ）に示すように、腫瘍部訓練データ７４Ｃ内および非腫瘍部訓練データ７５ＮＣにおいて、ウィンドウの中心位置を１画素単位で移動させる。その後、処理部１０Ａは、移動後の新たなウィンドウ位置において、ステップＳ１６からステップＳ１８の一連の処理を行う。すなわち、処理部１０Ａは、ステップＳ１５において、移動後の新たなウィンドウ位置において腫瘍部訓練データ７４Ｃまたは非腫瘍部訓練データ７５ＮＣをウィンドウサイズで切り出す。引き続き、処理部１０Ａは、ステップＳ１６において、新たに切り出したウィンドウサイズの腫瘍部訓練データ７５Ｃおよび非腫瘍部訓練データ７５ＮＣを用いて、ニューラルネットワーク５０を学習させる。ステップＳ１７において、所定の試行回数分の学習結果が蓄積されている場合は、処理部１０Ａは、ステップＳ１８において、ニューラルネットワーク５０の結合重みｗを更新する。このようなウィンドウサイズ毎のニューラルネットワーク５０の学習を、腫瘍部訓練データ７４Ｃおよび非腫瘍部訓練データ７５ＮＣ内の規定数の画素に対して行う。
【０１２９】
以上説明した、１対の入力画像のペアに対するステップＳ１０からＳ２０の深層学習処理を、異なる入力画像の複数のペアに対して繰り返し行うことにより、ニューラルネットワーク５０の学習の程度を向上させる。これにより、図５に示すニューラルネットワーク構造の深層学習アルゴリズム６０を得る。
【０１３０】
・ニューラルネットワークの構造
図１１（ａ）に示すように、第１の実施形態では、深層学習タイプのニューラルネットワークを用いる。深層学習タイプのニューラルネットワークは、図１１に示すニューラルネットワーク５０のように、入力層５０ａと、出力層５０ｂと、入力層５０ａおよび出力層５０ｂの間の中間層５０ｃとを備え、中間層５０ｃが複数の層で構成されている。中間層５０ｃを構成する層の数は、例えば５層以上とすることができる。
【０１３１】
ニューラルネットワーク５０では、層状に配置された複数のノード８９が、層間において結合されている。これにより、情報が入力側の層５０ａから出力側の層５０ｂに、図中矢印Ｄに示す一方向のみに伝播する。本実施形態では、入力層５０ａのノード数は、入力される画像の画素数すなわち図３（ｃ）に示すウィンドウＷ１の画素数と各画素に含まれる色の原色の数との積に対応している。入力層５０ａに画像の画素データ（色濃度値）を入力することができるので、ユーザは入力画像から特徴量を別途算出することなく、入力画像を入力層５０ａに入力することができる。
【０１３２】
・各ノードにおける演算
図１１（ｂ）は、各ノードにおける演算を示す模式図である。各ノード８９では、複数の入力を受け取り、１つの出力（ｚ）を計算する。図１１（ｂ）に示す例の場合、ノード８９は４つの入力を受け取る。ノード８９が受け取る総入力（ｕ）は、以下の（式１）で表される。
【数１】
2019095212.tif 000003
【０１３３】
各入力には、それぞれ異なる重みが掛けられる。（式１）中、ｂはバイアスと呼ばれる値である。ノードの出力（ｚ）は、（式１）で表される総入力（ｕ）に対する所定の関数ｆの出力となり、以下の（式２）で表される。関数ｆは活性化関数と呼ばれる。
【数２】
2019095212.tif 000004
【０１３４】
図１１（ｃ）は、ノード間の演算を示す模式図である。ニューラルネットワーク５０では、（式１）で表される総入力（ｕ）に対して、（式２）で表される結果（ｚ）を出力するノードが層状に並べられている。前の層のノードの出力が、次の層のノードの入力となる。図１１（ｃ）に示す例では、図中左側の層のノード８９ａの出力が、図中右側の層のノード８９ｂの入力となる。右側の層の各ノード８９ｂは、それぞれ、左側の層のノード８９ａからの出力を受け取る。左側の層の各ノード８９ａと右側の層の各ノード８９ｂとの間の各結合には、異なる重みが掛けられる。左側の層の複数のノード８９ａのそれぞれの出力をｘ１〜ｘ４とすると、右側の層の３つのノード８９ｂのそれぞれに対する入力は、以下の（式３−１）〜（式３−３）で表される。
【数３】
2019095212.tif 000005
【０１３５】
これら（式３−１）〜（式３−３）を一般化すると、（式３−４）となる。ここで、ｉ＝１，・・・Ｉ、ｊ＝１，・・・Ｊである。
【数４】
2019095212.tif 000006
【０１３６】
（式３−４）を活性化関数に適用すると出力が得られる。出力は以下の（式４）で表される。
【数５】
2019095212.tif 000007
【０１３７】
・活性化関数
実施形態に係る画像解析方法では、活性化関数として、正規化線形関数（rectified linear unit function）を用いる。正規化線形関数は以下の（式５）で表される。
【数６】
2019095212.tif 000008
【０１３８】
（式５）は、ｚ＝ｕの線形関数のうち、ｕ＜０の部分をｕ＝０とする関数である。図１１（ｃ）に示す例では、ｊ＝１のノードの出力は、（式５）により、以下の式で表される。
【数７】
2019095212.tif 000009
【０１３９】
・ニューラルネットワークの学習
ニューラルネットワークを用いて表現される関数をｙ（ｘ：ｗ）とおくと、関数ｙ（ｘ：ｗ）は、ニューラルネットワークのパラメータｗを変化させると変化する。入力ｘに対してニューラルネットワークがより好適なパラメータｗを選択するように、関数ｙ（ｘ：ｗ）を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワークを用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力ｘに対する望ましい出力をｄとすると、入出力の組は、｛（ｘ１，ｄ１），（ｘ２，ｄ２），・・・，（ｘｎ，ｄｎ）｝と与えられる。（ｘ，ｄ）で表される各組の集合を、訓練データと呼ぶ。具体的には、図３（ｂ）に示す、Ｒ、Ｇ、Ｂ各色の単一色画像における画素毎の色濃度値と真値像のラベルとの組、の集合が、図３（ａ）に示す訓練データである。
【０１４０】
ニューラルネットワークの学習とは、どのような入出力の組（ｘｎ，ｄｎ）に対しても、入力ｘｎを与えたときのニューラルネットワークの出力ｙ（ｘｎ：ｗ）が、出力ｄｎになるべく近づくように重みｗを調整することを意味する。誤差関数（error function）とは、ニューラルネットワークを用いて表現される関数と訓練データとの近さ
【数８】
2019095212.tif 000010
を測る尺度である。誤差関数は損失関数（loss function）とも呼ばれる。実施形態に係る画像解析方法において用いる誤差関数Ｅ（ｗ）は、以下の（式６）で表される。（式６）は交差エントロピー（cross entropy）と呼ばれる。
【数９】
2019095212.tif 000011
【０１４１】
（式６）の交差エントロピーの算出方法を説明する。実施形態に係る画像解析方法において用いるニューラルネットワーク５０の出力層５０ｂでは、すなわちニューラルネットワークの最終層では、入力ｘを内容に応じて有限個のクラスに分類するための活性化関数を用いる。活性化関数はソフトマックス関数（softmax function）と呼ばれ、以下の（式７）で表される。なお、出力層５０ｂには、クラス数ｋと同数のノードが並べられているとする。出力層Ｌの各ノードｋ（ｋ＝１，・・・Ｋ）の総入力ｕは、前層Ｌ−１の出力から、ｕｋ（Ｌ）で与えられるとする。これにより、出力層のｋ番目のノードの出力は以下の（式７）で表される。
【数１０】
2019095212.tif 000012
【０１４２】
（式７）がソフトマックス関数である。（式７）で決まる出力ｙ１，・・・，ｙＫの総和は常に１となる。
【０１４３】
各クラスをＣ１，・・・，ＣＫと表すと、出力層Ｌのノードｋの出力ｙＫ（すなわちｕｋ（Ｌ））は、与えられた入力ｘがクラスＣＫに属する確率を表す。以下の（式８）を参照されたい。入力ｘは、（式８）で表される確率が最大になるクラスに分類される。
【数１１】
2019095212.tif 000013
【０１４４】
ニューラルネットワークの学習では、ニューラルネットワークで表される関数を、各クラスの事後確率（posterior probability）のモデルとみなし、そのような確率モデルの下で、訓練データに対する重みｗの尤度（likelihood）を評価し、尤度を最大化するような重みｗを選択する。
【０１４５】
（式７）のソフトマックス関数による目標出力ｄｎを、出力が正解のクラスである場合のみ１とし、出力がそれ以外の場合は０になるとする。目標出力をｄｎ＝［ｄｎ１，・・・，ｄｎＫ］というベクトル形式で表すと、例えば入力ｘｎの正解クラスがＣ３である場合、目標出力ｄｎ３のみが１となり、それ以外の目標出力は０となる。このように符号化すると、事後分布（posterior）は以下の（式９）で表される。
【数１２】
2019095212.tif 000014
【０１４６】
訓練データ｛（ｘｎ，ｄｎ）｝（ｎ＝１，・・・，Ｎ）に対する重みｗの尤度Ｌ（ｗ）は、以下の（式１０）で表される。尤度Ｌ（ｗ）の対数をとり符号を反転すると、（式６）の誤差関数が導出される。
【数１３】
2019095212.tif 000015
【０１４７】
学習は、訓練データを基に計算される誤差関数Ｅ（ｗ）を、ニューラルネットワークのパラメータｗについて最小化することを意味する。実施形態に係る画像解析方法では、誤差関数Ｅ（ｗ）は（式６）で表される。
【０１４８】
誤差関数Ｅ（ｗ）をパラメータｗについて最小化することは、関数Ｅ（ｗ）の局所的な極小点を求めることと同じ意味である。パラメータｗはノード間の結合の重みである。重みｗの極小点は、任意の初期値を出発点として、パラメータｗを繰り返し更新する反復計算によって求められる。このような計算の一例には、勾配降下法（gradient descent method）がある。
【０１４９】
勾配降下法では、次の（式１１）で表されるベクトルを用いる。
【数１４】
2019095212.tif 000016
【０１５０】
勾配降下法では、現在のパラメータｗの値を負の勾配方向（すなわち−∇Ｅ）に移動させる処理を何度も繰り返す。現在の重みをｗ（ｔ）とし、移動後の重みをｗ（ｔ＋１）とすると、勾配降下法による演算は、以下の（式１２）で表される。値ｔは、パラメータｗを移動させた回数を意味する。
【数１５】
2019095212.tif 000017
【０１５１】
記号
【数１６】
2019095212.tif 000018
は、パラメータｗの更新量の大きさを決める定数であり、学習係数と呼ばれる。（式１２）で表される演算を繰り返すことにより、値ｔの増加に伴って誤差関数Ｅ（ｗ（ｔ））が減少し、パラメータｗは極小点に到達する。
【０１５２】
なお、（式１２）による演算は、全ての訓練データ（ｎ＝１，・・・，Ｎ）に対して実施してもよく、一部の訓練データのみに対して実施してもよい。一部の訓練データのみに対して行う勾配降下法は、確率的勾配降下法（stochastic gradient descent）と呼ばれる。実施形態に係る画像解析方法では、確率的勾配降下法を用いる。
【０１５３】
・画像解析処理
図１２を参照すると、第１の実施形態に係る画像解析装置２００Ａの処理部２０Ａは、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、腫瘍細胞核領域検出部２０４とを備える。これらの機能ブロックは、本発明に係るコンピュータに画像解析処理を実行させるプログラムを、処理部２０Ａの記録部２３またはメモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、記録媒体９８またはネットワーク９９を通じて深層学習装置１００Ａから提供され、処理部２０Ａの記録部２３またはメモリ２２に記録される。
【０１５４】
解析対象の組織の解析対象画像７８は、撮像装置４００によって予め撮像され、処理部２０Ａの記録部２３またはメモリ２２に予め記録されていることとする。学習済みの結合重みｗを含む深層学習アルゴリズム６０は、解析対象の組織の標本が由来する組織試料の種別（例えば組織名）または細胞を含む試料の種類と対応付けられてアルゴリズムデータベース１０５に格納されており、コンピュータに画像解析処理を実行させるプログラムの一部であるプログラムモジュールとして機能する。すなわち、深層学習アルゴリズム６０は、ＣＰＵおよびメモリを備えるコンピュータにて用いられ、解析対象の組織において腫瘍化状態を示すデータを出力するという、使用目的に応じた特有の情報の演算または加工を実行するよう、コンピュータを機能させる。具体的には、処理部２０ＡのＣＰＵ２１は、記録部２３またはメモリ２２に記録された深層学習アルゴリズム６０に規定されているアルゴリズムに従って、学習済みの結合重みｗに基づくニューラルネットワーク６０の演算を行う。処理部２０ＡのＣＰＵ２１は、入力層６０ａに入力された、解析対象の組織を撮像した解析対象画像７８に対して演算を行い、出力層６０ｂから、解析対象の組織において腫瘍化状態を示すデータである三値画像８３を出力する。
【０１５５】
図１３を参照すると、画像解析装置２００Ａの処理部２０Ａは、図１３に示す処理を行う。図１２に示す各機能ブロックを用いて説明すると、ステップＳ２１およびＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。ステップＳ２９の処理は、腫瘍細胞核領域検出部２０４が行う。
【０１５６】
ステップＳ２１において、処理部２０Ａは、入力された解析対象画像７８からＲ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂを生成する。色濃度符号化図７９ｒ，７９ｇ，７９ｂの生成方法は、図１０に示す深層学習処理時におけるステップＳ１０での生成方法と同様である。
【０１５７】
図１３に示すステップＳ２２において、処理部２０Ａは、入力部２６を通じて、解析条件として、画像解析装置２００Ａ側のユーザからの、組織の種別の入力を受け付ける。処理部２０Ａは、入力された組織の種別に基づき、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を参照して、解析に用いるウィンドウサイズを設定し、解析に用いる深層学習アルゴリズム６０を取得する。ウィンドウサイズは、１回の入力時にニューラルネットワーク６０に入力する解析用データの単位であり、ウィンドウサイズの解析用データ８０の画素数と画像に含まれる色の原色の数との積が、入力層６０ａのノード数に対応している。ウィンドウサイズは組織の種別と対応付けられて、ウィンドウサイズデータベース１０４内に予め記録されている。ウィンドウサイズは、図５に示すウィンドウＷ２のように、例えば３×３画素である。深層学習アルゴリズム６０も、組織試料の種別または細胞を含む試料の種別と対応付けられて、図１２に示すアルゴリズムデータベース１０５内に予め記録されている。
【０１５８】
図１３に示すステップＳ２３において、処理部２０Ａは、色濃度符号化図７９ｒ，７９ｇ，７９ｂから、ウィンドウサイズの解析用データ８０を生成する。
【０１５９】
ステップＳ２４において、処理部２０Ａは、図５に示す解析用データ８０を、深層学習アルゴリズム６０に入力する。ウィンドウの初期位置は、深層学習処理時におけるステップＳ１６と同様に、例えばウィンドウ内の３×３画素の中心に位置する画素が、解析対象画像の左上角に対応する位置である。処理部２０Ａは、ウィンドウサイズの解析用データ８０に含まれる、３×３画素×３原色の合計２７個の色濃度値のデータ８１を入力層６０ａに入力すると、深層学習アルゴリズム６０は、出力層６０ｂに判別結果８２を出力する。
【０１６０】
図１３に示すステップＳ２５において、処理部２０Ａは、図５に示す出力層６０ｂに出力される判別結果８２を記録する。判別結果８２は、解析対象である、色濃度符号化図７９ｒ，７９ｇ，７９ｂの中心に位置する画素の推定値（三値）である。例えば推定値が値１の場合は腫瘍細胞の細胞核を示し、推定値が値２の場合は非腫瘍細胞の細胞核を示し、推定値が値０の場合は細胞核以外を示す。
【０１６１】
図１３に示すステップＳ２６において、処理部２０Ａは、入力画像内の全ての画素を処理したか否かを判断する。入力画像は、図５に示す色濃度符号化図７９ｒ，７９ｇ，７９ｂであり、色濃度符号化図７９ｒ，７９ｇ，７９ｂ内の全ての画素について、図１３に示すステップＳ２３からステップＳ２５の一連の処理がなされている場合は、ステップＳ２８の処理を行う。
【０１６２】
入力画像内の全ての画素が処理されていない場合は、処理部２０Ａは、ステップＳ２７において、深層学習処理時におけるステップＳ２０と同様に、図５に示す色濃度符号化図７９ｒ，７９ｇ，７９ｂ内において、ウィンドウＷ２の中心位置を１画素単位で移動させる。その後、処理部２０Ａは、移動後の新たなウィンドウＷ２の位置において、ステップＳ２３からステップＳ２５の一連の処理を行う。処理部２０Ａは、ステップＳ２５において、移動後の新たなウィンドウ位置に対応する、判別結果８２を記録する。このようなウィンドウサイズ毎の判別結果８２の記録を、解析対象画像内の全ての画素に対して行うことにより、解析結果の三値画像８３が得られる。解析結果の三値画像８３の画像サイズは、解析対象画像の画像サイズと同じである。ここで、三値画像８３には、推定値の値２、値１および値０が各画素に付された数値データであってもよく、推定値の値２、値１および値０に代えて、例えば値２、値１および値０のそれぞれに対応付けた表示色で示した画像であっても良い。
【０１６３】
図１３に示すステップＳ２８では、処理部２０Ａは、解析結果の三値画像８３を出力部２７に出力する。
【０１６４】
ステップＳ２９では、ステップＳ２８に引き続き、処理部２０Ａは、解析結果の三値画像８３についてさらに、腫瘍細胞核領域検出処理を行う。三値画像８３において、腫瘍細胞の細胞核と、非腫瘍細胞の細胞核と、細胞核以外とは、三値で区別して表されている。したがって、三値画像８３において、画素の推定値が１から０に変化する画素または０から１に変化する画素の位置を検出することにより、腫瘍細胞の細胞核を判別することができる。また、別の態様として、腫瘍細胞の細胞核と、それ以外の領域（すなわち、非腫瘍細胞核または細胞核以外）との境界、すなわち腫瘍細胞核の領域を検出することができる。
【０１６５】
任意ではあるが、処理部２０Ａは、得られた腫瘍細胞核の領域を、解析対象の解析対象画像７８に重ねることにより、腫瘍細胞核領域強調画像８４を作成する。処理部２０Ａは、作成した腫瘍細胞核領域強調画像８４を出力部２７に出力し、画像解析処理を終了する。
【０１６６】
以上、画像解析装置２００Ａのユーザは、解析対象の組織の解析対象画像７８を画像解析装置２００Ａに入力することにより、解析結果として、三値画像８３を取得することができる。三値画像８３は、解析対象の標本における、腫瘍細胞の細胞核と、非腫瘍細胞の細胞核と、細胞核以外とを表しており、ユーザは、解析対象の標本において、腫瘍細胞核の領域を判別することが可能となる。
【０１６７】
さらに、画像解析装置２００Ａのユーザは、解析結果として、腫瘍細胞核領域強調画像８４を取得することができる。腫瘍細胞核領域強調画像８４は、例えば、解析対象の解析対象画像７８に、腫瘍細胞核の領域を色で塗りつぶすことにより生成される。また、別の態様では、腫瘍細胞核の領域とそれ以外の領域（すなわち、非腫瘍細胞核または細胞核以外）との境界線を重ねることにより生成されている。これにより、ユーザは、解析対象の組織において、腫瘍細胞核の領域を一目で把握することが可能となり、腫瘍化状態を一目で把握することが可能となる。
【０１６８】
解析対象の標本において腫瘍細胞核の領域を示すことは、標本を見慣れていない者に細胞核の腫瘍化状態を把握させる一助となる。
【０１６９】
＜第２の実施形態＞
以下、第１の実施形態に係る画像解析システムと相違する点について、第２の実施形態に係る画像解析システムを説明する。
【０１７０】
［構成の概要］
図１４を参照すると、第２の実施形態に係る画像解析システムは、ユーザ側装置２００を備え、ユーザ側装置２００が、統合型の画像解析装置２００Ｂとして動作する。画像解析装置２００Ｂは、例えば汎用コンピュータで構成されており、第１の実施形態において説明した深層学習処理および画像解析処理の両方の処理を行う。つまり、第２の実施形態に係る画像解析システムは、ユーザ側で深層学習および画像解析を行う、スタンドアロン型のシステムである。第２の実施形態に係る画像解析システムは、ユーザ側に設置された統合型の画像解析装置２００Ｂが、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａの両方の機能を担う点において、第１の実施形態に係る画像解析システムと異なる。
【０１７１】
画像解析装置２００Ｂは撮像装置４００に接続されている。撮像装置４００は、深層学習処理時には、学習用の組織の第１の訓練用画像７０Ｃおよび第２の訓練用画像７１Ｃを取得し、画像解析処理時には、解析対象の組織の解析対象画像７８を取得する。
【０１７２】
［ハードウェア構成］
画像解析装置２００Ｂのハードウェア構成は、図８に示すユーザ側装置２００のハードウェア構成と同様である。
【０１７３】
［機能ブロックおよび処理手順］
図１５を参照すると、第２の実施形態に係る画像解析装置２００Ｂの処理部２０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、腫瘍細胞核領域検出部２０４とを備える。これらの機能ブロックは、コンピュータに深層学習処理および画像解析処理を実行させるプログラムを、処理部２０Ｂの記録部２３またはメモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部２０Ｂの記録部２３またはメモリ２２に記録され、どちらも深層学習時および画像解析処理時に共通して使用される。学習済みのニューラルネットワーク６０は、組織の種別または細胞を含む試料の種別と対応付けられて、アルゴリズムデータベース１０５に予め格納されており、深層学習処理により結合重みｗが更新されて、深層学習アルゴリズム６０として、アルゴリズムデータベース１０５に格納される。なお、学習用の第１の訓練用画像である第１の訓練用画像７０Ｃおよび第２の訓練用画像７１Ｃは、撮像装置４００によって予め撮像され、処理部２０Ｂの記録部２３またはメモリ２２に予め記載されていることとする。解析対象の標本の解析対象画像７８も、撮像装置４００によって予め撮像され、処理部２０Ｂの記録部２３またはメモリ２２に予め記録されていることとする。
【０１７４】
画像解析装置２００Ｂの処理部２０Ｂは、深層学習処理時には、図１０に示す処理を行い、画像解析処理時には、図１３に示す処理を行う。図１５に示す各機能ブロックを用いて説明すると、深層学習処理時には、ステップＳ１０からＳ１４、Ｓ１９およびＳ２０の処理は、訓練データ生成部１０１が行う。ステップＳ１５の処理は、訓練データ入力部１０２が行う。ステップＳ１６からＳ１８の処理は、アルゴリズム更新部１０３が行う。画像解析処理時には、ステップＳ２１およびＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。ステップＳ２９の処理は、腫瘍細胞核領域検出部２０４が行う。
【０１７５】
第２の実施形態に係る画像解析装置２００Ｂが行う深層学習処理の手順および画像解析処理の手順は、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａがそれぞれ行う手順と同様である。なお、第２の実施形態に係る画像解析装置２００Ｂは、次の点において第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａと異なる。
【０１７６】
深層学習処理時のステップＳ１４において、処理部２０Ｂは、入力部２６を通じて、画像解析装置２００Ｂのユーザからの、学習用の組織の種別の入力を受け付ける。処理部２０Ｂは、入力された組織の種別に基づき、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズを設定し、アルゴリズムデータベース１０５を参照して、学習に用いるニューラルネットワーク５０を設定する。
【０１７７】
以上、画像解析装置２００Ｂのユーザは、解析対象画像７８を画像解析装置２００Ｂに入力することにより、解析結果として、三値画像８３を取得することができる。さらに、画像解析装置２００Ｂのユーザは、解析結果として、腫瘍細胞核領域強調画像８４を取得することができる。
【０１７８】
第２の実施形態に係る画像解析装置２００Ｂによると、ユーザは、自身が選択した種類の組織を、学習用の組織として用いることができる。これは、ニューラルネットワーク５０の学習がベンダ側任せではなく、ユーザ自身がニューラルネットワーク５０の学習の程度を向上できることを意味する。
【０１７９】
＜第３の実施形態＞
以下、第２の実施形態に係る画像解析システムと相違する点について、第３の実施形態に係る画像解析システムを説明する。
【０１８０】
［構成の概要］
図１６を参照すると、第３の実施形態に係る画像解析システムは、ベンダ側装置１００と、ユーザ側装置２００とを備える。ベンダ側装置１００は統合型の画像解析装置１００Ｂとして動作し、ユーザ側装置２００は端末装置２００Ｃとして動作する。画像解析装置１００Ｂは、例えば汎用コンピュータで構成されており、第１の実施形態において説明した深層学習処理および画像解析処理の両方の処理を行う、クラウドサーバ側の装置である。端末装置２００Ｃは、例えば汎用コンピュータで構成されており、ネットワーク９９を通じて、解析対象の画像を画像解析装置１００Ｂに送信し、ネットワーク９９を通じて、解析結果の画像を画像解析装置１００Ｂから受信する、ユーザ側の端末装置である。
【０１８１】
第３の実施形態に係る画像解析システムは、ベンダ側に設置された統合型の画像解析装置１００Ｂが、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａの両方の機能を担う点において、第２の実施形態に係る画像解析システムと同様である。一方、第３の実施形態に係る画像解析システムは、端末装置２００Ｃを備え、解析対象の画像の入力インタフェースと、解析結果の画像の出力インタフェースとをユーザ側の端末装置２００Ｃに提供する点において、第２の実施形態に係る画像解析システムと異なる。つまり、第３の実施形態に係る画像解析システムは、深層学習処理および画像解析処理を行うベンダ側が、解析対象の画像および解析結果の画像の入出力インタフェースをユーザ側に提供する、クラウドサービス型のシステムである。
【０１８２】
画像解析装置１００Ｂは撮像装置３００に接続されており、撮像装置３００によって撮像される、学習用の組織の第１の訓練用画像７０Ｃおよび第２の訓練用画像７１Ｃを取得する。
【０１８３】
端末装置２００Ｃは撮像装置４００に接続されており、撮像装置４００によって撮像される、解析対象の組織の解析対象画像７８を取得する。
【０１８４】
［ハードウェア構成］
画像解析装置１００Ｂのハードウェア構成は、図７に示すベンダ側装置１００のハードウェア構成と同様である。端末装置２００Ｃのハードウェア構成は、図８に示すユーザ側装置２００のハードウェア構成と同様である。
【０１８５】
［機能ブロックおよび処理手順］
図１７を参照すると、第３の実施形態に係る画像解析装置１００Ｂの処理部１０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、腫瘍細胞核領域検出部２０４とを備える。これらの機能ブロックは、コンピュータに深層学習処理および画像解析処理を実行させるプログラムを、処理部１０Ｂの記録部１３またはメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。ウィンドウサイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部１０Ｂの記録部１３またはメモリ１２に記録され、どちらも深層学習時および画像解析処理時に共通して使用される。ニューラルネットワーク５０は、組織の種別と対応付けられて、アルゴリズムデータベース１０５に予め格納されており、深層学習処理により結合重みｗが更新されて、深層学習アルゴリズム６０として、アルゴリズムデータベース１０５に格納される。
【０１８６】
なお、学習用の第１の訓練用画像７０Ｃ、第２の訓練用画像７１Ｃ、第３の訓練用画像７０ＮＣおよび第４の訓練用画像７１ＮＣは、撮像装置３００によって予め撮像され、処理部１０Ｂの記録部１３またはメモリ１２に予め記載されていることとする。解析対象の組織の解析対象画像７８も、撮像装置４００によって予め撮像され、端末装置２００Ｃの処理部２０Ｃの記録部２３またはメモリ２２に予め記録されていることとする。
【０１８７】
画像解析装置１００Ｂの処理部１０Ｂは、深層学習処理時には、図１０に示す処理を行い、画像解析処理時には、図１３に示す処理を行う。図１７に示す各機能ブロックを用いて説明すると、深層学習処理時には、ステップＳ１０からＳ１４、Ｓ１９およびＳ２０の処理は、訓練データ生成部１０１が行う。ステップＳ１５の処理は、訓練データ入力部１０２が行う。ステップＳ１６からＳ１８の処理は、アルゴリズム更新部１０３が行う。画像解析処理時には、ステップＳ２１およびＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。ステップＳ２９の処理は、腫瘍細胞核領域検出部２０４が行う。
【０１８８】
第３の実施形態に係る画像解析装置１００Ｂが行う深層学習処理の手順および画像解析処理の手順は、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａがそれぞれ行う手順と同様である。なお、第３の実施形態に係る画像解析装置１００Ｂは、次の４つの点において第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａと異なる。
【０１８９】
図１３に示す画像解析処理時のステップＳ２１において、処理部１０Ｂは、解析対象の組織の解析対象画像７８を、ユーザ側の端末装置２００Ｃから受信し、受信した解析対象画像７８からＲ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂを生成する。色濃度符号化図７９ｒ，７９ｇ，７９ｂの生成方法は、図１０に示す深層学習処理時におけるステップＳ１０での生成方法と同様である。
【０１９０】
図１３に示す画像解析処理時のステップＳ２２において、処理部１０Ｂは、端末装置２００Ｃの入力部２６を通じて、解析条件として、端末装置２００Ｃのユーザからの、組織の種別の入力を受け付ける。処理部１０Ｂは、入力された組織の種別に基づき、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を参照して、解析に用いるウィンドウサイズを設定し、解析に用いる深層学習アルゴリズム６０を取得する。
【０１９１】
画像解析処理時のステップＳ２８において、処理部１０Ｂは、解析結果の三値画像８３を、ユーザ側の端末装置２００Ｃに送信する。ユーザ側の端末装置２００Ｃでは、処理部２０Ｃが、受信した解析結果の三値画像８３を出力部２７に出力する。
【０１９２】
画像解析処理時のステップＳ２９において、処理部１０Ｂは、ステップＳ２８に引き続き、解析結果の三値画像８３についてさらに、腫瘍細胞核の領域の検出処理を行う。任意のステップとして、処理部１０Ｂは、得られた腫瘍細胞核の領域を、解析対象の解析対象画像７８に重ねることにより、腫瘍細胞核領域強調画像８４を作成する。処理部１０Ｂは、作成した腫瘍細胞核領域強調画像８４を、ユーザ側の端末装置２００Ｃに送信する。ユーザ側の端末装置２００Ｃでは、処理部２０Ｃが、受信した腫瘍細胞核領域強調画像８４を出力部２７に出力し、画像解析処理を終了する。
【０１９３】
以上、端末装置２００Ｃのユーザは、解析対象の組織の解析対象画像７８を画像解析装置１００Ｂに送信することにより、解析結果として、三値画像８３を取得することができる。さらに、端末装置２００Ｃのユーザは、解析結果として、腫瘍細胞核領域強調画像８４を取得することができる。
【０１９４】
第３の実施形態に係る画像解析装置１００Ｂによると、ユーザは、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を深層学習装置１００Ａから取得することなく、画像解析処理の結果を享受することができる。これにより、解析対象の組織を解析するサービスとして、腫瘍細胞核の領域を判別し腫瘍化状態を提示するサービスを、クラウドサービスとして提供することができる。
【０１９５】
病理医の数は全国的に不足している。病理医は、都市部の大病院には在籍しているが、遠隔地の医療機関や、都市部であってもクリニック等の比較的小規模な医療機関には在籍していないケースが殆どである。画像解析装置１００Ｂおよび端末装置２００Ｃにて提供されるクラウドサービスは、このような遠隔地または比較的小規模な医療機関における組織診断や細胞診断の手助けとなる。
【０１９６】
＜その他の形態＞
以上、本発明を概要および特定の実施形態によって説明したが、本発明は上記した概要および各実施形態に限定されるものではない。
【０１９７】
上記第１から第３の実施形態では、胃腫瘍である場合を一例として説明しているが、処理対象とする標本はこれに限定されず、前述の組織試料の標本または細胞を含む試料の標本を用いることができる。
【０１９８】
上記第１から第３の実施形態では、ステップＳ１４において、処理部１０Ａ，２０Ｂ，１０Ｂは、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズの画素数を設定しているが、オペレータまたはユーザがウィンドウサイズを直接設定してもよい。この場合、ウィンドウサイズデータベース１０４は不要となる。
【０１９９】
上記第１から第３の実施形態では、ステップＳ１４において、処理部１０Ａ，２０Ｂ，１０Ｂは、入力された組織の種別に基づいて、ウィンドウサイズの画素数を設定しているが、組織の種別の入力に代えて、組織のサイズを入力してもよい。処理部１０Ａ，２０Ｂ，１０Ｂは、入力された組織のサイズに基づいて、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズの画素数を設定すればよい。ステップＳ２２においてもステップＳ１４と同様に、組織の種別の入力に代えて、組織のサイズを入力してもよい。処理部２０Ａ，２０Ｂ，１０Ｂは、入力された組織のサイズに基づいて、ウィンドウサイズデータベース１０４およびアルゴリズムデータベース１０５を参照して、ウィンドウサイズの画素数を設定し、ニューラルネットワーク６０を取得すればよい。
【０２００】
組織のサイズを入力する態様については、サイズを数値として直接入力してもよいし、例えば入力のユーザインタフェースをプルダウンメニューとして、ユーザが入力しようとするサイズに対応する、所定の数値範囲をユーザに選択させて入力してもよい。
【０２０１】
また、ステップＳ１４およびステップＳ２２において、組織の種別または組織のサイズに加えて、第１の訓練用画像７０Ｃ、第２の訓練用画像７１Ｃ、第３の訓練用画像７０ＮＣおよび第４の訓練用画像７１ＮＣ、および解析対象画像７８を撮像した際の撮像倍率を入力してもよい。撮像倍率を入力する態様については、倍率を数値として直接入力してもよいし、例えば入力のユーザインタフェースをプルダウンメニューとして、ユーザが入力しようとする倍率に対応する、所定の数値範囲をユーザに選択させて入力してもよい。
【０２０２】
上記第１から第３の実施形態では、深層学習処理時および画像解析処理時において、説明の便宜のためにウィンドウサイズを３×３画素と設定しているが、ウィンドウサイズの画素数はこれに限定されない。ウィンドウサイズは、例えば組織試料の種別、細胞を含む試料の種別に応じて設定してもよい。この場合、ウィンドウサイズの画素数と画像に含まれる色の原色の数との積が、ニューラルネットワーク５０，６０の入力層５０ａ，６０ａのノード数に対応していればよい。
【０２０３】
ステップＳ１４において、処理部１０Ａ，２０Ｂ，１０Ｂは、ウィンドウサイズの画素数を取得し、さらに、取得したウィンドウサイズの画素数を、入力された撮像倍率に基づいて補正してもよい。
【０２０４】
上記第１から第３の実施形態では、ステップＳ１８において、処理部１０Ａ，２０Ｂ，１０Ｂは、深層学習アルゴリズム６０を、組織の種別と一対一に対応付けて、アルゴリズムデータベース１０５に記録している。これに代えて、ステップＳ１８において、処理部１０Ａ，２０Ｂ，１０Ｂは、１つの深層学習アルゴリズム６０に、複数の組織の種別を対応付けて、アルゴリズムデータベース１０５に記録してもよい。
【０２０５】
上記第１から第３の実施形態では、色相は、光の３原色の組み合わせ、または色の３原色の組み合わせで規定されているが、色相の数は３つに限定されない。色相の数は、赤（Ｒ），緑（Ｇ），青（Ｂ）に黄（Ｙ）を加えた４原色としても良いし、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色からいずれか１つの色相を減らした２原色としてもよい。あるいは、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のいずれか１つ（例えば緑（Ｇ））のみの１原色としてもよい。例えば公知の顕微鏡またはバーチャルスライドスキャナ等を用いて取得される明視野画像７０Ｃ，７０ＮＣおよび解析対象画像７８も、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のカラー画像に限定されず、２原色のカラー画像であってもよく、１以上の原色を含む画像であればよい。
【０２０６】
上記第１から第３の実施形態では、ステップＳ１０において、処理部１０Ａ，２０Ｂ，１０Ｂは、色濃度符号化図７２ｒ，７２ｇ，７２ｂを各原色の３階調の単一色画像として生成しているが、色濃度符号化図７２ｒ，７２ｇ，７２ｂの原色の階調は、３階調に制限されない。色濃度符号化図７２ｒ，７２ｇ，７２ｂの階調は、２階調の画像であってもよく、１階調以上の画像であればよい。同様に、ステップＳ２１において、処理部２０Ａ，２０Ｂ，１０Ｂは、色濃度符号化図７９ｒ，７９ｇ，７９ｂ各原色ごとの単一色画像として生成しているが、色濃度符号化図を作成する際の原色の階調は３階調に制限されない。色濃度符号化図を作成する際の原色は、２階調の画像であってもよく、１階調以上の画像であればよい。例示的に、色濃度符号化図７２ｒ，７２ｇ，７２ｂ，７９ｒ，７９ｇ，７９ｂの階調を、色濃度値が値０から値２５５の２５６段階（８階調）とすることができる。
【０２０７】
上記第１から第３の実施形態では、ステップＳ１０において、処理部１０Ａ，２０Ｂ，１０Ｂは、入力された第１の訓練用画像７０Ｃまたは第３の訓練用画像７０ＮＣからＲ、Ｇ、Ｂ各色の色濃度符号化図７２ｒ，７２ｇ，７２ｂを生成しているが、入力される第１の訓練用画像７０Ｃは予め階調化されていてもよい。すなわち、処理部１０Ａ，２０Ｂ，１０Ｂは、Ｒ、Ｇ、Ｂ各色の色濃度符号化図７２ｒ，７２ｇ，７２ｂを、例えばバーチャルスライドスキャナ等から直接取得してもよい。同様に、ステップＳ２１において、処理部２０Ａ，２０Ｂ，１０Ｂは、入力された解析対象画像７８からＲ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂを生成しているが、入力される解析対象画像７８は予め階調化されていてもよい。すなわち、処理部２０Ａ，２０Ｂ，１０Ｂは、Ｒ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂを、例えばバーチャルスライドスキャナ等から直接取得してもよい。
【０２０８】
上記第１から第３の実施形態では、カラーの第１の訓練用画像７０Ｃ，７８から色濃度符号化図７２，７９を生成する際のカラースペースにはＲＧＢを用いているが、カラースペースはＲＧＢに制限されない。ＲＧＢ以外にも、ＹＵＶ、ＣＭＹ、およびＣＩＥ  Ｌ＊ａ＊ｂ＊等の種々のカラースペースを用いることができる。
【０２０９】
上記第１から第３の実施形態では、腫瘍部訓練データ７４Ｃおよび解析用データ８０において、各画素について濃度値が赤（Ｒ），緑（Ｇ），青（Ｂ）の順番で格納されているが、濃度値を格納および取り扱う順番はこれに限定されない。例えば濃度値は、青（Ｂ），緑（Ｇ），赤（Ｒ）の順番で格納されていてもよく、腫瘍部訓練データ７４Ｃおよび非腫瘍部訓練データ７４ＮＣにおける濃度値の並び順と、解析用データ８０における濃度値の並び順とが同じであればよい。
【０２１０】
上記第１から第３の実施形態では、ステップＳ１２において、処理部１０Ａ，２０Ｂ，１０Ｂは、入力された第２の訓練用画像７１Ｃおよび第４の訓練用画像７１ＮＣの各画素の階調を二値化して第２の予備訓練データ７１ＣＮおよび第４の予備訓練データ７１ＮＣＮを生成しているが、予め二値化された第２の予備訓練データ７１ＣＮおよび第４の予備訓練データ７１ＮＣＮを取得してもよい。
【０２１１】
上記第１から第３の実施形態では、処理部１０Ａ，１０Ｂは一体の装置として実現されているが、処理部１０Ａ，１０Ｂは一体の装置である必要はなく、ＣＰＵ１１、メモリ１２、記録部１３等が別所に配置され、これらがネットワークで接続されていてもよい。処理部１０Ａ，１０Ｂと、入力部１６と、出力部１７とについても、一ヶ所に配置される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に接続されていてもよい。処理部２０Ａ，２０Ｂ，２０Ｃについても処理部１０Ａ，１０Ｂと同様である。
【０２１２】
上記第１から第３の実施形態では、訓練データ生成部１０１、訓練データ入力部１０２、アルゴリズム更新部１０３、解析用データ生成部２０１、解析用データ入力部２０２、解析部２０３および腫瘍細胞核領域検出部２０４の各機能ブロックは、単一のＣＰＵ１１または単一のＣＰＵ２１において実行されているが、これら各機能ブロックは単一のＣＰＵにおいて実行される必要は必ずしもなく、複数のＣＰＵで分散して実行されてもよい。また、これら各機能ブロックは、複数のＧＰＵで分散して実行されてもよいし、複数のＣＰＵと複数のＧＰＵとで分散して実行されてもよい。
【０２１３】
上記第２および第３の実施形態では、図１０および図１３で説明する各ステップの処理を行うためのプログラムを記録部１３，２３に予め記録している。これに代えて、プログラムは、例えばＤＶＤ−ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体９８から処理部１０Ｂ，２０Ｂにインストールしてもよい。または、処理部１０Ｂ，２０Ｂをネットワーク９９と接続し、ネットワーク９９を介して例えば外部のサーバ（図示せず）からプログラムをダウンロードしてインストールしてもよい。
【０２１４】
上記第１から第３の実施形態では、入力部１６，２６はキーボードまたはマウス等の入力装置であり、出力部１７，２７は液晶ディスプレイ等の表示装置として実現されている。これに代えて、入力部１６、２６と出力部１７、２７とを一体化してタッチパネル式の表示装置として実現してもよい。または、出力部１７，２７をプリンター等で構成し、解析結果の三値画像８３または細胞核の腫瘍細胞核領域強調画像８４を印刷して出力してもよい。
【０２１５】
上記第１から第３の実施形態では、撮像装置３００は、深層学習装置１００Ａまたは画像解析装置１００Ｂと直接接続されているが、撮像装置３００は、ネットワーク９９を介して深層学習装置１００Ａまたは画像解析装置１００Ｂと接続されていてもよい。撮像装置４００についても同様に、撮像装置４００は、画像解析装置２００Ａまたは画像解析装置２００Ｂと直接接続されているが、撮像装置４００は、ネットワーク９９を介して画像解析装置２００Ａまたは画像解析装置２００Ｂと接続されていてもよい。
【０２１６】
＜実施例＞
以下に本発明の実施例を示し、本発明の特徴をより明確にする。
【実施例１】
【０２１７】
上記第２の実施形態に示すスタンドアロン型のシステムにて、深層学習処理および画像解析処理を行った。学習および解析の対象とする組織は、胃から取得された癌組織および非癌組織とした。非癌組織は、炎症が発生している組織であって癌とは判定されなかった領域であった。癌組織を含むことが既知の画像と、非癌組織を含むことが既知の画像とのそれぞれについて、学習済みの深層学習アルゴリズムを用いた画像解析処理を行い、解析結果が適切であることを確認した。
【０２１８】
学習データおよび解析データの詳細は、次の通りであった。
学習データ：
ホールスライドイメージを５１２分割した画像４枚（内訳：癌細胞核を含む領域について２枚、癌細胞核を含まない領域について２枚）
検証用解析データ：
ホールスライドイメージを５１２分割した画像２枚（内訳：癌細胞核を含む領域について１枚、癌細胞核を含まない領域について１枚）
【０２１９】
［訓練データの作成および学習］
ＨＥ染色した胃癌組織の明視野画像およびＤＡＰＩ染色した胃癌組織の蛍光画像のホールスライドイメージ（ＷＳＩ）を、バーチャルスライドスキャナを用いてカラー撮像した。撮像倍率は４０倍であった。その後、明視野画像をもとにＲ、Ｇ、Ｂ各色の色濃度値を階調化して、Ｒ、Ｇ、Ｂ各色の色濃度符号化図を作成した。また、学習対象の組織を含む明視野画像の領域を含むホールスライドイメージ全体について、病理医が目視で判定を行い、ホールスライドイメージ中に、癌細胞の領域と、癌細胞を含まない領域とを指定した。その後、癌細胞の核領域であると指定された領域と、癌細胞を含まない核領域であると指定された領域との判別を行うことにより、それぞれの領域について、領域を区別する値（二値）を付与する。学習対象の組織を含む明視野画像の領域をホールスライドイメージから切り出して、第１の予備訓練データおよび第３の予備訓練データを生成した。
【０２２０】
なお、学習対象の組織としては、癌細胞の核を含む領域と、癌細胞の核を含まない領域とを採用し、それぞれの領域をホールスライドイメージから複数切り出して、二値化画像とした。
【０２２１】
また、ＤＡＰＩ染色した蛍光画像をもとに、予め設定していた閾値を用いて色濃度値を細胞核の領域とそれ以外の領域とに二値化して、第２の予備訓練データおよび第４の予備訓練データである二値化画像を作成した。明視野像を病理医が目視で判定することにより作成した、癌化状態を示す二値化画像と、蛍光画像から作成した、細胞核の領域を示す二値化画像とから、真値像である、第２の訓練データおよび第４の訓練データを作成した。
【０２２２】
その後、腫瘍組織の色濃度符号化図である第１の訓練データと第２の訓練データとを組み合わせて腫瘍部訓練データを作成した。また、非腫瘍組織の色濃度符号化図である第３の訓練データと第４の訓練データとを組み合わせて非腫瘍部訓練データを作成した。作成した訓練データを１１３×１１３画素のウィンドウサイズに分割し、分割したウィンドウサイズの訓練データを入力層として、ニューラルネットワークを学習させた。ウィンドウサイズとして採用した１１３×１１３画素は、例示的には２つから９つ程度の複数の細胞のうち、少なくとも１つの細胞の細胞核領域の全体形状が、ウィンドウ内に含まれることをサポートするサイズであった。
【０２２３】
［解析対象画像の作成］
訓練データと同様に、ＨＥ染色した胃癌組織の明視野画像のホールスライドイメージを、バーチャルスライドスキャナを用いてカラー撮像した。撮像倍率は４０倍であった。その後、撮像した明視野画像をもとにＲ、Ｇ、Ｂ各色の色濃度符号化図を作成し、作成したＲ、Ｇ、Ｂ各色の色濃度符号化図を組み合わせて解析対象画像を作成した。
【０２２４】
［解析結果］
解析対象画像の各画素を中心に、１１３×１１３画素のウィンドウサイズの解析用データを作成し、作成したウィンドウサイズの解析用データを、学習済みのニューラルネットワークに入力した。ニューラルネットワークから出力される解析結果をもとに、癌細胞核の領域と、非癌細胞核の領域と、細胞核以外の領域とに分類し、癌細胞核の領域の輪郭を白色で囲み、非癌細胞核の領域の輪郭を黒色で囲んだ。解析結果を図１８および図１９に示す。
【０２２５】
図１８は、胃から取得された癌組織標本の画像（ＨＥ染色）の解析結果である。図１８中、（ａ）は、癌組織をＨＥ染色して撮像した明視野画像であり、解析対象の画像である。（ｂ）は、解析処理により得られた癌細胞核の輪郭と非癌細胞核の輪郭とを、（ａ）の明視野画像に重ねて表示した画像である。（ｃ）は、（ｂ）中に白色の破線で囲む領域を拡大した画像である。図１８の（ｂ）および（ｃ）において、白色で囲まれた領域が癌細胞核の領域であり、黒色で囲まれた領域が非癌細胞核の領域である。
【０２２６】
解析対象の画像は、癌組織を含む画像であることが既知であるので、癌細胞核の領域が白色で囲まれていれば、解析は適切であり、癌細胞核の領域が誤って黒色で囲まれていれば、解析は不適切である。図１８の（ｂ）に示すように、黒色で囲まれた領域が多少出現しているものの、癌細胞核の領域は多くが白色で囲まれており、癌細胞の核領域であると判定すべき画素において、適切に正しく判定が行われていることを確認することができた。
【０２２７】
図１９は、胃から取得された非癌組織標本の画像（ＨＥ染色）の解析結果である。図１９中、（ａ）は、非癌組織をＨＥ染色して撮像した明視野画像であり、解析対象の画像である。（ｂ）は、解析処理により得られた癌細胞核の輪郭と非癌細胞核の輪郭とを、（ａ）の明視野画像に重ねて表示した画像である。（ｃ）は、（ｂ）中に白色の破線で囲む領域を拡大した画像である。図１９の（ｂ）および（ｃ）において、白色で囲まれた領域が癌細胞核の領域であり、黒色で囲まれた領域が非癌細胞核の領域である。
【０２２８】
解析対象の画像は、非癌組織を含む画像であることが既知であるので、非癌細胞核の領域が黒色で囲まれていれば、解析は適切であり、非癌細胞核の領域が誤って白色で囲まれていれば、解析は不適切である。図１９の（ｂ）に示すように、白色で囲まれた領域はほぼ出現しておらず、非癌細胞核の領域はほぼ全てが黒色で囲まれており、非癌細胞の核領域であると判定すべき画素において、適切に正しく判定が行われていることを確認することができた。
【実施例２】
【０２２９】
上述の実施例１において作成した、学習済みのニューラルネットワークを用いた解析結果と、既存の機械学習アルゴリズムを用いた解析結果との比較を行った。
【０２３０】
既存の機械学習アルゴリズムには、サポートベクターマシンを用いた。サポートベクターマシンの訓練には、上述の実施例１においてニューラルネットワークの訓練に用いた訓練データと同じ訓練データを用いた。解析対象の画像は、上述の実施例１において用いた画像と同じ画像を用いた。解析結果を図２０から図２３に示す。なお、図２０および図２１に、ニューラルネットワークによる解析結果として示す画像は、癌化状態を示すラベル値をそれぞれの値で３つに分離した画像である。
【０２３１】
図２０は、学習済みのニューラルネットワークによる、胃から取得された癌組織標本の画像（ＨＥ染色）を解析対象の画像とする解析結果である。図２０中、（ａ）は解析対象の明視野画像である。（ｂ）は、癌細胞の核であると判定された領域を示す画像であり、（ｃ）は、非癌細胞の核であると判定された領域を示す画像であり、（ｄ）は、細胞核以外であると判定された領域を示す画像である。図２０の（ｂ）において、白色の領域は癌細胞の核であると判定された領域であり、図２０の（ｃ）において、白色の領域は非癌細胞の核であると判定された領域である。
【０２３２】
解析対象の画像は、癌組織を含む画像であることが既知であるので、図２０の（ｂ）において、癌細胞核の領域が白色で表されていれば、解析は適切である。図２０の（ｂ）に示すように、癌細胞核の領域は適切に白色で表されている。また、図２０の（ｃ）では、誤って白色で表されている領域は少ない。このことから、癌組織を含む画像であることが既知である解析対象の画像については、癌細胞核の領域と非癌細胞核の領域とを、適切にはっきりと分類できていることを確認することができた。
【０２３３】
図２１は、学習済みのニューラルネットワークによる、胃から取得された非癌組織標本の画像（ＨＥ染色）を解析対象の画像とする解析結果である。図２１中、（ａ）は解析対象の明視野画像である。（ｂ）は、癌細胞の核であると判定された領域を示す画像であり、（ｃ）は、非癌細胞の核であると判定された領域を示す画像であり、（ｄ）は、細胞核以外であると判定された領域を示す画像である。図２１の（ｂ）において、白色の領域は癌細胞の核であると判定された領域であり、図２１の（ｃ）において、白色の領域は非癌細胞の核であると判定された領域である。
【０２３４】
解析対象の画像は、非癌組織を含む画像であることが既知であるので、図２１の（ｂ）において、非癌細胞核の領域が誤って白色で表されていれば、解析は不適切である。図２１の（ｂ）では、誤って白色で表されている領域は少ない。また、図２１の（ｃ）に示すように、非癌細胞核の領域は適切に白色で表されている。このことから、非癌組織を含む画像であることが既知である解析対象の画像についても、癌細胞核の領域と非癌細胞核の領域とを、適切にはっきりと分類できていることを確認することができた。
【０２３５】
図２２は、比較例として示す、サポートベクターマシンによる、胃から取得された癌組織標本の画像（ＨＥ染色）を解析対象の画像とする解析結果である。図２２中、（ａ）は解析対象の明視野画像である。（ｂ）は、癌細胞の核であると判定された領域を示す画像であり、（ｃ）は、非癌細胞の核であると判定された領域を示す画像である。また、（ａ）から（ｃ）のそれぞれにおいて、（ｉ）に示す画像の一部を拡大した画像を（ｉｉ）に示す。拡大した領域の位置は（ａ）から（ｃ）において共通である。
【０２３６】
図２３は、比較例として示す、サポートベクターマシンによる、胃から取得された非癌組織標本の画像（ＨＥ染色）を解析対象の画像とする解析結果である。図２３中、（ａ）は解析対象の明視野画像である。（ｂ）は、癌細胞の核であると判定された領域を示す画像であり、（ｃ）は、非癌細胞の核であると判定された領域を示す画像である。また、（ａ）から（ｃ）のそれぞれにおいて、（ｉ）に示す画像の一部を拡大した画像を（ｉｉ）に示す。拡大した領域の位置は（ａ）から（ｃ）において共通である。
【０２３７】
図２２の（ｂ）および（ｃ）と、図２３の（ｂ）および（ｃ）とを参照すると、癌細胞核の領域または非癌細胞核の領域に関する何らかの傾向が存在することは、把握可能であると考えられた。しかしながら、比較例として示すサポートベクターマシンによる解析では、癌細胞核の領域と、非癌細胞核の領域とをはっきりと分類することはできなかった。よって、実施例１において作成した、学習済みのニューラルネットワークを用いた解析は、既存の機械学習アルゴリズムであるサポートベクターマシンを用いた解析に対して、有利な効果を奏することを確認することができた。
【符号の説明】
【０２３８】
１０（１０Ａ，１０Ｂ）      処理部
２０（２０Ａ，２０Ｂ，２０Ｃ）     処理部
１１，２１    ＣＰＵ
１２，２２    メモリ
１３，２３    記録部
１４，２４    バス
１５，２５    インタフェース部
１６，２６    入力部
１７，２７    出力部
１９，２９    ＧＰＵ
５０   ニューラルネットワーク（深層学習アルゴリズム）
５０ａ 入力層
５０ｂ 出力層
５０ｃ 中間層
６０   学習済みのニューラルネットワーク（学習済みの深層学習アルゴリズム）
６０ａ 入力層
６０ｂ 出力層
６０ｃ 中間層
７０Ｗ ホールスライドイメージ
７０Ｃ，７０ＮＣ     学習用の明視野画像（第１の訓練用画像）
７０ＣＬ      第１の予備訓練データ
７０ＮＣＬ    第３の予備訓練データ
７１Ｃ，７１ＮＣ     学習用の蛍光画像（第２の訓練用画像）
７１ＣＮ，７１ＮＣＮ 第２の予備訓練データ
７２ｒ，７２ｇ，７２ｂ      学習用の明視野画像のＲ、Ｇ、Ｂ各色の単一色画像における色濃度符号化図（第１の訓練データ）
７３Ｃ，７３ＮＣ     学習用の真値像（三値化画像、第２の訓練データ）
７４Ｃ，７４ＮＣ     訓練データ
７４ａ 明視野画像の階調化された色濃度値
７４ｂ 真値像のラベル値
７５Ｃ，７５ＮＣ     ウィンドウサイズの訓練データ
７６   色濃度値
７７   真値像のラベル値
７８   解析対象の明視野画像
７９ｒ，７９ｇ，７９ｂ      解析対象の明視野画像のＲ、Ｇ、Ｂ各色の単一画像における色濃度符号化図
８０   解析用データ
８１   色濃度値
８２   判別結果（画素の推定値）
８３   解析結果の三値画像
８４   腫瘍細胞核領域強調画像
８９（８９ａ，８９ｂ）      ノード
９８   記録媒体
９９   ネットワーク
１００ ベンダ側装置
１００Ａ      深層学習装置
１００Ｂ      統合型の画像解析装置
１０１ 訓練データ生成部
１０２ 訓練データ入力部
１０３ アルゴリズム更新部
１０４ ウィンドウサイズデータベース
１０５ アルゴリズムデータベース
２００ ユーザ側装置
２００Ａ      画像解析装置
２００Ｂ      統合型の画像解析装置
２００Ｃ      端末装置
２０１ 解析用データ生成部
２０２ 解析用データ入力部
２０３ 解析部
２０４ 細胞核領域検出部
３００，４００       撮像装置
３０１，４０１       撮像素子
３０２，４０２       蛍光顕微鏡
３０８，４０８       試料組織
３０９，４０９       ステージ
Ｗ１   ウィンドウ
Ｗ２   ウィンドウ
【図１】
2019095212.tif 000019
【図２】
2019095212.tif 000020
【図３】
2019095212.tif 000021
【図４】
2019095212.tif 000022
【図５】
2019095212.tif 000023
【図６】
2019095212.tif 000024
【図７】
2019095212.tif 000025
【図８】
2019095212.tif 000026
【図９】
2019095212.tif 000027
【図１０】
2019095212.tif 000028
【図１１】
2019095212.tif 000029
【図１２】
2019095212.tif 000030
【図１３】
2019095212.tif 000031
【図１４】
2019095212.tif 000032
【図１５】
2019095212.tif 000033
【図１６】
2019095212.tif 000034
【図１７】
2019095212.tif 000035
【図１８】
2019095212.tif 000036
【図１９】
2019095212.tif 000037
【図２０】
2019095212.tif 000038
【図２１】
2019095212.tif 000039
【図２２】
2019095212.tif 000040
【図２３】
2019095212.tif 000041