(57)【要約】  ニューラルネットワークを用いたツーフェーズ疾病診断システム及び該方法が開示される。ツーフェーズ疾病診断システムは、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドとニューラルネットワークを利用し、システムは、スライドが所定の大きさに分割された所定のパッチを入力レイヤを介して入力されてパッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するパッチニューラルネットワーク及びスライドに含まれている多数枚のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンと、を備え、パッチニューラルネットワークは、パッチに対してオリジナルカラー情報３チャンネルとグレイチャンネルを含む４チャンネル情報を入力レイヤを介して入力されることを特徴とする。
2021526256.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムで実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、
前記システムは、
前記スライドが所定の大きさに分割された所定のパッチを入力レイヤを介して入力されて前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するパッチニューラルネットワークと、
前記スライドに含まれている多数枚のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンと、
を備え、
前記パッチニューラルネットワークは、前記パッチに対してオリジナルカラー情報３チャンネルとグレイチャンネルを含む４チャンネル情報を入力レイヤを介して入力されることを特徴とするツーフェーズ疾病診断システム。
【請求項２】
前記スライド診断エンジンは、
癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成し、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力することを特徴とする請求項１に記載のツーフェーズ疾病診断システム。
【請求項３】
前記パッチニューラルネットワークは、
パッチに疾病が発現した確率に相当するフィーチャ値を出力するレイヤを備え、前記フィーチャ値が所定のしきい値以上である場合、当該パッチを癌と判断したパッチレベルの診断結果を出力し、
複数のしきい値のそれぞれを基準として、一枚のパッチに対して複数のパッチレベルの診断結果を出力できることを特徴とする請求項１に記載のツーフェーズ疾病診断システム。
【請求項４】
前記スライド診断エンジンは、
Ｎ（Ｎは、２以上の自然数）個のしきい値及び前記Ｎ個のしきい値のそれぞれを基準として疾病が発現したパッチを所定の方式でクラスタリングしてＭ（Ｍは、２以上の自然数）個のクラスタを形成し、形成されたクラスタのそれぞれに対してＰ（Ｐは、２以上の自然数）個のクラスタフィーチャを算出して、Ｍ×Ｎ×Ｐ個のクラスタフィーチャを少なくとも値として入力して前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力することを特徴とする請求項３に記載のツーフェーズ疾病診断システム。
【請求項５】
前記クラスタフィーチャは、
パッチの枚数、パッチ別の疾病である確率値の平均、パッチ別の疾病である確率値の最大値、及びパッチ別の疾病である確率値の最小値を含むことを特徴とする請求項３に記載のツーフェーズ疾病診断システム。
【請求項６】
前記クラスタフィーチャは、
クラスタのそれぞれの長軸（ｍａｊｏｒ  ａｘｉｓ）、短軸（ｍｉｎｏｒ  ａｘｉｓ）、面積（ａｒｅａ）、及び密度（ｄｅｎｓｉｔｙ）をさらに含むことを特徴とする請求項５に記載のツーフェーズ疾病診断システム。
【請求項７】
前記疾病は、
前立腺癌であることを特徴とする請求項１に記載のツーフェーズ疾病診断システム。
【請求項８】
プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、
前記診断システムは、
前記スライドが所定の大きさに分割された所定のパッチを入力レイヤを介して入力されて前記パッチに疾病が存在する否かであるパッチレベルの診断結果を出力するパッチニューラルネットワークと、
前記スライドに含まれている多数枚のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンと、
を備え、
前記スライド診断エンジンは、
癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成し、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力することを特徴とするツーフェーズ疾病診断システム。
【請求項９】
プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法において、
前記システムが、前記スライドが所定の大きさに分割された所定のパッチを入力レイヤを介して入力されて前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するステップと、
前記システムが、前記スライドに含まれている多数枚のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップと、
を含み、
前記パッチレベルの診断結果を出力するステップにおいては、
前記パッチに対してオリジナルカラー情報３チャンネルとさらにグレイチャンネルを含む４チャンネル情報を入力レイヤを介して入力されることを特徴とする方法。
【請求項１０】
前記スライドレベルの診断結果を出力するステップは、
前記システムが、癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成するステップと、
形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力するステップと、
を含む請求項９に記載の方法。
【請求項１１】
前記パッチレベルの診断結果を出力するステップは、
パッチに癌が存在する確率に相当するフィーチャ値を出力するレイヤを備え、前記フィーチャ値が所定のしきい値以上である場合、当該パッチを癌と判断したパッチレベルの診断結果を出力するステップを含み、
複数のしきい値のそれぞれを基準として、一枚のパッチに対して複数のパッチレベルの診断結果を出力できることを特徴とする請求項９に記載の方法。
【請求項１２】
前記スライドレベルの診断結果を出力するステップは、
Ｎ（Ｎは、２以上の自然数）個のしきい値及び前記Ｎ個のしきい値のそれぞれを基準として癌と判断されたパッチを所定の方式でクラスタリングしてＭ（Ｍは、２以上の自然数）個のクラスタを形成するステップと、
形成されたクラスタのそれぞれに対してＰ（Ｐは、２以上の自然数）個のクラスタフィーチャを算出して、Ｍ×Ｎ×Ｐ個のクラスタフィーチャを少なくとも値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力するステップと、
を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法において、
前記システムが、前記スライドが所定の大きさに分割された所定のパッチを入力レイヤを介して入力されて前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するステップと、
前記システムが、前記スライドに含まれている多数枚のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップと、
を含み、
前記スライドレベルの診断結果を出力するステップは、
癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成し、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力するステップを含む方法。
【請求項１４】
データ処理装置にインストールされ、請求項９乃至請求項１３のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワークを用いた疾病の診断システム及び該方法に関する。さらに詳しくは、ニューラルネットワークを通じた学習を行って、学習されたニューラルネットワークを用いて生体組織の画像を入力する場合に所定の疾病（例えば、前立腺癌）を診断することのできるシステム及び該方法に関する。
【背景技術】
【０００２】
病理学または病理科において行う主な業務の一つは、患者の生体画像を読み取って特定の疾病に対する状態または徴候を判断する診断を行うことである。このような診断は、長期間にわたって熟練した医療従事者の経験と知識に依存する方式である。
【０００３】
最近では、機械学習の発達により、画像を認識したり分類したりするなどの業務をコンピュータシステムにより自動化させようとする試みが盛んに行われている。とりわけ、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ  ｎｅｕｒｌａ  ｎｅｔｗｏｒｋ；ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練した医療従事者が行っていた診断を自動化させるための試みが行われている。
【０００４】
特に、ニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングを通じた診断は、従来、熟練した医療従事者の経験と知識を単に自動化させることではなく、自ら学習を通じて特徴的な要素を見出して所望の解答を導き出すという点において、むしろ熟練した医療従事者が気づかなかった疾病因子の特徴を画像から見出す場合もある。
【０００５】
一般に、生体画像を用いたニューラルネットワークを通じての疾病の診断では、生体画像の断片、すなわち、パッチ（ｐａｔｃｈ、またはタイル（ｔｉｌｅ）ともいう。）を用いる。すなわち、当該パッチに対して熟練した医療従事者は、特定の疾病の状態（例えば、癌が発現したか否か）をアノテーション（ａｎｎｏｔａｉｏｎ）またはラベル付け（ｌａｂｅｌｉｎｇ）し、このようなアノテーション済みの多数枚のパッチをトレーニングデータとして用いて、ニューラルネットワークを学習することになる。この際、ニューラルネットワークとしては、畳み込みニューラルネットワークが利用可能である。
【０００６】
しかしながら、このような方式の場合、学習済みのニューラルネットワークは、当該パッチの画像特徴だけで当該パッチの疾病の状態を判断することになるが、実際には、特定の疾病に対して特定の生体組織の状態を判断する際には、特定の生体組織それ自体だけではなく、特定の生体組織の周りの組織の現況（例えば、模様、特定のパターンが存在するか否かなど）まで一緒に考慮されなければならない場合が存在する。しかしながら、従来の方式は、このような場合に向いていないという不都合がある。
【０００７】
一方、従来の学習には、生体画像またはパッチのカラーそれ自体を入力データとして入力することになる。すなわち、一般に、ＲＧＢの３種類のチャンネル値として定義される入力データをそのまま用いることになる。
【０００８】
しかしながら、このような場合、生体画像に相当する生体組織の染色に使われる染色試薬の特性に応じて、染色される組織のカラーがそれぞれ異なることがあり、これは、学習されるニューラルネットワークに直接的な影響を及ぼす虞がある。
【０００９】
したがって、このような根源的な組織の画像特性ではなく、染色などに伴う非根源的なカラー特性にさらに強い方式によりニューラルネットワークが学習されることが必要になることがある。
【００１０】
また、パッチ単位の診断結果に基づいて、疾病の発現有無をパッチ別に判断する場合、特定のパッチは、疾病が発現したと診断結果が出力されてもよいが、より広範な範囲では、疾病が発現しなかったと判断される可能性はいくらでも存在することがある。
【００１１】
したがって、パッチ別の診断結果を踏まえて、当該パッチを含むスライドの全体において疾病が発現したか否かを別途に判断することが必要になることがある。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】大韓民国公開特許公報第１０−２０１６−００３４８１４号「ニューラルネットワークを伴ったクライアント装置及びそれを備えるシステム」
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明が解決しようとする技術的課題は、特定のパッチの疾病に対する状態（例えば、疾病の発現有無、または疾病の状態を示す指標など）を判断するために特定のパッチだけではなく、周りのパッチまで学習に用いてさらに正確度を高めることのできるニューラルネットワークを用いる診断システム及び該方法を提供することである。
【００１４】
また、本発明が解決しようとする他の技術的課題は、疾病の発現有無の診断に根源的な画像特性ではなく、カラーに強い特性を有することのできるニューラルネットワークを用いた診断システム及び該方法を提供することである。
【００１５】
さらに、本発明が解決しようとするさらに他の技術的課題は、パッチ別の診断結果それ自体ではなく、当該パッチを含む広範な生体組織における疾病の発現有無をパッチ別の診断結果を活用して効果的に且つ高い正確度をもって診断することのできる診断システム及び該方法を提供することである。
【課題を解決するための手段】
【００１６】
技術的課題を達成するためのツーフェーズ疾病診断システムは、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを利用し、前記システムは、前記スライドが所定の大きさに分割された所定のパッチを入力レイヤ（入力層）を介して入力されて前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するパッチニューラルネットワークと、前記スライドに含まれている多数枚のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンと、を備え、前記パッチニューラルネットワークは、前記パッチに対してオリジナルカラー情報３チャンネルとグレイチャンネルを含む４チャンネル情報を入力レイヤを介して入力されることを特徴とする。
【００１７】
前記スライド診断エンジンは、癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成し、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力することを特徴としてもよい。
【００１８】
前記パッチニューラルネットワークは、パッチに疾病が発現した確率に相当するフィーチャ値を出力するレイヤを備え、前記フィーチャ値が所定のしきい値以上である場合、当該パッチを癌と判断したパッチレベルの診断結果を出力し、複数のしきい値のそれぞれを基準として、一枚のパッチに対して複数のパッチレベルの診断結果を出力できることを特徴としてもよい。
【００１９】
前記スライド診断エンジンは、Ｎ（Ｎは、２以上の自然数）個のしきい値及び前記Ｎ個のしきい値のそれぞれを基準として疾病が発現したパッチを所定の方式でクラスタリングしてＭ（Ｍは、２以上の自然数）個のクラスタを形成し、形成されたクラスタのそれぞれに対してＰ（Ｐは、２以上の自然数）個のクラスタフィーチャを算出して、Ｍ×Ｎ×Ｐ個のクラスタフィーチャを少なくとも値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力することを特徴としてもよい。
【００２０】
前記クラスタフィーチャは、パッチの枚数、パッチ別の疾病である確率値の平均、パッチ別の疾病である確率値の最大値、及びパッチ別の疾病である確率値の最小値を含んでいてもよい。
【００２１】
前記クラスタフィーチャは、クラスタのそれぞれの長軸（ｍａｊｏｒ  ａｘｉｓ）、短軸（ｍｉｎｏｒ  ａｘｉｓ）、面積（ａｒｅａ）、及び密度（ｄｅｎｓｉｔｙ）をさらに含んでいてもよい。
【００２２】
前記疾病は、前立腺癌であることを特徴としてもよい。
【００２３】
他の一例によれば、ツーフェーズ疾病診断システムは、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを利用し、前記診断システムは、前記スライドが所定の大きさに分割された所定のパッチを入力レイヤを介して入力されて前記パッチに疾病が存在する否かであるパッチレベルの診断結果を出力するパッチニューラルネットワークと、前記スライドに含まれている多数枚のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンと、を備え、前記スライド診断エンジンは、癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成し、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力することを特徴とする。
【００２４】
本発明の他の局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病診断方法において、前記システムが、前記スライドが所定の大きさに分割された所定のパッチを入力レイヤを介して入力されて前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するステップと、前記システムが、前記スライドに含まれている多数枚のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップと、を含み、前記パッチレベルの診断結果を出力するステップは、前記パッチに対してオリジナルカラー情報３チャンネルとさらにグレイチャンネルを含む４チャンネル情報を入力レイヤを介して入力されることを特徴とする。
【００２５】
前記スライドレベルの診断結果を出力するステップは、前記システムが、癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成するステップと、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力するステップと、を含んでいてもよい。
【００２６】
前記パッチレベルの診断結果を出力するステップは、パッチに癌が存在する確率に相当するフィーチャ値を出力するレイヤを備え、前記フィーチャ値が所定のしきい値以上である場合、当該パッチを癌と判断したパッチレベルの診断結果を出力するステップを含み、複数のしきい値のそれぞれを基準として、一枚のパッチに対して複数のパッチレベルの診断結果を出力できることを特徴としてもよい。
【００２７】
前記スライドレベルの診断結果を出力するステップは、Ｎ（Ｎは、２以上の自然数）個のしきい値及び前記Ｎ個のしきい値のそれぞれを基準として、癌と判断されたパッチを所定の方式でクラスタリングしてＭ（Ｍは、２以上の自然数）個のクラスタを形成するステップと、形成されたクラスタのそれぞれに対してＰ（Ｐは、２以上の自然数）個のクラスタフィーチャを算出して、Ｍ×Ｎ×Ｐ個のクラスタフィーチャを少なくとも値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力するステップと、を含むことを特徴としてもよい。
【００２８】
他の一例によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法は、前記システムが、前記スライドが所定の大きさに分割された所定のパッチを入力レイヤを介して入力されて前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するステップと、前記システムが、前記スライドに含まれている多数枚のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップと、を含み、前記スライドレベルの診断結果を出力するステップは、癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成し、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力するステップを含んでいてもよい。
【００２９】
上記の方法は、データ処理装置にインストールされたコンピュータプログラムにより実現されてもよい。
【発明の効果】
【００３０】
本発明の技術的思想によれば、特定のパッチに対する診断を行いながら、特定のパッチを含み、周りのパッチをさらに含む巨視パッチまで一緒に考慮して特定のパッチの疾病に対する状態を判断できるニューラルネットワークを提供することにより、さらに高い診断の正確度を提供することができるという効果がある。
【００３１】
また、本発明の技術的思想によれば、入力される入力データ、すなわち、パッチのオリジナルカラー値（例えば、ＲＧＢ  ３チャンネル値）だけではなく、グレイチャンネルをさらに入力データとして活用することにより、単にグレイチャンネルのみを用いる場合に生じ得るカラー差が示す疾病に関連する画像特性が無視されることを防ぎながらも、疾病の発現有無の診断に根源的な画像特性ではなく、カラーの様々な要因に伴うバリエーション（ｖａｒｉａｔｏｎ）に強い特性を有することのできるニューラルネットワークを用いた診断システム及び該方法を提供することができるという効果がある。
【００３２】
さらに、本発明の技術的思想によれば、パッチ別の診断結果それ自体だけで当該パッチを含むスライドに疾病が発現したと判断する場合の不都合を解決するために、当該パッチを含むスライドにおける疾病の発現有無をクラスタ及びクラスタのフィーチャ（特徴）を用いて再び判断することにより、効果的に且つ高い正確度をもって診断を行うことができるという効果がある。
【図面の簡単な説明】
【００３３】
本発明の詳細な説明の欄において引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
【００３４】
【図１】本発明の技術的思想に従ったニューラルネットワークを用いた疾病の診断システムの概略的なシステム構成を示す図である。
【図２】本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。
【図３】本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムのハードウェア的な構成を説明するための図である。
【図４】本発明の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。
【図５】本発明の他の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。
【図６】本発明の実施形態に係るツーフェーズ疾病の診断方法の概念を説明するための図である。
【図７】本発明の一実施形態に係るパッチレベル診断方法の実験結果を示す図である。
【図８】本発明の一実施形態に係るパッチレベル診断結果に基づくマーキング結果を示す図である。
【図９】本発明の一実施形態に係るスライドレベル診断方法の実験結果を示す図である。
【発明を実施するための形態】
【００３５】
本発明は、様々な変更を加えることができ、種々の実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものと理解されるべきである。なお、本発明について説明するにあたって、関連する公知の技術についての具体的な説明が本発明の要旨を余計に曖昧にする虞があると認められる場合にはその詳細な説明を省略する。
【００３６】
「第１の」、「第２の」などの言い回しは、様々な構成要素を説明するうえで使用可能であるが、構成要素は、言い回しによって何等限定されない。上記の言い回しは、ある構成要素を他の構成要素から区別する目的でしか使えない。
【００３７】
この出願において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の言い回しを含む。
【００３８】
この明細書において、「備える」、「含む」または「有する」などの用語は、明細書の上に記載の特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものに過ぎず、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたもの存在または付加の可能性を予め排除しないものと理解すべきである。
【００３９】
また、この明細書においては、ある一つの構成要素が他の構成要素にデータを「伝送」する場合には、これは、構成要素が、他の構成要素に直接的にデータを伝送してもよく、少なくとも一つのさらに他の構成要素を介してデータを他の構成要素に伝送してもよいことを意味する。逆に、ある一つの構成要素が他の構成要素にデータを「直接的に伝送」する場合には、これは、構成要素から他の構成要素を介さずに他の構成要素にデータが伝送されることを意味する。
【００４０】
以下、添付図面に基づいて、本発明の実施形態を中心に本発明について詳しく説明する。各図面に示されている同一の参照符号は、同一の部材を示す。
【００４１】
図１は、本発明の技術的思想に従ったニューラルネットワークを用いた疾病の診断システムの概略的なシステム構成を示す図である。
【００４２】
図１を参照すると、本発明の技術的思想に従ったニューラルネットワークを用いた疾病の診断システム（以下、診断システムと称する。）１００は、所定のサーバ１０に設けられて本発明の技術的思想を実現することができる。サーバ１０は、本発明の技術的思想を実現するための演算能力をもったデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけではなく、パソコン、携帯端末などのように特定のサービスが行えるいかなる装置もまたサーバとして定義可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【００４３】
サーバ１０は、図３に示すように、プロセッサ１１及び格納装置１２を備えていてもよい。プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２−１を駆動し得る演算装置を意味してもよく、プロセッサ１１は、プログラム１２−１と、本発明の技術的思想により定義されるニューラルネットワーク（Ｎｅｒｕａｌ  Ｎｅｔｗｏｒｋ）１２−２を用いて診断を行うことができる。ニューラルネットワーク１２−２は、後述するように、パッチレベル診断を行うパッチニューラルネットワークを備えていてもよい。実現例に応じて、ニューラルネットワーク１２−２は、スライドレベル診断を行うニューラルネットワークをさらに備えていてもよい。実施形態に応じて、スライドレベル診断を行う構成は、ニューラルネットワークだけではなく、様々なマシンラーニング手法を通じて実現されてもよい。本発明の技術的思想によれば、スライドレベル診断を行う診断エンジンとしては、公知のＸＧＢｏｏｓｔが用いられたが、様々な方式のマシンラーニング手法に基づく診断エンジンが実現されてもよく、このような診断エンジンは、格納装置１２に格納されてもよいことはいうまでもない。
【００４４】
格納装置１２は、プログラム１２−１、ニューラルネットワーク１２−２、及び／又はスライドレベル診断を行う診断エンジンを格納し得るデータ格納手段を意味してもよく、実現例に応じて、複数の格納手段により実現されてもよい。また、格納装置１２は、サーバ１０に組み込まれている主記憶装置だけではなく、プロセッサ１１に組み込まれ得る一時格納装置またはメモリなどを網羅する意味であってもよい。
【００４５】
診断システム１００は、図１または図３には、いずれか一つの物理的な装置により実現されるものとして示されているが、必要に応じて、複数の物理的な装置が有機的に結合されて本発明の技術的思想に従った診断システム１００を実現することができるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【００４６】
この明細書において、「診断システム１００が診断を行う」とは、生体組織が表現された生体画像、すなわち、スライドの全体またはスライドの一部であるパッチを入力されてこの明細書において定義された出力データを出力する一連のプロセスを意味してもよい。
【００４７】
一例によれば、診断システム１００は、ツーフェーズ（ｔｗｏ  ｐｈａｓｅ）診断を行うことができる。一つ目のフェーズは、パッチレベル診断を行う過程であってもよく、このような過程において、診断システム１００は、スライドのパッチ別に入力され、当該パッチに疾病の発現有無を出力することができる。このためのニューラルネットワークが学習されて実現されてもよいことはいうまでもない。
【００４８】
二つ目のフェーズは、一つ目のフェーズの診断結果を通じてスライドに疾病が発現したか否かを出力することができる。このような過程には、ニューラルネットワークまたは所定のマシンラーニング手法が用いられてもよい。
【００４９】
すなわち、パッチ別の診断結果に基づいて、たとえ一部のパッチに疾病が発現したと判断されたとしても、当該パッチを含むスライドの全体に相当する生体組織において疾病が発現したと判断されない可能性は存在することがある。例えば、疾病が発現したと判断されたパッチがスライド内においてぐちゃぐちゃに乱れているが、あるいは、その枚数が少ない場合、または密集度などその他の疾病が発現したと判断されたパッチの物理的な特性（例えば、位置、大きさ、密集度など）が実際に当該スライドにおける疾病の発現有無の判断に重要な意味を有することもある。したがって、二つ目のフェーズは、パッチ別の診断結果とこのような診断結果に基づいて判断されたパッチ（すなわち、疾病が発現したと診断されたパッチ）の特性に基づいて、スライドにおける疾病の発現有無を判断することにより、効果的に且つ高い正確度をもって診断を行うことができる。
【００５０】
一方、パッチレベル診断を行うニューラルネットワークは、本発明の技術的思想によれば、当該パッチのみを用いて診断を行うわけではなく、当該パッチの周りのパッチまでさらに考慮して診断を行ってもよい。このような技術的思想は、本出願人が出願した大韓民国特許出願（出願番号第１０−２０１６−０１６８１７６号、ニューラルネットワークを用いた疾病の診断システム及び該方法、以下、「以前の出願」と称する。）に詳しく開示されている。これを通じて、枝葉の領域、すなわち、パッチに当該する領域のみを単独で考慮して診断を行う場合よりは、その周りの領域まで一緒に考慮する場合に診断の正確性を高めることができる。さらに、本発明の技術的思想によれば、特定のパッチの周りのパッチだけではなく、全体のスライドにおけるパッチの位置、密集度、クラスタの大きさなどの物理的な特性をさらに考慮することにより、スライドに疾病が存在するか否かをさらに正確に判断することができるという効果がある。以前の出願は、本発明のレファレンスとして取り込まれ、その内容は、この明細書に記載されたものとして取り扱われてもよい。
【００５１】
いうまでもなく、本発明の他の実施形態によれば、以前の出願のように、微視ネットワークと巨視ネットワーク、すなわち、ツーウェイ（ｔｗｏ−ｗａｙ）方式のニューラルネットワークを用いるわけではなく、単一のワンウェイ（ｏｎｅ−ｗａｙ）ニューラルネットワークを用いてもよい。例えば、本発明の実施形態に係るニューラルネットワークは、図５に示す通りである。
【００５２】
いかなる場合でも、ニューラルネットワークは、入力されたパッチに疾病が発現したか否かを出力するように定義されるニューラルネットワークであればよい。この際、ニューラルネットワークは、オリジナル入力値（例えば、ＲＧＢ  ３チャンネル）にさらにグレイチャンネルを入力値として入力されて診断を行うように学習されることを特徴としてもよい。
【００５３】
一方、パッチレベル診断を行うニューラルネットワークが出力する状態情報は、パッチに当該する組織に特定の疾病（例えば、特定の種類の癌）が発現したか否かに対する確率を示す情報であってもよい。ニューラルネットワークは、特定の基準値（しきい値）以上の確率が示される場合、パッチを疾病（例えば、前立腺癌）が発現したパッチと判断してもよい。
【００５４】
いうまでもなく、ニューラルネットワークは、以前の出願に開示されているように、特定の疾病の発現有無だけではなく、特定の疾病の進み具合を示す情報（または、進み具合に当該する確率）であってもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進み具合を示す指標であるグリーソンパターン（Ｇｌｅａｓｏｎ  Ｐａｔｔｅｒｎ）またはグリーソンスコア（Ｇｌｅａｓｏｎ  Ｓｃｏｒｅ）がニューラルネットワークが出力する状態情報に含まれてもよい。例えば、グリーソンスコアは、２〜５の値を有し、数字が大きくなれば大きくなるほど、前立腺癌が発現した度合いが激しいことを示す。したがって、状態情報は、診断の対象となるパッチに当該する生体組織がグリーソンスコアの特定の値（例えば、３、４、または５）に当該する確率を意味してもよい。
【００５５】
状態情報は、複数存在してもよい。例えば、第１の状態情報は、グリーソンスコアが３である確率、第２の状態情報は、グリーソンスコアが４である確率、第３の状態情報は、グリーソンスコアが５である確率を示すことができ、これらの第１の状態情報、第２の状態情報、第３の状態情報に相当する状態チャンネルがすべて出力レイヤに定義されてもよい。実現例に応じては、グリーソンスコアが一定の範囲（例えば、３〜５、４〜５など）を有する確率を示す状態情報が定義されてもよい。すなわち、一つの状態情報が疾病の進み具合を表現する複数の指標に対応してもよい。
【００５６】
このような場合、ニューラルネットワークは、グリーソンスコアが３以上である状態情報が所定のしきい値以上である場合、パッチを疾病パッチ、すなわち、疾病が発現したパッチと判断することができる。
【００５７】
一方、ニューラルネットワークが用いるしきい値は、種々に設定されてもよい。実施形態によれば、しきい値は、複数用いられてもよい。しきい値に基づいて、特定のパッチが疾病が発現したパッチ、すなわち、疾病パッチと判断されてもよく、ノーマルパッチと判断されてもよいことはいうまでもない。
【００５８】
本発明の技術的思想によれば、ニューラルネットワークが用いるしきい値は、複数であってもよく、このような場合、複数のしきい値のそれぞれに応じて診断される疾病パッチは異なってくることがある。したがって、しきい値のそれぞれに応じて疾病パッチがスライド上において配置される特性もまた異なってくることがある。このため、あるしきい値を用いる場合、スライドにおける診断結果の正確度もまた異なってくることがある。
【００５９】
したがって、本発明の技術的思想は、後述するように、複数のしきい値のそれぞれに応じて診断された疾病パッチがスライドにおいて有する物理的な特性を多重的に考慮して、スライド診断エンジンがスライドの診断を行うように実現されてもよい。このような技術的思想については、後述する。
【００６０】
一方、診断システム１００が所定のサーバ１０に組み込まれて実現される場合、診断システム１００は、サーバ１０に接続可能な少なくとも一つのクライアント（例えば、２０、２０−１）と通信を行うこともできる。このような場合、クライアント（例えば、２０、２０−１）は、生体画像を診断システム１００に伝送してもよく、診断システム１００は、伝送された生体画像に対して本発明の技術的思想に従った診断を行ってもよい。そして、診断結果をクライアント（例えば、２０、２０−１）に伝送してもよい。
【００６１】
診断システム１００は、本発明の技術的思想に従ったニューラルネットワークを用いてパッチレベル診断を行ってもよい。いうまでもなく、このような診断を行うために、ニューラルネットワークを学習させるプロセスを先に行ってもよい。なお、スライドレベル診断にもまた、所定のニューラルネットワークが用いられてもよいことは、前述した通りである。
【００６２】
したがって、診断システム１００は、本発明の技術的思想に従って学習されたニューラルネットワーク及びニューラルネットワークを用いて診断を行うためのプログラムを外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習まで行うシステムであってもよい。なお、診断システム１００は、汎用のデータ処理装置ではなく、本発明の技術的思想を実現するために製作された専用装置として実現されてもよく、このような場合には、生体画像を走査するための手段などがさらに配備されてもよい。
【００６３】
ニューラルネットワークは、以前の出願に開示されているように、特定のパッチに対する診断を行うために特定のパッチそれ自体の画像のみを考慮するわけではなく、特定のパッチの隣の少なくとも一枚のパッチの画像までも考慮して特定のパッチの診断を行う特徴を有していてもよい。このような技術的思想を通じて、実際に特定のパッチに当該する生体組織の診断のために生体組織だけではなく、生体組織の周りの組織の状態まで考慮しなければならない疾病の診断に非常に有意味なレベルまで正確度を向上させることが可能になるという効果がある。なお、生体画像を多数枚のパッチに分割する場合、パッチの分割方式や分割された領域が生体組織のどのような位置であるかに応じて生じ得る診断結果の影響に強い効果を有することができる。
【００６４】
いうまでもなく、前述したように、ニューラルネットワークは、以前の出願に開示されている特徴を有していなくてもよく、いかなる場合でも、ニューラルネットワークは、パッチ別に診断を行うように学習されるニューラルネットワークであってもよい。
【００６５】
この際、ニューラルネットワークは、従来とは異なり、パッチに含まれているピクセルのそれぞれに対して追加チャンネルをさらに入力値として受け入れてもよい。追加チャンネルは、それぞれのピクセルのグレイ値であってもよい。したがって、ニューラルネットワークは、パッチ別に入力を受け入れながら、パッチに含まれているピクセルのオリジナル値（例えば、ＲＧＢ  ３チャンネル）と併せて、追加チャンネルであるグレイチャンネルをさらに入力として受け入れてもよい。
【００６６】
このような場合、生体画像のカラーが疾病に関連する画像特性とは無関係な要因（例えば、診断機関の特性、染色試薬など）により変化があり得る場合に強い効果を有することができる。いうまでもなく、単に元のオリジナル値を用いることなく、グレイチャンネルのみを用いる場合に生じ得る、疾病に関連する画像特性がカラーで反映されて表示される際、これらの重要な情報が学習に反映できなくなるという不都合を有する場合があり、このような不都合を解決することもできる。
【００６７】
このような技術的思想を実現するための診断システム１００は、論理的に図２に示すような構成を有することができる。
【００６８】
図２は、本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。
【００６９】
図２を参照すると、診断システム１００は、制御モジュール１１０及びニューラルネットワーク、及び／又はスライド診断エンジンが格納された診断モジュール１２０を備える。また、診断システム１００は、前処理モジュール１３０をさらに備えていてもよい。
【００７０】
診断システム１００は、本発明の技術的思想を実現するために必要とされるハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味してもよく、必ずしも一つの物理的な構成要素を意味したり、一つの装置を意味したりするとは限らない。すなわち、診断システム１００は、本発明の技術的思想を実現するために配備されるハードウェア及び／又はソフトウェアの論理的な結合を意味してもよく、必要に応じて、互いに離れている装置に設けられてそれぞれの機能を行うことにより、本発明の技術的思想を実現するための論理的な構成の集まりとして実現されてもよい。また、診断システム１００は、本発明の技術的思想を実現するためのそれぞれの機能または役割別に別途に実現される構成の集まりを意味してもよい。例えば、制御モジュール１１０、診断モジュール１２０、及び／又は前処理モジュール１３０のそれぞれは、互いに異なる物理的な装置に位置してもよく、同一の物理的な装置に位置してもよい。また、実現例に応じては、制御モジュール１１０、診断モジュール１２０及び／又は前処理モジュール１３０のそれぞれを構成するソフトウェア及び／又はハードウェアの結合もまた互いに異なる物理的な装置に位置し、互いに異なる物理的な装置に位置している構成が互いに有機的に結合されてそれぞれのモジュールを実現してもよい。
【００７１】
また、この明細書において、「モジュール」とは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的な結合を意味してもよい。例えば、モジュールは、所定のコードと所定のコードが実行されるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味したり、１種類のハードウェアを意味したりするとは限らないということは、本発明の技術分野における平均的な専門家にとっては容易に推論できる筈である。
【００７２】
制御モジュール１１０は、本発明の技術的思想を実現するために診断システム１００に組み込まれている他の構成（例えば、診断モジュール１２０及び／又は前処理モジュール１３０など）を制御してもよい。
【００７３】
さらに、制御モジュール１１０は、診断モジュール１２０に格納されたニューラルネットワーク及び／又はスライド診断エンジンを用いて、本発明の技術的思想に従った診断を行ってもよい。
【００７４】
診断モジュール１２０は、パッチレベル診断を行うパッチ診断エンジン及びスライドレベル診断を行うスライド診断エンジンを備えていてもよい。
【００７５】
パッチレベル診断エンジンは、前述したように、本発明の技術的思想に従ったディープラーニングに基づくニューラルネットワークを通じて実現されてもよい。スライド診断エンジンには、ディープラーニングに基づくニューラルネットワークが用いられてもよく、ニューラルネットワークではなく、所定のマシンラーニング（例えば、ＸＧＢｏｏｓｔ）エンジンが用いられてもよい。
【００７６】
ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集まりを意味してもよい。この明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。
【００７７】
畳み込みニューラルネットワークは、周知のごとく、入力レイヤ、複数の隠れレイヤ、及び出力レイヤを備えていてもよい。複数の隠れレイヤのそれぞれは、畳み込みレイヤ及びプーリングレイヤ（または、サブサンプリングレイヤ）を備えていてもよい。
【００７８】
畳み込みニューラルネットワークは、これらのそれぞれのレイヤを定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、ウェイトファクタなどにより定義されてもよい。また、出力レイヤは、全結合（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）されたフィードフォワードレイヤ（ＦｅｅｄＦｏｒｗａｒｄ  ｌａｙｅｒ）により定義されてもよい。
【００７９】
畳み込みニューラルネットワークを構成するそれぞれのレイヤ別の設計事項は、広く知られている。例えば、複数のレイヤに備えられるべきレイヤの数、複数のレイヤを定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては公知の関数が用いられてもよく、本発明の技術的思想を実現するために別途に定義された関数が用いられてもよい。
【００８０】
本発明の実施形態によれば、パッチレベル診断を行うニューラルネットワークとしては、公知の高密度畳み込みネットワーク（ｄｅｎｓｅｎｅｔ）を利用し、この際、以前の出願に開示されているように、診断の対象となる特定のパッチだけではなく、周りのパッチまでも考慮できるように設計されてもよい。この他にも、様々なニューラルネットワークが活用されてもよく、いかなる場合でも、ニューラルネットワークは、特定のパッチを入力され、当該特定のパッチの疾病発現の確率に相当するフィーチャ値を出力するように定義されてもよい。
【００８１】
制御モジュール１１０は、診断モジュール１２０に格納されたニューラルネットワーク、すなわち、学習されたニューラルネットワークに入力データ、すなわち、パッチ別の入力を受けてもよい。この際、前述したように、オリジナル値にグレイチャンネル値が追加された値を入力されてもよい。グレイチャンネル値は、ピクセル値をグレイ値に変換して取得されてもよいことはいうまでもない。そして、ニューラルネットワークにより定義される演算を行って出力データ、すなわち、パッチに当該する疾病の発現確率に相当するフィーチャ値を出力してもよい。なお、実施形態に応じては、後述するように、スライドレベル診断のためにフィーチャ値が所定のしきい値であるか否かに応じて当該パッチに疾病が発現したか否かを出力してもよい。
【００８２】
また、診断モジュール１２０は、スライド診断エンジンを備えていてもよく、スライド診断エンジンもまた、制御モジュール１１０により学習されて実現されてもよい。
【００８３】
スライド診断エンジンは、ニューラルネットワークの出力結果に基づいて、疾病パッチをマーキングしてもよい。マーキングとは、スライド内において疾病パッチを区別することを意味してもよい。一例によれば、スライド診断エンジンは、疾病パッチを他のパッチと区別されるように表示してヒートマップを生成してもよい。そして、生成されたヒートマップに基づいて、疾病パッチを複数枚にクラスタリングしてもよい。一実施形態によれば、スライド診断エンジンは、疾病パッチを少なくとも二枚にクラスタリングしてもよい。そして、これらの中で最も大きなクラスタ二つをスライド診断に用いてもよい。しかしながら、二つ以上のクラスタをスライド診断に用いてもよいことはいうまでもない。
【００８４】
スライド診断エンジンは、それぞれのクラスタ別の所定のフィーチャ値を算出してもよい。そして、算出されたフィーチャ値を入力データとして、入力された入力データに相当するスライドに疾病が発現したか否かを出力するように学習される。
【００８５】
さらに、スライド診断エンジンは、複数のしきい値をいずれも考慮して学習されてもよい。これを通じて、しきい値の設定に強いスライド診断結果を出力することができる。これについては、後述する。
【００８６】
前処理モジュール１３０は、ニューラルネットワークを用いて診断を行う前に必要とされる生体画像の前処理を行ってもよい。例えば、生体画像の前処理は、生体画像を予め定義された大きさのパッチにパッチ化する過程を含んでいてもよく、前述したように、パッチ別のピクセルのグレイ値を算出してもよい。また、必要に応じて、ニューラルネットワークに適した方式で適切な画像処理を行ってもよいということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【００８７】
図４は、本発明の実施形態に係るニューラルネットワークの構成を説明するための図である。
【００８８】
図４を参照すると、本発明の技術的思想に従ったニューラルネットワーク２００は、微視ニューラルネットワーク及び巨視ニューラルネットワークを備える。
【００８９】
まず、図４ａを参照すると、以前の出願にも開示されているように、微視ニューラルネットワークは、複数のレイヤ２１０及び出力レイヤ２３０を備える。複数のレイヤ２１０には、入力レイヤ２１１及び複数の隠れレイヤ２１２が備えられる。
【００９０】
巨視ニューラルネットワークは、複数のレイヤ２２０及び出力レイヤ２３０を備える。複数のレイヤ２２０には、入力レイヤ２２１及び複数の隠れレイヤ２２２が備えられる。
【００９１】
微視ニューラルネットワークは、特定のパッチ３０を入力され、特定のパッチの診断結果、すなわち、出力レイヤ２３０に定義された出力データを出力するように定義される。
【００９２】
さらにまた、巨視ニューラルネットワークは、特定のパッチ３０を備え、特定のパッチ３０の隣のパッチを少なくとも一枚含む巨視パッチ４０を入力され、特定のパッチの診断結果を出力するように定義される。
【００９３】
すなわち、本発明の技術的思想に従ったニューラルネットワーク２００は、特定のパッチ３０の診断結果を出力するために、特定のパッチ３０の画像特性だけではなく、特定のパッチ３０の隣のパッチの画像特性まで考慮して診断結果を出力してもよい。
【００９４】
巨視パッチ４０としては、図４には、パッチを取り囲む３×３のパッチが用いられる一例を示しているが、様々な実施形態が採用可能であることはいうまでもない。
【００９５】
出力レイヤ２３０は、微視ニューラルネットワークに備えられている出力レイヤ２３０の直前のレイヤである第１の直前のレイヤ２１２−１と、巨視ニューラルネットワークに備えられている出力レイヤ２３０の直前のレイヤである第２の直前のレイヤ２２２−１のそれぞれの出力データを入力されて出力レイヤ２３０に定義された出力データを出力してもよい。第１の直前のレイヤ２１２−１、第２の直前のレイヤ２２２−１、及び出力レイヤ２３０は、全結合（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）されてもよい。
【００９６】
出力レイヤ２３０を定義するフィードフォワード（Ｆｅｅｄｆｏｒｗａｒｄ）関数としては、入力レイヤへ入力される入力データがニューラルネットワーク２００を介して結果的に出力レイヤ２３０に出力データを出力する様々な関数のいずれか一つが用いられてもよい。
【００９７】
結局、ニューラルネットワーク２００は、特定のパッチ３０に対して診断を行うために、特定のパッチ３０の画像特性と、特定のパッチ３０を含む巨視パッチ４０の画像特性を一緒に考慮して、多数のトレーニングデータのアノテーション値に相当する出力レイヤ２３０の出力データを出力するように学習される。
【００９８】
すなわち、ニューラルネットワーク２００を学習するためには、多数のトレーニングデータが用いられ、多数のトレーニングデータは、特定のパッチ３０及び巨視パッチ４０の一対を含んでいてもよい。そして、巨視パッチ４０もまた、特定のパッチ３０のアノテーション情報を用いて学習を行ってもよい。
【００９９】
すると、ニューラルネットワーク２００は、特定のパッチ３０と巨視パッチ４０の画像特性をいずれも考慮して、特定のパッチ３０のアノテーション情報に相当する出力データを出力できるように学習されてもよい。
【０１００】
そして、学習されたニューラルネットワーク２００は、診断の対象となる対象パッチ及び対象パッチに相当する巨視パッチをそれぞれ微視ニューラルネットワーク及び巨視ニューラルネットワークの入力レイヤの入力データとして入力されると、対象パッチの診断結果、すなわち、出力レイヤ２３０の出力データを出力することができる。
【０１０１】
出力レイヤ２３０は、図４ａに示すように、診断の対象となる特定のパッチ３０の診断結果を出力データとして出力してもよい。診断結果は、特定のパッチ３０の疾病の状態に関する情報を少なくとも含んでいてもよい。疾病の状態に関する情報は、単に特定の疾病が特定のパッチ３０に発現したか否か（または、確率値）に関する情報を意味してもよい。しかしながら、疾病の種類に応じて、疾病の状態に関する情報には、より具体的に、疾病の進み具合を示す情報が含まれてもよい。
【０１０２】
出力レイヤは、以前の出願に開示されているように、単に疾病の発現有無を出力するだけではなく、色々なさらなる情報を出力するように設計されてもよい。例えば、疾病の進み具合を示す情報及び／又は状態チャンネルの値と紐付けられた紐付け因子の発現の度合いを示す紐付け因子情報を含んでいてもよい。これについては以前の出願に詳しく開示されているため、その詳しい説明は省略する。
【０１０３】
図４ａに示すニューラルネットワーク２００が用いられる場合、図４ａには示されていないが、出力レイヤ２３０の出力データを入力されて最終的に入力されたパッチの疾病の発現確率に相当するフィーチャ値を出力するレイヤがさらに存在してもよいことはいうまでもない。
【０１０４】
あるいは、図４ｂに示すように、ニューラルネットワークは、図４ａに示すように、複数の状態チャンネル及び紐付け因子チャンネルを出力するレイヤの代わりに入力されたパッチの疾病の発現確率に相当するフィーチャ値を出力するレイヤ２４０を有するように設計されてもよい。
【０１０５】
本発明の他の一実施形態によれば、パッチレベル診断のためのニューラルネットワークは、図４に示すように、二つの経路（微視ネットワーク及び巨視ネットワークのそれぞれの経路）を有する方式ではなく、単一の経路を有するように設計されてもよい。このような一例は、図５に示す通りである。
【０１０６】
図５は、本発明の他の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。
【０１０７】
図５を参照すると、前述したように、ニューラルネットワークは、パッチ単位で入力を受け、入力されたパッチの疾病有無を判断するように定義されてもよい。この際、図示のごとく、ニューラルネットワークは、４チャンネル（例えば、ＲＧＢ及びグレイチャンネル）データを入力されてもよい。
【０１０８】
入力されたデータは、図５に示すように、畳み込みレイヤ、最大プーリング当たりの多数のレイヤを通過して出力データ、すなわち、入力されたパッチが疾病パッチであるか否かを出力するように定義されてもよい。このようなニューラルネットワークは、公知のｄｅｎｓｅｎｅｔモデルを用いたニューラルネットワークであってもよい。そして、この際、本発明の技術的思想に従ったニューラルネットワークは、元のｄｅｎｓｅｎｅｔモデルに比べて１×１畳み込みが追加されることが分かり、これを通じて、内部のフィーチャマップを確認することができるという効果がある。なお、活性関数としてシグノイド（Ｓｉｇｎｏｉｄ）関数が用いられているが、様々な活性関数が用いられてもよい。
【０１０９】
その他の様々な方式でパッチレベル診断を行うニューラルネットワークが定義されてもよいことが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【０１１０】
本発明の一実施形態によれば、図５に示すニューラルネットワークが用いられ、この際、ニューラルネットワークのパッチレベルの診断結果は、図７に示す通りである。
【０１１１】
図７は、本発明の一実施形態に係るパッチレベル診断方法の実験結果を示す図である。
【０１１２】
図７を参照すると、トレインデータセットとして、癌とラベル付けされたパッチ６２３５８枚、及びノーマル（正常）とラベル付けされたパッチ１０８３００枚を用いてニューラルネットワークを学習し、バリデーションセットとして、癌であるパッチ８９６３枚、ノーマルであるパッチ１５４９９枚を用いた。そして、テストセットとして、癌であるパッチ１４８９８枚、ノーマルであるパッチ１９０８９枚を用いた。
【０１１３】
そして、そのときの実験結果であるａｃｃｕｒａｃｙ（正確度）、ｐｒｅｃｉｓｉｏｎ（精度）、ｓｅｎｓｉｔｉｖｉｔｙ（感度）、ｓｐｅｃｉｆｉｃｉｔｙ（特異度）は、それぞれ図６に示すように、非常に高い性能を示すことが分かる。なお、ピクセルのオリジナル値である３チャンネルのみを用いる場合に比べて性能が向上したことを確認した。
【０１１４】
このようなパッチレベルの診断結果を用いたツーフェーズ診断の概念については、図５に基づいて説明する。
【０１１５】
図６は、本発明の実施形態に係るツーフェーズ疾病の診断方法の概念を説明するための図である。
【０１１６】
図６に示すように、生体組織に相当する生体画像、すなわち、スライドからサンプリングされたパッチがニューラルネットワーク２００の学習に用いられてもよい。パッチは、癌とラベル付けされるパッチとノーマルとラベル付けされるパッチが所定の割合を有するようにサンプリングされたものであってもよい。
【０１１７】
そして、ニューラルネットワーク２００は、前述したように、グレイチャンネルをさらに備えるパッチ別の入力データを入力されて学習され、その結果、ニューラルネットワーク２００は、それぞれのパッチが癌であるか否か（または、確率値）を出力するように学習される。
【０１１８】
すると、このようにして学習されたニューラルネットワーク２００は、図６の下部に示すように、スライドが入力された場合、それぞれのスライドに含まれているそれぞれのパッチに対してパッチレベル診断を行うことができる。
【０１１９】
そして、スライド診断エンジンは、パッチレベル診断結果に基づいて、疾病パッチをマーキングしてもよい。例えば、図６に示すように、ヒートマップを生成してもよい。
【０１２０】
また、図８は、本発明の一実施形態に係るパッチレベル診断結果に基づくマーキング結果を示す図であるが、図８ａは、熟練された専門家によりラベル付けされた生体組織の画像を示し、図８ｂは、学習されたニューラルネットワーク２００により生成されたヒートマップを示す。図８から明らかなように、非常に正確な診断を行うことが可能であるということが分かる。
【０１２１】
一方、生成したヒートマップに基づいて、スライド診断エンジンは、クラスタを生成してもよい。スライド診断エンジンは、所定のクラスタリングアルゴリズムを用いて疾病パッチをクラスタリングしてもよい。本発明の実施形態によれば、スライド診断エンジンは、公知のＤＢＳＣＡＮアルゴリズムを通じてクラスタリングを行ったが、様々なクラスタリング手法が利用可能であることはいうまでもない。
【０１２２】
スライド診断エンジンは、クラスタリングの結果として生成されたクラスタ別にクラスタフィーチャを取り出しても良い。
【０１２３】
クラスタフィーチャは、疾病の発現に関連する特徴を示し得る特徴的な値であってもよい。
【０１２４】
一例によれば、クラスタフィーチャは、クラスタに含まれている疾病パッチの枚数、パッチ別の疾病である確率値の平均、パッチ別の疾病である確率値の最大値、及びパッチ別の疾病である確率値の最小値を含んでいてもよい。このようなクラスタフィーチャが含まれる場合、スライド診断エンジンの診断結果が相対的に高くなることを確認することができた。
【０１２５】
また、実施形態に応じて、クラスタフィーチャは、クラスタのそれぞれの長軸（ｍａｊｏｒ  ａｘｉｓ）、短軸（ｍｉｎｏｒ  ａｘｉｓ）、面積（ａｒｅａ）、及び密度（ｄｅｎｓｉｔｙ）をさらに含んでいてもよい。これは、クラスタの物理的な特徴と密接な関わりがあり、このようなクラスタフィーチャが一緒に用いられる場合にさらに診断性能が高くなる。
【０１２６】
一方、クラスタは、それぞれのパッチが疾病パッチと判断されるか否かに応じて、その位置、大きさ、及び上述したようなクラスタフィーチャが異なってくることがある。そして、これは、パッチレベル診断においてどのようなしきい値を用いるかに依存する。
【０１２７】
本発明の技術的思想によれば、スライドレベル診断のために複数のしきい値が一緒に用いられてもよい。
【０１２８】
一例によれば、本発明の実施形態においては、５個の互いに異なるしきい値が用いられているが、様々な実施形態が採用可能である。
【０１２９】
そして、それぞれのしきい値に基づいて、特定のパッチが疾病パッチと診断される結果は異なってくることがあり、これにより、クラスタリング結果もまた異なってくることがあることはいうまでもない。
【０１３０】
本発明の実施形態に係るスライド診断エンジンは、例えば、Ｎ（例えば、５）個のしきい値及びＮ個のしきい値のそれぞれを基準として疾病が発現したパッチを所定の方式でクラスタリングしてＭ（例えば、２）個のクラスタを形成した。
【０１３１】
そして、形成されたクラスタのそれぞれに対してＰ（例えば、上述した８個のクラスタフィーチャ）個のクラスタフィーチャを算出した。なお、このような場合、一枚のスライドに対してＭ×Ｎ×Ｐ（例えば、８０）個のクラスタフィーチャが取り出されてもよい。
【０１３２】
そして、このようなフィーチャ値が入力値として入力され、出力データとしてスライドに疾病が存在するか否かを出力するようにスライド診断エンジンは学習されてもよい。
【０１３３】
このような実施形態を通じた実験結果は、図８に示されている。
【０１３４】
図９は、本発明の一実施形態に係るスライドレベル診断方法の実験結果を示す図である。
【０１３５】
図９に示す実験結果は、前述したクラスタフィーチャ８個がいずれも用いられた場合であり、しきい値は５個用いられ、二つのクラスタを用いた場合の実験結果を示す。このような実施形態において、トレインデータセットとして、癌が発現したスライド４７８枚、ノーマルであるスライド２１８枚が用いられた。また、バリデーションセットとして、癌が発現したスライド１１７枚、ノーマルであるスライド５７枚が用いられ、テストセットとして、癌が発現したスライド１３０２枚、ノーマルであるスライド１６５８枚が用いられた。
【０１３６】
そして、そのときの実験結果であるａｃｃｕｒａｃｙ（正確度）、ｐｒｅｃｉｓｉｏｎ（精度）、ｓｅｎｓｉｔｉｖｉｔｙ（感度）、ｓｐｅｃｉｆｉｃｉｔｙ（特異度）は、それぞれ図９に示すように、高い性能を示すことが分かる。
【０１３７】
また、この明細書においては、前立腺癌に対して本発明の技術的思想が適用された一例について主として説明したが、特定の組織だけではなく、当該組織の周りの組織の状態まで考慮して特定の組織の診断を行う必要がある他の疾病に対しても本発明の技術的思想が適用される場合に正確な診断を行うことが可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【０１３８】
本発明の実施形態に係るデュアルクラスに対応できる疾病診断方法は、コンピュータにて読み取り可能な記録媒体においてコンピュータにて読み取り可能なコードの形態で実現することが可能である。コンピュータにて読み取り可能な記録媒体は、コンピュータシステムにより読み込まれるデータが格納されるあらゆる種類の記録装置を網羅する。コンピュータにて読み取り可能な記録媒体の例としては、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＣＤ−ＲＯＭ（読み込み専用のコンパクトディスク）、磁気テープ、ハードディスク、フロッピディスク、光データ格納装置などが挙げられる。また、コンピュータにて読み取り可能な記録媒体は、ネットワークにより結ばれたコンピュータシステムに分散されて、分散方式によりコンピュータにて読み取り可能なコードが格納され且つ実行されてもよい。そして、本発明を実現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野におけるプログラマにより容易に推論可能である。
【０１３９】
本発明は、図示の一実施形態を参考として説明されたが、これは単なる例示的なものにすぎず、当該技術分野において通常の知識を有する者であれば、これより様々な変形例及び均等な他の実施形態が採用可能であるという点が理解できる筈である。よって、本発明の真の技術的な保護範囲は、添付の登録特許請求の範囲の技術的思想により定められるべきである。
【産業上の利用可能性】
【０１４０】
本発明は、「ツーフェーズ疾病診断システム及び該方法」に利用可能である。
【図１】
2021526256.tif 000003
【図２】
2021526256.tif 000004
【図３】
2021526256.tif 000005
【図４ａ】
2021526256.tif 000006
【図４ｂ】
2021526256.tif 000007
【図５】
2021526256.tif 000008
【図６】
2021526256.tif 000009
【図７】
2021526256.tif 000010
【図８】
2021526256.tif 000011
【図９】
2021526256.tif 000012
【国際調査報告】
2021526256.tif 000013
2021526256.tif 000014
2021526256.tif 000015
2021526256.tif 000016