(57)【要約】  診断者が既存の診断履歴を参考にして生体組織の画像から疾病に対する診断を正確に行えるように支援する生体画像診断システム及びその方法が開示される。本発明の一局面によれば、既に診断された複数枚の生体画像及び既に診断された複数枚の生体画像に対する診断結果を格納するＤＢから所定の診断対象の生体画像と類似する特徴を有する少なくとも１枚の類似生体画像を検索する第１の検索モジュールと、ＤＢから所定の診断者により既に診断された少なくとも１枚の既診断生体画像を検索する第２の検索モジュールと、少なくとも１枚の類似生体画像及び少なくとも１枚の既診断生体画像を診断者の端末に伝送する通信モジュール及び診断者の端末から受信した診断対象の生体画像に対する疾病の診断結果をＤＢに格納する格納モジュールを備えるが、診断者の端末は、診断対象の生体画像、少なくとも１枚の類似生体画像及び少なくとも１枚の既診断生体画像をディスプレイする生体画像診断システムが提供される。
2022502772.tif 000002
【特許請求の範囲】
【請求項１】
オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出するエンコーダパート、及び前記エンコーダパートにより抽出された前記オリジナル病理画像のフィーチャを入力されて、前記オリジナル病理画像に見合う復元病理画像を生成するデコーダパートを有するオートエンコーダと、
前記オリジナル病理画像を入力された前記オートエンコーダにより生成された復元病理画像を入力されて、所定の疾病に対する診断結果を出力する診断用ニューラルネットワークと、
診断結果がそれぞれラベル付けされた複数枚の訓練用病理画像を前記オートエンコーダに入力して、前記オートエンコーダ及び前記診断用ニューラルネットワークを学習する学習モジュールと、
を備えるが、
前記オートエンコーダは、前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果が反映されて学習されることを特徴とする病理画像の検索のためのシステム。
【請求項２】
前記オートエンコーダのロスファンクションは、
前記オリジナル病理画像と前記復元病理画像との差分、及び前記オリジナル病理画像のラベルと前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果との差分を含むことを特徴とする請求項１に記載の病理画像の検索のためのシステム。
【請求項３】
前記病理画像の検索のためのシステムは、
複数枚の検索用病理画像のそれぞれに対して、
学習された前記オートエンコーダに前記検索用病理画像を入力して、前記エンコーダパートにより前記検索用病理画像のフィーチャが生成されるようにし、
生成された前記検索用画像のフィーチャをＤＢに格納するフィーチャ生成モジュールをさらに備える請求項１に記載の病理画像の検索のためのシステム。
【請求項４】
前記病理画像の検索のためのシステムは、
学習された前記オートエンコーダに問い合わせ病理画像を入力して、前記エンコーダパートにより前記問い合わせ病理画像のフィーチャが生成されるようにし、生成された前記問い合わせ病理画像のフィーチャに基づいて、前記ＤＢから前記問い合わせ病理画像と類似する類似病理画像のフィーチャを検索する検索モジュールをさらに備える請求項３に記載の病理画像の検索のためのシステム。
【請求項５】
前記疾病は、
前立腺癌であることを特徴とする請求項１に記載の病理画像の検索のためのシステム。
【請求項６】
前記学習モジュールは、
診断結果がそれぞれラベル付けされた複数枚の追加の訓練用病理画像を前記診断用ニューラルネットワークにさらに入力して、前記診断用ニューラルネットワークを学習する請求項１に記載の病理画像の検索のためのシステム。
【請求項７】
オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出する学習されたオートエンコーダのエンコーダパートと、
複数枚の検索用病理画像のそれぞれのフィーチャを含むように構築されたＤＢと、
問い合わせ病理画像を前記オートエンコーダに入力して、前記エンコーダパートにより前記問い合わせ病理画像のフィーチャが生成されるようにし、生成された前記問い合わせ病理画像のフィーチャに基づいて、前記ＤＢから前記問い合わせ病理画像と類似する類似病理画像のフィーチャを検索する検索モジュールと、
を備えるが、
前記オートエンコーダは、請求項３に記載のシステムにより学習され、
前記ＤＢは、請求項３に記載のシステムにより構築されることを特徴とする病理画像の検索のためのシステム。
【請求項８】
オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出するエンコーダパート、及び前記エンコーダパートにより抽出された前記オリジナル病理画像のフィーチャを入力されて、前記オリジナル病理画像に見合う復元病理画像を生成するデコーダパートを有するオートエンコーダと、
前記オリジナル病理画像を入力された前記オートエンコーダにより生成された復元病理画像を入力されて、所定の疾病に対する診断結果を出力する診断用ニューラルネットワークと、
診断結果がそれぞれラベル付けされた複数枚の訓練用病理画像を前記オートエンコーダに入力して前記オートエンコーダを学習し、診断結果がそれぞれラベル付けされた複数枚の追加の訓練用病理画像を前記診断用ニューラルネットワークに入力して前記診断用ニューラルネットワークを学習する学習モジュールと、
を備えるが、
前記オートエンコーダは、前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果が反映されて学習されることを特徴とする病理画像の検索のためのシステム。
【請求項９】
オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出するエンコーダパート、及び前記エンコーダパートにより抽出された前記オリジナル病理画像のフィーチャを入力されて、前記オリジナル病理画像に見合う復元病理画像を生成するデコーダパートを有するオートエンコーダと、
前記オリジナル病理画像を入力された前記オートエンコーダにより生成された復元病理画像を入力されて、所定の疾病に対する診断結果を出力する診断用ニューラルネットワークと、
を備えるシステムにより行われる病理画像の検索のための方法であって、
診断結果がそれぞれラベル付けされた複数枚の訓練用病理画像を前記オートエンコーダに入力して、前記オートエンコーダ及び前記診断用ニューラルネットワークを学習する学習ステップを含むが、
前記オートエンコーダは、前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果が反映されて学習されることを特徴とする病理画像の検索のための方法。
【請求項１０】
前記オートエンコーダのロスファンクションは、
前記オリジナル病理画像と前記復元病理画像との差分、及び前記オリジナル病理画像のラベルと前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果との差分を含むことを特徴とする請求項９に記載の病理画像の検索のための方法。
【請求項１１】
前記病理画像の検索のための方法は、
複数枚の検索用病理画像のそれぞれに対して、
学習された前記オートエンコーダに前記検索用病理画像を入力して、前記エンコーダパートにより前記検索用病理画像のフィーチャが生成されるようにし、
生成された前記検索用画像のフィーチャをＤＢに格納するフィーチャ生成ステップをさらに含む請求項９に記載の病理画像の検索のための方法。
【請求項１２】
前記病理画像の検索のための方法は、
学習された前記オートエンコーダに問い合わせ病理画像を入力して、前記エンコーダパートにより前記問い合わせ病理画像のフィーチャが生成されるようにし、生成された前記問い合わせ病理画像のフィーチャに基づいて、前記ＤＢから前記問い合わせ病理画像と類似する類似病理画像のフィーチャを検索する検索ステップをさらに含む請求項１１に記載の病理画像の検索のための方法。
【請求項１３】
前記学習ステップは、
診断結果がそれぞれラベル付けされた複数枚の追加の訓練用病理画像を前記診断用ニューラルネットワークにさらに入力して、前記診断用ニューラルネットワークを学習するステップを含む請求項１０に記載の病理画像の検索のための方法。
【請求項１４】
オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出する学習されたオートエンコーダのエンコーダパートと、
複数枚の検索用病理画像のそれぞれのフィーチャを含むように構築されたＤＢと、
を備えるシステムにより行われる病理画像を検索するための方法であって、
問い合わせ病理画像を前記オートエンコーダに入力して、前記エンコーダパートにより前記問い合わせ病理画像のフィーチャが生成されるようにするステップと、
生成された前記問い合わせ病理画像のフィーチャに基づいて、前記ＤＢから前記問い合わせ病理画像と類似する類似病理画像のフィーチャを検索するステップと、
を含むが、
前記オートエンコーダは、請求項１０に記載の方法により学習され、
前記ＤＢは、請求項１０に記載の方法により構築されることを特徴とする病理画像の検索のための方法。
【請求項１５】
オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出するエンコーダパート、及び前記エンコーダパートにより抽出された前記オリジナル病理画像のフィーチャを入力されて、前記オリジナル病理画像に見合う復元病理画像を生成するデコーダパートを有するオートエンコーダと、
前記オリジナル病理画像を入力された前記オートエンコーダにより生成された復元病理画像を入力されて、所定の疾病に対する診断結果を出力する診断用ニューラルネットワークと、
を備えるシステムにより行われる病理画像の検索のための方法であって、
診断結果がそれぞれラベル付けされた複数枚の訓練用病理画像を前記オートエンコーダに入力して、前記オートエンコーダを学習するステップと、
診断結果がそれぞれラベル付けされた複数枚の追加の訓練用病理画像を前記診断用ニューラルネットワークに入力して、前記診断用ニューラルネットワークを学習するステップと、
を含むが、
前記オートエンコーダは、前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果が反映されて学習されることを特徴とする病理画像の検索のための方法。
【請求項１６】
データ処理装置にインストールされ、請求項９乃至請求項１５のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、病理画像の検索のためのシステム及び方法に関するものである。さらに詳しくは、病理画像に基づく疾病の診断に有効な特徴が学習に反映されたオートエンコーダを活用することにより、疾病の診断に有効な特徴の観点からみて類似する他の病理画像を検索することのできるシステム及び方法に関する。
【背景技術】
【０００２】
病理学又は病理科において行う主な業務の一つは、患者の生体画像（例えば、患者である生体組織スライド）を読み取って特定の疾病に対する状態又は徴候を判断する診断を行うことである。このような診断は、長期間にわたって熟練した医療従事者の経験と知識に依存する方式である。生体組織スライドの代わりに、これをデジタルイメージングして生成されたスライド画像を読み取る方式が次第に増加しているのが最近の傾向である。
【０００３】
一方で、最近には、機械学習の発達により、画像を認識したり分類したりするなどの業務をコンピュータシステムにより自動化させようとする試みが盛んに行われている。とりわけ、機械学習の一種であるニューラルネットワーク（神経網）（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ  ｎｅｕｒｌａ  ｎｅｔｗｏｒｋ；ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練した医療従事者が行っていた診断を自動化させるための試みが行われており、その代表例として、ニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングを通じた画像ベースの疾病の診断が挙げられる。この他にも、診断者が画像に基づいて疾病を診断するに際して、当該画像と類似する特徴を有する画像を検索する手法など補助的な手段もまた疾病の診断に非常に有用であり得る。
【０００４】
一方、本発明の背景技術の一つであるオートエンコーダ（Ａｕｔｏｅｎｃｏｄｅｒ）について説明する。オートエンコーダは、非指導学習方法論において主として用いられるニューラルネットワーク構造であって、効率よいデータのコードのための非指導学習に用いられるニューラルネットワーク構造である。オートエンコーダは、出力値を入力値に近似させる関数を学習し、エンコーダを介して入力データに対するフィーチャを抽出し、デコーダを介して原データを再構成する。
【０００５】
図１は、画像を入力され得るオートエンコーダの構造を概略的に示す図である。図１を参照すると、オートエンコーダ１は、畳み込みレイヤ（畳み込み層）を有するエンコーダパート２及び逆畳み込みレイヤを有するデコーダパート３を備えていてもよい。エンコーダ１に原画像ｘが入力されれば、エンコーダパート２において原画像ｘに対するエンコードが行われて原画像ｘのフィーチャｚ＝Ｅ（ｘ）が生成され得る。生成されたフィーチャｚは、デコーダパート３においてデコードされて原画像ｘに見合う復元画像ｘ´＝Ｄ（ｚ）が生成され得る。
【０００６】
オートエンコーダもまた、ニューラルネットワークの一種であるため、多数の訓練データによる学習が先行されるが、オートエンコーダの学習ステップにおいては、それぞれの学習データｘに対して次のような過程が行われる。
【０００７】
１）学習データｘがオートエンコーダに入力されてエンコード及びデコードの過程を経て学習データｘに見合う復元データｘ´が生成される。
【０００８】
２）学習データｘと復元データｘ´との差分である誤差ｅ＝Ｌ（ｘ，ｘ´）が算出される（Ｌは、ロスファンクション（損失関数）である）。
【０００９】
３）誤差逆伝搬（ｅｒｒｏｒ  ｂａｃｋ  ｐｒｏｐａｇａｔｉｏｎ）法に従い、オートエンコーダ内の重み付け値が更新される。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする技術的課題は、オートエンコーダを活用して、特定の病理画像と類似する特徴を有する他の病理画像を検索することのできる病理画像検索システム及び方法を提供することである。
【００１１】
また、本発明が解決しようとする他の技術的課題は、オートエンコーダの学習に際して病理画像に基づく疾病の診断に有効な特徴が反映できるようにし、このようにして学習されたオートエンコーダを活用することにより、疾病の診断に有効な特徴の観点からみて類似する他の病理画像を検索することのできる病理画像検索システム及び方法を提供することである。
【課題を解決するための手段】
【００１２】
本発明の一局面によれば、オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出するエンコーダパート、及び前記エンコーダパートにより抽出された前記オリジナル病理画像のフィーチャを入力されて、前記オリジナル病理画像に見合う復元病理画像を生成するデコーダパートを有するオートエンコーダと、前記オリジナル病理画像を入力された前記オートエンコーダにより生成された復元病理画像を入力されて所定の疾病に対する診断結果を出力する診断用ニューラルネットワークと、診断結果がそれぞれラベル付けされた複数枚の訓練用病理画像を前記オートエンコーダに入力して前記オートエンコーダ及び前記診断用ニューラルネットワークを学習する学習モジュールと、を備えるが、前記オートエンコーダは、前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果が反映されて学習されることを特徴とする病理画像の検索のためのシステムが提供される。
【００１３】
一実施形態において、前記オートエンコーダのロスファンクションは、前記オリジナル病理画像と前記復元病理画像との差分、及び前記オリジナル病理画像のラベルと前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果との差分を含むことを特徴としてもよい。
【００１４】
一実施形態において、前記病理画像の検索のためのシステムは、複数枚の検索用病理画像のそれぞれに対して、学習された前記オートエンコーダに前記検索用病理画像を入力して、前記エンコーダパートにより前記検索用病理画像のフィーチャが生成されるようにし、生成された前記検索用画像のフィーチャをＤＢに格納するフィーチャ生成モジュールをさらに備えていてもよい。
【００１５】
一実施形態において、前記病理画像の検索のためのシステムは、学習された前記オートエンコーダに問い合わせ病理画像を入力して、前記エンコーダパートにより前記問い合わせ病理画像のフィーチャが生成されるようにし、生成された前記問い合わせ病理画像のフィーチャに基づいて、前記ＤＢから前記問い合わせ病理画像と類似する類似病理画像のフィーチャを検索する検索モジュールをさらに備えていてもよい。
【００１６】
本発明の一実施形態によれば、前記疾病は、前立腺癌であることを特徴としてもよい。
【００１７】
本発明の他の局面によれば、オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出する学習されたオートエンコーダのエンコーダパートと、複数枚の検索用病理画像のそれぞれのフィーチャを含むように構築されたＤＢと、問い合わせ病理画像を前記オートエンコーダに入力して、前記エンコーダパートにより前記問い合わせ病理画像のフィーチャが生成されるようにし、生成された前記問い合わせ病理画像のフィーチャに基づいて、前記ＤＢから前記問い合わせ病理画像と類似する類似病理画像のフィーチャを検索する検索モジュールと、を備えるが、前記オートエンコーダは、上記のシステムにより学習され、前記ＤＢは、上記のシステムにより構築されることを特徴とする病理画像の検索のためのシステムが提供される。
【００１８】
本発明のさらに他の局面によれば、オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出するエンコーダパート、及び前記エンコーダパートにより抽出された前記オリジナル病理画像のフィーチャを入力されて、前記オリジナル病理画像に見合う復元病理画像を生成するデコーダパートを有するオートエンコーダと、前記オリジナル病理画像を入力された前記オートエンコーダにより生成された復元病理画像を入力されて所定の疾病に対する診断結果を出力する診断用ニューラルネットワークと、診断結果がそれぞれラベル付けされた複数枚の訓練用病理画像を前記オートエンコーダに入力して前記オートエンコーダを学習し、診断結果がそれぞれラベル付けされた複数枚の追加の訓練用病理画像を前記診断用ニューラルネットワークに入力して前記診断用ニューラルネットワークを学習する学習モジュールと、を備えるが、前記オートエンコーダは、前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果が反映されて学習されることを特徴とする病理画像の検索のためのシステムが提供される。
【００１９】
本発明のさらに他の局面によれば、オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出するエンコーダパート、及び前記エンコーダパートにより抽出された前記オリジナル病理画像のフィーチャを入力されて、前記オリジナル病理画像に見合う復元病理画像を生成するデコーダパートを有するオートエンコーダと、前記オリジナル病理画像を入力された前記オートエンコーダにより生成された復元病理画像を入力されて所定の疾病に対する診断結果を出力する診断用ニューラルネットワークと、を備えるシステムにより行われる病理画像の検索のための方法であって、診断結果がそれぞれラベル付けされた複数枚の訓練用病理画像を前記オートエンコーダに入力して、前記オートエンコーダ及び前記診断用ニューラルネットワークを学習する学習ステップを含むが、前記オートエンコーダは、前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果が反映されて学習されることを特徴とする病理画像の検索のための方法が提供される。
【００２０】
一実施形態において、前記オートエンコーダのロスファンクションは、前記オリジナル病理画像と前記復元病理画像との差分、及び前記オリジナル病理画像のラベルと前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果との差分により定義されることを特徴としてもよい。
【００２１】
一実施形態において、前記病理画像の検索のための方法は、複数枚の検索用病理画像のそれぞれに対して、学習された前記オートエンコーダに前記検索用病理画像を入力して、前記エンコーダパートにより前記検索用病理画像のフィーチャが生成されるようにし、生成された前記検索用画像のフィーチャをＤＢに格納するフィーチャ生成ステップをさらに含んでいてもよい。
【００２２】
一実施形態において、前記病理画像の検索のための方法は、学習された前記オートエンコーダに問い合わせ病理画像を入力して、前記エンコーダパートにより前記問い合わせ病理画像のフィーチャが生成されるようにし、生成された前記問い合わせ病理画像のフィーチャに基づいて、前記ＤＢから前記問い合わせ病理画像と類似する類似病理画像のフィーチャを検索する検索ステップをさらに含んでいてもよい。
【００２３】
本発明のさらに他の局面によれば、オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出する学習されたオートエンコーダのエンコーダパートと、複数枚の検索用病理画像のそれぞれのフィーチャを含むように構築されたＤＢを有するシステムにより行われる病理画像を検索するための方法であって、問い合わせ病理画像を前記オートエンコーダに入力して、前記エンコーダパートにより前記問い合わせ病理画像のフィーチャが生成されるようにするステップと、生成された前記問い合わせ病理画像のフィーチャに基づいて、前記ＤＢから前記問い合わせ病理画像と類似する類似病理画像のフィーチャを検索するステップと、を含むが、前記オートエンコーダは、上記の方法により学習され、前記ＤＢは、上記の方法により構築されることを特徴とする病理画像の検索のための方法が提供される。
【００２４】
本発明のさらに他の局面によれば、オリジナル病理画像を入力されて、前記オリジナル病理画像のフィーチャを抽出するエンコーダパート、及び前記エンコーダパートにより抽出された前記オリジナル病理画像のフィーチャを入力されて、前記オリジナル病理画像に見合う復元病理画像を生成するデコーダパートを有するオートエンコーダと、前記オリジナル病理画像を入力された前記オートエンコーダにより生成された復元病理画像を入力されて所定の疾病に対する診断結果を出力する診断用ニューラルネットワークと、を備えるシステムにより行われる病理画像の検索のための方法であって、診断結果がそれぞれラベル付けされた複数枚の訓練用病理画像を前記オートエンコーダに入力して、前記オートエンコーダを学習するステップと、診断結果がそれぞれラベル付けされた複数枚の追加の訓練用病理画像を前記診断用ニューラルネットワークに入力して、前記診断用ニューラルネットワークを学習するステップと、を含むが、前記オートエンコーダは、前記診断用ニューラルネットワークにより出力される前記復元病理画像に対する診断結果が反映されて学習されることを特徴とする病理画像の検索のための方法が提供される。
【００２５】
本発明のさらに他の局面によれば、データ処理装置にインストールされ、上記の方法を行うための媒体に記録されたコンピュータプログラムが提供される。
【発明の効果】
【００２６】
本発明の技術的思想によれば、オートエンコーダを活用して、特定の病理画像と類似する特徴を有する他の病理画像を検索することのできる病理画像の検索のためのシステム及び方法を提供することができる。
【００２７】
また、オートエンコーダの学習に際して、病理画像に基づく疾病の診断に有効な特徴が反映できるようにし、このようにして学習されたオートエンコーダを活用することにより、疾病の診断に有効な特徴の観点からみて類似する他の病理画像を検索することのできる病理画像の検索のためのシステム及び方法を提供することができる。
【図面の簡単な説明】
【００２８】
本発明の詳細な説明の欄において引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
【図１】オートエンコーダの構造を簡略に示す図である。
【図２】本発明の技術的思想に従った病理画像の検索のための方法の動作環境を示す図である。
【図３】本発明の一実施形態に係る病理画像の検索のためのシステムの概略的な構造を示す図である。
【図４】ａからｃは、それぞれ本発明の互いに異なる一実施形態に係る病理画像の検索のためのシステムにおいて、オートエンコーダを学習する方法を説明するための図である。
【図５】本発明の一実施形態に係る病理画像の検索のためのシステムにおいて、検索用画像のフィーチャを抽出してＤＢを構築する過程を説明するための図である。
【図６】本発明の一実施形態に係る病理画像の検索のためのシステムにおいて、病理画像を検索する方法を説明するための図である。
【発明を実施するための形態】
【００２９】
本発明は、様々な変更を加えることができ、種々の実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものと理解されるべきである。なお、本発明について説明するにあたって、関連する公知の技術についての具体的な説明が本発明の要旨を余計に曖昧にする虞があると認められる場合にはその詳細な説明を省略する。
【００３０】
「第１の」、「第２の」などの言い回しは、様々な構成要素を説明するうえで使用可能であるが、前記構成要素は、前記言い回しによって何等限定されない。上記の言い回しは、ある構成要素を他の構成要素から区別する目的でしか使えない。
【００３１】
この出願において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の言い回しを含む。
【００３２】
この明細書において、「備える」、「含む」又は「有する」などの用語は、明細書の上に記載の特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定するものに過ぎず、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらを組み合わせたもの存在又は付加の可能性を予め排除しないものと理解すべきである。
【００３３】
また、この明細書においては、ある一つの構成要素が他の構成要素にデータを「伝送」する場合には、これは、構成要素が、他の構成要素に直接的にデータを伝送してもよく、少なくとも一つのさらに他の構成要素を介してデータを他の構成要素に伝送してもよいことを意味する。逆に、ある一つの構成要素が他の構成要素にデータを「直接的に伝送」する場合には、これは、構成要素から他の構成要素を介さずに他の構成要素にデータが伝送されることを意味する。
【００３４】
以下、添付図面に基づいて、本発明の実施形態を中心として本発明について詳しく説明する。各図面に示されている同一の参照符号は、同一の部材を示す。
【００３５】
図２は、本発明の技術的思想に従った病理画像の検索のための方法の動作環境を示す図である。図２を参照すると、本発明の技術的思想に従った病理画像の検索のための方法は、病理画像の検索のためのシステム１００により行われてもよい。
【００３６】
本発明の技術的思想に病理画像の検索のためのシステム１００は、所定のサーバ１０に設けられて本発明の技術的思想を実現してもよい。サーバ１０は、本発明の技術的思想を実現するための演算能力をもったデータ処理装置を意味し、一般に、ネットワークを介してクライアント（端末）２０〜２０−１が接続可能なデータ処理装置だけではなく、パソコン、携帯端末などのように特定のサービスが行えるいかなる装置もまたサーバとして定義可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【００３７】
サーバ１０は、プロセッサ及び格納装置を備えていてもよい。プロセッサは、本発明の技術的思想を実現するためのプログラムを駆動し得る演算装置を意味してもよく、プログラムと本発明の技術的思想により定義されるオートエンコーダとを用いて病理画像の検索を行ってもよい。格納装置は、本発明の技術的思想を実現する上で必要とされるプログラム及び各種のデータを格納し得るデータ格納手段を意味してもよく、実現例に応じて、複数の格納手段として実現されてもよい。なお、格納装置は、サーバ１０に組み込まれている主記憶装置だけではなく、プロセッサに組み込まれ得る一時の格納装置又はメモリなどを網羅する意味であってもよい。
【００３８】
病理画像の検索のためのシステム１００は、図２には、いずれか一つの物理的な装置により実現されるものとして示されているが、必要に応じて、複数台の物理的な装置が有機的に結合されて本発明の技術的思想に従った病理画像の検索のためのシステム１００を実現することができるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【００３９】
図３は、本発明の一実施形態に係る病理画像の検索のためのシステム１００の概略的な構成を示す図である。
【００４０】
図３を参照すると、システム１００は、オートエンコーダ１１０と、診断用ニューラルネットワーク１２０と、学習モジュール１３０と、フィーチャ生成モジュール１４０及び検索モジュール１５０を備えていてもよい。本発明の実施形態に応じては、上述した構成要素のうちの一部の構成要素は、必ずしも本発明の実現に欠かせない構成要素に該当するとは限らず、また、実施形態に応じて、病理画像の検索のためのシステム１００は、これよりもさらに多い構成要素を備えていてもよいことはいうまでもない。例えば、システム１００は、システム１００の他の構成要素（例えば、学習モジュール１３０、フィーチャ生成モジュール１４０、検索モジュール１５０など）の機能及び／又はリソースを制御するための制御モジュール（図示せず）をさらに備えていてもよい。なお、実施形態に応じて、システム１００は、本発明の技術的思想を実現する上で必要とされる各種の情報及び／又はデータを格納するためのデータベース（Ｄａｔａｂａｓｅ；ＤＢ）２００をさらに備えていてもよい。あるいは、実施形態に応じて、システム１００は、学習モジュール１３０及び／又はフィーチャ生成モジュール１４０を備えていなくてもよい。
【００４１】
システム１００は、本発明の技術的思想を実現するために必要とされるハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味してもよく、必ずしも一つの物理的な構成要素を意味したり、一つの装置を意味したりするとは限らない。すなわち、システム１００は、本発明の技術的思想を実現するために配備されるハードウェア及び／又はソフトウェアの論理的な結合を意味してもよく、必要に応じて、互いに離れている装置に設けられてそれぞれの機能を行うことにより、本発明の技術的思想を実現するための論理的な構成の集まりとして実現されてもよい。また、システム１００は、本発明の技術的思想を実現するためのそれぞれの機能又は役割別に別途に実現される構成の集まりを意味してもよい。例えば、オートエンコーダ１１０、診断用ニューラルネットワーク１２０、学習モジュール１３０、フィーチャ生成モジュール１４０、検索モジュール１５０のそれぞれは、互いに異なる物理的な装置に位置してもよく、同一の物理的な装置に位置してもよい。また、実現例に応じては、オートエンコーダ１１０、診断用ニューラルネットワーク１２０、学習モジュール１３０、フィーチャ生成モジュール１４０、検索モジュール１５０のそれぞれを構成するソフトウェア及び／又はハードウェアの結合もまた互いに異なる物理的な装置に位置し、互いに異なる物理的な装置に位置している構成が互いに有機的に結合されてそれぞれのモジュールを実現してもよい。
【００４２】
また、この明細書において、「モジュール」とは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的な結合を意味してもよい。例えば、モジュールは、所定のコードと所定のコードが実行されるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味したり、１種類のハードウェアを意味したりするとは限らないということは、本発明の技術分野における平均的な専門家にとっては容易に推論できる筈である。
【００４３】
ＤＢ２００は、複数枚の病理画像を格納してもよい。病理画像は、組織画像をはじめとする多種多様な生体画像であってもよい。
【００４４】
実施形態に応じて、ＤＢ２００は、後述するオートエンコーダ１１０及び診断用ニューラルネットワーク１２０を学習するための複数枚の訓練用病理画像を含んでいてもよい。また、実施形態に応じて、ＤＢ２００は、複数枚の検索用病理画像を含んでいてもよい。訓練用病理画像には、それに対する診断結果が予めラベル付けされていてもよく、ラベル付けされた診断結果もまた、それに見合う訓練用病理データと紐付けられてＤＢ２００に格納されていてもよい。
【００４５】
オートエンコーダ１１０は、エンコーダパート１１１及びデコーダパート１１２を備えていてもよい。
【００４６】
エンコーダパート１１１は、オリジナル病理画像を入力されて、オリジナル病理画像のフィーチャを抽出してもよい。
【００４７】
デコーダパート１１２は、エンコーダパート１１１により抽出されたオリジナル病理画像のフィーチャを入力されて、オリジナル病理画像に見合う復元病理画像を生成してもよい。
【００４８】
診断用ニューラルネットワーク１２０は、画像に基づく疾病の診断のためのニューラルネットワークであってもよい。特に、診断用ニューラルネットワーク１２０は、オリジナル病理画像を入力されたオートエンコーダにより生成された復元病理画像を入力されて、所定の疾病に対する診断結果を出力してもよい。
【００４９】
例えば、疾病は、前立腺癌であってもよく、以下では、前立腺癌を中心として説明するが、本発明の技術的思想が前立腺癌に制限されるものではないということは、本発明が属する分野における通常の技術者であれば、容易に理解できる筈である。
【００５０】
この明細書において、診断を行うということは、生体組織が表現された生体画像であるスライド又はその一部（例えば、パッチもしくはタイル）に基づいて、特定の疾病に関する判断を行うことを意味してもよい。したがって、生体画像に対する診断結果は、特定の疾病の発現有無だけではなく、特定の疾病の進み具合を示す情報（又は、進み具合に該当する確率）を含んでいてもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進み具合を示す指標であるグリーソンパターン（Ｇｌｅａｓｏｎ  Ｐａｔｔｅｒｎ）又はグリーソンスコア（Ｇｌｅａｓｏｎ  Ｓｃｏｒｅ）が診断結果に含まれてもよい。例えば、グリーソンスコアは、２〜１０の値を有し、通常は６〜１０の値を癌と診断することができ、数字が大きくなれば大きくなるほど、前立腺癌が発現した度合いが激しいことを示す。グリーソンパターンは、１から５までに部類分けされてもよい。一方、診断結果は、疾病が発現された部位を含んでいてもよい。
【００５１】
実施形態に応じて、診断用ニューラルネットワーク１２０が出力する診断結果は、多種多様であってもよい。例えば、診断用ニューラルネットワーク１２０は、特定の病症（例えば、前立腺癌）の有無を判別するクラシフィケーションを行ってもよい。あるいは、実施形態に応じて、診断用ニューラルネットワーク１２０は、特定の病症（例えば、前立腺癌）の重症度を判別する多重分類もしくは回帰推定を行ってもよい。あるいは、診断用ニューラルネットワーク１２０は、特定の病症の病変の位置を検出するための多重分類、回帰推定又は意味に基づく画像の分割を行ってもよい。
【００５２】
この明細書において、ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集まりを意味してもよい。この明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。
【００５３】
畳み込みニューラルネットワークは、周知のごとく、入力レイヤ、複数の隠れレイヤ、及び出力レイヤを備えていてもよい。複数の隠れレイヤのそれぞれは、畳み込みレイヤ及びプーリングレイヤ（又は、サブサンプリングレイヤ）を備えていてもよい。
【００５４】
畳み込みニューラルネットワークは、これらのそれぞれのレイヤを定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、ウェイトファクタなどにより定義されてもよい。また、出力レイヤは、全結合（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）されたフィードフォワードレイヤ（Ｆｅｅｄ  Ｆｏｒｗａｒｄ  ｌａｙｅｒ）で定義されてもよい。
【００５５】
畳み込みニューラルネットワークを構成するそれぞれのレイヤ別の設計事項は、広く知られている。例えば、複数のレイヤに備えられるレイヤの数、複数のレイヤを定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては公知の関数が用いられてもよく、本発明の技術的思想を実現するために別途に定義された関数が用いられてもよい。
【００５６】
畳み込み関数の一例としては、離散畳み込み和などが挙げられる。プーリング関数の一例としては、マックスプーリング（ｍａｘ  ｐｏｏｌｉｎｇ）、エバレッジプーリング（ａｖｅｒａｇｅ  ｐｏｏｌｉｎｇ）などが利用可能である。活性化関数の一例としては、シグモイド（ｓｉｇｍｏｉｄ）、タンジェントハイパボリック（ｔａｎｈ）、正規化線形ユニット（ＲｅＬＵ：ｒｅｃｔｉｆｉｅｄ  ｌｉｎｅａｒ  ｕｎｉｔ）などが挙げられる。
【００５７】
このような畳み込みニューラルネットワークの設計事項が定義されれば、設計事項が定義された畳み込みニューラルネットワークが格納装置に格納されてもよい。そして、畳み込みニューラルネットワークが学習されれば、それぞれのレイヤに該当するウェイトファクタ（重み係数）が特定されてもよい。
【００５８】
すなわち、畳み込みニューラルネットワークの学習は、それぞれのレイヤのウェイトファクタが決定されるプロセスを意味してもよい。そして、畳み込みニューラルネットワークが学習されれば、学習された畳み込みニューラルネットワークは、入力レイヤに入力データを入力され、予め定義された出力レイヤを介して出力データを出力してもよい。
【００５９】
本発明の実施形態に係るニューラルネットワークは、上記のように広く知られている設計事項のうちのいずれか一つ又は複数を選択して定義されてもよく、独自的な設計事項がニューラルネットワークのために定義されてもよい。
【００６０】
学習モジュール１３０は、診断結果がそれぞれラベル付けされた複数枚の訓練用病理画像をオートエンコーダに入力して、オートエンコーダ及び診断用ニューラルネットワークを学習してもよい。
【００６１】
特に、オートエンコーダは、診断用ニューラルネットワークにより出力される復元病理画像に対する診断結果が反映されて学習されることを特徴としてもよい。
【００６２】
一実施形態において、オートエンコーダ１１０のロスファンクション（ｌｏｓｓ  ｆｕｎｃｔｉｏｎ）は、オリジナル病理画像と復元病理画像との差分、及びオリジナル病理画像のラベルと診断用ニューラルネットワークにより出力される復元病理画像に対する診断結果との差分を含む形式として定義されてもよい。
【００６３】
例えば、オートエンコーダ１１０のロスファンクションは、次の数式１のような形態であってもよい。
【００６４】
（数１）
Ｌ＝ｗ１Ｌ１（ｘ，ｘ´）＋ｗ２Ｌ２（ｙ，ｙ´）…１
【００６５】
ここで、ｗ１、ｗ２は、所定の重み付け値であり、Ｌ１（ａ，ｂ）及びＬ２（ａ，ｂ）は、それぞれａとｂとの距離を示す関数であり、ｘは、オリジナル病理画像であり、ｘ´は、ｘに見合う復元病理画像であり、ｙは、ｘのラベルであり、ｙ´は、ｘ´を診断用ニューラルネットワーク１２０において診断した診断結果である。
【００６６】
距離関数Ｌ１及び／又はＬ２は、平均二乗誤差（ｍｅａｎ  ｓｑｕａｒｅｄ  ｅｒｒｏｒ；ＭＳＥ）、交差エントロピ誤差（ｃｒｏｓｓ  ｅｎｔｒｏｐｙ  ｅｒｒｏｒ；ＣＥＥ）をはじめとするロスファンクション又は両ベクトル間の距離（例えば、ユークリッド距離、ｎ−ノルム（ｎｏｒｍ）距離、マンハッタン距離など）を示す関数を含んでいてもよい。なお、両距離関数Ｌ１及びＬ２は、同一の形式の関数又は互いに異なる形式の関数であってもよい。他の実施形態において、距離関数Ｌは、追加の項Ｒ（）をさらに含む次の数式２の形式であってもよい。
【００６７】
（数２）
Ｌ＝ｗ１Ｌ１（ｘ，ｘ´）＋ｗ２Ｌ２（ｙ，ｙ´）＋Ｒ（）…２
【００６８】
ここで、、Ｒ（）は、ニューラルネットワークの各種のパラメータであり、エンコード結果ｚなどの追加の因子により定義される関数であってもよい。
【００６９】
図４ａは、オートエンコーダ１１０及び診断用ニューラルネットワーク１２０が訓練用オリジナル病理画像により学習される過程を説明するための図である。
【００７０】
図４ａを参照すると、フィードフォワード過程は、次の通りである。
【００７１】
診断結果ｙがラベル付けされたオリジナル病理画像ｘがオートエンコーダに入力されれば、エンコーダパート１１１においてオリジナル病理画像ｘのフィーチャｚが生成され、フィーチャｚがデコーダパートに入力されて復元病理画像ｘ´が生成される。次いで、復元病理画像ｘ´は、診断用ニューラルネットワーク１２０に入力されて診断結果ｙ´が出力される。
【００７２】
また、図４ａを参照すると、誤差逆伝搬（バックプロパゲーション）過程は、次のようにして行われる。
【００７３】
まず、診断用ニューラルネットワーク１２０から出力した診断結果ｙ´とオリジナル病理画像ｘのラベルｙとの差分Ｌ（ｙ，ｙ´）が算出され、算出されたＬ（ｙ，ｙ´）は、診断用ニューラルネットワーク１２０に逆伝搬法により反映される。一方、診断用ニューラルネットワーク１２０から出力した診断結果ｙ´は、オートエンコーダ１１０の学習に反映される。例えば、オリジナル病理画像ｘとそれに見合う復元画像ｘ´との差分Ｌ１（ｘ，ｘ´）及び診断用ニューラルネットワーク１２０から出力した診断結果ｙ´とオリジナル病理画像ｘのラベルｙとの差分Ｌ２（ｙ，ｙ´）が両方ともオートエンコーダ１１０に逆伝搬法により反映されることにより、オートエンコーダ１１０が学習される。
【００７４】
一方、実施形態に応じては、オートエンコーダ１１０を経ていない複数枚の追加の訓練用病理画像が診断用ニューラルネットワーク１２０にさらに入力されて、診断用ニューラルネットワークの学習が行われてもよい。すなわち、この実施形態において、学習モジュール１３０は、診断用ニューラルネットワーク１２０の学習のために、１次的に、複数枚の訓練用病理画像がオートエンコーダ１１０を経て診断用ニューラルネットワーク１２０に入力されるようにし、２次的に、複数枚の追加の訓練用病理画像をオートエンコーダ１１０を経ることなく直接的に診断用ニューラルネットワーク１２０に入力することにより、診断用ニューラルネットワーク１２０が学習されるようにしてもよい。
【００７５】
図４ｂは、上記の実施形態に従って、オートエンコーダ１１０及び診断用ニューラルネットワーク１２０が学習される過程を説明するための図である。
【００７６】
図４ｂを参照すると、フィードフォワードの過程は、次の通りである。
【００７７】
診断結果ｙがラベル付けされたオリジナル病理画像ｘがオートエンコーダ１１０に入力されれば、エンコーダパート１１１においてオリジナル病理画像ｘのフィーチャｚが生成され、フィーチャｚがデコーダパートに入力されて復元病理画像ｘ´が生成される。次いで、復元病理画像ｘ´は、診断用ニューラルネットワーク１２０に入力されて診断結果ｙ´が出力される。なお、診断結果ｖがラベル付けされた追加のオリジナル病理画像ｕが、オートエンコーダ１１０ではなく、診断用ニューラルネットワーク１２０に入力されて診断結果ｖ´が出力される。
【００７８】
図４ｂを参照すると、誤差逆伝搬の過程は、次のようにして行われる。
【００７９】
オートエンコーダ１１０に入力されるオリジナル病理画像ｘによる学習の場合、診断用ニューラルネットワーク１２０から出力した復元病理画像ｘ´の診断結果ｙ´とオリジナル病理画像ｘのラベルｙとの差分Ｌ（ｙ，ｙ´）が算出され、算出されたＬ（ｙ，ｙ´）は、診断用ニューラルネットワーク１２０に逆伝搬法により反映される。また、診断用ニューラルネットワーク１２０から出力した診断結果ｙ´は、オートエンコーダ１１０の学習に反映される。例えば、オリジナル病理画像ｘとそれに見合う復元画像ｘ´との差分Ｌ１（ｘ，ｘ´）及び診断用ニューラルネットワーク１２０から出力した診断結果ｙ´とオリジナル病理画像ｘのラベルｙとの差分Ｌ２（ｙ，ｙ´）が両方ともオートエンコーダ１１０に逆伝搬法により反映されることにより、オートエンコーダ１１０が学習される。
【００８０】
診断用ニューラルネットワーク１２０に直接的に入力される追加のオリジナル病理画像ｕによる学習の場合、診断用ニューラルネットワーク１２０から出力した診断結果ｖ´と追加のオリジナル病理画像ｕのラベルｖとの差分Ｌ（ｖ，ｖ´）が算出され、算出されたＬ（ｖ，ｖ´）は、診断用ニューラルネットワーク１２０に逆伝搬法により反映される。
【００８１】
この明細書において、追加の訓練用病理画像又は追加のオリジナル病理画像とは、以上において説明した訓練用病理画像又はオリジナル病理画像（すなわち、オートエンコーダ１１０に入力されてオートエンコーダ１１０及び診断用ニューラルネットワーク１２０の学習に用いられる病理画像）と区別するための用語を意味し、したがって、オートエンコーダ１１０に入力されてオートエンコーダ１１０及び診断用ニューラルネットワーク１２０の学習に用いられる病理画像を第１の訓練用病理画像と称し、オートエンコーダ１１０を経ることなく、診断用ニューラルネットワーク１２０に直接的に入力されて診断用ニューラルネットワーク１２０を学習する上で用いられる病理画像を第２の訓練用病理画像と称してもよい。
【００８２】
一方、実施形態に応じて、学習モジュール１３０は、複数枚の第１の訓練用病理画像をオートエンコーダ１１０に入力して、オートエンコーダ１１０及び診断用ニューラルネットワーク１２０を学習するに先立って、１次的に、オートエンコーダ１１０を経ていない複数枚の第２の訓練用病理画像を診断用ニューラルネットワーク１２０に入力して、診断用ニューラルネットワーク１２０を学習してもよい。
【００８３】
また、場合によっては、診断用ニューラルネットワーク１２０の学習に際して、オートエンコーダ１１０を経ることなく、診断用ニューラルネットワーク１２０に直接的に入力される複数枚の訓練用病理画像だけで、診断用ニューラルネットワーク１２０が学習される実施形態もあり得る。
【００８４】
図４ｃは、上記の実施形態に従って、オートエンコーダ１１０及び診断用ニューラルネットワーク１２０が学習される過程を説明するための図である。
【００８５】
図４ｃを参照すると、フィードフォワードの過程は、次の通りである。
【００８６】
診断結果ｙがラベル付けされたオリジナル病理画像ｘがオートエンコーダ１１０に入力されれば、エンコーダパート１１１においてオリジナル病理画像ｘのフィーチャｚが生成され、フィーチャｚがデコーダパートに入力されて復元病理画像ｘ´が生成される。次いで、復元病理画像ｘ´は、診断用ニューラルネットワーク１２０に入力されて診断結果ｙ´が出力される。なお、診断結果ｖがラベル付けされた追加のオリジナル病理画像ｕが、オートエンコーダ１１０ではなく、診断用ニューラルネットワーク１２０に入力されて診断結果ｖ´が出力される。
【００８７】
図４ｃを参照すると、誤差逆伝搬の過程は、次のようにして行われる。
【００８８】
オートエンコーダ１１０に入力されるオリジナル病理画像ｘによる学習の場合、診断用ニューラルネットワーク１２０から出力した復元病理画像ｘ´の診断結果ｙ´とオリジナル病理画像ｘのラベルｙとの差分Ｌ（ｙ，ｙ´）が算出され、算出されたＬ（ｙ，ｙ´）は、オートエンコーダ１１０の学習に反映される。例えば、オリジナル病理画像ｘとそれに見合う復元画像ｘ´との差分Ｌ１（ｘ，ｘ´）及び診断用ニューラルネットワーク１２０から出力した診断結果ｙ´とオリジナル病理画像ｘのラベルｙとの差分Ｌ２（ｙ，ｙ´）が両方ともオートエンコーダ１１０に逆伝搬法により反映されることにより、オートエンコーダ１１０が学習される。
【００８９】
診断用ニューラルネットワーク１２０に直接的に入力される追加のオリジナル病理画像ｕによる学習の場合、診断用ニューラルネットワーク１２０から出力した診断結果ｖ´と追加のオリジナル病理画像ｕのラベルｖとの差分Ｌ（ｖ，ｖ´）が算出され、算出されたＬ（ｖ，ｖ´）は、診断用ニューラルネットワーク１２０に逆伝搬法により反映される。
【００９０】
図３に戻ると、フィーチャ生成モジュール１４０は、オートエンコーダ１１０に対する学習が完了した後、複数枚の検索用病理画像のそれぞれに対するフィーチャ値が生成されるようにし、これらを格納するＤＢ２００を構築しても良い。
【００９１】
すなわち、フィーチャ生成モジュール１４０は、複数枚の検索用病理画像のそれぞれに対して、学習されたオートエンコーダ１１０に検索用病理画像を入力して、エンコーダパートにより検索用病理画像のフィーチャが生成されるようにし、生成された検索用画像のフィーチャをＤＢ２００に格納してもよい。
【００９２】
図６は、フィーチャ生成モジュール１４０により複数枚の検索用病理画像のそれぞれのフィーチャが抽出されてＤＢ２００が構築される過程を説明するための図である。
【００９３】
図６を参照すると、ＤＢ２００は、病理画像データＤＢ２１０及び病理画像索引ＤＢ２２０を備えていてもよい。検索用病理画像は、病理画像データＤＢ２１０にインデックスとともに格納されていてもよい。それぞれの検索用病理画像ｘに対して、フィーチャ生成モジュール１４０は、検索用病理画像ｘを学習されたオートエンコーダ１１０に入力してもよい。すると、学習されたオートエンコーダ１１０のエンコーダパート１１１から検索用病理画像ｘのフィーチャｚを抽出することができる。すると、フィーチャ生成モジュール１４０は、検索用病理画像ｘのフィーチャｚと検索用病理画像ｘのインデックスｉｄとを紐付けて、病理画像索引ＤＢ２２０に格納することができる。
【００９４】
一方、図３に戻ると、検索モジュール１５０は、複数枚の検索用病理画像のそれぞれに対するフィーチャが抽出された後、所定の問い合わせ病理画像と類似する画像を検索してもよい。
【００９５】
これについて、図６に基づいて説明すると、検索モジュール１５０は、学習されたオートエンコーダ１１０に問い合わせ病理画像ｑを入力して、エンコーダパート１１１により問い合わせ病理画像ｑのフィーチャｗが生成されるようにしてもよい。
【００９６】
次いで、検索モジュール１５０は、問い合わせ病理画像ｑのフィーチャｗに基づいて、ＤＢ２００から問い合わせ病理画像と類似する類似病理画像のフィーチャを検索してもよい。例えば、検索モジュール１５０は、病理画像索引ＤＢ２２０に格納された複数枚の検索用病理画像のそれぞれのフィーチャと問い合わせ病理画像ｑのフィーチャｗとの類似度に基づく探索を行っても良い。類似度に基づく探索に際して、両ベクトル間の類似度を求める様々な手法が適用可能である。例えば、両ベクトル間の類似度は、ベクトル間の距離もしくはコサイン類似度により表現可能であり、この他にも、公知の種々の方法が適用可能である。一方、問い合わせ病理画像ｑと類似する類似画像のインデックスｉｄが検索されれば、これを通じて、検索モジュール１５０は、病理画像データＤＢ２１０から類似画像を検索してもよい。
【００９７】
一方、実施形態に応じて、オートエンコーダ１１０は、変分オートエンコーダ（Ｖａｒｉａｔｉｏｎａｌ  Ａｕｔｏ  Ｅｎｃｏｄｅｒ；ＶＡＥ）を備えていてもよい。
【００９８】
また、この明細書においては、前立腺癌に対して本発明の技術的思想が適用された一例について主として説明したが、特定の組織だけではなく、当該組織の周りの組織の状態まで考慮して特定の組織の診断を行う必要がある他の疾病に対しても本発明の技術的思想が適用される場合に正確な診断を行うことが可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
【００９９】
一方、本発明の技術的思想に従った病理画像の検索のための方法は、生体画像を用いて疾病を診断するための機械を学習する上で用いられる学習データをより効果的に製作する上でも利用可能である。
【０１００】
さらに、本発明の技術的思想に従った病理画像の検索のための方法は、類似画像の検索を通じた病理の診断方法を実現する上で用いられてもよい。例えば、診断の対象となる特定の入力スライド画像を１枚以上の検索可能な画像もしくは画像に変換し、変換された検索可能な画像のそれぞれに対して類似画像の検索を行った後、これらに対する診断結果をとりまとめて入力スライド画像に対する診断結果を生成するシステム及び方法を実現してもよい。
【０１０１】
一方、実現例に応じて、病理画像の検索のためのシステム１００及び／又は端末２０は、プロセッサ及びプロセッサにより起動されるプログラムを格納するメモリを備えていてもよい。プロセッサは、シングルコア中央演算処理装置（ＣＰＵ）もしくはマルチコア中央演算処理装置（ＣＰＵ）を備えていてもよい。メモリは、高速ランダムアクセスメモリを備えていてもよく、一台以上の磁気ディスク格納装置、フラッシュメモリ装置、又はその他の不揮発性固体状態メモリ装置などの不揮発性メモリを備えていてもよい。プロセッサ及びその他の構成要素によるメモリへのアクセスは、メモリコントローラにより制御されてもよい。
【０１０２】
一方、本発明の実施形態に係る病理画像の検索のための方法は、コンピュータにて読み取り可能なプログラム指令の形態で実現されてコンピュータにて読み取り可能な記録媒体に格納されてもよく、本発明の実施形態に係る制御プログラム及び対象プログラムもまた、コンピュータにて読み取り可能な記録媒体に格納されてもよい。コンピュータにて読み取り可能な記録媒体は、コンピュータシステムにより読み込まれるデータが格納されるあらゆる種類の記録装置を網羅する。
【０１０３】
記録媒体に記録されるプログラム指令は、本発明のために特別に設計され且つ構成されたものであってもよく、ソフトウェア分野における当業者にとって公知となって使用可能なものであってもよい。
【０１０４】
コンピュータにて読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体（ｍａｇｎｅｔｉｃ  ｍｅｄｉａ）、ＣＤ−ＲＯＭ（読み込み専用のコンパクトディスク）、デジタル多用途ディスク（ＤＶＤ）などの光記録媒体（ｏｐｔｉｃａｌ  ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）などの磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）及びＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリなどのプログラム指令を格納しかつ行うように特別に工夫されたハードウェア装置が挙げられる。また、コンピュータにて読み取り可能な記録媒体は、ネットワークにより接続されたコンピュータシステムに分散され、分散方式によりコンピュータにて読み取り可能なコードが格納され且つ実行されてもよい。
【０１０５】
プログラム指令の例としては、コンパイラにより作成されるような機械語コードだけではなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータにより起動可能な高級言語コードが挙げられる。
【０１０６】
上述したハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【０１０７】
上述した本発明の説明は、単なる例示のためのものであり、本発明の属する技術分野における通常の知識を有する者は、本発明の技術的な思想や必須的な特徴を変更することなく、他の具体的な形態へと容易に変形できることが理解できる筈である。よって、上述した実施形態は、あらゆる面において例示的なものに過ぎず、限定的ではないものと理解すべきである。例えば、単一型であると説明されている各構成要素は、分散されて実施されてもよく、同様に、分散されていると説明されている構成要素も、組み合わせられた形態で実施されてもよい。
【０１０８】
本発明の範囲は、上記の詳細な説明よりは、特許請求の範囲によって表わされ、特許請求の範囲の意味及び範囲、並びにその均等概念から導き出されるあらゆる変更又は変形された形態も本発明の範囲に含まれるものと解釈されるべきである。
【産業上の利用可能性】
【０１０９】
本発明は、「病理画像の検索のためのシステム及び方法」に利用可能である。
【図１】
2022502772.tif 000003
【図２】
2022502772.tif 000004
【図３】
2022502772.tif 000005
【図４ａ】
2022502772.tif 000006
【図４ｂ】
2022502772.tif 000007
【図４ｃ】
2022502772.tif 000008
【図５】
2022502772.tif 000009
【図６】
2022502772.tif 000010
【国際調査報告】
2022502772.tif 000011
2022502772.tif 000012
2022502772.tif 000013
2022502772.tif 000014