(57)【要約】本開示の一態様によるディープラーニングモデル学習装置が提供できる。前記ディープラーニングモデル学習装置は、診断領域に対応する画像を入力するが、互いに異なるパラメータに基づいて構成された少なくとも一つのパラメトリックＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）画像を入力し、前記少なくとも一つのパラメトリックＭＲＩ画像を用いてＭＲＩ動画を構成し、これを提供するパラメトリックＭＲＩ画像入力部と、前記診断領域に対応する少なくとも一つのパラメトリックＭＲＩ画像及び前記ＭＲＩ動画を入力とし、がん領域をラベリングした情報に基づいて、ディープラーニングモデルを学習するがん検出モデル学習部と、前記がん領域のラベリングに寄与する少なくとも一つの参照情報を提供するラベリング参照情報提供部と、前記少なくとも一つの参照情報に基づいて入力される前記がん領域を確認し、前記確認されたがん領域のラベリングを処理するラベリング処理部と、を含むことができる。【選択図】図１
2022502209.tif 000002
【特許請求の範囲】
【請求項１】
ディープラーニングモデル学習装置であって、
診断領域に対応する画像を入力するが、互いに異なるパラメータに基づいて構成された少なくとも一つのパラメトリックＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）画像を入力し、前記少なくとも一つのパラメトリックＭＲＩ画像を用いてＭＲＩ動画を構成し、これを提供するパラメトリックＭＲＩ画像入力部と、
前記診断領域に対応する少なくとも一つのパラメトリックＭＲＩ画像及び前記ＭＲＩ動画を入力とし、がん領域をラベリングした情報に基づいて、ディープラーニングモデルを学習するがん検出モデル学習部と、
前記がん領域のラベリングに寄与する少なくとも一つの参照情報を提供するラベリング参照情報提供部と、
前記少なくとも一つの参照情報に基づいて入力される前記がん領域を確認し、前記確認されたがん領域のラベリングを処理するラベリング処理部と、を含むことを特徴とする、がん領域に対するディープラーニングモデル学習装置。
【請求項２】
前記少なくとも一つのパラメトリックＭＲＩ画像は、
Ｔ１（Ｔ１−ｗｅｉｇｈｔｅｄ）画像、Ｔ２（Ｔ２−ｗｅｉｇｈｔｅｄ）画像、Ｔ２＊（Ｔ２  ｓｔａｒ）画像、ＡＤＣ（ａｐｐａｒｅｎｔ  ｄｉｆｆｕｓｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔｓ）画像、ＦＬＡＩＲ（Ｆｌｕｉｄ  Ａｔｔｅｎｕａｔｅｄ  ｉｎｖｅｒｓｉｏｎ  ｒｅｃｏｖｅｒｙ）画像、ＳＴＩＲ（Ｓｈｏｒｔ  ＴＩ  ｉｎｖｅｒｓｉｏｎ  ｒｅｃｏｖｅｒｙ）画像、ＰＷＩ（Ｐｅｒｆｕｓｉｏｎ  ｗｅｉｇｈｔｅｄ  ｉｍａｇｅ）、ＤＷＩ（Ｄｉｆｆｕｓｉｏｎ−ｗｅｉｇｈｔｅｄ  ｉｍａｇｉｎｇ）画像、及びＤＣＥ（Ｄｙｎａｍｉｃ  Ｃｏｎｔｒａｓｔ  Ｅｎｈａｎｃｅｄ）画像のうちの少なくとも一つを含むことを特徴とする、請求項１に記載のがん領域に対するディープラーニングモデル学習装置。
【請求項３】
前記少なくとも一つの参照情報は、
抽出された診断領域のがんが存在する領域をイメージ化して表示した病理画像、ＤＷＩ（Ｄｉｆｆｕｓｉｏｎ−ｗｅｉｇｈｔｅｄ  ｉｍａｇｉｎｇ）画像、及びＤＣＥ（Ｄｙｎａｍｉｃ  Ｃｏｎｔｒａｓｔ  Ｅｎｈａｎｃｅｄ）信号情報のうちの少なくとも一つを含むことを特徴とする、請求項１に記載のがん領域に対するディープラーニングモデル学習装置。
【請求項４】
前記パラメトリックＭＲＩ画像入力部は、
前記ＤＷＩ画像を時間的に連続配列してＤＷＩ動画を構成することを特徴とする、請求項３に記載のがん領域に対するディープラーニングモデル学習装置。
【請求項５】
前記パラメトリックＭＲＩ画像入力部は、
前記ＤＣＥ画像を時間的に連続配列してＤＣＥ動画を構成することを特徴とする、請求項３に記載のがん領域に対するディープラーニングモデル学習装置。
【請求項６】
前記がん検出モデル学習部は、
前記少なくとも一つのパラメトリックＭＲＩ画像に対する学習を介して前記ディープラーニングモデルの基本レイヤーを構築する画像基盤ＭＲＩ学習部を含むことを特徴とする、請求項１に記載のがん領域に対するディープラーニングモデル学習装置。
【請求項７】
前記がん検出モデル学習部は、
前記ＭＲＩ動画に対する学習を介して前記ディープラーニングモデルの拡張レイヤーを構築する学習モデル補正部を含むことを特徴とする、請求項６に記載のがん領域に対するディープラーニングモデル学習装置。
【請求項８】
前記学習モデル補正部は、
第１ＭＲＩ動画に対する学習を介して前記ディープラーニングモデルの第１拡張レイヤーを構築する第１学習モデル補正部と、
第２ＭＲＩ動画に対する学習を介して前記ディープラーニングモデルの第２拡張レイヤーを構築する第２学習モデル補正部と、を含むことを特徴とする、請求項７に記載のがん領域に対するディープラーニングモデル学習装置。
【請求項９】
前記第１ＭＲＩ動画は、前記ＤＷＩ画像を時間的に連続配列して構成されたＤＷＩ動画であり、前記第２ＭＲＩ動画は、前記ＤＣＥ画像を時間的に連続配列して構成したＤＣＥ動画であることを特徴とする、請求項８に記載のがん領域に対するディープラーニングモデル学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ディープラーニングモデル学習技術に係り、より具体的には、画像情報分析に基づいて、特定の身体領域でがん領域を学習する方法及び装置に関する。
【背景技術】
【０００２】
ディープラーニング（ｄｅｅｐ  ｌｅａｒｎｉｎｇ）は、非常に膨大な量のデータを学習して、新しいデータが入力される場合に学習結果に基づいて確率的に最も高い答えを選択するのである。このようなディープラーニングは、画像に応じて適応的に動作することができ、データに基づいてモデルを学習する過程で特性因子を自動的に見つけるので、最近、人工知能分野でこれを活用しようとする試みが増えている傾向にある。
一方、画像認識に関連して、ディープラーニングを利用した従来の画像分析技術は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）と最大プーリング（ｍａｘ  ｐｏｏｌｉｎｇ）技法を用いて画像の領域ごとに局所的な特徴を抽出し、これに基づいて画像を認識する。しかし、このような方法は、実際画像の内容は異なるが、局所的な情報形態が類似な画像については正確な認識結果を提供できないという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
一方、ユーザまたは患者の身体を撮影したＭＲＩ（ＭＲＩ；Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）画像にさまざまなパラメータを適用して様々な画像、すなわち、パラメトリックＭＲＩ画像を再構成することができる。このようなパラメトリックＭＲＩ画像は、身体の変化や、病気を示す重要な要素として使用できる。
【０００４】
しかし、特定の病気に対して、ユーザまたは患者の状態は多様に示すことができ、また、病気も様々な特性や形態を示すことができる。よって、パラメトリックＭＲＩ画像が示す情報が身体の変化や、病気との相関関係を定型化し難いという問題がある。
【０００５】
本開示の技術的課題は、画像の局所的な特徴及び大域的なコンテキストに基づいて様々なパラメトリックＭＲＩ画像と特定の病気との関係を学習する方法及び装置を提供することにある。
【０００６】
本開示の他の技術的課題は、診断領域に対するパラメトリックＭＲＩ画像に基づいて、がんが発生する領域を学習する方法及び装置を提供することにある。
【０００７】
本開示の別の技術的課題は、診断領域に対するパラメトリックＭＲＩ画像と参照情報に基づいて、がんが発生する領域を学習する方法及び装置を提供することにある。
【０００８】
本開示で解決しようとする技術的課題は、上述した技術的課題に限定されず、上述していない別の技術的課題は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【課題を解決するための手段】
【０００９】
本開示の一態様によれば、がん領域に対するディープラーニングモデル学習装置が提供できる。前記装置は、診断領域に対応する画像を入力するが、互いに異なるパラメータに基づいて構成された少なくとも一つのパラメトリックＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）画像を入力し、前記少なくとも一つのパラメトリックＭＲＩ画像を用いてＭＲＩ動画を構成し、これを提供するパラメトリックＭＲＩ画像入力部と、前記診断領域に対応する少なくとも一つのパラメトリックＭＲＩ画像及び前記ＭＲＩ動画を入力とし、がん領域をラベリングした情報に基づいて、ディープラーニングモデルを学習するがん検出モデル学習部と、前記がん領域のラベリングに寄与する少なくとも一つの参照情報を提供するラベリング参照情報提供部と、前記少なくとも一つの参照情報に基づいて入力される前記がん領域を確認し、前記確認されたがん領域のラベリングを処理するラベリング処理部と、を含むことができる。
【００１０】
本開示について上記で簡略に要約した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を限定するものではない。
【発明の効果】
【００１１】
本開示によれば、画像の局所的な特徴及び大域的なコンテキストに基づいて様々なパラメトリックＭＲＩ画像と特定の病気との関係を学習する方法及び装置が提供できる。
また、本開示によれば、診断領域に対するパラメトリックＭＲＩ画像に基づいて、がんが発生する領域を学習する方法及び装置が提供できる。
【００１２】
また、本開示によれば、診断領域に対するパラメトリックＭＲＩ画像と参照情報に基づいて、がんが発生する領域を学習する方法及び装置が提供できる。
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態に係るディープラーニングモデル学習装置の構成を示すブロック図である。
【図２】図２ａ〜図２ｇは、本開示の一実施形態に係るディープラーニングモデル学習装置の動作によって処理される情報を例示する図である。
【図３】本開示の一実施形態に係るディープラーニングモデル学習装置に備えられるがん検出モデル学習部の構成を示すブロック図である。
【図４】本開示の一実施形態に係る前立腺がん検出モデル学習装置によって構築されるがん検出モデルのレイヤー構造を例示する図である。
【図５】図３の画像基盤ＭＲＩ学習部の詳細構成を例示する図である。
【図６】本開示の一実施形態による画像のコンテキスト情報を生成し分析する過程を示す図である。
【図７】図３の学習モデル補正部の詳細構成を例示する図である。
【図８】本開示の一実施形態に係るディープラーニングモデル学習方法の手順を示すフローチャートである。
【図９】本開示の他の実施形態に係るディープラーニングモデル学習方法の手順を示すフローチャートである。
【図１０】本開示の一実施形態に係るディープラーニングモデル学習方法及び装置を実行するコンピューティングシステムを例示するブロック図である。
【図１１】本開示の一実施形態に係る前立腺がん検出モデル学習装置の構成を示すブロック図である。
【図１２】本開示の一実施形態に係る前立腺がん検出モデル学習装置に備えられるパラメトリックＭＲＩ画像入力部、及び前立腺がん検出モデル学習部の詳細構成を示すブロック図である。
【図１３】本開示の一実施形態に係る前立腺がん検出モデル学習装置によって構築されるがん検出モデルのレイヤー構造を例示する図である。
【図１４】図１２の学習モデル補正部の詳細構成を例示する図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本開示の実施形態について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。ところが、本開示は、様々な異なる形態で実現でき、ここで説明する実施形態に限定されない。
本開示の実施形態を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明瞭にするおそれがあると判断された場合には、それについての詳細な説明は省略する。そして、図面において、本開示に関する説明と関係のない部分は省略し、類似の部分には類似の符号を付した。
【００１５】
本開示において、ある構成要素が他の構成要素に「連結」、「結合」又は「接続」されているとするとき、これは、直接的な接続関係だけでなく、それらの間に別の構成要素が介在する間接的な接続関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、他の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に記載されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施形態における第１の構成要素を他の実施形態における第２の構成要素と称することもあり、同様に、一実施形態における第２の構成要素を他の実施形態における第１の構成要素と称することもある。
【００１６】
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位からなってもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位からなってもよい。したがって、特に断りのない場合でも、このように統合又は分散された実施形態も、本開示の範囲に含まれる。
【００１７】
本開示において、様々な実施形態で説明する構成要素が、必ずしも必要不可欠な構成要素を意味するものではなく、その一部は選択的な構成要素であり得る。したがって、一実施形態で説明する構成要素の部分集合で構成される実施形態も、本開示の範囲に含まれる。また、様々な実施形態で説明する構成要素にさらに他の構成要素を含む実施形態も本開示の範囲に含まれる。
【００１８】
以下、添付図面を参照して、本開示の実施形態について説明する。
【００１９】
図１は本開示の一実施形態に係るディープラーニングモデル学習装置の構成を示すブロック図である。
【００２０】
図１を参照すると、ディープラーニングモデル学習装置１０は、がん検出モデル学習部１１、パラメトリックＭＲＩ画像入力部１３、ラベリング参照情報提供部１５、及びラベリング処理部１７を含むことができる。
まず、がん検出モデル学習部１１は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）技法またはプーリング（ｐｏｏｌｉｎｇ）技法に基づいて、がん検出モデルの学習を行うことができる。特に、がん検出モデル学習部１１ががん検出モデルの学習を行うために分析対象画像の入力を受けることができ、分析対象画像に含まれている特定のオブジェクトまたは特定の領域の入力をがん領域として受ける動作、すなわち、ラベリング（Ｌａｂｅｌｉｎｇ）動作を行うことができる。
【００２１】
また、がん検出モデル学習部１１は、分析対象画像の特徴を抽出し、抽出された特徴に基づいて所定のコンテキスト情報を生成することにより、がん検出モデルを学習することができる。がん検出モデル学習部１１は、がん検出モデルの学習を繰り返し行うことにより、がん検出モデル１００を構築することができる。
がん検出モデル学習部１１は、分析対象画像としてＭＲＩ画像の入力を受けることができるが、このような分析対象画像の入力は、パラメトリックＭＲＩ画像入力部１３によって処理できる。パラメトリックＭＲＩ画像入力部１３は、ユーザの身体を磁気共鳴画像（ＭＲＩ；Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）装置によって撮影された画像、すなわち、ＭＲＩ画像をがん検出モデル学習部１１に提供することができる。
さらに、ＭＲＩ画像にさまざまなパラメータを適用して様々な画像を再構成することができるが、本開示の一実施形態では、ＭＲＩ画像に所定のパラメータを適用して再構成した画像をパラメトリックＭＲＩ画像と指示する。
【００２２】
これに基づいて、パラメトリックＭＲＩ画像入力部１３は、互いに異なるパラメータに基づいて構成された少なくとも一つのパラメトリックＭＲＩ画像をがん検出モデル学習部１１に提供することができる。ここで、少なくとも一つのパラメトリックＭＲＩ画像は、Ｔ１（Ｔ１−ｗｅｉｇｈｔｅｄ）画像、Ｔ２（Ｔ２−ｗｅｉｇｈｔｅｄ）画像、Ｔ２＊（Ｔ２  ｓｔａｒ）画像、ＡＤＣ（ａｐｐａｒｅｎｔ  ｄｉｆｆｕｓｉｏｎ  ｃ  ｏｅｆｆｉｃｉｅｎｔｓ）画像、ＦＬＡＩＲ（Ｆｌｕｉｄ  Ａｔｔｅｎｕａｔｅｄ  ｉｎｖｅｒｓｉｏｎ  ｒｅｃｏｖｅｒｙ）画像、ＳＴＩＲ（Ｓｈｏｒｔ  ＴＩ  ｉｎｖｅｒｓｉｏｎ  ｒｅｃｏｖｅｒｙ）画像、ＰＷＩ（Ｐｅｒｆｕｓｉｏｎ  ｗｅｉｇｈｔｅｄ  ｉｍａｇｅ）などを含むことができる。
【００２３】
さらに、がん検出モデル学習部１１は、ユーザ（または患者）の身体に設けられた様々な身体器官または診断領域に対するがん検出モデルを学習することができるが、各身体器官又は診断領域や、身体器官または診断領域に存在するがん領域の特性に基づいて、少なくとも一つのパラメトリックＭＲＩ画像が選択的に使用できる。このため、パラメトリックＭＲＩ画像入力部１３は、身体器官または診断領域に対応する少なくとも一つのパラメトリックＭＲＩ画像を選択的にがん検出モデル学習部１１に入力することができる。
例えば、身体器官または診断領域が前立腺領域である場合には、パラメトリックＭＲＩ画像入力部１３は、Ｔ２（Ｔ２−ｗｅｉｇｈｔｅｄ）画像やＡＤＣ（ａｐｐａｒｅｎｔ  ｄｉｆｆｕｓｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔｓ）画像などを入力することができる。別の例として、身体器官または診断領域が肝臓領域である場合には、パラメトリックＭＲＩ画像入力部１３は、ＳＴＩＲ画像、Ｔ１画像、Ｔ１  ｗｉｔｈ  Ａｇｅｎｔｓ画像、Ｔ２画像などを入力することができる。別の例として、身体器官または診断領域が脳領域である場合には、パラメトリックＭＲＩ画像入力部１３は、Ｔ１画像、Ｔ２画像、ＦＬＡＩＲなどを入力することができる。
【００２４】
また、パラメトリックＭＲＩ画像入力部１３は、ＭＲＩ画像をがん検出モデル学習部１１に提供したパラメトリックＭＲＩ画像をディスプレイなどを介して表示することができる。
【００２５】
さらに、パラメトリックＭＲＩ画像入力部１３は、ユーザの診断領域が位置した身体を撮影したＭＲＩ画像を基準としたパラメトリックＭＲＩ画像（以下、「オリジナルパラメトリックＭＲＩ画像」という）の入力を受けることができ、オリジナルパラメトリックＭＲＩ画像から診断領域を抽出したパラメトリックＭＲＩ画像（以下、「診断領域のパラメトリックＭＲＩ画像」という）を検出することができる。そして、診断領域のパラメトリックＭＲＩ画像をがん検出モデル学習部１１に提供するか、或いはディスプレイなどを介して表示することができる。
【００２６】
パラメトリックＭＲＩ画像入力部１３がオリジナルパラメトリックＭＲＩ画像から診断領域のパラメトリックＭＲＩ画像を抽出する動作は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）技法またはプーリング（ｐｏｏｌｉｎｇ）技法などに基づいて行うことができる。例えば、パラメトリックＭＲＩ画像入力部１３は、オリジナルパラメトリックＭＲＩ画像を入力とし、診断領域のパラメトリックＭＲＩ画像を出力とする学習を介して所定の学習モデルを構築することができる。そして、パラメトリックＭＲＩ画像入力部１３は、オリジナルパラメトリックＭＲＩ画像が入力されることにより、診断領域のパラメトリックＭＲＩ画像を検出して出力することができる。
【００２７】
一方、ラベリング参照情報提供部１５は、前記がん領域のラベリング処理に寄与する情報を提供することができる。
ユーザ（または患者）の診断領域を手術によって摘出し、摘出された診断領域における、がん組織が存在する領域を可視化した病理画像（Ｐａｔｈｏｌｏｇｙ  ｉｍａｇｅ）を構成することができる。これを考慮して、ラベリング参照情報提供部１５は、病理画像の入力を受けることができる環境を提供することができ、入力された病理画像をディスプレイなどを介して表示することができる。例えば、病理画像は、抽出された診断領域のがんが存在する領域を地図化した病理地図（ｐａｔｈｏｌｏｇｙ  ｍａｐ）をイメージの形で構成した画像を含むことができる。
【００２８】
さらに、Ｔ２画像やＡＤＣ画像などは、２次元形状の画像で構成されるので、画像自体に表示されない領域に存在するがん組織を確認することが困難な場合がある。これを考慮して、ラベリング参照情報提供部１５は、ＭＲＩ画像に含まれている情報を、組織内に含まれている水分子が特定の方向に拡散された情報を示すＤＷＩ（Ｄｉｆｆｕｓｉｏｎ−ｗｅｉｇｈｔｅｄ  ｉｍａｇｉｎｇ）画像を確認し、これをディスプレイなどを介して表示することができる。ここで、ＤＷＩは、ＭＲＩ撮影装置から提供されるか、或いはＭＲＩ撮影装置から提供されたＭＲＩを加工して取得することができる。
同様に、Ｔ２画像やＡＤＣ画像などは、２次元形状の画像からなるので、画像自体に表示されない領域に存在するがん組織や、組織の特性を確認するのが困難な場合がある。これを考慮して、ラベリング参照情報提供部１５は、ＤＣＥ（Ｄｙｎａｍｉｃ  Ｃｏｎｔｒａｓｔ  Ｅｎｈａｎｃｅｄ）信号情報を確認することができ、確認されたＤＣＥ信号情報を提供することが可能な環境を構築することができる。例えば、ラベリング処理部１７は、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）を表示しながら、ユーザによって指定される領域を表示する表示子を提供することができ、ユーザによって選択される領域をがん領域として設定することができる。これを考慮して、ラベリング参照情報提供部１５は、ラベリング処理部１７によって生成及び表示される前記表示子が指示する領域に対するＤＣＥ信号情報を確認し、確認されたＤＣＥ信号情報をディスプレイなどを介して表示することができる。
【００２９】
ラベリング参照情報提供部１５は、少なくとも一つの参照情報（例えば、病理画像、ＤＷＩ画像、ＤＣＥ信号情報など）をディスプレイなどを介して表示することができる。
別の例として、ラベリング参照情報提供部１５は、少なくとも一つの参照情報（例えば、病理画像、ＤＷＩ画像、ＤＣＥ信号情報など）を順次選択して表示することができる。特に、ラベリング参照情報提供部１５は、ラベリング処理部１７と連動して病理画像、ＤＷＩ画像、及びＤＣＥ信号情報を順次選択して表示することができる。例えば、ラベリング参照情報提供部１５は、Ｔ２画像、ＡＤＣ画像と一緒に病理画像を表示することができる。そして、病理画像が表示される状態で、ラベリング処理部１７によって１次的にがん領域をラベリングした情報が入力されることにより、ラベリング参照情報提供部１５は、Ｔ２画像、ＡＤＣ画像と一緒にＤＷＩ画像を表示することができる。また、ＤＷＩ画像が表示される状態で、ラベリング処理部１７によって２次的にがん領域をラベリングした情報が入力されることにより、ラベリング参照情報提供部１５は、表示子が指示する領域を確認し、当該領域に対応するＤＣＥ信号情報を確認して表示することができる。
本開示の一実施形態において、ラベリング参照情報提供部１５が少なくとも一つの参照情報を順次提供することを例示しつつ、少なくとも一つの参照情報を病理画像、ＤＷＩ画像、ＤＣＥ信号情報などとして例示したが、本開示はこれに限定されるものではなく、本開示の技術分野における通常の知識を有する者によって多様に変更できる。また、ラベリング参照情報提供部１５が提供する少なくとも一つの参照情報の順序も多様に変更できるのは勿論である。
【００３０】
さらに、各身体器官又は診断領域や、身体器官又は診断領域に存在するがん領域の特性に応じて、ラベリングの参照情報として使用できる情報（すなわち、参照情報）は多様に変更できる。これにより、ラベリング参照情報提供部１５は、各身体器官又は診断領域や、身体器官又は診断領域に存在するがん領域の特性に基づいて、前記がん領域のラベリング処理に寄与する参照情報を選択的に提供することができる。
例えば、身体器官または診断領域が前立腺領域である場合、ラベリング参照情報提供部１５は、Ｔ１  Ｃｏｎｔｒａｓｔ画像、Ｔ２  Ｃｏｎｔｒａｓｔ画像、ＰＥＴ（Ｐｏｓｉｔｒｏｎ  Ｅｍｉｓｓｉｏｎ  Ｔｏｍｏｇｒａｐｈｙ）画像、ＳＰＥＣＴ（ｓｉｎｇｌｅ  ｐｈｏｔｏｎ  ｅｍｉｓｓｉｏｎ  ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ）画像、ＤＳＡ（Ｄｉｇｉｔａｌ  Ｓｕｂｔｒａｃｔｉｏｎ  Ａｎｇｉｏｇｒａｐｈｙ）画像などを参照情報として提供することができる。他の例として、身体器官または診断領域が肝臓領域である場合には、ラベリング参照情報提供部１５は、Ｔ１  Ｃｏｎｔｒａｓｔ画像、Ｔ２  Ｃｏｎｔｒａｓｔ画像などを参照情報として提供することができる。別の例として、身体器官または診断領域が脳領域である場合には、ラベリング参照情報提供部１５は、ＦＤＧ−ＰＥＴ画像、ＳＰＥＣＴ画像などを参照情報として提供することができる。
一方、ラベリング処理部１７は、前述したように、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）を提供しつつ、がん検出モデル学習部１１ががん検出モデルを学習するための出力値を指定する動作、すなわちラベリングを行うことが可能な環境を提供することができる。
【００３１】
具体的には、ラベリング処理部１７は、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）をディスプレイに出力し、出力される少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）における、がんが存在する領域、すなわちがん領域の入力を受けることが可能なインターフェースを提供することができる。例えば、ラベリング処理部１７は、マウス装置、デジタイザ装置、タッチスクリーン装置などの外部入力装置を介して連結でき、外部入力装置によって指定される領域に所定の表示子を出力し、外部入力装置を介して選択される領域を前立腺がん領域として設定することができる。
【００３２】
以下、図１と図２ａ〜図２ｅを参照して、前述したディープランニングモデル学習装置の動作を説明する。
本開示の一実施形態に係るディープラーニングモデル学習装置の動作説明において、診断領域は前立腺領域として例示し、診断領域に存在するがんは前立腺がんとして例示し、がんが存在する領域は前立腺がん領域として例示する。
【００３３】
図２ａ〜図２ｅは本開示の一実施形態に係るディープラーニングモデル学習装置の動作によって処理される情報を例示する図である。
【００３４】
まず、パラメトリックＭＲＩ画像入力部１３は、少なくとも一つのパラメトリックＭＲＩ 画像をがん検出モデル学習部１１に提供することができる。ここで、少なくとも一つのパラメトリックＭＲＩ画像は、ＭＲＩ画像にさまざまなパラメータを適用して再構成した画像であって、Ｔ２（Ｔ２−ｗｅｉｇｈｔｅｄ）画像、ＡＤＣ（ａｐｐａｒｅｎｔ  ｄｉｆｆｕｓｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔｓ）画像、ＤＷＩ（Ｄｉｆｆｕｓｉｏｎ−ｗｅｉｇｈｔｅｄ  ｉｍａｇｉｎｇ）画像などを含むができる。
パラメトリックＭＲＩ画像入力部１３は、オリジナルパラメトリックＭＲＩ画像２０１、２０２（図２ａ参照）の入力を受けることができ、オリジナルパラメトリックＭＲＩ画像２０１、２０２から前立腺領域を抽出したパラメトリックＭＲＩ画像、すなわち、前立腺領域のパラメトリックＭＲＩ画像２０３、２０４を検出することができる。そして、パラメトリックＭＲＩ画像入力部１３は、前立腺領域のパラメトリックＭＲＩ画像２０３、２０４をがん検出モデル学習部１１に提供することができる。
【００３５】
パラメトリックＭＲＩ画像入力部１３は、前立腺領域のパラメトリックＭＲＩ画像２０３、２０４を提供する画面２００（図２ｂを参照）を表示することができる。
一方、ユーザ（または患者）の前立腺を抽出し、抽出された前立腺における、がん組織が存在する領域を可視化した病理画像を構成することができるが、ラベリング参照情報提供部１５は、このような病理画像の入力を受けることが可能な環境を提供することができる。そして、ラベリング参照情報提供部１５は、入力された病理画像２０５を画面２００の一領域を介して表示することができる。
【００３６】
そして、ラベリング処理部１７は、パラメトリックＭＲＩ画像入力部１３が提供する、前立腺領域のパラメトリックＭＲＩ画像２０３、２０４と、ラベリング参照情報提供部１５が提供する、病理画像２０５を表示する画面の一領域にラベリングを行うことが可能なユーザインターフェース２１０とを提供することができる。
前記ユーザインターフェース２１０は、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）２１１を含むことができる。また、前記ユーザインターフェース２１０は、マウス装置、デジタイザ装置、タッチスクリーン装置などの外部入力装置を介して接続でき、外部入力装置によって指定される領域に出力される所定の表示子２１２を含むことができる。また、ラベリング処理部１７は、表示子２１２を介して選択される所定の領域を前立腺がん領域として設定することができ、ユーザインターフェース２１０は、前立腺がん領域として設定された当該領域を表示するラベリングインジケータ２１３を含むことができる。
【００３７】
ユーザインターフェース２１０を介して前立腺がん領域が設定されると、ラベリング処理部１７は、ラベルリングされた領域をがん検出モデル学習部１１に提供する。これにより、がん検出モデル学習部１１は、前立腺領域のパラメトリックＭＲＩ画像２０３、２０４を入力とし、ラベルリングされた領域を出力として前立腺がん検出モデルを学習することができる。
【００３８】
さらに、ＭＲＩ画像は様々なパラメータを含むことができるが、Ｔ２画像やＡＤＣ画像などは、２次元画像からなるので、画像自体に表示されない領域に存在するがん組織を確認することが困難な場合がある。
一方、ＭＲＩに基づいて取得される画像のうち、ＤＷＩ（Ｄｉｆｆｕｓｉｏｎ−ｗｅｉｇｈｔｅｄ  ｉｍａｇｉｎｇ）画像は、ＭＲＩ画像に含まれている情報を組織内に含まれた水分子が特定の方向に拡散された情報を示すことができるので、Ｔ２画像やＡＤＣ画像などに表示されない情報を表現することができる。これを考慮して、パラメトリックＭＲＩ画像入力部１３が入力するパラメトリックＭＲＩ画像はＤＷＩ画像を含むことができる。同様に、パラメトリックＭＲＩ画像入力部１３が入力するパラメトリックＭＲＩ画像は、ＤＣＥ（Ｄｙｎａｍｉｃ  Ｃｏｎｔｒａｓｔ  Ｅｎｈａｎｃｅｄ）−ＭＲＩ画像をさらに含むことができる。
【００３９】
また、ラベリング参照情報提供部１５は、ＤＣＥ（Ｄｙｎａｍｉｃ  Ｃｏｎｔｒａｓｔ  Ｅｎｈａｎｃｅｄ）信号情報を確認することができ、ＤＣＥ信号情報２０７を画面２００の一領域を介して表示することもできる。ＤＣＥ信号情報２０７は、該当器官の明るさを確認する情報であって、ＭＲＩに基づいて取得される画像から所定の領域を選択し、選択された領域の明るさ情報を示す情報であることができる。よって、ラベリング参照情報提供部１５は、ラベリング処理部１７と連動して、選択された領域を確認し、これに対応するＤＣＥ信号情報２０７を表示することができる。
【００４０】
他の例として、ラベリング参照情報提供部１５は、病理画像２０５、ＤＷＩ画像２０６、及びＤＣＥ信号情報２０７を順次提供することができる。
【００４１】
さらに、ラベリング参照情報提供部１５は、参照情報として、Ｔ１  Ｃｏｎｔｒａｓｔ画像、Ｔ２  Ｃｏｎｔｒａｓｔ画像、ＰＥＴ（Ｐｏｓｉｔｒｏｎ  Ｅｍｉｓｓｉｏｎ  Ｔｏｍｏｇｒａｐｈｙ）画像、ＳＰＥＣＴ（ｓｉｎｇｌｅ  ｐｈｏｔｏｎ  ｅｍｉｓｓｉｏｎ  ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ）画像、ＤＳＡ（Ｄｉｇｉｔａｌ  Ｓｕｂｔｒａｃｔｉｏｎ  Ａｎｇｉｏｇｒａｐｈｙ）画像などを提供することもできる。
ラベリング参照情報提供部１５は、病理画像２０５を提供し、ラベリング処理部１７が病理画像２０５をベースにしたラベリング処理を行うと、ＤＷＩ画像２０６を提供することができる。その後、ラベリング処理部１７がＤＷＩ画像２０６をベースにしたラベリング処理を完了すると、ＤＣＥ信号情報２０７を提供することができる。
より具体的には、前述したように、ラベリング参照情報提供部１５が第１画面２２０（図２ｃ参照）を介して前立腺領域のパラメトリックＭＲＩ画像２０３、２０４と病理画像２０５を提供し、ラベリング処理部１７が第１ユーザインターフェース２３０を介して選択される領域をがん領域として設定することにより、病理画像２０５をベースにしたラベリング処理を行うことができる。
【００４２】
そして、がん検出モデル学習部１１は、前立腺領域のパラメトリックＭＲＩ画像２０３、２０４を入力とし、病理画像２０５に基づいてラベリングされた領域を出力としてがん検出モデル１００を学習することができる。
【００４３】
さらに、前立腺領域などの診断領域は、３次元形状からなるので、診断領域の３次元構造で病変が現れる特性を検出することががん検出モデル１００の性能を高めることができる。また、診断領域内での変化、例えば、組織の水の拡散、造影剤の増加などを診断の指標として使用する場合には、より正確な診断が可能である。前述したところを考慮して、パラメトリックＭＲＩ画像入力部１３は、ＤＷＩ、ＤＣＥなどの情報を入力することができるが、診断領域の３次元構造、又は診断領域内での変化が現れるよう、動画形式で構成して入力することができる。これに対応して、がん検出モデル学習部１１は、静止画形式のパラメトリックＭＲＩ画像と動画形式のパラメトリックＭＲＩ画像の両方を用いてがん検出モデル１００の学習を行うことができる。がん検出モデル学習部１１ががん検出モデル１００を学習する動作は、下記の図３、図４、図７及びそれに関連する説明によって詳細に説明する。
【００４４】
その後、ラベリング参照情報提供部１５は、第２画面２４０（図２ｄ参照）を介して前立腺領域のパラメトリックＭＲＩ画像２０３、２０４とＤＷＩ画像２０６を表示することができる。そして、ラベリング処理部１７は、パラメトリックＭＲＩ画像入力部１３が提供する前立腺領域のパラメトリックＭＲＩ画像２０３、２０４と、ラベリング参照情報提供部１５が提供するＤＷＩ画像２０６を表示する画面２４０の一領域にラベリングを行うことができる第２ユーザインターフェース２５０を提供することができる。ここで、第２ユーザインターフェース２５０は、前述した第１ユーザインターフェース２３０と同様に、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）２５１、表示子２５２、及びラベリングインジケータ２５３を含むことができる。
【００４５】
このような環境で、ラベリング処理部１７は、第２ユーザインターフェース２５０を介して選択される領域を前立腺がん領域として設定することにより、ＤＷＩ画像２０６をベースにしたラベリングを行うことができる。そして、がん検出モデル学習部１１は、前立腺領域のパラメトリックＭＲＩ画像２０３、２０４を入力とし、ＤＷＩ画像２０６に基づいてラベリングされた領域を出力として前立腺がん検出モデルを学習することができる。
【００４６】
さらに、がん検出モデル学習部１１は、病理画像２０５に基づいてラベリングされた前立腺がん領域を入力として処理することもできる。
【００４７】
また、ラベリング参照情報提供部１５は、第３画面２６０（図２ｅ参照）を介して前立腺領域のパラメトリックＭＲＩ画像２０３、２０４とＤＣＥ信号情報２０７を表示することができる。そして、ラベリング処理部１７は、パラメトリックＭＲＩ画像入力部１３が提供する、前立腺領域のパラメトリックＭＲＩ画像２０３、２０４と、ラベリング参照情報提供部１５が提供するＤＣＥ信号情報２０７を表示する画面２６０の一領域にラベリングを行うことができる第３ユーザインターフェース２７０を提供することができる。ここで、第３ユーザインターフェース２７０は、前述した第１ユーザインターフェース２３０と同様に、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）２７１、表示子２７２、ラベリングインジケータ２７３などを含むことができる。
このような環境で、ラベリング処理部１７は、第３ユーザインターフェース２７０を介して選択される領域を前立腺がん領域として設定することにより、ＤＣＥ信号情報２０７をベースにしたラベリング処理を行うことができる。そして、がん検出モデル学習部１１は、前立腺領域のパラメトリックＭＲＩ画像２０３、２０４を入力とし、ＤＣＥ信号情報２０７に基づいてラベリングされた領域を出力として前立腺がん検出モデルを学習することができる。
【００４８】
さらに、がん検出モデル学習部１１は、ＤＷＩ画像２０６に基づいてラベリングされた前立腺がん領域を入力として処理することもできる。
本開示の一実施形態において、ラベリング参照情報提供部１５が病理画像２０５、ＤＷＩ画像２０６、及びＤＣＥ信号情報２０７の順で参照情報を提供することを例示したが、本開示はこれに限定されるものではない。ラベリング参照情報提供部１５が参照情報を提供する順序は、さまざまに変更できる。
【００４９】
また、本開示の一実施形態において、ラベリング参照情報提供部１５が提供する参照情報を病理画像２０５、ＤＷＩ画像２０６、ＤＣＥ信号情報２０７などとして例示したが、本開示はこれに限定されるものではなく、ラベリング参照情報提供部１５が提供する参照情報は、本開示の技術分野における通常の知識を有する者によって多様に変更できる。
また、本開示の一実施形態において、がん検出モデル学習部１１が前記少なくとも一つのパラメトリックＭＲＩ画像を基本的な入力としてディープラーニングモデルを学習することを例示した。本開示はこれに限定されるものではなく、多様に変更できるのはもちろんである。例えば、がん検出モデル学習部１１は、ＤＷＩ画像及びＤＣＥ信号情報のうちの少なくとも一つを入力として使用することができる。つまり、がん検出モデル学習部１１は、少なくとも一つのパラメトリックＭＲＩ画像及びＤＷＩ画像に基づくラベリング情報を用いてディープラーニングモデルを学習するときに、少なくとも一つのパラメトリックＭＲＩ画像と共にＤＷＩ画像を入力として使用することができる。同様に、がん検出モデル学習部１１は、少なくとも一つのパラメトリックＭＲＩ画像及びＤＣＥ信号情報に基づくラベリング情報を用いてディープラーニングモデルを学習するときに、少なくとも一つのパラメトリックＭＲＩ画像と共にＤＣＥ信号を入力として使用することができる。
【００５０】
さらに、がん検出モデル学習部１１は、少なくとも一つのパラメトリックＭＲＩ画像及び病理情報に基づくラベリング情報を用いてディープラーニングモデルを学習するときに、少なくとも一つのパラメトリックＭＲＩ画像と共に病理情報を入力として使用することもできる。
たとえ、本開示の実施形態において、診断領域を前立腺領域として例示し、がんが存在する領域は前立腺がん領域として例示しているが、本開示はこれに限定されるものではなく、他の診断領域に多様に変更して適用することができるのはもちろんである。
例えば、図２ｆ及び図２ｇに例示されているように、診断領域を肝臓が存在する領域として適用することができ、がんが存在する領域は肝がん領域として適用することができる。これにより、がん検出モデル学習部１１は、肝臓が存在する領域又は肝がん領域を考慮して動作することができる。
具体的には、パラメトリックＭＲＩ画像入力部１３は、少なくとも一つのパラメトリックＭＲＩ画像として、ＳＴＩＲ（Ｓｈｏｒｔ  ＴＩ  ｉｎｖｅｒｓｉｏｎ  ｒｅｃｏｖｅｒｙ）画像、Ｔ１（Ｔ１−ｗｅｉｇｈｔｅｄ）画像、Ｔ１  ｗｉｔｈ  Ａｇｅｎｔｓ画像などのオリジナルパラメトリックＭＲＩ画像２８１、２８２、２８３、２８４（図２ｆ参照）から肝臓領域を抽出したパラメトリックＭＲＩ画像、すなわち、肝臓領域のパラメトリックＭＲＩ画像２８５、２８６、２８７、２８８を検出及び提供することができる。
【００５１】
ラベリング処理部１７は、ラベリング参照情報提供部１５が提供する参照情報（例えば、Ｔ１  Ｃｏｎｔｒａｓｔ画像、Ｔ２  Ｃｏｎｔｒａｓｔ画像など）に基づいて選択される領域を肝がん領域として設定することにより、参照情報をベースにしたラベリング処理を行うことができる。そして、がん検出モデル学習部１１は、肝臓領域のパラメトリックＭＲＩ画像２８５、２８６、２８７、２８８を入力とし、参照情報に基づいてラベリングされた領域２９１、２９２、２９３、２９４（図２ｇ参照）を出力として肝がん検出モデルを学習することができる。
【００５２】
別の例として、診断領域を脳が存在する領域として適用することができ、がんが存在する領域は脳腫瘍領域として適用することができる。これにより、がん検出モデル学習部１１は、脳が存在する領域又は脳腫瘍領域を考慮して動作することができる。つまり、パラメトリックＭＲＩ画像入力部１３は、少なくとも一つのパラメトリックＭＲＩ画像としてＴ１、Ｔ２、ＦＬＡＩＲ画像などのオリジナルパラメトリックＭＲＩ画像から脳領域を抽出したパラメトリックＭＲＩ画像、すなわち、脳領域のパラメトリックＭＲＩ画像を検出及び提供することができる。そして、ラベリング処理部１７は、ラベリング参照情報提供部１５が提供する参照情報（例えば、ＦＤＧ−ＰＥＴ、ＳＰＥＣＴの情報など）に基づいて選択される領域を脳腫瘍領域として設定することにより、参照情報をベースにしたラベリング処理を行うことができる。このような動作によって、がん検出モデル学習部１１は、脳領域のパラメトリックＭＲＩ画像を入力とし、参照情報に基づいてラベリングされた領域を出力として脳腫瘍検出モデルを学習することができる。
【００５３】
図３は本開示の一実施形態に係るディープラーニングモデル学習装置に備えられるパラメトリックＭＲＩ画像入力部及びがん検出モデル学習部の詳細構成を示すブロック図である。
【００５４】
図３を参照すると、パラメトリックＭＲＩ画像入力部３０は、パラメトリックＭＲＩ画像提供部３１及びＭＲＩ動画構成部３３を含むことができる。パラメトリックＭＲＩ画像提供部３１は、静止画形式のパラメトリックＭＲＩ画像、例えば、Ｔ１、Ｔ２、ＡＤＣ、ＤＷＩ画像などを確認してがん検出モデル学習部３５に提供することができる。そして、ＭＲＩ動画構成部３３は、時間的な変化が発生するパラメトリックＭＲＩ画像（例えば、ＤＷＩ、ＤＣＥ画像など）に対して動画形式で構成して提供することができる。具体的には、ＭＲＩ動画構成部３３は、組織内にある水分子の微細な運動性を用いて細胞の配列状態を示すＤＷＩ画像を所定の時間単位ごとに連続的に撮影し、連続的に撮影されたＤＷＩ画像を組み合わせてＤＷＩ動画を構成することができる。他の例として、ＭＲＩ動画構成部３３は、造影剤の注入後に造影増強度の変化を測定して組織の血流状態を評価するＤＣＥ画像を所定の時間単位ごとに連続的に撮影し、連続的に撮影されたＤＣＥ画像を組み合わせてＤＣＥ動画を構成することができる。
【００５５】
がん検出モデル学習部３５は、画像基盤ＭＲＩ学習部３６、及び学習モデル補正部３７を含むことができる。まず、画像基盤ＭＲＩ学習部３６は、画像形式のパラメトリックＭＲＩに対する学習を行うことにより、がん検出モデルに対する学習を行うことができる。このとき、画像基盤ＭＲＩ学習部３６は、パラメトリックＭＲＩ画像提供部３１が提供する少なくとも一つのパラメトリックＭＲＩ画像に、畳み込みニューラルネットワーク（ＣＮＮ）技法又はプーリング（ｐｏｏｌｉｎｇ）技法を適用してがん検出モデルの基本レイヤーを構築することができる。このとき、使用されるパラメトリックＭＲＩ画像は多様に変更できる。画像基盤ＭＲＩ学習部３６を介してがん検出モデルの基本レイヤーが構築された後、学習モデル補正部３７は、ＭＲＩ動画構成部３３が提供するＭＲＩ動画を用いてがん検出モデルの拡張レイヤーを構築することにより、がん検出モデルに対する補正を行うことができる。例えば、学習モデル補正部３７は、ＭＲＩ動画に備えられたそれぞれのフレームに対する空間的特性を検出した後、各フレームの時間的配列による特性を検出するように拡張レイヤーを構築することができる。このとき、それぞれのフレームに対する空間的特性は、畳み込みニューラルネットワーク（ＣＮＮ）技法又はプーリング（ｐｏｏｌｉｎｇ）技法に基づいて構築でき、各フレームの時間的配列による特性は、回帰型ニューラルネットワーク（ＲＮＮ；Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｒｗｏｒｋ）学習方式に基づいて構築できる。
【００５６】
さらに、学習モデル補正部３７は、複数の拡張レイヤーを段階的に構築するように構成できる。例えば、学習モデル補正部３７は、第１補正部３７ａ及び第２補正部３７ｂを含むことができる。第１補正部３７ａは、第１ＭＲＩ動画を用いてがん検出モデルの第１拡張レイヤーを構築するように構成され、第２補正部３７ｂは、第２ＭＲＩ動画を用いてがん検出モデルの第２拡張レイヤーを構築するように構成できる。これにより、がん検出モデルは、基本レイヤー４０１、第１拡張レイヤー４０２、及び第２拡張レイヤー４０３が順次接続できるように構成できる。さらに、第１ＭＲＩ動画及び第２ＭＲＩ動画は、それぞれ異なる種類のＭＲＩ動画であることができる。例えば、第１ＭＲＩ動画は、連続的に撮影されたＤＷＩ画像を組み合わせて構成されたＤＷＩ動画であることができ、第２ＭＲＩ動画は、連続的に撮影されたＤＣＥ画像を組み合わせて構成されたＤＣＥ動画であることができる。
【００５７】
図５は図３の画像基盤ＭＲＩ学習部の詳細構成を例示する図である。
図５を参照すると、がん検出モデル学習部５０は、特徴抽出部５１、コンテキスト生成部５２、並びに特徴及びコンテキスト分析部５３を含むことができる。ただし、これは、本実施形態を説明するために必要な一部の構成要素だけを図示したものであり、がん検出モデル学習部５０に含まれている構成要素は、前述した例に限定されるものではない。
【００５８】
がん検出モデル学習部５０は、分析対象画像の特徴を抽出し、抽出された特徴に基づいてコンテキスト情報を生成し、抽出された特徴及び生成されたコンテキスト情報に基づいて分析対象画像を分析することができる。例えば、がん検出モデル学習部５０は、抽出された特徴及び生成されたコンテキスト情報を用いて画像を分類するか、或いは関心のあるオブジェクトの位置を見つけることができる。
がん検出モデル学習部５０の入力画像は、少なくとも一つのパラメトリックＭＲＩ画像であることができる。前記少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像、ＡＤＣ画像など）は、ＭＲＩから所定のパラメータに基づいて再構成されたｒａｗ画像であるか、前記ｒａｗ画像を保存又は伝送するための任意形式の画像であることができる。
特徴抽出部５１は、入力画像を分析して画像の特徴を抽出することができる。例えば、前記特徴は、画像の領域ごとの局所的な特徴であることができる。一実施形態に係る特徴抽出部５１は、一般的な畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）技法又はプーリング（ｐｏｏｌｉｎｇ）技法を用いて入力画像の特徴を抽出することができる。前記プーリング技法は、最大（ｍａｘ）プーリング技法及び平均（ａｖｅｒａｇｅ）プーリング技法のうちの少なくとも一つを含むことができる。しかし、本開示に記載されるプーリング技法は、最大プーリング技法又は平均プーリング技法に限定されず、所定の大きさの画像領域の代表値を取得する任意の技法を含む。例えば、プーリング技法に使用される代表値は、最大値及び平均値の他に、分散値、標準偏差値、中央値（ｍｅａｎ  ｖａｌｕｅ）、最頻値（ｍｏｓｔ  ｆｒｅｑｕｅｎｔ  ｖａｌｕｅ）、最小値、加重平均値などのうちの少なくとも一つであることができる。
【００５９】
本開示の畳み込みニューラルネットワークは、入力データ（画像）から縁、線色などの「特徴（ｆｅａｔｕｒｅｓ）」を抽出するために使用でき、複数の階層（ｌａｙｅｒｓ）を含むことができる。それぞれの階層は、入力データを受信し、当該階層の入力データを処理して出力データを生成することができる。畳み込みニューラルネットワークは、入力された画像、又は入力された特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）をフィルタカーネル（ｆｉｌｔｅｒ  ｋｅｒｎｅｌｓ）と畳み込みして生成した特徴マップを出力データとして出力することができる。畳み込みニューラルネットワークの初期階層は、入力からエッジ又はグラジエントなどの低レベルの特徴を抽出するように動作できる。ニューラルネットワークの次の階層は、目、鼻などの漸進的にさらに複雑な特徴を抽出することができる。
【００６０】
畳み込みニューラルネットワークは、畳み込み演算が行われる畳み込み階層の他にも、プーリング演算が行われるプーリング階層も含むことができる。プーリング技法は、プール階層でデータの空間的サイズを縮小するのに使用される技法である。具体的には、プーリング技法には、当該領域から最大値を選択する最大プーリング（ｍａｘ  ｐｏｏｌｉｎｇ）技法と、当該領域の平均値を選択する平均プーリング（ａｖｅｒａｇｅ  ｐｏｏｌｉｎｇ）技法があり、画像認識分野では、一般的に最大プーリング技法が使用される。プーリング技法では、一般的にプーリングのウィンドウサイズと間隔（ストライド、ｓｔｒｉｄｅ）を同じ値に設定する。ここで、ストライドとは、入力データにフィルタを適用するときに移動する間隔を調節すること、すなわち、フィルタが移動する間隔を意味し、ストライドも、出力データの大きさを調節するために使用できる。プーリング技法の具体的な動作については、図６を参照して後述する。
【００６１】
本開示の一実施形態に係る特徴抽出部５１は、分析対象画像の特徴を抽出するための前処理（ｐｒｅ−ｐｒｏｃｅｓｓｉｎｇ）であって、分析対象画像にフィルタリングを適用することができる。前記フィルタリングは、高速フーリエ変換（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ、ＦＦＴ）、ヒストグラム平滑化（ｈｉｓｔｏｇｒａｍ  ｅｑｕａｌｉｚａｔｉｏｎ）、モーションアーチファクト（ｍｏｔｉｏｎ  ａｒｔｉｆａｃｔ）除去又はノイズ（ｎｏｉｓｅ）除去などであることができる。しかし、本開示のフィルタリングは、上記に列挙した方法に限定されず、画像の品質を改善することが可能なすべての形態のフィルタリングを含むことができる。
コンテキスト生成部５２は、特徴抽出部５１から抽出された入力画像の特徴を用いて入力画像（分析対象画像）のコンテキスト情報を生成することができる。例えば、前記コンテキスト情報は、分析対象画像の全体又は一部の領域を示す代表値であることができる。また、前記コンテキスト情報は、入力画像の大域的なコンテキスト情報であることができる。一実施形態に係るコンテキスト生成部５２は、畳み込みニューラルネットワーク技法又はプーリング技法を特徴抽出部５１から抽出された特徴に適用してコンテキスト情報を生成することができる。前記プーリング技法は、例えば平均プーリング（ａｖｅｒａｇｅ  ｐｏｏｌｉｎｇ）技法であることができる。
特徴及びコンテキスト分析部５３は、特徴抽出部５１で抽出された特徴及びコンテキスト生成部５２で生成されたコンテキスト情報に基づいて画像を分析することができる。一実施形態に係る特徴、及びコンテキスト分析部５３は、特徴抽出部５１で抽出された画像の領域ごとの局所的な特徴及びコンテキスト生成部５２で再構成された大域的なコンテキストを結合（ｃｏｎｃａｔｅｎａｔｅ）するなどの方式を一緒に用いて、入力画像を分類したり、入力画像に含まれている関心のあるオブジェクトの位置などを見つけたりするのに利用できる。入力画像内の特定の２次元位置での情報は、局所的な特徴情報だけでなく、大域的なコンテキスト情報まで含むので、特徴及びコンテキスト分析部５３は、これらの情報を用いることにより、実際の内容は異なるが、局所的な特徴情報が類似する入力画像に対して、より正確な認識又は分類などが可能となる。
【００６２】
前述したように、本開示の一実施形態に係る発明は、一般的な畳み込みニューラルネットワーク技法が使用する局所的な特徴だけでなく、大域的なコンテキスト情報を一緒に使用することにより、より正確で効率的な学習及び画像分析が可能となる。このような観点から、本開示による発明を「コンテキスト分析による深層ニューラルネットワーク」とすることができる。
【００６３】
図６は本開示の一実施形態による画像のコンテキスト情報を生成し分析する過程を示す図である。
【００６４】
図６を参照すると、特徴抽出部５１は、入力画像６０１を用いて入力画像６０１から特徴を抽出し、抽出された特徴情報を含む特徴画像６０２を生成することができる。前記抽出された特徴は、入力画像の局所領域に対する特徴であることができる。前記入力画像６０１は、画像分析装置の入力画像又は畳み込みニューラルネットワークモデル内の各階層での特徴マップを含むことができる。また、前記特徴画像６０２は、入力画像６０１に対して畳み込みニューラルネットワーク技法及び／又はプーリング技法を適用して取得された特徴マップ及び／又は特徴ベクトルを含むことができる。
コンテキスト生成部５２は、特徴抽出部５１で抽出された特徴画像６０２に対して畳み込みニューラルネットワーク技法及び／又はプーリング技法を適用してコンテキスト情報を生成することができる。例えば、コンテキスト生成部５２は、プーリングの間隔（ｓｔｒｉｄｅ）を多様に調節することにより、画像全体、４等分領域、９等分領域などの様々なサイズ（ｓｃａｌｅ）のコンテキスト情報を生成することができる。図６を参照すると、画像全体サイズの画像に対するコンテキスト情報を含む全体コンテキスト情報画像６１１、画像全体を４等分したサイズの４等分画像に対するコンテキスト情報を含む４等分コンテキスト情報画像６１２、及び画像全体を９等分したサイズの９等分画像に対するコンテキスト情報を含む９等分コンテキスト情報画像６１３が取得できる。
【００６５】
特徴及びコンテキスト分析部５３は、前記特徴画像６０２と前記コンテキスト情報画像６１１、６１２、６１３をすべて用いて、分析対象画像の特定の領域に対する分析をより正確に行うことができる。
【００６６】
例えば、前立腺がんと類似する形状を有する良性腫瘍が含まれている画像が入力画像である場合、特徴抽出部５１が抽出した局所的な特徴を含む特徴画像６０２からは、前記識別されたオブジェクトが前立腺がんであるか良性腫瘍であるかを正確に判断することができない。つまり、特徴抽出部５１は、局所的な特徴に基づいてオブジェクトの形状を認識することができるが、当該オブジェクトの形状だけでは正確にオブジェクトを識別し分類することができない場合がある
本開示の一実施形態に係るコンテキスト生成部５２は、前記分析対象画像又は前記特徴画像６０２に基づいてコンテキスト情報４１１、４１２、４１３を生成することにより、より正確にオブジェクトを識別し分類することができる。
【００６７】
本開示の一実施形態に係る特徴及びコンテキスト分析部５３は、前記コンテキスト情報を活用することにより、前記前立腺がん又は良性腫瘍の形状を有するオブジェクトを「前立腺がん」として識別することができる。
【００６８】
図６を参照して説明した実施形態では、全体画像に対するコンテキスト情報、４等分画像に対するコンテキスト情報、９等分画像に対するコンテキスト情報を生成し活用することについて説明したが、コンテキスト情報を抽出する画像の大きさはこれに限定されない。例えば、前述した大きさの画像以外の大きさを有する画像に対するコンテキスト情報を生成し、活用することもできる。
図７は図３の学習モデル補正部の詳細構成を例示する図である。
学習モデル補正部７０は、空間特性学習部７１及びフレーム特性学習部７２を含むことができる。
空間特性学習部７１は、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎのそれぞれについての学習を行って空間特性学習モデルを構築することができ、好ましくは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）学習方式に基づいて空間特性学習モデルを構築することができる。
【００６９】
空間特性学習部７１の空間特性学習モデルの構築時に画像フレームＦ１、Ｆ２、…、Ｆｎに対応する時間又は配列順序に対する情報を考慮することができる。例えば、空間特性学習モデルには、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎの数に対応するＣＮＮが備えられ、空間特性学習部７１は、第１画像フレームＦ１を第１ＣＮＮの入力として伝達し、第２画像フレームＦ２を第２ＣＮＮの入力として伝達し、第ｎ画像フレームＦｎを第ｎＣＮＮの入力として伝達するように構成することができる。
【００７０】
これに対応して、空間特性学習モデル７１に備えられる複数のＣＮＮは、複数の画像フレームＦ１、Ｆ２、…、Ｆｎのそれぞれに対応する複数の空間特性を出力することができ、空間特性学習部７１は、前述した複数の空間特性を順次配列してシーケンシャルデータに構成することができる。このとき、空間特性学習部７１は、画像フレームＦ１、Ｆ２、…、Ｆｎに対応する時間又は配列順序に対する情報を考慮して、シーケンシャル（Ｓｅｑｕｅｎｔｉａｌ）データを構成することができる。
一方、フレーム特性学習部７２は、シーケンシャルデータからなる複数の空間特性の入力を受け、画像フレーム間の関係に対する特性（すなわち、フレーム特性）を検出する学習を行うことができる。好ましくは、フレーム特性学習部７２は、回帰型ニューラルネットワーク（ＲＮＮ；Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｒｗｏｒｋ）学習方式に基づいてフレーム特性学習モデルを構築することができる。
【００７１】
回帰型ニューラルネットワーク（ＲＮＮ）は、現在のデータと過去のデータを同時に考慮するディープラーニング技法であって、回帰型ニューラルネットワーク（ＲＮＮ）は、人工ニューラルネットワークを構成するユニット間の接続が方向性サイクル（ｄｉｒｅｃｔｅｄ  ｃｙｃｌｅ）を構成するニューラルネットワークを示す。さらに、回帰型ニューラルネットワーク（ＲＮＮ）を構成することが可能な構造にはさまざまな方式が使用できるが、例えば、ＦＲＮ（Ｆｕｌｌｙ  Ｒｅｃｕｒｒｅｎｔ  Ｎｅｔｗｏｒｋ）、ホップフィールドネットワーク（Ｈｏｐｆｉｅｌｄ  Ｎｅｔｗｏｒｋ）、エルマンネットワーク（Ｅｌｍａｎ  Ｎｅｔｗｏｒｋ）、ＥＳＮ（Ｅｃｈｏ  ｓｔａｔｅ  ｎｅｔｗｏｒｋ）、ＬＳＴＭ（Ｌｏｎｇ  ｓｈｏｒｔ  ｔｅｒｍ  ｍｅｍｏｒｙ  ｎｅｔｗｏｒｋ）、双方向（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ）ＲＮＮ、ＣＴＲＮＮ（Ｃｏｎｔｉｎｕｏｕｓ−ｔｉｍｅ  ＲＮＮ）、階層的ＲＮＮ、２次ＲＮＮなどが代表的な例である。また、回帰型ニューラルネットワーク（ＲＮＮ）を学習させるための方法として、勾配降下法、Ｈｅｓｓｉａｎ  Ｆｒｅｅ  Ｏｐｔｉｍｉｚａｔｉｏｎ、Ｇｌｏｂａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ  Ｍｅｔｈｏｄなどの方式が使用できる。
一方、空間特性情報は、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎから抽出された情報なので、フレーム特性学習部７２は、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎの時間的情報を確認し、確認された時間的情報に基づいて、空間特性情報に対するフレーム特性学習を処理することができる。空間特性情報は、フレーム特性学習モデルに順次入力でき、フレーム特性学習モデルは、フレーム特性７００−１、７００−２、７００−ｎを順次出力することができる。
【００７２】
図８は本開示の一実施形態に係るディープラーニングモデル学習方法の手順を示すフローチャートである。
【００７３】
本開示の一実施形態に係るディープラーニングモデル学習方法は、前述したディープランニングモデル学習装置によって行われ得る。
Ｓ８０１段階で、ディープラーニングモデル学習装置は、少なくとも一つのパラメトリックＭＲＩ画像を提供することができる。ユーザの身体を磁気共鳴画像（ＭＲＩ、Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）装置によって撮影された画像、すなわち、ＭＲＩ画像にさまざまなパラメータを適用して様々な画像を再構成することができるが、本開示の一実施形態では、ＭＲＩ画像に所定のパラメータを適用して再構成した画像をパラメトリックＭＲＩ画像と指示する。ここで、少なくとも一つのパラメトリックＭＲＩ画像は、Ｔ１（Ｔ１−ｗｅｉｇｈｔｅｄ）画像、Ｔ２（Ｔ２−ｗｅｉｇｈｔｅｄ）画像、Ｔ２＊（Ｔ２  ｓｔａｒ）画像、ＡＤＣ（ａｐｐａｒｅｎｔ  ｄｉｆｆｕｓｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔｓ）画像、ＦＬＡＩＲ（Ｆｌｕｉｄ  Ａｔｔｅｎｕａｔｅｄ  ｉｎｖｅｒｓｉｏｎ  ｒｅｃｏｖｅｒｙ）画像、ＳＴＩＲ（Ｓｈｏｒｔ  ＴＩ  ｉｎｖｅｒｓｉｏｎ  ｒｅｃｏｖｅｒｙ）画像、ＰＷＩ（Ｐｅｒｆｕｓｉｏｎ  ｗｅｉｇｈｔｅｄ  ｉｍａｇｅ）などを含むことができる。
【００７４】
さらに、ディープラーニングモデル学習装置は、ユーザ（又は患者）の身体に設けられた様々な身体器官又は診断領域に対するがん検出モデルを学習することができるが、各身体器官又は診断領域や、身体器官又は診断領域に存在するがん領域の特性に基づいて、少なくとも一つのパラメトリックＭＲＩ画像が選択的に使用できる。そのため、ディープラーニングモデル学習装置は、身体器官又は診断領域に対応する少なくとも一つのパラメトリックＭＲＩ画像を選択的にディープランニングモデルに入力することができる。
【００７５】
例えば、身体器官又は診断領域が前立腺領域である場合には、ディープラーニングモデル学習装置は、Ｔ２（Ｔ２−ｗｅｉｇｈｔｅｄ）画像、ＡＤＣ（ａｐｐａｒｅｎｔ  ｄｉｆｆｕｓｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔｓ）画像などを入力することができる。他の例として、身体器官又は診断領域が肝臓領域である場合には、ディープラーニングモデル学習装置は、ＳＴＩＲ画像、Ｔ１画像、Ｔ１  ｗｉｔｈ  Ａｇｅｎｔｓ画像、Ｔ２画像などを入力することができる。別の例として、身体器官又は診断領域が脳領域である場合には、ディープラーニングモデル学習装置はＴ１画像、Ｔ２画像、ＦＬＡＩＲ画像などを入力することができる。
【００７６】
さらに、少なくとも一つのパラメトリックＭＲＩ画像は、診断領域に対応する領域を抽出した画像であることができる。具体的には、ディープラーニングモデル学習装置は、オリジナルパラメトリックＭＲＩ画像２０１、２０２（図２ａ参照）を入力することができ、オリジナルパラメトリックＭＲＩ画像２０１、２０２から診断領域を抽出したパラメトリックＭＲＩ画像、すなわち、診断領域のパラメトリックＭＲＩ画像２０３、２０４を検出することができる。そして、ディープラーニングモデル学習装置は、診断領域のパラメトリックＭＲＩ画像２０３、２０４を提供することができる。
このとき、ディープラーニングモデル学習装置は、診断領域のパラメトリリックＭＲＩ画像２０３、２０４をディップランニングモデルの学習のための入力として提供することができる。そして、ディープラーニングモデル学習装置は、診断領域のパラメトリックＭＲＩ画像２０３、２０４を提供する画面２００（図２ｂ参照）を構成してディスプレイなどを介して出力することができる。
Ｓ８０２段階で、ディープラーニングモデル学習装置は、診断領域のパラメトリックＭＲＩ画像２０３、２０４における、がんが位置した領域の指定に参照することが可能な情報（以下、「参照情報」という）を提供することができる。
【００７７】
例えば、ユーザ（又は患者）の診断領域を摘出し、摘出された診断領域における、がん組織が存在する領域を可視化した病理画像（Ｐａｔｈｏｌｏｇｙ  ｉｍａｇｅ）を構成することができるが、ディープラーニングモデル学習装置は、このような病理画像の入力を受けることが可能な環境を提供することができる。そして、ディープラーニングモデル学習装置は、入力された病理画像２０５を画面２００の一領域を介して表示することができる。
ＭＲＩ画像は、様々なパラメータを含むことができるが、Ｔ２画像やＡＤＣ画像などは、２次元画像からなるので、画像自体に表示されない領域に存在するがん組織を確認することは困難な場合がある。一方、ＭＲＩに基づいて取得される画像のうち、ＤＷＩ（Ｄｉｆｆｕｓｉｏｎ−ｗｅｉｇｈｔｅｄ  ｉｍａｇｉｎｇ）画像は、ＭＲＩ画像に含まれている情報を組織内に含まれた水分子が特定の方向に拡散された情報を示すことができるので、Ｔ２画像やＡＤＣ画像などに表示されない情報を表現することができる。これを考慮して、ディープラーニングモデル学習装置は、ＤＷＩ画像２０６を画面２００の一領域を介してさらに表示することができる。
さらに、ディープラーニングモデル学習装置は、ＤＣＥ（Ｄｙｎａｍｉｃ  Ｃｏｎｔｒａｓｔ  Ｅｎｈａｎｃｅｄ）信号情報を確認することができ、ＤＣＥ信号情報２０７を画面２００の一領域を介してさらに表示することもできる。ＤＣＥ信号情報２０７は、該当器官の明るさを確認する情報であって、ＭＲＩに基づいて取得される画像から所定の領域を選択し、選択された領域の明るさ情報を示す情報であることができる。したがって、ディープラーニングモデル学習装置は、ユーザインターフェースを介して、ユーザによって選択される領域を確認し、これに対応するＤＣＥ信号情報２０７を表示することができる。
【００７８】
さらに、各身体器官又は診断領域や、身体器官又は診断領域に存在するがん領域の特性に応じて、ラベリングの参照情報として使用できる情報はさまざまに変更できる。これにより、ディープラーニングモデル学習装置は、各身体器官又は診断領域や、身体器官又は診断領域に存在するがん領域の特性に基づいて前記がん領域のラベリング処理に寄与する参照情報を選択的に提供することができる。
例えば、身体器官又は診断領域が前立腺領域である場合には、ディープラーニングモデル学習装置は、Ｔ１  Ｃｏｎｔｒａｓｔ画像、Ｔ２  Ｃｏｎｔｒａｓｔ画像、ＰＥＴ（Ｐｏｓｉｔｒｏｎ  Ｅｍｉｓｓｉｏｎ  Ｔｏｍｏｇｒａｐｈｙ）画像、ＳＰＥＣＴ（ｓｉｎｇｌｅ  ｐｈｏｔｏｎ  ｅｍｉｓｓｉｏｎ  ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ）画像、ＤＳＡ（Ｄｉｇｉｔａｌ  Ｓｕｂｔｒａｃｔｉｏｎ  Ａｎｇｉｏｇｒａｐｈｙ）画像などを参照情報として提供することができる。他の例として、身体器官又は診断領域が肝臓領域である場合、ディープラーニングモデル学習装置は、Ｔ１  Ｃｏｎｔｒａｓｔ画像、Ｔ２  Ｃｏｎｔｒａｓｔ画像などを参照情報として提供することができる。別の例として、身体器官又は診断領域が脳領域である場合、ディープラーニングモデル学習装置は、ＦＤＧ−ＰＥＴ画像、ＳＰＥＣＴ画像などを参照情報として提供することができる。
【００７９】
Ｓ８０３段階で、ディープラーニングモデル学習装置は、参照情報（病理画像２０５、ＤＷＩ画像２０６、ＤＣＥ信号情報２０７など）を表示しながら、ラベリングを行うことが可能なユーザインターフェース２１０を提供することができる。前記ユーザインターフェース２１０は、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）２１１を含むことができる。また、前記ユーザインターフェース２１０は、マウス装置、デジタイザ装置、タッチスクリーン装置などの外部入力装置を介して接続でき、外部入力装置によって指定される領域に出力される所定の表示子２１２を含むことができる。また、ディープラーニングモデル学習装置は、表示子２１２を介して選択される所定の領域をがん領域として設定することができ、ユーザインターフェース２１０は、がん領域として設定された当該領域を表示するラベリングインジケータ２１３を含むことができる。
ユーザインターフェース２１０を介してがん領域が設定されると、ディープラーニングモデル学習装置は、前立腺領域のパラメトリックＭＲＩ画像２０３、２０４を入力とし、ラベリングされた領域を出力としてがん検出モデルの基本レイヤーに対する学習を行うことができる（Ｓ８０４）。
その後、Ｓ８０５段階で、ディープラーニングモデル学習装置は、少なくとも一つのＭＲＩ動画を提供することができる。このとき、少なくとも一つのＭＲＩ動画は、組織内にある水分子の微細な運動性を用いて細胞の配列状態を示すＤＷＩ画像を所定の時間単位ごとに連続的に撮影して構成したＤＷＩ動画、及び造影剤の注入後に造影増強度の変化を測定して組織の血流状態を評価するＤＣＥ画像を所定の時間単位ごとに連続的に撮影して構成したＤＣＥ動画を含むことができる。
【００８０】
Ｓ８０６段階で、ディープラーニングモデル学習装置は、少なくとも一つのＭＲＩ動画に対する学習を行うことにより、がん検出モデルの拡張レイヤーに対する学習を行うことができる。例えば、ディープラーニングモデル学習装置は、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎのそれぞれについての学習を行って空間特性学習モデルを構築することができ、好ましくは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）学習方式に基づいて空間特性学習モデルを構築することができる。このとき、ディープラーニングモデル学習装置は、空間特性学習モデルの構築時に画像フレームＦ１、Ｆ２、…、Ｆｎに対応する時間又は配列順序についての情報を考慮することができる。例えば、空間特性学習モデルには、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎの数に対応するＣＮＮが備えられ得る。空間特性学習部７１は、第１画像フレームＦ１を第１ＣＮＮの入力として伝達し、第２画像フレームＦ２を第２ＣＮＮの入力として伝達し、第ｎ画像フレームＦｎを第ｎＣＮＮの入力として伝達するように構成することができる。これに対応して、空間特性学習モデルに備えられる複数のＣＮＮは、複数の画像フレームＦ１、Ｆ２、…、Ｆｎのそれぞれに対応する複数の空間特性を出力することができ、ディープラーニングモデル学習装置は、前述した複数の空間特性を順次配列してシーケンシャルデータに構成することができる。このとき、ディープラーニングモデル学習装置は、画像フレームＦ１、Ｆ２、…、Ｆｎに対応する時間又は配列順序についての情報を考慮して直列化（Ｓｅｑｕｅｎｔｉａｌ）データを構成することができる。一方、ディープラーニングモデル学習装置は、直列化データで構成された複数の空間特性の入力を受け、画像フレーム間の関係についての特性（すなわち、フレーム特性）を検出する学習を行うことができる。好ましくは、ディープラーニングモデル学習装置は、回帰型ニューラルネットワーク（ＲＮＮ；Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｒｗｏｒｋ）学習方式に基づいてフレーム特性学習モデルを構築することができる。
【００８１】
回帰型ニューラルネットワーク（ＲＮＮ）は、現在のデータと過去のデータを同時に考慮するディープラーニング技法であって、回帰型ニューラルネットワーク（ＲＮＮ）は、人工ニューラルネットワークを構成するユニット間の接続が方向性サイクル（ｄｉｒｅｃｔｅｄ  ｃｙｃｌｅ）を構成するニューラルネットワークを示す。さらに、回帰型ニューラルネットワーク（ＲＮＮ）を構成することができる構造にはさまざまな方式が使用できるが、例えば、ＦＲＮ（Ｆｕｌｌｙ  Ｒｅｃｕｒｒｅｎｔ  Ｎｅｔｗｏｒｋ）、ホップフィールドネットワーク（Ｈｏｐｆｉｅｌｄ  Ｎｅｔｗｏｒｋ）、エルマンネットワーク（Ｅｌｍａｎ  Ｎｅｔｗｏｒｋ）、ＥＳＮ（Ｅｃｈｏ  ｓｔａｔｅ  ｎｅｔｗｏｒｋ）、ＬＳＴＭ（Ｌｏｎｇ  ｓｈｏｒｔ  ｔｅｒｍ  ｍｅｍｏｒｙ  ｎｅｔｗｏｒｋ）、双方向（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ）ＲＮＮ、ＣＴＲＮＮ（Ｃｏｎｔｉｎｕｏｕｓ−ｔｉｍｅ  ＲＮＮ）、階層的ＲＮＮ、２次ＲＮＮなどが代表的な例である。また、回帰型ニューラルネットワーク（ＲＮＮ）を学習させるための方法として、勾配降下法、Ｈｅｓｓｉａｎ  Ｆｒｅｅ  Ｏｐｔｉｍｉｚａｔｉｏｎ、Ｇｌｏｂａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ  Ｍｅｔｈｏｄなどの方式が使用できる。
一方、空間特性情報は、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎから抽出された情報なので、ディープラーニングモデル学習装置は、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎの時間的情報を確認し、確認された時間的情報に基づいて、空間特性情報についてのフレーム特性学習を処理することができる。空間特性情報は、フレーム特性学習モデルに順次入力でき、フレーム特性学習モデルは、フレーム特性を順次出力することができる。
【００８２】
図９は本開示の他の実施形態に係るディープラーニングモデル学習方法の手順を示すフローチャートである。
【００８３】
本開示の他の実施形態に係るディープラーニングモデル学習方法は、本開示の一実施形態に係るディープラーニングモデル学習方法と基本的に類似している。ただし、本開示の他の実施形態に係るディープラーニングモデル学習方法は、少なくとも一つの参照情報（病理画像２０５、ＤＷＩ画像２０６、ＤＣＥ信号情報２０７など）をラベリング動作と連動して順次提供するように構成される。
以下、本開示の他の実施形態に係るディープラーニングモデル学習方法について具体的に説明する。
まず、Ｓ９０１ステップは、前述した本開示の一実施形態に係るディープラーニングモデル学習方法で説明したＳ８０１ステップと同様に行われ得る。つまり、ディープラーニングモデル学習装置は、少なくも一つのパラメトリックＭＲＩ（Ｔ１（Ｔ１−ｗｅｉｇｈｔｅｄ）画像、Ｔ２（Ｔ２−ｗｅｉｇｈｔｅｄ）画像、Ｔ２＊（Ｔ２  ｓｔａｒ）画像、ＡＤＣ（ａｐｐａｒｅｎｔ  ｄｉｆｆｕｓｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔｓ）画像、ＦＬＡＩＲ（Ｆｌｕｉｄ  Ａｔｔｅｎｕａｔｅｄ  ｉｎｖｅｒｓｉｏｎ  ｒｅｃｏｖｅｒｙ）画像、ＳＴＩＲ（Ｓｈｏｒｔ  ＴＩ  ｉｎｖｅｒｓｉｏｎ  ｒｅｃｏｖｅｒｙ）画像、ＰＷＩ（Ｐｅｒｆｕｓｉｏｎ  ｗｅｉｇｈｔｅｄ  ｉｍａｇｅ）など）を提供することができる。
【００８４】
Ｓ９０２段階で、ディープラーニングモデル学習装置は、診断領域のパラメトリックＭＲＩ画像２０３、２０４における、がんが位置した領域の指定に参照することが可能な情報、すなわち、参照情報（病理画像２０５、ＤＷＩ画像２０６、ＤＣＥ信号情報２０７など）のいずれか一つ（すなわち、第１参照情報）を提供することができる。
【００８５】
例えば、ユーザ（又は患者）の診断領域を抽出し、抽出された診断領域における、がん組織が存在する領域を可視化した病理画像（ｐａｔｈｏｌｏｇｙ  ｉｍａｇｅ）を構成することができるが、ディープラーニングモデル学習装置は、このような病理画像の入力を受けることが可能な環境を提供することができる。そして、ディープラーニングモデル学習装置は、入力された病理画像２０５を画  面２２０（図２ｃ参照）の一領域を介して表示することができる。
Ｓ９０３段階で、ディープラーニングモデル学習装置は、第１参照情報（病理画像２０５）を表示しながら、ラベリングを行うことが可能なユーザインターフェース２３０を提供することができる。
前記ユーザインターフェース２３０は、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）２３１を含むことができる。また、前記ユーザインターフェース２３０は、マウス装置、デジタイザ装置、タッチスクリーン装置などの外部入力装置を介して接続でき、外部入力装置によって指定される領域に出力される所定の表示子２３２を含むことができる。また、ディープラーニングモデル学習装置は、表示子２３２を介して選択される所定の領域をがん領域として設定することができ、ユーザインターフェース２３０は、がん領域として設定された当該領域を表示するラベリングインジケータ２３３を含むことができる。
【００８６】
ディープラーニングモデル学習装置は、ユーザインターフェース２３０を介して少なくとも一つのパラメトリックＭＲＩ画像（Ｔ２画像）における所定の領域をがん領域として設定することにより、ラベリング動作を行うことができる。
【００８７】
このように、ユーザインターフェース２３０を介してがん領域が設定されると、ディープラーニングモデル学習装置は、診断領域のパラメトリックＭＲＩ画像２０３、２０４を入力とし、ラベリングされた領域を出力としてがん検出モデルを学習することができる（Ｓ９０４）。
Ｓ９０５段階で、ディープラーニングモデル学習装置は、第２参照情報（例えば、ＤＷＩ（Ｄｉｆｆｕｓｉｏｎ−ｗｅｉｇｈｔｅｄ  ｉｍａｇｉｎｇ）画像）を確認し、ＤＷＩ画像２０６を画面２４０（図２ｄ参照）の一領域を介して表示することができる。
【００８８】
Ｓ９０６段階で、ディープラーニングモデル学習装置は、第２参照情報（ＤＷＩ画像２０６）を表示しながら、ラベリングを行うことが可能なユーザインターフェース２５０を提供することができる。
前記第２ユーザインターフェース２５０は、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像２５１）を含むことができる。また、前記第２ユーザインターフェース２５０は、マウス装置、デジタイザ装置、タッチスクリーン装置などの外部入力装置を介して接続でき、外部入力装置によって指定される領域に出力される所定の表示子２４２を含むことができる。また、ディープラーニングモデル学習装置は、表示子２５２を介して選択される所定の領域をがん領域として設定することができ、第２ユーザインターフェース２５０は、がん領域として設定された当該領域を表示するラベリングインジケータ２５３を含むことができる。
このような環境で、ディープラーニングモデル学習装置は、第２ユーザインターフェース２５０を介して選択される領域をがん領域として設定することにより、ＤＷＩ画像２０６をベースにしたラベリング処理を行うことができる。
【００８９】
このように、第２ユーザインターフェース２５０を介してがん領域が設定されると、ディープラーニングモデル学習装置は、診断領域のパラメトリックＭＲＩ画像２０３、２０４を入力とし、ラベリングされた領域を出力としてがん検出モデルを学習することができる（Ｓ９０７）。
【００９０】
さらに、ディープラーニングモデル学習装置は、病理画像２０５に基づいてラベリングされたがん領域を入力として処理することもできる。
Ｓ９０８段階で、ディープラーニングモデル学習装置は、第３画面２６０（図２ｅ参照）を介して、診断領域のパラメトリックＭＲＩ画像２０３、２０４とＤＣＥ信号情報２０７を表示することができる。そして、ディープラーニングモデル学習装置は、診断領域のパラメトリックＭＲＩ画像２０３、２０４と、第３参照情報（例えば、ＤＣＥ信号情報２０７）を表示する画面２６０の一領域にラベリングを行うことが可能な第３ユーザインターフェース２７０を提供することができる。ここで、第３ユーザインターフェース２７０は、前述した第１ユーザインターフェース２３０と同様に、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）２７１、表示子２７２、ラベリングインジケータ２７３などを含むことができる。
【００９１】
本開示の一実施形態において、ディープラーニングモデル学習装置が少なくとも一つの参照情報を順次提供することを例示しつつ、少なくとも一つの参照情報を病理画像、ＤＷＩ画像、ＤＣＥ信号情報などとして例示したが、本開示はこれに限定されるものではなく、本開示の技術分野における通常の知識を有する者によって多様に変更できる。また、ディープラーニングモデル学習装置が提供する少なくとも一つの参照情報の順序も多様に変更できるのは勿論である。
【００９２】
さらに、各身体器官又は診断領域や、身体器官又は診断領域に存在するがん領域の特性に応じて、ラベリングの参照情報として使用できる情報は多様に変更できる。これにより、ディープラーニングモデル学習装置は、各身体器官又は診断領域や、身体器官又は診断領域に存在するがん領域の特性に基づいて前記がん領域のラベリング処理に寄与する参照情報を選択的に提供することができる。
例えば、身体器官又は診断領域が前立腺領域である場合には、ディープラーニングモデル学習装置は、第１〜第３参照情報として、Ｔ１  Ｃｏｎｔｒａｓｔ画像、Ｔ２  Ｃｏｎｔｒａｓｔ画像、ＰＥＴ（Ｐｏｓｉｔｒｏｎ  Ｅｍｉｓｓｉｏｎ  Ｔｏｍｏｇｒａｐｈｙ）画像、ＳＰＥＣＴ（ｓｉｎｇｌｅ  ｐｈｏｔｏｎ  ｅｍｉｓｓｉｏｎ  ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ）画像、ＤＳＡ（Ｄｉｇｉｔａｌ  Ｓｕｂｔｒａｃｔｉｏｎ  Ａｎｇｉｏｇｒａｐｈｙ）画像、病理画像、ＤＷＩ画像、ＤＣＥ信号情報の中から選択された情報を参照情報として提供することができる。
【００９３】
別の例として、身体器官又は診断領域が肝臓領域である場合、ディープラーニングモデル学習装置は、第１〜第３参照情報として、Ｔ１  Ｃｏｎｔｒａｓｔ画像、Ｔ２  Ｃｏｎｔｒａｓｔ画像の中から選択された情報を参照情報として提供することができる。別の例として、身体器官又は診断領域が脳領域である場合、ディープラーニングモデル学習装置は、第１〜第３参照情報として、ＦＤＧ−ＰＥＴ画像、ＳＰＥＣＴ画像の中から選択された情報を参照情報として提供することができる。
このような環境で、ディープラーニングモデル学習装置は、第３ユーザインターフェース２７０を介して選択される領域をがん領域として設定することにより、ＤＣＥ信号情報２０７をベースにしたラベリング処理を行うことができる（Ｓ９０９）。
【００９４】
このように、第３ユーザインターフェース２７０を介してがん領域が設定されると、ディープラーニングモデル学習装置は、診断領域のパラメトリックＭＲＩ画像２０３、２０４を入力とし、ラベリングされた領域を出力としてがん検出モデルを学習することができる（Ｓ９１０）。
さらに、ディープラーニングモデル学習装置は、ＤＷＩ画像２０６に基づいてラベリングされたがん領域を入力として処理することもできる。
【００９５】
本開示の一実施形態において、ディープラーニングモデル学習装置が病理画像２０５、ＤＷＩ画像２０６及びＤＣＥ信号情報２０７の順で参照情報を提供することを例示したが、本開示はこれに限定されるものではない。ディープラーニングモデル学習装置が参照情報を提供する順序は、さまざまに変更できる。
【００９６】
また、本開示の一実施形態において、ディープラーニングモデル学習装置が提供する参照情報を例示したが、本開示はこれに限定されるものではなく、ディープラーニングモデル学習装置が提供する参照情報は、本開示の技術分野における通常の知識を有する者によって多様に変更できる。
また、本開示の一実施形態において、ディープラーニングモデル学習装置が前記少なくとも一つのパラメトリックＭＲＩ画像を基本的な入力としてディープラーニングモデルを学習することを例示した。本開示は、これに限定されるものではなく、多様に変更できるのはもちろんである。例えば、ディープラーニングモデル学習装置は、ＤＷＩ画像及びＤＣＥ信号情報のうちの少なくとも一つを入力として使用することができる。
【００９７】
つまり、ディープラーニングモデル学習装置は、Ｓ９０７ステップのディープラーニングモデル学習の際に、少なくとも一つのパラメトリックＭＲＩ画像と共にＤＷＩ画像を入力として使用することができる。同様に、ディープラーニングモデル学習装置は、Ｓ９１０ステップのディープラーニングモデル学習の際に、少なくとも一つのパラメトリックＭＲＩ画像と共にＤＣＥ信号情報を入力として使用することができる。
さらに、ディープラーニングモデル学習装置は、Ｓ９０４ステップのディープラーニングモデル学習の際に、少なくとも一つのパラメトリックＭＲＩ画像と共に病理情報を入力として使用することもできる。
【００９８】
図１０は本開示の一実施形態に係るディープラーニングモデル学習方法及び装置を実行するコンピューティングシステムを例示するブロック図である。
【００９９】
図１０を参照すると、コンピューティングシステム１０００は、バス１２００を介して接続される少なくとも一つのプロセッサ１１００、メモリ１３００、ユーザインターフェース入力装置１４００、ユーザインターフェース出力装置１５００、ストレージ１６００、及びネットワークインターフェース１７００を含むことができる。プロセッサ１１００は、中央処理装置ＣＰＵ又はメモリ１３００及び／又はストレージ１６００に保存された命令語に対する処理を実行する半導体装置であることができる。メモリ１３００及びストレージ１６００は、様々な種類の揮発性又は不揮発性記憶媒体を含むことができる。例えば、メモリ１３００は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含むことができる。
【０１００】
したがって、本明細書に開示された実施形態に関連して説明された方法又はアルゴリズムのステップは、プロセッサ１１００によって実行されるハードウェア、ソフトウェアモジュール、又はその２つの組み合わせで直接実現できる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、着脱型ディスク、ＣＤ−ＲＯＭなどの記憶媒体（すなわち、メモリ１３００及び／又はストレージ１６００）に常駐することもできる。例示的な記憶媒体は、プロセッサ１１００にカップリングされ、そのプロセッサ１１００は、記憶媒体から情報を読み取ることができ、記憶媒体に情報を書き込むことができる。他の方法として、記憶媒体は、プロセッサ１１００と一体型であってもよい。プロセッサ及び記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）内に常駐してもよい。ＡＳＩＣは、ユーザ端末内に常駐してもよい。別の方法として、プロセッサ及び記憶媒体はユーザ端末内に個別コンポーネントとして常駐してもよい。
【０１０１】
まず、本開示の一実施形態による前立腺がん領域検出装置は、前立腺領域検出モデル及び前立腺がん領域検出モデルを用いて、前記前立腺がん領域を含むガイド情報を生成及び提供することができる。本開示の一実施形態による前立腺領域検出モデル及び前立腺がん領域検出モデルは、本開示の一実施形態による前立腺がん領域学習装置によって構築できる。
【０１０２】
以下、図１１〜図１４を参照して、前立腺がん領域学習装置と、これを用いて前立腺領域検出モデル及び前立腺がん領域検出モデルを構築する動作について詳細に説明する。
【０１０３】
図１１は本開示の一実施形態に係る前立腺がん検出モデル学習装置の構成を示すブロック図である。
【０１０４】
図１１を参照すると、前立腺がん検出モデル学習装置１１１０は、前立腺がん検出モデル学習部１１１１、パラメトリックＭＲＩ画像入力部１１１３、ラベリング参照情報提供部１１１５、及びラベリング処理部１１１７を含むことができる。
【０１０５】
まず、前立腺がん検出モデル学習部１１１１は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）技法又はプーリング（ｐｏｏｌｉｎｇ）技法に基づいて、前立腺がん検出モデルの学習を行うことができる。特に、前立腺がん検出モデル学習部１１１１が前立腺がん検出モデルの学習を行うために分析対象画像の入力を受けることができ、分析対象画像に含まれている特定のオブジェクト又は特定の領域の入力を前立腺がん領域として受ける動作、すなわち、ラベリング（Ｌａｂｅｌｉｎｇ）動作を行うことができる。
前立腺がん検出モデル学習部１１１１は、分析対象画像の特徴を抽出し、抽出された特徴をベースにして所定のコンテキスト情報を生成することにより、前立腺がん検出モデルを学習することができる。そして、前立腺がん検出モデル学習部１１１１は、前立腺がん検出モデルの学習を繰り返し行うことにより、前立腺がん検出モデル１００を構築することができる。
前立腺がん検出モデル学習部１１１１は、分析対象画像としてＭＲＩ画像の入力を受けることができるが、このような分析対象画像の入力は、パラメトリックＭＲＩ画像入力部１１１３によって処理できる。パラメトリックＭＲＩ画像入力部１１１３は、ユーザの身体を磁気共鳴画像（ＭＲＩ；Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）装置によって撮影された画像、すなわち、ＭＲＩ画像を前立腺がん検出モデル学習部１１１１に提供することができる。
【０１０６】
さらに、ＭＲＩ画像にさまざまなパラメータを適用して様々な画像を再構成することができるが、本開示の一実施形態では、ＭＲＩ画像に所定のパラメータを適用して再構成した画像をパラメトリックＭＲＩ画像と指示する。
これに基づいて、パラメトリックＭＲＩ画像入力部１１１３は、互いに異なるパラメータに基づいて構成された少なくとも一つのパラメトリックＭＲＩ画像を前立腺がん検出モデル学習部１１１１に提供することができる。ここで、少なくとも一つのパラメトリックＭＲＩ画像は、Ｔ２（Ｔ２−ｗｅｉｇｈｔｅｄ）画像、ＡＤＣ（ａｐｐａｒｅｎｔ  ｄｉｆｆｕｓｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔｓ）画像、ＤＷＩ（Ｄｉｆｆｕｓｉｏｎ−ｗｅｉｇｈｔｅｄ  ｉｍａｇｉｎｇ）画像などを含むことができる。
【０１０７】
また、パラメトリックＭＲＩ画像入力部１１１３は、ＭＲＩ画像を前立腺がん検出モデル学習部１１１１に提供したパラメトリックＭＲＩ画像をディスプレイなどを介して表示することができる。
さらに、パラメトリックＭＲＩ画像入力部１１１３は、ユーザの前立腺が位置した身体を撮影したＭＲＩ画像を基準としたパラメトリックＭＲＩ画像（以下、「オリジナルパラメトリックＭＲＩ画像」という）の入力を受けることができ、オリジナルパラメトリックＭＲＩ画像から前立腺領域を抽出したパラメトリックＭＲＩ画像（以下、「前立腺領域のパラメトリックＭＲＩ画像」という）を検出することができる。そして、前立腺領域のパラメトリックＭＲＩ画像を前立腺がん検出モデル学習部  １１１１に提供するか、或いはディスプレイなどを介して表示することができる。
パラメトリックＭＲＩ画像入力部１１１３がオリジナルパラメトリックＭＲＩ画像から前立腺領域のパラメトリックＭＲＩ画像を抽出する動作は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）技法又はプーリング（ｐｏｏｌｉｎｇ）技法などに基づいて行うことができる。例えば、パラメトリックＭＲＩ画像入力部１１１３は、オリジナルパラメトリックＭＲＩ画像を入力とし、前立腺領域のパラメトリックＭＲＩ画像を出力とする学習によって所定の学習モデルを構築することができる。そして、パラメトリックＭＲＩ画像入力部１１１３は、オリジナルパラメトリックＭＲＩ画像が入力されることにより、前立腺領域のパラメトリックＭＲＩ画像を検出して出力することができる。
【０１０８】
さらに、前立腺領域などの診断領域は、３次元形状からなるので、診断領域の３次元構造で病変が現れる特性を検出することが前立腺がん検出モデル１１００の性能を高めることができる。また、診断領域内での変化、例えば、組織の水の拡散、造影剤の増加などを診断の指標として使用する場合、より正確な診断が可能である。前述したところを考慮して、パラメトリックＭＲＩ画像入力部１１１３は、ＤＷＩ、ＤＣＥ画像などを入力することができるが、診断領域の３次元構造、又は診断領域内での変化が現れるように、動画形式で構成して入力することができる。これに対応して、前立腺がん検出モデル学習部１１１１は、静止画形式のパラメトリックＭＲＩ画像と動画形式のパラメトリックＭＲＩ画像の両方を用いて前立腺がん検出モデル１１００の学習を行うことができる。がん検出モデル学習部１１が前立腺がん検出モデル１１００を学習する動作は、下記の図及びこれに関連する説明を介して詳細に説明する。
【０１０９】
一方、ラベリング参照情報提供部１１１５は、前記前立腺がん領域のラベリング処理に寄与する情報を提供することができる。
【０１１０】
ユーザ（又は患者）の前立腺を手術によって摘出し、摘出された前立腺における、がん組織が存在する領域を可視化した病理画像（Ｐａｔｈｏｌｏｇｙ  ｉｍａｇｅ）を構成することができる。これを考慮して、ラベリング参照情報提供部１１１５は、病理画像の入力を受けることが可能な環境を提供することができ、入力された病理画像をディスプレイなどを介して表示することができる。例えば、病理画像は、抽出された前立腺のがんが存在する領域を地図化した病理地図（ｐａｔｈｏｌｏｇｙ  ｍａｐ）をイメージの形で構成した画像を含むことができる。
【０１１１】
さらに、Ｔ２画像やＡＤＣ画像などは、２次元形状の画像からなるので、画像自体に表示されない領域に存在するがん組織を確認することは困難な場合がある。これを考慮して、ラベリング参照情報提供部１１１５は、ＭＲＩ画像に含まれている情報を組織内に含まれた水分子が特定の方向に拡散された情報を示すＤＷＩ（Ｄｉｆｆｕｓｉｏｎ−ｗｅｉｇｈｔｅｄ  ｉｍａｇｉｎｇ）画像を確認し、これをディスプレイなどを介して表示することができる。ここで、ＤＷＩ画像は、ＭＲＩ装置から提供されるか或いはＭＲＩ装置から提供されたＭＲＩ画像を加工して取得することができる。
同様に、Ｔ２画像やＡＤＣ画像などは、２次元形状の画像からなるので、画像自体に表示されない領域に存在するがん組織や、組織の特性を確認することが困難な場合がある。これを考慮して、ラベリング参照情報提供部１１１５は、ＤＣＥ（Ｄｙｎａｍｉｃ  Ｃｏｎｔｒａｓｔ  Ｅｎｈａｎｃｅｄ）信号情報を確認することができ、確認されたＤＣＥ信号情報を提供することが可能な環境を構築することができる。例えば、ラベリング処理部１１１７は、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）を表示しながら、ユーザによって指定される領域を表示する表示子を提供することができ、ユーザによって選択される領域を前立腺がん領域として設定することができる。これを考慮して、ラベリング参照情報提供部１１１５は、ラベリング処理部１１１７によって生成及び表示される前記表示子が指示する領域に対するＤＣＥ信号情報を確認し、確認されたＤＣＥ信号情報をディスプレイなどを介して表示することができる。
【０１１２】
ラベリング参照情報提供部１１１５は、病理画像、ＤＷＩ画像、及びＤＣＥ信号情報のうちの少なくとも一つをディスプレイなどを介して表示することができる。
【０１１３】
別の例として、ラベリング参照情報提供部１１１５は、病理画像、ＤＷＩ画像、及びＤＣＥ信号情報を順次選択して表示することができる。特に、ラベリング参照情報提供部１１１５は、ラベリング処理部１１１７と連動して病理画像、ＤＷＩ画像、及びＤＣＥ信号情報を順次選択して表示することができる。例えば、ラベリング参照情報提供部１１１５は、Ｔ２画像、ＡＤＣ画像と一緒に病理画像を表示することができる。そして、病理画像が表示される状態で、ラベリング処理部１１１７によって１次的に前立腺がん領域をラベリングした情報が入力されることにより、ラベリング参照情報提供部１１１５は、Ｔ２画像、ＡＤＣ画像と一緒にＤＷＩ画像を表示することができる。また、ＤＷＩ画像が表示される状態で、ラベリング処理部１１１７によって２次的に前立腺がん領域をラベリングした情報が入力されることにより、ラベリング参照情報提供部１１１５は、表示子が指示する領域を確認し、当該領域に対応するＤＣＥ信号情報を確認して表示することができる。
一方、ラベリング処理部１１１７は、前述したように、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）を提供しつつ、前立腺がん検出モデル学習部１１１１が前立腺がん検出モデルを学習するための出力値を指定する動作、すなわちラベリングを行うことが可能な環境を提供することができる。
【０１１４】
具体的には、ラベリング処理部１１１７は、少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）をディスプレイに出力し、出力される少なくとも一つのパラメトリックＭＲＩ画像（例えば、Ｔ２画像）における、前立腺がんが存在する領域、すなわち、前立腺がん領域の入力を受けることが可能なインターフェースを提供することができる。例えば、ラベリング処理部１１１７は、マウス装置、デジタイザ装置、タッチスクリーン装置などの外部入力装置を介して接続でき、外部入力装置によって指定される領域に所定の表示子を出力し、外部入力装置を介して選択される領域を前立腺がん領域として設定することができる。
【０１１５】
図１２は本開示の一実施形態に係る前立腺がん検出モデル学習装置に備えられるパラメトリックＭＲＩ画像入力部、及び前立腺がん検出モデル学習部の詳細構成を示すブロック図である。
図１２を参照すると、パラメトリックＭＲＩ画像入力部１２０は、パラメトリックＭＲＩ画像提供部１２１及びＭＲＩ動画構成部１２３を含むことができる。パラメトリックＭＲＩ画像提供部１２１は、静止画形式のパラメトリックＭＲＩ画像、例えば、Ｔ１、Ｔ２、ＡＤＣ、ＤＷＩ画像などを確認して前立腺がん検出モデル学習部１２５に提供することができる。そして、ＭＲＩ動画構成部１２３は、時間的な変化が発生するパラメトリックＭＲＩ画像（例えば、ＤＷＩ画像、ＤＣＥ画像など）に対して動画形式で構成して提供することができる。具体的には、ＭＲＩ動画構成部１２３は、組織内にある水分子の微細な運動性を用いて細胞の配列状態を示すＤＷＩ画像を、所定の時間単位ごとに連続的に撮影し、連続的に撮影されたＤＷＩ画像を組み合わせてＤＷＩ動画を構成することができる。他の例として、ＭＲＩ動画構成部１２３は、造影剤注入後の造影増強度の変化を測定して組織の血流状態を評価するＤＣＥ画像を所定の時間単位ごとに連続的に撮影し、連続的に撮影されたＤＣＥ画像を組み合わせてＤＣＥ動画を構成することができる。
【０１１６】
がん検出モデル学習部１２５は、画像基盤ＭＲＩ学習部１２６及び学習モデル補正部１２７を含むことができる。まず、画像基盤ＭＲＩ学習部１２６は、画像形式のパラメトリックＭＲＩ画像に対する学習を行うことにより、がん検出モデルに対する学習を行うことができる。このとき、画像基盤ＭＲＩ学習部１２６は、パラメトリックＭＲＩ画像提供部１２１が提供する少なくとも一つのパラメトリリックＭＲＩ画像に、畳み込みニューラルネットワーク（ＣＮＮ）技法又はプーリング（ｐｏｏｌｉｎｇ）技法を適用してがん検出モデルの基本レイヤーを構築することができる。このとき、使用されるパラメトリックＭＲＩ画像は多様に変更できる。画像基盤ＭＲＩ学習部１２６を介してがん検出モデルの基本レイヤーが構築された後、学習モデル補正部１２７は、ＭＲＩ動画構成部１２３が提供するＭＲＩ動画を用いてがん検出モデルの拡張レイヤーを構築することにより、がん検出モデルに対する補正を行うことができる。例えば、学習モデル補正部１２７は、ＭＲＩ動画に備えられたそれぞれのフレームに対する空間的特性を検出した後、各フレームの時間的配列による特性を検出するように拡張レイヤーを構築することができる。このとき、それぞれのフレームに対する空間的特性は、畳み込みニューラルネットワーク（ＣＮＮ）技法又はプーリング（ｐｏｏｌｉｎｇ）技法に基づいて構築でき、各フレームの時間的配列による特性は、回帰型ニューラルネットワーク（ＲＮＮ；Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｒｗｏｒｋ）学習方式に基づいて構築できる。
【０１１７】
さらに、学習モデル補正部１２７は、複数の拡張レイヤーを段階的に構築するように構成できる。例えば、学習モデル補正部１２７は、第１補正部１２７ａ及び第２補正部１２７ｂを含むことができる。第１補正部１２７ａは、第１ＭＲＩ動画を用いてがん検出モデルの第１拡張レイヤーを構築するように構成され、第２補正部１２７ｂは、第２ＭＲＩ動画を用いてがん検出モデルの第２拡張レイヤーを構築するように構成できる。これにより、がん検出モデルは、基本レイヤー１３０１、第１拡張レイヤー１３０２、及び第２拡張レイヤー１３０３が順次接続できるように構成できる。さらに、第１ＭＲＩ動画及び第２ＭＲＩ動画は、それぞれ異なる種類のＭＲＩ動画であることができる。例えば、第１ＭＲＩ動画は、連続的に撮影されたＤＷＩ画像を組み合わせて構成されたＤＷＩ動画であることができ、第２ＭＲＩ動画は、連続的に撮影されたＤＣＥ画像を組み合わせて構成されたＤＣＥ動画であることができる。
【０１１８】
図１４は図１２の学習モデル補正部の詳細構成を例示する図である。
学習モデル補正部１４０は、空間特性学習部１４１及びフレーム特性学習部１４２を含むことができる。
【０１１９】
空間特性学習部１４１は、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎのそれぞれについての学習を行って空間特性学習モデルを構築することができ、好ましくは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）学習方式に基づいて空間特性学習モデルを構築することができる。
【０１２０】
空間特性学習部１４１の空間特性学習モデルの構築時に画像フレームＦ１、Ｆ２、…、Ｆｎに対応する時間又は配列順序についての情報を考慮することができる。例えば、空間特性学習モデルには、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎの数に対応するＣＮＮが備えられ得る。空間特性学習部１４１は、第１画像フレームＦ１を第１ＣＮＮの入力として伝達し、第２画像フレームＦ２を第２ＣＮＮの入力として伝達し、第ｎ画像フレームＦｎを第ｎＣＮＮの入力として伝達するように構成することができる。
【０１２１】
これに対応して、空間特性学習モデル１４１に備えられる複数のＣＮＮは、複数の画像フレームＦ１、Ｆ２、…、Ｆｎのそれぞれに対応する複数の空間特性を出力することができ、空間特性学習部１４１は、前述した複数の空間特性を順次配列してシーケンシャルデータに構成することができる。このとき、空間特性学習部１４１は、画像フレームＦ１、Ｆ２、…、Ｆｎに対応する時間又は配列順序についての情報を考慮して直列化（Ｓｅｑｕｅｎｔｉａｌ）データを構成することができる。
一方、フレーム特性学習部１４２は、直列化データからなる複数の空間特性の入力を受け、画像フレーム間の関係に対する特性（すなわち、フレーム特性）を検出する学習を行うことができる。好ましくは、フレーム特性学習部１４２は、回帰型ニューラルネットワーク（ＲＮＮ；Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｒｗｏｒｋ）学習方式に基づいてフレーム特性学習モデルを構築することができる。
【０１２２】
回帰型ニューラルネットワーク（ＲＮＮ）は、現在のデータと過去のデータを同時に考慮するディープラーニング技法であって、回帰型ニューラルネットワーク（ＲＮＮ）は、人工ニューラルネットワークを構成するユニット間の接続が方向性サイクル（ｄｉｒｅｃｔｅｄ  ｃｙｃｌｅ）を構成するニューラルネットワークを示す。さらに、回帰型ニューラルネットワーク（ＲＮＮ）を構成することが可能な構造にはさまざまな方式が使用できるが、例えば、ＦＲＮ（Ｆｕｌｌｙ  Ｒｅｃｕｒｒｅｎｔ  Ｎｅｔｗｏｒｋ）、ホップフィールドネットワーク（Ｈｏｐｆｉｅｌｄ  Ｎｅｔｗｏｒｋ）、エルマンネットワーク（Ｅｌｍａｎ  Ｎｅｔｗｏｒｋ）、ＥＳＮ（Ｅｃｈｏ  ｓｔａｔｅ  ｎｅｔｗｏｒｋ）、ＬＳＴＭ（Ｌｏｎｇ  ｓｈｏｒｔ  ｔｅｒｍ  ｍｅｍｏｒｙ  ｎｅｔｗｏｒｋ）、双方向（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ）ＲＮＮ、ＣＴＲＮＮ（Ｃｏｎｔｉｎｕｏｕｓ−ｔｉｍｅ  ＲＮＮ）、階層的ＲＮＮ、２次ＲＮＮなどが代表的な例である。また、回帰型ニューラルネットワーク（ＲＮＮ）を学習させるための方法として、勾配降下法、Ｈｅｓｓｉａｎ  Ｆｒｅｅ  Ｏｐｔｉｍｉｚａｔｉｏｎ、Ｇｌｏｂａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ  Ｍｅｔｈｏｄなどの方式が使用できる。
【０１２３】
一方、空間特性情報は、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎから抽出された情報なので、フレーム特性学習部１４２は、ＭＲＩ動画に含まれている画像フレームＦ１、Ｆ２、…、Ｆｎの時間的情報を確認し、確認された時間的情報に基づいて、空間特性情報に対するフレーム特性学習を処理することができる。空間特性情報は、フレーム特性学習モデル１４２に順次入力でき、フレーム特性学習モデルは、フレーム特性１４００−１、１４００−２、１４００−ｎを順次出力することができる。
【０１２４】
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることも可能である。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、或いは一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。
【０１２５】
本開示の様々な実施形態は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施形態で説明する事項は、独立して適用されるか、或いは二つ以上の組み合わせで適用されることも可能である。
【０１２６】
また、本開示の様々な実施形態は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどにより実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ  ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【０１２７】
本開示の範囲は、様々な実施形態の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン実行可能な命令語（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又は命令などが保存されて装置又はコンピュータ上で実行可能な非一時的コンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ−ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を含む。
【産業上の利用可能性】
【０１２８】
本発明は、ディープラーニング基盤の医療分野に適用可能である。
【図１】
2022502209.tif 000003
【図２ａ】
2022502209.tif 000004
【図２ｂ】
2022502209.tif 000005
【図２ｃ】
2022502209.tif 000006
【図２ｄ】
2022502209.tif 000007
【図２ｅ】
2022502209.tif 000008
【図２ｆ】
2022502209.tif 000009
【図２ｇ】
2022502209.tif 000010
【図３】
2022502209.tif 000011
【図４】
2022502209.tif 000012
【図５】
2022502209.tif 000013
【図６】
2022502209.tif 000014
【図７】
2022502209.tif 000015
【図８】
2022502209.tif 000016
【図９】
2022502209.tif 000017
【図１０】
2022502209.tif 000018
【図１１】
2022502209.tif 000019
【図１２】
2022502209.tif 000020
【図１３】
2022502209.tif 000021
【図１４】
2022502209.tif 000022
【国際調査報告】
2022502209.tif 000023
2022502209.tif 000024
2022502209.tif 000025
2022502209.tif 000026
2022502209.tif 000027
2022502209.tif 000028