(57)【要約】  判別部が、医用画像に含まれる疾病領域を判別する。判別部は医用画像において第１の医学的特徴を判別する、複数の処理層からなる第１のニューラルネットワーク３１と、第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する、複数の処理層からなる第２のニューラルネットワーク３２とを有する。第１のニューラルネットワーク３１には、第２のニューラルネットワークの途中の処理層が出力した特徴量または第２のニューラルネットワークの出力結果が入力される。
2020054188.tif 000002
【特許請求の範囲】
【請求項１】
医用画像に含まれる第１の医学的特徴の領域を判別する判別部を備え、
前記判別部は、前記医用画像における前記第１の医学的特徴を判別する、複数の処理層からなる第１のニューラルネットワークと、
前記第１の医学的特徴と関連する第２の医学的特徴を前記医用画像において判別する、複数の処理層からなる第２のニューラルネットワークとを有し、
前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量、または前記第２のニューラルネットワークの出力結果が入力される医用画像処理装置。
【請求項２】
前記第２のニューラルネットワークは、前記第１のニューラルネットワークとは異なるタスクが学習されてなる請求項１に記載の医用画像処理装置。
【請求項３】
前記第２のニューラルネットワークが学習するタスクは、疾患の有無を予測するタスク、疾患の種類を予測するタスク、患者に発現している臨床所見を予測するタスク、および患者の意識レベルを予測するタスクのいずれかである請求項２に記載の医用画像処理装置。
【請求項４】
前記第１のニューラルネットワークは、前記医用画像から局所的な医学的特徴を第１の医学的特徴として判別し、
前記第２のニューラルネットワークは、前記医用画像から大局的な医学的特徴を第２の医学的特徴として判別する請求項１から３の何れか１項に記載の医用画像処理装置。
【請求項５】
前記医用画像は脳を含み、
前記局所的な医学的特徴は脳の出血領域および梗塞領域の少なくとも一方であり、
前記大局的な医学的特徴は、前記出血領域および前記梗塞領域の少なくとも一方の有無である請求項４に記載の医用画像処理装置。
【請求項６】
前記局所的な医学的特徴が特定された前記医用画像を表示部に表示する表示制御部をさらに備えた請求項４または５に記載の医用画像処理装置。
【請求項７】
前記医用画像は脳のＣＴ画像である請求項１から６のいずれか１項に記載の医用画像処理装置。
【請求項８】
医用画像に含まれる第１の医学的特徴の領域を判別部により判別する医用画像処理方法であって、
前記判別部は、第１のニューラルネットワークと第２のニューラルネットワークとを有し、前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量、または前記第２のニューラルネットワークの出力結果が入力され、
前記第１のニューラルネットワークにより前記医用画像における前記第１の医学的特徴を判別し、
第２のニューラルネットワークにより、前記第１の医学的特徴と関連する第２の医学的特徴を前記医用画像において判別する医用画像処理方法。
【請求項９】
医用画像に含まれる第１の医学的特徴の領域を判別する処理をコンピュータに実行させる医用画像処理プログラムであって、
前記コンピュータを、第１のニューラルネットワークと第２のニューラルネットワークとを有し、前記第１のニューラルネットワークには、前記第２のニューラルネットワークの途中の処理層が出力した特徴量、または前記第２のニューラルネットワークの出力結果が入力される判別部として機能させ、
前記第１のニューラルネットワークにより前記医用画像における前記第１の医学的特徴を判別する手順と、
第２のニューラルネットワークにより、前記第１の医学的特徴と関連する第２の医学的特徴を前記医用画像において判別する手順とをコンピュータに実行させる医用画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、頭部のＣＴ(Computed Tomography）画像等の医用画像に含まれる医学的特徴を判別する医用画像処理装置、方法およびプログラムに関するものである。
【背景技術】
【０００２】
近年、ＣＴ装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、対象部位を脳とした場合において、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、脳梗塞および脳出血等の血管障害を起こしている疾病領域を特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。一般に疾病領域はＣＴ画像上において周囲の領域と比較して高いＣＴ値を示す。このため、画像診断においては周囲の領域と比較して高いＣＴ値を示す領域の有無を読影することにより、疾病領域を判別することができる。【０００３】
このように、医用画像から疾病領域を自動的に判別するための各種手法が提案されている。例えば、特開平８−２５１４０４号公報においては、入力層と中間層と出力層とを有する第１および第２のニューラルネットワークを備え、第１のニューラルネットワークのうちの入力層から中間層までの出力を、第２のニューラルネットワークの入力層に入力するように結合した判別装置が提案されている。特開平８−２５１４０４号公報に記載の判別装置においては、第１のニューラルネットワークに入力される画像データに基づいて、画像データの領域属性についての判別結果が出力される。このような判別装置を用いることにより、上述したような医用画像に含まれる特定の医学的特徴を判別することが可能となる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、医学的特徴の種類によっては、医用画像からの判別が困難となる場合がある。【０００５】
本開示は上記事情に鑑みなされたものであり、医用画像からの医学的特徴を容易に判別できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本開示による医用画像処理装置は、医用画像に含まれる第１の医学的特徴の領域を判別する判別部を備え、
判別部は、医用画像における第１の医学的特徴を判別する、複数の処理層からなる第１のニューラルネットワークと、
第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する、複数の処理層からなる第２のニューラルネットワークとを有し、
第１のニューラルネットワークには、第２のニューラルネットワークの途中の処理層が出力した特徴量、または第２のニューラルネットワークの出力結果が入力される。【０００７】
「判別」は医用画像における第１または第２の医学的特徴の有無を判別すること、医用画像における第１または第２の医学的特徴の場所を判別することの双方を含む。【０００８】
第２のニューラルネットワークの途中の処理層が出力した特徴量または第２のニューラルネットワークの出力結果が入力されるのは、第１のニューラルネットワークにおける途中の処理層であってもよく、最初の処理層であってもよい。【０００９】
また、本開示による医用画像処理装置においては、第２のニューラルネットワークは、第１のニューラルネットワークとは異なるタスクが学習されてなるものであってもよい。【００１０】
また、本開示による医用画像処理装置においては、第２のニューラルネットワークが学習するタスクは、疾患の有無を予測するタスク、疾患の種類を予測するタスク、患者に発現している臨床所見を予測するタスク、および患者の意識レベルを予測するタスクのいずれかであってもよい。【００１１】
また、本開示による医用画像処理装置においては、第１のニューラルネットワークは、医用画像から局所的な医学的特徴を第１の医学的特徴として判別し、
第２のニューラルネットワークは、医用画像から大局的な医学的特徴を第２の医学的特徴として判別するものであってもよい。【００１２】
また、本開示による医用画像処理装置においては、医用画像は脳を含み、
局所的な医学的特徴は脳の出血領域および梗塞領域の少なくとも一方であり、
大局的な医学的特徴は、出血領域および梗塞領域の少なくとも一方の有無であってもよい。【００１３】
また、本開示による医用画像処理装置においては、局所的な医学的特徴が特定された医用画像を表示部に表示する表示制御部をさらに備えるものであってもよい。【００１４】
また、本開示による医用画像処理装置においては、医用画像は脳のＣＴ画像であってもよい。【００１５】
本開示による医用画像処理方法は、医用画像に含まれる第１の医学的特徴の領域を判別部により判別する医用画像処理方法であって、
判別部は、第１のニューラルネットワークと第２のニューラルネットワークとを有し、第１のニューラルネットワークには、第２のニューラルネットワークの途中の処理層が出力した特徴量、または第２のニューラルネットワークの出力結果が入力され、
第１のニューラルネットワークにより医用画像における第１の医学的特徴を判別し、
第２のニューラルネットワークにより、第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する。【００１６】
なお、本開示による医用画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。【００１７】
本開示による他の医用画像処理装置は、医用画像に含まれる第１の医学的特徴の領域を判別部により判別する処理をコンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第１のニューラルネットワークと第２のニューラルネットワークとを有し、第１のニューラルネットワークには、第２のニューラルネットワークの途中の処理層が出力した特徴量、または第２のニューラルネットワークの出力結果が入力される判別部として機能し、
第１のニューラルネットワークにより医用画像における第１の医学的特徴を判別し、
第２のニューラルネットワークにより、第１の医学的特徴と関連する第２の医学的特徴を医用画像において判別する処理を実行する。
【発明の効果】
【００１８】
本開示によれば、医用画像において第１の医学的特徴を容易かつ精度よく判別することができる。
【図面の簡単な説明】
【００１９】
【図１】本開示の実施形態による医用画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図
【図２】本開示の実施形態による医用画像処理装置の概略構成を示す図
【図３】本実施形態における畳み込みニューラルネットワークの構成を示す概略図
【図４】出血領域が特定された脳画像を示す図
【図５】本実施形態において行われる処理を示すフローチャート
【発明を実施するための形態】
【００２０】
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による医用画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による医用画像処理装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
【００２１】
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は脳であり、３次元画像撮影装置２はＣＴ装置であり、被検体の脳を含む頭部のＣＴ画像を３次元の脳画像Ｂ０として生成する。
【００２２】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された脳画像Ｂ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
【００２３】
医用画像処理装置１は、１台のコンピュータに、本実施形態の医用画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。医用画像処理プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【００２４】
図２は、コンピュータに医用画像処理プログラムをインストールすることにより実現される医用画像処理装置の概略構成を示す図である。図２に示すように、医用画像処理装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医用画像処理装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
【００２５】
ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の脳画像、並びに処理に必要な情報を含む各種情報が記憶されている。
【００２６】
また、メモリ１２には、医用画像処理プログラムが記憶されている。医用画像処理プログラムは、ＣＰＵ１１に実行させる処理として、被検体の脳画像Ｂ０を取得する画像取得処理、脳画像Ｂ０に含まれる疾病領域を判別する判別処理、および判別された疾病領域を表示部１４に表示する表示制御処理を規定する。
【００２７】
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、判別部２２および表示制御部２３として機能する。
【００２８】
画像取得部２１は、被検体の脳の脳画像Ｂ０を画像保管サーバ３から取得する。なお、脳画像Ｂ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から脳画像Ｂ０を取得するようにしてもよい。
【００２９】
判別部２２は、脳画像Ｂ０における疾病領域を判別する。疾病領域としては、本実施形態においては出血領域とする。本実施形態においては、判別部２２は、複数の処理層が階層的に接続され、深層学習（ディープラーニング）がなされた多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（以下ＣＮＮ(Convolutional Neural Network)とする）であるものとする。
【００３０】
図３は本実施形態におけるＣＮＮの構成を示す概略図である。図３に示すように、ＣＮＮ３０は、第１のニューラルネットワーク３１および第２のニューラルネットワーク３２を有する。第１のニューラルネットワーク３１は、複数の処理層３１−１，３１−２…，３１−ｎ（ｎは処理層の数）を有する。また、第２のニューラルネットワーク３２は、複数の処理層３２−１，３２−２…，３２−ｍ（ｍは処理層の数）を有する。なお、第１および第２のニューラルネットワーク３１，３２における最初の処理層３１−１，３２−１は入力層であり、最後の処理層３１−ｎ、３２−ｍは出力層である。
【００３１】
第１のニューラルネットワーク３１および第２のニューラルネットワーク３２が有する処理層は、畳み込み層またはプーリング層からなる。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴量マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には、脳画像Ｂ０または特徴量マップといった２次元画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、脳画像Ｂ０または前段の処理層から出力された特徴量マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴量マップを出力する。
【００３２】
プーリング層は、畳み込み層が出力した特徴量マップをプーリングすることにより、特徴量マップのデータ量を低減して、データ量が低減された特徴量マップを出力する。
【００３３】
本実施形態において、第１のニューラルネットワーク３１は、出血領域を含む多数の脳画像を教師データとして使用して、入力された脳画像に含まれる各画素についての出血領域の判別結果Ｒ１を出力するように学習がなされている。なお、出血領域が第１の医学的特徴に相当する。これにより、第１のニューラルネットワーク３１に脳画像Ｂ０が入力されると、複数の処理層３１−ｉ（ｉ＝１〜ｎ）において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、脳画像Ｂ０における各画素についての出血領域の判別結果Ｒ１が出力層３１−ｎから出力される。なお、第１のニューラルネットワーク３１が出力する判別結果Ｒ１は、脳画像Ｂ０の各画素が出血領域であるか出血領域以外の領域であるかを判別した結果となる。
【００３４】
第２のニューラルネットワーク３２は、第１のニューラルネットワーク３１とは異なり、脳画像Ｂ０の全体における疾患の有無を予測するタスクが学習されてなる。なお、出血の有無が第２の医学的特徴に対応する。このために、第２のニューラルネットワーク３２は、出血領域があることが分かっている多数の脳画像を教師データとして使用し、入力された脳画像に出血領域が含まれるか否かの判別結果Ｒ２を出力するように学習がなされる。これにより、第２のニューラルネットワーク３２に脳画像Ｂ０が入力されると、複数の処理層３２−ｊ（ｊ＝１〜ｍ）において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、脳画像Ｂ０の全体の情報が統合されて、脳画像Ｂ０に出血領域が含まれるか否かの判別結果Ｒ２が最終層３２−ｍから出力される。
【００３５】
なお、第１のニューラルネットワーク３１の判別結果Ｒ１は脳画像Ｂ０内における出血領域の位置の情報を含むが、第２のニューラルネットワーク３２の判別結果Ｒ２は、出血領域の有無を表すのみであるため、脳画像Ｂ０内における位置の情報を含まない。
【００３６】
ここで、本実施形態においては、第２のニューラルネットワーク３２における途中の処理層３２−ｋから出力された特徴量マップＴ２ｋが、第１のニューラルネットワーク３１の途中の処理層３１−ｒに入力される。特徴量マップＴ２ｋは、入力された脳画像Ｂ０における出血領域の有無がある程度分かっているような特徴量を含む。第２のニューラルネットワーク３２におけるいずれの処理層から出力された特徴量マップを第１のニューラルネットワーク３１のいずれの処理層に入力するかは、第１および第２のニューラルネットワーク３１，３２の学習の段階において予め設計されてなる。なお、特徴量マップＴ２ｋは、処理層３１−ｒの前段の処理層３１−ｒ−１から出力される特徴量マップＴ１ｒ−１と同一サイズとなるように拡大縮小されて、特徴量マップＴ１ｒ−１と併せて、処理層３１−ｒに入力される。したがって、本実施形態においては、第１のニューラルネットワーク３１は、処理層３１−ｒ以降の処理層において、第２のニューラルネットワーク３２の途中の処理層から出力された特徴量マップを統合して、脳画像Ｂ０における局所的な出血領域の判別結果Ｒ１を出力するものとなる。
【００３７】
ここで、脳画像Ｂ０によっては、局所的な特徴のみでは出血領域を判別することが難しいものがある。このような脳画像Ｂ０の出血領域は熟練した医師が読影すれば確認することはできるが、畳み込みニューラルネットワーク等を用いた判別部においては、出血領域を精度よく判別することは難しい場合がある。本実施形態においては、第１のニューラルネットワーク３１において、第２のニューラルネットワーク３２の出力、すなわち脳画像Ｂ０内における出欠の有無の情報が統合されて出血領域の判別結果Ｒ１が出力されることとなる。
【００３８】
表示制御部２３は、出血領域が判別された脳画像を表示部１４に表示する。図４は表示された脳画像を示す図である。なお、図４においては、脳画像Ｂ０の１つの断層面のスライス画像を示している。図４に示すように、脳画像Ｂ０において判別された出血領域Ａ１がハイライトされて表示されている。なお、ハイライトは、出血領域Ａ１を線で囲む、出血領域Ａ１に特定の色を付与する、および出血領域Ａ１に矢印を付与する等、任意の態様を用いることができる。
【００３９】
次いで、本実施形態において行われる処理について説明する。図５は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、被検体の脳画像Ｂ０を取得する（ステップＳＴ１）。次いで、判別部２２が脳画像Ｂ０内における出血領域を判別し（ステップＳＴ２）、表示制御部２３が出血領域が判別された脳画像Ｂ０を表示部１４に表示し（ステップＳＴ３）、処理を終了する。
【００４０】
このように、本実施形態においては、判別部２２の第１のニューラルネットワーク３１により、脳画像Ｂ０における出血領域が判別され、第２のニューラルネットワーク３２により、脳画像Ｂ０における出血領域の有無が判別される。この際、第１のニューラルネットワーク３１には、第２のニューラルネットワーク３２の途中の処理層３２−ｋが出力した特徴量マップＴ２ｋが入力される。このため、第１のニューラルネットワーク３１における特徴量マップと、第２のニューラルネットワーク３２が判別する出血領域の有無に関する特徴量マップとが統合されて、第１のニューラルネットワーク３２において、脳画像Ｂ０における出血領域が判別されることとなる。したがって、本実施形態によれば、脳画像Ｂ０において出血領域を容易かつ精度よく判別することができる。
【００４１】
なお、上記実施形態においては、第２のニューラルネットワーク３２の途中の処理層３２−ｋが出力した特徴量マップＴ２ｋを第１のニューラルネットワーク３１に入力しているが、第２のニューラルネットワーク３２の出力層３２−ｍが出力した判別結果Ｒ２を、第１のニューラルネットワーク３１に入力するようにしてもよい。
【００４２】
また、上記実施形態においては、第２のニューラルネットワーク３２の途中の処理層３２−ｋが出力した特徴量マップＴ２ｋを、第１のニューラルネットワーク３１の途中の処理層３１−ｒに入力しているが、これに限定されるものではない。第２のニューラルネットワーク３２の途中の処理層３２−ｋが出力した特徴量マップＴ２ｋまたは第２のニューラルネットワーク３２の出力層３２−ｍが出力した判別結果Ｒ２を、第１のニューラルネットワーク３１の最初の処理層３１−１、すなわち入力層に入力するようにしてもよい。
【００４３】
また、上記実施形態においては、第２のニューラルネットワーク３２は、出血領域の有無を予測するタスクが学習されてなる。しかしながら、第２のニューラルネットワーク３２が学習するタスクはこれに限定されるものではない。例えば、脳画像Ｂ０における疾病の種類、例えば出血および梗塞を予測するタスクが学習されてなるものであってもよい。この場合、第２のニューラルネットワーク３２は、含まれる疾病が出血および梗塞のいずれかであることが分かっている脳画像を教師データとして使用し、脳画像が入力されると含まれる疾病の種類（出血、梗塞および疾病無し）の判別結果を出力するように学習がなされる。
【００４４】
一方、疾病の種類としては、出血の種類としてもよい。例えば、出血の種類として、脳内出血、脳室内出血、くも膜下出血および硬膜外出血のいずれの種類であるかの判別結果を出力するように、第２のニューラルネットワーク３２を学習するようにしてもよい。また、第２のニューラルネットワーク３２は、脳圧迫所見の有無を判別するように学習されたものであってもよく、脳梗塞の種類（急性期および陳旧性等）を判別するように学習されたものであってもよい。
【００４５】
また、第２のニューラルネットワーク３２が学習するタスクとして、被検体である患者に発現している臨床所見を予測するタスクであってもよい。ここで、臨床所見としては、意識の状態、開眼の状態および覚醒の状態等が挙げられる。この場合、第２のニューラルネットワーク３２は、臨床所見が分かっている脳画像を教師データとして使用し、脳画像が入力されると臨床所見の判別結果を出力するように学習がなされる。
【００４６】
また、上記実施形態においては、脳画像Ｂ０としてＣＴ画像を用いているが、これに限定されるものではなく、ＭＲＩ画像およびＰＥＴ画像等の他の医用画像を用いてもよい。
【００４７】
また、上記実施形態においては、医用画像として脳画像Ｂ０を用いているが、これに限定されるものではない。例えば、人体の胸部、腹部、全身および四肢等の医用画像に含まれる医学的特徴を判別する場合にも、本開示を適用することができる。
【００４８】
また、上記実施形態においては、第１および第２のニューラルネットワーク３１，３２として畳み込みニューラルネットワークを用いているが、これに限定されるものではない。複数の処理層から構成されるニューラルネットワークであれば、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等を用いることができる。また、第１のニューラルネットワーク３１と第２のニューラルネットワーク３２とは、同一のニューラルネットワークで無くてもよい。例えば、第１のニューラルネットワーク３１を畳み込みニューラルネットワークとし、第２のニューラルネットワーク３２をリカレントニューラルネットワークとしてもよい。
【００４９】
また、上記各実施形態において、例えば、画像取得部２１、判別部２２および表示制御部２３といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field  Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【００５０】
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
【００５１】
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【００５２】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
【符号の説明】
【００５３】
１    医用画像処理装置
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１１    ＣＰＵ
１２    メモリ
１３    ストレージ
１４    ディスプレイ
１５    入力部
２１    画像取得部
２２    判別部
２３    表示制御部
３０    ＣＮＮ
３１    第１のニューラルネットワーク
３１−１，３１−２…    処理層
３２    第２のニューラルネットワーク
３２−１，３２−２…    処理層
Ａ１    出血領域
Ｂ０    脳画像
Ｒ１，Ｒ２    判別結果
Ｔ１ｒ−１，Ｔ２ｋ    特徴量マップ
【図１】
2020054188.tif 000003
【図２】
2020054188.tif 000004
【図３】
2020054188.tif 000005
【図４】
2020054188.tif 000006
【図５】
2020054188.tif 000007
【手続補正書】
【提出日】令和3年1月28日(2021.1.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
第２のニューラルネットワーク３２は、第１のニューラルネットワーク３１とは異なり、脳画像Ｂ０の全体における疾患の有無を予測するタスクが学習されてなる。なお、出血の有無が第２の医学的特徴に対応する。このために、第２のニューラルネットワーク３２は、出血領域があることが分かっている多数の脳画像を教師データとして使用し、入力された脳画像に出血領域が含まれるか否かの判別結果Ｒ２を出力するように学習がなされる。これにより、第２のニューラルネットワーク３２に脳画像Ｂ０が入力されると、複数の処理層３２−ｊ（ｊ＝１〜ｍ）において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力され、脳画像Ｂ０の全体の情報が統合されて、脳画像Ｂ０に出血領域が含まれるか否かの判別結果Ｒ２が出力層３２−ｍから出力される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
ここで、脳画像Ｂ０によっては、局所的な特徴のみでは出血領域を判別することが難しいものがある。このような脳画像Ｂ０の出血領域は熟練した医師が読影すれば確認することはできるが、畳み込みニューラルネットワーク等を用いた判別部においては、出血領域を精度よく判別することは難しい場合がある。本実施形態においては、第１のニューラルネットワーク３１において、第２のニューラルネットワーク３２の出力、すなわち脳画像Ｂ０内における出血の有無の情報が統合されて出血領域の判別結果Ｒ１が出力されることとなる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
このように、本実施形態においては、判別部２２の第１のニューラルネットワーク３１により、脳画像Ｂ０における出血領域が判別され、第２のニューラルネットワーク３２により、脳画像Ｂ０における出血領域の有無が判別される。この際、第１のニューラルネットワーク３１には、第２のニューラルネットワーク３２の途中の処理層３２−ｋが出力した特徴量マップＴ２ｋが入力される。このため、第１のニューラルネットワーク３１における特徴量マップと、第２のニューラルネットワーク３２が判別する出血領域の有無に関する特徴量マップとが統合されて、第１のニューラルネットワーク３１において、脳画像Ｂ０における出血領域が判別されることとなる。したがって、本実施形態によれば、脳画像Ｂ０において出血領域を容易かつ精度よく判別することができる。
【国際調査報告】
2020054188.tif 000008
2020054188.tif 000009
2020054188.tif 000010
2020054188.tif 000011