(57)【要約】医用画像のセグメンテーションにおける誤りを抑制し得る画像処理装置、画像処理方法、及びプログラムを提供する。深層学習を適用して、医用画像（２００）の局所の特徴に基づき医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション部（４２）と、深層学習を適用して、医用画像を医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類部（４６）と、を備え、セグメンテーション部は、低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有する。
2020110775.tif 000002
【特許請求の範囲】
【請求項１】
深層学習を適用して、医用画像の局所の特徴に基づき前記医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション部と、
深層学習を適用して、前記医用画像を前記医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類部と、
を備え、
前記セグメンテーション部は、低次層である第一低次層の重みを、前記グローバル特徴分類部における低次層である第二低次層と共有する画像処理装置。
【請求項２】
前記セグメンテーション部は、前記クラスとして病変を適用する請求項１に記載の画像処理装置。
【請求項３】
前記グローバル特徴分類部は、前記グローバル特徴として疾患名を適用する請求項１又は２に記載の画像処理装置。
【請求項４】
前記グローバル特徴分類部は、前記グローバル特徴として医用画像の撮像条件を適用する請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記セグメンテーション部は、前記医用画像の特徴を圧縮する第一エンコーダ部、及び前記第一エンコーダ部を用いて圧縮した医用画像の特徴を復元するデコーダ部を備え、
前記グローバル特徴分類部は、前記医用画像の特徴を圧縮する第二エンコーダ部を備え、
前記セグメンテーション部は、前記第一低次層の重みとして前記第一エンコーダ部に適用される重みを、前記第二エンコーダ部に適用される重みと共有する請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記第一エンコーダ部の出力画像よりも圧縮させた前記第二エンコーダ部の出力画像を、前記第一エンコーダ部の出力画像に対応して伸長させる変換部と、
第一エンコーダ部の出力画像と前記変換部の出力画像とを結合する結合部と、
を備えた請求項５に記載の画像処理装置。
【請求項７】
前記第二エンコーダ部は、一次元の特徴ベクトルを出力する出力部よりも前段の中間層であり、前記第一エンコーダ部と重みを非共有の中間層の出力画像を前記変換部へ送信する請求項６に記載の画像処理装置。
【請求項８】
前記変換部は、前記変換部の入力画像及び前記結合部の出力画像を学習セットとして学習を実施した深層学習器を適用する請求項６又は７に記載の画像処理装置。
【請求項９】
前記セグメンテーション部は、前記グローバル特徴分類部と重みを共有した層について、前記セグメンテーション部のセグメンテーション結果、前記グローバル特徴分類部の分類結果、及び前記セグメンテーション部に入力される前記医用画像を学習セットとして学習を実施した深層学習器を適用する請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記セグメンテーション部は、前記グローバル特徴分類部と重みを共有しない層について、前記医用画像及び前記セグメンテーション部を適用したセグメンテーション結果を学習セットとして再学習を実施した深層学習器を適用する請求項９に記載の画像処理装置。
【請求項１１】
前記グローバル特徴分類部は、前記セグメンテーション部と重みを共有した層について、前記グローバル特徴分類部の入力画像及び前記グローバル特徴分類部の分類結果をセットとして学習を実施した深層学習器を適用する請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１２】
深層学習を適用して、医用画像の局所の特徴に基づき前記医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション工程と、
深層学習を適用して、前記医用画像を前記医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類工程と、
を含み、
前記セグメンテーション工程は、セグメンテーション部の低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有する画像処理方法。
【請求項１３】
コンピュータに、
深層学習を適用して、医用画像の局所の特徴に基づき前記医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション機能、及び
深層学習を適用して、前記医用画像を前記医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類機能を実現させるプログラムであって、
前記セグメンテーション機能は、セグメンテーション部における低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有するプログラム。
【請求項１４】
非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
深層学習を適用して、医用画像の局所の特徴に基づき前記医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション機能と、
深層学習を適用して、前記医用画像を前記医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類機能と、を含む画像処理機能であって、
前記セグメンテーション機能は、セグメンテーション部における低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有する、画像処理機能をコンピュータに実行させる記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、及びプログラムに係り、特に医用画像のセグメンテーションに関する。
【背景技術】
【０００２】
深層学習を用いた解剖学的特徴に基づく医用画像のセグメンテーションが知られている。医用画像のセグメンテーションは、ピクセル又はボクセルの周辺の局所領域の特徴に基づき、ピクセル等を特定のクラスに分類する。【０００３】
特許文献１は、被検体の医用画像から傷病部位の検出を行うシステムが記載されている。同文献に記載のシステムは、別々の方式を用いて生成された二種類の医用画像に対して傷病部位の特徴を指定し、指定された特徴に対応する領域等を傷病部位として検出する。【０００４】
特許文献２は、医用画像を取得し、医用画像の画像特性を取得し、画像特性に依存して医用画像をカテゴリ化し、カテゴリに依存してセグメンテーションアルゴリズムを選択し、選択されたセグメンテーションアルゴリズムを用いて医用画像をセグメント化するシステムが記載されている。【０００５】
特許文献３は、画像分類用のＣＮＮ（Convolutional Neural Network）が記載されている。同文献に記載のＣＮＮは、画像データを受信し、粗いカテゴリＣＮＮを用いて、画像の粗いカテゴリ又は粗いカテゴリの重みを決定し、一以上の精密カテゴリＣＮＮを用いて画像の精密カテゴリを決定する分類モジュールを備える。【０００６】
特許文献４は、第一階層の機械学習認識装置と第二階層の機械学習認識装置と階層的に接続したシステムが記載されている。同文献に記載の第二階層の機械学習認識装置は、第一階層の機械学習認識装置における中間層のデータを入力としている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００９−５０２２３０号公報
【特許文献２】特表２０１４−５０２１６９号公報
【特許文献３】特表２０１７−５３８１９５号公報
【特許文献４】国際公開第２０１７／１８７５１６号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、医用画像のセグメンテーションにおいて、分類したクラスに誤りが発生することがあり得る。例えば、局所的な大きさの領域の情報に基づくセグメンテーションを実施した場合、不正確でノイズの多いセグメンテーションの結果が生成されることが懸念される。【０００９】
具体的には、肺のＧＧＯパターンは、正常な肺よりも高いＣＴ値を持つ領域として定義される。一方、ＩＰＦ患者は呼吸を十分にすることができないため、ＩＰＦ患者の肺のＣＴ値は高くなり、局所的な大きさの領域のみの情報に基づくセグメンテーションを実施した場合に、正常な肺の領域がＧＧＣパターンとして認識されてしまうことがある。【００１０】
すなわち、ＣＴ値のみを用いて正常な肺領域であるか又はＧＧＯ領域であるかを判定することは困難である。なお、ＧＧＯは擦りガラス影を表す英語表記であるGround Glass Opacityの省略語である。ＣＴはコンピュータ断層撮影を表す英語表記であるComputed Tomographyの省略語である。【００１１】
特許文献１に記載のシステムは、医用画像から特定の傷病部位を検出するものである。すなわち、特許文献１は医用画像の全体の特徴から医用画像の傷病名を特定するクラシフィケーションを開示するものであって、医用画像をピクセルごとに特定のクラスに分類するセグメンテーションを開示ものではない。【００１２】
特許文献２に記載のシステムは、医用画像のセグメンテーションを実施する際に、医用画像の画像特性に基づきセグメンテーションアルゴリズムを選択しているが、セグメンテーションアルゴリズムがピクセル等の局所領域の特徴に基づきセグメンテーションを実施する場合は、セグメンテーションの結果に誤りが生じ得る。【００１３】
特許文献３には、医用画像の処理に関する記載はなく、また、画像をピクセルごとに特定のクラスに分類するセグメンテーションに関する記載はない。特許文献４についても同様である。【００１４】
本発明はこのような問題点に鑑みてなされたもので、医用画像のセグメンテーションにおける誤りを抑制し得る画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、次の発明態様を提供する。【００１６】
第１態様に係る画像処理装置は、深層学習を適用して、医用画像の局所の特徴に基づき医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション部と、深層学習を適用して、医用画像を医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類部と、を備え、セグメンテーション部は、低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有する画像処理装置である。【００１７】
第１態様によれば、グローバル特徴部の低次層と重みを共有した低次層を有するセグメンテーション部を用いて医用画像のセグメンテーションが実施される。これにより、グローバル特徴が反映されたセグメンテーションが実施され、医用画像のセグメンテーションにおけるクラスの分類の誤りを抑制し得る。【００１８】
医用画像を取得する医用画像取得部を備える態様が好ましい。取得した医用画像を記憶する医用画像記憶部を備える態様が好ましい。【００１９】
セグメンテーション部は、医用画像から局所領域の特徴を抽出し、局所の特徴ごとに分類した特徴量マップを生成し得る。【００２０】
局所領域又は局所は、一ピクセルから構成される態様が含まれ得る。局所領域ごと又は局所ごとは、ピクセルごとの概念が含まれ得る。【００２１】
第一低次層は、セグメンテーション部の中間層のうち、入力層の次層を含む一以上の層を適用し得る。第二低次層は、グローバル特徴分類部の中間層のうち、医用画像から特徴を抽出する際に、セグメンテーション部の第一低次層と同じ特徴を抽出する層を適用し得る。【００２２】
第２態様は、第１態様の画像処理装置において、セグメンテーション部は、クラスとして病変を適用する構成としてもよい。【００２３】
第２態様によれば、医用画像の病変を抽出するセグメンテーションを実施し得る。【００２４】
病変は、正常な人体組織と区別し得る特徴を有する画像パターンを適用し得る。【００２５】
第３態様は、第１態様又は第２態様のいずれか一態様の画像処理装置において、グローバル特徴分類部は、グローバル特徴として疾患名を適用する構成としてもよい。【００２６】
第３態様によれば、医用画像に対応する疾患名が反映されたセグメンテーションが実施される。【００２７】
第４態様は、第１態様から第３態様のいずれか一態様の画像処理装置において、グローバル特徴分類部は、グローバル特徴として医用画像の撮像条件を適用する構成としてもよい。【００２８】
第４態様によれば、医用画像に対応する撮像条件が反映されたセグメンテーションが実施される。【００２９】
グローバル特徴分類部は、一つの医用画像について、異なる複数の種類のグローバル特徴を適用してもよい。【００３０】
第５態様は、第１態様から第４態様のいずれか一態様の画像処理装置において、セグメンテーション部は、医用画像の特徴を圧縮する第一エンコーダ部、及び第一エンコーダ部を用いて圧縮した医用画像の特徴を復元するデコーダ部を備え、グローバル特徴分類部は、医用画像の特徴を圧縮する第二エンコーダ部を備え、セグメンテーション部は、第一低次層の重みとして第一エンコーダ部に適用される重みを、第二エンコーダ部に適用される重みと共有する構成としてもよい。【００３１】
第５態様によれば、セグメンテーション部は、ノイズ等が含まれる不要な次元が削減された医用画像の特徴を抽出し得る。【００３２】
第６態様は、第５態様の画像処理装置において、第一エンコーダ部の出力画像よりも圧縮させた第二エンコーダ部の出力画像を、第一エンコーダ部の出力画像に対応して伸長させる変換部と、第一エンコーダ部の出力画像と変換部の出力画像とを結合する結合部と、を備えた構成としてもよい。【００３３】
第６態様によれば、第二エンコーダ部の出力画像を第一エンコーダ部の出力画像に対応して伸長させる。これにより、第一エンコーダ部の出力画像と第二エンコーダ部の出力画像とを結合し得る。【００３４】
第７態様は、第６態様の画像処理装置において、第二エンコーダ部は、一次元の特徴ベクトルを出力する出力部よりも前段の中間層であり、前記第一エンコーダ部と重みを非共有の中間層の出力画像を前記変換部へ送信する構成としてもよい。【００３５】
第７態様によれば、出力部よりも前段の中間層の出力画像は、第二エンコーダ部の出力部から出力される一次元ベクトルに対して情報量が落ちていない。これにより、一定の情報量が維持された出力画像を伸長し、第一エンコーダ部の出力画像へ結合し得る。【００３６】
第８態様は、第６態様又は第７態様の画像処理装置において、変換部は、前記変換部の入力画像及び前記結合部の出力画像を学習セットとして学習を実施した深層学習器を適用する構成としてもよい。【００３７】
第８態様によれば、変換部及び結合部の処理を高精度化し得る。【００３８】
第９態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、セグメンテーション部は、グローバル特徴分類部と重みを共有した層について、セグメンテーション部のセグメンテーション結果、グローバル特徴分類部の分類結果、及びセグメンテーション部に入力される医用画像を学習セットとして学習を実施した深層学習器を適用する構成としてもよい。【００３９】
第９態様によれば、グローバル特徴を参照してロバスト性を向上させたセグメンテーション部を実現し得る。【００４０】
第１０態様は、第９態様の画像処理装置において、セグメンテーション部は、グローバル特徴分類部と重みを共有しない層について、医用画像及びセグメンテーション部を適用したセグメンテーション結果を学習セットとして再学習を実施した深層学習器を適用する構成としてもよい。【００４１】
第１０態様によれば、効率的なセグメンテーション部の再学習を実施し得る。【００４２】
第１１態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、グローバル特徴分類部は、前記セグメンテーション部と重みを共有した層について、前記グローバル特徴分類部の入力画像及び前記グローバル特徴分類部の分類結果をセットとして学習を実施した深層学習器を適用する構成としてもよい。【００４３】
第１１態様によれば、学習セットの情報量が抑制された効率のよい学習が可能となる。【００４４】
第１２の態様に係る画像処理方法は、深層学習を適用して、医用画像の局所の特徴に基づき医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション工程と、深層学習を適用して、医用画像を医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類工程と、を含み、セグメンテーション工程は、セグメンテーション部の低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有する画像処理方法である。【００４５】
第１２態様によれば、第１態様と同様の効果を得ることが可能である。【００４６】
第１２態様において、第２態様から第１１態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。【００４７】
第１３態様に係るプログラムは、コンピュータに、深層学習を適用して、医用画像の局所の特徴に基づき医用画像を特定のクラスに分類するセグメンテーションを行うセグメンテーション機能、及び深層学習を適用して、医用画像を医用画像の全体の特徴であるグローバル特徴に分類するグローバル特徴分類機能を実現させるプログラムであって、セグメンテーション機能は、セグメンテーション部における低次層である第一低次層の重みを、グローバル特徴分類部における低次層である第二低次層と共有するプログラムである。【００４８】
第１３態様によれば、第１態様と同様の効果を得ることが可能である。【００４９】
第１３態様において、第２態様から第１１態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
【発明の効果】
【００５０】
本発明によれば、グローバル特徴部の低次層と重みを共有した低次層を有するセグメンテーション部を用いて医用画像のセグメンテーションが実施される。これにより、グローバル特徴が反映されたセグメンテーションが実施され、医用画像のセグメンテーションにおけるクラスの分類の誤りを抑制し得る。
【図面の簡単な説明】
【００５１】
【図１】図１は実施形態に係る医療情報システムの概略構成図である。
【図２】図２は図１に示す画像処理装置の機能ブロック図である。
【図３】図３は図１に示す画像処理装置のハードウェアの構成を示すブロック図である。
【図４】図４は第一実施形態に係る画像処理装置に適用されるニューラルネットワークの模式図である。
【図５】図５は図４に示す第一エンコーダ部の一例を示す模式図である。
【図６】図６は第一実施形態に係る画像処理装置に適用される畳み込みニューラルネットワークの模式図である。
【図７】図７は第二実施形態に係る画像処理装置に適用されるニューラルネットワークの模式図である。
【図８】図８は第二実施形態に係る画像処理装置に適用される畳み込みニューラルネットワークの模式図である。
【図９】図９は疾患名と病変との対応関係を示すテーブルの一例を示す図である。
【発明を実施するための形態】
【００５２】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略することとする。
【００５３】
［医用画像処理システムの全体構成］
図１は実施形態に係る医療情報システムの概略構成図である。医療情報システム１０は、画像処理装置１２、モダリティ１４、及び画像データベース１６を備える。画像処理装置１２、モダリティ１４、及び画像データベース１６は、ネットワーク１８を介して通信可能に接続される。
【００５４】
画像処理装置１２は、医療機関に具備されるコンピュータを適用可能である。画像処理装置１２は、入力装置としてマウス２０及びキーボード２２が接続される。また、画像処理装置１２は表示装置２４が接続される。
【００５５】
モダリティ１４は、被写体の検査対象部位を撮像し、医用画像を生成する撮像装置である。モダリティ１４の例として、Ｘ線撮像装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、超音波装置、及び平面Ｘ線検出器を用いたＣＲ装置が挙げられる。モダリティ１４として内視鏡装置を適用してもよい。
【００５６】
なお、ＭＲＩは磁気共鳴画像を表すMagnetic Resonance Imagingの省略語である。ＰＥＴ装置は陽電子放射断層撮影を表すPositron Emission Tomographyの省略語である。平面Ｘ線検出器はＦＰＤ(flat panel detector)と呼ばれることがある。ＣＲはコンピュータＸ線撮影装置を表すComputed Radiographyの省略語である。
【００５７】
医用画像のフォーマットは、ＤＩＣＯＭ規格を適用可能である。医用画像は、ＤＩＣＯＭ規格において規定された付帯情報が付加されてもよい。なお、ＤＩＣＯＭはDigital Imaging and COmmunicationsin Medicineの省略語である。
【００５８】
ここで、本明細書おける画像という用語には、写真等の画像自身の意味の他に、画像を表す信号である画像データの意味が含まれ得る。
【００５９】
画像データベース１６は、大容量ストレージ装置を備えるコンピュータを適用可能である。コンピュータはデータベース管理システムの機能を提供するソフトウェアが組み込まれる。データベース管理システムは、ＤＢＭＳ（Data Base Management System）と呼ばれることがある。
【００６０】
ネットワーク１８は、ＬＡＮ（Local Area Network）を適用可能である。ネットワーク１８はＷＡＮ（Wide Area Network）を適用してもよい。ネットワーク１８の通信プロトコルは、ＤＩＣＯＭ規格を適用可能である。なお、ネットワーク１８は公衆回線網に接続可能に構成されてもよいし、専用回線網に接続可能に構成されてもよい。ネットワーク１８は、有線でもよいし、無線でもよい。
【００６１】
［画像処理装置］
〔画像処理装置の機能〕
図２は図１に示す画像処理装置の機能ブロック図である。図２に示す画像処理装置１２は、深層学習等を適用して医用画像のセグメンテーションマスクを生成する。医用画像のセグメンテーションの一例として、肺組織を気管支拡張症、蜂巣肺、すりガラス影、網状肺、及び線状肺など、正常な組織と区別し得る組織である病変に分類する例が挙げられる。
【００６２】
セグメンテーションされた医用画像は、病変ごとの体積計算等に利用される。病変ごとの体積変化は、間質性肺疾患等の肺疾患の進行の指標となる。
【００６３】
本実施形態では、画像処理装置１２として、肺のＣＴ画像が入力された場合に、肺のＣＴ画像における各ピクセルが、医学的に知られている画像パターンであるクラスに属するか否かを自動的に分類する判別装置を説明する。医学的に知られている画像パターンの例として、先に列挙した病変が挙げられる。
【００６４】
画像処理装置１２は、画像取得部４０、セグメンテーションネットワーク４２、及びクラシフィケーションネットワーク４６を備える。画像処理装置１２は、記憶部５０、表示制御部６０、及び入力制御部６２を備える。
【００６５】
画像取得部４０、セグメンテーションネットワーク４２、クラシフィケーションネットワーク４６、記憶部５０、表示制御部６０、及び入力制御部６２は、バス５２を介して通信可能に接続される。以下、画像処理装置１２の各部について詳細に説明する。
【００６６】
画像取得部４０は処理対象の医用画像を取得する。画像処理装置１２は、取得した医用画像を記憶部５０へ記憶する。図２には画像データベース１６から医用画像を取得する態様を例示する。
【００６７】
画像取得部４０は図１に示すモダリティ１４から医用画像を取得してもよいし、ネットワーク１８を経由して図示しないストレージ装置から医用画像を取得してもよい。また、画像取得部４０は情報記憶媒体を介して医用画像を取得してもよい。
【００６８】
セグメンテーションネットワーク４２は、特徴量抽出部７０及びセグメンテーションマスク生成部７４を備える。セグメンテーションネットワーク４２は、画像取得部４０を用いて取得した医用画像に対してセグメンテーションを実施するニューラルネットワークである。実施形態に示すセグメンテーションネットワーク４２は、セグメンテーション部の一例である。
【００６９】
すなわち、セグメンテーションネットワーク４２は、医用画像におけるピクセルごとの特徴量を抽出し、ピクセルごとの特徴量であるローカル特徴に基づき、各ピクセルの分類を実施し、医用画像のセグメンテーションマスクを生成する。セグメンテーションマスクは符号２１０を付して図４に示す。
【００７０】
なお、複数の連続するピクセルは医用画像の局所領域を構成する。すなわち、セグメンテーションネットワーク４２は、医用画像の局所領域ごとのローカル特徴に基づき、局所領域ごとに分類を実施し得る。以下、ピクセルごとの処理は、局所領域ごとの処理と読み替えが可能である。
【００７１】
本実施形態ではローカル特徴として病変を例示する。本明細書における病変は、病変パターン及び所見等と呼ばれる場合がある。
【００７２】
クラシフィケーションネットワーク４６は、医用画像の全体の特徴を表すグローバル特徴を適用して、医用画像を分類するニューラルネットワークである。実施形態に示すクラシフィケーションネットワーク４６は、グローバル特徴分類部の一例である。
【００７３】
医用画像のグローバル特徴は、入力装置２１を用いて入力された情報を適用してもよいし、医用画像の付帯情報を適用してもよい。本実施形態は、グローバル特徴の例として、疾患名及び医用画像の撮像条件を示す。グローバル特徴は一つ以上であれば種類数に制限はない。
【００７４】
記憶部５０は画像処理装置１２における各種データを記憶する。記憶部５０は、画像記憶部８０、セグメンテーションマスク記憶部８４、グローバル特徴記憶部８６、及びプログラム記憶部８８を備える。記憶部５０は、複数の記憶装置を適用してもよいし、複数の記憶領域に区画された一つの記憶装置を適用してもよい。記憶部５０は画像処理装置１２の外部に具備される一つ以上の記憶装置を適用してもよい。
【００７５】
画像記憶部８０は、画像取得部４０を用いて取得した医用画像を記憶する。セグメンテーションマスク記憶部８４はセグメンテーションの結果として生成されるセグメンテーションマスクを記憶する。グローバル特徴記憶部８６はクラシフィケーションネットワーク４６を用いて分類される医用画像ごとのグローバル特徴を記憶する。
【００７６】
プログラム記憶部８８は画像処理装置１２において実行される各種プログラムが記憶される。画像処理装置１２は、図３に示すハードウェアを用いて各種プログラムを実行して、画像処理装置１２の各種機能を実現する。
【００７７】
表示制御部６０は、表示装置２４を用いて表示させる情報を表す信号を、表示装置２４へ送信する。表示装置２４を用いて表示させる情報の一例として、セグメンテーションが実施された医用画像を表す分類マップが挙げられる。
【００７８】
分類マップは、入力されたに医用画像に対して適用して、セグメンテーションマスクを生成し得る。セグメンテーションマスク記憶部８４はセグメンテーションの結果として分類マップを記憶してもよい。
【００７９】
入力制御部６２は、入力装置２１から送信される入力情報を表す信号を、画像処理装置１２に適用される形式の信号に変換する。入力情報を表す信号は装置各部へ適宜送信される。
【００８０】
〔画像処理部のハードウェア構成〕
〈全体構成〉
図３は図１に示す画像処理装置のハードウェアの構成を示すブロック図である。画像処理装置１２は、図３に示すハードウェアを用いて規定のプログラムを実行し、各種機能を実現し得る。
【００８１】
画像処理装置１２は、プロセッサ１００、メモリ１０２、ストレージ装置１０４、ネットワークコントローラ１０６、及び電源装置１０８を備える。また、画像処理装置１２は、ディスプレイコントローラ１１０、入出力インターフェース１１２、及び入力コントローラ１１４を備える。
【００８２】
プロセッサ１００、メモリ１０２、ストレージ装置１０４、ネットワークコントローラ１０６、ディスプレイコントローラ１１０、入出力インターフェース１１２、及び入力コントローラ１１４は、バス５２を介してデータ通信が可能に接続される。
【００８３】
〈プロセッサ〉
プロセッサ１００は、画像処理装置１２の全体制御部、各種演算部、及び記憶制御部として機能する。プロセッサ１００は、メモリ１０２に具備されるＲＯＭ（read only memory）に記憶されるプログラムを実行する。
【００８４】
プロセッサ１００は、ネットワークコントローラ１０６を介して外部の記憶装置からダウンロードされたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１８を介して画像処理装置１２と通信可能に接続されていてもよい。
【００８５】
プロセッサ１００は、メモリ１０２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して各種処理を実行する。これにより、画像処理装置１２の各種機能が実現される。
【００８６】
プロセッサ１００は、ストレージ装置１０４からのデータの読み出し、及びストレージ装置１０４へのデータの書き込みを制御する。プロセッサ１００は、ネットワークコントローラ１０６を介して、外部の記憶装置から各種データを取得してもよい。プロセッサ１００は、取得した各種データを用いて、演算等の各種処理を実行可能である。
【００８７】
プロセッサ１００は、一つ又は二つ以上のデバイスが含まれてもよい。プロセッサ１００の例として、ＦＰＧＡ（Field Programmable Gate Array）及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。
【００８８】
プロセッサ１００の他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。
【００８９】
プロセッサ１００は、同じ種類の二つ以上のデバイスを適用可能である。例えば、プロセッサ１００は二つ以上のＦＰＧＡを用いてもよいし、二つ以上のＰＬＤを用いてもよい。プロセッサ１００は、異なる種類の二つ以上デバイスを適用してもよい。例えば、プロセッサ１００は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。
【００９０】
複数のプロセッサ１００を備える場合、複数のプロセッサ１００は一つのデバイスを用いて構成してもよい。複数のプロセッサ１００を一つのデバイスで構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのプロセッサを構成し、このプロセッサが複数のプロセッサ１００として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。
【００９１】
ＣＰＵに代わり又はＣＰＵと併用して、画像処理に特化したデバイスであるＧＰＵ（Graphics Processing Unit）を適用してもよい。複数のプロセッサ１００が一つのデバイスを用いて構成される代表例として、コンピュータが挙げられる。
【００９２】
一つのデバイスを用いて複数のプロセッサ１００を構成する他の例として、複数のプロセッサ１００を含むシステム全体の機能を一つのＩＣチップで実現するデバイスを使用する形態が挙げられる。複数のプロセッサ１００を含むシステム全体の機能を一つのＩＣチップで実現するデバイスの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
【００９３】
このように、プロセッサ１００は、ハードウェア的な構造として、各種のデバイスを一つ以上用いて構成される。
【００９４】
〈メモリ〉
メモリ１０２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、画像処理装置１２において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及びプロセッサ１００のワーク領域等として機能する。
【００９５】
〈ストレージ装置〉
ストレージ装置１０４は、各種データを非一時的に記憶する。ストレージ装置１０４は、画像処理装置１２の外部に外付けされてもよい。ストレージ装置１０４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
【００９６】
〈ネットワークコントローラ〉
ネットワークコントローラ１０６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ１０６を介して接続されるネットワーク１８は、ＬＡＮ（Local Area Network）などの公知のネットワークを適用し得る。
【００９７】
〈電源装置〉
電源装置１０８は、ＵＰＳ(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置１０８は停電等に起因して商用電源が遮断された際に、画像処理装置１２へ電源を供給する。
【００９８】
〈ディスプレイコントローラ〉
ディスプレイコントローラ１１０は、プロセッサ１００から送信される指令信号に基づいて表示装置２４を制御するディスプレイドライバーとして機能する。
【００９９】
〈入出力インターフェース〉
入出力インターフェース１１２は、画像処理装置１２と外部機器とを通信可能に接続する。入出力インターフェース１１２は、ＵＳＢ（Universal Serial Bus）などの通信規格を適用し得る。
【０１００】
〈入力コントローラ〉
入力コントローラ１１４は、入力装置２１を用いて入力された信号の形式を画像処理装置１２の処理に適した形式に変換する。入力コントローラ１１４を介して入力装置２１から入力された情報は、プロセッサ１００を介して各部へ送信される。
【０１０１】
なお、図３に示す画像処理装置１２のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。
【０１０２】
〔第一実施形態に係るセグメンテーションの詳細な説明〕
次に、第一実施形態に係る医用画像のセグメンテーションについて説明する。例えば、肺のＣＴ画像から一つ以上の病変を抽出するセグメンテーションは、熟練した観察者でも非常に困難な作業である。一方、疾患名及び撮像の際の呼吸の状態等のグローバル情報を使用した場合、グローバル情報と病変との関連付けを利用して、セグメンテーションマスクから特定の病変の存在を除外することが可能である。
【０１０３】
そこで、病変が適用されるローカル情報と、疾患名等が適用されるグローバル情報とを組み合わせた学習セットを用いて学習を実施した判別装置を適用して、良好なロバスト性を有する医用画像のセグメンテーションを実施し得る。
【０１０４】
図４は第一実施形態に係る画像処理装置に適用されるニューラルネットワークの模式図である。セグメンテーションネットワーク４２は、医用画像である肺のＣＴ画像２００のセグメンテーションを実施して、セグメンテーションマスク２１０を生成する。なお、以下の説明では、肺のＣＴ画像２００はＣＴ画像２００と記載する。
【０１０５】
セグメンテーションネットワーク４２は、第一エンコーダ部２２０及びデコーダ部２２２を備える。ＣＴ画像２００は、図２に示す画像取得部４０を介して第一エンコーダ部２２０の入力画像として設定される。
【０１０６】
セグメンテーションネットワーク４２の入力として設定されたＣＴ画像２００は、第一低次層２２０Ａ及び第一高次層２２０Ｂの処理を経て、デコーダ部２２２の入力として設定される。セグメンテーションネットワーク４２の第一エンコーダ部２２０の第一低次層２２０Ａは、クラシフィケーションネットワーク４６の第二エンコーダ部２３０の第二低次層２３０Ａ及び第三エンコーダ部２４０の第三低次層２４０Ａのそれぞれと重みを共有する。なお、重みはウエイト、パラメータ、及び係数等と呼ばれる場合があり得る。
【０１０７】
すなわち、第一エンコーダ部２２０の第一低次層２２０Ａと、第二エンコーダ部２３０の第二低次層２３０Ａとは、同一の重みを適用してＣＴ画像２００の処理を実施する。換言すると、第一エンコーダ部２２０の第一低次層２２０Ａと、第二エンコーダ部２３０の第二低次層２３０Ａとは、ＣＴ画像２００に対して同一の処理を実施し、同一の処理結果を生成する。第一エンコーダ部２２０の第一低次層２２０Ａと、第三エンコーダ部２４０の第三低次層２４０Ａとについても同様である。
【０１０８】
第一エンコーダ部２２０及びデコーダ部２２２は、畳み込みフィルタと活性化ユニットとを組み合わせて構成される。第一エンコーダ部２２０は、ＣＴ画像２００から低解像度の特徴量マップを生成する。すなわち、第一エンコーダ部２２０の第一高次層２２０Ｂは、第一低次層２２０Ａの処理結果に対して、セグメンテーションに特化した処理を実施して特徴量マップを生成する。
【０１０９】
デコーダ部２２２は、第一エンコーダ部２２０を用いて生成した特徴量マップをＣＴ画像２００と同じサイズに変換する。セグメンテーションネットワーク４２から出力されるセグメンテーションマスク２１０は、ピクセルごとの病変が存在する確率を表す確率マップを適用し得る。
【０１１０】
図５は図４に示す第一エンコーダ部の一例を示す模式図である。図５に示す第一エンコーダ部２２０の出力部２２４は、ＣＴ画像２００における病変を表す特徴量マップを出力する。
【０１１１】
図５には、特徴量マップに適用されるＣＴ画像２００における病変を列挙した病変情報２０２を示す。図４に示すデコーダ部２２２は、特徴量マップをＣＴ画像２００と同じサイズに変換したセグメンテーションマスク２１０を出力する。
【０１１２】
ここでいう同じという概念は、完全同一に限定されない。例えば、処理が可能な範囲の違いを有するサイズを、同じサイズに含めることが可能である。本明細書における同じ及び同一という概念は、特に説明をしない場合は上記の概念を適用する。
【０１１３】
図４に示すクラシフィケーションネットワーク４６は、複数のニューラルネットワークを備える。複数のニューラルネットワークとして、第二エンコーダ部２３０を備えるニューラルネットワーク、及び第三エンコーダ部２４０を備えるニューラルネットワークを例示する。クラシフィケーションネットワーク４６は、異なるグローバル特徴が適用される三つ以上のエンコーダを備えてもよいし、一つのエンコーダを備えてもよい。
【０１１４】
クラシフィケーションネットワーク４６は、医用画像の全体の特徴を表すグローバル特徴を出力する。第二エンコーダ部２３０は、グローバル特徴として疾患名が適用される。すなわち、第二エンコーダ部２３０の第二高次層２３０Ｂは、第二低次層２３０Ａの処理結果に対して、第二エンコーダ部２３０に適用されるクラシフィケーションに特化した処理を実施して、ＣＴ画像２００の疾患名を抽出する。第二出力層２３２は、ＣＴ画像２００の疾患名を出力する。
【０１１５】
図４には、疾患名の例として、特発性肺線維症、サルコイドーシス、非特異性間質性肺炎を図示する。なお、図４に示すＩＰＦは、特発性肺線維症を表す英語表記であるIdiopathic Pulmonary Fibrosisの省略語である。ＮＳＩＰは、非特異性間質性肺炎を表す英語表記であるNonspecific interstitial pneumo- niaの省略語である。
【０１１６】
第三エンコーダ部２４０は、グローバル特徴としてＣＴ画像２００を撮像する際の呼吸条件が適用される。第三エンコーダ部２４０の第三高次層２４０Ｂは、第三低次層２４０Ａの処理結果に対して、第三エンコーダ部２４０に適用されるクラシフィケーションに特化した処理を実施して、ＣＴ画像２００を撮像する際の呼吸条件を抽出する。第三出力層２４２は、ＣＴ画像２００を撮像する際の呼吸条件を出力する。図４には、ＣＴ画像２００を撮像における呼吸条件として、呼気及び吸気を例示する。
【０１１７】
第二エンコーダ部２３０及び第三エンコーダ部２４０は、第一エンコーダ部２２０と同様に、畳み込みフィルタと活性化ユニットとを組み合わせて構成される。セグメンテーションネットワーク４２の出力が確率マップであるのに対して、クラシフィケーションネットワーク４６の出力は、ＣＴ画像２００の全体に対応するグローバル特徴の存在確率を表す確率ベクトルである。
【０１１８】
すなわち、第二エンコーダ部２３０の第二出力層２３２は、ＣＴ画像２００の全体に対応する疾患名の存在確率を出力する。また、第三エンコーダ部２４０の第三出力層２４２は、ＣＴ画像２００の全体に対応する撮像の際における呼吸条件の存在確率を出力する。
【０１１９】
クラシフィケーションネットワーク４６は、セグメンテーションネットワーク４２におけるデコーダ部２２２を使用せず、全結合層を適用して低解像度の特徴量マップを一次元の特徴ベクトルに変換する。
【０１２０】
セグメンテーションネットワーク４２の学習に適用されるセグメンテーションの誤差は、セグメンテーションネットワーク４２から出力されるセグメンテーションマスク２１０と、セグメンテーションの正解データとの比較から計算される。
【０１２１】
クラシフィケーションネットワーク４６の学習に適用されるクラシフィケーションの誤差は、クラシフィケーションの結果であるグローバル特徴と、クラシフィケーションの正解データとの比較から計算される。
【０１２２】
セグメンテーションネットワーク４２及びクラシフィケーションネットワーク４６の総誤差は、セグメンテーションネットワーク４２及びクラシフィケーションネットワーク４６のそれぞれの誤差を使用して計算される。
【０１２３】
セグメンテーションネットワーク４２の重み及びクラシフィケーションネットワーク４６の重みは、バックプロパゲーションを適用して更新される。このように、画像処理装置１２は、ピクセルごとの特徴を表すローカル特徴と、医用画像全体の特徴を表すグローバル特徴とを一括して学習し得る。
【０１２４】
例えば、セグメンテーションネットワーク４２の再学習の際に、クラシフィケーションネットワーク４６と重みを共有した層は、セグメンテーションの結果、クラシフィケーションの結果、及びＣＴ画像２００を学習セットとし得る。
【０１２５】
一方、セグメンテーションネットワーク４２の低次層の重みとクラシフィケーションネットワーク４６の低次層の重みが共有されるように、セグメンテーションネットワーク４２、及びクラシフィケーションネットワーク４６の再学習を個別に実施してもよい。
【０１２６】
セグメンテーションネットワーク４２の再学習の際に、クラシフィケーションネットワーク４６と重みを共有していない層は、セグメンテーションの結果及びＣＴ画像２００を学習セットとし得る。
【０１２７】
再学習が実施されたセグメンテーションネットワーク４２は、セグメンテーション部のセグメンテーション結果、グローバル特徴分類部の分類結果、及び入力医用画像を学習セットとして再学習を実施した深層学習器の一例である。
【０１２８】
クラシフィケーションネットワーク４６に適用される第二エンコーダ部２３０及び第三エンコーダ部２４０は、同一の構成を適用し得る。第二エンコーダ部２３０及び第三エンコーダ部２４０は、異なる構成を適用してもよい。
【０１２９】
〔畳み込みニューラルネットワークの適用例〕
図６は第一実施形態に係る画像処理装置に適用される畳み込みニューラルネットワークの模式図である。畳み込みニューラルネットワークは、英語表記であるConvolutional Neural Networkの省略語を用いてＣＮＮと表現される場合があり得る。なお、説明の簡素化のために、図６では図５に示すクラシフィケーションネットワーク４６のうち第三エンコーダ部２４０の図示を省略する。
【０１３０】
符号ＤはＣＴ画像２００のアキシャル数を表す。なお、図６の簡素化のために、ＣＴ画像２００の処理を模式的に示す部分ではアキシャル数Ｄの図示を省略する。図８も同様である。
【０１３１】
符号ＨはＣＴ画像２００の縦方向のサイズを表す。符号ＷはＣＴ画像２００の横方向のサイズを表す。Ｈ×ＷはＣＴ画像２００のサイズを表す。ＣＴ画像２００のサイズは画素数を適用し得る。例えば、Ｈは縦方向の画素数と、Ｗは横方向の画素数とし得る。
【０１３２】
セグメンテーションネットワーク４２の第一エンコーダ部２２０は、入力層２２００、第一中間層２２０１、第二中間層２２０２、及び第三中間層２２０３を備える。第一中間層２２０１、第二中間層２２０２、及び第三中間層２２０３を総称して中間層と呼ぶ場合がある。中間層は畳み込み層とプーリング層とを繰り返す構成を適用し得る。
【０１３３】
第一中間層２２０１は、入力層２２００を介して取得したＣＴ画像２００を畳み込む。第一中間層２２０１は、（Ｈ／２）×（Ｗ／２）のサイズを有する画像を生成する。
【０１３４】
同様に、第二中間層２２０２は、第一中間層２２０１から出力された画像を畳み込み、（Ｈ／４）×（Ｗ／４）のサイズを有する画像を生成する。
【０１３５】
更に、第三中間層２２０３は、第二中間層２２０２から出力された画像を畳み込み、（Ｈ／８）×（Ｗ／８）のサイズを有する画像を生成する。図６に示す第一中間層２２０１、第二中間層２２０２、及び第三中間層２２０３は、図４に示す第一低次層２２０Ａに相当する。なお、図６では図４に示す第一高次層２２０Ｂの図示を省略する。
【０１３６】
デコーダ部２２２は、第五中間層２２０５及び出力層２２１０を備える。図示を省略するが、デコーダ部２２２は第五中間層２２０５の前段に図示しない第四中間層を備える。
【０１３７】
デコーダ部２２２は、第一エンコーダ部２２０の出力画像をＣＴ画像２００と同じサイズに変換する。例えば、第五中間層２２０５は、（Ｈ／２）×（Ｗ／２）のサイズを有する画像を、Ｈ×Ｗのサイズを有する画像に変換する。
【０１３８】
クラシフィケーションネットワーク４６の第二エンコーダ部２３０は、入力層２３００、第一中間層２３０１、第二中間層２３０２、第三中間層２３０３、第四中間層２３０４、第五中間層２３０５、及び出力層２３１０を備える。
【０１３９】
第一中間層２３０１、第二中間層２３０２、及び第三中間層２３０３は、図４に示す第二低次層２３０Ａ及び第三低次層２４０Ａに相当する。第四中間層２３０４及び第五中間層２３０５は、図４に示す第二高次層２３０Ｂ及び第三高次層２４０Ｂに相当する。また、図６に示すクラシフィケーションネットワーク４６の出力層２３１０は図５に示す第二出力層２３２に相当する。
【０１４０】
第二エンコーダ部２３０の第一中間層２３０１から第三中間層２３０３までは、第一エンコーダ部２２０の第一中間層２２０１から第三中間層２３０３までと同様のシーケンスを適用して畳み込みを実施する。一方、第二エンコーダ部２３０の第四中間層２３０４及び第五中間層２３０５は、第二エンコーダ部２３０に適用されるクラシフィケーションに特化したシーケンスを適用して畳み込みを実施する。
【０１４１】
出力層２３１０は全結合層を適用して、ＣＴ画像２００のグローバル特徴を表す一次元ベクトルを出力する。図６に示す出力層２３１０は、ＣＴ画像２００のグローバル特徴らしさを表す確率ベクトル２６０を出力する。図６に示す確率ベクトル２６０は、ＩＰＦである確率が６０．５パーセント、ＣＯＰ（Cryptogenic Organizing Pneumonia）である確率が２０．２パーセント、ＬＩＰ（Iymphocyitc interstitiaI pneumonia）である確率が１０パーセントであることを表す。
【０１４２】
図６に示すように、セグメンテーションネットワーク４２の第一中間層２２０１は、クラシフィケーションネットワーク４６の第一中間層２３０１と重みを共有する。また、セグメンテーションネットワーク４２の第二中間層２２０２は、クラシフィケーションネットワーク４６の第二中間層２３０２と重みを共有する。
【０１４３】
更に、セグメンテーションネットワーク４２の第三中間層２２０３は、クラシフィケーションネットワーク４６の第三中間層２３０３と重みを共有する。すなわち、セグメンテーションネットワーク４２の低次層は、クラシフィケーションネットワーク４６の低次層と重みを共有する。
【０１４４】
すなわち、セグメンテーションネットワーク４２の中間層の少なくとも一部は、クラシフィケーションネットワーク４６の対応する中間層と重みを共有する。例えば、セグメンテーションネットワーク４２の中間層は、同じ畳み込みを実施するクラシフィケーションネットワーク４６の中間層と重みを共有し得る。
【０１４５】
ＣＴ画像２００から病変を抽出する場合と、ＣＴ画像２００から疾患名を抽出する場合とは、入力層により近い中間層では同じ特徴に注目する。そこで、セグメンテーションネットワーク４２の入力層により近い中間層である低次層において、クラシフィケーションネットワーク４６の低次層と重みを共有する。これにより、ＣＴ画像２００のセグメンテーションにおいて、ＣＴ画像２００のグローバル特徴の抽出に適用される情報を利用することができ、ＣＴ画像２００のセグメンテーションのロバスト性を向上し得る。
【０１４６】
各ネットワークにおける低次層は、実験及びシミュレーション等を適用して規定し得る。すなわち、重みを共有する層を適宜変更しながら、良好な結果が得られた場合に重みを共有した一以上の層を低次層として規定し得る。
【０１４７】
また、セグメンテーションネットワーク４２の再学習を実施する際に、ローカル情報とグローバル情報とを一緒に学習する。これにより、セグメンテーションネットワーク４２はより高いロバスト性を確保し得る。
【０１４８】
［第一実施形態に係る画像処理装置の作用効果］
上記の如く構成された第一実施形態に係る画像処理装置１２によれば、以下の作用効果を得ることが可能である。
【０１４９】
〔１〕
セグメンテーションネットワーク４２の第一エンコーダ部２２０は、クラシフィケーションネットワーク４６の第二エンコーダ部２３０及び第三エンコーダ部２４０の少なくともいずれかと重みを共有する。これにより、セグメンテーションネットワーク４２は、クラシフィケーションネットワーク４６に適用される医用画像の特徴抽出が利用でき、セグメンテーションのロバスト性を向上し得る。
【０１５０】
〔２〕
セグメンテーションネットワーク４２の再学習の際に、セグメンテーションネットワーク４２に適用されるローカル情報と、クラシフィケーションネットワーク４６に適用されるグローバル情報とを一緒に学習する。これにより、セグメンテーションネットワーク４２はより高いロバスト性を確保し得る。
【０１５１】
〔３〕
セグメンテーションネットワーク４２の低次層は、クラシフィケーションネットワーク４６の低次層と重みを共有する。これにより、クラシフィケーションネットワーク４６の低次層において抽出される医用画像の特徴をセグメンテーションネットワーク４２の低次層が利用し得る。
【０１５２】
［第二実施形態に係る画像処理装置］
〔第二実施形態に係るセグメンテーションの詳細な説明〕
図７は第二実施形態に係る画像処理装置に適用されるニューラルネットワークの模式図である。図７に示すセグメンテーションネットワーク４２Ａは、第一エンコーダ部２２０とデコーダ部２２２との間に結合部２２６を備える。
【０１５３】
結合部２２６は、第一エンコーダ部２２０の出力画像と第二エンコーダ部２３０出力画像とを結合する。また、結合部２２６は、第一エンコーダ部２２０の出力画像と第三エンコーダ部２４０の出力画像とを結合する。
【０１５４】
結合部２２６は、出力画像をデコーダ部２２２へ送信する。デコーダ部２２２は、入力画像のサイズ変換を実施して、ＣＴ画像２００と同じサイズのセグメンテーションマスク２１０を生成する。
【０１５５】
セグメンテーションの誤差は、クラシフィケーションの誤差、及びセグメンテーションとクラシフィケーションとの総誤差は、第一実施形態に係る画像処理装置１２と同様に計算される。
【０１５６】
セグメンテーションネットワーク４２Ａの重み及びクラシフィケーションネットワーク４６の重みは、バックプロパゲーションを適用して更新される。第二実施形態に係る画像処理装置は、第一実施形態に係る画像処理装置１２と同様に、ピクセルごとの特徴を表すローカル特徴と、医用画像全体の特徴を表すグローバル特徴とを一括して学習し得る。
【０１５７】
もちろん、セグメンテーションネットワーク４２Ａの低次層の重みとクラシフィケーションネットワーク４６の低次層の重みが共有されるように、セグメンテーションネットワーク４２Ａ、及びクラシフィケーションネットワーク４６の再学習を個別に実施してもよい。
【０１５８】
〔畳み込みニューラルネットワークの適用例〕
図８は第二実施形態に係る画像処理装置に適用される畳み込みニューラルネットワークの模式図である。第二エンコーダ部２３０の第五中間層２３０５の出力画像は、アップサンプリング部２４００へ送信される。なお、第五中間層２３０５は、一次元の特徴ベクトルを出力する出力部よりも前段の中間層であり、第一エンコーダ部と重みを非共有の中間層の一例である。
【０１５９】
アップサンプリング部２４００は、第五中間層２３０５の出力画像のサイズ変換を実施して、第五中間層２３０５の出力画像を第三中間層２２０３の出力画像と同じサイズに変換する。アップサンプリング部２４００はサイズ変換がされた第五中間層２３０５の出力画像を結合部２２６へ送信する。
【０１６０】
結合部２２６は、第三中間層２２０３の出力画像とアップサンプリング部２４００の出力画像とを結合させ、結合させた画像をデコーダ部２２２の第四中間層２２０４へ送信する。デコーダ部２２２は、結合部２２６の出力画像のサイズ変換を実施して、ＣＴ画像２００と同じサイズを有するセグメンテーションマスク２１０を生成する。
【０１６１】
クラシフィケーションネットワーク４６の高次層の出力画像は、セグメンテーションネットワーク４２に適用される画像よりも圧縮させており、小サイズである。そこで、アップサンプリング部２４００は、クラシフィケーションネットワーク４６の出力画像を拡大させる。結合部２２６は、サイズを変換したクラシフィケーションネットワーク４６の高次層の出力画像とセグメンテーションネットワーク４２の第一エンコーダ部２２０の出力画像とを結合する。
【０１６２】
なお、実施形態に示すアップサンプリング部２４００は、第二エンコーダ部の出力画像を第一エンコーダ部の出力画像に対応して伸長させる変換部の一例である。
【０１６３】
本実施形態では、第五中間層２３０５の出力画像をアップサンプリング部２４００へ送信する態様を例示したが、第四中間層２３０４など、第二エンコーダ部２３０の第二低次層２３０Ａの出力画像であり、出力層２３１０よりも前段の層の出力画像をアップサンプリング部２４００へ送信してもよい。
【０１６４】
出力層２３１０よりも前段の層である第五中間層２３０５等の出力画像は、出力層２３１０から出力される一次元特徴ベクトルと比較して情報量が落ちていないので、一定の情報量が維持された画像を、第一エンコーダ部２２０の出力画像と結合させることが可能となる。
【０１６５】
アップサンプリング部２４００の入力画像は、学習を用いて規定し得る。すなわち、各中間層の出力画像と、結合部２２６から出力される画像とを学習セットとして学習を実施して、アップサンプリング部２４００の入力画像を出力させる中間層を規定し得る。
【０１６６】
［第二実施形態に係る画像処理装置の作用効果］
上記の如く構成された第二実施形態に係る画像処理装置によれば、以下の作用効果を得ることが可能である。
【０１６７】
〔１〕
セグメンテーションネットワーク４２の第一エンコーダ部２２０の出力画像と、クラシフィケーションネットワーク４６の第二エンコーダ部２３０の出力画像とを結合する結合部２２６を備える。これにより、クラシフィケーションネットワーク４６が抽出した医用画像の特徴を用いた、セグメンテーションネットワーク４２の医用画像のセグメンテーションが可能となる。
【０１６８】
〔２〕
第二エンコーダ部２３０の出力画像を、セグメンテーションネットワーク４２の第一エンコーダ部２２０の出力画像と同じサイズに変換するアップサンプリング部２４００を備える。これにより、第一エンコーダ部２２０の出力画像と第二エンコーダ部２３０の出力画像との結合が可能となる。
【０１６９】
〔３〕
第二エンコーダ部２３０の出力層２３１０よりも前段の中間層であり、第一エンコーダ部２２０の中間層と重みが非共有の中間層の出力画像に対してアップサンプリングを実施し、第一エンコーダ部２２０の出力画像と結合させる。これにより、一定の情報量が維持された第二エンコーダ部２３０の中間層の出力画像をアップサプリングして、第一エンコーダ部２２０の出力画像と結合させることが可能となる。
【０１７０】
［ローカル特徴とグローバル特徴との対応関係］
図９は疾患名と病変との対応関係を示すテーブルの一例を示す図である。図９に示すテーブル２５０は、図１に示す画像データベース１６に記憶し得る。
【０１７１】
医用画像のグローバル特徴である疾患名と、医用画像の局所領域の特徴である病変とは密接な関係がある。図９に示すように、疾患名にごとに存在し得る病変、及び疾患名にごとに存在し得ない病変がある。
【０１７２】
図９に示すテーブル２５０を参照して、セグメンテーションネットワーク４２を学習させることで、セグメンテーションネットワーク４２のロバスト性を向上し得る。ＣＴ画像２００のグローバル情報としてＩＰＦ以外の疾患名が抽出された場合を考える。ＩＰＦに特有の蜂巣肺をローカル特徴として抽出しないように、セグメンテーションネットワーク４２を構成し得る。
【０１７３】
なお、図９に示すＲＡは関節リウマチの英語表記である、Rheumatoid arthritisの省略語である。ＳＳｃは、全身性強皮症の英語表記である、Systemic sclerosisの省略語である。ＰＳＳは、進行性全身性強皮症の英語表記である、Progressive Systemic Sclerosisの省略語である。
【０１７４】
ＯＰは、器質性肺炎の英語表記である、Organizing Pneumoniaの省略語である。ＣＯＰは、特発性器質性肺炎の英語表記である、Cryptogenic Organizing Pneumoniaの省略語である。
【０１７５】
ＤＩＰは、剥離性間質性肺炎の英語表記である、DesquamativeInterstitial Pneumoniaeの省略語である。ＣＮＰＡは、慢性壊死性肺アスペルギルス症の英語表記である、Chronic Necrotizing Pulmonary Aspergillosisの省略語である。ＩＰＦは、特発性肺線維症の英語表記である、Idiopathic Pulmonary Fibrosisの省略語である。ＵＩＰは、通常型間質性肺炎の英語表記である、Usual Interstitial Pneumoniaの省略語である。
【０１７６】
［画像処理方法への適用例］
第一実施形態に画像処理装置１２及び第二実施形態に係る画像処理装置は、画像処理装置１２等における各部に対応する工程を含む画像処理方法として構成可能である。
【０１７７】
ＣＴ画像２００のセグメンテーションを実施する画像処理方法は、ＣＴ画像２００を取得する医用画像取得工程を含み得る。画像処理方法は、ＣＴ画像２００のクラシフィケーションを実施するクラシフィケーション工程を含み得る。ＣＴ画像２００のセグメンテーションを実施するセグメンテーション工程は、第一低次層の重みをクラシフィケーション工程における第二低次層の重みと共有する。
【０１７８】
セグメンテーション工程は、ＣＴ画像２００の特徴を圧縮してＣＴ画像２００のピクセルごとの特徴を抽出する第一エンコード工程を含み得る。セグメンテーション工程は、第一エンコード工程において抽出した特徴を復元してセグメンテーションマスクを生成するデコード工程を含み得る。クラシフィケーション工程は、ＣＴ画像２００の特徴を圧縮してＣＴ画像２００の全体の特徴を抽出する第二エンコード工程を含み得る。
【０１７９】
画像処理方法は、クラシフィケーション工程における中間層の出力画像をセグメンテーション工程における中間層の出力画像のサイズに変換する変換工程を含み得る。また、画像処理方法は、変換工程の出力画像をセグメンテーション工程における中間層の出力画像に結合する結合工程を含み得る。なお、実施形態に示すクラシフィケーション工程は、グローバル特徴分類工程の一例である。
【０１８０】
［プログラムへの適用例］
第一実施形態に画像処理装置１２及び第二実施形態に係る画像処理装置は、コンピュータを用いて、画像処理装置１２等における各部に対応する機能を実現させるプログラムとして構成可能である。
【０１８１】
各部に対応する機能の例として、ＣＴ画像２００を取得する医用画像取得機能、ＣＴ画像２００のクラシフィケーションを実施するクラシフィケーション機能が挙げられる。また、各部に対応する機能の例として、ＣＴ画像２００のセグメンテーションを実施するセグメンテーション機能であり、第一低次層の重みをクラシフィケーション機能における第二低次層の重みと共有するセグメンテーション機能が挙げられる。
【０１８２】
セグメンテーション機能は、ＣＴ画像２００の特徴を圧縮してＣＴ画像２００のピクセルごとの特徴を抽出する第一エンコード機能を備え得る。セグメンテーション機能は、第一エンコード機能を用いて抽出した特徴を復元してセグメンテーションマスクを生成するデコード機能を備え得る。
【０１８３】
クラシフィケーション機能は、ＣＴ画像２００の特徴を圧縮してＣＴ画像２００の全体の特徴を抽出する第二エンコード機能を備え得る。
【０１８４】
更に、各部に対応する機能の例として、クラシフィケーションネットワーク４６中間層の出力画像を、セグメンテーションネットワーク４２における中間層の出力画像と同じサイズに変換する変換機能が挙げられる。
【０１８５】
更に、各部に対応する機能の例として、変換機能を用いて変換した画像をセグメンテーションネットワーク４２における中間層の出力画像に結合する結合機能が挙げられる。なお、実施形態に示すクラシフィケーション機能は、グローバル特徴分類機能の一例である。
【０１８６】
［他の医用画像への適用例］
本実施形態では、医用画像として肺のＣＴ画像を例示したが、脳、胃、及び腸など肺以外の臓器の医用画像を用いてもよい。また、医用画像は二次元画像に限定されない。医用画像は三次元画像でもよい。三次元画像の場合、ボクセルごとの特徴に基づくセグメンテーションが実施される。
【０１８７】
〔グローバル特徴の変形例〕
本実施形態では、グローバル特徴として疾患名及び撮像の際の呼吸条件を例示したが、グローバル特徴は、クラスのセグメンテーションと関連する特徴又はクラス分類に影響する特徴等を表す情報であればよい。例えば、体格、年齢、性別、及び既往症等の被検体に関する情報をグローバル特徴として適用してもよい。体格は、身長及び体重等の身体のサイズ表す情報を適用し得る。
【０１８８】
〔クラスの変形例〕
本実施形態では、セグメンテーションのクラスとして病変を例示したが、クラスは炎症、腫瘍、及び非腫瘍等の画像パターンの特徴等を適用し得る。また、医用画像を生成するモダリティごとに標準分類が存在する場合は、モダリティごとの標準分類をクラスに適用し得る。
【０１８９】
また、セグメンテーションはマルチクラス分類を適用し得る。マルチクラス分類は、ピクセルごとに、複数のクラスのそれぞれのクラスらしさを表す確率をピクセルごとに算出する。
【０１９０】
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び適用例等で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
【０１９１】
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
【符号の説明】
【０１９２】
１０  医療情報システム
１２  画像処理装置
１４  モダリティ
１６  画像データベース
１８  ネットワーク
２０  マウス
２１  入力装置
２２  キーボード
２４  表示装置
４０  画像取得部
４２  セグメンテーションネットワーク
４２Ａ  セグメンテーションネットワーク
４６  クラシフィケーションネットワーク
５０  記憶部
５２  バス
６０  表示制御部
６２  入力制御部
７０  特徴量抽出部
７４  セグメンテーションマスク生成部
８０  画像記憶部
８４  セグメンテーションマスク記憶部
８６  グローバル特徴記憶部
８８  プログラム記憶部
１００  プロセッサ
１０２  メモリ
１０４  ストレージ装置
１０６  ネットワークコントローラ
１０８  電源装置
１１０  ディスプレイコントローラ
１１２  入出力インターフェース
１１４  入力コントローラ
２００  ＣＴ画像
２１０  セグメンテーションマスク
２２０  第一エンコーダ部
２２２  デコーダ部
２２４  出力部
２２６  結合部
２３０  第二エンコーダ部
２３２  第二出力層
２４０  第三エンコーダ部
２４２  第三出力層
２５０  テーブル
２２００  入力層
２２０１  第一中間層
２２０２  第二中間層
２２０３  第三中間層
２２０４  第四中間層
２２０５  第五中間層
２２１０  出力層
２３００  入力層
２３０１  第一中間層
２３０２  第二中間層
２３０３  第三中間層
２３０４  第四中間層
２３０５  第五中間層
２３１０  出力層
２４００  アップサンプリング部
【図１】
2020110775.tif 000003
【図２】
2020110775.tif 000004
【図３】
2020110775.tif 000005
【図４】
2020110775.tif 000006
【図５】
2020110775.tif 000007
【図６】
2020110775.tif 000008
【図７】
2020110775.tif 000009
【図８】
2020110775.tif 000010
【図９】
2020110775.tif 000011
【手続補正書】
【提出日】令和3年6月15日(2021.6.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１１
【補正方法】変更
【補正の内容】
【請求項１１】
前記グローバル特徴分類部は、前記セグメンテーション部と重みを共有した層について、前記グローバル特徴分類部の入力画像及び前記グローバル特徴分類部の分類結果を学習セットとして学習を実施した深層学習器を適用する請求項１から８のいずれか一項に記載の画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
第１態様によれば、グローバル特徴分類部の低次層と重みを共有した低次層を有するセグメンテーション部を用いて医用画像のセグメンテーションが実施される。これにより、グローバル特徴が反映されたセグメンテーションが実施され、医用画像のセグメンテーションにおけるクラスの分類の誤りを抑制し得る。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
第７態様によれば、出力部よりも前段の中間層の出力画像は、第二エンコーダ部の出力部から出力される一次元の特徴ベクトルに対して情報量が落ちていない。これにより、一定の情報量が維持された出力画像を伸長し、第一エンコーダ部の出力画像へ結合し得る。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
第１１態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、グローバル特徴分類部は、前記セグメンテーション部と重みを共有した層について、前記グローバル特徴分類部の入力画像及び前記グローバル特徴分類部の分類結果を学習セットとして学習を実施した深層学習器を適用する構成としてもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
本発明によれば、グローバル分類特徴部の低次層と重みを共有した低次層を有するセグメンテーション部を用いて医用画像のセグメンテーションが実施される。これにより、グローバル特徴が反映されたセグメンテーションが実施され、医用画像のセグメンテーションにおけるクラスの分類の誤りを抑制し得る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１３９
【補正方法】変更
【補正の内容】
【０１３９】
第一中間層２３０１、第二中間層２３０２、及び第三中間層２３０３は、図４に示す第二低次層２３０Ａ及び第三低次層２４０Ａに相当する。第四中間層２３０４及び第五中間層２３０５は、図４に示す第二高次層２３０Ｂ及び第三高次層２４０Ｂに相当する。また、図６に示すクラシフィケーションネットワーク４６の出力層２３１０は図４に示す第二出力層２３２に相当する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１４０
【補正方法】変更
【補正の内容】
【０１４０】
第二エンコーダ部２３０の第一中間層２３０１から第三中間層２３０３までは、第一エンコーダ部２２０の第一中間層２２０１から第三中間層２２０３までと同様のシーケンスを適用して畳み込みを実施する。一方、第二エンコーダ部２３０の第四中間層２３０４及び第五中間層２３０５は、第二エンコーダ部２３０に適用されるクラシフィケーションに特化したシーケンスを適用して畳み込みを実施する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１４１
【補正方法】変更
【補正の内容】
【０１４１】
出力層２３１０は全結合層を適用して、ＣＴ画像２００のグローバル特徴を表す一次元の特徴ベクトルを出力する。図６に示す出力層２３１０は、ＣＴ画像２００のグローバル特徴らしさを表す確率ベクトル２６０を出力する。図６に示す確率ベクトル２６０は、ＩＰＦである確率が６０．５パーセント、ＣＯＰ（Cryptogenic Organizing Pneumonia）である確率が２０．２パーセント、ＬＩＰ（Iymphocyitc interstitiaI pneumonia）である確率が１０パーセントであることを表す。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１５５
【補正方法】変更
【補正の内容】
【０１５５】
セグメンテーションの誤差、クラシフィケーションの誤差、及びセグメンテーションとクラシフィケーションとの総誤差は、第一実施形態に係る画像処理装置１２と同様に計算される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１６９
【補正方法】変更
【補正の内容】
【０１６９】
〔３〕
第二エンコーダ部２３０の出力層２３１０よりも前段の中間層であり、第一エンコーダ部２２０の中間層と重みが非共有の中間層の出力画像に対してアップサンプリングを実施し、第一エンコーダ部２２０の出力画像と結合させる。これにより、一定の情報量が維持された第二エンコーダ部２３０の中間層の出力画像をアップサンプリングして、第一エンコーダ部２２０の出力画像と結合させることが可能となる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１７２
【補正方法】変更
【補正の内容】
【０１７２】
図９に示すテーブル２５０を参照して、セグメンテーションネットワーク４２を学習させることで、セグメンテーションネットワーク４２のロバスト性を向上し得る。ＣＴ画像２００のグローバル特徴としてＩＰＦ以外の疾患名が抽出された場合を考える。ＩＰＦに特有の蜂巣肺をローカル特徴として抽出しないように、セグメンテーションネットワーク４２を構成し得る。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１８９
【補正方法】変更
【補正の内容】
【０１８９】
また、セグメンテーションはマルチクラス分類を適用し得る。マルチクラス分類は、複数のクラスのそれぞれのクラスらしさを表す確率をピクセルごとに算出する。
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2020110775.tif 000012
【国際調査報告】
2020110775.tif 000013
2020110775.tif 000014
2020110775.tif 000015
2020110775.tif 000016
2020110775.tif 000017
2020110775.tif 000018