(57)【要約】      （修正有）【課題】医療用画像から異常部位を抽出することができる画像処理装置、画像処理システム及び画像処理プログラムを提供する。【解決手段】画像処理装置は、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医療用画像の入力を受け付ける画像入力受付手段と、入力画像と、オートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップと標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備える。【選択図】図８
2020067865.tif 000002
【特許請求の範囲】
【請求項１】
異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、
異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、
診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、
前記画像入力受付手段によって入力された前記入力画像と、前記入力画像を入力した結果として前記オートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、
前記入力画像を入力した結果として前記分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、
前記差分マップ生成手段によって生成された前記差分マップと前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記診断結果画像生成手段によって生成された前記診断結果画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させることを特徴とする画像処理装置。
【請求項４】
異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、
異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、
診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、
前記画像入力受付手段によって入力された前記入力画像と、前記入力画像を入力した結果として前記オートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、
前記入力画像を入力した結果として前記分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、
前記差分マップ生成手段によって生成された前記差分マップと前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする画像処理システム。
【請求項５】
請求項４に記載の画像処理システムにおいて、
前記診断結果画像生成手段によって生成された前記診断結果画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理システム。
【請求項６】
請求項４または５に記載の画像処理システムにおいて、
前記オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させることを特徴とする画像処理システム。
【請求項７】
診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手順と、
異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダに前記画像入力手順で入力を受け付けた前記入力画像を入力して、前記オートエンコーダによる復元画像を得る復元画像取得手順と、
前記画像入力手順で入力を受け付けた前記入力画像と前記復元画像取得手順で取得した前記復元画像との差分を算出して差分マップを生成する差分マップ生成手順と、
異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器に前記画像入力手順で入力を受け付けた前記入力画像を入力して、前記分散推定器による推定分散を得る推定分散取得手順と、
前記推定分散取得手順で取得した前記推定分散に基づいて標準偏差を算出する標準偏差算出手順と、
前記差分マップ生成手順で生成した前記差分マップと前記標準偏差算出手順で算出した前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手順とをコンピュータに実行させるための画像処理プログラム。
【請求項８】
請求項７に記載の画像処理プログラムにおいて、
前記診断結果画像生成手順で生成した前記診断結果画像を表示装置に表示する画像表示手順をさらに有することを特徴とする画像処理プログラム。
【請求項９】
請求項７または８に記載の画像処理プログラムにおいて、
前記オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、および画像処理プログラムに関する。
【背景技術】
【０００２】
次のような生体画像処理装置が知られている。この生体画像処理装置では、目的物を含む生体画像である入力用訓練画像、目的物を含まない生体画像である出力用訓練画像、及び目的物を含む生体画像である入力画像を受け付け、入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成する（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−８９３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の生体画像処理装置では、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成していた。しかしながら、画像を用いた診断では、医療用画像の中から異常がある可能性がある部位を見つけ出すことが求められることも多い。このため、異常がない人物の画像を学習させておき、その学習結果を用いて、異常がある人物の画像を入力したときに、異常部位の特定を支援することができる仕組みが求められているが、従来の技術では、その点については何ら検討されていなかった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする。
本発明による画像処理システムは、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする。
本発明による画像処理プログラムは、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手順と、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダに画像入力手順で入力を受け付けた入力画像を入力して、オートエンコーダによる復元画像を得る復元画像取得手順と、画像入力手順で入力を受け付けた入力画像と復元画像取得手順で取得した復元画像との差分を算出して差分マップを生成する差分マップ生成手順と、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器に画像入力手順で入力を受け付けた入力画像を入力して、分散推定器による推定分散を得る推定分散取得手順と、推定分散取得手順で取得した推定分散に基づいて標準偏差を算出する標準偏差算出手順と、差分マップ生成手順で生成した差分マップと標準偏差算出手順で算出した標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手順とをコンピュータに実行させるためのプログラムである。
【発明の効果】
【０００６】
本発明によれば、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダを用いて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成することができるため、医療用画像を用いた異常部位の特定を支援することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置１００の一実施の形態の構成を示すブロック図である。
【図２】オートエンコーダによる処理の流れを模式的に示した図である。
【図３】分散推定器による処理の流れを模式的に示した図である。
【図４】差分マップの作成方法を模式的に示した図である。
【図５】差分マップと推定標準偏差を用いて異常部位以外の差異部分を低減するための方法を模式的に示した図である。
【図６】トレーニングステップと推定ステップの流れを一つにまとめて模式的に示した図である。
【図７】トレーニングステップの流れを示すフローチャート図である。
【図８】推定ステップの流れを示すフローチャート図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態における画像処理装置１００の一実施の形態の構成を示すブロック図である。画像処理装置１００は、あらかじめ撮影された医療用画像、例えば、ＭＲＩ画像、ＣＴ画像、Ｘ線画像を用いて、医療用画像内から異常部位を抽出し、視覚化するための処理を実行する。画像処理装置１００としては、例えばサーバ装置やパソコンなどが用いられる。図１は、本実施の形態における画像処理装置１００として、パソコンを用いた場合の一実施の形態の構成を示すブロック図である。
【０００９】
画像処理装置１００は、操作部材１０１と、制御装置１０２と、記憶媒体１０３と、表示装置１０４とを備えている。
【００１０】
操作部材１０１は、画像処理装置１００の操作者によって操作される種々の装置、例えばキーボードやマウスを含む。
【００１１】
制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画像処理装置１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続インターフェース１０２を介して読み込まれたデータは、バッファメモリに一時的に記録される。
【００１２】
記憶媒体１０３は、画像処理装置１００が蓄える種々のデータや、制御装置１０２が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等が用いられる。なお、記憶媒体１０３に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体１０３にインストールすることによって、制御装置１０２がプログラムを実行できるようになる。本実施の形態では、以下に説明する処理で用いるプログラムや種々のデータは、記憶媒体１０３に記録されている。
【００１３】
表示装置１０４は、例えば液晶モニタであって、制御装置１０２から出力される種々の表示用データが表示される。
【００１４】
本実施の形態では、事前に、異常が存在しない医療用画像、すなわち異常がない患者の特定部位を撮影した医療用画像を取り込んで、異常が存在しない医療用画像の画像パターンと画素の分散を学習するためのトレーニングステップが実行される。異常が存在しない医療用画像は、画像内に医学的に異常と認められる部位を含まない画像であって、例えば、医学的に異常がみられない人物の特定部位を撮影した画像、すなわち正常な患者の特定部位を撮影した画像が用いられる。以下、本実施の形態におけるトレーニングステップについて説明する。
【００１５】
トレーニングステップでは、上述したように、異常が存在しない医療用画像が入力画像として用いられる。制御装置１０２は、医療用画像が入力されると、あらかじめ用意されたオートエンコーダに医療用画像を入力して、オートエンコーダに、異常が存在しない医療用画像データの画像パターンを学習させる。なお、オートエンコーダは、入力と出力が同じになるようにニューラルネットワークを学習させることができるため、本実施の形態では、トレーニングステップにおいて、オートエンコーダーに異常が存在しない医療用画像の画像パターンを学習させておくことにより、後述する推定ステップにおいて画像が入力された際に、異常が存在しない出力画像を出力するように構成することができる。なお、オートエンコーダーは公知の技術であるため本実施の形態では詳細な説明は省略するが、ここでは例えばディープ・オートエンコーダを想定する。
【００１６】
図２は、オートエンコーダ（Ａｕｔｏ−ｅｎｃｏｄｅｒ）による処理の流れを模式的に示した図である。オートエンコーダに入力画像Ｘｈが入力されると、エンコーダＥｎｃが高次元の入力画像Ｘｈを低次元の潜在表現（ｌａｔｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）ｚに変換し、デコーダＤｅｃが低次元の潜在表現ｚを高次元の復元画像Ｘ´ｈに変換する。
【００１７】
制御装置１０２は、損失Ｌ＝ｄ（Ｘ´ｈ，Ｘｈ）があらかじめ設定されている閾値以下になるまで、オートエンコーダの演算に用いるパラメータである重みを調整しながら上記の変換処理を繰り返す。制御装置１０２は、損失Ｌがあらかじめ設定されている閾値以下になったときに設定されていた重み値をオートエンコーダの重みとして設定する。これによって、オートエンコーダに、入力画像に対して異常が存在しない画像を出力するように学習させることができる。
【００１８】
また、エンコーダＥｎｃによって変換された潜在表現ｚは、図３に示す分散推定器ＤｅｃＶに入力される。図３は分散推定器ＤｅｃＶによる処理の流れを模式的に示した図である。分散推定器ＤｅｃＶでは、入力された潜在表現ｚを変換して復元画像Ｘ´ｈを得て、復元画像Ｘ´ｈの分散Ｖｈを推定する。
【００１９】
制御装置１０２は、損失Ｌｖ＝ｄ（Ｖｈ，ｄ（Ｘ´ｈ，Ｘｈ））があらかじめ設定されている閾値以下になるまで、分散推定器ＤｅｃＶの演算に用いるパラメータである重みを調整しながら分散の推定処理を繰り返す。制御装置１０２は、損失Ｌｖがあらかじめ設定されている閾値以下になったときに設定されていた重み値を散推定器ＤｅｃＶの重みとして設定する。これによって、分散推定器ＤｅｃＶに、入力画像に対して異常が存在しない画像の分散を推定した画像を出力するように学習させることができる。なお、図３に示すように、異常が存在しない画像の分散を推定することができれば、そこから標準偏差は容易に計算することができるため、容易に推定標準偏差Ｓｈを出力することができる。
【００２０】
以上に説明したトレーニングステップが完了すると、診断対象患者の医療用画像を入力して、その医療用画像内から異常部位を抽出した画像を出力するための推定ステップを実行することが可能となる。すなわち、推定ステップを実行するためには上述したトレーニングステップが完了している必要があるため、推定ステップを実行する際には、図２に示したオートエンコーダは、入力画像Ｘｈが入力されると、異常が存在しない画像を復元画像Ｘ´ｈとして出力するように学習が完了しており、図３に示した分散推定器ＤｅｃＶは、入力画像Ｘｈに対して異常が存在しない復元画像Ｘ´ｈの分散を推定分散Ｖｈとして出力するように学習が完了している。
【００２１】
例えば、図４に示すように、オートエンコーダーに異常部位４ａを有する患者の脳画像を入力画像Ｘａを入力すると、異常部位がない画像が復元画像Ｘ´ａとして出力される。このため、入力画像Ｘａと復元画像Ｘ´ａの差分をとれば、異常部位４ａを抽出した差分画像Ｄａを生成することができる。本実施の形態では、差分画像Ｄａを差分マップＤａと呼ぶ。
【００２２】
この差分マップＤａを用いても患者の脳画像から異常部位４ａを推定することができるが、入力画像Ｘａと復元画像Ｘ´ａとの間には、異常部位４ａ以外にも差異が生じているため、差分マップＤａでは、入力画像Ｘａに含まれる特徴的な差異部分である異常部位４ａ以外の差異部分も抽出されてしまう。例えば、脳画像データにおいては、正常な部位も人によって形状が違うため、その形状の違いが差分マップＤａ上で差異として現れてしまう。図４においても差分マップＤａ上には異常部位４ａ以外にも差分が現れている。このため、本実施の形態における推定ステップでは、分散推定器ＤｅｃＶの出力に基づいて求めた推定標準偏差Ｓａを用いて、入力画像Ｘａに含まれる特徴的な差異部分以外の差異部分を低減するための処理を行う。
【００２３】
図５は、差分マップＤａと推定標準偏差Ｓａを用いて異常部位４ａ以外の差異部分を低減するための方法を模式的に示した図である。制御装置１０２は、図５に示すように、差分マップＤａと推定標準偏差Ｓａを次式（１）に示す計算式を用いて演算を行うことにより、画像上に現れる異常部位４ａ以外の差異部分を低減することができる。図５では、その結果を示す診断結果画像として、標準スコアマップＺＳａを得ている。
ＺＳａ＝Ｄａ／Ｓａ  ・・・（１）
【００２４】
制御装置１０２は、演算によって得た標準スコアマップＺＳａを表示装置１０４に出力して表示する。これによって、画像処理装置１００操作者は、患者の医療用画像、例えば脳画像を画像処理装置１００に取り込んで入力することにより、異常部位がない正常状態の脳画像との差異部分が異常部位として抽出された標準スコアマップを表示装置１０４上で確認することができるため、患者の脳に異常がないか診断することができる。
【００２５】
図６は、上述したトレーニングステップと推定ステップの流れを一つにまとめて模式的に示した図である。なお、図６に示した処理の流れは、図２〜図５を用いて説明した内容と同一のため説明を省略する。
【００２６】
図７は、本実施の形態におけるトレーニングステップの流れを示すフローチャートである。図７に示す処理は、異常部位がない正常状態の医療用画像、すなわち健康な人物の脳画像が入力されると起動するプログラムとして、制御装置１０２によって実行される。
【００２７】
ステップＳ１０において、制御装置１０２は、入力画像Ｘｈをオートエンコーダに入力し、エンコーダＥｎｃによって高次元の入力画像Ｘｈが低次元の潜在表現（ｌａｔｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）ｚに変換される。その後、ステップＳ２０へ進む。
【００２８】
ステップＳ２０では、デコーダＤｅｃによって低次元の潜在表現ｚが高次元の復元画像Ｘ´ｈに変換される。その後、ステップＳ３０へ進む。
【００２９】
ステップＳ３０では、制御装置１０２は、上述した損失Ｌ＝ｄ（Ｘ´ｈ，Ｘｈ）を算出する。その後、ステップＳ４０へ進む。
【００３０】
ステップＳ４０では、制御装置１０２は、エンコーダＥｎｃによって変換された潜在表現ｚを分散推定器ＤｅｃＶに入力し、分散推定器ＤｅｃＶにおいて、潜在表現ｚを変換して得た復元画像Ｘ´ｈの分散を推定した推定分散Ｖｈを算出する。その後、ステップＳ５０へ進む。
【００３１】
ステップＳ５０では、制御装置１０２は、上述した損失Ｌｖ＝ｄ（Ｖｈ，ｄ（Ｘ´ｈ，Ｘｈ））を算出する。その後、ステップＳ６０へ進む。
【００３２】
ステップＳ６０では、制御装置１０２は、損失Ｌと損失Ｌｖがあらかじめ設定されている閾値以下であるか否かを判断する。ステップＳ６０で肯定判断した場合には、そのときの重みを採用して処理を終了する。これに対して、ステップＳ６０で否定判断した場合には、ステップＳ７０へ進む。
【００３３】
ステップＳ７０では、制御装置１０２は、上述したように、オートエンコーダと分散推定器の重みを調整して、ステップＳ１０へ戻る。
【００３４】
図８は、本実施の形態における推定ステップの流れを示すフローチャートである。図８に示す処理は、診断対象患者の医療用画像が入力されると起動するプログラムとして、制御装置１０２によって実行される。
【００３５】
ステップＳ１１０において、制御装置１０２は、入力画像Ｘａをオートエンコーダに入力し、エンコーダＥｎｃによって高次元の入力画像Ｘａが低次元の潜在表現（ｌａｔｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）ｚに変換される。その後、ステップＳ１２０へ進む。
【００３６】
ステップＳ１２０では、デコーダＤｅｃによって低次元の潜在表現ｚが高次元の復元画像Ｘ´ａに変換される。その後、ステップＳ１３０へ進む。
【００３７】
ステップＳ１３０では、制御装置１０２は、上述したように、入力画像Ｘａと復元画像Ｘ´ａの差分をとって差分マップＤａを生成する。その後、ステップＳ１４０へ進む。
【００３８】
ステップＳ１４０では、制御装置１０２は、エンコーダＥｎｃによって変換された潜在表現ｚを分散推定器ＤｅｃＶに入力し、分散推定器ＤｅｃＶにおいて、潜在表現ｚを変換して得た復元画像Ｘ´ａの推定分散Ｖａを算出する。その後、ステップＳ１５０へ進む。
【００３９】
ステップＳ１５０では、制御装置１０２は、算出した推定分散Ｖａに基づいて、推定標準偏差Ｓａを算出する。その後、ステップＳ１６０へ進む。
【００４０】
ステップＳ１６０では、制御装置１０２は、式（１）により標準スコアマップＺＳａを算出する。その後、ステップＳ１７０へ進む。
【００４１】
ステップＳ１７０では、制御装置１０２は、演算によって得た標準スコアマップＺＳａを表示装置１０４に出力して表示する。その後、処理を終了する。
【００４２】
以上説明した実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０２は、診断対象者の医療用画像を入力画像として入力を受け付け、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダに入力画像を入力して、オートエンコーダによる復元画像を得て、入力画像と復元画像との差分を算出して差分マップを生成するようにした。制御装置１０２は、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器に入力画像を入力して、分散推定器による推定分散を得て、取得した推定分散に基づいて標準偏差を算出し、差分マップと標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成するようにした。これによって、医師等が、入力された医療用画像から正常な患者にはみられない異常部位を特定して診断を行うことを支援することができる。また、入力画像と復元画像との差分を算出して得た差分マップでも異常部位を抽出することは可能であるが、上述した式（１）により標準偏差も加味した診断結果画像を生成するようにしたので、画像上に現れる患者ごとに異なる正常部位の影響を低減して、異常部位である可能性が高い部位を明確化した診断結果画像を生成することができる。
【００４３】
（２）制御装置１０２は、生成した診断結果画像を表示装置１０４に表示するようにした。これによって、医師等の操作者は、診断結果画像を表示装置１０４上で確認することができる。
【００４４】
（３）オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させるようにした。これによって、オートエンコーダの学習精度を向上させて、様々な画像が入力された場合でも異常がない状態の医療用画像を復元画像として出力させることができる。
【００４５】
―変形例―
なお、上述した実施の形態の画像処理システムは、以下のように変形することもできる。
（１）上述した実施の形態では、画像処理装置１００はパソコンであって、制御装置１０２が上述した処理を実行する例について説明した。しかしながら、操作者が操作する端末からインターネットなどの通信回線を介して画像処理装置１００へ接続できるようにし、上述した入力画像ＸｈやＸａは、操作端末から画像処理装置１００へ送信されることにより入力されてもよい。また、その場合は、診断対象者の画像上の異常部位を表示した標準スコアマップＺＳａは、操作端末に送信して、操作端末上で表示されるようにしてもよい。これによって、操作端末と画像処理装置１００とを通信回線を介して接続することで、クライアントサーバー型やクラウド型の画像処理システムを構築することができる一方で、画像処理装置１００を単体で用いることにより、スタンドアロン型の装置として利用することもできる。
【００４６】
（２）上述した実施の形態では、トレーニングステップのための処理は、画像処理装置１００で制御装置１０２が実行する例について説明した。しかしながら、トレーニングステップのための処理は他の装置で実行するようにして、トレーニングステップによって得られたデータを記憶媒体１０３に記録しておくようにしてもよい。この場合は、画像処理装置１００でのトレーニングステップのための処理は不要となる。
【００４７】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００４８】
１００  画像処理装置
１０１  操作部材
１０２  制御装置
１０３  記憶媒体
１０４  表示装置
【図１】
2020067865.tif 000003
【図２】
2020067865.tif 000004
【図３】
2020067865.tif 000005
【図４】
2020067865.tif 000006
【図５】
2020067865.tif 000007
【図６】
2020067865.tif 000008
【図７】
2020067865.tif 000009
【図８】
2020067865.tif 000010
【手続補正書】
【提出日】令和1年10月25日(2019.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、
異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、
診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、
前記画像入力受付手段によって入力された前記入力画像と、前記入力画像を入力した結果として前記オートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、
前記入力画像を入力した結果として前記分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、
前記差分マップ生成手段によって生成された前記差分マップと前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記診断結果画像生成手段によって生成された前記診断結果画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させることを特徴とする画像処理装置。
【請求項４】
異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、
異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、
診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、
前記画像入力受付手段によって入力された前記入力画像と、前記入力画像を入力した結果として前記オートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、
前記入力画像を入力した結果として前記分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、
前記差分マップ生成手段によって生成された前記差分マップと前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする画像処理システム。
【請求項５】
請求項４に記載の画像処理システムにおいて、
前記診断結果画像生成手段によって生成された前記診断結果画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理システム。
【請求項６】
請求項４または５に記載の画像処理システムにおいて、
前記オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させることを特徴とする画像処理システム。
【請求項７】
診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手順と、
異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダに前記画像入力受付手順で入力を受け付けた前記入力画像を入力して、前記オートエンコーダによる復元画像を得る復元画像取得手順と、
前記画像入力受付手順で入力を受け付けた前記入力画像と前記復元画像取得手順で取得した前記復元画像との差分を算出して差分マップを生成する差分マップ生成手順と、
異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器に前記画像入力受付手順で入力を受け付けた前記入力画像を入力して、前記分散推定器による推定分散を得る推定分散取得手順と、
前記推定分散取得手順で取得した前記推定分散に基づいて標準偏差を算出する標準偏差算出手順と、
前記差分マップ生成手順で生成した前記差分マップと前記標準偏差算出手順で算出した前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手順とをコンピュータに実行させるための画像処理プログラム。
【請求項８】
請求項７に記載の画像処理プログラムにおいて、
前記診断結果画像生成手順で生成した前記診断結果画像を表示装置に表示する画像表示手順をさらに有することを特徴とする画像処理プログラム。
【請求項９】
請求項７または８に記載の画像処理プログラムにおいて、
前記オートエンコーダでは、入力された医療用画像と出力される画像との差が所定の閾値になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医療用画像の画像パターンを学習させることを特徴とする画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明による画像処理装置は、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする。
本発明による画像処理システムは、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダと、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備えることを特徴とする。
本発明による画像処理プログラムは、診断対象者の医療用画像を入力画像として入力を受け付ける画像入力受付手順と、異常がない医療用画像の画像パターンを学習させ、入力された医療用画像に対して異常がない医療用画像を復元して出力するように構成されたオートエンコーダに画像入力受付手順で入力を受け付けた入力画像を入力して、オートエンコーダによる復元画像を得る復元画像取得手順と、画像入力受付手順で入力を受け付けた入力画像と復元画像取得手順で取得した復元画像との差分を算出して差分マップを生成する差分マップ生成手順と、異常がない医療用画像の分散を学習させ、入力された医療用画像に対して異常がない画像の分散を出力するように構成された分散推定器に画像入力受付手順で入力を受け付けた入力画像を入力して、分散推定器による推定分散を得る推定分散取得手順と、推定分散取得手順で取得した推定分散に基づいて標準偏差を算出する標準偏差算出手順と、差分マップ生成手順で生成した差分マップと標準偏差算出手順で算出した標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手順とをコンピュータに実行させるためのプログラムである。