(57)【要約】【課題】任意の画像診断モデルにおいて、診断結果の判断根拠を提示可能な画像診断支援装置および画像処理方法を提供する。【解決手段】入力される医用画像に対して診断結果を出力する画像診断モデルを読み込むモデル読込部と、複数の判定項目に基づいて前記医用画像から複数の判定領域を抽出する判定領域抽出部と、前記画像診断モデルへ前記判定領域を入力して得られる診断結果を、前記判定領域の組み合わせを変えながら取得し、取得された各診断結果と前記判定領域の組み合わせとに基づいて前記判定領域毎の重要度を算出する重要度算出部と、を備えることを特徴とする。【選択図】図２
2020144498.tif 000002
【特許請求の範囲】
【請求項１】
入力される医用画像に対して診断結果を出力する画像診断モデルを読み込むモデル読込部と、
複数の判定項目に基づいて前記医用画像から複数の判定領域を抽出する判定領域抽出部と、
前記画像診断モデルへ前記判定領域を入力して得られる診断結果を、前記判定領域の組み合わせを変えながら取得し、取得された各診断結果と前記判定領域の組み合わせとに基づいて前記判定領域毎の重要度を算出する重要度算出部と、を備えることを特徴とする画像診断支援装置。
【請求項２】
請求項１に記載の画像診断支援装置であって、
前記重要度算出部は、サンプリング行列を用いて前記判定領域の組み合わせを設定し、前記サンプリング行列に基づいて前記重要度を算出することを特徴とする画像診断支援装置。
【請求項３】
請求項２に記載の画像診断支援装置であって、
前記重要度算出部は、前記サンプリング行列をＡ、前記診断結果をｙとするときに、前記重要度を示すｗを、
ｗ＝（ＡＴＡ）−１ＡＴｙ
により算出することを特徴とする画像診断支援装置。
【請求項４】
請求項２に記載の画像診断支援装置であって、
前記サンプリング行列は、前記判定領域の全ての組み合わせを表すことを特徴とする画像診断支援装置。
【請求項５】
請求項１に記載の画像診断支援装置であって、
前記判定領域は、解剖学的に分割される領域であることを特徴とする画像診断支援装置。
【請求項６】
請求項５に記載の画像診断支援装置であって、
前記判定領域は、含気を含むことを特徴とする画像診断支援装置。
【請求項７】
請求項１に記載の画像診断支援装置であって、
前記判定領域の各々を前記重要度に応じた色によって着色されて生成される重要度画像を表示する表示部をさらに備えることを特徴とする画像診断支援装置。
【請求項８】
請求項１に記載の画像診断支援装置であって、
前記重要度算出部は、複数の医用画像に対して前記判定領域毎の重要度を算出し、前記医用画像毎の重要度を用いて、前記複数の医用画像に対する重要度であるグローバル重要度を算出することを特徴とする画像診断支援装置。
【請求項９】
請求項８に記載の画像診断支援装置であって、
前記重要度算出部は、各医用画像の前記判定領域毎の重要度のばらつきを算出し、前記ばらつきに基づいて算出される重み係数を用いて前記医用画像毎の重要度を加重加算することによって前記グローバル重要度を算出することを特徴とする画像診断支援装置。
【請求項１０】
請求項１に記載の画像診断支援装置であって、
複数の判定領域の少なくとも１つを選択する選択部と、
前記選択部によって選択された判定領域に対応する前記重要度を表示する表示部をさらに備えることを特徴とする画像診断支援装置。
【請求項１１】
請求項１に記載の画像診断支援装置であって、
前記複数の判定領域に対し新たな判定領域を追加する追加部と、
前記追加部によって追加された判定領域に対応する前記重要度を表示する表示部をさらに備えることを特徴とする画像診断支援装置。
【請求項１２】
入力される医用画像に対して診断結果を出力する画像診断モデルを読み込むモデル読込ステップと、
複数の判定項目に基づいて前記医用画像から複数の判定領域を抽出する判定領域抽出ステップと、
前記画像診断モデルへ前記判定領域を入力して得られる診断結果を、前記判定領域の組み合わせを変えながら取得し、取得された各診断結果と前記判定領域の組み合わせとに基づいて前記判定領域毎の重要度を算出する重要度算出ステップと、をコンピュータに実行させることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医用画像撮像装置で取得される医用画像に含まれる病変部位を人工知能等により良悪判定する画像診断に関し、特に診断結果の判断根拠となる各画像特徴量の重要度を表示する画像診断支援装置および画像処理方法に係る。
【背景技術】
【０００２】
Ｘ線ＣＴ（Computed Tomography）装置等に代表される医用画像撮像装置は、病変部位等の形態を画像化する装置であり、取得された医用画像は読影医による画像診断に用いられる。医用画像撮像装置の高性能化にともなう読影医の負担増を軽減するため、人工知能いわゆるＡＩ（Artificial Intelligence）により画像診断をして病変部位の良悪判定をする画像診断支援装置が近年開発されている。多くの画像診断支援装置では、医用画像から抽出される複数の特徴量の入力に応じて、病変部位の良悪判定が出力されるに留まっていた。
【０００３】
特許文献１には、良悪判定の出力に留まらず、病変部位を良悪判定するに至った要因である寄与度を定量的に呈示できる診断支援装置が開示されている。具体的には、入力された画像特徴量と、良悪判定するために構築された階層型ニューラルネットワークの入力層と中間層と出力層が接続された各経路の重み値と、出力値と、中間ノード値とに基づいて、入力された画像特徴量の種別ごとに寄与度の値が算出される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４８０５０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら特許文献１では、良悪判定するに至った要因である寄与度の算出に先立って、階層型ニューラルネットワークを構築する必要があるため、既存の画像診断モデルに対応できない。すなわちRandom forestやSVM （Support Vector Machine）等で構築される任意の画像診断モデルによって出力される診断結果に対し、診断結果の判断根拠を示すことができない。
【０００６】
そこで本発明は、任意の画像診断モデルにおいて、診断結果の判断根拠を提示可能な画像診断支援装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明は、入力される医用画像に対して診断結果を出力する画像診断モデルを読み込むモデル読込部と、複数の判定項目に基づいて前記医用画像から複数の判定領域を抽出する判定領域抽出部と、前記画像診断モデルへ前記判定領域を入力して得られる診断結果を、前記判定領域の組み合わせを変えながら取得し、取得された各診断結果と前記判定領域の組み合わせとに基づいて前記判定領域毎の重要度を算出する重要度算出部と、を備えることを特徴とする画像診断支援装置である。
【０００８】
また本発明は、入力される医用画像に対して診断結果を出力する画像診断モデルを読み込むモデル読込ステップと、複数の判定項目に基づいて前記医用画像から複数の判定領域を抽出する判定領域抽出ステップと、前記画像診断モデルへ前記判定領域を入力して得られる診断結果を、前記判定領域の組み合わせを変えながら取得し、取得された各診断結果と前記判定領域の組み合わせとに基づいて前記判定領域毎の重要度を算出する重要度算出ステップと、をコンピュータに実行させることを特徴とする画像処理方法である。
【発明の効果】
【０００９】
本発明によれば、任意の画像診断モデルにおいて、診断結果の判断根拠を提示可能な画像診断支援装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の画像診断支援装置のハードウェア構成図である。
【図２】実施例１の機能ブロック図である。
【図３】実施例１の処理の流れの一例を示す図である。
【図４】実施例１の判定項目の一例を示す図である。
【図５】実施例１の判定領域を抽出するための領域分割を示す図である。
【図６】実施例１の重要度の算出を説明する図である。
【図７】実施例１の表示画面の一例を示す図である。
【図８】実施例２の処理の流れの一例を示す図である。
【図９】実施例２の操作画面の一例を示す図である。
【図１０】実施例３の処理の流れの一例を示す図である。
【図１１】実施例３の操作画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付図面に従って本発明に係る画像診断支援装置および画像処理方法の好ましい実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【実施例１】
【００１２】
図１を用いて本実施例の画像診断支援装置１００のハードウェア構成について説明する。画像診断支援装置１００は、いわゆるコンピュータである。具体的には、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、記憶部１０４、ネットワークアダプタ１０５、入力部１０６、表示部１０７がバス１０８によって信号送受可能に接続されて構成される。また画像診断支援装置１００は、ネットワークアダプタ１０５及びネットワーク１０９を介して医用画像撮像装置１１０や医用画像データベース１１１と信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的または光学的に、有線と無線を問わず、相互にあるいは一方から他方へ信号を受け渡しできる状態である。
【００１３】
ＣＰＵ１０１は、ＲＯＭ１０２に記憶されるシステムプログラム等を読み出し、各構成要素の動作を制御する装置である。ＣＰＵ１０１は、記憶部１０４に格納されるプログラムやプログラム実行に必要なデータをＲＡＭ１０３にロードして実行する。記憶部１０４は、ＣＰＵ１０１が実行するプログラムやプログラム実行に必要なデータを格納する装置であり、具体的にはＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記録装置や、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に読み書きする装置である。プログラム実行に必要なデータを含む各種データはＬＡＮ（Local Area Network）等のネットワーク１０９からも送受信される。ＲＡＭ１０３には、ＣＰＵ１０１が実行するプログラムや演算処理の途中経過等が記憶される。
【００１４】
表示部１０７は、プログラム実行の結果等が表示される装置であり、具体的には液晶ディスプレイ等である。入力部１０６は、操作者が画像診断支援装置１００に対して操作指示を行う操作デバイスであり、具体的にはキーボードやマウス等である。マウスはトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。また表示部１０７がタッチパネルである場合には、タッチパネルが入力部１０６としても機能する。ネットワークアダプタ１０５は、画像診断支援装置１００をＬＡＮ、電話回線、インターネット等のネットワーク１０９に接続するためのものである。
【００１５】
医用画像撮像装置１１０は、病変部位等の形態を画像化した断層画像等の医用画像を取得する装置であり、具体的には、レントゲン装置や、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置等である。複数の断層画像が積み上げられることにより、三次元医用画像が作成される。医用画像データベース１１１は、医用画像撮像装置１１０によって取得された医用画像を保管するデータベースシステムである。
【００１６】
図２を用いて本実施例の機能ブロック図について説明する。なおこれらの機能は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等を用いた専用のハードウェアで構成されても良いし、ＣＰＵ１０１上で動作するソフトウェアで構成されても良い。以降の説明では各機能がソフトウェアで構成された場合について説明する。本実施例は、モデル読込部２０１と判定領域抽出部２０２と重要度算出部２０３を備える。以下、各部について説明する。
【００１７】
モデル読込部２０１は、入力される医用画像２００に対して診断結果を出力する画像診断モデルを読み込む。画像診断モデルは、Random forestやSVM （Support Vector Machine）、階層型ニューラルネットワーク等で構築される既存のプログラムであり、処理アルゴリズムがブラックボックス化された任意のプログラムである。画像診断モデルに入力される医用画像２００は、任意の画像で良く、二次元医用画像や三次元医用画像の一部の領域でも良い。また画像診断モデルから出力される診断結果は、例えば、病変部位の良悪判定の結果であり、病変部位が悪性である確率等である。
【００１８】
判定領域抽出部２０２は、複数の判定項目に基づいて医用画像２００から複数の判定領域を抽出する。判定項目は診断結果に関与する項目であり、判定項目の例は図４を用いて後述される。抽出される判定領域の例は図６を用いて後述される。
【００１９】
重要度算出部２０３は、画像診断モデルへ判定領域を入力して得られる診断結果を、判定領域の組み合わせを変えながら取得し、取得された各診断結果と判定領域の組み合わせとに基づいて判定領域毎の重要度を算出する。判定領域の組み合わせを変えながら取得される診断結果は図６を用いて後述される。また算出される判定領域毎の重要度は図７に例示されて後述される。
【００２０】
図３を用いて、本実施例の処理の流れの一例について説明する。
【００２１】
（Ｓ３０１）
画像診断モデルがモデル読込部２０１に読み込まれるとともに、診断対象である医用画像２００が判定領域抽出部２０２に入力される。
【００２２】
（Ｓ３０２）
判定領域抽出部２０２は、入力された医用画像２００から複数の判定領域を抽出する。判定領域の抽出には、例えば診療の根拠や手順が記載された診療ガイドライン等が用いられる。特に肺腫瘍の良悪判定には、図４に示される腫瘍のサイズ、辺縁、形状、含気、輝度分布等の判定項目４０１を基準とすることが記載された肺がん診療ガイドラインが用いられることが好ましい。図４の判定項目４０１は、米国放射線学会議ＡＣＲ（American College of Radiology）が作成した肺がんスクリーニング検診ガイドラインＬｕｎｇ−ＲＡＤｓに基づいて作成されたものである。
【００２３】
判定項目４０１は良性もしくは悪性の可能性の程度を所見によって判定できるものである。例えば、腫瘍サイズが８ｍｍ未満であったり、辺縁が滑らかであったりすれば良性の可能性が高く、腫瘍サイズが１５ｍｍ以上であったり、辺縁が放線冠であったり、含気が含まれている場合には悪性の可能性が高い。判定項目４０１はいずれも病変部位の良悪判定に大きく関与するものの数値化の過程で誤差が混入することがある。そこで本実施例では、判定項目に基づいて医用画像２００から判定領域を抽出し、抽出された判定領域を画像診断モデルに入力する。すなわち、各判定項目を数値化せずに、各判定項目に関する情報を含む判定領域を、輝度値の分布情報を表す画像として画像診断モデルに入力する。各判定項目に関する情報を含む画像である判定領域を画像診断モデルに入力することにより、数値化の過程で発生する誤差の混入を防止できるので、以降の処理において計算精度を向上できる。
【００２４】
図５を用いて、肺腫瘍５０１を含む医用画像５００から判定領域を抽出するための領域分割の例について説明する。医用画像５００は、肺腫瘍５０１とともに、含気５０２と胸壁５０３と背景５０４と血管５０５を含む。医用画像５００に対して、ソーベルやプレヴィット等の前処理フィルタをかけることで、エッジ強調画像５０６が得られる。そしてエッジ強調画像５０６に対して、輝度値に基づく領域分割、例えば輝度勾配に基づく境界抽出や輝度値が類似するピクセルのグルーピングにより、分割画像５０７が得られる。
【００２５】
分割画像５０７には、例えば含気５０２に対応する含気領域５０８が含まれ、含気領域５０８は判定項目４０１に記載される含気に相当するので、判定領域の一つとして抽出される。分割画像５０７には胸壁５０３や血管５０５等に対応する領域も含まれ、これらの領域は判定項目４０１に記載されてないものの解剖学的に分割される領域であるので、判定領域として抽出されても良い。また判定項目４０１の記載に基づいて、さらに判定領域が抽出されても良く、例えば腫瘍サイズが８ｍｍ未満の領域である８ｍｍ未満領域５０９や腫瘍サイズが８ｍｍから１５ｍｍまでの領域である８〜１５ｍｍ領域５１０等が抽出されても良い。
【００２６】
（Ｓ３０３）
重要度算出部２０３は判定領域毎の重要度を算出する。具体的には、Ｓ３０２で抽出された判定領域の様々な組み合わせが画像診断モデルに入力されて、判定領域の組み合わせ毎の診断結果が取得され、取得された各診断結果と判定領域の組み合わせとに基づいて、判定領域毎の重要度が算出される。以下、本ステップについてより詳細に説明する。
【００２７】
図６を用いて、判定領域の組み合わせ毎に取得される診断結果の例について説明する。判定領域の組み合わせは、例えばサンプリングテーブル６０１によって表される。サンプリングテーブル６０１は、Ｓ３０２で抽出されたｎ個の判定領域が並ぶ項目行とサンプリング行列とから構成されるテーブルであり、各行に対応する画像に各判定領域が含まれるか否かがサンプリング行列の行列要素の値で示される。すなわち、各行の中の値が１であれば対応する判定領域は当該行の画像に含まれ、値が０である列の判定領域は当該画像に含まれず、含まれない判定領域は輝度値０とされたり黒で埋められたりする。例えば、１行目の画像は領域１の値が１であって領域２から領域ｎまでの値が０であるので、領域１だけが含まれる画像となる。領域１が肺腫瘍領域である場合、当該画像は肺腫瘍領域だけが含まれる肺腫瘍領域画像６０２となる。また２行目の画像は領域１の値が０であって領域２から領域ｎまでの値が１であるので、領域１だけが含まれない画像となる。
【００２８】
サンプリング行列のサイズは、判定領域の数ｎと判定領域の組み合わせの数ｍとに応じて定められ、サンプリング行列はｍ行ｎ列の行列となる。判定領域の組み合わせの数ｍは、重要度の算出精度を向上させるために、ｎ個の判定領域の全ての組み合わせ数である２ｎにすることが好ましいが、必ずしもその限りではない。例えばｎ個の判定領域の各々のみが含まれる組み合わせを表すようにｍ＝ｎとされても良い。
【００２９】
サンプリング行列等によって表される判定領域の組み合わせ毎の画像が画像診断モデルに入力されると、組み合わせ毎の診断結果が出力される。図６には、肺腫瘍領域や含気領域、胸壁領域、血管領域の各々のみが含まれる肺腫瘍領域画像６０２や含気領域画像６０３、胸壁領域画像６０４、血管領域画像６０５が画像診断モデルに入力されることによって出力される診断結果６０６が例示される。図６では、肺腫瘍領域画像６０２に対して悪性である確率として０．９５が出力されており、含気領域画像６０３では０．８４、胸壁領域画像６０４では０．４２、血管領域画像６０５では０．４１が出力されている。
【００３０】
図６に例示されるような結果から、胸壁領域や血管領域に比べて肺腫瘍領域や含気領域は、画像診断モデルから診断結果を取得するにあたり相対的に重要度が高いと判断できるので、本実施例ではｎ個の判定領域の各重要度ｗ１、ｗ２、…、ｗｎを次式によって算出する。
【００３１】
ｗ＝（ＡＴＡ）−１ＡＴｙ    …（式１）
ここで、Ａはｍ行ｎ列のサンプリング行列であり、ｗ＝［ｗ１、ｗ２、…、ｗｎ］は各判定領域の重要度、ｙ＝［ｙ１、ｙ２、…、ｙｍ］は判定領域の組み合わせ毎の診断結果である。なおＡの行列要素は０か１であり、ｙの要素は０以上１以下の数値である。
【００３２】
（Ｓ３０４）
Ｓ３０３にて算出された判定領域毎の重要度が表示部１０７に表示される。図７を用いて、本ステップの表示例である重要度表示画面７００について説明する。重要度表示画面７００は、診断結果表示部７０１と重要度表示部７０２と重要度画像表示部７０３を有する。診断結果表示部７０１には、入力された医用画像に対する診断結果として、例えば病変部位が悪性である確率９８．５％が表示される。
【００３３】
重要度表示部７０２には、判定領域毎に算出された各重要度が判定領域に対応付けられて表示される。なお各重要度の値に応じて、診断結果に正の影響や負の影響を与える群等に、各判定領域が分類されて表示されても良い。図７では、正の影響を与える群に「辺縁」と「含気」が、負の影響を与える群に「腫瘍サイズ＜８ｍｍ」が、影響なしの群に「腫瘍サイズ８〜１５ｍｍ」と「背景」と「血管」と「胸壁」が表示される。図７に例示されるような分類された表示によって「辺縁」が診断結果の第一の判断根拠であり、「含気」も判断根拠に含まれることを操作者は確認できる。
【００３４】
重要度画像表示部７０３には、判定領域毎の重要度に応じた色によって着色されて生成される重要度画像が表示される。カラーバー７０４には重要度と色との対応関係が示され、例えば負の値の重要度には黒が、ゼロ付近の値には白が、正であって比較的大きな値には斜線が対応付けられる。カラーバー７０４での対応関係に従って、例えば分割画像５０７の各判定領域が着色されることにより重要度画像は生成される。図７では、８ｍｍ未満領域７０５が黒、辺縁領域７０６と含気領域７０７が斜線、８〜１５ｍｍ領域７０８と背景領域７０９、血管領域７１０、胸壁領域７１１が白でそれぞれ表示される。図７に例示される重要度画像の表示により、診断結果の判断根拠となる判定領域を操作者が一目で把握できる。
【００３５】
以上説明した処理の流れにより、任意の画像診断モデルから出力される診断結果に対する判断根拠が提示可能となる。診断結果の判断根拠が提示されることにより、操作者は診断結果の理由を理解できるようになり、診断結果が操作者に受け入れられないような場合を低減できる。
【００３６】
なお図３に示した処理の流れでは、単数の医用画像に対して出力された診断結果の判断根拠となる判定領域毎の重要度が算出されて提示された。本実施例では、複数の医用画像を画像診断モデルに入力して、各医用画像に対して出力される判定領域毎の重要度を用いて、複数の医用画像の集合である医用画像群に対する重要度であるグローバル重要度を算出しても良い。グローバル重要度は画像診断に用いられた画像診断モデルの評価指標となりえる。例えばグローバル重要度が高い判定領域がＬｕｎｇ−ＲＡＤｓ等の診療ガイドラインにおいて重視される判定項目に該当すれば、画像診断に用いられた画像診断モデルの信頼性が高いと判断できる。また、グローバル重要度が高い判定領域が重視される判定項目に該当しなければ、画像診断モデルの精度不足から内容更新が必要であると判断できる。
【００３７】
グローバル重要度の算出について説明する。グローバル重要度は、複数の医用画像に対して出力される判定領域毎の重要度を加重加算することによって算出される。加重加算に用いられる重み係数は、より特徴性の高い医用画像に対して、より大きな値が付与される。各医用画像の特徴性は、判定領域毎の重要度のばらつきに表れる。例えば、第一画像と第二画像との３つの判定領域の重要度がそれぞれ［０．２、０．１、０．１］と［０．３、０．１、−０．３］である場合、第一画像では重要度間の差異は小さく、ばらつきが小さいのに対し、第二画像では重要度のばらつきが大きい。すなわち、第一画像では３つの判定領域がほぼ同レベルであるのに対し、第二画像には特徴性の高い判定領域が含まれるので、第二画像の重み係数を大きくすることが好ましい。重み係数は、判定領域毎の重要度のばらつき、具体的には最大値と最小値の差や標準偏差、分散に応じて設定される。なお医用画像間に特徴性が見いだせない場合は、重み係数を１とした加重加算である単純平均によりグローバル重要度が算出されても良い。
【実施例２】
【００３８】
実施例１では、判定領域抽出部２０２によって抽出された全ての判定領域の重要度を表示することについて説明した。抽出された判定領域の数が大量である場合、判定領域毎の重要度の確認に時間を要する。本実施例では、操作者による判定領域の選択を可能とし、選択された判定領域の重要度に限定して表示することにより、確認に要する時間を短縮することについて説明する。なお、本実施例の全体構成は実施例１と同じであるので説明を省略する。
【００３９】
図８を用いて、本実施例の処理の流れの一例について説明する。なおＳ３０１とＳ３０２は実施例１と同じ処理であるので説明を省略し、Ｓ８０３以降について説明する。
【００４０】
（Ｓ８０３）
Ｓ３０２で抽出された複数の判定領域の中から所望の判定領域が選択される。本ステップでの判定領域の選択には、図９に例示されるような判定領域選択画面９００が用いられる。判定領域選択画面９００は、画像表示部９０１と判定領域選択部９０２と診断結果表示部９０３と根拠表示部９０４を有する。画像表示部９０１には、入力された医用画像が表示される。
【００４１】
判定領域選択部９０２には、Ｓ３０２で抽出された各判定領域に対応し選択可能なボタン、例えばサイズ８ｍｍ未満ボタン９０５、サイズ８〜１５ｍｍボタン９０６、含気ボタン９０７、辺縁ボタン９０８等が表示される。操作者は判定領域選択部９０２に表示されるボタンを押下することにより、各ボタンに対応する判定領域を選択する。図９には、サイズ８ｍｍ未満ボタン９０５、サイズ８〜１５ｍｍボタン９０６、含気ボタン９０７、辺縁ボタン９０８が押下された状態が示される。
【００４２】
診断結果表示部９０３には、入力された医用画像に対する診断結果として、例えば病変部位が悪性である確率９８％が表示される。根拠表示部９０４には、本ステップで選択される判定領域の重要度が表示される。根拠表示部９０４についてはＳ８０５にて後述する。
【００４３】
（Ｓ８０４）
重要度算出部２０３が判定領域毎の重要度を算出する。重要度の算出は、実施例１と同じである。
【００４４】
（Ｓ８０５）
Ｓ８０４にて算出された判定領域毎の重要度が、図９の判定領域選択画面９００の中の根拠表示部９０４に表示される。なお根拠表示部９０４に表示される判定領域毎の重要度は、Ｓ８０３にて選択された判定領域、すなわち判定領域選択部９０２で押下されたボタンに対応する判定領域の重要度に限定される。根拠表示部９０４には、選択された判定領域の重要度の数値とともに、重要度画像が表示される。なお、重要度画像の着色される領域は、Ｓ８０３にて選択された判定領域に限定される。図９には、８ｍｍ未満領域９０９が黒、辺縁領域９１２と含気領域９１１が斜線、８〜１５ｍｍ領域９１０が白で着色された重要度画像が例示される。
【００４５】
以上説明した処理の流れにより、判定領域抽出部２０２によって抽出された複数の判定領域の中から操作者が所望の判定領域を選択できるとともに、選択された判定領域に限定されての重要度が表示されるので、操作者は短時間で診断結果の判断根拠を確認できる。
【実施例３】
【００４６】
実施例１では、判定領域抽出部２０２によって抽出された判定領域の重要度を表示することについて説明した。抽出された判定領域に操作者が注目する判定領域が含まれない場合、画像診断モデルの診断結果が操作者に受け入れられないことがある。本実施例では、操作者による判定領域の追加を可能とし、追加された判定領域の重要度も表示することにより、診断結果が操作者に受け入れやすくすることについて説明する。なお、本実施例の全体構成は実施例１と同じであるので説明を省略する。
【００４７】
図１０を用いて、本実施例の処理の流れの一例について説明する。なおＳ３０１とＳ３０２は実施例１と同じ処理であるので説明を省略し、Ｓ１００３以降について説明する。
【００４８】
（Ｓ１００３）
Ｓ３０２で抽出された複数の判定領域に操作者が注目する判定領域が含まれない場合、本ステップにおいて新たな判定領域が追加される。本ステップでの判定領域の追加には、図１１に例示されるような判定領域追加画面１１００が用いられる。判定領域追加画面１１００は、画像表示部１１０１と判定領域追加部１１０２と診断結果表示部１１０３と根拠表示部１１０４を有する。画像表示部１１０１には、入力された医用画像が表示される。
【００４９】
判定領域追加部１１０２には、新たな判定領域が追加され登録されたことを示すボタンである登録済ボタン１１０５、１１０６や、新たな判定領域を追加するためのボタンである新規追加ボタン１１０７等が表示される。新たな判定領域の追加は、操作者が新規追加ボタン１１０７を押下することにより開始され、画像表示部１１０１に表示される医用画像上での所望の領域のトレースと、トレースされた領域への名称付与により完了する。領域のトレースは、例えばマウス等を用いて実施される。トレースされた領域内において画像処理による領域抽出が実行されても良い。登録済ボタン１１０５はトレースされた腫瘍１１０８に「形状」という名称が付与されて登録されたことを例示するボタンであり、登録済ボタン１１０６はトレースされた含気１１０９に「含気」という名称が付与されて登録されたことを例示するボタンである。
【００５０】
診断結果表示部１１０３には、入力された医用画像に対する診断結果として、例えば病変部位が悪性である確率９８％が表示される。根拠表示部１１０４には、本ステップで追加される判定領域の重要度が表示される。根拠表示部１１０４についてはＳ１１０５にて後述する。
【００５１】
（Ｓ１００４）
重要度算出部２０３が、Ｓ１００３にて追加された判定領域毎の重要度を算出する。重要度の算出は、実施例１と同じである。
【００５２】
（Ｓ１００５）
Ｓ１１０４にて算出された判定領域毎の重要度が、図１１の判定領域追加画面１１００の中の根拠表示部１１０４に表示される。根拠表示部１１０４には、追加された判定領域の重要度の数値とともに、重要度画像が表示される。なお、重要度画像の着色される領域は、Ｓ１１０３にて追加された判定領域に限定される。図１１には、「形状」領域１１１０と「含気」領域１１１１が斜線で着色された重要度画像が例示される。
【００５３】
以上説明した処理の流れにより、判定領域抽出部２０２によって抽出された複数の判定領域とは別に操作者が所望の判定領域を追加できるとともに、追加された判定領域の重要度が表示される。その結果、操作者は自身が注目する判定領域を含めて診断結果の判断根拠を確認できるので、診断結果を受け入れやすくなる。
【００５４】
以上、本発明の複数の実施例について説明した。本発明はこれらの実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したのであり、説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。さらに、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００５５】
１００：画像診断支援装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：記憶部、１０５：ネットワークアダプタ、１０６：入力部、１０７：表示部、１０８：バス、１０９：ネットワーク、１１０：医用画像撮像装置、１１１：医用画像データベース、２００：医用画像、２０１：モデル読込部、２０２：判定領域抽出部、２０３：重要度算出部、２０４：重要度、４０１：判定項目、５００：医用画像、５０１：肺腫瘍、５０２：含気、５０３：胸壁、５０４：背景、５０５：血管、５０６：エッジ強調画像、５０７：分割画像、５０８：含気領域、５０９：８ｍｍ未満領域、５１０：８〜１５ｍｍ領域、６０１：サンプリングテーブル、６０２：肺腫瘍領域画像、６０３：含気領域画像、６０４：胸壁領域画像、６０５：血管領域画像、６０６：診断結果、７００：重要度表示画面、７０１：診断結果表示部、７０２：重要度表示部、７０３：重要度画像表示部、７０４：カラーバー、７０５：８ｍｍ未満領域、７０６：辺縁領域、７０７：含気領域、７０８：８〜１５ｍｍ領域、７０９：背景領域、７１０：血管領域、７１１：胸壁領域、９００：判定領域選択画面、９０１：画像表示部、９０２：判定領域選択部、９０３：診断結果表示部、９０４：根拠表示部、９０５：サイズ８ｍｍ未満ボタン、９０６：サイズ８〜１５ｍｍボタン、９０７：含気ボタン、９０８：辺縁ボタン、９０９：８ｍｍ未満領域、９１０：８〜１５ｍｍ領域、９１１：含気領域、９１２：辺縁領域、１１００：判定領域追加画面、１１０１：画像表示部、１１０２：判定領域追加部、１１０３：診断結果表示部、１１０４：根拠表示部、１１０５：登録済ボタン、１１０６：登録済ボタン、１１０７：新規追加ボタン、１１０８：腫瘍、１１０９：含気、１１１０：「形状」領域、１１１１：「含気」領域
【図１】
2020144498.tif 000003
【図２】
2020144498.tif 000004
【図３】
2020144498.tif 000005
【図４】
2020144498.tif 000006
【図５】
2020144498.tif 000007
【図６】
2020144498.tif 000008
【図７】
2020144498.tif 000009
【図８】
2020144498.tif 000010
【図９】
2020144498.tif 000011
【図１０】
2020144498.tif 000012
【図１１】
2020144498.tif 000013