(57)【要約】【課題】医用画像の総合的な診断を行う用により好適な画像処理装置を提供すること。【解決手段】医用画像撮像装置２００が撮像した被検体の診断対象部位に係る医用画像の診断を行う画像処理装置１００であって、前記医用画像を取得する画像取得部１０と、学習済みの識別器Ｍを用いて前記医用画像の画像解析を行い、前記医用画像が複数種別の病変パターンのうちのいずれかに該当する確率を示す指標を算出する診断部２０と、を備え、前記識別器Ｍは、前記複数種別の病変パターンのうちのいずれにも該当しないと診断済みの前記医用画像を用いた学習処理の際には、正常状態を示す第１の値が前記指標の正解値に設定されて学習処理が行われ、前記複数種別の病変パターンのうちのいずれかに該当すると診断済みの前記医用画像を用いた学習処理の際には、異常状態を示す第２の値が前記指標の正解値に設定されて学習処理が行われた。【選択図】図１
2019033966.tif 000002
【特許請求の範囲】
【請求項１】
医用画像撮像装置が撮像した被検体の診断対象部位に係る医用画像の診断を行う画像処理装置であって、
前記医用画像を取得する画像取得部と、
学習済みの識別器を用いて前記医用画像の画像解析を行い、前記医用画像が複数種別の病変パターンのうちのいずれかに該当する確率を示す指標を算出する診断部と、
を備え、
前記識別器は、前記複数種別の病変パターンのうちのいずれにも該当しないと診断済みの前記医用画像を用いた学習処理の際には、正常状態を示す第１の値が前記指標の正解値に設定されて学習処理が行われ、
前記複数種別の病変パターンのうちのいずれかに該当すると診断済みの前記医用画像を用いた学習処理の際には、異常状態を示す第２の値が前記指標の正解値に設定されて学習処理が行われた、
画像処理装置。
【請求項２】
前記識別器は、前記複数種別の病変パターンのうちのいずれにも該当しないと診断済みの前記医用画像を用いた学習処理の際には、前記医用画像の全画像領域を用いた学習処理が行われ、
前記複数種別の病変パターンのうちのいずれかに該当すると診断済みの前記医用画像を用いた学習処理の際には、前記医用画像の全画像領域から異常状態の領域を抽出した部分的な画像領域を用いた学習処理が行われた、
請求項１に記載の画像処理装置。
【請求項３】
前記識別器は、前記複数種別の病変パターンのうちのいずれかに該当すると診断済みの前記医用画像を用いた学習処理の際には、前記医用画像の全画像領域から抽出された異常状態の組織又は陰影の画像領域を用いた学習処理が行われた、
請求項２に記載の画像処理装置。
【請求項４】
前記診断部は、前記医用画像の全画像領域を対象として、前記指標を算出する、
請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記診断部は、前記医用画像の全画像領域を複数に分割し、当該分割した画像領域毎に前記指標を算出する、
請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記診断部は、前記医用画像の画素領域毎に、前記指標を算出する、
請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記指標を表示装置に表示させる態様を制御する表示制御部、を更に備える、
請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記表示制御部は、前記指標と関連付けられた前記医用画像の画像領域の位置に重畳させて、前記指標を前記表示装置に表示させる、
請求項７に記載の画像処理装置。
【請求項９】
前記表示制御部は、前記指標を色情報に変換して、前記指標を前記表示装置に表示させる、
請求項８に記載の画像処理装置。
【請求項１０】
前記表示制御部は、複数の前記医用画像それぞれについて算出された前記指標に基づいて、複数の前記医用画像を前記表示装置に表示させる順番又は複数の前記医用画像を前記表示装置に表示させるか否かを決定する、
請求項７乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記医用画像は、医用静止画画像である、
請求項１乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記医用画像は、胸部単純Ｘ線画像である、
請求項１１に記載の画像処理装置。
【請求項１３】
前記識別器は、ベイズ識別器、ＳＶＭ識別器、又は畳み込みニューラルネットワークを含んで構成される、
請求項１乃至１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記診断部は、前記医用画像に加え、更に、前記被検体の年齢、性別、地域、又は既病歴に係る情報に基づいて、前記指標を算出する、
請求項１乃至１３のいずれか一項に記載の画像処理装置。
【請求項１５】
医用画像撮像装置が撮像した被検体の診断対象部位に係る医用画像の診断を行う画像処理方法であって、
前記医用画像を取得する処理と、
学習済みの識別器を用いて前記医用画像の画像解析を行い、前記医用画像が複数種別の病変パターンのうちのいずれかに該当する確率を示す指標を算出する処理と、
を備え、
前記識別器は、前記複数種別の病変パターンのうちのいずれにも該当しないと診断済みの前記医用画像を用いた学習処理の際には、正常状態を示す第１の値が前記指標の正解値に設定されて学習処理が行われ、
前記複数種別の病変パターンのうちのいずれかに該当すると診断済みの前記医用画像を用いた学習処理の際には、異常状態を示す第２の値が前記指標の正解値に設定されて学習処理が行われた、
画像処理方法。
【請求項１６】
コンピュータに、
医用画像撮像装置が撮像した被検体の診断対象部位に係る医用画像を取得させる処理と、
学習済みの識別器を用いて前記医用画像の画像解析を行い、前記医用画像が複数種別の病変パターンのうちのいずれかに該当する確率を示す指標を算出させる処理と、
を実行させる、画像処理プログラムであって、
前記識別器は、前記複数種別の病変パターンのうちのいずれにも該当しないと診断済みの前記医用画像を用いた学習処理の際には、正常状態を示す第１の値が前記指標の正解値に設定されて学習処理が行われ、
前記複数種別の病変パターンのうちのいずれかに該当すると診断済みの前記医用画像を用いた学習処理の際には、異常状態を示す第２の値が前記指標の正解値に設定されて学習処理が行われた、
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
コンピュータに、被検体の診断対象部位を撮像した医用画像の画像解析を行わせ、当該医用画像中の異常領域を提示することにより、医師等の診断を支援するコンピュータ支援診断（Computer-Aided Diagnosis：以下、「ＣＡＤ」とも称する）が知られている。
【０００３】
ＣＡＤは、通常、医用画像において特定の病変パターン（例えば、結核やノジュール）が生じているか否かを診断する。例えば、特許文献１に係る従来技術においては、胸部単純Ｘ線画像において、ノジュールの異常陰影のパターンが存在するか否かを判断する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第５７４０２６８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、健康診断においては、結核スクリーニングのような特殊診断や、一般診療の特定疾患の抽出とは異なり、医用画像（例えば、胸部単純Ｘ線画像や超音波診断画像）が医師等の閲覧に供されて、当該医用画像が複数種別の病変パターン（例えば、結核、ノジュール、血管異常等）のいずれかに該当していないかについて、総合的に診断される。そして、健康診断において医用画像がなんらかの病変パターンに該当すると診断された場合に、精密検査へ送られる。
【０００６】
この種の健康診断においては、医用画像から発見を要求される病変パターンは、多数あり、例えば、胸部単純Ｘ線画像等から発見を要求される病変パターンは、８０種類以上にものぼる。そして、健康診断においては、種々の病変パターンのいずれかに該当するか否かについて、網羅的に、且つ、迅速に検出することが要求される。
【０００７】
この点、特許文献１の従来技術等においては、結核診断といった特定の病変パターン以外を検出することができず、上記した健康診断の用途には適さない。換言すると、特許文献１の従来技術等においては、特定の病変パターン以外の病変パターンについての異常状態の判断を行えない以上、健康状態を総合的に診断する医師の診察を支援することはできない。
【０００８】
本開示は、上記の問題点に鑑みてなされたものであり、上記した健康診断のように、医用画像の総合的な診断を行う用により好適な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前述した課題を解決する主たる本開示は、
医用画像撮像装置が撮像した被検体の診断対象部位に係る医用画像の診断を行う画像処理装置であって、
前記医用画像を取得する画像取得部と、
学習済みの識別器を用いて前記医用画像の画像解析を行い、前記医用画像が複数種別の病変パターンのうちのいずれかに該当する確率を示す指標を算出する診断部と、
を備え、
前記識別器は、前記複数種別の病変パターンのうちのいずれにも該当しないと診断済みの前記医用画像を用いた学習処理の際には、正常状態を示す第１の値が前記指標の正解値に設定されて学習処理が行われ、
前記複数種別の病変パターンのうちのいずれかに該当すると診断済みの前記医用画像を用いた学習処理の際には、異常状態を示す第２の値が前記指標の正解値に設定されて学習処理が行われた、
画像処理装置である。
【００１０】
又、他の側面では、
医用画像撮像装置が撮像した被検体の診断対象部位に係る医用画像の診断を行う画像処理方法であって、
前記医用画像を取得する処理と、
学習済みの識別器を用いて前記医用画像の画像解析を行い、前記医用画像が複数種別の病変パターンのうちのいずれかに該当する確率を示す指標を算出する処理と、
を備え、
前記識別器は、前記複数種別の病変パターンのうちのいずれにも該当しないと診断済みの前記医用画像を用いた学習処理の際には、正常状態を示す第１の値が前記指標の正解値に設定されて学習処理が行われ、
前記複数種別の病変パターンのうちのいずれかに該当すると診断済みの前記医用画像を用いた学習処理の際には、異常状態を示す第２の値が前記指標の正解値に設定されて学習処理が行われた、
画像処理方法である。
【００１１】
又、他の側面では、
コンピュータに、
医用画像撮像装置が撮像した被検体の診断対象部位に係る医用画像を取得させる処理と、
学習済みの識別器を用いて前記医用画像の画像解析を行い、前記医用画像が複数種別の病変パターンのうちのいずれかに該当する確率を示す指標を算出させる処理と、
を実行させる、画像処理プログラムであって、
前記識別器は、前記複数種別の病変パターンのうちのいずれにも該当しないと診断済みの前記医用画像を用いた学習処理の際には、正常状態を示す第１の値が前記指標の正解値に設定されて学習処理が行われ、
前記複数種別の病変パターンのうちのいずれかに該当すると診断済みの前記医用画像を用いた学習処理の際には、異常状態を示す第２の値が前記指標の正解値に設定されて学習処理が行われた、
画像処理プログラムである。
【発明の効果】
【００１２】
本開示に係る画像処理装置は、医用画像の総合的な診断を行う用により好適である。
【図面の簡単な説明】
【００１３】
【図１】一実施形態に係る画像処理装置の全体構成の一例を示すブロック図
【図２】一実施形態に係る画像処理装置のハードウェア構成の一例を示す図
【図３】一実施形態に係る識別器の構成の一例を示す図
【図４】一実施形態に係る学習部の学習処理について説明する図
【図５】異常な医用画像の教師データにおいて用いられる画像の一例を示す図
【図６】異常な医用画像の教師データにおいて用いられる画像の一例を示す図
【図７】変形例１に係る識別器の一例を示す図
【図８】変形例２に係る識別器の一例を示す図
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
［画像処理装置の全体構成］
まず、一実施形態に係る画像処理装置１００の構成の概要について説明する。
【００１６】
図１は、画像処理装置１００の全体構成の一例を示すブロック図である。
【００１７】
画像処理装置１００は、医用画像撮像装置２００が生成した医用画像の画像解析を行って、当該医用画像が複数種別の病変パターンのうちのいずれかに該当するかについて、診断を行う。
【００１８】
医用画像撮像装置２００は、例えば、公知のＸ線診断装置である。医用画像撮像装置２００は、例えば、被検体に対してＸ線を曝射し、当該被検体を透過或いは被検体で散乱したＸ線をＸ線検出器で検出し、これによって、当該被検体の診断対象部位を撮像した医用画像を生成する。
【００１９】
表示装置３００は、例えば、液晶ディスプレイであって、画像処理装置１００から取得した診断結果を、医師等に識別可能に表示する。
【００２０】
図２は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す図である。
【００２１】
画像処理装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び通信インターフェイス１０５等を備えたコンピュータである。
【００２２】
画像処理装置１００の各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、画像処理プログラム）や各種データ（例えば、医用画像データ、教師データ、識別器のモデルデータ）を参照することによって実現される。尚、ＲＡＭ１０３は、例えば、データの作業領域や一時退避領域として機能する。
【００２３】
但し、各機能の一部又は全部は、ＣＰＵによる処理に代えて、又は、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。
【００２４】
本実施形態に係る画像処理装置１００は、例えば、画像取得部１０、診断部２０、表示制御部３０、及び学習部４０を備えている。
【００２５】
［画像取得部］
画像取得部１０は、医用画像撮像装置２００から、被検体の診断対象部位を撮像した医用画像のデータＤ１を取得する。
【００２６】
尚、画像取得部１０は、画像データＤ１を取得する際、医用画像撮像装置２００から直接取得してもよいし、外部記憶装置１０４に格納された画像データＤ１や、インターネット回線等を介して提供された画像データＤ１を取得する構成であってもよい。
【００２７】
［診断部］
診断部２０は、画像取得部１０から医用画像のデータＤ１を取得して、学習済みの識別器Ｍを用いて医用画像の画像解析を行い、被検体が複数種別の病変パターンのうちのいずれかに該当する確率を算出する。
【００２８】
本実施形態に係る診断部２０は、医用画像が複数種別の病変パターンのうちのいずれかに該当する確率を示す指標として、「正常度」を算出する。「正常度」は、例えば、医用画像が複数種別の病変パターンのうちのいずれにも該当しない場合には正常度１００％で表され、医用画像が複数種別の病変パターンのうちのいずれかに該当する場合には正常度０％で表される。
【００２９】
但し、「正常度」は、被検体が複数種別の病変パターンのうちのいずれかに該当する確率を示す指標の一例であって、その他の任意の態様の指標が用いられてよい。例えば、「正常度」は、０％〜１００％の値で表される態様に代えて、数段階のレベル値のうちのいずれのレベル値に該当するかとして表される態様であってもよい。
【００３０】
図３は、本実施形態に係る識別器Ｍの構成の一例を示す図である。
【００３１】
本実施形態に係る識別器Ｍとしては、典型的には、ＣＮＮが用いられる。尚、識別器Ｍのモデルデータ（構造データ及び学習済みのパラメータデータ等）は、例えば、画像処理プログラムと共に、外部記憶装置１０４に格納されている。
【００３２】
ＣＮＮは、例えば、特徴抽出部Ｎａと識別部Ｎｂとを有し、特徴抽出部Ｎａが、入力される画像から画像特徴を抽出する処理を施し、識別部Ｎｂが、当該画像特徴から画像に係る識別結果を出力する。
【００３３】
特徴抽出部Ｎａは、複数の特徴量抽出層Ｎａ１、Ｎａ２・・・が階層的に接続されて構成される。各特徴量抽出層Ｎａ１、Ｎａ２・・・は、それぞれ、畳み込み層（Convolution layer）、活性化層（Activation layer）及びプーリング層（Pooling layer）を備える。
【００３４】
第１層目の特徴量抽出層Ｎａ１は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｎａ１は、走査したデータに対して、畳み込み層、活性化層及びプーリング層によって特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。第１層目の特徴量抽出層Ｎａ１は、例えば、水平方向に延びる線状の特徴量や斜め方向に延びる線状の特徴量等の比較的シンプルな単独の特徴量を抽出する。
【００３５】
第２層目の特徴量抽出層Ｎａ２は、前階層の特徴量抽出層Ｎａ１から入力される画像（特徴マップとも称される）を、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｎａ２は、走査したデータに対して、同様に、畳み込み層、活性化層及びプーリング層による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。尚、第２層目の特徴量抽出層Ｎａ２は、第１層目の特徴量抽出層Ｎａ１が抽出した複数の特徴量の位置関係などを考慮しながら統合させることで、より高次元の複合的な特徴量を抽出する。
【００３６】
第２層目以降の特徴量抽出層（図３では、説明の便宜として、特徴量抽出層Ｎａを２階層のみを示す）は、第２層目の特徴量抽出層Ｎａ２と同様の処理を実行する。そして、最終層の特徴量抽出層の出力（複数の特徴マップのマップ内の各値）が、識別部Ｎｂに対して入力される。
【００３７】
識別部Ｎｂは、例えば、複数の全結合層（Fully Connected）が階層的に接続された多層パーセプトロンによって構成される。
【００３８】
識別部Ｎｂの入力側の全結合層は、特徴抽出部Ｎａから取得した複数の特徴マップのマップ内の各値に全結合し、その各値に対して重み係数を異ならせながら積和演算を行って出力する。
【００３９】
識別部Ｎｂの次階層の全結合層は、前階層の全結合層の各素子が出力する値に全結合し、その各値に対して重み係数を異ならせながら積和演算を行う。そして、識別部Ｎｂの最後段には、正常度を出力する出力素子が設けられる。
【００４０】
尚、本実施形態に係るＣＮＮは、医用画像から正常度を出力し得るように学習処理が施されている点以外については、公知の構成と同様である。
【００４１】
ＣＮＮ等の識別器Ｍは、一般に、教師データを用いて学習処理を行っておくことよって、入力される画像から所望の識別結果（ここでは、正常度）を出力し得るように、識別機能を保有することができる。
【００４２】
本実施形態に係る識別器Ｍは、医用画像を入力とし（図３のｉｎｐｕｔ）、当該医用画像Ｄ１の画像特徴に応じた正常度を出力する（図３のｏｕｔｐｕｔ）ように構成される。尚、本実施形態に係る識別器Ｍは、入力された医用画像Ｄ１の画像特徴に応じて、正常度を０％〜１００％の間の値として出力する。
【００４３】
診断部２０は、医用画像を学習済みの識別器Ｍに対して入力し、当該識別器Ｍの順伝播処理によって当該医用画像の画像解析を行って、正常度を算出する。
【００４４】
尚、識別器Ｍは、より好適には、画像データＤ１に加えて、年齢、性別、地域、又は既病歴に係る情報を入力し得る構成とする（例えば、識別器Ｎｂの入力素子として設ける）。医用画像の特徴は、年齢、性別、地域、又は既病歴に係る情報と相関関係を有している。従って、識別器Ｍは、画像データＤ１に加えて、年齢等の情報を参照することによって、より高精度に正常度を算出し得る構成とすることができる。
【００４５】
又、診断部２０は、識別器Ｍによる処理の他、前処理として、医用画像のサイズやアスペクト比に変換する処理、医用画像の色分割処理、医用画像の色変換処理、色抽出処理、輝度勾配抽出処理等を行ってもよい。
【００４６】
［表示制御部］
表示制御部３０は、正常度を表示装置３００に表示させるべく、正常度のデータＤ２を表示装置３００に出力する。
【００４７】
本実施形態に係る表示装置３００は、例えば、図３のｏｕｔｐｕｔに示すように、正常度を表示する。当該正常度の数値は、例えば、医師等による本格的な検査を行うか否かの判断等に用いられる。
【００４８】
［学習部］
学習部４０は、識別器Ｍが医用画像のデータＤ１から正常度を算出し得るように、教師データＤ３を用いて、識別器Ｍの学習処理を行う。
【００４９】
図４は、本実施形態に係る学習部４０の学習処理について説明する図である。
【００５０】
識別器Ｍの識別機能は、学習部４０が用いる教師データＤ３に依拠する。本実施形態に係る学習部４０は、種々の病変パターンのいずれかに該当するかについて、網羅的に、且つ、迅速に検出し得る識別器Ｍが構成されるように、以下のように、学習処理を施す。
【００５１】
本実施形態に係る学習部４０は、複数種別の病変パターンのいずれにも該当しないと診断済みの医用画像と、複数種別の病変パターンのいずれかに該当すると診断済みの医用画像と、を教師データＤ３として用いて学習処理を行う（以下、それぞれ、「正常な医用画像の教師データＤ３」、「異常な医用画像の教師データＤ３」と称する）。そして、学習部４０は、正常な医用画像の教師データＤ３を用いて学習処理を行う際には、正常状態を示す第１の値（ここでは、正常度１００％）を正常度の正解値に設定して学習処理を行い、異常な医用画像の教師データＤ３を用いて学習処理を行う際には、異常状態を示す第２の値（ここでは、正常度０％）を正常度の正解値に設定して学習処理を行う。
【００５２】
尚、学習部４０は、例えば、識別器Ｍに画像を入力した際の正解値に対する出力データの誤差（損失とも称される）が小さくなるように、識別器Ｍの学習処理を行う。
【００５３】
「複数種別の病変パターン」は、医師等が、医用画像から何らかの異常が発生していると判断する際の基準の病変パターンである（図５、図６を参照して後述）。換言すると、「複数種別の病変パターン」は、正常状態ではないと判断できるあらゆる要素であってよい。医用画像から発見が要求される「病変パターン」は、複数存在し、例えば、正常状態と比較して血管が収縮している、正常状態と比較して不自然な陰影が存在する、又は、正常状態と比較して臓器の形状が異常である等がある。
【００５４】
このように学習処理を施すことによって、識別器Ｍは、医用画像が種々の病変パターンのいずれかに該当するか否かについて、正常度を算出する識別機能を有するものとなる。
【００５５】
この際の医用画像の教師データＤ３は、画素値のデータであってもよいし、所定の色変換処理等がなされたデータであってもよい。又、前処理として、テクスチャ特徴、形状特徴、広がり特徴等を抽出したものが用いられてもよい。尚、教師データＤ３は、画像データに加えて、年齢、性別、地域、又は既病歴に係る情報を関連付けて学習処理を行ってもよい。
【００５６】
尚、学習部４０が学習処理を行う際のアルゴリズムは、公知の手法であってよい。識別器ＭとしてＣＮＮを用いる場合であれば、学習部４０は、例えば、公知の誤差逆伝播法を用いて、識別器Ｍに対して学習処理を施し、ネットワークパラメータ（重み係数、バイアス等）を調整する。そして、学習部４０によって学習処理が施された識別器Ｍのモデルデータ（例えば、学習済みのネットワークパラメータ）は、例えば、画像処理プログラムと共に、外部記憶装置１０４に格納される。
【００５７】
又、本実施形態に係る学習部４０は、正常な医用画像の教師データＤ３を用いて学習処理を行う際には、当該医用画像の全画像領域を用いて学習処理を行う（図４Ａ）。または、m×nの矩形領域を選択して学習を行う。
【００５８】
一方、本実施形態に係る学習部４０は、異常な医用画像の教師データＤ３を用いて学習処理を行う際には、医用画像の全画像領域から異常状態の部位の領域を抽出した部分的な画像領域を用いて学習処理を行う（図４Ｂ）。
【００５９】
このように、異常状態の部位については、当該異常状態の部位の画像領域のみを用いることによって、識別器Ｍは、より高度な識別機能を有することができる。
【００６０】
図５、図６は、異常な医用画像の教師データＤ３において用いられる画像の一例を示す図である。
【００６１】
より具体的には、図５は、異常状態の組織の画像領域を示す図であり、図６は、異常状態の陰影の画像領域を示す図である。
【００６２】
より詳細には、図５においては、異常状態の組織の画像領域の一例として、血管領域（図５Ａ）、肋骨領域（図５Ｂ）、心臓領域（図５Ｃ）、横隔膜領域（図５Ｄ）、下降大動脈領域（図５Ｅ）、腰椎領域（図５Ｆ）、肺領域（図５Ｇ）、鎖骨領域（図５Ｈ）を示している。
【００６３】
又、図６においては、異常状態の陰影の画像領域の一例として、ノジュール（図６Ａ）、区域性陰影・肺胞性陰影（図６Ｂ）、コンソリデーション（図６Ｃ）、胸水（図６Ｄ）、シルエットサイン陽性（図６Ｅ）、デフューズ（図６Ｆ）、線状影・網状影・蜂巣状影（図６Ｇ）、骨折領域（図６Ｈ）を示している。
【００６４】
学習部４０は、例えば、全画像領域からこれらの画像領域を切り出す処理を行ったり、全画像領域のうち、これらの画像領域が浮き出るように二値化処理を行うことによって、異常状態の部位の画像領域だけを取り出した教師データＤ３を生成する。
【００６５】
本実施形態に係る診断部２０は、以上のような手法で学習処理が施された識別器Ｍを用いて、医用画像の診断処理を行う。
【００６６】
以上のように、本実施形態に係る画像処理装置１００は、複数種別の病変パターンのうちのいずれにも該当しない医用画像を用いた学習処理の際には、正常度に正常状態を示す第１の値（ここでは、正常度１００％）を設定して識別器Ｍの学習処理を行う一方、複数種別の病変パターンのうちのいずれかに該当する医用画像を用いた学習処理の際には、正常度に異常状態を示す第２の値（ここでは、正常度０％）を設定して学習処理を行う。
【００６７】
従って、本実施形態に係る画像処理装置１００は、医用画像が複数種別の病変パターンのいずれかに該当するか否かについてだけを、総合的な正常度として算出することができる。これによって、種々の病変パターンの網羅的に検出する機能を確保しつつ、画像解析の処理負荷を軽減し、短時間での検出処理を実現することができる。
【００６８】
（変形例１）
図７は、変形例１に係る識別器Ｍの一例を示す図である。
【００６９】
本変形例１に係る診断部２０は、医用画像の全画像領域を複数の画像領域（ここでは、Ｄ１ａ〜Ｄ１ｉに９分割している）に分割し、当該画像領域毎に正常度を算出する点で、上記実施形態と相違する。
【００７０】
変形例１に係る態様は、例えば、医用画像の画像領域毎に、画像解析を行う識別器Ｍを設けることによって、実現することができる。図７中では、９つの画像領域Ｄ１ａ〜Ｄ１ｉそれぞれに対応するように、９つの異なる識別器Ｍａ〜Ｍｉが設けられている。尚、画像解析を行う識別器Ｍは、医用画像の内臓部位毎に設けてもよい。
【００７１】
本変形例１に係る表示制御部３０は、例えば、画像領域毎に算出された正常度を、医用画像の当該画像領域と関連付けて、表示装置３００に表示される。表示制御部３０は、例えば、医用画像の画像領域のうち、当該正常度と関連付けられた位置に重畳させて、当該正常度を表示装置３００に表示させる。
【００７２】
他方、表示制御部３０は、複数の画像領域それぞれの正常度の中で、正常度が最低のものを医用画像全体の正常度として表示装置３００に表示させる構成としてもよい。
【００７３】
尚、本変形例１に係る識別器Ｍａ〜Ｍｉは、各別に学習処理が施されることになる。
【００７４】
（変形例２）
図８は、変形例２に係る識別器Ｍの一例を示す図である。
【００７５】
本変形例２に係る診断部２０は、医用画像の画素領域（一画素の領域又は一区画を形成する複数画素の領域を表す。以下同じ）毎に正常度を算出する点で、上記実施形態と相違する。
【００７６】
本変形例２に係る態様は、例えば、ＣＮＮの識別部Ｎｂにおいて、医用画像の画素領域毎に出力素子を設けることによって、実現することができる（Ｒ−ＣＮＮとも称される）。
【００７７】
本変形例２に係る表示制御部３０は、例えば、各画素領域の正常度を、医用画像中の画素領域の位置と関連付けて、表示装置３００に表示される。この際、表示制御部３０は、例えば、各画素領域の正常度を色情報に変換して表し、医用画像に重ね合わせることで、ヒートマップ画像として表示装置３００に表示させる。
【００７８】
尚、図８のｏｕｔｐｕｔには、ヒートマップ画像の一例として、正常度０％〜２０％、正常度２０％〜４０％、正常度４０％〜６０％、正常度６０％〜８０％、及び正常度８０％〜１００％の五段階のうちのいずれに該当するかによって、色を異ならせて、表示した態様を示している。
【００７９】
本変形例２のようにヒートマップ画像を生成することで、例えば、医師等が医用画像を参照する際に、医師等に対して注目すべき領域を識別しやすくすることができる。
【００８０】
（変形例３）
変形例３に係る画像処理装置１００は、表示制御部３０の構成の点で、上記実施形態と相違する。
【００８１】
表示制御部３０は、例えば、複数の医用画像について正常度を算出した後、当該複数の医用画像それぞれの正常度に基づいて、当該複数の医用画像を表示装置３００に表示させる順番を設定する。そして、表示制御部３０は、例えば、設定した順番に、医用画像のデータＤ１及び正常度のデータＤ２を、表示装置３００に対して出力する。
【００８２】
これによって、例えば、複数の医用画像のうち、異常状態である可能性が高いものから順番に表示装置３００に表示させ、必要性又は緊急性が高い被検体から医師等の本診断を受けられるようにすることができる。
【００８３】
尚、表示制御部３０は、複数の医用画像それぞれの正常度に基づいて、順番を設定する構成に代えて、複数の医用画像それぞれを表示装置３００に表示させるか否かを設定してもよい。
【００８４】
（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
【００８５】
上記実施形態では、識別器Ｍの一例として、ＣＮＮを示した。但し、識別器Ｍは、ＣＮＮに限らず、学習処理を施すことによって識別機能を保有し得るその他の任意の識別器が用いられてよい。識別器Ｍとしては、例えば、ＳＶＭ（Support Vector Machine）識別器、又は、ベイズ識別器等が用いられてもよい。又は、これらが複数組み合わされて構成されてもよい。
【００８６】
又、上記実施形態では、画像処理装置１００の構成の一例を種々に示した。但し、各実施形態で示した態様を種々に組み合わせたものを用いてもよいのは勿論である。
【００８７】
又、上記実施形態では、画像処理装置１００が診断する医用画像の一例として、Ｘ線診断装置が撮像したＸ線画像を示したが、その他の任意の装置が撮像した医用画像に適用することができる。例えば、３次元ＣＴ装置が撮像した医用画像や、超音波診断装置が撮像した医用画像にも適用することができる。
【００８８】
又、上記実施形態では、画像処理装置１００の構成の一例として、一のコンピュータによって実現されるものとして記載したが、複数のコンピュータによって実現されてもよいのは勿論である。
【００８９】
又、上記実施形態では、画像処理装置１００の一例として、学習部４０を備える構成を示した。但し、予め外部記憶装置１０４等に、学習処理が施された識別器Ｍのモデルデータを記憶していれば、画像処理装置１００は、必ずしも学習部４０を備えている必要はない。
【００９０】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
【産業上の利用可能性】
【００９１】
本開示に係る画像処理装置は、医用画像の総合的な診断を行う用により好適である。
【符号の説明】
【００９２】
１０  画像取得部
２０  診断部
３０  表示制御部
４０  学習部
１００  画像処理装置
２００  医用画像撮像装置
３００  表示装置
Ｍ  識別器
【図１】
2019033966.tif 000003
【図２】
2019033966.tif 000004
【図３】
2019033966.tif 000005
【図４】
2019033966.tif 000006
【図５】
2019033966.tif 000007
【図６】
2019033966.tif 000008
【図７】
2019033966.tif 000009
【図８】
2019033966.tif 000010