(57)【要約】【課題】  コイル充填率を用いるコイル塞栓術において、術者を支援すること。【解決手段】  実施形態に係る医用情報処理装置は、第１取得部、第２取得部、処理部及び画像生成部を備えている。前記第１取得部は、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する。前記第２取得部は、被検体の動脈瘤に関してＸ線診断装置で撮像されたＸ線画像を取得する。前記処理部は、動脈瘤が撮影された三次元医用画像及び前記動脈瘤が撮像されたＸ線画像から前記動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、前記取得された三次元医用画像、前記取得されたＸ線画像及び前記学習済みモデルから、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率に関する指標を出力する。前記画像生成部は、前記出力された指標に基づいてコイル充填状況を示す画像を生成する。【選択図】図１
2020127672.tif 000002
【特許請求の範囲】
【請求項１】
被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する第１取得部と、
前記被検体の動脈瘤に関してＸ線診断装置で撮像されたＸ線画像を取得する第２取得部と、
動脈瘤が撮影された三次元医用画像及び前記動脈瘤が撮像されたＸ線画像から前記動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、前記取得された三次元医用画像、前記取得されたＸ線画像及び前記学習済みモデルから、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率に関する指標を出力する処理部と、
前記出力された指標に基づいてコイル充填状況を示す画像を生成する画像生成部と、
を備える医用情報処理装置。
【請求項２】
前記Ｘ線画像は、互いに異なる２つの撮像角度で並列に撮像された第１Ｘ線画像及び第２Ｘ線画像である、請求項１に記載の医用情報処理装置。
【請求項３】
前記Ｘ線画像は、不定期に撮像角度を切り替えて撮像された一連のＸ線画像である、請求項１に記載の医用情報処理装置。
【請求項４】
前記Ｘ線画像は、互いに異なる２つの撮像角度で並列に撮像された第１Ｘ線画像及び第２Ｘ線画像のうちの少なくとも一方であり、
前記学習済みモデルは、前記Ｘ線画像が前記第１Ｘ線画像及び前記第２Ｘ線画像である場合の第１学習済みモデルと、前記Ｘ線画像が前記第１Ｘ線画像又は前記第２Ｘ線画像である場合の第２学習済みモデルとを含んでおり、
前記処理部は、前記取得されたＸ線画像が前記第１Ｘ線画像及び前記第２Ｘ線画像である場合には前記第１学習済みモデルを選択し、前記取得されたＸ線画像が前記第１Ｘ線画像又は前記第２Ｘ線画像である場合には前記第２学習済みモデルを選択し、前記選択された学習済みモデルと前記取得されたＸ線画像と前記取得された三次元医用画像とに基づいて、前記指標を出力する、請求項１に記載の医用情報処理装置。
【請求項５】
被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する第１取得部と、
前記被検体の動脈瘤に関してＸ線診断装置で撮像されたＸ線画像を取得する第２取得部と、
動脈瘤が撮影された三次元医用画像及び前記動脈瘤が撮像されたＸ線画像から前記動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、前記取得された三次元医用画像、前記取得されたＸ線画像及び前記学習済みモデルから、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率に関する指標を出力する処理部と、
前記出力された指標に基づいてコイル充填状況を示す画像を生成する画像生成部と、
を備えるＸ線診断装置。
【請求項６】
コンピュータに、
被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する第１取得機能、
前記被検体の動脈瘤に関してＸ線診断装置で撮像されたＸ線画像を取得する第２取得機能、
動脈瘤が撮影された三次元医用画像及び前記動脈瘤が撮像されたＸ線画像から前記動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、前記取得された三次元医用画像、前記取得されたＸ線画像及び前記学習済みモデルから、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率に関する指標を出力する処理機能、
前記出力された指標に基づいてコイル充填状況を示す画像を生成する画像生成機能、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、Ｘ線診断装置、医用情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
Ｘ線診断装置は、検査に加え、治療にも利用されている。例えば、動脈瘤に対する治療として、コイル塞栓術と呼ばれる方法が知られている。コイル塞栓術では、術者がリアルタイムで表示されるＸ線画像を視認しながら、カテーテル及びガイドワイヤを血管内に挿入して動脈瘤まで進行させ、動脈瘤にコイルを充填して塞栓する。これにより、動脈瘤内を血栓化させて、動脈瘤の破裂を防いでいる。
【０００３】
このようなコイル塞栓術では、コイル充填率が重要な指標となっている。コイル充填率は、動脈瘤の体積に対するコイルの占有体積を意味し、体積塞栓率（Volume Embolization Ratio：ＶＥＲ）とも呼ばれる。術者は、例えば、コイルの充填中にコイル充填率が２０％以上になったとき、コイルの充填を終了する。これにより、コイル塞栓術は終了する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１６／０１９２８９４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、コイル充填率を用いるコイル塞栓術において、術者を支援することである。
【課題を解決するための手段】
【０００６】
実施形態に係る医用情報処理装置は、第１取得部、第２取得部、処理部及び画像生成部を備えている。  
前記第１取得部は、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する。  
前記第２取得部は、前記被検体の動脈瘤に関してＸ線診断装置で撮像されたＸ線画像を取得する。  
前記処理部は、動脈瘤が撮影された三次元医用画像及び前記動脈瘤が撮像されたＸ線画像から前記動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、前記取得された三次元医用画像、前記取得されたＸ線画像及び前記学習済みモデルから、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率に関する指標を出力する。
【０００７】
前記画像生成部は、前記出力された指標に基づいてコイル充填状況を示す画像を生成する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態に係るＸ線診断装置及び医用情報処理装置を含む医用情報処理システムの構成を示すブロック図である。
【図２】図２は、第１の実施形態に係るＸ線診断装置の構成を示すブロック図である。
【図３】図３は、第１の実施形態に係るＸ線診断装置及び医用情報処理装置のデータ作成機能を説明するための模式図である。
【図４】図４は、第１の実施形態に係るＸ線診断装置及び医用情報処理装置の他のデータ作成機能を説明するための模式図である。
【図５】図５は、第１の実施形態に係るＸ線診断装置及び医用情報処理装置の学習制御機能を説明するための模式図である。
【図６】図６は、第１の実施形態に係るＸ線診断装置及び医用情報処理装置の他の学習制御機能を説明するための模式図である。
【図７】図７は、第１の実施形態に係るＸ線診断装置及び医用情報処理装置の実行機能を説明するための模式図である。
【図８】図８は、第１の実施形態に係るＸ線診断装置及び医用情報処理装置の他の実行機能を説明するための模式図である。
【図９】図９は、第１の実施形態に係るＸ線診断装置及び医用情報処理装置の更に他の実行機能を説明するための模式図である。
【図１０】図１０は、第１の実施形態におけるコイル充填状況を示す画像を説明するための模式図である。
【図１１】図１１は、第１の実施形態に係る医用情報処理装置の構成を示すブロック図である。
【図１２】図１２は、第１の実施形態における動作を説明するためのフローチャートである。
【図１３】図１３は、第１の実施形態におけるデータ作成機能の変形例を説明するための模式図である。
【図１４】図１４は、第１の実施形態における実行機能の変形例を説明するための模式図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して各実施形態について説明する。各実施形態は、コイル充填率に関する指標として、コイル充填率を用いた場合を代表例に挙げて説明する。但し、コイル充填率に関する指標は、コイル充填率に相当する指標であれば、コイル充填率そのものでなくてもよい。例えば、コイル充填率に関する指標としては、コイル充填率に代えて、未充填率（＝１００−コイル充填率［％］）を用いてもよく、あるいは、コイル充填率に相当する他の指標を用いてもよい。他の指標としては、例えば、コイルの充填済み本数又は残り本数などが使用可能である。いずれにしても、コイル充填率に関する指標としては、コイル充填率に限らず、コイル充填率から算出可能な指標（例、未充填率）か、コイル充填率に対応する指標（例、コイル本数）といった任意の指標が使用可能となっている。
【００１０】
＜第１の実施形態＞
図１は、第１の実施形態に係るＸ線診断装置及び医用情報処理装置を含む医用情報処理システムの構成を示すブロック図であり、図２は、Ｘ線診断装置の構成を示すブロック図である。図３乃至図９は、Ｘ線診断装置及び医用情報処理装置のデータ作成機能、学習制御機能、実行機能及び取得機能を説明するための模式図であり、図１０は、コイル充填状況を示す画像を説明するための模式図である。図１１は、医用情報処理装置の構成を示すブロック図である。図１に示す医用情報処理システムは、互いにネットワークＮｗを介して通信可能なＸ線診断装置１、医用情報処理装置９０、Ｘ線ＣＴ装置２００及びＭＲＩ装置２１０を備えている。なお、この医用情報処理システムは、これに限らず、Ｘ線診断装置１の他に、医用情報処理装置９０、Ｘ線ＣＴ装置２００及びＭＲＩ装置２１０のうちの少なくとも１台を含む構成に変形可能である。また、Ｘ線診断装置１としては、バイプレーン構造を例に挙げて述べるが、これに限らず、シングルプレーン構造を用いてもよい
ここで、Ｘ線診断装置１は、撮像装置１０及びコンソール装置７０を備えている。撮像装置１０は、高電圧発生装置３、第１Ｘ線管５、第１Ｘ線検出器７、Ｃアーム９、第１コリメータ１１、第２Ｘ線管１５、第２Ｘ線検出器１７、Ωアーム１９、第２コリメータ２１、天板２４、寝台２５及び駆動部２７を備えている。
【００１１】
高電圧発生装置３は、第１Ｘ線管５と第２Ｘ線管１５とに供給する管電流と、第１Ｘ線管５と第２Ｘ線管１５とに印加する管電圧とを発生する。高電圧発生装置３は、処理回路７４に制御され、管電流を第１Ｘ線管５と第２Ｘ線管１５とに供給し、管電圧を第１Ｘ線管５と第２Ｘ線管１５とに印加する。
【００１２】
第１Ｘ線管５は、高電圧発生装置３から供給された管電流と、高電圧発生装置３により印加された管電圧とに基づいて、Ｘ線の焦点（以下、第１焦点と呼ぶ）においてＸ線（以下、第１Ｘ線と呼ぶ）を発生する。第１焦点から発生された第１Ｘ線は、第１Ｘ線管５の前面に設けられたＸ線放射窓を介して、被検体Ｐに照射される。なお、第１焦点から発生された第１Ｘ線の一部は、第１Ｘ線管５とＸ線放射窓との間に設けられた第１コリメータ１１により遮蔽される。すなわち、入力インタフェース７３から入力された第１照射範囲に従って第１コリメータ１１が移動され、第１Ｘ線の照射範囲が限定される。
【００１３】
第１Ｘ線検出器７は、第１Ｘ線管５から発生され、被検体Ｐを透過した第１Ｘ線を検出する。例えば、第１Ｘ線検出器７は、フラットパネルディテクタ（Flat Panel Detector：以下、第１ＦＰＤと呼ぶ）を有する。第１ＦＰＤは、複数の半導体検出素子を有する。半導体検出素子には、直接変換形と間接変換形とがある。直接変換形とは、入射Ｘ線を直接的に電気信号に変換する形式である。間接変換形とは、入射Ｘ線を蛍光体で光に変換し、その光を電気信号に変換する形式である。
【００１４】
第１Ｘ線検出器７の後段には、図示しない投影データ生成回路及び投影データ記憶回路を備える。投影データ生成回路は、第１ＦＰＤから行単位あるいは列単位でパラレルに読み出された電荷を電圧に変換する電荷・電圧変換器と、この電荷・電圧変換器の出力をデジタル信号に変換するＡ／Ｄ変換器と、デジタル変換されたパラレル信号を時系列的なシリアル信号に変換するパラレル・シリアル変換器を備えている。投影データ生成回路は、このシリアル信号を時系列的な投影データとして投影データ記憶回路に供給する。投影データ記憶回路は、投影データ生成回路から供給される時系列的な投影データを順次保存して２次元投影データを生成する。この２次元投影データは、メモリ７１に保存される。
【００１５】
Ｃアーム９は、第１Ｘ線管５と第１Ｘ線検出器７とを被検体Ｐ及び天板２４を挟んで対向するように保持することで、天板２４上の被検体ＰのＸ線撮影を行うことができる構成を有する。なお、天板２４は、当該天板２４の長手方向、短軸方向及び鉛直方向に沿って移動可能に寝台２５に設けられている。
【００１６】
具体的にはＣアーム９は、天板２４の長軸方向及び短軸方向に沿って移動可能となっている。また、Ｃアーム９は、保持部を介して支持アームに支持されている。支持アームは、略円弧形状を有し、天井に設けられたレールに対する移動機構に基端が取り付けられている。Ｃアーム９は、天板２４に垂直なＺ方向と、天板２４の長軸方向に沿ったＹ方向との両者に直交するＸ方向の軸を中心に回転可能に保持部に保持されている。また、Ｃアーム９は、Ｙ方向の軸を中心とした略円弧形状を有し、略円弧形状に沿ってスライド動作可能に保持部に保持されている。すなわち、Ｃアーム９は、Ｙ方向の軸を回転中心としたスライド動作を行うことができる。また、Ｃアーム９は、保持部を中心としてＸ方向の軸を中心とした回転動作（以下、「主回転動作」と称する。）をすることができ、スライドとこの回転の組み合わせにより様々な角度方向からＸ線画像を観察することを可能とする。さらに、Ｃアーム９は、Ｚ方向の軸を中心にも回転することができ、これにより、例えば、上述のスライド動作の回転中心軸をＸ方向とすることができる。なお、第１Ｘ線管５の第１焦点と、第１Ｘ線検出器７の検出面中心とを通る撮影軸は、スライド動作の回転中心軸と、主回転動作の回転中心軸とに一点で交差するように設計されている。当該交点は、一般的には、アイソセンタと呼ばれている。アイソセンタは、Ｃアーム９が上述のスライド動作や主回転動作をしても変位しない。このため、アイソセンタに関心部位（例、動脈瘤）が位置した場合、Ｃアーム９のスライド動作又は主回転動作により得られた医用画像の動画像において、関心部位の観察が容易になる。
【００１７】
第２Ｘ線管１５は、高電圧発生装置３から供給された管電流と、高電圧発生装置３により印加された管電圧とに基づいて、Ｘ線の焦点（以下、第２焦点と呼ぶ）においてＸ線（以下、第２Ｘ線と呼ぶ）を発生する。第２焦点から発生された第２Ｘ線は、第２Ｘ線管１５の前面に設けられたＸ線放射窓を介して、被検体Ｐに照射される。なお、第２焦点から発生された第２Ｘ線の一部は、第２Ｘ線管１５とＸ線放射窓との間に設けられた第２コリメータ２１により遮蔽される。すなわち、入力インタフェース７３から入力された第２照射範囲に従って第２コリメータ２１が移動され、第２Ｘ線の照射範囲が限定される。
【００１８】
第２Ｘ線検出器１７は、第２Ｘ線管１５から発生され、被検体Ｐを透過したＸ線を検出する。例えば、第２Ｘ線検出器１７は、第２ＦＰＤを有する。第２Ｘ線検出器１７の後段には、図示しない投影データ生成回路及び投影データ記憶回路を備える。投影データ生成回路は、第２ＦＰＤから行単位あるいは列単位でパラレルに読み出された電荷を電圧に変換する電荷・電圧変換器と、この電荷・電圧変換器の出力をデジタル信号に変換するＡ／Ｄ変換器と、デジタル変換されたパラレル信号を時系列的なシリアル信号に変換するパラレル・シリアル変換器を備えている。投影データ生成回路は、このシリアル信号を時系列的な投影データとして投影データ記憶回路に供給する。投影データ記憶回路は、投影データ生成回路から供給される時系列的な投影データを順次保存して２次元投影データを生成する。この２次元投影データは、メモリ７１に保存される。
【００１９】
Ωアーム１９は、第２Ｘ線管１５と第２Ｘ線検出器１７とを天板２４上の被検体Ｐを挟んで対向するように保持することで、被検体ＰのＸ線撮影を行うことができる構成を有する。
【００２０】
具体的にはΩアーム１９は、天板２４の長軸方向及び短軸方向に沿って移動可能となっている。また、Ωアーム１９は、保持部を介して支持アームに支持されている。支持アームは、略円弧形状を有し、天井に設けられたレールに対する移動機構に基端が取り付けられている。Ωアーム１９は、天板２４に垂直なＺ方向と、天板２４の長軸方向に沿ったＹ方向の軸を中心に回転可能に保持部に保持されている。また、Ωアーム１９は、Ｙ方向の軸を中心とした略円弧形状を有し、略円弧形状に沿ってスライド動作可能に保持部に保持されている。すなわち、Ωアーム１９は、Ｙ方向の軸を回転中心としたスライド動作を行うことができる。また、Ωアーム１９は、保持部を中心としてＺ方向の軸を中心とした回転動作（以下、「主回転動作」と称する。）をすることができ、スライドとこの回転の組み合わせにより様々な角度方向からＸ線画像を観察することを可能とする。なお、第２Ｘ線管１５の第２焦点と、第２Ｘ線検出器１７の検出面中心とを通る撮影軸は、スライド動作の回転中心軸と、主回転動作の回転中心軸とに一点で交差するように設計されている。当該交点は、一般的には、アイソセンタと呼ばれている。アイソセンタは、Ωアーム１９が上述のスライド動作や主回転動作をしても変位しない。このため、アイソセンタに関心部位（例、動脈瘤）が位置した場合、Ωアーム１９のスライド動作又は主回転動作により得られた医用画像の動画像において、関心部位の観察が容易になる。
【００２１】
このようなＣアーム９及びΩアーム１９は、レール下の支持アーム、Ｘ方向の軸、Ｙ方向の軸及びＺ方向の軸に係る動作を実現するための複数の動力源が該当する適当な箇所に備えられている。これらの動力源は駆動部２７を構成する。
【００２２】
駆動部２７は、駆動制御機能７４２からの駆動信号を読み込んでＣアーム９及びΩアーム１９の各々をスライド運動、回転運動、直線運動させる。さらに、Ｃアーム９及びΩアーム１９には、その角度（撮像角度）または姿勢や位置の情報を検出する状態検出器がそれぞれ備えられている。状態検出器は、例えば回転角や移動量を検出するポテンショメータや、位置検出センサであるエンコーダ等で構成される。エンコーダとしては、例えば磁気方式、刷子式、あるいは光電式等の、いわゆるアブソリュートエンコーダが使用可能となっている。また、状態検出器としては、回転変位をデジタル信号として出力するロータリエンコーダあるいは直線変位をデジタル信号として出力するリニアエンコーダなど、様々な種類の位置検出機構が適宜、使用可能となっている。
【００２３】
コンソール装置７０は、メモリ７１、ディスプレイ７２、入力インタフェース７３、処理回路７４及びネットワークインタフェース７６を備えている。
【００２４】
メモリ７１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ７１は、例えば、処理回路７４に実行されるプログラムと、第１Ｘ線検出器７及び第２Ｘ線検出器１７から受けた検出データ（投影データ）、処理回路７４により生成された医用画像、機械学習モデル、学習済みモデル、処理回路７４の処理に用いるデータ、各種テーブル、処理途中のデータ及び処理後のデータ等が記憶される。医用画像としては、例えば、ＣＴ画像（ボリュームデータ）、ＭＲＩ画像（ボリュームデータ）、Ｘ線画像（Ｘ線透視画像）、造影血管Ｘ線画像（ＤＳＡ画像）、重畳画像などがある。学習済みモデルは、動脈瘤が撮影された三次元医用画像（ボリュームデータ）及び当該動脈瘤が撮像されたＸ線画像に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。プログラムは、例えば、コンピュータに、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する第１取得機能、当該被検体の動脈瘤に関してＸ線診断装置で撮像されたＸ線画像を取得する第２取得機能、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたＸ線画像に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、当該取得された三次元医用画像、当該取得されたＸ線画像及び当該学習済みモデルから、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率に関する指標を出力する処理機能、当該出力された指標に基づいてコイル充填状況を示す画像を生成する画像生成機能、を実現させる。補足すると、このようなプログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、医用情報処理装置７７の各機能を当該コンピュータに実現させるプログラムが用いられる。
【００２５】
ディスプレイ７２は、医用画像などといった各種の情報を表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路７４から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しＤ／Ａ変換とＴＶフォーマット変換を行なってディスプレイ本体に表示する。例えば、ディスプレイ７２は、処理回路７４によって生成された医用画像や、操作者からの各種操作を受け付けるためのＧＵＩ（Graphical User Interface）等を出力する。例えば、ディスプレイ７２は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイである。また、ディスプレイ７２は、表示部の一例である。また、ディスプレイ７２は、デスクトップ型でもよいし、コンソール装置７０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ７２は表示部の一例である。
【００２６】
入力インタフェース７３は、被検体情報の入力、Ｘ線条件の設定、各種コマンド信号の入力等を行う。被検体情報は、例えば、被検体ＩＤ、被検体名、生年月日、年齢、体重、性別、検査部位等を含んでいる。なお、被検体情報は、被検体の身長を含んでもよい。入力インタフェース７３は、例えば、Ｃアーム９及びΩアーム１９の移動指示、関心領域（ＲＯＩ）の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース７３は、処理回路７４に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路７４へと出力する。また、入力インタフェース７３は、コンソール装置７０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、本明細書において入力インタフェース７３はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路７４へ出力する電気信号の処理回路も入力インタフェース７３の例に含まれる。
【００２７】
処理回路７４は、メモリ７１内のプログラムを呼び出し実行することにより、プログラムに対応するシステム制御機能７４１、駆動制御機能７４２、撮影制御機能７４３、画像処理機能７４４、データ作成機能７４５、学習制御機能７４６、実行機能７４７、画像生成機能７４８及び表示制御機能７４９を実現するプロセッサである。なお、処理回路７４の説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス等の回路を意味する。プログラマブル論理デバイスには、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等がある。この種のプロセッサは、メモリ７１内のプログラムを呼び出し実行する代わりに、当該プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。ここでいうプログラムは、学習済みモデルを含んでいる。すなわち、処理回路７４は、学習済みモデルをメモリ７１から呼び出し実行する構成としてもよく、学習済みモデルをＡＳＩＣやＦＰＧＡ等の回路として実装した構成としてもよい。また、図２においては単一の処理回路７４にてシステム制御機能７４１、駆動制御機能７４２、撮影制御機能７４３、画像処理機能７４４、データ作成機能７４５、学習制御機能７４６、実行機能７４７、画像生成機能７４８及び表示制御機能７４９が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、システム制御機能７４１、駆動制御機能７４２、撮影制御機能７４３、画像処理機能７４４、データ作成機能７４５、学習制御機能７４６、実行機能７４７、画像生成機能７４８及び表示制御機能７４９は、それぞれシステム制御回路、駆動制御回路、撮影制御回路、画像処理回路、データ作成回路、学習制御回路、実行回路、画像生成回路及び表示制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。
【００２８】
システム制御機能７４１は、例えば、入力インタフェース７３から入力された操作者によるコマンド信号、及び各種初期設定条件等の情報を一旦記憶した後、これらの情報を処理回路７４の各処理機能に送信する。
【００２９】
駆動制御機能７４２は、例えば、入力インタフェース７３から入力されたＣアーム９、Ωアーム１９及び天板２４の駆動に関する情報を用いて、駆動部２７及び寝台２５の制御を行う。例えば、駆動制御機能７４２は、Ｃアーム９やΩアーム１９の移動や回転、及び天板２４の移動やチルトなどを制御する。
【００３０】
撮影制御機能７４３は、例えば、システム制御機能７４１からの情報を読み込んで、高電圧発生装置３における管電圧、管電流、照射時間などのＸ線条件の制御を行う。Ｘ線条件は、管電流と照射時間の積（ｍＡｓ）を含んでもよい。
【００３１】
画像処理機能７４４は、例えば、メモリ７１内の投影データに対してフィルタリング処理等の画像処理を行ってＸ線画像を生成し、Ｘ線画像をメモリ７１に保存する。ここで、第１Ｘ線検出器７の出力に基づくＸ線画像を第１Ｘ線画像と呼び、第２Ｘ線検出器１７の出力に基づくＸ線画像を第２Ｘ線画像と呼ぶ。第１Ｘ線画像及び第２Ｘ線画像は、互いに異なる２つの撮像角度で撮像されている。更に、画像処理機能７４４は、得られた複数のＸ線画像データに対し合成処理や減算（サブトラクション）処理等を行ない、得られたＸ線画像をメモリ７１に保存する。なお、造影剤を用いて得られたＸ線画像から、造影剤を用いずに得られたＸ線画像を減算処理して得られたＸ線画像については、造影血管Ｘ線画像又はＤＳＡ（Digital Subtraction Angiography）画像ともいう。
【００３２】
データ作成機能７４５は、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたＸ線画像と、当該動脈瘤に対するコイル充填率に関する指標とを含む学習用データを作成する。本実施形態では、前述した通り、コイル充填率に関する指標としてコイル充填率を用いている。このような学習用データは、精度向上を図る観点から、例えば、動脈瘤のある血管（前交通動脈、内頚動脈、中大脳動脈、脳底動脈、椎骨動脈など）毎に作成してもよく、Ｃアーム９やΩアーム１９の撮像角度毎に作成することが好ましい。このようなデータ作成機能７４５は、バイプレーン構造の場合、例えば図３に示すように、三次元医用画像と、Ｘ線画像としての第１Ｘ線画像及び第２Ｘ線画像と、コイル充填率とを含む学習用データを作成する。三次元医用画像（ボリュームデータ）としては、例えば、Ｘ線ＣＴ装置２００で撮影されたＣＴ画像としてもよく、ＭＲＩ装置２１０で撮影されたＭＲＩ画像としてもよい。第１Ｘ線画像及び第２Ｘ線画像は、互いに異なる２つの撮像角度で撮像されている。データ作成機能７４５は、操作者による入力インタフェース７３の操作により、Ｘ線画像に対応するコイル充填率に関する指標を学習用データに設定してもよい。また、データ作成機能７４５は、シングルプレーン構造の場合、例えば図４に示すように、三次元医用画像と第１Ｘ線画像とコイル充填率とを含む学習用データを作成するか、又は、三次元医用画像と第２Ｘ線画像とコイル充填率とを含む学習用データを作成する。なお、ここでいうシングルプレーン構造の場合は、バイプレーン構造の第１Ｘ線管５又は第２Ｘ線管１５のＸ線照射を止めている場合を含む。いずれにしても、データ作成機能７４５は、作成した学習用データをメモリ７１に出力する。なお、データ作成機能７４５は、データ作成部の一例である。
【００３３】
学習制御機能７４６は、図５に示すように、データ作成機能７４５により得られた学習用データに基づいて、バイプレーン用の機械学習モデルＭ１ｂに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルＭ２ｂを作成する。学習制御機能７４６は、バイプレーン用の学習済みモデルＭ２ｂ（第１学習済みモデル）をメモリ７１に書き込む。これにより、学習済みモデルＭ２ｂはメモリ７１に記憶される。学習済みモデルＭ２ｂは、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたＸ線画像（第１Ｘ線画像及び第２Ｘ線画像）に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。この例では、学習用データは、三次元医用画像とＸ線画像（第１Ｘ線画像及び第２Ｘ線画像）とを含む入力データと、コイル充填率を含む出力データとを有している。なお、バイプレーン用の学習用データ、機械学習モデルＭ１ｂ及び学習済みモデルＭ２ｂに用いるＸ線画像は、互いに異なる２つの撮像角度で並列に撮像された第１Ｘ線画像及び第２Ｘ線画像の両方である。
【００３４】
また、学習制御機能７４６は、図６に示すように、データ作成機能７４５により得られた学習用データに基づいて、シングルプレーン用の機械学習モデルＭ１ｓに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルＭ２ｓを作成する。学習制御機能７４６は、シングルプレーン用の学習済みモデルＭ２ｓ（第２学習済みモデル）をメモリ７１に書き込む。これにより、学習済みモデルＭ２ｓはメモリ７１に記憶される。学習済みモデルＭ２ｓは、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたＸ線画像（第１Ｘ線画像又は第２Ｘ線画像）に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。この例では、学習用データは、三次元医用画像とＸ線画像（第１Ｘ線画像又は第２Ｘ線画像）とを含む入力データと、コイル充填率を含む出力データとを有している。シングルプレーン用の学習用データ、機械学習モデルＭ１ｓ及び学習済みモデルＭ２ｓに用いるＸ線画像は、互いに異なる２つの撮像角度で並列に撮像された第１Ｘ線画像及び第２Ｘ線画像のうちの少なくとも一方である。また、シングルプレーン用の学習用データ、機械学習モデルＭ１ｓ及び学習済みモデルＭ２ｓに用いるＸ線画像は、不定期に撮像角度を切り替えて撮像された一連のＸ線画像である。なお、不定期に撮像角度を切り替える状況は、例えば、バイプレーン構造の第１Ｘ線管５及び第２Ｘ線管１５のうちの一方のＸ線照射を止めてコイル塞栓術を行う場合において、第１Ｘ線管５及び第２Ｘ線管１５を切り替えて使用する状況がある。また、第１Ｘ線管５及び第２Ｘ線管１５のうちの一方のＸ線照射を止めてコイル塞栓術を行う場合において、Ｘ線照射する方のＸ線管によるＸ線照射の角度を変更する状況がある。あるいは、シングルプレーン構造のＸ線管を用いてコイル塞栓術を行う場合において、Ｘ線管によるＸ線照射の角度を変更する状況がある。
【００３５】
いずれにしても、機械学習モデルＭ１ｂ，Ｍ１ｓは、三次元医用画像及びＸ線画像を入力として、当該Ｘ線画像内の動脈瘤に対するコイル充填率（に関する指標）を出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデル（以下、多層化ネットワークと呼ぶ）であるとする。多層化ネットワークを用いる学習済みモデルＭ２ｂ，Ｍ２ｓは、三次元医用画像及びＸ線画像を入力する入力層と、当該Ｘ線画像におけるコイル充填率に関する指標を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層とを有する。なお、入力層は、例えば、三次元医用画像のボクセル数とＸ線画像の画素数とを合計した個数に応じたユニットを有してもよい。出力層は、例えば、コイル充填率に関する指標を出力するため、１つのユニットを有してもよい。また、入力層は、三次元医用画像及びＸ線画像に加え、コイルの種類（材質や形状）を示す付帯情報を入力してもよい。当該学習済みモデルＭ２は、人工知能ソフトウエアの一部であるプログラムモジュールとしての利用が想定される。このような多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）を用いている。ＤＮＮとしては、例えば、動画に対して再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）を用いてもよく、静止画に対して畳込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いてもよい。ＲＮＮは、長・短期記憶（Long Short-Term Memory：ＬＳＴＭ）を含んでもよい。以下の説明は、主に、Ｘ線画像における特定された領域の画像が動画である場合を例に挙げて述べる。以上の当該多層化ネットワークに関する説明は、以下の全ての機械学習モデル及び学習済みモデルにも該当する。
【００３６】
実行機能７４７は、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像をメモリ７１から取得し、当該被検体の動脈瘤に関してＸ線診断装置１で撮像されたＸ線画像（第１Ｘ線画像及び／又は第２Ｘ線画像）をメモリ７１から取得する。このとき、実行機能７４７は、例えば図７に示すように、当該取得された三次元医用画像、当該取得されたＸ線画像（第１Ｘ線画像及び第２Ｘ線画像）及び学習済みモデルＭ２ｂに基づいて、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率（に関する指標）を出力する。あるいは、実行機能７４７は、例えば図８に示すように、当該取得された三次元医用画像、当該取得されたＸ線画像（第１Ｘ線画像又は第２Ｘ線画像）及び学習済みモデルＭ２ｓに基づいて、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率（に関する指標）を出力する。なお、Ｘ線画像は、互いに異なる２つの撮像角度で並列に撮像された第１Ｘ線画像及び第２Ｘ線画像のうちの少なくとも一方である。実行機能７４７が実行可能な学習済みモデルは、Ｘ線画像が第１Ｘ線画像及び第２Ｘ線画像である場合の学習済みモデルＭ２ｂ（第１学習済みモデル）と、Ｘ線画像が第１Ｘ線画像又は第２Ｘ線画像である場合の学習済みモデルＭ２ｓ（第２学習済みモデル）とを含んでいる。ここで、実行機能７４７は、図９に示すように、取得されたＸ線画像が第１Ｘ線画像及び第２Ｘ線画像である場合には学習済みモデルＭ２ｂを選択し、取得されたＸ線画像が第１Ｘ線画像又は第２Ｘ線画像である場合には学習済みモデルＭ２ｓを選択してもよい。また、実行機能７４７は、当該選択された学習済みモデルＭ２ｂ又はＭ２ｓと当該取得されたＸ線画像と当該取得された三次元医用画像とに基づいて、コイル充填率に関する指標を出力するようにしてもよい。すなわち、実行機能７４７は、学習済みモデルＭ２ｂ，Ｍ２ｓを切り替えて実行してもよい。あるいは、実行機能７４７は、学習済みモデルＭ２ｂ，Ｍ２ｓを並列に実行してもよい。実行機能７４７は、第１取得部、第２取得部及び処理部の一例である。
【００３７】
画像生成機能７４８は、図１０に示すように、実行機能７４７により出力されたコイル充填率（に関する指標）に基づいてコイル充填状況を示す画像７２ａ，７２ｂ，７２ｃを生成する。生成した画像７２ａ，７２ｂ，７２ｃは、表示制御機能７４９により、第１Ｘ線画像ｇ１や第２Ｘ線画像ｇ２と共に、ディスプレイ７２に表示される。但し、画像７２ａ，７２ｂ，７２ｃは、第１Ｘ線画像ｇ１や第２Ｘ線画像ｇ２と共にディスプレイ７２に表示される必要はなく、Ｘ線画像を表示するディスプレイとは異なるディスプレイに表示されてもよい。ここで、コイル充填状況は、コイル充填率に関する指標に基づく状況であり、例えば、指標の数値でもよく、指標に対応するグラフでもよく、指標に対応するコイルの充填済み本数又は残り本数でもよい。例えば指標がコイル充填率の場合、画像７２ａは、現在のコイル充填率の数値により、コイル充填状況を示している。画像７２ｂは、目標のコイル充填率（２０％）に対して現在のコイル充填率（７％）を示すバーグラフにより、コイル充填状況を示している。画像７２ｃは、コイル充填状況を「あと○本」というように、目標のコイル充填率に対応するコイル本数（３本）に対して現在の充填済みコイル本数（１本）を差し引いた残りのコイル本数（２本）を示すメッセージや、各々のコイル本数を示すバー（合計３本、残り２本、充填済み１本）により、コイル充填状況を示している。コイル充填状況を示す画像としては、これらの例に限らず、少なくとも現在のコイル充填率に関する指標に基づくコイル充填状況を提示する画像であれば、適宜、使用可能となっている。例えば、コイル充填状況を示す画像としては、前述したバーグラフに代えて、円グラフ等のように他の形式のグラフを用いてもよい。また、画像生成機能７４８は、全ての画像７２ａ，７２ｂ，７２ｃを生成する必要はなく、少なくとも１つの画像を生成すればよい。画像生成機能７４８は、画像生成部の一例である。
【００３８】
表示制御機能７４９は、例えば、システム制御機能７４１からの信号を読み込んで、メモリ７１から所望の医用画像データを取得してディスプレイ７２に表示する制御などを行う。また、表示制御機能７４９は、画像生成機能７４８により生成された画像７２ａ〜７２ｃをディスプレイ７２に表示させる。表示制御機能７４９は、表示制御部の一例である。
【００３９】
ネットワークインタフェース７６は、コンソール装置７０をネットワークＮｗに接続して医用情報処理装置９０、Ｘ線ＣＴ装置２００又はＭＲＩ装置２１０等の他の装置と通信するための回路である。ネットワークインタフェース７６としては、例えば、ネットワークインタフェースカード（ＮＩＣ）が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース７６が介在する旨の記載を省略する。
【００４０】
これらメモリ７１、ディスプレイ７２、入力インタフェース７３、処理回路７４のデータ作成機能７４５、学習制御機能７４６、実行機能７４７、画像生成機能７４８及び表示制御機能７４９は、医用情報処理装置７７を構成している。医用情報処理装置７７は、画像処理機能７４４を更に含んでもよい。医用情報処理装置７７は、Ｘ線診断装置１に内蔵されてもよく、Ｘ線診断装置１とは別の装置として、Ｘ線診断装置１の外部に設けてもよい。
【００４１】
一方、医用情報処理装置９０は、図１１に示すように、メモリ９１、ディスプレイ９２、入力インタフェース９３、処理回路９４及びネットワークインタフェース９６を備えている。
【００４２】
メモリ９１は、ＲＯＭ、ＲＡＭ、ＨＤＤ及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ９１は、例えば、処理回路９４に実行されるプログラム、処理回路９４により生成された医用画像、機械学習モデル、学習済みモデル、処理回路９４の処理に用いるデータ、各種テーブル、処理途中のデータ及び処理後のデータ等が記憶される。医用画像としては、例えば、ＣＴ画像（ボリュームデータ）、ＭＲＩ画像（ボリュームデータ）、Ｘ線画像（Ｘ線透視画像）、造影血管Ｘ線画像（ＤＳＡ画像）、重畳画像などがある。学習済みモデルは、動脈瘤が撮影された三次元医用画像（ボリュームデータ）及び当該動脈瘤が撮像されたＸ線画像に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。プログラムは、例えば、コンピュータに、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する第１取得機能、当該被検体の動脈瘤に関してＸ線診断装置で撮像されたＸ線画像を取得する第２取得機能、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたＸ線画像に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、当該取得された三次元医用画像、当該取得されたＸ線画像及び当該学習済みモデルから、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率に関する指標を出力する処理機能、当該出力された指標に基づいてコイル充填状況を示す画像を生成する画像生成機能、を実現させる。補足すると、このようなプログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、医用情報処理装置９０の各機能を当該コンピュータに実現させるプログラムが用いられる。
【００４３】
ディスプレイ９２は、医用画像などといった各種の情報を表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路９４から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しＤ／Ａ変換とＴＶフォーマット変換を行なってディスプレイ本体に表示する。例えば、ディスプレイ９２は、処理回路９４によって強調された医用画像や、操作者からの各種操作を受け付けるためのＧＵＩ等を出力する。例えば、ディスプレイ９２は、液晶ディスプレイやＣＲＴディスプレイである。また、ディスプレイ９２は、表示部の一例である。また、ディスプレイ９２は、デスクトップ型でもよいし、医用情報処理装置９０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ９２は表示部の一例である。
【００４４】
入力インタフェース９３は、被検体情報の入力、各種コマンド信号の入力等を行う。被検体情報は、例えば、被検体ＩＤ、被検体名、生年月日、年齢、体重、性別、検査部位等を含んでいる。なお、被検体情報は、被検体の身長を含んでもよい。入力インタフェース９３は、例えば、機械学習や画像処理といった医用情報処理に関する指示、関心領域（ＲＯＩ）の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース９３は、処理回路９４に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路９４へと出力する。また、入力インタフェース９３は、医用情報処理装置９０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、本明細書において入力インタフェース９３はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路９４へ出力する電気信号の処理回路も入力インタフェース９３の例に含まれる。
【００４５】
処理回路９４は、メモリ９１内のプログラムを呼び出し実行することにより、プログラムに対応するデータ作成機能９４５、学習制御機能９４６、実行機能９４７、画像生成機能９４８及び表示制御機能９４９を実現するプロセッサである。なお、処理回路９４の説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス等の回路を意味する。プログラマブル論理デバイスには、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等がある。この種のプロセッサは、メモリ９１内のプログラムを呼び出し実行する代わりに、当該プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。ここでいうプログラムは、学習済みモデルを含んでいる。すなわち、処理回路７４は、学習済みモデルをＡＳＩＣやＦＰＧＡ等の回路として実装した構成としてもよい。また、図１１においては単一の処理回路９４にてデータ作成機能９４５、学習制御機能９４６、実行機能９４７、画像生成機能９４８及び表示制御機能９４９が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、データ作成機能９４５、学習制御機能９４６、実行機能９４７、画像生成機能９４８及び表示制御機能９４９は、それぞれデータ作成回路、学習制御回路、実行回路、画像生成回路及び表示制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。また、医用情報処理装置９０内のデータ作成機能９４５、学習制御機能９４６、実行機能９４７、画像生成機能９４８及び表示制御機能９４９は、Ｘ線診断装置１内のデータ作成機能７４５、学習制御機能７４６、実行機能７４７、画像生成機能７４８及び表示制御機能７４９と同様の機能である。このため、以下のデータ作成機能９４５、学習制御機能９４６、実行機能９４７、画像生成機能９４８及び表示制御機能９４９に関する説明は、適宜、重複する部分などを省略して述べる。
【００４６】
データ作成機能９４５は、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたＸ線画像と、当該動脈瘤に対するコイル充填率に関する指標（例、コイル充填率）とを含む学習用データを作成する。このような学習用データは、精度向上を図る観点から、例えば、動脈瘤のある血管（前交通動脈、内頚動脈、中大脳動脈、脳底動脈、椎骨動脈など）毎に作成してもよく、Ｃアーム９やΩアーム１９の撮像角度毎に作成することが好ましい。このようなデータ作成機能９４５は、バイプレーン構造の場合、例えば図３に示したように、三次元医用画像と、Ｘ線画像としての第１Ｘ線画像及び第２Ｘ線画像と、コイル充填率とを含む学習用データを作成する。三次元医用画像（ボリュームデータ）としては、例えば、Ｘ線ＣＴ装置２００で撮影されたＣＴ画像としてもよく、ＭＲＩ装置２１０で撮影されたＭＲＩ画像としてもよい。第１Ｘ線画像及び第２Ｘ線画像は、互いに異なる２つの撮像角度で撮像されている。データ作成機能９４５は、操作者による入力インタフェース９３の操作により、Ｘ線画像に対応するコイル充填率に関する指標を学習用データに設定してもよい。また、データ作成機能９４５は、シングルプレーン構造の場合、例えば図４に示したように、三次元医用画像と第１Ｘ線画像とコイル充填率とを含む学習用データを作成するか、又は、三次元医用画像と第２Ｘ線画像とコイル充填率とを含む学習用データを作成する。なお、ここでいうシングルプレーン構造の場合は、バイプレーン構造の第１Ｘ線管５又は第２Ｘ線管１５のＸ線照射を止めている場合を含む。いずれにしても、データ作成機能９４５は、作成した学習用データをメモリ９１に出力する。なお、データ作成機能９４５は、データ作成部の一例である。
【００４７】
学習制御機能９４６は、図５に示したように、データ作成機能９４５により得られた学習用データに基づいて、バイプレーン用の機械学習モデルＭ１ｂに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルＭ２ｂを作成する。学習制御機能９４６は、バイプレーン用の学習済みモデルＭ２ｂ（第１学習済みモデル）をメモリ９１に書き込む。これにより、学習済みモデルＭ２ｂはメモリ９１に記憶される。学習済みモデルＭ２ｂは、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたＸ線画像（第１Ｘ線画像及び第２Ｘ線画像）に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。この場合、学習用データは、三次元医用画像とＸ線画像（第１Ｘ線画像及び第２Ｘ線画像）とを含む入力データと、コイル充填率を含む出力データとを有している。なお、バイプレーン用の学習用データ、機械学習モデルＭ１ｂ及び学習済みモデルＭ２ｂに用いるＸ線画像は、互いに異なる２つの撮像角度で並列に撮像された第１Ｘ線画像及び第２Ｘ線画像の両方である。
【００４８】
また、学習制御機能９４６は、図６に示したように、データ作成機能９４５により得られた学習用データに基づいて、シングルプレーン用の機械学習モデルＭ１ｓに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルＭ２ｓを作成する。学習制御機能９４６は、シングルプレーン用の学習済みモデルＭ２ｓ（第２学習済みモデル）をメモリ９１に書き込む。これにより、学習済みモデルＭ２ｓはメモリ９１に記憶される。学習済みモデルＭ２ｓは、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたＸ線画像（第１Ｘ線画像又は第２Ｘ線画像）に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。この例では、学習用データは、三次元医用画像とＸ線画像（第１Ｘ線画像又は第２Ｘ線画像）とを含む入力データと、コイル充填率を含む出力データとを有している。シングルプレーン用の学習用データ、機械学習モデルＭ１ｓ及び学習済みモデルＭ２ｓに用いるＸ線画像は、互いに異なる２つの撮像角度で並列に撮像された第１Ｘ線画像及び第２Ｘ線画像のうちの少なくとも一方である。また、シングルプレーン用の学習用データ、機械学習モデルＭ１ｓ及び学習済みモデルＭ２ｓに用いるＸ線画像は、不定期に撮像角度を切り替えて撮像された一連のＸ線画像である。なお、不定期に撮像角度を切り替える状況は、前述した通りである。
【００４９】
いずれにしても、機械学習モデルＭ１ｂ，Ｍ１ｓは、三次元医用画像及びＸ線画像を入力として、当該Ｘ線画像内の動脈瘤に対するコイル充填率（に関する指標）を出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数については、前述した通りである。
【００５０】
実行機能９４７は、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像をメモリ９１から取得し、当該被検体の動脈瘤に関してＸ線診断装置１で撮像されたＸ線画像（第１Ｘ線画像及び／又は第２Ｘ線画像）をメモリ９１から取得する。このとき、実行機能９４７は、例えば図７に示したように、当該取得された三次元医用画像、当該取得されたＸ線画像（第１Ｘ線画像及び第２Ｘ線画像）及び学習済みモデルＭ２ｂに基づいて、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率を出力する。あるいは、実行機能９４７は、例えば図８に示したように、当該取得された三次元医用画像、当該取得されたＸ線画像（第１Ｘ線画像又は第２Ｘ線画像）及び学習済みモデルＭ２ｓに基づいて、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率を出力する。なお、Ｘ線画像は、互いに異なる２つの撮像角度で並列に撮像された第１Ｘ線画像及び第２Ｘ線画像のうちの少なくとも一方である。実行機能９４７が実行可能な学習済みモデルは、Ｘ線画像が第１Ｘ線画像及び第２Ｘ線画像である場合の学習済みモデルＭ２ｂ（第１学習済みモデル）と、Ｘ線画像が第１Ｘ線画像又は第２Ｘ線画像である場合の学習済みモデルＭ２ｓ（第２学習済みモデル）とを含んでいる。ここで、実行機能９４７は、図９に示したように、取得されたＸ線画像が第１Ｘ線画像及び第２Ｘ線画像である場合には学習済みモデルＭ２ｂを選択し、取得されたＸ線画像が第１Ｘ線画像又は第２Ｘ線画像である場合には学習済みモデルＭ２ｓを選択してもよい。また、実行機能９４７は、当該選択された学習済みモデルＭ２ｂ又はＭ２ｓと当該取得されたＸ線画像と当該取得された三次元医用画像とに基づいて、コイル充填率（に関する指標）を出力するようにしてもよい。すなわち、実行機能９４７は、学習済みモデルＭ２ｂ，Ｍ２ｓを切り替えて実行してもよい。あるいは、実行機能９４７は、学習済みモデルＭ２ｂ，Ｍ２ｓを並列に実行してもよい。実行機能９４７は、第１取得部、第２取得部及び処理部の一例である。
【００５１】
画像生成機能９４８は、図１０に示したように、実行機能９４７により出力された指標（例、コイル充填率）に基づいてコイル充填状況を示す画像９２ａ，９２ｂ，９２ｃを生成する。画像９２ａ，９２ｂ，９２ｃの詳細については、前述した画像７２ａ，７２ｂ，７２ｃと同様である。画像生成機能９４８は、全ての画像９２ａ，９２ｂ，９２ｃを生成する必要はなく、少なくとも１つの画像を生成すればよい。画像生成機能９４８は、画像生成部の一例である。
【００５２】
表示制御機能９４９は、例えば、入力インタフェース９３からの信号を読み込んで、メモリ９１から所望の医用画像データを取得してディスプレイ９２に表示する制御などを行う。また、表示制御機能９４９は、画像生成機能９４８により生成された画像９２ａ〜９２ｃをディスプレイ７２に表示させる。表示制御機能９４９は、表示制御部の一例である。
【００５３】
ネットワークインタフェース９６は、医用情報処理装置９０をネットワークＮｗに接続してＸ線診断装置１、Ｘ線ＣＴ装置２００又はＭＲＩ装置２１０等の他の装置と通信するための回路である。ネットワークインタフェース９６としては、例えば、ネットワークインタフェースカード（ＮＩＣ）が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース９６が介在する旨の記載を省略する。
【００５４】
なお、医用情報処理装置９０内のデータ作成機能９４５、学習制御機能９４６、実行機能９４７、画像生成機能９４８及び表示制御機能９４９は、Ｘ線診断装置１内のデータ作成機能７４５、学習制御機能７４６、実行機能７４７、画像生成機能７４８及び表示制御機能７４９と同様の機能である。すなわち、医用情報処理システムとしては、医用情報処理装置９０内の各機能９４５〜９４９、又はＸ線診断装置１内の各機能７４５〜７４９、のいずれかの動作が実行される。なお、医用情報処理装置９０の処理回路９４は、Ｘ線診断装置１内の画像処理機能７４４と同様の画像処理機能を更に実現してもよい。
【００５５】
Ｘ線ＣＴ装置２００は、被検体Ｐに関して医用画像を撮影する医用画像診断装置の一例である。Ｘ線ＣＴ装置２００は、被検体ＰをＣＴ撮影し、得られたＣＴ画像（ボリュームデータ）をＸ線診断装置１又は医用情報処理装置９０に送信する。
【００５６】
ＭＲＩ装置２１０は、被検体Ｐに関して医用画像を撮影する医用画像診断装置の他の一例である。ＭＲＩ装置２１０は、被検体ＰをＭＲＩ撮影し、得られたＭＲＩ画像（ボリュームデータ）をＸ線診断装置１又は医用情報処理装置９０に送信する。
【００５７】
次に、以上のように構成された医用情報処理装置の動作について図１２のフローチャートを用いて説明する。なお、Ｘ線診断装置１の処理回路７４、及び医用情報処理装置９０の処理回路９４は、データ作成機能、学習制御機能、実行機能、画像生成機能及び表示制御機能に関し、ほぼ同様の動作を実行する。これに伴い、重複した文言の繰り返しを避けて理解を容易にする観点から、以下の説明では、当該各機能の動作について、医用情報処理装置９０の処理回路９４を代表例に挙げて述べる。このような代表例の説明は、適宜、装置名及び参照符号などを読み替えることにより、Ｘ線診断装置１の処理回路７４の動作の説明に適用することができる。このことは、以下の各実施形態でも同様である。また、医用情報処理装置９０のメモリ９１は、学習済みモデルＭ２ｂ，Ｍ２ｓを記憶した状態であるとする。また、以下の説明は、コイル充填率に関する指標がコイル充填率である場合を例に挙げて述べる。
【００５８】
始めに、Ｘ線ＣＴ装置２００は、被検体Ｐの動脈瘤をＣＴ撮影し、得られた三次元のＣＴ画像（ボリュームデータ）を医用情報処理装置９０に送信する。医用情報処理装置９０の処理回路９４は、受信したＣＴ画像をメモリ９１に保存する。なお、ＣＴ画像に代えて、ＭＲＩ装置２１０が送信した三次元のＭＲＩ画像（ボリュームデータ）をメモリ９１に保存してもよい。以下の説明は、ＣＴ画像を保存した場合を代表例に挙げて述べる。
【００５９】
ステップＳＴ１０において、医用情報処理装置９０の処理回路９４は、操作者による入力インタフェース９３の操作に応じて、メモリ９１から三次元医用画像としての三次元のＣＴ画像（ボリュームデータ）を読み出す。これにより、被検体の動脈瘤を撮影した三次元医用画像を取得する。この三次元医用画像は、コイル塞栓術を施す前の画像であり、動脈瘤にコイルが充填されていない。
【００６０】
ステップＳＴ２０において、Ｘ線診断装置１の処理回路７４は、操作者による入力インタフェース７３の操作に応じて、撮像装置１０を制御してＣアーム９及びΩアーム１９の各々の撮像角度を調整し、Ｘ線透視撮像を開始する。これにより、被検体ＰのＸ線画像が動画として得られる。このＸ線画像は、例えば第１Ｘ線画像及び第２Ｘ線画像であり、Ｘ線透視撮像中、Ｘ線診断装置１から医用情報処理装置９０に送信される。なお、第１Ｘ線管５及び第２Ｘ線管１５のうちの一方のＸ線照射を止めてコイル塞栓術を行う場合には、送信されるＸ線画像は、第１Ｘ線画像又は第２Ｘ線画像となる。いずれにしても、医用情報処理装置９０の処理回路９４は、受信したＸ線画像をメモリ９１に保存する一方、ディスプレイ９２に表示させる。このＸ線透視下において、コイル塞栓術が開始される。コイル塞栓術では、術者がリアルタイムで表示されるＸ線画像を視認しながら、カテーテル及びガイドワイヤを血管内に挿入して動脈瘤まで進行させ、動脈瘤にコイルを充填していく。なお、リアルタイムでの表示は、厳密に、撮像された瞬間に表示する処理を意味するのではなく、Ｘ線診断装置１側でＸ線画像が順次取得される処理に並行して、医用情報処理装置９０側で当該Ｘ線画像が順次表示される処理を意味する。
【００６１】
ステップＳＴ２０の後、ステップＳＴ３０において、医用情報処理装置９０の処理回路９４は、Ｘ線画像（第１Ｘ線画像及び／又は第２Ｘ線画像）をメモリ７１から取得する。
また、処理回路９４は、ステップＳＴ１０で取得した医用三次元画像と、当該取得したＸ線画像（第１Ｘ線画像及び／又は第２Ｘ線画像）と、学習済みモデルＭ２ｂ，Ｍ２ｓとに基づいて、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率を出力する。
【００６２】
補足すると、コイル塞栓術において、第１Ｘ線管５及び第２Ｘ線管１５の両方からＸ線照射を行う場合には、図７に示したように、Ｘ線画像として第１Ｘ線画像及び第２Ｘ線画像が取得され、学習済みモデルとしてバイプレーン用の学習済みモデルＭ２ｂが選択される。このとき、図９に示したように、シングルプレーン用の学習済みモデルＭ２ｓを並列に実行してもよい。
【００６３】
また、第１Ｘ線管５及び第２Ｘ線管１５の一方のＸ線照射を止めてコイル塞栓術を行う場合には、図８に示したように、Ｘ線画像として第１Ｘ線画像又は第２Ｘ線画像が取得され、学習済みモデルとしてシングルプレーン用の学習済みモデルＭ２ｓが選択される。この場合、Ｘ線画像は、不定期に撮像角度を切り替えて撮像された一連のＸ線画像となる。
【００６４】
いずれにしても、処理回路９４は、Ｘ線画像の個数に応じて選択した学習済みモデルＭ２ｂ，Ｍ２ｓを実行し、Ｘ線画像上の動脈瘤に対するコイル充填率を出力する。
【００６５】
ステップＳＴ３０の後、ステップＳＴ４０において、処理回路９４は、出力されたコイル充填率に基づいて、例えば、コイル充填状況を示す画像９２ｂを生成する。
【００６６】
ステップＳＴ４０の後、ステップＳＴ５０において、処理回路９４は、生成した画像９２ｂを、第１Ｘ線画像ｇ１や第２Ｘ線画像ｇ２と共に、ディスプレイ９２に表示させる。このため、術者は、第１Ｘ線画像ｇ１や第２Ｘ線画像ｇ２と共に、リアルタイムに表示されるコイル充填状況を示す画像９２ｂを視認しながらコイルの充填を進めていく。このリアルタイムでの表示も前述同様に、Ｘ線診断装置１側でＸ線画像が順次取得される処理に並行して、医用情報処理装置９０側で当該Ｘ線画像から生成されたコイル充填状況を示す画像が順次表示される処理を意味する。
【００６７】
ステップＳＴ５０の後、ステップＳＴ６０において、術者は、ディスプレイ９２を視認しながらコイルの充填が完了したか否かを判断する。この判断の結果、否の場合には（ＳＴ６０：Ｎｏ）、ステップＳＴ３０に戻り、ステップＳＴ３０〜ＳＴ６０の動作が継続される。一方、ステップＳＴ６０の判断の結果、コイルの充填が完了した場合には（ＳＴ６０：Ｙｅｓ）、コイル塞栓術を終了する。これにより、動脈瘤内を血栓化させて動脈瘤の破裂を防ぐことができる。
【００６８】
上述したように第１の実施形態によれば、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する。当該被検体の動脈瘤に関してＸ線診断装置で撮像されたＸ線画像を取得する。動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたＸ線画像から当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、当該取得された三次元医用画像、当該取得されたＸ線画像及び当該学習済みモデルから、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率に関する指標を出力する。当該出力された指標に基づいてコイル充填状況を示す画像を生成する。このように、コイル充填率に関する指標に基づいてコイル充填状況を示す画面を生成する構成により、コイル充填率を用いるコイル塞栓術において、術者を支援することができる。
【００６９】
補足すると、Ｘ線診断装置１のＸ線画像において、コイルの重なりの程度は、視認しにくいが、Ｘ線画像データ上には差異が存在する。このため、三次元医用画像（における動脈瘤内腔の形状・体積）と、Ｘ線画像上のコイルの形状・濃度変化からコイル充填率に関する指標を出力し、指標に応じてコイル充填状況を表示する。このように、コイル充填状況を表示することにより、コイル塞栓術を支援することができる。
【００７０】
また、第１の実施形態によれば、Ｘ線画像が、互いに異なる２つの撮像角度で並列に撮像された第１Ｘ線画像及び第２Ｘ線画像であってもよい。この場合、２つの撮像角度の第１Ｘ線画像及び第２Ｘ線画像に基づくコイル充填率に関する指標が得られるので、前述した効果に加え、得られる指標の精度を向上させることができる。
【００７１】
また、第１の実施形態によれば、Ｘ線画像が、不定期に撮像角度を切り替えて撮像された一連のＸ線画像であってもよい。この場合、必要により撮像角度を切り替えて一連のＸ線画像を撮像するので、並列に撮像された第１Ｘ線画像及び第２Ｘ線画像を用いるときに比べ、被検体における被曝量を低減させることができる。
【００７２】
また、第１の実施形態によれば、Ｘ線画像としては、互いに異なる２つの撮像角度で並列に撮像された第１Ｘ線画像及び第２Ｘ線画像のうちの少なくとも一方である。学習済みモデルとしては、Ｘ線画像が第１Ｘ線画像及び第２Ｘ線画像である場合の第１学習済みモデルと、Ｘ線画像が第１Ｘ線画像又は第２Ｘ線画像である場合の第２学習済みモデルとを含んでいる。また、取得されたＸ線画像が第１Ｘ線画像及び第２Ｘ線画像である場合には第１学習済みモデルを選択し、取得されたＸ線画像が第１Ｘ線画像又は第２Ｘ線画像である場合には第２学習済みモデルを選択し、選択された学習済みモデルと取得されたＸ線画像と取得された三次元医用画像とに基づいて、指標を出力するようにしてもよい。このような場合には、コイル塞栓術の途中で、第１Ｘ線画像及び第２Ｘ線画像を用いて高精度に指標を得るときと、第１Ｘ線画像又は第２Ｘ線画像を用いて被曝量を低減させるときとを切り替えることができる。
【００７３】
＜第２の実施形態＞
次に、第２の実施形態に係る医用情報処理装置について説明する。以下の説明は、前述した図面と同一部分については同一符号を付してその詳しい説明を省略し、主に、異なる部分について述べる。このことは、以下の各実施形態についても同様である。
【００７４】
第２の実施形態は、第１の実施形態に対応する学習用データの作成及び機械学習モデルの学習に関する形態である。
【００７５】
これに伴い、処理回路９４は、図３乃至図６に示したように、前述したデータ作成機能９４５、及び前述した学習制御機能９４６の動作を実行する。
【００７６】
他の構成は、第１の実施形態と同様である。
【００７７】
次に、第２の実施形態に係る医用情報処理装置の動作について説明する。以下の説明は、学習用データの作成に関する動作（図３及び図４）、及び機械学習モデルの学習制御に関する動作（図５及び図６）、の順に述べる。また、以下の説明は、前述同様に、コイル充填率に関する指標がコイル充填率である場合を例に挙げて述べる。
【００７８】
（学習用データの作成に関する動作）
医用情報処理装置９０の処理回路９４は、操作者による入力インタフェース９３の操作により、Ｘ線ＣＴ装置２００又はＭＲＩ装置２１０に対し、過去にコイル塞栓術を施したときの動脈瘤の三次元医用画像を要求する。これにより、処理回路９４は、Ｘ線ＣＴ装置２００又はＭＲＩ装置２１０から受信した当該三次元医用画像をメモリ９１に保存する。同様に、医用情報処理装置９０の処理回路９４は、操作者による入力インタフェース９３の操作により、Ｘ線診断装置１に対し、コイル塞栓術において、当該三次元医用画像の動脈瘤と同じ動脈瘤を撮像した第１Ｘ線画像及び第２Ｘ線画像を要求する。処理回路９４は、Ｘ線診断装置１から受信した当該第１Ｘ線画像及び第２Ｘ線画像をメモリ９１に保存する。
【００７９】
学習用データの作成に用いる三次元医用画像は、コイル塞栓術を施す前の画像であり、コイル充填前の動脈瘤が撮影されている。学習用データの作成に用いる第１Ｘ線画像及び第２Ｘ線画像は、コイル塞栓術の際の動画であり、コイル充填前からコイル充填後までの動脈瘤が撮像されている。
【００８０】
処理回路９４は、操作者の操作に応じて、メモリ９１内の第１Ｘ線画像及び第２Ｘ線画像をディスプレイ９２に表示させる。また、処理回路９４は、コイル充填前とコイル充填後との間の複数の時点において、操作者の操作に応じて、第１Ｘ線画像及び第２Ｘ線画像上の動脈瘤に対するコイル充填率に関する指標を設定する。なお、処理回路９４は、コイル充填率に関する指標を設定する際に、操作者の操作に応じて、動画像であるＸ線画像を一時停止、再生、逆再生、コマ送り、コマ戻し可能なことが好ましい。
【００８１】
ここで、コイル充填率に関する指標を設定する手法としては、例えば（ａ）〜（ｄ）などが適宜、可能となっている。  
（ａ）表示中の第１Ｘ線画像及び第２Ｘ線画像に対し、操作者が見積もったコイル充填率に関する指標を設定する。
【００８２】
（ｂ）コイル充填前の三次元医用画像と、コイル充填後の三次元医用画像とに基づいて算出したコイル充填率に関する指標を設定する。当該指標がコイル充填率の場合、例えば、コイル充填前の三次元医用画像における動脈瘤内腔のボクセル数に基づき、動脈瘤内腔の体積を算出する。また、コイル充填後の三次元医用画像における動脈瘤内腔に充填されたコイルのボクセル数に基づき、充填されたコイルの体積を算出する。しかる後、当該コイルの体積を当該動脈瘤内腔の体積で除算することにより、コイル充填率を算出する。なお、コイル充填率は、当該コイルのボクセル数を動脈瘤内腔のボクセル数で除算することにより算出してもよい。また、コイル充填後の三次元画像の他に、コイル充填中の三次元医用画像を用いて、コイル充填中のコイル充填率を算出してもよい。また、算出したコイル充填率は、適宜、未充填率などの他の指標に換算してもよい。
【００８３】
（ｃ）上記（ｂ）の変形例であり、コイル充填前の三次元医用画像を用いず、コイル充填後の三次元医用画像のみに基づいて算出したコイル充填率に関する指標を設定する。この場合、上記（ｂ）において、コイル充填前の三次元医用画像に代えて、コイル充填後の三次元医用画像を用いることにより、同様に、コイル充填率を算出可能である。また同様に、コイル充填後の三次元画像の他に、コイル充填中の三次元医用画像を用いて、コイル充填中のコイル充填率を算出してもよい。また同様に、算出したコイル充填率は、適宜、未充填率などの他の指標に換算してもよい。
【００８４】
（ｄ）コイル充填前の三次元医用画像と、充填したコイルの本数とに基づいて算出したコイル充填率に関する指標を設定する。当該指標がコイル充填率の場合、例えば、コイル充填前の三次元医用画像における動脈瘤内腔のボクセル数に基づき、動脈瘤内腔の体積を算出する。また、コイル充填中及び充填後の各々で充填したコイルの本数に基づき、充填されたコイルの体積を算出する。しかる後、当該コイルの体積を当該動脈瘤内腔の体積で除算することにより、コイル充填率を算出する。なお、コイル充填率は、当該コイルの本数を動脈瘤内腔のボクセル数で除算することにより算出してもよい。また同様に、算出したコイル充填率は、適宜、未充填率などの他の指標に換算してもよい。
【００８５】
いずれにしても、コイル充填前とコイル充填後との間の複数の時点において、第１Ｘ線画像及び第２Ｘ線画像に基づくコイル充填率に関する指標の設定が終了したとする。このとき、処理回路９４は、図３に示したように、当該三次元医用画像と、当該第１Ｘ線画像及び第２Ｘ線画像と、当該コイル充填率（に関する指標）とを、学習済みモデルに使用するための学習用データとして出力する。学習用データは、三次元医用画像、第１Ｘ線画像及び第２Ｘ線画像である入力側データと、コイル充填率である出力側データとを含んでいる。あるいは、処理回路９４は、図４に示したように、当該三次元医用画像と、当該第１Ｘ線画像又は第２Ｘ線画像と、当該コイル充填率（に関する指標）とを、学習済みモデルに使用するための学習用データとして出力する。学習用データは、三次元医用画像、第１Ｘ線画像又は第２Ｘ線画像である入力側データと、コイル充填率である出力側データとを含んでいる。いずれにしても、処理回路９４は、作成した学習用データをメモリ９１に保存する。これにより、コイル塞栓術を施した１つの動脈瘤に関する学習用データの作成が終了する。以下同様に、上述した動作を繰り返し実行することにより、機械学習に用いる量の学習用データが作成される。
【００８６】
（学習制御に関する動作）
処理回路９４は、図５又は図６に示したように、機械学習に用いる量の学習用データを順次、用いて機械学習モデルＭ１ｂ，Ｍ１ｓに機械学習を行わせる。このとき、機械学習モデルＭ１ｂ，Ｍ１ｓは、学習用データのうち、入力された三次元医用画像及びＸ線画像に基づいて、当該Ｘ線画像上の動脈瘤に対するコイル充填率（に関する指標）を出力する。また、処理回路９４は、機械学習モデルＭ１ｂ，Ｍ１ｓから出力されたコイル充填率（に関する指標）が、学習用データ内の当該コイル充填率（に関する指標）に近づくように、機械学習モデルＭ１ｂ，Ｍ１ｓのパラメータ等を調整し、機械学習モデルＭ１ｂ，Ｍ１ｓに機械学習を行う。
【００８７】
機械学習の終了により、処理回路９４は、パラメータ等を調整済みの機械学習モデルＭ１ｂ，Ｍ１ｓとして、学習済みモデルＭ２ｂ，Ｍ２ｓを作成する。作成された学習済みモデルＭ２ｂ，Ｍ２ｓは、医用三次元画像及びＸ線画像に基づいて、当該Ｘ線画像上の動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。処理回路９４は、作成した学習済みモデルＭ２ｂ，Ｍ２ｓをメモリ９１に保存する。
【００８８】
上述したように第２の実施形態によれば、コイル塞栓術において、Ｘ線画像からコイル充填率に関する指標を出力する学習済みモデル及びその学習用データを作成することができる。
【００８９】
＜第３の実施形態＞
第３の実施形態は、第１及び第２の実施形態の変形例であり、機械学習の効率の向上を図るため、学習用データが、三次元医用画像に代えて、三次元医用画像から得られる動脈瘤内腔の形状・体積データを含む構成となっている。ここで、形状・体積データとしては、例えば、Ｘ線画像の撮像角度に応じて三次元医用画像から抽出した動脈瘤内腔の輪郭形状を示す二次元画像データと、当該三次元医用画像から抽出した動脈瘤内腔のボクセルの個数に基づく体積の値とが使用可能となっている。また前述同様に、コイル充填率に関する指標がコイル充填率である場合を例に挙げて述べる。
【００９０】
これに伴い、処理回路９４のデータ作成機能９４５としては、図１３に一例を示すように、前述した三次元医用画像に代えて、当該三次元医用画像から得られる動脈瘤内腔の形状・体積データを含む学習用データを作成する。なお、データ作成機能９４５は、例えば操作者による入力インタフェース９３の操作に応じて、メモリ９１内の三次元医用画像から動脈瘤を特定することにより、当該動脈瘤内腔の形状・体積データを作成する。これにより、データ作成機能９４５は、当該動脈瘤内腔の形状・体積データ、前述した第１Ｘ線画像及び第２Ｘ線画像である入力側データと、前述したコイル充填率である出力側データとを含む学習用データを出力する。このことは、図示しないが、図４に示した如き、シングルプレーン用の学習用データにも適用可能である。すなわち、データ作成機能９４５は、動脈瘤内腔の形状・体積データ、前述した第１Ｘ線画像である入力側データと、前述したコイル充填率である出力側データとを含む学習用データを出力してもよい。同様に、データ作成機能９４５は、動脈瘤内腔の形状・体積データ、前述した第２Ｘ線画像である入力側データと、前述したコイル充填率である出力側データとを含む学習用データを出力してもよい。なお、「動脈瘤内腔」の用語は、「動脈瘤」に読み替えてもよい。
【００９１】
また、処理回路９４の学習制御機能９４６としては、本実施形態に係る学習用データを順次、用いて機械学習モデルＭ１ｂ，Ｍ１ｓに機械学習を行わせることにより、前述同様に、学習済みモデルＭ２ｂ，Ｍ２ｓを作成する。作成された学習済みモデルＭ２ｂ，Ｍ２ｓは、動脈瘤内腔の形状・体積データ及びＸ線画像に基づいて、当該Ｘ線画像上の動脈瘤に対するコイル充填率を出力するように機能付けられている。処理回路９４は、作成した学習済みモデルＭ２ｂ，Ｍ２ｓをメモリ９１に保存する。
【００９２】
また、処理回路９４の実行機能９４７は、図１４に示すように、例えば操作者による入力インタフェース９３の操作に応じて、メモリ９１内の三次元医用画像から動脈瘤を特定することにより、当該動脈瘤内腔の形状・体積データを作成する。また、処理回路９４の実行機能９４７は、作成した形状・体積データと、第１Ｘ線画像及び第２Ｘ線画像と、学習済みモデルとに基づいて、第１Ｘ線画像及び第２Ｘ線画像上の動脈瘤に対するコイル充填率を出力する。このことは、図示しないが、図８又は図９に示した如き、シングルプレーン用の学習済みモデルＭ２ｓにも適用可能である。すなわち、データ作成機能９４５は、動脈瘤内腔の形状・体積データと、前述した第１Ｘ線画像又は第２Ｘ線画像と、学習済みモデルＭ２ｓとに基づいて、前述したコイル充填率を出力してもよい。
【００９３】
他の構成は、第１及び第２の実施形態と同様である。
【００９４】
以上のような構成によれば、学習用データが、三次元医用画像に代えて、三次元医用画像から得られる動脈瘤内腔の形状・体積データを含むので、機械学習モデルＭ１ｂ，Ｍ１ｓの入力層のユニットの個数を減少させることができる。例えば、三次元医用画像の入力に用いる入力層のユニットの個数（三次元医用画像のボクセルの個数）を、形状・体積データの入力に用いる入力層のユニットの個数（二次元画像データの画素の個数と、体積値の個数との合計）に減少させることができる。これに伴い、機械学習モデルＭ１ｂ，Ｍ１ｓの構成の簡素化を図ることができ、もって、機械学習の効率の向上を図ることができる。
【００９５】
同様に、学習済みモデルＭ２ｂ，Ｍ２ｓが、三次元医用画像に代えて、三次元医用画像から得られる動脈瘤内腔の形状・体積データと、Ｘ線画像とに基づいて、コイル充填率に関する指標を出力するので、学習済みモデルＭ２ｂ，Ｍ２ｓの構成の簡素化を図ると共に、コイル充填率の演算の高速化を図ることができる。例えば、学習済みモデルＭ２ｂ，Ｍ２ｓにおいて、三次元医用画像から形状・体積データに対応する特徴量の抽出を省略することを期待できるため、コイル充填率の演算の高速化を図ることができる。あるいは、学習済みモデルＭ２ｂ，Ｍ２ｓにおいて、入力層のユニットの個数を低減することから中間層の演算の簡素化を期待できるため、コイル充填率の演算の高速化を図ることができる。
【００９６】
以上説明した少なくとも一つの実施形態によれば、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する。当該被検体の動脈瘤に関してＸ線診断装置で撮像されたＸ線画像を取得する。動脈瘤が撮影された三次元医用画像及び前記動脈瘤が撮像されたＸ線画像から前記動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、当該取得された三次元医用画像、当該取得されたＸ線画像及び当該学習済みモデルから、当該取得されたＸ線画像上の動脈瘤に対するコイル充填率に関する指標を出力する。当該出力された指標に基づいてコイル充填状況を示す画像を生成する。このように、コイル充填率に基づいてコイル充填状況を示す画面を生成する構成により、コイル充填率を用いるコイル塞栓術において、術者を支援することができる。
【００９７】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図２又は図７における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【００９８】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９９】
１  Ｘ線診断装置
３  高電圧発生装置
５  第１Ｘ線管
７  第１Ｘ線検出器
９  Ｃアーム
１０  撮像装置
１１  第１コリメータ
１５  第２Ｘ線管
１７  第２Ｘ線検出器
１９  Ωアーム
２１  第２コリメータ
２４  天板
２５  寝台
２７  駆動部
７０  コンソール装置
７１，９１  メモリ
７２，９２  ディスプレイ
７３，９３  入力インタフェース
７４，９４  処理回路
７４１  システム制御機能
７４２  駆動制御機能
７４３  撮影制御機能
７４４  画像処理機能
７４５，９４５  データ作成機能
７４６，９４６  学習制御機能
７４７，９４７  実行機能
７４８，９４８  画像生成機能
７４９，９４９  表示制御機能
７６，９６  ネットワークインタフェース
９０  医用情報処理装置
Ｍ１ｂ，Ｍ１ｓ  機械学習モデル
Ｍ２ｂ，Ｍ２ｓ  学習済みモデル
ｇ１，ｇ２  Ｘ線画像
７２ａ〜７２ｃ，９２ａ〜９２ｃ  コイル充填状況を示す画像
【図１】
2020127672.tif 000003
【図２】
2020127672.tif 000004
【図３】
2020127672.tif 000005
【図４】
2020127672.tif 000006
【図５】
2020127672.tif 000007
【図６】
2020127672.tif 000008
【図７】
2020127672.tif 000009
【図８】
2020127672.tif 000010
【図９】
2020127672.tif 000011
【図１０】
2020127672.tif 000012
【図１１】
2020127672.tif 000013
【図１２】
2020127672.tif 000014
【図１３】
2020127672.tif 000015
【図１４】
2020127672.tif 000016