(57)【要約】入力とする画像の部位に多様性がある場合であっても、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、高解像情報を含む画像を生成する学習方法、学習装置、生成モデル及びプログラムを提供する。解像度が相対的に低い第１画像を用いて解像度が相対的に高い仮想第２画像を生成する敵対的生成ネットワークのジェネレータに第１画像のみを入力し、学習用第２画像と仮想第２画像とを識別するディスクリミネータに学習用第２画像又は仮想第２画像と、学習用第２画像又は仮想第２画像の部位情報と、を入力する。
2020175445.tif 000002
【特許請求の範囲】
【請求項１】
解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルの学習方法であって、
第１画像を用いて仮想第２画像を生成する生成モデルであるジェネレータと、学習用第２画像と前記仮想第２画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークの前記ジェネレータに前記第１画像のみを入力するジェネレータ入力工程と、
前記ディスクリミネータに前記学習用第２画像と前記学習用第２画像の部位情報と、を入力する第１ディスクリミネータ入力工程と、
前記ディスクリミネータに前記仮想第２画像と前記仮想第２画像の部位情報と、を入力する第２ディスクリミネータ入力工程と、
を備えた学習方法。
【請求項２】
前記部位情報は、人体の頭部、胸部、腹部、及び脚部を含む請求項１に記載の学習方法。
【請求項３】
前記第１画像は３次元断層画像であり、
前記解像度はスライス厚方向の解像度である請求項１又は２に記載の学習方法。
【請求項４】
前記第１ディスクリミネータ入力工程及び前記第２ディスクリミネータ入力工程は、前記第１画像のスライス情報を前記ディスクリミネータに入力する請求項３に記載の学習方法。
【請求項５】
前記スライス情報は、スライス間隔である請求項４に記載の学習方法。
【請求項６】
前記スライス情報は、スライス厚である請求項４又は５に記載の学習方法。
【請求項７】
前記第１ディスクリミネータ入力工程及び前記第２ディスクリミネータ入力工程は、前記第１画像を前記ディスクリミネータに入力する請求項１から６のいずれか１項に記載の学習方法。
【請求項８】
前記学習用第２画像から前記第１画像を生成する第１画像生成工程を備え、
前記ジェネレータ入力工程は、前記ジェネレータに前記生成した第１画像のみを入力する請求項１から６のいずれか１項に記載の学習方法。
【請求項９】
請求項１から８のいずれか１項に記載の学習方法をコンピュータに実行させるためのプログラム。
【請求項１０】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項９に記載のプログラムをコンピュータに実行させる記録媒体。
【請求項１１】
請求項１から８のいずれか１項に記載の学習方法によって学習された、解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデル。
【請求項１２】
解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルの学習装置であって、
第１画像を用いて仮想第２画像を生成する生成モデルであるジェネレータと、学習用第２画像と前記仮想第２画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークと、
前記ジェネレータに前記第１画像のみを入力するジェネレータ入力部と、
前記ディスクリミネータに前記学習用第２画像と前記学習用第２画像の部位情報と、を入力する第１ディスクリミネータ入力部と、
前記ディスクリミネータに前記仮想第２画像と前記仮想第２画像の部位情報と、を入力する第２ディスクリミネータ入力部と、
を備えた学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は学習方法、学習装置、生成モデル及びプログラムに係り、特に高解像度の画像を生成する技術に関する。
【背景技術】
【０００２】
データを作り出す「Generator」（ジェネレータ）と、データを識別する「Discriminator」（ディスクリミネータ）とを交互に学習する敵対的生成ネットワーク（Generative Adversarial Networks：GAN）が知られている。非特許文献１には、ＧＡＮに関する研究が記載されている。ＧＡＮによれば、学習データの特徴に沿った精度の高いデータを生成する生成モデルを学習することができる。【０００３】
また、ＧＡＮを応用した技術が研究されている。非特許文献２には、ＧＡＮを用いて入力画像と出力画像とのペアを学習する手法が記載されている。非特許文献２に記載の手法によれば、パラメータの調整の負担の少ない生成モデルを学習することができる。【０００４】
ＧＡＮの画像生成では、入力データに多様性がある場合に学習が困難であるという問題点がある。例えば、医療画像において、入力とする画像の部位及びスライス条件が多岐にわたる場合、生成画像の特徴が平均化されてしまう。非特許文献２における多様な入力データへの対応においても、学習データの特徴が平均化されてしまう。【０００５】
これに対し、非特許文献３には、ＧＡＮの学習にデータのカテゴリ情報を用いる手法が記載されている。非特許文献３に記載の手法によれば、生成モデルをカテゴリ情報に基づいて調整することができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio “Generative Adversarial Nets”, arXiv:1406.2661
【非特許文献２】Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros “Image-to-Image Translation with Conditional Adversarial Networks”,CVPR2016
【非特許文献３】Mehdi Mirza, Simon Osindero “Conditional Generative Adversarial Nets”, arXiv:1411.1784
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献３に記載されたＧＡＮの構成では、Generatorにカテゴリ情報を入力する必要があるため、ネットワークアーキテクチャの大幅な修正が必要となり、Generatorのインターフェースが複雑化するという問題点があった。【０００８】
また、ＧＡＮでは一部の学習データの影響を強く受けて、Mode collapseと呼ばれる、生成する画像が限定的になってしまい多様性に対応できない状態に陥ることがあるという問題点があった。【０００９】
本発明はこのような事情に鑑みてなされたもので、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成する学習方法、学習装置、生成モデル及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための学習方法の一の態様は、解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルの学習方法であって、第１画像を用いて仮想第２画像を生成する生成モデルであるジェネレータと、学習用第２画像と仮想第２画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークのジェネレータに第１画像のみを入力するジェネレータ入力工程と、ディスクリミネータに学習用第２画像と学習用第２画像の部位情報と、を入力する第１ディスクリミネータ入力工程と、ディスクリミネータに仮想第２画像と仮想第２画像の部位情報と、を入力する第２ディスクリミネータ入力工程と、を備えた学習方法である。【００１１】
本態様によれば、敵対的生成ネットワークのジェネレータに第１画像のみを入力し、ディスクリミネータに部位情報を入力し、部位情報を入力に加えたことによって条件ごとに学習を行うようにしたので、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成することができる。【００１２】
解像度が相対的に低い低解像情報を含む第１画像は、例えば低解像度である。解像度が相対的に高い高解像情報を含む第２画像は、例えば高解像度画像である。また第２画像は、解像度が相対的に高い高解像情報を含む高周波成分画像であってもよい。【００１３】
部位情報は、人体の頭部、胸部、腹部、及び脚部を含むことが好ましい。これにより、多様な人体の部位の低解像情報を含む画像から高解像情報を含む画像を生成することができる。【００１４】
第１画像は３次元断層画像であり、解像度はスライス厚方向の解像度であることが好ましい。これにより、スライス厚方向に高解像情報を含む３次元断層画像を生成することができる。【００１５】
第１ディスクリミネータ入力工程及び第２ディスクリミネータ入力工程は、第１画像のスライス情報をディスクリミネータに入力することが好ましい。これにより、入力とする画像のスライス情報に多様性がある場合であっても、高解像度の画像を生成することができる。【００１６】
スライス情報は、スライス間隔であることが好ましい。これにより、入力とする画像のスライス間隔に多様性がある場合であっても、高解像度の画像を生成することができる。【００１７】
スライス情報は、スライス厚であることが好ましい。これにより、入力とする画像のスライス厚に多様性がある場合であっても、高解像度の画像を生成することができる。【００１８】
第１ディスクリミネータ入力工程及び第２ディスクリミネータ入力工程は、第１画像をディスクリミネータに入力することが好ましい。これにより、ディスクリミネータは、学習用第２画像及び仮想第２画像を適切に識別することができる。【００１９】
学習用第２画像から第１画像を生成する第１画像生成工程を備え、ジェネレータ入力工程は、ジェネレータに生成した第１画像のみを入力することが好ましい。これにより、ジェネレータに入力するための低解像情報を含む画像を適切に取得することができる。【００２０】
上記目的を達成するためのコンピュータに実行させるためのプログラムの一の態様は、上記に記載の学習方法をコンピュータに実行させるためのプログラムである。【００２１】
上記目的を達成するための生成モデルの一の態様は、上記に記載の学習方法によって学習された、解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルである。【００２２】
上記目的を達成するための学習装置の一の態様は、解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルの学習装置であって、第１画像を用いて仮想第２画像を生成する生成モデルであるジェネレータと、学習用第２画像と仮想第２画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークと、ジェネレータに第１画像のみを入力するジェネレータ入力部と、ディスクリミネータに学習用第２画像と学習用第２画像の部位情報と、を入力する第１ディスクリミネータ入力部と、ディスクリミネータに仮想第２画像と仮想第２画像の部位情報と、を入力する第２ディスクリミネータ入力部と、を備えた学習装置である。【００２３】
本態様によれば、敵対的生成ネットワークのジェネレータに第１画像のみを入力し、ディスクリミネータに部位情報を入力し、部位情報を入力に加えたことによって条件ごとに学習を行うようにしたので、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成することができる。
【発明の効果】
【００２４】
本発明によれば、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成することができる。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明に係る医療画像学習装置のハードウェア構成の一例を示すブロック図である。
【図２】図２は、ＣＴ画像のスライス間隔、及びスライス厚を説明するための図である。
【図３】図３は、ＣＴ画像のスライス間隔、及びスライス厚を説明するための図である。
【図４】図４は、ＣＴ画像のスライス間隔、及びスライス厚を説明するための図である。
【図５】図５は、ＣＴ画像のスライス間隔、及びスライス厚を説明するための図である。
【図６】図６は、第１の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。
【図７】図７は、学習時の識別部４４による識別を説明するための図である。
【図８】図８は、医療画像学習装置１０の医療画像学習方法の一例を示すフローチャートである。
【図９】図９は、メタ情報Ｄ１を与えずに全身の画像を学習した画像生成を説明するための図である。
【図１０】図１０は、メタ情報Ｄ１を与えずに全身の画像を学習した画像生成を説明するための図である。
【図１１】図１１は、脚部の画像を示す図である。
【図１２】図１２は、実施形態の効果を説明するための図である。
【図１３】図１３は、実施形態の効果を説明するための図である。
【図１４】図１４は、実施形態の効果を説明するための図である。
【図１５】図１５は、第２の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。
【図１６】図１６は、第３の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。
【図１７】図１７は、第４の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。
【発明を実施するための形態】
【００２６】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【００２７】
＜医療画像学習装置のハードウェア構成＞
図１は、本発明に係る医療画像学習装置のハードウェア構成の一例を示すブロック図である。医療画像学習装置１０は、パーソナルコンピュータ又はワークステーションによって構成される。医療画像学習装置１０は、主として通信部１２、画像データベース１４、操作部１６、ＣＰＵ（Central Processing Unit）１８、ＲＡＭ（Random Access Memory）２０、ＲＯＭ（Read Only Memory）２２、及び表示部２４から構成される。
【００２８】
通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。
【００２９】
画像データベース１４は、医療用Ｘ線ＣＴ（Computed Tomography）装置によって撮影されたＣＴ再構成画像（ＣＴ画像）を保存する大容量ストレージ装置である。画像データベース１４は、医療画像学習装置１０の外部に設けてもよい。この場合、医療画像学習装置１０は、通信部１２を介して画像データベース１４からＣＴ画像を取得する。
【００３０】
操作部１６は、医療画像学習装置１０に対する各種の操作入力を受け付ける入力インターフェースである。操作部１６は、コンピュータに有線接続又は無線接続される不図示のキーボード又はマウス等が用いられる。
【００３１】
ＣＰＵ１８は、ＲＯＭ２２又は不図示のハードディスク装置等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ２０は、ＣＰＵ１８の作業領域として使用される。また、ＲＡＭ２０は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。医療画像学習装置１０は、ＧＰＵ（Graphics Processing Unit）を備えていてもよい。
【００３２】
表示部２４は、医療画像学習装置１０の必要な情報が表示される出力インターフェースである。表示部２４は、コンピュータに接続可能な不図示の液晶モニタ等が用いられる。
【００３３】
医療画像学習装置１０は、操作部１６からの指示入力により、ＣＰＵ１８がＲＯＭ２２又はハードディスク装置等に記憶されている医療画像学習プログラムを読み出し、医療画像学習プログラムを実行する。これにより、後述する医療画像学習方法が実施され、ＣＴ画像における解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルの学習が行われる。
【００３４】
医療画像学習方法をコンピュータに実行させる医療画像学習プログラムは、コンピュータの読取可能な非一時的な記録媒体に記憶させて提供されてもよい。
【００３５】
＜ＣＴ画像の部位情報及びスライス情報＞
画像データベース１４に保存されるＣＴ画像は、人体（被検体）を撮影した医療画像であり、複数のスライス画像（アキシャル断面画像）を含む３次元断層画像である。ここでは、各スライス画像は互いに直交するＸ方向及びＹ方向に平行な画像である。Ｘ方向及びＹ方向に直交するＺ方向は、被検体の対軸方向であり、スライス厚方向ともいう。
【００３６】
画像データベース１４に保存されるＣＴ画像は、人体の部位毎の画像である。ＣＴ画像は、部位毎に撮影された画像であってもよいし、全身を撮影した画像から部位毎に切り出された画像であってもよい。画像データベース１４に保存される各ＣＴ画像には、それぞれ部位情報とスライス情報とが関連付けて保存されている。
【００３７】
部位情報は、ＣＴ画像に写った部位を示す情報である。部位情報は、頭部、胸部、腹部、及び脚部を含む。部位情報は、腰部を含んでもよい。
【００３８】
また、スライス情報は、ＣＴ画像のスライス間隔、及びスライス厚の少なくとも一方を含む。スライス間隔とは、互いに隣り合うスライス画像同士のＺ方向の位置の差であり、スライススペーシング（Slice Spacing）ともいう。また、スライス厚とは、１つのスライス画像のＺ方向の幅（厚み）であり、スライスシックネス（Slice Thickness）ともいう。
【００３９】
図２〜図５は、ＣＴ画像のスライス間隔、及びスライス厚を説明するための図である。図２に示すＣＴ画像Ｇ１は、スライス画像Ｇ１１、Ｇ１２、及びＧ１３を含んで構成される。ＣＴ画像Ｇ１は、スライス間隔Ｐが４ｍｍ、スライス厚Ｔが４ｍｍである。即ち、スライス画像Ｇ１１とスライス画像Ｇ１２とのＺ方向の位置の差、及びスライス画像Ｇ１２とスライス画像Ｇ１３とのＺ方向の位置の差は、それぞれ４ｍｍである。また、スライス画像Ｇ１１、Ｇ１２、及びＧ１３のＺ方向の厚みは、それぞれ４ｍｍである。ＣＴ画像Ｇ１は、スライス間隔Ｐとスライス厚Ｔとが等しいため、スライス画像Ｇ１１とスライス画像Ｇ１２、及びスライス画像Ｇ１２とスライス画像Ｇ１３は、Ｚ方向に接する。
【００４０】
図３に示すＣＴ画像Ｇ２は、スライス画像Ｇ２１、Ｇ２２、及びＧ２３を含んで構成される。ＣＴ画像Ｇ２は、スライス間隔Ｐが４ｍｍ、スライス厚Ｔが６ｍｍである。ＣＴ画像Ｇ２は、スライス間隔Ｐよりもスライス厚Ｔの方が大きいため、スライス画像Ｇ１１とスライス画像Ｇ１２、及びスライス画像Ｇ１２とスライス画像Ｇ１３は、Ｚ方向にオーバーラップする。
【００４１】
図４に示すＣＴ画像Ｇ３は、スライス画像Ｇ３１、Ｇ３２、及びＧ３３を含んで構成される。ＣＴ画像Ｇ３は、スライス間隔Ｐが８ｍｍ、スライス厚Ｔが４ｍｍである。ＣＴ画像Ｇ３は、スライス厚Ｔよりもスライス間隔Ｐの方が大きいため、スライス画像Ｇ１１とスライス画像Ｇ１２、及びスライス画像Ｇ１２とスライス画像Ｇ１３は、Ｚ方向に離間する。
【００４２】
図５に示すＣＴ画像Ｇ４は、スライス画像Ｇ４１、Ｇ４２、及びＧ４３を含んで構成される。ＣＴ画像Ｇ４は、スライス間隔Ｐが１ｍｍ、スライス厚Ｔが１ｍｍである。ＣＴ画像Ｇ４は、ＣＴ画像Ｇ１、Ｇ２、及びＧ３よりもＺ方向の情報量が多い。即ち、ＣＴ画像Ｇ４は、ＣＴ画像Ｇ１、Ｇ２、及びＧ３よりもＺ方向の解像度が相対的に高い。
【００４３】
ＣＴ画像のスライス間隔及びスライス厚は、ＣＴ装置を使用する施設、医師等の好みに応じて様々な条件で設定される。ＣＴ画像は、診断のためには高解像度であることが好ましいが、被検体への被ばく量が増えてしまうという問題点がある。また、ＣＴ画像はデータ量が大きいため、容量削減のために低解像度化して保存される場合もある。
【００４４】
医療画像学習装置１０は、図２〜図４に示すような様々な条件のスライス間隔及びスライス厚の低解像度のＣＴ画像から、図５に示すスライス間隔が１ｍｍ、スライス厚が１ｍｍの高解像度のＣＴ画像を推定する生成モデルの学習を行う。
【００４５】
＜第１の実施形態＞
〔医療画像学習装置の機能ブロック〕
図６は、第１の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。医療画像学習装置１０は、入力部３０及び学習部４０を備えている。入力部３０及び学習部４０の機能は、図１に示した医療画像学習装置１０の各部によって実現される。
【００４６】
入力部３０は、学習部４０が学習するために必要なデータ（学習データ）を生成し、生成した学習データを学習部４０に入力する。入力部３０は、画像データベース１４（図１参照）から不図示のＣＴ装置によって撮影されたオリジナル高解像度画像ＧＲ（Real Thin画像）、及びオリジナル高解像度画像ＧＲに関連付けられた部位情報及びスライス情報を取得する。
【００４７】
入力部３０は、低解像度変換部３２を備える。低解像度変換部３２は、入力されたオリジナル高解像度画像ＧＲのデータを元に、多様な低解像度画像ＧＬ１（Thick画像）を人工的に生成する。低解像度変換部３２は、例えば、１ｍｍに等方化されたスライス画像に対して姿勢変換を施し、ランダムに領域を切り出し、スライス間隔及びスライス厚が４ｍｍ又は８ｍｍ等の低解像度画像ＧＬ１を仮想的に生成する。
【００４８】
また、低解像度変換部３２は、入力されたオリジナル高解像度画像ＧＲを単純に間引いて減らすダウンサンプリング処理によって低解像度画像ＧＬ１を生成してもよい。
【００４９】
入力部３０は、オリジナル高解像度画像ＧＲ及び低解像度画像ＧＬ１を学習部４０に入力する。さらに、入力部３０は、メタ情報Ｄ１（Condition）を学習部４０に入力する。
【００５０】
メタ情報Ｄ１は、部位情報とスライス情報を含む。部位情報は、オリジナル高解像度画像ＧＲ、低解像度画像ＧＬ１、及び低解像度画像ＧＬ１に共通の情報である。スライス情報は、低解像度画像ＧＬ１のスライス情報を用いる。低解像度画像ＧＬ１のスライス情報は、オリジナル高解像度画像ＧＲに関連付けられたスライス情報、及び低解像度変換部３２が行った低解像度変換処理の内容から取得することができる。
【００５１】
学習部４０は、非特許文献３に記載のアーキテクチャを２次元から３次元データへ拡張した構造をベースとしている。学習部４０は、敵対的生成ネットワーク（Generative Adversarial Networks：GAN）を構築する。ＧＡＮは、データを作り出す「Generator」と、データを識別する「Discriminator」とを備える。学習部４０は、「Generator」に相当する生成部４２と、「Discriminator」に相当する識別部４４と、を備える。学習部４０は、入力部３０から入力されたデータに基づいて、識別部４４を用いた敵対的な学習を繰り返すことで、生成部４２を学習する。生成部４２は、解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルに相当する。
【００５２】
生成部４２には、入力部３０（ジェネレータ入力部の一例）から低解像度画像ＧＬ１（第１画像の一例）のみが入力される。生成部４２は、入力された低解像度画像ＧＬ１から、オリジナル高解像度画像ＧＲと同様の解像度を有する仮想高解像度画像ＧＶを生成する。
【００５３】
識別部４４には、入力部３０から入力されるオリジナル高解像度画像ＧＲ（学習用第２画像の一例）と低解像度画像ＧＬ１とのペア、又は生成部４２（ディスクリミネータ入力部の一例）から入力される仮想高解像度画像ＧＶ（仮想第２画像の一例）と低解像度画像ＧＬ１とのペアが入力される。
【００５４】
さらに、識別部４４には、新しいチャンネルが確保される。識別部４４の新しいチャンネルには、メタ情報Ｄ１が入力される。識別部４４は、低解像度画像ＧＬ１及びメタ情報Ｄ１を用いて、入力された高解像度画像がオリジナル高解像度画像ＧＲ、及び仮想高解像度画像ＧＶのいずれであるかを識別する。識別部４４の識別結果は、生成部４２に入力される。
【００５５】
図７は、学習時の識別部４４による識別を説明するための図である。図７に示すＦ７Ａの場合は、識別部４４に、低解像度画像ＧＬ１、メタ情報Ｄ１、及びオリジナル高解像度画像ＧＲが入力されている。したがって、識別部４４が入力された高解像度画像をオリジナル高解像度画像ＧＲであると識別した場合は正解であり、仮想高解像度画像ＧＶであると識別した場合は不正解である。
【００５６】
一方、図７に示すＦ７Ｂの場合は、識別部４４に、低解像度画像ＧＬ１、メタ情報Ｄ１、及び生成部４２によって生成された仮想高解像度画像ＧＶが入力されている。したがって、識別部４４が入力された高解像度画像をオリジナル高解像度画像ＧＲであると識別した場合は不正解であり、仮想高解像度画像ＧＶであると識別した場合は正解である。
【００５７】
識別部４４は、入力された高解像度画像が不図示のＣＴ装置によって撮影された本物のＣＴ画像であるか、又は生成部４２によって生成された仮想のＣＴ画像であるか、の識別を正解するように学習される。一方、生成部４２は、不図示のＣＴ装置によって撮影されたリアルなＣＴ画像に似せた仮想のＣＴ画像を生成し、識別部４４が識別を不正解とするように学習される。
【００５８】
学習が進行すると、生成部４２と識別部４４とが精度を高めあい、生成部４２は識別部４４に識別されない、より本物のＣＴ画像に近い仮想高解像度画像ＧＶを生成できるようになる。この学習によって獲得された生成部４２が生成モデルである。生成部４２及び識別部４４は、例えば畳み込みニューラルネットワークを用いて学習される。
【００５９】
〔医療画像学習方法〕
図８は、医療画像学習装置１０の医療画像学習方法の一例を示すフローチャートである。図８に示すように、医療画像学習方法は、オリジナル画像取得工程（ステップＳ１）、低解像度画像生成工程（ステップＳ２）、低解像度画像入力工程（ステップＳ３）、仮想高解像度画像生成工程（ステップＳ４）、メタ情報入力工程（ステップＳ５）、高解像度画像入力工程（ステップＳ６）、及び学習工程（ステップＳ７）を備える。
【００６０】
ステップＳ１では、入力部３０は、画像データベース１４からオリジナル高解像度画像ＧＲを取得する。ここでは、スライス間隔が１ｍｍ、スライス厚が１ｍｍのオリジナル高解像度画像ＧＲを取得する。
【００６１】
ステップＳ２（第１画像生成工程の一例）では、低解像度変換部３２は、入力されたオリジナル高解像度画像ＧＲから低解像度画像ＧＬ１を生成する。ここでは、低解像度変換部３２は、スライス間隔が５ｍｍ、スライス厚が１ｍｍの低解像度画像ＧＬ１を生成する。即ち、オリジナル高解像度画像ＧＲと低解像度画像ＧＬ１とは、Ｚ方向の解像度が異なり、Ｘ方向及びＹ方向は同じ解像度を有する。
【００６２】
ステップＳ３（ジェネレータ入力工程の一例）では、入力部３０は、ステップＳ２で生成した低解像度画像ＧＬ１を学習部４０の生成部４２に入力する。生成部４２には、低解像度画像ＧＬ１のみが入力される。
【００６３】
ステップＳ４では、生成部４２は、入力された低解像度画像ＧＬ１から、仮想高解像度画像ＧＶを生成する。ここでは、生成部４２は、スライス間隔が１ｍｍ、スライス厚が１ｍｍの仮想高解像度画像ＧＶを生成する。
【００６４】
ステップＳ５（第１ディスクリミネータ入力工程の一例、第２ディスクリミネータ入力工程の一例）では、入力部３０（第１ディスクリミネータ入力部の一例、第２ディスクリミネータ入力部の一例）は、メタ情報Ｄ１を学習部４０の識別部４４に入力する。メタ情報Ｄ１は、ステップＳ６で識別部４４に入力される高解像度画像の部位情報と低解像度画像ＧＬ１のスライス情報である。なお、オリジナル高解像度画像ＧＲ及び仮想高解像度画像ＧＶの部位情報は、低解像度画像ＧＬ１の部位情報と共通である。したがって、入力部３０は、メタ情報Ｄ１の部位情報として、低解像度画像ＧＬ１の部位情報を識別部４４に入力してもよい。
【００６５】
ステップＳ６では、入力部３０は、高解像度画像を学習部４０の識別部４４に入力する。高解像度画像は、オリジナル高解像度画像ＧＲ又は仮想高解像度画像ＧＶである。即ち、入力部３０（第１ディスクリミネータ入力部の一例）は識別部４４にオリジナル高解像度画像ＧＲを入力する（第１ディスクリミネータ入力工程の一例）、又は入力部３０（第２ディスクリミネータ入力部の一例）は識別部４４に仮想高解像度画像ＧＶを入力する（第２ディスクリミネータ入力工程の一例）。さらに、入力部３０は、識別部４４に低解像度画像ＧＬ１を入力する（第１ディスクリミネータ入力部の一例、第２ディスクリミネータ入力部の一例）。
【００６６】
ステップＳ７では、識別部４４は、入力された低解像度画像ＧＬ１及びメタ情報Ｄ１を用いて、入力された高解像度画像がオリジナル高解像度画像ＧＲ、及び仮想高解像度画像ＧＶのいずれであるかを識別する。識別部４４の識別結果は、生成部４２に入力される。これにより、生成部４２及び識別部４４が学習される。
【００６７】
以上の学習方法を繰り返すことで、識別部４４は、入力された高解像度画像がオリジナル高解像度画像ＧＲ、及び仮想高解像度画像ＧＶのいずれであるかをより好適に識別できるように学習する。一方、生成部４２は、オリジナル高解像度画像ＧＲに近い仮想高解像度画像ＧＶを生成するように学習する。これにより、生成部４２は、解像度が相対的に低い低解像度画像ＧＬ１から解像度が相対的に高い仮想高解像度画像ＧＶを推定することができる。
【００６８】
図９及び図１０は、識別部４４にメタ情報Ｄ１を与えずに全身の画像を学習した生成部４２における画像生成を説明するための図である。図９は、頭部のＣＴ画像のサジタル断面画像を示している。図９に示すＦ９Ａは、生成部４２に入力された低解像度画像である。図９に示すＦ９Ｂは、生成部４２から出力された仮想高解像度画像である。また、図９に示すＦ９Ｃは、Ｆ９Ｂの正解データ（Ground truth）であり、Ｆ９Ａの元データとなったオリジナル高解像度画像である。図１０は、腰部のＣＴ画像のサジタル断面画像を示している。図１０に示すＦ１０Ａ、Ｆ１０、及びＦ１０Ｃは、それぞれ入力された低解像度画像、出力された仮想高解像度画像、及び正解データである。
【００６９】
生成部４２は、頭部から脚部まで部位に関係なく、低解像度画像を入力すると正解データに近い高解像度画像を出力することが理想である。しかしながら、図９及び図１０に示すように、識別部４４にメタ情報Ｄ１を与えずに学習した場合、生成部４２の生成した仮想高解像度画像は、他部位の学習の影響を受けて特徴が平均化され、不明瞭な画像となった。この原因は、入力データの多様性であると考えられる。
【００７０】
図１１は、脚部のＣＴ画像のサジタル断面画像を示している。図１１に示すＦ１１Ａは、脚部の低解像度画像である。図１１に示すＦ１１Ｂは、脚部の高解像度画像である。図１１に示すように、脚部の画像は背景及び垂直方向の情報が多く、低解像度画像と高解像度画像との変化が比較的小さい。このため、生成部４２は、脚部の高解像度画像の生成については「ほぼ何もしない」という学習を行う。しかしながら、この学習は、頭部、胸部、及び腹部の高解像度画像の生成の学習に悪影響を与えてしまうという問題点があった。
【００７１】
また、識別部４４は、画像の部位の多様性により混乱して精度が向上しないという問題点があった。
【００７２】
このような課題に対し、１つの方法として、部位別に識別（超解像度画像出力モデル）を学習及び作成することも考えられる。しかしながら、この方法では、部位別のモデル作成が必要になる、推論時のデータの部位を判断する部分が必要となる、部位をまたがったデータの場合の処理が必要、等の新たな課題がある。
【００７３】
図１２〜図１４は、本実施形態の効果を説明するための図である。図１２は、頭部のＣＴ画像のサジタル断面画像を示している。図１２に示すＦ１２Ａは、学習された生成モデルである生成部４２に入力された低解像度画像である。図１２に示すＦ１２Ｂは、生成部４２から出力された仮想高解像度画像である。また、図１２に示すＦ１２Ｃは、Ｆ１２Ｂの正解データ（Ground truth）であり、Ｆ１２Ａの元データとなったオリジナル高解像度画像である。図１３は腹部のＣＴ画像のサジタル断面画像を示している。図１３に示すＦ１３Ａ、Ｆ１３Ｂ、及びＦ１３Ｃは、それぞれ入力された低解像度画像、出力された仮想高解像度画像、及び正解データである。図１４は腰部のＣＴ画像のサジタル断面画像を示している。図１４に示すＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃは腰部の画像であり、それぞれ入力された低解像度画像、出力された仮想高解像度画像、及び正解データである。
【００７４】
図１２〜図１４に示すように、本実施形態によって学習された生成部４２によれば、識別部４４にメタ情報Ｄ１を入力して学習したことで、部位やスライス間隔等によらず高精度で画像生成が可能になった。この生成部４２は、ＶＴＳ（Virtual Thin Slice）装置に適用することができる。
【００７５】
本実施形態によれば、部位別の生成モデルを用意する必要がない。本実施形態では、生成部４２には低解像度画像のみが入力されるため、ネットワークアーキテクチャの大幅な修正が不要である。また、識別部４４は、特徴量として部位情報を使用して学習することができる。これにより、学習された生成モデルは、入力される低解像度画像がどの部位の画像であるかの情報が不要であり、どの部位の画像が入力されても高解像の画像を生成することができる。したがって、過去のＣＴ画像の資産を有効利用することができる。なお、この生成モデルは、複数の部位にまたがった画像が入力された場合であっても、高解像の画像の生成が可能である。
【００７６】
ここでは、入力部３０はメタ情報Ｄ１として部位情報及びスライス情報を識別部４４に入力したが、メタ情報Ｄ１は少なくとも部位情報を含めばよい。また、メタ情報Ｄ１に、低解像度画像のぼかしの強弱情報を含めてもよい。ぼかしの強弱情報は、「ぼかし強」、「ぼかし弱」等の分類であってもよい。
【００７７】
また、本実施形態では、識別部４４にオリジナル高解像度画像ＧＲと低解像度画像ＧＬ１とのペア、又は生成部４２から入力される仮想高解像度画像ＧＶと低解像度画像ＧＬ１とのペアが入力されているが、低解像度画像ＧＬ１の入力は必須ではない。即ち、識別部４４には、オリジナル高解像度画像ＧＲ又は仮想高解像度画像ＧＶが入力されればよい。
【００７８】
なお、低解像度画像ＧＬ１を識別部４４に入力しない場合であっても、識別部４４に仮想高解像度画像ＧＶが入力される場合、メタ情報Ｄ１のスライス情報は低解像度画像ＧＬ１のスライス情報を使用する。これは、識別部４４に入力された仮想高解像度画像ＧＶがどのような条件の低解像度画像ＧＬ１を元に生成されたのかを考慮するためである。
【００７９】
識別部４４にオリジナル高解像度画像ＧＲが入力される場合は、スライス情報は意味を持たないため、スライス情報にはランダムな値を与えて学習させる。これにより、識別部４４は、「スライス間隔４ｍｍの低解像度画像から生成された偽物の可能性がある高解像度画像の真偽を判別する」、「スライス間隔８ｍｍの低解像度画像から生成された偽物の可能性がある高解像度画像の真偽を判別する」等のような条件別に識別を学習することができる。
【００８０】
＜第２の実施形態＞
図１５は、第２の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。なお、図６に示す機能ブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【００８１】
医療画像学習装置１０は、入力部３０に補間部３４を備えている。補間部３４は、低解像度変換部３２が生成した低解像度画像ＧＬ１から、低解像度画像ＧＬ２を生成する。補間部３４は、低解像度画像ＧＬ１のＺ方向にスプライン補間処理を施す。また、補間部３４は、スプライン補間処理が施された低解像度画像ＧＬ１にガウシアンフィルタ処理を施す。スプライン補間処理及びガウシアンフィルタ処理により生成された画像が、低解像度画像ＧＬ２である。
【００８２】
例えば、低解像度画像ＧＬ１は、スライス間隔が５ｍｍ、スライス厚が１ｍｍであり、補間部３４が生成する低解像度画像ＧＬ２は、スライス間隔が１ｍｍ、スライス厚が１ｍｍである。低解像度画像ＧＬ２のスライス間隔及びスライス厚はオリジナル高解像度画像ＧＲのスライス間隔及びスライス厚と同様であるが、低解像度画像ＧＬ２は、オリジナル高解像度画像ＧＲと比較してＺ方向にボケた画像となる。
【００８３】
補間部３４が生成した低解像度画像ＧＬ２は、学習部４０の生成部４２に入力される。即ち、本実施形態では、生成部４２は低解像度画像ＧＬ２から仮想高解像度画像ＧＶを生成する。なお、仮想高解像度画像ＧＶのスライス間隔及びスライス厚は低解像度画像ＧＬ２のスライス間隔及びスライス厚と同様であるが、仮想高解像度画像ＧＶは、低解像度画像ＧＬ２と比較してＺ方向にシャープな画像となる。
【００８４】
また、補間部３４が生成した低解像度画像ＧＬ２は、高解像度画像とペアで識別部４４に入力される。識別部４４は、低解像度画像ＧＬ２及びメタ情報Ｄ１を用いて、入力された高解像度画像がオリジナル高解像度画像ＧＲ、及び仮想高解像度画像ＧＶのいずれであるかを識別する。なお、識別部４４には、低解像度画像ＧＬ２は入力されなくてもよい。
【００８５】
本実施形態によれば、生成部４２は、オリジナル高解像度画像ＧＲから低解像度変換され、さらにスプライン補間処理された低解像度画像ＧＬ２から高解像度画像を生成する学習をすることができる。したがって、低解像度画像ＧＬ１から高解像度画像を生成する学習と合せることで、多様な入力の低解像度画像に適応した生成モデルを得ることができる。
【００８６】
＜第３の実施形態＞
図１６は、第３の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。なお、図６に示す機能ブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。本実施形態に係る医療画像学習装置１０は、高解像度画像に代えて、解像度が相対的に高い高解像情報を含む高周波成分画像を生成し、識別する。
【００８７】
医療画像学習装置１０は、入力部３０に高周波成分抽出部３６を備えている。高周波成分抽出部３６は、オリジナル高解像度画像ＧＲから高周波成分を抽出し、オリジナル高周波成分画像ＣＲ（学習用高周波成分画像の一例）を生成する。高周波成分の抽出は、ハイパスフィルタを用いて行われる。オリジナル高周波成分画像ＣＲは、オリジナル高解像度画像ＧＲと同様に、スライス間隔が１ｍｍ、スライス厚が１ｍｍである。
【００８８】
高周波成分抽出部３６が生成したオリジナル高周波成分画像ＣＲは、学習部４０の識別部４４に入力される。
【００８９】
また、学習部４０の生成部４２は、入力部３０の低解像度変換部３２から入力された低解像度画像ＧＬ１から、オリジナル高周波成分画像ＣＲと同様の解像度を有する仮想高周波成分画像ＣＶを生成する。ここでは、生成部４２は、スライス間隔が１ｍｍ、スライス厚が１ｍｍの仮想高周波成分画像ＣＶを生成する。
【００９０】
識別部４４には、入力部３０から入力されるオリジナル高周波成分画像ＣＲ（学習用第２画像の一例）と低解像度画像ＧＬ１とのペア、又は生成部４２（ディスクリミネータ入力部の一例）から入力される仮想高解像度画像ＧＶ（仮想第２画像の一例）と低解像度画像ＧＬ１とのペアが入力される。
【００９１】
識別部４４は、入力部３０から入力された低解像度画像ＧＬ１及びメタ情報Ｄ１を用いて、入力された高周波成分画像がオリジナル高周波成分画像ＣＲ、及び仮想高周波成分画像ＣＶのいずれであるかを識別する。
【００９２】
本実施形態によれば、生成部４２は、低解像度画像ＧＬ１から高周波成分画像を生成する学習をすることができる。生成部４２は、生成部４２が生成した高周波成分画像と生成部４２の入力である低解像度画像ＧＬ１とを加算処理することで、高解像度画像を得ることができる。
【００９３】
＜第４の実施形態＞
図１７は、第４の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。なお、図１５及び図１６に示す機能ブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【００９４】
入力部３０の低解像度変換部３２は、オリジナル高解像度画像ＧＲから低解像度画像ＧＬ１を生成する。補間部３４は、低解像度画像ＧＬ１から、低解像度画像ＧＬ２を生成する。
【００９５】
学習部４０の生成部４２は、入力部３０の補間部３４から入力された低解像度画像ＧＬ２から、オリジナル高解像度画像ＧＲと同様の解像度を有する仮想高周波成分画像ＣＶを生成する。
【００９６】
医療画像学習装置１０は、学習部４０に加算部４６を備えている。加算部４６は、生成部４２が生成した仮想高周波成分画像ＣＶと補間部３４が生成した低解像度画像ＧＬ２とを加算する。これにより、加算部４６は、オリジナル高解像度画像ＧＲと同様の解像度を有する仮想高解像度画像ＧＶを生成する。
【００９７】
識別部４４には、入力部３０から入力されるオリジナル高解像度画像ＧＲと低解像度画像ＧＬ２ペア、又は加算部４６から入力される仮想高解像度画像ＧＶと低解像度画像ＧＬ２のペアが入力される。
【００９８】
識別部４４は、低解像度画像ＧＬ１及びメタ情報Ｄ１を用いて、入力された高解像度画像がオリジナル高解像度画像ＧＲ、及び仮想高解像度画像ＧＶのいずれであるかを識別する。識別部４４の識別結果は、生成部４２に入力される。これにより、生成部４２及び識別部４４が学習される。
【００９９】
本実施形態によれば、生成部４２は、低解像度画像ＧＬ１から高周波成分画像を生成する学習をすることができる。また、識別部４４は、高解像度画像の識別の学習をすることができる。
【０１００】
〔その他〕
ここでは、医療画像学習装置１０は、１つのパーソナルコンピュータ又はワークステーションによって構成される例を説明したが、複数のパーソナルコンピュータ等で構成してもよい。例えば、入力部３０と学習部４０とを異なるパーソナルコンピュータ等で構成してもよい。このように構成することで、学習データの生成と生成モデルの学習とを物理的にも時間的にも互いに束縛されることなく実施することができる。
【０１０１】
ここではＣＴ画像の超解像の生成モデルの学習方法を説明したが、本実施形態に係る生成モデルの学習方法は、部位情報を有する３次元断層画像に適用することができる。例えば、ＭＲＩ（Magnetic Resonance Imaging）装置により取得されるＭＲ画像、ＰＥＴ（Positron Emission Tomography）装置により取得されるＰＥＴ画像、ＯＣＴ（Optical Coherence Tomography）装置により取得されるＯＣＴ画像、３次元超音波撮影装置により取得される３次元超音波画像等であってもよい。
【０１０２】
また、本実施形態に係る生成モデルの学習方法は、部位情報を有する２次元画像に適用することができる。例えば、Ｘ線画像であってもよい。また、医療画像に限定されず、通常のカメラ画像に適用することができる。２次元画像に適用する場合は、スライス情報のスライス間隔に代えて、シャープネス（再構成関数）情報を使用すればよい。また、スライス情報のスライス厚に代えて、ピクセルスペーシング情報、即ち画素の大きさの情報を使用すればよい。
【０１０３】
ここまで説明した実施形態において、医療画像学習装置１０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【０１０４】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
【０１０５】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
【０１０６】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【０１０７】
１０…医療画像学習装置
１２…通信部
１４…画像データベース
１６…操作部
１８…ＣＰＵ
２０…ＲＡＭ
２２…ＲＯＭ
２４…表示部
３０…入力部
３２…低解像度変換部
３４…補間部
３６…高周波成分抽出部
４０…学習部
４２…生成部
４４…識別部
４６…加算部
ＣＲ…オリジナル高周波成分画像
ＣＶ…仮想高周波成分画像
Ｄ１…メタ情報
Ｇ１，Ｇ２，Ｇ３，Ｇ４…ＣＴ画像
Ｇ１１，Ｇ１２，Ｇ１３…スライス画像
Ｇ２１，Ｇ２２，Ｇ２３…スライス画像
Ｇ３１，Ｇ３２，Ｇ３３…スライス画像
Ｇ４１，Ｇ４２，Ｇ４３…スライス画像
ＧＬ１，ＧＬ２…低解像度画像
ＧＲ…オリジナル高解像度画像
ＧＶ…仮想高解像度画像
Ｓ１〜Ｓ７医療画像学習方法の各ステップ
【図１】
2020175445.tif 000003
【図２】
2020175445.tif 000004
【図３】
2020175445.tif 000005
【図４】
2020175445.tif 000006
【図５】
2020175445.tif 000007
【図６】
2020175445.tif 000008
【図７】
2020175445.tif 000009
【図８】
2020175445.tif 000010
【図９】
2020175445.tif 000011
【図１０】
2020175445.tif 000012
【図１１】
2020175445.tif 000013
【図１２】
2020175445.tif 000014
【図１３】
2020175445.tif 000015
【図１４】
2020175445.tif 000016
【図１５】
2020175445.tif 000017
【図１６】
2020175445.tif 000018
【図１７】
2020175445.tif 000019
【手続補正書】
【提出日】令和3年8月19日(2021.8.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
＜ＣＴ画像の部位情報及びスライス情報＞
画像データベース１４に保存されるＣＴ画像は、人体（被検体）を撮影した医療画像であり、複数のスライス画像（アキシャル断面画像）を含む３次元断層画像である。ここでは、各スライス画像は互いに直交するＸ方向及びＹ方向に平行な画像である。Ｘ方向及びＹ方向に直交するＺ方向は、被検体の体軸方向であり、スライス厚方向ともいう。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
図３に示すＣＴ画像Ｇ２は、スライス画像Ｇ２１、Ｇ２２、及びＧ２３を含んで構成される。ＣＴ画像Ｇ２は、スライス間隔Ｐが４ｍｍ、スライス厚Ｔが６ｍｍである。ＣＴ画像Ｇ２は、スライス間隔Ｐよりもスライス厚Ｔの方が大きいため、スライス画像Ｇ２１とスライス画像Ｇ２２、及びスライス画像Ｇ２２とスライス画像Ｇ２３は、Ｚ方向にオーバーラップする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図４に示すＣＴ画像Ｇ３は、スライス画像Ｇ３１、Ｇ３２、及びＧ３３を含んで構成される。ＣＴ画像Ｇ３は、スライス間隔Ｐが８ｍｍ、スライス厚Ｔが４ｍｍである。ＣＴ画像Ｇ３は、スライス厚Ｔよりもスライス間隔Ｐの方が大きいため、スライス画像Ｇ３１とスライス画像Ｇ３２、及びスライス画像Ｇ３２とスライス画像Ｇ３３は、Ｚ方向に離間する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
メタ情報Ｄ１は、部位情報とスライス情報を含む。部位情報は、オリジナル高解像度画像ＧＲ、及び低解像度画像ＧＬ１に共通の情報である。スライス情報は、低解像度画像ＧＬ１のスライス情報を用いる。低解像度画像ＧＬ１のスライス情報は、オリジナル高解像度画像ＧＲに関連付けられたスライス情報、及び低解像度変換部３２が行った低解像度変換処理の内容から取得することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
図９及び図１０は、識別部４４にメタ情報Ｄ１を与えずに全身の画像を学習した生成部４２における画像生成を説明するための図である。図９は、頭部のＣＴ画像のサジタル断面画像を示している。図９に示すＦ９Ａは、生成部４２に入力された低解像度画像である。図９に示すＦ９Ｂは、生成部４２から出力された仮想高解像度画像である。また、図９に示すＦ９Ｃは、Ｆ９Ｂの正解データ（Ground truth）であり、Ｆ９Ａの元データとなったオリジナル高解像度画像である。図１０は、腰部のＣＴ画像のサジタル断面画像を示している。図１０に示すＦ１０Ａ、Ｆ１０Ｂ、及びＦ１０Ｃは、それぞれ入力された低解像度画像、出力された仮想高解像度画像、及び正解データである。
【国際調査報告】
2020175445.tif 000020
2020175445.tif 000021
2020175445.tif 000022
2020175445.tif 000023