【手続補正書】
【提出日】令和2年12月16日(2020.12.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検者の所定部位の画像である第１の画像を取得する取得部と、
機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像よりも低いノイズ及び高いコントラストのうちの少なくとも一方を有する第２の画像を生成する高画質化部と、
を備える、医用画像処理装置。
【請求項２】
前記高画質化エンジンは、被検者の所定部位の画像よりも低いノイズと高いコントラストとのうちの少なくとも一つを有する画像を含む学習データを用いて学習して得た機械学習エンジンを含み、
前記高画質化部は、前記高画質化エンジンに入力される入力データとして前記第１の画像を用いることにより、前記第１の画像よりも低いノイズと高いコントラストとのうちの少なくとも一つを有する前記第２の画像を生成する、請求項１に記載の医用画像処理装置。
【請求項３】
前記高画質化エンジンは、重ね合わせ処理、最大事後確率推定処理、平滑化フィルタ処理、階調変換処理及びノイズ低減処理のうちの少なくとも一つの処理により得られた画像と、前記第１の画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像と、前記第１の画像の撮影工程よりも工数の多い撮影工程で取得された画像とのいずれかを含む学習データを用いて学習して得た機械学習エンジンを含む、請求項１又は２に記載の医用画像処理装置。
【請求項４】
前記第１の画像に対して、前記高画質化エンジンを用いて前記第２の画像を生成できるか否かを判定する判定部を更に備える、請求項１乃至３のいずれか一項に記載の医用画像処理装置。
【請求項５】
前記判定部は、前記第１の画像の撮影部位、撮影方式、撮影画角、及び画像サイズの少なくとも一つに基づいて前記判定を行う、請求項４に記載の医用画像処理装置。
【請求項６】
前記高画質化部は、前記判定部による判定結果に対する検者からの入力に応じて、前記第２の画像を生成する、請求項４又は５に記載の医用画像処理装置。
【請求項７】
前記高画質化部は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備える、請求項１乃至６のいずれか一項に記載の医用画像処理装置。
【請求項８】
前記複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行っており、
前記高画質化部は、前記第１の画像の撮影部位、撮影画角、及び画像の解像度のうちの少なくとも一つに応じた前記高画質化エンジンを用いて、前記第２の画像を生成する、請求項７に記載の医用画像処理装置。
【請求項９】
所定の評価手法による評価値を学習データとした機械学習エンジンを用いて、前記第２の画像の画質を評価する評価部を更に備え、
前記高画質化部は、前記複数の高画質化エンジンを用いて、前記第１の画像から複数の前記第２の画像を生成し、
該医用画像処理装置は、前記評価部による評価結果に応じて、前記複数の第２の画像のうち少なくとも一つの画像を出力する、請求項７に記載の医用画像処理装置。
【請求項１０】
前記第２の画像の画質を評価する評価部を更に備え、
前記評価部は画像の真贋を評価する真贋評価エンジンを含み、
該医用画像処理装置は、前記評価部の真贋評価エンジンからの出力が真である場合に、前記第２の画像を出力する、請求項１乃至９のいずれか一項に記載の医用画像処理装置。
【請求項１１】
前記真贋評価エンジンは、前記高画質化エンジンよりも高画質化処理の精度が低い高画質化エンジンによって生成された画像を学習データとした機械学習エンジンを含む、請求項１０に記載の医用画像処理装置。
【請求項１２】
撮影部位及び撮影領域のうちの少なくとも一方のラベルが付けられた画像を学習データとした機械学習エンジンを用いて、前記第１の画像の撮影部位及び撮影領域のうちの少なくとも一方を推定する推定部を更に備える、請求項１乃至１１のいずれか一項に記載の医用画像処理装置。
【請求項１３】
前記高画質化部は、
前記第１の画像の画像サイズを、前記高画質化エンジンが対処可能な画像サイズに調整して高画質化エンジンに入力し、
前記高画質化エンジンからの出力画像を前記第１の画像の元の画像サイズに調整することで前記第２の画像を生成する、請求項１乃至１２のいずれか一項に記載の医用画像処理装置。
【請求項１４】
前記高画質化部は、
前記第１の画像の解像度が所定の解像度となるように、前記第１の画像の画像サイズを調整し、
前記画像サイズが調整された前記第１の画像について、調整された前記画像サイズが前記高画質化エンジンによって対処可能な画像サイズとなるように、パディングを行った画像を高画質化エンジンに入力し、
前記高画質化エンジンからの出力画像について、前記パディングを行った領域分だけトリミングを行い、
前記トリミングが行われた画像の画像サイズを、前記第１の画像の元の画像サイズに調整することで前記第２の画像を生成する、請求項１乃至１３のいずれか一項に記載の医用画像処理装置。
【請求項１５】
前記高画質化部は、
前記第１の画像を所定の画像サイズの複数の第３の画像に分割し、
前記複数の第３の画像を前記高画質化エンジンに入力して複数の第４の画像を生成し、
前記複数の第４の画像を統合することで、前記第２の画像を生成する、請求項１乃至１４のいずれか一項に記載の医用画像処理装置。
【請求項１６】
前記高画質化部は、
三次元の前記第１の画像を複数の二次元の画像又は複数の一次元の画像に分割して前記高画質化エンジンに入力し、
前記高画質化エンジンからの複数の出力画像を統合することで、前記第２の画像を生成する、請求項１乃至１５のいずれか一項に記載の医用画像処理装置。
【請求項１７】
前記高画質化部は、
複数の前記高画質化エンジンを含み、
三次元の前記第１の画像を複数の二次元の画像又は複数の一次元の画像に分割し、
前記複数の高画質化エンジンの並列的に用いて、前記複数の二次元の画像又は前記複数の一次元の画像から複数の第２の画像を生成し、
前記複数の第２の画像を統合することで、三次元の前記第２の画像を生成する、請求項１乃至１６のいずれか一項に記載の医用画像処理装置。
【請求項１８】
前記第２の画像とともに、前記第２の画像は前記高画質化エンジンにより生成された画像であることを示す表示情報を表示するように表示部を制御する表示制御部を更に備える、請求項１乃至１７のいずれか一項に記載の医用画像処理装置。
【請求項１９】
被検者の所定部位の画像である第１の画像を取得することと、
機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像よりも低いノイズ及び高いコントラストのうちの少なくとも一方を有する第２の画像を生成することと、
を含む、医用画像処理方法。
【請求項２０】
プロセッサーによって実行されると、該プロセッサーに請求項１９に記載の医用画像処理方法の各工程を実行させる、プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の一実施態様に係る医用画像処理装置は、被検者の所定部位の画像である第１の画像を取得する取得部と、機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像よりも低いノイズ及び高いコントラストのうちの少なくとも一方を有する第２の画像を生成する高画質化部とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明の他の実施態様に係る医用画像処理方法は、被検者の所定部位の画像である第１の画像を取得することと、機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像よりも低いノイズ及び高いコントラストのうちの少なくとも一方を有する第２の画像を生成することとを含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
教師データのそれぞれが撮影部位によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影部位であれば、第１の実施形態に係る高画質化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、撮影部位に限られず、撮影画角であったり、画像の解像度であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１９１
【補正方法】変更
【補正の内容】
【０１９１】
その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第１の教師データでトレーニングされた機械学習モデルに対応する第１の高画質化エンジン、第２の教師データでトレーニングされた機械学習モデルに対応する第２の高画質化エンジンというように高画質化エンジン群を用意する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１９３
【補正方法】変更
【補正の内容】
【０１９３】
教師データのそれぞれが撮影条件の組み合わせによってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影条件の組み合わせであれば、第１の実施形態に係る高画質化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件の組み合わせは、任意であってよく、例えば、撮影部位、撮影画角、及び画像の解像度のうちの二つ以上の組み合わせであってよい。また、教師データのグルーピングを、第２の実施形態と同様に、一つの撮影条件に基づいて行ってもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１９９
【補正方法】変更
【補正の内容】
【０１９９】
高画質化可否判定部４０３が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップＳ１６６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ１６４０に移行する。なお、画像処理装置１５００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ１６４０を実施してもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０２１１
【補正方法】変更
【補正の内容】
【０２１１】
ステップＳ１６３０において、第７の実施形態と同様に、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ１６４０に移行する。なお、画像処理装置１５００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ１６４０を実施してもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０３１３
【補正方法】変更
【補正の内容】
【０３１３】
なお、本実施形態では、一つの高画質化エンジンにより、第１の実施形態等による高画質化処理と高画像サイズ化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第１の実施形態等による高画質化処理を行う高画質化エンジン及び高画像サイズ化処理を行う別の高画質化エンジンを備えてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０３２９
【補正方法】変更
【補正の内容】
【０３２９】
なお、本実施形態では、一つの高画質化エンジンにより、第１の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第１の実施形態等による高画質化処理を行う高画質化エンジン及び高空間分解能化処理を行う別の高画質化エンジンを備えてもよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０３３０
【補正方法】変更
【補正の内容】
【０３３０】
この場合には、第１の実施形態等に係る高画質化処理を行う高画質化エンジンは第１の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高空間分解能化処理を行う高画質化エンジンの教師データの入力データとしては、第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高空間分解能化処理を行う高画質化エンジンは、第１の実施形態等に係る高画質化処理を行った高画質画像について高空間分解能化した最終的な高画質画像を生成することができる。
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2019216848.tif 000001
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2019216848.tif 000002
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図２２
【補正方法】変更
【補正の内容】
【図２２】
2019216848.tif 000003