(57)【要約】【課題】ニューラルネットワークを用いて医用画像から高速かつ高精度に構造物を抽出できるようにする。【解決手段】画像処理装置１の制御部１１は、医用画像に画素数を低減するための間引き処理を施して間引き画像を生成し、間引き画像を入力画像として、ディープラーニング処理部１３によりニューラルネットワークを用いて医用画像に含まれる所定の構造物の信号成分を抽出し、ニューラルネットワークから出力された出力画像に超解像処理を施して、元の医用画像と同じ画素数の、元の医用画像における構造物の信号成分（高周波成分を含む）を表す構造物画像を生成する。【選択図】図２
2020036773.tif 000002
【特許請求の範囲】
【請求項１】
医用画像に画素数を低減するための間引き処理を施して間引き画像を生成する間引き手段と、
前記間引き画像を入力画像として、ニューラルネットワークを用いて前記医用画像に含まれる所定の構造物の信号成分の抽出処理を行う構造物抽出手段と、
前記ニューラルネットワークから出力された出力画像に超解像処理を施して、前記医用画像と同じ画素数の、前記医用画像における前記構造物の信号成分を表す構造物画像を生成する超解像処理手段と、
を備える画像処理装置。
【請求項２】
前記超解像処理手段は、前記ニューラルネットワークから出力された出力画像にアップサンプリング処理を施し、アップサンプリングされた前記出力画像に対し、前記構造物の高周波成分を含んだ信号成分が抽出されるように予め学習されたパラメーターを用いて畳み込み処理を行って、前記構造物画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記ニューラルネットワークは、最終的な前記出力画像の数が自然数ｎの２乗であり、最終的な前記出力画像の画素数が前記医用画像の１／ｎ２であり、最終的な前記出力画像の対応する画素を予め定められた順序でｎ×ｎの配列に並べることで前記医用画像における前記構造物の信号成分が復元されるように、前記出力画像のそれぞれを取得するためのパラメーターが予め学習されており、
前記超解像処理手段は、前記ニューラルネットワークからのｎ２枚の出力画像の対応する画素を予め定められた順序でｎ×ｎの配列に並べる処理を各画素位置について行うことにより前記構造物画像を生成する請求項１に記載の画像処理装置。
【請求項４】
前記超解像処理手段により生成された前記構造物画像に基づいて、前記医用画像から前記構造物の信号成分を減弱する減弱処理手段を備える請求項１又は２に記載の画像処理装置。
【請求項５】
医用画像に画素数を低減するための間引き処理を施して間引き画像を生成する間引き工程と、
前記間引き画像を入力画像として、ニューラルネットワークを用いて前記医用画像に含まれる所定の構造物の信号成分の抽出処理を行う構造物抽出工程と、
前記ニューラルネットワークから出力された出力画像に超解像処理を施して、前記医用画像と同じ画素数の、前記医用画像における前記構造物の信号成分を表す構造物画像を生成する超解像処理工程と、
を含む画像処理方法。
【請求項６】
コンピューターを、
医用画像に画素数を低減するための間引き処理を施して間引き画像を生成する間引き手段、
前記間引き画像を入力画像として、ニューラルネットワークを用いて前記医用画像に含まれる所定の構造物の信号成分の抽出処理を行う構造物抽出手段、
前記ニューラルネットワークから出力された出力画像に超解像処理を施して、前記医用画像と同じ画素数の、前記医用画像における前記構造物の信号成分を表す構造物画像を生成する超解像処理手段、
備えるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
医用画像から構造物を抽出したり除去したりするためにニューラルネットワークを用いることが提案されている。
例えば、特許文献１には、ニューラルネットワークを用いて生体画像から血管等の目的物を除去した出力画像を生成することが記載されている。また、特許文献２には、画素数を間引いた間引き画像をニューラルネットワークの入力画像として認識対象を識別することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−８９３０１号公報
【特許文献２】特開平４−５８９４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、大きな構造物を抽出したり除去したりしたい場合、畳み込みに用いる画像やフィルター（カーネル）の画素の数が増えるため、計算量が増加し、処理に多大な時間を要することとなる。
また、特許文献２に記載の技術では、画素数を間引いた間引き画像を入力画像としているため、処理時間を低減することができる。しかしながら、間引き画像を入力画像としてニューラルネットワークを用いて構造物を抽出する場合、出力画像（構造物画像）も間引き画像が出力されることになる。そのため、画素間隔が大きく解像度が低下した出力画像しか取得することができない。また、例えば、元の医用画像から構造物画像を減算して元の医用画像の構造物を減弱する場合、構造物画像に拡大処理を施して元画像と同じ画素数に戻す処理が必要になるが、線形補間法などの通常用いられる画像の拡大処理は、エッジ成分を復元することができないため、拡大した構造物画像を元画像から減算すると、構造物のエッジ成分を除去することができずに残存してしまう課題があった。
【０００５】
本発明の課題は、ニューラルネットワークを用いて医用画像から高速かつ高精度に構造物を抽出できるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
医用画像に画素数を低減するための間引き処理を施して間引き画像を生成する間引き手段と、
前記間引き画像を入力画像として、ニューラルネットワークを用いて前記医用画像に含まれる所定の構造物の信号成分の抽出処理を行う構造物抽出手段と、
前記ニューラルネットワークから出力された出力画像に超解像処理を施して、前記医用画像と同じ画素数の、前記医用画像における前記構造物の信号成分を表す構造物画像を生成する超解像処理手段と、
を備える。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、
前記超解像処理手段は、前記ニューラルネットワークから出力された出力画像にアップサンプリング処理を施し、アップサンプリングされた前記出力画像に対し、前記構造物の高周波成分を含んだ信号成分が抽出されるように予め学習されたパラメーターを用いて畳み込み処理を行って、前記構造物画像を生成する。
【０００８】
請求項３に記載の発明は、請求項１に記載の発明において、
前記ニューラルネットワークは、最終的な前記出力画像の数が自然数ｎの２乗であり、最終的な前記出力画像の画素数が前記医用画像の１／ｎ２であり、最終的な前記出力画像の対応する画素を予め定められた順序でｎ×ｎの配列に並べることで前記医用画像における前記構造物の信号成分が復元されるように、前記出力画像のそれぞれを取得するためのパラメーターが予め学習されており、
前記超解像処理手段は、前記ニューラルネットワークからのｎ２枚の出力画像の対応する画素を予め定められた順序でｎ×ｎの配列に並べる処理を各画素位置について行うことにより前記構造物画像を生成する。
【０００９】
請求項４に記載の発明は、請求項１又は２に記載の発明において、
前記超解像処理手段により生成された前記構造物画像に基づいて、前記医用画像から前記構造物の信号成分を減弱する減弱処理手段を備える。
【００１０】
請求項５に記載の発明の画像処理方法は、
医用画像に画素数を低減するための間引き処理を施して間引き画像を生成する間引き工程と、
前記間引き画像を入力画像として、ニューラルネットワークを用いて前記医用画像に含まれる所定の構造物の信号成分の抽出処理を行う構造物抽出工程と、
前記ニューラルネットワークから出力された出力画像に超解像処理を施して、前記医用画像と同じ画素数の、前記医用画像における前記構造物の信号成分を表す構造物画像を生成する超解像処理工程と、
を含む。
【００１１】
請求項６に記載の発明のプログラムは、
コンピューターを、
医用画像に画素数を低減するための間引き処理を施して間引き画像を生成する間引き手段、
前記間引き画像を入力画像として、ニューラルネットワークを用いて前記医用画像に含まれる所定の構造物の信号成分の抽出処理を行う構造物抽出手段、
前記ニューラルネットワークから出力された出力画像に超解像処理を施して、前記医用画像と同じ画素数の、前記医用画像における前記構造物の信号成分を表す構造物画像を生成する超解像処理手段、
として機能させる。
【発明の効果】
【００１２】
本発明によれば、ニューラルネットワークを用いて医用画像から高速かつ高精度に構造物を抽出することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の機能的構成を示すブロック図である。
【図２】第１の実施形態におけるディープラーニング処理部の処理構成例を示す図である。
【図３】図１の制御部により実行される構造物減弱処理を示すフローチャートである。
【図４】図３の各ステップにより出力される画像を模式的に示す図である。
【図５】第２の実施形態におけるディープラーニング処理部の処理構成例を示す図である。
【図６】結合処理の概要を説明するための図である。
【図７】結合処理の一例を詳細に説明するための図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【００１５】
＜第１の実施形態＞
［画像処理装置１の構成］
まず、本発明の第１の実施形態の構成について説明する。
図１は、第１の実施形態に係る画像処理装置１の機能的構成を示すブロック図である。画像処理装置１は、医用画像に画像処理を施す装置であり、図１に示すように、制御部１１、記憶部１２、ディープラーニング処理部１３、操作部１４、表示部１５、通信部１６等を備えて構成され、各部はバス１７により接続されている。
【００１６】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等により構成される。制御部１１のＣＰＵは、操作部１４の操作に応じて、記憶部１２に記憶されているシステムプログラムや各種処理プログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って、画像処理装置１各部の動作を集中制御する。また、制御部１１は、記憶部１２の画像ＤＢ（Data Base）１２１に記憶されている医用画像のうち選択された医用画像に対し、後述する構造物減弱処理等を始めとする各種処理を実行する。
【００１７】
記憶部１２は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部１２は、制御部１１で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部１１は、当該プログラムコードに従った動作を逐次実行する。また、記憶部１２には、生体を放射線撮影をすることにより取得された医用画像や所定の構造物を減弱した医用画像を患者情報、撮影部位、日付等に対応付けて記憶する画像ＤＢ１２１が設けられている。
【００１８】
ディープラーニング処理部１３は、医用画像と、その医用画像における所定の構造物の信号成分を表す画像（構造物画像）を１セットの学習用データとして、多数の学習用データセットを用いて、入力された医用画像に画素数を低減するための間引き処理を施した間引き画像（低解像度画像）から所定の構造物の信号成分を抽出し、元の医用画像と同じ画素数の、元の医用画像における所定の構造物の信号成分（高周波成分を含む）を表す構造物画像を生成するように最適化された、複数の畳み込み層を有する畳み込みニューラルネットワークのパラメーターを学習する学習部１３１と、学習部１３１により学習されたパラメーターを用いた畳み込みニューラルネットワークにより、入力された医用画像の間引き画像を入力画像として、入力画像から所定の構造物の信号成分を抽出し、医用画像と同じ画素数（画素間隔）の、医用画像における所定の構造物の信号成分を表す構造物画像を出力する構造物抽出部１３２とを有する。ディープラーニング処理部１３は、制御部１１のＣＰＵと記憶部１２に記憶されているプログラムとの協働により実現されることとしてもよいし、ＧＰＵ（Graphics Processing Unit）により実現されることとしてもよい。
【００１９】
図２は、第１の実施形態における構造物抽出部１３２の処理構成例を示す図である。図２に示すように、構造物抽出部１３２は、ニューラルネットワークの複数の畳み込み層（Conv A1＋ReLU層、Conv A2＋ReLU層、Conv B1＋ReLU層、outputconv層）を有する。畳み込み層では、入力画像に畳み込み処理（Convolution）を行い、得られた演算結果からバイアス項を引いた値を活性化関数（ReLU）に入力して出力画像を生成して出力する。ReLUは、入力νが０以上の値であればνを、負の値である場合は０を出力する関数である。各畳み込み層の入力画像の数、入力画像サイズ、カーネルサイズ、出力画像の数、出力画像サイズは、予め設計により定められており、学習部１３１では、各畳み込み層の畳み込み処理に用いられるカーネルの重み係数及びバイアス項をパラメーターとして学習する。ここで、本願において、画像サイズは、縦の画素数×横の画素数で表し、カーネルサイズは、縦の画素数×横の画素数×深さ方向の画素数で表す。入力画像の画像サイズをＭ×Ｍ、カーネルサイズの縦×横をＮ×Ｎとすると、出力画像サイズは（M−N＋1）×（M−N＋1）となる。
【００２０】
なお、ディープラーニング処理部１３は、畳み込み層だけでなく、プーリング層や全結合層等を有する構成としてもよい。また、畳み込み層で用いられる活性化関数はReLUに限らず、例えば、シグモイド関数であってもよい。また、学習部１３１による学習を予め他の装置で行っておき、ディープラーニング処理部１３には、構造物抽出部１３２のみを備える構成としてもよい。
【００２１】
操作部１４は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部１１に出力する。また、操作部１４は、表示部１５の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部１１に出力する。
【００２２】
表示部１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等のモニターにより構成され、制御部１１から入力される表示信号の指示に従って、操作部１４からの入力指示やデータ等を表示する。
【００２３】
通信部１６は、ＬＡＮアダプターやモデムやＴＡ（Terminal Adapter）等を備え、通信ネットワークに接続された図示しない放射線撮影装置等の外部装置との間のデータ送受信を制御する。
【００２４】
［画像処理装置１の動作］
次に、画像処理装置１の動作について説明する。
図３は、操作部１４により医用画像が選択され、所定の構造物の減弱が指示された場合に、制御部１１により実行される構造物減弱処理を示すフローチャートである。図４は、構造物減弱処理において生成される画像を模式的に示す図である。構造物減弱処理は、制御部１１のＣＰＵと記憶部１２に記憶されているプログラムとの協働により実行される。
【００２５】
なお、医用画像としては、例えば、生体をＸ線撮影することにより得られたＸ線画像（静止画像）、生体を複数回連続的にＸ線撮影することにより得られたＸ線画像（動画像）等を適用することができる。また、所定の構造物としては、例えば、肋骨、鎖骨等の骨部、心臓、血管等の人体の臓器、複数の放射線検出器の一部を重ねて撮影する長尺撮影における他の放射線検出器の外装部の映り込み、人工骨や内視鏡クリップ、ステント、ペースメーカー、チューブ等の人工物等を挙げることができる。
【００２６】
以下の説明では、一例として、処理対象の医用画像の画像サイズが1024×1024である場合を例にとり説明するが、これに限定されるものではない。
【００２７】
まず、制御部１１は、選択された医用画像をディープラーニング処理部１３に入力し、構造物抽出処理を実行させる（ステップＳ１）。
【００２８】
以下、図２を参照して構造物抽出部１３２における構造物抽出処理について説明する。
ディープラーニング処理部１３において、操作部１４により選択された医用画像が入力されると、構造物抽出部１３２は、入力された医用画像に画素数を低減するための間引き処理を実行し、医用画像から１画素間隔で画素値をサンプリングする。間引き処理により生成される間引き画像は、元の医用画像よりも画素数が減少する（ここでは、元の医用画像の１／４（512×512）となる）ため、各畳み込み層における計算回数を減らすことができ、高速に構造物の抽出を行うことができる。
【００２９】
なお、間引き処理においてサンプリングする画素間隔は、１画素に限定されず、２画素間隔、３画素間隔などとしてもよい。画素間隔が大きいほど計算回数の減少量を大きくすることができ、より高速に構造物抽出処理を行うことができる。また、間引き処理は、ユーザーが出力画像の縦横それぞれの画素数を指定して行うこととしてもよい。例えば、元の医用画像の縦横の画素数をそれぞれ(Nin、Min)、間引き画像の画素数を(Nout,Mout)とし、ユーザーが(Nout,Mout)を指定して、最近傍補間法やバイリニア補間法などの縮小画像生成方法により、間引き画像を作成してもよい。これにより、医用画像の画素間隔によらず、常に一定の画素間隔となる間引き画像を生成することができる。
【００３０】
また、入力された医用画像や間引き画像に対し、前処理を行ってもよい。前処理としては、例えば、下記の処理を行うことが好ましい。
・画像全体または局所的なコントラストの正規化処理
・信号値と画素の輝度値の正規化処理
・空間的な平滑化処理によるノイズ抑制処理
・動画の場合、時間方向の平滑化処理によるノイズ抑制処理
これらの前処理を行うことにより、医用画像の特性によらず、安定した構造物抽出を行うことが可能となる。
【００３１】
次いで、構造物抽出部１３２は、間引き画像を入力画像として、入力画像にパディング処理を行う。パディング処理は、入力画像の周りに画素値０の領域を設定することで、Conv A1＋ReLU層での出力画像サイズに合わせて入力画像の画像サイズを調整する処理である。本実施形態では、間引き画像を578×578に調整する。
【００３２】
次いで、構造物抽出部１３２は、パディング処理された間引き画像をConv A1＋ReLU層に入力する。Conv A1＋ReLU層は、６４種類の65×65×1のカーネルを用いて畳み込み処理を行い、所定の構造物の信号成分の特徴を表す６４の出力画像（画像サイズ514×514）を出力する。
【００３３】
次いで、構造物抽出部１３２は、Conv A1＋ReLU層からの出力画像を入力画像としてConv A2＋ReLU層に入力する。Conv A2＋ReLU層は、６４種類の1×1×64のカーネルを用いて畳み込み処理を行い、所定の構造物の信号成分の特徴を表す６４の出力画像（画像サイズ514×514）を出力する。
【００３４】
次いで、構造物抽出部１３２は、Conv A2＋ReLU層からの出力画像に超解像処理を行い、元の医用画像と同じ画素数の、元の医用画像における構造物の信号成分（高周波成分を含む）を表す構造物画像を生成する。
まず、構造物抽出部１３２は、Conv A2＋ReLU層からの出力画像をUp Sampling層に入力する。Up Sampling層は、各入力画像（画像サイズ514×514）にUp Sampling（アップサンプリング）処理を施して、出力画像（画像サイズ1028×1028）を出力する。Up Sampling処理としては、一般的な拡大処理を適用することができる。各画素間を補間する方法としては、例えば、０補間、最近傍法、線形補間法、バイキュービック法等を用いることができる。
【００３５】
次いで、構造物抽出部１３２は、Up Sampling層でUp Sampling処理された画像をConv B1＋ReLU層に入力する。Conv B1＋ReLU層は、所定の構造物の信号成分の特徴を表す３２種類の5×5×64のカーネルを用いて畳み込み処理を行い、３２の出力画像（画像サイズ1024×1024）を出力する。また、構造物抽出部１３２は、Conv B1＋ReLU層からの出力画像を入力画像としてoutputconv層に入力する。outputconv層は、所定の構造物の信号成分の特徴を表す１種類の1×1×32のカーネルを用いて畳み込み処理を行い、１つの構造物画像（画像サイズ1024×1024）を出力する。
【００３６】
ここで、Up Sampling処理された画像は、元の医用画像における所定の構造物のエッジ成分などの高周波成分が失われている（解像度が低下している）が、Conv B1＋ReLU層及びoutputconv層には、元の医用画像における所定の構造物の高周波成分も含んだ信号成分が抽出されるよう、学習部１３１により最適化されたパラメーターが設定されており、Conv B1＋ReLU層及びoutputconv層により、Up Sampling層から出力された画像から元の医用画像における所定の構造物の信号成分（高周波成分を含む）を表す構造物画像を生成することができる。
【００３７】
ここで、各畳み込み層において、入力画像サイズをM×M、入力画像の数をC、カーネルサイズをN×N×C、出力画像数をOとすると、
１画素あたりのカーネルの掛け算の回数：N×N×C
１画素値の足し算の回数：N×N×C  + 1 (1はバイアス項の足し算)
１出力画像あたりの計算画素数：（M-N+1）×（M-N+1）
となるので、畳み込み層１つあたりの計算数は、
（N×N×C  +  N×N×C+1）×（M-N+1）×（M-N+1）×  O・・・（式１）
となる。
すなわち、畳み込み層１つあたりの計算数は、カーネルサイズが大きくなるほど、また、入力画像サイズが大きくなるほど飛躍的に大きくなる。また、畳み込み層が１つ増えるごとに、上記（式１）で算出される数だけ計算量が増える。
【００３８】
本実施形態のディープラーニング処理部１３では、ニューラルネットワーク（畳み込み層）による構造物抽出を元の医用画像よりも少ない画素数で行うとともに、ニューラルネットワークの出力画像をUp Sampling処理し、元の医用画像における所定の構造物の信号成分（高周波成分を含む）を表す構造物画像が出力されるよう最適化された（学習された）パラメーターを用いて、Up Sampling処理された出力画像に畳み込み処理を施すので、高速で高精度な構造物抽出処理が可能となる。
【００３９】
構造物抽出処理が終了し、ディープラーニング処理部１３から構造物画像が出力されると、制御部１１は、出力された構造物画像を用いて、元の医用画像から構造物画像を減算する差分処理を行って、医用画像における構造物の信号成分を減弱する（ステップＳ２）。具体的には、医用画像の各画素から構造物画像の対応する画素の値を減算する。そして、構造物減弱処理を終了する。
【００４０】
ステップＳ２においては、元の医用画像と同じ画素数の、元の医用画像と同様の解像度（高周波成分を含む）の構造物画像を医用画像から減算することにより構造物を減弱するので、従来のように、構造物減弱後の医用画像に構造物のエッジ成分が残存してしまうことを防止することができる。
【００４１】
なお、処理対象の医用画像が動画像である場合は、上記構造物減弱処理のステップＳ１〜Ｓ２を動画像の各フレーム画像に対して行う。そのため、計算量の削減による処理時間短縮効果が大きい。
【００４２】
構造物減弱処理の終了後、制御部１１は、操作部１４からの操作に応じて、構造物が減弱された医用画像を表示部１５に表示させたり、記憶部１２の画像ＤＢ１２１に登録したりする。
【００４３】
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。
第２の実施形態において、ディープラーニング処理部１３の学習部１３１は、医用画像と、その医用画像から抽出された所定の構造物の画像（構造物画像）を１セットの学習用データとして、多数の学習用データセットを用いて、入力された医用画像に画素数を低減するための間引き処理を施した間引き画像（低解像度画像）から所定の構造物の信号成分を抽出して、最終的な出力画像の数が自然数ｎの２乗であり、画素数が元の医用画像の１／ｎ２の出力画像を出力するように最適化された畳み込みニューラルネットワークのパラメーターを学習する。
【００４４】
また、ディープラーニング処理部１３の構造物抽出部１３２は、学習部１３１により学習されたパラメーターを用いて、第１の実施形態とは異なる処理構成で構造物の信号成分の抽出を行う。
図５は、第２の実施形態における構造物抽出部１３２の処理構成例を示す図である。図５に示すように、第２の実施形態において、構造物抽出部１３２は、ニューラルネットワークの複数の畳み込み層（Conv A1＋ReLU層、Conv A2＋ReLU層、Conv A3＋ReLU層、outputconv層）を有する。また、構造物抽出部１３２は、outputconv層から出力された複数（ここでは４つ）の出力画像に結合処理を施して元の医用画像と同じ画素数の、元の医用画像における所定の構造物の信号成分（高周波成分を含む）を表す構造物画像を生成して出力する結合処理層（超解像処理手段）を有する。
なお、結合処理の直前のoutputconv層は、最終的な出力画像の数が自然数ｎの２乗であり、画素数が元の医用画像の１／ｎ２となるように構成されている。また、学習部１３１においては、ニューラルネットワークの最終的な（すなわちoutputconv層の）ｎ２枚の出力画像の対応する画素を予め定められた順序でｎ×ｎの配列に並べることで医用画像の高周波成分を含んだ構造物の信号成分が復元されるように、ｎ２枚の出力画像のそれぞれを取得するためのパラメーターが予め学習されている。
【００４５】
第２の実施形態におけるその他の画像処理装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用する。また、構造物減弱処理の流れについても図３に示すものと同様であり、第２の実施形態では、図３のステップＳ１において構造物抽出部１３２により実行される構造物抽出処理が第１の実施形態と異なるので、以下、図５を参照して、第２の実施形態における構造物抽出処理について説明する。
【００４６】
ディープラーニング処理部１３において、医用画像が入力されると、構造物抽出部１３２は、入力された医用画像に画素数を低減するための間引き処理を実行し、医用画像から１画素間隔で画素値をサンプリングする。間引き処理により生成される間引き画像は、元の医用画像よりも画素数が減少する（元の医用画像の１／４（512×512）となる）ため、ディープラーニング処理部１３での計算回数を減らすことができ、高速に所定の構造物の抽出を行うことができる。間引き処理の詳細については、第１の実施形態で説明したものと同様であるので説明を援用する。
【００４７】
次いで、構造物抽出部１３２は、間引き画像を入力画像として、入力画像にパディング処理を行う。本実施形態では、パディング処理によって間引き画像を578×578に調整する。
【００４８】
次いで、構造物抽出部１３２は、パディング処理された間引き画像をConv A1＋ReLU層に入力する。Conv A1＋ReLU層は、６４種類の65×65×1のカーネルを用いて畳み込み処理を行い、所定の構造物の信号成分の特徴を表す６４の出力画像（画像サイズ514×514）を出力する。
【００４９】
次いで、構造物抽出部１３２は、Conv A1＋ReLU層からの出力画像を入力画像としてConv A2＋ReLU層に入力する。Conv A2＋ReLU層は、６４種類の1×1×64のカーネルを用いて畳み込み処理を行い、所定の構造物の信号成分の特徴を表す６４の出力画像（画像サイズ514×514）を出力する。
【００５０】
次いで、構造物抽出部１３２は、Conv A2＋ReLU層からの出力画像を入力画像としてConv A3＋ReLU層に入力する。Conv A3＋ReLU層は、６４種類の3×3×64のカーネルを用いて畳み込み処理を行い、所定の構造物の信号成分の特徴を表す６４の出力画像（画像サイズ512×512）を出力する。
【００５１】
次いで、構造物抽出部１３２は、Conv A3＋ReLU層からの出力画像を入力画像としてoutputconv層に入力する。outputconv層は、４種類の1×1×64のカーネルを用いて畳み込み処理を行い、所定の構造物の信号成分の特徴を表す４つの出力画像（画像サイズ512×512）を出力する。
【００５２】
次いで、構造物抽出部１３２は、Conv A3＋ReLU層から出力画像された複数の出力画像に結合処理（超解像処理）を施して、元の医用画像と同じ画素数の、元の医用画像における所定の構造物の信号成分（高周波成分を含む）を表す１枚の構造物画像（画像サイズ1024×1024）を生成して出力する。結合処理では、図６に示すように、ｎ２（ここではｎ＝２）枚の出力画像の対応する画素を予め定められた順序でｎ×ｎの配列に並べる処理を各画素位置について行って超解像処理を行うことによって、元の医用画像と同じ画素数の、元の医用画像における所定の構造物の信号成分（高周波成分を含む）を表す構造物画像を生成する。
【００５３】
結合処理は、例えば、図７に示す手法により行うことができる。すなわち、各出力画像において、隣合う画素間にｎ−１個の画素を補間し、補間済みの画像の周囲にｎ−１画素の枠をつける。そして、出力画像毎に切り出し位置をずらして元の医用画像のサイズに切り出し、切り出した複数の出力画像を足し合わせる。これにより、元の医用画像と同じ画素数の、元の医用画像における所定の構造物の信号成分（高周波成分を含む）を生成することができる。なお、結合処理の手法は、これに限定されるものではない。
【００５４】
このように、第２の実施形態のディープラーニング処理部１３では、構造物抽出処理を元の医用画像よりも少ない画素数で行うとともに、ニューラルネットワークの複数の出力画像の対応する画素を予め定められた順序の配列に並べる処理を各画素位置について行うことにより元の医用画像と同じ画素数の、元の医用画像における構造物の信号成分（高周波成分を含む）を表す構造物画像を生成する。したがって、高速で高精度な構造物抽出処理が可能となる。また、第２の実施形態では、元の医用画像の画素数で畳み込み処理を行うことがないため、第１の実施形態に比べてより一層計算量を低減することができ、より高速に構造物抽出処理を行うことが可能となる。さらに、処理対象の医用画像が動画像である場合は、上記構造物減弱処理のステップＳ１〜Ｓ２を動画像の各フレーム画像に対して行うため、計算量の削減による処理時間短縮効果が大きい。
【００５５】
以上、本発明の第１及び第２の実施形態について説明したが、上記実施形態における記述内容は本発明の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、ディープラーニング処理部１３における画素数の変化や計算量をわかりやすくするために、ディープラーニング処理部１３の各処理における入力画像及び出力画像の画像サイズ、カーネルサイズ、出力画像数等の数値例を示したが、これらは一例であり、これらの数値に限定されるものではない。
【００５６】
また、上記実施形態においては、ディープラーニング処理部１３により生成した構造物画像を医用画像の構造物減弱処理に用いる場合を例にとり説明したが、構造物画像を表示部１５に表示して、所定の構造物の観察に用いることとしてもよい。
【００５７】
また、例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
【００５８】
その他、画像処理装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【００５９】
１  画像処理装置
１１  制御部
１２  記憶部
１３  ディープラーニング処理部
１３１  学習部
１３２  構造物抽出部
１４  操作部
１５  表示部
１６  通信部
１７  バス
【図１】
2020036773.tif 000003
【図２】
2020036773.tif 000004
【図３】
2020036773.tif 000005
【図４】
2020036773.tif 000006
【図５】
2020036773.tif 000007
【図６】
2020036773.tif 000008
【図７】
2020036773.tif 000009