(57)【要約】【課題】診断に有用な情報を効率的に得ること。【解決手段】    実施形態に係る医用画像処理装置は、処理部を備える。処理部は、各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットに基づいて、各走査線について第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットを疑似的に表す出力データセットを生成する学習済モデルに対して、第１のデータセットを入力することで、出力データセットを生成する。【選択図】図１
2020179029.tif 000002
【特許請求の範囲】
【請求項１】
各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットに基づいて、各走査線について前記第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットを疑似的に表す出力データセットを生成する学習済モデルに対して、前記第１のデータセットを入力することで、前記出力データセットを生成する処理部を備えた医用画像処理装置。
【請求項２】
前記第１のデータセット及び前記出力データセットは、それぞれ画像データセットを含む、請求項１に記載の医用画像処理装置。
【請求項３】
前記第１のデータセット及び前記出力データセットは、それぞれ走査線データセットを生成するための複数のチャンネルデータセットを含む、請求項１に記載の医用画像処理装置。
【請求項４】
前記出力データセットは、各走査線について送信パラメータを変化させながら前記第２の回数ずつ超音波を送信することで得られる前記第２のデータセットを疑似的に表す、請求項１乃至３のうちいずれか一つに記載の医用画像処理装置。
【請求項５】
前記送信パラメータは、送信する超音波の位相を含む、請求項４に記載の医用画像処理装置。
【請求項６】
前記学習済モデルは、複数の第１走査線データセットに基づく線形成分画像データセットを入力、前記複数の第１走査線データセットを含む複数の第２走査線データセット群に基づく非線形成分画像データセットを出力とした学習により作成され、
前記複数の第２走査線データセットは、各走査線について前記第２の回数ずつ連続的に送受信された超音波に対応する、請求項２に記載の医用画像処理装置。
【請求項７】
前記非線形成分画像データセットは、前記複数の第２走査線データセットを走査線ごとに合成することで生成される、請求項６に記載の医用画像処理装置。
【請求項８】
前記学習済モデルは、前記複数の第２走査線データセットに含まれ、前記複数の第１走査線データセットとは異なる複数の第３走査線データセットに基づく別の線形成分画像データセットを入力、前記非線形成分画像データセットを出力とした学習により作成される、請求項７に記載の医用画像処理装置。
【請求項９】
前記複数の第１走査線データセットは、第１の位相で送信された超音波に対応し、
前記複数の第３走査線データセットは、前記第１の位相とは異なる第２の位相で送信された超音波に対応する、請求項８に記載の医用画像処理装置。
【請求項１０】
前記学習済モデルは、複数の第１チャンネルデータセットを入力、前記複数の第１チャンネルデータセットと複数の第２チャンネルデータセットを、チャンネル毎に合成して得られる複数の第３チャンネルデータセットを出力とした学習により作成され、
前記複数の第１チャンネルデータセット及び前記複数の第２チャンネルデータセットは、同じ走査線について前記第２の回数ずつ連続的に送受信された超音波に対応する、請求項３に記載の医用画像処理装置。
【請求項１１】
前記非線形成分画像データセットは、前記複数の第２走査線データセットそれぞれに含まれる２次以上の高周波成分、差音成分、及び和音成分のうち少なくとも１つに基づく画像データセットである、請求項７に記載の医用画像処理装置。
【請求項１２】
前記学習済モデルは、複数の第１走査線データセットに基づく第１の非線形成分画像データセットを入力、前記複数の第１走査線データセットを含む複数の第２走査線データセットに基づく第２の非線形成分画像データセットを出力とした学習により生成され、
前記複数の第２走査線データセットは、各走査線について第２の回数ずつ連続的に送受信された超音波に対応する、請求項２に記載の医用画像処理装置。
【請求項１３】
前記第１の非線形成分画像データセットは、前記複数の第１走査線データセットに周波数フィルタを適用することで生成され、
前記第２の非線形成分画像データセットは、前記複数の第２走査線データセットを走査線毎に合成することで生成される、請求項１２に記載の医用画像処理装置。
【請求項１４】
前記第１の回数は１であり、前記第２の回数は２である、請求項１に記載の医用画像処理装置。
【請求項１５】
前記学習済モデルは、前記第１のデータセットに基づいて、方位分解能及び距離分解能が前記第１のデータセットよりも高い前記出力データセットを生成する、請求項１に記載の医用画像処理装置。
【請求項１６】
前記画像データセットは、心臓を含み、
前記線形成分画像データセット及び前記非線形成分画像データセットは、心臓を含まない、
請求項６に記載の医用画像処理装置。
【請求項１７】
前記複数の第３チャンネルデータセットは、心臓に対する超音波送受信により得られ、
前記複数の第１チャンネルデータセット及び前記複数の第２チャンネルデータセットは、心臓とは異なる部位に対する超音波送受信により得られる、
請求項１０に記載の医用画像処理装置。
【請求項１８】
前記第１のデータセットと前記出力データセットを、距離方向の位置に応じた比率で合成して合成データセットを生成する合成部を備えた、請求項１に記載の医用画像処理装置。
【請求項１９】
走査線について第１の回数だけ超音波を送受信して得られる第１走査線データセットに基づいて、前記走査線について前記第１の回数より多い第２の回数だけ超音波を送受信して得られる第２走査線データセットを疑似的に表す出力データセットを生成する学習済モデルに対して、前記第１走査線データセットを入力することで、前記出力データセットを生成する処理部と、
前記出力データセットに基づいて画像を生成する画像生成部と、
を備える、医用画像処理装置。
【請求項２０】
各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットに基づいて、各走査線について前記第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットと、前記第１のデータセットとの違いを表す出力データセット
を生成する学習済モデルに対して、前記第１のデータセットを入力することで、前記出力データセットを生成する処理部を備えた医用画像処理装置。
【請求項２１】
請求項１乃至２０のいずれか一つに記載の前記医用画像処理装置を含む、超音波診断装置。
【請求項２２】
複数の第１走査線データセットに基づく線形成分画像データセット又は第１の非線形成分画像データセットと、前記複数の第１走査線データセットを含む複数の第２走査線データセットに基づく第２の非線形成分画像データセットとを取得するステップと、
前記線形成分画像データセット又は前記第１の非線形成分画像データセットを入力側の学習用データセットと、前記第２の非線形成分画像データセットを出力側の学習用データセットとして使用し、学習済モデルを作成するステップと、
を含む、学習済モデルの作成方法。
【請求項２３】
前記学習済モデルは、各走査線について第１の回数ずつ超音波を送受信して得られた第１の画像データセットが入力されることで、各走査線について前記第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２の画像データセットを疑似的に表す出力画像データセットを生成する、請求項２２に記載の学習済モデルの作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、医用画像処理装置、超音波診断装置及び学習済モデルの作成方法に関する。
【背景技術】
【０００２】
超音波診断装置において、位相、偏向角、周波数等の送信パラメータを変化させながら、走査線毎に超音波を複数回送受信し、得られた同一走査線に関する受信信号を合成することで、高画質な画像を得る技術がある。このような技術の例として、例えば、ＴＨＩ（Ｔｉｓｓｕｅ  Ｈａｒｍｏｎｉｃ  Ｉｍａｇｉｎ）や、Ｄｉｆｆ−ＴＨＩ（Ｄｉｆｆｅｒｅｎｔｉａｌ  ｔｉｓｓｕｅ  Ｈａｒｍｏｎｉｃ  Ｉｍａｇｉｎｇ）等の方法がある。
【０００３】
しかし、これら、一つの走査線あたり複数回超音波を送受信して高次高調波の信号を抽出する技術においては、一つの走査線あたり超音波を１回送受信する技術と比較して、一つのフレームの画像を得るために要する時間が大きくなる。この結果、フレームレートは低くなる。つまり、上記の例の場合、画質とフレームレートは、トレードオフの関係にある。
【０００４】
加えて、心臓など高速で動く部位においては、一つの走査線あたり超音波を複数回送受信した場合、次の超音波を送受信するまでに部位が動いてしまい、画質が劣化する。そのため、これらの部位においては、一つの走査線あたり超音波を複数回送受信して撮影するのが難しい場合がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１５／０３２４９５７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、診断に有用な情報を効率的に得ることである。
【課題を解決するための手段】
【０００７】
実施形態に係る医用画像処理装置は、処理部を備える。処理部は、各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットに基づいて、各走査線について第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットを疑似的に表す出力データセットを生成する学習済モデルに対して、第１のデータセットを入力することで、出力データセットを生成する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る医用画像処理装置及び超音波診断装置を示す図である。
【図２】図２は、第１の実施形態に係る医用画像処理装置が行う学習の処理の流れについて説明したフローチャートである。
【図３】図３は、第１の実施形態に係る医用画像処理装置の行う処理について説明した図である。
【図４】図４は、第１の実施形態に係る医用画像処理装置の行う処理について説明した図である。
【図５】図５は、第１の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
【図６】図６は、第１の実施形態の第１の変形例に係る医用画像処理装置の行う処理について説明した図である。
【図７】図７は、第１の実施形態の第３の変形例に係る医用画像処理装置の行う処理について説明した図である。
【図８】図８は、第１の実施形態の第３の変形例に係る医用画像処理装置の行う処理について説明した図である。
【図９】図９は、第２の実施形態に係る医用画像処理装置が行う学習の処理の流れについて説明したフローチャートである。
【図１０】図１０は、第２の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
【図１１】図１１は、第４の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
【図１２】図１２は、第４の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。ここで、互いに同じ構成には共通の符号を付して、重複する説明は省略する。
【００１０】
（第１の実施形態）
まず、第１の実施形態に係る医用画像処理装置及び超音波診断装置の構成について説明する。図１は、第１の実施形態に係る医用画像処理装置及び超音波診断装置の構成例を示すブロック図である。図１に例示するように、第１の実施形態に係る超音波診断装置は、超音波プローブ５と、超音波診断装置本体１０とを有する。超音波診断装置本体１０は、送信回路９と、受信回路１１と、医用画像処理装置１００とを有する。
【００１１】
超音波プローブ５は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する超音波診断装置本体１０が有する送信回路９から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ５が有する複数の圧電振動子は、被検体Ｐからの反射波を受信して電気信号（反射波信号）に変換する。また、超音波プローブ５は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ５は、超音波診断装置本体１０と着脱自在に接続される。
【００１２】
超音波プローブ５から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波として超音波プローブ５が有する複数の圧電振動子にて受信され、反射波信号に変換される。反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合、反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
【００１３】
なお、実施形態は、超音波プローブ５が、被検体Ｐを２次元で走査する１Ｄアレイプローブであっても、被検体Ｐを３次元で走査するメカニカル４Ｄプローブや２Ｄアレイプローブであっても適用可能である。
【００１４】
超音波診断装置本体１０は、超音波プローブ５から受信した反射波信号に基づいて超音波画像データを生成する装置である。図１に示す超音波診断装置本体１０は、２次元の反射波信号に基づいて２次元の超音波画像データを生成可能であり、３次元の反射波信号に基づいて３次元の超音波画像データを生成可能な装置である。ただし、実施形態は、超音波診断装置１０が、２次元データ専用の装置である場合であっても適用可能である。
【００１５】
超音波診断装置１０は、図１に例示するように、送信回路９と、受信回路１１と、医用画像処理装置１００とを備える。
【００１６】
送信回路９及び受信回路１１は、後述する制御機能１１０ｙを有する処理回路１１０の指示に基づいて、超音波プローブ５が行なう超音波送受信を制御する。送信回路９は、パルス発生器、送信遅延部、パルサ等を有し、超音波プローブ５に駆動信号を供給する。パルス発生器は、所定のパルス繰り返し周波数（ＰＲＦ：Pulse  Repetition  Frequency）で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延部は、超音波プローブ５から発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ５に駆動信号（駆動パルス）を印加する。
【００１７】
すなわち、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波の送信方向を任意に調整する。また、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、超音波送信の深さ方向における集束点（送信フォーカス）の位置を制御する。
【００１８】
なお、送信回路９は、後述する処理回路１１０の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は、複数の電源ユニットを電気的に切り替える機構によって実現される。
【００１９】
また、受信回路１１は、アンプ回路、Ａ／Ｄ（Analog／Digital）変換器、受信遅延回路、加算器、直交検波回路等を有し、超音波プローブ５から受信した反射波信号に対して各種処理を行って受信信号（反射波データ）を生成する。アンプ回路は、反射波信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をＡ／Ｄ変換する。受信遅延回路は、デジタルデータに受信指向性を決定するのに必要な受信遅延時間を与える。加算器は、受信遅延回路により受信遅延時間が与えられた反射波信号の加算処理を行う。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。そして、直交検波回路は、加算器の出力信号をベースバンド帯域の同相信号（Ｉ信号、Ｉ：In-phase）と直交信号（Ｑ信号、Ｑ：Quadrature-phase）とに変換する。そして、直交検波回路は、Ｉ信号及びＱ信号（以下、ＩＱ信号と記載する）を受信信号（反射波データ）として処理回路１１０に送信する。なお、直交検波回路は、加算器の出力信号を、ＲＦ（Radio  Frequency）信号に変換した上で、処理回路１１０に送信しても良い。ＩＱ信号及びＲＦ信号は、位相情報を有する受信信号となる。
【００２０】
送信回路９は、被検体Ｐ内の２次元領域を走査する場合、超音波プローブ５から２次元領域を走査するための超音波ビームを送信させる。そして、受信回路１１は、超音波プローブ５から受信した２次元の反射波信号から２次元の受信信号を生成する。また、送信回路９は、被検体Ｐ内の３次元領域を走査する場合、超音波プローブ５から３次元領域を走査するための超音波ビームを送信させる。そして、受信回路１１は、超音波プローブ５から受信した３次元の反射波信号から３次元の受信信号を生成する。受信回路１１は、反射波信号を基に、受信信号を生成し、生成した受信信号を、処理回路１１０に送信する。
【００２１】
送信回路９は、超音波プローブ５に、所定の送信位置（送信走査線）から、超音波ビームを送信させる。受信回路１１は、超音波プローブ５から、所定の受信位置（受信走査線）において、送信回路９が送信した超音波ビームの反射波による信号を受信する。並列同時受信を行わない場合、送信走査線と受信走査線は同一の走査線になる。一方、並列同時受信を行う場合には、送信回路９が１回の超音波ビームを１つの送信走査線で超音波プローブ５に送信させると、受信回路１１は、送信回路９が超音波プローブ１に送信させた超音波ビームに由来する反射波による信号を、複数本の受信ビームとして複数の所定の受信位置（受信走査線）で超音波プローブ５を通じて同時に受信する。
【００２２】
医用画像処理装置１００は、送信回路９及び受信回路１１に接続され、受信回路１１から受信した信号の処理、送信回路９の制御とともに、学習済モデルの生成、学習済モデルの実行、及び様々な画像処理を実行する。医用画像処理装置１００は、処理回路１１０と、メモリ１３２と、入力装置１３４と、ディスプレイ１３５とを備える。処理回路１１０は、Ｂモード処理機能１１０ａ、ドプラ処理機能１１０ｂ、訓練データ作成機能１１０ｃ、学習機能１１０ｄ、インタフェース機能１１０ｘ、制御機能１１０ｙ及び生成機能１１０ｚとを備える。
【００２３】
実施形態では、Ｂモード処理機能１１０ａ、ドプラ処理機能１１０ｂ、訓練データ作成機能１１０ｃ、学習機能１１０ｄ、インタフェース機能１１０ｘ、制御機能１１０ｙ、生成機能１１０ｚにて行われる各処理機能及び学習済モデルは、コンピュータによって実行可能なプログラムの形態でメモリ１３２へ記憶されている。処理回路１１０はプログラムをメモリ１３２から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１１０は、図１の処理回路１１０内に示された各機能を有することになる。また、学習済モデルに対応するプログラムを読み出した状態の処理回路１１０は、当該学習済モデルに従った処理を行うことができる。なお、図１においては処理回路１１０の機能が単一の処理回路により実現されるものとして説明するが、複数の独立したプロセッサを組み合わせて処理回路１１０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよい。また、単一の処理回路により、処理回路１１０、の有する機能のうち２以上の機能が実現されてもよい。別の例として、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
【００２４】
なお、図１において、処理回路１１０、Ｂモード処理機能１１０ａ、ドプラ処理機能１１０ｂ、訓練データ作成機能１１０ｃ、学習機能１１０ｄ、インタフェース機能１１０ｘ、制御機能１１０ｙ、及び生成機能１１０ｚは、それぞれ処理部、Ｂモード処理部、ドプラ処理部、作成部、学習部、受付部、制御部、生成部の一例である。生成機能１１０ｚは、後述する合成部としての機能も更に備える。
【００２５】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサはメモリ１３２に保存されたプログラムを読み出し実行することで機能を実現する。
【００２６】
また、メモリ１３２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。従って、例えばメモリ１３２に学習済モデルが保存される代わりに、プロセッサの回路内に学習済モデルに係るプログラムが直接組み込まれていてもよい。また、超音波診断装置本体１０に内蔵される送信回路９、受信回路１１等は、集積回路等のハードウェアで構成されることもあるが、ソフトウェア的にモジュール化されたプログラムである場合もある。
【００２７】
処理回路１１０は、受信回路１１から受信した受信信号に対して、各種の信号処理を行なう処理部である。処理回路１１０は、Ｂモード処理機能１１０ａ、ドプラ処理機能１１０ｂ、訓練データ作成機能１１０ｃ、学習機能１１０ｄ、インタフェース機能１１０ｘ、制御機能１１０ｙ及び生成機能１１０ｚを有する。
【００２８】
処理回路１１０は、Ｂモード処理機能１１０ａにより、受信回路１１からデータを受信し、対数増幅処理、包絡線検波処理、対数圧縮処理等を行なって、信号強度が輝度（Ｂｒｉｇｈｔｎｅｓｓ）の明るさで表現されるデータ（Ｂモードデータ）を生成する。
【００２９】
また、処理回路１１０は、ドプラ処理機能１１０ｂにより、受信回路１１から受信した受信信号（反射波データ）から速度情報を周波数解析し、ドプラ効果による速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。
【００３０】
なお、図１に例示するＢモード処理機能１１０ａ及びドプラ処理機能１１０ｂにおいては、２次元の反射波データ及び３次元の反射波データの両方について処理可能である。
【００３１】
処理回路１１０は、インタフェース機能１１０ｘにより、受信回路１１やメモリ１３２から、生成機能１１０ｚによる画像生成のためのデータや画像等を取得する。
【００３２】
処理回路１１０は、訓練データ生成機能１１０ｃにより、インタフェース機能１１０ｙにより取得されたデータや画像に基づいて、学習を行うための訓練データを生成する。訓練データ生成機能１１０ｃａ及び学習機能１１０ｄの処理の詳細については後述する。
【００３３】
処理回路１１０は、学習機能１１０ｄにより、訓練データ作成機能１１０ｃにより生成された訓練データを用いて学習を行い、学習済モデルを生成する。
【００３４】
処理回路１１０は、制御機能１１０ｙにより、超音波診断装置の処理全体を制御する。具体的には、処理回路１１０は、制御機能１１０ｙにより、入力装置１３４を介して操作者から入力された各種設定要求や、メモリ１３２から読込んだ各種制御プログラム及び各種データに基づき、送信回路９、受信回路１１、処理回路１１０の処理を制御する。また、処理回路１１０は、制御機能１１０ｙにより、メモリ１３２が記憶する表示用の超音波画像データをディスプレイ１３５にて表示するように制御する。
【００３５】
処理回路１１０は、生成機能１１０ｚにより、Ｂモード処理機能１１０ａ及びドプラ処理機能１１０ｂにより生成されたデータから超音波画像データを生成する。処理回路１１０は、生成機能１１０ｚにより、Ｂモード処理機能１１０ａにより生成された２次元のＢモードデータから反射波の強度を輝度で表した２次元Ｂモード画像データを生成する。また、処理回路１１０は、生成機能１１０ｚにより、ドプラ処理機能１１０ｂにより生成された２次元のドプラデータから移動体情報を表す２次元ドプラ画像データを生成する。２次元ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。
【００３６】
また、処理回路１１０は、生成機能１１０ｚにより、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像データを生成する。また、処理回路１１０は、生成機能１１０ｚにより、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行なう。また、処理回路１１０は、生成機能１１０ｚにより、ボリュームデータをディスプレイ１３５にて表示するための２次元画像データを生成するために、ボリュームデータに対して各種レンダリング処理を行なう。
【００３７】
また、処理回路１１０は、生成機能１１０ｚにより、訓練データ生成機能１１０ｃ及び学習機能１１０ｄを用いて行われた処理の結果に基づいて画像を生成する。また、処理回路１１０は、生成機能１１０ｚにより、学習機能１１０ｄにより生成された学習済モデルを入力画像に対して適用し、学習済モデルの適用結果に基づいて画像を生成する。
【００３８】
メモリ１３２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等で構成される。メモリ１３２は、処理回路１１０が生成した表示用の画像データ、訓練用の画像データ等のデータを記憶するメモリである。また、メモリ１３２は、Ｂモード処理機能１１０ａやドプラ処理機能１１０ｂにおいて生成されたデータを記憶することも可能である。メモリ１３２が記憶するＢモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、処理回路１１０を経由して表示用の超音波画像データとなる。また、メモリ１３２は、受信回路１１が出力した受信信号（反射波データ）を記憶することも可能である。
【００３９】
加えて、メモリ１３２は、必要に応じて、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。
【００４０】
入力装置１３４は、操作者からの各種指示や情報入力を受け付ける。入力装置１３４は、例えば、マウスやトラックボール等のポインティングデバイス、モード切替スイッチ等の選択デバイス、あるいはキーボード等の入力デバイスである。
【００４１】
ディスプレイ１３５は、制御機能１１０ｙ等による制御の下、撮像条件の入力を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）や、生成機能１１０ｚ等によって生成された画像等を表示する。ディスプレイ１３５は、例えば、液晶表示器等の表示デバイスである。ディスプレイ１３５は、表示部の一例である。ディスプレイ１３５は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有する。
【００４２】
続いて、実施形態に係る背景について簡単に説明する。
【００４３】
超音波診断装置において、位相、偏向角、周波数等の送信パラメータを変化させながら、走査線毎に超音波を複数回送受信し、得られた同一走査線に関する受信信号を合成することで、高画質な画像を得る技術がある。変化させるパラメータが位相である例として、ＴＨＩ（Ｔｉｓｓｕｅ  Ｈａｒｍｏｎｉｃ  Ｉｍａｇｉｎ）や、Ｄｉｆｆ−ＴＨＩ（Ｄｉｆｆｅｒｅｎｔｉａｌ  ｔｉｓｓｕｅ  Ｈａｒｍｏｎｉｃ  Ｉａｍａｇｉｎｇ）の方法がある。
【００４４】
しかし、これら、一つの走査線あたり超音波を複数回送受信する技術においては、一つの走査線あたり超音波を１回送受信する技術と比較して、一つのフレームの画像を得るために要する時間が大きくなる。（フレームレートは低くなる）。つまり、上記の例の場合、画質とフレームレートは、トレードオフの関係にある。
【００４５】
加えて、心臓など高速で動く部位においては、一つの走査線あたり超音波を複数回送受信した場合、次の超音波を送受信するまでに部位が動いてしまい、画質が劣化する。そのため、これらの部位においては、一つの走査線あたり超音波を複数回送受信するのが難しい場合がある。
【００４６】
かかる背景に鑑みて、実施形態に係る医用画像処理装置１００においては、処理回路１１０は、学習機能１１０ｄにより、各走査線について第１の回数ずつ超音波を送受信して得られた第１の画像ないし信号と、各走査線について前記第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２の画像ないし信号とをそれぞれ入力画像ないし信号、出力画像ないし信号として、学習を行い、学習済モデルを生成する。これにより、各走査線において第１の回数ずつ超音波送信をして得られた第１の画像ないし信号を基に、各走査線において第１の回数より大きい回数である第２の回数ずつ超音波送信をして得られた画像に相当する画像を得ることができる。
【００４７】
かかる構成について、図２〜図８を用いて説明する。本例では、関連する入出力データは、画像データを用いて説明するが、必ずしも画像データに限定せず、画像構成する前に取得される、RF信号データ群やIQデータ群を用いても良い。
【００４８】
はじめに、図２を用いて、処理回路１１０が訓練データ作成機能１１０ｃ及び学習機能１１０ｄにより行う、学習済モデルの生成手順について説明する。図２は、第１の実施形態に係る医用画像処理装置が行う学習の処理の流れについて説明したフローチャートである。
【００４９】
はじめに、送信回路９は、超音波プローブ５に、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送信させる。ここで、例えば第１の回数は１であり、第２の回数は２である。また、送信パラメータとは、例えば送信する超音波の位相である。上述の例では、送信回路９は、超音波プローブ５に、各走査線について送信する超音波の位相を変化させながら各走査線で２回ずつ超音波を送信させる。なお、送信する超音波の位相を変化させることは、この超音波に含まれる全ての周波数成分の位相を変化させるということに限定されず、少なくとも１つの周波数成分の位相を変化させることを含む。また、送信する超音波の位相を変化させることは、直接的に送信する超音波の位相を制御することに限定されず、送信する超音波の位相を結果的に変化させることを含む。一例として、圧電振動子に適用する駆動信号の形状（波形）を変えることは、送信する超音波の位相を結果的に変化させ得る。
【００５０】
続いて、受信回路９は、超音波プローブ５に、送信回路９が送信させた超音波に対応する受信信号を、第１の受信信号群を含む第２の受信信号群として受信させる。第２の受信信号群は、各走査線について第２の回数ずつ連続的に送受信された超音波に対応する受信信号群であり、後述の処理において、例えば非線形成分画像を生成するために使用される受信信号群である。同時に、受信回路９が超音波プローブ５に受信させた第２の受信信号群の中には、後述の処理において、例えば線形成分画像を生成するために使用される第１の受信信号群が含まれる。
【００５１】
例えば、図３に示されるように、送信回路９が、超音波プローブ５に各走査線について送信させる超音波の位相を、第１の超音波送信で初期位相を第１の位相、例えば０度で、第２の超音波送信で初期位相を第１の位相とは異なる第２の位相、例えば１８０度で、各走査線で２回ずつ超音波を送信させた場合を考える。この場合、受信回路９は、超音波プローブ５に、図３に示されるように、初期位相が０度の超音波送信に対応する第１の超音波送受信からなる第１の受信信号群２０ａと、初期位相が１８０度の超音波送信に対応する第３の受信信号群２０ｂとを受信させる。ここで、第１の受信信号群２０ａ及び第３の受信信号群２０ｂは第２の受信信号群を構成し、ＴＨＩ（Ｔｉｓｓｕｅ  Ｈａｒｍｏｎｉｃ  Ｉｍａｇｉｎｇ）画像である第２の画像２を生成するために用いられる。また、第１の受信信号群２０ａは、基本波画像である第１の画像１を生成するために用いられる。なお、ここでいう基本波画像とは、高次高調波成分が０であることを必ずしも要求するものではなく、実施形態において、基本波画像の中に、少量の高次高調波成分が混じっていても良い。なお、以下、送信回路９が超音波プローブ５に送信させる超音波が、単一の周波数成分からなる場合について説明する。
【００５２】
図２に戻り、ステップＳ１１０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、複数の第１走査線データセットである第１の受信信号群２０ａに基づいて、線形成分画像であり基本波画像である第１の画像１を、線形成分画像データセットである第１のデータセットとして生成する。第１の受信信号群２０ａは、各走査線において第１の回数ずつ超音波を送受信して得られたデータに対応する。従って、第１の画像は、各走査線について第１の回数ずつ超音波を送受信して得られた画像である。
【００５３】
なお、以下、「画像データセット」とは、画像に係るデータセットであって、当該データセットから、画像を直接的、間接的に構成することができるような様々な種類のデータセットのことを指す。従って、画像それ自身は画像データセットのとりうるデータ形態の一例であり、画像データセットの一例に含まれるが、画像データセットの有するデータ形態はそれに限られず、一見すると画像とは異なる形態のデータであっても、適切な処理のもと画像を構成することができるような種々のデータセットを含む。
【００５４】
また、ステップＳ１１０において処理回路１１０が訓練データ作成機能１１０ｃにより第１の画像１を生成する代わりに、処理回路１１０は、例えばインタフェース機能１１０ｘにより、メモリ１３２又は外部の記憶装置から、第１の受信信号群２０ａに基づく第１の線形成分画像又は非線形成分画像を第１の画像１として取得してもよい。
【００５５】
続いて、ステップＳ１２０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、複数の第１走査線データセットである第１の受信信号群２０ａと、第１の受信信号群２０ａとは異なる複数の第３走査線データセットである第３の受信信号群２０ｂ等から構成され、第１の受信信号群２０ａを含む複数の第２走査線データセットである第２の受信信号群に基づいて、非線形成分画像でありＴＨＩ画像である第２の画像２を、非線形成分画像データセットである第２のデータセットとして生成する。第２の画像２は、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送受信することで得られる画像である。非線形成分画像データセットである第２の画像２は、複数の第２走査線データセットである第２の受信信号群を走査線ごとに合成することで生成され、例えば第２の受信信号群を構成する各受信信号に含まれる２次以上の高周波成分、差音成分、及び和音成分のうち少なくとも１つに基づく画像データセットである。図３の例では、処理回路１１０は、訓練データ作成機能１１０ｃにより、第２の受信信号群を、走査線ごとに重み付け加算することで、第２の画像２を生成する。
【００５６】
第２の画像２は、第１の画像１と比較して、各走査線あたりのデータ量が多く、例えばより高次高調波の成分まで描出された画像となっており、より高画質な画像となっている。
【００５７】
なお、ステップＳ１２０において、処理回路１１０が訓練データ作成機能１１０ｃにより第２の画像２を第２のデータセットとして生成する代わりに、処理回路１１０は、例えばインタフェース機能１１０ｘにより、メモリ１３２又は外部の記憶装置から、第１の受信信号群を含む第２の受信信号群に基づく非線形成分画像（ステップＳ１１０において非線形成分画像を取得した場合には、当該非線形成分画像とは異なる非線形成分画像）を第２の画像２として取得してもよい。
【００５８】
続いて、ステップＳ１３０において、処理回路１１０は、学習機能１１０ｄにより、第１のデータセット及び第２のデータをそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する。具体的には、処理回路１１０は、学習機能１１０ｄにより、第１の画像１及び第２の画像２をそれぞれ入力データ、出力データの組として、例えばニューラルネット等を用いて学習を実行して学習済モデルを生成する。例えば、処理回路１１０は、学習機能１１０ｄにより、学習済モデルを、複数の第１走査線データセットである第１の受信信号群２０ａに基づく線形成分画像データセットである線形成分画像である第１の画像１を入力、第１の受信信号群２０ａを含み、各走査線について第２の回数ずつ連続的に送受信された超音波に対応する複数の第２走査線データセットである第２の受信信号群に基づく非線形成分画像データセットである非線形成分画像である第２の画像２を出力とした学習により作成する。すなわち、処理回路１１０は、学習機能１１０ｄにより、線形成分画像（又は非線形画像）を入力側の学習データと、非線形画像（入力側の学習データとして非線形画像を取得した場合には、当該非線形画像とは異なる非線形画像）を出力側の学習データとして使用し、学習済モデルを作成する。かかる学習済モデルは、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像が第１のデータセットとして入力されることで、各走査線について第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセット（例えば画像）を疑似的に表す出力画像を出力データセットとして生成する。
【００５９】
例えば、図４に示されているように、処理回路１１０は、学習機能１１０ｄにより、第１のデータセットの一例である第１の画像１及び第２のデータセットの一例である第２の画像２をそれぞれニューラルネットワーク３０に対する入力データ、出力データの組として学習を実行して、ニューラルネットワーク３０の重みを調整することにより、学習済モデルを生成する。
【００６０】
このようにして生成された学習済モデルは、各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットである第１の画像１に基づいて、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットである第２の画像２を疑似的に表す出力データセットである画像を生成する学習済モデルになっている。ここで生成された学習済モデルは、学習済モデルの実行時、入力画像に基づいて処理回路１１０により処理が行われることにより、方位分解能及び距離分解能が入力画像よりも高い出力画像を生成する。
【００６１】
なお、処理回路１１０は、学習機能１１０ｄにより、ステップＳ１３０の学習済モデルの生成時、画像全体を用いて学習を行ってもよいし、第１の画像１及び第２の画像２のうちの一部分を抽出して、その部分に関してのみ学習を行ってもよい。処理回路１１０が学習機能１１０ｄにより、ステップＳ１３０における学習済モデルの生成時、画像のうち一部分を抽出する場合、ランダム抽出により当該一部分を生成してもよいし、またパターンマッチング等を用いて特定の部位を抽出してもよい。
【００６２】
例えば、処理回路１１０は、学習機能１１０ｄにより、例えばあらかじめ設定された解析窓を用いて、学習済モデルを生成してもよい。例えば、処理回路１１０は、学習機能１１０ｄにより、第１の画像１及び第２の画像２のそれぞれの画像のうち、設定された解析窓の中にあるデータのみを学習対象とし、設定された解析窓の外になるデータを学習の対象としない。処理回路１１０は、例えばインタフェース機能１１０ｘにより、かかる解析窓の設定に関する入力をユーザから受け付けても良い。
【００６３】
なお、特定の部位を抽出する場合において、学習時に用いられる画像の部位と、学習済モデルの実行時に用いられる画像の部位とは必ずしも同じである必要はなく、学習時に用いられる画像の部位と、学習済モデルの実行時に用いられる画像の部位とは異ならせることができる。
【００６４】
一例として、処理回路１１０は、学習機能１１０ｄにより、高速で動くため走査線毎に複数回の超音波送信を行うことが難しい部位以外の部位において学習を行う。例えば、第処理回路１１０は、学習機能１１０ｄにより、心臓以外の部位の画像を線形成分画像である第１の画像及び非線形成分画像である第２の画像として用いて学習を行う。続いて、学習済モデルの実行時、処理回路１１０は、生成機能１１０ｚにより、高速で動くため走査線毎に複数回の超音波送信を行うことが難しい部位の画像を学習済モデルに入力する。
【００６５】
例えば、学習済モデルの実行時、処理回路１１０は、生成機能１１０ｚにより、心臓を含む画像を、学習済モデルに入力画像として入力する。換言すると、学習済モデルの実行時において入力画像は心臓を含む一方で、学習に用いる線形成分画像である第１の画像１及び非線形成分画像である第２の画像２は、心臓を含まない。換言すると、学習済モデルの実行時における第１のデータセットは、心臓を含む領域に対する超音波の送受信により得られる一方で、学習に用いる線形成分画像である第１の画像１及び非線形成分画像である第２の画像２は、心臓を含まない。このことにより、処理回路１１０は、生成機能１１０ｚにより、高速で動くため走査線毎に複数回の超音波送信を行うことが難しい部位、例えば心臓の部位における、複数回の超音波送信により得られた画像に相当する画像を、出力画像として得ることができる。
【００６６】
また、処理回路１１０は、学習機能１１０ｄにより、第１の画像及び第２の画像を部位毎に分類し、異なる部位毎に別々に学習を行っても良い。また、ステップＳ１３０において、出力データセットのデータ形式は、画像に限られない。例えば、処理回路１１０は、学習機能１１０ｄにより、走査線について第１の回数だけ超音波を送受信して得られる第１の走査線データセットに基づいて、当該走査線について第１の回数より多い第２の回数だけ超音波を送受信して得られる第２の走査線データセットを疑似的に表す出力データセットを生成する学習済モデルに対して、第１走査線データセットを入力することで、出力データセットを生成し、生成機能１１０ｚにより、当該出力データセットに基づいて画像を生成してもよい。
【００６７】
ステップＳ１３０における学習方法の一例として、処理回路１１０は、学習機能１１０ｄにより、逆誤差伝播法を用いて学習を実行して学習済モデルを生成する。また、処理回路１１０は、学習機能１１０ｄにより、自己符号化を用いた深層学習を行って学習を実行して学習済モデルを生成してもよい。
【００６８】
続いて、処理回路１１０が学習機能１１０ｄに基づいて生成した学習済モデルの実行について説明する。図５は、第１の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
【００６９】
はじめに、ステップＳ２１０において、処理回路１１０は、インタフェース機能１１０ｘにより、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像を第１のデータセットとして取得する。一例として、処理回路１１０は、インタフェース機能１１０ｘにより、メモリ１３２に保存されている医用画像を取得することにより、入力画像を取得する。なお、入力画像は、医用画像の全体に限定されない。例えば関心領域に対応する医用画像の一部であっても良い。この場合、処理回路１１０への負荷を低減することができ、例えば出力画像の生成に関するリアルタイム性を向上させることができる。
【００７０】
続いて、ステップＳ２２０において、処理回路１１０は、生成機能１１０ｚにより、処理回路１１０が学習機能１１０ｄにより生成した学習済モデルに対して、処理回路１１０が生成機能１１０ｚによりステップＳ２１０で取得した第１のデータセットを入力することで、第２のデータセットを生成する。一例として、処理回路１１０は、生成機能１１０ｚにより、ステップＳ２１０で取得した入力画像と、処理回路１１０が学習機能１１０ｄにより生成した学習済モデルとに基づいて、出力画像を生成する。ここで処理回路１１０が画像生成機能１１０ｄにより生成した出力画像は、各走査線について送信パラメータを変化させながら第２の回数ずつ超音波を送信することで得られる第２のデータセットである第２の画像２を疑似的に表す。例えば、処理回路１１０が学習機能１１０ｄにより生成した学習済モデルは、ステップＳ２１０で取得した第１のデータセットである入力画像に基づいて、方位分解能及び距離分解能が第１のデータセットである入力画像より高い出力データセットである出力画像を生成する。
【００７１】
なお、処理回路１１０は、合成部としての生成機能１１０ｚにより、ステップＳ２１０で取得した第１のデータセットである入力画像と、ステップＳ２２０において生成された出力データセットである出力画像とを、距離方向の位置に応じた比率で合成して合成データセットである合成画像を更に得ても良い。
【００７２】
ここで、処理回路１１０が、生成機能１１０ｚにより、ステップＳ２１０で取得した入力画像と、ステップＳ２２０において生成された出力画像とを、距離方向の位置に応じた比率で合成する理由は以下の通りである。すなわち、例えば基本波成分画像と、２次高調波成分画像と、３次高調波成分画像とでは、距離方向の位置（深さ）に対する信号強度の減衰の大きさが異なる。例えば、高調波成分画像は、基本波成分画像と比較して、距離が深くなるにつれて信号強度が大きく減衰する。従って、処理回路１１０は、生成機能１１０ｚにより、例えば距離が浅いところで高調波成分画像の重みを大きくし、逆に距離が深いところで基本波成分画像の重みを大きくしながら画像を合成することで、全体としてＳＮ比の大きな画像を得ることができる。また、類似の理由から、処理回路１１０が学習機能１１０ｄにより、周波数帯域が異なる非線形成分の画像を出力側の学習データとして学習した学習済モデルを生成している場合、各学習済モデル（例えば２次高調波画像を出力側の学習データとして学習した学習済モデルＡ、３次高調波画像を出力画像の学習データとして学習した学習済モデルＢ）に入力画像を入力して生成された各出力画像（学習済モデルＡの出力画像、学習済モデルＢの出力画像）を、距離方向の位置に応じた比率で合成して合成画像を得ても良い。なお、この処理で得られた合成画像に対して、更に入力画像を合成しても良い。
【００７３】
以上述べたように、第１の実施形態に係る医用画像処理装置によれば、高画質な画像を得ることができる。
【００７４】
（第１の実施形態の第１の変形例）
なお、実施形態は上述の例に限られない。
【００７５】
これまでの例では、処理回路１１０が、学習機能１１０ｄにより、第１の受信信号群２０ａに基づく線形成分画像である第１の画像１を入力、第２の受信信号群に基づく非線形成分画像である第２の画像２を出力とする学習により、学習済モデルを生成する場合について説明した。しかしながら、実施形態における第１の画像１及び第２の画像２の例はこれに限られず、処理回路１１０は、学習機能１１０ｄにより、さまざまな第１の画像１及び第２の画像２を使用して、学習済モデルを生成してもよい。
【００７６】
かかる場合について、図６を用いて説明する。図６は、第１の実施形態の第１の変形例に係る医用画像処理装置の行う処理について説明した図である。
【００７７】
図６（ａ）は、第１の実施形態で説明した場合における第１の画像１及び第２の画像２の生成に対応する図である。かかる場合、処理回路１１０が、訓練データ作成機能１１０ｃにより、第１の受信信号群２０ａに基づき線形成分画像であり基本波画像である第１の画像１を生成し、第１の受信信号群２０ａと、第３の受信信号群２０ｂ等で構成される第２の受信信号群に基づき非線形成分画像でありＴＨＩ画像である第２の画像２を生成する。すなわち、処理回路１１０は、学習機能１１０ｄにより、学習済モデルを、例えば、第１の位相で送信された超音波に対応する複数の第１走査線データセットである第１の受信信号群２０ａに基づく線形成分画像を入力、第２の受信信号群に基づく非線形成分画像を出力とした学習により作成する。しかしながら、実施形態はこれに限られない。
【００７８】
例えば、図６（ｂ）に示されるように、処理回路１１０は、第２の受信信号群に含まれるが第１の受信信号群には含まれない第３の受信信号群２０ｂに基づき線形成分画像であり基本波画像である第１の画像１を生成し、学習機能１１０ｄにより、生成された基本波画像１を入力画像として用いて学習済モデルを生成してもよい。すなわち、処理回路１１０は、学習機能１１０ｄにより、学習済モデルを、例えば、複数の第２走査線データセットである第２の受信信号群に含まれ、複数の第１走査線データセットである第１の受信信号群２０ａとは異なる、複数の第３走査線データセットである第３の受信信号群２０ｂに基づく別の線形成分画像データセットである線形成分画像を入力、非線形画像データセットである非線形成分画像を出力とした学習により作成してもよい。ここで、複数の第３走査線データセットである第３の受信信号群２０ｂは、第１の受信信号２０ａに係る送受信の位相である第１の位相とは異なる第２の位相で送信された超音波に対応する受信信号群である。
【００７９】
また、例えば図６（ｃ）に示されているように、処理回路１１０は、学習機能１１０ｄにより、第１の受信信号群２０ａに基づく線形成分画像と、第３の受信信号群２０ｂに基づく線形成分画像との両方を入力画像として学習を行ってもよい。これにより、入力側の学習データと出力側の学習データのペアをより多く確保することができ、より高性能な学習済モデルを生成することができる。
【００８０】
（第１の実施形態の第２の変形例）
図３では、第１の回数が１である場合について説明したが、実施形態は、第１の回数が１である場合に限られない。また、実施形態は、第１の画像１が線形成分画像である場合に限られない。一例として、処理回路１１０は、訓練データ作成機能１１０ｃにより、複数の第１走査線データセットである第１の受信信号群に周波数フィルタを適用することにより、基本波成分を除去し非線形成分を抽出し、複数の第１走査線データセットである第１の受信信号群に基づく第１の非線形成分画像を第１のデータセットである第１の非線形成分画像データセットとして生成する。一方で、処理回路１１０は、訓練データ作成機能１１０ｃにより、複数の第１走査線データセットである第１の受信信号群を含む複数の第２走査線データセットである第２の受信信号群を走査線毎に合成することで、第２の非線形成分画像を第２のデータセットである第２の非線形成分画像データセットとして生成する。一例として、第１の非線形成分画像は、２次高調波の画像であり、第２の非線形成分画像は、３次高調波の画像である。
【００８１】
かかるのち、処理回路１１０は、学習機能１１０ｄにより、複数の第１走査線データセットである第１の受信信号群に基づく第１の非線形成分画像データセットである第１の非線形成分画像を入力、複数の第１走査線データセットである第１の受信信号群を含む複数の第２走査線データセットである第２の受信信号群に基づく第２の非線形成分画像データセットである第２の非線形画像を出力とした学習により学習済モデルを生成してもよい。
【００８２】
ここで、第１の非線形成分画像も、第２の非線形成分画像も、非線形成分画像であることは、共通する。しかしながら、第１の非線形成分画像が、各走査線に対して第１の回数ずつ超音波を送受信して得られた画像を基にしているのに対して、第２の非線形成分画像は、各走査線に対して第１の回数より多い第２の回数ずつ超音波を送受信して得られた画像を基にしている。すなわち、この場合、複数の第２走査線データセットは、各走査線について第２の回数ずつ連続的に送受信された超音波に対応する。従って、処理回路１１０は、学習機能１１０ｄにより、送信回数が少ない画像を基に送信回数が多い画像を推定する学習を行い、比較的低画質な第１の非線形成分画像を基に、比較的高画質な第２の非線形成分画像を疑似的に表す画像を生成することで、高画質な画像を生成することができる。
【００８３】
なお、第１の実施形態と同様に、処理回路１１０は、学習機能１１０ｄにより、心臓以外の部位の画像を第１の非線形成分画像及び第２の非線形成分画像として用いて学習を行い、続いて、学習済モデルの実行時、処理回路１１０は、生成機能１１０ｚにより、心臓を含む画像を、学習済モデルに入力画像として入力してもよい。かかる場合、学習済モデルの実行時において入力画像は心臓を含む一方で、学習に用いる第１の非線形成分画像及び第２の非線形成分画像は、心臓を含まない。換言すると、学習済モデルの実行時における第１のデータセットは、心臓を含む領域に対する超音波の送受信により得られ、すなわち第１のデータセットに含まれる画像データセットが心臓を含む一方で、学習に用いる線形成分画像データセットである線形成分画像である第１の画像１及び非線形成分画像データセットである非線形成分画像である第２の画像２は、心臓を含まない。このことにより、処理回路１１０は、生成機能１１０ｚにより、高速で動くため走査線毎に複数回の超音波送信を行うことが難しい部位、例えば心臓の部位における、複数回の超音波送信により得られた画像に相当する画像を、出力画像として得ることができる。
【００８４】
（第１の実施形態の第３の変形例）
また、実施形態では、２レート送信すなわち２回の超音波送受信をひとかたまりの超音波送受信として処理を行う場合、かつ送受信される超音波が、単一周波数の場合について説明した。しかしながら、実施形態はこれに限られない。図７及び図８を用いて、かかる場合について説明する。図７及び図８は、第１の実施形態の第３の変形例に係る医用画像処理装置の行う処理について説明した図である。
【００８５】
まず、２レート送信の場合について説明する。
【００８６】
図７（ａ）に示されるように、送信回路９は、超音波プローブ５に、超音波送信を、第１の位相、例えば０度の初期位相で行わせ、第１の位相とは異なる第２の位相、例えば１８０度の初期位相で行わせる。これにより、受信回路１１は、これら２回の超音波送信それぞれに対応する受信信号を、超音波プローブ５を通じて受信する。
【００８７】
図７（ｂ）は、送信回路９が超音波プローブ５に送信させる超音波送信が、単一の周波数成分ｆの超音波送信である場合を示している。かかる場合、送信回路９は、超音波プローブ５に、単一の周波数成分ｆで初期位相が０度の超音波送信及び、単一の周波数成分ｆで初期位相が１８０度の超音波送信を送信させる。受信回路１１は、超音波プローブ５を通じて、これら超音波送信に対応する受信信号を第１の受信信号群２０ａ及び第３の受信信号群２０ｂとして取得する。処理回路１１０は、生成機能１１０ｚにより、第１の受信信号群２０ａ及び第３の受信信号群２０ｂに対して所定の重み付け加算を行って倍音の周波数２ｆの周波数成分に対応する高次高調波成分の信号を抽出し、第２の画像２を生成する。例えば、処理回路１１０は、生成機能１１０ｚにより、受信した受信信号の和を取ることにより周波数２ｆの周波数成分に対応する高次高調波成分の信号を抽出し、非線形成分画像である第２の画像２を生成する。
【００８８】
しかしながら、実施形態は、送信回路９が超音波プローブ５に送信させる超音波送信が、単一の周波数成分ｆの超音波送信である場合に限られず、送信回路９が超音波プローブ５に送信させる超音波送信が、複数の周波数成分を持つ超音波送信であってもよい。
【００８９】
図７（ｃ）は、送信回路９が超音波プローブ５に送信させる超音波送信が、複数の周波数成分を持つ超音波送信である場合を示している。図７（ｃ）において、ｆ１及びｆ２は、これら複数の周波数成分を示している。送信回路９は、超音波プローブ５に、第１の超音波送受信において、複数の周波数成分ｆ１、ｆ２で初期位相が０度の超音波送信を送信させ、第２の超音波送受信において、複数の周波数成分ｆ１、ｆ２で初期位相が１８０度の超音波送信を送信させる。
【００９０】
続いて受信回路１１は、超音波プローブ５に、これらの超音波送受信のそれぞれに対応する受信信号を超音波プローブ５に受信させる。処理回路１１０は、画像成績機能１２０ｚにより、これらの受信信号に基づいて、例えばｆｘ−ｆ１、２ｆ１の周波数成分に対応する高次高調波成分の信号を抽出し、非線形成分画像である第２の画像２を生成する。
【００９１】
また、送信回路９が超音波プローブ５に送信させる超音波送信は、２つの周波数成分の超音波送信に限られず、例えば３つの周波数成分を持つ超音波送信を２レート送信で行って２回の超音波送信を行っても良い。かかる２回の超音波送受信に係る受信信号を加算又は減算することにより、処理回路１１０は、偶数次または奇数次の高調波成分を抽出することができる。なお、これに加えて、処理回路１１０は、基本波成分をフィルタで抽出することにより、基本波成分以外の奇数次の高調波成分を抽出してもよい。
【００９２】
また、実施形態は、送信回路９が超音波プローブ５に送信させる超音波送信が、２レート送信である場合に限られず、３レート以上の送信であってもよい。図８は、３レート以上の送信の場合の一例として、３レート送信の場合を示している。
【００９３】
そのような場合、図８（ａ）に示されるように、送信回路９は、例えば第１の超音波送信を０度の初期位相で、第２の超音波送信を、第１の超音波送信とは異なる初期位相、例えば１２０度の初期位相、第３の超音波送信を、例えば２４０度の初期位相で超音波プローブ５に送信させる。続いて受信回路１１は、送信回路９が超音波プローブ５に送信させた３回の超音波送信それぞれに対応する受信信号を超音波プローブ５に受信させる。処理回路１１０は、生成機能１１０ｚにより、受信した受信信号群２１ａ、２１ｂ、２１ｃに対して所定の重み付け加算を行って、高次高調波の成分を抽出し、非線形成分画像である第２の画像２を生成する。
【００９４】
図８（ｂ）は、送信回路９が超音波プローブ５に送信させる超音波送信が、単一の周波数成分ｆの超音波送信である場合を示している。かかる場合、送信回路９は、超音波プローブ５に、位相を変化させながら３回の超音波送信を送信させる。続いて受信回路１１１は、超音波プローブ５に、これらの超音波送信のそれぞれに対応する受信信号を超音波プローブ５に受信させる。処理回路１１０は、生成機能１１０ｚにより、受信信号群２１ａ、２１ｂ、２１ｃに所定の加算処理を行うことにより、周波数３ｆの周波数成分に対応する高次高調波成分の信号を抽出する。
【００９５】
また、別の例として、図８（ｃ）は、送信回路９が超音波プローブ５に送信させる超音波送信が、複数の周波数成分の超音波送信である場合を示している。例えば、送信回路９は、超音波プローブ５に、３つの周波数成分f1,f2,f3を有する超音波を位相反転させながら２レートで送信させる。続いて受信回路１１は、超音波プローブ５に、これらの超音波送信のそれぞれに対応する受信信号を超音波プローブ５に受信させる。処理回路１１０は、生成機能１１０ｚにより、受信した受信信号に対して加算処理や減算処理、フィルタ処理などを行って、例えばｆ２−ｆ１，  ｆ３−ｆ２，２ｆ１，ｆ３−ｆ１，３ｆ１，ｆ１＋ｆ２の周波数成分に対応する高次高調波成分の信号を抽出する。
【００９６】
(第１の実施形態のその他の変形例)
実施形態では、図３のステップＳ１１０において処理回路１１０が、訓練データ生成機能１１０ｃにより、第１の画像１を第１のデータセットとして生成し、ステップＳ１２０において、第２の画像２を第２のデータセットとして生成し、それらを用いて学習を行う場合について説明した。しかしながら、実施形態はこれに限られず、例えば第１のデータセットは、画像である場合に限られず、例えばビームフォーミング実行前の受信信号群(ch信号)でもよく、またビームフォーミング実行後の受信信号群でもよい。同様に、第２のデータセットは、画像である場合に限られず、例えばビームフォーミング実行前の受信信号群でもよく、またビームフォーミング実行後の受信信号後でもよい。すなわち、第１のデータセット、第２のデータセット及び出力データセットは、それぞれ画像データセットを含む場合に限られない。例えば、第１のデータセット、第２のデータセット及び出力データセットは、それぞれ走査線データセットを生成するための複数のチャンネルデータセットを含んでもよい。例えば、実施形態において、学習済モデルは、複数の第１チャンネルデータセットを入力、複数の第１チャンネルデータセットと複数の第２チャンネルデータセットを、チャンネル毎に合成して得られる複数の第３チャンネルデータセットを出力とした学習により作成されてもよい。ここで、複数の第１チャンネルデータセット及び複数の第２チャンネルデータセットは、例えば、同じ走査線について第２の回数ずつ連続的に送受信された超音波に対応する。ここで、複数の第１チャンネルデータセット及び複数の第２チャンネルデータセットは、典型的には、心臓とは異なる部位に対する超音波送受信により得られるのに対して、複数の第３のチャンネルデータセットは、心臓に対する超音波送受信により得られる。
【００９７】
例えば、処理回路１１０は、訓練データ生成機能１１０ｃにより、ステップＳ１１０においてビームフォーミング実行前の受信信号群を第１のデータセットとして生成し、ステップＳ１２０において、ビームフォーミング実行前の受信信号群を第２のデータセットとして生成し、ステップＳ１３０において、第１のデータセット及び第２のデータセットをそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する。
【００９８】
また、別の例として、処理回路１１０は、訓練データ生成機能１１０ｃにより、ステップＳ１１０においてビームフォーミング実行後の受信信号群を第１のデータセットとして生成し、ステップＳ１２０において、ビームフォーミング実行後の受信信号群を第２のデータセットとして生成し、ステップＳ１３０において、第１のデータセット及び第２のデータセットをそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する。
【００９９】
なお、ビームフォーミング実行前の受信信号群や、ビームフォーミング実行後の受信信号群を、第１のデータセットや第２のデータセットとして用いる場合については、後述する第２の実施形態及び第３の実施形態で詳しく説明する。
【０１００】
また、実施形態において、学習済モデルに用いられる入力データ及び出力データ、すなわち第１のデータセット及び第２のデータセットは、同一の処理段階に係るデータセットに限られず、異なる処理段階に係るデータセットであってもよい。例えば、ビームフォーミング実行後の受信信号群が、学習済モデルの入力データ（第１のデータセット）として用いられ、画像が、学習済モデルの出力データ（第２のデータセット）として用いられてもよい。別の例として、例えば、ビームフォーミング実行前の受信信号群が、第１のデータセットとして用いられ、ビームフォーミング実行後の受信信号群が、第２のデータセットとして用いられても良い。
【０１０１】
また、上述した学習済モデルにおいて入力されるデータセットである第１のデータセット及び、出力されるデータセットである第２のデータセットについて、上述のようにさまざまなデータの形態や形式が考えられることは、第２の実施形態以降についても同様である。以降の実施形態における第１のデータセット、第２のデータセット等についても、同様に、上述されているさまざまなデータの形態や形式に係る変形例を考えることができる。  また、送信回路９が各走査線で変化させる送信パラメータが、送信する超音波の位相である場合について説明したが、実施形態は、そのような例に限られない。例えば、実施形態は、空間コンパウンドの場合、すなわち、送信回路９が各走査線で変化させるパラメータが、ビームの向きであってもよい。すなわち、送信パラメータ送信回路９が非線形成分画像である第２の画像２を生成する際、ビームの向きを変化させながら、複数の超音波送受信を行う。
【０１０２】
また、実施形態では、送信回路９が超音波プローブ５に、走査線毎に複数回の超音波送信を行い、それら複数回の超音波送信で得られたデータから、処理回路１１０が生成機能１１０ｚにより第１の画像１と第２の画像２との両方を生成する場合について説明した。しかしながら、実施形態はこれに限られない。第１の画像１は、第２の画像２を生成したスキャンのデータから生成されなくともよく、第１の画像１及び第２の画像２は、別々のスキャンに基づいて生成されてもよい。
【０１０３】
また、処理回路１１０が学習済モデルを適用して生成した出力画像に対して、ユーザがフィードバックを与え、処理回路１１０が、学習機能１１０ｄにより、ユーザから与えられたフィードバックを基に、学習済モデルの内部アルゴリズムを更新してもよい。すなわち、処理回路１１０は、学習機能１１０ｄにより、ユーザからのフィードバックを基に学習済モデルを更新し続けることにより、自己学習を行っても良い。
【０１０４】
（第２の実施形態）
第１の実施形態においては、処理回路１１０が、学習機能１１０ｄにより、第１の画像１及び第２の画像２をそれぞれ入力、出力として、学習を行い学習済モデルを生成する場合について説明した。しかしながら実施形態は、画像を用いて学習を行う場合に限られず、画像を生成する前の中間的なデータ、例えば、Ｄｅｌａｙ−ａｎｄ−Ｓｕｍ後のＲＦ信号や直行検波後のＩＱ信号を用いて、学習を行っても良い。
【０１０５】
かかる構成について、図９及び図１０を用いて説明する。図９は、第２の実施形態に係る医用画像処理装置が行う学習の処理の流れについて説明したフローチャートである。
【０１０６】
まず、図９を用いて、学習済モデルの生成段階の処理の流れについて説明する。
【０１０７】
はじめに、送信回路９は、超音波プローブ５に、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送信させる。例えば、送信回路９は、超音波プローブ５に、各走査線について送信する超音波の位相を変化させながら各走査線で２回ずつ超音波を送信させる。
【０１０８】
続いて、受信回路９は、超音波プローブ５に、送信回路９が送信させた超音波に対応する受信信号を、第１の受信信号群２０ａを含む第２の受信信号群として受信させる
【０１０９】
ステップＳ３００において、処理回路１１０は、訓練データ作成機能１１０ｃにより、第１の受信信号群２０ａに基づいて、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理後のＲＦ信号ないしＩＱ信号の信号データ群である第１のデータを、第１の受信信号としてインタフェース機能１１０ｘ等により受信回路１１から取得する。かかる第１のデータは、例えば、ビーム方向、深さ方向の２軸に対応するデータであり、第１の画像１を生成するための中間データである。なお、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理は、例えばソフトウェア処理として処理回路１１０が実行する。あるいは、出力データ（受信信号群）を受信回路１１に入力し、受信回路１１が実行する。このように、第２の実施形態では、第１の受信信号は、ビームフォーミング実行後の受信信号である。
【０１１０】
続いて、ステップＳ３１０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、第２の受信信号群に基づいて、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理後のＲＦ信号ないしＩＱ信号の信号データである第２のデータを、第２の受信信号としてインタフェース機能１１０ｘ等により受信回路１１から取得する。かかる第２のデータは、例えば、ビーム方向、深さ方向の２軸に対応する２次元データであり、第２の受信信号群に含まれる受信信号群を対応する位置毎に合成して得られる。また、かかる第２のデータは、例えば、第２の画像２を生成するための中間データである。このように、第２の実施形態では、第２の受信信号は、ビームフォーミング実行後の受信信号である。
【０１１１】
続いて、ステップＳ３２０において、処理回路１１０は、学習機能１１０ｄにより、第１のデータ及び第２のデータをそれぞれ入力データ、出力データの組として、例えばニューラルネット等を用いて学習を実行して学習済モデルを生成する。かかる学習済モデルは、走査線について第１の回数だけ超音波を送受信して得られる、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理後の信号データ群である第１の受信信号に基づいて、当該走査線について第１の回数より多い第２の回数だけ超音波を送受信して得られる、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理後の信号データ群である第２の受信信号を疑似的に表す出力信号を出力データセットとして生成する。
【０１１２】
これらステップＳ３００からステップＳ３２０の処理は、学習の対象が例えばチャネルごとの中間データであることを除いてはステップＳ１１０からステップＳ１３０と同様な処理であるが、第２の実施形態においては、第１の実施形態と比較して前段処理によって得られるデータ群を用いて学習を行っているので、より画質の向上が期待される。
【０１１３】
続いて、図１０を用いて、学習済モデルの実行段階の処理について説明する。図１０は、第２の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
【０１１４】
ステップＳ４００において、処理回路１１０は、インタフェース機能１１０ｘにより、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像を生成する前の中間データであって、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理が行われた後のＲＦ信号ないしＩＱ信号の信号データ群である入力データを、第１の受信信号として受信回路１１やメモリ１３２等から取得する。
【０１１５】
続いて、ステップＳ４１０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４００で取得した入力データと、処理回路１１０が学習機能１１０ｄにより生成した学習済モデルとに基づいて、第２の受信信号を第２のデータに対応する出力データとして生成する。すなわち、処理回路１１０は、図示しない処理部により、ステップＳ３２０で生成された学習済モデルに対して、走査線について第１の回数だけ超音波を送受信して得られる入力受信信号を第１の受信信号として入力することで、出力信号を第２の受信信号として生成する。
【０１１６】
続いて、ステップＳ４２０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４１０において生成された出力データに基づいて、各走査線について第１の回数より多い第２の回数ずつ超音波を送信して得られる第２の画像を疑似的に表す出力画像を生成する。すなわち、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４１０で生成された出力信号に基づいて画像を生成する。
【０１１７】
なお、第１の実施形態と同様に、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４００で取得した入力データから得られる画像と、ステップＳ４２０において生成された画像とを、距離方向の位置に応じた比率で合成して合成画像を更に得ても良い。複数の学習済モデルを生成した場合の合成についても、第１の実施形態と同様である。また、実施形態は、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理後の信号データ群を、入力及び出力に使用する場合に限られず、処理回路１１０は、学習機能１１０ｄにより、その他の種類の処理前後での信号データ群または受信直後の信号データを用いて学習を行っても良い。
【０１１８】
以上のように、第２の実施形態では、処理回路１１０は、画像ではなく、信号データ群を用いて学習を行う。これにより、画質を更に向上することができる。
【０１１９】
（第３の実施形態）
第２の実施形態においては、画像以外のデータ形式で学習が行われる例の一例として、処理回路１１０が、学習機能１１０ｄにより、ビームフォーミング後の信号群、例えばＤｅｌａｙ−ａｎｄ−ｓｕｍ処理後のＲＦ信号や直交検波後のＩＱ信号を第１のデータセット及び第２のデータセットとして用いて学習を行う場合について説明した。第３の実施形態においては、画像以外のデータ形式で学習が行われる例の別の一例として、更に前段の処理の信号群、例えばＤｅｌａｙ−ａｎｄ−ｓｕｍ処理を行ってビームフォーミングを行う前のチャンネルごとのデータを第１のデータセット及び第２のデータセットとして用いて学習を行う場合について説明する。
【０１２０】
第３の実施形態は、第２の実施形態と比較して、さらに前段の処理のデータを用いて学習が行われるので、より前段の処理で発生するノイズ等の効果を除去することができ、画質の向上が期待できる。
【０１２１】
かかる構成について、図９及び図１０を再び用いて説明する。なお、第３の実施形態は、第２の実施形態と、第１のデータセット及び第２のデータセットとして使用されるデータの種類が異なり、その他の処理については第２の実施形態と同様の処理が行われる。以下、第２の実施形態と同様の処理を行う部分については繰り返しての説明は割愛する。
【０１２２】
まず、図９を用いて、学習済モデルの生成段階の処理の流れについて説明する。
【０１２３】
第２の実施形態と同様に、はじめに、送信回路９は、超音波プローブ５に、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送信させる。例えば、送信回路９は、超音波プローブ５に、各走査線について送信する超音波の位相を変化させながら各走査線で２回ずつ超音波を送信させる。
【０１２４】
続いて、受信回路９は、超音波プローブ５に、送信回路９が送信させた超音波に対応する受信信号を、第１の受信信号群２０ａを含む第２の受信信号群として受信させる。
【０１２５】
ステップＳ３００において、処理回路１１０は、訓練データ作成機能１１０ｃにより、第１の受信信号群２０ａに基づいて、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理が行われる前のチャネルごとのデータであって、第１の画像１を生成する前の中間データである第１のデータを、第１の受信信号として、インタフェース機能１１０ｚ等により受信回路１１から取得する。かかる第１のデータは、例えば、チャンネル方向、ビーム方向、深さ方向の３次元ボリュームデータである。このように、第３の実施形態では、第１の受信信号は、ビームフォーミング実行前の受信信号である。
【０１２６】
続いて、ステップＳ３１０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、第２の受信信号群に基づいて、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理が行われる前のチャネルごとのデータであって、第２の画像２を生成する前の中間データである第２のデータを、第２の受信信号として、インタフェース機能１１０ｚ等により受信回路１１から取得する。このように、第３の実施形態では、第２の受信信号は、ビームフォーミング実行前の受信信号である。
【０１２７】
続いて、ステップＳ３２０において、処理回路１１０は、学習機能１１０ｄにより、第１のデータ及び第２のデータをそれぞれ入力データ、出力データの組として、例えばニューラルネット等を用いて学習を実行して学習済モデルを生成する。かかる学習済モデルは、走査線について第１の回数だけ超音波を送受信して得られる、超音波画像生成に用いられるデータであって、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理が行われる前のチャネルごとのデータである第１の受信信号に基づいて、当該走査線について第１の回数より多い第２の回数だけ超音波を送受信して得られる、超音波画像生成に用いられるデータであって、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理が行われる前のチャネルごとのデータである第２の受信信号を疑似的に表す出力信号を出力データセットとして生成する。
【０１２８】
続いて、図１０を再び用いて、学習済モデルの実行段階の処理について説明する。
【０１２９】
ステップＳ４００において、処理回路１１０は、インタフェース機能１１０ｘにより、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像を生成する前の中間データであって、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理が行われる前のチャネルごとのデータである第１のデータを、第１の受信信号として、受信回路１１やメモリ１３２等から取得する。
【０１３０】
続いて、ステップＳ４１０において、処理回路１１０は、図示しない処理部により、ステップＳ３２０で生成された学習済モデルに対して第１の受信信号を入力することで、第２の受信信号を出力データとして生成する。
【０１３１】
続いて、ステップＳ４１０の終了段階では生成されたデータは中間的なデータに過ぎないことから、これらを画像の形式に変換するために、例えばＤｅｌａｙ  ａｎｄ  Ｓｕｍ処理を含む処理が行われる。ステップＳ４２０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４１０において生成された出力データに基づいて、各走査線について第１の回数より多い第２の回数ずつ超音波を送信して得られる第２の画像を疑似的に表す出力画像を生成する。すなわち、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４１０で生成された出力信号に基づいて画像を生成する。なお、Ｄｅｌｔａ  ａｎｄ  Ｓｕｍ処理は、例えばソフトウェア処理として処理回路１１０が実行する。あるいは、ステップＳ４１０の終了段階で生成された出力データ（受信信号群）を受信回路１１に入力し、受信回路１１が実行する。
【０１３２】
なお、第２の実施形態と同様に、処理回路１１０は、生成機能１１０ｚにより、ステップＳ４００で取得した入力データから得られる画像と、ステップＳ４２０において生成された画像とを、距離方向の位置に応じた比率で合成して合成画像を更に得ても良い。
【０１３３】
以上のように、第３の実施形態では、処理回路１１０は、第２の実施形態よりさらに前段におけるデータを用いて学習を行う。これにより、画質を更に向上することができる。
【０１３４】
（第４の実施形態）
第１の実施形態では、処理回路１１０が、学習機能１１０ｄにより、線形成分画像を入力、非線形成分画像を出力として学習を行う場合について説明した。すなわち、上述の例では、処理回路１１０は、学習機能１１０ｄにより、比較的画質の低い画像を入力、画質の高い画像を出力として学習を行い、画質の低い画像を基に、画質の高い画像を算出する。しかしながら、実施形態はこれに限られない。第４の実施形態では、処理回路１１０は、学習機能１１０ｄにより、画質の高い画像と画質の低い画像との差分画像を出力として学習を行う。これにより、処理回路１１０は、画質が低下し、またはアーチファクトが生じている場所を特定することができる。
【０１３５】
かかる構成について、図１１及び図１２を用いて説明する。図１１は、第４の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
【０１３６】
まず、図１１を用いて、学習済モデルの生成段階の処理の流れについて説明する。
【０１３７】
はじめに、送信回路９は、超音波プローブ５に、各走査線について送信パラメータを変化させながら第１の回数より多い第２の回数ずつ超音波を送信させる。例えば、送信回路９は、超音波プローブ５に、各走査線について送信する超音波の位相を変化させながら各走査線で２回ずつ超音波を送信させる。
【０１３８】
続いて、受信回路９は、超音波プローブ５に、送信回路９が送信させた超音波に対応する受信信号を、第１の受信信号群２０ａを含む第２の受信信号群として受信させる。
【０１３９】
ステップＳ５１０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、画像を用いて学習をする場合、各走査線について第１の回数ずつ超音波を送受信して得られたデータである第１の受信信号群２０ａに基づいて、第１の画像１を第１のデータセットとして生成する。また、別の例として、処理回路１１０は、訓練データ作成機能１１０ｃにより、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理が行われる後のＲＦ信号ないしＩＱ信号の信号データ群を、第１のデータセットとして生成する。
【０１４０】
また、別の例として、チャネルごとのデータを用いて学習をする場合、処理回路１１０は、訓練データ作成機能１１０ｃにより、第１の受信信号群２０ａに基づいて、チャネルごとのデータである第１のデータを第１のデータセットとして生成する。
【０１４１】
また、ステップＳ５２０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、画像を用いて学習をする場合、各走査線について第１の回数より多い第２の回数ずつ超音波を送受信して得られたデータである第２の受信信号群に基づいて、第２の画像２を第２のデータセットとして生成する。
【０１４２】
また、別の例として、処理回路１１０は、訓練データ作成機能１１０ｃにより、Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ処理が行われる後のＲＦ信号ないしＩＱ信号の信号データ群を、第２のデータセットとして生成する。また、別の例として、チャネルごとのデータを用いて学習をする場合、処理回路１１０は、訓練データ作成機能１１０ｃにより、第２の受信信号群に基づいて、チャネルごとのデータである第２のデータを生成する。なお、ステップＳ５１０及びステップＳ５２０の処理は、ステップＳ１１０及びステップＳ１２０、あるいはステップＳ３００及びステップＳ３１０と同様の処理である。
【０１４３】
続いてステップＳ５３０において、処理回路１１０は、訓練データ作成機能１１０ｃにより、ステップＳ５１０で生成された第１の画像と第２の画像との差分画像を、第３のデータセットして生成する、または例えばチャネルごとのデータである第１のデータと第２のデータとの差分データを生成する。
【０１４４】
続いてステップＳ５４０において、処理回路１１０は、学習機能１１０ｄにより、第１のデータセット及び第３のデータセットをそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する。例えば、処理回路１１０は、学習機能１１０ｄにより、第１の画像及び差分画像をそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する、または、第１のデータ及び差分データをそれぞれ入力データ、出力データの組として学習を実行して学習済モデルを生成する。かかる学習済モデルは、各走査線について第１の回数ずつ超音波を送受信して得られた第１のデータセットである第１の画像に基づいて、第１の画像と、各走査線について第１の回数より多い第２の回数ずつ超音波を送受信して得られる第２のデータセットである第２の画像との差分画像を疑似的に表す、すなわち第２のデータセットと第１のデータセットとの違いを表す出力画像を出力データセットである第３のデータセットとして疑似的に生成する。
【０１４５】
ここで、差分画像は、比較的低画質であると考えられる第１の画像と、比較的高画質であると考えられる第２の画像との差分であり、この差分画像の画素値が大きい場所は、例えばアーチファクトがあるなどして画質が劣化している領域であると考えられる。従って、処理回路１１０が、学習機能１１０ｄにより、差分画像を出力データとして学習を行うことで、アーチファクトがあるなどして画質が劣化していると考えられる領域を特定することができ、それを用いて画像処理を行うことができる。
【０１４６】
続いて、図１２を用いて、学習済モデルの実行段階の処理について説明する。図１２は、第４の実施形態に係る医用画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。
【０１４７】
ステップＳ６００において、処理回路１１０は、インタフェース機能１１０ｘにより、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像（又はチャネルごとの入力データ）を、第１のデータセットとして受信回路１１やメモリ１３２等から取得する。
【０１４８】
続いて、ステップＳ６１０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ５４０において処理回路１１０が学習機能１１０ｄに生成した学習済モデルに対して、ステップＳ６００で取得した、各走査線について第１の回数ずつ超音波を送受信して得られた入力画像（又はチャネルごとの入力データ）を入力することで、差分画像を疑似的に表す、すなわち第１のデータセットと第２のデータセットとの違いを表す出力画像を出力データセットである第３のデータとして生成する。
【０１４９】
続いて、ステップＳ６２０において、処理回路１１０は、図示しない特定機能により、ステップ６１０で生成された出力画像に基づいて、低画質箇所を特定する。一例として、処理回路１１０は、特定機能により、ステップＳ６１０で生成された出力画像の値の絶対値が、基準値を上回る箇所を、低画質箇所と特定する。
【０１５０】
続いて、ステップＳ６３０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ６００で取得した入力画像（またはチャネルごとの入力データから構成された画像）におけるステップＳ６２０で特定された低画質箇所に対して、高画質化処理（ノイズ低減処理）を実行する。具体的には、処理回路１１０は、入力画像の低画質箇所の画素の画素値を、周辺の画素の平均値で置き換える等の処理を行う。
【０１５１】
続いて、ステップＳ６４０において、処理回路１１０は、生成機能１１０ｚにより、ステップＳ６３０で高画質化処理が行われた入力画像を、第２の画像を疑似的に表す画像であり、第２のデータセットである疑似第２画像として生成する。
【０１５２】
このように、第３の実施形態では、低画質箇所を学習により特定して高画質化処理を行うことで、画質の向上を行うことができる。
【０１５３】
上述した各実施形態では、超音波診断装置本体１０が医用画像処理装置１００を備えており、医用画像処理装置１００の処理回路１１０が、訓練データ作成機能１１０ｃ、学習機能１１０ｄ、及び生成機能１１０ｚ等により学習済モデルの生成と適用の両方を行う場合について説明したが、本発明はこれに限定されない。
【０１５４】
例えば、超音波診断装置本体１０が備える医用画像処理装置１００の処理回路１１０は、生成機能１１０ｚを実行できる一方で、訓練データ作成機能１１０ｃ、学習機能１１０ｄを実行できなくても良い。逆に、例えば、超音波診断装置本体１０が備える医用画像処理装置１００の処理回路１１０は、訓練データ作成機能１１０ｃ及び学習機能１１０ｄを実行できる一方で、生成機能１１０ｚを実行できる一方で、訓練データ作成機能１１０ｃ及び学習機能１１０ｄを実行できなくても良い。
【０１５５】
例えば、生成機能１１０ｚは、医用画像処理装置１００とは別の第１の医用画像処理装置（図示しない）における処理回路（図示しない）で実行されても良い。
【０１５６】
医用画像処理装置１００の処理回路１１０で生成機能１１０ｚを実行し、リアルタイムに高画質な出力画像を得ることが理想的である。しかし、処理回路１１０の性能によっては、処理負荷の増大により、リアルタイムで出力画像を得られないこともある。生成機能１１０ｚを処理回路１１０の機能から分離することで、高いリアルタイム性が要求される超音波診断装置本体１０では、制御機能１１０ｙによりリアルタイムで入力画像をディスプレイに表示させるとともに、高いリアルタイム性が要求されない解析時に高画質の出力画像を生成することができる。また、例えばフリーズ操作や保存操作を受け付けたタイミング、又はその前後の所定期間内に収集したデータセットに限定して、生成機能１１０ｚを適用しても良い。
【０１５７】
例えば、訓練データ作成機能１１０ｃと学習機能１００ｄによる学習、超音波診断装置本体１０が備える医用画像処理装置１００とは別の第１の医用画像処理装置（図示しない）における処理回路（図示しない）で実行されても良い。
【０１５８】
以上少なくとも一つの実施形態に係る医用画像処理装置によれば、診断に有用な情報を効率的に得ることができる。
【０１５９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１６０】
１１０  処理回路
１１０ｃ  訓練データ作成機能
１１０ｄ  学習機能
１１０ｚ  生成機能
【図１】
2020179029.tif 000003
【図２】
2020179029.tif 000004
【図３】
2020179029.tif 000005
【図４】
2020179029.tif 000006
【図５】
2020179029.tif 000007
【図６】
2020179029.tif 000008
【図７】
2020179029.tif 000009
【図８】
2020179029.tif 000010
【図９】
2020179029.tif 000011
【図１０】
2020179029.tif 000012
【図１１】
2020179029.tif 000013
【図１２】
2020179029.tif 000014