(57)【要約】【課題】できるだけ手間をかけない手法で、学習済みモデルを構築するためのペア画像を多量に取得できる超音波装置を提供する。【解決手段】超音波診断装置のプロセッサが、第一の超音波画像のデータ及び画質が劣化した第二の超音波画像のデータを、機械学習の学習用データとして用いる１つのペアとして取得する機能を実行するよう構成され、この機能は、メモリから第一の条件を読み出した後、第一の超音波の送受信及びそれによって得られたエコー信号に基づく第一の超音波画像の作成を、第一の条件を用いて行ない、さらに第一の超音波画像を表示し記憶する第一の機能と、メモリから第二の条件を読み出した後、第二の超音波の送受信と及びそれによって得られたエコー信号に基づく第二の超音波画像の作成を、第二の条件を用いて行ない、さらに第二の超音波画像をメモリに記憶する第二の機能と、を含む。【選択図】図２
2020162802.tif 000002
【特許請求の範囲】
【請求項１】
メモリ、ユーザインタフェース、プロセッサ、超音波プローブ及びディスプレイを備える超音波装置であって、
前記メモリは、被検体の第一の超音波画像を取得するために用いられる第一の条件と、前記被検体において前記第一の超音波画像が取得された位置と同じ位置についての第二の超音波画像を取得するために用いられる第二の条件であって、前記第二の超音波画像が、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件が記憶されるよう構成され、
前記ユーザインタフェースは、操作者の入力を受け付けるよう構成され、
前記プロセッサは、前記ユーザインタフェースが前記操作者による入力を受け付けると、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを、機械学習の学習用データとして用いる１つのペアとして取得する機能を実行するよう構成され、
前記機能は、
前記メモリから前記第一の条件を読み出した後、前記超音波プローブによる第一の超音波の送受信と、該第一の超音波の送受信によって得られたエコー信号に基づく前記第一の超音波画像の作成を、前記第一の条件を用いて行ない、さらに前記第一の超音波画像を前記ディスプレイに表示し、なおかつ前記第一の超音波画像のデータを前記メモリに記憶する第一の機能と、
前記メモリから前記第二の条件を読み出した後、前記超音波プローブによる第二の超音波の送受信と、該第二の超音波の送受信によって得られたエコー信号に基づく前記第二の超音波画像の作成を、前記第二の条件を用いて行ない、さらに前記第二の超音波画像のデータを前記メモリに記憶する第二の機能と、を含んでいる、超音波装置。
【請求項２】
前記第一の条件は、前記第一の超音波の送受信の条件、該第一の超音波の送受信によって得られたエコー信号の処理条件及び画像処理条件のうち少なくともいずれか一つを含み、
前記第二の条件は、前記第二の超音波の送受信の条件、該第二の超音波の送受信によって得られたエコー信号の処理条件及び画像処理条件のうち少なくともいずれか一つを含む、請求項１に記載の超音波装置。
【請求項３】
前記第二の条件は、前記第二の超音波画像のＳＮ比が前記第一の超音波画像のＳＮ比よりも低下する条件である、請求項１又は２に記載の超音波装置。
【請求項４】
前記第一の条件及び前記第二の条件は、超音波の送信音圧を含んでおり、前記第二の条件における第二の送信音圧は、前記第一の条件における第一の送信音圧よりも低い、請求項１〜３のいずれか一項に記載の超音波装置。
【請求項５】
前記第二の条件は、前記第二の超音波画像の深部感度が前記第一の超音波画像の深部感度よりも低下する条件である、請求項１又は２に記載の超音波装置。
【請求項６】
前記第一の条件及び前記第二の条件は、超音波の送信周波数を含んでおり、前記第二の条件における第二の送信周波数は、前記第一の条件における第一の送信周波数よりも高い、請求項１、２及び５のいずれか一項に記載の超音波装置。
【請求項７】
前記第一の条件及び前記第二の条件は、超音波の受信周波数帯域を含んでおり、前記第二の条件における第二の受信周波数帯域は、前記第一の条件における第一の受信周波数帯域よりも狭帯域であり、なおかつ第二の受信周波数帯域における第二の中心周波数が前記第一の受信周波数帯域における第一の中心周波数よりも高い、請求項１、２及び５のいずれか一項に記載の超音波装置。
【請求項８】
前記メモリは、さらに前記機械学習のアルゴリズムを記憶する、請求項１〜７のいずれか一項に記載の超音波装置。
【請求項９】
前記プロセッサは、さらに前記機械学習のアルゴリズムを読み出し、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを学習用データとして用いる機械学習を行なって、学習済みモデルを取得する、請求項８に記載の超音波装置。
【請求項１０】
請求項１〜７のいずれか一項に記載の超音波装置とネットワークを介して接続されたサーバとを備えるシステムであって、前記サーバは、前記機械学習のアルゴリズムが記憶されたメモリとプロセッサを備え、
前記超音波装置のプロセッサは、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを前記ネットワークを介して前記サーバへ送信する制御を行ない、
前記サーバのプロセッサは、前記機械学習のアルゴリズムを読み出し、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを学習用データとして用いる機械学習を行なって、学習済みモデルを取得する、システム。
【請求項１１】
メモリ、ユーザインタフェース、プロセッサ、超音波プローブ及びディスプレイを備える超音波装置の制御プログラムであって、
前記メモリは、被検体の第一の超音波画像を取得するために用いられる第一の条件と、前記被検体において前記第一の超音波画像が取得された位置と同じ位置についての第二の超音波画像を取得するために用いられる第二の条件であって、前記第二の超音波画像が、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件が記憶されるよう構成され、
前記ユーザインタフェースは、操作者の入力を受け付けるよう構成されており、
前記制御プログラムは、前記ユーザインタフェースが前記操作者による入力を受け付けると、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを、機械学習の学習用データとして用いられる１つのペアとして取得する機能を前記プロセッサに実行させるよう構成され、
前記機能は、
前記メモリから前記第一の条件を読み出した後、前記超音波プローブによる第一の超音波の送受信と、該第一の超音波の送受信によって得られたエコー信号に基づく前記第一の超音波画像の作成を、前記第一の条件を用いて行ない、さらに前記第一の超音波画像を前記ディスプレイに表示し、なおかつ前記第一の超音波画像のデータを前記メモリに記憶する第一の機能と、
前記メモリから前記第二の条件を読み出した後、前記超音波プローブによる第二の超音波の送受信と、該第二の超音波の送受信によって得られたエコー信号に基づく前記第二の超音波画像の作成を、前記第二の条件を用いて行ない、さらに前記第二の超音波画像のデータを前記メモリに記憶する第二の機能と、を含んでいる、超音波装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の超音波画像を取得する超音波装置及びその制御プログラムに関する。
【背景技術】
【０００２】
超音波装置は、超音波プローブから被検体に対して超音波を送信し、そのエコー信号に基づく超音波画像を取得する。例えば、超音波装置の一例である超音波診断装置においては、超音波画像を用いて様々な診断が行われる。
【０００３】
超音波画像を取得するために用いられる条件には、例えば送信周波数、送信音圧、デプス（ｄｅｐｔｈ）、ゲイン、ダイナミックレンジなど様々な条件がある（例えば、特許文献１参照）。これらの条件は、できるだけ良好な画質の超音波画像が得られるように設定される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１４３９７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、ある被検体について良好な画質の超音波画像が取得された条件を用いて、別の被検体について超音波画像を取得した場合、画質が劣化することがある。例えば、皮下脂肪厚が厚くなるほど超音波の減衰が大きくなり、取得された超音波画像における特に深部領域のＳＮ比が低下する。従って、ある被検体について良好な画質の超音波画像が取得された条件を用いて、より皮下脂肪厚が厚い別の被検体について超音波画像を取得した場合、画質が劣化することがある。この場合、例えば操作者は超音波の送信周波数を低くして深部領域のＳＮ比が改善された超音波画像を取得する。
【０００６】
しかし、送信周波数を低くすると、超音波画像の空間分解能が悪化する。また、操作者は条件を変更する必要があり煩雑である。特に、操作に不慣れな操作者にとっては、困難を伴う場合もある。また、検査後に表示された超音波画像の画質が劣化している場合、改めて超音波画像を取得することはできない。そこで、本願発明者は、より良好な画質の超音波画像をより容易に取得するため、機械学習を用いた画質の向上手法について検討している。
【０００７】
その一般的な原理について説明する。先ず、機械学習には，入力データと教師データが必要である。ここでは、入力データはノイズやアーチファクトなどが含まれた断層画像（以下「低画質画像」）であり、教師データは，低画質画像と同じ関心部位を撮像した画像であるが、ノイズやアーチファクトを含まない理想的な画像（以下「高画質画像」）である。低画質画像のデータと高画質画像のデータを用いて学習を行って学習済みモデルを構築した後、この学習済みモデルに、新たに得られた別の低画質画像を入力すれば、あたかも高画質画像で撮影したような仮想高画質画像が出力として得られることになる。このような手法によれば、条件の変更が行なわれずとも、より良好な画質の超音波画像を取得することができる。
【０００８】
さて、この機械学習には，学習の際に「低画質画像」と「高画質画像」のペアを可能な限り多量に取得することが望ましい。そこで、できるだけ手間をかけない手法で、学習済みモデルを構築するためのペア画像を多量に取得するかが課題である。
【課題を解決するための手段】
【０００９】
上記課題を解決するためになされた一の観点の発明は、メモリ、ユーザインタフェース、プロセッサ、超音波プローブ及びディスプレイを備える超音波装置であって、前記メモリは、被検体の第一の超音波画像を取得するために用いられる第一の条件と、前記被検体において前記第一の超音波画像が取得された位置と同じ位置についての第二の超音波画像を取得するために用いられる第二の条件であって、前記第二の超音波画像が、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件が記憶されるよう構成され、前記ユーザインタフェースは、操作者の入力を受け付けるよう構成され、前記プロセッサは、前記ユーザインタフェースが前記操作者による入力を受け付けると、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを、機械学習の学習用データとして用いる１つのペアとして取得する機能を実行するよう構成され、前記機能は、前記メモリから前記第一の条件を読み出した後、前記超音波プローブによる第一の超音波の送受信と、該第一の超音波の送受信によって得られたエコー信号に基づく前記第一の超音波画像の作成を、前記第一の条件を用いて行ない、さらに前記第一の超音波画像を前記ディスプレイに表示し、なおかつ前記第一の超音波画像のデータを前記メモリに記憶する第一の機能と、前記メモリから前記第二の条件を読み出した後、前記超音波プローブによる第二の超音波の送受信と、該第二の超音波の送受信によって得られたエコー信号に基づく前記第二の超音波画像の作成を、前記第二の条件を用いて行ない、さらに前記第二の超音波画像のデータを前記メモリに記憶する第二の機能と、を含んでいる、超音波装置である。
【発明の効果】
【００１０】
上記観点の発明によれば、ユーザインタフェースが操作者の入力を受け付けると、機械学習の学習用データとして用いられる１つのペアとして、ディスプレイに表示される第一の超音波画像のほか、第二の超音波画像が取得され、これら第一及び第二の超音波画像のデータが記憶される。第二の超音波画像は、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件を用いて取得された画像である。従って、例えば被検体の診断を目的として取得される第一の超音波画像を取得するついでに、これと機械学習の学習データとしてペアとなる第二の超音波画像も取得できる。これにより、できるだけ手間をかけずに、学習済みモデルを構築するためのペア画像を取得することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第一実施形態における超音波診断装置の構成を示すブロック図である。
【図２】実施形態における機械学習の学習用データを取得するための処理を示すフローチャートである。
【図３】学習済みモデルを用いた超音波画像の画質改善の処理を示すフローチャートである。
【図４】実施形態の変形例における機械学習の学習用データを取得するための処理を示すフローチャートである。
【図５】第二実施形態のシステムの概略を示すブロック図である。
【図６】本発明の第二実施形態における超音波診断装置の構成を示すブロック図である。
【図７】第二実施形態におけるサーバの構成を示すブロック図である。
【図８】第二実施形態の作用を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面を参照して説明する。以下の実施形態では、本発明に係る超音波装置の一例として、診断等を目的として被検体の超音波画像を表示する超音波診断装置について説明する。
（第一実施形態）
先ず、第一実施形態について説明する。図１に示す超音波診断装置１は、超音波プローブ２内に配列された素子２ａをドライブしてパルス超音波信号を被検体（図示せず）に放射する送信ビームフォーマ３および送信機４を含む。パルス超音波信号は、被検体内において反射して素子２ａに戻るエコーを生成する。エコーは、素子２ａによって電気信号に変換され、電気信号は、受信機５によって受信される。受信されたエコーを表す電気信号、すなわちエコー信号は、受信ビームフォーマ６に入力され、この受信ビームフォーマ６において受信ビームフォーミングが行われる。受信ビームフォーマ６は、受信ビームフォーミング後の超音波データを出力する。
【００１３】
受信ビームフォーマ６は、ハードウェアビームフォーマであってもソフトウェアビームフォーマであってもよい。受信ビームフォーマ６がソフトウェアビームフォーマである場合、受信ビームフォーマ６は、グラフィックス処理ユニット（ＧＰＵ）、マイクロプロセッサ、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、または論理演算を実行することができる他の種類のプロセッサのうちの任意の１つまたは複数を含む１つまたは複数のプロセッサを備えることができる。受信ビームフォーマ６を構成するプロセッサは、後述のプロセッサ７とは別のプロセッサで構成されていてもよいし、プロセッサ７で構成されていてもよい。
【００１４】
超音波プローブ２は、送信ビームフォーミングおよび／または受信ビームフォーミングの全部または一部を行うための電気回路を含むことができる。例えば、送信ビームフォーマ３、送信機４、受信機５、および受信ビームフォーマ６の全部または一部は、超音波プローブ２内に設けられていてもよい。
【００１５】
超音波診断装置１は、送信ビームフォーマ３、送信機４、受信機５、および受信ビームフォーマ６を制御するためのプロセッサ７も含む。プロセッサ７は、超音波プローブ２と電子通信している。プロセッサ７は、超音波プローブ２を制御して超音波データを取得することができる。プロセッサ７は、素子２ａのどれがアクティブであるか、および超音波プローブ２から放射されるビームの形状を制御する。プロセッサ７はまた、ディスプレイ８とも電子通信しており、プロセッサ７は、超音波データを処理してディスプレイ８上に表示するための超音波画像にすることができる。「電子通信」という用語は、有線通信と無線通信の両方を含むように定義することができる。プロセッサ７は、一実施形態によれば中央処理装置（ＣＰＵ）を含むことができる。他の実施形態によれば、プロセッサ７は、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、または他のタイプのプロセッサなど、処理機能を実行することができる他の電子構成要素を含むことができる。他の実施形態によれば、プロセッサ７は、処理機能を実行することができる複数の電子構成要素を含むことができる。例えばプロセッサ７は、中央処理装置、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、およびグラフィックスプロセッシングユニットを含む電子構成要素のリストから選択された２つ以上の電子構成要素を含むことができる。
【００１６】
プロセッサ７は、ＲＦデータを復調し、ローデータ（ｒａｗ ｄａｔａ）を生成する複合復調器（図示せず）を含むこともできる。別の実施形態では、処理チェーンの早いうちに復調を実行することができる。
【００１７】
プロセッサ７は、複数の選択可能な超音波モダリティに従った１つまたは複数の処理動作をデータに行うように構成されている。エコー信号が受信されるとき、データは走査セッション中にリアルタイムで処理することができる。この開示のために、「リアルタイム」という用語は、いかなる意図的な遅延もなく行われる手順を含むように定義される。
【００１８】
また、データは、超音波の走査中に一時的にバッファ（図示せず）に格納し、ライブ操作またはオフライン操作でリアルタイムではなく処理することができる。この開示において、「データ」という用語は、本開示においては、超音波装置を用いて取得される１つまたは複数のデータセットを指すように使用することができる。
【００１９】
超音波データは、プロセッサ７によって他のまたは異なるモード関連モジュール（例えば、Ｂモード、カラードップラ、Ｍモード、カラーＭモード、スペクトルドップラ、エラストグラフィ、ＴＶＩ、歪み、歪み速度、など）で処理して超音波画像のデータを作ることができる。例えば、１つまたは複数のモジュールが、Ｂモード、カラードップラ、Ｍモード、カラーＭモード、スペクトルドップラ、エラストグラフィ、ＴＶＩ、歪み、歪み速度、およびそれらの組合せ、などの超音波画像を生成することができる。画像ビームおよび／または画像フレームは保存され、データがメモリに取得された時を示すタイミング情報を記録することができる。前記モジュールは、例えば、画像フレームを座標ビーム空間から表示空間座標に変換するために走査変換演算を実行する走査変換モジュールを含むことができる。被検体に処置が実施されている間にメモリから画像フレームを読み取り、その画像フレームをリアルタイムで表示する映像プロセッサモジュールが設けられてもよい。映像プロセッサモジュールは画像フレームを画像メモリに保存することができ、超音波画像は画像メモリから読み取られディスプレイ８に表示される。
【００２０】
プロセッサ７が複数のプロセッサを含む場合、プロセッサ７が担当する上述の処理タスクを、複数のプロセッサが担当してもよい。例えば、第１のプロセッサを使用して、ＲＦ信号を復調および間引きすることができ、第２のプロセッサを使用して、データをさらに処理した後、画像を表示することができる。
【００２１】
また、例えば受信ビームフォーマ６がソフトウェアビームフォーマである場合、その処理機能は、単一のプロセッサで実行されてもよいし、複数のプロセッサで実行されてもよい。
【００２２】
ディスプレイ８は、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。
【００２３】
メモリ９は、任意の既知のデータ記憶媒体であり、非一過性の記憶媒体及び一過性の記憶媒体を含む。非一過性の記憶媒体は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ：ハードディスクドライブ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの不揮発性の記憶媒体である。非一過性の記憶媒体は、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）やＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）などの可搬性の記憶媒体を含んでいてもよい。プロセッサ７によって実行されるプログラムは、非一過性の記憶媒体に記憶されている。
【００２４】
また、メモリ９を構成する非一過性の記憶媒体には、被検体の第一の超音波画像を取得するために用いられる第一の条件と、被検体において第一の超音波画像が取得された位置と同じ位置についての第二の超音波画像を取得するために用いられる第二の条件が記憶されている。第二の条件は、第二の超音波画像が、第一の超音波画像よりも画質が劣化した画像となる条件である。第一の条件及び第二の条件の詳細については後述する。
【００２５】
さらに、メモリ９を構成する非一過性の記憶媒体には、機械学習のアルゴリズムが記憶されている。
【００２６】
一過性の記憶媒体は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの揮発性の記憶媒体である。
【００２７】
ユーザインタフェース１０は、超音波装置１の動作を制御するための操作者の入力を受け付けることができる。例えば、ユーザインタフェース１０は、ユーザーからの指示や情報の入力を受け付ける。ユーザインタフェース１０は、キーボード（ｋｅｙｂｏａｒｄ）、ハードキー（ｈａｒｄ  ｋｅｙ）、トラックボール（ｔｒａｃｋｂａｌｌ）、ロータリーコントロール（ｒｏｔａｒｙ  ｃｏｎｔｒｏｌ）及びソフトキー等を含んで構成されている。ユーザインタフェース１０は、ソフトキー等を表示するタッチスクリーンを含んでいてもよい。
【００２８】
次に、本例の超音波診断装置の作用について基づいて説明する。先ず、機械学習の学習用データの取得について、図２のフローチャートに基づいて説明する。
【００２９】
先ずステップＳ１では、ユーザインタフェース１０が操作者の入力を受け付ける。ここでは、操作者は、超音波画像を表示させる指示を入力する。
【００３０】
ステップＳ１において、ユーザインタフェース１０が操作者の入力を受け付けると、ステップＳ２以降において、プロセッサ７は、第一の超音波画像のデータ及び第二の超音波画像のデータを、機械学習の学習用データとして用いられる１つのペアとして取得する機能を実行する。具体的には、先ずステップＳ２では、プロセッサ７がメモリ９に記憶された第一の条件を読み出す。第一の条件は、第一の超音波の送受信の条件、第一の超音波の送受信によって得られたエコー信号の処理条件及び画像処理条件を含んでいる。
【００３１】
次に、ステップＳ３では、プロセッサ７は、第一の超音波の送受信の条件を用いて超音波プローブ２による第一の超音波の送受信を行わせる。次に、ステップＳ４では、プロセッサ７は、第一の超音波の送受信によって得られたエコー信号に基づく第一の超音波画像の作成を、第一の条件を用いて行なう。また、プロセッサ７は、第一の超音波画像をディスプレイ８に表示させ、第一の超音波画像のデータをメモリ９に記憶する。ステップＳ１〜Ｓ４の機能は、本発明における第一の機能の実施の形態の一例である。
【００３２】
例えば、第一の超音波画像は、操作者が被検体について診断を行なうために表示される。
【００３３】
次に、ステップＳ５では、プロセッサ７がメモリ９に記憶された第二の条件を読み出す。第二の条件は、第二の超音波の送受信の条件、第二の超音波の送受信によって得られたエコー信号の処理条件及び画像処理条件を含んでいる。
【００３４】
ここで、第一の条件及び第二の条件について説明する。第一の条件は、被検体についての診断等を行なうために、出来るだけ良好な画質の第一の超音波画像を取得できるよう設定された条件である。一方、第二の条件は、第二の超音波画像が、第一の超音波画像よりも画質が劣化した画像となる条件である。例えば、第二の条件は、第二の超音波画像のＳＮ比が第一の超音波画像のＳＮ比よりも低下する条件を含んでいてもよい。また、第二の条件は、第二の超音波画像の深部感度が第一の超音波画像の深部感度よりも低下する条件を含んでいてもよい。
【００３５】
より具体的には、第一の条件及び第二の条件は、超音波の送信音圧を含んでいてもよい。この場合、第二の条件における第二の送信音圧は、第一の条件における第一の送信音圧よりも低い。
【００３６】
また、第一の条件及び第二の条件は、超音波の送信周波数を含んでいてもよい。この場合、第二の条件における第二の送信周波数は、第一の条件における第一の送信周波数よりも高い。
【００３７】
さらに、第一の条件及び第二の条件は、超音波の受信周波数帯域を含んでいてもよい。この場合、第二の条件における第二の受信周波数帯域は、第一の条件における第一の受信周波数帯域よりも狭帯域であり、なおかつ第二の受信周波数帯域における第二の中心周波数が第一の受信周波数帯域における第一の中心周波数よりも高い。
【００３８】
次に、ステップＳ６では、プロセッサ７は、第二の超音波の送受信の条件を用いて超音波プローブ２による第二の超音波の送受信を行わせる。例えば、プロセッサ７は、第一の条件における第一の送信音圧よりも低い第二の送信音圧で第二の超音波の送受信を行わせる。また、プロセッサ７は、第一の条件における第一の送信周波数よりも高い第二の送信周波数で第二の超音波の送受信を行わせてもよい。また、プロセッサ７は、第二の中心周波数を有する第二の受信周波数帯域で第二の超音波の送受信を行わせてもよい。第二の受信周波数帯域は、第一の条件における第一の受信周波数帯域よりも狭帯域であり、なおかつ第二の中心周波数は、第一の受信周波数帯域における第一の中心周波数よりも高い。
【００３９】
次に、ステップＳ７では、プロセッサ７は、第二の超音波の送受信によって得られたエコー信号に基づく第二の超音波画像の作成を、第二の条件を用いて行ない、第二の超音波画像のデータをメモリ９に記憶する。ステップＳ５〜Ｓ７の機能は、本発明における第二の機能の実施の形態の一例である。
【００４０】
ここで、図２のフローチャートにおいては、一フレーム分の第一の超音波画像が取得された後に、一フレーム分の第二の超音波画像が取得されるようになっている。ただし、本発明はこれに限定されるものではなく、例えば音線ごとに第一の超音波の送受信と第二の超音波の送受信とが交互に行なわれることにより、一フレーム分の第一及び第二の超音波画像が取得されてもよい。
【００４１】
以上のように、本例では、ユーザインタフェース１０が操作者の入力を受け付けると、機械学習の学習用データとして用いられる１つのペアとして、ディスプレイ８に表示される第一の超音波画像のほか、第二の超音波画像が取得され、これら第一及び第二の超音波画像のデータが記憶される。第二の超音波画像は、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件を用いて取得された画像である。従って、例えば被検体の診断を目的として取得される第一の超音波画像を取得するついでに、これと機械学習の学習用データとしてペアとなる第二の超音波画像も取得できる。これにより、できるだけ手間をかけずに、学習済みモデルを構築するためのペア画像を多量に取得することができる。
【００４２】
以上のようにして第一の超音波画像及び第二の超音波画像が取得されると、プロセッサ７は、メモリ９に記憶された機械学習のアルゴリズムを読み出し、第一の超音波画像のデータ及び第二の超音波画像のデータを学習用データとして用いる機械学習を行なう。機械学習のアルゴリズムは、教師有学習である。この教師有学習において、第一の超音波画像は、正解のデータとして用いられる。
【００４３】
機械学習の具体的なアルゴリズムとしては、例えば、下記の非特許文献１に記載されたアルゴリズムを用いてもよい。
非特許文献１：Kenji Suzuki, Junchi Liu et al. Neural Network Convolution (NNC) for Converting Ultra-Low-Dose to “Virtual” High-Dose CT Images. MLMI 2017: Machine Learning in Medical Imaging pp 334-343
【００４４】
機械学習は、学習用データとして用いられる第一の超音波画像のデータ及び第二の超音波画像のデータからなる１つのペアが取得されるたびに行われてもよいし、所要の数の複数のペアが取得されるたびに行なわれてもよい。
【００４５】
本例によれば、診断等を行ないながら、機械学習の学習用データとして第一の超音波画像のデータとペアとなる第二の超音波画像を取得することができ、継続的に機械学習を行なうことができる。これにより、学習済みモデルの精度をより高めることができる。
【００４６】
第一の超音波画像のデータ及び第二の超音波画像のデータを用いた機械学習によって得られた学習済みモデルは、メモリ９に記憶される。
【００４７】
次に、機械学習によって得られた学習済みモデルを用いた超音波画像の画質改善について、図３のフローチャートを用いて説明する。先ず、ステップＳ１１においては、プロセッサ７は超音波プローブ２による超音波の送受信を行なわせ、得られたエコー信号に基づく超音波画像の作成を行なう。また、プロセッサ７は、得られた超音波画像をディスプレイ８に表示させる。
【００４８】
ステップＳ１１において超音波画像を取得するために用いられる条件としては、例えば第一の条件が用いられてもよい。
【００４９】
次に、ステップＳ１２においては、プロセッサ７は、ステップＳ１１において取得された超音波画像を、学習済みモデルを用いて変換する指示が、ユーザインタフェース１０において入力されたか否かを判定する。より詳細には、例えば操作者は、ステップＳ１１においてディスプレイ８に表示された超音波画像の画質に基づいて、変換の必要があるか否かを決める。操作者は、画質が劣化しており変換の必要があると決定した場合、ユーザインタフェース１０において変換を指示する入力を行なう。プロセッサ７は、この変換を指示する入力をユーザインタフェース１０が受け付けたか否かを判定する。
【００５０】
ここで、「変換」とは、画質がより劣化している超音波画像を、より良好な画質の超音波画像に変換することをいう。画質の良否は、例えばＳＮ比や深部感度などの観点で決定される。従って、本例の変換により、よりＳＮ比や深部感度が低い超音波画像が、よりＳＮ比や深部感度が高い超音波画像になる。
【００５１】
例えば、皮下脂肪厚が比較的厚くない被検体においては、第一の条件を用いて取得された超音波画像は、変換の必要がない比較的良好な画質である。一方、同じ第一の条件を用いても、皮下脂肪厚がより厚い被検体については、あたかも第二の条件を用いて取得されたような画質が劣化した超音波画像が取得される。このような画質が劣化した超音波画像が取得された場合、操作者はユーザインタフェース１０において変換を指示する入力を行なう。
【００５２】
また、不慣れな操作者が、良好な画質の超音波画像を取得することができるように条件を調整することができず、画質が劣化した超音波画像が取得された場合にも、操作者はユーザインタフェース１０において変換を指示する入力を行なう。
【００５３】
ステップＳ１２において、ユーザインタフェース１０が入力を受け付けたと判定された場合（ステップＳ１２において「ＹＥＳ」）、ステップＳ１３の処理へ移行する。ステップＳ１３では、プロセッサ７は、メモリ９に記憶された学習済みモデルを用いて、ステップＳ１１において得られた超音波画像の変換を行なう。より詳細には、ステップＳ１１において得られた超音波画像のデータが、学習済みモデルに入力され、出力として画質が向上した超音波画像が得られる。
【００５４】
次に、ステップＳ１４では、プロセッサ７は、ステップＳ１３において学習済みモデルの出力として得られた超音波画像を、ディスプレイ８に表示させる。ステップＳ１４において、変換後の超音波画像が表示された場合、及びステップＳ１２において、ユーザインタフェース１０が変換の入力を受け付けなかった場合（ステップＳ１２において「ＮＯ」）、処理が終了する。
【００５５】
次に、第一実施形態の変形例について説明する。図４は、この変形例における機械学習の学習用データを取得するための処理を示すフローチャートである。図４におけるステップＳ１１〜Ｓ１３については、図２のフローチャートにおけるステップＳ１〜Ｓ３の処理と同一である。また、図４におけるステップＳ１６〜１８については、図２のフローチャートにおけるステップＳ５〜Ｓ７の処理と同一である。従って、ステップＳ１４、１５について説明する。
【００５６】
ステップＳ１４では、ステップＳ４と同様にして第一の超音波画像が作成され、ディスプレイ８に表示される。ステップＳ１５では、ステップＳ１４において表示された第一の超音波画像を記憶する指示の入力をユーザインタフェース１０が受け付ける。この入力は、操作者が行なう。ユーザインタフェース１０が第一の超音波画像を記憶する指示の入力を受け付けると、プロセッサ７は、第一の超音波画像のデータをメモリ９に記憶する。
【００５７】
ちなみに、ステップＳ１５における入力が行なわれるまで、複数フレームの第一の超音波画像が取得され表示されてもよい。
【００５８】
ステップＳ１５においてユーザインタフェース１０が前記入力を受け付けると、プロセッサ７は、ステップＳ１６における第二の条件の読出しを行なう。
【００５９】
（第二実施形態）
次に、第二実施形態について説明する。本例では、図５に示すシステム１００について説明する。第一実施形態においては、機械学習の学習用データの取得と、学習済みモデルの構築の両方が、超音波診断装置１において行なわれるが、第二実施形態においては、学習済みモデルの構築がサーバ１０１で行なわれる。以下、具体的に説明する。
【００６０】
システム１００は、超音波診断装置２０として、複数の超音波診断装置２０Ａ、２０Ｂ、２０Ｃを有し、なおかつサーバ１０１及びネットワーク１０２を有している。超音波診断装置２０Ａ、２０Ｂ、２０Ｃは、ネットワーク１０２を介してサーバ１０１と接続されている。
【００６１】
超音波診断装置２０は、図６に示すように、ネットワーク１０２と接続され、このネットワーク１０２とデータの入出力を行なうネットワークインターフェース２１を有する。超音波診断装置２０におけるその他の構成は、第一実施形態の超音波診断装置１と同一である。
【００６２】
サーバ１０１は、公知の構成を備えている。図７には、サーバ１０１の本例における要部の構成が図示されており、プロセッサ１０３、メモリ１０４及びネットワークインターフェース１０５を備えている。本例では、機械学習のアルゴリズムは、超音波診断装置２０のメモリ９ではなく、サーバ１０１のメモリ１０４に記憶されている。
【００６３】
本例の作用について、図８のフローチャートに基づいて説明する。先ず、ステップＳ３１では、超音波診断装置２０にて第一の超音波画像のデータ及び第二の超音波画像のデータが取得される。第一の超音波画像のデータ及び第二の超音波画像のデータの取得は、超音波診断装置２０において、第一実施形態と同様に図２のフローチャートに沿って行なわれる。
【００６４】
次に、ステップＳ３２では、超音波診断装置２０のプロセッサ７は、ステップＳ３１において取得された第一の超音波画像のデータ及び第二の超音波画像のデータを、ネットワークインタフェース２１及びネットワーク１０２を介してサーバ１０１へ送信する。プロセッサ７は、第一の超音波画像のデータ及び第二の超音波画像のデータからなる１つのペアが取得されるたびにサーバ１０１への送信を行なってもよいし、所要の数の複数のペアが取得されるたびにサーバ１０１への送信を行なってもよい。
【００６５】
次に、ステップＳ３３では、サーバ１０１のプロセッサ１０３は、メモリ１０４に記憶された機械学習のアルゴリズムを読み出して機械学習を行ない、学習済みモデルを構築する。プロセッサ１０３は、超音波診断装置２０から送信された第一の超音波画像のデータ及び第二の超音波画像のデータを学習用データとして用いて機械学習を行なう。本例においても、機械学習は、第一の超音波画像のデータ及び第二の超音波画像のデータからなる１つのペアが送信されるたびに行われてもよいし、所要の数の複数のペアが送信されるたびに行なわれてもよい。
【００６６】
本例では、サーバ１０１は、複数の超音波診断装置２０Ａ、２０Ｂ、２０Ｃから学習用データを取得して機械学習を行なうことができるので、より多くの学習用データを手間をかけずに取得することができる。
【００６７】
次に、ステップＳ３４では、サーバ１０１のプロセッサ１０３は、ステップＳ３３において構築された学習済みモデルをネットワークインタフェース１０５及びネットワーク１０２を介して超音波診断装置２０へ送信する。
【００６８】
本例では、サーバ１０１から送信された学習済みモデルを用いて、超音波診断装置２０において取得された超音波画像の画質改善のための変換が必要に応じて行なわれる。本例でも、超音波診断装置２０における画質改善は、図３のフローチャートに沿って行なわれる。
【００６９】
以上、本発明を前記実施形態によって説明したが、本発明はその主旨を変更しない範囲で種々変更実施可能なことはもちろんである。例えば、第二実施形態において、学習済みモデルを用いた超音波画像の変換が、サーバ１０１において行なわれてもよい。この場合、超音波診断装置２０において取得された超音波画像のデータが、サーバ１０１へ送信され、このデータについて学習済みモデルを用いた変換が行なわれる。変換後の超音波画像は、サーバ１０１から超音波診断装置２０へ送信され、ディスプレイ８に表示される。
【００７０】
サーバ１０１は、ワークステーションで構成されていてもよく、学習済みモデルを用いた変換後の超音波画像はサーバ１０１のディスプレイ（図示省略）に表示されてもよい。この場合、超音波診断装置２０において取得された超音波画像の画質が劣化していても、改めて超音波画像を取得することなく、画質が改善された超音波画像をサーバ１０１上で表示することができる。
【００７１】
また、上記実施形態は、
メモリ、ユーザインタフェース、プロセッサ、超音波プローブ及びディスプレイを備える超音波装置の制御方法であって、
前記メモリは、被検体の第一の超音波画像を取得するために用いられる第一の条件と、前記被検体において前記第一の超音波画像が取得された位置と同じ位置についての第二の超音波画像を取得するために用いられる第二の条件であって、前記第二の超音波画像が、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件が記憶されるよう構成され、
前記ユーザインタフェースは、操作者の入力を受け付けるよう構成され、
前記制御方法は、前記プロセッサが、前記ユーザインタフェースが前記操作者による入力を受け付けると、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを、機械学習の学習用データとして用いる１つのペアとして取得する機能を実行する方法であって、
前記プロセッサは、
前記メモリから前記第一の条件を読み出し、
前記超音波プローブによる第一の超音波の送受信と、該第一の超音波の送受信によって得られたエコー信号に基づく前記第一の超音波画像の作成を、前記第一の条件を用いて行ない、
前記第一の超音波画像を前記ディスプレイに表示し、
前記第一の超音波画像のデータを前記メモリに記憶し、
前記メモリから前記第二の条件を読み出し、
前記超音波プローブによる第二の超音波の送受信と、該第二の超音波の送受信によって得られたエコー信号に基づく前記第二の超音波画像の作成を、前記第二の条件を用いて行ない、
前記第二の超音波画像のデータを前記メモリに記憶する、超音波装置の制御方法としてもよい。
【符号の説明】
【００７２】
１、２０  超音波診断装置
２  超音波プローブ
７  プロセッサ
８  ディスプレイ
９  メモリ
１０  ユーザインタフェース
１０１  サーバ
１０２  ネットワーク
１０３  プロセッサ
【図１】
2020162802.tif 000003
【図２】
2020162802.tif 000004
【図３】
2020162802.tif 000005
【図４】
2020162802.tif 000006
【図５】
2020162802.tif 000007
【図６】
2020162802.tif 000008
【図７】
2020162802.tif 000009
【図８】
2020162802.tif 000010