(57)【要約】  計測断面として満たすべき特徴を抽出し、重要度に応じて区分し、各測定項目に適切な断面画像を表示、選択する超音波診断装置を提供する。超音波診断装置からのRF信号を処理して断面画像を生成する画像処理部1005と、画像処理部1005が取得した断面画像に含まれる被写体を計測するために用いる計測画像として断面画像が適正か否かを判定する適正度判定部1007を備え、適正度判定部1007が判定した結果をモニタ1006に表示し、操作者に提示する構成を有する。
2016194161.tif 000002
【特許請求の範囲】
【請求項１】
超音波を送受信する探触子から取得した信号に基づいて被検体内の組織の取得画像を生成する画像処理部と、
ユーザからの指示を受け付ける入力部と、
前記取得画像に含まれる前記被検体を計測するために用いる計測画像として、前記取得画像が適正であるか否かを判定する適正度判定部と、
前記適正度判定部が判定した結果を操作者に提示する出力部と、を備える、
ことを特徴とする超音波診断装置。
【請求項２】
請求項1に記載の超音波診断装置であって、
前記適正度判定部は、
前記取得画像から所定の形および大きさで第１部分画像を抽出する計測部位比較領域抽出部と、
前記計測部位比較領域抽出部が抽出した前記第１部分画像から、計測対象部位が描出されているものを特定する計測部位検出部と、
前記計測対象部位が描出されている前記第１部分画像から所定の形および大きさで第２部分画像を抽出する構成要素比較領域抽出部と、
前記構成要素比較領域抽出部が抽出した複数の前記第２部分画像から、前記計測対象部位に含まれる構成要素を抽出する構成要素検出部と、
抽出した前記構成要素の位置関係を、基準値と照合した結果の評価値を算出する配置認識部と、
前記構成要素ごとの平均輝度値を算出する輝度値算出部と、
前記構成要素の前記評価値と前記構成要素ごとの前記平均輝度値とを用いて前記取得画像が計測用画像として適正か否かを示す適正度を算出する適正度算出部と、から構成される、
ことを特徴とする超音波診断装置。
【請求項３】
請求項2に記載の超音波診断装置であって、
前記適正度算出部は、
前記構成要素の前記評価値と、前記構成要素ごとの前記平均輝度値にそれぞれ重み係数を乗じて前記適正度を算出する、
ことを特徴とする超音波診断装置。
【請求項４】
請求項3に記載の超音波診断装置であって、
前記入力部からの指示に基づいて前記重み係数を可変可能である、
ことを特徴とする超音波診断装置。
【請求項５】
請求項1に記載の超音波診断装置であって、
前記適正度判定部は、
前記取得画像から任意の形および大きさで部分画像を抽出する候補部分画像抽出部と、
前記部分画像から、前記取得画像に含まれる特徴量を抽出する特徴抽出器と、
抽出した前記特徴量を識別・分類する識別器と、から構成される、
ことを特徴とする超音波診断装置。
【請求項６】
請求項1に記載の超音波診断装置であって、
前記画像処理部は、複数の断面画像を生成し、
前記適正度判定部は、複数の前記断面画像に対して適正であるか否かを判定し、
前記出力部は前記適正度判定部が最も適正だと判定した断面画像を選択して提示する、
ことを特徴とする超音波診断装置。
【請求項７】
超音波診断装置の画像処理方法であって、
前記超音波診断装置は、
超音波を送受信する探触子から取得した信号に基づいて被検体内の組織の取得画像を生成し、
前記取得画像に含まれる前記被写体を計測するために用いる計測画像として、前記取得画像が適正であるか否かを判定し、
判定した結果を操作者に提示する、
ことを特徴とする画像処理方法。
【請求項８】
請求項7に記載の画像処理方法であって、
前記超音波診断装置は、
前記取得画像から所定の形および大きさで第１部分画像を抽出し、
抽出した前記第１部分画像から、計測対象部位が描出されているものを特定し、
前記計測対象部位が描出されている前記第１部分画像から所定の形および大きさで第２部分画像を抽出し、
抽出した複数の前記第２部分画像から、前記計測対象部位に含まれる構成要素を抽出し、
抽出した前記構成要素の位置関係を、基準値と照合した結果の評価値を算出し、
前記構成要素ごとの平均輝度値を算出し、
前記構成要素の前記評価値と前記構成要素ごとの前記平均輝度値とを用いて前記取得画像が計測用画像として適正か否かを示す適正度を算出する、
ことを特徴とする画像処理方法。
【請求項９】
請求項8に記載の画像処理方法であって、
前記超音波診断装置は、
前記構成要素の前記評価値と、前記構成要素ごとの前記平均輝度値にそれぞれ重み係数を乗じて前記適正度を算出する、
ことを特徴とする画像処理方法。
【請求項１０】
請求項9に記載の画像処理方法であって、
前記超音波診断装置は、
入力部からのユーザ指示に基づいて前記重み係数を可変可能である、
ことを特徴とする画像処理方法。
【請求項１１】
請求項7に記載の画像処理方法であって、
前記超音波診断装置は、
前記取得画像から任意の形および大きさで部分画像を抽出し、
抽出した前記部分画像から、前記取得画像に含まれる特徴量を抽出し、
抽出した前記特徴量を識別・分類することにより、前記取得画像が適正であるか否かを判定する、
ことを特徴とする画像処理方法。
【請求項１２】
請求項7に記載の画像処理方法であって、
前記超音波診断装置は、
複数の断面画像を生成し、
複数の前記断面画像に対して適正であるか否かを判定し、
最も適正だと判定した断面画像を選択して出力部に提示する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超音波診断装置における画像処理技術に関する。
【背景技術】
【０００２】
超音波診断装置を用いた胎児診断の一つに、超音波画像から胎児の部位の大きさを計測し、以下の数式1により体重を推定する検査がある。【０００３】
［数１］
EFW=1.07BPD3+3.00×10-1AC2×FL
ここで、EFWは推定児体重(g)、BPDは児頭大横径(cm)、ACは腹囲(cm)、FLは大腿骨長(cm)を表す。【０００４】
胎児体重推定に用いる計測断面画像については、日本においては一般社団法人日本超音波医学会により推奨条件が示されている。計測対象の一つである児頭大横径の計測断面については、Journal of Medical Ultrasonics Vol.30 No.3（2003）「超音波胎児計測の標準化と日本人の基準値」の中に「胎児頭部の正中線エコー（midline echo）が中央に描出され、透明中隔腔（septum pellucidum）と四丘体槽（cisterna corpora quadrigemina）が描出される断面」という記載がある。【０００５】
この推奨条件を満たす頭部計測断面の画像の取得位置や角度によっては対象部位が異なる大きさで描出され、推定児体重を誤って算出してしまう可能性があるため、上記のような特徴を満たす断面画像を正確に取得することが重要となる。上記の特徴を満たす計測断面画像を検査者に依存することなく取得する先行技術として、特許文献1がある。特許文献１には、「予め、統計的に測定基準画像を特徴付ける輝度空間分布特徴を学習しておき、切断面獲得部107が獲得した複数の切断面画像のうちで最も近しい輝度空間分布特徴を持つ切断面画像を、測定基準画像として選択する」という記載がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】WO2012/042808
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献1では、実際の計測においては子宮内の胎児の姿勢によって断面画像を取得する位置や角度に制約があり、また取得断面画像の全体輝度情報をベースとした判定を行っているため、計測時に必要な特徴を完全に満たす断面画像の取得が難しいことが想定される。つまり、取得した画像が医師にとって計測に最適な断面画像となる可能性が高くない。【０００８】
本発明の目的は、上記の課題を解決し、計測断面として満たすべき特徴を抽出し、重要度に応じて区分し、各測定項目に適切な断面画像を表示、選択することを可能とする超音波診断装置、及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明においては、超音波を送受信する探触子から取得した信号に基づいて被検体内の組織の取得画像を生成する画像処理部と、ユーザからの指示を受け付ける入力部と、取得画像に含まれる被検体を計測するために用いる計測画像として、取得画像が適正であるか否かを判定する適正度判定部と、適正度判定部が判定した結果を操作者に提示する出力部とを備える構成の超音波診断装置を提供する。【００１０】
また、上記の目的を達成するため、本発明においては、超音波診断装置の画像処理方法であって、超音波診断装置は、超音波を送受信する探触子から取得した信号に基づいて被検体内の組織の取得画像を生成し、取得画像に含まれる被写体を計測するために用いる計測画像として、取得画像が適正であるか否かを判定し、判定した結果を操作者に提示する画像処理方法を提供する。
【発明の効果】
【００１１】
本発明によれば、計測断面として満たすべき特徴を抽出し、またそれを重要度に応じて区分し、各測定項目に適切な断面画像である取得画像を表示、選択することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１に係る超音波診断装置の構成の一例を示すブロック図。
【図２】児頭大横径の計測断面画像の一例を示す図。
【図３】実施例1に係る適正度判定部の構成の一例を示すブロック図。
【図４】実施例１に係る、計測部位および構成要素のテンプレート画像を作成する処理の一例を示す図。
【図５】実施例１に係る入力画像から部分画像を抽出するイメージ図。
【図６】実施例１に係る正中線検出のイメージ図。
【図７】実施例１に係る、頭部輪郭に含まれる構成要素の位置関係図。
【図８】実施例１に係る、計測対象部位に含まれる構成要素間の距離を保存するテーブルを示す図。
【図９】実施例１に係る、計測対象部位に含まれる構成要素を形成する画素の平均輝度値を保存するテーブルを示す図。
【図１０】実施例１に係る、計測断面画像としての条件を満たすか否かを評価する際の重み係数を保存するテーブルを示す図。
【図１１】実施例１に係る、判定結果をユーザに提示する画面の一例を示す図。
【図１２】実施例２に係る、超音波診断装置においてメカニカルスキャン方式プローブにて複数の断面画像を取得するイメージ図。
【図１３】実施例３に係る各断面画像について算出した適正度を保存するテーブルを示す図。
【図１４】実施例３に係る適正度判定部の構成の一例を示すブロック図。
【図１５】実施例３に係る適正度判定部におけるデータフロー図。
【図１６】実施例３に係る部分画像抽出のイメージ図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について図面を用いて説明する。なお、以下説明する実施例において、超音波診断装置の診断対象として頭部計測断面を一例に説明するが、その他、腹部計測断面および大腿部計測断面についても同様に適用できる。図２に、一般社団法人日本超音波医学会による推奨条件を満たす頭部計測断面を示した。同図に明らかなように、頭部輪郭2001内には、正中線2002の両側に透明中隔2003、2004、四丘体槽2005、2006が抽出される。
【実施例１】
【００１４】
実施例１は、超音波を送受信する探触子から取得した信号に基づいて被検体内の組織の取得画像を生成する画像処理部と、ユーザからの指示を受け付ける入力部と、取得画像に含まれる被検体を計測するために用いる計測画像として、取得画像が適正であるか否かを判定する適正度判定部と、適正度判定部が判定した結果を操作者に提示する出力部とを備える構成の超音波診断装置の実施例である。また、超音波診断装置の画像処理方法であって、超音波を送受信する探触子から取得した信号に基づいて被検体内の組織の取得画像を生成し、取得画像に含まれる被写体を計測するために用いる計測画像として、取得画像が適正であるか否かを判定し、判定した結果を操作者に提示する画像処理方法の実施例である。【００１５】
図１は、実施例１に係る超音波診断装置の構成の一例を示すブロック図である。図１における超音波診断装置は、エコーデータを取得するための超音波振動子による探触子1001、送信パルスの制御、受信エコー信号の増幅を行う送受信部1002、アナログ／デジタル変換部1003、多数の振動子からの受信エコーを束ねて、整相加算するビームフォーミング処理部1004、ビームフォーミング処理部1004からのRF信号に対してダイナミックレンジ圧縮、フィルタ処理等、および走査変換処理を行い、取得画像である断面画像を生成する画像処理部1005、モニタ1006、取得画像である断面画像に描出されている計測対象部位を計測するために用いる画像として適正か否かを判定する適正度判定部1007、タッチパネル、キーボード、トラックボール等によるユーザ入力部1009、適正度判定部1007の判定において判定基準を設定する制御部1010、適正度判定部1007が判定した結果を、モニタ1006を使ってユーザに提示する提示部1008から構成される。なお、本明細書において、モニタ1006と提示部1008を総称して出力部と呼ぶ場合がある。【００１６】
この構成において、ユーザが探触子1001を操作することにより、送受信部1002、アナログ／デジタル変換部1003、ビームフォーミング処理部1004を経由して画像処理部1005が画像データを受け付ける。画像処理部1005は、取得画像として断面画像を生成し、モニタ1006がこの断面画像を表示する。なお、画像処理部1005、適正度判定部1007、制御部1010は、通常のコンピュータの処理部である、中央処理部(CPU)1011で実行されるプログラムで実現可能である。以下、適正度判定部1007、および結果をユーザに提示する提示部1008について説明する。この提示部1008についても適正度判定部1007同様、CPUのプログラムで実現可能である。【００１７】
図3は、図1における適正度判定部1007の構成の一例である。同図に示すように、適正度判定部1007は、画像処理部1005から受け付けた断面画像である取得画像から所定の形および大きさで第１の部分画像を抽出する計測部位比較領域抽出部3001、計測部位比較領域抽出部3001が抽出した複数の第１部分画像からエッジ情報を用いて計測対象部位が描出されているものを特定する計測部位検出部3002、計測部位検出部3002が検出した計測対象部位が描出されている第１部分画像から、所定の形および大きさでさらなる第２部分画像を抽出する構成要素比較領域抽出部3003、構成要素比較領域抽出部3003が抽出した複数の第２部分画像からエッジ情報を用いて計測対象部位に含まれる構成要素を抽出する構成要素検出部3004、構成要素の位置関係を認識する配置認識部3005、構成要素ごとの平均輝度値を算出する輝度値算出部3006、配置認識部3005が認識した構成要素の位置関係と、輝度値算出部3006が算出した構成要素ごとの平均輝度値と、を用いて断面画像が計測用画像として適正か否かを示す適正度を算出する適正度算出部3007である。【００１８】
適正度判定部1007は、以下順次説明するように、取得画像から所定の形および大きさで第１部分画像を抽出し、抽出した第１部分画像から、計測対象部位が描出されているものを特定し、計測対象部位が描出されている第１部分画像から所定の形および大きさで第２部分画像を抽出し、抽出した複数の第２部分画像から、計測対象部位に含まれる構成要素を抽出し、抽出した構成要素の位置関係を、基準値と照合した結果の評価値を算出し、構成要素ごとの平均輝度値を算出し、構成要素の評価値と構成要素ごとの平均輝度値とを用いて取得画像が計測用画像として適正か否かを示す適正度を算出する。【００１９】
計測部位検出部3002および構成要素検出部3004は、具体的にはテンプレートマッチングにより計測部位および構成要素を検出する。テンプレートマッチングに用いるテンプレート画像は、あらかじめ計測断面の基準とする画像から作成して超音波診断装置の内部のメモリやコンピュータの記憶部等に保存しておく。【００２０】
図4は、計測部位および構成要素のテンプレート画像を作成する処理の一例を説明する図である。図4に、超音波診断装置が取得した画像の中で、計測断面としての特徴を満たすと判断された計測断面基準画像4001を示した。計測断面基準画像4001には、胎盤4003、4004など子宮内部の組織とともに、計測対象である頭部輪郭4002が描出されている。先に述べたように、本実施例の超音波診断装置においては頭部計測断面について説明するが、腹部計測断面および大腿部計測断面についても同様な処理を行うことで判定が可能である。計測断面基準画像4001は複数の医師、検査技師が実際に計測断面としての特徴を満たすと判断した画像を利用してもよいが、本実施例にかかる超音波診断装置を利用するユーザが計測断面としての特徴を満たすと判断した画像を登録できるようにしてもかまわない。また、複数の計測断面基準画像4001を用意して、多くの種類のテンプレート画像を生成することが望ましい。【００２１】
図４に示すように、まず、計測断面基準画像4001から頭部輪郭付近のみを抽出し、頭部輪郭テンプレート画像4006を生成する。正中線などの構成要素のテンプレートについては、頭部輪郭テンプレート画像4006からそれぞれ抽出し、正中線テンプレート画像4008、透明中隔テンプレート画像4009、四丘体槽4010を生成する。透明中隔テンプレート画像4009および四丘体槽テンプレート画像4010には、中央付近に横断するような配置で正中線の一部を含む。なお、実際に撮影される超音波画像は、サイズや位置、画質等が様々である。従って、テンプレートマッチングによる検出率の精度向上を図るため、上述のCPUのプログラム処理により、生成した頭部輪郭テンプレート画像4006、正中線テンプレート画像4008、透明中隔テンプレート画像4009、四丘体槽テンプレート画像4010から、それぞれを回転・拡大・縮小、フィルタリング処理、エッジ強調処理等をすることにより様々なパターンのテンプレート画像を生成しておくことが望ましい。【００２２】
以下、図3に示した適正度判定部1007の各処理部について説明する。計測部位比較領域抽出部3001は、画像処理部1005から入力された1枚の断面画像から所定の形および大きさで複数の第１部分画像を抽出し、その複数の第１部分画像を出力する。図5は、所定の大きさの矩形で入力画像5001から入力画像パッチ5002および5003を抽出する仕組みを示したものである。ここで、入力画像パッチは、計測部位の全体が描出されるよう十分大きなサイズとする。図5では図示の簡略化のために、点線で示す第１部分画像を粗く抽出しているが、計測部位を漏れなく抽出するためには断面画像の全体から網羅的に第１部分画像を抽出することが望ましい。【００２３】
計測部位検出部3002は、計測部位比較領域抽出部3001が抽出した入力画像パッチからテンプレートマッチングにより計測部位が描出されているものを検出し、その入力画像パッチを出力する。頭部輪郭を検出する場合は、入力画像パッチ5002および5003を順次頭部輪郭テンプレート画像4006と比較し、類似度をそれぞれ算出する。類似度は以下の数式2に示すSSD（Sum of Squared Difference）として定義される。【００２４】
【数２】
2016194161.tif 000003
【００２５】
ここで、I(x,y)は入力画像パッチの座標(x,y)における輝度値、T(x,y)はテンプレート画像の座標(x,y)における輝度値を表す。【００２６】
入力画像パッチと頭部輪郭テンプレート画像が完全に一致する場合はSSDが0となる。すべての入力画像パッチの中から最小のSSDをもつものを抽出し、頭部輪郭抽出パッチ画像として出力する。SSD値が所定の値以下の入力画像パッチが存在しない場合は、入力画像5001には頭部輪郭が描出されていないと判断し、本実施例の処理を終了する。このとき計測対象部位を検出できなかったことをモニタ1006上のメッセージやマークによってユーザに提示し、別の画像を入力するよう促してもかまわない。【００２７】
なお、入力画像パッチとテンプレート画像の類似度はSSDの代わりに、SAD（Sum of Absolute Difference）やNCC（Normalized Cross-Correlation）、ZNCC（Zero-means Normalized Cross-Correlation）により定義してもかまわない。また、計測部位比較領域抽出部3001が回転・拡大・縮小を組み合わせたテンプレート画像を生成しておくことで、様々な配置や大きさで描出されている頭部輪郭を検出することが可能になる。また、テンプレート画像および入力画像パッチ双方に前処理としてエッジ抽出やノイズ除去などを適用することにより、検出精度を向上させることができる。【００２８】
構成要素比較領域抽出部3003は、計測部位検出部3002が検出した計測部位が描出されている入力画像パッチから、さらに所定の形および大きさで複数の第２部分画像を抽出し、その複数の第２部分画像を出力する。すなわち、図6に示すように構成要素の形状や大きさに応じて異なる第２部分画像を抽出する。以下、構成要素比較領域抽出部3003が抽出した第２部分画像を計測部位画像パッチと呼ぶ。計測部位画像パッチの大きさは、正中線や透明中隔、四丘体槽それぞれの全体が十分含まれるよう、一例としては20画素×20画素とする。また、それぞれの構成要素に合わせて形や大きさが異なる第２部分画像である計測部位画像パッチを複数抽出してもよい。【００２９】
構成要素検出部3004は、構成要素比較領域抽出部3003が抽出した計測部位画像パッチからテンプレートマッチングにより計測部位に含まれる構成要素が描出されているものを検出し、その計測部位画像パッチを出力する。頭部輪郭4002、6001の内側にある正中線や透明中隔、四丘体槽を検出する場合は、計測部位検出部3002の処理と同様に、計測部位画像パッチを順次正中線テンプレート画像4008、透明中隔テンプレート画像4009、四丘体槽テンプレート画像4010と比較して類似度をそれぞれ算出し、所定の値以下のSSDをもつ計測部位画像パッチを抽出する。【００３０】
透明中隔テンプレート画像4009と四丘体槽テンプレート画像4010は、正中線テンプレート画像4008と比較して特徴量が多いため、正中線に先立って検出することが望ましい。図6に示すように透明中隔領域6002と四丘体槽領域6003が定まれば、それぞれの領域の中心点である透明中隔領域中心点6006と四丘体槽領域中心点6007を通る直線を求め、その直線と平行に正中線探索窓6004を移動することによって正中線探索範囲6005を限定することができ、計算量を低減することが可能になる。正中線探索窓6004の大きさは、一例としては透明中隔領域中心点6006と四丘体槽領域中心点6007の距離の2倍の長さとすればよい。【００３１】
配置認識部3005は、構成要素検出部3004が特定した構成要素について位置関係を認識する。頭部の場合には、図7に示すように頭部輪郭中心点7007と正中線中心点7008との距離を計測し、次に説明する構成要素配置評価テーブルに保存しておく。頭部輪郭中心点7007は、計測部位検出部3002が検出した頭部輪郭が描出されている入力画像パッチの中から楕円当てはめにより頭部輪郭を検出し、楕円の長軸と短軸の交点を算出することによって求める。距離は、楕円短軸の長さに対する相対値としておけば、入力画像パッチに描出されている頭部輪郭の大きさに依存せずに評価することができる。【００３２】
図８に、超音波診断装置の内部のメモリやコンピュータの記憶部等に記憶される構成要素配置評価テーブルと、構成要素配置基準テーブルの構成の一例を示す。計測断面として適切な頭部輪郭中心点7007と正中線中心点7008の距離の基準値は、図８に示した構成要素配置基準テーブル8002には、最小値と最大値を保存しておく。構成要素配置評価テーブル8001に保存した距離が基準最小値から基準最大値までの範囲に含まれる場合は評価値を1、範囲外の場合は評価値を0として構成要素配置評価テーブル8001に保存する。【００３３】
輝度値算出部3006は、構成要素検出部3004が特定した構成要素について、含まれる画素の輝度値の平均を算出し、構成要素輝度テーブルに保存しておく。図９に、超音波診断装置の内部のメモリやコンピュータの記憶部等に記憶される構成要素輝度テーブルの構成の一例を示す。頭部の場合には、配置認識部3005で楕円当てはめにより検出した頭部輪郭上の画素の平均輝度値を算出し、最大値が1になるように正規化して構成要素輝度テーブル9001に保存しておく。構成要素についてはHough変換を用いた直線検出により正中線7002、透明中隔7003、7004、四丘体槽7005、7006を特定し、各直線を形成する画素の平均輝度値をそれぞれ算出する。平均輝度値は頭部輪郭と同様に正規化して構成要素輝度テーブル9001に保存する。【００３４】
適正度算出部3007は、構成要素配置評価テーブル8001および構成要素輝度テーブル9001を参照して計測断面としての適正度を算出し、その適正度を出力する。適正度は以下の数式3で表される。【００３５】
【数３】
2016194161.tif 000004
【００３６】
ここで、Eは適正度、piは構成要素配置評価テーブル8001に保存した各評価値、qjは構成要素輝度テーブル9001に保存した各平均輝度値、aiとbjは0から1の間の値をとる重み係数である。Eは0から1の間の値をとる。【００３７】
各重み係数はあらかじめ図10に示すような適正度重み係数テーブルに保存しておく。頭部の場合は、児頭大横径を計測する上で頭部輪郭が明瞭に描出されていることが重要であるため、頭部輪郭の平均輝度値に対する重み係数を1.0とする。次に重要な頭部輪郭中心点と正中線中心点の距離、正中線の平均輝度値に対する重み係数を0.8とし、透明中隔、四丘体槽の平均輝度値に対する重み係数を0.5とする。なお、重み係数の値はユーザ入力部1009によってユーザから指定可能としてもよい。【００３８】
提示部1008は適正度算出部3007が算出した適正度を、モニタ1006によりユーザに提示し、処理を終了する。図11はユーザに提示する画面表示の一例である。提示部1008は、同図上段に示すように適正度の大きさを数値やマーク、色で表現し、ユーザに対して計測の開始をうながしてもよい。また、同図下段に示すように例えば「計測開始」など次のステップに進むためにユーザが選択するボタンを有効にしてもかまわない。適正度が所定の値より大きい場合に計測断面としての特徴を満たしていると判断するが、その所定の値はユーザ入力部1009によってユーザから指定させてもよい。【００３９】
なお、本実施例の超音波診断装置においては、補助情報としてユーザ入力部1009によってユーザから指定された胎児週数などを利用してもかまわない。胎児週数によって計測部位の大きさや輝度値など描出のされ方が異なるため、計測部位検出部3002および構成要素検出部3004において同じ胎児週数のテンプレート画像を用いることで、検出精度の向上が見込める。また、胎児週数に応じて適正度重み係数テーブル10001の重み係数を変更することで、より適切に適正度を算出することが可能になる。胎児週数は、ユーザ入力部1009によって数値そのものをユーザから指定させてもよいが、事前に異なる部位に対して計測した結果を用いて推定した胎児週数を利用してもかまわない。【００４０】
以上詳述した実施例１の超音波診断装置により、計測断面として満たすべき特徴を重要度に応じて区分し、特に重要度の高い特徴を満たす断面画像を選択することができる。
【実施例２】
【００４１】
本実施例は、複数の断面画像が入力された場合に計測断面画像として最適な画像を選択することが可能な超音波診断装置の実施例である。すなわち、本実施例では、画像処理部は、複数の断面画像を生成し、適正度判定部は、複数の断面画像に対して適正であるか否かを判定し、出力部は適正度判定部が最も適正だと判定した断面画像を選択して提示する構成の超音波診断装置の実施例である。なお、装置構成については、実施例１で説明した図１の構成を用いるが、本実施例における探触子1001として、メカニカルスキャン方式プローブを用いる場合を例示して説明する。【００４２】
図12は、超音波診断装置においてメカニカルスキャン方式プローブにて複数の断面画像を取得するイメージ図である。勿論、複数の断面画像データを取得する方法としては、フリーハンド方式、メカニカルスキャン方式、2Dアレイ方式などいずれの方式でもかまわない。画像処理部1005は、上記のいずれかの方式で探触子1001から入力された断面画像データを用いて断層面12002および12003、12004それぞれにおける断面画像を生成し、超音波診断装置の内部のメモリやコンピュータの記憶部等に保存する。【００４３】
適正度判定部1007は、画像処理部1005が生成した複数の断面画像に対してそれぞれ実施例1で説明した各処理を行い、適正度を判定する。判定した結果は、図13に示すような適正度テーブルに保存しておく。適正度テーブル13001は、断面画像を識別するための断面画像IDと、計測対象部位を識別するための部位名称とともに、各断面画像の適正度を保存しておくものである。
【実施例３】
【００４４】
実施例３として、より処理量が少ない機械学習により計測断面がもつ特徴量を識別して適正であるか否かを判定する構成の実施例を説明する。すなわち、本実施例は、適正度判定部が、取得画像から任意の形および大きさで部分画像を抽出する候補部分画像抽出部と、部分画像から、取得画像に含まれる特徴量を抽出する特徴抽出器と、抽出した特徴量を識別・分類する識別器とから構成される超音波診断装置の実施例である。【００４５】
実施例1においてはテンプレートマッチングにより計測部位および計測部位に含まれる構成要素を抽出し、構成要素の位置関係と平均輝度値を用いて適正度の判定を行ったが、複数の断面画像に対するテンプレートマッチングは処理量が非常に大きくなる。なお、本実施例では入力画像から特徴量の抽出と識別を機械によって行う畳み込みニューラルネットワークについて説明するが、特徴量としては輝度値やエッジ、勾配などあらかじめ定めた指標を用いて、ベイズ分類やk近傍法、サポートベクターマシンなどにより識別を行ってもかまわない。畳み込みニューラルネットワークについてはLECUN et al, “Gradient-Based Learning Applied to Document Recognition,” in Proc. IEEE, vol.86, no.11, Nov. 1998等に詳細な記載がある。【００４６】
図14は、本実施例の装置における機械学習を用いる場合の適正度判定部1007の構成の一例である。なお、本実施例の装置の他の構成は、実施例１で説明した図１の装置構成と同じ構成を備えているので説明は省略する。本実施例の適正度判定部1007は、画像処理部1005が生成した1枚の断面画像から任意の形および大きさで複数の部分画像を抽出する候補部分画像抽出部14001と、抽出した部分画像から画像に含まれる特徴量を抽出する特徴抽出器14002と、前記特徴量を識別・分類する識別器14003とから構成される。【００４７】
図15に、畳み込みニューラルネットワークの場合の特徴抽出器14002および識別器14003におけるデータフローを示す。特徴抽出器14002は畳み込み層とプーリング層を複数連結した形で構成されている。特徴抽出器14002は、W1×W1サイズの入力画像15001に対してｋ×ｋサイズの二次元フィルタをN2種類畳み込んだ上で以下の数式4で示す活性化関数を適用し、畳み込み層出力15002としてW2×W2サイズの特徴マップをN2枚生成する。【００４８】
【数４】
2016194161.tif 000005
【００４９】
ここでfは活性化関数、xは二次元フィルタの出力値である。【００５０】
数式4はシグモイド関数であるが、活性化関数としてはrectified linear unitやMaxoutを用いてもよい。畳み込み層の目的は、入力画像の一部をぼかしたりエッジを強調したりすることで局所的な特徴を得ることである。頭部計測の場合には、一例としてW1を200画素、ｋを5画素、W2を196画素に設定する。次のプーリング層では、畳み込み層が生成した特徴マップに対して数式5に示す最大プーリングを適用し、W3×W3サイズのプーリング層出力15003を生成する。【００５１】
【数５】
2016194161.tif 000006
【００５２】
ここで、Pは特徴マップから任意の位置で抽出したs×sサイズの領域、yiはその抽出した領域に含まれる各画素の輝度値、y’はプーリング層出力の輝度値を表す。【００５３】
頭部計測の場合には、一例としてsを2画素に設定する。プーリングの手法としては平均プーリングなどを用いてもかまわない。プーリング層によって特徴マップは縮小され、画像内の特徴の微小な位置変化に対して頑健性を確保することが可能になる。後段の畳み込み層およびプーリング層においても同様の処理を行い、プーリング層出力15005を生成する。識別器14003はフルコネクト層15006および出力層15007から成るニューラルネットワークであり、入力画像が計測断面としての特徴を満たすか否かの識別結果を出力する。各層のユニットは完全に相互に連結されており、例えば出力層の1つのユニットとその前段の中間層のユニットには以下の数式6で示す関係がある。【００５４】
【数６】
2016194161.tif 000007
【００５５】
ここで、Oiは出力層のi番目のユニットの出力値、gは活性化関数、Nは中間層のユニット数、cijは中間層のj番目のユニットと出力層のi番目のユニットの間の重み係数、rjは中間層のj番目のユニットの出力値、dはバイアスである。cijおよびdを後述する学習の処理で更新し、計測断面としての特徴を満たすか否かの識別が行えるように構成する。【００５６】
続いて、図15の畳み込みニューラルネットワークに対して学習をさせる処理について説明する。本実施例に係る畳み込みニューラルネットワークにおいては教師あり学習を行う。学習データとしては、W1×W1サイズに正規化した複数の入力画像と、各入力画像が計測断面としての特徴を満たすか否かのラベルを用意しておく。入力画像としては、計測断面基準画像だけでなく、胎盤など子宮内組織の画像や正中線が描出されていない頭部輪郭画像など計測断面としての特徴を満たさない画像も十分な数を用意する必要がある。学習は、入力画像に対して得られた識別結果と学習データとして用意したラベルの誤差が小さくなるよう、誤差逆伝播法を用いて畳み込み層の二次元フィルタおよびフルコネクト層の重みとバイアスを更新することで行う。以上の処理を学習データとして用意したすべての入力画像に対して行うことで学習が完了する。【００５７】
次に学習を完了した畳み込みニューラルネットワークを用いて、断面画像が計測断面としての特徴を満たすか否か判定する処理について説明する。候補部分画像抽出部14001は、入力された断面画像の全体から網羅的に部分画像を抽出し、その部分画像を出力する。図16の矢印線に示すように、候補部分画像抽出窓16001を断面画像の左上から右下に向かって細かく移動させ、部分画像を抽出していく。特徴抽出器14002および識別器14003は、候補部分画像抽出部14001が生成した候補部分画像に対して順次特徴抽出と識別を行い、識別器14003は計測断面として適切である尤度と不適である尤度をそれぞれ出力する。識別器14003によって計測断面としての特徴を満たすと判定された断面画像については、識別器14003の出力値を適正度として適正度テーブル13001に保存しておく。提示部1008は、適正度テーブル13001を参照し、計測対象部位を含む断面画像の中で最大の適正度をもつ断面画像をユーザに提示する。提示部1008は、図11上段に示したと同様にメッセージを用いて最大の適正度をもつ断面画像を指し示してもよいし、複数の断面画像を一覧表示してその中で最大の適正度をもつ断面画像をメッセージやマーク、枠囲みによって指し示してもかまわない。【００５８】
このように本実施例の装置によれば、複数の断面画像から計測断面画像として最適な断面画像を選択するため、ユーザが画像を繰り返し取得して適正度の算出結果を確認する手間を省くことができる。【００５９】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。例えば、以上の実施例においては、探触子等を備えた超音波診断装置を例示して説明したが、得られたRF信号等が蓄積された記憶装置の記憶データに対して、画像処理部以降の処理を実行する信号処理装置にも本発明を適用できることはいうまでもない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。【００６０】
更に、上述した各構成、機能、処理部・制御部等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。
【符号の説明】
【００６１】
1001  探触子
1002  送受信部
1003  アナログ／デジタル変換部
1004  ビームフォーミング処理部
1005  画像処理部
1006  モニタ
1007  適正度判定部
1008  提示部
1009  ユーザ入力部
1010  制御部
1011  CPU
3001  計測部位比較領域抽出部
3002  計測部位検出部
3003  構成要素比較領域抽出部
3004  構成要素検出部
3005  配置認識部
3006  輝度値算出部
3007  適正度算出部
14001  候補部分画像抽出部
14002  特徴抽出部
14003  識別器
【図１】
2016194161.tif 000008
【図２】
2016194161.tif 000009
【図３】
2016194161.tif 000010
【図４】
2016194161.tif 000011
【図５】
2016194161.tif 000012
【図６】
2016194161.tif 000013
【図７】
2016194161.tif 000014
【図８】
2016194161.tif 000015
【図９】
2016194161.tif 000016
【図１０】
2016194161.tif 000017
【図１１】
2016194161.tif 000018
【図１２】
2016194161.tif 000019
【図１３】
2016194161.tif 000020
【図１４】
2016194161.tif 000021
【図１５】
2016194161.tif 000022
【図１６】
2016194161.tif 000023
【国際調査報告】
2016194161.tif 000024
2016194161.tif 000025
2016194161.tif 000026