(57)【要約】      （修正有）【課題】医用画像のパノラマ化（合成）技術であって、ユーザの熟練度への依存が少なく、かつ、診断に有用な合成画像を生成する。【解決手段】重畳画像を合成して合成画像を生成する際、合成に用いる情報を用いて重畳画像の信頼性を評価する。そして、評価結果をユーザに提示する。評価に用いる情報は、被重畳画像に対する重畳画像の移動量とする。評価結果は、合成画像に反映してユーザに提示してもよい。具体的には、重畳画像を被重畳画像に合成し、合成画像を生成する画像合成部２２５と、前記合成画像を表示する表示装置１４０とを備える超音波診断装置であって、前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出部２２３と、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価部２２４と、を備え、前記表示装置は、前記評価部による評価結果をさらに表示することを特徴とする超音波診断装置を提供する。【選択図】図１
2015144623.tif 000002
【特許請求の範囲】
【請求項１】
重畳画像を被重畳画像に合成して合成画像を生成する画像合成部と、前記合成画像を表示する表示装置とを備える超音波診断装置であって、
前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出部と、
前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価部と、を備え、
前記表示装置は、前記評価部による評価結果をさらに表示すること
を特徴とする超音波診断装置。
【請求項２】
請求項１記載の超音波診断装置であって、
前記重畳画像を取得する毎に、当該重畳画像から特徴点を抽出して記憶する特徴情報抽出部と、
前記重畳画像の特徴点を、被重畳画像の特徴点と対応付ける特徴点対応部と、をさらに備え、
前記移動量算出部は、前記フレーム移動量を、前記対応づけられた特徴点を用いて算出すること
を特徴とする超音波診断装置。
【請求項３】
請求項２記載の超音波診断装置であって、
前記評価部は、前記フレーム移動量分移動させた前記重畳画像の各特徴点と、前記被重畳画像の対応する前記特徴点との距離が、予め定めた閾値より大きい場合、評価結果を信頼性低とすること
を特徴とする超音波診断装置。
【請求項４】
請求項１記載の超音波診断装置であって、
前記画像合成部は、前記評価結果に応じて前記重畳画像の表示態様が異なるものとなるよう前記合成画像を生成し、
前記評価結果は、当該合成画像に反映され、前記表示装置に表示されること
を特徴とする超音波診断装置。
【請求項５】
請求項４記載の超音波診断装置であって、
前記画像合成部は、前記合成画像の、前記被重畳画像と前記重畳画像との重複部分の画素値を、重畳画像の画素値とすること
を特徴とする超音波診断装置。
【請求項６】
請求項１記載の超音波診断装置であって、
前記画像合成部は、前記合成画像の、前記被重畳画像と前記重畳画像との重複部分の画素値を、当該被重畳画像の画素値および当該重畳画像の画素値それぞれに、前記評価結果に応じた重み付けをした重み付け平均値として前記合成画像を生成し、
前記評価結果は、当該合成画像に反映され、前記表示装置に表示されること
を特徴とする超音波診断装置。
【請求項７】
請求項６記載の超音波診断装置であって、
前記画像合成部は、前記重畳画像の前記評価結果が低の場合、前記重畳画像の画素値に付す重みを０とすること
を特徴とする超音波診断装置。
【請求項８】
請求項１記載の超音波診断装置であって、
前記評価結果を示す信頼性表示を生成する信頼性表示生成部をさらに備え、
前記評価結果は、当該信頼性表示により、前記表示装置に表示されること
を特徴とする超音波診断装置。
【請求項９】
請求項２記載の超音波診断装置であって、
取り直しモードの選択を受け付けるモード制御部と、
取り直しモードが選択された場合、前記重畳画像の撮影位置の適否を判別する判別部と、をさらに備え、
前記判別部は、不適切と判別した場合、不適切であることをユーザに通知すること
を特徴とする超音波診断装置。
【請求項１０】
請求項９記載の超音波診断装置であって、
前記判別部が適切と判別した場合、前記モード制御部は、以後取得された重畳画像に対し、前記移動量算出部に移動量を算出させ、前記評価部に前記信頼性の評価を行わせ、前記画像合成部に合成画像を生成させること
を特徴とする超音波診断装置。
【請求項１１】
請求項１０記載の超音波診断装置であって、
前記判別部は、適切と判別した場合、前記被重畳画像の、前記重畳画像に対応する位置を識別可能に表示すること
を特徴とする超音波診断装置。
【請求項１２】
請求項２記載の超音波診断装置であって、
前記フレーム移動量は、回転移動量と２次元の平行移動量とからなり、
前記移動量算出部は、前記フレーム移動量を、前記対応付けられた特徴点の移動量を用い、非線形最小二乗法により求めること
を特徴とする超音波診断装置。
【請求項１３】
請求項２記載の超音波診断装置であって、
前記フレーム移動量は、回転移動量と２次元の平行移動量とからなり、
前記移動量算出部は、前記回転移動量および２次元の平行移動量以外の第四の自由度をさらに有する変換式を用いて前記フレーム移動量を算出し、
前記評価部は、前記第四の自由度の変化が予め定めた閾値以上の場合、評価結果を信頼性低とすること
を特徴とする超音波診断装置。
【請求項１４】
請求項２記載の超音波診断装置であって、
前記特徴情報抽出部は、前記特徴点毎に、当該特徴点を特徴づける画像特徴量を算出し、
前記特徴点は、前記重畳画像の中のエッジに該当する画素およびコーナーに該当する画素の少なくとも一方とし、
前記画像特徴量は、前記各特徴点の、全隣接画素それぞれとの差分値からなり、
前記特徴点対応部は、前記画像特徴量が合致する特徴点を、対応する特徴点とすること
を特徴とする超音波診断装置。
【請求項１５】
請求項２記載の超音波診断装置であって、
前記抽出した特徴点を、前記重畳画像に対応づけて登録するデータ保持部をさらに備え、
前記評価部は、前記評価結果を前記データ保持部に登録し、
移動量算出部は、算出した前記フレーム移動量を前記データ保持部に登録すること
を特徴とする超音波診断装置。
【請求項１６】
重畳画像を被重畳画像に合成して合成画像を生成する画像合成部と、前記合成画像を表示する表示装置とを備える超音波診断装置における画像評価表示方法であって、
前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出ステップと、
前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価ステップと、
前記評価部による評価結果を、前記表示装置に表示する表示ステップと、を備えること
を特徴とする画像評価表示方法。
【請求項１７】
コンピュータを、
超音波診断装置で取得した重畳画像の、当該重畳画像を合成する被重畳画像に対する移動量であるフレーム移動量を算出する移動量算出手段と、
前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価手段と、
前記評価手段による評価結果を反映した表示データを生成する表示データ生成手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測、診断等に用いられる医用画像を複数組み合わせてパノラマ画像を生成・表示する技術に関する。
【背景技術】
【０００２】
超音波診断装置は、Ｘ線ＣＴあるいはＭＲＩといった他の装置に比べ、侵襲度が低く、装置が小型で持ち運びができ、リアルタイムで画像が得られる、といった特長を有する。このような特長は、術者が探触子と呼ばれる超音波送受信器を撮像対象の着目部位に押し当て、その部位の情報のみを得るという超音波診断装置の仕組みに負う所が大きい。逆に、超音波診断装置は、このような仕組みを有するため、一度に大きい領域の情報が得られない。
【０００３】
熟達した術者であれば、探触子を押し当てる部位を移動させつつ撮像を行うことで、頭の中で仮想的に連続した大きい領域の画像を構築できる。しかしながら、頭の中で仮想的に構築した画像は、第三者との共有ができないため、客観性が低く、患者への説明にも用いにくい。
【０００４】
これらを、現状の装置に大きな変更を加えずに解決する方法のひとつとして、術者が探触子を体表に押し当てた状態で連続的に撮像部位を移動させて得た画像を合成して表示するパノラマ化がある。一般のカメラ撮影で用いられるパノラマ化と概念的にはほぼ同じである。
【０００５】
この技術により、例えば腕を上腕から下腕までといった広い範囲を同一画像で観察することが可能となる。パノラマ化により得た画像（パノラマ画像；以下、合成画像と呼ぶ。）は、これまで術者が頭の中で構成していた人体の構造を客観的に提示することを可能とするものである。
【０００６】
パノラマ化には、時間的に連続するフレーム同士で、特徴的な点あるいは領域の移動に関する計算を行い、それらの位置合わせ（レジストレーション）を行った上で重畳するという手法が用いられる。ここで、フレーム間の平行移動量を特定領域の投影分布の一次元相関間より求める技術がある（例えば、特許文献１参照。）。なお、特許文献１においては、フレーム間の回転移動量は、各フレームを複数の領域に分割し、領域ごとに平行移動量を求め、領域間の平行移動量の差に基づき算出する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−２１７８１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１の技術を用いることにより、リアルタイムで画像のパノラマ化を行い、ユーザは合成画像を得ることができる。ここで、パノラマ化には複数の部位の診断画像が必要であるが、それらは異なる時刻に取得されたものである。人体はその生命維持の活動を行う上で常に動いており、異なる時刻に異なる部位の画像を得た場合、その体動の影響を受けることになる。従って、パノラマ化に用いられる画像は、撮影された条件によって、精度良く合成される場合と精度が低い状態で合成されてしまう場合とが混在することになる。
【０００９】
しかしながら、従来のパノラマ化技術では、ユーザは合成画像において通常と異なる所見を得た場合、それがパノラマ化の際の精度に起因するのか、もしくは実際に疾病などの医学上の理由によるものかの判断を行うことが困難であった。
【００１０】
本発明は、上記事情に鑑みてなされたもので、医用画像のパノラマ化（合成）技術であって、ユーザの熟練度への依存が少なく、かつ、診断に有用な合成画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、重畳画像を合成して合成画像を生成する際、合成に用いる情報を用いて重畳画像の信頼性を評価する。そして、評価結果をユーザに提示する。評価に用いる情報は、被重畳画像に対する重畳画像の移動量とする。なお、評価結果は、合成画像に反映してユーザに提示してもよい。
【００１２】
具体的には、重畳画像を被重畳画像に合成し、合成画像を生成する画像合成部と、前記合成画像を表示する表示装置とを備える超音波診断装置であって、前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出部と、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価部と、を備え、前記表示装置は、前記評価部による評価結果をさらに表示することを特徴とする超音波診断装置を提供する。
【００１３】
また、重畳画像を被重畳画像に合成し、合成画像を生成する画像合成部と、前記合成画像を表示する表示装置とを備える超音波診断装置における画像評価表示方法であって、前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出ステップと、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価ステップと、前記評価部による評価結果を、前記表示装置に表示する表示ステップと、を備えることを特徴とする画像評価表示方法を提供する。
【００１４】
さらに、コンピュータを、音波診断装置で取得した重畳画像の、当該重畳画像を合成する被重畳画像に対する移動量であるフレーム移動量を算出する移動量算出手段と、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価手段と、前記評価手段による評価結果を反映した表示データを生成する表示データ生成手段として機能させるためのプログラムを提供する。
【発明の効果】
【００１５】
本発明によれば、医用画像のパノラマ化（合成）技術において、ユーザの熟練度への依存が少なく、かつ、診断に有用な合成画像を生成できる。
【図面の簡単な説明】
【００１６】
【図１】第一の実施形態の超音波診断装置の機能構成図である。
【図２】第一の実施形態の合成画像生成処理のフローチャートである。
【図３】第一の実施形態の特徴情報抽出処理のフローチャートである。
【図４】第一の実施形態のデータ保持部に登録されるデータを説明するための説明図である。
【図５】（ａ）および（ｂ）は、第一の実施形態の合成画像を説明するための説明図である。
【図６】第二の実施形態の超音波診断装置の機能構成図である。
【図７】（ａ）および（ｂ）は、第二の実施形態の合成画像を説明するための説明図である。
【図８】第三の実施形態の超音波診断装置の機能構成図である。
【図９】第三の実施形態の信頼性表示を説明するための説明図である。
【図１０】第四の実施形態の超音波診断装置の機能構成図である。
【図１１】第四の実施形態の取り直し処理のフローチャートである。
【発明を実施するための形態】
【００１７】
＜＜第一の実施形態＞＞
以下、本発明を適用する第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一名称および同一符号を付したものの中で同一の機能を有するものは、その繰り返しの説明は省略する。
【００１８】
本実施形態の超音波診断装置を、図１を用いて説明する。本実施形態の超音波診断装置１００は、画像を取得する超音波画像取得部１１０と、超音波画像取得部１１０で取得した画像(超音波画像）を合成し、パノラマ画像（以後、単に合成画像と呼ぶ。）を生成する医用画像処理装置２００と、を備える。なお、医用画像処理装置２００には、生成した合成画像を表示する表示装置１４０が接続される。
【００１９】
超音波画像取得部１１０は、被検体１０１との間で超音波を送受信する超音波撮像探触子（以下、探触子と呼ぶ。）１２０と、探触子１２０を制御して超音波を被検体１０１に放射させるとともに、探触子１２０を介して得たエコー信号を用いて被験体内の構造を画像化する画像形成部１３０とを備える。撮像開始の指示を受け、画像形成部１３０は、超音波の出力を開始し、得られたエコー信号から画像を形成する。得られた画像は、医用画像処理装置２００へ送られる。
【００２０】
撮像時、探触子１２０は、音響ゼリーを介して撮像対象１０１に密着させる。探触子１２０を被検体１０１の体表に沿って動かすことにより、走査範囲（画像取得範囲）が移動する。移動の方向は、取得される画像の主平面方向とする。これに応じて画像形成部１３０は、その時点の探触子１２０の走査範囲に応じて画像を形成し、出力する。所定のタイミング毎に探触子１２０を介して得たエコー信号を用いて生成され、医用画像処理装置２００へ送られる各画像をフレームと呼ぶ。なお、各フレームは、被検体の異なる位置の画像とする。但し、隣接するフレーム間では、画像取得範囲の一部が重なるものとする。
【００２１】
なお、本実施形態では、医用画像処理装置２００において、超音波画像取得部１１０から連続的に送られるフレームを重ね合わせて合成し、合成画像を生成する。この際、送られてきたフレーム（重畳画像）上の注目領域の中心位置の、合成対象の画像（被重畳画像）上の注目領域の中心位置から移動量（フレーム移動量）を算出する。以下、本明細書では、超音波画像取得部１１０から新たに送られてきたフレームを重畳画像と呼び、超音波画像取得部１１０から以前に送られてきたフレームであって、当該重畳画像と合成する対象の画像を被重畳画像と呼ぶ。すなわち、重畳画像は、被重畳画像に重畳（合成）する画像であり、また、被重畳画像は、重畳画像に重畳（合成）される画像である。また、重畳画像上の注目領域の中心位置の、被重畳画像上の注目領域の中心位置からの移動量を、単に、重畳画像の、被重畳画像に対する移動量と呼ぶ。
【００２２】
探触子１２０の移動方向の移動距離に対応してフレーム間で位置がずれる。また、被検体の体表の曲率に応じて画像間に回転ずれが生じる。従って、本実施形態では、フレーム移動量は２次元の平行移動による移動量と回転による移動量とから構成される。なお、以下、本明細書では、２次元の平行移動による移動量を平行移動量、回転による移動量を回転移動量と呼ぶ。本実施形態では、このフレーム移動量の算出に、両フレームに共通する領域の特徴点（キーポイント）を用いる。従って、重畳画像と、被重畳画像との間に、共通する領域が存するよう、探触子１２０の移動速度、または、１フレームの画像を生成するために要する時間に制約を設けてもよい。例えば、ひとつのフレームを生成する時間を基準とし、探触子１２０の移動速度をフレーム生成時間の１／４に制限するなどの設定を行う。
【００２３】
医用画像処理装置２００は、送られてくる各フレームを合成して合成画像を生成し、表示装置１４０に表示する。本実施形態では、合成画像上で重畳画像が被重畳画像に適切に重畳されているかどうかを信頼性の高低として評価し、評価結果を合成画像とともに表示装置１４０に表示する。本実施形態の医用画像処理装置２００における合成画像の生成および信頼性の評価の手法の概略は以下のとおりである。
【００２４】
まず、重畳画像において特徴点を抽出するとともに各特徴点の画像特徴量を算出する。そして、被重畳画像との間で画像特徴量が最も近い特徴点同士を対応付ける。対応付けられた特徴点同士を、撮影範囲内の同一の点であるとし、両者の画素位置の移動量から、画像上での回転移動量および平行移動量を算出し、重畳画像上の注目領域の中心位置の被重畳画像上の注目領域の中心位置からの移動量、すなわち、フレーム移動量を算出する。フレーム移動量を用い、重畳画像と被重畳画像との間の位置合わせを行い、重畳画像を被重畳画像に重畳し、合成画像を生成する。
【００２５】
また、本実施形態では、フレーム移動量と特徴点とを用い、重畳画像の、被重畳画像に対する信頼性を評価する。まず、算出したフレーム移動量を重畳画像の各特徴点に適用して被重畳画像に投影する。そして、投影した特徴点と被重畳画像内の対応する特徴点との距離を指標として信頼性を評価する。なお、フレームに存在する特徴点の座標の分布を指標とすることもできる。分布を指標とする場合は、例えば、特徴点が画像中心よりも下のみにある場合あるいは上のみにある場合は信頼性が低いと評価するよう設定する。
【００２６】
このような処理を実現するため、本実施形態の医用画像処理装置２００は、図１に示すように、超音波画像取得部１１０から所定の時間毎に送信されるフレーム（重畳画像）を格納する重畳画像メモリ２１１と、被重畳画像を格納する被重畳画像メモリ２１２と、各種データを保持するデータ保持部２１３と、重畳画像を取得する毎に、当該重畳画像から特徴点を抽出してデータ保持部２１３に記憶する特徴情報抽出部２２１と、重畳画像の特徴点を、被重畳画像の特徴点と対応付ける特徴点対応部２２２と、被重畳画像に対する重畳画像の移動量であるフレーム移動量を算出する移動量算出部２２３と、フレーム移動量に基づいて重畳画像の信頼性を評価する評価部２２４と、重畳画像と被重畳画像とを合成して合成画像を生成する画像合成部２２５とを備える。また、本実施形態の特徴情報抽出部２２１は、さらに、重畳画像から、抽出した特徴点毎に、各特徴点を特徴付ける特徴量を算出し、データ保持部２１３に記憶する。なお、移動量算出部２２３は、フレーム移動量を、対応付けられた特徴点を用いて算出する。
【００２７】
これらの各機能による、医用画像処理装置２００における、合成画像生成処理の流れを説明する。図２は、本実施形態の合成画像生成処理の処理フローである。以下の処理は、超音波画像取得部１１０から重畳画像が送られ、重畳画像メモリ２１１に格納される毎に実行される。
【００２８】
特徴情報抽出部２２１は、重畳画像メモリ２１１に格納された画像（重畳画像）から、キーポイントとなる画素（特徴点）を抽出し、各特徴点の画像特徴量を算出する（ステップＳ１１０１）。抽出した特徴点および画像特徴量は、データ保持部２１３に登録する。次に、特徴点対応部２２２は、抽出した特徴点とデータ保持部２１３に格納された被重畳画像の特徴点とを対応づける（ステップＳ１１０２）。対応づけた結果も、データ保持部２１３に登録する。移動量算出部２２３は、対応づけた各特徴点を用い、フレーム移動量を算出する（ステップＳ１１０３）。ここで、算出するフレーム移動量は、平行移動量と回転移動量とする。また、算出したフレーム移動量もデータ保持部２１３に登録する。評価部２２４は、算出したフレーム移動量を用いて、重畳画像の、直前のフレームに対する信頼性を評価する（ステップＳ１１０４）。そして、画像合成部２２５は、フレーム移動量を用い、評価結果に応じて重畳画像を被重畳画像に合成し、合成画像を得（ステップＳ１１０５）、表示装置１４０に表示する（ステップＳ１１０６）。そして、画像合成部２２５は、被重畳画像メモリ２１２の被重畳画像を、合成後の合成画像に更新する（ステップＳ１１０７）。
【００２９】
医用画像処理装置２００は、ＣＰＵとメモリと記憶装置とを備える。上記各機能は、記憶装置に予め記憶されるプログラムを、ＣＰＵが、メモリにロードして実行することにより実現される。また、重畳画像メモリ２１１、被重畳画像メモリ２１２、およびデータ保持部２１３は、医用画像処理装置２００の記憶装置上に構築される。以下、各処理の詳細を説明する。
【００３０】
まず、特徴情報抽出部２２１による特徴情報抽出処理ついて説明する。本実施形態の特徴点は、画像処理でいうところの局所特徴量の大きい点であり、本実施形態では、エッジおよびコーナーの少なくとも一方とする。特徴情報抽出部２２１は、抽出した各特徴点の画像特徴量を算出する。図３は、本実施形態の特徴情報抽出処理の処理フローである。
【００３１】
まず、特徴情報抽出部２２１は、処理対象の重畳画像からノイズ等を除去するため、当該重畳画像に対し、前処理を行う（ステップＳ１２０１）。前処理としては、メディアンフィルタ、移動平均フィルタ、あるいはガウスフィルタ等の平均化フィルタが好ましいが、特に制限はない。
【００３２】
次に、特徴情報抽出部２２１は、重畳画像の中の、特徴点として、エッジまたはコーナーの画素を検出する（ステップＳ１２０２）。例えば、エッジ検出には、キャニー法、ゾルベ法等を、コーナー検出には、Ｈａｒｒｉｓ／Ｐｌｅｓｓｅｙ法、ＫＬＴ法等を用いることができる。エッジ検出およびコーナー検出に用いる手法は、二次元画像あるいは三次元画像に適用可能な手法であればよく、とくに制限はない。本実施形態の特徴情報抽出部２２１は、検出された画素を、特徴点として抽出する。本実施形態では、検出された画素の、画素位置を抽出する。画素位置は、各重畳画像上の、予め定めた座標系（フレーム座標系）の座標値とする。
【００３３】
次に、画像特徴量算出の準備処理として、特徴情報抽出部２２１は、特徴点として検出された画素について、当該画素に隣接する各画素との差分を、それぞれ、計算する（ステップＳ１２０３）。隣接する各画素との差分は輝度値、輝度値の微分値あるいは高次の微分値など画素間の輝度値の相違に関するものを用いて算出する。差分を算出する画素値の種類は、特に制限はない。
【００３４】
そして、計算した差分値が最も大きい方向を主軸と決定する（ステップＳ１２０４）。決定した主軸を原点とし、時計回りに隣接する各画素との差分を並べたベクトル値を得、画像特徴量とする（ステップＳ１２０５）。特徴情報抽出部２２１は、抽出した特徴点のフレーム座標系の座標およびそれぞれの画像特徴量を、重畳画像を特定する情報に対応づけて、データ保持部２１３に登録する（ステップＳ１２０６）。
【００３５】
このように、本実施形態の超音波診断装置１００では、前記特徴情報抽出部２２１は、前記特徴点毎に、当該特徴点を特徴づける画像特徴量を算出し、前記特徴点は、前記重畳画像の中のエッジに該当する画素およびコーナーに該当する画素の少なくとも一方とし、前記画像特徴量は、前記各特徴点の、全隣接画素それぞれとの差分値からなり、前記特徴点対応部２２２は、前記画像特徴量が合致する特徴点を、対応する特徴点とする。
【００３６】
なお、各特徴点の画像特徴量として、差分の絶対値を並べたベクトル値を用いてもよい。また、各ベクトル内の相対的な値としてもよい。各ベクトル内の相対的な値とは、各ベクトルを構成する差分値の中で基準となる値を特定し、基準となる値との差のことである。また、画像特徴量として、隣接する各画素の画素値との差分ではなく、差分の頻度情報を用いてもよい。また、特徴点の検出には、一般的なスケール不変特徴点検出法を用いてもよい。スケール不変特徴点検出法としては、例えばＳＵＲＦ法、ＨＯＧ法を用いることができるが、二次元画像あるいは三次元画像に適用可能な手法であればとくに制限はない。
【００３７】
ここで、本実施形態のデータ保持部２１３が保持する情報（データ）３００を説明する。図４は、本実施形態のデータ保持部２１３に登録されるデータ３００例を説明するための説明図である。本図に示すように、本実施形態のデータ保持部２１３には、各重畳画像を特定する情報であるフレーム情報３１１と、当該フレームの信頼性の評価結果３１２と、当該フレームの移動量（フレーム移動量）３１３と、抽出した特徴点・画像特徴量３１４と、各特徴点３１４の対応付け３１５と、各特徴点３１４のフレーム移動量適用後の座標値である投影座標値３１６と、が登録される。これらの情報３００は、フレーム毎に登録される。ここでは、一例として、重畳画像として取得される順に、４１１、４１２、４１３、４１４の４つのフレームの情報３００が登録されている場合を例示する。
【００３８】
フレーム情報３１１は、重畳画像を取得する毎に、一意に付与され、登録される。評価結果３１２は、評価部２２４による、当該重畳画像の信頼性の評価結果である。フレーム移動量３１３は、移動量算出部２２３が算出したフレーム移動量である。特徴点・画像特徴量３１４は、特徴情報抽出部２２１が抽出した特徴点の、フレーム座標系の座標と、各特徴点の画像特徴量である。対応付け３１５は、特徴点対応部２２２による抽出した重畳画像の特徴点と、被重畳画像の特徴点との対応結果である。本実施形態では、対応する特徴点には、同じ識別子を登録する場合を例示する。対応付け結果の登録手法は、これに限られない。投影座標値３１６は、対応付けられた特徴点に対し、フレーム移動量を適用後の座標である。ここでは、予め定めた、被重畳画像の座標系（合成座標系）を用いる。
【００３９】
このように、本実施形態の超音波診断装置１００では、特徴情報抽出部２２１が抽出した特徴点を、抽出元の重畳画像に対応づけて登録するデータ保持部２１３を備え、評価部２２４は、前記評価結果を前記データ保持部２１３に登録し、移動量算出部２２３は、算出した前記フレーム移動量を前記データ保持部２１３に登録する。
【００４０】
次に、特徴点対応部２２２による特徴点の対応付け処理について説明する。異なる画像の特徴点は、それぞれ独立に抽出されたものである。例えば、重畳画像と被重畳画像との間の、探触子１２０による撮像範囲の変化を加味して求められたものではない。従って、異なる画像内の特徴点で、同じであると考えられるものを一対一に対応づけする必要がある。
【００４１】
対応付けの方法は、例えば、重畳画像から算出された全ての特徴点と、被重畳画像から算出された全ての特徴点とを対応付ける全ての組み合わせについて、それぞれ、画像特徴量間のユークリッド空間上での差分を計算する。そして、得られた差分の合計が、最も小さい組合せに従って、両者を対応付ける。対応づけた結果は、データ保持部２１３に記憶する。本実施形態では、重畳画像の、対応特徴点には、被重畳画像の対応する特徴点に付与される対応付け３１５と同じ識別子を登録する。
【００４２】
例えば、図４の例では、重畳画像がフレーム４１２、被重畳画像がフレーム４１１の場合、被重畳画像の特徴点（ａｘ２，ａｙ２）と、重畳画像の特徴点（ｂｘ１，ｂｙ１）とが対応付けられ、ともに、識別子Ｂが対応付け３１５に登録される。また、重畳画像がフレーム４１３で、被重畳画像がフレーム４１１とフレーム４１２との合成画像の場合、被重畳画像の特徴点（ｂｘ２，ｂｙ２）および（ｂｘ３，ｂｙ３）と、重畳画像の特徴点（ｃｘ１，ｃｙ１）および（ｃｘ２，ｃｙ２）とが、それぞれ対応付けられ、それぞれ、識別子Ｃ，Ｄが対応付け３１５に登録される。また、重畳画像がフレーム４１４で、被重畳画像がフレーム４１１とフレーム４１２とフレーム４１３との合成画像の場合、被重畳画像の特徴点（ｄｘ２，ｄｙ２）と、重畳画像の特徴点（ｃｘ３，ｃｙ３）とが対応付けられ、識別子Ｅが対応付け３１５に登録される。
【００４３】
なお、対応付けを行う際、重畳画像の各特徴点に対応付ける被重畳画像の候補の特徴点を、所定の範囲の特徴点に制限してもよい。例えば、重畳画像および被重畳画像の各特徴点の座標（それぞれ、フレーム座標系における座標と合成座標系における座標）が一定の距離以内の場合のみ差分を求めるといった手法を用いることができる。
【００４４】
次に、移動量算出部２２３による移動量算出処理について説明する。移動量算出部２２３が算出するフレーム移動量は、超音波診断画像取得時に予め設定された撮影範囲内の注目領域（重畳用ＲＯＩ）の中心の、重畳画像上の位置の、被重畳画像上の位置からの移動量である。
【００４５】
ここで、本実施形態の超音波画像取得部１１０で画像を取得する場合、撮影対象が人体のため、撮影間に撮影対象が動く可能性がある。また、探触子１２０をフリーハンドで移動させるため、取得する各フレーム間で、撮影面がずれる可能性がある。さらに、超音波画像は、自然画像に比べて構造物同士の境界が明瞭でない、比較的高速な処理（準リアルタイム処理）が求められる、といった制限がある。
【００４６】
一方、超音波画像は、撮影中に縮尺が変更することがない。探触子１２０と体表とが密着しているため、パースペクティブな変換が生じない。また、ゆがみと拡大縮小がない。すなわち、一般のパノラマでは自由度９の投影変換が必要であるが、超音波画像のパノラマ化では、自由度３の回転、並進運動で合成が可能である。
【００４７】
本実施形態では、超音波診断装置で取得した画像（フレーム）を合成して合成画像を生成する。上述のように、フレーム間は、平行移動と回転移動との自由度３の移動で規定できる。従って、本実施形態の重畳画像の座標系（フレーム座標系）と被重畳画像の座標系（合成座標系）との間の変換行列Ｔは、以下の式（１）で表される。
【数１】
2015144623.tif 000003
ここで、θは回転角度（回転移動量）を、Δｘ、Δｙはそれぞれｘ、ｙ方向の平行移動量を示す。
【００４８】
本実施形態の移動量算出部２２３は、特徴点対応部２２２が対応づけた、重畳画像と被重畳画像の特徴点（対応特徴点）を用い、上記変換行列の回転移動量θおよび平行移動量Δｘ、Δｙからなる移動量をフレーム移動量として算出する。そして、移動量算出部２２３は、算出したフレーム移動量を、データ保持部２１３に、フレーム移動量３１３として登録する。
【００４９】
なお、フレーム移動量は、特徴点対応部２２２にて決定された対応特徴点の数が２個である場合は、一意に決定することができる。一方、対応特徴点の数が３以上の場合は、フレーム移動量は、統計的処理により求める。例えば、対応特徴点の中から２点を代表として選び、仮の回転移動量θ1および仮の平行移動量Δｘ１、Δｙ１を決定する。そして、仮のフレーム移動量θ１およびΔｘ１、Δｙ１を初期値とし、非線形最小二乗法により、フレーム移動量θ、Δｘ、Δｙを求める。
【００５０】
すなわち、本実施形態の超音波診断装置１００では、前記フレーム移動量は、回転移動量と２次元の平行移動量とからなり、前記移動量算出部２２３は、前記フレーム移動量を、前記対応付けられた特徴点の移動量を用い、非線形最小二乗法により求める。
【００５１】
フレーム内の特徴点数が計算上充分多い場合は、特徴点の選別を行いながらフレーム移動量の算出を複数回行ってもよい。例えば、重畳画像の特徴点を、得られたフレーム移動量を用いて変換する。変換後の特徴点と被重畳画像内の対応特徴点との距離を算出する。そして、算出した距離に応じて特徴点の選別を行う。そして、餞別した特徴点のみを用い、再度フレーム移動量を算出する。このような選別、算出を繰り返し行う。
【００５２】
あるいは、重畳画像のフレーム座標系と被重畳画像の合成座標系との両座標系間の変換行列Ｔとして、以下の式（２）で示されるヘルマート変換を用いて求めてもよい。
【数２】
2015144623.tif 000004
ヘルマート変換は、回転移動、平行移動に、拡大縮小が加わる変換である。ヘルマート変換を用いる場合、線形最小二乗法によりａ、ｂ、Δｘ、Δｙの各係数を算出する。そして、それらを初期値とし、非線形最小二乗法により、各係数ａ、ｂ、Δｘ、Δｙを求め、回転移動量θ、平行移動量Δｘ、Δｙを求める。さらに、特異値分解を用いた最小二乗法により求めてもよい。
【００５３】
この場合も、特徴点の選別、フレーム移動量の算出を繰り返し行い、また、最小二乗法により平行移動量・回転移動量の算出を行うと、重畳画像から得られた特徴点に、この平行移動・回転移動を施すことにより、被重畳画像内の対応する特徴点との距離を算出することができる。この場合、算出した距離に応じて特徴点の選別を行い、選別された特徴点のみを用いて平行移動量・回転移動量を算出してもよい。また、この選別、算出を繰り返し行ってもよい。
【００５４】
このような選別・算出の例としては、得られたａ、ｂ、Δｘ、Δｙの値を用いて重畳画像の各特徴点を平行移動・回転移動し、対応する被重畳画像の各特徴点との距離を各々求める。この距離の分布の中央値を求め、距離が中央値より大きいものを除いて再度ａ、ｂ、Δｘ、Δｙを求める。
【００５５】
なお、平行移動量および回転移動量の算出には、必要に応じ、上記式（１）で表される変換行列Ｔでなく、以下の式（３）で表される変換行列Ｔのように、縦方向の拡大・縮小を加味した式を用いてもよい。
【数３】
2015144623.tif 000005
【００５６】
続いて、評価部２２４による評価処理について説明する。評価部２２４は、移動量算出部２２３が算出した平行移動量および回転移動量からなるフレーム移動量を用い、重畳画像の信頼性を評価する。本実施形態では、被重畳画像に対する信頼性の評価結果を決定する。決定した評価結果は、データ保持部２１３に評価結果３１２として登録する。
【００５７】
評価の指標としては、例えば、重畳画像および被重畳画像のいずれか一方の特徴点を、算出したフレーム移動量に従って平行移動および回転移動させたとき、他方の対応する特徴点に対する一致度を用いる。例えば、一致度が高い場合、信頼性が高いとして、評価結果を「高」とし、一致度が低い場合、評価結果を「低」とする。
【００５８】
具体的には、評価部２２４は、重畳画像の特徴点を、算出したフレーム移動量分、平行移動および回転移動させた後の位置（投影位置）を算出する。算出した投影位置を投影座標値３１６としてデータ保持部２１３に登録する。次に、重畳画像の各対応特徴点について、被重畳画像の対応特徴点との間の距離を計算する。本実施形態では、各対応特徴点の、重畳画像の投影座標値３１６と、被重畳画像の投影座標値３１６との間の距離を計算する。計算により得られた各距離が、予め定めた閾値以下である場合、一致度が高いと評価し、信頼性を示す評価結果を「高」とする。それ以外の場合は、一致度が低く、信頼性が低いと評価し、評価結果を「低」とする。
【００５９】
このように、本実施形態の超音波診断装置１００では、前記評価部２２４は、前記フレーム移動量分移動させた前記重畳画像の各特徴点と、前記被重畳画像の対応する前記特徴点との距離が、予め定めた閾値より大きい場合、評価結果を信頼性低とする。
【００６０】
例えば、図４の例では、重畳画像がフレーム４１２、被重畳画像がフレーム４１１の場合、被重畳画像の特徴点（ａｘ２，ａｙ２）と、重畳画像の特徴点（ｂｘ１，ｂｙ１）とが対応特徴点である。合成座標系での両者の距離ＢＬ（ＢＬ＝（（ｘ２１−ｘ２２）2＋（ｙ２１−ｙ２２）2）1/2）が、予め定めた閾値より大きい場合、評価結果３１２には、「低」が登録される。また、重畳画像がフレーム４１３で、被重畳画像がフレーム４１１とフレーム４１２との合成画像の場合、被重畳画像の特徴点（ｂｘ２，ｂｙ２）と重畳画像の特徴点（ｃｘ１，ｃｙ１）との距離ＣＬ（ＣＬ＝（（ｘ３２−ｘ３３）2＋（ｙ３２−ｙ３３）2）1/2）、および、被重畳画像の特徴点（ｂｘ３，ｂｙ３）と重畳画像の特徴点（ｃｘ２，ｃｙ２）との距離ＤＬ（ＤＬ＝（（ｘ４２−ｘ４３）2＋（ｙ４２−ｙ４３）2）1/2）が、ともに、予め定めた閾値以下である場合、評価結果３１２には、「高」が登録される。
【００６１】
なお、本実施形態では、重畳画像の特徴点をフレーム移動量分移動させて投影座標を計算し、被重畳画像側の対応特徴点との間の距離を計算しているが、これに限られない。被重畳画像側の特徴点をフレーム移動量分させて、重畳画像のフレーム座標系に投影し、信頼性を評価してもよい。
【００６２】
なお、評価部２２４による評価手法はこれに限られない。例えば、上記式（１）は自由度が３の移動の移動量を算出する変換式である。例えば、自由度３の移動よりも高い自由度の変換式を用いて移動量を求め、算出された各移動量の中で、平行移動量および回転移動量以外の移動量が有意であるか否か、を用いてもよい。
【００６３】
すなわち、本実施形態の超音波診断装置１００では、例えば、前記フレーム移動量は、回転移動量と２次元の平行移動量とからなり、前記移動量算出部２２３は、前記回転移動量および２次元の平行移動量以外の第四の自由度をさらに有する変換式を用いて前記フレーム移動量を算出し、前記評価部２２４は、前記第四の自由度の変化が予め定めた閾値以上の場合、評価結果を信頼性低とするよう構成してもよい。
【００６４】
例えば、式（１）で示される自由度３の変換よりも高い自由度の変換として、式（２）で示されるヘルマート変換を用いる。以下、ヘルマート変換に関する使用法の一例を説明する。式（２）で示されるヘルマート変換は、式（１）で示される変換に、拡大・縮小が加わったものである。従って、変換行列Ｔは、以下の式（４）で表すことができる。
【数４】
2015144623.tif 000006
ここで、Ｒは、拡大、縮小率である。このＲが１に近いほど拡大・縮小変換が生じていないことを意味する。従って、このＲに閾値を設け、信頼性の高低を判別する。例えば、Ｒが０．９以上１．１以下の場合、信頼性が高いと評価し、それ以外の場合、信頼性が低いと評価する。
【００６５】
なお、自由度が３より高い変換として、以下の式（５）に示す変換行列Ｔで表されるアフィン変換を用いてもよい。
【数５】
2015144623.tif 000007
アフィン変換は、自由度が６で、回転移動、平行移動、拡大縮小に、剪断変形（Ｓｈｅａｒ）が加わる。
【００６６】
なお、距離により信頼性を評価する手法と、自由度が３より高い変換を用いて信頼性を評価する手法とは、組み合わせてもよい。
【００６７】
次に、画像合成部２２５による画像合成処理について説明する。本実施形態の画像合成部２２５は、重畳画像を被重畳画像に合成し、重畳画像の信頼性の評価結果に応じて表示装置１４０に表示する合成画像を生成する。本実施形態では、合成画像を生成する際、信頼性が低いと評価された重畳画像を、それ以外の重畳画像から区別可能なようにする。
【００６８】
まず、画像合成部２２５は、仮想的に設定された座標系上で、重畳画像と被重畳画像とを合成する。ここでは、仮想的に設定された座標系として、合成座標系を用いる。まず、重畳画像の各画素の座標を、移動量算出部２２３において求めたフレーム移動量（平行移動量（Δｘ、Δｙ）および回転移動量θ）を用い、式（１）の変換行列Ｔに従って変換する。そして、重畳画像を被重畳画像に合成し、表示装置１４０に表示する合成画像を生成する。
【００６９】
このとき、重複部分の各画素については、重畳画像の画素値とする。さらに、本実施形態では、信頼性が低いと評価された画像が、他の画像の表示と区別可能な態様で表示されるよう生成する。区別可能な態様としては、例えば、表示色を変える等とする。なお、信頼性の評価が多段階の場合は、多段階に表示色を変えるよう構成してもよい。
【００７０】
すなわち、本実施形態の超音波診断装置１００では、画像合成部２２５は、前記評価結果に応じて前記重畳画像の表示態様が異なるものとなるよう前記合成画像を生成し、前記評価結果は、当該合成画像に反映されて前記表示装置１４０に表示される。このとき、前記画像合成部２２５は、前記合成画像の、前記被重畳画像と前記重畳画像との重複部分の画素値を、重畳画像の画素値とする。
【００７１】
図５（ａ）および（ｂ）は、本実施形態の画像合成部２２５が生成し、表示装置１４０に表示される合成画像４００の一例である。フレーム４１１、４１２、４１３、４１４の順に取得し、図４に示すように、フレーム４１２が重畳画像の際、信頼性が低いと評価され、他のフレームは、信頼性が高いと評価された場合の例である。なお、４１０は、撮影対象の組織である。
【００７２】
本図に示すように、生成される合成画像４００は、その重複部分（例えば、被重畳画像と重畳画像４１４との重複部分４１３ａ）は、重畳画像（ここでは、４１４）の画素値が用いられる。また、信頼性が低いと評価されたフレーム４１２については、他のフレームとは異なる態様で表示されるよう生成される。
【００７３】
合成後、画像合成部２２５は、合成画像４００を被重畳画像として、被重畳画像メモリ２１２に登録することにより、被重畳画像メモリ２１２の情報を更新する。
【００７４】
なお、合成画像生成時、重複領域の画素値は、重畳画像の画素値と被重畳画像の画素値との平均値としてもよい。また、輪郭部位に対して平均処理を行うことで端を目立たさなくすることができる。平均処理には、例えば、線形平均処理を用いることができる。さらに、輪郭部位であって、原理的に画像が存在し得ない部分は、背景と同じ色で表示するよう設定することができる。原理的に画像が存在しえない部分は、例えば、探触子からみて超音波照射方向にマイナスの距離の領域などである。
【００７５】
なお、本実施形態では、被重畳画像として、それまでに合成された合成画像を用いる場合を例にあげて説明したが、これに限られない。被重畳画像として、１回前に取得したフレームの画像（１回前の重畳画像）を用いてもよい。
【００７６】
なお、合成画像生成処理において、ステップＳ１００４において得られた評価部２２４による評価結果が、信頼性が低いものである場合、ステップＳ１００３へ戻り、移動量算出部２２３による特徴点の選別およびフレーム移動量の算出を再度繰り返すよう構成してもよい。例えば、予め特徴点の最低数を規定し、その規定数以上であり、かつ、予め規定した信頼性の評価結果の最低値よりも低い間、ステップＳ１００３の移動量算出部２２３による処理とステップＳ１００４の評価部２２４による処理とを、特徴点の選別を行いながら、ループ化して繰り返す。
【００７７】
ループ化した処理を行わない場合、データ保持部２１３の、フレーム移動量３１３および評価結果３１２は、それぞれ、評価処理、画像合成処理のための一時的な記憶としてもよい。
【００７８】
以上説明したように、本実施形態の超音波診断装置１００は、重畳画像を被重畳画像に合成し、合成画像を生成する画像合成部２２５と、前記合成画像を表示する表示装置１４０とを備える超音波診断装置１００であって、前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出部２２３と、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価部２２４と、を備え、前記表示装置１４０は、前記評価部による評価結果をさらに表示することを特徴とする。
【００７９】
そして、本実施形態の超音波診断装置１００は、前記重畳画像を取得する毎に、当該重畳画像から特徴点を抽出して記憶する特徴情報抽出部２２１と、前記重畳画像の特徴点を、被重畳画像の特徴点と対応付ける特徴点対応部２２２と、をさらに備え、前記移動量算出部２２３は、前記フレーム移動量を、前記対応づけられた特徴点を用いて算出するよう構成してもよい。
【００８０】
また、本実施形態の画像評価表示方法は、重畳画像を被重畳画像に合成し、合成画像を生成する画像合成部２２５と、前記合成画像を表示する表示装置１４０とを備える超音波診断装置１００における画像評価表示方法であって、前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出ステップと、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価ステップと、前記評価部による評価結果を、前記表示装置に表示する表示ステップと、を備える。
【００８１】
また、本実施形態の医用画像処理装置２００が備えるプログラムは、コンピュータを、超音波診断装置で取得した重畳画像の、当該重畳画像を合成する被重畳画像に対する移動量であるフレーム移動量を算出する移動量算出手段と、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価手段と、前記評価手段による評価結果を反映した表示データを生成する表示データ生成手段として機能させる。
【００８２】
このため、本実施形態によれば、画像を取得する毎に、その取得時の信頼性を評価し、評価結果を反映した合成画像を生成し、表示装置１４０に表示する。従って、ユーザは、合成画像のどの領域が取得時の精度が低いかを容易に判別することができる。従って、本実施形態によれば、ユーザが、得られた合成画像中に診断上不審な画像を見出した際に、合成上の信頼性が足りないためなのか、もしくは実際に診断上問題となる異変が生じているのかを判断することが容易になる。
【００８３】
また、合成画像の信頼性が、合成画像が表示されるタイミングで判別可能であるため、ユーザは、信頼性が十分な画像を取得できているか、リアルタイムで把握しながら、探触子１２０を操作できる。
【００８４】
本実施形態により、超音波診断装置のユーザ依存度を抑え、超音波診断装置をより汎用的な診断ツールにすることができる。
【００８５】
また、本実施形態によれば、術者が探触子１２０で同じ部位を再撮像した場合、当該部位の画像の信頼性の評価結果が変化した場合、術者はそれを視覚的に把握できる。
【００８６】
＜＜第二の実施形態＞＞
次に、本発明を適用する第二の実施形態について説明する。第一の実施形態では、信頼性の低い重畳画像を他の画像と異なる態様で表示するよう合成画像を生成し、合成画像の中で信頼性の低い重畳画像が容易に判別可能なようにする。一方、本実施形態では、合成画像の中で、信頼性の低い重畳画像の寄与率を低くする。
【００８７】
図６は、本実施形態の超音波診断装置１００ａの機能構成図である。本図に示すように、本実施形態の超音波診断装置１００ａは、第一の実施形態の超音波診断装置１００と同様に、画像を取得する超音波画像取得部１１０と、医用画像処理装置２００ａとを備える。本実施形態の超音波画像取得部１１０は、第一の実施形態の超音波画像取得部１１０と基本的に同様の構成を有する。
【００８８】
また、本実施形態の医用画像処理装置２００ａも、基本的に第一の実施形態の医用画像処理装置２００と同様の構成を有する。ただし、本実施形態では、画像合成部２２５ａが生成する表示画像が異なる。以下本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
【００８９】
本実施形態の医用画像処理装置２００は、第一の実施形態同様、重畳画像メモリ２１１と、被重畳画像メモリ２１２と、特徴情報抽出部２２１と、特徴点対応部２２２と、データ保持部２１３と、移動量算出部２２３と、評価部２２４と、画像合成部２２５ａと、を備える。
【００９０】
本実施形態の合成画像生成処理の全体の流れは、図２に示す第一の実施形態と同様である。また、特徴情報抽出部２２１と、特徴点対応部２２２と、移動量算出部２２３と、評価部２２４とによる各処理も、第一の実施形態と同様である。また、重畳画像メモリ２１１と、被重畳画像メモリ２１２と、データ保持部２１３と、に保持されるデータも、第一の実施形態と同じである。
【００９１】
以下、本実施形態の画像合成部２２５ａによる画像合成処理について説明する。本実施形態の画像合成部２２５ａは、重畳画像を被重畳画像に合成する際、重畳画像の信頼性の評価結果に応じて表示装置１４０に表示する合成画像を生成する。このとき、本実施形態では、重複する領域の各画素の画素値の算出に、評価結果を用いる。
【００９２】
本実施形態の画像合成部２２５ａは、重複する領域の各画素の画素値を、重畳画像の信頼性の評価結果に応じて重みを付け、平均値を計算することにより得る。重みとする係数は、例えば、信頼性の評価結果が「高」、「低」の２段階であり、被重畳画像の画素値に用いる係数をａ、重畳画像の画素値に用いる係数をｂ、とすると、重畳画像の信頼性の評価結果が「低」の場合、ａ＋ｂ＝１かつｂ＜ａとする。なお、ｂは０としてもよい。重畳画像の信頼性の評価結果が「高」の場合、ｂ＝ａとする。なお、信頼性の評価が多段階の場合は、信頼性の高い順に大きな係数とする。
【００９３】
すなわち、本実施形態の超音波診断装置１００では、画像合成部２２５ａは、前記合成画像の、前記被重畳画像と前記重畳画像との重複部分の画素値を、当該被重畳画像の画素値および当該重畳画像の画素値それぞれに、前記評価結果に応じた重み付けをした重み付け平均値として前記合成画像を生成し、前記評価結果は、当該合成画像に反映され、前記表示装置１４０に表示される。
【００９４】
このとき、前記画像合成部２２５ａは、前記重畳画像の前記評価結果が低の場合、前記重畳画像の画素値に付す重みを０としてもよい。
【００９５】
図７（ａ）および（ｂ）に、本実施形態の合成画像の例を示す。図７（ａ）は、重畳画像４２２の、被重畳画像４２１に対する信頼性の評価結果が「高」の場合の例である。この場合は、重複部分４２１ａの画素の画素値は、被重畳画像４２１の画素値に対する重みと重畳画像４２２の画素値に対する重みとを同じとした重み平均値、すなわち、被重畳画像４２１の画素値と重畳画像４２２の画素値との平均値とする。
【００９６】
図７（ｂ）は、重畳画像４２２の、被重畳画像４２１に対する信頼性の評価結果が「低」の場合の例である。ここの場合は、重複部分４２１ａの画素の画素値は、被重畳画像４２１の画素値に対して重みａを乗算し、重畳画像の画素値に対して重みｂを乗算したものの平均値とする。図７（ｂ）には、重畳画像４２２の画素値に適用する重み係数を０とする場合を例示する。この場合、重複部分４２１ａの画素の画素値は、被重畳画像４２１の画素値となる。
【００９７】
本実施形態の画像合成部２２５ａも、合成画像を生成後、合成画像を被重畳画像として、被重畳画像メモリ２１２に登録することにより、被重畳画像メモリ２１２の情報を更新する。
【００９８】
なお、本実施形態においても、被重畳画像として、合成画像を用いる場合を例にあげて説明したが、これに限られない。例えば、図５（ｂ）に示すように、各フレームが、隣接するフレーム以外とは、重なりあわない場合、被重畳画像として、１回前に取得したフレームの画像（１回前の重畳画像）を用いてもよい。
【００９９】
なお、本実施形態においても、重畳画像の信頼性に応じて、上記処理に加え、第一の実施形態同様、表示態様を変更するよう構成してもよい。
【０１００】
以上説明したように、本実施形態によれば、第一の実施形態同様、取得時の信頼性の評価結果を反映した合成画像を生成し、表示装置１４０に表示する。このとき、信頼性の低いフレーム（重畳画像）の、合成画像への寄与率を低くする。このため、得られる合成画像は、信頼性の低いフレームの影響の少ないものとなる。従って、本実施形態によれば、合成上の信頼性が足りないために合成画像中に診断上不審な画像を見出す確率が低減し、診断に有用な合成画像をユーザに提供することができる。
【０１０１】
本実施形態により、超音波診断装置の術者依存度を低め、超音波診断装置をより汎用的な診断ツールにすることができる。
【０１０２】
＜＜第三の実施形態＞
次に、本発明を適用する第三の実施形態を説明する。本実施形態では、表示装置１４０に合成画像とともに信頼性の評価結果をリアルタイムで表示する。
【０１０３】
図８は、本実施形態の超音波診断装置１００ｂの機能構成図である。本図に示すように、本実施形態の超音波診断装置１００ｂは、第一の実施形態の超音波診断装置１００と同様に、画像を取得する超音波画像取得部１１０と、医用画像処理装置２００ｂとを備える。本実施形態の超音波画像取得部１１０は、第一の実施形態の超音波画像取得部１１０と基本的に同様の構成を有する。
【０１０４】
また、本実施形態の医用画像処理装置２００ｂも、基本的に第一の実施形態の医用画像処理装置２００と同様の構成を有する。ただし、本実施形態は、第一の実施形態の医用画像処理装置２００が有する構成に加え、信頼性表示生成部２２６をさらに備える。以下本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
【０１０５】
本実施形態の合成画像生成処理の全体の流れは、図２に示す第一の実施形態と同様である。また、特徴情報抽出部２２１と、特徴点対応部２２２と、データ保持部２１３と、移動量算出部２２３と、評価部２２４と、画像合成部２２５と、による各処理も、第一の実施形態と同様である。
【０１０６】
本実施形態の信頼性表示生成部２２６は、合成画像を構成する各フレームの信頼性評価結果を表示する信頼性表示を生成し、表示装置１４０に表示する。信頼性表示は、評価部２２４が重畳画像の信頼性を評価し、画像合成部２２５が合成画像を生成すると、生成される。信頼性表示は、例えば、合成画像の、重畳方向に、信頼性の評価結果の変化がわかる表示とする。
【０１０７】
すなわち、本実施形態の超音波診断装置１００は、前記評価結果を示す信頼性表示を生成する信頼性表示生成部２２６をさらに備え、前記評価結果は、当該信頼性表示により、前記表示装置に表示される。
【０１０８】
本実施形態の信頼性表示生成部２２６が生成する信頼性表示の一例を図９に示す。本図に示すように、例えば、信頼性表示として、表示装置１４０の表示画面１４１上に、合成画像４００の形状に沿った、扇型の尺度表示を生成し、信頼性表示５００として表示する。尺度表示である信頼性表示５００は、合成画像４００の対応する位置の重畳画像（フレーム）の信頼性を表す情報を示す。ここでは、例えば、信頼性が低いと評価された重畳画像（フレーム）４３１に対応する位置５１０の表示を、例えば、表示色を変えるなど、他と異なるものとする。
【０１０９】
なお、本実施形態においては、画像合成部２２５は、第一の実施形態同様、信頼性が低いと判断された重畳画像の表示態様を他と異なるものとする合成画像を生成するものとしているが、これに限られない。本実施形態では、合成画像とともに信頼性表示を表示するため、信頼性によらず、画像を合成し、合成画像を生成するよう構成してもよい。また、第二の実施形態同様、画像合成部２２５は、重複部分の画素値を、信頼性に応じて画素値に重みを付けた平均値としてもよい。
【０１１０】
以上説明したように、本実施形態によれば、合成画像を構成する各重畳画像（フレーム）の信頼性を示す信頼性表示を合成画像とともに表示する。従って、ユーザは、合成画像のどの領域が取得時の精度が低いかを容易に判別することができる。従って、本実施形態によれば、ユーザが、得られた合成画像中に診断上不審な画像を見出した際に、合成上の信頼性が足りないためなのか、もしくは実際に診断上問題となる異変が生じているのかを判断することが容易になる。
【０１１１】
また、合成画像が生成されるに従って、その信頼性が表示されるため、ユーザは、信頼性が十分な画像を取得できているか、リアルタイムで把握しながら、探触子１２０を操作できる。
【０１１２】
＜＜第四の実施形態＞＞
次に、本発明を適用する第四の実施形態を説明する。本実施形態では、ユーザが合成画像の撮り直しを行う際に、探触子１２０の適切なスタート位置への配置を支援する。これにより、ユーザは、合成画像の中の、信頼性の評価の低い領域の画像を、容易に取り直すことができる。
【０１１３】
図１０は、本実施形態の超音波診断装置１００ｃの機能構成図である。本図に示すように、本実施形態の超音波診断装置１００ｃは、第一の実施形態の超音波診断装置１００と同様に、画像を取得する超音波画像取得部１１０と、医用画像処理装置２００ｃとを備える。本実施形態の超音波画像取得部１１０は、第一の実施形態の超音波画像取得部１１０と基本的に同様の構成を有する。
【０１１４】
また、本実施形態の医用画像処理装置２００ｃも、基本的に第一の実施形態の医用画像処理装置２００と同様の構成を有する。ただし、本実施形態の医用画像処理装置２００ｃは、モード制御部２２７と、判別部２２８と、をさらに備える。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
【０１１５】
本実施形態の医用画像処理装置２００ｃは、２種の処理モードを備える。２種の処理モードは、リアルタイムモードと、取り直しモードとである。リアルタイムモードは、第一の実施形態同様、超音波画像取得部１１０で取得した画像（重畳画像）をリアルタイムで合成し、合成画像を生成する処理である。一方、取り直しモードは、既に作成した合成画像を、所望の領域から取り直す処理である。
【０１１６】
モード制御部２２７は、ユーザから、リアルタイムモードによる処理または、取り直しモードによる処理であるかの選択を受け付ける。選択は、選択手段を介して受け付ける。選択手段は、医用画像処理装置２００ｃが備える操作部が備えていてもよい。また、モード制御部２２７が、表示装置１４０に表示する選択ボタンとしてもよい。
【０１１７】
リアルタイムモードの選択を受け付けた場合、モード制御部２２７は、第一の実施形態と同様の手順で、重畳画像を受け取る毎に合成画像を更新、生成し、表示装置１４０に表示する、合成画像生成処理を行うよう、医用画像処理装置２００ｃの各部を制御する。
【０１１８】
取り直しモードの選択を受け付けた場合、モード制御部２２７は、後述する取り直し処理を行うよう各部を制御する。
【０１１９】
判別部２２８は、取り直しモードが選択された場合、特徴点対応部２２２による対応付け結果に応じて、探触子１２０の位置の適否を判別する。適否の判別は、重畳画像の、合成画像に対する合致度により、重畳画像の撮影位置の適否を判別する。本実施形態では、重畳画像から抽出した特徴点が、所定数以上、データ保持部２１３に保持されている特徴点に合致する場合、適切と判別する。それ以外の場合は、不適切と判別する。
【０１２０】
なお、探触子１２０の位置の適否は、対応する特徴点数ではなく、対応する特徴点の割合で判別してもよい。すなわち、重畳画像の特徴点の、データ保持部２１３に保持されている特徴点に合致する割合が、予め定めた値以上である場合、適切と判別してもよい。
【０１２１】
そして、判別部２２８は、適切と判別した場合、適切である旨の通知を行い、リアルタイムモードの撮影に移行する。一方、不適切と判別した場合、探触子１２０の位置が不適切である旨の通知を行う。なお、適切である場合は、通知を行わなくてもよい。
【０１２２】
すなわち、本実施形態の超音波診断装置１００は、取り直しモードの選択を受け付けるモード制御部２２７と、取り直しモードが選択された場合、前記重畳画像の撮影位置の適否を判別する判別部２２８と、をさらに備え、前記判別部２２８は、不適切と判別した場合、不適切であることをユーザに通知する。
【０１２３】
不適切である旨の通知は、例えば、表示装置１４０へメッセージを表示する、予め定めた音声を発する等により行う。
【０１２４】
また、適切である旨の通知は、例えば、表示装置１４０に表示されている合成画像上の、ユーザが配置した探触子１２０の位置で取得した重畳画像に対応する位置を、他と識別可能に表示する等とする。例えば、強調表示等とする。本実施形態では、例えば、合成画像の中の、データ保持部２１３に保持されるフレーム毎の特徴点の中で、最も特徴点の合致数の多いフレームに相当する領域を、強調表示する。
【０１２５】
以下、本実施形態の取り直しモード選択時の取り直し処理の流れを説明する。図１１は、本実施形態の取り直し処理の処理フローである。取り直しモードが選択されると、まず、モード制御部２２７は、取り直し対象の合成画像を表示装置１４０に表示する。複数の合成画像が記憶装置に格納されている場合は、ユーザが選択可能なよう構成してもよい。また、直前に取得した合成画像を表示するよう構成してもよい。
【０１２６】
１フレーム（Ｆｒ）の画像を受け取る（ステップＳ４１０１）と、モード制御部２２７は、重畳画像メモリ２１１に格納する（ステップＳ４１０２）。そして、特徴情報抽出部２２１は、重畳画像メモリ２１１に格納された重畳画像から、特徴点を抽出し、各特徴点の画像特徴量を算出する（ステップＳ４１０３）。特徴情報抽出部２２１による特徴点の抽出処理、画像特徴量の算出処理は、第一の実施形態と同様である。
【０１２７】
次に、特徴点対応部２２２は、抽出した特徴点と、データ保持部２１３に格納された被重畳画像の特徴点とを対応づける（ステップＳ４１０４）。対応付けの手法は、第一の実施形態と同様である。
【０１２８】
次に、判別部２２８は、特徴点対応部２２２の対応付けの結果、探触子１２０の位置が適切であるか否かを判別する（ステップＳ４１０５）。判別の手法は、上述の通りとする。
【０１２９】
判別部２２８は、ステップＳ４１０５の判別結果が適切であれば、適切である旨表示する（ステップＳ４１０６）。ここでは、上述のように、表示装置１４０に表示されている合成画像の、対応するフレームの位置を強調表示する。そして、データ保持部２１３中のデータを必要に応じて退避あるいは削除し（ステップＳ４１０７）、取り直しモード処理を終了し、リアルタイムモードに移行する。
【０１３０】
モード制御部２２７は、リアルタイムモードに移行し、その後受信する重畳画像（ステップＳ４１０８）を用いて、第一の実施形態の合成画像生成処理を行う（ステップＳ４１０９）。
【０１３１】
一方、ステップＳ４１０５の判別結果が不適切であれば、判別部２２８は、不適切である旨ユーザに通知する（ステップＳ４１１０）。ユーザは、通知を見て、探触子１２０の位置を移動させ（ステップＳ４１０１）へ戻り、超音波画像（重畳画像；フレーム）の取得を継続する。そして、次のフレーム（重畳画像）を取得すると、また、ステップＳ４１０２以降の取り直しモード処理を繰り返す。
【０１３２】
このように、本実施形態の超音波診断装置１００では、前記判別部２２８が適切と判別した場合、前記モード制御部２２７は、以後取得された重畳画像に対し、前記移動量算出部２２３に移動量を算出させ、前記評価部２２４に前記信頼性の評価を行わせ、前記画像合成部２２５に合成画像を生成させる。また、前記判別部２２８は、適切と判別した場合、前記被重畳画像の、前記重畳画像に対応する位置を識別可能に表示する。
【０１３３】
なお、他の特徴情報抽出部２２１、特徴点対応部２２２、移動量算出部２２３、評価部２２４、画像合成部２２５の各機能、重畳画像メモリ２１１、被重畳画像メモリ２１２、データ保持部２１３に保持されるデータは、第一の実施形態と同様である。
【０１３４】
なお、データ保持部２１３には、第一の実施形態同様、重畳画像（フレーム）毎に、抽出した全特徴点およびそれぞれの画像特徴量を登録するよう構成しているが、これに限られない。例えば、特徴点を抽出する際に利用した局所特徴量が、予め設定された閾値以上の特徴点をスーパー特徴点とし、スーパー特徴点およびその画像特徴量のみを登録するよう構成してもよい。
【０１３５】
また、画像合成部２２５は、第二の実施形態の構成であってもよい。さらに、第三の実施形態同様、信頼性表示生成部２２６を備えてもよい。
【０１３６】
以上説明したように、本実施形態によれば、第一の実施形態同様、画像を取得する毎に、その取得時の信頼性を評価し、評価結果を反映した合成画像を生成し、表示装置１４０に表示する。従って、ユーザは、合成画像のどの領域が取得時の精度が低いかを容易に判別することができる。従って、本実施形態によれば、ユーザが、得られた合成画像中に診断上不審な画像を見出した際に、合成上の信頼性が足りないためなのか、もしくは実際に診断上問題となる異変が生じているのかを判断することが容易になる。
【０１３７】
また、合成画像の信頼性が、合成画像が表示されるタイミングで判別可能であるため、ユーザは、信頼性が十分な画像を取得できているか、リアルタイムで把握しながら、探触子１２０を操作できる。
【０１３８】
さらに、本実施形態によれば、ユーザが取り直しモードを選択した場合、ユーザが配置した探触子１２０の位置の適否を容易に把握することができる。また、適切な場合、当該位置で取得される画像の、取り直し対象の合成画像上の位置を容易に把握することができる。従って、容易に取り直ししたい位置に探触子１２０を配置し、そこから、取り直しを行うことができる。
【０１３９】
従来のパノラマ化手法においては、生成後の合成画像（合成画像）に修正を行いたい部分がある場合、最初から再度撮り直す必要がある。このため、特に広い（長い）領域の画像から合成画像（合成画像）を生成する場合、習熟を必要とする。本実施形態によれば、一旦作成した合成画像（合成画像）を再度全てのフレームの撮り直しを行うことなく一部のみを容易に撮り直し、修正することができる。従って、ユーザの習熟度によらず、広い範囲の合成画像を容易に得ることができる。取得する領域の可能となる。
【０１４０】
なお、上記各実施形態では、医用画像処理装置は、超音波画像取得部１１０とは独立した装置として記載しているが、これに限られない。超音波画像取得部１１０内の画像形成部１３０を実現する処理部が、医用画像処理装置の各機能を実現するよう構成してもよい。この場合、この処理部は、ＣＰＵとメモリと記憶装置とを備え、ＣＰＵが、記憶装置に格納されたプログラムを、メモリにロードして実行することにより、各部の機能を実現する。
【０１４１】
また、上記各実施形態では、医用画像処理装置の処理対象画像は、超音波画像取得部１１０が取得した超音波画像である場合を例にあげて説明したが、処理対象画像は、超音波画像に限られない。上述のように、撮影中に縮尺が変更することがない、また、パースペクティブな変化が生じない、ゆがみと拡大縮小が無い、といった特性を有する複数の連続したフレームを合成し、表示画像を生成する各種の画像を、処理対象画像とすることができる。
【０１４２】
また、上記各実施形態では、本発明を超音波診断装置に適用し、説明したが、本発明は、画像を合成する医用画像処理装置にも適用可能である。
【符号の説明】
【０１４３】
１００：超音波診断装置、１００ａ：超音波診断装置、１００ｂ：超音波診断装置、１００ｃ：超音波診断装置、１０１：被検体、１１０：超音波画像取得部、１２０：探触子、１３０：画像形成部、１４０：表示装置、１４１：表示画面、２００：医用画像処理装置、２００ａ：医用画像処理装置、２００ｂ：医用画像処理装置、２００ｃ：医用画像処理装置、２１１：重畳画像メモリ、２１２：被重畳画像メモリ、２１３：データ保持部、２２１：特徴情報抽出部、２２２：特徴点対応部、２２３：移動量算出部、２２４：評価部、２２５：画像合成部、２２５ａ：画像合成部、２２６：信頼性表示生成部、２２７：モード制御部、２２８：判別部、３００：データ、３１１：フレーム情報、３１２：評価結果、３１３：フレーム移動量、３１４：特徴点・画像特徴量、３１５：対応付け、３１６：投影座標値、４００：合成画像、４１１：フレーム、４１２：フレーム、４１３：フレーム、４１３ａ：重複部分、４１４：フレーム、４２１：被重畳画像、４２１ａ：重複部分、４２２：重畳画像、４３１：フレーム、５００：信頼性表示、５１０：位置
【図１】
2015144623.tif 000008
【図２】
2015144623.tif 000009
【図３】
2015144623.tif 000010
【図４】
2015144623.tif 000011
【図５】
2015144623.tif 000012
【図６】
2015144623.tif 000013
【図７】
2015144623.tif 000014
【図８】
2015144623.tif 000015
【図９】
2015144623.tif 000016
【図１０】
2015144623.tif 000017
【図１１】
2015144623.tif 000018