(57)【要約】【課題】画質のよい術中画像を提供する。【解決手段】手術器具３０の位置情報および姿勢情報を位置検出装置４０で検出する。その位置情報及び姿勢情報を、術中のリアルタイム画像を撮影する医用画像撮影装置１０及び画像処理装置２０に出力する。医用画像撮影装置１０は、一条法に対応した術中画像を撮影し、画像処理装置２０に出力する。画像処理装置は、術前画像と術中画像との相互情報量に基づいて臓器変形、スパイクノイズ及びホワイトノイズの除去を行い、ノイズ除去後の術中画像を生成する。この術中画像で術前の３次元ボリュームデータの一部を更新し、最新の画像を含む術前３次元ボリュームデータを作成する。【選択図】  図１
2007159933.tif 000002
【特許請求の範囲】
【請求項１】
手術前に第一医用画像撮影装置により被検体の手術対象部位を撮影して得られた術前画像を読み込む第一読込ステップと、
手術中に第二医用画像撮影装置により前記被検体の手術対象部位を撮影して得られた術中画像を読み込む第二読込ステップと、
前記術前画像を任意の画像サイズからなる複数の第一分割領域に分割するとともに、前記術中画像を前記第一分割領域に対応する領域からなる複数の第二分割領域に分割する分割ステップと、
前記第一分割領域及び該第一分割領域に対応する第二分割領域毎に、前記第一分割領域と第二分割領域との画像の一致度を示す相互情報量を算出する算出ステップと、
前記相互情報量と、前記術中画像に所定のノイズが含まれることを示すノイズ判別閾値と比較し、前記第二分割領域に前記所定のノイズが含まれる否かを判別する判別ステップと、
前記第二分割領域に前記所定のノイズが含まれると判断された場合に、第二分割領域から前記所定のノイズを除去し、該ノイズが除去された術中画像を生成するノイズ除去ステップと、
前記所定のノイズが除去された術中画像を表示する表示ステップと、
を含むことを特徴とする画像表示方法。
【請求項２】
前記術前画像は、前記被検体の手術対象部位を撮影した複数の断面像からなる３次元画像であって、
前記手術中に前記被検体の手術対象部位を示す位置情報を取得する位置情報取得ステップを更に含み、
前記第一読込ステップにおいて、前記３次元画像から前記位置情報に基づいて前記被検体の手術対象部位を撮影した断面像を抽出又は再構成して前記術前画像として読込み、
前記３次元画像のうち前記所定のノイズが除去された術中画像に対応する前記断面像を、前記ノイズ除去ステップにおいて生成された前記所定のノイズが除去された術中画像に取り替えるステップを更に含む、
ことを特徴とする請求項１に記載の画像表示方法。
【請求項３】
前記判別ステップにおいて、前記相互情報量と臓器変形部位を撮影した領域であることを示す所定の臓器変形判別値との比較を更に行い、前記第二分割領域に前記臓器変形部位を撮影した領域が含まれるか否かを判別し、
前記第二分割領域に前記臓器変形部位を撮影した領域が含まれると判断された場合に、前記第一分割領域が前記第二分割領域に一致するように前記第一分割領域の位置合わせを行う位置合わせステップと、
前記位置合わせされた第一分割領域と前記第二分割領域との相互情報量を再度算出する再算出ステップと、
前記再算出された相互情報量と前記ノイズ判別閾値とを再度比較し、前記第二分割領域に前記所定のノイズが含まれる否かを判別する再判別ステップと、を更に含み、
前記ノイズ除去ステップは、前記再判別ステップの判断結果に基づいて実行される、
ことを特徴とする請求項１又は２に記載の画像表示方法。
【請求項４】
前記所定のノイズは、画素値が欠損したスパイクノイズ又は被検体の濃度値に対応しない画素値を有するホワイトノイズの少なくとも一つを含み、
前記ノイズ判別閾値は、前記スパイクノイズが含まれていることを示すスパイクノイズ判別閾値又は前記ホワイトノイズが含まれていることを示すホワイトノイズ判別閾値の少なくとも一つを含み、
前記判別ステップにおいて、前記相互情報量と前記スパイクノイズ判別閾値又は前記ホワイトノイズ判別閾値の少なくとも一方とを比較し、
前記スパイクノイズが含まれると判断された場合には、前記ノイズ除去ステップにおいて、前記第二分割領域における前記スパイクノイズが生じた位置に対応する第一分割領域の画素値を取得し、該画素値を前記第二分割領域における前記スパイクノイズが生じた画素の画素値に置き換え、
前記ホワイトノイズが含まれると判断された場合には、前記ノイズ除去ステップにおいて、前記第二分割領域を平滑化処理した平滑化画像と、前記第二分割領域を構造物強調処理した輪郭強調画像と、を生成し、前記平滑化画像と前記輪郭強調画像と、を合成して前記ホワイトノイズを除去する、
ことを特徴とする請求項１乃至３のいずれかに記載の画像表示方法。
【請求項５】
前記表示ステップにおいて、前記術中画像と、該術中画像に対応する前記被検体位置で撮影された術前画像、前記３次元画像に基づいて再構成された仮想内視的画像、前記ノイズ除去前の術中画像のうちの少なくとも一つと、を並べて表示する、
ことを特徴とする請求項１乃至４のいずれか一つに記載の画像表示方法。
【請求項６】
請求項１乃至５のいずれかの画像表示方法をコンピュータに実行させることを特徴とする画像表示プログラム。
【請求項７】
手術前に第一医用画像撮影装置により被検体の手術対象部位を撮影して得られた複数の断面像からなる３次元画像を格納する第一格納手段と、
前記手術中に前記被検体の手術対象部位を示す位置情報を取得する位置情報取得手段と、
前記位置情報に基づいて前記３次元画像から前記被検体の手術対象部位を撮影した断面像を抽出又は再構成し、術前画像として読み込む第一読込手段と、
手術中に第二医用画像撮影装置により前記被検体の手術対象部位を撮影して得られた術中画像を読み込む第二読込手段と、
前記術前画像を任意の画像サイズからなる複数の第一分割領域に分割するとともに、前記術中画像を前記第一分割領域に対応する領域からなる複数の第二分割領域に分割する分割手段と、
前記第一分割領域及び該第一分割領域に対応する第二分割領域毎に、前記第一分割領域と第二分割領域との画像の一致度を示す相互情報量を算出する算出手段と、
前記相互情報量と、前記術中画像に所定のノイズが含まれることを示すノイズ判別閾値とを比較し、前記第二分割領域に前記所定のノイズが含まれる否かを判別する判別手段と、
前記第二分割領域に前記ノイズが含まれると判断された場合に、第二分割領域から前記ノイズを除去し、ノイズが除去された術中画像を生成するノイズ除去手段と、
前記ノイズが除去された術中画像を表示する表示手段と、
前記３次元画像のうち前記ノイズが除去された術中画像に対応する前記被検体位置を撮影した断面像を、前記ノイズ除去ステップにおいて生成された前記ノイズが除去された術中画像に置き換えて前記第一格納手段に格納する置換手段と、を備え、
前記ノイズが除去された術中画像が生成されると、前記置換手段は、前記３次元画像の断層像を前記ノイズが除去された術中画像に置き換え、前記第一読込手段は、前記置き換えられた術中画像を含む３次元画像から、前記被検体の手術対象部位を撮影した断面像を抽出する動作を繰り返す、
ことを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示方法、プログラム、及び装置に係り、特に、磁気共鳴イメージング装置、X線CT装置および超音波装置などの医用画像撮影装置によって得られた複数の術前画像を用いて、医用画像撮影装置によって得られた術中画像上のノイズ情報や臓器変形を判別し、画像上で臓器変形が生じている場合にはレジストレーションを、ノイズ情報がある場合には除去を行うことによって、画質の高い最新の術中画像を提供する技術に関する。
【背景技術】
【０００２】
手術部位の三次元空間位置や姿勢を、術前または術中の医用画像でリアルタイムに認識することによって外科医の介助を行う手術を画像誘導手術という。画像誘導手術では、臓器の位置や内部形態情報の認識や手術器具と臓器との位置関係の把握を支援ながら外科手術を施行できる。
【０００３】
しかし、術前の医用画像を画像誘導手術に用いる場合、術中操作に伴う臓器の変形によって、術前に計画した三次元空間位置や姿勢と、術中の実際の三次元空間位置や姿勢にズレが生じる問題がある。そこで、近年では医用画像撮影装置で術中に撮影された術中画像で手術計画が立てられ、臓器変形の影響を極力回避できるようになった。ただし、種々の術中画像が持つ特性により、さまざまな問題があり、その選定には目的に応じて十分に気を付けなければならない。
【０００４】
このような術中画像を表示するシステムの例として、特許文献１には、磁気共鳴イメージング装置（以下、MRI装置という）で得られる術中MR画像と超音波診断装置（以下、US装置という）に用いられる弾性画像との位置合わせを行い、特に手術中に撮像された画像における浮腫と悪性腫瘍の境界判定に寄与する画像表示システムが開示されている。
【特許文献１】特開２００５−１０２７１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
術中画像としてCT画像を画像誘導手術に用いる場合、画像歪みが少ない反面、軟部組織描出能に乏しいこと、CT撮影中に患者が被爆することなど、装置の原理上、避けられない問題がある。一方、軟部組織描出能に優れ、被爆の問題のないMRI画像を画像誘導手術に用いる場合、MRI画像の幾何学的歪みや、高速撮影に伴う画質劣化、麻酔器等の電気的ノイズを導くものや、共鳴信号の受信コイルのアンテナ特性を阻害するものによって、MRI画像の画質劣化が生じる問題がある。また、超音波装置は画像撮影の面でリアルタイム性に優れているが、CT装置やMRI装置と比較すると、画質低下は否めない。
【０００６】
上記の問題に鑑み、本発明は画像誘導手術において、術前画像をリファレンスとしつつ、画質のよい術中画像を生成、表示することができる画像表示方法、プログラム、及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像表示方法は、手術前に第一医用画像撮影装置により被検体の手術対象部位を撮影して得られた術前画像を読み込む第一読込ステップと、手術中に第二医用画像撮影装置により前記被検体の手術対象部位を撮影して得られた術中画像を読み込む第二読込ステップと、前記術前画像を任意の画像サイズからなる複数の第一分割領域に分割するとともに、前記術中画像を前記第一分割領域に対応する領域からなる複数の第二分割領域に分割する分割ステップと、前記第一分割領域及び該第一分割領域に対応する第二分割領域毎に、前記第一分割領域と第二分割領域との画像の一致度を示す相互情報量を算出する算出ステップと、前記相互情報量と、前記術中画像に所定のノイズが含まれることを示すノイズ判別閾値と比較し、前記第二分割領域に前記所定のノイズが含まれる否かを判別する判別ステップと、前記第二分割領域に前記所定のノイズが含まれると判断された場合に、第二分割領域から前記所定のノイズを除去し、該ノイズが除去された術中画像を生成するノイズ除去ステップと、前記所定のノイズが除去された術中画像を表示する表示ステップと、を含むことを特徴とする。
【０００８】
上記「第一医用画像撮影装置」と「第二医用画像撮影装置」とは、同種類のものでもよいし、異種類のものでもよい。例えば、ＭＲＩ装置とＸ線ＣＴ装置の組み合わせでもよい。
【０００９】
また、前記術前画像は、前記被検体の手術対象部位を撮影した複数の断面像からなる３次元画像であって、前記手術中に前記被検体の手術対象部位を示す位置情報を取得する位置情報取得ステップを更に含み、前記第一読込ステップにおいて、前記３次元画像から前記位置情報に基づいて前記被検体の手術対象部位を撮影した断面像を抽出又は再構成して前記術前画像として読込み、前記３次元画像のうち前記所定のノイズが除去された術中画像に対応する前記断面像を、前記ノイズ除去ステップにおいて生成された前記所定のノイズが除去された術中画像に取り替えるステップを更に含んでもよい。
【００１０】
また、前記判別ステップにおいて、前記相互情報量と臓器変形部位を撮影した領域であることを示す所定の臓器変形判別値との比較を更に行い、前記第二分割領域に前記臓器変形部位を撮影した領域が含まれるか否かを判別し、前記第二分割領域に前記臓器変形部位を撮影した領域が含まれると判断された場合に、前記第一分割領域が前記第二分割領域に一致するように前記第一分割領域の位置合わせを行う位置合わせステップと、前記位置合わせされた第一分割領域と前記第二分割領域との相互情報量を再度算出する再算出ステップと、前記再算出された相互情報量と前記ノイズ判別閾値とを再度比較し、前記第二分割領域に前記所定のノイズが含まれる否かを判別する再判別ステップと、を更に含み、前記ノイズ除去ステップは、前記再判別ステップの判断結果に基づいて実行されてもよい。
【００１１】
また、前記所定のノイズは、画素値が欠損したスパイクノイズ又は被検体の濃度値に対応しない画素値を有するホワイトノイズの少なくとも一つを含み、前記ノイズ判別閾値は、前記スパイクノイズが含まれていることを示すスパイクノイズ判別閾値又は前記ホワイトノイズが含まれていることを示すホワイトノイズ判別閾値の少なくとも一つを含み、前記判別ステップにおいて、前記相互情報量と前記スパイクノイズ判別閾値又は前記ホワイトノイズ判別閾値の少なくとも一方とを比較し、前記スパイクノイズが含まれると判断された場合には、前記ノイズ除去ステップにおいて、前記第二分割領域における前記スパイクノイズが生じた位置に対応する第一分割領域の画素値を取得し、該画素値を前記第二分割領域における前記スパイクノイズが生じた画素の画素値に置き換え、前記ホワイトノイズが含まれると判断された場合には、前記ノイズ除去ステップにおいて、前記第二分割領域を平滑化処理した平滑化画像と、前記第二分割領域を構造物強調処理した輪郭強調画像と、を生成し、前記平滑化画像と前記輪郭強調画像と、を合成して前記ホワイトノイズを除去してもよい。
【００１２】
また、前記表示ステップにおいて、前記術中画像と、該術中画像に対応する前記被検体位置で撮影された術前画像、前記３次元画像に基づいて再構成された仮想内視的画像、前記ノイズ除去前の術中画像のうちの少なくとも一つと、を並べて表示してもよい。
【００１３】
また、本発明に係る画像処理プログラムは、上記方法いずれかの画像処理方法を画像表示方法をコンピュータに実行させることを特徴とする。
【００１４】
また、本発明に係る画像処理装置は、手術前に第一医用画像撮影装置により被検体の手術対象部位を撮影して得られた複数の断面像からなる３次元画像を格納する第一格納手段と、前記手術中に前記被検体の手術対象部位を示す位置情報を取得する位置情報取得手段と、前記位置情報に基づいて前記３次元画像から前記被検体の手術対象部位を撮影した断面像を抽出又は再構成し、術前画像として読み込む第一読込手段と、手術中に第二医用画像撮影装置により前記被検体の手術対象部位を撮影して得られた術中画像を読み込む第二読込手段と、前記術前画像を任意の画像サイズからなる複数の第一分割領域に分割するとともに、前記術中画像を前記第一分割領域に対応する領域からなる複数の第二分割領域に分割する分割手段と、前記第一分割領域及び該第一分割領域に対応する第二分割領域毎に、前記第一分割領域と第二分割領域との画像の一致度を示す相互情報量を算出する算出手段と、前記相互情報量と、前記術中画像に所定のノイズが含まれることを示すノイズ判別閾値とを比較し、前記第二分割領域に前記所定のノイズが含まれる否かを判別する判別手段と、前記第二分割領域に前記ノイズが含まれると判断された場合に、第二分割領域から前記ノイズを除去し、ノイズが除去された術中画像を生成するノイズ除去手段と、前記ノイズが除去された術中画像を表示する表示手段と、前記３次元画像のうち前記ノイズが除去された術中画像に対応する前記被検体位置を撮影した断面像を、前記ノイズ除去ステップにおいて生成された前記ノイズが除去された術中画像に置き換えて前記第一格納手段に格納する置換手段と、を備え、前記ノイズが除去された術中画像が生成されると、前記置換手段は、前記３次元画像の断層像を前記ノイズが除去された術中画像に置き換え、前記第一読込手段は、前記置き換えられた術中画像を含む３次元画像から、前記被検体の手術対象部位を撮影した断面像を抽出する動作を繰り返す、ことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、画像誘導手術において、術前画像を用いて術中画像のノイズ除去及び臓器変形に対する処理を行うことにより、術中画像の画質を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施例を添付図面に基づいて説明する。なお、発明の実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００１７】
＜ハードウェア構成＞
図１の術中画像ノイズ除去システム１は、被検体の内部診断画像（医用画像）を撮影する医用画像撮影装置１０、医用画像を用いてノイズ除去や様々な画像処理技術を行う画像処理装置２０、外科医が取り扱う手術器具３０、手術器具３０の位置情報や姿勢情報を検出し、医用画像撮影装置１０や画像処理装置２０へその情報を送信する位置検出装置４０を備える。医用画像撮影装置は、ＭＲＩ装置、Ｘ線ＣＴ装置、ＵＳ装置など、被検体の内部を撮影した医用画像を生成できるものであればよい。
【００１８】
画像処理装置２０は、医用画像のノイズ除去処理を行う処理部２１と、ノイズが除去された医用画像を表示する表示部２２とを備える。処理部２１は、図示はしないものの、主として各構成要素の動作を制御する中央処理装置（CPU）と、画像表示システムの制御プログラムや画像データを読み出して作業領域となる主メモリと、画像表示システムの制御プログラムや各種アプリケーションソフトウェア、被検体の画像データなどが格納されるデータ記録装置と、表示用データを一時記憶する表示メモリと、マウス、トラックボール、タッチパネル等のポインティングデバイスと、ポインティングデバイスのコントローラと、各種パラメータ設定用のキーやスイッチを備えたキーボードと、上記各構成要素を接続するデータバス、医用画像撮影装置１０や位置検出装置４０と電気的に接続し、術中画像や手術器具位置情報／姿勢情報の入力を受け付けるためのインターフェース部と、を備えて構成される。表示部２２は、ＣＲＴや液晶ディスプレイ装置などのディスプレイにより構成される。
【００１９】
手術器具３０は、例えば内視鏡、鉗子、カテーテルなど、被検体の体内に挿入される手術器具である。
【００２０】
位置検出装置４０は、例えば内視鏡の挿入量をメモリに格納しておき、挿入量と予め取得した血管の走行パターンと組み合わせることにより、内視鏡先端部が被検体の挿入部位を基準としてどの位置にあるかを検出する装置として構成してもよい。
【００２１】
図２は、本実施形態に係る画像表示システム１を実現するためのプログラムを示すプログラムブロック図である。
【００２２】
プログラムは、手術中に位置検出装置４０から被検体の手術対象部位を示す位置情報及び姿勢情報を取得する位置情報取得部２１ａと、位置情報及び姿勢情報に基づいてサーバ２５に格納された３次元画像から手術対象部位を撮影した断面像を抽出又は再構成し、術前画像として読み込む第一読込部２１ｂと、手術中にＭＲＩ装置１１により被検体の手術対象部位を撮影して得られた術中画像５０を読み込む第二読込部２１ｃと、術前画像を任意の画像サイズからなる複数の第一分割領域に分割するとともに、前記術中画像を前記第一分割領域に対応する領域からなる複数の第二分割領域に分割する分割部２１ｄと、第一分割領域及び該第一分割領域に対応する第二分割領域毎に、前記第一分割領域と第二分割領域との画像の一致度を示す相互情報量を算出する算出部２１eと、相互情報量と、術中画像５０に所定のノイズが含まれることを示すノイズ判別閾値とを比較し、第二分割領域に前記所定のノイズが含まれる否かを判別する判別部２１ｆと、第二分割領域に前記ノイズが含まれると判断された場合に、第二分割領域からノイズを除去し、ノイズが除去された術中画像５０を生成するノイズ除去部２１ｇと、ノイズが除去された術中画像５０を表示部２２に表示する制御を行う表示制御部２１ｈと、３次元画像のうちノイズが除去された術中画像５０に対応する被検体位置を撮影した断面像を、ノイズが除去された術中画像に置き換えてサーバ２５に格納する置換部２１ｉと、を備える。これらのプログラムは、処理部２１のハードディスクに格納され、適宜主メモリにロードされてＣＰＵにより実行される。
【００２３】
＜処理の概要＞
図３に基づいて画像表示システム１の処理の概要を説明する。
【００２４】
手術器具、例えば内視鏡３１やカンシの先端の位置情報、姿勢情報を位置検出装置で取得し、医用画像撮影装置、例えばMRI装置１１に送信する。位置情報、姿勢情報を受け取ったMRI装置１１は、位置情報・姿勢情報に基づく断面をFluoroscopyで高速に撮影し、その断面データ（ノイズ除去前の術中画像）５０を画像処理装置２０に送信する。画像処理装置２０は、術中画像５０に対してノイズ除去処理を行い、ノイズが除去された術中画像５１を生成し、この術中画像５１と、これに対応する術前画像とを置き換えて３次元ボリュームデータの一部を更新する。処理部２１は、随時更新される３次元ボリュームデータに対して臓器抽出や３次元画像処理を行う。
【００２５】
表示部２２には、術中画像５０、ノイズ除去がされた術中画像５１、随時更新された３次元ボリュームデータに基づいて再構成された仮想的内視鏡画像５２とが並列表示される。並列表示の態様は、上記３つの画像の任意の組み合わせでもよいし、１枚ずつの画像を表示し、必要に応じて最前面に見たい画像を表示させるように構成してもよい。術者は、表示された画像処理結果を見ながら手術を引き続き行う。その際の変化する位置情報・姿勢情報は随時MRI装置１１に送信される。このように、刻一刻と変化する手術器具先端の臓器の断面画像を更新し、最新画像を用いた処理後画像で画像誘導手術を行う。
【００２６】
しかし、術中に撮影された画像には、麻酔器等の電気的ノイズを導くものや、磁性体等の共鳴信号の受信コイルのアンテナ特性を阻害するものによって、図４のようにホワイトノイズ７０やスパイクノイズ７１または、それらが混合したノイズを含む。さらに、最新の画像で３次元ボリュームデータが更新されているが、臓器変形の速度に追随できずに、画像がずれる場合がある。これらの画像からノイズおよび臓器変形を認識して、ノイズ除去および臓器のレジストレーションに対応できなければ、後の臓器抽出や３次元画像処理が適切になされない可能性がある。
【００２７】
＜ノイズ除去処理＞
図４に基づいてノイズ除去処理について説明する。
【００２８】
術中に撮影された術中画像５０ａ，ｂには、麻酔器等の電気的ノイズを導くものや、磁性体等の共鳴信号の受信コイルのアンテナ特性を阻害するものによって、あらゆる周波数成分が画像に均等に含まれ、実際の濃度値とは異なる濃度値に対応する画素値が表示されたホワイトノイズ７０や画素値が欠損したスパイクノイズ７１、または、それらが混合したノイズを含む。さらに、最新の画像で３次元ボリュームデータが更新されているが、臓器変形の速度に追随できずに、画像がずれる場合がある。これらの画像からノイズおよび臓器変形を認識して、ノイズ除去および臓器のレジストレーションに対応できなければ、後の臓器抽出や３次元画像処理が適切になされない可能性がある。
【００２９】
そこで、手術器具３０の位置情報および姿勢情報により、術中画像５０ａ、５０ｂを撮影すると同時に、あらかじめ撮影された術前の３次元ボリュームデータから同じ位置・姿勢の断面像８０を再構成し作成する。術前画像８０をリファレンスとして、術中画像５０ａ、５０ｂにノイズ除去処理を施し、ノイズ除去された術中画像５１を作成する。この術中画像５１で術前の３次元ボリュームデータの一部を更新し、最新の画像を含む術前３次元ボリュームデータを作成する。そうすることで、手術操作に伴う臓器変形に対応した最新の画像をリファレンスとして用いることができる。
【００３０】
ノイズ除去処理には、最大Mutual Information法を用いる。これは、レジストレーション処理で使われる手法であり、相互情報量を２つの画像（確率分布）の類似度と捉え、これが最大になるように画像位置をチューニングすることによってレジストレーションを行う方法である。
【００３１】
図５に用いてレジストレーション処理について説明する。
【００３２】
オリジナル画像（術前画像８０）を回転・移動処理（ステップＳ５０）し、オリジナル画像（術前画像８０）とリファレンス画像（術中画像５０）との評価基準の計算を行う（ステップＳ５１）。評価基準（後述する「相互情報量」に該当する。）には、パラメータ（dx, dy, dz, θx, θy, θz）が真値に近づくにしたがって、スムーズに最大値（あるいは最小値）に到達するものがよい。評価基準値と最適な状態を示す閾値とを比較し、評価基準値が閾値以上であればオリジナル画像とリファレンス画像とは一致するマッチング画像と判断する（ステップＳ５２）。評価基準値が閾値未満であれば、パラメータの修正（最適化）を行い（ステップＳ５３）、再度ステップＳ５２へ戻る。これらを繰り返し計算することで、真値に収束させ )、マッチング画像を作成する。
【００３３】
最大Mutual Information法における評価基準は、２つの画像の信号強度（画素のカウント）から、画像間の類似性を数値化する。画像間の類似性の評価には、平均相互情報量I(A,B)を用いる。平均相互情報量の算出において、２つの事象A,Bが全体として持っている情報量（結合エントロピー）H(A,B)は、事象それぞれの情報量H(A)、H(B)の総和に、一方に関する情報量I(A,B)が他方に含まれることを考慮し、H(A)+H(B)-I(A,B)となる。このI(A,B)が相互情報量である。画像に適用して考えると、事象Aの情報量をａi(i = １〜m)とすれば、画像の信号強度の出現頻度（つまり、正規化したヒストグラムからなる確率分布
ｐ(ａi））の重みつき平均（期待値）で表される（数１式）。事象Bの情報量も同様に求められる。
【００３４】
【数１】
2007159933.tif 000003
【００３５】
また、２つの事象A,Bの結合平均情報量（結合エントロピー）H(A,B)は、事象Aがａi(i = １〜m)、事象Bがｂj(j = １〜n)をとる同時確率をｐ(ａi∩ｂj）とすると、数２式のようになる。
【００３６】
【数２】
2007159933.tif 000004
【００３７】
となる。
【００３８】
平均相互情報量が異種画像のレジストレーションに使われるのは、異種画像で均一な信号強度の領域が、他の異種画像の同じ領域内で大体均一なカウント分布を示すことに帰着している。したがって、相互情報量が２つの画像が持っている共通性を表すという性質を、画像間の類似性の尺度で表現していることになる。
【００３９】
図６に相互情報量を用いたノイズ情報判別方法を示す。図４のように、手術器具の位置情報・姿勢情報により、術中画像と術前画像は位置・姿勢が一致した画像が得られる。術中画像には、ホワイトノイズやスパイクノイズが含まれており、術前画像には極力ノイズが含まれていないと仮定する。相互情報量は２つの画像（確率分布）の類似度を表すため、これら２つの画像を任意の画像サイズに分割し、その分割領域毎に同時確率密度 (Joint probability)と周辺確率分布（Marginal probability）とを求め、これらに基づいて相互情報量(Mutual information)を計算する。この相互情報量は、二つの画像が持っている共通性を示す値であって、ノイズが多い場合は、相互情報量が小さく、ノイズが少ない場合は相互情報量が大きくなる。また、相互情報量の結合事象確率は２次元ヒストグラムで現される（図６Ａ参照）。また、画像中の臓器変形では相互情報量は小さくなり、レジストレーション対象の分割領域として認められる。上記同時確率密度、周辺確率分布、相互情報量は図６及び下式のとおり算出できる。
【００４０】
【数３】
2007159933.tif 000005
【００４１】
次に図７に基づいて、画像表示システム１の処理手順について説明する。
【００４２】
ステップＳ１では、手術前に医用画像撮影装置を用いて被検体の手術部位の
３次元画像を撮影し、格納する（Ｓ１）。
【００４３】
ステップＳ２では、手術が開始される。画像処理装置２０の位置情報取得部２１ａは、被検体に挿入された手術器具３０の位置情報及び姿勢情報を位置検出装置４０から取得する（Ｓ２）。同様に、位置検出装置４０は、医用画像撮影装置、例えばMRI装置１１に位置情報及び姿勢情報を送信する。
【００４４】
ステップＳ３では、第一読込部２１ｂがＳ２で取得した位置情報に対応する断面像に３次元画像からその位置情報に対応する断面像を読み込む（Ｓ３）
ステップＳ４では、位置情報、姿勢情報を受け取ったMRI装置１１は、位置情報・姿勢情報に基づく断面をFluoroscopyで高速に撮影し、術中画像５０を生成する（Ｓ４）。
【００４５】
ステップＳ５では、第二読込部２１ｃが、Ｓ４で撮影した術中画像５０を読み込む。そして、分割部２１ｄは、任意の画像サイズの領域に術前、術中画像を分割する(Ｓ５)。術前画像６０に設定した分割領域を第一分割領域といい、第一分割領域の位置に対応させて術中画像を分割した各分割領域を第二分割領域という。
【００４６】
ステップＳ６では、第一分割領域及び第二分割領域の相互情報量MIを算出する(Ｓ６)。
【００４７】
ステップＳ７では、その領域内で臓器変形による位置ずれがあるかを相互情報量MI<αから判別する(Ｓ７)。αは臓器変形がある場合に相互情報量がとりうる閾値である。臓器変形があり、レジストレーション処理が必要な場合はS８に移る。相互情報量MIがαより小さいときはステップＳ８へ、α以上であればステップＳ９へ遷移する。
【００４８】
ステップＳ８では、レジストレーション処理を行う。オリジナルのボリューム画像として、分割領域と同範囲で奥行き方向にデータ量を拡張した限定された術前ボリューム画像を用いる。リファレンス画像として、術中の分割領域を用いる。本ステップの処理は、図８に基づいて後述する。
【００４９】
ステップＳ９では局所にノイズがあるかを判定する。βはノイズ（主にホワイトノイズ）を判定する判定値である。相互情報量ＭＩがβよりも小さいときには、ノイズがあると判断しＳ１０へ進む。相互情報量ＭＩがβ以上であれば、ノイズがないと判断しＳ１１へ進む。
【００５０】
ステップＳ１０では、局所ノイズ除去法として、Adaptive Filterを用いる。Adaptive Filterの処理概要を示す。Adaptive Filterでは入力画像から構造物強調画像（輪郭強調画像）とノイズ除去画像（平滑化画像）とを作成し、両者を混合することで出力画像を得る。平滑化処理とは、基本的にマトリクス内の画素値を平均化することでノイズを除去する処理である。マトリクスサイズを大きくするほどノイズ除去効果が大きくなるが、解像度の低下も大きくなる。そこでAdaptive Filterでは、解像度の低下を抑制するため、近傍画素との標準偏差を算出し、標準偏差に応じてマトリクスサイズを変更する。ノイズが多いほど画像の粒状性が悪くなるため、標準偏差が大きい画素ほど大きなマトリクスサイズで平滑化する。
【００５１】
Adaptive Filterでは、数４式で出力画素Ｐｏが決定される。
【００５２】
【数４】
2007159933.tif 000006
なお、Ｐｉは注目画素、Ｗｉは重みである。注目画素に対する重みを注目画素からの距離だけでなく、画素値の差や標準偏差といった統計量に基づいて重みを決定する。つまり、マトリクス内で類似した値を持つ画素ほど重みを大きくして平均化する。
【００５３】
Adaptive Filterでは平滑化成分と先鋭化成分を標準偏差に応じて混合する比率を変更する。標準偏差が大きい画素ほど平滑化成分の比率を大きくして、輪郭強調成分の比率を小さくして混合する。輪郭付近は標準偏差が顕著に高くなるので、標準偏差が閾値以上の画素は輪郭とみなし平滑化成分の比率を最小に、輪郭強調成分を最大にして混合する。
【００５４】
このようにして、まず、臓器変形による位置づれやスパイクノイズ等の領域の比較的大きなノイズ成分を最初に除去し、そのあとにホワイトノイズを除去することによって、大抵のノイズ情報を除去することができる。また、本方法は、リファレンス画像として、術前MRI画像を例にしたが、CT画像や超音波画像であってもよい。また、対象となる術中画像もCT画像や超音波画像であってもよい。本方法の特徴は、異種画像であっても、同じ領域では大体均一的なカウント分布を示すことを利用し、ノイズの有無や臓器変形の有無を判別するものである。
【００５５】
ステップＳ１１では、ノイズを除去した分割領域を合成してノイズ除去後の術中画像を生成する。
【００５６】
ステップＳ１２では、Ｓ１１で生成した術中画像を術前に撮影したボリュームデータの術中画像に対応する断層像と置き換える。
【００５７】
ステップＳ１３では、この処理を終了するか否かを判断する（Ｓ１３）。終了する場合には「Ｙ」に進み、終了する。終了しない場合には、「N」へ進みステップＳ２へ戻り、新たに手術器具の位置情報及び姿勢情報を取得し、Ｓ３においてノイズ除去後の術中画像に置き換えられたボリューム画像から、新たに取得した位置情報に対応する断層像を読み込む。
【００５８】
次に図８に基づいて上記ステップＳ８のレジストレーション処理について説明する。
【００５９】
ステップＳ８１のレジストレーション処理は、図５に示す方法をとる。オリジナルのボリューム画像として、分割領域と同範囲で奥行き方向にデータ量を拡張した限定された術前ボリューム画像を用いる。リファレンス画像として、術中の分割領域を用いる。術前ボリューム画像に回転、拡大処理を行い臓器変形を加味した位置合わせ処理を行う。その後、再度、相互情報量を求める。
【００６０】
ステップＳ８２では、その相互情報量と、スパイクノイズの有無を判定するための判定値γとを比較する（Ｓ８２）。相互情報量が判定値γよりも小さければ、その分割領域にはスパイクノイズのように一部データが欠損する程のノイズを含んでいると判定する。
【００６１】
ステップＳ８３では、スパイクノイズの場合、ノイズの信号強度はある値に集中し、ヒストグラムが偏ると仮定し、術中画像の確率分布から判別する。２次元ヒストグラムで表せば、術前画像のヒストグラムの軸に対して平行に、術中画像のヒストグラムが頻繁にカウントされる。これにより、ノイズを検出する(Ｓ８３)。
【００６２】
ステップＳ８４では、スパイクノイズの信号強度をもつ画素に対して術前画像の画素値で置き換える(Ｓ８４)。
【００６３】
上記実施形態では、相互情報量と比較する判定値をα（臓器変形の判定）、β（ホワイトノイズの判定）、γ（スパイクノイズの判定）を用いたが、画像ノイズの種類に応じて適宜判定値を設けてもよい。また、α、β、γの大小関係はα＞γ＞βという一例を用いてもよいが、これに限定されるものではない。
【００６４】
本実施の形態によれば、術中MRI画像には高速撮影による画像劣化や外因子によるホワイトノイズやスパイクノイズが含まれるため、その画像に対して臓器抽出等の画像処理技術を施しても、術前画像に対する程、正確に適用されない可能性がある。また、従来のノイズ除去方法のようにホワイトノイズを除去する方法を採用すれば、スパイクノイズが強調される。本発明によれば、ホワイトノイズやスパイクノイズによらず、種々のノイズ情報を除去でき、術前画像に対する画像処理方法を術中画像に施行することができる。
【図面の簡単な説明】
【００６５】
【図１】術中画像ノイズ除去装置ブロック図
【図２】術中画像ノイズ除去プログラムのブロック図
【図３】術中画像ノイズ除去装置の処理の概要図
【図４】画質改善方法の概略図
【図５】レジストレーション処理の一般的な処理の流れを示す図
【図６】相互情報量を用いたノイズ判定処理の計算方法を説明する図
【図７】術中画像ノイズ除去処理の処理手順を示すフローチャート
【図８】図７のステップＳ８の処理手順を示すフローチャート
【符号の説明】
【００６６】
１：術中画像ノイズ除去システム、１０：医用画像撮影装置、２０：画像処理装置、３０：手術器具、４０：位置検出装置
【図１】
2007159933.tif 000007
【図２】
2007159933.tif 000008
【図３】
2007159933.tif 000009
【図４】
2007159933.tif 000010
【図５】
2007159933.tif 000011
【図６】
2007159933.tif 000012
【図７】
2007159933.tif 000013
【図８】
2007159933.tif 000014