(57)【要約】  複数の三次元画像を効率的に合成することにより、操作者の労力を削減し、また、合成画像を用いる画像診断に要する時間を短縮することが可能な医用画像表示装置を提供する。  オブジェクトまたは合成画像が2以上の表示領域に表示される。ポインティングデバイスによって各表示領域に表示されている1つのオブジェクトを選択し、選択されたオブジェクトを他の表示領域に移動させる。そして、移動されたオブジェクトが他の表示領域に表示されていたオブジェクトと合成され、対応する表示領域に表示される。なお、1つの表示領域に複数のオブジェクトを表示する場合には、複数のオブジェクトがその表示領域に合成表示される。
2008050823.tif 000002
【特許請求の範囲】
【請求項１】
医用画像撮影装置によって取得された被検体の画像データから抽出された、診断対象となる複数種類のオブジェクトを示す複数の三次元画像を取得する画像取得手段と、
前記取得された複数の三次元画像を表示する2以上の表示領域を有する表示手段と、
前記表示手段の各表示領域に表示されている1つの三次元画像、又は複数の三次元画像を合成表示した合成画像から任意の三次元画像を選択するとともに、選択した三次元画像を前記表示手段の他の表示領域に移動させる指示を行う指示手段と、
前記指示手段によって移動が指示された三次元画像を前記表示手段の対応する表示領域に表示させ、1つの表示領域に複数の三次元画像を表示する場合にはそれらの三次元画像を合成表示させる表示制御手段と、
を備えたことを特徴とする医療画像表示装置。
【請求項２】
前記指示手段は、前記指示手段の操作パラメータと前記合成画像の奥行き方向とを対応させることにより、前記合成画像を構成する複数の三次元画像から任意の三次元画像を選択することを特徴とする請求項1に記載の医療画像表示装置。
【請求項３】
前記指示手段の操作パラメータは、前記指示手段によって入力された信号の入力時間であることを特徴とする請求項2に記載の医療画像表示装置。
【請求項４】
前記指示手段の操作パラメータは、前記指示手段によって入力された信号の入力回数であることを特徴とする請求項2に記載の医療画像表示装置。
【請求項５】
前記指示手段の操作パラメータは、前記指示手段によって入力された信号の入力圧であることを特徴とする請求項2に記載の医療画像表示装置。
【請求項６】
前記指示手段によって移動が指示された三次元画像が前記表示領域外に移動された場合には、前記表示制御手段は、前記三次元画像が表示されていた表示領域から前記三次元画像を削除することを特徴とする請求項1に記載の医療画像表示装置。
【請求項７】
前記指示手段によって選択された三次元画像の断面像であって、前記指示手段の操作パラメータと対応する前記三次元画像の奥行き方向の所定の位置での断面像作成手段を備え、
前記表示制御手段は、前記指示手段によって三次元画像が選択されている場合には、前記断面像作成手段で作成された断面像と前記合成画像とを重ねて表示させることを特徴とする請求項1に記載の医療画像表示装置。
【請求項８】
前記指示手段の操作パラメータは、前記指示手段によって入力された信号の入力時間であることを特徴とする請求項7に記載の医療画像表示装置。
【請求項９】
前記指示手段の操作パラメータは、前記指示手段によって入力された信号の入力回数であることを特徴とする請求項7に記載の医療画像表示装置。
【請求項１０】
前記指示手段の操作パラメータは、前記指示手段によって入力された信号の入力圧であることを特徴とする請求項7に記載の医療画像表示装置。
【請求項１１】
前記表示制御手段は、前記指示手段によって入力された信号の入力時間に基づいて前記合成画像を構成する複数の三次元画像間の合成率を設定することを特徴とする請求項1に記載の医療画像表示装置。
【請求項１２】
前記表示制御手段は、前記指示手段によって移動が指示された三次元画像を前記三次元画像が表示されている表示領域から他の表示領域に移動させる指示が確定するまでの間、前記三次元画像が移動される表示領域に前記三次元画像を簡易表示で表示させることを特徴とする請求項1に記載の医療画像表示装置。
【請求項１３】
前記表示制御手段は、前記指示手段によって入力された信号の入力時間に基づいて簡易表示されている複数の三次元画像間の合成率を設定することを特徴とする請求項12に記載の医療画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療画像表示装置に係り、特に人体の特定領域の三次元画像を操作者に効率的に提示する医療画像表示装置に関する。
【背景技術】
【０００２】
X線CT装置、X線装置、MRI装置、超音波画像診断装置などの医用画像診断装置により得られた被検体の画像を効率よく観察する手段として、閥値分離処理や領域拡張法等により観察対象となる人体部位に相当する三次元領域(オブジェクト)を抽出し、三次元表示する方法がある。【０００３】
特許文献1には、CT値の画素値及び画素値勾配の大きさに基づいて陰影付けを行うことで任意の特定のオブジェクトを明瞭に表示することが可能な三次元画像表示方法が提案されている。
【特許文献１】特開平10-11604号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献1では以下のような点について配慮がなされてなかった。特許文献1では、特定のオブジェクトと他のオブジェクトとを区別して表示可能であるが、複数のオブジェクトを明瞭に表示したい場合であって、そのオブジェクトの数が増加した場合には、最適な画像を表示させることに対する配慮がなされてなかった。【０００５】
これに対応するために、例えば、特許文献1で開示された方法等で特定のオブジェクトが明瞭に表示された三次元画像を合成することで、複数のオブジェクトを明瞭に表示させることが考えられる。しかし、操作者はリストに登録されているオブジェクトの形状を実際に三次元表示するまで把握することが出来ないため、三次元表示を繰り返しながら表示・非表示を判断する必要があった。【０００６】
また、合成対象となる複数のオブジェクトを選択する場合、予め操作者に提示されたオブジェクトのリストの中から合成表示するオブジェクトを検索する必要があり、手間がかかるという点について配慮がなされてなかった。【０００７】
更に、既に複数のオブジェクト合成された画像(合成画像)から任意のオブジェクトを取り除いた合成画像を作成したい場合、削除対象となるオブジェクトをリストから検索する必要があり、手間がかかるという点について配慮がなされてなかった。【０００８】
本発明は、上記事情に鑑みてなされたものであり、複数種類のオブジェクトを示す複数の三次元画像を効率的に合成することにより、操作者の労力を削減し、また、合成画像を用いる画像診断に要する時間を短縮することが可能な医用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明の医療画像表示装置は、医用画像撮影装置によって取得された被検体の画像データから抽出された、診断対象となる複数種類のオブジェクトを示す複数の三次元画像を取得する画像取得手段と、前記複数の三次元画像を表示する2以上の表示領域を有する表示手段と、前記表示手段の各表示領域に表示されている1つの三次元画像、又は複数の三次元画像を合成表示した合成画像から任意の三次元画像を選択するとともに、選択した三次元画像を前記表示手段の他の表示領域に移動させる指示を行う指示手段と、前記指示手段によって移動が指示された三次元画像を前記表示手段の対応する表示領域に表示させ、1つの表示領域に複数の三次元画像を表示する場合には合成表示させる表示制御手段と、を備えたことを特徴としている。【００１０】
本発明の医療画像表示装置によれば、複数種類のオブジェクトを示す複数の三次元画像が2以上の表示領域を有する表示手段に表示される。指示手段によって各表示領域に表示されている1つの三次元画像、又は複数の三次元画像を合成表示した合成画像から任意の三次元画像を選択し、選択された三次元画像を表示手段の他の表示領域に移動させる指示が行われる。そして、表示制御手段によって移動が指示された三次元画像が表示手段の対応する表示領域に表示される。なお、1つの表示領域に複数の三次元画像を表示する場合には、複数の三次元画像がその表示領域に合成表示される。【００１１】
これにより、複数種類のオブジェクトを示す複数の三次元画像を効率的に合成することができる。また、各オブジェクトを視覚的に確認しながら合成画像を作成できるため、三次元画像の合成を容易に行うことができる。そのため、複数の三次元画像の合成を行う操作者の労力を削減することができ、よって、合成画像を用いる画像診断に要する時間を短縮することができる。【００１２】
また本発明の医療画像表示装置は、前記医療画像表示装置において、前記指示手段は、前記指示手段によって入力された信号の入力時間、入力回数及び入力圧の少なくとも1つと前記合成画像の奥行き方向とを対応させることにより、前記合成画像を構成する複数の三次元画像から任意の三次元画像を選択することを特徴としている。【００１３】
本発明の医療画像表示装置によれば、指示手段によって入力された信号の入力時間、入力回数及び入力圧の少なくとも1つと、合成画像の奥行き方向とを対応させることで、合成画像を構成する複数の三次元画像から任意の三次元画像が選択される。【００１４】
これにより、所定の表示領域に複数の三次元画像が合成表示されている場合においても、任意の三次元画像を選択することができる。【００１５】
さらに本発明の医療画像表示装置は、前記医療画像表示装置において、前記指示手段によって移動が指示された三次元画像が前記表示領域外に移動された場合には、前記表示制御手段は、前記三次元画像が表示されていた表示領域から前記三次元画像を削除することを特徴としている。【００１６】
本発明の医療画像表示装置によれば、ポインティングデバイスによって移動が指示された三次元画像が表示領域外に移動された場合には、三次元画像が表示されていた表示領域からその三次元画像を削除した画像が表示される。【００１７】
これにより、複数種類のオブジェクトを示す複数の三次元画像の合成及び削除が容易となるため、目的の三次元画像を効率的に合成することができる。【００１８】
さらに本発明の医療画像表示装置は、前記医療画像表示装置において、前記指示手段によって選択された三次元画像の断面像であって、前記指示手段によって入力された信号の入力時間、入力回数及び入力圧の少なくとも1つと対応する前記三次元画像の奥行き方向の所定の位置での断面像作成手段を備え、前記表示制御手段は、前記指示手段によって三次元画像が選択されている場合には、前記断面像作成手段で作成された断面像と前記合成画像とを重ねて表示させることを特徴としている。【００１９】
本発明の医療画像表示装置によれば、指示手段によって選択された三次元画像の断面像であって、指示手段によって入力された信号の入力時間、入力回数及び入力圧の少なくとも1つによって指示された奥行き方向の所定の位置での断面像が作成される。そして、表示制御手段によって作成された断面像と合成画像とを重ねた画像が表示領域に表示される。【００２０】
これにより、合成画像を構成する複数の三次元画像から任意の三次元画像が選択された場合において、選択された三次元画像が明確に区別されて表示される。【００２１】
さらに本発明の医療画像表示装置は、前記医療画像表示装置において、前記表示制御手段は、前記指示手段によって移動が指示された三次元画像を前記三次元画像が表示されている表示領域から他の表示領域に移動させる指示が確定するまでの間、前記三次元画像を前記三次元画像が移動される表示領域に画像処理量の少ない簡易表示で表示させることを特徴としている。【００２２】
本発明の医療画像表示装置によれば、指示手段によって移動が指示された三次元画像を現在表示されている表示領域から他の表示領域に移動させる場合に、その移動が確定するまでの間は、移動が指示された三次元画像は他の表示領域に画像処理量の少ない簡易表示で表示される。【００２３】
これにより、合成表示される三次元画像が瞬時に表示される。よって、各オブジェクトを視覚的に確認しながら合成画像を作成できるため、三次元画像の合成を容易に行うことができる。
【発明の効果】
【００２４】
本発明によれば、複数種類のオブジェクトを示す複数の三次元画像を効率的に合成することにより、操作者の労力を削減し、また、合成画像を用いる画像診断に要する時間を短縮することが可能な医用画像表示装置を提供することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明が適用された医療画像表示装置全体の構成を示すハードウェア構成図。
【図２】上記医療画像表示装置の第1の実施の形態の処理の流れを示すフローチャート。
【図３】上記医療画像表示装置の第1の実施の形態の表示領域に表示させるオブジェクトを選択する選択画の一例。
【図４】上記医療画像表示装置の第1の実施の形態の表示例。
【図５】上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。
【図６】上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。
【図７】上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。
【図８】上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。
【図９】上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。
【図１０】上記医療画像表示装置の第1の実施の形態の合成画像上で編集オブジェクトを選択する方法を説明する説明図。
【図１１】上記医療画像表示装置の第1の実施の形態の編集オブジェクトを強調表示した図。
【図１２】上記医療画像表示装置の第1の実施の形態の編集オブジェクトの断面図を合成画像と重ねて表示した図。
【図１３】上記医療画像表示装置の第1の実施の形態の編集オブジェクトの断面図を作成する方法を説明する説明図。
【図１４】上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。
【図１５】上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。
【図１６】上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。
【図１７】上記医療画像表示装置の第1の実施の形態のオブジェクトを削除する方法を説明する説明図。
【図１８】上記医療画像表示装置の第1の実施の形態のオブジェクトを削除する方法を説明する説明図。
【図１９】上記医療画像表示装置の第1の実施の形態のオブジェクトを削除する方法を説明する説明図。
【図２０】上記医療画像表示装置の第1の実施の形態の合成画像上で編集オブジェクトを選択する方法の一例を説明する説明図。
【図２１】上記医療画像表示装置の第1の実施の形態の合成画像上で編集オブジェクトを選択する方法の一例を説明する説明図。
【符号の説明】
【００２６】
1  医用画像撮影装置、2  画像データベース、3  ネットワーク、10  医療画像表示装置、11  CPU、12  主メモリ、13  データ記録装置、14  表示メモリ、15  ディスプレイ、16  コントローラ、17  ポインティングデバイス、18  外部入力装置
【発明を実施するための最良の形態】
【００２７】
以下、本発明を実施するための最良の形態を添付図面に基づいて説明する。【００２８】
図1は、本発明に係る第1の実施の形態の医療画像表示装置全体の構成を示すハードウェア構成図である。【００２９】
医療画像表示装置10は、被検体の画像を撮影する医用画像撮影装置1、医用画像撮影装置1で撮影された画像等が保存されている画像データベース2とLAN3等のネットワークによって接続される。医用画像撮影装置1は、X線CT装置、MRI装置、超音波撮影装置等の被検体の画像(好ましくは三次元画像)を撮影可能な装置により構成される。なお、図示は省略したが、医療画像表示装置10が医用画像撮影装置1や画像データベース2を備えていても良い。【００３０】
医療画像表示装置10は、主として各構成要素の動作を制御する制御装置としての中央処理装置(CPU)11と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となったりする主メモリ12と、オペレーティングシステム(OS)、周辺機器のデバイスドライブ、胸壁の厚さの測定等の処理を行うためのプログラムを含む各種アプリケーションソフト等が格納されるデータ記録装置13と、表示用データを一時記憶する表示メモリ14と、この表示メモリ14からのデータに基づいて画像を表示するCRTモニタ、液晶モニタ等のディスプレイ15と、ディスプレイ15上のソフトスイッチを操作するためのマウス、トラックボール、タッチパネル等の指示手段であるポインティングデバイス17と、ポインティングデバイス17の状態を検出してディスプレイ15上のマウスポインタの位置やポインティングデバイス17の状態等の信号をCPU11に出力するコントローラ16と、操作者が指示を入力するための外部入力装置18と、上記各構成要素を接続するバス19とから構成される。【００３１】
CPU11は、上記プログラムをデータ記録装置13から読み出して主メモリ12にロードし、実行する。【００３２】
なお、本実施例では、主メモリ12以外の記憶装置としてデータ記録装置13が接続されているが、データ記録装置13は、医療画像表示装置10に内蔵又は外付けされたメモリ、磁気ディスク等の記憶装置、取り出し可能な外部メディアに対してデータの書き込みや読み出しを行う装置、外部記憶装置とネットワークを介してデータを送受信する装置等を適用してもよい。【００３３】
次に、上記のように構成された医療画像表示装置10の作用について説明する。【００３４】
＜複数種類のオブジェクトを示す複数の三次元画像の表示＞
図2は、医療画像表示装置10の複数種類のオブジェクトを示す複数の三次元画像を表示領域に表示させる処理の流れを示すフローチャートである。CPU11は、このフローチャートに従って動作する。以下の処理は、医用画像撮影装置1、画像データベース2から医療画像表示装置10へ読みこまれ、閾値分離処理、領域拡張法等の方法により被検体の観察対象となる部位に相当する複数の三次元画像(オブジェクト)が抽出された後で開始される。【００３５】
まず、オブジェクトの選択処理(ステップS10〜S12)が行われる。【００３６】
画面に表示させたい部位がポインティングデバイス17等によって選択される(ステップS10)。例えば、図3に示すような初期画面上で選択が行われる。まず、ポインティングデバイス17等で表示させたい部位(頭部、胸部、腹部等)のボタンを押して部位を選択し、決定ボタンを押すことにより、選択された部位が決定される。以下、部位として頭部が選択された場合について説明する。【００３７】
部位の選択が終了したら、三次元画像として表示させたいオブジェクトがポインティングデバイス17等によって選択される(ステップS11)。本実施例では、ステップS10で頭部が選択されているため、図3に示すように、頭部にあるオブジェクトを選択するためのボタンが表示される。ポインティングデバイス17等で表示させたいオブジェクト(皮膚、骨、腫瘍、血管、脳等)のボタンを押してオブジェクトを選択し、決定ボタンを押すことにより、選択されたオブジェクトが決定される。【００３８】
なお、1つのオブジェクトを1つの三次元画像として表示させたい場合には、1つのオブジェクトのボタンを選択した状態で決定ボタンを押せばよいし、複数のオブジェクトを1つの三次元画像として表示させたい場合には、複数のオブジェクトのボタンを選択した状態で決定ボタンを押せばよい。例えば、骨の三次元画像のみを表示させたい場合には、「骨」のボタンを押すことによって「骨」が選択された状態で決定ボタンを押せばよい。又、腫瘍及び脳の2つのオブジェクトを1つの三次元画像として表示させたい場合には、「腫瘍」と「脳」との2つのボタンを押すことによって「腫瘍」と「脳」とが選択された状態で決定ボタンを押せばよい。なお、以降の説明では、皮膚、骨、腫瘍、血管の4種類のオブジェクトが選択された場合について述べる。【００３９】
そして、ステップS11で決定された三次元画像の中に、複数のオブジェクトを1つの三次元画像として表示させたいものが含まれているかが判断される(ステップS12)。【００４０】
表示させたい三次元画像が全て1つのオブジェクトの場合(ステップS12でNO)の場合は、オブジェクトの選択処理が終了される。【００４１】
表示させたい三次元画像のなかに、複数のオブジェクトを1つの三次元画像として表示させたいものが含まれている場合には、複数のオブジェクトに予め与えられた座標情報に基づいて解剖学的に同じ位置で合成することで合成画像を作成する(ステップS13)。【００４２】
これにより、オブジェクトの選択処理が終了される。【００４３】
ステップS11で選択された三次元画像の数を数え(ステップS14)、ディスプレイ15に選択された三次元画像の数の表示領域を設定する(ステップS15)。例えば、m×n個(m,nは自然数)の表示領域で、かつ選択された三次元画像の数を含み、最も少ない数となるような数の表示領域を設定する。なお、表示領域の数は、複数であれば数はいくつでもかまわない。【００４４】
そして、設定された表示領域にステップS11で選択された三次元画像を配置する(ステップS16)。【００４５】
本実施例では、ステップS11で皮膚、骨、腫瘍、血管の4種類のオブジェクト(皮膚オブジェクト、骨オブジェクト、腫瘍オブジェクト、血管オブジェクト)が選択されていたため、4つの表示領域が設定され、図4に示すように、各表示領域に皮膚オブジェクト、骨オブジェクト、腫瘍オブジェクト、血管オブジェクトが表示される。なお、図4においては、表示領域に表示される画像は、表示領域毎に1個のオブジェクトのみの表示であるが、表示領域毎に合成画像のみの表示でもかまわないし、表示領域によって1個のオブジェクトの表示と合成画像の表示とが混合していてもよい。【００４６】
これにより、各表示領域に三次元画像が配置されてディスプレイ15に表示される。【００４７】
なお、図4ではボリュームレンダリング処理によって三次元画像の表示を行っているが、サーフェイスレンダリング処理、最大値投影処理、最小値投影処理、画素値積算処理などの他の三次元表示であっても良い。【００４８】
また、図4では各表示領域に表示領域の名称(領域.A等)とオブジェクトの名称(皮膚等)がオブジェクトと共に表示されているが、三次元画像のみを表示させるようにしてもよいし、三次元画像と表示領域の名称又はオブジェクトの名称とを表示させるようにしてもよい。【００４９】
＜三次元画像の合成処理＞
次に、医療画像表示装置10の表示領域に表示された三次元画像のなかから合成対象となるオブジェクト(編集オブジェクト)を選択し、編集オブジェクトと他のオブジェクトとの合成処理により、複数のオブジェクトの合成画像を作成する処理について説明する。【００５０】
以下の処理は、図２に示す複数種類のオブジェクトを示す複数の三次元画像を表示領域に表示させる処理が終了した後で、CPU11によって行われる。【００５１】
[編集オブジェクトのみが表示領域に表示されている場合]
図5〜図7を用いて、編集オブジェクトのみが表示領域に表示されている場合について説明する。【００５２】
表示領域に三次元画像が配置されたものがディスプレイ15に表示されると、図5に示すように、ディスプレイ15上にポインタが表示され、表示されたオブジェクトから編集オブジェクトを選択することができるようになる。【００５３】
ポインティングデバイス17を用いてポインタをオブジェクト上に移動させ、オブジェクト上にポインタを置いたままポインティングデバイス17を押すことで、ポインタで指されているオブジェクトが編集オブジェクトとして選択される。例えば、図５においては、ポインタが領域.Bにあり、ポインティングデバイス17が押されているので、骨が編集オブジェクトとして選択されている。【００５４】
次に、編集オブジェクトを移動し、編集オブジェクトと他のオブジェクトとを合成する方法について説明する。【００５５】
ポインティングデバイス17を用いて、編集オブジェクトを選択した状態で、ポインタを動かす(ドラッグ操作)。これにより、編集オブジェクトの移動が可能となる。【００５６】
編集オブジェクトを、合成したい他のオブジェクトが表示されている表示領域内に移動させ、ポインティングデバイス17を放す(ドロップ操作)。これにより、編集オブジェクトと編集オブジェクトがドロップ操作された表示領域に表示されているオブジェクトとを合成表示するようにとの指示がCPU11に入力される。例えば、図6において、領域.Bに表示されている骨オブジェクトを領域.Dにドラッグ操作することにより、骨オブジェクトと領域.Dに表示されている血管オブジェクトとを合成表示するようにとの指示がCPU11に入力される。【００５７】
オブジェクトを合成表示するようにとの指示がCPU11に入力されると、ドラッグ操作された編集オブジェクトと、ドラッグ操作された編集オブジェクトがドロップ操作された表示領域に表示されたオブジェクトとが各オブジェクトに予め与えられた座標情報に基づいて解剖学的に一致するように合成される。そして、その合成された画像(合成画像)が、編集オブジェクトがドロップ操作された表示領域に表示される(合成表示)。【００５８】
例えば、領域.Bに表示されている骨オブジェクトが領域.Dにドラッグアンドドロップ操作された場合には、図7に示すように、骨オブジェクトが領域.Bから削除され、骨オブジェクトと領域.Dに表示されていた血管オブジェクトとの合成画像が領域.Dに合成表示される。【００５９】
これにより、編集オブジェクトのみが表示領域に表示されている場合において、編集オブジェクトと他のオブジェクトとの合成処理により、複数のオブジェクトの合成画像が作成される。【００６０】
[編集オブジェクトを含む合成画像が表示領域に合成表示されている場合]
図8〜図14を用いて、編集オブジェクトを含む合成画像が表示領域に合成表示されている場合について説明する。【００６１】
以下、図8に示すように、領域.Dに血管オブジェクトと骨オブジェクトとが合成表示されている場合に、血管オブジェクトを選択し、血管オブジェクトと領域.Aに表示されている皮膚オブジェクトとの合成画像を領域.Aに表示させる場合を例にとって説明する。なお、領域.Dに表示されている合成画像は、別々の表示領域に表示された個々のオブジェクトが合成された合成画像でもよいし、表示領域に表示されるオブジェクトを選択する段階において2つのオブジェクトが選択されることにより最初から合成画像、すなわち図2のステップS13により合成された合成画像でもよい。【００６２】
まず、合成画像において、編集オブジェクトを選択する方法について説明する。【００６３】
1つの表示領域に合成画像が表示されている場合において、外部入力装置18等によりオブジェクトの合成を行う旨の指示が入力されると、図9に示すように、ディスプレイ15上にポインタ及び指定点A(x,y)を示すカーソル(図9の×印)が表示される。【００６４】
ポインティングデバイス17を用いてポインタ及び指定点A(x,y)を示すカーソルを動かすことにより、ポインタ及び指定点A(x,y)を示すカーソルをオブジェクト上の所望の位置に移動させる。オブジェクト上の所望の位置にポインタを置いたままポインティングデバイス17を押すことで、指定点A(x,y)を示すカーソルの位置が決定され、指定点A(x,y)が指定される。【００６５】
ただし、表示領域に合成表示された三次元画像が表示されている場合には、指定された指定点A(x,y)において奥行き方向(z方向)に複数のオブジェクトが存在する可能性がある。【００６６】
図10(a)は図9で表示されている合成画像を側面から描画したものである。この例では、奥行き方向(z方向)に対して、手前から骨A、血管、骨Bの3つのオブジェクトが存在している。この場合、操作者が指定点A(x,y)を指定しただけでは、編集オブジェクトを自動的に決定することはできない。【００６７】
この問題を解決する手段としては、以下の3つの実施の形態が考えられる。【００６８】
(1)編集オブジェクトを自動的に決定する第1の実施の形態  奥行き方向(z方向)に対して最も手前に存在するオブジェクトを編集オブジェクトと
して選択する方法がある。【００６９】
例えば、ボリュームレンダリングによる三次元表示においては、最も手前にある表示対象が明瞭に表示される。そのため、最も手前に存在するオブジェクトを編集オブジェクトとして選択したとしても、操作者が選択を意図したオブジェクトと異なる可能性は小さい。【００７０】
よって、指定点A(x,y)において、奥行き方向(z方向)に対して最も手前に存在するオブジェクトを編集オブジェクトとして選択することで、操作者が選択を意図したオブジェクトが自動的に選択される。【００７１】
(2)編集オブジェクトを自動的に決定する第2の実施の形態
編集オブジェクトを自動的に決定する第1の実施の形態においては、奥行き方向(z方向)に対して最も手前に存在するオブジェクトを編集オブジェクトとして選択したが、複数のオブジェクトに異なる不透明度を与えて合成表示する場合において問題が発生する可能性がある。【００７２】
例えば、図10(a)において、骨オブジェクトの不透明度を下げることで、骨オブジェクトを透過して血管オブジェクトが表示されるような合成画像を作成する場合には、血管オブジェクトが表示領域に明瞭に表示される。操作者が血管オブジェクトの選択を意図した場合、上記の方法では血管オブジェクトの手前に位置する骨オブジェクトが選択されるため、操作者の意図と異なるオブジェクトが選択されるため不便である。【００７３】
編集オブジェクトを自動的に決定する第2の実施の形態は、各々のオブジェクトの反射光量を考慮して最も積算反射光の寄与率が大きいオブジェクトを編集オブジェクトとして選択する方法である。【００７４】
ボリュームレンダリングは表示対象に対して仮想的な光線を投影し、その反射光を積算して三次元画像を作成する手法であるが、表示対象に割り当てた不透明度が高いほど、その表示対象は明瞭に表示される。つまり、オブジェクトごとに積算反射光の寄与率を求め、最も寄与率が高いオブジェクトを編集オブジェクトとして選択すれば、複数のオブジェクトに異なる不透明度を与えて合成表示する場合でも、編集オブジェクトが操作者の意図したオブジェクトと異なる可能性は小さい。【００７５】
よって、指定点A(x,y)において、各々のオブジェクトの反射光量を考慮して最も積算反射光の寄与率が大きいオブジェクトを編集オブジェクトとして選択することで、操作者が選択を意図したオブジェクトが自動的に選択される。【００７６】
なお、ボリュームレンダリング処理以外の三次元処理については、最大値投影法であれば、奥行き方向の最大値を含むオブジェクト、最小値投影法であれば、奥行き方向の最小値を含むオブジェクトを選択することで実施が可能となる。【００７７】
(3)編集オブジェクトを自動的に決定する第3の実施の形態
編集オブジェクトを自動的に決定する第2の実施の形態においては、各々のオブジェクトの反射光量を考慮して最も積算反射光の寄与率が大きいオブジェクトを編集オブジェクトとして選択したが、合成表示されたオブジェクトの数が多い場合等においては、どのオブジェクトが選択されるか視覚的に認識しにくい場合がある。【００７８】
編集オブジェクトを自動的に決定する第3の実施の形態は、図10(a)、(ｂ)に示すように、操作者が入力した信号の入力時間を用いて編集オブジェクトを選択する方法である。入力時間とは、例えば、指定点A(x,y)を選択する時のポインティングデバイス17をクリックする時間である。【００７９】
まず、奥行き方向(z方向)の範囲を分割し、図10(ｂ)に示すように、各々のオブジェクトが所属する選択領域を設定する。この選択領域の境界はオブジェクトの中心位置に設定しても良いし、選択対象のオブジェクトの位置座標から、奥行き方向に向かって次のオブジェクトが現れるまでの範囲を設定しても良い。【００８０】
例えば、図10において、クリック時間が1.0秒の場合には骨Aオブジェクトが選択され、1.5秒の場合には血管オブジェクトが選択される。【００８１】
よって、指定点A(x,y)において、操作者が入力した信号の入力時間と対応する選択領域のオブジェクトを編集オブジェクトとして選択することで、操作者が選択を意図したオブジェクトが自動的に選択される。【００８２】
なお、ポインティングデバイス17をクリックし続けた場合の選択領域の設定は、奥行き方向の一番奥で止まるようにしてもよいし、奥行き方向の一番奥に到達した後で手前方向に戻るようにしてもよい。また、選択領域の設定は、ポインティングデバイス17の左クリックで奥行き方向に進み、右クリックで手前方向に戻るようにしてもよい。【００８３】
これらの編集オブジェクトを自動的に決定する方法を用いることにより、所定の表示領域に複数のオブジェクトが合成表示されている場合においても、任意のオブジェクトを選択することができる。【００８４】
上記の方法によれば、操作者の意図通りの編集オブジェクトを選択可能であるが、選択候補のオブジェクトの前後関係によって、操作者に対して編集オブジェクトの候補が視覚的に表示されない場合がある。編集候補のオブジェクトが複数の場合、選択された編集オブジェクトを他のオブジェクトと区別して表示できれば、操作者は一目で選択中の編集オブジェクトを認識できるため、合成画像の作成を効率的に行うことが可能となる。【００８５】
以下、合成画像において、選択された編集オブジェクトを他のオブジェクトと区別して表示する方法について示す。【００８６】
(1)編集オブジェクトを他のオブジェクトと区別して表示する第1の実施の形態
編集オブジェクトを他のオブジェクトと区別して表示する第1の実施の形態は、編集オブジェクトを強調表示することで、他のオブジェクトと区別して表示するものである。【００８７】
図11は、骨オブジェクトと血管オブジェクトとの合成画像において、血管オブジェクトの輪郭を太線で表示することで血管オブジェクトを強調表示したものである。このように、合成画像上において強調表示した編集オブジェクトを表示することにより、編集オブジェクトと他のオブジェクトとの区別が容易となり、操作者が容易に編集オブジェクトを選択することが可能となる。【００８８】
なお、他の強調表示の方法としては、色付け(編集オブジェクトの輪郭、内部等に他のオブジェクトと違う色をつける)、模様付け(編集オブジェクト内部に模様を付ける)、点滅表示(編集オブジェクトを点滅して表示させる)などが挙げられる。【００８９】
(２)編集オブジェクトを他のオブジェクトと区別して表示する第2の実施の形態
編集オブジェクトを他のオブジェクトと区別して表示する第2の実施の形態は、編集オブジェクトの断面像を合成画像上に重ねて表示することで、他のオブジェクトと区別して表示するものである。【００９０】
図12は、骨と血管オブジェクトの合成画像において、血管オブジェクトの断面像を合成画像上に重ねて表示したものであり、図13は、断面像を作成する断面位置を決定する方法を示したものである。【００９１】
まず、編集オブジェクトの断面像を作成する断面位置を決定する。【００９２】
ポインティングデバイス17によって入力された指定点A(x,y)のクリック時間によって、奥行き方向(z方向)の座標が決定される。なお、断面位置の決定は、編集オブジェクトの選択と同時に行われる。図13に示すように、クリック時間が0.5秒の場合には、骨Aオブジェクトが編集オブジェクトとして選択され、断面位置としてz１が決定される。また、クリック時間が1.5秒の場合には、血管オブジェクトが編集オブジェクトとして選択され、断面位置としてz2が決定される。【００９３】
次に、編集オブジェクトの決定された断面位置での断面像が作成され、合成画像に重ねて表示される。図12は、血管オブジェクトが編集オブジェクトとして選択され、断面位置としてz2が決定された場合の表示例である。図12では、血管オブジェクトの断面像が合成画像上に重ねて表示されることにより、血管オブジェクトの手前に位置する骨Aオブジェクトが除去されて表示されるため、血管オブジェクトが選択されたことが容易に認識できる。【００９４】
このように、編集オブジェクトの断面像を合成画像上に重ねて表示することにより、編集オブジェクトと他のオブジェクトとの区別が容易となり、操作者が容易に編集オブジェクトを選択することが可能となる。【００９５】
なお、断面位置を決定する方法は、上記に限らず、クリック時間を延長することで断面位置を順次更新しても良い。例えば、まず0.5秒間のクリックがなされ、骨Aオブジェクトのz１での断面が決定されている場合において、さらに1.0秒のクリックがなされた場合には、合計1.5秒のクリックがなされたことになるため、血管オブジェクトのz2での断面が決定される。【００９６】
また、本実施例では、奥行き方向(z方向)に直交する断面像を表示しているが、上記に限らず、選択候補のオブジェクトが明瞭に表示される断面角度の断面像が表示されるようにしても良い。【００９７】
次に、合成画像に表示された編集オブジェクトを移動させて、他のオブジェクトと合成表示する方法について示す。【００９８】
ポインティングデバイス17を用いて、編集オブジェクトが選択された状態でポインタを動かす(ドラッグ操作)。これにより、編集オブジェクトの移動が可能となる。【００９９】
編集オブジェクトを、合成したい他のオブジェクトが表示されている表示領域内に移動させ、ポインティングデバイス17を放す(ドロップ操作)。これにより、編集オブジェクトが合成表示されているオブジェクトから編集オブジェクトを除去するようにとの指示及び編集オブジェクトと編集オブジェクトがドロップ操作された表示領域に表示されているオブジェクトとを解剖学的に一致するように合成し、ドロップ操作された表示領域に表示(合成表示)するようにとの指示がCPU11に入力される。【０１００】
例えば、図8において、領域.Dに表示されている合成画像の血管オブジェクトが編集オブジェクトとして決定され、血管オブジェクトを領域.Dから領域.Aにドラッグ操作することにより、図14に示すように、CPU11によって、領域.Dに表示されている合成画像から血管オブジェクトが削除される。また、血管オブジェクトと領域.Aに表示されている皮膚オブジェクトとが解剖学的に一致するように合成され、合成された画像(合成画像)が領域.Aに合成表示される。【０１０１】
これにより、編集オブジェクトを含む合成画像が表示領域に表示されている場合において、編集オブジェクトと他のオブジェクトとの合成処理により、複数のオブジェクトの合成画像が作成される。【０１０２】
なお、複数のオブジェクトを合成表示する方法としては、各々のオブジェクトごとに作成した三次元画像を重み付け加算するαブレンディング法や、各々のオブジェクトからの反射光を積算して画素値を決定するレイキャスティング法などが提案されている。【０１０３】
上記の合成画像を合成表示する一連の処理は、ポインティングデバイス17を使用した一連の動作、いわゆるドラッグアンドドロップ操作処理で行われるため、操作者は直感的に短い作業時間で合成画像を作成することが可能となる。【０１０４】
また、上記の合成画像を合成表示する一連の処理は、編集オブジェクトを含む複数のオブジェクトが表示されている状態で行われるため、合成対象とするオブジェクトの組み合わせを考えやすく、合成画像の作成が容易となる。また、オブジェクトが表示されていることにより、オブジェクト同士の相対的な位置が視認できるため、合成画像の作成が容易となる。【０１０５】
なお、上記の説明では、編集オブジェクトがドロップ操作された後で、編集オブジェクトと、編集オブジェクトがドロップ操作された表示領域に表示されているオブジェクトとの合成画像が作成される方法について説明したが、図15に示すように、編集オブジェクトが他のオブジェクトが表示されている表示領域に動かされた場合、すなわち、編集オブジェクトがドラッグ操作された(ドロップ操作はされていない)場合に、編集オブジェクトと、編集オブジェクトがドラッグ操作された表示領域に表示されているオブジェクトとを簡易処理することより作成された簡易表示された合成画像を、編集オブジェクトがドラッグ操作された表示領域に表示するようにしてもよい。【０１０６】
ここで、簡易処理とは、解像度などを落として画像処理量を低減し、高速描画を行う画像処理のことである。図15は、領域.Bに表示されている骨オブジェクトを領域.Dにドラッグ操作することにより、領域.Dに骨オブジェクトと血管オブジェクトとの簡易表示された合成画像が表示された例である。【０１０７】
編集オブジェクトと編集オブジェクトがドロップ操作された表示領域に表示されているオブジェクトとの合成画像を作成して合成表示する場合には、合成表示するまでに一定の時間がかかる。操作者が合成画像を確認するには、合成処理が終了するまで待機する必要があるが、表示された合成画像が操作者の期待にそぐわないものであれば、再度合成処理を繰り返すこととなり効率が悪い。【０１０８】
図15に示すように、新規表示領域の決定直前、つまりドロップ操作の前に簡易表示された合成画像を表示すれば、操作者は迅速に合成画像の確認をすることが可能となり、作業効率が向上する。例えば512×512マトリックスの合成表示に10秒を要する場合、簡易画像の解像度を128×128とすることで約0.6での簡易表示された合成画像の確認を行うことが可能となる。【０１０９】
簡易表示された合成画像の確認の結果、表示された合成画像が操作者の期待にそぐわないものであった場合には、ドロップ操作を行わなければ合成画像が作成されないため、表示を元に戻すことが容易となる。【０１１０】
これにより、各オブジェクトを視覚的に確認しながら合成画像を作成できるため、三次元画像の合成を容易に行うことができる。【０１１１】
また、合成表示するオブジェクトの選択中に、合成表示する場合の合成条件を設定できるようにしてもよい。図16は、血管オブジェクトが編集オブジェクトとして選択されており、骨オブジェクトと血管オブジェクトとを合成表示する場合に、ドラック操作に要する時間に応じて、骨オブジェクトと血管オブジェクトの合成率を変更する例を示す。つまり、血管オブジェクトのドラッグ時間が長いほど、骨オブジェクトの不透明度が低くなり、血管オブジェクトの不透明度が高くなるように合成率が変更される。また簡易表示においても、ドラッグ操作に要する時間に応じて、オブジェクト間の合成率を変更してもよい。これにより、簡易表示された合成画像を操作者が視覚的に確認しながら合成画像を作成できるので、三次元画像の合成を容易に行うことができる。【０１１２】
＜三次元画像の削除処理＞
表示領域に表示されたオブジェクトが必要ない場合等には、表示領域に表示されたオブジェクトを削除することができる。【０１１３】
表示領域に1つのオブジェクトのみが表示されている場合には、そのオブジェクトをポインタで指し、そのオブジェクトを表示領域外へドラックアンドドロップ処理をすることにより、そのオブジェクトが表示領域から削除される。【０１１４】
図17において、領域.Cに表示されている腫瘍オブジェクトを表示領域外へドラックアンドドロップ処理をすることにより、図18に示すように、領域.Cに表示されている腫瘍オブジェクトが削除される。【０１１５】
表示領域に合成画像が表示されている場合には、削除対象となるオブジェクトを選択し、削除対象となるオブジェクトを表示領域外へドラックアンドドロップ処理をすることにより、そのオブジェクトが表示領域から削除される。【０１１６】
図19において、領域.Dに表示されている合成画像に含まれる骨オブジェクトを削除対象となるオブジェクトとし、骨オブジェクトを表示領域外へドラックアンドドロップ処理をすることにより、領域.Dに表示されている合成画像から骨オブジェクトが削除され、領域.Dには血管オブジェクトのみが表示される。【０１１７】
なお、同様の手順により、合成画像を再度分解処理することもできる。図19において、領域.Dに表示されている合成画像に含まれる骨オブジェクトを選択し、骨オブジェクトを領域.Dから領域．Bに移動することにより、領域.Dの合成画像が分解され、領域.Dには血管オブジェクトが表示され、領域．Bには骨オブジェクトが表示される。【０１１８】
本実施の形態によれば、ポインティングデバイスによって表示領域に表示されているオブジェクト又は合成画像から、合成画像を作成する複数のオブジェクトを選択することにより、目的の合成画像を効率的に合成することができる。【０１１９】
また、本実施の形態によれば、各オブジェクトを視覚的に確認しながら合成画像を作成できるため、三次元画像の合成を容易に行うことができる。そのため、複数の三次元画像の合成を行う操作者の労力を削減することができ、よって、合成画像を用いる画像診断に要する時間を短縮することができる。【０１２０】
また、本実施の形態によれば、合成処理によって合成画像が作成された後で再度合成処理、分解処理、削除処理等か可能であるため、三次元画像の合成を容易に行うことができる。【０１２１】
また、本実施の形態によれば、ポインティングデバイスによって移動が指示されたオブジェクトを表示領域外に移動することにより、三次元画像が表示されていた表示領域からその三次元画像を削除した画像が表示されるため、複数のオブジェクトの合成及び削除が容易となり、目的の合成画像を効率的に合成することができる。【０１２２】
なお、本実施の形態では、指示手段としてポインティングデバイスでオブジェクトの選択、移動などを行う例を示したが、同等の機能を持った他の入力手段であっても問題はない。例えば、キーボード等の外部入力装置を用いた場合にも、操作者が入力するキーを組み合わせることにより全く同等の効果を得ることが可能である。【０１２３】
また、本実施の形態では、選択するオブジェクト数は一つであるが、複数であっても構わない。例えば、図８において、領域.Dに表示された血管オブジェクトと骨オブジェクトを選択し、領域Aにドラックアンドドロップ操作をした場合は、領域.Aに皮膚オブジェクト、血管オブジェクト及び骨オブジェクトの合成画像が表示される。なお、ポインティングデバイスによるポインタの操作、外部入力装置による操作等を組み合わせることにより、合成画像に含まれる複数のオブジェクトの中から希望する複数のオブジェクトを選択することが可能である。【０１２４】
また、本実施の形態では、オブジェクトの名称を用いて、表示領域に表示させるオブジェクトを選択したが、CT値、血管造影法で撮影された画像等の基準を用いて、表示領域に表示させるオブジェクトが自動的に選択されるようにしてもよい。なお、自動的に選択されたオブジェクトが各々自動的に表示領域に表示されるようにしてもよい。【０１２５】
また、本実施の形態では、編集オブジェクトを選択する方法、断面像を作成する断面位置を決定する方法として、指定点A(x,y)を選択する時のポインティングデバイスのクリック時間を利用する例を示したが、これに限らず、ポインティングデバイスのクリック回数を利用してもよいし、ポインティングデバイスのクリック圧を利用してもよい。【０１２６】
ポインティングデバイスのクリック回数を利用する場合には、例えば、図20に示すように、クリック回数が2回の場合は骨Aオブジェクトが選択され、3回の場合は血管オブジェクトが選択されるようにしてもよいし、クリック回数が1回の場合は骨Aオブジェクトが選択され、2回の場合は血管オブジェクトが選択され、3回の場合は骨Bオブジェクトが選択され、4回の場合は骨Aオブジェクトが選択されるというように、クリック回数により奥行き方向にあるオブジェクトが順番に選択されるようにしてもよい。【０１２７】
ポインティングデバイスのクリック圧を利用する場合には、ポインティングデバイスの内部に圧力センサーを装備させる等により、クリック圧を検出する。例えば、図21に示すように、クリック圧が2kPaの場合は骨Aオブジェクトが選択され、3kPaの場合は血管オブジェクトが選択されるようにすればよい。
【図１】
2008050823.tif 000003
【図２】
2008050823.tif 000004
【図３】
2008050823.tif 000005
【図４】
2008050823.tif 000006
【図５】
2008050823.tif 000007
【図６】
2008050823.tif 000008
【図７】
2008050823.tif 000009
【図８】
2008050823.tif 000010
【図９】
2008050823.tif 000011
【図１０】
2008050823.tif 000012
【図１１】
2008050823.tif 000013
【図１２】
2008050823.tif 000014
【図１３】
2008050823.tif 000015
【図１４】
2008050823.tif 000016
【図１５】
2008050823.tif 000017
【図１６】
2008050823.tif 000018
【図１７】
2008050823.tif 000019
【図１８】
2008050823.tif 000020
【図１９】
2008050823.tif 000021
【図２０】
2008050823.tif 000022
【図２１】
2008050823.tif 000023
【国際調査報告】
2008050823.tif 000024
2008050823.tif 000025
2008050823.tif 000026
2008050823.tif 000027
2008050823.tif 000028
2008050823.tif 000029
2008050823.tif 000030
2008050823.tif 000031
2008050823.tif 000032