(57)【要約】  本切削シミュレーション装置は、断層画像情報取得部（６）と、この断層画像情報取得部（６）に接続されたメモリ（９）と、このメモリ（９）に接続されたボリュームレンダリング演算部（１３）と、このボリュームレンダリング演算部（１３）の演算結果を表示するディスプレイ（２）と、このディスプレイ（２）に表示された表示対象物に対して切削指示を行う入力部（４）とを備えている。ボリュームレンダリング演算部（１３）は、少なくともメモリ（９）に格納されているボクセル情報から、ボクセル情報を視線に対して垂直の方向においてサンプリングし、切削指示点の移動中に求められた全ての点について、それぞれのレイキャスティング走査距離を深さ検出部（１５）により測定する。
2011118208.tif 000002
【特許請求の範囲】
【請求項１】
断層画像情報を取得する断層画像情報取得部と、
前記断層画像情報取得部に接続されており、前記断層画像情報のボクセル情報を格納するメモリと、
前記メモリに接続されており、前記ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングするボリュームレンダリング演算部と、
前記ボリュームレンダリング演算部の演算結果を表示するディスプレイと、
前記ディスプレイに表示された表示対象物に対する切削指示を入力する入力部と、
前記入力部によって切削指示された点の前記入力部の移動中に求められた全ての点について、それぞれのレイキャスティング走査距離を測定する深さ検出部と、
を備えた切削シミュレーション装置。
【請求項２】
前記ボリュームレンダリング演算部は、前記深さ検出部において検出された深さ情報が所定の閾値以上の変化率となった場合に切削を中止する、
請求項１に記載の切削シミュレーション装置。
【請求項３】
前記ボリュームレンダリング演算部には、複数の前記ボクセル情報に対応する複数枚のボクセルラベルと、Ｘ，Ｙ，Ｚ情報と、色情報と、輝度情報とが供給される、
請求項１または２に記載の切削シミュレーション装置。
【請求項４】
前記ボリュームレンダリング演算部は、前記入力部により切削指示された前記ボクセルラベルにおける前記表示対象物の部分の、輝度情報と色情報の少なくとも一方を変化させて前記ディスプレイに表示させる、
請求項３に記載の切削シミュレーション装置。
【請求項５】
前記ディスプレイには、前記入力部によって切削指示された切削量が表示される、
請求項１から４のいずれか１つに記載の切削シミュレーション装置。
【請求項６】
前記ディスプレイには、前記入力部によって切削指示された切削深さが表示される、
請求項１から４のいずれか１つに記載の切削シミュレーション装置。
【請求項７】
前記メモリは、前記断層画像情報取得部を介して入力されるボクセル情報を格納するボクセル情報格納部と、前記ボリュームレンダリング演算部によって切り出された前記ボクセルラベルを格納するボクセルラベル格納部と、を有する、
請求項１から６のいずれか１つに記載の切削シミュレーション装置。
【請求項８】
前記メモリは、前記ボクセルラベル毎の色情報を格納する色情報格納部をさらに有する、
請求項７に記載の切削シミュレーション装置。
【請求項９】
前記ボリュームレンダリング演算部は、前記ボクセル情報格納部に格納されたボクセル情報を前記ディスプレイに表示させ、
前記ディスプレイに表示された前記表示対象物における前記入力部によって切削指示された部分の色情報を変更する色情報設定部を、さらに備えている、
請求項７または８に記載の切削シミュレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、医療従事者が手術のシミュレーションを行う際に活用する切削シミュレーション装置に関するものである。
【背景技術】
【０００２】
医療現場において、より適切な手術を行うために、手術のシミュレーションを行うことが可能な切削シミュレーション装置が活用されている。【０００３】
従来のこの種の切削シミュレーション装置は、断層画像情報取得部と、断層画像情報取得部に接続されたメモリと、メモリに接続されたボリュームレンダリング演算部と、ボリュームレンダリング演算部の演算結果を表示するディスプレイと、ディスプレイに表示された表示対象物に対して切削指示を行う入力部と、を備えていた。【０００４】
以上の構成において、ディスプレイにボクセルラベルを表示（二次元表示）させ、ボクセルラベルの表示対象物に入力部により切削指示を行うものの他に、表示対象物をディスプレイに３Ｄ表示すると共に、３Ｄ表示の表示対象物に切削指示を行うものがある（例えば、下記特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１２３３２７号公報
【発明の概要】
【０００６】
上記従来の構成における課題は、適切な手術シミュレーションを行うことが困難であるという点にあった。
【０００７】
すなわち、上述したように、ディスプレイにボクセルラベルを表示（２次元表示）させ、このボクセルラベルの表示対象物に入力部を用いて切削指示を行う際に、その二次元表示において、実際には、深さ方向（Ｚ方向）に差異が存在する場合がある。このとき、複数の表示対象物が隣接している場合には、入力部の切削指示がその隣接する複数の表示対象物に及ぶと、意図しない表示対象物まで切削された状態がディスプレイ上に表示されてしまう。このため、このような２次元表示では、適切な手術シミュレーションを実施することは困難であった。
【０００８】
また、上記２次元表示の問題を踏まえて、上記公報に開示されているように、ディスプレイに表示対象物を３Ｄ（３次元）表示し、この３Ｄ表示の表示対象物に切削指示を行う場合には、その隣接する表示対象物に深さ方向（Ｚ方向）に差異が存在する。よって、上述したように、深さ方向に差異が存在する複数の隣接する表示対象物が誤って切削表示されることはない。
【０００９】
しかしながら、このような３Ｄ表示を見ながら切削指示を行うためには、入力部を実際の手術と同様に３次元において動かす必要がある。これは、熟練者でなければ実施することが極めて困難である。この結果、この場合でも適切な施術シミュレーションを実施することは難しい。
【００１０】
そこで、本発明は、適切な手術シミュレーションを行うことが可能な切削シミュレーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
そしてこの目的を達成するために、本発明の切削シミュレーション装置は、断層画像情報取得部と、メモリと、ボリュームレンダリング演算部と、ディスプレイと、入力部と、深さ検出部と、を備えている。断層画像情報取得部は、断層画像情報を取得する。メモリは、断層画像情報取得部に接続されており、断層画像情報のボクセル情報を格納する。ボリュームレンダリング演算部は、メモリに接続されており、ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングする。ディスプレイは、ボリュームレンダリング演算部の演算結果を表示する。入力部は、ディスプレイに表示された表示対象物に対する切削指示を入力する。深さ検出部は、入力部によって切削指示された点の入力部の移動中に求められた全ての点について、それぞれのレイキャスティング走査距離を測定する。【００１２】
ここで、ボクセルラベルは、ユーザが切削指示などの処理を行った結果を示すための情報であってボクセル情報と同じ構成を有し、初期状態では、ボクセルラベルとして決められた値（例えば、“１”）に設定される。さらに、本切削シミュレーション装置では、ボリュームレンダリング演算部は、メモリに格納されているボクセル情報等に基づいて、視線に対して垂直で、かつＺ方向の間隔が一定の複数枚のスライス情報を３次元画像としてディスプレイに表示させる。【００１３】
これにより、ディスプレイ上において、実際には深さ方向（Ｚ方向）における位置に差が存在するものであれば、入力部から入力された切削指示がその両者に及んだ場合でも、これらの隣接する表示対象物が不用意に切削された状態で表示されることは無い。この結果、適切な手術シミュレーションを行うことができる。【００１４】
（発明の効果）
本発明は、以上の構成により、ディスプレイ上において、実際には深さ方向（Ｚ方向）における位置に差が存在する互いに隣接する表示対象物が不用意に切削された状態で表示されることを防止して、適切な手術シミュレーションを行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態１に係る切削シミュレーション装置の構成を示す斜視図。
【図２】図１の切削シミュレーション装置の制御ブロック図。
【図３】（ａ）および（ｂ）は、図１の切削シミュレーション装置の動作フローチャート。
【図４】図１の切削シミュレーション装置の動作を説明する概念図。
【図５】図１の切削シミュレーション装置のディスプレイに表示される画像の一例を示す図。
【発明を実施するための形態】
【００１６】
以下に、本発明の一実施形態に係る切削シミュレーション装置について、図面とともに詳細に説明する。
【００１７】
図１に示すパーソナルコンピュータ（切削シミュレーション装置）１は、ディスプレイ２と、入力部（キーボード入力３、マウス入力４、およびタブレット入力５）（図２参照）と、を備えている。キーボード入力３は、キーボードタイプのものである。また、マウス入力４は、マウスタイプのものである。タブレット入力５は、タブレットタイプのものである。
【００１８】
図２は、パーソナルコンピュータ１内に形成される制御ブロック図である。
図２に示す断層画像情報取得部６には、ボクセル情報抽出部７を介して、断層画像情報部８が接続されている。つまり、断層画像情報部８では、ＣＴあるいはＭＲＩから断層画像情報が供給され、この断層画像情報がボクセル情報抽出部７により、ボクセル情報として抽出される。そして、このボクセル情報が、断層画像情報取得部６を介して、メモリ９のボクセル情報格納部１０に格納される。
【００１９】
メモリ９は、パーソナルコンピュータ１内に設けられており、ボクセル情報格納部１０以外にボクセルラベル格納部１１、色情報格納部１２を備えている。
【００２０】
また、メモリ９には、ボリュームレンダリング演算部１３が接続されている。
ボリュームレンダリング演算部１３は、メモリ９のボクセル情報格納部１０に格納されているボクセル情報、およびボクセルラベル格納部１１に格納されているボクセルラベル、色情報格納部１２に格納されている色情報に基づいて、図４に示すように、視線に対して垂直で、かつＺ方向の間隔が一定の複数枚のスライス情報を得る。そして、ボリュームレンダリング演算部１３は、その演算結果を３次元画像としてディスプレイ２に表示する。また、ボリュームレンダリング演算部１３には、バス１６を介して、後述するレイキャスティング走査距離を測定する深さ検出部１５が接続されている。
【００２１】
深さ検出部１５には、深さ制御部１７とボクセルラベル設定部１８とが接続されている。ボクセルラベル設定部１８は、ボクセルラベル格納部１１と、被切削ボクセルラベル算出表示部１９に接続されている。
【００２２】
バス１６には、上記以外に、色情報格納部１２、ウィンドウ座標取得部２０が接続されている。また、ウィンドウ座標取得部２０には、深さ検出部１５と色情報設定部２１とが接続されている。色情報設定部２１は、色情報格納部１２に接続されている。
【００２３】
図３（ａ）および図３（ｂ）は、本実施形態の切削シミュレーション装置における動作説明を行うための制御フローチャートを示している。
【００２４】
まず、Ｓ１において、上述したように、断層画像情報部８からの断層画像情報が入手され、これがボクセル情報抽出部７に供給される。
【００２５】
次に、Ｓ２において、ボクセル情報抽出部７でボクセル情報が抽出される。ボクセル情報は、断層画像情報取得部６を介して、メモリ９のボクセル情報格納部１０に格納される。ボクセル情報格納部１０に格納されるボクセル情報は、例えば、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報である。このとき、Ｉは当該点の輝度情報であり、ｘ，ｙ，ｚは座標点を示し、αは透明度情報である。
【００２６】
次に、Ｓ３において、ボリュームレンダリング演算部１３により、ボクセル情報格納部１０に格納されているボクセル情報に基づいて、視線に対して垂直で、かつ間隔が一定の複数のスライス情報を算出し、スライス情報群を取得する。そして、スライス情報群は、ボリュームレンダリング演算部１３内に少なくとも一時的に格納される。
【００２７】
なお、上述した視線に対して垂直なスライス情報とは、視線に対して直交する面を意味している。例えば、ディスプレイ２を垂直に立てた状態で、これと顔を平行にした状態で見た場合に、スライス情報が、視線に対して垂直な面として構成されている。
【００２８】
このようにして得られた複数のスライス情報は、前述のように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有している。よって、スライス情報は、例えば、図４に示すように、ボクセルラベル１４がＺ方向に複数枚配置されている。なお、例えば、図４に示すボクセルラベル１４の集合体は、ボクセルラベル格納部１１に収納されている。
【００２９】
次に、Ｓ４において、ディスプレイ２には、図５に示すように、レンダリング像が表示される。このとき、ディスプレイ２では、切削対象物がマウス入力４によって選択され、それを図５に示すように表示させている。つまり、図５において２２は腎臓、２３は背骨を示している。本実施形態では、腎臓２２を手術するためのシミュレーションを行おうとしている。
【００３０】
図５から分かるように、本実施形態のディスプレイ２では、実際には腎臓２２は背骨２３よりも前方にあるにもかかわらず、両者は平面的に隣接している状態にも見える。本実施形態では、これらの腎臓２２及び背骨２３を含むスライス画像は、上述したように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有している。このため、後述するが、シミュレーション上において、ディスプレイ２の画面において手前側にある腎臓２２を切削したいときに、画面上において背骨２３が一緒に切削されることが無いように、以下のように制御が行われる。
【００３１】
Ｓ５において、切削指示がなされる。本実施形態においては、切削指示は、マウス入力４を用いて行われる。なお、入力部としては、キーボード入力３、マウス入力４、あるいはタブレット入力５等の何れでもよい。
【００３２】
具体的には、マウス入力４を机の上で水平方向に移動させたときに、ディスプレイ２上において表示されるカーソルを、腎臓２２の上において左右あるいは上下に往復させる。
【００３３】
このとき、マウス入力４の左右あるいは上下の動きは、ウィンドウ座標取得部２０において検出される。そして、その情報が、深さ検出部１５を介してボクセルラベル設定部１８、ボクセルラベル格納部１１へと伝達される。これにより、腎臓２２と背骨２３のＺ方向の位置を考慮した切削が行われる。
【００３４】
具体的には、ボリュームレンダリング演算部１３において、ボクセル情報を視線に対して垂直の方向に一定間隔にてサンプリング（レイキャスティングと呼ぶ。）する。そして、ボリュームレンダリング演算部１３は、マウス移動中に求められた全ての点について、深さ検出部１５によって測定されたそれぞれのレイキャスティング走査距離の変化率を算出する。
【００３５】
具体的には、深さ検出部１５において測定されたレイキャスティング走査距離ｄを集計し、その勾配∇ｄを算出する。そして、勾配∇ｄと、閾値Ｔとの比較を行い、切削実行の要否を判断する。例えば、切削点ｐiにおける勾配∇ｄiが閾値Ｔi以上であった場合には、無効な切削点と判断して、切削を実施しない。
【００３６】
閾値Ｔは、切削処理の度に直近の切削点ｎ個の勾配平均と倍数係数ｍとに基づいて閾値Ｔiが決定される。
2011118208.tif 000003
【００３７】
また、倍数係数ｍと切削点ｎとは、例えば、ｍを５程度、ｎを１０等と、これら数値は対象画像により適宜設定することができる。
【００３８】
これにより、ユーザの誤操作による急激な深さへの切削点を検出しても、誤切削を回避することができる。その結果、滑らかな深さの変化のみ切削を行うことができる。
【００３９】
このように、本実施形態では、直近の切削点ｎ個の勾配平均と倍数係数ｍに基づいて算出された閾値Ｔiと、勾配∇ｄとを比較した結果を変化率として、切削を実施するか否かを決定することができる。
【００４０】
なお、変化率の算出方法は、本実施形態に限定されるものではなく、勾配の変化状態が確認できるのであれば、どのような計算式を用いてもよい。
【００４１】
また、閾値Ｔについても、切削対象となるそれぞれの臓器の特徴に応じて適宜変化させることで、誤切削回避の精度をさらに上げることができる。
【００４２】
上述した切削処理では、所定の閾値以上の変化率をもつ点を無効な切削点とし、深さ制御部１７がボクセルラベル設定部１８に指示を出す。これにより、ボクセルラベルの更新は中止され、切削は実施されない。よって、ユーザの誤操作によって急激に深さ位置が変化する切削点を深さ検出部１５が検出した場合には、誤切削を回避することができる。
【００４３】
このとき、切削を実施するとは、ボクセルラベル設定部１８がボクセルラベルを更新し、ボクセルラベル格納部１１に格納することを意味する。つまり、切削を実施しない場合は、ボクセルラベルは変化しない。
【００４４】
従って、マウス入力４を腎臓２２上において摺動させた場合でも、その奥側に存在する背骨２３が誤って切削されてしまうことを回避することができる。そして、この場合には、マウス入力４の左右又は上下の摺動回数に応じて、腎臓２２だけが切削された画像が表示される。
【００４５】
なお、腎臓２２が切削される状態は、ウィンドウ座標取得部２０の情報が、色情報設定部２１を介して色情報格納部１２に伝達されることで、腎臓２２の色が変化することによって認識することができる。ここで、色情報設定部とは、いわゆるルックアップテーブルによる変換部を意味する。つまり、本実施形態のパーソナルコンピュータ１では、上述したように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有しており、腎臓２２の表面と内部とを予め色情報設定部２１によって異なる輝度情報と色情報とが設定されている。これにより、表面から切削されるように操作した場合には、その切削度合いに応じて、切削部分の色はその周りの色とは明らかに違う状態で表示される。
【００４６】
以上の状態は、Ｓ６，Ｓ７，Ｓ８の状態であり、Ｓ９においては切削箇所のボクセル情報が更新される。
【００４７】
図４は、その状態を示しており、最も表面のボクセルラベル１４の大部分は“１”の状態、つまり、測定した腎臓２２の表面状態を示している。図４において、“０”の部分は切削されたボクセルを示している。また、“Ｌ”はこの切削されたボクセルと、その周りの状態を色情報で分かり易くするためのものである。例えば、“１”は、光を浴びた小豆色であった場合、“０”は赤色であった場合、“Ｌ”は、その界面が光を浴びた小豆色から赤色への中間色を選択する。これにより、この切削が実際に行われている様子がより臨場感を持って表現されるようにすることができる（図４の左２枚（Drilling Label, Drilling Object）の合成によって、切削が行われている様子を示す画像が形成される）。また、図４の中央２枚の画像に基づいて、右側の切削された状態（Drilling Result）が形成される。
【００４８】
以上のように、本実施形態によれば、ボリュームレンダリング演算部１３において、ボクセル情報を視線に対して垂直の方向に一定間隔にてサンプリングする。そして、マウス移動中に求められた全ての点について、深さ検出部１５において算出されたそれぞれのレイキャスティング走査距離の変化率を算出する。
【００４９】
ここで、深さ制御部１７は、算出された変化率について、所定の閾値以上の変化率を持つ点を無効な切削点とし、ボクセルラベル設定部１８に指示を出し、ボクセルラベルの更新を中止して切削を実施しないように制御を行う。
【００５０】
これにより、ディスプレイ２上において、実際には、深さ方向（Ｚ方向）において位置の差が存在する切削対象部であれば、マウス入力４の切削指示が、ディスプレイ２上においてその両者に及んだ場合でも、隣接する表示対象物が不用意に切削されてしまうことを回避することができる。この結果、適切な手術シミュレーションを実施することができる。
【００５１】
本実施形態では、例えば、マウスボタンのＯＮ／ＯＦＦによって切削開始／終了の切り替えを行い、ユーザはマウスボタンＯＮ時にマウスをドラッグ操作することで、意図した領域の切削を連続的に行うことができる。
【００５２】
また、本実施形態では、メモリ９の更新のタイミングをＯＦＦ時に行うことができる。ユーザがマウスボタンを押下しながら、マウスのドラッグを開始すると、ボリュームレンダリング演算部１３のメモリのみを更新することで、視覚的にユーザへインタラクティブの切削機能を提供する。その際、メモリ９を更新せず、作業中のボリュームラベルを一時的に保存しておく。ユーザがボタンを離す際に、一時保存しておいたメモリ内容をメモリ９へ反映させる。このような制御を加えることにより、ユーザは一度のドラッグ操作において、オブジェクト表面から一定の深さまでのみ切削されたように表示することができるので、過度に切削された状態で表示されることを防ぐことができる。
【００５３】
また、本実施形態では、ボクセルラベルを初期のボクセル情報と同サイズとしているが、より細かい切削を表現するには、ボクセルラベルをより小さいサイズのボクセルラベルとして生成してもよい。本手法では、ボクセル情報を直接編集せず、ボクセルラベルに時刻情報を持たせることで、Ｕｎｄｏ（元に戻す）やＲｅｄｏ（再入力）などの操作に対応することも可能である。
【００５４】
また、本実施形態では、３Ｄ表示を見ながら切削指示を行うものではなく、マウス入力４を平面的に動かすだけで、この手術シミュレーションを行うことができる。よって、この点からも適切な手術シミュレーションを行うことができる。
【００５５】
（他の実施形態）
上記実施形態においては、マウス入力４によって切削指示されたボクセルラベル１４における表示対象物の輝度情報および色情報の両方を変化させた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。例えば、表示対象物の輝度情報および色情報のうち、少なくとも一方を変化させる構成としてもよい。
【００５６】
さらに、上記実施形態において、切削されたボクセルの体積を算出する被切削ボクセルラベル算出表示部１９の出力として、マウス入力４による切削量（体積）をディスプレイ２に表示してもよい。
【００５７】
また、これに代えて、マウス入力４による切削深さを、ディスプレイ２に表示してもよい。
【００５８】
さらに、ボリュームレンダリングの結果を示す３次元画像に、２次元の断層画像をディスプレイに追加して投影し、２次元の断層画像に対して切削動作を実施した場合でも、切削動作が３次元画像に反映されるように、切削シミュレーションを行ってもよい。
【００５９】
さらに、ボクセル情報格納部１０に格納されたボクセル情報を、ディスプレイ２に２次元あるいは３次元画像に変換して表示させると共に、ディスプレイ２に表示された切削対象部におけるマウス入力４で指示された部分の色情報を変更する色情報設定部２１を設けてもよい。つまり、ディスプレイ２上に表示された切削対象部について、例えば、医者として気になる部分に意図的に色を付けておき、その状態でボクセルラベル１４の集合体をボクセルラベル格納部１１に格納させておけばよい。これにより、この情報から切り出される多方面からの表示に、全て先ほどの色をつけた情報が反映されることになる。よって、その気になる部分を立体的に全周から観察することができ、かつこの切削シミュレーションも行うことができる。
【００６０】
さらに、本発明は、内視鏡手術をシミュレーションすることも可能であり、この場合はボリュームレンダリング演算部１３において、内視鏡に設けられた魚眼レンズ等の収束特性を座標変換テーブルとして用いれば実現できる。
【００６１】
さらに、視点を複数持ち、視点ごとに作成したボリュームレンダリング演算部１３の出力画像を複数個のメモリに蓄積し、メモリからの出力を順次ディスプレイに表示させ、立体視画像を生成することも可能である。この場合には、それぞれの画像出力に同期した液晶めがね等を使用してもよい。
【産業上の利用可能性】
【００６２】
以上のように本発明は、３Ｄ表示を見ながら切削指示を行うものではなく、入力部を平面的に動かすだけで、この手術シミュレーションを行うことができるので、適切な手術シミュレーションを行うことができるという効果を奏することから、手術をするための切削シミュレーション装置として広く活用が期待される。
【符号の説明】
【００６３】
１      パーソナルコンピュータ（切削シミュレーション装置）
２      ディスプレイ
３      キーボード入力（入力部）
４      マウス入力（入力部）
５      タブレット入力（入力部）
６      断層画像情報取得部
７      ボクセル情報抽出部
８      断層画像情報部
９      メモリ
１０      ボクセル情報格納部
１１      ボクセルラベル格納部
１２      色情報格納部
１３      ボリュームレンダリング演算部
１４      ボクセルラベル
１５      深さ検出部
１６      バス
１７      深さ制御部
１８      ボクセルラベル設定部
１９      被切削ボクセルラベル算出表示部
２０      ウィンドウ座標取得部
２１      色情報設定部
２２      腎臓
２３      背骨
【図１】
2011118208.tif 000004
【図２】
2011118208.tif 000005
【図３】
2011118208.tif 000006
【図４】
2011118208.tif 000007
【図５】
2011118208.tif 000008
【手続補正書】
【提出日】平成23年9月22日(2011.9.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】明細書
【発明の名称】切削シミュレーション装置
【技術分野】
【０００１】
本発明は、例えば、医療従事者が手術のシミュレーションを行う際に活用する切削シミュレーション装置に関するものである。
【背景技術】
【０００２】
医療現場において、より適切な手術を行うために、手術のシミュレーションを行うことが可能な切削シミュレーション装置が活用されている。
従来のこの種の切削シミュレーション装置は、断層画像情報取得部と、断層画像情報取得部に接続されたメモリと、メモリに接続されたボリュームレンダリング演算部と、ボリュームレンダリング演算部の演算結果を表示するディスプレイと、ディスプレイに表示された表示対象物に対して切削指示を行う入力部と、を備えていた。
【０００３】
以上の構成において、ディスプレイにボクセルラベルを表示（二次元表示）させ、ボクセルラベルの表示対象物に入力部により切削指示を行うものの他に、表示対象物をディスプレイに３Ｄ表示すると共に、３Ｄ表示の表示対象物に切削指示を行うものがある（例えば、下記特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−１２３３２７号公報
【発明の概要】
【０００５】
上記従来の構成における課題は、適切な手術シミュレーションを行うことが困難であるという点にあった。
すなわち、上述したように、ディスプレイにボクセルラベルを表示（２次元表示）させ、このボクセルラベルの表示対象物に入力部を用いて切削指示を行う際に、その二次元表示において、実際には、深さ方向（Ｚ方向）に差異が存在する場合がある。このとき、複数の表示対象物が隣接している場合には、入力部の切削指示がその隣接する複数の表示対象物に及ぶと、意図しない表示対象物まで切削された状態がディスプレイ上に表示されてしまう。このため、このような２次元表示では、適切な手術シミュレーションを実施することは困難であった。
【０００６】
また、上記２次元表示の問題を踏まえて、上記公報に開示されているように、ディスプレイに表示対象物を３Ｄ（３次元）表示し、この３Ｄ表示の表示対象物に切削指示を行う場合には、その隣接する表示対象物に深さ方向（Ｚ方向）に差異が存在する。よって、上述したように、深さ方向に差異が存在する複数の隣接する表示対象物が誤って切削表示されることはない。
【０００７】
しかしながら、このような３Ｄ表示を見ながら切削指示を行うためには、入力部を実際の手術と同様に３次元において動かす必要がある。これは、熟練者でなければ実施することが極めて困難である。この結果、この場合でも適切な施術シミュレーションを実施することは難しい。
そこで、本発明は、適切な手術シミュレーションを行うことが可能な切削シミュレーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
そしてこの目的を達成するために、本発明の切削シミュレーション装置は、断層画像情報取得部と、メモリと、ボリュームレンダリング演算部と、ディスプレイと、入力部と、深さ検出部と、を備えている。断層画像情報取得部は、断層画像情報を取得する。メモリは、断層画像情報取得部に接続されており、断層画像情報のボクセル情報を格納する。ボリュームレンダリング演算部は、メモリに接続されており、ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングする。ディスプレイは、ボリュームレンダリング演算部の演算結果を表示する。入力部は、ディスプレイに表示された表示対象物に対する切削指示を入力する。深さ検出部は、入力部によって切削指示された点の入力部の移動中に求められた全ての点について、それぞれのレイキャスティング走査距離を測定する。
【０００９】
ここで、ボクセルラベルは、ユーザが切削指示などの処理を行った結果を示すための情報であってボクセル情報と同じ構成を有し、初期状態では、ボクセルラベルとして決められた値（例えば、“１”）に設定される。さらに、本切削シミュレーション装置では、ボリュームレンダリング演算部は、メモリに格納されているボクセル情報等に基づいて、視線に対して垂直で、かつＺ方向の間隔が一定の複数枚のスライス情報を３次元画像としてディスプレイに表示させる。
これにより、ディスプレイ上において、実際には深さ方向（Ｚ方向）における位置に差が存在するものであれば、入力部から入力された切削指示がその両者に及んだ場合でも、これらの隣接する表示対象物が不用意に切削された状態で表示されることは無い。この結果、適切な手術シミュレーションを行うことができる。
【００１０】
（発明の効果）
本発明は、以上の構成により、ディスプレイ上において、実際には深さ方向（Ｚ方向）における位置に差が存在する互いに隣接する表示対象物が不用意に切削された状態で表示されることを防止して、適切な手術シミュレーションを行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る切削シミュレーション装置の構成を示す斜視図。
【図２】図１の切削シミュレーション装置の制御ブロック図。
【図３】（ａ）および（ｂ）は、図１の切削シミュレーション装置の動作フローチャート。
【図４】図１の切削シミュレーション装置の動作を説明する概念図。
【図５】図１の切削シミュレーション装置のディスプレイに表示される画像の一例を示す図。
【発明を実施するための形態】
【００１２】
以下に、本発明の一実施形態に係る切削シミュレーション装置について、図面とともに詳細に説明する。
図１に示すパーソナルコンピュータ（切削シミュレーション装置）１は、ディスプレイ２と、入力部（キーボード入力３、マウス入力４、およびタブレット入力５）（図２参照）と、を備えている。キーボード入力３は、キーボードタイプのものである。また、マウス入力４は、マウスタイプのものである。タブレット入力５は、タブレットタイプのものである。
【００１３】
図２は、パーソナルコンピュータ１内に形成される制御ブロック図である。
図２に示す断層画像情報取得部６には、ボクセル情報抽出部７を介して、断層画像情報部８が接続されている。つまり、断層画像情報部８では、ＣＴあるいはＭＲＩから断層画像情報が供給され、この断層画像情報がボクセル情報抽出部７により、ボクセル情報として抽出される。そして、このボクセル情報が、断層画像情報取得部６を介して、メモリ９のボクセル情報格納部１０に格納される。
【００１４】
メモリ９は、パーソナルコンピュータ１内に設けられており、ボクセル情報格納部１０以外にボクセルラベル格納部１１、色情報格納部１２を備えている。
また、メモリ９には、ボリュームレンダリング演算部１３が接続されている。
ボリュームレンダリング演算部１３は、メモリ９のボクセル情報格納部１０に格納されているボクセル情報、およびボクセルラベル格納部１１に格納されているボクセルラベル、色情報格納部１２に格納されている色情報に基づいて、図４に示すように、視線に対して垂直で、かつＺ方向の間隔が一定の複数枚のスライス情報を得る。そして、ボリュームレンダリング演算部１３は、その演算結果を３次元画像としてディスプレイ２に表示する。また、ボリュームレンダリング演算部１３には、バス１６を介して、後述するレイキャスティング走査距離を測定する深さ検出部１５が接続されている。
【００１５】
深さ検出部１５には、深さ制御部１７とボクセルラベル設定部１８とが接続されている。ボクセルラベル設定部１８は、ボクセルラベル格納部１１と、被切削ボクセルラベル算出表示部１９に接続されている。
バス１６には、上記以外に、色情報格納部１２、ウィンドウ座標取得部２０が接続されている。また、ウィンドウ座標取得部２０には、深さ検出部１５と色情報設定部２１とが接続されている。色情報設定部２１は、色情報格納部１２に接続されている。
【００１６】
図３（ａ）および図３（ｂ）は、本実施形態の切削シミュレーション装置における動作説明を行うための制御フローチャートを示している。
まず、Ｓ１において、上述したように、断層画像情報部８からの断層画像情報が入手され、これがボクセル情報抽出部７に供給される。
【００１７】
次に、Ｓ２において、ボクセル情報抽出部７でボクセル情報が抽出される。ボクセル情報は、断層画像情報取得部６を介して、メモリ９のボクセル情報格納部１０に格納される。ボクセル情報格納部１０に格納されるボクセル情報は、例えば、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報である。このとき、Ｉは当該点の輝度情報であり、ｘ，ｙ，ｚは座標点を示し、αは透明度情報である。
【００１７】
次に、Ｓ３において、ボリュームレンダリング演算部１３により、ボクセル情報格納部１０に格納されているボクセル情報に基づいて、視線に対して垂直で、かつ間隔が一定の複数のスライス情報を算出し、スライス情報群を取得する。そして、スライス情報群は、ボリュームレンダリング演算部１３内に少なくとも一時的に格納される。
なお、上述した視線に対して垂直なスライス情報とは、視線に対して直交する面を意味している。例えば、ディスプレイ２を垂直に立てた状態で、これと顔を平行にした状態で見た場合に、スライス情報が、視線に対して垂直な面として構成されている。
このようにして得られた複数のスライス情報は、前述のように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有している。よって、スライス情報は、例えば、図４に示すように、ボクセルラベル１４がＺ方向に複数枚配置されている。なお、例えば、図４に示すボクセルラベル１４の集合体は、ボクセルラベル格納部１１に収納されている。
【００１８】
次に、Ｓ４において、ディスプレイ２には、図５に示すように、レンダリング像が表示される。このとき、ディスプレイ２では、切削対象物がマウス入力４によって選択され、それを図５に示すように表示させている。つまり、図５において２２は腎臓、２３は背骨を示している。本実施形態では、腎臓２２を手術するためのシミュレーションを行おうとしている。
図５から分かるように、本実施形態のディスプレイ２では、実際には腎臓２２は背骨２３よりも前方にあるにもかかわらず、両者は平面的に隣接している状態にも見える。本実施形態では、これらの腎臓２２及び背骨２３を含むスライス画像は、上述したように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有している。このため、後述するが、シミュレーション上において、ディスプレイ２の画面において手前側にある腎臓２２を切削したいときに、画面上において背骨２３が一緒に切削されることが無いように、以下のように制御が行われる。
【００２０】
Ｓ５において、切削指示がなされる。本実施形態においては、切削指示は、マウス入力４を用いて行われる。なお、入力部としては、キーボード入力３、マウス入力４、あるいはタブレット入力５等の何れでもよい。
具体的には、マウス入力４を机の上で水平方向に移動させたときに、ディスプレイ２上において表示されるカーソルを、腎臓２２の上において左右あるいは上下に往復させる。
このとき、マウス入力４の左右あるいは上下の動きは、ウィンドウ座標取得部２０において検出される。そして、その情報が、深さ検出部１５を介してボクセルラベル設定部１８、ボクセルラベル格納部１１へと伝達される。これにより、腎臓２２と背骨２３のＺ方向の位置を考慮した切削が行われる。
【００１９】
具体的には、ボリュームレンダリング演算部１３において、ボクセル情報を視線に対して垂直の方向に一定間隔にてサンプリング（レイキャスティングと呼ぶ。）する。そして、ボリュームレンダリング演算部１３は、マウス移動中に求められた全ての点について、深さ検出部１５によって測定されたそれぞれのレイキャスティング走査距離の変化率を算出する。
具体的には、深さ検出部１５において測定されたレイキャスティング走査距離ｄを集計し、その勾配∇ｄを算出する。そして、勾配∇ｄと、閾値Ｔとの比較を行い、切削実行の要否を判断する。例えば、切削点ｐiにおける勾配∇ｄiが閾値Ｔi以上であった場合には、無効な切削点と判断して、切削を実施しない。
【００１９】
閾値Ｔは、切削処理の度に直近の切削点ｎ個の勾配平均と倍数係数ｍとに基づいて閾値Ｔiが決定される。
2011118208.tif 000009
また、倍数係数ｍと切削点ｎとは、例えば、ｍを５程度、ｎを１０等と、これら数値は対象画像により適宜設定することができる。
【００２３】
これにより、ユーザの誤操作による急激な深さへの切削点を検出しても、誤切削を回避することができる。その結果、滑らかな深さの変化のみ切削を行うことができる。
このように、本実施形態では、直近の切削点ｎ個の勾配平均と倍数係数ｍに基づいて算出された閾値Ｔiと、勾配∇ｄとを比較した結果を変化率として、切削を実施するか否かを決定することができる。
【００２４】
なお、変化率の算出方法は、本実施形態に限定されるものではなく、勾配の変化状態が確認できるのであれば、どのような計算式を用いてもよい。
また、閾値Ｔについても、切削対象となるそれぞれの臓器の特徴に応じて適宜変化させることで、誤切削回避の精度をさらに上げることができる。
上述した切削処理では、所定の閾値以上の変化率をもつ点を無効な切削点とし、深さ制御部１７がボクセルラベル設定部１８に指示を出す。これにより、ボクセルラベルの更新は中止され、切削は実施されない。よって、ユーザの誤操作によって急激に深さ位置が変化する切削点を深さ検出部１５が検出した場合には、誤切削を回避することができる。
【００２５】
このとき、切削を実施するとは、ボクセルラベル設定部１８がボクセルラベルを更新し、ボクセルラベル格納部１１に格納することを意味する。つまり、切削を実施しない場合は、ボクセルラベルは変化しない。
従って、マウス入力４を腎臓２２上において摺動させた場合でも、その奥側に存在する背骨２３が誤って切削されてしまうことを回避することができる。そして、この場合には、マウス入力４の左右又は上下の摺動回数に応じて、腎臓２２だけが切削された画像が表示される。
【００２６】
なお、腎臓２２が切削される状態は、ウィンドウ座標取得部２０の情報が、色情報設定部２１を介して色情報格納部１２に伝達されることで、腎臓２２の色が変化することによって認識することができる。ここで、色情報設定部とは、いわゆるルックアップテーブルによる変換部を意味する。つまり、本実施形態のパーソナルコンピュータ１では、上述したように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有しており、腎臓２２の表面と内部とを予め色情報設定部２１によって異なる輝度情報と色情報とが設定されている。これにより、表面から切削されるように操作した場合には、その切削度合いに応じて、切削部分の色はその周りの色とは明らかに違う状態で表示される。
【００２７】
以上の状態は、Ｓ６，Ｓ７，Ｓ８の状態であり、Ｓ９においては切削箇所のボクセル情報が更新される。
図４は、その状態を示しており、最も表面のボクセルラベル１４の大部分は“１”の状態、つまり、測定した腎臓２２の表面状態を示している。図４において、“０”の部分は切削されたボクセルを示している。また、“Ｌ”はこの切削されたボクセルと、その周りの状態を色情報で分かり易くするためのものである。例えば、“１”は、光を浴びた小豆色であった場合、“０”は赤色であった場合、“Ｌ”は、その界面が光を浴びた小豆色から赤色への中間色を選択する。これにより、この切削が実際に行われている様子がより臨場感を持って表現されるようにすることができる（図４の左２枚（Drilling Label, Drilling Object）の合成によって、切削が行われている様子を示す画像が形成される）。また、図４の中央２枚の画像に基づいて、右側の切削された状態（Drilling Result）が形成される。
【００２８】
以上のように、本実施形態によれば、ボリュームレンダリング演算部１３において、ボクセル情報を視線に対して垂直の方向に一定間隔にてサンプリングする。そして、マウス移動中に求められた全ての点について、深さ検出部１５において算出されたそれぞれのレイキャスティング走査距離の変化率を算出する。
ここで、深さ制御部１７は、算出された変化率について、所定の閾値以上の変化率を持つ点を無効な切削点とし、ボクセルラベル設定部１８に指示を出し、ボクセルラベルの更新を中止して切削を実施しないように制御を行う。
【００２９】
これにより、ディスプレイ２上において、実際には、深さ方向（Ｚ方向）において位置の差が存在する切削対象部であれば、マウス入力４の切削指示が、ディスプレイ２上においてその両者に及んだ場合でも、隣接する表示対象物が不用意に切削されてしまうことを回避することができる。この結果、適切な手術シミュレーションを実施することができる。
【００３０】
本実施形態では、例えば、マウスボタンのＯＮ／ＯＦＦによって切削開始／終了の切り替えを行い、ユーザはマウスボタンＯＮ時にマウスをドラッグ操作することで、意図した領域の切削を連続的に行うことができる。
また、本実施形態では、メモリ９の更新のタイミングをＯＦＦ時に行うことができる。ユーザがマウスボタンを押下しながら、マウスのドラッグを開始すると、ボリュームレンダリング演算部１３のメモリのみを更新することで、視覚的にユーザへインタラクティブの切削機能を提供する。その際、メモリ９を更新せず、作業中のボリュームラベルを一時的に保存しておく。ユーザがボタンを離す際に、一時保存しておいたメモリ内容をメモリ９へ反映させる。このような制御を加えることにより、ユーザは一度のドラッグ操作において、オブジェクト表面から一定の深さまでのみ切削されたように表示することができるので、過度に切削された状態で表示されることを防ぐことができる。
【００３１】
また、本実施形態では、ボクセルラベルを初期のボクセル情報と同サイズとしているが、より細かい切削を表現するには、ボクセルラベルをより小さいサイズのボクセルラベルとして生成してもよい。本手法では、ボクセル情報を直接編集せず、ボクセルラベルに時刻情報を持たせることで、Ｕｎｄｏ（元に戻す）やＲｅｄｏ（再入力）などの操作に対応することも可能である。
また、本実施形態では、３Ｄ表示を見ながら切削指示を行うものではなく、マウス入力４を平面的に動かすだけで、この手術シミュレーションを行うことができる。よって、この点からも適切な手術シミュレーションを行うことができる。
【００３３】
（他の実施形態）
上記実施形態においては、マウス入力４によって切削指示されたボクセルラベル１４における表示対象物の輝度情報および色情報の両方を変化させた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。例えば、表示対象物の輝度情報および色情報のうち、少なくとも一方を変化させる構成としてもよい。
さらに、上記実施形態において、切削されたボクセルの体積を算出する被切削ボクセルラベル算出表示部１９の出力として、マウス入力４による切削量（体積）をディスプレイ２に表示してもよい。
また、これに代えて、マウス入力４による切削深さを、ディスプレイ２に表示してもよい。
【００３４】
さらに、ボリュームレンダリングの結果を示す３次元画像に、２次元の断層画像をディスプレイに追加して投影し、２次元の断層画像に対して切削動作を実施した場合でも、切削動作が３次元画像に反映されるように、切削シミュレーションを行ってもよい。
さらに、ボクセル情報格納部１０に格納されたボクセル情報を、ディスプレイ２に２次元あるいは３次元画像に変換して表示させると共に、ディスプレイ２に表示された切削対象部におけるマウス入力４で指示された部分の色情報を変更する色情報設定部２１を設けてもよい。つまり、ディスプレイ２上に表示された切削対象部について、例えば、医者として気になる部分に意図的に色を付けておき、その状態でボクセルラベル１４の集合体をボクセルラベル格納部１１に格納させておけばよい。これにより、この情報から切り出される多方面からの表示に、全て先ほどの色をつけた情報が反映されることになる。よって、その気になる部分を立体的に全周から観察することができ、かつこの切削シミュレーションも行うことができる。
【００３５】
さらに、本発明は、内視鏡手術をシミュレーションすることも可能であり、この場合はボリュームレンダリング演算部１３において、内視鏡に設けられた魚眼レンズ等の収束特性を座標変換テーブルとして用いれば実現できる。
さらに、視点を複数持ち、視点ごとに作成したボリュームレンダリング演算部１３の出力画像を複数個のメモリに蓄積し、メモリからの出力を順次ディスプレイに表示させ、立体視画像を生成することも可能である。この場合には、それぞれの画像出力に同期した液晶めがね等を使用してもよい。
【産業上の利用可能性】
【００３６】
以上のように本発明は、３Ｄ表示を見ながら切削指示を行うものではなく、入力部を平面的に動かすだけで、この手術シミュレーションを行うことができるので、適切な手術シミュレーションを行うことができるという効果を奏することから、手術をするための切削シミュレーション装置として広く活用が期待される。
【符号の説明】
【００３７】
１      パーソナルコンピュータ（切削シミュレーション装置）
２      ディスプレイ
３      キーボード入力（入力部）
４      マウス入力（入力部）
５      タブレット入力（入力部）
６      断層画像情報取得部
７      ボクセル情報抽出部
８      断層画像情報部
９      メモリ
１０      ボクセル情報格納部
１１      ボクセルラベル格納部
１２      色情報格納部
１３      ボリュームレンダリング演算部
１４      ボクセルラベル
１５      深さ検出部
１６      バス
１７      深さ制御部
１８      ボクセルラベル設定部
１９      被切削ボクセルラベル算出表示部
２０      ウィンドウ座標取得部
２１      色情報設定部
２２      腎臓
２３      背骨
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
断層画像情報を取得する断層画像情報取得部と、
前記断層画像情報取得部に接続されており、前記断層画像情報のボクセル情報を格納するメモリと、
前記メモリに接続されており、前記ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングするボリュームレンダリング演算部と、
前記ボリュームレンダリング演算部の演算結果を表示するディスプレイと、
前記ディスプレイに表示された表示対象物に対する切削指示を入力する入力部と、
前記入力部によって切削指示された点の前記入力部の移動中に求められた全ての点について、それぞれのレイキャスティング走査距離を測定する深さ検出部と、
を備え、
前記ボリュームレンダリング演算部は、前記深さ検出部において検出された深さ情報が所定の閾値以上の変化率となった場合に切削を中止する、
切削シミュレーション装置。
【請求項２】
前記ボリュームレンダリング演算部には、複数の前記ボクセル情報に対応する複数枚のボクセルラベルと、Ｘ，Ｙ，Ｚ情報と、色情報と、輝度情報とが供給される、
請求項１に記載の切削シミュレーション装置。
【請求項３】
前記ボリュームレンダリング演算部は、前記入力部により切削指示された前記ボクセルラベルにおける前記表示対象物の部分の、輝度情報と色情報の少なくとも一方を変化させて前記ディスプレイに表示させる、
請求項２に記載の切削シミュレーション装置。
【請求項４】
前記ディスプレイには、前記入力部によって切削指示された切削量が表示される、
請求項１から３のいずれか１つに記載の切削シミュレーション装置。
【請求項５】
前記ディスプレイには、前記入力部によって切削指示された切削深さが表示される、
請求項１から３のいずれか１つに記載の切削シミュレーション装置。
【請求項６】
前記メモリは、前記断層画像情報取得部を介して入力されるボクセル情報を格納するボクセル情報格納部と、前記ボリュームレンダリング演算部によって切り出された前記ボクセルラベルを格納するボクセルラベル格納部と、を有する、
請求項１から５のいずれか１つに記載の切削シミュレーション装置。
【請求項７】
前記メモリは、前記ボクセルラベル毎の色情報を格納する色情報格納部をさらに有する、
請求項６に記載の切削シミュレーション装置。
【請求項８】
前記ボリュームレンダリング演算部は、前記ボクセル情報格納部に格納されたボクセル情報を前記ディスプレイに表示させ、
前記ディスプレイに表示された前記表示対象物における前記入力部によって切削指示された部分の色情報を変更する色情報設定部を、さらに備えている、
請求項６または７に記載の切削シミュレーション装置。
【国際調査報告】
2011118208.tif 000010
2011118208.tif 000011
2011118208.tif 000012
2011118208.tif 000013