(57)【要約】【課題】生体内への侵襲的な行為を支援する、より有用な画像を作成する。【解決手段】画像作成装置は、生体の内部の画像を撮像する撮像装置および、生体の内部に挿入される器具のダミー器具に対応する位置マーカを計測する位置計測部と、位置マーカを計測して得た位置情報に基づいて、生体の内部の合成画像を作成する画像作成部と、を備える。【選択図】図１
2018019993.tif 000002
【特許請求の範囲】
【請求項１】
生体の内部の画像を撮像する撮像装置および、前記生体の内部に挿入される器具のダミー器具に対応する位置マーカを計測する位置計測部と、
前記位置マーカを計測して得た位置情報に基づいて、生体の内部の合成画像を作成する画像作成部と、
を備える画像作成装置。
【請求項２】
請求項１に記載の画像作成装置において、
前記生体の内部に挿入される前記器具は手術用器具である、画像作成装置。
【請求項３】
請求項２に記載の画像作成装置において、
前記画像作成部は、前記位置マーカを計測して得た前記位置情報に基づいて、前記撮像装置が前記生体の内部を撮像した生体画像と、前記手術用器具が前記生体の内部に挿入された場合を想定した仮想的な前記手術用器具の画像とを合成した合成画像を作成する画像作成装置。
【請求項４】
請求項２に記載の画像作成装置において、
前記画像作成部は、前記位置マーカを計測して得た前記位置情報に基づいて、前記生体の内部の仮想生体断面画像と、前記手術用器具が前記生体の内部に仮想的に挿入された場合の前記手術用器具の画像とを合成した合成画像を作成する画像作成装置。
【請求項５】
請求項２から４までのいずれか一項に記載の画像作成装置において、
前記手術用器具は、鉗子であり、
前記画像作成部は、前記鉗子の三次元モデルを用いて前記合成画像を作成する画像作成装置。
【請求項６】
請求項１から５までのいずれか一項に記載の画像作成装置において、
前記位置マーカを計測して得た位置情報は、前記撮像装置または前記ダミー器具の位置および向きの情報を含む画像作成装置。
【請求項７】
請求項１から６までのいずれか一項に記載の画像作成装置において、
前記位置計測部は、前記位置マーカを撮像する撮像部を備える画像作成装置。
【請求項８】
生体の内部の画像を撮像する撮像装置および、前記生体の内部に挿入される器具のダミー器具に対応する位置マーカと、
前記位置マーカを計測し、前記位置マーカを計測して得た位置情報に基づいて生体の内部の合成画像を生成する画像作成装置と、
を備える画像作成システム。
【請求項９】
生体の内部の画像を撮像する撮像装置および、前記生体の内部に挿入される器具のダミー器具に対応する位置マーカを計測して得た位置情報を取得することと、
前記位置マーカを計測して得た位置情報に基づいて、生体の内部の合成画像を作成することと、
を備える画像作成方法。
【請求項１０】
生体の内部に挿入される器具のダミー器具であって、
伸縮可能な伸縮部を備えるダミー器具。
【請求項１１】
請求項１０に記載のダミー器具において、
前記生体の体表に接触する体表接触部を備え、
前記伸縮部は、前記体表接触部を固定しながら伸縮可能であるダミー器具。
【請求項１２】
請求項１１に記載のダミー器具において、
前記伸縮部は、前記体表接触部を固定しながら所定の軸を中心に回転可能であるダミー器具。
【請求項１３】
請求項１０から１２までのいずれか一項に記載のダミー器具において、
前記器具は、鉗子であるダミー器具。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像作成装置、画像作成システム、画像作成方法およびダミー器具に関する。
【背景技術】
【０００２】
体腔内の臓器および手術中の医療器具の三次元位置を測定し、これらの位置情報に基づいて手術を支援する方法が提案されている（特許文献１参照）。生体への侵襲的な手技を支援するためには、様々な状況を想定した検討が行えることが望ましい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開２０１５／１２９８３４号
【発明の概要】
【０００４】
本発明の第１の態様によると、画像作成装置は、生体の内部の画像を撮像する撮像装置と、前記生体の内部に挿入される器具のダミー器具と、に対応する位置マーカを計測する位置計測部と、前記位置マーカを計測して得た位置情報に基づいて、生体の内部の合成画像を作成する画像作成部と、を備える。
本発明の第２の態様によると、画像作成システムは、生体の内部の画像を撮像する撮像装置および、前記生体の内部に挿入される器具のダミー器具に対応する位置マーカと、前記位置マーカを計測し、前記位置マーカを計測して得た位置情報に基づいて生体の内部の合成画像を生成する画像作成装置と、を備える。
本発明の第３の態様によると、画像作成方法は、生体の内部の画像を撮像する撮像装置および、前記生体の内部に挿入される器具のダミー器具に対応する位置マーカを計測して得た位置情報を取得することと、前記位置マーカを計測して得た位置情報に基づいて、生体の内部の合成画像を作成することと、を備える。
本発明の第４の態様によると、ダミー器具は、生体の内部に挿入され、前記生体の内部に挿入される器具には無い、伸縮可能な伸縮部を備える。
【図面の簡単な説明】
【０００５】
【図１】一実施形態の画像作成装置の構成と、当該画像作成装置に関する画像作成方法とを説明するための概念図である。
【図２】一実施形態の画像作成装置の制御部の構成を示す概念図である。
【図３】一実施形態の画像作成装置が作成した合成画像の一例を示す図である。
【図４】ダミー鉗子の構成を示す図である。
【図５】ダミー鉗子の一部の断面を含む、ダミー鉗子の構成を示す概念図である。
【図６】ダミー鉗子の一部の断面を含む、ダミー鉗子の構成を示す概念図である。
【図７】ダミー鉗子の構成を示す図である。
【図８】一実施形態の画像作成装置における合成画像の作成および表示の流れを示すフローチャートである。
【図９】一実施形態の画像作成装置の構成と、当該画像作成装置に関する画像作成方法とを説明するための概念図である。
【図１０】一実施形態の画像作成装置が作成した合成画像の一例を示す図である。
【図１１】一実施形態の画像作成装置のモデル記憶部の構成を示す概念図である。
【図１２】一実施形態の画像作成装置の制御部の構成を示す概念図である。
【図１３】一実施形態の画像作成装置における合成画像の作成および表示の流れを示すフローチャートである。
【発明を実施するための形態】
【０００６】
（第１の実施形態）
以下では、適宜図面を参照しながら、一実施形態の画像作成装置、画像作成システム、画像作成方法、ダミー器具等について説明する。本実施形態の画像作成装置は、画像作成システムの一部を構成し、仮想的な合成画像を作成する。以下の実施形態では、ダミー器具は、ダミー鉗子を例に説明する。
【０００７】
図１は、本実施形態の画像作成装置１の構成を含む、合成画像の作成を説明するための概念図である。画像作成システム１００は、画像作成装置１と、位置マーカ３１とを備える。画像作成装置１は、制御部１０と、入力部２１と、表示部２２と、通信部２３と、記憶部２４と、モデル記憶部２５とを備える。位置マーカ３１は、ダミー鉗子６と、腹腔鏡７とに固定されている。
なお、画像作成システム１００は、ダミー鉗子６と、腹腔鏡７とを含んで構成してもよい。
本実施形態の画像作成装置１および画像作成システム１００によれば、実際に使用する予定の器具を生体内に挿入しなくても、当該器具を使用した侵襲的手技のシミュレーションを行うことができる。これにより、ポート位置決定精度の向上及びそれに伴う手術精度の向上並びに患者への負担軽減等の効果が期待できる。
【０００８】
本実施形態の画像作成装置１は、生体の内部で撮像した画像である生体内部撮像画像と、予め取得した生体に挿入される器具の三次元形状モデルに基づく仮想器具画像との合成画像を作成する。以下の説明では、画像作成装置１は、腹腔鏡７が患者５０の内部で撮像した腹腔鏡画像と、術中に患者５０の体腔に挿入される手術用器具である鉗子の三次元形状モデル（以下、鉗子モデルと呼ぶ）に基づく仮想器具画像とを合成した合成画像を作成する。
【０００９】
腹腔鏡画像は、腹腔鏡７が患者５０の体腔５２において撮像した画像である。患者５０は、腹腔鏡手術の術中に体腔５２内で撮像可能な臓器５３および臓器５３に存在する患部５４を有している。患者５０の皮膚５１には、腹腔鏡７を通すためのトロカール８が配置されている。
なお、画像作成装置１は、特に腹腔鏡画像に限定されず、生体の内部で撮像した任意の画像を用いて合成画像を作成することができる。
【００１０】
仮想器具画像は、ダミー鉗子６の位置、姿勢に基づいて、鉗子モデルから作成される。図１に示すように、ダミー鉗子６の把持部６２を含む部分は、患者５０の皮膚５１の体表面上に体表接触部６５を固定したまま、矢印６９で示したように所定の自由度で動かすことができるようになっている。
なお、画像作成装置１は、例えば、メス、剪刃、鑷子、持針器、鉤等の手術用器具を含む生体の内部に挿入される任意の器具、または生体の内部に挿入される任意の装置等の画像を用いて合成画像を作成することができる。
【００１１】
入力部２１は、キーボードやタッチパネル等の入力装置を有し、術者や手術の補助者等のユーザからの入力により、ユーザが選択する鉗子モデルについての情報等を受け付ける。例えば、ユーザは術中に用いる鉗子の種類、形状を入力し、後述の制御部１０がその種類、形状に対応する鉗子モデルを選択する構成にすることができる。
【００１２】
表示部２２は、液晶モニタ等の表示装置を有し、画像作成装置１が作成した合成画像を表示する。また、表示部２２は、腹腔鏡画像の倍率や撮像方向等、腹腔鏡７の撮像条件等を適宜表示する。
なお、表示部２２は、腹腔鏡７の腹腔鏡画像を通常表示している表示装置を用いる構成にしてもよい。
【００１３】
通信部２３は、インターネット等の通信網を利用して通信を行う通信装置を有し、鉗子モデルのデータを受信したり、必要なデータを送受信する。記憶部２４は、不揮発性メモリ等を有し、制御部１０に合成画像の作成に関する処理を行わせるプログラムや当該処理に関するパラメータ等を記憶する。
【００１４】
モデル記憶部２５は、鉗子モデル４１を記憶する。鉗子モデル４１は、特定の鉗子、または一般的な鉗子について三次元座標で形状を記述したものであり、通信部２３等を介して外部から取得してモデル記憶部２５に記憶される。
【００１５】
位置計測部３０は、光学的に位置マーカ３１を認識し、位置マーカ３１の付されたダミー鉗子６、腹腔鏡７の位置、姿勢に関する位置情報を取得する。以下の実施形態で、対象物の「位置情報」とは、対象物の三次元的な位置の他、対象物の姿勢も含む。対象物の姿勢は、例えば、ダミー鉗子６なら、長手方向に平行な軸の方向、向きを定める二次元の角度パラメータと、ダミー鉗子６の把持部が、長手方向に平行な軸のまわりのどの方向に配置しているかを示す一次元のパラメータとの、合わせて三次元のパラメータにより記述される。
【００１６】
位置計測部３０は、異なる位置に配置された複数の撮像素子３２ａ，３２ｂを含んで構成される撮像部３３を備え、撮像素子３２ａ，３２ｂが撮像した位置マーカ３１の視差に関する情報から、位置マーカ３１の位置、姿勢を取得することができる。位置マーカ３１は、図１でＹの字に似た形状で示されているように、位置マーカ３１の付された対象物の姿勢が計測できるよう、特徴的な形状や、模様を含んでいる。
なお、位置計測部３０は、撮像部３３により位置情報を取得するのではなく、光学的でない方法を用いて、位置マーカ３１の位置情報を取得してもよい。
【００１７】
制御部１０は、ＣＰＵ等の処理装置を有し、画像作成装置１を制御する動作の主体として機能し、記憶部２４または不図示の記憶媒体に搭載されているプログラムを実行することにより、合成画像の作成に関する処理を行う。
なお、制御部１０の各機能は、遠隔にある複数の装置に分散されて配置され、通信部２３を介し、装置間で情報を通信しながら全体で一つのシステムとして合成画像の作成に関する処理を行うように構成され得る。
【００１８】
図２は、制御部１０の機能ブロックを示した概略図である。制御部１０は、情報取得部１１と、座標変換部１２と、仮想器具画像作成部１３と、画像合成部１４とを備える。情報取得部１１は、腹腔鏡画像および倍率等の腹腔鏡画像の撮像条件に関する情報、位置計測部部３０が取得した位置情報、入力部２１から入力されたデータ、鉗子モデルの形状データ等の合成画像の作成に関する処理に必要なデータを取得する。
【００１９】
座標変換部１２は、位置計測部３０が取得した手術室内に固定された三次元座標系（以下、計測座標系と呼ぶ）と、腹腔鏡７を基準にした腹腔鏡座標系との間の座標変換を行う。座標変換は、計測座標系で測定した腹腔鏡７の位置、姿勢から回転行列と平行移動ベクトルとを組み合わせた変換行列Ｍ１２を算出し、この変換行列Ｍ１２により任意の点の座標を変換することにより行うことができる。座標変換部１２は、ダミー鉗子６の位置、姿勢を、変換行列Ｍ１２を用いて腹腔鏡座標系で記述する。
なお、座標変換の方法は、特に限定されない。
【００２０】
仮想器具画像作成部１３は、腹腔鏡画像の撮像条件に関する情報、および腹腔鏡座標系でのダミー鉗子６の位置、姿勢に基づいて、三次元の鉗子モデルから投影変換を行い、仮想器具画像（例えば、図３の仮想器具画像６００）を作成する。投影変換の方法は特に限定されないが、例えば、仮想器具画像作成部１３は、透視投影を行い、照明、倍率等の腹腔鏡７の撮像条件に合わせて、照明計算を行ったり、深度に応じた仮想器具画像中での大きさの違いを調整することができる。
【００２１】
画像合成部１４は、腹腔鏡座標系でのダミー鉗子６の位置に基づいて、腹腔鏡画像に仮想器具画像を重ね合わせて合成画像を作成する。
【００２２】
図３は、表示部２２に表示された合成画像５ａを例示する図である。合成画像５ａは、腹腔鏡画像７００と、仮想器具画像６００とから構成されている。腹腔鏡画像７００は、臓器５３、患部５４および背景等を含んで構成される。仮想器具画像６００は、鉗子モデルに基づいた画像から構成されている。
【００２３】
（ダミー鉗子の構造）
図４は、ダミー鉗子６の外観を示す側面図である。ダミー鉗子６は、伸縮部６１と、把持部６２と、基部６３と、連結部６４と、体表接触部６５とを備える。伸縮部６１は、部材６１０ａと部材６１０ｂとを備える。伸縮部６１はその中心軸６８に沿って伸縮可能に構成されている。中心軸６８に沿った方向（図４の左右方向）をダミー鉗子６の長手方向とする。
【００２４】
把持部６２は、ダミー鉗子６を取り扱う際に術者や補助者等が把持する部位である。基部６３は、伸縮部６１、把持部６２、位置マーカ３１等を支持する部位である。
なお、ダミー鉗子６のモデルとなった鉗子に合わせて、把持部６２の２つの取っ手の部分を開閉可能に構成してもよい。
【００２５】
連結部６４はボールジョイント等により構成され、体表接触部６５を固定したまま回転可能である。従って、ダミー鉗子６は、体表接触部６５に対して伸縮部６１、把持部６２、基部６３および位置マーカ３１等が長手方向に伸びる伸縮部６１の中心軸６８のまわりに回転可能（回転方向を示す矢印６９ａ、６９ｂ参照）に構成されている。
なお、体表接触部６５を固定したまま、伸縮部６等を所望の自由度で動かすことができれば、特に連結部６４の構造は限定されない。
【００２６】
体表接触部６５は、スポンジ・シリコンゴム・ゲル等の柔軟素材で構成され、患者５０の体表面と接触する部位である。体表接触部６５は、体表面と上記柔軟素材との摩擦等により体表面に体表接触部６５を固定しながら、伸縮部６１を伸縮させたり、中心軸６８を軸として回転させたり、伸縮部６１を傾けたりすることが可能に構成されている。
なお、上記柔軟素材で構成された部分には、接着剤や粘着性を高める成分を有する液体等が塗布されていてもよい。接着剤は、体表接触部６５を患者の体表に固定しつつ、剥離時に患者の体表を損傷することのないものが好ましい。
また、体表接触部６５には、手術用マーカー等に用いられている染料等が塗布されていてもよい。染料等により患者の体表に適切なポート位置をマークすることができ、シミュレーションを終えた後の実際の手術に移行する際の穿孔部の指標とすることができる。
【００２７】
図５は、ダミー鉗子６の伸縮部６１の断面を示した概念図である。図５中で、波線６８０よりも左側は断面図を、右側は側面図を示す。伸縮部６１は対応する鉗子にはないテレスコピック構造を有し、部材６１０ａが、部材６１０ｂの内側に収納されたり、部材６１０ｂの内側から引き出されたりすることで伸縮する。弾性体であるばね６１０ｃにより、部材６１０ａには部材６１０ａを部材６１０ｂから押し出すように力がかかっており、これにより、把持部６２からの力により伸縮部６１が収縮した後も、把持部６２からの力を抜けばばね６１０ｃの反力により再び伸縮部６１が伸びるようになっている。図５では、部材６１０ａの大部分は部材６１０ｂから引き出されており、伸縮部６１の長さＬはＬ１となっている。
なお、ばね６１０ｃを用いずに、他の弾性体や歯車等を適宜組み合わせることにより、伸縮部６１の伸縮機構を実現してもよい。
【００２８】
図６は、ダミー鉗子６の伸縮部６１の長さが図５の場合より短くなっているときの伸縮部６１の断面を例示した概念図である。図６では、部材６１０ａの大部分は部材６１０ｂに収納されており、伸縮部６１の長さＬは、Ｌ１より小さいＬ２となっている。
なお、不図示の油圧制御素子等の流体制御素子やピエゾ素子等を用いて部材６１０ａと部材６１０ｂとの間の摩擦力や、伸縮部６１が収縮した際の反力を調整したりすることもできる。これにより、患者５０の体表面が過度に変形することを防ぐことができる。また、さらにソフトウェアによりダミー鉗子６のモデルとなった鉗子の重さを反映したり、様々な条件に合わせた摩擦力や、上記反力の制御を行うこともできる。これにより、より現実に近いシミュレーションを実現することができる。
【００２９】
図７は、伸縮部６１の中心軸６８の方向が変化した場合のダミー鉗子６の側面図である。ボールジョイントで構成された連結部６４が体表接触部６５を固定したまま回転可能であるため、ダミー鉗子６は、任意の方向に伸縮部６１を傾けることができるように構成されている。図６では、ボールジョイント６４の回転中心を通り体表接触部６５に垂直な軸６７と、伸縮部６１の中心軸６８とのなす角度θ（以下、傾斜度θと呼ぶ）を示す。鉗子を通したトロカールを術中に傾けることができる一般的な範囲等に基づいて、傾斜度θのとりうる範囲を設定し、ダミー鉗子６を設計することができる。
【００３０】
術者等は、ダミー鉗子６の伸縮部６が伸縮することにより、患者５０の体腔内に鉗子を挿入した場合のシミュレーションを行うことができる。つまり、ダミー鉗子６の把持部６２を操作して体表接触部６５を体表面に、垂直な方向の力の成分を有するように押し付けると、ダミー鉗子６が収縮することで、実際の鉗子を挿入した場合の操作を試すことができる。さらに、ダミー鉗子６は体表接触部６５を固定したままシミュレーションを行うことができるため、鉗子を挿入するためのトロカールを配置する位置（以下、トロカール位置と呼ぶ）をシミュレーション結果を基により正確に決定することができる。例えば、術者等は、ダミー鉗子６を用いて術中の手技のシミュレーションを行い、手技を行いやすいと考えた体表接触部６５の位置を、トロカール位置に決定することができる。
【００３１】
本実施形態では、ダミー器具としてダミー鉗子６を例に説明したが、位置情報を測定可能であって、侵襲的に使用される器具のシミュレーションを非侵襲的に行うことができるダミー器具ならば特に器具の種類は限定されない。
【００３２】
図８は、本実施形態の画像作成装置に関する画像作成方法の流れを示すフローチャートである。この画像作成方法により、合成画像５ａの作成・表示の処理がなされ、患者５０の体腔内に鉗子を挿入した場合のシミュレーションを行い、さらに、例えばトロカール位置をシミュレーション結果を基により正確に決定することができる。
【００３３】
ステップＳ１００１において、情報取得部１１は、入力部２１から入力された情報に基づいて、鉗子の形状モデルを取得する。ステップＳ１００１が終了したら、ステップＳ１００３に進む。ステップＳ１００３において、位置計測部３０は、位置マーカ３１を撮像して得た位置情報を情報取得部１１に出力し、情報取得部１１は、腹腔鏡７とダミー鉗子６との位置情報を取得する。
【００３４】
ステップＳ１００５において、座標変換部１２は、計測座標から腹腔鏡座標への変換行列Ｍ１２を算出する。ステップＳ１００５が終了したら、ステップＳ１００７に進む。ステップＳ１００７において、座標変換部１２は、ステップＳ１００５で算出した変換行列Ｍ１２により、ダミー鉗子６の位置、姿勢を腹腔鏡座標で記述する。ステップＳ１００７が終了したら、ステップＳ１００９に進む。
【００３５】
ステップＳ１００９において、仮想器具画像作成部１３は、ステップＳ１００１で取得した鉗子の形状モデルを投影変換して、図３に示すような仮想器具画像６００を作成する。ステップＳ１００９が終了したらステップＳ１０１１に進む。ステップＳ１０１１において、画像合成部１４は、腹腔鏡画像７００とステップＳ１００９で作成した仮想器具画像６００とを合成し図３に示すような合成画像５ａを作成する。ステップＳ１０１１が終了したら、ステップＳ１０１１が終了したらステップＳ１０１３に進む。
【００３６】
ステップＳ１０１３において、制御部１０は、ステップＳ１０１１で作成した合成画像５ａを表示部２２に出力して表示させたり、記憶部２４に記憶させる。ステップＳ１０１３が終了したら、ステップＳ１０１５に進む。ステップＳ１０１５において、制御部１０は、合成画像５ａの作成を終了するか否かを判定する。合成画像５ａの作成を終了する場合、ステップＳ１０１５を肯定判定して処理を終了する。術者等のユーザは、得られた合成画像５ａから、適切なポート位置を決定して侵襲的手技のシミュレーションを終える。決定した適切なポート位置は、例えば手術用マーカーや、体表接触部６５に塗布された染料等によりマークされる。術者等のユーザは当該マークを指標に穿孔を行い、その後、実際の手術を進めることができる。合成画像５ａの作成を終了しない場合、ステップＳ１０１５を否定判定してステップＳ１０１７に進む。
【００３７】
ステップＳ１０１７において、制御部１０は、ステップＳ１０１３における合成画像５ａの出力から、所定の時間が経過したか否かを判定する。所定の時間とは、例えば１秒や、０．１秒、０．０１秒等の時間であり、腹腔鏡７のフレームレートや、合成画像５ａを基に表示する動画像のフレームレートに基づいて定めることができる。制御部１０は、所定の時間が経過する前はステップＳ１０１７を否定判定してステップＳ１０１７を繰り返す。制御部１０は、所定の時間が経過したらステップＳ１０１７を肯定判定してステップＳ１００３に戻る。
【００３８】
上述の実施の形態によれば、次の作用効果が得られる。
（１）本実施形態の画像作成装置１は、患者５０の内部の画像を撮像する腹腔鏡７および患者５０の内部に挿入される鉗子のダミー鉗子６に対応する位置マーカ３１の位置、姿勢などを計測する位置計測部３０と、位置マーカ３１を計測して得た位置情報に基づいて、患者５０の内部の合成画像５ａを作成する制御部１０と、を備える。これにより、ダミー鉗子６の位置情報を利用して、当該器具を使用した際のシミュレーションを行うことができる。
【００３９】
（２）本実施形態の画像作成装置１において、患者５０の内部に挿入される器具は手術用器具である。これにより、位置計測部３０が取得した位置情報を利用して、当該手術用器具を使用した手術のシミュレーションを行うことができる。
【００４０】
（３）本実施形態の画像作成装置１において、制御部１０は、位置マーカ３１を計測して得た位置情報に基づいて、腹腔鏡７が患者５０の内部を撮像した腹腔鏡画像７００と、鉗子が患者５０の内部に挿入された場合を想定した仮想的な鉗子の画像とを合成した合成画像５ａを作成する。これにより、実際に使用する予定の器具を生体内に挿入しなくても、当該器具を使用した侵襲的手技のシミュレーションを行うことができる。
【００４１】
（４）本実施形態の画像作成装置１において、制御部１０は、鉗子モデル４１を用いて合成画像５ａを作成する。これにより、実際に使用する予定の鉗子を生体内に挿入しなくても、当該鉗子を使用した侵襲的手技のシミュレーションを行うことができる。
【００４２】
（５）本実施形態の画像作成装置１において、位置マーカ３１を計測して得た位置情報は、腹腔鏡７およびダミー鉗子６の位置および向きの情報を含む。これにより、腹腔鏡７またはダミー鉗子６の位置および向きを考慮したより精密な合成画像５ａを作成することができる。
【００４３】
（６）本実施形態の画像作成装置１は、位置マーカ３１を撮像する撮像部３３を備える。これにより、画像作成装置１は、光学的な方法で正確に位置情報を取得することができる。
【００４４】
（７）本実施形態のダミー器具は、患者５０の内部に挿入される鉗子のダミー鉗子６であって、当該患者５０の内部に挿入される鉗子にはない伸縮可能な伸縮部６１を備える。これにより、術者等は器具をあたかも生体の内部に挿入したような操作が可能となり、より実際的なシミュレーションを行うことができる。
【００４５】
（８）本実施形態のダミー器具は、患者５０の体表に接触する体表接触部６５を備え、伸縮部６１は、体表接触部６５を固定しながら伸縮可能である。これにより、体表に垂直な方向の器具の動きをシミュレーションすることができる。
【００４６】
（９）本実施形態のダミー器具において、伸縮部６１は、体表接触部６５を固定しながら中心軸６８を中心に回転可能である。これにより、器具の長手方向を軸とした器具の回転をシミュレーションすることができる。
【００４７】
（１０）本実施形態のダミー器具は、鉗子のダミー器具である。これにより、術者等は鉗子をあたかも生体の内部に挿入したような操作が可能となり、より実際的な手術のシミュレーションを行うことができる。実際に穿孔を行う前に適切なポート位置を決定することができるので、穿孔後に実際に挿入されたダミー器具の位置の悪さによって、別の部位への穿孔を再度行わなければならないというリスクを大きく軽減することができる。
【００４８】
（第２の実施形態）
図９は第２の実施形態を説明する図である。第２の実施形態に係る画像作成装置２は、第１の実施形態に係る画像作成装置１と同様の構成を有しているが、生体の内部を撮像した画像と生体器具画像とを合成するのではなく、複数の形状モデルの合成から合成画像を作成する点が第１の実施形態と異なっている。第１の実施形態との同一部分については第１の実施形態と同一の符号で参照し、場合に応じ説明を省略する。
【００４９】
図９は、本実施形態の画像作成装置２の構成を含む、合成画像の作成を説明するための概念図である。画像作成システム２００は、画像作成装置２と、位置マーカ３１とを備える。画像作成装置２は、制御部１０と、入力部２１と、表示部２２と、通信部２３と、記憶部２４と、モデル記憶部２５とを備える。位置マーカ３１は、ダミー鉗子６と、腹腔鏡７と、患者５０の体とに固定されている。患者５０に固定された位置マーカ３１は、患者５０の体における、ダミー鉗子６を用いたシミュレーション中に位置または姿勢の変動の少ない部分、例えば鎖骨等に固定される。本実施形態の画像作成システム２００によれば、様々な位置、角度から生体内の画像を構成し、術中のシミュレーションを行うことができる。これにより、ポート位置決定精度の向上及びそれに伴う手術精度の向上並びに患者への負担軽減等の効果が期待できる。
なお、画像作成システム２００は、ダミー鉗子６と、腹腔鏡７とを含んで構成してもよい。
【００５０】
本実施形態の画像作成装置２は、患者５０の気腹時の三次元形状を示す後述の気腹状態モデルと、腹腔鏡７の三次元形状を示す腹腔鏡モデルと、トロカール８の三次元形状を示すトロカールモデルとをそれぞれの位置情報に基づいて合成することにより得た合成画像を作成する。以下の説明では、画像作成装置２は、気腹状態モデルと、腹腔鏡モデルと、トロカールモデルとを三次元的に合成した後、患者５０の所定の断面の合成画像を作成する。
なお、気腹状態モデルと、腹腔鏡モデルと、トロカールモデルそれぞれを個別に二次元の画像に変換した後、二次元的に合成してもよい。
【００５１】
図１０は、表示部２２に表示された本実施形態の合成画像５ｂを例示する図である。合成画像５ｂは、腹部横断面の断面図の合成画像である。合成画像５ｂには、皮膚５１、臓器５３、患部５４の端面を含む患者５０の内部の断面の画像５０１に加え、奥行方向にあると想定されている、鉗子に対応する画像６０１、腹腔鏡に対応する画像７０１、トロカールに対応する画像８０１が示されている。ここで、上記患者５０の内部の断面の画像５０１は、ＣＴ等の形状測定装置で得られた非気腹時の患者５０の内部の形状データから、気腹状態を想定して算出、作成した仮想生体断面画像５０１である。
なお、合成画像５ｂは、断面図に限らず、体腔内の所定の位置から撮像した場合の画像等、適宜設定することができる。また、必要に応じて、腹腔鏡７やトロカール８等の表示を簡略化したり、表示を省略することができる。
【００５２】
画像作成装置２の入力部２１は、キーボードやタッチパネル等の入力装置を有する。入力部２１は、術者や手術の補助者等のユーザからの入力により、ユーザが選択する鉗子モデル、腹腔鏡モデル、および／またはトロカールモデルについての情報等を受け付ける。例えば、ユーザは術中に用いる鉗子の種類、形状を入力し、後述の制御部１０がその種類、形状に対応する鉗子モデルを選択する構成にすることができる。
【００５３】
画像作成装置２の表示部２２は、液晶モニタ等の表示装置を有し、画像作成装置２が作成した合成画像５ｂを表示する。また、画像作成装置２の表示部２２は、合成画像５ｂの断面の位置や視方向等の条件等を適宜表示する。
なお、画像作成装置２の表示部２２は、腹腔鏡７の腹腔鏡画像を通常表示している表示装置を用いる構成にしてもよい。
【００５４】
画像作成装置２の通信部２３は、インターネット等の通信網を利用して通信を行う通信装置を有し、各種形状モデルのデータを受信したり、必要なデータを送受信する。記憶部２４は、不揮発性メモリ等を含み、画像作成装置２の制御部１０に合成画像５ｂの作成に関する処理を行わせるプログラムや当該処理に関するパラメータ等を記憶する。
【００５５】
図１１は、画像作成装置２のモデル記憶部２５に記憶されるモデルを示す図である。
画像作成装置２のモデル記憶部２５は、鉗子モデル４１、腹腔鏡モデル４２、トロカールモデル４３、臓器形状モデル４４、気腹状態モデル４５を記憶する。腹腔鏡モデル４２は、特定の腹腔鏡、または一般的な腹腔鏡について三次元座標で形状を記述したものである。トロカールモデル４３は、特定のトロカール、または一般的なトロカールについて三次元座標で形状を記述したものである。鉗子モデル４１、腹腔鏡モデル４２、およびトロカールモデル４３は、通信部２３等を介して外部から取得してモデル記憶部２５に記憶される。
【００５６】
臓器形状モデル４４は、ＣＴやＭＲＩ等の形状測定装置による測定に基づいて得られた患者５０の立体形状から、三次元座標で臓器を含む腹部等の形状を記述し、有限要素に分割して弾性率、ポアソン比、密度等の材料物性を入力したものである。臓器形状モデル４４は、後述の臓器形状モデル作成部により作成される。気腹状態モデル４５は、術中の気腹圧を想定して臓器形状モデル４４から算出した、術中の患者５０の臓器を含む腹部等の形状を記述したモデルである。気腹形状モデル４５は、後述の気腹状態モデル作成部により作成される。
なお、臓器形状モデル４４および気腹状態モデル４５は、外部の装置において作成したものを用いる構成にしてもよい。
【００５７】
図９に戻って説明を続ける。位置計測部３０は、光学的に位置マーカ３１を認識し、位置マーカ３１の付されたダミー鉗子６、腹腔鏡７、患者５０の位置、姿勢に関する位置情報を取得する。本実施形態で、対象物の「位置情報」とは、対象物の三次元的な位置の他、対象物の姿勢も含む。
【００５８】
制御部１０は、ＣＰＵ等の処理装置を備え、画像作成装置２を制御する動作の主体として機能し、記憶部２４または不図示の記憶媒体に搭載されているプログラムを実行することにより、合成画像の作成に関する処理を行う。
なお、制御部１０の各機能は、遠隔にある複数の装置に分散されて配置され、通信部２３を介し、装置間で情報を通信しながら全体で一つのシステムとして合成画像５ｂの作成に関する処理を行うように構成してもよい。
【００５９】
図１２は、画像作成装置２の制御部１０の機能ブロックを示した概略図である。画像作成装置２の制御部１０は、情報取得部１１と、座標変換部１２と、合成画像作成部１５と、臓器形状モデル作成部１６と、気腹状態モデル作成部１７と、を備える。画像作成装置２の情報取得部１１は、腹腔鏡７の照明等の条件に関する情報、位置計測部３０が取得した位置情報、入力部２１から入力されたデータ、各種形状モデルの形状データ等の合成画像５ｂの作成に関する処理に必要なデータを取得する。
【００６０】
画像作成装置２の座標変換部１２は、位置計測部３０が取得した手術室内に固定された計測座標系と、患者５０の位置、姿勢を基準にした三次元座標系（以下、体座標系と呼ぶ）との間の座標変換を行う。座標変換は、計測座標系で測定した患者５０の位置、姿勢から、回転行列と平行移動ベクトルとを組み合わせた変換行列Ｍ１３を算出し、この変換行列Ｍ１３により任意の点の座標を変換することにより行うことができる。トロカール８の位置は、腹腔鏡７の位置、姿勢から、皮膚５１と腹腔鏡７とが交差する点を基に定められる。
なお、座標変換の方法は、特に限定されない。
【００６１】
合成画像作成部１５は、体座標系で記述された気腹状態モデル４５に、鉗子モデル４１、腹腔鏡モデル４２、およびトロカールモデル４３を、座標変換部１２が算出した体座標系での位置、姿勢に基づいて重ね合わせ、三次元合成モデルを作成する。合成画像作成部１５は、得られた三次元合成モデルと、入力データで指定された断面の位置とに基づいて、患者５０の断面の合成画像５ｂを作成する。
【００６２】
臓器形状モデル作成部１６は、予め測定されたＸ線ＣＴ等による断層画像から腹壁、各部臓器の立体形状を記述する。臓器形状モデル作成部１６は、算出した立体形状のデータを有限要素に分割する。そして、臓器形状モデル作成部１６は、一般的な統計値、または患者５０の以前の手術等で得られた値に基づいて臓器等の弾性率、ポアソン比、密度等の後述の気腹状態変形シミュレーションに必要な材料物性のデータを各要素に割り当て、臓器形状モデル４４を作成する。
なお、臓器形状モデル作成部１６は、ヘリカルＣＴ等で測定した三次元画像から臓器形状モデル４４を作成してもよい。
【００６３】
気腹状態モデル作成部１７は、臓器形状モデル４４で各有限要素に割り当てられた物性値に基づいて、公知の気腹状態変形シミュレーションにより、術中の気腹圧による臓器形状モデル４４の変化を算出し、気腹状態モデル４５を作成する。
【００６４】
図１３は、本実施形態の画像作成装置２に関する画像作成方法の流れを示すフローチャートである。この画像作成方法により、合成画像５ｂの作成・表示の処理がなされ、患者５０の体腔内に鉗子を挿入した場合のシミュレーションを行い、さらに、例えばトロカール位置をシミュレーション結果を基により正確に決定することができる。
【００６５】
ステップＳ２００１において、臓器形状モデル作成部１６は、生体の断層画像等から腹壁、各部臓器形状等に物性値を割り当てた三次元の臓器形状モデル４４を作成する。ステップＳ２００１が終了したら、ステップＳ２００３に進む。ステップＳ２００３において、気腹状態モデル作成部１７は、気腹状態変形シミュレーションにより気腹状態モデル４５を作成する。ステップＳ２００３が終了したら、ステップＳ２００５に進む。
【００６６】
ステップＳ２００５において、腹腔鏡７が患者５０に挿入される。ステップＳ２００５が終了したら、ステップＳ２００７に進む。ステップＳ２００７において、情報取得部１１は、入力部２１から入力された情報に基づいて、鉗子、腹腔鏡７、トロカール８の形状モデルを取得する。ステップＳ２００７が終了したら、ステップＳ２００９に進む。
【００６７】
ステップＳ２００９において、位置計測部３０は、生体に固定された位置マーカ３１を撮像して得た位置情報を情報取得部１１に出力し、情報取得部１１は、生体の体の位置情報を取得する。ステップＳ２００９が終了したら、ステップＳ２０１１に進む。ステップＳ２０１１において、座標変換部１２は、計測座標から体座標への変換行列Ｍ１３を算出する。ステップＳ２００１１が終了したら、ステップＳ２０１３に進む。
なお、以下の説明では、体に固定された位置マーカ３１は、あまり動かないものとして変換行列Ｍ１３を更新しない構成で説明するが、腹腔鏡７およびダミー鉗子６の位置情報と同時に取得、更新する構成にしてもよい。
【００６８】
ステップＳ２０１３において、位置計測部３０は、腹腔鏡７およびダミー鉗子６に固定された位置マーカ３１を撮像して得た位置情報を情報取得部１１に出力し、情報取得部１１は、腹腔鏡７およびダミー鉗子６の位置情報を取得する。ステップＳ２０１３が終了したら、ステップＳ２０１５に進む。ステップＳ２０１５において、座標変換部１２は、ステップＳ２０１１で算出した変換行列Ｍ１３により、腹腔鏡７およびダミー鉗子６の位置、姿勢を体座標で記述する。ステップＳ２０１５が終了したら、ステップＳ２０１７に進む。
【００６９】
ステップＳ２０１７において、合成画像作成部１５は、気腹状態モデル４５に、鉗子モデル４１と、腹腔鏡モデル４２と、トロカールモデル４３とを合成し、断面図等の合成画像を作成する。ステップＳ２０１７が終了したら、ステップＳ２０１９に進む。ステップＳ２０１９において、画像作成装置２の制御部１０は、ステップＳ２０１７で作成した合成画像５ｂを画像作成装置２の表示部２２に出力して表示させたり、画像作成装置２の記憶部２４に記憶させる。ステップＳ２０１９が終了したら、ステップＳ２０２１に進む。
【００７０】
ステップＳ２０２１において、画像作成装置２の制御部１０は、合成画像５ｂの作成を終了するか否かを判定する。合成画像５ｂの作成を終了する場合、ステップＳ２０２１を肯定判定して処理を終了する。術者等のユーザは、得られた合成画像５ｂから、適切なポート位置を決定して侵襲的手技のシミュレーションを終る。決定した適切なポート位置は、例えば手術用マーカーや、体表接触部６５に塗布された染料等によりマークされる。術者等のユーザは当該マークを指標に穿孔を行い、その後、実際の手術を進めることができる。合成画像５ｂの作成を終了しない場合、ステップＳ２０２１を否定判定してステップＳ２０２３に進む。ステップＳ２０２３において、画像作成装置２の制御部１０は、ステップＳ２０１９における合成画像５ｂの出力から、所定の時間が経過したか否かを判定する。所定の時間とは、例えば１秒や、０．１秒、０．０１秒等の時間であり、合成画像５ｂを基に表示する動画像のフレームレートに基づいて定めることができる。制御部１０は、所定の時間が経過する前はステップＳ２０２３を否定判定してステップＳ２０２３を繰り返す。制御部１０は、所定の時間が経過したらステップＳ２０２３を肯定判定してステップＳ２０１３に戻る。
【００７１】
上述の第２の実施形態によれば、第１の実施形態により得られる作用効果の他に、次の作用効果が得られる。
（１）本実施形態の画像作成装置において、合成画像作成部１５は、位置マーカ３１を計測して得た位置情報に基づいて、患者５０の内部の仮想生体断面画像５０１と、鉗子が患者５０の内部に仮想的に挿入された場合の鉗子の画像６０１とを合成した合成画像５ｂを作成する。これにより、様々な位置、角度から生体内の画像を構成し、術中のシミュレーションを行うことができる。
【００７２】
本発明は上記実施形態の内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００７３】
１，２…画像作成装置、５ａ，５ｂ…合成画像。６…ダミー鉗子、７…腹腔鏡、８…トロカール、１０…制御部、１２…座標変換部、１３…仮想器具画像作成部、１４…画像合成部、１５…合成画像作成部、２２…表示部、２５…モデル記憶部、３０…位置計測部、３１…位置マーカ、４１…鉗子モデル、４２…腹腔鏡モデル、４３…トロカールモデル、４４…臓器形状モデル、４５…気腹形状モデル、６１…伸縮部、６５…体表接触部。
【図１】
2018019993.tif 000003
【図２】
2018019993.tif 000004
【図３】
2018019993.tif 000005
【図４】
2018019993.tif 000006
【図５】
2018019993.tif 000007
【図６】
2018019993.tif 000008
【図７】
2018019993.tif 000009
【図８】
2018019993.tif 000010
【図９】
2018019993.tif 000011
【図１０】
2018019993.tif 000012
【図１１】
2018019993.tif 000013
【図１２】
2018019993.tif 000014
【図１３】
2018019993.tif 000015