(57)【要約】  医療装置は、所定の視点の位置情報と視線方向情報を取得する情報取得部と、位置情報及び視線情報を、所定の管腔臓器の３次元画像情報の座標系に合わせ込む位置合わせ部と、所定の視点の視線方向を延長したときに所定の管腔臓器の内壁と交差する位置を算出する位置算出部と、位置算出部の位置と所定の視点までの距離情報を算出する距離算出部と、距離情報に基づき規定される指標を生成する指標生成部と、所定の管腔臓器の３次元画像又は所定の管腔臓器を展開した２次元モデル画像上において、指標と内壁の位置情報とを関連付けた画像を生成する画像生成部と、を備える。
2016076262.tif 000002
【特許請求の範囲】
【請求項１】
所定の管腔臓器内に設けられた所定の視点の位置情報と視線方向情報を取得する情報取得部と、
前記位置情報及び前記視線情報を、所定の管腔臓器の３次元画像情報の座標系に合わせ込む位置合わせ部と、
前記位置合わせ部によって前記３次元画像情報に対して合わせ込まれた前記位置情報及び前記視線情報に基づき、前記所定の視点の視線方向を延長したときに前記所定の管腔臓器の内壁と交差する位置を算出する位置算出部と、
前記位置算出部の位置と前記所定の視点までの距離情報を算出する距離算出部と、
前記距離算出部によって取得された前記距離情報に基づき規定される指標を生成する指標生成部と、
前記位置算出部の算出結果に基づき、前記所定の管腔臓器の３次元画像又は当該所定の管腔臓器を展開した２次元モデル画像上において、前記指標と前記内壁の位置情報とを関連付けた画像を生成する画像生成部と、
を備えることを特徴とする医療装置。
【請求項２】
前記指標生成部は、前記距離情報に応じて変化するように前記指標の表示形態を変更することを特徴とする請求項１に記載の医療装置。
【請求項３】
前記指標生成部は、前記距離情報に基づき算出される距離の大きさに応じて前記指標の表示形態を変更することを特徴とする請求項２に記載の医療装置。
【請求項４】
前記指標生成部は、前記距離情報と前記視点の画角情報に基づき前記内壁上における視野範囲を算出し、前記視野範囲の大きさに応じて前記指標の表示形態を変更することを特徴とする請求項２に記載の医療装置。
【請求項５】
前記指標生成部は、前記指標を前記距離算出部によって算出される前記距離情報が算出された前記内壁に関連付けることを特徴とする請求項２に記載の医療装置。
【請求項６】
前記指標生成部は、前記指標の色又は大きさを変更することで前記指標の表示形態を変更することを特徴とする請求項４に記載の医療装置。
【請求項７】
前記視点は、前記被検体内の被写体画像を結像する対物光学系の視点であり、
前記位置合わせ部は、前記情報取得部によって取得された前記対物光学系の位置情報と視線方向情報を、前記所定の管腔臓器における３次元画像情報の座標系に対して合わせ込むことを特徴とする請求項１に記載の医療装置。
【請求項８】
前記指標生成部は、前記視線方向と、該視線方向に対向する前記内壁面との成す角に応じて前記指標の表示形態を変更することを特徴とする請求項２に記載の医療装置。
【請求項９】
前記画像生成部は、経時的に異なる時間で観察した複数の前記指標を前記３次元画像上又は前記２次元モデル画像上において、前記内壁に対応する位置に重畳して前記指標と前記内壁の位置情報とを関連付けた前記画像を生成することを特徴とする請求項２に記載の医療装置。
【請求項１０】
前記画像生成部は、前記３次元画像上又は２次元モデル画像上において、複数の指標を重畳する場合、位置が重なる指標に対しては、距離が小さい場合の指標が、前記画像上において上側となるように配置する処理を行うことを特徴とする請求項９に記載の医療装置。
【請求項１１】
更に、予め用意された複数種類の表示形態から実際に使用する表示形態を選択する表示形態選択部を有することを特徴とする請求項２に記載の医療装置。
【請求項１２】
前記指標生成部は、前記視野範囲の大きさに応じて前記指標の色を変更する指標を生成する指標色変更部、又は前記視野範囲の大きさに応じて前記指標のサイズを変更する指標を生成する指標サイズ変更部を有することを特徴とする請求項４に記載の医療装置。
【請求項１３】
前記指標生成部は、前記距離情報に基づき算出される距離の大きさに応じて前記指標の大きさ又は前記指標の表示色を変更することを特徴とする請求項３に記載の医療装置。
【請求項１４】
前記指標生成部は、前記距離情報に基づき算出される距離の大きさに応じて前記指標の大きさと共に、前記指標の表示色を変更することを特徴とする請求項３に記載の医療装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体内に挿入され、画像を取得する医療装置に関する。
【背景技術】
【０００２】
近年、被検体内に挿入され、被検体内部を観察したり、処置具などを用いて処置する医療装置としての内視鏡を備えた内視鏡装置が広く普及している。内視鏡を用いて、観察（又は検査）対象の所定の管腔臓器内部を観察するような場合、観察済みであるか否かを術者が識別できると、同じ領域を重複して観察することを防止できる等の利点がある。  
例えば日本国特開２０１３−２７６９７号公報の従来例は、仮想内視鏡を用いて、管状体の内部を観察する場合、観察済みの領域と、未観察の領域を、管状体の画像上に識別可能となるように表示する装置を開示している。【０００３】
しかしながら、上記従来例は、視点から観察される部位までの距離が異なるような場合の区別をしないため、術者が実質的に観察した観察済みの状態であるか、遠方から単に視野内に入ったために観察済みとなり、術者が実質的には観察していない状態に近いか否かの判定ができないために、識別した場合の有効性が低い欠点がある。 
このため、視点から観察対象の臓器内壁までの距離情報に応じた指標等から実質的に観察した観察済みの状態であるか否かが容易に判断できるようにすることが望まれる。 
本発明は上述した点に鑑みてなされたもので、実質的に観察した観察済みの状態であるか否かを判断し易い画像を生成することができる医療装置を提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【０００４】
本発明の一態様の医療装置は、所定の管腔臓器内に設けられた所定の視点の位置情報と視線方向情報を取得する情報取得部と、前記位置情報及び前記視線情報を、所定の管腔臓器の３次元画像情報の座標系に合わせ込む位置合わせ部と、前記位置合わせ部によって前記３次元画像情報に対して合わせ込まれた前記位置情報及び前記視線情報に基づき、前記所定の視点の視線方向を延長したときに前記所定の管腔臓器の内壁と交差する位置を算出する位置算出部と、前記位置算出部の位置と前記所定の視点までの距離情報を算出する距離算出部と、前記距離算出部によって取得された前記距離情報に基づき規定される指標を生成する指標生成部と、前記位置算出部の算出結果に基づき、前記所定の管腔臓器の３次元画像又は当該所定の管腔臓器を展開した２次元モデル画像上において、前記指標と前記内壁の位置情報とを関連付けた画像を生成する画像生成部と、を備える。
【図面の簡単な説明】
【０００５】
【図１】図１は本発明の第１の実施形態の医療装置の全体構成を示す図。
【図２】図２は図１における画像処理装置等の構成を示すブロック図。
【図３】図３は２Ｄモデル画像上に観察された視野範囲を表す指標を表示した関連付け画像を示す図。
【図４】図４は膀胱を球体で近似した３Ｄ画像上に設定した第２の座標系等を示す図。
【図５】図５はモニタに表示される内視鏡画像と、２Ｄモデル画像上及び３Ｄ画像上の関連付け画像とを示す図。
【図６Ａ】図６Ａは膀胱の内壁を視点からの距離を変えて観察する観察状態を示す図。
【図６Ｂ】図６Ｂは図６Ａの観察状態に対応して２Ｄモデル画像上に、距離の「変化に応じて表示形態を変化させた指標を付加（重畳）した関連付け画像を示す図。
【図７】図７は第１の実施形態の全体的な動作を示すフローチャート。
【図８】図８は図７におけるステップＳ９の詳細を示すフローチャート。
【図９Ａ】図９Ａは予めテーブルに格納された内容に従って円形の指標を生成する処理を示すフローチャート。
【図９Ｂ】図９Ｂは、図９Ａの動作の説明図。
【図９Ｃ】図９Ｃは、図９Ａの処理において参照される距離の値に応じて設定される半径の指標との関係を格納したテーブルの内容を表形式で示す図。
【図１０Ａ】図１０Ａは視線方向と内壁面との成す角に応じて表示形態を変更する選択がされた場合の処理の一部を示すフローチャート。
【図１０Ｂ】図１０Ｂは、図１０Ａの動作の説明図。
【図１０Ｃ】図１０Ｃは、図１０Ａの処理により２Ｄモデル画像上に指標を表示した関連付け画像を示す図。
【図１１Ａ】図１１Ａは視点から内壁までの距離の値に応じて生成する指標の色を変更した表示形態を２Ｄモデル画像上で示す図。
【図１１Ｂ】図１１Ｂは視線方向と内壁面の垂線との成す角に応じて指標の形状を変更した表示形態を２Ｄモデル画像上で示す図。
【図１１Ｃ】図１１Ｃは内壁上の視野範囲の大きさに応じて指標の大きさを変更した表示形態を２Ｄモデル画像上で示す図。
【図１２】図１２は本発明の第１の実施形態の変形例に係り、第２の座標系において球体の内面上の座標を説明するための図。
【図１３】図１３は先端部の位置と方向ベクトルから第２の座標系における位置Ｐ２と方向V２と、位置Ｐｓとの関係を説明するための説明図。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照して本発明の実施形態を説明する。  
（第１の実施形態）
図１に示すように本発明の第１の実施形態の医療装置１は、被検体としての患者Ｐ内部の所定の管腔臓器（具体例では膀胱Ｂ）内部を観察（又は検査）する内視鏡２と、光源装置３と、プロセッサ４と、画像処理装置５と、モニタ６と、磁場発生装置７とを備えて構成される。医療装置１は、通常光観察と特殊光観察の２つの観察モードで観察する機能を有する。医療装置１のユーザとしての術者は、ベッド８上に仰向け等で載置されている患者Ｐにおける所定の管腔臓器（単に管腔臓器、又は臓器とも言う）としての膀胱Ｂ内部の内視鏡検査を行う。 
内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、ユニバーサルケーブル２ｃとを有する。内視鏡２は、例えば膀胱検査用の内視鏡により構成される。 
さらに、ユニバーサルケーブル２ｃ内には、図２に示すようなライトガイド９が挿通されており、内視鏡２は、光源装置３からの照明光を、ライトガイド９を通して挿入部２ｂの先端部２ｄの照明窓から出射し、挿入部２ｂの先端部２ｄが挿入された被検体内の所定の管腔臓器（としての膀胱Ｂ）内部を照明する。【０００７】
また、図２に示すように、挿入部２ｂの先端部２ｄには、対物光学系１０と、その結像位置に撮像面が配置され、撮像面に結像された光学像を光電変換して撮像信号として出力する撮像素子１１とが設けられている。光源装置３の照明光により照明された膀胱Ｂの内壁は、撮像素子１１により撮像される。従って、対物光学系１０と撮像素子１１は、管腔臓器内部を撮像する撮像部（又は撮像装置）１２を形成する。撮像素子１１により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を介して管腔臓器としての膀胱Ｂ内部の撮像画像を生成するプロセッサ４に入力され、撮像信号は、プロセッサ４内の画像生成回路４ａにおいて画像生成の処理が行われ、膀胱Ｂ内部を撮像した撮像画像としての内視鏡画像が生成される。 
本実施形態においては、プロセッサ４内の画像生成回路４ａは、先端部２ｄに搭載された撮像部１２の撮像素子１１の撮像面に結像された被検体の光学像を電気的な撮像信号に変換して、光学像に対応する撮像画像を生成し、生成された撮像画像はモニタ６における内視鏡画像表示エリアに表示される。図２の構成においては、画像生成回路４ａにより生成した内視鏡画像は、画像処理装置５を経由して例えば図５に示すようにモニタ６の内視鏡画像表示エリアＡ１に、画像処理装置５により生成された他の画像と重畳又は合成して表示される。【０００８】
膀胱Ｂの内壁を撮像する撮像部１２の位置及び撮像する撮像方向（対物光学系１０の光軸方向）が、撮像画像を生成する場合の視点の位置及び視線方向となる。 
プロセッサ４は、観察モードを切り換えるための切換スイッチ４ｂを有し、切換スイッチ４ｂにより指定された観察モード信号は画像生成回路４ａに入力され、画像生成回路４ａは、切換スイッチ４ｂにより指定された観察モードに応じた内視鏡画像を生成する。より具体的には、通常光観察モードが指定された場合には、通常光（としての白色光）の照明の下で撮像した通常光観察画像を生成し、特殊光観察モードが指定された場合には、特殊光観察画像（より狭義には狭帯域光観察画像）を生成する。 
また、切換スイッチ４ｂによる観察モード信号は、光源装置３のＬＥＤ制御回路３ａに入力され、ＬＥＤ制御回路３ａは、観察モードに応じた照明光を生成するように制御する。【０００９】
切換スイッチ４ｂにより、通常光観察モードが指定された場合には、ＬＥＤ制御回路３ａは通常光観察モード用の光源となる白色ＬＥＤ３ｂを発光させるように制御し、特殊光観察モードが指定された場合には、ＬＥＤ制御回路３ａは特殊光観察モード用の光源となる狭帯域の青色ＬＥＤ３ｃを発光させるように制御する。 
狭帯域の青色ＬＥＤ３ｃが発光した場合には、この狭帯域の青色の光が進行する光路上に４５度の角度で配置されたダイクロイックミラー３ｄにより選択的に反射された後、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射され、特殊光観察モード用の照明（より狭義には狭帯域光観察モード用の照明）を行う。 
また、白色ＬＥＤ３ｂが発光した場合の白色光は、その光路上に配置されたダイクロイックミラー３ｄにより、狭帯域の青色の光を除く白色光の殆どが選択的に透過し、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色光を除く白色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射され、通常光観察モード用の照明を行う。【００１０】
また、プロセッサ４（の画像生成回路４ａ）により生成された内視鏡画像は、プロセッサ４からモニタ６へ出力され、例えば図５に示すようにライブの内視鏡画像Ｉｅｎが、モニタ６上に表示される。内視鏡検査を行う術者は、挿入部２ｂの先端部２ｄを患者Ｐの尿道から挿入し、患者Ｐの膀胱Ｂ（図１において点線で示す）内を観察することができる。 
さらに、挿入部２ｂの先端部２ｄには、位置センサとしての磁気センサ１３が配置されている。具体的には、図２に示すように先端部２ｄの撮像部１２を構成する対物光学系１０と撮像素子１１の近傍には、磁気センサ１３が設けられている。この磁気センサ１３は、先端部２ｄにおける撮像部１２の視点となる３次元位置（単に位置）と、その位置での視線方向との検出に利用される。 
図２に示す内視鏡２は、先端部２ｄに搭載された撮像部１２を構成する対物光学系１０の光軸方向が、先端部２ｄの軸方向と平行となるために、撮像部１２の位置及び視線方向は、先端部２ｄの位置及びその軸方向（単に方向）と近似できる。【００１１】
なお、本実施形態は、図２に示すように先端部２ｄに配置された対物光学系１０により、先端部２ｄに配置された撮像素子１１の撮像面に被検体の光学像を結像する内視鏡２の場合に限らず、先端部２ｄに配置された対物光学系１０により結像した光学像を挿入部２ｂの後方（基端）側に伝送し、挿入部２ｂの基端側に配置された撮像素子で撮像する内視鏡の場合にも適用できる。 
この場合を含めた表現としては、撮像部の視点の位置（及び視線方向）の表現を用いるよりも（先端部２ｄに配置された）対物光学系１０の視点の位置（及び視線方向）を用いる方が妥当である。このため、以下においては、主に、視点の位置及び視線方向を対物光学系１０の視点の位置及び視線方向として用いたり、近似的な表現として視点の位置及び視線方向の代わりに（対物光学系１０又は先端部２ｄの）位置及び方向を用いる場合もある。 
図１の拡大図に示すように、磁気センサ１３は、例えば２つのコイル２ｅを有する。磁気センサ１３は、先端部２ｄの位置及び方向を検出するセンサとなる。磁気センサ１３の信号線２ｆは、内視鏡２から延出され、画像処理装置５（内の位置方向取得回路２５）に接続される。【００１２】
磁場発生装置７は既知となる所定の位置において磁場を発生し、磁気センサ１３は、磁場発生装置７が発生する磁場を検出する。磁場の検出信号は、信号線２ｆを介して内視鏡２から画像処理装置５（内の位置方向取得回路２５）に入力される。 
位置方向取得回路２５は、入力された検出信号の振幅と位相とから先端部２ｄに配置された対物光学系１０の視点となる位置及び視線方向の情報としての視点の位置情報（視点位置情報とも言う）と視線方向情報とを取得する情報取得部（又は情報取得回路）２５ａの機能を備える。なお、本実施形態においては、観察対象の管腔臓器は膀胱Ｂの内壁であり、膀胱Ｂは、後述するように球体の３次元（３Ｄ）画像で近似することができる。つまり、膀胱Ｂは、球体で表される３Ｄ画像Ｍ１（図４）で近似される。 
内視鏡２の操作部２ａには、レリーズボタン（又はレリーズスイッチ）１４が設けられている。レリーズボタン１４は、術者等のユーザが内視鏡画像を記録（又は記憶）するときに、押すためのボタンである。レリーズボタン１４が押されると、レリーズボタン操作信号がプロセッサ４へ入力され、プロセッサ４は、レリーズ信号を生成して、画像処理装置５へ出力する。レリーズボタン１４が押されたときの内視鏡画像は、画像処理装置５の後述するメモリ２２に記録（又は記憶）される。【００１３】
また、内視鏡２には、各内視鏡２に固有の識別情報（ＩＤと略記）を発生するＲＯＭ（リードオンリメモリ）等により構成されるＩＤ発生部（図２では単にＩＤと略記）１５を有し、このＩＤ発生部１５は、プロセッサ４を経て画像処理装置５（内の位置方向取得回路２５）に入力される。 
図２に示すように、ＩＤがプロセッサ４を介することなく、画像処理装置５（内の位置方向取得回路２５）に入力されるようにしても良い。位置方向取得回路２５は、ＩＤから対物光学系１０の焦点距離、対物光学系１０による光学像を撮像する撮像素子１１の画素数、ピクセルのサイズ、画角（視野角）等、撮像部１２が撮像する場合の撮像情報を取得する撮像情報取得部（又は撮像情報取得回路）２５ｂの機能を備える。取得された撮像情報を、後述する指標を生成する場合に利用しても良い。 
画像処理装置５は、中央処理装置（以下、ＣＰＵという）２１と、メモリ２２と、表示インターフュース（以下、表示Ｉ／Ｆと略す）２３と、画像取込回路２４と、位置方向取得回路２５と、駆動回路２７とを備える。ＣＰＵ２１と、メモリ２２と、表示Ｉ／Ｆ２３と、画像取込回路２４と、位置方向取得回路２５とは、バス２８を介して互いに接続されている。【００１４】
また、医療装置１は、画像処理装置５に対して、ユーザが各種の情報の入力や選択するための入力を行う入力装置３０を有する。 
ＣＰＵ２１は、画像処理装置５内の各部の処理を制御する制御部を構成すると共に、位置方向取得回路２５が取得した視点の位置情報と視線方向情報と撮像情報を用いて、先端部２ｄに配置された対物光学系１０の視点と、この視点から（少なくとも）視線方向上となる管腔臓器としての膀胱Ｂの内壁（面）に交差する位置（又は位置を含む位置情報）を算出する位置算出部を形成する位置算出回路２１ｃを備える。【００１５】
距離算出回路２１ａは、前記視点から位置算出回路２１ｃにより算出された位置までの距離（又は距離を含む距離情報）を算出する。ＣＰＵ２１は、距離算出回路２１ａによって算出された距離情報に基づき規定（又は決定）される指標を生成する指標生成部を形成する指標生成回路２１ｂと、を備える。 なお、距離算出回路２１ａの外部に位置算出回路２１ｃを備える構成にしても良いし、位置算出回路２１ｃが距離算出回路２１ａの機能を含む構成にしても良い。【００１６】
また、ＣＰＵ２１は、管腔臓器の３Ｄ画像（又はその近似画像としての３Ｄモデル画像）Ｍ１と、該管腔臓器を展開した二次元（２Ｄ）画像のモデル画像としての２Ｄモデル画像Ｍ２とを生成する３Ｄ／２Ｄ画像生成回路２１ｄと、３Ｄ画像Ｍ１又は２Ｄモデル画像Ｍ２上において、上記指標と、該指標を生成した場合の管腔臓器の内壁上の位置（情報）とを関連付けた画像（関連付け画像とも言う）を生成する画像生成部を形成する画像生成回路２１ｅとを有する。なお、管腔臓器が膀胱Ｂの場合には、２Ｄモデル画像Ｍ２を膀胱シェーマ又は単にシェーマとも言う。 
画像生成回路２１ｅは、例えば図５に示すように２Ｄモデル画像Ｍ２上において指標Ｍｋ１を重畳した（関連付け）画像を生成すると共に、３Ｄ画像Ｍ１上において指標Ｍｋ２を重畳した（関連付け）画像を生成するようにしても良い。 
或いは、画像生成回路２１ｅは、図３に示すようには、２Ｄモデル画像Ｍ２上において指標Ｍｋ１を重畳した（関連付け）画像を生成するようにしても良い。【００１７】
また、ＣＰＵ２１は、位置方向取得回路２５が取得した視点の位置情報と視線方向情報を取得した際に、磁場発生装置７を基準とした座標系としての第１の座標系（X０Y０Z０）（図１参照）から膀胱の入り口を基準とする中間座標系（X１Y１Z１）（図１参照）に変換する座標変換回路２１ｆの機能を持つ。 
なお、後述するように座標変換回路２１ｆは、中間座標系（X１Y１Z１）から第２の座標系（X２Y２Z２）に変換する機能も備える。従って、座標変換回路２１ｆは、第１の座標系（X０Y０Z０）から第２の座標系（X２Y２Z２）に変換する機能を持つ。また、２つの座標系間において座標変換する場合、両座標系において既知となる位置において変換係数、変換行列等を決定する位置合わせの処理を行う位置合わせ部を形成する位置合わせ回路２１ｇの機能を持つ。 
座標変換回路２１ｆは、例えば膀胱Ｂの入口の位置（図４でＰＲ）と方向を位置合わせの基準位置と基準方向と決定し、次の式（１）と式（２）に従って、位置方向取得回路２５の位置方向情報を、膀胱Ｂの入口を基準とする中間座標系（X１Y１Z１）の位置方向情報に変換する。【００１８】
Ｐ１＝Ｒ０１Ｐ０＋Ｍ０１              ・・・式（１）
Ｖ１＝Ｒ０１Ｖ０                    ・・・式（２）
ここで、Ｐ０とＶ０は、それぞれ、磁場発生装置７を基準とする座標系である第１の座標系（X０Y０Z０）における位置（のベクトル表記）と（大きさが１の）方向ベクトルである。Ｒ０１は、次の式（３）で示される回転行列であり、Ｍ０１は、次の式（４）で示される並進行列である。 
［数３］
2016076262.tif 000003
［数４］
2016076262.tif 000004
よって、第１の座標系（X０Y０Z０）上の点（ｘ０，ｙ０，ｚ０）は、次の式（５）に示すように、中間座標系（X１Y１Z１）上の点（ｘ１，ｙ１，ｚ１）に変換される。【００１９】
［数５］
2016076262.tif 000005
内視鏡２の先端部２ｄ（の対物光学系１０）の膀胱Ｂ内への挿入が検出されたときに位置方向取得回路２５により取得される位置と方向のベクトルをＰ´0、Ｖ´0とすると、並進行列Ｍ０１は以下の式（６）により求められる。 
Ｍ０１＝−Ｐ´0                  ・・・式（６）
また、回転行列Ｒ０１は以下の条件を満たすように求める。回転行列Ｒ０１の満たす条件は、Ｚ1軸が重力方向と平行であること、及びＺ1軸に対して垂直なX1Y1平面にV´0を投影し、その投影したベクトル方向をY1軸、Y1Z1平面に垂直なベクトルをX1軸とする、ことである。 
更に、上記座標変換回路２１ｆは、次の式（７）と式（８）に従って、中間座標系（X１Y１Z１）の位置ベクトルと方向ベクトルを、球形の３Ｄ画像Ｍ１の中心Ｏ２を基準とする第２の座標系（X２Y２Z２）における位置ベクトルと方向ベクトルに変換する。図４は、中間座標系（X１Y１Z１）と第２の座標系（X２Y２Z２）の関係を説明するための図である。【００２０】
Ｐ２＝Ｒ１２Ｐ１＋Ｍ０２                ・・・式（７）
Ｖ２＝Ｒ１２Ｖ１                    ・・・式（８）
ここで、Ｐ１、Ｖ１は、それぞれ、中間座標系（X１Y１Z１）における任意の位置における位置（ベクトル）と方向ベクトルであり、Ｐ２、Ｖ２は、それぞれ、第２の座標系（X２Y２Z２）に変換された場合の位置ベクトルと方向ベクトルである。 
Ｐ０、Ｖ０を位置方向取得回路２５から算出される先端部２ｄの対物光学系１０の視点の位置を表す位置（ベクトル）、視線方向の方向ベクトルに設定すると、Ｐ０、Ｖ０は、Ｐ１、Ｖ１に変換され、更に該Ｐ１、Ｖ１は、Ｐ２とＶ２に変換される。 
つまり、Ｐ０、Ｖ０を視点の位置、視線方向の方向ベクトルとして取得すると、対応するＰ２、Ｖ２は、第２の座標系（X２Y２Z２）における対物光学系１０の視点Ｐｖの位置ベクトル（Ｐｖで兼用）、視線方向Ｖの方向ベクトル（Ｖで兼用）となる。Ｒ１２は、次の式（９）で示される回転行列であり、Ｍ０２は、次の式（１０）で示される並進行列である。【００２１】
［数９］
2016076262.tif 000006
［数１０］
2016076262.tif 000007
よって、中間座標系（X１Y１Z１）上の点（ｘ１，ｙ１，ｚ１）は、次の式（１１）に示すように、第２の座標系（X２Y２Z２）上の点（ｘ２，ｙ２，ｚ２）に変換される。 
［数１１］
2016076262.tif 000008
X1Y1Z1座標系をY1軸方向にR2移動した場合、並進M12と回転R12は、それぞれ、式（１２）と式（１３）のようになる。【００２２】
［数１２］
2016076262.tif 000009
［数１３］
2016076262.tif 000010
以上のように、磁場発生装置７の第１の座標系（X０Y０Z０）における位置Ｐ０は、式（５）と式（１１）より、３Ｄ画像Ｍ１の中心Ｏ２を基準とする第２の座標系（X２Y２Z２）の位置Ｐ２に変換され、第１の座標系（X０Y０Z０）における方向V０は、次の式（１４）に従って、第２の座標系（X２Y２Z２）の方向V２に変換される。 
V２＝Ｒ１２Ｒ０１V０                ・・・式（１４）
また、図４は、内視鏡２の挿入部２ｂが膀胱Ｂ内に挿入された様子を３Ｄ画像Ｍ１で示し、対物光学系１０の視点Ｐｖの位置から視線方向Ｖが交差する球体の内壁面（膀胱Ｂの内壁面）の位置も第２の座標系（X２Y２Z２）を用いて扱うことができる。【００２３】
第２の座標系（X２Y２Z２）の原点となる中心Ｏ２は、膀胱Ｂへの入口となる頸部ＰＲとその対向部位ＰＴとを結ぶ線分の中点の位置となる。また、第２の座標系（X２Y２Z２）は、膀胱Ｂにおける左壁側がＸ２方向、右壁側が−Ｘ２方向、患者Ｐの前壁（腹部）側がＺ２方向、患者Ｐの後壁（背中）側が−Ｚ２方向となるように設定される。 
また、図３又は図５に示す２Ｄモデル画像Ｍ２は、図４に示す３Ｄ画像（で近似される膀胱Ｂの内壁面）をＸ２，Ｙ２を含む平面に沿って展開、又は投影したものとなる。図５中の２Ｄモデル画像Ｍ２においては、上記の代表的な領域となる頸部ＰＲ、頸部ＰＲに対応する頂部（Top）、左側壁（Left）、右側壁（Right）、前壁（Front）、後壁（Back）、を示している。 
図４に示すように先端部２ｄの対物光学系１０の第２の座標系（X２Y２Z２）における視点Ｐｖの位置と視線方向Ｖが決定すると、撮像素子１１の撮像面１１ａの中心位置に結像される（膀胱Ｂを表す）球体の内壁面上の位置Ｐｓは、以下のように球体の半径Ｒを用いて求める。次の式（１５）と式（１６）を満たす係数ｋを算出し、第２の座標系（X２Y２Z２）における位置Ｐｓの座標位置を求める。【００２４】
Ｐｓ＝Ｐｖ＋ｋＶ                ・・・式（１５）
｜Ｐｓ｜＝Ｒ                    ・・・式（１６）
位置算出回路２１ｃは、式（１５）、式（１６）を用いて、各視点Ｐｖにおいてその視線方向Ｖ上となる内壁の位置Ｐｓを算出する。また、この位置Ｐｓが算出されると、距離算出回路２１ａは、｜Ｐｖ−Ｐｓ｜を算出して、視点Ｐｖから内壁までの距離（情報）を算出する。膀胱Ｂの形状を半径Ｒの球体（Ｒの値を所定の値）としたが、例えば、操作者が先端部２ｄを膀胱の入り口から距離が最大になる膀胱の内壁（例えば、頂部）に接触させて球体の半径の値を設定しても良い。 
図２に示すメモリ２２は、ＲＯＭ、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリなどを用いて形成され、このメモリ２２は、ＣＰＵ２１により実行される各種処理プログラム及び各種データを記憶し、さらに、画像生成回路４ａにより生成された内視鏡画像の情報、位置方向取得回路２５により取得された位置情報と視線方向情報なども記憶する。【００２５】
つまり、メモリ２２は、内視鏡画像の情報を記憶する内視鏡画像記憶部２２ａと、視点の位置情報及び視線方向情報を記憶する位置方向情報記憶部２２ｂとを有する。 
膀胱Ｂは、球体の３次元（３Ｄ）画像で近似することができ、球体を表す半径等のパラメータが、３Ｄ画像Ｍ１として、メモリ２２内における患者画像情報記憶部２２ｃに格納される。また、管腔臓器としての膀胱Ｂの３次元画像を展開した２Ｄモデル画像Ｍ２の画像情報もメモリ２２内における患者画像情報記憶部２２ｃに格納される。 
このため、患者画像情報記憶部２２ｃは、３Ｄ画像Ｍ１及び２Ｄモデル画像Ｍ２の３Ｄ／２Ｄ画像記憶部２２ｄの機能を持つ。なお、メモリ２２における患者画像情報記憶部２２ｃ以外の記憶エリアに３Ｄ／２Ｄ画像記憶部２２ｄを形成しても良い。【００２６】
メモリ２２内に格納された３Ｄ画像Ｍ１と２Ｄモデル画像Ｍ２は、例えばＣＰＵ２１により読み出され、表示Ｉ／Ｆ２３を介してモニタ６に表示される。また、本実施形態においては、例えば図３，図５に示すように、２Ｄモデル画像Ｍ２上において視点から視線方向に沿って観察した膀胱Ｂの内壁上の領域を指標Ｍｋ１により表した画像（又は指標Ｍｋ１を付加した画像又は指標Ｍｋ１を重畳した画像）を生成し、モニタ６の表示画面で表示する。術者はこの画像を見ることにより、膀胱Ｂ内を観察した観察状態を把握できる。 
尚、ここでは患者画像情報記憶部２２ｃから読み出した３Ｄモデル画像Ｍ１と２Ｄモデル画像Ｍ２を説明したが、３Ｄモデル画像Ｍ１と２Ｄモデル画像Ｍ２の取得方法はこれに限られるものではない。例えば、３Ｄ／２Ｄ画像生成回路２１ｄが撮像部１２が撮像した内視鏡画像Ienに基づいた観察位置、視線方向データを用いて、内視鏡２の撮像部１２により撮像（観察）された２次元画像データに対応する３Ｄモデル画像Ｍ１や２Ｄモデル画像Ｍ２を生成するようにしても良い。【００２７】
この場合、３Ｄ／２Ｄ画像生成回路２１ｄは例えば日本国特許第５３５４４９４号の公報に記載された方法や、この公報以外に公知となるShape from Shading 法のように１枚の２次元画像から対応する３Ｄ形状を推定しても良い。また、２枚以上の画像を用いるステレオ法、単眼移動視による３次元形状推定法、ＳＬＡＭ法、位置センサと組み合わせて３Ｄ形状を推定する手法でも良い。また、３Ｄ形状を推定する場合、外部のＣＴ装置等の断層像取得装置から取得した３Ｄ画像データを参照して３Ｄ形状データを構築するようにしても良い。【００２８】
また、図５に示すように２Ｄモデル画像Ｍ２上において指標Ｍｋ１を付加した画像を表示すると共に、３Ｄ画像Ｍ１上においても指標Ｍｋ２を付加した画像を表示するようにしても良い。 
図５の表示例においては、モニタ６は、内視鏡画像表示エリアＡ１に内視鏡画像Ｉｅｎ、２Ｄモデル画像表示エリアＡ２には、２Ｄモデル画像Ｍ２と共に、該２Ｄモデル画像Ｍ２上において指標Ｍｋ１を重畳した画像、３Ｄ画像表示エリアＡ３に３Ｄ画像Ｍ１と共に、３Ｄ画像Ｍ１上において指標Ｍｋ２を重畳した画像を表示する。【００２９】
図５においては、２Ｄモデル画像Ｍ２上における指標Ｍｋ１と、３Ｄ画像Ｍ１上における指標Ｍｋ２とは対応するために、術者は両方を参照することにより確実に観察状態を把握することができる。勿論、一方の画像から観察状態を把握することもできる。 
メモリ２２の３Ｄ／２Ｄ画像記憶部２２ｄは、時系列に指標Ｍｋ１が付加された２Ｄモデル画像Ｍ２、指標Ｍｋ２が付加された３Ｄ画像Ｍ１も順次記憶する。 
図２に示す画像取込回路２４は、プロセッサ４において生成された内視鏡画像を、一定の周期で取り込む処理を行う画像取込部の機能を有する。画像取込回路２４は、例えば、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、プロセッサ４から取得する。また、画像取込回路２４は、プロセッサ４からのレリーズ信号も受信する。【００３０】
位置方向取得回路２５は、磁場発生装置７を駆動する駆動回路２７を制御して、磁場発生装置７に所定の磁場を発生させ、その磁場を磁気センサ１３により検出し、その検出された磁場の検出信号から、対物光学系１０の視点となる位置座標（ｘ、ｙ、ｚ）と視線方向となる配向（すなわちオイラー角（ψ、θ、φ））のデータ、すなわち視点の位置情報及び視線方向情報を第１の座標系（X０Y０Z０）においてリアルタイムで生成する。すなわち、位置方向取得回路２５は、磁気センサ１３からの位置情報及び方向情報を取得して、対物光学系１０の視点の位置情報と視線方向情報（簡略化して位置視線方向情報、又は位置方向情報とも言う）とを取得する情報取得部を構成する。 
ＣＰＵ２１は、画像取込回路２４が取り込んだ内視鏡画像（の情報）と、位置方向取得回路２５が検出した位置方向情報から算出された位置方向情報とを（例えば座標変換回路２１ｆにより球体の中心Ｏ２を基準とした第２の座標系（X２Y２Z２）に変換した後）関連付けた関連付け情報を、メモリ２２に記憶する。なお、第２の座標系（X２Y２Z２）に変換しない状態でメモリ２２に記憶しても良い。【００３１】
メモリ２２は、画像取込回路２４が取り込んだ上記内視鏡画像と、該内視鏡画像を取り込んだ際の位置方向情報とを関連付ける関連付け情報を、メモリ２２内の例えば３Ｄ／２Ｄ画像記憶部２２ｄに記憶しても良い（図２の図示例）し、又はメモリ２２における内視鏡画像記憶部２２ａ又は位置方向情報記憶部２２ｂが関連付け情報記憶部の機能を持つようにしても良い。又は、メモリ２２とは別体の記憶デバイスにより関連付け情報記憶部を形成しても良い。【００３２】
図６Ａは膀胱Ｂ内部に内視鏡２の挿入部２ｂの先端部２ｄを挿入し、先端部２ｄ内の対物光学系１０等により膀胱Ｂの内壁を観察する様子を示し、図６Ｂは図６Ａの観察状態に対応して、２Ｄモデル画像Ｍ２上に、指標が付加された（関連付け）画像が生成される様子を示す。 
膀胱Ｂの内壁は、中心をＯ２とした半径Ｒの球体で近似され、また、内壁上の各位置は、中心Ｏ２を基準（原点）とした第２の座標系（X２Y２Z２）により扱い易くなる。【００３３】
また、上述したように先端部２ｄに配置された対物光学系１０の視点Ｐｖの位置及び視線方向（光軸方向）Ｖの情報は、位置方向取得回路２５を用いて算出され、第２の座標系（X２Y２Z２）の情報に変換された後、内視鏡画像と関連付けて記憶される。また、位置方向取得回路２５（の撮像情報取得部２５ｂ）は、対物光学系１０の焦点距離ｆ、撮像素子１１の画素数、画角等の撮像情報を取得する。 
図６Ａに示す例では、例えば視点（の位置）をＰｖａからＰｖｂに変えると共に、視点から内壁までの距離をＬａからＬｂに変えて観察する様子を示す。図６Ａに示すように視点から内壁までの距離Ｌａが大きい場合には、内壁上における視野範囲（観察される観察範囲）Ａａが大きくなり、距離が小さい場合には、内壁上における視野範囲（観察される範囲）Ａｂが小さくなる。 
このように距離に応じて内壁上における視野範囲（観察範囲）が変化するために、本実施形態においては、指標生成回路２１ｂは、距離の大きさに応じて、又は内壁上における視野範囲の大きさに応じて指標の表示形態、具体的には指標の表示色を変更する。このため、指標生成回路２１ｂは、距離の大きさ、又は視野範囲の大きさに応じて指標の表示色を変更する指標色変更部（指標色変更回路）の機能を持つ。また、図６Ｂに示すように指標生成回路２１ｂは、距離の大きさ、又は視野範囲の大きさに応じて指標の大きさ（サイズ）を変更する指標サイズ変更部（指標サイズ変更回路）の機能を持つ。【００３４】
図６Ａの観察状態に対応して、例えば２Ｄモデル画像Ｍ２上には、図６Ｂに示すように指標Ｍｋ１が生成される。 
図６Ｂに示す２Ｄモデル画像Ｍ２上の指標Ｍｋ１は、図６Ａにおける視点Ｐｖａから視線方向Ｖ上となる内壁上の位置Ｐｓを中心とした領域Ａａに対応する指標Ｍｋ１＿Ａａと、視点Ｐｖｂから視線方向Ｖ上となる内壁上の位置Ｐｓを中心とした領域Ａｂに対応する指標Ｍｋ１＿Ａｂと、からなる。 
また、２Ｄモデル画像Ｍ２上の指標Ｍｋ１＿Ａａ、指標Ｍｋ１＿Ａｂは、内壁上の位置Ｐｓに対応した２Ｄモデル画像Ｍ２上の位置（図６ＢではＰｓ′）に、領域Ａａ、領域Ａｂに対応したサイズでそれぞれ生成される。又は、指標Ｍｋ１＿Ａａ、指標Ｍｋ１＿Ａｂは、内壁上の領域Ａａ、領域Ａｂに対応した２Ｄモデル画像Ｍ２上の領域に（領域Ａａ、領域Ａｂのサイズを反映したサイズで）それぞれ生成される。 
図６Ａでは、簡単化のために、視線方向Ｖが同じ状態で距離を変えた場合を示すが、視線方向Ｖが異なれば、内壁上の位置Ｐｓも異なり、従って２Ｄモデル画像Ｍ２上の指標Ｍｋ１＿Ａａ、Ｍｋ１＿Ａｂの中心位置、領域も異なる。【００３５】
また、図６Ｂに示すように２Ｄモデル画像Ｍ２上において指標Ｍｋ１＿Ａａ、Ｍｋ１＿Ａｂが重なるような場合においては、距離がより小さい状態で観察した観察済みの領域を示す指標Ｍｋ１＿Ａｂが上側となるように指標が生成され、かつ表示される。 
また、図６Ｂに示すように内壁までの距離に応じて、それぞれ異なる色で指標を表示する画像を生成する。 
このため、指標生成回路２１ｂ又は指標生成回路２１ｂにより生成された指標を３Ｄ画像Ｍ１又は２Ｄモデル画像Ｍ２において重畳する画像生成回路２１ｅは、内壁までの距離を、予め用意された複数の距離範囲のいずれの距離範囲に属する（又は含まれる）かの判定部の機能を持つ。図６Ｂに示す例では、３Ｄ画像Ｍ１又は２Ｄモデル画像Ｍ２において重畳する指標を表示する場合の距離範囲Ｌｓを、例えばＬｓ≧Ｌ５＞Ｌ４＞Ｌ３＞Ｌ２＞Ｌ１の５個の距離範囲Ｌｉ（ｉ＝１，２，…，５）に区分けする。【００３６】
そして、算出された距離Ｌが最も小さい距離範囲Ｌ１以内では赤、次に大きい距離範囲Ｌ２では橙、次に大きい距離範囲Ｌ３では黄、次に大きい距離範囲Ｌ４では緑、次に大きい距離範囲Ｌ５では青の色を割り当てる。図６Ｂに示すように２Ｄモデル画像Ｍ２上に、指標Ｍｋ１を表示した場合、指標の表示形態を表す色がどの距離範囲に含まれるかを示すカラーバーＣを、指標Ｍｋ１の周辺に表示する。カラーバーＣにおける赤など色の左側の斜線は、実際には赤などの色が割り当てられる。 
なお、図６ＢではカラーバーＣ内での矢印により、暖色系の色程、距離が小さい（内壁に近い）ことを示している。図６Ｂに示すように５個の距離範囲に区分けする場合に限定されるものでなく、より少ない個数、又はより多い個数に区分けしても良い。また、術者等のユーザが入力装置３０から区分けする個数を選択することができるようにしても良い。【００３７】
また、後述するように、視点Ｐｖから視線方向Ｖ上となる内壁の位置Ｐｓまでの距離Ｌに応じて、予め設定したテーブルから算出される半径ｒの指標を２Ｄモデル画像（膀胱シェーマ）Ｍ２上等に表示するようにしても良い。 
このため、距離Ｌの値と、対応する指標の半径ｒの大きさとを対応付けた上記テーブルを例えばメモリ２２が格納しても良い。メモリ２２以外の記憶デバイスが上記テーブルを備える構成にしても良い。例えば指標生成回路２１ｂ又は画像生成回路２１ｅがテーブルを有する記憶デバイスを備える構成にしても良い。また、図２においてはＣＰＵ２１を用いて距離算出回路２１ａ、指標生成回路２１ｂ、位置算出回路２１ｃ、３Ｄ／２Ｄ画像生成回路２１ｄ、画像生成回路２１ｅ、座標変換回路２１ｆ、位置合わせ回路２１ｇを形成した構成を示しているが、専用の電子回路等のハードウェアを用いて構成しても良い。【００３８】
本発明の第１の実施形態の医療装置１は、所定の管腔臓器の形状を表す情報を記録する記憶部を形成する患者画像情報記憶部２２ｃ（又はメモリ２２）と、前記所定の管腔臓器内に設けられた所定の視点の位置情報と視線方向情報を取得する情報取得部を形成する位置方向取得回路２５と、前記位置情報及び前記視線情報を、所定の管腔臓器の３次元画像情報の座標系に合わせ込む位置合わせ部を形成する位置合わせ回路２１ｇと、前記位置合わせ部によって前記３次元画像情報に対して合わせ込まれた前記位置情報及び前記視線情報に基づき、前記所定の視点の視線方向を延長したときに前記所定の管腔臓器の内壁と交差する位置を算出する位置算出部を形成する位置算出回路２１ｃと、前記位置算出部の位置と前記所定の視点までの距離情報を算出する距離算出部を形成する距離算出回路２１ａと、前記距離算出部によって取得された前記距離情報に基づき規定される指標を生成する指標生成部を形成する指標生成回路２１ｂと、前記位置算出部の算出結果に基づき、前記所定の管腔臓器の３次元画像又は当該所定の管腔臓器を展開した２次元モデル画像上において、前記指標と前記内壁の位置情報とを関連付けた画像（関連付け画像）を生成する画像生成部を形成する画像生成回路２１ｅと、を備えることを特徴とする。【００３９】
次に本実施形態の動作を図７のフローチャートを参照して以下に説明する。 
医療装置１が動作状態になると、最初のステップＳ１において、術者は初期設定を行う。術者は、入力装置３０から、膀胱Ｂ内を観察する場合において、観察済みの領域であることを示す指標を表示するか否かの条件（具体例としては視点から膀胱Ｂの内壁までの距離の閾値ＴＬ）を設定する。閾値ＴＬが設定されると、この閾値ＴＬ以内の距離範囲において、指標が生成される。術者は、術者の判断においてこの閾値ＴＬを設定できるが、予め用意された設定値（例えば後述する３０ｍｍ）を用いるようにしても良い。 
次のステップＳ２において術者は、内視鏡２を患者Ｐの尿道内に挿入し、既知となる位置において、座標系の位置合わせを行う。先端部２ｄの磁気センサ１３に対して位置方向取得回路２５が取得する位置情報及び視線方向情報は、第１の座標系（X０Y０Z０）の下での情報となるために、膀胱Ｂ内で用いる第２の座標系（X２Y２Z２）との位置合わせを行う。【００４０】
本実施形態においては、第１の座標系（X０Y０Z０）と、中間座標系（X１Y１Z１）との位置合わせを行い、さらに中間座標系（X１Y１Z１）と、第２の座標系（X２Y２Z２）との位置合わせを行うことにより第１の座標系（X０Y０Z０）と第２の座標系（X２Y２Z２）との位置合わせを行う。これにより、位置方向取得回路２５が取得する位置情報及び視線方向情報は、座標変換回路２１ｆにより第２の座標系（X２Y２Z２）における位置情報及び視線方向情報に変換される状態となる。 
次のステップＳ３において術者は、内視鏡２の先端部２ｄを膀胱Ｂ内に挿入する。ステップＳ４に示すように位置方向取得回路２５は、先端部２ｄの対物光学系１０の視点と視線方向の情報を取得し、ステップＳ５に示すように座標変換回路２１ｆは、この情報を第２の座標系（X２Y２Z２）における視点と視線方向の情報に変換する。 
次のステップＳ６において距離算出回路２１ａは、視線方向上となる膀胱Ｂの内壁の位置（図４の位置Ｐｓ）を算出し（上述した式（１５）、（１６））、視点から内壁（上の位置）までの距離Ｌ（図６ＡではＬａ又はＬｂ）を算出する。【００４１】
次のステップＳ７において距離算出回路２１ａは、算出した距離Lが閾値ＴＬ以内か否かを判定する。距離Lが閾値ＴＬ以内と判定した場合には、次のステップＳ８において指標生成回路２１ｂは、距離Ｌに応じた（表示形態としての）色の指標を生成する。例えば図６Ｂに示す指標Ｍｋ１＿Ａｂのような色の指標を生成する。 
次のステップＳ９において画像生成回路２１ｅは、２Ｄモデル画像Ｍ２上と３Ｄ画像Ｍ１上とにおいて、内壁上の視野範囲に対応した領域に指標を付加（又は重畳）した画像を生成する。生成された画像は表示Ｉ／Ｆ２３を経てモニタ６に出力され、次のステップＳ１０に示すようにモニタ６の表示画面上に表示される。また、ステップＳ１１においてメモリ２２は、ステップＳ９において生成された画像を記憶する。ステップＳ１１の処理の後のステップＳ１２においてＣＰＵ２１は、入力装置３０から観察終了の指示が入力されたか否かを判定し、入力されない場合には、ステップＳ４の処理に戻り、入力された場合には、図７の処理を終了する。【００４２】
上記ステップＳ７において距離が閾値ＴＬより大きい判定結果の場合にはステップＳ１３においてＣＰＵ２１は、入力装置３０の指標生成スイッチ３０ａがＯＮされたか否かを判定し、ＯＮされていない場合には、ステップＳ４の処理に戻る。 
一方、入力装置３０の指標生成スイッチ３０ａがＯＮされた場合には、次のステップＳ１４において指標生成回路２１ｂは、距離Ｌの値に応じた（表示形態としての）色の指標を生成し、ステップＳ９の処理に移る。ステップＳ１４の場合は、例えば図６Ａにおいて視点をＰｖｃで示し、この場合には、Ｌｃで示す距離が閾値ＴＬよりも大きな値となる。そして、この場合の内壁上における視野範囲を形成する領域Ａｃは広い領域となり、図６Ｂにおける２点鎖線で示すようにこの視野範囲Ａｃに対応する２Ｄモデル画像Ｍ２上の領域が特定の色（例えば紫の色）の指標Ｍｋ１＿Ａｃで表示される。 
図８は、図７におけるステップＳ９の詳細を示す。ステップＳ９の処理が開始すると、ステップＳ２１において画像生成回路２１ｄは、メモリ２２に記憶された時間的に以前に生成された過去の（関連付け）画像、つまり過去の指標が付加された画像を読み出す。【００４３】
次のステップＳ２２において画像生成回路２１ｄは、現在の指標、つまりステップＳ９の直前のステップＳ８において生成された現在の観察状態の指標が過去の指標と重なるか否かを判定する。重なる判定結果の場合には次のステップＳ２３において画像生成回路２１ｄは、距離が小さい方の指標が上側となるように、換言すると距離範囲が小さい方の指標が上側となるように、現在の指標を過去の指標に重ねた画像を生成する。そして、図８の処理を終了する。ステップＳ２３の処理は、図６Ｂに示した内容となる。 
一方、ステップＳ２２において、重ならない場合には、ステップＳ２４において画像生成回路２１ｄは、現在の指標を過去の指標に追加して現在の画像を生成し、図８の処理を終了する。 
なお、上述の実施形態においては、指標を２Ｄモデル画像Ｍ２上と３Ｄ画像Ｍ１上とにおいて付加する場合で説明したが、指標を２Ｄモデル画像Ｍ２上又は３Ｄ画像Ｍ１上において付加するようにしても良い。【００４４】
図６Ａ、図６Ｂにおいて説明した例では、内壁上での視野範囲にほぼ一致する大きさの指標を生成する場合を説明したが、図９Ａ等で説明するように、テーブルに格納されたデータを参照することにより、算出された距離Ｌの値から自動的に指標の大きさ（より具体的には指標の円形サイズ）を決定するようにしても良い。 
図９Ａは、距離Ｌに応じて指標を設定する処理を示し、図９Ｂはその動作の説明図を示し、図９Ｃは、テーブルの内容を示す。 
図９Ａの処理が開始すると、最初のステップＳ４１において位置算出回路２１ｃは、視点Ｐｖから視線方向Ｖ上となる膀胱Ｂの内壁の位置Ｐｓを求め、膀胱シェーマ上での位置Ｐｓに相当する位置Ｘ（図６ＢではＰｓ′）を求める。 
次のステップＳ４２において距離算出回路２１ａは、内視鏡２の先端の視点Ｐｖと位置Ｐｓとの距離Ｌを求める。 
次のステップＳ４３において距離算出回路２１ａは、距離Ｌが予め設定された閾値ＴＬとしての３０ｍｍ以下か否かを判定する。【００４５】
距離Ｌが３０ｍｍ以下の判定結果の場合には次のステップＳ４４において指標生成回路２１ｂは、図９Ｃのテーブルを参照し、距離Ｌに対応する半径ｒを求める。 
次のステップＳ４５において指標生成回路２１ｂ又は画像生成回路２１ｅは、シューマ上に位置Ｘを中心とした半径ｒの指標Ｍｋ１を描く（付加する）。このステップＳ４５の処理の後、ステップＳ４１の処理に戻る。なお、ステップＳ４３において距離Ｌが３０ｍｍより大きい場合にもステップＳ４１の処理に戻る。 
図９Ｂの図示例では、内壁面に垂直な視野方向Ｖから内壁を観察した場合には内壁上の視野範囲に近い半径ｒの円形の指標Ｍｋ１を生成する場合を示しているが、内壁面に垂直でない場合に対しても距離Ｌの値から自動的に生成する指標のサイズを設定（決定）する。このために、簡単かつ短時間に指標Ｍｋ１を生成できる。また、術者は、殆どリアルタイムで、内壁の観察範囲を確認できる。【００４６】
このように動作する本実施形態によれば、管腔臓器としての膀胱Ｂの内壁を観察する場合、内壁を観察する観察状態を反映する距離に応じた表示形態の指標を２Ｄモデル画像Ｍ２上又は３Ｄ画像Ｍ１上とにおいて付加するようにしているので、術者は観察済みとなる領域においても指標の表示形態から実質的に観察した観察済みの状態であるか否かを判断し易い。 
従って、術者は、膀胱Ｂの内壁等の観察対象範囲を観察しようとした場合、２Ｄモデル画像Ｍ２上又は３Ｄ画像Ｍ１上に指標を付加した画像を参照することにより、観察対象範囲内における一部の領域を見逃したり、過度に重複して観察することを防止して、効率良く観察することができる。 
なお上述した実施形態において、例えば図２に示すように入力装置３０に指標の表示形態を選択する表示形態選択部を形成する表示形態選択スイッチ（又はボタン）３０ｂを設け、指標の表示形態を選択することができるようにしても良い。表示形態選択スイッチ３０ｂの選択操作による選択信号は、ＣＰＵ２１に入力され、指標生成回路２１ｂは、選択信号に対応した指標を生成する。 
例えば、術者は、上述した距離又は視野範囲に応じて、指標の色を変えて表示する表示形態の他に、視線方向と、視線方向上に対向する内壁面に直交する垂線との成す角θに応じて指標の表示形態を変えるようにしても良い。 
以下、距離又は（内壁上での）視野範囲の表示形態が選択された状態において、更に視線方向が内壁面の垂線と成す角θに応じて表示形態を変更する選択がされる場合の処理を説明する。この場合には、図７の処理を若干、変更した図１０Ａに示す処理となり、異なる処理の部分のみを説明する。 
図１０Ａは、視線方向が内壁面の垂線と成す角（視線角とも言う）θに応じて表示形態を変更する処理を示す。例えば図７におけるステップＳ９の直前のステップＳ３１においてＣＰＵ２１は、表示形態選択スイッチ３０ｂがＯＮか否かの判定を行う。つまり、ＣＰＵ２１は、視線方向と内壁面との成す角θに応じて表示形態を変更する表示形態選択スイッチ３０ｂがＯＮか否かの判定を行う。【００４７】
視線方向と内壁面との成す角θに応じて表示形態を変更する選択がされた場合には、次のステップＳ３２において指標生成回路２１ｂは、視線方向と内壁面と成す角θを算出する。 
図１０Ｂは、角θを算出する様子を示す。上述した式（１５）と式（１６）から視線方向Ｖ上に対向する内壁面上の位置Ｐｓが位置算出回路２１ｃにより算出される。また、この位置Ｐｓでの内壁の平面は中心Ｏ２を原点とした位置ベクトルＰｓと垂直な面となる。このために、例えば位置算出回路２１ｃは、角θを、π／２−θ′、但しθ′＝arccos（Ｖ・Ｐｓ／｜Ｐｓ｜）により算出する。算出結果は、指標生成回路２１ｂに送られる。 
次のステップＳ３３において指標生成回路２１ｂは、算出された角θが、角θの閾値θｔｈ以下となるか否かを判定する。閾値θｔｈは、例えば８０度〜９５度程度の範囲内に設定される。【００４８】
ステップＳ３３において算出された角θが、閾値θｔｈ以下となる場合には、次のステップＳ３３において指標生成回路２１ｂは、ステップＳ８又はステップＳ１４において生成された指標の形状を角θの値に応じて変形し、変形した指標を画像生成回路２１ｅに送る。指標生成回路２１ｂは、例えば角θが大きい場合には、円形に近い形状の指標を生成し、角θが小さくなる程、扁平した長円形状の指標Ｍｋを生成する。 
図１０Ｃでは、内壁上での視野範囲よりも、例えば１〜２割狭くした長円形状の指標Ｍｋを生成する例を示す。斜めからの観察であるために、その場合の視野範囲全域を観察済みとしないで、その内側となる領域を観察済みの領域として示すように縮小している。この縮小する割合を角θの値に応じて予めテーブルデータにより設定しても良い。 
画像生成回路２１ｅは図７のステップＳ９に示すように入力される指標（本説明の場合ではＭｋ）を用いて２Ｄモデル画像Ｍ２上に指標Ｍｋ１、３Ｄ画像上に指標Ｍｋ２を付加した画像を生成する。【００４９】
図１０Ｃは、図１０Ｂのように視線方向が内壁となす角θが閾値θｔｈより小さい状態で内壁を観察した場合における２Ｄモデル画像Ｍ２上に指標Ｍｋ１を付加した画像を示す。なお、図１０Ｃでは、指標Ｍｋ１′も示し、この指標Ｍｋ１′は、例えば図１０Ｂにおける紙面に垂直な方向から内壁を斜めに観察した場合に相当する指標を表す。 
図１０ＡにおけるステップＳ３１において表示形態の選択がＯＮされていない場合には、（図７の場合と同様に）ステップＳ９の処理に移る。また、ステップＳ３３において角θが閾値θｔｈより大きい場合には内壁面に垂直に近い方向から観察しているので、図７の場合と同様にステップＳ９の処理に移る。 
その他は、図７の場合と同様の処理となる。図１０Ａのような処理を行うことにより、術者は内壁を斜めから観察する状態を識別することができ、術者は図１０Ｃの画像において長円形に表示された領域に対しては、術者の判断により、更に内壁に垂直に近い方向から観察すべきか否かを容易に知ることができる。【００５０】
なお、上述した表示形態選択スイッチ３０ｂによる選択により、図１１Ａ，図１１Ｂ，図１１Ｃのように指標の表示形態を選択できるようにしても良い。 
図１１Ａにおいては、視点から内壁までの距離の値により、例えば一定の大きさの指標の表示色を変更する。 
図１１Ｂにおいては、図１０Ａ〜図１０Ｃに示した場合と類似して、角θが小さい程、指標の形状が円形に近い形状、角θが大きい程、指標の形状が長円形に近い形状にする。 
図１１Ｃは、内壁上の視野範囲に応じて視野範囲が小さい程、指標を小さな半径の円形、視野範囲が大きい程、指標を大きな半径の円形とする。 
また、図１１Ａ〜図１１Ｃにおいて示した指標の表示形態を組み合わせた表示形態を変更しても良い。 
本実施形態では、膀胱Ｂの球体としたが、膀胱Ｂの形状を楕円体、円錐体等の既知の形状としても良い。【００５１】
上述した第１の実施形態では、３Ｄ画像Ｍ１及び２Ｄモデル画像Ｍ２のサイズは、所定の標準サイズであると仮定して、例えば先端部２ｄを頂部に接触させて膀胱の入り口から頂部までの距離を求めることができるようにしているが、撮像された内視鏡画像を２Ｄモデル画像上に貼り付ける位置の精度の向上、及び３Ｄ画像上に表示する先端部２ｄの位置及び形状の精度向上のために、画像処理装置５が有するステレオ計測機能を利用して、患者の膀胱Ｂの形状を測定（計測）し、その測定された形状を３Ｄ画像Ｍ１としてもよい。以下、ステレオ計測機能を利用する変形例を説明する。 
膀胱Ｂの内視鏡画像の位置（図１２では病変部ＡＡの位置Ｐａ（xａ,yａ,zａ））に対応する３Ｄ画像Ｍ１上の位置を膀胱Ｂの形状内に存在する所定の半径Ｒ２の球体内面上に投影するとき、上述した式（１５）と式（１６）は、それぞれ次の式（１７）と式（１８）に置き換えられる。図１２は、第２の座標系（X２Y２Z２）において球体の内面上の座標を説明するための図である。図１３は、先端部２ｄの位置と方向ベクトルから第２の座標系（X２Y２Z２）における位置Ｐ２と方向V２と、内壁面上の位置Ｐｓを説明するための図である。【００５２】
先端部２ｄの第２の座標系（X２Y２Z２）における位置Ｐ２と方向V２が決定すると、得られた内視鏡画像の、球体の内面との交点の座標を求める。そのために、次の式（１７）と式（１８）を満たす係数ｋを算出し、第２の座標系（X２Y２Z２）における位置Ｐｓを求める。
【数１７】
2016076262.tif 000011
【数１８】
2016076262.tif 000012
【００５３】
求めた座標Ｐsの位置に基づいて、第１の実施の形態と同様に２Ｄモデル画像Ｍ２上または３Ｄ画像Ｍ１上に指標を付加する。 
従って、術者は、膀胱Ｂの内壁等の観察対象範囲を観察しようとした場合、２Ｄモデル画像Ｍ２上又は３Ｄ画像Ｍ１上に指標を付加した画像を参照することにより、観察対象範囲内における一部の領域を見逃したり、過度に重複して観察することを防止して、効率良く観察することができる。 
なお、上述した変形例を含む第１の実施形態において説明した内容を部分的に組み合わせて構成される実施形態等も本発明に属する。 
さらに、検査前にＣＴ、ＭＲＩ、超音波等の装置で撮影した画像を利用して膀胱Ｂの内壁形状を取得するようにしても良い。【００５４】
本出願は、２０１４年１１月１１日に日本国に出願された特願２０１４―２２９１０３号を優先権主張の基礎として出願するものであり、上記の開示内容は、本明細書、請求の範囲、図面に引用されたものとする。
【図１】
2016076262.tif 000013
【図２】
2016076262.tif 000014
【図３】
2016076262.tif 000015
【図４】
2016076262.tif 000016
【図５】
2016076262.tif 000017
【図６Ａ】
2016076262.tif 000018
【図６Ｂ】
2016076262.tif 000019
【図７】
2016076262.tif 000020
【図８】
2016076262.tif 000021
【図９Ａ】
2016076262.tif 000022
【図９Ｂ】
2016076262.tif 000023
【図９Ｃ】
2016076262.tif 000024
【図１０Ａ】
2016076262.tif 000025
【図１０Ｂ】
2016076262.tif 000026
【図１０Ｃ】
2016076262.tif 000027
【図１１Ａ】
2016076262.tif 000028
【図１１Ｂ】
2016076262.tif 000029
【図１１Ｃ】
2016076262.tif 000030
【図１２】
2016076262.tif 000031
【図１３】
2016076262.tif 000032
【手続補正書】
【提出日】平成28年5月9日(2016.5.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
本発明の一態様の医療装置は、所定の管腔臓器内にある内視鏡に対して、所定の視点における位置情報と視線方向情報を取得する情報取得部と、前記位置情報及び前記視線方向情報を、所定の管腔臓器の３次元画像情報の座標系に合わせ込む位置合わせ部と、前記位置合わせ部によって前記３次元画像情報に対して合わせ込まれた前記位置情報及び前記視線方向情報に基づき、前記所定の視点から前記所定の管腔臓器の内壁までの距離情報を算出する距離算出部と、前記距離算出部によって算出された前記距離情報に基づき規定される複数の指標を生成する指標生成部と、前記所定の管腔臓器の３次元画像又は前記所定の管腔臓器を展開した２次元モデル画像上において、前記複数の指標と前記内壁の位置情報との関連付けを行い、前記内視鏡の観察状況に応じて前記複数の指標の位置が重なる場合、前記距離情報が小さい指標が優先的に表示されるように関連付けた画像を生成する画像生成部と、を備える。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の管腔臓器内にある内視鏡に対して、所定の視点における位置情報と視線方向情報を取得する情報取得部と、
前記位置情報及び前記視線方向情報を、所定の管腔臓器の３次元画像情報の座標系に合わせ込む位置合わせ部と、
前記位置合わせ部によって前記３次元画像情報に対して合わせ込まれた前記位置情報及び前記視線方向情報に基づき、前記所定の視点から前記所定の管腔臓器の内壁までの距離情報を算出する距離算出部と、
前記距離算出部によって算出された前記距離情報に基づき規定される複数の指標を生成する指標生成部と、
前記所定の管腔臓器の３次元画像又は前記所定の管腔臓器を展開した２次元モデル画像上において、前記複数の指標と前記内壁の位置情報との関連付けを行い、前記内視鏡の観察状況に応じて前記複数の指標の位置が重なる場合、前記距離情報が小さい指標が優先的に表示されるように関連付けた画像を生成する画像生成部と、
を備えることを特徴とする医療装置。
【請求項２】
前記位置合わせ部によって前記３次元画像情報に対して合わせ込まれた前記位置情報及び前記視線方向情報に基づき、前記所定の視点の視線方向を延長したときに前記所定の管腔臓器の内壁と交差する位置を算出する位置算出部を更に備えることを特徴とする請求項１に記載の医療装置。
【請求項３】
前記指標生成部は、前記距離情報に基づき算出される距離の大きさに応じて前記指標の表示形態を変更することを特徴とする請求項１に記載の医療装置。
【請求項４】
前記指標生成部は、前記距離情報と前記視点の画角情報に基づき前記内壁上における視野範囲を算出し、前記視野範囲の大きさに応じて前記指標の表示形態を変更することを特徴とする請求項１に記載の医療装置。
【請求項５】
前記指標生成部は、前記指標を前記距離算出部によって算出される前記距離情報が算出された前記内壁に関連付けることを特徴とする請求項１に記載の医療装置。
【請求項６】
前記指標生成部は、前記指標の色又は大きさを変更することで前記指標の表示形態を変更することを特徴とする請求項４に記載の医療装置。
【請求項７】
前記視点は、前記被検体内の被写体画像を結像する対物光学系の視点であり、
前記位置合わせ部は、前記情報取得部によって取得された前記対物光学系の前記位置情報と前記視線方向情報を、前記所定の管腔臓器における前記３次元画像情報の座標系に対して合わせ込むことを特徴とする請求項１に記載の医療装置。
【請求項８】
前記指標生成部は、前記視線方向情報と、該視線方向情報に対向する前記内壁面との成す角に応じて前記指標の表示形態を変更することを特徴とする請求項１に記載の医療装置。
【請求項９】
前記画像生成部は、前記内視鏡の観察状況に応じて前記複数の指標の位置が重なる場合、前記距離情報が小さい指標が画像上の上側となるように現在の指標を過去の指標に重ねた画像を生成することを特徴とする請求項１に記載の医療装置。
【請求項１０】
更に、予め用意された複数種類の表示形態から実際に使用する表示形態を選択する表示形態選択部を有することを特徴とする請求項１に記載の医療装置。
【請求項１１】
前記指標生成部は、前記視野範囲の大きさに応じて前記指標の色を変更する指標を生成する指標色変更部、又は前記視野範囲の大きさに応じて前記指標のサイズを変更する指標を生成する指標サイズ変更部を有することを特徴とする請求項４に記載の医療装置。
【請求項１２】
前記指標生成部は、前記距離情報に基づき算出される距離の大きさに応じて前記指標の大きさ又は前記指標の表示色を変更することを特徴とする請求項３に記載の医療装置。
【請求項１３】
前記指標生成部は、前記距離情報に基づき算出される距離の大きさに応じて前記指標の大きさと共に、前記指標の表示色を変更することを特徴とする請求項３に記載の医療装置。
【手続補正書】
【提出日】平成28年10月6日(2016.10.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
本発明の一態様の医療装置は、所定の管腔臓器内にある内視鏡に対して、所定の視点における位置情報と視線方向情報を取得する情報取得部と、前記位置情報及び前記視線方向情報を、所定の管腔臓器の３次元画像情報の座標系に合わせ込む位置合わせ部と、前記位置合わせ部によって前記３次元画像情報に対して合わせ込まれた前記位置情報及び前記視線方向情報に基づき、前記所定の視点から前記所定の管腔臓器の内壁までの距離情報を算出する距離算出部と、前記距離算出部によって算出された前記距離情報に基づき規定される複数の指標を生成する指標生成部と、前記所定の管腔臓器の３次元画像又は前記所定の管腔臓器を展開した２次元モデル画像上において、前記複数の指標と前記内壁の位置情報との関連付けを行い、前記内視鏡の観察状況に応じて前記複数の指標の位置が重なる場合、前記距離情報が小さい指標が画像上の上側となるように現在の指標を過去の指標に重ねた画像を生成する画像生成部と、を備える。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の管腔臓器内にある内視鏡に対して、所定の視点における位置情報と視線方向情報を取得する情報取得部と、
前記位置情報及び前記視線方向情報を、所定の管腔臓器の３次元画像情報の座標系に合わせ込む位置合わせ部と、
前記位置合わせ部によって前記３次元画像情報に対して合わせ込まれた前記位置情報及び前記視線方向情報に基づき、前記所定の視点から前記所定の管腔臓器の内壁までの距離情報を算出する距離算出部と、
前記距離算出部によって算出された前記距離情報に基づき規定される複数の指標を生成する指標生成部と、
前記所定の管腔臓器の３次元画像又は前記所定の管腔臓器を展開した２次元モデル画像上において、前記複数の指標と前記内壁の位置情報との関連付けを行い、前記内視鏡の観察状況に応じて前記複数の指標の位置が重なる場合、前記距離情報が小さい指標が画像上の上側となるように現在の指標を過去の指標に重ねた画像を生成する画像生成部と、
を備えることを特徴とする医療装置。
【請求項２】
前記位置合わせ部によって前記３次元画像情報に対して合わせ込まれた前記位置情報及び前記視線方向情報に基づき、前記所定の視点の視線方向を延長したときに前記所定の管腔臓器の内壁と交差する位置を算出する位置算出部を更に備えることを特徴とする請求項１に記載の医療装置。
【請求項３】
前記指標生成部は、前記距離情報に基づき算出される距離の大きさに応じて前記指標の表示形態を変更することを特徴とする請求項１に記載の医療装置。
【請求項４】
前記指標生成部は、前記距離情報と前記視点の画角情報に基づき前記内壁上における視野範囲を算出し、前記視野範囲の大きさに応じて前記指標の表示形態を変更することを特徴とする請求項１に記載の医療装置。
【請求項５】
前記指標生成部は、前記指標を前記距離算出部によって算出される前記距離情報が算出された前記内壁に関連付けることを特徴とする請求項１に記載の医療装置。
【請求項６】
前記指標生成部は、前記指標の色又は大きさを変更することで前記指標の表示形態を変更することを特徴とする請求項４に記載の医療装置。
【請求項７】
前記視点は、被検体内の被写体画像を結像する対物光学系の視点であり、
前記位置合わせ部は、前記情報取得部によって取得された前記対物光学系の前記位置情報と前記視線方向情報を、前記所定の管腔臓器における前記３次元画像情報の座標系に対して合わせ込むことを特徴とする請求項１に記載の医療装置。
【請求項８】
前記指標生成部は、前記視線方向情報と、該視線方向情報に対向する前記内壁面との成す角に応じて前記指標の表示形態を変更することを特徴とする請求項１に記載の医療装置。
【請求項９】
更に、予め用意された複数種類の表示形態から実際に使用する表示形態を選択する表示形態選択部を有することを特徴とする請求項１に記載の医療装置。
【請求項１０】
前記指標生成部は、前記視野範囲の大きさに応じて前記指標の色を変更する指標を生成する指標色変更部、又は前記視野範囲の大きさに応じて前記指標のサイズを変更する指標を生成する指標サイズ変更部を有することを特徴とする請求項４に記載の医療装置。
【請求項１１】
前記指標生成部は、前記距離情報に基づき算出される距離の大きさに応じて前記指標の大きさ又は前記指標の表示色を変更することを特徴とする請求項３に記載の医療装置。
【請求項１２】
前記指標生成部は、前記距離情報に基づき算出される距離の大きさに応じて前記指標の大きさと共に、前記指標の表示色を変更することを特徴とする請求項３に記載の医療装置。
【国際調査報告】
2016076262.tif 000033
2016076262.tif 000034
2016076262.tif 000035