(57)【特許請求の範囲】
【請求項１】
被検体内の所定の管腔臓器内に挿入する挿入部と、
前記挿入部の先端付近に設けられ、前記被検体内の所定の範囲を撮像する撮像部と、
前記撮像部の位置情報及び視線情報を取得する撮像情報取得部と、
前記所定の管腔臓器の平面モデル画像を生成するモデル画像生成部と、
前記平面モデル画像に対して、前記撮像部の位置情報及び視線情報に基づいて前記所定臓器内の被検体画像を貼り付けた貼り付け画像を生成する画像貼り付け処理部と、
前記画像貼り付け処理部により生成された前記貼り付け画像上において、前記撮像部の前記位置情報に基づいて、前記撮像部の撮像範囲を提示する画像貼り付け提示処理部と、を備えることを特徴とする内視鏡システム。
【請求項２】
前記画像貼り付け提示処理部は、前記撮像部の位置情報及び視線情報に基づいて前記平面モデル画像上に貼り付けられた被検体画像を提示する角度を変更することを特徴とする請求項１に記載の内視鏡システム。
【請求項３】
前記画像貼り付け提示処理部は、前記撮像部の種類に応じて前記平面モデル画像上の提示方法を変更することを特徴とする請求項１に記載の内視鏡システム。
【請求項４】
前記画像貼り付け提示処理部は、前記撮像部の位置情報に基づいて前記平面モデル内における前記位置情報に対応する位置が中心となるように提示することを特徴とする請求項１に記載の内視鏡システム。
【請求項５】
前記撮像部は、湾曲可能な湾曲部の先端に形成され、前記画像貼り付け提示処理部は、前記湾曲部の湾曲に伴う前記撮像部の湾曲状態に応じて、前記撮像部により撮像され、表示部へ表示された被検体画像と、前記平面モデル画像上に貼り付けられた被検体画像の向きを一致させるように調整する画像調整部を備えることを特徴とする請求項１に記載の内視鏡システム。
【請求項６】
前記モデル画像生成部は、前記平面モデル画像に加え、前記所定の管腔臓器の立体モデル画像を生成し、
前記撮像情報取得部は、前記挿入部が前記所定臓器内に挿入された場合の挿入形状の情報を検出する挿入形状情報検出部を有し、前記被検体内における前記所定臓器の立体モデル画像に対して、前記挿入形状情報検出部により取得された前記挿入形状の情報を対応づけて提示する挿入形状情報提示部を更に備えることを特徴とする請求項１に記載の内視鏡システム。
【請求項７】
前記撮像部により撮像された画像に対して、前記画像貼り付け提示処理部が前記平面モデル画像に対して貼り付けるか否かの判定を行う画像貼り付け判定部を、更に有することを特徴とする請求項１に記載の内視鏡システム。
【請求項８】
前記画像貼り付け判定部は、前記撮像部により撮像した画像に対する画像処理、前記撮像部の移動速度、前記撮像部から前記所定臓器内面までの距離、前記所定臓器内面の法線方向と前記撮像部の視線方向との成す角、のいずれかが所定の条件を満たすか否かを判定し、
前記画像貼り付け提示処理部は前記画像貼り付け判定部が所定の条件を満たすと判定された前記撮像部により撮像した画像を前記平面モデル画像に対して貼り付けることを特徴とする請求項７に記載の内視鏡システム。
【請求項９】
前記画像貼り付け提示処理部は、前記平面モデル画像上に前記撮像部により撮像された画像を撮像画像として、前記平面モデル画像における対応する位置に、前記撮像画像に対応する領域とほぼ一致するように第１の貼り付け画像として貼り付けた後、次の撮像画像を貼り付ける場合には、前記第１の貼り付け画像を縮小した貼り付け画像に変更することを特徴とする請求項１に記載の内視鏡システム。
【請求項１０】
更に、前記撮像部により撮像した撮像画像と、前記平面モデル画像と、を同一の表示画面上における互いに異なる第１表示エリア及び第２の表示エリアにそれぞれ表示する画像表示装置と、
前記第１表示エリアに前記撮像画像が表示された場合の上下、左右の方向に対して、前記画像貼り付け提示処理部が前記第２の表示エリアに表示された前記平面モデル画像に貼り付けられる前記画像における上下、左右の方向が、前記表示画面上においてそれぞれ一致するように前記平面モデル画像の方位又は角度を調整する提示角度調整部と、
を有することを特徴とする請求項１に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、臓器のモデル画像を用いて内視鏡画像を提示する内視鏡システムに関する。
【背景技術】
【０００２】
従来より、内視鏡システムが医療分野及び工業分野で広く利用されている。例えば、医療分野の内視鏡システムでは、術者が被検体内に内視鏡の挿入部を挿入し、挿入部の先端部に設けられた観察窓を通して得られた内視鏡画像が表示装置に表示される。表示された内視鏡画像を見て、術者は内視鏡検査を行うことができる。さらに、内視鏡システムは、内視鏡画像の記録もすることができる。例えば、医者は、記録された病変部の内視鏡画像を、カルテの一部として利用することができる。  
また、近年は、カプセル型内視鏡システムも実用化されており、患者がそのカプセル型内視鏡を飲み込むと、カプセル型内視鏡は、体内を移動している間に体内を撮像し、体内の画像を記録する。【０００３】
カプセル内視鏡の場合、膨大な数の画像が取得されるので、取得された多くの画像の中から病変部などの観察対象部位の画像のみを抽出する技術や、第１の従来例としての日本国特開２０１０−２４００００号公報に開示のように、複数の画像を３Ｄモデル上に貼り付けるときに特徴パラメータに基づいて優先順位の高い画像を用いて診断用画像を生成する技術が提案されている。  
ところで、前回の内視鏡検査において発見された病変部の状態を観察するために、内視鏡検査が再度行われたり、前回の内視鏡検査において発見された病変部に対して、内視鏡を用いて処置したりすることも行われている。  
そのため、医者は、検査において発見された病変部の検査対象臓器における位置を、カルテに記入する。例えば、検査対象臓器が膀胱の場合、病変部の位置は、カルテに描かれる膀胱展開図（シェーマ）に印が付けられることにより指定される。  
また、第２の従来例としての日本国特開２００６−２８８８６９号公報においては、座標変換演算部で求められた第１〜第４の内視鏡の先端部の２次元座標データは、画像描出回路部に入力され、画像描出回路部は、第１〜第４の内視鏡から得られる複数の映像情報と、医療診断画像装置から得られる位置情報、即ち２次元座標データとに基づいて、各内視鏡による映像を各内視鏡の位置に対応するモニタ上の位置に表示することを開示している。また、この公報においては、立体的な患部の映像を、患部を平面的に展開した映像としてモニタに表示することを開示している。【０００４】
しかし、前回の内視鏡検査において得られた内視鏡画像が、対象臓器におけるどの位置の画像であるかは、解り難い場合がある。  
カプセル内視鏡を利用する上記第１の従来例としての日本国特開２０１０−２４００００号公報に開示の内視鏡システムでは、内視鏡画像が対象臓器の３Ｄモデルに貼り付けられるが、カプセル型内視鏡であるため、医者は、得られた内視鏡画像から、臓器における病変部の位置を容易に把握することはできない。  
また、挿入部を有する内視鏡の場合であっても、例えば、膀胱展開図に指定された位置と現実の膀胱における位置との対応付けの把握が容易でないものもあり、医者にとって、内視鏡検査において確認された病変部の位置をそのような膀胱展開図に記入すること、そして、そのようなカルテの膀胱展開図に記された位置から現実の膀胱における位置を把握することは、容易ではない。【０００５】
また、上記のように第２の従来例としての日本国特開２００６−２８８８６９号公報においては、立体的な患部の映像を、患部を平面的に展開した映像（画像）としてモニタに表示することを開示しているが、膀胱内のように略球形状の所定臓器内で内視鏡挿入部が移動されたり、挿入方向が変化したりした場合には、平面的に展開した展開図の画像と、実際に撮像している画像との対応関係を把握することが困難になってしまう。  
このため、平面的に展開した展開図の平面モデル画像に対して内視鏡の撮像手段により撮像した画像を貼り付けた貼り付け画像を提示するような場合、撮像手段により撮像した画像と、平面モデル画像に貼り付けた貼り付け画像との対応関係を術者が把握し易いように提示することが望まれる。  
本発明は上述した点に鑑みてなされたもので、内視鏡の撮像手段により撮像した画像と、平面モデル画像に貼り付けられる貼り付け画像との対応関係を把握し易いように提示することができる内視鏡システムを提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【０００６】
本発明の一態様に係る内視鏡システムは、被検体内の所定の管腔臓器内に挿入する挿入部と、前記挿入部の先端付近に設けられ、前記被検体内の所定の範囲を撮像する撮像部と、前記撮像部の位置情報及び視線情報を取得する撮像情報取得部と、前記所定の管腔臓器の平面モデル画像を生成するモデル画像生成部と、前記平面モデル画像に対して、前記撮像部の位置情報及び視線情報に基づいて前記所定臓器内の被検体画像を貼り付けた貼り付け画像を生成する画像貼り付け処理部と、前記画像貼り付け処理部により生成された前記貼り付け画像上において、前記撮像部の前記位置情報に基づいて、前記撮像部の撮像範囲を提示する画像貼り付け提示処理部と、を備える。
【図面の簡単な説明】
【０００７】
【図１】図１は本発明の第１の実施形態の内視鏡システムの全体的な構成を示す斜視図。
【図２】図２は本発明の第１の実施形態の内視鏡システムの構成を示すブロック図。
【図３】図３は患者における観察対象となる所定臓器としての膀胱の位置及び名称を模式的に示す図。
【図４】図４は内視鏡の挿入部を膀胱内に挿入した場合の膀胱の各部を示す図。
【図５】図５は膀胱をモデル化した３Ｄモデル画像と共に、挿入部の挿入形状画像を示す図。
【図６】図６は膀胱を平面化した２Ｄモデルを示す図。
【図７】図７は膀胱の内面を平面的に展開してモデル化した平面モデル画像と膀胱内の各部の位置を示す図。
【図８】図８はモニタに表示される３つの画像の表示エリアを示す図。
【図９】図９は第１の実施形態における膀胱内を観察する場合の全体的な処理内容の１例を示すフローチャート。
【図１０】図１０は図９における貼り付け画像の判定処理の詳細を示すフローチャート。
【図１１】図１１は一定のフレーム数又は時間で取得した内視鏡画像を貼り付け画像として採用する場合の説明図。
【図１２】図１２は図１０における画像処理による判定処理の詳細を示すフローチャート。
【図１３】図１３は図１２による処理に関係するボケ画像等の例を示す図。
【図１４】図１４は図１０における位置・方向情報を用いた判定処理の詳細を示すフローチャート。
【図１５】図１５は画像と同期して取得されるセンサ情報の例を表形式で示す図。
【図１６】図１６は図１４における移動量と移動速度による判定の説明図。
【図１７】図１７は図１４における角速度による判定の説明図。
【図１８】図１８は図１０における膀胱壁までの距離、視線方向による判定処理の詳細を示すフローチャート。
【図１９】図１９は図１８におけるステップＳ５２、Ｓ５３の処理の説明図。
【図２０】図２０は図１８におけるステップＳ５４の処理の説明図。
【図２１】図２１は展開画像に貼り付けて表示される画像において、第１エリアに表示される内視鏡画像に対応する撮像範囲の提示例を示す図。
【図２２Ａ】図２２Ａは最新の貼り付け画像を貼り付けた後、次の貼り付け画像を貼り付ける際に縮小して提示する提示例の説明図。
【図２２Ｂ】図２２Ｂは第１エリアに表示される内視鏡画像に対応する展開画像の位置を、展開画像の中心に設定してその画像を提示する例を示す図。
【図２３】図２３は膀胱の立体モデル内に挿入部を挿入して観察対象を正面側から撮像する様子と、撮像した場合の内視鏡画像を示す説明図。
【図２４】図２４は膀胱の立体モデル内に挿入部を挿入して上方向に反転する程度に大きく湾曲させて観察対象を背面側から撮像する様子と、撮像した場合の内視鏡画像を示す説明図。
【図２５】図２５は膀胱の立体モデル内に挿入部を挿入して下方向に反転する程度に大きく湾曲させて観察対象を背面側から撮像する様子と、撮像した場合の内視鏡画像を示す説明図。
【図２６】図２６は図２４の内視鏡画像の表示の向きに対応して展開画像上に貼り付けられる画像の向きを一致させて表示する例を示す説明図。
【図２７】図２７は図２５の内視鏡画像の表示の向きに対応して展開画像上に貼り付けられる画像の向きを一致させて表示する例を示す説明図。
【図２８】図２８は図９におけるステップＳ１５の処理例を示すフローチャート。
【図２９】図２９は硬性内視鏡の構成を示す図。
【図３０】図３０は硬性内視鏡を使用した場合における展開画像の表示例を示す図。
【図３１】図３１は硬性内視鏡を用いた場合の展開画像の表示を変更する場合の説明図。
【図３２】図３２は磁場発生装置の座標系とベッド上の患者Ｐの膀胱Ｂの座標系の関係の説明図。
【図３３】図３３は中間座標系（X１Y１Z１）上に投影される方向ベクトルを説明する説明図。
【図３４】図３４は中間座標系（X１Y１Z１）と第２の座標系（X２Y２Z２）の関係の説明図。
【図３５】図３５は第２の座標系（X２Y２Z２）において球体の内面上の座標の説明図。
【図３６】図３６は先端部の位置と方向ベクトルから第２の座標系（X２Y２Z２）における位置Ｐ２と方向ベクトルV２を説明する説明図。
【図３７】図３７は２次元の座標系（U,V）における座標関係の説明図。
【図３８】図３８は内視鏡画像の全体を走査して、第２の座標系（X２Y２Z２）の球体の内面への各画素の貼り付けを説明する説明図。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。  
（第１の実施形態）
図１に示すように本発明の第１の実施形態の内視鏡システム１は、ベッド２に横たわる被検体としての患者Ｐ内に挿入して観察又は検査するための内視鏡３と、内視鏡３に照明光を供給する光源装置４、内視鏡３の撮像手段に対する信号処理を行う信号処理装置としてのプロセッサ５と、プロセッサ５により生成された画像に対する画像処理や記録等を行う画像処理装置６と、プロセッサにより生成された内視鏡画像と、画像処理装置６による画像処理された画像とを表示するモニタ７と、撮像手段の近傍に設けた磁気センサ８の位置を検出する磁場発生装置９とを有する。  
内視鏡３は、可撓性を有する挿入部１１と、この挿入部１１の後端（基端）に設けられ、術者により把持されて湾曲等の操作が行われる操作部１２と、操作部１２から延出されるユニバーサルケーブル１３とを有する。【０００９】
また、挿入部１１内には、図２に示すように照明光を伝送するライトガイド１４が挿入され、このライトガイド１４は操作部１２からユニバーサルケーブル１３を経てその端部のライトガイドコネクタが光源装置４に着脱自在に接続される。  
図２に示すように光源装置４内には、発光ダイオード（ＬＥＤと略記）１５ａ、１５ｂ、１５ｃと、ミラー１６ａ，１６ｂ，１６ｃと、ＬＥＤ電源（回路）１７とが設けてある。ＬＥＤ１５ａは白色光を発生し、ミラー１６ａで反射された後、ダイクロイックミラー１６ｂ，１６ｃを透過してライトガイド１４の端部に入射される。  
また、ＬＥＤ１５ｂと１５ｃは、中心波長が４１５ｎｍ付近と５４０ｎｍ付近に設定された狭帯域の青の光（Ｂｎ）と緑の光（Ｇｎ）をそれぞれ発生する。ＬＥＤ１５ｂによる狭帯域光Ｂｎは、ダイクロイックミラー１６ｂにより選択的に反射された後、ダイクロイックミラー１６ｃを透過してライトガイド１４の端部に入射される。また、ＬＥＤ１５ｃによる狭帯域光Ｇｎは、ダイクロイックミラー１６ｃにより選択的に反射された後、ライトガイド１４の手元側端部に入射される。【００１０】
内視鏡３の操作部１２には、通常光観察モード（又は白色光観察モード、ＷＢＩモードとも言う）と狭帯域光観察モード（ＮＢＩモードとも言う）とにおける一方の観察モードから他方の観察モードへの切り替えの操作を行う切替スイッチＳＷ１と、レリーズの操作を行うレリーズスイッチＳＷ２と、フリーズの操作を行うフリーズスイッチＳＷ３等を備えたスコープスイッチ１８が設けてある。  
内視鏡３の操作部１２を把持する術者により切替スイッチＳＷ１が操作されると、切替信号が光源装置４とプロセッサ５とに送られ、光源装置４は、切替信号に対応して、ＬＥＤ電源１７はＬＥＤ１５ａと、ＬＥＤ１５ｂ、ＬＥＤ１５ｃの発光を切り替える。また、プロセッサ５は、切替信号に対応した信号処理を行う。  
また、レリーズスイッチＳＷ２を操作した場合のレリーズ信号は、画像処理装置６内の制御手段を構成する中央演算処理装置（ＣＰＵと略記）３１に入力され、ＣＰＵ３１は、内視鏡画像を記録する制御動作を行う。
【００１１】
なお、レリーズスイッチＳＷ２を操作した場合の操作信号をプロセッサ５（内の信号処理部５ｂ）に入力し、プロセッサ５が操作信号からレリーズ信号を生成して、このレリーズ信号を画像処理装置６のＣＰＵ３１に送り、ＣＰＵ３１はプロセッサ５から入力されるレリーズ信号により内視鏡画像を記録する制御動作を行うようにしても良い。図２ではレリーズ信号をプロセッサ５と３１に入力する構成例で示している。  
また、フリーズスイッチＳＷ３を操作した場合のフリーズ信号は、プロセッサ５（内の信号処理部５ｂ）に入力され、プロセッサ５は動画の内視鏡画像を静止画にする処理を行う。また、フリーズ信号は、ＣＰＵ３１にも送られ、ＣＰＵ３１はフリーズの操作が行われたことを把握する。  
ライトガイド１４の手元側端部に入射されされた照明光は、ライトガイド１４によりその先端面に伝送される。ライトガイド１４の先端面は、挿入部１１の先端部２０に設けた照明窓に配置され、照明窓から外部に出射される。本実施形態においては、挿入部１１は患者Ｐにおける尿道を経て所定臓器としての膀胱Ｂ内に挿入されるため、照明光は膀胱Ｂ内を照明する。【００１２】
挿入部１１の先端部２０には、図２に示すように対物レンズ２１と、その結像位置に配置された電荷結像素子（ＣＣＤと略記）２２とが配置され、対物レンズ２１とＣＣＤ２２とにより、所定臓器内を撮像する撮像手段を構成する撮像部（又は撮像ユニット）２３が形成される。撮像部２３は、照明光で照明された部位を撮像し、光電変換した電気信号としての撮像信号を出力する。  
なお、ＣＣＤ２２は、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長帯域に画素単位で色分離するモザイクフィルタ２２ａを備えている。従って、例えば通常光観察モード（ＷＢＩモード）の場合には、ＣＣＤ２２はモザイクフィルタ２２ａにより色分離した広帯域のＲ，Ｇ，Ｂ信号を出力し、ＮＢＩモードの場合には、ＬＥＤ１５ｂ、１５ｃの照明光の下での撮像により、ＣＣＤ２２はモザイクフィルタ２２ａにより色分離した狭帯域のＧ，Ｂ信号（Ｇｎ，Ｂｎ信号と略記）を出力する。
【００１３】
プロセッサ５は、ＣＣＤ駆動部（又はＣＣＤ駆動回路）５ａを有し、ＣＣＤ駆動部５ａにより生成したＣＣＤ駆動信号を、内視鏡３内を挿通された信号線２４を経てＣＣＤ２２に印加する。この印加によりＣＣＤ２２は、光電変換した撮像信号を、内視鏡３内を挿通された信号線２４を経てプロセッサ５に設けた信号処理部（又は信号処理回路）５ｂに出力する。  
信号処理部５ｂは、モニタ７に表示するための（ＣＣＤ２２により撮像した画像を）内視鏡画像として表示する映像信号（画像信号）を生成する。図１にも示すように挿入部１１は膀胱Ｂ内に挿入されるため、膀胱Ｂ内で撮像した画像に対応する画像信号を生成する。信号処理部５ｂにより生成した動画の画像信号は、モニタ７に出力され、モニタ７は動画の画像信号に対応する内視鏡画像（撮像画像又はリアル画像とも言う）を表示する。  
このモニタ７は、ＰinＰ（Picture In Picture）機能を有し、内視鏡画像と共に、（後述する膀胱Ｂに対応する立体モデル画像を平面的に展開した）平面モデル画像としての展開画像及び挿入部１１の先端側の挿入形状画像とを表示する。【００１４】
なお、モニタ７のＰinＰ機能を利用しないで、内視鏡画像を画像処理装置６に入力し、画像処理装置６内において、内視鏡画像と、展開画像及び挿入形状画像とを重畳する画像重畳手段を設けるようにしても良い。  
例えば、プロセッサ５内の信号処理部５ｂにより生成された内視鏡画像を、画像処理装置６内のメモリ３３における例えば（図示しない）第１フレームメモリの第１の所定エリアに一時格納し、第２フレームメモリの第２の所定エリアに展開画像を一時格納し、第３フレームメモリの第３の所定エリアに挿入形状画像を一時格納し、３つのフレームメモリから同時に読み出した３つの画像を表示インタフェース（表示Ｉ／Ｆと略記）３７において重畳して、重畳した画像信号をモニタ７に出力するようにしても良い。この場合には、（図１に示すように）表示Ｉ／Ｆ３７が画像重畳部３７ａの機能を持つ。モニタ７による、ＰinＰ又は画像重畳部３７ａの機能により、モニタ７の表示面には、図８に示すように主に３つの画像を表示することができる。【００１５】
また、本実施形態においては、挿入部１１の先端部２０に配置した撮像部２３の３次元位置と、撮像部２３の視線方向とを検出することができるように、図１に示すように先端部２０におけるＣＣＤ２２の近傍位置に、２つの位置センサを構成する２つの磁気コイル８ａからなる磁気センサ８を配置している。  
図２に示すように磁気センサ８は、内視鏡３内に挿通された信号線８ｂを介して画像処理装置６内の位置・方向検出部（又は位置・方向検出回路）３４に接続される。位置・方向検出部３４は、２つの磁気コイル８ａの３次元位置を検出することにより、撮像部２３の位置と視線方向とを算出する。  
具体的には、位置・方向検出部３４は、磁場発生装置９を駆動する駆動回路３５を制御して、駆動回路３５から信号線９ａを介して磁場発生装置９に磁場発生用の駆動信号を印加して所定の磁場を発生させ、その磁場を２つの磁気コイル８ａにより検出し、検出された磁場の検出信号から、２つの磁気コイル８ａの３次元位置、そして、２つの磁気コイル８ａの３次元位置付近の撮像部２３の３次元位置座標（ｘ、ｙ、ｚ）と、その視線方向のデータ（すなわちオイラー角（ψ、θ、φ））のデータ、すなわち位置・方向情報、をリアルタイムで生成する。【００１６】
従って、位置・方向検出部３４は、磁気センサ８からの位置情報及び方向情報を取得して、撮像手段としての撮像部２３の位置情報及び視線情報を検出する撮像情報取得手段としての撮像情報取得部（又は撮像情報取得回路）３４ａの機能を有する。  
なお、磁気センサ８は、先端部２０に設けてあるため、位置・方向検出部３４は、撮像部２３の位置（情報）と視線方向（情報）を算出する機能を持つと共に、先端部２０の位置（情報）と、その（長手）方向（情報）を算出する機能を持つ。このため、位置・方向検出部３４は、先端部２０の位置及び方向を算出（検出）する表現も用いる。なお、撮像情報取得手段を構成する磁気センサ８を、撮像手段に接続される部材に設ける説明は後述する。  
本実施形態においては、位置・方向検出部３４により算出された先端部２０の位置及び方向を時系列に記憶する。【００１７】
例えばメモリ３３は、算出された先端部２０の位置及び方向を時系列に記憶し、メモリ３３に時系列に記憶された過去の情報を参照して位置・方向検出部３４は現在の先端部２０の位置及び方向を算出することにより、膀胱Ｂ内に挿入される挿入部１１の（主に先端側の）挿入形状を算出する。このため、位置・方向検出部３４は、挿入部１１が所定臓器としての膀胱Ｂ内に挿入された場合の挿入形状情報を検出する挿入形状情報検出手段を構成する挿入形状情報検出部（又は挿入形状情報検出回路）３４ｂの機能を持つ。なお、撮像情報取得部３４ａが、挿入形状情報検出部３４ｂの機能を備える構成にしても良い。  
挿入部１１は、図２に示すように先端部２０の手元側端部には、上下方向と、左右方向とに湾曲自在の湾曲駒２５ａを設けた湾曲部２５が設けてある。なお、図２においては、簡略化して例えば上下方向にのみ、湾曲可能とするリベット２５ｂを設けた例で示しているが、実際には上下方向と左右方向とに交互に湾曲自在とするようにリベット２５ｂが設けてある。【００１８】
また、挿入部１１内には、牽引することにより、湾曲駒２５ａを上下方向と左右方向とにそれぞれ湾曲させるワイヤ２６が挿通され、ワイヤ２６の先端は先端部２０を構成する先端部材に固定され（図示略）、ワイヤ２６の後端は操作部１２内に配置したプーリ２７に巻回されている。そして、術者は、プーリ２７に連結された湾曲ノブ２８を回動する操作を行うことにより、湾曲部２５を上下、左右における任意の方向に湾曲することができるようにしている。湾曲部２５を湾曲させることにより、湾曲部２５の先端に設けた撮像部２３の撮像方向を可変することができる。後述するように、湾曲部２５を大きく湾曲させることにより、膀胱Ｂに挿入した入口側となる頸部ＲＰ側の内壁面を観察（撮像）することができる。【００１９】
図２に示すように画像処理装置６は、画像処理装置６内の各部の動作を制御する制御手段を形成するＣＰＵ３１と、プロセッサ５から出力される画像信号を取り込む画像取込部（又は画像取込回路）３２と、画像取込部３２を経て入力された画像信号を一時的に記憶したり、各種の情報を一時的に記憶するメモリ３３と、磁気センサ８の検出信号から先端部２０に配置した撮像部２３の位置及び視線方向とを検出する位置・方向検出部３４とを有する。
また、画像処理装置６は、磁場発生装置９を駆動する駆動回路３５と、レリーズ信号により内視鏡画像を記録（又は記憶）する記録部（記憶部）３６と、モニタ７に内視鏡画像等を表示する表示インタフェース（表示Ｉ／Ｆ）３７と、各種のデータの入力を行う入力部（又はユーザＩ／Ｆ）３８とを有し、ＣＰＵ３１，画像取込部３２，メモリ３３，位置・方向検出部３４，記録部（記憶部）３６，表示Ｉ／Ｆ３７，入力部３８は、データバス３９を介して互いに接続されている。【００２０】
記録部３６には、ＣＰＵ３１により実行される各種の処理プログラム及び挿入部１１が挿入される所定臓器としての膀胱Ｂのデータを含む各種のデータが記憶されており、ＣＰＵ３１は、挿入部１１の先端部２０が挿入される膀胱Ｂの立体モデル（３Ｄモデル）画像Ｍ１を生成する。このため、ＣＰＵ３１は、所定臓器としての膀胱Ｂの３Ｄモデル画像Ｍ１を生成する３Ｄモデル画像生成部（又は３Ｄモデル画像生成回路）３１ａの機能を持つ。  
また、ＣＰＵ３１は、挿入部１１の先端側が膀胱Ｂ内に挿入されると、位置・方向検出部３４による先端部２０の位置及び方向の情報に基づき、挿入部１１の先端側の挿入形状を３Ｄモデル画像Ｍ１上に表示するように重畳画像を生成する。このため、ＣＰＵ３１は、挿入部１１の先端側が膀胱Ｂ内に挿入された場合の挿入形状画像Ｉを（３Ｄモデル画像上の重畳画像として）生成する挿入形状画像生成部（又は挿入形状画像生成回路）３１ｂの機能を有する。【００２１】
また、ＣＰＵ３１は、尿道から膀胱Ｂ内への入口となる頸部ＲＰ（図３参照）を含む所定の平面により膀胱Ｂを切断して２つの円形に展開した２次元（２Ｄ）モデルを用いて３Ｄモデル画像Ｍ１における膀胱Ｂの３Ｄ内面を平面的に展開した平面モデル画像を生成する展開画像生成部（又は展開画像生成回路）３１ｃの機能を有する。  
また、ＣＰＵ３１は、撮像部２３により撮像された内視鏡画像（単に画像と略記する場合もある）に対して、所定の条件に適合する画像を展開画像に貼り付ける処理を行う画像貼り付け処理部（又は画像貼り付け処理回路）３１ｄと、展開画像に貼り付けられた画像を表示手段としてのモニタ７により提示する処理を行う画像貼り付け提示処理部（又は画像貼り付け提示処理回路）３１ｅとを有する。画像貼り付け提示処理部３１ｅにより生成され、モニタ７において展開画像ＢＥに貼り付けられた画像を参照することにより、術者は膀胱Ｂ内で撮像している部位を把握し易くする。【００２２】
なお、展開画像上に所定の条件に適合する（又は満たす）（内視鏡）画像を貼り付ける場合、実際には３Ｄモデル画像Ｍ１の内面における対応する位置を求め、その位置を２Ｄモデル画像Ｍ２に投影して、その投影した位置に上記画像を貼り付ける。又は、３Ｄモデル画像Ｍ１の内面における対応する位置に貼り付けた画像を２Ｄモデル画像Ｍ２に投影して、貼り付け画像にしても良い。  
また、術者によりレリーズ操作が行われると、ＣＰＵ３１は、プロセッサ５からの内視鏡画像を記録部３６に記録する。つまり、メモリ等から構成される記録部３６は、内視鏡画像を記録する画像記録部を形成する。  
図３は、本実施形態において内視鏡検査される患者Ｐにおける膀胱Ｂを挿入部１１が挿入された状態で模式的に示し、図４は膀胱Ｂをモデル化した３Ｄモデル画像Ｍ１を挿入形状画像と共に示す。【００２３】
膀胱Ｂは、尿道の先端側（深部側）の開口端部となり、かつ膀胱Ｂへの入口となる頸部ＲＰと、腹部側の頂部と、背中から頸部ＲＰに対向する位置までの後壁と、患者Ｐから見て右側の右壁と、患者Ｐから見て左側の左壁の複数の領域に区別される。膀胱Ｂの検査は、患者Ｐが仰向けになった状態でかつ膀胱Ｂ内が所定の液体で満たされた状態で行われる。  
この膀胱Ｂ内に挿入部１１の先端側が挿入すると、３Ｄモデル画像Ｍ１を用いた場合の挿入部１１の先端側は図４に示すようになる。図４においては、膀胱Ｂ内における撮像部２３による観察視野をθ１で示している。  
また、位置・方向検出部３４による位置・方向情報に基づいて、挿入形状情報検出部３４ｂは、膀胱Ｂ内における挿入部１１の先端側の挿入形状を算出（検出）し、挿入形状画像生成部３１ｂは、挿入形状画像Ｉを生成し、モニタ７に図５に示すように３Ｄモデル画像Ｍ１上に挿入形状画像Ｉを重畳した画像を表示することができるようにしている。【００２４】
また、ＣＰＵ３１は、図５に示した３Ｄモデル画像Ｍ１を、頸部ＲＰを通る平面、具体的には図５におけるＸ２−Ｙ２を含む平面で２等分して図６に示すような２Ｄモデル画像Ｍ２を生成する。さらに図６の２Ｄモデル画像Ｍ２から頸部ＲＰのサイズを考慮して、ＣＰＵ３１の展開画像生成部３１ｃは、（図６を変形した）図７に示すように膀胱Ｂの２Ｄモデル画像としての２Ｄ展開画像（以下、単に展開画像）ＢＥを生成する。なお、膀胱Ｂの２つの尿管口は、図５及び図６においてuoで示す位置にある。また、例えば、図５において点線で示す位置に膀胱Ｂ内に病変部AAがあるとき、図５の病変部AAの位置は、図６においては点線で示す位置に対応する。  
図７は標準的な観察状態で膀胱Ｂ内の各部を観察した場合における展開画像ＢＥ上に投影した各部の領域の配置例を示す。  
そして、ＣＰＵ３１の画像貼り付け処理部３１ｄは、撮像部２３により撮像された撮像画像（又は所定のタイミングの内視鏡画像）が所定の条件に適合すると判定した場合に、その撮像画像を、展開画像ＢＥにおける対応する位置に貼り付け画像として貼り付ける。この場合、画像貼り付け処理部３１ｄは、位置・方向検出部３４の位置及び方向の情報を参照して、貼り付け対象の撮像画像を貼り付ける。【００２５】
また、撮像画像を展開画像ＢＥ上に貼り付け画像を貼り付ける場合、展開画像ＢＥのサイズと撮像画像のサイズとの相対的な大きさに応じて、例えば貼り付け画像のサイズを調整しても良い。  
本実施形態においては、例えば画像貼り付け処理部３１ｄは、撮像画像を展開画像ＢＥ上における（撮像部２３が撮像した）当該撮像画像に対応する中心位置に、撮像画像のサイズを縮小等の調整をして貼り付け画像として貼り付けるが、撮像画像の範囲が展開画像ＢＥ上における領域にほぼ一致するように貼り付けることを選択することができるようにしている。この貼り付け画像を等倍貼り付け画像（又は第１の貼り付け画像）という。  
このために、画像処理装置６は、実際に膀胱Ｂ内に挿入される内視鏡３における撮像部２３の撮像範囲を決定する視野角の情報を予め取得する視野角情報取得部を備える。内視鏡３が識別情報（ＩＤ）を備える場合には、識別情報に基づいて視野角の情報を取得するようにしても良い。内視鏡３が識別情報（ＩＤ）を備えないような場合には、入力部３８等から視野角の情報を入力し、メモリ３３や記録部３６等に取得して視野角の情報を保存し、その情報を必要とする場合に参照できるようにしても良い。また、撮像情報取得部３４ａが撮像部２３の視野角の情報を取得する機能を有するようにしても良い。【００２６】
このようにした場合には、視野角が広い撮像部２３又は膀胱Ｂの壁面からの距離が大きい状態で撮像した場合には、１枚の等倍貼り付け画像が展開画像ＢＥ上で大きな領域を占有してしまうため、この貼り付けを行った後においては、展開画像ＢＥの各部の配置状態が分かりにくくなる場合が発生する可能性がある。  
このため、上記のようにして等倍貼り付け画像を貼り付けた後、適宜の時間経過後に、中心位置は変更しないで、等倍貼り付け画像のサイズを数分の１程度に縮小した縮小貼り付け画像にしても良い。  
上記適宜の時間としては、例えば次の撮像画像を貼り付けるまでの時間程度未満に設定すると、次の撮像画像を貼り付ける際に、その撮像画像が展開画像ＢＥ上におけるどの領域を撮像したものであるかを把握する機能を殆ど低下させないようにできる。つまり、画像貼り付け提示手段を構成する画像貼り付け処理部３１ｄは、平面モデル画像としての展開画像ＢＥ上に撮像手段により撮像された撮像画像を、平面モデル画像における対応する位置に、前記撮像画像に対応する領域とほぼ一致するように第１の貼り付け画像として貼り付けた後、次の撮像画像を貼り付ける場合には、前記第１の貼り付け画像を（数分の１等に）縮小した貼り付け画像に変更するようにしても良い（図２２Ａ参照）。【００２７】
あるいは、次の撮像画像を貼り付ける処理が開始する時、又は次の撮像画像を貼り付ける処理が決定した時に、等倍貼り付け画像を縮小貼り付け画像に変更して提示するようにしても良い。  
また、術者の好みに応じて、撮像画像を展開画像ＢＥ上に貼り付けて提示することができるように最初から縮小貼り付け画像を貼り付け画像として貼り付けるようにすることもできる。また、先端部２０（又は撮像部２３）と膀胱Ｂの内壁面間の距離が適当な範囲となる場合に、撮像画像を貼り付けるようにしても良い。  
図８は、モニタ７において内視鏡画像と共に表示される貼り付け画像４２ａが貼り付けられた展開画像ＢＥ、３Ｄモデル画像Ｍ１を用いた挿入形状画像Ｉに１例を示す。【００２８】
また、術者は、キーボード等から構成される入力部３８から展開画像ＢＥに貼り付け画像を貼り付けて提示（表示）する際の提示位置や、提示する場合のサイズ、提示角度等を選択することもできる。  
このため、入力部３８は、貼り付け画像の提示（表示）を行う際の提示方法、提示内容等を選択する提示選択部（又は提示選択装置）３８ａの機能を有する。  
図８に示すように表示画面の左側の内視鏡画像表示エリア（又はリアル画像表示エリア又は撮像画像表示エリア）としての第１エリア４１には内視鏡画像（撮像画像）が表示され、右側における上の展開画像表示エリアとしての第２エリア４２には貼り付け画像４２ａが貼り付けられた展開画像ＢＥが表示され、その下側の挿入形状表示エリアとしての第３エリア４３には、３Ｄモデル画像Ｍ１上に挿入部１１の形状を重畳した挿入部形状画像Ｉが表示される。【００２９】
本実施形態においては、ＣＰＵ３１の画像貼り付け提示処理部３１ｅは、撮像部２３の位置・方向（又は視線）情報に基づいて、後述するように展開画像ＢＥ上において、現在撮像している観察位置を分かり易くするために現在撮像部２３により撮像している撮像範囲（領域）に対応する展開画像ＢＥ上での撮像範囲（撮像領域）を提示する撮像範囲提示手段としての撮像範囲提示部（又は撮像範囲提示装置）４５ａの機能と、観察中の撮像画像を貼り付け画像４２ａとして表示する場合の当該貼り付け画像４２ａが展開画像ＢＥの中心に位置するように展開画像ＢＥを分割して移動する等して提示位置を調整する提示位置調整部（又は提示位置調整装置）４５ｂとを備える。  
また、画像貼り付け提示処理部３１ｅは、後述するように湾曲部２５を湾曲させるとモニタ７の第１エリア４１に観察画像としての内視鏡画像が表示される際の上下、左右の方向が変化するため、内視鏡画像と貼り付け画像４２ａの対応関係を把握し易くするように展開画像ＢＥに表示される貼り付け画像４２ａの方位（向き）を調整する提示角度調整部（又は提示角度調整装置）４５ｃの機能を有する。【００３０】
なお、平面モデル画像としての展開画像ＢＥ上における貼り付け画像４２ａの方位（向き）を変更する場合に限定されるものでなく、展開画像ＢＥ全体の方位（向き）を表す角度を変更して、両画像の関係を把握し易くしても良い。  
また、ＣＰＵ３１は、撮像部２３により撮像された画像が所定の条件に適合するか否かを判定する貼り付け画像判定部（又は貼り付け画像判定回路）３１ｆの機能を有する。そして、本実施形態においては、この貼り付け画像判定部３１ｆにより所定の条件に適合すると判定された画像が前記画像貼り付け処理部３１ｄにより貼り付けられ、所定の条件に適合しないと判定された画像は画像貼り付け処理部３１ｄにより貼り付けられない画像となる。  
本実施形態においては貼り付け画像判定部３１ｆは、所定の条件に適合するか否かの判定を画像処理で行う画像処理判定部（又は画像処理判定回路）４６ａ、センサ情報としての位置・方向情報により判定する位置・方向情報判定部４６ｂ、先端部２０から膀胱壁までの距離の情報と、視線方向の情報により判定する距離等情報判定部（又は距離等情報判定回路）４６ｃを有する。  
また、画像貼り付け処理部３１ｄは、既に展開画像ＢＥに貼り付け画像４２ａが貼り付けられている場合、古い貼り付け画像４２ｂの上に最新の貼り付け画像を貼り付けるように貼り付け処理を行う。この場合、最新の貼り付け画像４２ａを貼り付ける位置における該貼り付け画像のサイズの外側に存在する古い貼り付け画像４２ｂには、重ならない状態で最新の貼り付け画像４２ａが貼り付けられる。【００３１】
また、ＣＰＵ３１は、プロセッサ５から画像取込部３２を介して入力される内視鏡画像（撮像画像）の例えば輝度の変化量をモニタし、挿入部１１の先端部２０が尿道から膀胱Ｂ内に入った時の輝度変化を利用して、膀胱内への挿入を検出（判定）する膀胱内挿入判定部の機能を有する。  
具体的には、挿入部１１の先端部２０が尿道から膀胱Ｂ内に入った場合、輝度値が高い状態から低い状態に変化した場合、膀胱Ｂ内に入ったと判定する。なお、輝度の他に、内視鏡画像の色調や、テクスチャの変化量等をモニタし、より確実に膀胱Ｂ内に入ったことを判定するようにしても良い。また、膀胱付近の所定の位置に図示しない磁気センサ等の位置検出センサを取り付け、位置検出センサの位置検出結果から膀胱の入口の位置を３次元的に検出できるようにしても良い。なお、図２においては、３Ｄモデル画像生成部３１ａ、挿入形状画像生成部３１ｂ、展開画像生成部３１ｃ、画像貼り付け処理部３１ｄ、画像貼り付け提示処理部３１ｅ、貼り付け画像判定部３１ｆをＣＰＵ３１により構成しているが、ＣＰＵ３１により構成する場合に限定されるものでなく、専用の電子回路や、ＦＰＧＡ等を用いて構成しても良い。【００３２】
本実施形態の内視鏡システム１は、被検体内の所定臓器としての膀胱Ｂ内に挿入部１１が挿入される内視鏡３と、前記内視鏡３に設けられ、前記被検体内における所定臓器内を撮像する撮像手段としての撮像部２３と、前記撮像手段付近又は当該撮像手段に接続される部材に設けられ、前記撮像手段の位置情報及び視線情報（視線方向情報）を検出する撮像情報取得手段としての位置・方向検出部３４と、前記所定臓器に対応するモデル画像を平面的に展開した平面モデル画像としての展開画像ＢＥを生成する展開画像生成手段としての展開画像生成部３１ｃと、前記展開画像生成手段が生成した前記平面モデル画像に対して、前記撮像手段の位置情報に基づく前記所定臓器内の画像を貼り付けると共に、前記位置情報に基づいて前記平面モデル画像の提示方法又は提示内容を変更する画像貼り付け提示手段としての画像貼り付け提示処理部３１ｅと、を備えることを特徴とする。【００３３】
次に本実施形態の動作を説明する。図９は、本実施形態の全体的な動作内容の１例を示す。  
内視鏡システム１の電源が投入され、光源装置４，プロセッサ５，画像処理装置６、モニタ７等が動作状態になり、最初のステップＳ１において術者は初期設定を行う。初期設定において、術者が内視鏡３により膀胱Ｂ内の内視鏡検査を行うことの入力部３８からの入力指示を行うと、ＣＰＵ３１は、膀胱Ｂのデータを読み出す。そして、モニタ７には、このモニタ７に表示する３つのエリア４１，４２，４３を用意する。初期設定が終了した後、次のステップＳ２において術者は内視鏡３の挿入部１１を患者Ｐの尿道から挿入する。  
また、ステップＳ３に示すように位置・方向検出部３４は、磁気センサ８の検出信号から磁場発生装置９を基準とした第１の座標系（X０Y０Z０）を用いて挿入部１１の先端部２０の撮像部２３の位置及び方向を検出する。【００３４】
また、ステップＳ４に示すようにＣＰＵ３１の膀胱内挿入判定部は、プロセッサ６により生成された内視鏡画像を監視し、挿入部１１の先端部２０が膀胱内（膀胱内の入口、つまり頸部ＰＲ）に挿入されたか否かの判定（検出）を行い、先端部２０が膀胱Ｂ内に挿入されるまでその処理を続行する。  
先端部２０が膀胱Ｂ内への挿入が検出された場合には、ステップＳ５に示すようにＣＰＵ３１は、先端部２０の位置及び方向の情報を記録部３６に記録するように制御する。また、ステップＳ６に示すようにＣＰＵ３１は、先端部２０が位置する膀胱Ｂの入口としての頸部ＰＲの３次元位置において、磁場発生装置９による第１の座標系（X０Y０Z０）と、図５の３Ｄモデル画像Ｍ１の第２の座標系（X２Y２Z２）及び図６の２Ｄモデル画像Ｍ２の中間座標系（X１Y１Z１）との変換を可能とする（方向を含めた）位置合わせを行う。【００３５】
つまり、各座標系において、膀胱Ｂの入口の位置をそれぞれ既知となる基準位置として１つの座標系における任意の位置を他の座標系においても特定することができるように各座標系間の位置合わせを行う（又は座標系間の変換を行うのに必要な変換データを確定する処理を行う）（後述する式（４）〜式（２３））。この位置合わせにより挿入部１１の先端部２０が膀胱Ｂ内の任意の位置及び方向の特定を、第１、中間、第２の座標系のいずれを用いても行うことができるようになる。  
ステップＳ６の処理の後、ＣＰＵ３１は、先端部２０の位置及び方向を、主に中間及び第２の座標系により管理する。  
ステップＳ７に示すようにＣＰＵ３１は、例えば所定時間毎に、先端部２０の位置及び方向の情報を取得し、取得した位置及び方向の情報を記録部３６に記録するように制御する。また、ステップＳ８に示すようにＣＰＵ３１（の挿入形状画像生成部３１ｃ）は、記録部３６に記録された直前の先端部２０の位置及び方向の情報を参照して膀胱内の挿入部１１の先端側の挿入形状画像Ｉを生成し、３Ｄモデル画像Ｍ１上における対応する座標位置に表示する。図５は、その場合の１例を示す。【００３６】
また、図５は、挿入部１１の先端部２０に設けられた撮像部２３が、膀胱Ｂ内で、例えば視野角θ１で内視鏡画像を撮像する様子を示している。また、点線で示す位置に病変部AAがあると、図５の座標系における病変部AAの位置は、図６の２Ｄモデル画像Ｍ２（の座標系）においては点線で示す位置に対応する。  
ステップＳ９に示すようにＣＰＵ３１は、レリーズ操作を監視する。そして、レリーズ操作が行われた場合には、ステップＳ１０に示すようにＣＰＵ３１は、レリーズ操作が行われたタイミングの内視鏡画像を記録部３６に記録する。また、ステップＳ１１に示すようにＣＰＵ３１は、記録する内視鏡画像を取得した時の先端部２０の位置及び方向の情報を記録部３６に内視鏡画像と関係付けて記録する。なお、ステップＳ９の処理においてレリーズ操作が行われない場合には、ステップＳ１２の処理に移る。又は点線で示すようにステップＳ１４の処理に移るようにしても良い。【００３７】
また、ステップＳ１２に示すようにＣＰＵ３１の貼り付け画像判定部３１ｆは、内視鏡画像が予め設定された貼り付ける条件に適合するか否かの判定処理を行う。そして、貼り付ける条件に適合するか否かの判定結果に応じた符号を設定する。貼り付け画像判定部３１ｆは、貼り付ける条件に適合すると判定した場合には例えば判定結果に応じた符号としてのCheck1をＯＮ，貼り付ける条件に適合しないと判定した場合には例えばCheck1をＯＦＦに設定する。  
ステップＳ１３に示すようにＣＰＵ３１の画像貼り付け処理部３１ｄは、貼り付ける条件に適合する判定結果（具体的にはCheck1がＯＮ）か否かを判定する。そして、貼り付ける条件に適合する判定結果の場合には、ステップＳ１４に示すように画像貼り付け処理部３１ｄは、内視鏡画像を貼り付ける処理を行う。【００３８】
また、ステップＳ１５に示すように画像貼り付け提示処理部３１ｅは、先端部２０の位置及び方向の情報等に基づいて、画像貼り付け処理部３１ｄにより展開画像ＢＥに、モニタ７で表示（提示）する場合の提示方法等を決定する処理を行う。次のステップＳ１６に示すように画像貼り付け処理部３１ｄは、提示方法等が決定された貼り付け画像が貼り付けられた展開画像ＢＥを表示ＩＦ３７を経てモニタ７に出力する。そして、モニタ７には画像貼り付け提示処理部３１ｅによる処理後の貼り付け画像４２ａが展開画像ＢＥ上における対応する位置に貼り付けられた状態で表示される。  
一方、ステップＳ１３の処理において、貼り付ける条件に適合しない判定結果の場合には、ステップＳ１７に示すように画像貼り付け処理部３１ｄは、内視鏡画像（撮像画像）を貼り付ける処理を行わない。ステップＳ１６又はＳ１７の処理の後、ステップＳ１８に示すようにＣＰＵ３１は位置・方向検出部３４の検出情報から挿入部１１が膀胱から抜去（引抜）されたか否かを判定する。
【００３９】
挿入部１１が膀胱から抜去されていない判定結果の場合には、ステップＳ７の処理に戻り、ステップＳ７〜Ｓ１８の処理を繰り返し行う。一方、挿入部１１が膀胱から抜去された判定結果の場合には、ＣＰＵ３１は、図９の処理を終了する。  
次に図９における処理内容の一部をより詳細に説明する。図１０は、図９におけるステップＳ１２の処理の詳細を示す。  
図１０の貼り付け画像の判定処理が開始すると、最初のステップＳ２１においてＣＰＵ３１の貼り付け画像判定部３１ｆ（における画像処理判定部又は画像処理判定回路４６ａ）は、図１２に示すように（図９のステップＳ１２における）処理対象の内視鏡画像に対する画像処理を行い、その画像処理結果により貼り付ける条件に適合するか否かの判定を行う。画像処理判定部４６ａは、画像処理による判定結果として、貼り付ける条件に適合すると判定した場合には例えばCheck2をＯＮ，貼り付ける条件に適合しないと判定した場合には例えばCheck2をＯＦＦに設定する。【００４０】
図１０における次のステップＳ２２に示すように貼り付け画像判定部３１ｆは、判定結果としてのCheck2がＯＮか否かを判定する。Check2がＯＮの場合には次のステップＳ２３に示すように貼り付け画像判定部３１ｆの位置・方向情報判定部（又は位置・方向情報判定回路）４６ｂは、センサ８に基づく位置方向情報を用いて処理対象の内視鏡画像が貼り付ける条件に適合するか否かの判定を行う。位置・方向情報判定部４６ｂは、貼り付ける条件に適合すると判定した場合には例えばCheck3をＯＮ，貼り付ける条件に適合しないと判定した場合には例えばCheck3をＯＦＦに設定する。  
次のステップＳ２４に示すように貼り付け画像判定部３１ｆは、判定結果としてのCheck3がＯＮか否かを判定する。Check3がＯＮの場合には次のステップＳ２５に示すように距離等情報判定部（又は距離等情報判定回路）４６ｃは、先端部２０（の撮像部２３）から膀胱壁までの距離と視線情報を用いて処理対象の内視鏡画像が貼り付ける条件に適合するか否かの判定を行う。【００４１】
距離等情報判定部４６ｃは、貼り付ける条件に適合すると判定した場合には例えばCheck4をＯＮ，貼り付ける条件に適合しないと判定した場合には例えばCheck4をＯＦＦに設定する。  
次のステップＳ２６に示すように貼り付け画像判定部３１ｆは、判定結果としてのCheck4がＯＮか否かを判定する。Check4がＯＮの場合には次のステップＳ２７に示すように貼り付け画像判定部３１ｆは、フレーム又は時間による判定処理を行う。そして、次のステップＳ２８において貼り付け画像判定部３１ｆは、前回貼り付けに採用した内視鏡画像から一定間隔のフレーム数、又は時間が経過した内視鏡画像であるか否かの判定を行う。この条件に適合する内視鏡画像の場合には、次のステップＳ２９において貼り付け画像判定部３１ｆは、処理対象の内視鏡画像が貼り付ける条件に適合する判定結果としてCheck1をＯＮにする。【００４２】
図１１は、ステップＳ２９の判定処理に適合した内視鏡画像の例を示す。図１１に示すように一定間隔（具体的には５フレーム数の間隔）の内視鏡画像のみが貼り付ける条件に適合すると判定される。  
一方、図１０のステップＳ２２においてCheck2がＯＮでない場合、ステップＳ２４においてCheck3がＯＮでない場合、ステップＳ２６においてCheck4がＯＮでない場合、ステップＳ２８の条件に適合しない場合には、ステップＳ３０において貼り付け画像判定部３１ｆは、処理対象の内視鏡画像が貼り付ける条件に適合しない判定結果としてCheck1をＯＦＦにし、図１０の処理を終了する。  
図１２は、図１０におけるステップＳ２１の画像処理による判定処理の詳細を示す。画像処理による判定がスタートすると、最初のステップＳ３１において貼り付け画像判定部３１ｆの画像処理判定部４６ａは、処理対象の内視鏡画像がボケ画像であるか否かの判定を行う。【００４３】
ボケ画像であるか否かは、内視鏡画像中のエッジ成分が閾値以上検出されるか否かに基づいて判定することができる。図１３（Ａ）はボケ画像の１例を示す。  
内視鏡画像がボケ画像でない場合には、次のステップＳ３２において画像処理判定部４６ａは、内視鏡画像が赤玉画像か否かを判定する。赤玉画像であるか否かは、内視鏡画像中のR画素の画素値に基づいて判定することができる。図１３（Ｂ）は赤玉画像の１例を示し、画像全体が赤の色調を呈する画像となる。  
内視鏡画像が赤玉画像でない場合には、次のステップＳ３３において画像処理判定部４６ａは、内視鏡画像がブレ画像か否かを判定する。ブレ画像であるか否かは、内視鏡画像中のエッジ成分に基づいて判定することができる。図１３（Ｃ）は縦方向のブレ画像の１例を示す。なお、ステップＳ３１とステップＳ３３とを纏めて行うようにしても良い。【００４４】
内視鏡画像がブレ画像でない場合には、次のステップＳ３４において画像処理判定部４６ａは、内視鏡画像中に複数の壁（面）が写るような画像であるか否かを判定する。複数の壁（面）が写る画像であるか否かは、帯状又は線状に輝度の低い画像が走行しているか否かを内視鏡画像中のエッジ成分に基づいて判定することができる。図１３（Ｄ）は複数の壁（面）が段差状に写る画像の１例を示す。  
内視鏡画像中に複数の壁（面）が写るような画像でない場合には、次のステップＳ３５において画像処理判定部４６ａは、画像処理による条件処理により貼り付け条件に適合する判定結果としてCheck2をＯＮにする。一方、ステップＳ３１〜Ｓ３４の判定処理において画像処理判定部４６ａは、ボケ画像、赤玉画像、ビブ画像、複数の壁面が写る画像であると判定した場合には、貼り付ける条件に適合しないと判定結果としてCheck2をＯＦＦに設定する。そして、図１２の処理を終了する。【００４５】
図１４は、図１０におけるステップＳ２３の位置・方向情報による判定処理の詳細を示す。この判定がスタートすると最初のステップＳ４１において（貼り付け画像判定部３１ｆの）位置・方向情報判定部４６ｂは、現在取得した内視鏡画像の前の内視鏡画像（前画像と略記）の位置・方向情報を位置・方向検出部３４から読み出す。  
図９におけるステップＳ１２における処理対象となる最新のｐ番目の内視鏡画像をImg(ｐ)とすると、そのｐ番目よりも１フレーム分前のｐ−１番目に取得された内視鏡画像Img(ｐ−１)についての位置・方向情報も読み出される。そして、以下に説明するようにｐ番目とｐ−１番目の２つの内視鏡画像、又はより一般化したｎ番目とｍ番目との２つの内視鏡画像に対して以下の式（１）により移動量Ｌnmを算出する。
【００４６】
Ｌnm＝((ｘｎ−ｘｍ)２＋(ｙｎ−ｙｍ)２＋(ｚｎ−ｚｍ)２)１／２       （１）
式（１）において、ｘｎ、ｙｎ、ｚｎ、ｘｍ、ｙｍ、ｚｍは、それぞれ３次元の座標系（X２Y２Z２）における先端部２０又は撮像部２３の位置情報である。このため、移動量Ｌnmは、先端部２０の移動量を表すと言えると共に、撮像部２３が取得する内視鏡画像の移動量を表すと言うことができる。例えばｎ＝ｐ，ｍ＝ｐ−１として、ｐ番目とｐ−１番目間の撮像部２３が取得する内視鏡画像の移動量を算出したり、ｎ＝ｐ，ｍ＝ｐ−２として、ｐ番目とｐ−２番目間の移動量を算出したりする。また、ｎ＝ｐ＋１，ｍ＝ｐ−１として、ｐ＋１番目とｐ−１番目間の移動量を算出しても良い。  
次のステップＳ４３において位置・方向情報判定部４６ｂは、移動量Lnmが移動量の閾値Ｔhre1より小さいか否かを判定する。【００４７】
ステップＳ４３において移動量Lnmが閾値Ｔhre1より小さい判定結果となる場合には次のステップＳ４４において位置・方向情報判定部４６ｂは、以下の式（２）により先端部２０の移動速度Ｍnmを算出する。  
Ｍnm＝((ｘｎ−ｘｍ)２＋(ｙｎ−ｙｍ)２＋(ｚｎ−ｚｍ)２)１／２／(Ｔｎ−Ｔｍ)     （２）
式（２）において、Ｔｎ、Ｔｍは、それぞれ、内視鏡画像Img(ｎ)が取得されたときの時刻と、内視鏡画像Img(ｍ)が取得されたときの時刻（但し、ｎ＞ｍ）である。例えばｎ＝ｐ，ｍ＝ｐ−１として、撮像部２３によるｐ番目の内視鏡画像Img(ｐ)の移動速度を算出したり、ｎ＝ｐ，ｍ＝ｐ−２として、撮像部２３によるｐ−１番目の内視鏡画像Img(ｐ−１)の移動速度を算出したりする。また、ｎ＝ｐ＋１，ｍ＝ｐ−１として、撮像部２３によるｐ番目の内視鏡画像Img(ｐ)の移動速度を算出しても良い。  
次のステップＳ４５において位置・方向情報判定部４６ｂは、移動速度Ｍnmが移動速度の閾値Ｔhre2より小さいか否かを判定する。【００４８】
ステップＳ４５において移動速度Ｍnmが閾値Ｔhre2より小さい判定結果となる場合には次のステップＳ４６において位置・方向情報判定部４６ｂは、先端部２０の長手軸の回りの回転速度としての角速度Ｒnmを以下の式（３）により算出する。  
Ｒnm＝|δｎ−δｍ|／（Ｔｎ−Ｔｍ)     （３）
式（３）において、δｎ、δｍは、それぞれ３次元の座標系（X２Y２Z２）における先端部２０の長手軸周りの角度である。  
次のステップＳ４７において位置・方向情報判定部４６ｂは、算出した角速度Ｒnmが角速度の閾値Ｔhre3より小さいか否かの判定を行う。角速度Ｒnmが閾値Ｔhre3より小さい判定結果が得られた場合には、次のステップＳ４８において位置・方向情報判定部４６ｂは、位置・方向情報による条件処理により貼り付け条件に適合する判定結果としてCheck3をＯＮにする。【００４９】
一方、ステップＳ４３、Ｓ４５、４７の判定処理において位置・方向情報判定部４６ｂが、閾値Ｔhre1、Ｔhre2、Ｔhre3以上と判定した場合には、ステップＳ４９において位置・方向情報判定部４６ｂは、貼り付ける条件に適合しないと判定結果としてCheck3をＯＦＦに設定する。そして、図１４の処理を終了する。  
なお、位置・方向検出部３４は、図１５に示すように撮像部２３により各フレームの内視鏡画像（単に画像とも記す）を取得（撮像）する時刻Ｔｉ（ｉ＝１，２，…，n）に同期して、２つの磁気コイル８ａにより取得したセンサ情報から、先端部の位置（ｘｉ、ｙｉ、ｚｉ）とオイラー角に対応する回転角（αｉ，βｉ，γｉ）の情報を取得又は算出する。そして、図１４において説明したように位置・方向情報判定部４６ｂは、移動量Ｌnm、移動速度Ｍnm及び角速度Rnmを算出し、それぞれ閾値より小さいか否かを判定する。【００５０】
図１６（Ａ）は、挿入部１１の先端部２０（内の撮像部２３）が膀胱内面をｍ番目とｎ番目のフレームの内視鏡画像Img（ｍ）とImg（ｎ）を取得する様子を示す。なお、図１６（Ａ）において模式的に撮像される対象領域Ａ（ｍ）、Ａ（ｎ）が内視鏡画像Img（ｍ）、Img（ｎ）に対応する。そして、移動量Ｌnmが閾値Thre1より小さい場合には、貼り付ける画像として採用し、移動量Ｌnmが閾値Thre1以上となる場合には、貼り付ける画像として採用しない。  
また、図１６（Ｂ）は、移動速度の説明図の１例を示す。先端部２０は静止状態の位置Ｐａ，Ｐｃにおいては、（先端部内の撮像部２３は）内視鏡画像Img（ｐ−２）、Img（ｐ）に対応する対象領域Ａ（ｐ−２）、Ａ（ｐ）を撮像する。また、先端部内の撮像部２３は、これらの間の位置Ｐｂ′において移動しながら撮像を行い、対象領域Ａ（ｐ−１）を撮像する。【００５１】
このような場合においては、位置Ｐｂ′の移動速度Ｍnmは閾値Thre2以上となるためにブレた画像になる可能性が高い。そのような画像は、貼り付けに使用しない画像として判定する。  
また、図１７は、図１６（Ｂ）における対象領域Ａ（ｐ−２）、Ａ（ｐ−１）、Ａ（ｐ）を撮像する場合の先端部２０の軸方向の回転角δｐ−２，δｐに対して、その間の回転角δｐ−１の場合の角速度Ｒnmに対して判定する様子を示す。この場合においても、角速度Ｒnmが閾値Ｔhre3以上に大きいとブレた画像となってしまい、そのような画像は貼り付けに使用しない画像として判定する。  
図１８は図１０のステップＳ２５の膀胱壁までの距離と視線方向による判定処理の詳細を示す。図１８においては、膀胱壁までの距離と視線方向による判定を、膀胱壁までの距離等による判定と略記する。
【００５２】
この判定がスタートすると最初のステップＳ５１において（貼り付け画像処理判定部３１ｆの）位置・方向情報判定部４６ｂは、現在取得した内視鏡画像の前の内視鏡画像（前画像と略記）の位置・方向情報を位置・方向検出部３４から読み出す。  
次のステップＳ５２において貼り付け画像判定部３１ｆの距離等情報判定部４６ｃは、膀胱壁の３次元位置を推定する。例えば図１９（Ａ）に示すように膀胱Ｂ内に挿入部１１の先端側を挿入して湾曲部２５の湾曲方向を例えば左右方向に対して僅かに変えることにより、先端部２０を左右方向に離間した位置Ｐｌ、Ｐｒに設定して、同じ領域を含む対象領域Ａ（ｌ），Ａ（ｒ）を撮像することができる。この場合、２つの位置Ｐｌ，Ｐｒにそれぞれ撮像部２３を配置したステレオ撮像手段と見なすことができる。  
各位置Ｐｌ，Ｐｒは磁気センサ８により算出でき、距離等情報判定部４６ｃは各位置において撮像部２３により撮像した２つの内視鏡画像Img（ｌ），Img（ｒ）から、膀胱壁の３次元位置を推定する。【００５３】
次のステップＳ５３において距離等情報判定部４６ｃは、先端部２０から膀胱壁までの距離Ｄｎと、膀胱壁の法線方向と撮像部２３の視線方向とのなす角Θｎを算出する。  
距離Ｄｎは、先端部２０の３次元位置と膀胱壁の３次元位置とから算出することができる。また、膀胱壁の法線方向と撮像部２３の視線方向とのなす角Θｎは、図１９（Ｂ）に示すようにして算出する。  
図１９（Ｂ）に示すように（図１９（Ａ）のようなステレオ計測を利用して）膀胱壁面に対して、３点Ｐ１，Ｐ２，Ｐ３の位置計測を行うことにより３点を含む膀胱壁面Ｐｂを決定でき、更にこの膀胱壁面Ｐｂに垂直な法線ベクトルＶｂを算出することができる。また、法線ベクトルＶｂと撮像部２３の視線方向Ｖｓとのなす角Θｎを算出することができる。なお、図１９（Ｃ）は、膀胱内で膀胱壁面Ｐｂを観察する様子を示す。【００５４】
図１８におけるステップＳ５３の処理が終了すると、次のステップＳ５４において距離等情報判定部４６ｃは、距離Ｄｎが予め設定した下限側の閾値Ｔhre4と上限側の閾値Ｔhre5との範囲内にあるか否かの判定を行う。  
図２０（Ａ）は、貼り付ける画像として判定される条件に適合する場合の1例を示す。図２０（Ａ）に示す例では、先端部２０から膀胱壁面Ｐｂまでの距離Ｄｎが下限側の閾値Ｔhre4と上限側の閾値Ｔhre5との範囲内にある場合を示す。これに対して、図２０（Ｂ）に示す例では、距離Ｄｎが下限側の閾値Ｔhre4より小さい場合と、上限側の閾値Ｔhre5より大きい場合を示し、貼り付ける画像として判定されない。  
先端部２０が膀胱壁面Ｐｂにあまりに近過ぎたり、あるいはある程度以上遠過ぎると、撮像部２３によって撮像して得られる内視鏡画像は、焦点が合っていなかったり、明るさが適切でなかったりする。【００５５】
そこで、焦点と明るさが適切な画像が撮像できる範囲として、距離Ｄｎが所定の閾値Thre4より大きく、かつ所定の閾値Thre5未満である範囲を、被写体までの適切な距離として、予め設定される。  
図１８におけるステップＳ５４において距離Ｄｎが閾値Ｔhre4と閾値Ｔhre5との範囲内にある判定結果の場合には、次のステップＳ５５において距離等情報判定部４６ｃは、法線ベクトルＶｂと視線方向Ｖｓとのなす角Θｎが予め設定された閾値Ｔhre6未満であるか否かの判定を行う。  
角Θｎが閾値Ｔhre6未満である判定結果の場合には、ステップＳ５６において距離等情報判定部４６ｃは、撮像された内視鏡画像は距離等情報判定部４６ｃによる貼り付ける条件に適合する画像である判定結果に該当してCheck4をＯＮにする。【００５６】
一方、ステップＳ５４，Ｓ５５において、各条件を満たさない判定結果の場合には、ステップＳ５７において距離等情報判定部４６ｃは、Check4をＯＦＦにして、図１８の処理を終了する。  
図９におけるステップＳ１２の貼り付け画像処理の詳細を、図１０と、図１０におけるＳ２１，Ｓ２３，Ｓ２５等の処理の詳細等を示す図１１から図２０を用いて説明した。このようにして貼り付け画像の判定処理が終了すると、図９のステップＳ１４において説明したように画像貼り付け処理部３１ｄは、貼り付け画像として判定された内視鏡画像（撮像画像）を展開画像ＢＥにおける対応する位置に貼り付ける。  
本実施形態においては、モニタ７の第１エリア４１に表示される内視鏡画像が、第２エリア４２に表示される展開画像ＢＥにおけるどの位置、又はどの範囲（又は領域）を撮像しているかを分かり易くするために画像貼り付け提示処理部３１ｅの撮像範囲提示部（又は撮像範囲提示回路）４５ａは展開画像ＢＥに撮像範囲（又は撮像領域）を示す印を付ける。図２１（Ａ）、２１（Ｂ）、２１（Ｃ）、及び２１（Ｄ）は、撮像範囲提示部４５ａによる撮像範囲の提示例を示す。  
図２１（Ａ）に示すように第１エリアの内視鏡画像に範囲Ａ１の枠を設定した場合、その範囲Ａ１に対応する第２エリア４２に表示される展開画像ＢＥにおける対応する撮像範囲Ｂ１の枠を表示することにより、術者は第１エリアの内視鏡画像が展開画像ＢＥ上においてどの範囲を撮像しているかを容易に把握することができる。  
また、図２１（Ｂ）、又は図２１（Ｃ）に示すように、第１エリアの内視鏡画像を撮像している範囲に対応する展開画像ＢＥ上における撮像範囲を円形枠Ｂ２又は矩形枠Ｂ３で表示する。このようにすることにより、図２１（Ａ）の場合とほぼ同様の効果を有する。【００５７】
また、図２１（Ｄ）に示すように、第１エリア４１の内視鏡画像を撮像している範囲に対応する展開画像ＢＥ上における撮像範囲を例えば青などの色を付けた着色領域Ｂ４で表示する。このようにすることにより、図２１（Ａ）の場合とほぼ同様の効果を有する。また、図２２Ａに示すように画像貼り付けを行うようにしても良い。  
上述したように最新の状態で撮像した内視鏡画像（撮像画像）を展開画像ＢＥ上における対応する位置及び撮像した領域（撮像範囲）とほぼ一致するサイズの貼り付け画像Ｂ５で貼り付けた後、次の内視鏡画像を貼り付ける際には点線で示す貼り付け画像Ｂ６のように縮小しても良い。なお、貼り付け画像Ｂ６となる場合には、貼り付け画像Ｂ６の外側で、貼り付け画像Ｂ５で隠れていた部分の貼り付け画像が表示されることになる。  
また、撮像範囲提示部４５ａを用いる代わりに、提示位置調整部（又は提示位置調整回路）４５ｂにより展開画像ＢＥの表示位置（提示位置）を調整して表示しても良い。図２２Ｂはこの場合の提示（表示）例を示す。  
図２２Ｂに示すように第１エリアに表示される内視鏡画像に対応して展開画像ＢＥに貼り付けられる画像４２ｃが展開画像ＢＥにおける中心に位置するように展開画像ＢＥを移動する等して表示する。つまり、図２２Ｂにおける上側は、提示位置調整部４５ｂによる調整前にモニタ７で表示される展開画像ＢＥ等を示し、この展開画像ＢＥにおいては第１エリア４１に表示される内視鏡画像に対応する画像４２ｃは、他の画像４２ｂ等の存在のために分かりにくくなる。
【００５８】
このため、提示位置調整部４５ｂは、この展開画像ＢＥを図２２Ｂの下側に示すように画像４２ｃが第２エリア４２の中心に位置するように展開画像ＢＥを調整して表示し、内視鏡画像に対応する画像４２ｃ（の撮像範囲）を分かり易くする。  
また、本実施形態においては、術者による提示選択部３８ａからの選択により、提示角度調整部（又は提示角度調整回路）４５ｃを選択することができる。  
本実施形態においては、画像貼り付け提示処理部３１ｅの提示角度調整部４５ｃは、以下に説明するように第１エリア４１の内視鏡画像に対応する第２エリア４２の展開画像ＢＥに貼り付けられる画像の方位（又は向き）を（総称して）表す角度を、術者が両画像の各部を容易に把握し易いように調整する。また、提示角度調整部４５ｃは、以下に説明するように撮像手段により撮像された内視鏡画像（撮像画像）と、展開画像ＢＥ上の貼り付け画像との各方位（向き）を一致させるように表示（提示）する画像調整手段又は画像調整部の機能を持つ。【００５９】
また、提示角度調整部４５ｃは、第１エリア４１による第１の表示エリアに撮像画像が表示された場合の上下、左右の方向に対して、第２エリア４２による第２の表示エリアに表示された平面モデル画像としての展開画像ＢＥに貼り付けられる画像における上下、左右の方向が、画像表示装置としてのモニタ７の表示画面上においてそれぞれ一致するように展開画像ＢＥの方位又は角度を調整する機能を有するとも言える。【００６０】
膀胱内に挿入部１１の先端側を挿入して膀胱内面を観察する場合、例えば膀胱の後壁側は湾曲部２５を大きく湾曲させること無く観察することができる。このような場合においては、撮像部２３により撮像して第１エリア４１に内視鏡画像として表示する場合、内視鏡画像における上下、左右の各方位（又は向き）は、予め通常の上下、左右の各方位と一致するように表示される。この場合の上下、左右の各方位は、湾曲部２５を湾曲させない状態での上下、左右の各方向と一致する。  
しかし、膀胱Ｂ内における挿入部１１を挿入した入口側の内面を観察する場合には、湾曲部２５を９０°を超えて反転させる位に大きく湾曲させる必要があり、このように大きく湾曲させた場合には、先端部２０に設けた撮像部２３が撮像する場合の上下、左右の方位が湾曲部２５の湾曲方向に依存して変化する。第１エリア４１に表示される内視鏡画像は、撮像部２３が撮像する際の先端部２０側の湾曲等による姿勢に応じて変化する。【００６１】
第１エリア４１に表示される内視鏡画像の方位と、展開画像ＢＥに貼り付けられ画像の方位とが一致していないと、（複数の画像が貼り付けられているような場合においては）同じ画像であるか否かの認識が困難になる場合が発生し、そのような場合には、膀胱Ｂ内におけるどの部位や領域を撮像しているかを把握し難くなる。  
そのため本実施形態においては、以下に説明するように両画像が同じ画像であるか否かを容易に認識又は把握できるように展開画像ＢＥに貼り付けられる画像の方位（又は向き）、換言すると貼り付けられる画像側となる展開画像ＢＥの角度を調整する。  
図２３〜図２７は、その動作の説明図を示す。図２３（Ａ）は、膀胱Ｂの立体モデルにおけるその内面における代表的な４つの位置に、文字を付けた観察対象６１を示し、図２３（Ｂ）は、観察対象６１を正面から撮像した（第１エリア４１に表示される）内視鏡画像を示す。【００６２】
図２４（Ａ）は挿入部１１の先端側を上方向に大きく湾曲させて、図２３（Ａ）に示した観察対象６１を背面側から観察する様子を示し、その場合の内視鏡画像は図２４（Ｂ）に示すようになる。  
図２５（Ａ）は挿入部１１の先端側を上方向に大きく湾曲させて、図２３（Ａ）に示した観察対象６１を背面側から観察する様子を示し、その場合の内視鏡画像は図２５（Ｂ）に示すようになる。  
挿入部１１の湾曲状態毎に第１エリア４１の上下左右の各方向の関係が異なり、その状態で第２エリア４２に貼り付けると、第２エリア４２に貼り付いた各々の画像の方位関係が統一化されないため、画像と画像につながりが無い状態となる。本実施形態においては、展開画像ＢＥに貼り付けられる画像４２ｄ以外の当該展開画像ＢＥの角度を調整して図２６及び図２７のように表示する。  
図２６及び図２７に示すように第１エリア４１に表示される内視鏡画像４１ａの各方位と、第２エリア４２に表示される展開画像ＢＥに貼り付けられて表示される画像４２ｄの各方位とが一致しているので、術者は両画像が同じ画像であることを容易に把握できると共に、貼り付けられた画像の方位関係が統一化されるため、画像と画像が正しくつながる。図２３の場合に対しては図示しないが、図２６，図２７の場合と同様である。なお、第１エリア４１に表示される内視鏡画像の方位と、第２エリア４２に表示される展開画像ＢＥに貼り付けられて表示される画像の方位とを一致させる場合、図２６，図２７においては、展開画像ＢＥに貼り付けられる画像４２ｄの位置においての、展開画像ＢＥの方位（角度）を変更しているが、展開画像ＢＥをその中心位置の回りで回転させることにより、両画像の方位が一致するように調整して（画像調整手段を形成して）も良い。なお、図２４から図２７では、湾曲部２５を特定の方向に湾曲させて撮像する場合において説明したが、図示した場合と異なる方向を撮像する場合にも適用しても良い。  
図２８は、図９におけるステップＳ１５〜１６の処理の詳細を示す。展開画像ＢＥに貼り付けられる画像が貼り付け画像４２ａとして判定され、この貼り付け画像４２ａはステップＳ１４において展開画像ＢＥにおける対応する位置に貼り付けられる。この貼り付けることが決定した場合、図２８に示すように提示（表示）方法等を決定する提示処理が開始する。【００６３】
最初のステップＳ６１において画像貼り付け提示処理部３１ｅの提示角度調整部４５ｃは、位置・方向検出部３４による位置・方向の情報及び挿入形状情報に基づいて、挿入部１１の先端側の撮像部２３が撮像する姿勢（図２３（Ａ），図２４（Ａ）、図２５（Ａ）等の状態）の情報を取得し、展開画像ＢＥ上に貼り付ける位置を算出する。次のステップＳ６２において画像貼り付け提示処理部３１ｅは、内視鏡画像の撮像範囲を提示することが術者によって提示選択部３８ａから選択されたか否かの判定を行う。  
この選択が行われた場合には、次のステップＳ６３において画像貼り付け提示処理部３１ｅは、展開画像ＢＥにおいて現在の内視鏡画像の撮像範囲を図２１の提示例のように提示し、図２９の処理を終了する。  
ステップＳ６２において撮像範囲の選択が行われない場合には、ステップＳ６４において画像貼り付け提示処理部３１ｅは、提示選択部３８ａにより撮像位置が選択されたか否かの判定を行う。【００６４】
この選択が行われた場合には、次のステップＳ６５において画像貼り付け提示処理部３１ｅは、図２２の提示例のように現在の内視鏡画像の撮像範囲を展開画像ＢＥにおいて中心位置となるように提示して図２９の処理を終了する。  
ステップＳ６４において撮像位置の選択が行われない場合には、ステップＳ６６において画像貼り付け提示処理部３１ｅは、提示選択部３８ａから提示角度が選択されたか否かの判定を行う。この選択が行われた場合には、次のステップＳ６７において画像貼り付け提示処理部３１ｅは、第１エリア４１に表示される内視鏡画像の方位（向き）も算出する。なお、第１エリア４１に表示される内視鏡画像の方位は、基準となる撮像部２３の姿勢に応じて決まるように設定されている。  
次のステップＳ６８において提示角度調整部４５ｃは、第１エリア４１に表示される内視鏡画像の方位と、展開画像ＢＥ上における対応する位置に貼り付けられる貼り付け画像４２ａの方位とが一致するか否かの判定を行う。【００６５】
一致しない判定結果の場合には、次のステップＳ６９において提示角度調整部４５ｃは、展開画像ＢＥに貼り付けられる貼り付け画像４２ａの方位が第１エリア４１に表示される内視鏡画像の方位と一致するように展開画像ＢＥの角度調整を行い（図２６，図２７の提示例参照）、図２９の処理を終了する。  
一方、ステップＳ６６の判定処理において、一致する判定結果の場合にも図２９の処理を終了する。  
このようにして貼り付け画像４２ａが貼り付けられた展開画像ＢＥが、内視鏡画像等と共にモニタ７に表示される。図２８の処理を行うようにした場合、図２１に示すように現在撮像（観察）している内視鏡画像の撮像範囲を容易に把握できる。また、図２２に示すように現在の内視鏡画像の撮像範囲を容易に把握できる。また、図２６，図２７に示すように内視鏡画像の方位と展開画像ＢＥに貼り付けられた貼り付け画像４２ａの方位が一致するため、術者は、両画像が同じ画像であることを容易に把握できる。【００６６】
上述した説明においては、挿入部１１の先端側に湾曲自在の湾曲部２５が設けられた挿入部１１が軟性の内視鏡３の場合において説明した。  
これに対して、硬質の挿入部を有する内視鏡としての硬性内視鏡を用いて膀胱内を観察する場合もある。このため、図１又は図２に示す内視鏡システム１は、内視鏡３と、図２９に示す硬性内視鏡３Ｂ，３Ｃ，３Ｄの中から術者が使用することを望むいずれか１つを選択して使用することもできる。  
図２９は、視野角等が異なる例えば３種類の硬性内視鏡３Ｂ，３Ｃ，３Ｄを示す。各内視鏡３Ｉ（Ｉ＝Ｂ，Ｃ，Ｄ）は、硬質の挿入部１１と、その後端（基端）の把持部６３と、把持部６３付近に着脱自在に延出されるライトガイドケーブル６４と、信号ケーブル６５とを有する。ライトガイドケーブル６４の図示しない端部は、図２に示した光源装置４に着脱自在に接続される。光源装置４から供給された照明光は、ライトガイドケーブル６４と、内視鏡３Ｉ内のライトガイド１４により伝送され、挿入部１１の先端部２０に配置されたライトガイド１４の先端面から（図示しない照明レンズを経て）出射される。【００６７】
先端部２０には、対物レンズ２１とＣＣＤ２２からなる撮像部２３Ｉが設けられ、撮像部２３Ｉにより膀胱内面を撮像することができる。また、撮像部２３Ｉの近傍又は付近には、撮像情報取得手段を構成する磁気センサ８が配置されている。なお、図２９の図示例においては、対物レンズ２１の結像位置に撮像手段を構成するＣＣＤ２２を配置した構成にしているが、硬質の挿入部１１を有する光学式内視鏡と、この光学式内視鏡の後端にＣＣＤ２２を備えたテレビカメラ等の接続部材を接続し、接続部材におけるＣＣＤ２２の付近に撮像情報取得手段を構成する磁気センサ８を配置した構成にしても良い。さらに、撮像手段に対して、時間的に形状が変化しない状態で接続される部材に、撮像手段の位置情報と視線情報とを検出可能とする撮像情報取得手段を構成する磁気センサ８等を設けるようにしても良い。つまり、前記撮像手段の位置情報及び視線情報を検出する撮像情報取得手段は、撮像手段付近でも良いし、当該撮像手段に接続される部材に設けても良い。【００６８】
なお、光学式内視鏡と、テレビカメラとを用いた場合においても、撮像手段又は撮像部を形成するＣＣＤ２２により所定臓器内が実際に撮像される位置及び撮像範囲は、実質的に挿入部の先端部に配置される対物光学系を形成する対物レンズ２１により決定されるために、撮像部の位置情報及び視線情報の代わりに対物レンズ２１の位置情報及び視線情報（光軸方向情報）に置換しても良い。換言すると、撮像部付近又は当該撮像部に接続される部材に設けられ、前記撮像部の位置情報及び視線情報を検出（又は取得）する撮像情報取得部の代わりに、撮像部を構成し、（所定臓器の光学像を結像して）撮像に用いられる対物光学系の位置情報及び視線情報を検出（又は取得）する撮像情報取得部に置換しても良い。【００６９】
上記撮像部２３Ｉによる視野角θｉ（ｉ＝ｂ、ｃ、ｄ）により膀胱内での撮像可能な範囲は、図２９に示すように異なる。  
撮像部２３Ｂにおいては、挿入部１１の長手方向を中心として直視方向に沿った視野角θｂとなり、撮像部２３Ｃにおいては、挿入部１１の長手方向と所定角度成す方向を中心とした斜視方向の視野角θｃとなり、撮像部２３Ｄにおいては、撮像部２３Ｃよりも挿入部１１の長手方向と成す角度が大きい斜視方向となる視野角θｄとなる。図２９に示すように視野角はθｂ＜θｃ＜θｄとなっている。  
このように硬性内視鏡３Ｉの場合には、膀胱内に挿入した場合において、硬性内視鏡３Ｉの視野角θｉにより観察可能な範囲が制約される。  
図２９に示したように視野角θｉが異なるため、１人の患者Ｐにおける膀胱内を検査する場合において、硬性内視鏡３Ｉを差し替えて使用する場合もある。【００７０】
このように硬性内視鏡３Ｉを差し替えて使用する場合、展開画像ＢＥ上の貼り付け画像が複数存在する場合、現在使用している硬性内視鏡３Ｉで観察している内視鏡画像に対応する貼り付け画像が分かりにくくなる場合がある。  
このため、図３０に示すように現在使用していない硬性内視鏡で観察した場合の貼り付け画像をぼかし、現在使用している硬性内視鏡で観察した場合の貼り付け画像４２ａを明確に表示するようにしても良い。つまり、図３０においては、ぼかした画像を４２ｅで示している。なお、ぼかした画像４２ｅは、その輝度レベルや色の彩度等を低下させて表示するようにすれば良い。あるいは、ぼかした画像４２ｅの色調をモノクロにして現在使用している硬性内視鏡で観察した場合の貼り付け画像４２ａとの差異がわかるようにしても良い。【００７１】
また、図２９に示したように使用する硬性内視鏡の種類によって視野角が異なり、膀胱内で観察可能な範囲が制約される。このため、図２９に示すように使用する硬性内視鏡の種類に応じて、膀胱内を観察する場合の範囲が制約されるので、実際に表示する展開画像を変更するようにしても良い。図２９においては、硬性内視鏡３Ｉの視野角θｉに対応して撮像可能な概略の範囲をＥｉで示している。  
図３１はこの場合の説明図を示す。図３１は中央に展開画像を生成する場合に用いる３Ｄモデル画像Ｍ１を示し、展開画像の生成に利用される範囲（点線はその境界を示す）は視野角の広さに応じて変化する。このようにして、実際に利用する展開画像の表示範囲を硬性内視鏡の種類や視野角に応じて、調整するようにしても良い。  
具体的には、膀胱Ｂの頸部ＲＰ側を観察する視野角が広い硬性内視鏡３Ｄの場合には、境界となる点線は左側に移動する。これに対して、膀胱の頂部側を観察する視野角の狭い硬性内視鏡３Ｂ，３Ｃの場合には、点線は左側に移動する。【００７２】
つまり、視野角が広い撮像手段の場合には、展開画像ＢＥの領域を広くし、視野角が狭い撮像手段の場合には、展開画像ＢＥの領域を小さくするようにしても良い。画像貼り付け提示手段を構成する画像貼り付け提示処理部３１ｅは、撮像手段の種類に応じて平面モデル画像としての展開画像ＢＥの領域の大きさや、色調を変更したりする等の提示方法を変更しても良い。また、画像貼り付け提示処理部３１ｅは、撮像手段の種類に応じて展開画像ＢＥ上に貼り付けられて提示される貼り付け画像の色調やサイズなどを変更する等して、展開画像ＢＥ上の提示方法を変更しても良い。  
なお、図３２から図３８は本実施形態における座標系の変換と内視鏡画像を展開画像ＢＥに貼り付ける場合の説明図を示す。  
図３２は、磁場発生装置９の座標系とベッド２上の患者Ｐの膀胱Ｂの座標系の関係を説明するための図である。位置・方向検出部３４は、磁場発生装置９の第１の座標系（X０Y０Z０）を基準とする位置方向情報をリアルタイムで生成する。【００７３】
そこで、ＣＰＵ３１は、図９のステップＳ６において、図３２に示すように、膀胱Ｂの入口の位置と方向を基準位置と基準方向として決定し、次の式（４）と式（５）に従って、位置・方向検出部３４の位置方向情報を、膀胱Ｂの入口を基準とする座標系（X１Y１Z１）の位置・方向情報に変換する。  
Ｐ１＝Ｒ０１Ｐ０＋Ｍ０１                ・・・（４）
Ｖ１＝Ｒ０１Ｖ０                    ・・・（５）
ここで、Ｐ０とＶ０は、それぞれ、磁場発生装置９を基準とする座標系である第１の座標系（X０Y０Z０）における位置と方向ベクトルである。Ｒ０１は、次の式（６）で示される回転行列であり、Ｍ０１は、次の式（７）で示される並進行列である。【００７４】
［式６］
0005993515.tif 000002
［式７］
0005993515.tif 000003
よって、第１の座標系（X０Y０Z０）上の点（ｘ０，ｙ０，ｚ０）は、次の式（８）に示すように、中間座標系（X１Y１Z１）上の点（ｘ１，ｙ１，ｚ１）に変換される。  
［式８］
0005993515.tif 000004
内視鏡の先端部２０の膀胱Ｂ内への挿入が検出されたときにおける位置・方向検出部３４により検出される位置と方向のベクトルをＰ´0、Ｖ´0とすると、並進行列Ｍ０１は以下の式（９）により求められる。【００７５】
Ｍ０１＝−Ｐ´0                  ・・・（９）
また、回転行列Ｒ０１は以下の条件を満たすように求める。図３３は、中間座標系（X１Y１Z１）上に投影される方向ベクトルを説明するための図である。回転行列Ｒ０１の満たす条件は、Ｚ1は重力方向と平行であること、及びＺ1に対して垂直なX1Y1平面にV´0を投影し、その投影したベクトル方向をY1、Y1Z1平面に垂直なベクトルをX1とする、ことである。  
ステップＳ７において先端部２０の位置・方向の情報を記録する場合には、さらに、次の式（１０）と式（１１）に従って、中間座標系（X１Y１Z１）の位置と方向ベクトルは、３Ｄモデル画像Ｍ１の中心を基準とする第２の座標系（X２Y２Z２）における位置と方向ベクトルに変換して記録される。図３４は、中間座標系（X１Y１Z１）と第２の座標系（X２Y２Z２）の関係を説明するための図である。【００７６】
Ｐ２＝Ｒ１２Ｐ１＋Ｍ０２                ・・・（１０）
Ｖ２＝Ｒ１２Ｖ１                    ・・・（１１）
ここで、Ｐ１とＶ１は、それぞれ、中間座標系（X１Y１Z１）における位置と方向ベクトルであり、Ｐ２とＶ２は、それぞれ、第２の座標系（X２Y２Z２）における位置と方向ベクトルである。Ｖ２は、第２の座標系（X２Y２Z２）における内視鏡画像の中心の画素の方向ベクトルである。Ｒ１２は、次の式（１２）で示される回転行列であり、Ｍ０２は、次の式（１３）で示される並進行列である。  
［式１２］
0005993515.tif 000005
［式１３］
0005993515.tif 000006
よって、中間座標系（X１Y１Z１）上の点（ｘ１，ｙ１，ｚ１）は、次の式（１４）に示すように、第２の座標系（X２Y２Z２）上の点（ｘ２，ｙ２，ｚ２）に変換される。【００７７】
［式１４］
0005993515.tif 000007
X1Y1Z1座標系をY1軸方向にR2移動した場合、並進M12と回転R12は、それぞれ、式（１５）と式（１６）のようになる。  
［式１５］
0005993515.tif 000008
［式１６］
0005993515.tif 000009
以上のように、磁場発生装置９の第１の座標系（X０Y０Z０）の位置Ｐ０は、式（８）と式（１４）より、３Ｄモデルの中心を基準とする第２の座標系（X２Y２Z２）の位置Ｐ２に変換され、第１の座標系（X０Y０Z０）における方向V０は、次の式（１７）に従って、第２の座標系（X２Y２Z２）の方向V２に変換される。【００７８】
V２＝Ｒ１２Ｒ０１V０                ・・・（１７）
また、ステップＳ１４における内視鏡画像の貼り付け処理においては、第２の座標系（X２Y２Z２）において、３Ｄモデル画像Ｍ１の内面に内視鏡画像を貼り付ける場合の座標の算出について説明する。  
３Ｄモデル画像Ｍ１は、膀胱Ｂの形状を、半径R2の球体と仮定している。内視鏡画像は、その球体の内面に貼り付けられる。図３５は、第２の座標系（X２Y２Z２）において球体の内面上の座標を説明するための図である。図３６は、先端部２０の位置と方向ベクトルから第２の座標系（X２Y２Z２）における位置Ｐ２と方向V２を説明するための図である。  
先端部２０の第２の座標系（X２Y２Z２）における位置Ｐ２と方向V２が決定すると、得られた内視鏡画像の、球体の内面上の座標を求める。そのために、次の式（１８）と式（１９）を満たす係数ｋを算出し、第２の座標系（X２Y２Z２）における座標Ｐ２１を求める。【００７９】
Ｐ２１＝Ｐ２＋ｋV２                ・・・（１８）
｜Ｐ２１｜＝Ｒ２                    ・・・（１９）
内視鏡画像は、求めた座標Ｐ２１の位置に投影されて貼り付けられる。  
次に、第２の座標系（X２Y２Z２）における位置が、２Ｄモデルの座標系に投影される。  
まず、膀胱Ｂの腹側の半球の場合（０≦Ｚ２）は、２次元の膀胱モデルは左右が反転するため、u方向の値は、次の式（２０）により示され、ｖ方向の値は、次の式（２１）により示される。  
ｕ＝−ｘ２１                      ・・・（２０）
ｖ＝ｙ２１＋Ｒ２                    ・・・（２１）
また、膀胱Ｂの背中側の半球の場合（Ｚ２＜０）は、２次元の膀胱モデルは左右が反転するため、u方向の値は、次の式（２２）により示され、ｖ方向の値は、次の式（２３）により示される。【００８０】
ｕ＝−ｘ２１                      ・・・（２２）
ｖ＝ｙ２１−２Ｒ２                    ・・・（２３）
図３７は、２次元の座標系（U,V）における座標関係を説明するための図である。  
方向ベクトルV２は、上述したように、第２の座標系（X２Y２Z２）における内視鏡画像の画像中心の画素の方向ベクトルである。よって、内視鏡画像のおける画像中心の画素以外の画素については、各画素の方向ベクトルを求め、上述した式（１８）から式（２３）の変換演算を繰り返すことによって、内視鏡画像の全体を第２の座標系（X２Y２Z２）の球体の内面に貼り付けることができる。  
図３８は、内視鏡画像の全体を走査して、第２の座標系（X２Y２Z２）の球体の内面への各画素の貼り付けを説明するための図である。【００８１】
内視鏡画像EIの各画素を、点線で示すように、所定の方向に走査しながら、第２の座標系（X２Y２Z２）の球体の内面への各画素の貼り付けが行われる。図３８において、V２′は、内視鏡画像EIの各画素の貼り付けベクトルを示し、P２１′は、第２の座標系（X２Y２Z２）の球体の内面の貼り付けベクトルを示す。  
以上のように、本実施形態によれば、膀胱Ｂ内を撮像手段により撮像した内視鏡画像（又は撮像画像）が、平面モデル画像としての展開画像ＢＥ上における対応する位置に貼り付け画像として貼り付け（重畳）されて提示（表示）される際、両画像の対応関係を把握し易いように提示するようにしているので、術者は、所定臓器内での患部等の関心部位の検査、診断を円滑に行うことができる。  
また、撮像手段により撮像した内視鏡画像（又は撮像画像）を平面モデル画像としての展開画像ＢＥ上に貼り付ける画像が貼り付けに適する画像であるか否かを判定する画像貼り付け判定手段としての貼り付け画像判定部３１ｆを備えているので、貼り付けに適する画像を貼り付けることができ、術者は、膀胱Ｂ等の所定臓器内での患部等の関心部位の検査、診断を円滑に行うことができる。  
また、本実施形態においては、術者等のユーザは、撮像手段により撮像した内視鏡画像（又は撮像画像）を平面モデル画像としての展開画像ＢＥ上に貼り付けた貼り付け画像として提示する場合、提示選択手段としての提示選択部３８ａにより、両画像の対応を分かり易くする提示する方法等を複数の項目から選択することができる。【００８２】
さらに、上述した本実施の形態の内視鏡システムによれば、膀胱Ｂ内の病変部の位置、及び観察している領域を容易に確認できるので、病変部の見逃しを防止でき再検査率の低減、カルテへの記載間違いの低減を図ることもできる。【００８３】
さらになお、上述した実施の形態では、内視鏡画像は、２次元の臓器モデル画像上に貼り付けられているが、３Ｄ画像となる、３次元の臓器モデルの画像上に貼り付けるようにしてもよい。すなわち、モデル画像は、２Ｄ画像でなく、３Ｄ画像でもよい。  
さらになお、上述した実施形態では、膀胱Ｂ内の内視鏡画像を、膀胱の２Ｄモデル画像上に貼り付けるが、上述した実施形態の内視鏡システムは、膀胱以外の他の臓器、例えば胃、子宮、に対しても適用可能である。  
胃の場合、食道から胃に入るとき、肺の場合、気管の下方において最初に左右の気管支に分かれるとき、子宮の場合、子宮頸部から子宮内に入るとき、等に、画像の変化から、基準情報を決定でき、臓器モデル画像上に貼り付けることができる。【００８４】
本出願は、２０１３年９月２７日に日本国に出願された特願２０１３−２０１８９８号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
【図１】
0005993515.tif 000010
【図２】
0005993515.tif 000011
【図３】
0005993515.tif 000012
【図４】
0005993515.tif 000013
【図５】
0005993515.tif 000014
【図６】
0005993515.tif 000015
【図７】
0005993515.tif 000016
【図８】
0005993515.tif 000017
【図９】
0005993515.tif 000018
【図１０】
0005993515.tif 000019
【図１１】
0005993515.tif 000020
【図１２】
0005993515.tif 000021
【図１３】
0005993515.tif 000022
【図１４】
0005993515.tif 000023
【図１５】
0005993515.tif 000024
【図１６】
0005993515.tif 000025
【図１７】
0005993515.tif 000026
【図１８】
0005993515.tif 000027
【図１９】
0005993515.tif 000028
【図２０】
0005993515.tif 000029
【図２１】
0005993515.tif 000030
【図２２Ａ】
0005993515.tif 000031
【図２２Ｂ】
0005993515.tif 000032
【図２３】
0005993515.tif 000033
【図２４】
0005993515.tif 000034
【図２５】
0005993515.tif 000035
【図２６】
0005993515.tif 000036
【図２７】
0005993515.tif 000037
【図２８】
0005993515.tif 000038
【図２９】
0005993515.tif 000039
【図３０】
0005993515.tif 000040
【図３１】
0005993515.tif 000041
【図３２】
0005993515.tif 000042
【図３３】
0005993515.tif 000043
【図３４】
0005993515.tif 000044
【図３５】
0005993515.tif 000045
【図３６】
0005993515.tif 000046
【図３７】
0005993515.tif 000047
【図３８】
0005993515.tif 000048