(57)【要約】【課題】被挿入体内のどこを撮像しているのかを判断するための情報を提供すること。【解決手段】ファイバ形状センサ４及び挿入・回転検出部５から入力される被挿入体２に挿入される挿入部３１の変位量情報に基づいて、相対位置情報取得部６１によって、挿入部の位置検出対象となる部分の、被挿入体に対する相対位置情報を取得し、撮像位置演算部６３によって、その相対位置と、被挿入体形状取得部６２が取得した被挿入体の形状情報とを用いて、撮像部３４が撮像している被挿入体の領域である撮像領域８３、像領域中の一部の領域８４、撮像領域の中の一点、の少なくとも１つである撮像位置Ｐを演算し、表示演算部６４によって、その撮像位置Ｐの重み付け情報を重み付け指標パラメータに基づき演算し、さらに該重み付け情報に基づき表示形式を設定して、出力部６５によって、その表示形式と撮像位置Ｐとを表示情報として出力する。【選択図】図１
2014079377.tif 000002
【特許請求の範囲】
【請求項１】
被挿入体に挿入される、撮像開口部を有する挿入部と、
前記撮像開口部へ入射した光を受光し撮像を行う撮像部と、
前記挿入部の位置検出対象となる部分の、前記被挿入体に対する相対位置を検出する相対位置検出部と、
前記被挿入体の形状情報を取得する被挿入体形状取得部と、
前記相対位置と前記被挿入体の形状情報とを用いて、前記撮像部が撮像している前記被挿入体の領域である撮像領域、前記撮像領域の一部、前記撮像領域の中の一点、の少なくとも１つである撮像位置を演算する撮像位置演算部と、
重み付け指標パラメータに基づき、前記撮像位置の重み付け情報を演算し、前記重み付け情報に基づき表示形式を設定する表示演算部と、
前記表示形式と前記撮像位置とを表示情報として出力する出力部と、
を有することを特徴とする観察装置。
【請求項２】
前記表示演算部は、前記重み付け指標パラメータを複数有し、複数の前記重み付け指標パラメータを用いて重み付け情報を演算することを特徴とする請求項１に記載の観察装置。
【請求項３】
前記相対位置検出部は、
少なくとも前記挿入部の内部に設置され、湾曲に応じて光ファイバを導光する光の光学特性が変化することで、前記挿入部の湾曲量を検出するファイバ形状センサと、
前記被挿入体に対する、前記挿入部の挿入方向の量を検出する挿入量検出部と、
前記被挿入体に対する、前記挿入部の回転方向の量を検出する回転量検出部と、
の少なくとも１つを有することを特徴とする請求項１又は２に記載の観察装置。
【請求項４】
前記重み付け指標パラメータは、前記被挿入体に対する前記撮像開口部の位置に基づいて設定されることを特徴とする請求項１乃至３の何れかに記載の観察装置。
【請求項５】
前記表示演算部はさらに、前記撮像位置と前記撮像開口部の位置との間の距離である撮像距離を演算する機能を有し、
前記重み付け指標パラメータは、前記撮像距離であることを特徴とする請求項４に記載の観察装置。
【請求項６】
前記表示演算部はさらに、前記撮像開口部から前記撮像領域の中心への方向である撮像方向と前記撮像位置の面とがなす角度である撮像角度を演算する機能を有し、
前記重み付け指標パラメータは、前記撮像角度であることを特徴とする請求項４に記載の観察装置。
【請求項７】
前記重み付け指標パラメータは、前記撮像位置、または、前記被挿入体に対する前記撮像開口部の位置の、時間的変化に基づいて設定されることを特徴とする請求項１乃至３の何れかに記載の観察装置。
【請求項８】
前記表示演算部はさらに、前記撮像位置、または、前記被挿入体に対する前記撮像開口部の位置が、停止している時間である停止時間を演算する機能を有し、
前記重み付け指標パラメータは、前記停止時間であることを特徴とする請求項７に記載の観察装置。
【請求項９】
前記表示演算部はさらに、前記撮像位置、または、前記被挿入体に対する前記撮像開口部の位置が、変化する速度である変化速度を演算する機能を有し、
前記重み付け指標パラメータは、前記変化速度であることを特徴とする請求項７に記載の観察装置。
【請求項１０】
前記表示演算部はさらに、前記撮像部の露光時間を演算する機能を有し、
前記変化速度は、前記露光時間における前記撮像位置、または、前記被挿入体に対する前記撮像開口部の位置の移動量であることを特徴とする請求項９に記載の観察装置。
【請求項１１】
前記挿入部は、湾曲部を有し、
前記表示演算部はさらに、前記湾曲部を挟んで一方の挿入部の長手方向と他方の挿入部の長手方向とがなす角度である湾曲量の時間変化を演算する機能を有し、
前記重み付け指標パラメータは、前記湾曲量の時間変化であることを特徴とする請求項７に記載の観察装置。
【請求項１２】
前記重み付け指標パラメータは、前記撮像部が撮像した画像に基づいて設定されることを特徴とする請求項１乃至３の何れかに記載の観察装置。
【請求項１３】
前記表示演算部はさらに、前記撮像部が撮像した画像の明るさを演算する機能を有し、
前記重み付け指標パラメータは、前記画像の明るさであることを特徴とする請求項１２に記載の観察装置。
【請求項１４】
前記表示演算部はさらに、前記画像のブレ量を演算する機能を有し、
前記重み付け指標パラメータは、画像のブレ量であることを特徴とする請求項１２に記載の観察装置。
【請求項１５】
前記表示演算部は、撮像時刻の異なる複数の画像のパターンマッチングにより前記画像のブレ量を演算することを特徴とする請求項１４に記載の観察装置。
【請求項１６】
前記表示演算部は、前記撮像部が撮像した画像の所定範囲で前記重み付け情報を演算することを特徴とする請求項１２に記載の観察装置。
【請求項１７】
前記画像の所定範囲は、前記撮像部が撮像する範囲である撮像範囲における前記被挿入体と前記撮像開口部との距離が、所定の距離以下となる画像の範囲であることを特徴とする請求項１６に記載の観察装置。
【請求項１８】
前記画像の所定範囲は、画像の中央を含む領域であることを特徴とする請求項１６に記載の観察装置。
【請求項１９】
前記表示演算部はさらに、前記重み付け指標パラメータを閾値と比較して前記重み付け情報を算出することを特徴とする請求項１乃至４、７、及び１２の何れかに記載の観察装置。
【請求項２０】
前記閾値は、前記撮像開口部の被写界深度の範囲、人間の画像認識速度、操作者が入力した値、前記撮像部が撮像した画像の白飛び及び黒つぶれの有無、の少なくとも１つに基づいて決定されることを特徴とする請求項１９に記載の観察装置。
【請求項２１】
前記表示演算部は、前記重み付け情報に基づいて、撮像位置表示の有無、色の変化、透明度の変化、点の密度の変化、の少なくとも１つとして、前記表示形式を設定することを特徴とする請求項１乃至３の何れかに記載の観察装置。
【請求項２２】
前記出力部からの前記表示情報を入力し、表示する表示装置をさらに有することを特徴とする請求項１に記載の観察装置。
【請求項２３】
被挿入体に挿入部を挿入することで前記被挿入体内部を撮像する観察装置に用いられる観察支援装置において、
前記挿入部の変位量情報に基づいて、前記挿入部の位置検出対象となる部分の、前記被挿入体に対する相対位置情報を取得する相対位置情報取得部と、
前記被挿入体の形状情報を取得する被挿入体形状取得部と、
前記相対位置情報と前記被挿入体の形状情報とを用いて、前記観察装置が撮像している前記被挿入体の領域である撮像領域、前記撮像領域の一部、前記撮像領域の中の一点、の少なくとも１つである撮像位置を演算する撮像位置演算部と、
重み付け指標パラメータに基づき、前記撮像位置の重み付け情報を演算し、前記重み付け情報に基づき表示形式を設定する表示演算部と、
前記表示形式と前記撮像位置とを表示情報として出力する出力部と、
を有することを特徴とする観察支援装置。
【請求項２４】
被挿入体に挿入部を挿入することで前記被挿入体内部を撮像する観察装置に用いられる観察支援方法において、
前記挿入部の変位量情報に基づいて、前記挿入部の検出対象となる位置の、前記被挿入体に対する相対位置情報を取得する位置情報取得ステップと、
前記被挿入体の形状情報を取得する被挿入体形状取得ステップと、
前記相対位置情報と前記被挿入体の形状情報とを用いて、前記観察装置が撮像している前記被挿入体の領域である撮像領域、前記撮像領域の一部、前記撮像領域の中の一点、の少なくとも１つである撮像位置を演算する撮像位置演算ステップと、
重み付け指標パラメータに基づき、前記撮像位置の重み付け情報を演算し、前記重み付け情報に基づき表示形式を設定する表示演算ステップと、
前記表示形式と前記撮像位置とを表示情報として出力する出力ステップと、
を有することを特徴とする観察支援方法。
【請求項２５】
コンピュータに、
被挿入体に挿入部を挿入することで前記被挿入体内部を撮像する観察装置における前記挿入部の変位量情報に基づいて、前記挿入部の検出対象となる位置の、前記被挿入体に対する相対位置情報を取得する位置情報取得手順と、
前記被挿入体の形状情報を取得する被挿入体形状取得手順と、
前記相対位置情報と前記被挿入体の形状情報とを用いて、前記観察装置が撮像している前記被挿入体の領域である撮像領域、前記撮像領域の一部、前記撮像領域の中の一点、の少なくとも１つである撮像位置を演算する撮像位置演算手順と、
重み付け指標パラメータに基づき、前記撮像位置の重み付け情報を演算し、前記重み付け情報に基づき表示形式を設定する表示演算手順と、
前記表示形式と前記撮像位置とを表示情報として出力する出力手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被挿入体内部に挿入部を挿入し観察する観察装置、そのような観察装置に使用する観察支援装置、観察支援方法、及びコンピュータに観察支援装置の手順を実行させるプログラムに関する。
【背景技術】
【０００２】
被挿入体内部に挿入部を挿入して観察する際の支援装置として、例えば、特許文献１には、内視鏡挿入部を人体に挿入するにあたり、表示部に当該内視鏡挿入部の形状を表示する構成が開示されている。
【０００３】
これは、内視鏡装置において、曲げられた角度の大きさに対応して光の伝達量が変化する曲がり検出部を有する複数のフレキシブルな曲がり検出用光ファイバを、可撓性の帯状部材に並列に並んだ状態に取り付けて、それを内視鏡挿入部内にほぼ全長にわたって挿通配置し、各曲がり検出用光ファイバの光伝達量から各曲がり検出部が位置する部分における帯状部材の屈曲状態を検出して、その屈曲状態を内視鏡挿入部の屈曲状態としてモニタ画面に表示するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９１７３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、被挿入体内部に目印となる箇所が少なく、撮像画像からだけでは被挿入体内部のどの箇所を観察しているのか判り難い場合、必要な個所全てを撮像（観察）できたのかも判り難い。
【０００６】
上記特許文献１では、挿入部の形状を検出して表示することは開示しているが、被挿入体内部のどの箇所を撮像（観察）しているかの検出及びその表示方法については提案されていない。
【０００７】
本発明は、上記の点に鑑みてなされたもので、被挿入体内のどこを撮像しているのかを判断するための情報を操作者に提供できる観察装置、観察支援装置、観察支援方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の観察装置の一態様は、被挿入体に挿入される、撮像開口部を有する挿入部と、上記撮像開口部へ入射した光を受光し撮像を行う撮像部と、上記挿入部の位置検出対象となる部分の、上記被挿入体に対する相対位置を検出する相対位置検出部と、上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記相対位置と上記被挿入体の形状情報とを用いて、上記撮像部が撮像している上記被挿入体の領域である撮像領域、上記撮像領域の一部、上記撮像領域の中の一点、の少なくとも１つである撮像位置を演算する撮像位置演算部と、重み付け指標パラメータに基づき、上記撮像位置の重み付け情報を演算し、上記重み付け情報に基づき表示形式を設定する表示演算部と、上記表示形式と上記撮像位置とを表示情報として出力する出力部と、を有する。
【０００９】
また、本発明の観察支援装置の一態様は、被挿入体に挿入部を挿入することで上記被挿入体内部を撮像する観察装置に用いられる観察支援装置において、上記挿入部の変位量情報に基づいて、上記挿入部の位置検出対象となる部分の、上記被挿入体に対する相対位置情報を取得する相対位置情報取得部と、上記被挿入体の形状情報を取得する被挿入体形状取得部と、上記相対位置情報と上記被挿入体の形状情報とを用いて、上記観察装置が撮像している上記被挿入体の領域である撮像領域、上記撮像領域の一部、上記撮像領域の中の一点、の少なくとも１つである撮像位置を演算する撮像位置演算部と、重み付け指標パラメータに基づき、上記撮像位置の重み付け情報を演算し、上記重み付け情報に基づき表示形式を設定する表示演算部と、上記表示形式と上記撮像位置とを表示情報として出力する出力部と、を有する。
【００１０】
また、本発明の観察支援方法の一態様は、被挿入体に挿入部を挿入することで上記被挿入体内部を撮像する観察装置に用いられる観察支援方法において、上記挿入部の変位量情報に基づいて、上記挿入部の検出対象となる位置の、上記被挿入体に対する相対位置情報を取得する位置情報取得ステップと、上記被挿入体の形状情報を取得する被挿入体形状取得ステップと、上記相対位置情報と上記被挿入体の形状情報とを用いて、上記観察装置が撮像している上記被挿入体の領域である撮像領域、上記撮像領域の一部、上記撮像領域の中の一点、の少なくとも１つである撮像位置を演算する撮像位置演算ステップと、重み付け指標パラメータに基づき、上記撮像位置の重み付け情報を演算し、上記重み付け情報に基づき表示形式を設定する表示演算ステップと、上記表示形式と上記撮像位置とを表示情報として出力する出力ステップと、を有する。
【００１１】
また、本発明のプログラムの一態様は、コンピュータに、被挿入体に挿入部を挿入することで上記被挿入体内部を撮像する観察装置における上記挿入部の変位量情報に基づいて、上記挿入部の検出対象となる位置の、上記被挿入体に対する相対位置情報を取得する位置情報取得手順と、上記被挿入体の形状情報を取得する被挿入体形状取得手順と、上記相対位置情報と上記被挿入体の形状情報とを用いて、上記観察装置が撮像している上記被挿入体の領域である撮像領域、上記撮像領域の一部、上記撮像領域の中の一点、の少なくとも１つである撮像位置を演算する撮像位置演算手順と、重み付け指標パラメータに基づき、上記撮像位置の重み付け情報を演算し、上記重み付け情報に基づき表示形式を設定する表示演算手順と、上記表示形式と上記撮像位置とを表示情報として出力する出力手順と、を実行させる。
【発明の効果】
【００１２】
本発明によれば、被挿入体内のどこを撮像しているのかを判断するための情報を提供できるので、被挿入体内部のどの箇所を撮像しているのか、及び必要な個所全てを撮像できたのか、を操作者に容易に判断可能とさせることができ、観察箇所の見落としを防止することができる観察装置、観察支援装置、観察支援方法、及びプログラムを提供することができる。
【００１３】
さらに、本発明によれば、撮像位置の重み付け情報に基づく表示形式で撮像位置を表示させることが可能となるので、その撮像位置の重要度を、操作者に容易に判断させることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】図１（Ａ）は、本発明の第１実施形態に係る観察支援装置及びそれを適用した観察装置の概略構成を示す図であり、図１（Ｂ）は、第１実施形態に係る観察装置に接続された表示装置を介した情報の提供例を説明するための図である。
【図２】図２は、ファイバ形状センサの原理を説明するための図である。
【図３】図３は、ファイバ形状センサの挿入部への取り付け構造を示す図である。
【図４】図４（Ａ）は、挿入・回転検出部の構成を説明するための図であり、図４（Ｂ）は、挿入・回転検出部の動作原理を説明するための図である。
【図５】図５（Ａ）は、重み付け指標パラメータとして撮像位置の速度を使用する場合の第１実施形態に係る観察支援装置の動作フローチャートを示す図であり、図５（Ｂ）は、重み付け指標パラメータの一例としての撮像位置の速度を使用する場合の撮像位置の速度と重み付け情報との関係を示す図である。
【図６】図６（Ａ）は、第１の位置表示が被挿入体内部のどこを示すかを説明するための図であり、図６（Ｂ）は、第２の位置表示が被挿入体内部のどこを示すかを説明するための図である。
【図７】図７（Ａ）は、重み付け情報と撮像位置の表示色との関係を示す図であり、図７（Ｂ）は、重み付け情報に基づいて撮像位置の表示色を変える場合の表示例を示す図である。
【図８】図８（Ａ）は、重み付け指標パラメータの別の例としての撮像開口部と撮像位置との間の距離の使用を説明するための図であり、図８（Ｂ）は、撮像開口部と撮像位置との間の距離と重み付け情報との関係を示す図である。
【図９】図９（Ａ）は、撮像開口部と撮像位置との間の距離に関する別の重み付け手法を説明するための図であり、図９（Ｂ）は、合焦する距離と重み付け情報との関係を示す図である。
【図１０】図１０（Ａ）は、重み付け指標パラメータの別の例としての撮像開口部から撮像範囲の中心への方向である撮像方向と撮像位置の面とがなす撮像角度の使用を説明するための図であり、図１０（Ｂ）は、撮像角度と重み付け情報との関係を示す図である。
【図１１】図１１は、重み付け指標パラメータの別の例としての撮像位置の停止時間を使用する際の、撮像位置の停止時間と重み付け情報との関係を示す図である。
【図１２】図１２（Ａ）は、重み付け指標パラメータの別の例としての湾曲部を挟んで一方の挿入部の長手方向と他方の挿入部の長手方向とがなす角度である湾曲量の時間変化の使用を説明するための図であり、図１２（Ｂ）は、湾曲量と重み付け情報との関係を示す図である。
【図１３】図１３（Ａ）は、重み付け指標パラメータの別の例としての撮像部が撮像した画像の明るさの使用を説明するための図であり、図１３（Ｂ）は、白飛び＋黒つぶれ画素数と重み付け情報との関係を示す図である。
【図１４】図１４は、重み付け指標パラメータの別の例として画像のブレ量を使用する場合の画像のブレ量を説明するための図である。
【図１５】図１５は、撮像部が撮像した画像に基づいて設定される重み付け指標パラメータに関して重み付け情報を演算する所定範囲を説明するための図である。
【図１６】図１６は、重み付け情報に基づいて設定される表示形式の別の例としての点の密度の変化を説明するための図である。
【図１７】図１７は、複数の重み付け指標パラメータを用いて重み付け情報を演算する場合の第１実施形態に係る観察支援装置の動作フローチャートを示す図である。
【図１８】図１８（Ａ）乃至（Ｃ）は、それぞれ、重み付け情報に基づいて設定される表示形式の更に別の例を説明するための図である。
【図１９】図１９は、挿入部の回転による撮像画像の変化を説明するための図である。
【図２０】図２０（Ａ）は、本発明の第２実施形態に係る観察支援装置の動作フローチャートを示す図であり、図２０（Ｂ）は、重み付け指標パラメータを閾値と比較して重み付け情報を算出する手法を説明するための撮像位置の速度と速度の閾値と重み付け情報との関係を示す図であり、図２０（Ｃ）は、重みが小さい撮像位置の軌跡表示を行わない表示形式の例を説明するための図である。
【図２１】図２１は、複数の重み付け指標パラメータを用いて重み付け情報を演算する場合の第２実施形態に係る観察支援装置の動作フローチャートを示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
本発明の第１実施形態に係る観察装置１は、図１（Ａ）に示すように、被挿入体２に挿入される挿入部３１を備える挿入具３と、挿入部３１の変位量情報を検出するための検出部としてのファイバ形状センサ４及び挿入・回転検出部５と、被挿入体２の形状情報と挿入部３１の変位量情報とに基づいて観察支援のための表示情報を演算する本発明の第１実施形態に係る観察支援装置６と、表示情報を表示する表示装置７と、から構成される。
【００１６】
挿入具３は、例えば内視鏡装置であり、挿入部３１と、該挿入部３１と一体的に構成された操作部３２と、を備える。
【００１７】
挿入部３１は、可撓性の管状部材であり、被挿入体２の挿入口２１から被挿入体２の内部に挿入可能となっている。挿入部３１の挿入方向の端部（以下、挿入部先端と称する。）には、撮像開口部３３が設けられており、また、挿入部３１内部の挿入部先端近傍には、撮像部３４が内蔵されている。撮像開口部３３に入射した光は、撮像部３４が受光し撮像を行う。この撮像部３４が撮像した画像は、観察支援装置６を通して表示装置７に出力される。
【００１８】
なお、撮像部３４は、挿入部３１内部の挿入部先端近傍ではなく、操作部３２内に配置し、撮像開口部３３との間をライトガイド等により結んで、撮像開口部３３に入射した光を撮像部３４へ導光して撮像を行うようにしても良いことは勿論である。
【００１９】
また、挿入部３１は、挿入部先端近傍に、湾曲部３５を有しており、該湾曲部３５は、特に図示はしていないが、操作部３２に設けられた操作レバー３６とワイヤによって繋がっている。これにより、操作レバー３６を動かすことでワイヤが引かれ、湾曲部３５の湾曲操作が可能となっている。
【００２０】
また、挿入部３１内部には、ファイバ形状センサ４が設置されている。このファイバ形状センサ４は、複数の光ファイバから構成され、１本の光ファイバに一箇所の湾曲検出部４１を有している。この湾曲検出部４１は、光ファイバのクラッドが除去されコアが露出されており、光吸収部材が塗布されて構成されている。このような湾曲検出部４１では、図２（Ａ）乃至（Ｃ）に示すように、湾曲部３５の湾曲に応じて該湾曲検出部４１で吸収される光の量が変化するため、光ファイバ４２内を導光する光の量が変化する、即ち光伝達量が変化する。
【００２１】
このような構成のファイバ形状センサ４は、図３に示すＸ軸方向の湾曲と、Ｙ軸方向の湾曲を検出するために、それぞれＸ軸方向、Ｙ軸方向に向いている２つの湾曲検出部４１が対となるように２本の光ファイバ４２が配置され、一箇所の湾曲量を検出する。そして、対となっている湾曲検出部４１が挿入部３１の長手方向（挿入方向）に並んで配置されるように、複数の光ファイバ４２が配置されている。そして、不図示の光源からの光を各光ファイバ４２で導光し、各光ファイバ４２の湾曲量によって変化する光伝達量を不図示の受光部で検出する。こうして検出された光伝達量は、挿入部３１の変位量情報の一つとして、観察支援装置６に出力される。
【００２２】
なお、湾曲検出部４１は、挿入部３１の湾曲部３５にだけでなく、それよりも操作部側にも設けることで、挿入部３１の可撓性により被挿入体２の内部構造に応じて自由に湾曲した挿入部３１の湾曲部３５以外の部分の湾曲状態も検出できるようにしておくことが望ましい。
【００２３】
なお、図３に示すように、挿入部３１内部には、照明用光ファイバ３７と撮像部用配線３８も設けられている。照明用光ファイバ３７によって、操作部３２内に配された不図示の照明用光源からの光を導光し、挿入部先端から照明光として出射することで、撮像部３４は、暗部である被挿入体２の内部を撮像することができる。
【００２４】
また、挿入・回転検出部５は、被挿入体２の挿入口２１の近傍に設置され、挿入部３１の挿入量と回転量を検出して、挿入部３１の変位量情報の一つとして、観察支援装置６に出力する。具体的には、この挿入・回転検出部５は、図４（Ａ）に示すように、光源５１、投光レンズ５２、受光レンズ５３、光学パターン検出部５４、及び変位量算出部５５から構成される。
【００２５】
光源５１から出射した光は、投光レンズ５２を通して挿入部３１に照射され、該挿入部３１で反射した光が受光レンズ５３を通して光学パターン検出部５４に受光される。光学パターン検出部５４は、光学パターンである挿入部３１面の画像を検出時間ｔ０，ｔ１，ｔ２，…，ｔｎ，…と連続して検出する。
【００２６】
変位量算出部５５は、図４（Ｂ）に示すように、光学パターン検出部５４で任意の時間ｔｎに撮像された画像データの画像（光学パターンＰＴｎ）内に存在する任意に選択された基準パターンαと、この時間ｔｎから任意の時間経過後の時間ｔｎ＋１に撮像された画像データの画像（光学パターンＰＴｎ＋１）内の一部に存在する上記基準パターンαと一致する光学パターンα’と、の画像データ上の変位を比較し、ｘ軸方向及びｙ軸方向の各々の画像上の変位量を算出する。ここで、図４（Ｂ）に示すように、光学パターン検出部５４のｘ軸は挿入部３１の軸方向に一致するように、光学パターン検出部５４は位置決めされている。よって、変位量算出部５５で算出されるｘ軸方向の変位量Δｘｆは挿入部３１の挿入量と比例し、ｙ軸方向の変位量Δｙｆは挿入部３１の回転量と比例する。こうして変位量算出部５５で算出された画像上の挿入量と回転量は、変位量情報として観察支援装置６に出力される。なお、各々の変位量の増減方向が挿入部３１の挿入及び回転の方向を示すため、変位量情報は挿入方向及び回転方向の情報も含むこととなる。
【００２７】
また、本実施形態に係る観察支援装置６は、図１（Ａ）に示すように、相対位置情報取得部６１、被挿入体形状取得部６２、撮像位置演算部６３、表示演算部６４、及び出力部６５から構成されている。
【００２８】
相対位置情報取得部６１は、ファイバ形状センサ４及び挿入・回転検出部５から入力される挿入部３１の変位量情報に基づいて、挿入部３１の位置検出対象となる部分の被挿入体２に対する相対位置情報を取得する。即ち、相対位置情報取得部６１は、ファイバ形状センサ４及び挿入・回転検出部５と協働して、挿入部３１の位置検出対象となる部分の被挿入体２に対する相対位置を検出する相対位置検出部として機能する。また、被挿入体形状取得部６２は、被挿入体２の形状情報を取得する。
【００２９】
撮像位置演算部６３は、上記相対位置と上記被挿入体２の形状情報とを用いて、撮像部３４が撮像している被挿入体２の領域である撮像領域、撮像領域の一部、撮像領域の中の一点、の少なくとも１つである撮像位置を演算する。表示演算部６４は、重み付け指標パラメータに基づき、撮像位置の重み付け情報を演算し、該重み付け情報に基づき表示形式を設定する。そして、出力部６５は、この表示形式と上記撮像位置とを表示情報として出力する。この観察支援装置６から出力された表示情報は、表示装置７によって表示される。
【００３０】
以下、このような観察支援装置６の動作を、図５（Ａ）の動作フローチャートに従って、詳細に説明する。
【００３１】
まず、被挿入体形状取得部６２により、被挿入体２の撮像対象となる範囲の、被挿入体２に対する位置情報を含む形状情報（被挿入体形状情報）を取得する（ステップＳ１１）。この被挿入体形状情報は、例えば、挿入部３１を被挿入体２に挿入する前に、被挿入体２の外側又は内側からのデータを基に構成されている。
【００３２】
即ち、外部からのデータに基づく被挿入体形状情報は、例えば、ＣＴ診断装置や超音波診断装置、及びＸ線装置などの被挿入体２内を透過して検出することのできる装置を利用して構成される。
【００３３】
また、内部からのデータに基づく被挿入体形状情報は、挿入部３１を被挿入体２の空間で動かしたときの軌跡データを利用したり、挿入部先端が被挿入体２に接触したときの位置情報を繋げることにより構成したりする。挿入部先端と被挿入体２との接触時の位置情報を利用すると、空間の大きさを検出することも可能となり、より正確な被挿入体形状情報を取得することが可能である。また、被挿入体２が人体の臓器である場合は体格から推定することで構成したり、被挿入体２が構造物である場合は図面によって形状を入力することで構成したりすることもできる。
【００３４】
なお、被挿入体形状取得部６２による被挿入体形状情報の取得は、例えばＣＴ診断装置等の被挿入体形状情報を構成する装置を接続して当該装置より直接取得するものであっても良いし、当該装置から出力された被挿入体形状情報を記憶媒体に一旦保存し、その保存された被挿入体形状情報を読み出して或いはネットワークを介してダウンロードして取得するというものであっても構わない。さらには、被挿入体形状取得部６２は、そのようなインタフェースやデータリーダに限らず、それ自体が被挿入体形状情報を構成する機器であっても構わない。
【００３５】
この被挿入体形状取得部６２によって取得された被挿入体形状情報は、撮像位置演算部６３及び表示演算部６４に出力される。
【００３６】
また、相対位置情報取得部６１によって、挿入部３１の変位量情報を取得し（ステップＳ１２）、挿入部３１の形状と、被挿入体２に対する挿入部先端の位置及び向きを演算する（ステップＳ１３）。
【００３７】
具体的には、相対位置情報取得部６１は、挿入部３１の形状を求める機能と、挿入部３１の挿入量・回転量を持締める機能と、被挿入体２に対する挿入部先端の位置及び向きを求める機能と、を有している。
【００３８】
即ち、予め、以下の（１）式のような、ファイバ形状センサ４の光伝達量の変化ΔＱと、湾曲検出部４１の湾曲量φとの関係式を求め、相対位置情報取得部６１に記憶しておく。  
φ＝f（ΔＱ）                                                  （１）  
そして、相対位置情報取得部６１は、この記憶してある（１）式により、ファイバ形状センサ４から変位量情報として与えられる光伝達量から、各湾曲検出部４１の湾曲量を算出する。そして、各湾曲検出部４１の湾曲量と、先見情報として与えられている各湾曲検出部４１の配置間隔とから、挿入部３１の形状を求める。
【００３９】
また、予め、変位量算出部５５で算出される画像上の変位量を、実際の挿入部３１の挿入量及び回転量に変換するための係数ａ及びｂを求め、相対位置情報取得部６１に記憶しておく。そして、相対位置情報取得部６１は、以下の（２）式のように、この記憶してある係数ａ，ｂを、変位量算出部５５で算出される画像上の変位量に掛けることで、挿入量ｍ及び回転量θを算出する。  
ｍ＝a×Δx
θ＝b×Δy                                                      （２）
【００４０】
その後、相対位置情報取得部６１は、それら算出した挿入部３１の形状と、挿入部３１の被挿入体２に対する挿入量及び回転量とから、被挿入体２に対する挿入部３１の形状を演算する。そしてさらに、その被挿入体２に対する挿入部３１の形状から、挿入部３１の位置検出対象となる部分の被挿入体２に対する相対位置情報、つまり、被挿入体２に対する挿入部先端の位置と向き（撮像開口部３３の位置と光の入射方向と逆の向き）を演算する。こうして求められた被挿入体２に対する相対位置情報は、撮像位置演算部６３に出力される。また、被挿入体２に対する挿入部３１の形状を示す形状情報と上記相対位置情報のうちの挿入部先端位置の情報は、表示演算部６４に出力される。
【００４１】
そして、撮像位置演算部６３により、上記相対位置情報取得部６１で求めた相対位置情報と上記被挿入体形状取得部６２で取得した被挿入体形状情報とから、撮像位置を演算する（ステップＳ１４）。
【００４２】
具体的には、撮像位置演算部６３は、例えば、図１（Ａ）に示すように、相対位置情報で示される挿入部先端の位置と向き（撮像方向８１）からなる直線と、被挿入体２の形状との交点８２、すなわち視野（撮像領域８３）中心を、撮像位置Ｐとして求める。
【００４３】
通常、観察対象の注目箇所は視野中心に捉えるので、視野の周辺よりも中心が重要であることが多い。なお、ここでは撮像位置Ｐとして交点を求める例を示したが、撮像部３４が撮像している被挿入体２の領域である視野（撮像領域８３）を、撮像位置Ｐとして演算するようにしても良い。これにより、撮像部３４が撮像した範囲を把握することができる。また、視野（撮像領域８３）中の一部の領域８４または点を撮像位置Ｐとして演算するようにしても良い。例えば、撮像領域８３を正確に検出できない場合に、誤差を考慮して小さい領域を演算することで、撮像されていない範囲を撮像されたと誤検出されることを防ぐことができる。即ち、観察漏れを防ぐことができる。
【００４４】
こうして求められた撮像位置Ｐを示す撮像位置情報は、表示演算部６４に出力される。
【００４５】
その後、表示演算部６４によって、重み付け指標パラメータに基づき、撮像位置Ｐの重み付け情報を演算し、該重み付け情報に基づき表示形式を設定する動作となる。ここでは、重み付け指標パラメータとして撮像位置の速度を使用する場合を例に説明する。
【００４６】
表示演算部６４は、まず、ｔが０よりも大きいか否か、つまり、撮像位置Ｐのデータが２つ以上存在するか否かを判断し（ステップＳ１５）、ｔが０よりも大きくない（撮像位置Ｐの情報は１つしかない）場合には、上記ステップＳ１２に戻って、上述の動作を繰り返させる。即ち、当該観察装置１の動作開始直後は、撮像位置Ｐの情報は１つしか得られておらず、このような場合は、速度の演算ができないため、もう一度、挿入部３１の形状と撮像位置Ｐの演算を行わせる。
【００４７】
撮像位置の情報が２つ以上あれば、表示演算部６４によって、撮像位置の速度Ｖの演算を行う（ステップＳ１６）。即ち、表示演算部６４は、現在時間ｔにおける撮像位置Ｐと、一撮像前の時間ｔｎ−１において求めた撮像位置Ｐｎ−１とから、以下の（３）式により、重み付け指標パラメータである撮像位置Ｐの速度Ｖｎを求める。  
Ｖｎ＝（Ｐｎ−Ｐｎ−１）／（ｔｎ−ｔｎ−１)                    （３）
【００４８】
そして、この求めた速度Ｖから、表示演算部６４によって、撮像位置の重み付け情報ｗを演算する（ステップＳ１７）。例えば、図５（Ｂ）に示すように、撮像位置の速度Ｖに比例して重み付け情報が小さくなる関係（以下の（４）式）で重み付けを行う。  
ｗ＝ｆ（Ｖ）                                                    （４）
【００４９】
即ち、撮像位置の移動速度が速い場合、操作者は観察ができていないか、観察を行っているのではなく、挿入部先端を移動させているだけであると判断し、重み付け情報を小さくする。反対に、撮像位置の移動速度が遅い場合、操作者は観察ができていると判断し、重み付け情報を大きくする。
【００５０】
そして、表示演算部６４によって、この重み付け情報に基づき表示形式を設定する（ステップＳ１８）。即ち、表示演算部６４では、現在の撮像位置Ｐと、過去の撮像位置である撮像位置の軌跡情報と、を図示しない内部メモリ等に保持しておく。そして、現在の撮像位置及び撮像位置の軌跡は、撮像位置の重み付け情報に基づいて表示形式を変化させるように設定する。例えば、図７（Ａ）に示すように、重み付け情報に比例して撮像位置の表示色を濃くするように設定する。
【００５１】
そして、出力部６５によって、少なくとも上記表示形式と上記撮像位置（現在の撮像位置と撮像位置の軌跡）とを表示情報として出力した後（ステップＳ１９）、上記ステップＳ１２に戻って、上記の動作を繰り返す。
【００５２】
上記表示情報としては、さらに、被挿入体２に対する挿入部３１の形状を示す形状情報、被挿入体形状情報、撮像部３４が撮像した画像、等を含めることができる。即ち、出力部６５は、図１（Ｂ）に示すように、撮像部３４が撮像した画像（撮像画像表示７１）と、被挿入体形状情報としての被挿入体２を所定の箇所で割った２次元図７２，７３とを、表示装置７に表示するような表示情報を作成して出力する。
【００５３】
ここで、第１の２次元図７２は、図７（Ａ）に示すように、被挿入体２の形状を被挿入体２の座標においてＹ−Ｚ平面で割って左右に開いた状態を示す図であり、第２の２次元図７３は、第１の２次元図７２とは異なる視点の図として、図７（Ｂ）に示すように、被挿入体２の形状を被挿入体２の座標においてＸ−Ｚ平面で割って上下に開いた状態を示す図である。
【００５４】
そして、これらの２次元図７２，７３上に、現在の撮像位置を示す現在位置表示７４と、撮像位置の軌跡を示す位置軌跡表示７５と、挿入部３１の形状を示す挿入部形状概略表示７６と、を表示するような表示情報とする。
【００５５】
また、図６（Ｂ）に示すように、現在位置表示７４と位置軌跡表示７５とを区別可能とするために、互いの色や模様を変えたり、位置軌跡表示７５は点滅表示とする等、何らかの識別表示される表示情報とすることが望ましく、さらに、それら現在位置表示７４及び位置軌跡表示７５の色の濃さは、表示演算部６４で演算された結果である、重みに比例した濃さで表示されるものとなる。なお、この現在位置表示７４と位置軌跡表示７５とを区別するための識別表示の有無や識別表示の形態は、操作者が選択できるようにしても良い。
【００５６】
以上のように、本第１実施形態によれば、観察支援装置６が、撮像位置と撮像位置の重み付け情報を演算し、撮像位置の重み付け情報に基づいて撮像位置の表示形式を設定して、その表示形式と撮像位置とを表示情報として出力するようにしているので、被挿入体２内部のどの箇所を撮像しているのか、及び必要な個所全てを撮像できたのか、を操作者に容易に判断可能とさせることができ、撮像箇所の見落としを防止することができる。さらに、その撮像位置の重要度を、操作者に容易に判断させることが可能となる。
【００５７】
また、挿入部３１の形状をファイバ形状センサ４で検出し、挿入部３１の挿入量と回転量を挿入・回転検出部５で検出することにより、被挿入体２に対する挿入部３１の形状と、撮像開口部３３の位置及び向きとを検出することができる。
【００５８】
なお、ファイバ形状センサ４及び挿入・回転検出部５は、上述のように光学的に被挿入体２に対する挿入部３１の形状及び撮像開口部３３の位置と向きを検出するものとしたが、その他の方法で検出しても良い。例えば、挿入部３１の内部の少なくとも撮像開口部３３の近傍にコイルを設け、コイルに電流を流して磁界を発生させ、この磁界を外部で受信する、または、外部で発生させた磁界分布をコイルで受信することにより、コイルすなわち撮像開口部３３の位置や向きを検出できる。なお、コイルを挿入部３１の長手方向に複数配列させると、挿入部３１の形状も検出することができる。
【００５９】
さらに、重み付け情報を撮像位置の速度に比例して演算し、速度が速い場合は重み付け情報を小さく、速度が遅い場合は重み付け情報を大きくすることによって、重み付け情報が小さい撮像位置は、移動が早いために観察ができていないと判断できるようになる。
【００６０】
また、撮像位置を示す現在位置表示７４及び撮像位置の軌跡を示す位置軌跡表示７５を、撮像位置の重み付け情報に基づき、重み付け情報が大きい即ち撮像位置の速度が遅い場合は現在位置表示７４及び位置軌跡表示７５の表示色を濃く、重み付け情報が小さい即ち撮像位置の速度が速い場合は現在位置表示７４及び位置軌跡表示７５の表示色を薄くなるように変化させて表示させることができるので、撮像位置の情報の重要度が視覚的に判り易くなる。
【００６１】
なお、重み付け情報は、撮像位置の速度に比例するとしたが、指数関数など、その他の関係式にしても良い。
【００６２】
また、重み付け指標パラメータは、撮像位置の速度としたが、挿入部先端つまり撮像開口部３３の速度でも構わない。
【００６３】
さらには、重み付け指標パラメータとしては、次のようなパラメータを用いることができる。
【００６４】
（ａ）即ち、撮像位置Ｐと撮像開口部３３の位置との間の距離Ｄである撮像距離を重み付け指標パラメータとすることができる。例えば、図８（Ａ）及び（Ｂ）に示すように、撮像開口部３３と撮像位置Ｐの距離Ｄが近く、撮像位置の表面を詳細に観察可能な距離範囲ｄ１にある場合は、重み付け情報が大きく、距離Ｄが離れて撮像位置の表面を詳細に観察できなくなる距離範囲ｄ２では、その距離Ｄに比例して重み付け情報が小さくなるようにする。このように、撮像位置Ｐと撮像開口部３３の位置との間の距離Ｄである撮像距離を重み付け指標パラメータとする場合には、表示演算部６４は、撮像距離を演算する機能を備えることが必要となる。
【００６５】
さらに、この撮像開口部３３と撮像位置Ｐとの距離Ｄに関して、その他の重み付け情報の付け方として、図９（Ａ）及び（Ｂ）に示すように、撮像部３４が合焦する距離Ｄｆでは重み付け情報が最大となり、合焦する距離Ｄｆから遠い又は近いと重み付け情報が小さくなるようにしても良い。即ち、合焦する距離Ｄｆで撮像した画像（ピントが合った画像）は操作者が認識し易いので、重み付け情報が大きい。
【００６６】
（ｂ）あるいは、図１０（Ａ）に示すように、撮像開口部３３から撮像部３４が撮像する撮像領域８３の中心への方向である撮像方向８１と撮像位置Ｐの面とがなす撮像角度８５を重み付け指標パラメータとしても良い。この場合、図１０（Ｂ）に示すように、撮像角度８５が９０°に近いと観察し易い画像なので重み付け情報が大きく、撮像角度８５が０°に近い斜めから見た画像は観察し難いため重み付け情報が小さいものとする。このように、撮像角度８５を重み付け指標パラメータとする場合は、表示演算部６４は、撮像角度を演算する機能を備えることが必要となる。
【００６７】
（ｃ）また、被挿入体２に対する撮像部３４の位置または撮像位置の停止時間を重み付け指標パラメータとしても良い。この場合、停止時間を観察時間と考え、図１１に示すように、観察時間が長い箇所は重み付け情報が大きく、観察時間が短い箇所は重み付け情報が小さいものとする。このように、停止時間を重み付け指標パラメータとする場合には、表示演算部６４は、停止時間を演算する機能を備えることが必要となる。
【００６８】
（ｄ）なお、撮像位置または被挿入体２に対する撮像開口部３３の速度は、撮像部３４の露光時間における、撮像位置または被挿入体２に対する撮像開口部３３の位置の移動量としても良い。露光時間における移動量が大きいと画像のブレ量が大きいので重み付け情報を小さく、移動量が小さいとブレ量が小さいので重み付け情報を大きくする。この場合には、表示演算部６４は、露光時間を演算する機能を備えることが必要となる。
【００６９】
（ｅ）また、湾曲部３５の湾曲量の時間変化を重み付け指標パラメータとしても良い。即ち、図１２（Ａ）に示すように、湾曲部３５を挟んで一方の挿入部３１の長手方向と他方の挿入部３１の長手方向がなす角度を湾曲量８６としたとき、この湾曲量８６の時間変化とは、その角速度を意味する。図１２（Ｂ）に示すように、角速度が速いと操作者が画像を認識し難いため重み付け情報が小さく、角速度が遅いと操作者が画像を認識し易いので重み付け情報を大きくする。この場合には、表示演算部６４は、角速度を演算する機能を備えることが必要となる。
【００７０】
さらに、重み付け指標パラメータは、撮像部３４が撮像した画像に基づいても構わない。このような場合の重み付け指標パラメータとしては、次のようなパラメータを用いることができる。
【００７１】
（ａ）即ち、図１３（Ａ）に示すように、撮像部３４が撮像した画像Ｉの明るさを重み付け指標パラメータとすることができる。例えば、画像の中で白飛びや黒つぶれが起きている範囲が多いと観察ができていないと判断し、図１３（Ｂ）に示すように、白飛びしている画素数と黒つぶれしている画素数の和に比例して重み付け情報が小さくなるようにする。この場合には、表示演算部６４は、撮像部３４が撮像した画像の明るさを演算する機能を備えることが必要となる。
【００７２】
（ｂ）また、画像のブレ量を重み付け指標パラメータとしても良い。即ち、表示演算部６４は、図１４に示すように、時刻ｔｎで撮像した時の画像Ｉｔと時刻ｔｎ＋１で撮像した時の画像Ｉｔ＋１との間のブレ量として、パターン認識により、注目パターンＰＴｒの画像上の移動量Ｍを求める。移動量Ｍが大きい場合はブレ量が大きく、画像を認識し難いため重み付け情報が小さく、移動量Ｍが小さい場合はブレ量が小さく、画像を認識し易いので重み付け情報が大きいものとする。この場合、表示演算部６４は、撮像時刻の異なる複数の画像のパターンマッチングにより画像のブレ量を演算する機能を備えることが必要となる。
【００７３】
また、重み付け指標パラメータに画像を用いる場合、画像全体を用いるのではなく、画像中の所定範囲に限定して重み付け指標パラメータとしても良い。例えば、通常、被挿入体２の注目箇所は画像の中心に捉えるので、画像の周辺よりも中心が重要であることが多い。そこで、図１５に示すように、画像の中心から縦横に８０％の範囲を、重み付け指標パラメータの対象となる範囲ＩＡとし、該範囲ＩＡの明るさを重み付け指標パラメータとする。このように、表示演算部６４が重み付け情報を演算する範囲を、撮像部３４が撮像した画像の所定範囲、例えば、画像の中央を含む領域とすることができる。
【００７４】
一方、被挿入体２が管状である場合、画像の中央は管の奥が写され、観察できないことが多いので、画像周辺に限定する。これは、例えば、上記表示演算部６４が重み付け情報を演算する画像の所定範囲を、撮像部３４が撮像する範囲である撮像範囲８７（図１（Ａ）参照）における被挿入体２と撮像開口部３３との距離が、所定の距離以下となる画像の範囲とすることにより、実現可能である。
【００７５】
また、重み付け情報に基づく表示形式として、撮像位置の表示の変化を色の濃さが変化するものとして説明したが、他の色へ変化や透明度の変化としても良い。あるいは、点の集まりで表示するようにして、図１６に示すように、点の密度の変化にしても良い。
【００７６】
また、挿入部３１は可撓性の管状部材であるとしたが、硬性でも構わない。このように挿入部３１が硬性の場合は、ファイバ形状センサ４が必要無く、挿入・回転検出部５で被挿入体２に対する挿入部先端の位置を検出する。なお、挿入部先端の向きは、例えば、撮像画像からパターン認識等により検出した撮像領域８３の移動履歴に基づいて求めることができる。
【００７７】
また、重み付け指標パラメータが１つの例を記載したが、複数の重み付け指標パラメータを設定し、重み付け指標パラメータを演算しても良い。例えば、第１の重み付け指標パラメータを撮像位置の速度、第２の重み付け指標パラメータを撮像開口部３３と撮像位置との間の距離とした場合、観察支援装置６の動作は、図１７に示すようになる。
【００７８】
即ち、図５（Ａ）を参照して説明したような上記ステップＳ１１乃至ステップＳ１６の動作を実施して撮像位置の速度Ｖの演算を行った後、表示演算部６４によって、この求めた速度Ｖから、第１の重み付け情報ｗ１を演算する（ステップＳ２０）。例えば、図５（Ｂ）に示すような、撮像位置の速度Ｖに比例して重み付け情報が小さくなる関係（以下の（５）式）で重み付けを行う。  
ｗ１＝ｆ（Ｖ）                                                  （５）
【００７９】
またこれと並行して、表示演算部６４によって、撮像位置Ｐと撮像開口部３３の位置との間の距離Ｄを演算する（ステップＳ２１）。なお、上記ステップＳ１６の撮像位置の速度Ｖを求める際には、現在の撮像画像と一つ前の撮像画像とを使用するが、この距離Ｄは、現在の画像を撮像した時点での距離である。そして、この求めた距離Ｄから、第２の重み付け情報ｗ２を演算する（ステップＳ２２）。例えば、図８（Ｂ）に示すような、距離Ｄが距離範囲ｄ１にある場合は重み付け情報が大きく、距離Ｄが距離範囲ｄ２にある場合はその距離Ｄに比例して重み付け情報が小さくなる関係（以下の（６）式）で重み付けを行う。  
ｗ２＝ｆ（Ｄ）                                                  （６）
【００８０】
そして、以下の（７）式のように、それら第１の重み付け情報ｗ１と第２の重み付け情報ｗ２の和（積でも、その他の計算方法でも良い。）を演算して、最終的な重み付け情報ｗとする。  
ｗ＝ｗ１＋ｗ２                                                  （７）
【００８１】
その後は、上述したようなステップＳ１８に進んで、表示演算部６４によって、求めた最終的な重み付け情報ｗに基づき表示形式を設定する。
【００８２】
このように複数の重み付け指標パラメータから重み付けを行うことで、撮像位置情報の重要度の正確性が増す。
【００８３】
撮像位置情報の履歴を位置軌跡表示７５として表示する例を記載したが、さらに、挿入部先端など、例えば、撮像開口部３３の位置の履歴を表示しても良い。このことを、図１８（Ａ）乃至（Ｃ）、及び図１９を参照して説明する。図１８（Ａ）乃至（Ｃ）は、被挿入体２として分岐のある配管の中に挿入部３１が挿入されている時の、表示装置７に表示される例を示している。
【００８４】
図１８（Ａ）では、被挿入体の形状を示す２次元図７７上に、挿入部３１の形状を示す挿入部形状概略表示７６と、撮像開口部３３の現在の位置を表わす現在位置表示７４Ａと、撮像開口部３３の位置の軌跡である位置軌跡表示７５Ａと、を表示している。なお、撮像位置の軌跡である位置軌跡表示７５は省略している。先端位置の軌跡表示により、撮像開口部３３が被挿入体２のどの位置を通過し、現時点でどの位置にあるかがわかる様になる。また、重み付け情報に基づいて設定された表示形式で位置軌跡表示７５Ａの表示を行うようにしても良い。この場合の表示形式としては、例えば破線の色や種類、太さ、有無を変更することができる。
【００８５】
撮像開口部３３の位置が分かることで、撮像対象のどの部分まで到達しているかが分かる。現在位置が正確に分かることで、この情報を用いて、現在位置に応じてすべき観察・処置や、現在位置から狙いの位置への経路の検討を、この場所であったらという推定無しに、行うことができる。そのため、狙いの位置へ行くのに試行錯誤を繰り返したり、狙いの位置に到達したか、観察画像を見るなど様々な方法で確認したりする必要が無くなる。その結果、現在位置から狙いの位置まで最短コースに近い経路を取って１回で到達できる可能性が上がり、時間短縮出来ると共に、位置に関する状況把握が出来ていることにより、落ち着いた、自信を持った操作につながる。
【００８６】
また、撮像開口部３３の位置の履歴に加え、撮像開口部３３が向いている一次元の方向の履歴を表示しても良い。撮像開口部３３が向いている方向は、例えば視野（撮像領域８３）中心とする。図１８（Ｂ）では、撮像開口部３３が向いている方向を矢印７８で示している。撮像開口部３３の現在の位置と向きだけでなく、撮像開口部３３の軌跡上の幾つかの位置で方向の情報を矢印７８で加えている。撮像開口部３３の位置の軌跡と向きの表示により、挿入部先端の撮像開口部３３の位置情報である、先端位置の軌跡と、どの方向を向きながら位置が変化したかがわかる様になる。このとき、重み付け情報に基づいて、例えば矢印７８の色や種類、太さ、有無を変更しても良い。さらに、撮像開口部３３の位置と方向の情報を、撮像位置情報と結びつけるようにしても良い。これにより、撮像位置情報すなわち、過去に撮像した位置に対して、撮像したときの撮像開口部３３の位置と方向がわかる様になる。
【００８７】
なお、撮像のための光学系にもよるが、本例では、挿入部先端にある撮像開口部３３が向いている方向が視野中心であり、撮像画像の中央である。
【００８８】
挿入部先端の位置と向きが分かることで、撮像対象での到達位置と向きが分かる。現在位置と向きから、観察視野方向や視野中心が分かる。到達位置と向きや観察視野方向や視野中心が正確に分かることで、この情報を用いて、現在位置と向きに応じてすべき観察・処置や、現在位置から狙いの位置への経路、および、移動する際の挿入部３１の形状や操作方法の検討を、現在位置と向きがこうであったらという推定無しに、行うことができる。特に挿入部先端の向きが分かっていることで、狙いの位置や向きに到達するための挿抜や湾曲などの操作方法・手順が検討できるようになる。
【００８９】
撮像開口部３３が向いている方向の履歴は、挿入部先端の姿勢、または、回転を含めて表すものとして三次的に示してもよい。図１９に示すように、撮像開口部３３が向いている方向が同じ場合でも、挿入部３１が回転すると撮像対象９１に対する撮像開口部３３も回転する。図１９では１８０°回転しているため、上下が逆になっており、このような場合、撮像部３４が撮像した撮像画像Ｉも上下が逆に表示される。図１８（Ｃ）では、挿入部先端に固定された座標系、即ち、挿入部先端の位置や姿勢が変化しない座標系の回転を挿入部先端の「３次元の方向」と定義した時、挿入部先端の三次元の方向（姿勢）を示すために、撮像開口部３３の向いている方向を３方向（ｘ方向、ｙ方向、ｚ方向）の矢印７８Ａで示している。このとき、重み付け情報に基づいて、例えば矢印７８Ａの色や種類、太さ、有無を変更しても良い。このように、挿入部先端の位置と三次元の方向が分かることで、例えば、挿入部先端の撮像位置での回転を含めた撮像方向がわかる様になる。また、撮像以外に治療などでも先端向き周りの回転の影響を考慮することができるようになる。また、三次元の方向の履歴を表示することで、撮像位置情報すなわち、過去に撮像した位置に対して、撮像したときの撮像開口部３３の回転を含めた方向がわかる様になる。
【００９０】
［第２実施形態］
本発明の第２実施形態は、上記第１実施形態と次の内容が異なる。即ち、本第２実施形態に係る観察支援装置６は、重み付け指標パラメータに閾値を設け、閾値との比較により撮像位置の重み付け情報を決定する。
【００９１】
以下、上記第１実施形態と異なる箇所のみ説明する。
図２０（Ａ）は、上記第１実施形態における図５（Ａ）に対応するものであり、第１実施形態と同様に、上記ステップＳ１１乃至ステップＳ１６の動作を実施して撮像位置の速度Ｖの演算を行う。そしてその後、表示演算部６４によって、その撮像位置の速度Ｖを、予め当該表示演算部６４に記憶されている閾値Ｖｔと比較し（ステップＳ２４）、その比較結果から、図２０（Ｂ）に示すように重み付け情報ｗを決定する。即ち、撮像位置の速度Ｖが閾値Ｖｔ以下であれば、重み付け情報ｗを大とし（ステップＳ２５）、速度Ｖが閾値Ｖｔより大きければ、重み付け情報ｗを小とする（ステップＳ２６）。なおここで、閾値Ｖｔは、例えば、人間（操作者）が画像を認識できる最大の撮像位置の速度とする。
【００９２】
その後は、上記第１実施形態と同様、上記ステップＳ１８に進んで、表示演算部６４によって、求めた最終的な重み付け情報ｗに基づき表示形式を設定する。
【００９３】
なお、表示形式としては、上記第１実施形態と同様、色の変化、透明度の変化、点の密度の変化としても良いが、本実施形態のように閾値との比較により撮像位置の情報を２種類の重み付け情報に分ける場合には、図２０（Ｃ）に示すように、撮像位置表示の有無としても良い。即ち、重み付け情報ｗが大きい撮像位置に関しては位置軌跡表示７５として表示を行わせるが、重み付け情報ｗが小さい撮像位置は、位置軌跡表示７５を行わない（図２０（Ｃ）では、説明のため破線で示している。）ような表示形式とする。なお、現在位置表示７４については、重み付け情報ｗの大小にかかわらず表示させる。
【００９４】
以上のように、本第２実施形態によれば、撮像位置の速度Ｖ等の重み付け指標パラメータを閾値（例えばＶｔ）と比較して重み付け情報を算出することによって、撮像位置の情報を２種類の重み付け情報に分けることができる。従って、例えば閾値の速度よりも速い時の撮像位置情報か、または遅いときの撮像位置情報であるかが分かるようになる。
【００９５】
また、撮像位置の速度の閾値Ｖｔを、人間（操作者）が画像を認識できる最大の撮像位置の速度とすることによって、撮像部３４が撮像はしているが、人間は認識できていない、すなわち観察できていない範囲であることが分かるようになる。
【００９６】
さらに、撮像位置を撮像位置の重み付け情報に基づき、重み付け情報が大きい即ち撮像位置の速度Ｖが閾値Ｖｔより遅い場合は撮像位置の軌跡を表示し、重み付け情報が小さい即ち撮像位置の速度Ｖが閾値Ｖｔより速い場合は撮像位置の軌跡を表示しないようにすることによって、撮像位置の移動が速すぎて操作者が観察できていない範囲を、観察済みとして軌跡表示することがなくなる。
【００９７】
なお、閾値は１つの値に限らず、複数あっても良い。
また、重み付け指標パラメータは、撮像位置の速度に限らず、上記第１実施形態で説明したような様々なものが適用可能なことは勿論である。
【００９８】
例えば、重み付け指標パラメータが挿入部先端と被挿入体２との間の距離とした場合には、閾値は被写界深度の範囲とすることができる。重み付け指標パラメータが画像の明るさとした場合には、閾値は白飛び及び黒つぶれの有無とすることができる。さらには、閾値は、操作者が任意の値を入力できるようにしても良い。
【００９９】
また、重み付け指標パラメータが１つの例を記載したが、複数の重み付け指標パラメータを設定し、重み付け指標パラメータを演算しても良い。例えば、第１の重み付け指標パラメータを撮像位置の速度、第２の重み付け指標パラメータを撮像開口部３３と撮像位置との間の距離とした場合、観察支援装置６の動作は、図２１に示すようになる。
【０１００】
即ち、図５（Ａ）を参照して説明したような上記ステップＳ１１乃至ステップＳ１６の動作を実施して撮像位置の速度Ｖの演算を行った後、表示演算部６４によって、その撮像位置の速度Ｖを、予め当該表示演算部６４に記憶されている閾値Ｖｔと比較し（ステップＳ２４）、その比較結果から、第１の重み付け情報を決定する。即ち、撮像位置の速度Ｖが閾値Ｖｔ以下であれば、第１の重み付け情報を大とし（ステップＳ２７）、速度Ｖが閾値Ｖｔより大きければ、第１の重み付け情報を小とする（ステップＳ２８）。
【０１０１】
またこれと並行して、表示演算部６４によって、撮像位置Ｐと撮像開口部３３の位置との間の距離Ｄを演算する（ステップＳ２１）。そして、表示演算部６４によって、その距離Ｄを、予め当該表示演算部６４に記憶されている閾値Ｄｔと比較し（ステップＳ２９）、その比較結果から、第２の重み付け情報を決定する。即ち、撮像位置Ｐと撮像開口部３３の位置との間の距離Ｄが閾値Ｄｔ以下であれば、第２の重み付け情報を大とし（ステップＳ３０）、距離Ｄが閾値Ｄｔより大きければ、第２の重み付け情報を小とする（ステップＳ３１）。
【０１０２】
このように第１及び第２の重み付け指標パラメータについてそれぞれ閾値と比較して、第１及び第２の重み付け情報の大／小が決定されたならば、次に、それら第１及び第２の重み付け情報が両方とも大であるか否かを判断する（ステップＳ３２）。第１及び第２の重み付け情報が両方大であったならば、最終的な重み付け情報を大とする（ステップＳ３３）。
【０１０３】
これに対して、第１及び第２の重み付け情報が両方大でないならば、さらに、第１及び第２の重み付け情報が両方とも小であるか否かを判断する（ステップＳ３４）。第１及び第２の重み付け情報が両方小であったならば、最終的な重み付け情報を小とする（ステップＳ３５）。
【０１０４】
また、第１及び第２の重み付け情報が両方小でない場合、つまり片方が大で他方が小であれば、最終的な重み付け情報を中とする（ステップＳ３６）。
【０１０５】
このようにして、最終的な重み付け情報を、３段階の重み付け情報から決定する。その後は、上述したようなステップＳ１８に進んで、表示演算部６４によって、求めた最終的な重み付け情報ｗに基づき表示形式を設定する。
【０１０６】
このように複数の重み付け指標パラメータから重み付けを行うことで、撮像位置情報の重要度の正確性が増す。
【０１０７】
以上、実施形態に基づいて本発明を説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１０８】
例えば、図５（Ａ）、図１７、図２０（Ａ）、或いは図２１のフローチャートに示した機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記観察支援装置６の機能を実現することも可能である。
【符号の説明】
【０１０９】
１…観察装置、  ２…被挿入体、  ３…挿入具、  ４…ファイバ形状センサ、  ５…挿入・回転検出部、  ６…観察支援装置、  ７…表示装置、  ２１…挿入口、  ３１…挿入部、  ３２…操作部、  ３３…撮像開口部、  ３４…撮像部、  ３５…湾曲部、  ３６…操作レバー、  ３７…照明用光ファイバ、  ３８…撮像部用配線、  ４１…湾曲検出部、  ４２…光ファイバ、  ５１…光源、  ５２…投光レンズ、  ５３…受光レンズ、  ５４…光学パターン検出部、  ５５…変位量算出部、  ６１…相対位置情報取得部、  ６２…被挿入体形状取得部、  ６３…撮像位置演算部、  ６４…表示演算部、  ６５…出力部、  ７１…撮像画像表示、  ７２…第１の２次元図、７３…第２の２次元図、  ７４，７４Ａ…現在位置表示、  ７５，７５Ａ…位置軌跡表示、  ７６…挿入部形状概略表示、  ７７…２次元図、  ７８，７８Ａ…矢印、  ８１…撮像方向、  ８２…交点、  ８３…撮像領域、  ８４…撮像領域中の一部の領域、  ８５…撮像角度、  ８６…湾曲量、  ８７…撮像範囲、  ９１…撮像対象。
【図１】
2014079377.tif 000003
【図２】
2014079377.tif 000004
【図３】
2014079377.tif 000005
【図４】
2014079377.tif 000006
【図５】
2014079377.tif 000007
【図６】
2014079377.tif 000008
【図７】
2014079377.tif 000009
【図８】
2014079377.tif 000010
【図９】
2014079377.tif 000011
【図１０】
2014079377.tif 000012
【図１１】
2014079377.tif 000013
【図１２】
2014079377.tif 000014
【図１３】
2014079377.tif 000015
【図１４】
2014079377.tif 000016
【図１５】
2014079377.tif 000017
【図１６】
2014079377.tif 000018
【図１７】
2014079377.tif 000019
【図１８】
2014079377.tif 000020
【図１９】
2014079377.tif 000021
【図２０】
2014079377.tif 000022
【図２１】
2014079377.tif 000023