(57)【要約】【課題】  診断者又は術者に表示する観察対象組織の三次元モデルの視認性、整容性を向上させた内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法を提供する。【解決手段】  内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、観察対象組織内の画像情報及び領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。【選択図】  図１
2019098005.tif 000002
【特許請求の範囲】
【請求項１】
コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、
前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
前記輝度情報算出ステップにより算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
を実行させるための内視鏡画像処理プログラム。
【請求項２】
コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、
前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
前記輝度情報算出ステップにより算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を表示しない観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
を実行させるための内視鏡画像処理プログラム。
【請求項３】
コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、
前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
前記輝度情報算出ステップにより算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
を実行させるための内視鏡画像処理プログラム。
【請求項４】
観察対象組織内の画像情報を取得する内視鏡カメラと、
前記内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、
前記輝度情報算出部により算出した領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、
前記内視鏡カメラにより取得された観察対象組織内の画像情報及び前記信頼性算出部により算出された前記領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築部と、
前記三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、
を備える内視鏡システム。
【請求項５】
観察対象組織内の画像情報を取得する内視鏡カメラと、
前記内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、
前記輝度情報算出部により算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、
前記内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び前記信頼性算出部により算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、
前記三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、
を有する内視鏡システム。
【請求項６】
観察対象組織内の画像情報を取得する内視鏡カメラと、
前記内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、
前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、
前記内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び前記信頼性算出部により算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、
前記三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、
を備える内視鏡システム。
【請求項７】
内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、
前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
を有する内視鏡画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法に関する。
【背景技術】
【０００２】
内視鏡映像から管腔臓器の内腔形状を推定し、コンピュータ画面上にCG（コンピュータ・グラフィック）として表示することが、実現されている。
【０００３】
特許文献１には、左目用画像と右目用画像のそれぞれに対応する光を結像する左目用光学系１０１と右目用光学系１０２を備えると共に、これらの光学系を通して得られる２系統の光が単一の受光面に分かれて結像されるCMOSセンサ１１０を備える内視鏡スコープ２０１を備える三次元内視鏡装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−９００３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の内視鏡画像処理技術においては、生成された三次元（３Ｄ）モデルの視認性や整容性に課題があった。
【０００６】
本発明は、上記課題を解決しようとするものであり、内視鏡観察対象組織の三次元モデルを表示する場合に、表示する三次元モデルの視認性、整容性を向上させた内視鏡画像処理方法および内視鏡システムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一つの観点によれば、内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、輝度情報算出ステップにより算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。
【０００８】
また、本発明の他の観点によれば、内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、輝度情報算出ステップにより算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を表示しない観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。
【０００９】
また、本発明の他の観点によれば、内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、輝度情報算出ステップにより算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。
【００１０】
また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡カメラと、内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、輝度情報算出部により算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、内視鏡カメラにより取得された観察対象組織内の画像情報及び信頼性算出部により算出された領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築部と、三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、を備えるものとした。
【００１１】
また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡カメラと、内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、輝度情報算出部により算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び信頼性算出部により算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、を有するものとした。
【００１２】
また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡カメラと、内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び信頼性算出部により算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、を備えるものとした。
【００１３】
また、本発明の他の観点によれば、内視鏡画像処理方法を、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップとと、を有するものとした。
【発明の効果】
【００１４】
本発明によれば、診断者又は術者に表示する三次元モデルの視認性、整容性を向上させた内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施例による内視鏡画像処理方法を示す図である。
【図２】本実施例の検証に使用したファントムの形状と内視鏡の操作手順を示す図である。
【図３】本実施例により補正を行う前の三次元モデルを示す図である。
【図４】本実施例による補正を行った後の三次元モデルを示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態の例及び実施例を説明するが、本発明の実施形態は以下に説明する実施形態及び実施例に限定されるものではない。
【００１７】
１．信頼性の低い部分の非表示
従来技術によって生成されるモデルを構成する制御点は、入力となった内視鏡映像のどのフレームのどの点あるいは領域の情報によって構成されたか、対応関係が保存されている。
【００１８】
この対応関係に基づいて、元の入力データの信頼性の低い部分は、推定結果としてのモデル形状の信頼性も低いので、この部分を表示すると、診断者又は術者に対象組織の構造に誤解が生じ、又は正確な構造を把握するのに時間がかかる恐れがある。したがって、CGの基本的な技術であるアルファブレンド等を用いて、対応する領域を非表示にし、表示された臓器形態の信頼性を担保する。
【００１９】
２．表示モデルの平滑化
従来技術の形状推定法においては、内視鏡映像と同期して内視鏡先端の位置姿勢情報を取得することが前提となっている。
【００２０】
この位置情報の経時的ローパスフィルタ（例えば、中央値フィルタと移動平均フィルタの組み合わせ）を適用することにより、形状推定結果の整容性を向上することが可能である。
【００２１】
また、CGとしてモデルを出力する前段にも、メッシュデータの平滑化処理を適用することで、形状推定結果の整容性を向上することが可能である。
【実施例１】
【００２２】
本実施例の画像処理手順を図１に示す。
【００２３】
１０１はパノラマ画像生成ステップである。本ステップでは、内視鏡画像の選別を行う。内視鏡画像全体の平均輝度を計算し、平均輝度が0.9以上及び0.1以下の領域は、信頼性が低い部分（Low quality）と判断する。MotionのQuality termに100.0(ExplicitLowQualityValue)を代入する。
【００２４】
１０２は、頂点データ生成ステップである。本ステップでは、Alpha cut値の指定を行う、すわなち、ExplicitLowQualityValueの条件下で、当該ピクセルを強制的に透過させる。
【００２５】
また、位置姿勢データを平滑化させる。すなわち、pos、dir、upそれぞれに対し、window size = 5のメディアンフィルタ１回と移動平均フィルタを２回施行する。
【００２６】
さらに、Surfaceデータを平滑化する。すなわち、8近傍の平滑化フィルタを１回施行する。
【００２７】
１０３は、レンダリングステップである。本ステップでは、部分形状レンダリングの条件を設定する。具体的には、MotionのLowQuality flagの３点以上継続しない部分について、レンダリングを実行する。
【００２８】
図２に示す形状のファントムに、図２に示す１、２、３の順序で内視鏡を操作して撮影した場合の二次元映像を取得した。
【００２９】
取得した二次元画像に基づいて三次元モデルを構築したものを図３に示す。図３の３０１は、位置センサ情報にノイズが生じている領域であり、実際のファントムの形状とは異なる表示がされている。３０２は、内視鏡の弾性による急峻な移動や、壁面に当たることによりハレーションが生じてる部分であり、この部分は実際には組織が存在しない領域に、組織が存在するものとして表示されている。
【００３０】
図４は、本実施例の情報処理を施して構築した三次元モデルを表示したものである。図３で誤って表示されていた３０１の領域は、４０１では平滑化され、現実の組織に近い形状で表示されている。また、図３で、組織が存在しない領域に表示されていた３０２の部分は、信頼性が低い部分と判断され、４０２では非表示とされている。
【００３１】
以上、本実施例によって三次元画像を表示すれば、診断者又は術者の観察対象組織の構造に関する誤解が低減されることが確認できた。
【産業上の利用可能性】
【００３２】
本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法として産業上利用可能である。
【符号の説明】
【００３３】
１０１  パノラマ画像生成ステップ
１０２  頂点データ生成ステップ
１０３  レンダリングステップ
３０１  位置センサ情報のノイズが生じている領域
３０２  ハレーションが生じている領域
４０１  平滑化した領域
４０２  非表示とした領域
【図１】
2019098005.tif 000003
【図２】
2019098005.tif 000004
【図３】
2019098005.tif 000005
【図４】
2019098005.tif 000006