(57)【特許請求の範囲】
【請求項１】
イメージ分類器とイメージ処理器とを含む内視鏡ナビゲーションシステムの作動方法であって、
前記イメージ分類器が、内視鏡システムの撮影装置からルーメン内のイメージを受信するとともに、特定色彩空間にある前記イメージのパラメータに基づいて前記イメージの類別を決定するステップと、前記イメージがクリアなイメージに分類されるときに前記イメージは有用であると決定するステップとを実行することにより、前記イメージ分類器が、前記イメージに対し分類を実施して、前記イメージが有用か決定するステップと、
前記イメージ処理器が、前記イメージに対し第一イメージ処理を実行して、前記イメージの暗色領域をろ過し、第一処理イメージを生成するステップと、
前記イメージ処理器が、第一判断プロセスを実施して、前記第一処理イメージの暗色領域を識別するステップと、
前記イメージ処理器が、前記暗色領域に基づいて、ルーメンの方向を指示する第一結果イメージを生成するステップと、
前記イメージ処理器が、前記イメージに暗色領域が存在しないとき、または、前記第一判断プロセスにより前記暗色領域を識別できないとき、前記イメージに対し、ガウス（Gaussian）ローパスフィルタ、及び、グレイレベル形態学処理を実行して、血管曲線をろ過するひだ前イメージ処理を実行し、前記イメージに対し、第二イメージ処理を実施して、前記イメージの褶曲線をろ過して、第二処理イメージを生成するステップと、
前記イメージ処理器が、前記褶曲線が所定長さ範囲内にあるか判断するステップと、前記褶曲線が円弧褶曲線であるか判断するステップとを含む第二判断プロセスを実施して、前記第二処理イメージの褶曲線を識別するステップと、
前記イメージ処理器が、前記褶曲線に基づいて、前記褶曲線の幾何中心と中点により、前記褶曲線の開口方向を判断し、ルーメンの方向を指示する第二結果イメージを生成するステップと、
前記イメージ処理器が、前記第一結果イメージ又は前記第二結果イメージを前記内視鏡システムのディスプレイ装置に出力して、使用者のルーメン内に位置する前記撮影装置の操作を補助するステップと、
を含むことを特徴とする内視鏡ナビゲーションシステムの作動方法。
【請求項２】
前記イメージの類別を決定するステップは、
前記イメージ中の輝度値が第一所定輝度値より低い画素数とイメージ尺寸の比率が所定比率より大きいとき、前記イメージを暗すぎるイメージに分類するステップと、
前記イメージ中の輝度値が第二所定輝度値より高い画素数とイメージ尺寸の比率が所定比率より大きいとき、前記イメージを明るすぎるイメージに分類するステップと、
前記イメージ中の色調値が第一所定色調値より低い、又は、第二所定色調値より高い、若しくは、飽和度が所定飽和度より高い画素数とイメージ尺寸の比率が所定比率より大きいとき、前記イメージを二重露光のイメージに分類するステップと、
前記イメージが暗すぎるイメージ、明るすぎるイメージ、又は、二重露光のイメージの何れにも分類されないとき、前記イメージをクリアなイメージに分類するステップと、
を含むことを特徴とする請求項１に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項３】
前記イメージ処理器が、更に、前記イメージが有用か決定するステップで有用と決定された場合、当該イメージに対しイメージ前置処理を実施するステップを含むことを特徴とする請求項１に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項４】
前記イメージに実施する前置処理は、
グレイレベル転換、メジアン、平均フィルタリング、及び、マスキングを含むことを特徴とする請求項３に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項５】
前記第一イメージ処理の実施は、
前記イメージに対し、二値化、タグフィルタ、メジアンフィルタを実施するステップと、
前記イメージの暗色領域の数を決定するステップと、
を含むことを特徴とする請求項１に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項６】
前記第一判断プロセスは、
前記第一処理イメージが暗色領域を有するかどうか判断するステップと、
前記暗色領域の境界画素数が所定画素数より多いか判断するステップと、
前記暗色領域の前記第一処理イメージの面積に対する比率が所定比率範囲内にあるか判断するステップと、
前記暗色領域中の色調値が所定色調範囲内である面積の前記暗色領域に対する比率が所定色調面積比率より小さいか判断するステップと、
を含むことを特徴とする請求項１に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項７】
前記第一判断プロセスは、
前記第一処理イメージが少なくとも二個の暗色領域を有するか判断するステップと、
前記暗色領域の境界画素数が所定画素数より少ないか判断するステップと、
前記処理イメージ中の第一暗色領域と第二暗色領域の挟角が所定角度より小さいか判断するステップと、
前記第二暗色領域と前記第一暗色領域の比率が所定比率より小さいか判断するステップと、
前記暗色領域と前記第一処理イメージの面積の比率が所定比率範囲内であるか判断するステップと、
前記暗色領域中の色調値が所定色調範囲内である面積と前記暗色領域の比率が所定色調面積比率より小さいか判断するステップと、
を含むことを特徴とする請求項１に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項８】
前記ルーメンの方向を指示する前記第一結果イメージを生成するステップは、
最大の暗色領域の幾何中心、及び、前記第一処理イメージの幾何中心に基づいて、指示符号を前記イメージ中に生成して、前記第一結果イメージを形成するステップを含むことを特徴とする請求項１に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項９】
前記第二イメージ処理は、
前記イメージに対しラプラスフィルタ、キャニーエッジ検出、キャニーエッジマスキング、及び、タグフィルタを実行するステップと、
前記イメージの褶曲線の数量と長さを決定するステップと、
を含むことを特徴とする請求項１に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項１０】
前記第二判断プロセスは、更に、
色調が所定色調範囲内にある画素数の前記褶曲線に対する比率が所定画素数比率より大きいか判断するステップと、
前記褶曲線の輝度が所定輝度より高い画素数の前記褶曲線に対する比率が所定画素数比率より大きいか判断するステップと、
を含むことを特徴とする請求項１に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項１１】
前記ルーメンの方向を指示する前記第二結果イメージを生成するステップは、
前記褶曲線の開口方向に基づいて、指示符号を前記イメージ中に生成して、前記第二結果イメージを形成するステップを含むことを特徴とする請求項１に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項１２】
前記ルーメンの方向を指示する前記第二結果イメージを生成するステップは、
前記褶曲線の中点と幾何中心に基づいて、指示符号を前記イメージ中に生成して、前記第二結果イメージを形成するステップを含むことを特徴とする請求項９に記載の内視鏡ナビゲーションシステムの作動方法。
【請求項１３】
内視鏡ナビゲーションシステムであって、
ルーメン内の一イメージを受信する撮影装置と、
前記撮影装置が受信する前記イメージを捕捉し、特定色彩空間にある前記イメージのパラメータに基づいて前記イメージの類別を決定するステップと、前記イメージがクリアなイメージに分類されるときに前記イメージは有用であると決定するステップとを実行することにより、前記イメージに対し分類を実行して、前記イメージが有用かどうか決定するイメージ分類モジュールと、
前記イメージに対し、第一イメージ処理を実施して、前記イメージの暗色領域をろ過して、第一処理イメージを生成し、第一判断プロセスを実施して、前記第一処理イメージの暗色領域を識別し、前記暗色領域に基づいて、ルーメンの方向を指示する第一結果イメージを生成する第一イメージ処理モジュールと、
前記イメージに対し第二イメージ処理を実施して、第二処理イメージを生成し、前記褶曲線が所定長さ範囲内にあるか判断するステップと前記褶曲線が円弧褶曲線であるか判断するステップとを含む第二判断プロセスを実施して、前記イメージの褶曲線をろ過し、前記第二処理イメージの褶曲線を識別し、前記褶曲線に基づいて、前記褶曲線の幾何中心と中点により、前記褶曲線の開口方向を判断し、ルーメンの方向を指示する第二結果イメージを生成する第二イメージ処理モジュールと、
前記第二イメージ処理を実施する前に、前記イメージに対し、ガウス（Gaussian）ローパスフィルタ、及び、グレイレベル形態学処理を実行して、血管曲線をろ過するひだ前イメージ処理を実行するひだ前イメージ処理モジュールと、
前記第一結果イメージ又は前記第二結果イメージを表示して、使用者のルーメン内に位置する前記撮影装置の操作を補助するディスプレイ装置と、
からなることを特徴とする内視鏡ナビゲーションシステム。
【請求項１４】
更に、イメージ前置処理モジュールを含み、前記イメージに対し、グレイレベル転換、メジアン、平均フィルタリング、及び、マスキングを実施することを特徴とする請求項１３に記載の内視鏡ナビゲーションシステム。
【請求項１５】
前記第一判断プロセスは、
前記第一処理イメージが暗色領域を有するかどうか判断するステップと、
前記暗色領域の境界画素数が所定画素数より少ないか判断するステップと、
前記暗色領域の前記第一処理イメージの面積に対する比率が所定比率範囲内にあるか判断するステップと、
前記暗色領域中の色調値が所定色調範囲内である面積の前記暗色領域に対する比率が所定色調面積比率より小さいか判断するステップと、
を含むことを特徴とする請求項１３に記載の内視鏡ナビゲーションシステム。
【請求項１６】
前記第一判断プロセスは、
前記第一処理イメージが少なくとも二個の暗色領域を有するか判断するステップと、
前記暗色領域の境界画素数が所定画素数より少ないか判断するステップと、
前記処理イメージ中の第一暗色領域と第二暗色領域の挟角が所定角度より小さいか判断するステップと、
前記第二暗色領域と前記第一暗色領域の比率が所定比率より小さいか判断するステップと、
前記暗色領域と前記第一処理イメージの面積の比率が所定比率範囲内であるか判断するステップと、
前記暗色領域中の色調値が所定色調範囲内である面積と前記暗色領域の比率が所定色調面積比率より小さいか判断するステップと、
を含むことを特徴とする請求項１３に記載の内視鏡ナビゲーションシステム。
【請求項１７】
前記第二判断プロセスは、更に、
前記褶曲線の色調が所定色調範囲内である画素数が所定画素数より多いか判断するステップと、
前記褶曲線の輝度が所定輝度より高い画素数が所定画素数より多いか判断するステップと、
を含むことを特徴とする請求項１３に記載の内視鏡ナビゲーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡ナビゲーション方法、及び、内視鏡ナビゲーションシステムに関するものである。
【背景技術】
【０００２】
近年、イメージモニターと電子モニターが盛行しており、大腸で即時にカラーイメージを捕捉することができるマイクロ電荷カップリング素子を含む電子式ビデオスコープ大腸検査が臨床と実験に幅広く用いられている。電子式大腸ビデオスコープを用いた量化、及び、大腸疾病の正確な状態の判断が重要な課題の一つである。よって、大腸内視鏡のコンピュータ補助診断がますます注視されている。コンピュータ補助診断時、大腸鏡イメージ中の有意義な特徴の捕捉が必要である。しかし、医師が探す大腸中の最も有意義な特徴はルーメン（空腔：腔、以下同様）の辺縁にあり、異常である可能性がある部位である。通常、医師は大腸鏡が捕捉した大腸イメージと自身の経験により、ルーメンの所在を判断し、大腸鏡を操作する。一般の大腸鏡イメージ暗所は多様な斑点を含み、また、ルーメンと腸壁間にひだが多く分布しており、ルーメンが同質領域でないとき、腸壁よりも明るい反射が出現し、ルーメンの辺縁の捕捉が困難になる。
【０００３】
また、内視鏡の尖端は複数の光源により大腸内部を照射し、照射距離の制限により、腸壁表面の光源に近い箇所は遠い箇所より明るい。よって、内視鏡イメージ中の最低輝度の領域は通常、ルーメンの領域である。しかし、ルーメンの領域は固定ではなく、ルーメンの大小、形状、背景照度と反射特性の変化により、医師がルーメンの方向を正確に判断するのが難しい。この他、大腸は多くの転接部位があり、ルーメンの位置があいまいである。例えば、大腸鏡がルーメンの位置に沿って挿入されていないと、大腸鏡頂端が腸壁にぶつかって、患者に痛みを与える以外に、腸壁が貫通する危険も増加し、患者を死亡させる危険もある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
よって、上述のルーメンの領域が識別しにくい問題を解決するため、本発明は、特定イメージ処理を利用した内視鏡ナビゲーション方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明はイメージ分類器とイメージ処理器とを含む内視鏡ナビゲーションシステムの作動方法を提供し、前記イメージ分類器が、内視鏡システムの撮影装置からルーメン内のイメージを受信するとともに、特定色彩空間にある前記イメージのパラメータに基づいて前記イメージの類別を決定するステップと、前記イメージがクリアなイメージに分類されるときに前記イメージは有用であると決定するステップとを実行することにより、前記イメージ分類器が、前記イメージに対し分類を実施して、前記イメージが有用か決定するステップと、前記イメージ処理器が、前記イメージに対し第一イメージ処理を実行して、前記イメージの暗色領域をろ過し、第一処理イメージを生成するステップと、前記イメージ処理器が、第一判断プロセスを実施して、前記第一処理イメージの暗色領域を識別するステップと、前記イメージ処理器が、前記暗色領域に基づいて、ルーメンの方向を指示する第一結果イメージを生成するステップと、前記イメージ処理器が、前記イメージに暗色領域が存在しないとき、または、前記第一判断プロセスにより前記暗色領域を識別できないとき、前記イメージに対し、ガウス（Gaussian）ローパスフィルタ、及び、グレイレベル形態学処理を実行して、血管曲線をろ過するひだ前イメージ処理を実行し、前記イメージに対し、第二イメージ処理を実施して、前記イメージの褶曲線をろ過して、第二処理イメージを生成するステップと、前記イメージ処理器が、前記褶曲線が所定長さ範囲内にあるか判断するステップと、前記褶曲線が円弧褶曲線であるか判断するステップとを含む第二判断プロセスを実施して、前記第二処理イメージの褶曲線を識別するステップと、前記イメージ処理器が、前記褶曲線に基づいて、前記褶曲線の幾何中心と中点により、前記褶曲線の開口方向を判断し、ルーメンの方向を指示する第二結果イメージを生成するステップと、前記イメージ処理器が、前記第一結果イメージ又は前記第二結果イメージを前記内視鏡システムのディスプレイ装置に出力して、使用者のルーメン内に位置する前記撮影装置の操作を補助するステップとを含む。
【０００６】
本発明は内視鏡ナビゲーションシステムを提供し、ルーメン内の一イメージを受信する撮影装置と、前記撮影装置が受信する前記イメージを捕捉し、特定色彩空間にある前記イメージのパラメータに基づいて前記イメージの類別を決定するステップと、前記イメージがクリアなイメージに分類されるときに前記イメージは有用であると決定するステップとを実行することにより、前記イメージに対し分類を実行して、前記イメージが有用かどうか決定するイメージ分類モジュールと、前記イメージに対し、第一イメージ処理を実施して、前記イメージの暗色領域をろ過して、第一処理イメージを生成し、第一判断プロセスを実施して、前記第一処理イメージの暗色領域を識別し、前記暗色領域に基づいて、ルーメンの方向を指示する第一結果イメージを生成する第一イメージ処理モジュールと、前記イメージに対し第二イメージ処理を実施して、第二処理イメージを生成し、前記褶曲線が所定長さ範囲内にあるか判断するステップと前記褶曲線が円弧褶曲線であるか判断するステップとを含む第二判断プロセスを実施して、前記イメージの褶曲線をろ過し、前記第二処理イメージの褶曲線を識別し、前記褶曲線に基づいて、前記褶曲線の幾何中心と中点により、前記褶曲線の開口方向を判断し、ルーメンの方向を指示する第二結果イメージを生成する第二イメージ処理モジュールと、前記第二イメージ処理を実施する前に、前記イメージに対し、ガウス（Gaussian）ローパスフィルタ、及び、グレイレベル形態学処理を実行して、血管曲線をろ過するひだ前イメージ処理を実行するひだ前イメージ処理モジュールと、前記第一結果イメージ又は前記第二結果イメージを表示して、使用者のルーメン内に位置する撮影装置の操作を補助するディスプレイ装置と、からなる。
【発明の効果】
【０００７】
本発明は、イメージ画面の明暗の差異性と大腸ひだの特性を利用し、イメージ分析運算法により、大腸イメージを詳細に分析して、大腸ルーメンの位置の所在を正確に判断し、使用者の内視鏡システムの撮影装置の操作を引導する。よって、臨床上、医者が患者を診断、治療する時、分析したイメージの指示に基づいて、円滑に内視鏡を挿入し、患者の苦痛を減少させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明による内視鏡ナビゲーション方法のフローチャート図である。
【図２】本発明による内視鏡ナビゲーション方法のイメージ分類実施を示す図である。
【図３】（Ａ）は本発明の具体例中の未処理のイメージを示す図であり、（Ｂ）は本発明の具体例中のイメージ前置処理後のイメージを示す図であり、（Ｃ）は本発明の具体例中の第一イメージ処理後のイメージを示す図である。
【図４】（Ａ）及び（Ｂ）は本発明の内視鏡ナビゲーション方法の第一判断プロセス実施を示す図である。
【図５】（Ａ）及び（Ｂ）は本発明のもう一つの実施例中の第一判断プロセスに符合しないイメージを示す図である。
【図６】（Ａ）は本発明の実施例中の第一判断プロセスに符合し、指示符号を生成するイメージを示す図であり、（Ｂ）は本発明の実施例中の指示符号を有する第一結果イメージを示す図である。
【図７】（Ａ）は本発明の具体例中の未処理のイメージを示す図であり、（Ｂ）は本発明の具体例中の前置イメージ処理、及び、第二イメージ処理後のイメージを示す図である。
【図８】本発明による内視鏡ナビゲーション方法の第二判断プロセス実施を示す図である。
【図９】（Ａ）は本発明の具体例中の褶曲線を分割することにより、ベクトル挟角に基づいて円弧褶曲線を判断することを示す図であり、（Ｂ）は本発明の具体例中の条件に符合する円弧褶曲線を示す図であり、（Ｃ）は本発明の具体例中の条件に符合しない非円弧褶曲線を示す図である。
【図１０】（Ａ）は本発明の実施例中の第二判断プロセスに符合し、指示符号を生成するイメージを示す図であり、（Ｂ）は本発明の実施例中の指示符号を有する第二結果イメージを示す図である。
【図１１】本発明の内視鏡システムを示す図である。
【発明を実施するための形態】
【０００９】
図１は、本発明の内視鏡ナビゲーション方法１００のフローチャートである。実施例中、本発明は、訓練モデルにより、人体の大腸をシミュレーションし、内視鏡儀器により、訓練モデルの内部構造を検査すると共に、ビデオに録画し、その後、一枚一枚の大腸モデルの内視鏡イメージに分割し、イメージに対し更に分析を実行して、ルーメン（空腔：腔、以下同様）の位置を判断する。一般に、医師は、現在の内視鏡システムのディスプレイ装置が示す大腸イメージ現場に基づいて、内視鏡撮影装置を操作する。臨床上、本発明の方法は、即時にイメージを受信、即時に分析、即時に表示して、医師による内視鏡システムの撮影装置の操作を、快速、正確に引導することができる。
【００１０】
フローチャート１００は、どのように、患者の現在の大腸内部ルーメンを即時分析し、内視鏡システムの操作を更に円滑にする目的を達成するかを詳述する。ステップ１０２で、大腸ルーメンに挿入される撮影装置、例えば、マイクロ電荷カップリング素子から、ルーメン内のイメージを受信する。このイメージは、即時に、ビデオから一系列の単一イメージに転換されている。ステップ１０４で、イメージの分類を実施する。内視鏡撮影時、位置と角度の変化要素により、イメージは各種形態を含み、一般に、輝度が明るい、輝度が暗い、二重露光、及び、クリア、の四種類に分けられる。イメージ分類は、イメージの特定カラー空間、例えば、HSV(Hue, Saturation, Value)色彩空間のパラメータ数値、例えば、色調、飽和度、輝度に基づく。本実施例中、使用者は、要求に応じて、イメージを分類するのに用いるパラメータ範囲を設定し、イメージは範囲に基づいて、上述の四種に分けられる。
【００１１】
更に詳細な分類工程は、図２を参照する。ステップ１０４２で、まず、捕捉されたイメージをその他の特定色彩空間に転換し、例えば、RGB(Red, Green, Blue)色彩空間のイメージをHSV色彩空間のイメージに転換する。ステップ１０４４で、第一段階分類を実施する。例えば、イメージ中の輝度値が第一所定輝度より低い画素数Dとイメージ尺寸（M＊N）の比率が所定比率より大きいとき、イメージは暗すぎのイメージに分類される。本実施例中、第一所定輝度は０．２２単位に設定され、所定比率は０．４に設定される。つまり、輝度が０．２２単位より低い画素数がイメージ全体の４０％以上であるとき、暗すぎるイメージに分類され、このイメージは使用できず、後続処理を実行しない。
【００１２】
ステップ１０４８で、第二段階分類を実施する。例えば、イメージ中の輝度が第二所定輝度値より高い画素数Bとイメージ尺寸（M＊N）の比率が所定比率より大きいとき、イメージは明るすぎるイメージに分類される。本実施例中、第二所定輝度値が０．７単位に設定され、所定比率は０．４のままである。つまり、輝度が０．７単位より高い画素数がイメージ全体の４０％以上を占有するとき、明るすぎるイメージに分類され、このイメージは使用できず、後続処理を実行しない。
【００１３】
ステップ１０５２で、第三段階分類を実施する。例えば、イメージ中の色調が第一所定色調値より低い、又は、第二所定色調値より高い、及び、飽和度が所定飽和値より高い画素数DEとイメージ尺寸（M＊N）の比率が所定比率より大きいとき、イメージは二重露光のイメージに分類される。本実施例中、第一所定色調値が０．０１単位に設定され、第二所定色調値が０．１単位に設定され、所定飽和値が０．７５単位に設定される。つまり、色調値が０．０１単位より小さく、且つ、飽和度が０．７５単位より高いか、又は、色調値が０．１単位より大きく、且つ、飽和度が０．７５単位より高い画素数がイメージの４０％以上を占有するとき、二重露光のイメージに分類され、このイメージは使用できず、後続処理を実行しない。
【００１４】
最後に、イメージが暗すぎるイメージ、明るすぎるイメージ、又は、二重露光のイメージのどれにも分類されないとき、クリアなイメージに分類される。分類プロセスのフィルタリングを経て、使用できないイメージに分類されるイメージがない場合、次のイメージをクリアなイメージとして保留し、このイメージは有用であり、その後、後続のイメージ処理を実施する。
【００１５】
図１に戻ると、イメージ分類１０４実施後、例えば、イメージが有用である場合は、ステップ１０８に進む。ステップ１０８で、イメージ前置処理を実施する。イメージ前置処理の主要目的は、イメージ図中の本当にルーメン構造を示すイメージ部分のろ過及び強化により、後続の分析処理を容易にすることである。図３の（Ａ）は未処理前のイメージを示し、図３の（Ｂ）は前置処理後のイメージを示す。イメージ前置処理は、グレイレベル転換、平均フィルタリング、及び、マスキングの実施を含む。
【００１６】
図１に戻ると、続いて、ステップ１１０で、第一イメージ処理を実施する。第一イメージ処理の主要目的は、イメージの暗色領域をろ過して、後続の判断プロセス識別用とすることである。この第一イメージ処理では、既に前置処理を実施したイメージ、例えば、図３の（Ｂ）のイメージに対し、二進化（二値化）、タグフィルタ、メジアンフィルタを実施する。図３の（Ｃ）のイメージは第一イメージ処理を経たイメージである。大腸ルーメンのイメージ輝度は周囲に対して比較的暗く、メジアンフィルタは小領域をろ過し、ルーメンの領域の暗度を強化することができる。その後、タグフィルタが暗色領域の数を計数する。第一処理後のイメージに基づき、図３の（Ｃ）で示されるように、本実施例中、暗色領域の数は４である。
【００１７】
ステップ１１０で、第一イメージ処理を実施後、まず、暗色領域があるか判断し、イメージに暗色領域が存在しない場合、ステップ１２０に進み、存在する場合、ステップ１１４に進む。
【００１８】
ステップ１１４で、第一判断プロセスを実施して、イメージの暗色領域を識別する。図４の（Ａ）で示される。暗色領域の数が１のとき、続いて、暗色領域の境界画素数（EPS）が、所定画素数より少ないか判断する。本実施例中、所定画素数を７００に設定する。一実施例中、図５の（Ａ）のイメージのように、その境界画素数は８７６で、７００より多い。よって、第一判断プロセスに符合しない。例えば、イメージの境界画素数が７００未満の場合、続いて、暗色領域の第一処理イメージの面積の比率（AR）が所定比率範囲内にあるか判断する。本実施例中、所定比率範囲は０．０２〜０．５の間に設定される。即ち、暗色領域が占めるイメージの面積の比率が２％〜５０％の間の範囲から外れるとき、第一判断プロセスに符合しない。例えば、暗色領域の比率が範囲内である場合、続いて、色調値が所定色調範囲内にある面積の暗色領域に対する比率（HR）が、所定の色調面積比率より小さいか判断する。本実施例中、所定色調範囲は０−１の間で、所定色調面積比率は０．４である。つまり、色調値０−１の間の画素数が占める暗色領域の面積が４０％より小さいとき、第一判断プロセスに符合すると確定できる。
【００１９】
この他、暗色領域の数が１より多いとき、実施する判断プロセスは、暗色領域数が１のときの判断プロセスと異なる。まず、図４の（Ｂ）に示すように、暗色領域の境界画素数（EPS）が所定画素数より少ないか判断する。本実施例中、所定画素数を７００に設定する。図３の（Ｃ）で示されるように、全ての暗色領域の境界画素数は７００より少ない。続いて、処理するイメージ中の第一大暗色領域と第二大暗色領域の挟角rが所定角度より小さいか判断する。本実施例中、所定角度を１２０度に設定する。一実施例中、図５の（Ｂ）で示されるように、二暗色領域分布の挟角rが１２０度を超えるので、第一判断プロセスに符合しない。狭角rが１２０度未満の場合、例えば、図３の（Ｃ）で示される暗色領域は、続いて、第二暗色領域と第一暗色領域の比率（APR）が所定比率より小さいか判断される。本実施例中、所定比率は０．２５に設定される。つまり、第二大暗色領域の面積と第一大暗色領域の面積の比率が２５％より小さいとき、判断条件に符合し、例えば、図３の（Ｃ）である。
【００２０】
続いて、暗色領域と第一処理イメージの面積の比率が所定比率範囲内にあるか判断する。本実施例中、所定比率範囲は０．０２と０．５の間に設定される。つまり、全部の暗色領域が占めるイメージ面積の比率が２％〜５０％の範囲内にあるとき、判断に符合する。続いて、暗色領域中の色調値が所定色調範囲内にある面積と暗色領域の比率（HR）が所定色調面積比率より小さいか判断する。本実施例中、所定色調範囲は０−１の間で、所定色調面積比率は０．４である。つまり、総暗色領域中の色調値０−１の間の画素数が占める総暗色領域の面積が４０％より小さいとき、第一判断プロセスに符合すると確定し、そうでなければ、第一判断プロセスに符合しない。
【００２１】
第一判断プロセスに符合するとき、図３の（Ｃ）で示されるイメージのようである。プロセスはステップ１１８に進むか、そうでなければ、ステップ１１９に進み、第二イメージ処理を実施する。
【００２２】
図１に戻ると、ステップ１１８で、ルーメンの方向を指示する第一結果イメージを生成する。第一判断プロセス後、イメージの暗色領域が大腸ルーメン内のルーメンの部位であることを確定し、よって、続いて、暗色領域の幾何中心、つまり、ルーメンの中心を計算する。もし、複数の暗色領域がある場合、最大暗色領域を幾何中心の主計算とする。イメージの中心から指示符号、例えば、矢印を生成し、暗色領域の中心を指し、図６の（Ａ）で示される。その後、指示符号の位置と方向が最初のイメージに映写して、指示方向を有する結果イメージを生成することができ、図６の（Ｂ）で示される。矢印が指す方向はルーメンの位置である。
【００２３】
前述の暗色検出運算法は、ルーメンの位置を正確に判断できるとは限らず、臨床上、医師は経験によって、大腸ひだにより、ルーメンの位置を判断する。一般に、大腸ひだに垂直な方向がルーメンの所在する方向で、この特徴により、以下のひだ検出運算法を発展させた。図１のプロセスに戻ると、イメージに暗色領域が存在しないか、第一判断プロセスに符合しないとき、プロセスはステップ１１９で、ひだ前イメージ処理を実施する。ひだ前イメージ処理の主な目的は、イメージ中の血管紋路や曲線をろ過することである。これらの血管形状は、以後、褶曲線と誤認され、混乱する恐れがあるからである。ひだ前イメージ処理は、既に前置処理を実施したイメージに対し、ガウス（Gaussian）ローパスフィルタ、及び、グレイレベル形態学処理、例えば、ディスク型マスクを実行するステップを含む。血管とひだは腸壁と一定の段差があるが、血管により生じる段差の多くは、ひだにより生じる段差より小さいので、血管の段差による判断ミスを減少させるために、ガウスフィルターを使用して、イメージ中の高周波成分を減衰させる。グレイレベル形態学処理を使用するのは、イメージ中の腸壁のグレイレベルに近い血管をろ過し、及び、濃色血管の紋様構造を破壊して、その後の辺縁検出において、濃色血管がひだであると誤判しないようにするためである。次に、ステップ１２０で、第二イメージ処理を実施する。第二イメージ処理の主な目的は、イメージの褶曲線をろ過して、後続の判断プロセス識別用とし、既に前置処理を実施したイメージに対し、ラプラスフィルタ、キャニーエッジ検出、キャニーエッジマスキング、及び、タグフィルタを実行する。図７の（Ａ）は未処理の一イメージで、図７の（Ｂ）は、前置処理、及び、第一イメージ処理後のイメージを示す。ラプラスフィルタはひだ対比度を増加し、キャニーエッジ検出は全ての可能な褶曲線を検出し、キャニーエッジマスキングは内視鏡イメージ辺縁を除去して、大腸ひだのイメージだけを取得することができる。最後に、タグフィルタの方式で、褶曲線の数量と長さを計数する。その後、ステップ１２２に進む。
【００２４】
ステップ１２２で、第二判断プロセスを実施して、褶曲線を識別する。図８を参照すると、まず、褶曲線が所定長さの範囲内にあるか判断する。本実施例中、所定長さ範囲を９０−４５０単位の間に設定する。つまり、褶曲線の長さLFがこの範囲内にないとき、第二判断プロセスに符合せず、褶曲線は無効とみなされる。もし、長さが符合する場合、続いて、褶曲線の色調が所定色調範囲内にある画素数の比率FDEが所定画素数比率より大きいか判断する。本実施例中、所定色調範囲は０．０１単位より小さく、０．１単位より大きい範囲に設定され、所定画素数比率は０．４に設定される。つまり、画素色調が所定色調範囲内である画素数が褶曲線に占める割合が４０％を超えるとき、この褶曲線は以後の分析に用いることができ、そうでなければ、第二判断プロセスに符合せず、褶曲線は無効とみなされる。続いて、褶曲線の輝度が所定輝度より高い画素数比率FDが所定画素数比率より大きいか判断する。本実施例中、所定輝度は０．７単位に設定される。つまり、褶曲線中の輝度が０．７単位より高い画素数が占める褶曲線が４０％より大きいとき、この褶曲線は以後の分析に用いることができ、そうでなければ、第二判断プロセスに符合せず、褶曲線は無効とみなされる。
【００２５】
続いて、褶曲線が予め設定された円弧褶曲線か否かを判断する。この判断には、二つのベクトルによる挟角から円弧褶曲か否かを判定することが含まれる。例えば、等分に１１の点を取ることによって褶曲線を１０等分する。隣り合う二つの点は一つのベクトルを形成し、更に、隣り合う二つのベクトルによる挟角に基づいて、曲線が過大に変化してないか判断する。よって、本例では、全部で９個のベクトル挟角がある。各ベクトル挟角に対し、一個の所定ベクトル挟角値を設定し、全てのベクトル挟角が所定ベクトルの挟角値より大きいとき、テストする褶曲線は円弧型ではないことを表示し、そうでなければ、円弧褶曲線に分類される。本実施例中、図９の（Ａ）で示されるように、褶曲線に対し線分断を実行すると共に、ベクトル挟角θ１−θ３、及び、θ７−θ９の所定ベクトル挟角が６０度で、θ４−θ６の所定ベクトル挟角は７５度に設定する。つまり、褶曲線のベクトル挟角θ１−θ３、及び、θ７−θ９が６０度より大きく、及び、ベクトル挟角θ４−θ６が７５度より大きいとき、褶曲線は非円弧形とみなされる。図９の（Ｂ）で示される褶曲は円弧褶曲線で、図９の（Ｃ）で示される褶曲は非円弧褶曲である。褶曲線が円弧形のとき、褶曲線は第二判断プロセスに符合すると確定され、ステップ１２６に進む。
【００２６】
ステップ１２６で、ルーメンの方向を指示する第二結果イメージを生成する。褶曲線の幾何中心と線段中点により、褶曲線の開口方向を判断する。一般に、褶曲線に垂直な方向がルーメンの所在位置である。よって、正確な指示、例えば、矢印を表示するために、本実施例中、幾何中心と曲線中点を参考にして、指示方向の矢印を生成し、図１０の（Ａ）で示される。その後、指示符号の位置と方向を最初のイメージに映写して、指示方向を有する結果イメージを生成することができ、図１０の（Ｂ）で示される。矢印が指す方向はルーメンの位置である。最後に、ステップ１２８で、結果イメージをディスプレイ装置に出力して、使用者のルーメン内に位置する撮影装置の操作を補助する。
【００２７】
図１１は、本発明の内視鏡ナビゲーションシステムを示す図である。内視鏡システム１０００は、撮影装置１０１０、イメージ分類モジュール１０２０、イメージ前置処理モジュール１０３０、第一イメージ処理モジュール１０４０、ひだ前イメージ処理モジュール１０４５、第二イメージ処理モジュール１０５０、及び、ディスプレイ装置１０６０、を含む。イメージ分類モジュール１０２０、イメージ前置処理モジュール１０３０、第一イメージ処理モジュール１０４０、ひだ前イメージ処理モジュール１０４５、第二イメージ処理モジュール１０５０は集積回路、例えば、チップユニットやマイクロプロセッサに整合できる。
【００２８】
撮影装置１０１０、例えば、マイクロ電荷カップリング素子は、主に、ルーメン内のイメージ、例えば、人体の大腸内のイメージを受信するのに用いられる。イメージ分類モジュール１０２０は、撮影装置１０１０が受信したルーメン内のイメージを捕捉し、イメージに対し分類を実施して、イメージが有用かどうか決定する。イメージ前置処理モジュール１０３０は、イメージに対しグレイレベル転換、メジアンと平均フィルタリング、及び、マスキングを実施する。
【００２９】
第一イメージ処理モジュール１０４０は、イメージに対し第一イメージ処理を実行することにより、イメージの暗色領域をろ過して、第一処理イメージを生成する。さらに、第一イメージ処理モジュール１０４０は、第一判断プロセスを実施することにより、第一処理イメージの暗色領域を識別し、暗色領域に基づいて、ルーメンの方向を指示する第一結果イメージを生成する。第一判断プロセスは、第一処理イメージが暗色領域を有するか、暗色領域の境界画素数が所定画素数より少ないか、暗色領域の第一処理イメージに対する面積の比率が所定比率範囲内にあるか、暗色領域中の色調値が所定色調範囲内にある面積の暗色領域に対する比率が、所定色調面積比率より小さいか判断する第一部分と、第一処理イメージが少なくとも二つの暗色領域を有するか、暗色領域の境界画素数が所定画素数より少ないか、処理するイメージ中の第一大暗色領域と第二大暗色領域の挟角が所定角度より小さいか、第二暗色領域と第一暗色領域の比率が所定比率より小さいか、第二暗色領域と第一暗色領域の比率が所定比率より小さいか、暗色領域と第一処理イメージの面積の比率が所定比率範囲内にあるか、及び、これらの暗色領域中の色調値が所定色調範囲内にある面積とこれらの暗色領域の比率が所定の色調面積比率より小さいかを判断する第二部分と、を含む。
【００３０】
ひだ前イメージ処理モジュール１０４５は、主に、イメージ中の血管紋様や曲線をろ過するために用いる。これらの血管形状は、以後、褶曲線と誤認されて、混乱する恐れがあるからである。具体的に、ひだ前イメージ処理モジュール１０４５は、既に前置処理を実施したイメージに対し、ガウス（Gaussian）ローパスフィルタ、及び、グレイレベル形態学処理を実行するステップを実施する。
【００３１】
第二イメージ処理モジュール１０５０は、イメージに対し第二イメージ処理を実施することにより、第二処理イメージを生成する。さらに、第二イメージ処理モジュール１０５０は、第二判断プロセスを実施することにより、イメージの褶曲線をろ過して、第二処理イメージの褶曲線を識別し、褶曲線に基づいて、ルーメンの方向を指示する第二結果イメージを生成する。第二判断プロセスは、褶曲線が所定長さ範囲内にあるか、褶曲線の色調が所定色調範囲内にある画素数が所定画素数より多いか、褶曲線の輝度が所定輝度より高い画素数が所定画素数より多いか、及び、褶曲線が円弧褶曲線かを判断する。
【００３２】
ディスプレイ装置１０６０は、第一結果イメージか第二結果イメージを表示して、使用者のルーメン内に位置する撮影装置の操作を補助する。第一イメージ処理モジュール中、ルーメンの位置を判断して、ルーメンの方向を指示する第一結果イメージを生成するとき、イメージは第二イメージ処理モジュールに伝送されず、第一結果イメージをディスプレイ装置１０６０に出力する。第一イメージ処理モジュールがルーメンの位置を識別できない場合に、イメージは第二イメージ処理モジュールに送られて、ひだ前イメージ処理、及び褶曲識別を実行する。第二イメージ処理モジュール中で、ルーメンの位置を判断して、ルーメンの方向を指示する第二結果イメージを生成する場合、最後に、第二結果イメージをディスプレイ装置１０６０に出力する。
【００３３】
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。
【符号の説明】
【００３４】
102、104、106、108、110、112、114、116、118、119、120、122、124、126、128  ステップ
1042、1044、1046、1048、1050、1052、1054、1056、1140、1142、1144、1146、1148、1150、1152、1154、1156、1158、1160、1162、1164、1166、1220、1222、1224、1226、1228、1230、1232    ステップ
1000    内視鏡システム
1010    撮影装置
1020    イメージ分類モジュール
1030    イメージ前置処理モジュール
1040    第一イメージ処理モジュール
1045    ひだ前イメージ処理モジュール
1050    第二イメージ処理モジュール
1060    ディスプレイ装置
【図１】
0005599687.tif 000002
【図２】
0005599687.tif 000003
【図３】
0005599687.tif 000004
【図４】
0005599687.tif 000005
【図５】
0005599687.tif 000006
【図６】
0005599687.tif 000007
【図７】
0005599687.tif 000008
【図８】
0005599687.tif 000009
【図９】
0005599687.tif 000010
【図１０】
0005599687.tif 000011
【図１１】
0005599687.tif 000012