(57)【要約】【課題】被写体の三次元モデルを用いた観察において、ユーザによる病変部位の見落としを低減させることのできる医療用画像処理装置及び医療用画像処理方法を提供する。【解決手段】本発明の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルが有するボクセルのうち、前記医療用撮像装置の視野方向に対して最も手前側に存在する一のボクセルを検出するボクセル検出部と、前記一のボクセルを含む一の曲平面を取得し、該一の曲平面において勾配の変動が生じている位置を検出するとともに、前記三次元モデルにおける該位置に局所的な隆起形状を有する生体組織が存在するか否かを判定する隆起形状検出部と、を有する。【選択図】図１
2007260144.tif 000002
【特許請求の範囲】
【請求項１】
医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、
前記三次元モデルが有するボクセルのうち、前記医療用撮像装置の視野方向に対して最も手前側に存在する一のボクセルを検出するボクセル検出部と、
前記一のボクセルを含む一の曲平面を取得し、該一の曲平面において勾配の変動が生じている位置を検出するとともに、前記三次元モデルにおける該位置に局所的な隆起形状を有する生体組織が存在するか否かを判定する隆起形状検出部と、
を有することを特徴とする医療用画像処理装置。
【請求項２】
前記隆起形状検出部は、所定の軸方向に対して平行に設定される複数のトレースラインに沿って前記一の曲平面をトレースし、前記所定の軸方向の一の位置において、前記複数のトレースラインのうち、輝度勾配の変動が生じたトレースラインの数が１以上かつ所定の閾値以下であることを検出した場合に、前記局所的な隆起形状を有する生体組織が前記一の位置に存在すると判定することを特徴とする請求項１に記載の医療用画像処理装置。
【請求項３】
前記所定の軸方向は、前記体腔内における管腔の中心軸方向であることを特徴とする請求項２に記載の医療用画像処理装置。
【請求項４】
入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、
前記三次元モデルの一部として推定された、前記エッジを有する一のボクセル群を検出するとともに、該一のボクセル群のうち、所定の間隔毎に存在する各ボクセルにおいて、法線ベクトルと、該法線ベクトルの向きを１８０°反転させたベクトルである逆法線ベクトルとを算出するベクトル算出部と、
前記法線ベクトル各々の交差状態と、前記逆法線ベクトル各々の交差状態とに基づき、隆起開始位置となる第１のボクセルと、隆起終了位置となる第２のボクセルとを検出することにより、前記一のボクセル群として推定された生体組織が、局所的な隆起形状を有する生体組織であるか否かを判定する隆起形状判定部と、
前記第１のボクセルと前記第２のボクセルとの間の距離を算出するとともに、該距離が所定の距離以下である場合に、前記一のボクセル群として推定された生体組織を、病変に起因する局所的な隆起形状を有する生体組織であると判定する病変判定部と、
を有することを特徴とする医療用画像処理装置。
【請求項５】
前記隆起形状判定部は、所定のベクトルの大きさ以内において法線ベクトル同士が交差しなくなり始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第１の閾値以上となる最初のボクセルを前記第１のボクセルとすることを特徴とする請求項４に記載の医療用画像処理装置。
【請求項６】
前記隆起形状判定部は、所定のベクトルの大きさ以内において法線ベクトル同士が交差し始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第２の閾値より小さくなる最初のボクセルを前記第２のボクセルとすることを特徴とする請求項５に記載の医療用画像処理装置。
【請求項７】
前記第１の閾値は、前記第２の閾値と等しい値であることを特徴とする請求項６に記載の医療用画像処理装置。
【請求項８】
医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記三次元モデルが有するボクセルのうち、前記医療用撮像装置の視野方向に対して最も手前側に存在する一のボクセルを検出するボクセル検出ステップと、
前記一のボクセルを含む一の曲平面を取得し、該一の曲平面において勾配の変動が生じている位置を検出するとともに、前記三次元モデルにおける該位置に局所的な隆起形状を有する生体組織が存在するか否かを判定する隆起形状検出ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項９】
前記隆起形状検出ステップは、所定の軸方向に対して平行に設定される複数のトレースラインに沿って前記一の曲平面をトレースし、前記所定の軸方向の一の位置において、前記複数のトレースラインのうち、輝度勾配の変動が生じたトレースラインの数が１以上かつ所定の閾値以下であることを検出した場合に、前記局所的な隆起形状を有する生体組織が前記一の位置に存在すると判定することを特徴とする請求項８に記載の医療用画像処理方法。
【請求項１０】
前記所定の軸方向は、前記体腔内における管腔の中心軸方向であることを特徴とする請求項９に記載の医療用画像処理方法。
【請求項１１】
入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記三次元モデルの一部として推定された、前記エッジを有する一のボクセル群を検出するとともに、該一のボクセル群のうち、所定の間隔毎に存在する各ボクセルにおいて、法線ベクトルと、該法線ベクトルの向きを１８０°反転させたベクトルである逆法線ベクトルとを算出するベクトル算出ステップと、
前記法線ベクトル各々の交差状態と、前記逆法線ベクトル各々の交差状態とに基づき、隆起開始位置となる第１のボクセルと、隆起終了位置となる第２のボクセルとを検出することにより、前記一のボクセル群として推定された生体組織が、局所的な隆起形状を有する生体組織であるか否かを判定する隆起形状判定ステップと、
前記第１のボクセルと前記第２のボクセルとの間の距離を算出するとともに、該距離が所定の距離以下である場合に、前記一のボクセル群として推定された生体組織を、病変に起因する局所的な隆起形状を有する生体組織であると判定する病変判定ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項１２】
前記隆起形状判定ステップは、所定のベクトルの大きさ以内において法線ベクトル同士が交差しなくなり始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第１の閾値以上となる最初のボクセルを前記第１のボクセルとすることを特徴とする請求項１１に記載の医療用画像処理方法。
【請求項１３】
前記隆起形状判定ステップは、所定のベクトルの大きさ以内において法線ベクトル同士が交差し始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第２の閾値より小さくなる最初のボクセルを前記第２のボクセルとすることを特徴とする請求項１２に記載の医療用画像処理方法。
【請求項１４】
前記第１の閾値は、前記第２の閾値と等しい値であることを特徴とする請求項１３に記載の医療用画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、体腔内の生体組織の三次元モデルにおける隆起形状を検出可能な医療用画像処理装置及び医療用画像処理方法に関するものである。
【背景技術】
【０００２】
内視鏡及び医療用画像処理装置等を具備して構成される内視鏡システムは、医療分野等において広く用いられている。具体的には、内視鏡システムは、例えば、生体としての体腔内に挿入される挿入部と、該挿入部の先端部に配置された対物光学系と、該対物光学系により結像された体腔内の像を撮像して撮像信号として出力する撮像部とを有して構成される内視鏡と、該撮像信号に基づき、表示部としてのモニタ等に該体腔内の像を画像表示させるための処理を行う医療用画像処理装置とを具備して構成されている。そして、ユーザは、表示部としてのモニタ等に画像表示された体腔内の像に基づき、例えば、体腔内における被写体としての臓器等の観察を行う。
【０００３】
また、前述した構成を具備する内視鏡システムは、体腔内における被写体として、例えば、大腸等の消化管粘膜の像を撮像することもまた可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。
【０００４】
さらに、近年においては、内視鏡により撮像された被写体の像の撮像信号に応じた二次元画像のデータに基づき、該被写体の三次元モデルを生成することが可能である、例えば、特許文献１に記載されているような内視鏡装置が提案されている。
【０００５】
一方、三次元モデルにおいてポリープ等の病変部位を検出するための方法として、例えば、ＳｈａｐｅＩｎｄｅｘ及びＣｕｒｖｅｄｎｅｓｓといった、曲率に基づく形状特徴量を用いつつ該三次元モデルの形状の評価を行うことにより、該三次元モデルにおける病変部位を検出可能である、特許文献２に記載されている方法が提案されている。
【特許文献１】特開平１１−３３７８４５号公報
【特許文献２】ＵＳ  Ｐａｔｅｎｔ  Ａｐｐｌｉｃａｔｉｏｎ  Ｎｏ．２００３０２２３６２７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特に、内視鏡により撮像された隆起形状を有する生体組織の像としての、例えば、大腸のひだまたはポリープ等の生体組織の像を含む二次元画像は、該内視鏡の視野方向に対して不可視領域を含む場合が多い。そして、前述した二次元画像における不可視領域は、一般的にオクルージョンと呼ばれており、正確な三次元モデルの推定が困難な領域である。そのため、二次元画像のオクルージョンが発生している部分においては、例えば、該二次元画像に基づく三次元モデルの対応する位置に推定結果が存在しない、または、該二次元画像に基づく三次元モデルの対応する位置に信頼性の低い推定結果が算出されるといったことが起こり得る。
【０００７】
その結果、従来の画像処理としての、例えば、特許文献１の内視鏡装置において行われている画像処理により推定された被写体の三次元モデルが用いられつつ該被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなってしまうという課題が生じている。
【０００８】
また、特許文献２において提案されているポリープ等の病変部位を検出するための方法は、例えば、ＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｙ）を用いた観察により得られる、オクルージョンとなる部分が発生しない三次元モデルに対する適用を想定した方法である。そのため、特許文献２において提案されているポリープ等の病変部位を検出するための方法は、例えば、内視鏡を用いた観察により得られる、オクルージョンとなる部分を有する二次元画像に基づいて推定された三次元モデルに対して適用された場合に、ポリープ等の病変部位の検出精度が低下してしまう。その結果、特許文献２において提案されている方法が採用された内視鏡システムが用いられつつ被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなってしまうという課題が生じている。
【０００９】
本発明は、前述した点に鑑みてなされたものであり、被写体の三次元モデルを用いた観察において、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることのできる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明における第１の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルが有するボクセルのうち、前記医療用撮像装置の視野方向に対して最も手前側に存在する一のボクセルを検出するボクセル検出部と、前記一のボクセルを含む一の曲平面を取得し、該一の曲平面において勾配の変動が生じている位置を検出するとともに、前記三次元モデルにおける該位置に局所的な隆起形状を有する生体組織が存在するか否かを判定する隆起形状検出部と、を有することを特徴とする。
【００１１】
本発明における第２の医療用画像処理装置は、前記第１の医療用画像処理装置において、前記隆起形状検出部は、所定の軸方向に対して平行に設定される複数のトレースラインに沿って前記一の曲平面をトレースし、前記所定の軸方向の一の位置において、前記複数のトレースラインのうち、輝度勾配の変動が生じたトレースラインの数が１以上かつ所定の閾値以下であることを検出した場合に、前記局所的な隆起形状を有する生体組織が前記一の位置に存在すると判定することを特徴とする。
【００１２】
本発明における第３の医療用画像処理装置は、前記第２の医療用画像処理装置において、前記所定の軸方向は、前記体腔内における管腔の中心軸方向であることを特徴とする。
【００１３】
本発明における第４の医療用画像処理装置は、入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルの一部として推定された、前記エッジを有する一のボクセル群を検出するとともに、該一のボクセル群のうち、所定の間隔毎に存在する各ボクセルにおいて、法線ベクトルと、該法線ベクトルの向きを１８０°反転させたベクトルである逆法線ベクトルとを算出するベクトル算出部と、前記法線ベクトル各々の交差状態と、前記逆法線ベクトル各々の交差状態とに基づき、隆起開始位置となる第１のボクセルと、隆起終了位置となる第２のボクセルとを検出することにより、前記一のボクセル群として推定された生体組織が、局所的な隆起形状を有する生体組織であるか否かを判定する隆起形状判定部と、前記第１のボクセルと前記第２のボクセルとの間の距離を算出するとともに、該距離が所定の距離以下である場合に、前記一のボクセル群として推定された生体組織を、病変に起因する局所的な隆起形状を有する生体組織であると判定する病変判定部と、を有することを特徴とする。
【００１４】
本発明における第５の医療用画像処理装置は、前記第４の医療用画像処理装置において、前記隆起形状判定部は、所定のベクトルの大きさ以内において法線ベクトル同士が交差しなくなり始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第１の閾値以上となる最初のボクセルを前記第１のボクセルとすることを特徴とする。
【００１５】
本発明における第６の医療用画像処理装置は、前記第５の医療用画像処理装置において、前記隆起形状判定部は、所定のベクトルの大きさ以内において法線ベクトル同士が交差し始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第２の閾値より小さくなる最初のボクセルを前記第２のボクセルとすることを特徴とする。
【００１６】
本発明における第７の医療用画像処理装置は、前記第６の医療用画像処理装置において、前記第１の閾値は、前記第２の閾値と等しい値であることを特徴とする。
【００１７】
本発明における第１の医療用画像処理方法は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルが有するボクセルのうち、前記医療用撮像装置の視野方向に対して最も手前側に存在する一のボクセルを検出するボクセル検出ステップと、前記一のボクセルを含む一の曲平面を取得し、該一の曲平面において勾配の変動が生じている位置を検出するとともに、前記三次元モデルにおける該位置に局所的な隆起形状を有する生体組織が存在するか否かを判定する隆起形状検出ステップと、を有することを特徴とする。
【００１８】
本発明における第２の医療用画像処理方法は、前記第１の医療用画像処理方法において、前記隆起形状検出ステップは、所定の軸方向に対して平行に設定される複数のトレースラインに沿って前記一の曲平面をトレースし、前記所定の軸方向の一の位置において、前記複数のトレースラインのうち、輝度勾配の変動が生じたトレースラインの数が１以上かつ所定の閾値以下であることを検出した場合に、前記局所的な隆起形状を有する生体組織が前記一の位置に存在すると判定することを特徴とする。
【００１９】
本発明における第３の医療用画像処理方法は、前記第２の医療用画像処理方法において、前記所定の軸方向は、前記体腔内における管腔の中心軸方向であることを特徴とする。
【００２０】
本発明における第４の医療用画像処理方法は、入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルの一部として推定された、前記エッジを有する一のボクセル群を検出するとともに、該一のボクセル群のうち、所定の間隔毎に存在する各ボクセルにおいて、法線ベクトルと、該法線ベクトルの向きを１８０°反転させたベクトルである逆法線ベクトルとを算出するベクトル算出ステップと、前記法線ベクトル各々の交差状態と、前記逆法線ベクトル各々の交差状態とに基づき、隆起開始位置となる第１のボクセルと、隆起終了位置となる第２のボクセルとを検出することにより、前記一のボクセル群として推定された生体組織が、局所的な隆起形状を有する生体組織であるか否かを判定する隆起形状判定ステップと、前記第１のボクセルと前記第２のボクセルとの間の距離を算出するとともに、該距離が所定の距離以下である場合に、前記一のボクセル群として推定された生体組織を、病変に起因する局所的な隆起形状を有する生体組織であると判定する病変判定ステップと、  を有することを特徴とする。
【００２１】
本発明における第５の医療用画像処理方法は、前記第４の医療用画像処理方法において、前記隆起形状判定ステップは、所定のベクトルの大きさ以内において法線ベクトル同士が交差しなくなり始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第１の閾値以上となる最初のボクセルを前記第１のボクセルとすることを特徴とする。
【００２２】
本発明における第６の医療用画像処理方法は、前記第５の医療用画像処理方法において、前記隆起形状判定ステップは、所定のベクトルの大きさ以内において法線ベクトル同士が交差し始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が第２の閾値より小さくなる最初のボクセルを前記第２のボクセルとすることを特徴とする。
【００２３】
本発明における第７の医療用画像処理方法は、前記第６の医療用画像処理方法において、前記第１の閾値は、前記第２の閾値と等しい値であることを特徴とする。
【発明の効果】
【００２４】
本発明における医療用画像処理装置及び医療用画像処理方法によると、被写体の三次元モデルを用いた観察において、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の実施形態を説明する。
【００２６】
（第１の実施形態）
図１から図７は、本発明の第１の実施形態に係るものである。図１は、本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図２は、図１の内視鏡が管状器官内に挿入された場合の状態を示す模式図である。図３は、図１の医療用画像処理装置が第１の実施形態において行う処理の手順を示すフローチャートである。図４は、図１の医療用画像処理装置により推定された生体組織の三次元モデルの一例を示す図である。図５は、図１の医療用画像処理装置により推定された生体組織の三次元モデルの、図４とは異なる例を示す図である。図６は、図４の三次元モデルにおける、各トレースラインのグラディエントの変動を示す図である。図７は、図５の三次元モデルにおける、各トレースラインのグラディエントの変動を示す図である。
【００２７】
内視鏡システム１は、図１に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置２と、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置３と、医療用画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４とを有して要部が構成されている。
【００２８】
また、医療用観察装置２は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される二次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９とを有して要部が構成されている。
【００２９】
内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。
【００３０】
ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続される。ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。
【００３１】
内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。
【００３２】
撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、ＣＣＵ８に対して撮像信号を出力する。
【００３３】
また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された二次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の像が二次元の画像として表示される。
【００３４】
医療用画像処理装置３は、医療用観察装置２から出力される二次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２の画像処理結果としての画像データ等を記憶する情報記憶部２５とを有する。
【００３５】
また、医療用画像処理装置３は、記憶装置インターフェース２６と、記憶装置インターフェース２６を介してＣＰＵ２２の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部２９とを有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。
【００３６】
なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９は、データバス３０を介して相互に接続されている。
【００３７】
次に、内視鏡システム１の作用について説明を行う。
【００３８】
まず、ユーザは、図２に示すように、例えば、大腸等である管状器官３１内に内視鏡６の挿入部１１を挿入する。そして、ユーザにより挿入部１１が管状器官３１に挿入されると、例えば、管状器官３１の内壁に存在する生体組織３１Ａ及び３１Ｂの像が、先端部１４に設けられた撮像部１７により撮像される。そして、撮像部１７により撮像された、生体組織３１Ａ及び３１Ｂの像は、撮像信号としてＣＣＵ８に対して出力される。
【００３９】
ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、生体組織３１Ａ及び３１Ｂの像を二次元の画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置３に対して出力する。
【００４０】
医療用画像処理装置３に対して出力された二次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。
【００４１】
そして、三次元モデル推定部としてのＣＰＵ２２は、例えば、幾何学的な変換等の処理により、画像入力部２１から出力された二次元画像の映像信号の輝度情報等に基づき、生体組織３１Ａ及び３１Ｂを有する管状器官３１の三次元モデルを推定する。
【００４２】
さらに、ＣＰＵ２２は、生体組織３１Ａ及び３１Ｂを有する管状器官３１の三次元モデルに基づき、以降に述べるような処理を行うことにより、生体組織３１Ａ及び３１Ｂの隆起形状を検出するとともに、検出した該隆起形状がどのような種類の生体組織によるものであるかの判定を行う。
【００４３】
まず、ＣＰＵ２２は、推定した三次元モデルに基づき、管状器官３１の三次元モデルにおける管腔の中心軸Ｌｃを取得する（図３のステップＳ１）。
【００４４】
次に、ボクセル検出部及び隆起形状検出部としてのＣＰＵ２２は、推定した三次元モデルに存在するボクセルのうち、内視鏡６の視野方向に対して最も手前側に存在する一のボクセルとしての、内視鏡６の視野方向と略平行な軸であるｚ軸座標が最小値Ｍｉｎｚとなる一のボクセルＰｓを検出するとともに、該一のボクセルＰｓが有するｚ軸座標Ｍｉｎｚを含む一の曲平面及び該一の曲平面の基準線Ｌを取得する（図３のステップＳ２）。
【００４５】
その後、ＣＰＵ２２は、基準線ＬをＮ等分した、Ｎ個の座標各々を基準点として設定する（図３のステップＳ３）とともに、取得した基準線Ｌが閉曲線であるか否かを判定する。
【００４６】
そして、ＣＰＵ２２は、取得した基準線Ｌが閉曲線である場合（図３のステップＳ４）、例えば、図４に示すように設定された基準線ＬのＮ個の基準点各々から、管腔の中心軸Ｌｃに対して平行な直線を、一のボクセルＰｓを含む一の曲平面におけるトレースラインとして設定する（図３のステップＳ５）。
【００４７】
また、ＣＰＵ２２は、取得した基準線Ｌが閉曲線ではない場合（図３のステップＳ４）、例えば、図５に示すように設定された基準線ＬのＮ個の基準点各々から、放射線状（または管腔の中心軸Ｌｃに対して平行）に伸びる直線を、一のボクセルＰｓを含む一の曲平面におけるトレースラインとして設定する（図３のステップＳ６）。
【００４８】
隆起形状検出部としてのＣＰＵ２２は、前述した、図３のステップＳ５またはステップＳ６の処理を行うことにより設定した各トレースラインに基づき、一のボクセルＰｓを含む一の曲平面における該各トレースライン上に存在する各ボクセルをトレースしてゆくとともに、該各ボクセルが有する輝度情報に基づき、トレース方向におけるグラディエント（輝度勾配）を順次算出する（図３のステップＳ７）。
【００４９】
そして、管腔の中心軸Ｌｃをｖ軸とした場合、ＣＰＵ２２は、管腔の中心軸Ｌｃ方向の座標であるｖ＝ｋにおいてグラディエントの変動が生じているトレースラインの本数Ｍ（ｋ）（０≦Ｍ（ｋ）≦Ｎである整数値）を取得する（図３のステップＳ８）。換言すると、このような処理を行うことにより、ＣＰＵ２２は、一のボクセルＰｓを含む一の曲平面において、勾配の変動が生じている位置を検出する。
【００５０】
例えば、図４に示すような８個の基準点各々に対してトレースラインが設定される（図４においてＮ＝８である）とともに、トレース方向を視野方向手前側から奥側の方向とした場合、ＣＰＵ２２は、一のボクセルＰｓを含む一の曲平面における該トレースライン各々のｖ軸方向におけるグラディエントの変動を、図６に示すような変動として検出する。また、異なる例として、図５に示すような８個の基準点各々に対してトレースラインが設定される（図５においてＮ＝８である）とともに、トレース方向を視野方向手前側から奥側の方向とした場合、ＣＰＵ２２は、一のボクセルＰｓを含む一の曲平面における該トレースライン各々のｖ軸方向におけるグラディエントの変動を、図７に示すような変動として検出する。
【００５１】
そして、ＣＰＵ２２は、Ｍ（ｋ）の値が０であるｖ＝ｋの位置には隆起形状が存在しないと判定する（図３のステップＳ９及びステップＳ１０）。
【００５２】
さらに、ＣＰＵ２２は、Ｍ（ｋ）の値が１以上であるｖ＝ｋの位置各々において、該Ｍ（ｋ）の値と、閾値ｔｈｐとの比較を行う（図３のステップＳ９及びステップＳ１１）。
【００５３】
その後、隆起形状検出部としてのＣＰＵ２２は、Ｍ（ｋ）の値が閾値ｔｈｐ以下であることを検出する（図３のステップＳ１１）と、管状器官３１の内壁において局所的な隆起形状を有する生体組織としての病変部位が、該Ｍ（ｋ）の値を与えるｖ＝ｋの位置に存在すると判定する（図３のステップＳ１２）。
【００５４】
一例として図４及び図６を用いつつ具体的に換言すると、ＣＰＵ２２は、図４に示す生体組織３１Ａのような、管状器官３１の内壁において局所的な隆起形状を有する生体組織としての病変部位が、Ｍ（ｃ）＝２であるｖ＝ｃの位置に存在すると判定する。また、異なる例として図５及び図７を用いつつ具体的に換言すると、ＣＰＵ２２は、図５に示す生体組織３１Ａのような、管状器官３１の内壁において局所的な隆起形状を有する生体組織としての病変部位が、Ｍ（ｄ）＝２であるｖ＝ｄの位置に存在すると判定する。
【００５５】
また、ＣＰＵ２２は、Ｍ（ｋ）の値が閾値ｔｈｐより大きいことを検出する（図３のステップＳ１１）と、管状器官３１の内壁の全周にわたって隆起形状を有する生体組織としての大腸等のひだが、該Ｍ（ｋ）の値を与えるｖ＝ｋの位置に存在すると判定する（図３のステップＳ１３）。
【００５６】
一例として図４及び図６を用いつつ具体的に換言すると、ＣＰＵ２２は、図４に示す生体組織３１Ｂのような、管状器官３１の内壁の全周にわたって隆起形状を有する生体組織としての大腸等のひだが、Ｍ（ａ）＝８であるｖ＝ａ及びＭ（ｂ）＝８であるｖ＝ｂの位置に存在すると判定する。また、異なる例として図５及び図７を用いつつ具体的に換言すると、ＣＰＵ２２は、図５に示す生体組織３１Ｂのような、管状器官３１の内壁の全周にわたって隆起形状を有する生体組織としての大腸等のひだが、Ｍ（ｅ）＝８であるｖ＝ｅの位置に存在すると判定する。
【００５７】
そして、ＣＰＵ２２は、前述した処理に加え、例えば、図４または図５に示す生体組織３１Ａのような、管状器官３１の内壁において局所的な隆起形状を有する生体組織が存在する位置を示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部２８に対して行う。これにより、モニタ４には、生体組織３１Ａのような、管状器官３１の内壁において局所的な隆起形状を有する生体組織としての病変部位を、生体組織３１Ｂのような、管状器官３１の内壁の全周にわたって隆起形状を有する生体組織としての大腸等のひだと混同することなく、ユーザが容易に発見可能であるような、生体組織３１Ａ及び３１Ｂを有する管状器官３１の三次元モデルが画像表示される。
【００５８】
また、ＣＰＵ２２は、局所的な隆起形状を有する生体組織が存在すると判定された各ボクセルの位置に基づき、該各ボクセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部２８に対して行うものであっても良い。
【００５９】
本実施形態の医療用画像処理装置３は、以上に述べた一連の処理を行うことにより、ユーザにより被写体の三次元モデルを用いた観察が行われる場合に、ポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。
【００６０】
（第２の実施形態）
図８から図１０は、本発明の第２の実施形態に係るものである。なお、第１の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム１の構成は、第１の実施形態と同様である。
【００６１】
図８は、図１の医療用画像処理装置が第２の実施形態において行う処理の手順を示すフローチャートである。図９は、図１の医療用画像処理装置により推定された一の生体組織の三次元モデルを模式化した断面図である。図１０は、図９における法線ベクトル及び逆法線ベクトルを示す図である。
【００６２】
まず、エッジ抽出部としてのＣＰＵ２２は、画像入力部２１から出力される、管状器官３１が撮像された二次元画像の映像信号に基づき、例えば、該二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該二次元画像に含まれる全てのエッジ部を抽出する。また、ＣＰＵ２２は、エッジ部が抽出されたピクセル群の位置に関する情報であるエッジ情報を情報記憶部２５に一時的に記憶させる。
【００６３】
そして、三次元モデル推定部としてのＣＰＵ２２は、例えば、幾何学的な変換等の処理により、画像入力部２１から出力された二次元画像の映像信号の輝度情報等に基づき、管状器官３１の三次元モデルを推定するとともに、情報記憶部２５に記憶されたエッジ情報に基づき、該三次元モデルにおいてエッジ部を有する一のボクセル群を検出する。さらに、ＣＰＵ２２は、前記一のボクセル群に対して以降に述べるような処理を行うことにより、前記一のボクセル群により三次元モデル化された一の生体組織が、病変に起因する隆起形状を有するか否かの判定を行う。
【００６４】
まず、ベクトル算出部としてのＣＰＵ２２は、管状器官３１の三次元モデルにおいてエッジ部を有する一のボクセル群を検出するとともに、該ボクセル群のうち、所定の間隔毎に存在する各ボクセルにおいて、法線ベクトルと、該法線ベクトルの向きを１８０°反転させたベクトルである、逆法線ベクトルとを算出する（図８のステップＳ２１）。より具体的には、例えば、図９に示すような断面形状を有する生体組織３１Ｃの三次元モデルが検出された場合、所定の間隔毎に存在する各ボクセルにおいて、法線ベクトルと逆法線ベクトルとが図１０に示すように算出される。
【００６５】
次に、隆起形状判定部としてのＣＰＵ２２は、前記各ボクセルが有する法線ベクトル及び逆法線ベクトルに基づき、所定のベクトルの大きさ以内において法線ベクトル同士が交差しなくなり始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が閾値ｔｈｖ１以上となる最初のボクセルとしての、例えば、図１０に示すボクセルＳを、隆起開始位置となるボクセルとして検出する（図８のステップＳ２２）。さらに、隆起形状判定部としてのＣＰＵ２２は、前記各ボクセルが有する法線ベクトル及び逆法線ベクトルに基づき、所定のベクトルの大きさ以内において法線ベクトル同士が交差し始めるとともに、該所定のベクトルの大きさ以内において逆法線ベクトルの交差本数が閾値ｔｈｖ２より小さくなる最初のボクセルとしての、例えば、図１０に示すボクセルＴを、隆起終了位置となるボクセルとして検出する（図８のステップＳ２３）。
【００６６】
なお、本実施形態において、閾値ｔｈｖ１及び閾値ｔｈｖ２は、各々異なる値であっても良いし、または、等しい値であっても良い。
【００６７】
その後、隆起形状判定部としてのＣＰＵ２２は、生体組織３１Ｃの三次元モデルにおいて、ボクセルＳ及びボクセルＴの２つのボクセルを検出できたか否かの判定を行う。そして、ＣＰＵ２２は、ボクセルＳ及びボクセルＴの２つのボクセルを両方とも検出できた場合（図８のステップＳ２４）、さらに、ボクセルＳとボクセルＴとの間の距離Ｌａを算出する（図８のステップＳ２５）。また、ＣＰＵ２２は、ボクセルＳ及びボクセルＴの２つのボクセルのいずれか一方または両方を検出できなかった場合（図８のステップＳ２４）、エッジ部を有する一のボクセル群として三次元モデル化された生体組織３１Ｃを、病変に起因する局所的な隆起形状を有する生体組織ではなく、例えば、管状器官３１内に存在する段差等の形状を有する部位、または、管状器官３１の内壁の全周にわたって隆起形状を有するひだ等の生体組織であると判定し（図８のステップＳ２８）、一連の処理を終了する。
【００６８】
さらに、病変判定部としてのＣＰＵ２２は、算出したボクセルＳとボクセルＴとの間の距離Ｌａと、閾値ｔｈＬａとの比較を行う。そして、病変判定部としてのＣＰＵ２２は、ボクセルＳとボクセルＴとの間の距離Ｌａが閾値ｔｈＬａ以下であることを検出した場合、エッジ部を有する一のボクセル群として三次元モデル化された生体組織３１Ｃを、病変に起因する局所的な隆起形状を有する生体組織であると判定し（図８のステップＳ２７）、一連の処理を終了する。また、ＣＰＵ２２は、ボクセルＳとボクセルＴとの間の距離Ｌａが閾値ｔｈＬａより大きいことを検出した場合、エッジ部を有する一のボクセル群として三次元モデル化された生体組織３１Ｃを、病変に起因する局所的な隆起形状を有する生体組織ではなく、例えば、管状器官３１内に存在する段差等の形状を有する部位、または、管状器官３１の内壁の全周にわたって隆起形状を有するひだ等の生体組織であると判定し（図８のステップＳ２８）、一連の処理を終了する。
【００６９】
そして、ＣＰＵ２２は、前述した処理に加え、例えば、病変に起因する隆起形状を有する生体組織３１Ｃが存在する位置を示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部２８に対して行う。これにより、モニタ４には、病変に起因する隆起形状を、段差等の形状を有する部位またはひだ等の生体組織と混同することなく、ユーザが容易に発見可能であるような、生体組織３１Ｃを有する管状器官３１の三次元モデルが画像表示される。
【００７０】
また、ＣＰＵ２２は、局所的な隆起形状を有する生体組織が存在すると判定された各ボクセルの位置に基づき、該各ボクセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部２８に対して行うものであっても良い。
【００７１】
本実施形態の医療用画像処理装置３は、以上に述べた一連の処理を行うことにより、ユーザにより被写体の三次元モデルを用いた観察が行われる場合に、ポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。
【００７２】
なお、本実施形態においてＣＰＵ２２が行う一連の処理は、管状器官３１の三次元モデルに対して適用されるものに限るものではなく、例えば、管状器官３１の二次元画像に対して適用されるものであっても良い。
【００７３】
また、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。
【図２】図１の内視鏡が管状器官内に挿入された場合の状態を示す模式図。
【図３】図１の医療用画像処理装置が第１の実施形態において行う処理の手順を示すフローチャート。
【図４】図１の医療用画像処理装置により推定された生体組織の三次元モデルの一例を示す図。
【図５】図１の医療用画像処理装置により推定された生体組織の三次元モデルの、図４とは異なる例を示す図。
【図６】図４の三次元モデルにおける、各トレースラインのグラディエントの変動を示す図。
【図７】図５の三次元モデルにおける、各トレースラインのグラディエントの変動を示す図。
【図８】図１の医療用画像処理装置が第２の実施形態において行う処理の手順を示すフローチャート。
【図９】図１の医療用画像処理装置により推定された一の生体組織の三次元モデルを模式化した断面図。
【図１０】図９における法線ベクトル及び逆法線ベクトルを示す図。
【符号の説明】
【００７５】
１・・・内視鏡システム、２・・・医療用観察装置、３・・・医療用画像処理装置、４，９・・・モニタ、６・・・内視鏡、７・・・光源装置、１１・・・挿入部、１２・・・操作部、１３・・・ライトガイド、１４・・・先端部、１５・・・対物光学系、１６・・・撮像素子、１７・・・撮像部、２１・・・画像入力部、２２・・・ＣＰＵ、２３・・・処理プログラム記憶部、２４・・・画像記憶部、２５・・・情報記憶部、２６・・・記憶装置インターフェース、２７・・・ハードディスク、２８・・・表示処理部、２９・・・入力操作部、３０・・・データバス、３１・・・管状器官、３１Ａ，３１Ｂ，３１Ｃ・・・生体組織
【図１】
2007260144.tif 000003
【図２】
2007260144.tif 000004
【図３】
2007260144.tif 000005
【図４】
2007260144.tif 000006
【図５】
2007260144.tif 000007
【図６】
2007260144.tif 000008
【図７】
2007260144.tif 000009
【図８】
2007260144.tif 000010
【図９】
2007260144.tif 000011
【図１０】
2007260144.tif 000012