(57)【特許請求の範囲】
【請求項１】
物体内を撮像する内視鏡システムであって、
生体内の運動し得る物体内を撮像するカメラと、
前記カメラより得られる複数の画像に対し、ビデオモザイキング処理と運動補正処理とエネルギー最小化による画像修正処理とを施すことにより画像を張り合わせ、カメラ運動推定、事前定義可能な生体内の運動補正および事前定義不可能な生体内部変形の修正を行い、前記物体内のパノラマ画像を生成する画像生成手段とを備える
ことを特徴とする内視鏡システム。
【請求項２】
前記画像生成手段は、
前記カメラで撮像された前記物体内の画像に基づいて、前記カメラの運動を推定する運動推定手段と、
前記カメラの運動の推定結果に基づいて、前記カメラで撮像された画像より、前記物体内のパノラマ画像を生成するパノラマ画像生成手段とを備える
ことを特徴とする請求項１に記載の内視鏡システム。
【請求項３】
前記運動推定手段は、
前記カメラの観測点を球座標系で表現し、前記カメラより得られる複数の画像より、前記観測点の対応点を検出する対応点検出部と、
複数の前記対応点から前記カメラの運動を表現する運動パラメータを推定する運動パラメータ推定部とを有する
ことを特徴とする請求項２に記載の内視鏡システム。
【請求項４】
前記運動推定手段は、
前記カメラより得られる時間的に異なる２枚の画像からエピポーラ拘束条件を用いて前記カメラの運動を推定するカメラ運動推定部と、
前記カメラより得られる時間的に異なる複数の画像を用い、バンドルアジャストメント処理を行い、前記カメラ運動推定部で推定された前記カメラの運動を補正するカメラ運動補正部とを有する
ことを特徴とする請求項２に記載の内視鏡システム。
【請求項５】
前記カメラ運動補正部は、分節運動による物体内の変化を正弦波で近似し、バンドルアジャストメント処理を行う
ことを特徴とする請求項４に記載の内視鏡システム。
【請求項６】
前記カメラ運動補正部は、蠕動運動による物体内の変化をソリトンの移動で近似し、バンドルアジャストメント処理を行う
ことを特徴とする請求項４に記載の内視鏡システム。
【請求項７】
前記物体は、円筒形状の物体であり、
前記パノラマ画像生成手段は、前記物体を円筒形状でモデル化し、前記運動推定時に用いられた特徴点に基づいて、前記カメラより得られる複数の画像を前記円筒形状にフィッティングさせる
ことを特徴とする請求項４に記載の内視鏡システム。
【請求項８】
さらに、自己の位置または姿勢を計測する位置・姿勢センサを備え、
前記運動推定手段は、前記位置・姿勢センサでの計測結果を加味して、前記カメラの運動を推定する
ことを特徴とする請求項２に記載の内視鏡システム。
【請求項９】
前記画像生成手段は、
前記カメラより得られる複数の画像の各々から、所定サイズの複数の特徴領域を切り出す特徴領域切り出し手段と、
前記複数の画像の各々に含まれる前記複数の特徴領域に基づいて、所定のエネルギーを定義し、当該エネルギーが最小となるように前記複数の画像間での前記複数の特徴領域の対応付けを行い、当該対応付結果に基づいて、前記物体内のパノラマ画像を生成するパノラマ画像生成手段とを備える
ことを特徴とする請求項１に記載の内視鏡システム。
【請求項１０】
前記所定のエネルギーは、時間的に連続する２つの画像にそれぞれ含まれる前記複数の特徴領域の画素値の差分に基づいて定められるエネルギーである
ことを特徴とする請求項９に記載の内視鏡システム。
【請求項１１】
前記所定のエネルギーは、時間的に連続する２つの画像にそれぞれ含まれる前記複数の特徴領域を接続することにより得られる三角パッチの面積の差に基づいて定められるエネルギーである
ことを特徴とする請求項９に記載の内視鏡システム。
【請求項１２】
前記カメラは、全方位カメラであり、
前記所定のエネルギーは、前記全方位カメラで撮像された第１の画像を前記全方位カメラの視点を中心とした球座標系に変換した後の画像に現れる大円の座標を前記全方位カメラの移動成分に基づいて補正した座標と、前記第１の画像と時間的に連続する前記全方位カメラで撮像された第２の画像を前記球座標系に変換した後の画像に表れる大円の座標との差に基づいて定められるエネルギーである
ことを特徴とする請求項９に記載の内視鏡システム。
【請求項１３】
前記所定のエネルギーは、前記カメラで撮像された第１の画像中より選択された複数の制御点にそれぞれ対応する前記カメラで撮像された前記第２の画像中の複数の制御点のゆがみ度合いに基づいて定められるエネルギーである
ことを特徴とする請求項９に記載の内視鏡システム。
【請求項１４】
前記所定のエネルギーは、前記カメラで撮像された第１の画像中より選択された複数の制御点と、前記複数の制御点にそれぞれ対応する前記カメラで撮像された前記第２の画像中の複数の制御点との間のゆがみ度合いに基づいて定められるエネルギー
であることを特徴とする請求項９に記載の内視鏡システム。
【請求項１５】
前記複数の特徴領域は、前記画像に含まれる複数の前記所定サイズの領域のうち、当該領域内部の画素値の微分値の自乗和が所定のしきい値よりも大きい領域である
ことを特徴とする請求項９に記載の内視鏡システム。
【請求項１６】
前記カメラは、全方位カメラであり、
前記画像生成手段は、前記全方位カメラより得られる複数の画像に対し、ビデオモザイキング処理を施し、前記全方位カメラの進行方向に直交する方向に対し、一定の見込み角を有するパノラマ画像を生成する
ことを特徴とする請求項１に記載の内視鏡システム。
【請求項１７】
前記カメラは、消化器官内に挿入されるプローブの先端に装着されている
ことを特徴とする請求項１に記載の内視鏡システム。
【請求項１８】
前記カメラは、人間または動物が飲み込むことができるカプセル内に収納されている
ことを特徴とする請求項１に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、内視鏡および内視鏡システムに関し、特に、消化器官内を観察するための内視鏡および内視鏡システムに関する。
【背景技術】
【０００２】  従来、医療の分野で消化器官の検査を行うためにプローブ型内視鏡が用いられている。この内視鏡プローブの先端には、カメラ、照明、鉗子および洗浄水噴射口が装着されている。医師はプローブを口腔または肛門から消化器官に挿入し、先端部のカメラから得られる映像をモニタしながら診断、病変の採集、および治療を行っている。【０００３】  口腔から挿入する内視鏡では、食道、胃、十二指腸の検査および治療が行われ、肛門から挿入する内視鏡では、直腸、大腸の検査および治療が行われている。しかし、小腸は成人男性で約３ｍと長く、小腸までプローブを挿入することが困難である。このため、小腸検査に現状の内視鏡は使用されていない。【０００４】  このため、小腸に対する新たな検査手法の提案が期待されている。その有力方法として、カプセル内視鏡が期待されている（例えば、非特許文献１参照。）。カプセル内視鏡に関しては、４万例の臨床実験が欧米にて行われ注目されているが、日本国内ではこれから医療機器としての認定を受ける段階である。【０００５】  カプセル内視鏡は、カプセルに封入されたカメラを被験者が飲み込み、胃から小腸、および大腸を通って排出されるまでの数時間に渡りカメラで消化器官の映像を撮り続けるものである。カプセル内視鏡は、治療は困難であるが、小腸の観察には非常に有効であると期待されている。また、カプセルを飲み込んだ後は、通常の生活を送ることができるため、被験者にとって、従来の内視鏡より検査の負担が少なく、内視鏡検査の一層の普及が見込まれている。【０００６】  以下では、本発明に関連する画像処理の一般的な背景技術について説明する。【０００７】［ビデオモザイキング］
運動を伴ったカメラにおける映像撮影において、隣り合う画像の特徴をもとに、カメラの運動成分を検出し、画像を貼り合わせ、静止画を生成する技術として、ビデオモザイキングが知られている。ビデオモザイキングは、映像符号化における国際標準規格のＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−４でも、スプライト圧縮法として標準になっている。この手法では、画像における特徴点が隣り合うフレーム間でどのように移動したかを検出し、カメラの運動パラメータを検出している。この手法として、移動する特徴点とカメラ運動による見かけの特徴点移動とを判別するため、カメラ運動を優勢な動きと仮定する手法（例えば、非特許文献２参照）や、前景と背景になる２種類の領域に画像を分類して、背景からカメラの運動パラメータを検出する手法（例えば、非特許文献３参照）などがある。【０００８】［カメラ運動と３次元情報との同時推定］
また、カメラ運動を伴った撮影において、その画像列からカメラ運動パラメータとシーンの３次元情報とを同時に検出する方法がＳｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）として知られている。ＳＦＭの一手法として、カメラ運動によって生ずる複数の特徴点の系列を観測行列とし、因子分解法で得られた結果において、対象となる静止シーンはランク３で拘束されるという性質を用いたものがある。このことから、カメラ運動および３次元情報を検出する手法が提案されている（例えば、非特許文献４参照）。またこの手法を拡張し、複数の３次元構造を線形結合することにより、変形するシーンに対する３次元情報を獲得する手法（例えば、非特許文献５参照）が提案されている。【０００９】  また、得られた画像列から移動するカメラの運動推定の問題に対し、異なる視点から得られた２つの画像の対応する特徴点がエピポーラ拘束によって基礎行列によって表現でき、７組以上の特徴点対から運動パラメータが推定可能であることが示されている（例えば、非特許文献６参照）。さらに、あらかじめ求めたカメラ位置と特徴点の位置とを多数の画像を用いて、正確な値に補正するバンドルアジャストメントと呼ばれる方法が写真測量の分野で用いられている（例えば、非特許文献７参照）。【００１０】［カメラ位置情報の獲得］
また、カメラの位置を知るために、内視鏡にセンサが装着されているものがある。カプセル内視鏡では、カプセル内視鏡から発信された映像を複数のアンテナで受信することで、体内でのカプセルの位置情報を得る技術が開発されている。
【非特許文献１】“Ｍ２Ａカプセル内視鏡検査ギブン診断システム（Ｍ２Ａ（Ｒ）Ｃａｐｓｕｌｅ  Ｅｎｄｏｓｃｏｐｙ  Ｇｉｖｅｎ（Ｒ）Ｄｉａｇｎｏｓｔｉｃ  Ｓｙｓｔｅｍ）”、［ｏｎｌｉｎｅ］、ギブンイメージング社（Ｇｉｖｅｎ  Ｉｍａｇｉｎｇ  Ｌｔｄ．）、［平成１６年２月４日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｇｉｖｅｎｉｍａｇｉｎｇ．ｃｏｍ／ＮＲ／ｒｄｏｎｌｙｒｅｓ／７６Ｃ２０６４４−４Ｂ５Ｂ−４９６４−８１１Ａ−０７１Ｅ８１３３Ｆ８３Ａ／０／ＧＩ＿Ｍａｒｋｅｔｉｎｇ＿Ｂｒｏｃｈｕｒｅ＿２００３．ｐｄｆ＞
【非特許文献２】Ｈ．Ｓａｗｈｎｅｙ，Ｓ．Ａｙｅｒ，“Ｃｏｍｐａｃｔ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｏｆ  Ｖｉｄｅｏｓ  Ｔｈｒｏｕｇｈ  Ｄｏｍｉｎａｎｔ  ａｎｄ  Ｍｕｌｔｉｐｌｅ  Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ，”ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  １８（８），ｐｐ．８１４−８３０，１９９６．
【非特許文献３】Ａ．Ｂａｒｔｏｌｉ，Ｎ．Ｄａｌａｌ，ａｎｄ  Ｒ．Ｈｏｒａｕｄ，“Ｍｏｔｉｏｎ  Ｐａｎｏｒａｍａｓ，”ＩＮＲＩＡ  Ｒｅｓｅａｒｃｈ  Ｒｅｐｏｒｔ  ＲＲ−４７７１
【非特許文献４】Ｃ．Ｔｏｍａｓｉ  ａｎｄ  Ｔ．Ｋａｎａｄｅ，“Ｓｈａｐｅ  ａｎｄ  Ｍｏｔｉｏｎ  ｆｒｏｍ  Ｉｍａｇｅ  Ｓｔｒｅａｍｓ  ｕｎｄｅｒ  Ｏｒｔｈｏｇｒａｐｈｙ：Ａ  Ｆａｃｔｏｒｉｚａｔｉｏｎ  Ｍｅｔｈｏｄ，”ＩＪＣＶ，ｖｏｌ．９，ｎｏ．２，ｐｐ．１３７−１５４，１９９２．
【非特許文献５】Ｌ．Ｔｏｒｒｅｓａｎｉ，Ｄ．Ｂ．Ｙａｎｇ，Ｅ．Ｊ．Ａｌｅｘａｎｄｅｒ，ａｎｄ  Ｃ．Ｂｒｅｇｌｅｒ．“Ｔｒａｃｋｉｎｇ  ａｎｄ  Ｍｏｄｅｌｉｎｇ  Ｎｏｎ−Ｒｉｇｉｄ  Ｏｂｊｅｃｔｓ  ｗｉｔｈ  Ｒａｎｋ  Ｃｏｎｓｔｒａｉｎｔｓ，”Ｉｎ  Ｐｒｏｃ．ＣＶＰＲ，ｖｏｌ．Ｉ，ｐｐ．４９３−５００，２００１．
【非特許文献６】Ｏ．Ｆａｕｇｅｒａｓ，Ｔ．Ｌｕｏｎｇ，ａｎｄ  Ｓ．Ｍａｙｂａｎｋ，“Ｃａｍｅｒａ  ｓｅｌｆ  ｃａｌｉｂｒａｔｉｏｎ：ｔｈｅｏｒｙ  ａｎｄ  ｅｘｐｅｒｉｍｅｎｔｓ，”ｉｎ  Ｇ．Ｓａｎｄｉｎｉ（ｅｄ．），Ｐｒｏｃ  ２ｎｄ  ＥＣＣＶ，Ｖｏｌ．５８８  ｏｆ  Ｌｅｃｔｕｒｅ  Ｎｏｔｅｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ，Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，Ｓａｎｔａ  Ｍａｒｇｈｅｒｉｔａ  Ｌｉｇｕｒｅ，Ｉｔａｌｙ，ｐｐ．３２１−３３４，１９９２．
【非特許文献７】Ｄ．Ｂｒｏｗｎ．“Ｔｈｅ  ｂｕｎｄｌｅ  ａｄｊｕｓｔｍｅｎｔ−ｐｒｏｇｒｅｓｓ  ａｎｄ  ｐｒｏｓｐｅｃｔ．”Ｉｎ  ＸＩＩＩ  Ｃｏｎｇｒｅｓｓ  ｏｆ  ｔｈｅ  ＩＳＰＲＳ，Ｈｅｌｓｉｎｋｉ，１９７６．
【発明の開示】
【発明が解決しようとする課題】
【００１１】  しかしながら、現状の内視鏡は、プローブを挿入するには、カメラの前方視野が開かれているため、挿入操作には適しているが、実際に診察する消化器官の壁面はプローブの側面にあり、超広角レンズで撮影した映像の周辺部に当たるため、医師の観察が困難であることによる病変の見落としが懸念されている。【００１２】  カプセル内視鏡においても、従来のプローブ型内視鏡のように、カプセルの前方を視野とするもので、カプセルが消化器官を移動する間に画像を撮影するが、カプセルに方向制御する機能がないため、前方視野のカメラが消化器官の全ての内壁を撮影できない場合がある。このため、検査の見落としに繋がる重大な問題となる。【００１３】  また、カプセル内視鏡では、約８時間程度かけてカプセルが消化器官内を通過することから、一旦録画した映像を再生することで検査を行っている。そのため、カプセル内視鏡による消化器官の診断方法は、画像を１枚ずつ観察する方法が取られている。このため、医師が診療に要する時間が大きな負担になっている。【００１４】  一方、ＣＴ（コンピュータ断層撮影）を使った腸の３次元像の生成は、腸管全体をモデリングする手法として話題になったが、小さい病変や平坦な病変を検出できないということで、内視鏡に比べ性能が劣る。【００１５】  本発明は、上述の課題を解決するためになされたもので、その目的は、医師による病巣の見落としを防止可能な内視鏡システムを提供することを第１の目的とする。【００１６】  また、医師の診断効率を向上させる内視鏡システムを提供することを第２の目的とする。
【課題を解決するための手段】
【００１７】  上記目的を達成するために、本発明のある局面に係る内視鏡システムは、物体内を撮像する内視鏡システムであって、生体内の運動し得る物体内を撮像するカメラと、前記カメラより得られる複数の画像に対し、ビデオモザイキング処理と運動補正処理とエネルギー最小化による画像修正処理とを施すことにより画像を張り合わせ、カメラ運動推定、事前定義可能な生体内の運動補正および事前定義不可能な生体内部変形の修正を行い、前記物体内のパノラマ画像を生成する画像生成手段とを備えることを特徴とする。【００１８】  この構成によると、生体内の運動し得る物体内を撮像し、ビデオモザイキング処理を施すことにより、物体内のパノラマ画像を生成することができる。このため、消化器管内壁のような生体内の運動し得る物体内のパノラマ画像を生成することができる。このように、撮像対象が動く場合であっても、パノラマ画像を作成することができる。よって、消化器管内壁等をじっくりと観察することができ、医師による病巣の見落としを防ぐことが可能になる。また、医師は、長時間かけて消化器管内の内壁の画像を観察し続ける必要がなくなる。このため、医師の診断効率を向上させることができる。【００１９】  また、前記画像生成手段は、前記カメラで撮像された前記物体内の画像に基づいて、前記カメラの運動を推定する運動推定手段と、前記カメラの運動の推定結果に基づいて、前記カメラで撮像された画像より、前記物体内のパノラマ画像を生成するパノラマ画像生成手段とを備えていてもよい。【００２０】  また、前記運動推定手段は、前記カメラの観測点を球座標系で表現し、前記カメラより得られる複数の画像より、前記観測点の対応点を検出する対応点検出部と、複数の前記対応点から前記カメラの運動を表現する運動パラメータを推定する運動パラメータ推定部とを有していてもよい。【００２１】  また、前記運動推定手段は、前記カメラより得られる時間的に異なる２枚の画像からエピポーラ拘束条件を用いて前記カメラの運動を推定するカメラ運動推定部と、前記カメラより得られる時間的に異なる複数の画像を用い、バンドルアジャストメント処理を行い、前記カメラ運動推定部で推定された前記カメラの運動を補正するカメラ運動補正部とを有していてもよい。好ましくは、前記カメラ運動補正部は、分節運動による物体内の変化を正弦波で近似し、バンドルアジャストメント処理を行う。【００２２】  このように、分節運動による消化器官内壁の変化を正弦波で近似することにより、より正確なカメラ運動を求めることができ、ひいてはより正確なパノラマ画像を得ることができ、医師の誤診断を防ぐことができるようになる。【００２３】  さらに好ましくは、前記カメラ運動補正部は、蠕動運動による物体内の変化をソリトンの移動で近似し、バンドルアジャストメント処理を行う。【００２４】  このように、蠕動運動による物体内の変化をソリトンの移動で近似することにより、より正確なカメラ運動を求めることができ、ひいてはより正確なパノラマ画像を得ることができ、医師の誤診断を防ぐことができるようになる。【００２５】  さらに好ましくは、前記物体は、円筒形状の物体であり、前記パノラマ画像生成手段は、前記物体を円筒形状でモデル化し、前記運動推定時に用いられた特徴点に基づいて、前記カメラより得られる複数の画像を前記円筒形状にフィッティングさせる。【００２６】  消化器官を円筒形状でモデル化することにより、小腸や大腸などの円筒形からなる消化器官のパノラマ画像を得ることができ、その展開画像を作成することができる。このため、医師の診断を正確かつ効率的に行なうことができるようになる。特に約８時間かけて画像を撮像するカプセル内視鏡においては、膨大な量の画像データが得られる。このため、これらの膨大な量の画像データから、カメラの移動パラメータを求め、近似した幾何学形状に画像を貼り合わせることで、重複する冗長な情報を削除し、有効な画像だけが描画される。よって、より効率的な診察が可能になる。【００２７】  また、上述の内視鏡システムは、さらに、自己の位置または姿勢を計測する位置・姿勢センサを備え、前記運動推定手段は、前記位置・姿勢センサでの計測結果を加味して、前記カメラの運動を推定するようにしてもよい。【００２８】  画像からのカメラ運動の推定は、通常、パノラマ生成に適した精度は得られるが、しばしば、大きな誤りを生ずる危険もある。そこで、位置・姿勢センサを併用することによって、大きな誤りをセンサで防ぎ、詳細は画像処理に依ると、パノラマ画像生成の高精度化とともに、パノラマ画像生成の高速化が可能になる。【００２９】  さらに好ましくは、前記画像生成手段は、前記カメラより得られる複数の画像の各々から、所定サイズの複数の特徴領域を切り出す特徴領域切り出し手段と、前記複数の画像の各々に含まれる前記複数の特徴領域に基づいて、所定のエネルギーを定義し、当該エネルギーが最小となるように前記複数の画像間での前記複数の特徴領域の対応付けを行い、当該対応付結果に基づいて、前記物体内のパノラマ画像を生成するパノラマ画像生成手段とを備える。【００３０】  エネルギー最小化問題を解くことにより、カメラの運動推定を行う必要がなく、パノラマ画像を生成することができる。このため、カメラの運動推定が誤った場合に、ビデオモザイキング処理がうまくいかないという問題がなくなり、正確なパノラマ画像を得ることができ、医師の誤診断を防ぐことができるようになる。【００３１】  前記所定のエネルギーは、時間的に連続する２つの画像にそれぞれ含まれる前記複数の特徴領域の画素値の差分に基づいて定められるエネルギーであってもよい。【００３２】  また、前記所定のエネルギーは、時間的に連続する２つの画像にそれぞれ含まれる前記複数の特徴領域を接続することにより得られる三角パッチの面積の差に基づいて定められるエネルギーであってもよい。【００３３】  さらに、前記カメラは、全方位カメラであり、前記所定のエネルギーは、前記全方位カメラで撮像された第１の画像を前記全方位カメラの視点を中心とした球座標系に変換した後の画像に現れる大円の座標を前記全方位カメラの移動成分に基づいて補正した座標と、前記第１の画像と時間的に連続する前記全方位カメラで撮像された第２の画像を前記球座標系に変換した後の画像に表れる大円の座標との差に基づいて定められるエネルギーであってもよい。【００３４】  さらにまた、前記所定のエネルギーは、前記カメラで撮像された第１の画像中より選択された複数の制御点にそれぞれ対応する前記カメラで撮像された前記第２の画像中の複数の制御点のゆがみ度合いに基づいて定められるエネルギーであってもよい。【００３５】  また、前記所定のエネルギーは、前記カメラで撮像された第１の画像中より選択された複数の制御点と、前記複数の制御点にそれぞれ対応する前記カメラで撮像された前記第２の画像中の複数の制御点との間のゆがみ度合いに基づいて定められるエネルギーであってもよい。【００３６】  また、前記複数の特徴領域は、前記画像に含まれる複数の前記所定サイズの領域のうち、当該領域内部の画素値の微分値の自乗和が所定のしきい値よりも大きい領域としてもよい。【００３７】  特徴領域を上記のように選択することにより、輝度変化の少ない領域を物体の特徴領域として抽出することがなくなる。このため、画像間での特徴領域の対応付けを正確に行うことができ、正確なパノラマ画像を得ることができる。よって、医師の誤診断を防ぐことができるようになる。【００３８】  さらに好ましくは、前記カメラは、全方位カメラであり、前記画像生成手段は、前記全方位カメラより得られる複数の画像に対し、ビデオモザイキング処理を施し、前記全方位カメラの進行方向に直交する方向に対し、一定の見込み角を有するパノラマ画像を生成することを特徴とする。【００３９】  この構成では、内視鏡に全方位カメラを備えている。全方位カメラは、内視鏡の進行方向に対する側方視野を観察可能である。このため、従来の内視鏡では不得意であった消化器官側方の視認が可能になる。また、周囲３６０度のシームレスな映像を同時に獲得可能である。このため、医師による病巣の見落としを防止することが可能になる。【００４０】  また、全方位カメラは、側方視野についても十分な視野角を有するため、撮影された画像の中には、消化器官の内壁を側面から正対して眺めた映像だけでなく、ある見込み角を持って撮影された画像も存在する。また、撮影はカメラの移動を伴って行われるため、膨大な量の画像が得られる。その中には、腸壁の手前の画像や、腸壁の裏面の画像も含まれる。このため、これらの画像を見ることにより、医師にとっては死角となる部分が少なくなり、病変の見落としを防止することができる。【００４１】  また、前記カメラは、消化器官内に挿入されるプローブの先端に装着されていてもよいし、前記カメラは、人間または動物が飲み込むことができるカプセル内に収納されていてもよい。
【発明の効果】
【００４２】  以上説明したように、本発明によると死角がなく、医師による病巣の見落としを防止可能な内視鏡および内視鏡システムを提供することができる。【００４３】  また、医師の診断効率を向上させる内視鏡および内視鏡システムを提供することができる。【００４４】  このように、従来撮像が困難であった前方側面および後方側面を含む消化器官内の側面のパノラマ画像を得ることができ、医師の病変の見落とし防止および診断効率の向上に対する貢献は非常に大きく、医療機器の分野および医学の進歩への貢献ははかりし得ないものがある。
【図面の簡単な説明】
【００４５】
【図１】図１は、本発明の実施の形態１および２に係るプローブ型内視鏡の構成を示す図である。
【図２】図２は、図１に示したプローブ型内視鏡の先端部の外観図である。
【図３】図３は、全方位カメラの内部構成を示す図である。
【図４】図４は、２葉双曲面を説明する図である。
【図５】図５は、全方位カメラの構成を示す図である。
【図６】図６は、空間中の任意の点と画像上での写像点との関係を説明する第１の図である。
【図７】図７は、空間中の任意の点と画像上での写像点との関係を説明する第２の図である。
【図８】図８は、カプセル内視鏡の構成を示す図である。
【図９】図９（ａ）〜（ｄ）は、モザイキング処理による画像処理を説明するための図である。
【図１０】図１０は、球座標系における全方位カメラの移動を示す図である。
【図１１】図１１は、見える角度の異なる画像の一例を示す図である。
【図１２】図１２は、パノラマ画像の生成方法を説明するための図である。
【図１３】図１３は、消化器内の蠕動運動をモデル化したソリトンの移動を示す図である。
【図１４】図１４は、輪走筋の収縮が生じた小腸内壁画像の一例を示す図である。
【図１５】図１５は、分節運動または蠕動運動が発生した画像列の一例を示す図である。
【図１６】図１６は、小腸の運動を考慮した画像貼り合わせ処理の流れを示すフローチャートである。
【図１７】図１７は、三角パッチの一例を示す図であり、図１７（ａ）は、ｆフレームにおける三角パッチを示す図であり、図１７（ｂ）は、（ｆ＋１）フレームにおける三角パッチを示す図である。
【図１８】図１８は、メッシュ状に区切られた画像と、その画像上の制御点を示す図である。
【図１９】図１９（ａ）、（ｂ）は、制御点の変形を示す図である。
【符号の説明】
【００４６】    ２０  プローブ型内視鏡
２２  画像処理装置
２４  先端部
２６  レシーバー
２８  表示部
３２  全方位カメラ
３４  照明
３６  鉗子
３８  洗浄水噴射口
４２  双曲面ミラー
４４  撮像部
４６  レンズ
４８  撮像面
５０  カプセル内視鏡
６０  小腸
【発明を実施するための最良の形態】
【００４７】  以下、本発明の実施の形態に係る内視鏡システムについて図面を参照しながら説明する。【００４８】（実施の形態１）
［内視鏡の構成］
本実施の形態に係る内視鏡の構成として、プローブ型内視鏡とカプセル内視鏡の２種類の内視鏡について説明する。【００４９】１．プローブ型内視鏡
図１は、本発明の実施の形態１に係るプローブ型内視鏡の構成を示す図である。図２は、図１に示したプローブ型内視鏡２０の先端部２４の外観図である。プローブ型内視鏡２０の先端部２４には、全方位カメラ３２と、照明３４と、鉗子３６と、洗浄水噴射口３８とが備えられている。【００５０】  全方位カメラ３２は、消化器官内を撮像するための装置であり、周囲３６０度の画像を撮像可能である。照明３４は、消化器官内に光を当てるために用いられる。鉗子３６は、消化器官内の組織や病巣などを挟んだり圧迫したりするのに用いられる用具である。洗浄水噴射口３８は、消化器官内の分泌物が付着した全方位カメラ３２を洗浄するための水の噴射口である。【００５１】  プローブ型内視鏡２０には直交コイルからなるレシーバー２６が備えられており、レシーバー２６は、プローブ型内視鏡２０の位置および姿勢を推定するために用いられる。【００５２】  全方位カメラ３２で撮像された画像は、プローブ型内視鏡２０に接続された画像処理装置２２の表示部２８に表示される。【００５３】  図３は、全方位カメラ３２の内部構成を示す図である。全方位カメラ３２は、双曲面ミラー４２と、撮像部４４とを備えている。双曲面ミラー４２とは、２葉双曲面の一方の双曲面の形状をしたミラーである。撮像部４４は、双曲面ミラー４２で反射した光を受光するレンズ４６と、撮像面４８とを含む。なお、レンズ４６は、２葉双曲面の他方の双曲面の焦点位置にレンズ中心を有するものとする。【００５４】  双曲面ミラー４２を用いた全方位カメラ３２は、山澤らにより提案されたＨｙｐｅｒＯｍｎｉ  Ｖｉｓｉｏｎを用いるものとする。【００５５】  図４を参照して、双曲面ミラー４２は、２葉双曲面のうちＺ＞０の領域にある双曲面をミラーとして用いたものである。２葉双曲面とは双曲線を実軸（Ｚ軸）周りに回転することで得られる曲面である。２葉双曲面は、（０，０，＋ｃ）と（０，０，−ｃ）との２つの焦点を持つ。ただし、
【数１】
0004631057.tif 000002
である。ここで、図５に示すようにＺ軸を鉛直軸とする３次元座標系Ｏ−ＸＹＺを考える。この時２葉双曲面は以下の式（１）で表わされる。
【数２】
0004631057.tif 000003
【００５６】  なお、定数ａおよびｂは、双曲線の形状を定義するものである。図６を参照して、全方位カメラＨｙｐｅｒＯｍｎｉ  Ｖｉｓｉｏｎは、鉛直下向きに設置されたＺ＞０の領域にある双曲面ミラー４２とその下に鉛直上向きに設置された撮像部（図示せず）とから構成される。この時、双曲面ミラー４２の焦点ＯＭおよびカメラのレンズ中心ＯＣは、それぞれ２葉双曲面の２つの焦点（０，０，＋ｃ）および（０，０，−ｃ）に位置するように双曲面ミラー４２および撮像部が配置される。画像面ｘｙはＸＹ平面に平行で、かつ撮像部のレンズ中心ＯＣからカメラの焦点距離ｆだけ離れた平面とする。双曲面ミラー４２の反射面、双曲面ミラー４２の焦点ＯＭおよびカメラのレンズ中心ＯＣは以下の式（２）で表わされる。
【数３】
0004631057.tif 000004
【００５７】  図６を参照して、空間中の任意の点Ｐ（Ｘ，Ｙ，Ｚ）に対する画像上での写像点をｐ（ｘ，ｙ）とした時、点Ｐの方位角θは以下の式（３）で表わされる。
ｔａｎθ＝Ｙ／Ｘ＝ｙ／ｘ                      …（３）【００５８】  すなわちＹ／Ｘで定められる点Ｐの方位角θは、ｙ／ｘで定められる写像点ｐの方位角θを算出することにより得られる。このように３６０度パノラマ状の領域内にある対象物体の方位角θが、その物体の画像面上の写像の方位として直接現れる。【００５９】  また、図７を参照して、点ＰとＺ軸とを含む鉛直断面を想定すると、点Ｐと写像点ｐとの間には、以下の式（４）の関係が成立つ。
【数４】
0004631057.tif 000005
【００６０】  すなわち双曲面ミラー４２の焦点ＯＭからの点Ｐの方位角θおよび俯角αは、カメラのレンズ中心ＯＣを双曲面の焦点位置に設けることで、写像点ｐ（ｘ，ｙ）より、一意に求められる。この時、双曲面ミラー４２の焦点ＯＭは固定されているため、入力画像を双曲面ミラー４２の焦点ＯＭからみたカメラを鉛直軸周りに回転して得られる画像（パノラマ画像）または通常のカメラの画像に変換できる。【００６１】  全方位カメラＨｙｐｅｒＯｍｎｉ  Ｖｉｓｉｏｎに関しては、「山澤一誠他：″移動ロボットのナビゲーションのための全方位視覚センサ″，電子情報通信学会論文誌Ｄ−ＩＩＶｏｌ．Ｊ７９−Ｄ−ＩＩＮｏ．５ｐｐ．６９８−７０７（１９９６年５月）」などに詳しく開示されている。【００６２】２．カプセル内視鏡
図８は、カプセル内視鏡の構成を示す図である。カプセル内視鏡５０は、双曲面ミラー４２および撮像部４４からなる全方位カメラと、照明３４と、レシーバー２６とを備えている。撮像部４４で撮像された画像は、外部に設けられた画像処理装置に配信され、画像処理装置において画像処理および画像表示が行われる。【００６３】［消化器官展開画像の作成］
以上のようにして構成された内視鏡（プローブ型内視鏡またはカプセル型内視鏡）に装着された全方位カメラ３２を用いて映像を獲得する。特に、カプセル内視鏡５０では、封入可能な全方位カメラ３２によって、内視鏡の周囲３６０度の映像を獲得する。【００６４】  内視鏡画像の１フレームから獲得できる周囲映像の範囲は狭いが、内視鏡の移動を復元することにより、フレーム毎の映像を重ね合わせることができる。【００６５】  図９は画像処理の内容を説明する概念図である。図９（ａ）は、小腸６０内をカプセル内視鏡５０が移動する様子を示した図である。カプセル内視鏡５０は、図中矢印で示すように、小腸６０の分節運動および蠕動運動に従い、小腸６０内を口腔側から肛門側へ進行する。分節運動とは、小腸６０内に隣接する輪走筋が同時に間欠的に収縮することによって発生する運動のことである。また、蠕動運動とは、輪走筋と縦走筋の組合せによって生じる運動で、食物を前方に送るための運動のことである。【００６６】  カプセル内視鏡５０は、消化器官内を約８時間かけて通過することから、進行速度は緩やかである。このため、フレーム間の画像は重なりが多く、密な画像の貼り合わせが可能である。【００６７】  よって、図９（ｂ）のように、全方位カメラにより得られた画像をパノラマ画像に変換し、図９（ｃ）のように、消化器官の形状を単純な幾何学形状にモデル化し、その上に画像を貼り合わせる。その後、図９（ｄ）に示すような消化器官の一部を切断した展開画像を生成することで、仮想的な消化器官の解剖画像を得ることができる。このため、医師は、解剖画像を見ることにより、病巣の発見をすばやく行なうことができ、診断に大きな支援となり得る。そのためには、カメラの移動成分を正確に検出することが大きな課題である。【００６８】［全方位カメラの運動推定および画像生成］
全方位カメラ３２の運動は、時間的に連続する画像列における対応する画像点から検出することができる。全方位カメラ３２では、対応点が撮像面４８に方位として投影されている。このため、球座標系を用いて画像を表現することができる。【００６９】  図１０は、球座標系における全方位カメラ３２の移動を示す図である。図１０においては、全方位カメラ３２の移動を座標系の移動として表現しており、移動前後の全方位カメラ３２位置における同一の対応点を対応点７０として図中に示している。なお、全方位カメラ３２位置は、座標系の原点である。【００７０】  球座標系とＸＹＺ座標系の関係は次式（５）により示される。
【数５】
0004631057.tif 000006
【００７１】  球座標系では、撮像面（ρ０，φ，θ）における３次元座標点（ρ、Φ、Θ）は、撮像面で次式（６）に従い投影される。
【数６】
0004631057.tif 000007
【００７２】  また、カメラ移動後の座標系と移動前の座標系との関係は、回転行列Ｒと，並進行列ｔによって表現でき、次式（７）に示す関係が成り立つ。
【数７】
0004631057.tif 000008
【００７３】  カメラから対象点までの距離を一定値ρ０であると近似し，式（７）を式（６）に代入すると、次式（８）の関係が成立し、固定された複数の３次元座標点から回転パラメータおよび並進パラメータが求められる。
【数８】
0004631057.tif 000009
【００７４】  しかしながら、消化器官内壁は分節運動をするため、その映像もゆっくりした動きが見られる。しかし、モザイキングで採用する画像列においては、非常に小さな動きに限定するため、連続する数フレーム間における３次元対象物の移動速度を線形に近似することができる。したがって、画像撮像時刻ｔｉにおいて１つ前の画像撮像時刻ｔｉ−１から決定したカメラ運動を投影面上に投影したときのズレ量Ｄｉが１つ後の画像撮像時刻ｔｉ＋１においても保たれるように、カメラ運動パラメータが決定される。ズレ量Ｄｉは毎時計測を行い、短時間では線形近似、長時間では非線形なカメラ運動パラメータが求められるようにする。【００７５】  カメラ運動が決定すると、次に消化器官をその形状の概略を表す円筒等でモデル化し、円筒面に画像を投影する。この際、貼り合わせる画像によって見える角度の異なった画像を生成する。図１１は、見える角度の異なる画像の一例を示す図である。図１１に示すように、内視鏡の前方４５度の消化器官内の周囲３６０度のパノラマ画像と、内視鏡側方のパノラマ画像と、内視鏡後方４５度のパノラマ画像とを一度に表示する画像を生成する。【００７６】  図１２は、パノラマ画像の生成方法を説明するための図である。まず、内視鏡５０（２０）の全方位カメラ３２により撮像された画像に基づいて、全方位カメラ３２が内壁側面９０を正面から捉えたパノラマ画像８４を生成する。この際、数１０秒間のカメラ運動の平均をカメラの標準姿勢とし、その姿勢から側面を捉えたパノラマ画像８４を数１０秒間に渡る複数の画像よりビデオモザイキング処理を行うことにより求める。この操作をカメラ運動の全てに適用し、側方正面から消化器官の内壁を見たパノラマ画像８４を生成する。【００７７】  次に、消化器官の襞を観察しやすいパノラマ画像を生成する。標準姿勢から内視鏡５０（２０）の側方より前方、例えば４５度前方の見込み角にある画像を貼り合わせる画像とし、ビデオモザイキング処理により複数の画像の貼り合わせを行い、内視鏡の側方より前方方向に位置する消化器官の内壁９２を見たパノラマ画像８２を生成する。同様にして、内視鏡の側方より後方に位置する消化器官の内壁９４を見たパノラマ画像８６を生成する。【００７８】  次に、運動する消化器官を撮影した全方位カメラ映像から、カメラの運動を推定するだけでなく、消化器官の３次元情報を推定し、任意の角度から眺めた内壁の画像を生成する技術について説明する。【００７９】  従来、カメラの運動を推定する問題では観測対象は静止していると仮定していたが、腸内の映像では分節運動がおこるため観測対象の静止を仮定することが困難である。しかし、その運動は非常にゆっくりした速度であるので、以下のような２段階からなる手法によりカメラの運動を推定することができる。【００８０】（１）  ビデオ映像の連続した２枚の画像からエピポーラ拘束条件を用いてカメラ運動を推定する。２枚の画像は非常に短い間隔で撮影されているので、その間は観測対象が静止していると仮定する。【００８１】（２）  時系列で得られた多数の画像を用い、バンドルアジャストメントの技術に基づいて、（１）の方法で得られたカメラの運動を補正する。画像を取得した��間に差が発生するため、その間に分節運動が起こる。そのため追跡している特徴点の位置に時間変化の項を加えてカメラ運動を推定する。【００８２】  まず、（１）の方法では画像中から特徴点を抽出し、連続する画像間でその特徴点を追跡する。これらを行う技術は様々提案されているので、その手法を用いる。例えば、「Ｃ．Ｈａｒｒｉｓ  ａｎｄ  Ｍ．Ｓｔｅｐｈｅｎｓ，“Ａ  ｃｏｍｂｉｎｅｄ  ｃｏｒｎｅｒ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ，”Ｉｎ  Ｐｒｏｃ．Ｆｏｕｒｔｈ  Ａｌｖｅｙ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，ｐｐ．１４７−１５１，１９８８．」や「Ｂ．Ｌｕｃａｓ  ａｎｄ  Ｔ．Ｋａｎａｄｅ，“Ａｎ  Ｉｔｅｒａｔｉｖｅ  Ｉｍａｇｅ  Ｒｅｇｉｓｔｒａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｗｉｔｈ  ａｎ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｓｔｅｒｅｏ  Ｖｉｓｉｏｎ，”Ｐｒｏｃ．ｏｆ  ７ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｉｎｔ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ），ｐｐ．６７４−６７９．」などに記載の方法が知られている。【００８３】  すなわち、ここでは、これらの手法と同様にカメラ運動を推定する。異なる視点から得られた２つの画像の対応する特徴点ｍ、ｍ’はエピポーラ拘束によって基礎行列Ｅを用いると、ｍＥｍ’＝０なる関係が成立する。ここで、７組以上の特徴点が得られた場合、基礎行列Ｅを決定することができ、基礎行列Ｅは座標系の回転行列Ｒと平行移動ベクトルｔとに分解することが可能である。このため、カメラ運動を推定することができる。ただし、特徴点の対応付けには誤差が含まれるのでロバスト推定の手法であるＲＡＮＳＡＣ（Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）アルゴリズムを用いて誤対応を除去する。カメラ運動がわかった場合には、三角測量の原理から特徴点の３次元空間中での位置を計算することができる。腸を観測した場合には、特徴点は円筒状に並ぶ。そこで計算された特徴点の位置に対して円筒モデルをフィッティングし、円筒の中心ｖｃと軸の向きｖａとを推定する。これらは最小二乗法を用いて計算する。【００８４】  次に（２）の方法では、上述の方法によって求めたカメラ位置と特徴点の位置とを多数の画像を用いて補正する。この方法では、次式（９）で表される誤差を最小化する。ここでＭｉは３次元空間中の特徴点の位置、ｍｉｊはＭｉに対応する画像番号ｊでの特徴点の画像中での位置である。Ｒｊ、ｔｊは画像番号ｊでのカメラの位置姿勢を表す。バンドルアジャストメントではパラメータをＭｉ，Ｒｊ，ｔｊとして誤差を最小化する。最小化にはＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法などの反復計算を用いる。【００８５】  しかし、腸内の映像では分節運動によって観測の間に３次元における位置Ｍｉが移動するため上記の誤差を修正し、次式（１０）で表される誤差を最小化する。ここで関数ｆが分節運動を表すモデルである。分節運動は上述したように、隣接する輪走筋が同時に間欠的に収縮することによって発生する。輪走筋は一定間隔で並んでいるので、消化器官内壁の変化は正弦波で近似することが可能で、次式（１１）のように関数ｆを表す。
【数９】
0004631057.tif 000010
【００８６】  ここでｖｃ、ｖａは上述の円筒モデルの中心位置と軸の向きとである。関数ｆはパラメータａ、ｂ、ｃで表されるので、バンドルアジャストメントにおいて用いるパラメータにａ、ｂ、ｃを加えて誤差を最小化する。【００８７】  また、パノラマ画像を生成するためのカメラ移動成分を、画像以外に内視鏡に取り付けたセンサによって獲得した結果を利用する方法がある。磁界やマイクロ波などを利用し、センサの位置・姿勢６自由度を実時間推定することが市販技術として存在する。これらのセンサにより得られた３次元位置姿勢情報からパノラマ画像の生成を行うこともできるが、通常、このようなセンサの推定精度は、磁気センサの場合、角度精度が０．５度、位置精度が１．８ｍｍ程度のため、それらの情報をそのまま利用してもカメラ運動が不正確である。このため、正確なパノラマ画像を生成することが困難である。そこで、これらのセンサにより得られた３次元位置姿勢情報を上述のカメラの運動推定手法の初期値とすることで、より高速な画像生成が可能になる。【００８８】  なお、位置・姿勢推定用磁気センサとしては、以下のようなものがある。
オリンパス株式会社の販売する内視鏡挿入形状観測装置ＵＰＤ（オリンパス株式会社の商標）では、磁気センサによる内視鏡の全体形状の計測が可能である。【００８９】  また、一般に磁気センサを用いた位置計測の代表的な手法としては、交流電流を流したトランスミッタ（直交コイル）の磁界中に、内視鏡先端部に装着したレシーバー（直交コイル）を置くと、レシーバーに起電流が誘起されることを利用し、この起電流の大きさからトランスミッタを基点としたレシーバーの位置および方位を計算する手法がある。たとえば、Ｐｏｌｈｅｍｕｓ  Ｉｎｃ．のＦＡＳＴＲＡＣＫ（Ｐｏｌｈｅｍｕｓ  Ｉｎｃ．の登録商標）では３次元座標値（Ｘ、Ｙ、Ｚ）およびオイラー角（Ｐｉｔｃｈ，Ｙａｗ，Ｒｏｌｌ）の６自由度の測定が可能である。【００９０】  また、直流磁界を利用した磁気センサｍｉｎｉＢＩＲＤ（Ａｓｃｅｎｓｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ  Ｃｏｒｐｏｒａｔｉｏｎの登録商標）は、１０ｍｍ×５ｍｍ×５ｍｍの小型センサで、医療機器の先端に取り付けることで、実時間で６自由度の値（３次元座標値とオイラー角）が計測できる。さらに、磁気センサと同様に、マイクロ波などの電波のアンテナへの到着時間の遅れを利用し、発信源の３次元位置を推定する手法を利用することでもパノラマ化のための初期値を与えることができる。【００９１】  以上説明したように、本実施の形態によるとプローブ型内視鏡に対し、全方位カメラを用いることにより、現状の内視鏡より視認性の良い全方位内視鏡が容易に実現できる。すなわち、従来のプローブ型内視鏡で苦手でであった側方の視認が用意に実現できる。【００９２】  また、見込み角を考慮したパノラマ画像を医師に提示することができる。このため、従来のプローブ型内視鏡では苦手であった側方よりも後方の画像を医師に提示することができる。特に、下部内視鏡は、直腸および大腸の大きな襞を観察することが多く、大腸の大きく曲がった部位の襞の裏面は、現状の内視鏡では見えないことから、病巣の見落としの危険があるが、全方位内視鏡でその危険回避に繋がる可能性が高い。【００９３】  さらに、近い将来、実用化されるカプセル内視鏡は消化器官内を食物と同じ流れで移動するため、その方向、位置の制御は困難で、現状の前方視野だけでは、周囲映像を撮影できない場合もありえる。それに対し、全方位カメラを備えたカプセル内視鏡は、視野が側方の全周囲で、かつカバー領域が広いため、一部を撮り残す可能性は低い。また、カメラで撮影した大量の画像データを効率よく検査するには、非常に熟練した技術を必要とする。大量の画像をパノラマ映像として貼り付け、展開した画像は、内視鏡に熟練していない消化器系の医師でも診断が容易で、医療技術の向上にも役立つ。【００９４】  さらにまた、画像からのカメラ運動の推定は、通常、パノラマ生成に適した精度は得られるものの、急激に内視鏡の位置や姿勢に変化が生じた場合には、誤った推定をしてしまう可能性もある。そこで、本発明では、磁気センサ等の位置・姿勢センサを併用することによって、大局的な位置および姿勢を予め位置・姿勢センサで計測し、その後の詳細な位置・姿勢推定を画像処理により行なうことができる。このため、大きな誤推定をセンサで防ぐことができ、パノラマ画像生成の高精度化とともに、パノラマ画像生成の高速化が可能になる。【００９５】  また、式（１１）に示すように、カメラ運動の補正を行う際に、分節運動における消化器官内壁の変化を正弦波で近似している。このため、より正確なカメラ運動を求めることができる。ひいては、正確なパノラマ画像生成を行なうことができる。【００９６】（実施の形態２）
次に、本発明の実施の形態２に係る内視鏡の構成について説明する。実施の形態２に係る内視鏡の構成は、実施の形態と同様のプローブ型内視鏡またはカプセル内視鏡と同様の構成を有する。ただし、以下の３点で実施の形態１とは異なる。【００９７】  （１）実施の形態１では、全方位カメラ３２の運動推定を時間的に連続する画像列における対応する画像点から検出しているのに対し、実施の形態２では、画像中の特徴的な領域を求めることにより、領域間での対応を行う。【００９８】  （２）また、実施の形態１では、消化器官内壁の分節運動を定式化して、カメラ運動の補正を行ったが、実施の形態２ではそれに加え、消化器官内壁の蠕動運動をも定式化する。【００９９】  （３）さらに、実施の形態１では、時間的に連続する画像間で対応点を求めることにより、カメラの運動推定を行い、その後に画像を貼り付けパノラマ画像を生成するという処理を行っていたが、本実施の形態では、エネルギー最小化問題を適用させることにより、カメラの運動推定とパノラマ画像の作成とを同時に行うようにしている。【０１００】  以下、これらについて詳細に説明する。
［（１）領域間の対応について］
消化器官内壁のように、カメラから入力される画像における明瞭な特徴点検出が不可能な場合に対処するため、画像を小領域（８ｘ８または１６ｘ１６画素）のブロックに分割し、内部のテクスチャ成分を判定する。判定式は次式（１２）を用いる。
【数１０】
0004631057.tif 000011
【０１０１】  ただし、Ｉ（ｘ，ｙ）およびＩ（ｘ，ｙ）は、画像中の点（ｘ，ｙ）の画素値をＩ（ｘ，ｙ）としたときのｘ軸およびｙ軸に沿った一次微分をそれぞれ表す。判定式の値が閾値以上となるブロックは特徴領域と判定され、隣接画像間で類似する領域の探索が行われる。このような計算方法により、画素値の微分値の合計が大きいところを特徴領域とすることができる。【０１０２】［（２）消化器官内壁の運動のモデル化］
上述のようにカメラの移動を連続する画像列から復元し、重複する画像領域を貼り合わせて大きな静止画を生成する方法はビデオモザイキングとして知られ、ＭＰＥＧ−４においてもスプライト圧縮法として知られている。このビデオモザイキングでは、事前に大きな背景を送信し、その前景となる小さな移動成分を逐次送信し復元することで、効率的な動画再生を行うことができる。しかしながら、従来のビデオモザイキングでは、背景における固定した特徴点または領域が、カメラ移動によってどのように画像上で移動したかを検出することにより、カメラ運動を推定していた。【０１０３】  一方、小腸および消化器の内壁は食物またはカプセルを先へ送り出すために、絶えず運動を繰り返しており、固定した特徴点は存在しない。また内壁は柔軟物であるので少しの伸縮はあるが、内臓筋繊維の収縮で柔らかな襞を作る。このため、従来の手法をそのまま適用し、静止画を生成することは困難である。【０１０４】  そこで本発明では、動きを伴う消化器内壁に対するカメラの移動を復元し、カメラおよび消化器内壁の動きを仮想的に止めて静止画に貼り合わせることにより、消化器内壁の展開画像を生成する。精度良い展開画像を作成するためには、カメラで撮影された見かけの画像が連続フレームにおいて大きく変わらない時間区間の映像を採用する。【０１０５】  まず、連続した画像列における画像の動きは、カメラの移動によるものと、消化器内壁の運動によるものとに分類できる。このうちカメラの移動については、移動に関する制約がないためカメラ自体が様々な方向を向いてしまうが、その一方で、消化器内壁の運動は内臓によって固有の運動がある。すなわち、カプセル内視鏡が有効な小腸では、消化器内壁の動きは分節運動と蠕動運動とによって表現することが可能である。分節運動は、隣接する輪走筋が同時に間欠的に収縮することによって発生する運動で、一定間隔に並ぶ輪走筋の収縮による小腸内壁の変化は、実施の形態１と同様に式（１１）の正弦波を含む関数ｆで近似することが可能である。【０１０６】  一方、蠕動運動は輪走筋と縦走筋の組合せによって生じる運動で、食物を前方に送るために、連続した波が現れるのではなく、図１３に示すように、孤立した波が進んでいく。【０１０７】  この波は一定の速度と形を持つ進行波であるソリトンｆと考えられ、次式（１３）の非線形波動方程式のＫｄＶ（Ｋｏｒｔｅｗｅｇ−ｄｅ  Ｖｒｉｅｓ）方程式で表現することができる。
【数１１】
0004631057.tif 000012
【０１０８】  ここで、ｆｔは、関数ｆのｔに関する第１次偏導関数を示し、ｆｘは、関数ｆのｘに関する第１次偏導関数を示し、ｆｘｘｘは、関数ｆのｘに関する第３次偏導関数を示す。【０１０９】  進行方向の位置ｘ、時間ｔにおいて、進行方向の速度をｃとすると、一つの解として、次式（１４）で示されるソリトンｆが考えられる。
【数１２】
0004631057.tif 000013
【０１１０】  分節運動の正弦波、蠕動運動のソリトンはカメラからの見かけの動きではないため、カメラで得られた画像における変動から正弦波およびソリトンを分離する必要がある。この分離のために分節運動、蠕動運動が発生していると考えられる画像上における特徴を利用する。分節運動、蠕動運動ともに輪走筋の収縮が発生したとき、縦走筋に沿って皺が発生し、輪走筋が収縮した部位で図１４に示すような放射状の皺が現れる。その収縮があるときは分節運動または蠕動運動が生じていると考えられ、その連続する過去の画像にも分節運動または蠕動運動による内壁の移動成分があったと考えられる。しかしながら、図１４に示す状態は、小腸内壁の運動が大きくなりすぎ、隣接する画像における同一領域と著しく見え方が異なるため、貼り合わせには利用しない。そこで図１４の状態が現れる以前の数フレームにおいて、内臓収縮による変動として小領域移動量が所定の閾値以上のとき、それ以降の画像列は貼り合わせに使用しない。すなわち、図１５に示す画像列において小領域２０２の移動量が所定の閾値以上のときは、それ以降の画像（図１５の区間Ｂの画像）は貼り合わせに使用しない。【０１１１】  図１４の状態から数フレーム前の貼り合せに使用される画像（図１５の画像２０４）には分節運動または蠕動運動による変動があるため、正弦波またはソリトンによる画像の修正を適用する。それ以外のフレームの画像（図１５の区間Ａの画像）においては小腸の動きはモデル化されない微小動きとカメラの移動による画像変動と考えられる。したがって、貼り合せる画像は小腸の運動がほとんどない状態または分節運動または蠕動運動が緩やかな運動区間と考えられる。【０１１２】  そこで、図１６に示すフローチャートに従い、画像貼り合わせを行う。
最初に全ての画像列から図１４に該当する画像を画像処理によって選別し、代表画像とする（Ｓ１）。この処理は前方の空洞部となる暗部の大きさが小さくなり、かつ暗部を中心として襞を示すエッジ線分が放射状に広がる代表画像を検出することにより行われる。なお、図１５に示されるような連続する画像列から複数の代表画像が検出されたときは、暗部が最も小さくなる画像を代表画像２００とする。【０１１３】  その代表画像２００の過去数フレームにおいて、隣り合う画像間における小領域２０２の運動ベクトルを求め、運動ベクトルの長さが閾値より小さくなるとき、分節運動または蠕動運動の初期段階であると推定する（Ｓ２）。【０１１４】  初期段階の画像２０４における分節運動の正弦波および蠕動運動のソリトンは、カメラの方向により異なるため、見かけの波形モデルの推定は困難であるが、初期段階においては画像の周囲の領域の全ては小腸の中心に向かい微小に移動すると推定できる。したがって分節運動または蠕動運動の初期段階（図１５の区間Ａ）においては、運動の区別なく、中央方向に向かう画像領域の移動成分の平均を求め、移動量を修正する（Ｓ３）。【０１１５】  その後、エネルギー最小化問題を適用させることにより、カメラの運動推定とパノラマ画像の作成（Ｓ４）とを同時に行う。その際、小腸内壁の微小変形をも修正する（Ｓ５）。なお、エネルギー最小化問題については、以下にその詳細を説明する。【０１１６】［（３）エネルギー最小化問題について］
さらに、上述の判定式（１２）に従い求められる特徴領域を画像の制御点およびその近傍領域とし、画像上で制御点を頂点とする三角パッチを密に生成する。なお、以下の説明では、制御点と呼んだ場合には、制御点およびその近傍領域を示す場合もある。【０１１７】  図１７は、三角パッチの一例を示す図であり、図１７（ａ）は、ｆフレームにおける三角パッチを示し、図１７（ｂ）は、（ｆ＋１）フレームにおける三角パッチを示している。図１７（ａ）に示されるように、求められた特徴領域Ｉｋ，ｆを（ｋは特徴領域の番号、ｆはフレームの番号）を密に接続することにより、三角パッチが作成される。三角パッチには、ｍ１〜ｍ３のように番号が付される。【０１１８】  隣接画像において、初期値を過去の画像の三角パッチとし、三角パッチの内部エネルギーＥｉｎｔを、制御点近傍領域（特徴領域）の画素値の差分の自乗総和、および三角パッチの面積差分の和で表すと、次式（１５）のように三角パッチの内部エネルギーＥｉｎｔが定義される。
【数１３】
0004631057.tif 000014
【０１１９】  ただし、Ａｍ，ｆはフレームｆの制御点から張られる三角パッチの面積を表す。また、ｍは三角パッチの番号を表す。【０１２０】  すなわち、式（１５）で示される三角パッチの内部エネルギーＥｉｎｔの右辺の第１項が制御点近傍領域の画素差分の自乗総和を示し、連続するフレーム間で特徴領域内の輝度分布が近似している場合に内部エネルギーが小さくなる。第１項を「画像エネルギー」とも呼ぶ。【０１２１】  また、当該右辺の第２項が三角パッチの面積差分の和を示しており、連続するフレーム間で対応する三角パッチの面積の変化が少ない、すなわち、三角パッチが変形していなければ内部エネルギーが小さくなる。第２項を「滑らかさの制約を示すエネルギー」とも呼ぶ。【０１２２】  一方、消化器管内は円筒形状をしている。また、全方位カメラＨｙｐｅｒＯｍｎｉ  Ｖｉｓｉｏｎでは、視点を通る直線を含むすべての平面は、視点を中心とした球座標系において大円として現れるという性質がある。このことより、外部エネルギーＥｅｘｔを隣接画像間で再構成したカメラ周囲の円形類似度により定義する。円形類似度は次式（１６）により定義され、輝度値の比較的大きな３点以上の制御点を含む複数の大円（３〜５本）が、移動後も大円となるような場合に、類似度が小さくなるように、移動後の制御点から大円までの距離の自乗総和により定義する。
【数１４】
0004631057.tif 000015
【０１２３】  ただし、カメラは、時々刻々移動する。このため、カメラ移動による変換行列をＨと定義する。また、Ｃは制御点の座標であり、ｌは大円の番号、ｎは大円に含まれる制御点の番号を示す。【０１２４】  したがって、内部エネルギーと外部エネルギーの重み付け総和
【数１５】
0004631057.tif 000016
を最小にする制御点を求めることによって、隣接画像における対応領域を求め、同時にカメラ運動が得られ隣接画像間の変形が得られる。ここで、αは０以上１以下の定数である。エネルギーＥを最小化することにより、カメラの方向を揃えた画像を切り出し貼り合わせたパノラマ画像を生成できる。【０１２５】  なお、式（１５）の第２項に示した滑らかさの制約を示すエネルギーの代わりに、次式（１８）および（１９）に示される滑らかさの制約を示すエネルギーを用いてもよい。このエネルギーは、隣接する制御点との距離を一定に保とうとするエネルギーを指す。【０１２６】  例えば、図１８に示すように、１フレーム目において、画像をメッシュに区切る。画像をメッシュに区切ったときの画素間隔をｎ画素とする（ｎは自然数）。【０１２７】  メッシュ上の制御点を図１９（ａ）に示すように５点（制御点１０２〜制御点１１０）選び、中心の制御点１１０から他の４点までの距離をｌ１１，ｌ２１，ｌ３１およびｌ４１と定義する。【０１２８】  次に、２フレーム目において、制御点１０２、１０４、１０６、１０８および１１０にそれぞれ対応する制御点１１２、１１４、１１６、１１８および１２０を求める。対応する制御点は、通常のパターンマッチング等により求められる。【０１２９】  ここで、２種類のエネルギーを定義する。
次式（１８）に示すエネルギーは、中心の制御点から他の４点までの距離がメッシュの画素間隔に等しくなる場合に最小となるエネルギーであり、このエネルギーを最小にすることにより、図１９（ａ）に示すような形状を保とうとする制御点が選択される。
【数１６】
0004631057.tif 000017
【０１３０】  ここで、ｔは、フレーム番号を示し、制御点の組み合わせの番号を示す。なお、このようなエネルギーは、画像中の複数の場所において、求められ、それらの合計エネルギーを求めてもよい。【０１３１】  また、次式（１９）に示すエネルギーは、１つ前のフレームと現在のフレームとの間で、４つの距離がそれぞれ等しくなる場合に、最小となるエネルギーである。このエネルギーを最小とすることにより、前のフレームの制御点の配置構造と同様の配置構造をとるような制御点が選択される。
【数１７】
0004631057.tif 000018
【０１３２】  上述したようなエネルギー最小化問題を解くことにより、連続するフレーム間で、制御点の対応をとることができる。したがって、制御点で囲まれる三角パッチの対応付けに基づいて、各フレームで求められた画像を変形させながら貼り合わせることにより、ビデオモザイキング処理された消化器管内の画像を得ることができる。【０１３３】  以上をまとめると、変化する小腸内壁において、大きく収縮する区間以外で緩やかに変化する区間の連続画像に対し、同一微小領域を対応付けながらカメラ移動量を求め、同一領域が精密に重なり合うように画像を変形し貼り合わせる。カメラ移動量推定に生じた誤差は貼り合わせるときに画像全体が移動するように修正され、小腸内壁の運動を緩やかに補正しながら制御点周囲の領域画像を貼り合わせることで小腸内壁の展開画像を生成する。【０１３４】  以上説明したように、本実施の形態によると、消化器管内の形状とカメラの運動とをモデルパラメータとして表現し、これらのモデルパラメータを利用したエネルギーが最小となるような位置に制御点を移動させることにより、制御点の対応をとることができる。このため、制御点の対応関係を利用することにより、パノラマ画像を生成することができる。実施の形態１では、カメラの運動推定と画像の貼り付けとを別処理として行っていた。このため、カメラの運動推定が誤っているような場合には、画像の貼り合わせがうまくいかないという場合もあり得るが、実施の形態２ではそのようなことは起こらない。【０１３５】  以上、本発明に係る内視鏡システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。【０１３６】  例えば、実施の形態で説明した蠕動運動のモデル式（式１３）は実施の形態１に適用し、バンドルアジャストメント処理を行い、カメラ運動の補正を行うようにしてもよい。【０１３７】  また、現状の内視鏡にアタッチメントとして全方位ミラーを取り付け、全方位視覚を実現するようにしてもよい。【０１３８】  また、全方位カメラには、双曲面ミラーを用いるもの以外であっても、円錐ミラー、球面ミラー、放物面ミラー等を用いるものであってもよい。さらに、それらのミラーを複数組み合わせたものであってもよい。【０１３９】  また、本発明は、腸管の検査に限られるものではなく、その他の臓器や、血管内の検査等に用いられるものであってもよい。例えば、マイクロマシン技術に本発明を適用し、血管の内壁の画像を撮像するようなシステムに適用してもよい。【０１４０】  また、鼻孔、耳の穴、口腔、膣内、膀胱内、尿道などの生体内の動き得る管状物体内の検査に適用してもよい。【０１４１】  さらに、カテーテルの先端にカメラを取り付け、心臓内の検査や、血管内の検査等に本発明の技術を適用してもよい。【０１４２】  さらにまた、内視鏡の一種である腹腔鏡の先端にカメラを取り付け、食道、胃、十二指腸、胆のう、胆管、虫垂、甲状腺、乳腺、肺等の臓器の検査に本発明の技術を適用してもよい。
【産業上の利用可能性】
【０１４３】  本発明は、内視鏡に適用でき、特に、プローブ型内視鏡やカプセル内視鏡等に適用できる。
【図１】
0004631057.tif 000019
【図２】
0004631057.tif 000020
【図３】
0004631057.tif 000021
【図４】
0004631057.tif 000022
【図５】
0004631057.tif 000023
【図６】
0004631057.tif 000024
【図７】
0004631057.tif 000025
【図８】
0004631057.tif 000026
【図９】
0004631057.tif 000027
【図１０】
0004631057.tif 000028
【図１１】
0004631057.tif 000029
【図１２】
0004631057.tif 000030
【図１３】
0004631057.tif 000031
【図１４】
0004631057.tif 000032
【図１５】
0004631057.tif 000033
【図１６】
0004631057.tif 000034
【図１７】
0004631057.tif 000035
【図１８】
0004631057.tif 000036
【図１９】
0004631057.tif 000037