(57)【要約】【課題】  バレット食道等の管状部位を撮像した画像から診断し易い展開図を生成できる医療画像処理装置を提供する。【解決手段】  内視鏡の撮像手段により撮像された食道等の円管状部位の内視鏡画像を取り込み、歪曲収差の補正等の前処理した後、最暗部の位置を検出して中心位置とし、この内視鏡画像のｘ，ｙ座標位置から極座標系のθ，ｚ座標位置に幾何学的に変換してそのθ，ｚ座標位置に輝度値を貼り付けて展開図を生成し、この展開図を表示装置において表示する。【選択図】  図５
2006181109.tif 000002
【特許請求の範囲】
【請求項１】
体腔内を撮像した医療画像に対して幾何学的に変換する画像変換手段と、
前記画像変換手段により得られた変換画像を展開図の画像として表示手段に出力する展開図出力手段と、
を有することを特徴とする医療画像処理装置。
【請求項２】
前記画像変換手段は、前記医療画像を極座標系へ変換する変換手段により構成されることを特徴とする請求項１に記載の医療画像処理装置。
【請求項３】
前記画像変換手段は、前記医療画像を円柱体に投影する変換手段により構成されることを特徴とする請求項１に記載の医療画像処理装置。
【請求項４】
前記体腔内を撮像する撮像手段と、前記体腔内との位置関係を推定する推定手段を有することを特徴とする請求項１に記載の医療画像処理装置。
【請求項５】
さらに、撮像手段によって撮像される前記医療画像の中心位置を設定する中心位置設定手段を有することを特徴とする請求項１に記載の医療画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡画像等の医療画像から幾何学的に変換して、展開図の画像を生成する画像処理を行う医療画像処理装置に関する。
【背景技術】
【０００２】
近年、内視鏡は医療分野などにおいて広く採用されるようになった。例えば、食道の病気の一つにバレット食道がある。  
食道は扁平上皮の粘膜でおおわれており、胃や腸は円柱上皮の粘膜でおおわれている。バレット食道は食道への胃酸の逆流により、胃と食道の接合部付近の食道粘膜（扁平上皮）が胃から連続して円柱上皮に変性すると考えられている。  
バレット食道の診断方法として、胃と食道の接合部から連続して存在する円柱上皮の広がり方、円柱上皮と扁平上皮との境界の特徴的な形状を内視鏡で観察する内視鏡診断が利用される。  
従来技術としての特開平８−２５６２９５号公報には、得られる内視鏡画像における周辺部で発生する光学歪みを補正する手段を開示している。
【特許文献１】特開平８−２５６２９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特開平８−２５６２９５号公報では、内視鏡画像における周辺部で発生する光学歪みを補正することができるが、直視型の内視鏡を用いて略円管形状の食道を観察した場合、食道と内視鏡先端の位置・向き、光学歪み等の影響により円柱上皮の広がり方や円柱上皮と扁平上皮の境界の特徴を認識し易い状態で表示することができない。  
つまり、従来例では診断し易い展開図（の画像）で表示することができなかった。
【０００４】
（発明の目的）
本発明は上述した点に鑑みてなされたもので、バレット食道等の管状部位を撮像した医療画像から診断し易い展開図の画像を生成することができる医療画像処理装置を提供することを目的とする。  
本発明は、さらに、より正確な展開図の画像が得られる医療画像処理装置を提供することも目的とする。
【課題を解決するための手段】
【０００５】
本発明の医療画像処理装置は、体腔内を撮像した医療画像に対して幾何学的に変換する画像変換手段と、
前記画像変換手段により得られた変換画像を展開図の画像として表示手段に出力する展開図出力手段と、
を有することを特徴とする。    
上記構成により、食道のような管状部位を撮像した医療画像を幾何学的に変換し、展開図の画像として表示手段に出力することにより、管状部位の内表面の状態を診断し易い状態で観察できるようにしている。
【発明の効果】
【０００６】
本発明によれば、食道等の管状部位の内表面の状態を診断し易い状態で観察できるようになる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施例を説明する。  
【実施例１】
【０００８】
図１から図８は、本発明の実施例１に係り、図１は本発明の実施例１を備えた内視鏡システムの構成を示し、図２は食道のような管状器官（管状部位）に挿入された内視鏡により撮像する様子を示し、図３は図２の内視鏡の撮像装置により撮像された内視鏡画像を示し、図４はＣＰＵによる画像処理機能を示し、図５は展開図を生成する為の処理フローを示し、図６は内視鏡画像と展開図の関係を示し、図７は展開図から得られる座標位置と内視鏡画像の各画素との位置関係の説明図を示し、図８は生成された展開図と内視鏡画像をモニタに表示した図を示す。  
図１に示す内視鏡システム１は、内視鏡観察装置２と、この内視鏡観察装置２により得られた内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成される本発明の医療画像処理装置の実施例１となる内視鏡画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示する表示モニタ４とから構成される。
【０００９】
内視鏡観察装置２は、体腔内に挿入される内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される映像信号が入力されることにより、撮像素子で撮影した内視鏡画像を表示するモニタ９とを有する。  
内視鏡６は、体腔内に挿入される挿入部１１と、この挿入部１１の後端に設けられた操作部１２とを有する。また、挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。  
このライドガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により転送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、患部等の被写体を照明する。
【００１０】
照明窓に隣接する観察窓に取り付けた対物レンズ１５と、この対物レンズ１５の結像位置に配置された固体撮像素子としての例えば電荷結合素子（ＣＣＤと略記）１６とによる撮像装置１７が設けてある。そして、このＣＣＤ１６の撮像面に結蔵された光学像は、このＣＣＤ１６により光電変換される。  
このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の映像処理回路により信号処理され、映像信号に変換される。この映像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置３にも入力される。
【００１１】
この画像処理装置３は、内視鏡観察装置２から入力される内視鏡画像に対応する映像信号が入力される画像入力部２１と、この画像入力部２１から入力された画像データに対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。  
また、この画像処理装置３は画像入力部２１から入力される画像データ等を記憶する画像記憶部２４と、ＣＰＵ２２により処理された情報等を記憶する情報記憶部２５と、ＣＰＵ２２により処理された画像データ及び情報等を記憶装置インターフエース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像データ等を表示するための表示処理を行う表示処理部２８と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボードなどからなる入力操作部２９とを有する。
【００１２】
そして、この表示処理部２８により生成された映像信号は、表示モニタ４に表示され、この表示モニタ４の表示面には画像処理された処理画像が表示される。なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。  
本実施例においては、図２に示すように、例えば食道３１のような管状器官或いは管状部位内に直視型の内視鏡６の挿入部１１が挿入され、先端部１４に設けた撮像装置１７により、食道３１の内壁等が撮像される。
【００１３】
図３は、この直視型の内視鏡６によって撮像されたバレット食道の内視鏡画像Ｉａの１例を示している。バレット食道は、胃と食道の接合部から口腔に向かって連続的に食道粘膜（扁平上皮）が胃粘膜（円柱上皮）に変性した状態である。この変性した円柱上皮の広がり方や円柱上皮と扁平上皮との境界の特徴的な形状を内視鏡６によって観察することにより、術者はバレット食道の診断を行う。  
図３の内視鏡画像Ｉａの場合には、食道３１から胃内部に至る管状部位部分が最暗部画像３３、その周囲に胃及び食道の接合部の画像３４、接合部の周囲の円柱上皮の画像３５、そしてこの円柱上皮の周囲の扁平上皮の画像３６が表示されている。  
本実施例では、食道３１のような管状器官の対象物を直視型の内視鏡６によって撮像し、撮像された内視鏡画像Ｉａを幾何学的に変換して、展開図を生成する処理を行い、生成された対象物の展開図を表示モニタ４で表示する。
【００１４】
画像処理装置３を構成するＣＰＵ２２は、図４に示すように、幾何学的な変換を行う幾何学的画像変換手段（機能）２２ａと、幾何学的な変換により展開図の画像を表示モニタ４に出力する展開図出力手段（機能）２２ｂと有し、この表示モニタ４の表示面には展開図の画像（或いは単に展開図と略記）が表示される。  
本実施例においては、図４に示した幾何学的画像変換手段２２ａと、展開図出力手段２２ｂをソフトウェア的に実現しており、このために処理プログラム記憶部２３に記憶（格納）された処理プログラムをＣＰＵ２２は読み出し、ＣＰＵ２２は、この処理プログラムに従って図５に示す処理手順を実行する。  
次に図５を参照して、本実施例の動作を説明する。
【００１５】
画像処理装置３の動作が開始すると、ＣＰＵ２２は処理プログラム記憶部２３の処理プログラムを読み出し、その処理プログラムに従った処理を開始する。ＣＰＵ２２は最初のステップＳ１において、内視鏡観察装置２のＣＣＵ８から画像入力部２１を経て入力される内視鏡画像Ｉａの画像データを取得する。  
そして、次のステップＳ２においてＣＰＵ２２は、取得された画像データに対して歪曲収差補正（例えば特開平８−２５６２９５号公報参照）や、ノイズ除去等の前処理を行い、ステップＳ３において内視鏡画像Ｉａ内の最暗部の位置を検出し、検出された最暗部の重心位置を内視鏡画像Ｉａの座標の中心位置とする。  
本実施例においては、内視鏡画像Ｉａ内の最暗部の位置を中心に展開図を生成する。最暗部の検出方法として内視鏡画像Ｉａを複数の領域に分割し、分割された領域の平均輝度を算出し、最小の平均輝度を有する領域を最暗部の位置として求める。
【００１６】
図６（Ａ）に示すように内視鏡画像Ｉａの２次元の直交座標系をＸ−Ｙとし、この内視鏡画像Ｉａから図６（Ｂ）に示すように展開図Ｉｂの座標系をθ−Ｚとする極座標系とする。なお座標系Ｘ−Ｙにおける座標位置はｘ、ｙで示す。また、極座標系θ−Ｚにおける座標位置は、周方向の位置を表すθ、中心からの距離位置を示すｚで示す。  
なお、図６では内視鏡画像Ｉａから展開図Ｉｂが生成された場合の関係を分かりやすくするために、内視鏡画像Ｉａにおける扁平上皮と円柱上皮の境界、円柱上皮と胃食道の接合部の境界等を展開図にした場合にはどのような形状で表示されるかを矢印で対応付けて示している。ここで、θＡ、θＢ、θＣは、θが０度、４５度、９０度の場合を示したものであり、また、後述する他の実施例でも同様に示している。  
次にステップＳ４とステップＳ５において展開図Ｉｂの座標位置Ｓ（θ、ｚ）の初期値を設定する。つまり、ステップＳ４において、ＣＰＵ２２は、θ＝０とし、ステップＳ５においてｚ＝０とする。  
ステップＳ６において設定され展開図Ｉｂの座標Ｓ（θ、ｚ）に対応する内視鏡画像Ｉａの座標位置を以下の式（１）によって求める。
【数１】
2006181109.tif 000003
【００１７】
ステップＳ７において算出された座標Ｐ（ｘ、ｙ）が内視鏡画像Ｉａ内に存在するかを判断する。  
そして、内視鏡画像Ｉａ内に存在する場合は、ステップＳ８に進む。図７に示すように式（１）より得られた内視鏡画像の座標Ｐ（ｘ、ｙ）の位置は、画素間の中に存在する可能性がある為、ステップＳ８で線形補間等の処理を用いて座標Ｐ（ｘ、ｙ）の輝度値を算出する。例えば、得られた座標位置（符号×で示す）の周囲の４画素○（斜線で示したもの）の輝度値と位置関係から座標位置×の輝度値を求める。  
なお、輝度値としては、カラー撮像を行っている場合には、各色信号の輝度値に相当する。
【００１８】
ステップＳ９においてステップＳ８で求めた輝度値を展開図の座標Ｓ（θ、ｚ）の輝度値とする。次にステップＳ１０に進み展開図のｚの値を変更（例えばｚの増分Δｚ＝１）し、ステップＳ６に戻る。  
一方、ステップＳ７において算出された座標Ｐ（ｘ、ｙ）が内視鏡画像Ｉａ内に存在しない場合、ステップＳ１１へ進み、展開図Ｉｂのθの値を変更する（例えばθの増分Δθ＝π／１８０、つまり１°）。  
次のステップＳ１２において、θが２π（３６０°）より小さければステップＳ５に戻り、展開図生成の処理を継続する。一方、θが２π以上になった場合、展開図が生成されたと判断しステップＳ１３に進み、内視鏡画像Ｉａと展開図Ｉｂとを表示モニタ４に出力し、処理を終了する。
【００１９】
そして、図８に示すように表示モニタ４には、内視鏡画像Ｉａと展開図Ｉｂが表示される。なお、図８においては、内視鏡画像Ｉａと展開図Ｉｂとの両方を表示しているが、展開図Ｉｂのみを表示してもよい。  
このように本実施例においては、展開図Ｉｂを生成してこの展開図Ｉｂを内視鏡画像Ｉａと共に表示モニタ４に表示するようにしているので、単に内視鏡画像Ｉａの場合よりも周方向（θ方向）と奥行き方向（ｚ方向）との値をより比較等がし易い状態で表示できるので、バレット食道等の管状器官の診断をより客観的に行い易くなる。
【００２０】
従来例では、図８における内視鏡画像Ｉａのみが表示され、この内視鏡画像Ｉａでは管状器官等の内面を２次元的に投影した画像となっており、例えば奥行き方向の距離によって、縮小された状態で各部が表示される。  
このため、例えば奥行き方向の値が異なる部分を比較しようとしても、各部が奥行き方向の距離により、そのスケールが異なっているため、比較することが簡単にできない。    これに対して、本実施例によれば、２次元的に撮像された内視鏡画像Ｉａにおける各画素の位置を、中心位置を通る基準線の回りの周方向の位置と、この周方向と直交する（中心位置からの）距離位置とに変換した状態で、各画素の輝度値の情報を貼り付け、周方向の位置、つまり角θの値で展開して表示するようにしている。
【００２１】
このため、本実施例によれば、奥行き方向の距離が異なる位置でも、周方向のスケールを揃えて表示でき、従って場所が異なる部位での比較が簡単に行え、診断し易く表示できる。  
従って本実施例は、以下の効果を有する。  
直視型の内視鏡６により撮像された食道３１のような管状器官の内視鏡画像Ｉａに対して幾何学的な変換を行うことで、胃と食道の接合部から連続的に存在する円柱上皮の広がり方、円柱上皮と扁平上皮の特徴的な形状を容易に観察できる為、バレット食道等の診断を行い易くする効果がある。
【実施例２】
【００２２】
次に図９から図１３を参照して本発明の実施例２を説明する。  
本実施例は、図１の画像処理装置３と同じハードウェアの構成である。そして、実施例１とは処理プログラム記憶部２３に記憶される処理プログラムの内容が異なる。  
本実施例では、図９に示すように食道内面を、この食道内面の平均的な直径の値とした円柱体４１と仮定して、内視鏡６の（ＣＣＤ１６の）撮像面４２により撮像される内視鏡画像を円柱体４１の表面に投影する。  
つまり、図９に示すように（撮像装置１７を構成するＣＣＤ１６の）撮像面４２に撮像される内視鏡画像を円柱体４１の表面に、円柱体４１の内側を通して投影する。この場合、円柱体４１のサイズは、略食道の管壁（内壁）の値、より具体的にはその平均値に設定する。
【００２３】
つまり、円管に近い食道内面を対物レンズ１５及びＣＣＤ１６からなる撮像装置１７によりＣＣＤ１６の撮像面４２に結像し、その結像により光電変換されて撮像される主に食道及び胃につながる接合部付近の内視鏡画像を、その食道内側の管壁を近似した円柱体４１の内表面に対物レンズ１６により投影した画像を生成するように幾何学的な変換を行う。  
そして、この幾何学的な変換により、内視鏡画像が投影された円柱体４１を展開することにより、その円柱体４１に投影された内視鏡画像の展開図（の画像）を生成し、展開図を表示モニタ４等の表示装置に出力して、その表示装置の表示面に展開図を表示するようにする。
【００２４】
展開図を生成する処理手順を図１０のフローチャートにより説明する。  
実施例１と同様に画像処理装置３の動作が開始すると、ＣＰＵ２２は、処理プログラム記憶部２３の処理プログラムを読み出し、その処理プログラムに従った処理を開始する。ＣＰＵ２２は、最初のステップＳ２１において、内視鏡観察装置２のＣＣＵ８から画像入力部２１を経て入力される内視鏡画像Ｉａの画像データを取得する。  
そして、次のステップＳ２２においてＣＰＵ２２は、取得された画像データに対して歪曲収差補正（特開平８−２５６２９５号公報参照）や、ノイズ除去等の前処理を行い、さらにステップＳ２３において内視鏡画像内の最暗部の位置を検出し、検出された位置を内視鏡画像の座標の中心位置とする。  
図９に示すように内視鏡画像（ＣＣＤ１６の撮像面４２）上の座標系をＸ−Ｙ、円柱体表面の座標系をθ−Ｚとする。
【００２５】
図１１に示すように内視鏡画像Ｉａの各画素をＩ（ｉ、ｊ）（１≦ｉ≦ｉ＿ｍａｘ、１≦ｊ≦ｊ＿ｍａｘ）、最暗部の位置をＩ（ｉｏ、ｊｏ）とすると、図９の内視鏡画像の座標系Ｘ−Ｙにおける座標Ｐ（ｘ、ｙ）と、内視鏡画像Ｉａの画素位置Ｉ（ｉ、ｊ）との関係は以下の式（２）で表される。  
【数２】
2006181109.tif 000004
【００２６】
ただし、ｘCCDとｙCCDはＸ軸、Ｙ軸方向の画素間の距離である。
【００２７】
次にステップＳ２４とステップＳ２５において内視鏡画像Ｉａの画素の初期位置Ｉ（１、１）を設定する。つまり、画素位置パラメータｉ＝１，ｊ＝１と設定する。そして、次のステップＳ２６においてＣＰＵ２２は、内視鏡画像Ｉａの座標Ｐ（ｘ、ｙ）に対応する円柱体４１の表面の座標Ｃ（θ、ｚ）を以下の式（３）によって求める。  
【数３】
2006181109.tif 000005
【００２８】
ただし、ｆは撮像系（具体的には対物レンズ１５）の焦点距離、ｒは円柱体４１の半径（例えば食道の平均的な直径より半径を算出）、αは画角である。
【００２９】
ステップＳ２７においてＣＰＵ２２は、内視鏡画像Ｉａの画素Ｉ（ｉ、ｊ）（今の場合にはｉ＝１，ｊ＝１）に対応する円柱体４１の表面の座標位置Ｃ（θ、ｚ）を画像記憶部２４等で記憶する処理を行う。  
次のステップＳ２８において、ＣＰＵ２２は、パラメータｉを１増分（水平方向に画素を隣の画素に移動）し、ステップＳ２９においてパラメータｉがｉ＿ｍａｘ以下かの判断を行い、パラメータｉがｉ＿ｍａｘ以下であれば、ステップＳ２６に戻り、処理を継続する。  
一方、パラメータｉがｉ＿ｍａｘより大きくなった場合には、ＣＰＵ２２は、次のステップＳ３０の処理に進み、このステップＳ３０においてＣＰＵ２２は、パラメータｊを１増分（垂直方向に画素を隣の画素に移動）する。
【００３０】
次のステップＳ３１においてＣＰＵ２２は、パラメータｊがｊ＿ｍａｘ以下かの判断を行い、パラメータｊがｊ＿ｍａｘ以下であれば、ステップＳ２５に戻り、処理を継続する。  
一方、パラメータｊがｊ＿ｍａｘより大きくなった場合には、ＣＰＵは、次のステップＳ３２の処理に移る。  
このステップＳ３２においてＣＰＵ２２は、内視鏡画像Ｉａの全ての画素Ｉ（ｉ、ｊ）に対応する円柱体４１の表面の座標位置Ｃ（θ、ｚ）を求め、展開図を（以下で述べるように、補間処理により）生成する。  
図１２（Ｂ）に示す円柱体表面の座標系θ−ｚに、図１２（Ａ）の内視鏡画像Ｉａの各画素の輝度値を貼り付ける。
【００３１】
図１３に示す展開図Ｉｂで表示される円柱体表面に貼り付けられた画素は、不均一に存在し、Ｚの値が大きくなる程、粗くなる。  
また、図１３に示すように貼り付けられた各画素は、表示モニタ４等の表示装置に表示される画像の各画素位置と一致しない為、補間処理によって表示装置に表示する画像、すなわち展開図Ｉｂを生成する。  
つまり、ＣＰＵ２２はステップＳ３２において、上記補間処理を行い、表示モニタ４等の表示装置に表示可能な画像、すなわち展開図Ｉｂを生成する。そして、ＣＰＵ２２はステップＳ３３において、この展開図Ｉｂを内視鏡画像Ｉａと共に表示モニタ４に出力する。そして、ステップＳ３４に示すように表示モニタ４には、図８のように展開図Ｉｂ及び内視鏡画像Ｉａが表示され、この処理を終了する。但し、この展開図Ｉｂは実施例１とはｚ方向に関する傾向が異なる展開図として表示される。
【００３２】
本実施例は以下の効果を有する。  
食道３１のような管状器官の内面を円柱体４１と仮定し、内視鏡６の撮像面に撮影される内視鏡画像Ｉａを円柱体４１に投影することによって展開図Ｉｂを生成する為、実施例１よりも正確な展開図Ｉｂを生成できる。  
つまり、実施例１では、内視鏡画像Ｉａの各位置を、この内視鏡画像Ｉａにおける中心からの距離ｚと、中心を通る基準位置からの周方向の位置情報としての角θとによる極座標系に変換して、角θにより展開して距離ｚと共に展開図Ｉｂとして表示するようにしたのに対し、本実施例では食道３１の管状部位（管状器官）を円柱体４１と見なして、内視鏡画像Ｉａの位置をその円柱体４１の表面に投影して展開図Ｉｂを生成するようにしているので、より実際の状態を反映した展開図Ｉｂを生成できる。
【００３３】
従って、本実施例によれば、奥行き方向（管腔の軸方向）における値が異なる部分においてもより比較に耐える展開図Ｉｂを得ることができる。  
なお、実施例１及び実施例２では内視鏡画像内の最暗部の位置を検出して内視鏡画像Ｉａの中心位置としていたが、輝度の変化方向から中心位置を推定することもできる（特開２００３−９３３２８号公報参照）。
【実施例３】
【００３４】
次に図１４から図１７を参照して本発明の実施例３を説明する。  
本画像処理装置の構成は、実施例１と同じであり、処理プログラム記憶部２３に記憶される処理プログラムが異なる。そして、この処理プログラムにより以下の処理を行う。    本実施例では、食道のような管状器官を円柱体４１と仮定し、内視鏡先端（の撮像手段）と管状器官との位置関係をモデル画像及び内視鏡画像を用いて推定する。  
そして、推定された位置関係に基いて内視鏡６によって撮影された内視鏡画像を円柱体４１の表面に投影し、投影された画像を展開した展開図として表示モニタ４等の表示装置に表示する。
【００３５】
上記位置関係を推定するために、本実施例においては、内視鏡６の先端に設けられた撮像装置１７（の撮像面）と円柱体４１の位置関係を変更した複数のモデル画像を生成し、生成された複数のモデル画像と実際に撮影された内視鏡画像Ｉａとのマッチング処理をい、撮影された内視鏡画像Ｉａに近いモデル画像を検出する。  
そして、検出されたモデル画像から撮像装置１７と円柱体４１の位置関係を推定する。モデル画像の生成方法を図１４により説明する。  
図１４は、食道のような管状器官の内面を円柱体４１と仮定し、撮像装置１７の撮像面４２と円柱体４１の位置関係を示した図である。実施例２においては、撮像面４２の光軸が円柱体４１の中心を通る条件設定をしていたが、本実施例ではこの条件を外すと共に、両者が傾いている場合も考慮する。
【００３６】
円柱体４１を基準とした座標系をＸＬ−ＹＬ−ＺＬとすると円柱体４１表面の座標（ｘL、ｙL、ｚL）は以下の式（４）で表される。  
【数４】
2006181109.tif 000006
【００３７】
また、撮像面４２を基準とした座標系をＸ−Ｙ−Ｚとすると、円柱体４１の座標系ＸＬ−ＹＬ−ＺＬとの関係は以下の式（５）で表される。  
【数５】
2006181109.tif 000007
【００３８】
ただし、Ｒは回転行列、Ｍは並進行列である。つまり、行列ＲとＭは、撮像装置１７の撮像面４２に対する円柱体４１の位置関係を表すパラメータとなる。
【００３９】
撮像面４２によって撮影される内視鏡画像を基準とした座標系をＸＩ−ＹＩとすると、撮像面４２の座標系Ｘ−Ｙ−Ｚとの関係は、以下の式（６）で表される。  
【数６】
2006181109.tif 000008
【００４０】
図１５に示すように光源Ｑが物体から有限の距離ｄにあり、この光源Ｑを点光源と仮定し、この物体の具体例としての円柱体表面は、光源Ｑの光を拡散反射すると仮定した場合、円柱体表面の反射光Ｉは、以下の式（７）で表される。  
【数７】
2006181109.tif 000009
【００４１】
ただし、ｋは面の拡散反射率、Ｉｑは光源Ｑの光度、βは点Ｗにおける面の法線と光源方向ＱＷのなす角度、ｄは点Ｗと光源Ｑの距離である。
【００４２】
従って、撮像装置１７に対する円柱体４１の位置・向きを設定することにより円柱体表面の位置Ｂから撮像装置１７により撮影される内視鏡画像上の位置Ａを式（４）〜（６）で求め、そのときの輝度値を式（７）で算出することができる。  
図１６（Ａ）は撮像装置１７が円柱体４１の中心線５１上に存在し、中心線５１方向に向いている場合に得られるモデル画像６３ａ、図１６（Ｂ）は撮像装置１７を図１６（Ａ）の状態から平行に移動した場合に得られるモデル画像６３ｂ、図１６（Ｃ）は撮像装置１７を（Ａ）の状態から平行に移動し、向きを変更した場合に得られるモデル画像６３ｃである。  
従って、撮像装置１７と円柱体の位置−向きを複数設定し、複数のモデル画像を生成する。
【００４３】
そして、図１７に示すフローチャートに沿って処理し、以下に説明するように展開図Ｉｂを生成する。  
実施例１と同様に画像処理装置３の動作が開始すると、ＣＰＵ２２は処理プログラム記憶部２３の処理プログラムを読み出し、その処理プログラムに従った処理を開始する。ＣＰＵ２２は最初のステップＳ４１において、内視鏡観察装置２のＣＣＵ８から画像入力部２１を経て入力される内視鏡画像の画像データを取得する。  
そして、次のステップＳ４２においてＣＰＵ２２は、取得された画像データに対して歪曲収差補正（特開平８−２５６２９５号公報）や、ノイズ除去等の前処理を行い、ステップＳ４３においてモデル画像とのマッチング処理を行う。マッチング処理は正規化相互相関等により取得された内視鏡画像とモデル画像のとの相関値を計算し、相関が最も高いモデル画像を検出する。
【００４４】
ステップＳ４３のマッチング処理により取得された画像データと最も相関の高いモデル画像を検出し、検出されたモデル画像から撮像装置１７と円柱体４１の位置・向きの関係を求める。実施例１の図６（Ａ）に示すように内視鏡画像Ｉａの座標系をＸ−Ｙとし、展開図の座標系は、θＬ−ＺＬとする。  
次にステップＳ４４とステップＳ４５において円柱体表面の座標Ｓ（θL、ｚL）の初期値を設定する。ステップＳ４６において設定された座標Ｓ（θL、ｚL）に対応する内視鏡画像の座標Ｐ（ｘI、ｙＩ）を式（４）〜（６）によって求める。
【００４５】
ステップＳ４７において算出された座標Ｐ（ｘI、ｙI）が内視鏡画像内に存在するかを判断する。内視鏡画像内に存在する場合はステップＳ４８に進む。
【００４６】
実施例１の図７に示すように内視鏡画像の座標Ｐ（ｘI、ｙI）の位置は、画素間の中間に存在する可能性がある為、ステップＳ４８で線形補間等の処理を用いて座標Ｐ（ｘI、ｙI）の輝度値を算出する。  
例えば、得られた座標位置×の周囲４画素○（斜線）の輝度値と位置関係から座標位置×の輝度値を求める。  
ステップＳ４９においてステップＳ４８で求めた輝度値を展開図の座標Ｓ（θL、ｚL）の輝度値とする。  
次にステップＳ５０に進み、展開図のＺLの値を変更（例えばΔｚL＝１）し、ステップＳ４６に進む。
【００４７】
ステップＳ４７において算出された座標Ｐ（ｘI、ｙI）が内視鏡の画像内に存在しない場合、ステップＳ５１へ進み展開図のθLの値を変更する。（例えばΔθL＝π／ｌ８０：１°）  
ステップＳ５２でθＬが２π（３６０°）より小さければステップＳ４５へ進み展開図生成の処理を継続する。θＬが２π以上になった場合、展開図が生成されたと判断しステップＳ５３に進み、実施例１のように内視鏡画像と展開図を表示モニタ４に表示し処理を終了する（展開図のみを表示してもよい）。  
本実施例は以下の効果を有する。
【００４８】
食道のような管状の器官を円柱体４１と仮定し、円柱体４１と撮像装置１７の位置・向きの関係を画像から推定し、推定された位置・向きに基いて内視鏡画像の展開図を生成する為、実施例２よりもさらに正確な展開図を生成できる。  
実施例１〜実施例３では、細長の挿入部１１を有する内視鏡６を用いて説明したが、図１８に示すようなカプセル型内視鏡８２の場合にも適用できる。  
図１８に示すように変形例を備えたカプセル型内視鏡システム８１は患者が飲み込むことにより体腔内を撮像するカプセル型内視鏡装置（以下ではカプセル型内視鏡と略記）８２と、患者の体外に配置され、カプセル型内視鏡８２からの画像データを受信して記録する体外装置８３と、この体外装置８３から画像が入力される画像処理装置８４とからなる。
【００４９】
カプセル型内視鏡８２は、カプセル状の容器内に照明手段としての例えばＬＥＤ８５と、照明された被写体の像を結ぶ対物レンズ８６及びその結像位置に配置され、撮像を行う撮像手段を構成するＣＣＤ８７と、このＣＣＤ８７により撮像された撮像信号に対する信号処理等を行う制御回路８８と、撮像された画像を無線で送信する処理を行う無線回路８９と、各回路等に電力を供給する電池９０を有する。  
また、体外装置８３は、カプセル型内視鏡８２の無線回路８９のアンテナ８９ａから電波を複数のアンテナ９１ａ、９１ｂ、９１ｃを介して無線回路９２で受信し、その信号を制御回路９３に送る。この制御回路９３により、映像信号に変換して画像処理装置８４に出力する。
【００５０】
そして、画像処理装置８４は、上述した各実施例等の処理を行う。  
なお、制御回路９３は、複数のアンテナ９１ａ〜９１ｃにより、カプセル型内視鏡８２の位置を推定する位置検出機能９３ａを有する。そして、この位置検出機能９３ａを利用して、検出対象の画像を選択設定しても良い。つまり、この位置検出機能９３ａにより、食道から胃に至る境界に近い部位を撮像しているか否かを検出して、或程度境界に近い部位を撮像している場合には、上述した場合と同様に内視鏡画像として展開図の生成に利用するようにしても良い。  
このようにすると、検出対象となる食道から胃に至る境界に近い部位の生体粘膜を効率良く判定することができる。  
なお、上述した各実施例を部分的に組み合わせる等して構成される実施例等も本発明に属する。
【００５１】
［付記］
１．請求項５において、前記中心位置設定手段は、医療画像内の最暗部を検出し、検出され最暗部の重心位置を中心位置とする手段であることを特徴とする。  
２．請求項５において、前記中心位置設定手段は、画像内の輝度の変化方向から中心位置を推定する手段であることを特徴とする。  
３．請求項１において、撮像手段によって撮像される前記医療画像の歪曲収差を補正する歪曲収差補正手段を有することを特徴とする。  
４．請求項１において、さらに、撮像手段で撮像された前記医療画像と、前記変換画像とを表示する表示手段とを有することを特徴とする請求項１に記載の医療画像処理装置。
【００５２】
５．請求項１において、前記画像変換手段は、体腔内を撮像した前記医療画像から円柱体の表面に投影される２次元画像を生成する幾何学的な画像変換を行うことを特徴とする。６．体腔内の画像を撮像する撮像手段と、
前記撮像手段によって撮像された医療画像により撮像手段と体腔内の位置関係を推定する位置推定手段と、
前記位置推定手段により得られた位置関係を用いて前記撮像手段による医療画像を幾何学的に変換する画像変換手段と、
前記画像変換手段により得られた変換画像を表示する表示する表示手段と、
を有することを特徴とする医療画像処理装置。
【００５３】
７．付記６において、前記位置推定手段は、体腔内の器官のモデル形状から得られる画像と前記撮像手段による医療画像との相関性から位置関係を推定する手段であることを特徴とする。
【００５４】
８．付記７において、前記体腔内の器官のモデル形状から得られる画像は、撮像手段に対して異なる位置関係のモデル形状を複数設定し、設定された位置関係により算出する手段を有することを特徴とする。  
（付記６〜８の目的）より正確な展開図を生成することによってバレット食道のような病変の診断能力を改善することを目的として、付記６〜８の構成にした。  
（付記６〜８の作用効果）撮像手段と円柱状器官（管状器官）との位置関係を推定することにより正確な展開図を生成することができる。
【００５５】
９．体腔内を撮像した医療画像に対して幾何学的に変換する画像変換ステップと、
前記画像変換ステップにより得られた変換画像を展開図の画像として表示手段に出力する展開図出力ステップと、
を有することを特徴とする医療画像処理方法。  
１０．付記９において、前記画像変換ステップは、前記医療画像を極座標系へ変換する変換ステップにより構成されることを特徴とする。
【００５６】
前記画像変換手段は、前記医療画像を円柱体に投影する変換手段により構成されることを特徴とする請求項１に記載の医療画像処理装置。
【００５７】
１１．付記９において、前記画像変換ステップは、体腔内を撮像した前記医療画像から円柱体の表面に投影される２次元画像を生成する幾何学的な画像変換を行うことを特徴とする。    
１２．付記９において、さらに、撮像手段によって撮像される前記医療画像の中心位置を設定する中心位置設定ステップを有することを特徴とする。
【産業上の利用可能性】
【００５８】
体腔内に挿入して食道等の管状器官を撮像した画像からその管状器官に近い形状の円柱体に投影するなどして展開図として表示される画像を生成するようにしているため、奥行き方向の値が異なる部分でも同じスケールで表示でき、比較などがし易くかつ客観的な診断も行い画像を得ることができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施例１を備えた内視鏡システムの構成を示すブロック図。
【図２】食道のような円管状器官内に挿入された内視鏡により撮像する様子を示す図。
【図３】図２の内視鏡に設けられた撮像装置により撮像された内視鏡画像を示す図。
【図４】ＣＰＵによる画像処理機能を示すブロック図。
【図５】展開図を生成する為の処理手順を示すフローチャート図。
【図６】内視鏡画像と展開図の関係を示す図。
【図７】展開図から得られる座標位置と内視鏡画像の各画素との位置関係の説明図。
【図８】生成された展開図と内視鏡画像をモニタに表示した状態を示す図。
【図９】本発明の実施例２における内視鏡画像を円柱体の表面に投影する様子を示す説明図。
【図１０】実施例２における展開図を生成する為の処理手順を示すフローチャート図。
【図１１】内視鏡画像における各画素位置を示すための説明図。
【図１２】内視鏡画像の各画素の位置を円柱体表面に投影して、各画素の輝度値を貼り付けて展開図を生成するための説明図。
【図１３】内視鏡画像の各画素が貼り付けられる位置と表示装置に展開図として表示される画像の位置とが一致しない場合に補間処理を行うことの説明図。
【図１４】本発明の実施例３における内視鏡画像を円柱体の表面に投影する様子を示す説明図。
【図１５】光源からの光が物体の表面で反射される様子を示す説明図。
【図１６】内視鏡の撮像装置と円柱体との相対的な位置関係の代表例及び対応するモデル画像を示す図。
【図１７】実施例３における展開図を生成する為の処理手順を示すフローチャート図。
【図１８】変形例を備えたカプセル型内視鏡システムの構成図。
【符号の説明】
【００６０】
１…内視鏡システム
２…内視鏡観察装置
３…画像処理装置
４…表示モニタ
６…内視鏡
７…光源装置
８…ＣＣＵ
１１…挿入部
１５…対物レンズ
１６…ＣＣＤ
１７…撮像装置
２１…画像入力部
２２…ＣＰＵ
２２ａ…幾何学的変換手段
２２ｂ…展開図出力手段
２３…処理プログラム記憶部
２４…画像記憶部
２５…情報記憶部
２７…ハードディスク
２８…表示処理部
２９…入力操作部
３１…食道
４１…円柱体
４２…撮像面
Ｉａ…内視鏡画像
Ｉｂ…展開図（展開図の画像）
代理人    弁理士    伊藤  進
【図１】
2006181109.tif 000010
【図２】
2006181109.tif 000011
【図３】
2006181109.tif 000012
【図４】
2006181109.tif 000013
【図５】
2006181109.tif 000014
【図６】
2006181109.tif 000015
【図７】
2006181109.tif 000016
【図８】
2006181109.tif 000017
【図９】
2006181109.tif 000018
【図１０】
2006181109.tif 000019
【図１１】
2006181109.tif 000020
【図１２】
2006181109.tif 000021
【図１３】
2006181109.tif 000022
【図１４】
2006181109.tif 000023
【図１５】
2006181109.tif 000024
【図１６】
2006181109.tif 000025
【図１７】
2006181109.tif 000026
【図１８】
2006181109.tif 000027