(57)【要約】  【課題】  部分的に歪みの強弱が存在する異方性画像と等方性画像の重畳に対応できる。  【解決手段】  内視鏡画像を含む所定の歪を有した異方性画像を得た計測装置によって２次元格子画像を撮像する工程と、前記撮像された２次元格子画像の共線性の条件を適用することにより前記異方性画像に対する第１の歪み補正ベクトルマップを算出する工程と、前記算出された第１の歪み補正ベクトルマップより歪の最小位置を求める工程と、前記求められた最小位置より前記２次元格子画像の位相分布から前記異方性画像に対する第２の歪み補正ベクトルマップを算出する工程と、前記算出された第１及び第２の歪み補正ベクトルマップにより前記異方性画像の歪みを補正して等方性画像へ変換する工程と、前記変換された等方性画像と画像診断装置によって撮影された等方性画像とを重畳する工程と、前記重畳された画像を表示する工程と、を含む。【選択図】      図１
2006227774.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡画像を含む所定の歪を有した異方性画像を得た計測装置によって２次元格子画像を撮像する工程と、
前記撮像された２次元格子画像の共線性の条件を適用することにより前記異方性画像に対する第１の歪み補正ベクトルマップを算出する工程と、
前記算出された第１の歪み補正ベクトルマップより歪の最小位置を求める工程と、
前記求められた最小位置より前記２次元格子画像の位相分布から前記異方性画像に対する第２の歪み補正ベクトルマップを算出する工程と、
前記算出された第１及び第２の歪み補正ベクトルマップにより前記異方性画像の歪みを補正して等方性画像へ変換する工程と、
前記変換された等方性画像と画像診断装置によって撮影された等方性画像とを重畳する工程と、
前記重畳された画像を表示する工程と、を含むことを特徴とする画像表示方法。
【請求項２】
画像診断装置によって撮像された対象臓器表面または内部の画像データを記憶部に記憶し、その記憶された画像データを読み出す工程と、
前記画像診断装置によって２次元格子画像を撮像する工程と、
内視鏡装置によって撮像された被検体の対象臓器の画像データを記憶部に記憶し、その記憶された画像データを読み出す工程と、
前記撮像された２次元格子画像を用いて前記内視鏡装置の対物レンズと前記対象臓器との距離を変化させたときの歪み最小点における拡大率を算出する工程と、
前記算出された拡大率に基づき前記画像データを拡大する工程と、
前記拡大された画像データを前記内視鏡装置によって読み出された画像データの歪みに基づき変形する工程と、
前記変形された画像データと前記内視鏡装置によって読み出された画像データを重畳する工程と、
前記重畳された画像を表示する工程と、を含むことを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、磁気共鳴イメージング装置やX線CT装置などの医用画像診断装置によって得られた医用診断画像などの等方性画像と、所定の歪を有した内視鏡画像などの異方性画像との重畳画像を作成し、その重畳画像を表示する技術に関する。
【背景技術】
【０００２】
内視鏡手術では、直視下ではなく視野の狭い2次元内視鏡像を通して対象部位を見るため、近年では外科医を支援する技術として術中ガイドイメージング技術が注目されている。
この術中ガイドイメージング技術は、内視鏡下で常に変化する状況に把握しながら、手術支援ロボットの操作や内視鏡カテーテル術などを実施するために、内視鏡下で撮影される対象部位の幾何学的情報(位置や大きさ)を取得できることはもちろんのこと、内視鏡下で撮影されない対象部位の幾何学的情報を取得し全体像を把握できることが重要である。
【０００３】
そこで、等方性画像と異方性画像の重畳表示が必要となるが、両者は画像ができた座標系が異なるために、単純に重畳することができない。そこで、異なる座標系同士画像の重ね合わせの例として、特許文献1がある。
【０００４】
特許文献1には、2次元格子が描かれた基準平板を該基準平板と直角方向に平行移動できるよう1軸テーブル上に設置する工程と、テレビカメラを前記基準平板に2次元格子が投影できる手前側位置に設置する工程と、格子投影装置を前記の基準平板に2次元格子が投影できる手前側位置に設置する工程と、基準平板の移動前とその移動後との複数の位置における基準平板に描かれた2次元格子を撮影した画像から位相値分布を計算してその結果をコンピュータのメモリーに記録する工程と、 前記複数の位置における基準平板に格子投影装置から投影された2次元格子を撮影し、この撮影した画像を位相値データに変換してコンピュータのメモリーに記録する工程と、基準平板の移動前位置と移動後位置との間におかれた測定対象物である試料物体上に格子投影装置から投影された2次元格子をテレビカメラで撮影し、それぞれの画素について、その画素の画面内座標と投影格子の位相値および位相値分布計算メモリーと撮影画像より変換した位相値データメモリーとで記録されたデータからその画素に写されている測定対象物上の点の空間座標を算出する工程との各工程の組合せより成り、レンズの収差の影響が測定に入ることを防ぐことが開示されている。
【特許文献１】特許第2913021号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献1は、(1)格子幅の1/2以上の長さを補正する場合、(2)異なる格子サイズが混在する場合など、内視鏡像のように部分的に歪みの強弱が存在する場合に対応できないという問題が依然として残っている。
本発明の目的は、部分的に歪みの強弱が存在する異方性画像と等方性画像の重畳に対応可能な画像表示方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的は、内視鏡画像を含む所定の歪を有した異方性画像を得た計測装置によって2次元格子画像を撮像する工程と、前記撮像された2次元格子画像の共線性の条件を適用することにより前記異方性画像に対する第１の歪み補正ベクトルマップを算出する工程と、前記算出された第1の歪み補正ベクトルマップより歪の最小位置を求める工程と、前記求められた最小位置より前記2次元格子画像の位相分布から前記異方性画像に対する第2の歪み補正ベクトルマップを算出する工程と、前記算出された第1及び第2の歪み補正ベクトルマップにより前記異方性画像の歪みを補正して等方性画像へ変換する工程と、前記変換された等方性画像と画像診断装置によって撮影された等方性画像とを重畳する工程と、前記重畳された画像を表示する工程と、を含むことによって達成される。
【０００７】
また、画像診断装置によって撮像された対象臓器表面または内部の画像データを記憶部に記憶し、その記憶された画像データを読み出す工程と、前記画像診断装置によって2次元格子画像を撮像する工程と、内視鏡装置によって撮像された被検体の対象臓器の画像データを記憶部に記憶し、その記憶された画像データを読み出す工程と、前記撮像された2次元格子画像を用いて前記内視鏡装置の対物レンズと前記対象臓器との距離を変化させたときの歪み最小点における拡大率を算出する工程と、前記算出された拡大率に基づき前記画像データを拡大する工程と、前記拡大された画像データを前記内視鏡装置によって読み出された画像データの歪みに基づき変形する工程と、前記変形された画像データと前記内視鏡装置によって読み出された画像データを重畳する工程と、前記重畳された画像を表示する工程と、を含むことによって達成される。
【発明の効果】
【０００８】
本発明によれば、部分的に歪みの強弱が存在する異方性画像と等方性画像の重畳に対応できる。
【発明を実施するための最良の形態】
【０００９】
内視鏡装置は可撓性をもつ管の中に多数並べたレンズの間で1回ずつ像を作る光学系である。この光学系は個々のレンズの像面湾曲を小さくすることが難しく、その像面湾曲によって発生する歪曲収差は、視野角が大きくなると目立つようになる。
また、内視鏡は対物レンズと被写体との距離によって被写体を拡大表示するため、球面収差によって内視鏡像内でも画像中央部分と画像周辺部分でそれぞれ拡大率が異なる。
【００１０】
そこで、歪みが部分的に異なる内視鏡像は、2次元格子データを用いて画像歪み量の少ない画像(中間画像)へと補正される。この中間画像は2次元格子画像を用いて等方性画像へと変換される。また、逆に内視鏡像に合わせるために診断画像を歪ませる(ここでは、「逆補正」という)。この操作は、リアルタイムで得られる内視鏡像に適用され、リアルタイムに得られた内視鏡像は上記2次元格子データ(補正データ)により補正される。
【００１１】
本歪み補正方法は大別すると2段階の補正処理ステップで実行される。1段目は共線性の条件を用いた粗い歪み補正(100→200)であり、2段目はヒルベルト変換を用いた微細な歪み補正(200→300)である[特許文献1](図1)。それぞれの補正処理によって作成されたX方向、Y方向の2つの補正ベクトルマップにより、画像を補正するものである。この補正の詳細は、電子情報通信学会論文誌D-II Vol.J75-D−II No.5，pp．1009−1013(1992年5月)に記載されている。
【００１２】
前者は、画像上から算出した点列を結ぶ複数の線が共線となる条件で歪み補正する方法である。共線性の条件とは、複数の点が同一直線上にあることをいう。それによる歪み補正とは、画像上から算出した点列を結ぶ複数の折れ線が共線となる条件で、最急降下法により点列を探索する方法である。点列(xa,ya)が共線である必要十分条件は、式1に示されるモーメント行列
【数１】
2006227774.tif 000003
の最小固有値が0となることである。但し、fは任意の整数である。
【００１３】
例えば、画像上の点(x,y)が変位(u,v)によって点(x',y')に補正されるとすると、補正公式は、式2で表すことができる。  
【数２】
2006227774.tif 000004
歪みはx軸、y軸に関して対称(uはxについて奇関数、yについて偶関数、uはxについて偶関数、yについて奇関数)であり、a10xおよびb01yはそれぞれx方向、y方向への単なるスケール変化(400及び500)と仮定すると、補正モデルは式3で与えられる。
【数３】
2006227774.tif 000005
【００１４】
画像に歪みがなければ、補正点列からなる直線すべては共線であるため、補正点列からなる直線の固有値の合計は0となる。従って、モーメント行列の固有値を最小にするよう補正係数A,B,C,Dを決定すればよい。この方法は補正量に限界がないが、歪みがx軸、y軸に関して対称であると仮定しているため、図2に示すように補正中心点の位置(XY軸が交差した位置)に補正精度が依存する(600)。また、画像上から算出した点列の抽出精度にも依存する(700)ため、補正レベルは中程度である。しかし、補正中心点を全画面に対して走査したときの最小固有値を比較することで、最も歪みの少ない補正中心点(歪み最小点)を検索することができる。
【００１５】
後者は等ピッチの格子データを撮影した画像をフーリエ変換して得たスペクトルから、基本波成分の第一高調波成分のみを抽出する。逆フーリエ変換して得た正弦波形の実信号をヒルベルト変換し、実信号の振幅変化と位相変化を独立に判別することで位相画像を作成する。位相画像の位相変化の違いから、歪み量を算出して内視鏡像を補正する。歪み最小点を中心として補正しなければならないことや補正量に限界があるというデメリットがあるが、補正レベルが高い。
【００１６】
それぞれの補正方法には得失があり、個々の歪み補正方法のみ用いた場合、電子内視鏡のように歪みが強い画像を正確に補正することは困難である。特に、ヒルベルト変換による歪み補正方法では、格子幅の1/2以上の長さを補正することや部分的に格子サイズが大きく異なるものを補正できない。共線性の条件を用いた歪み補正では歪み最小点の検索と、ヒルベルト変換するために必要な格子幅まで歪み補正を行うことによって、ヒルベルト変換するための最適な画像に変換し、微細な歪みまでも補正することができる。このように、歪みが強い画像に対しては、多段的な補正方法を行うことで、個々の補正方法の制約条件を解決しつつ、補正できる。
【００１７】
次に、2つの歪み補正ベクトルマップは1つの歪み補正ベクトルマップ800に統合される。その方法は図3に示される。統合された歪み補正ベクトルマップ800は、歪み補正ベクトルマップ500から歪み補正ベクトルマップ400から求められる。統合された歪み補正ベクトルマップは最終歪み補正画像300から元画像100へ歪み逆補正することや元画像100から最終歪み補正画像300へ補正することができる。歪み補正ベクトルマップは歪み補正後の画像と一対一に対応している。歪み補正ベクトルマップには歪み補正後画像の各点の歪み補正ベクトルが格納されており、その歪み補正ベクトルが示す位置の濃度値を歪み補正前画像から参照し、歪み補正後画像に割り当てることができる。
【００１８】
まず、最終歪み補正画像3のある点(X,Y)は中間歪み補正画像の点(X',Y')から参照された点である。このときの歪み補正ベクトルは(dx1,dy1)であり、最終補正画像のある画素の位置情報は倍精度の値を持つ。また、最終歪み補正画像のある画素の周辺にある画素OABCの位置情報は
【数４】
2006227774.tif 000006
で表される。画素OABCは整数であり、Oに対する最終補正画像のある画素の位置情報の変位は(dx2,dy2)で表される。図4のOABCの濃度値は歪み補正マップ400を使って図5のI、II、III、IV(点O'A'B'C')の濃度値から参照される。P(X',Y')を参照する点は図5のように、P'とする。OPの延長線上でACまたはBCと交わった点はQとし、O'P'の延長線上でA'C'またはB'C'と交わった点はQ'とする。交点Q'はdx＞dyの条件のとき線分A'C'が選択され、dx＜dyの条件のとき線分B'C'が選択される。P(X',Y')は初期濃度値の位置P'から参照されるが、P(X',Y')とOABCの位置関係と、位置P'と点O'A'B'C'の位置関係が同じであると仮定すると、線分ACが選択された場合、OP:PQ={s:1-s|0<s<1}、
【数５】
2006227774.tif 000007
で表される。
【００１９】
Q'P'は算出されたs,tを用いて、
【数６】
2006227774.tif 000008
求めることができる。
【００２０】
また、歪み補正手段3は歪み補正ベクトルの近似式を算出することもできる。この算出の例は、図6のように、X,Y座標の変位(dx,dy)それぞれの2次方程式を考える。ここでは、dx=Uとして最小2乗法により曲面近似する例を採用する。サンプル点データは{(x1,y1,z1)(x2,y2,z2)…(xn,yn,zn)}であるとすると、これを2次曲面で近似する場合の目的評価関数Sは式7で与えられる。
【数７】
2006227774.tif 000009
【００２１】
Sを最小とするための条件は、右辺をa,b,c,d,e,f,g,h,iの各々で偏微分した値が0となることであり、これを整理すると、式8のようになる。
【数８】
2006227774.tif 000010
【００２２】
式8より求めたパラメータをA,B,C,D,E,F,G,H,Iとすると、求める2次曲面関数は式9となる。
【数９】
2006227774.tif 000011
【００２３】
または、2次曲面は楕円的放物面と仮定されると、目的評価関数Sと求めるべき楕円的放物面は式10で与えられる。
【数１０】
2006227774.tif 000012
座標X,Yにおける歪み補正ベクトルは、これら2次曲面によって求めることができる。
【００２４】
また、式3を目的評価関数S1,S2として、最小2乗法で曲面を近似してもよい。この近似式を式11に示す。
【数１１】
2006227774.tif 000013
【００２５】
また、内視鏡を等方性画像へと変換する歪み補正処理が行えることは、その逆歪み補正処理も可能である(図3)。他の診断装置で得られた等方性の診断画像は内視鏡レンズにより大きく歪んだ内視鏡像と同等の異方性画像へと変換され、内視鏡像に重畳表示するための内視鏡像逆歪み補正方法について説明する。ここで、手法の例は、内視鏡で撮影した2次元格子画像を用いて内視鏡と対象物との距離を変化させ、歪み最小点に点を表示し、検出した点領域からピクセル当たりの長さを算出すると、深さ(デプス)に対する拡大率を算出できる。
【００２６】
そして、リアルタイムに生体情報を取得できる手術場環境システムにおいて、時々刻々と入力される実際の診断画像と内視鏡先端とのデプス情報から、拡大率によって診断画像の各々の画素を拡大し、内視鏡像面に投影する。
【００２７】
投影された画像は、歪み補正ベクトルマップ800(図7)または歪み補正曲線1200，1300(図6)から、内視鏡像の歪みに対応した画像に逆補正される。例えば、図8のように、診断画像1900の関心領域(管腔臓器)と内視鏡像とを画像重畳する場合(つまり、仮想内視鏡像と内視鏡像を重畳表示する場合)、従来は(a)のように視点1700から中心投影し、管腔臓器2000に到達した点を内視鏡像面に投影して画像を再構成する。この再構成処理は画角の設定により様々な仮想内視鏡像を作成できるが、中心投影される位置情報を幾何学的に歪み補正するため、実際の内視鏡像の位置情報と一致しているとは必ずしも言えない。
【００２８】
本方法は、関心領域の表面または内部情報を一旦、拡大率を用いて視線21(歪み最小点を平行投影した線)を中心として放射状に拡大させ、投影されたデータを歪み補正ベクトルマップにより歪み逆補正を行う。
この仮想内視鏡像は内視鏡歪みを忠実に反映しており、内視鏡像と関心領域の位置情報を正確に一致させることが可能である。また、この方法であれば、術前に撮影された診断画像のボリュームに対して、リアルタイムに生体情報を取得できる手術場環境システム(例えばMRI装置)で撮影された数枚の診断画像から抽出された関心領域を逐次更新して、部分的にリアルタイムで画像重畳表示することができる。
【００２９】
従って、本方法では、最新の診断画像で内視鏡だけでは視認不可能な臓器等の正確な位置関係を把握できることになる。また、内視鏡像に表示された臓器の実際の位置情報を画像重畳した診断画像の位置情報から算出し、あたかも内視鏡像上だけで計測したかの如く、直感的に空間認知できる。
【００３０】
最後に、本発明の画像表示方法に採用するハードウエア構成の例について図9を用いて説明する。
手術場環境システム1は、画像診断装置や内視鏡装置を含めた術中画像提示システムで、画像情報ばかりでなく、画像診断装置で撮影される画像の位置情報や手術器具の位置情報、内視鏡の位置情報を提示するもので、医用画像診断装置11と、内視鏡装置12と、医用画像診断装置11及び内視鏡装置12に信号伝達可能に接続される位置情報処理装置13を有している。医用画像診断装置11は、磁気共鳴イメージング装置や超音波装置、X線CT装置などの医用画像を手術中の術中画像として撮影するモダリティと呼ばれるものである。内視鏡装置12は前記術中画像と略同じタイミングで内視鏡像を撮影する。モダリティ11と内視鏡装置12はそれぞれの画像データを記憶するメモリ、磁気ディスク等の記憶部を有している。位置情報処理装置13は、光学式や磁気式のトラッキングシステムを介し、モダリティ11と内視鏡装置12を撮影した部位情報から位置情報をそれぞれ得て、モダリティ像と内視鏡像を重畳するための位置情報を出力する。
【００３１】
画像処理装置2は、処理部21と、処理部21に信号伝達可能に接続される表示部21とを有している。
処理部21は手術場環境システム1からの画像情報、位置情報を取り込んで、予め撮像された2次元格子画像の共線性の条件を適用することにより前記内視鏡像に対する第1の歪み補正ベクトルマップ(400)を算出し、その算出された第1の歪み補正ベクトルマップ(400)より歪の最小位置を求め、前記求められた最小位置より前記2次元格子画像の位相分布から前記内視鏡像に対する第2の歪み補正ベクトルマップ(500)を算出し、それぞれ算出された第1及び第2の歪み補正ベクトルマップにより前記内視鏡像の歪みを補正し、等方性画像へ変換し、前記変換された等方性画像と異なるモダリティ像とを重畳する表示部22は、処理部21によって重畳された画像を表示する。
上記手術場環境システム1と画像処理装置2からなるハードウエア構成は、部分的に歪みの強弱が存在する異方性画像と等方性画像の重畳に対応できる。
【図面の簡単な説明】
【００３２】
【図１】本発明の画像表示方法で内視鏡像歪み補正処理の原理図を示す図。
【図２】補正中心点の違いによる補正精度比較結果を示す図。
【図３】統合した歪み補正ベクトルマップの概略図。
【図４】ヒルベルト変換による歪み補正ベクトルマップ逆参照方法。
【図５】共線性の条件による歪み補正ベクトルマップ逆参照方法。
【図６】歪み補正近似式。
【図７】デプスマップ作成から画像歪み処理までの処理。
【図８】内視鏡像の歪みに対応した仮想内視鏡表示。
【図９】本発明に採用するハードウエア構成例を示すブロック図。
【符号の説明】
【００３３】
100  元画像、200  中間歪み補正画像(共線性の条件による歪み補正処理結果)、300  最終歪み補正画像(ヒルベルト変換による歪み補正処理結果)、400，500  歪み補正ベクトルマップ(X方向，Y方向の2つの歪み補正ベクトルマップを持つ)
【図１】
2006227774.tif 000014
【図２】
2006227774.tif 000015
【図３】
2006227774.tif 000016
【図４】
2006227774.tif 000017
【図５】
2006227774.tif 000018
【図６】
2006227774.tif 000019
【図７】
2006227774.tif 000020
【図８】
2006227774.tif 000021
【図９】
2006227774.tif 000022