(57)【要約】【課題】同一の部位を撮影したときの内視鏡動画像と比較内視鏡動画像とを動画として同時に表示装置に表示させる。【解決手段】パターン抽出手段３により取得した内視鏡動画像Ｐのフレーム画像ＰＦから血管パターンＸが抽出される。シフトベクトル算出手段５ａにおいて、血管パターンＸと比較血管パターンＹとにおける血脈の位置ずれを示すシフトベクトルが生成され、パターンシフト手段５ｂにより血管パターンＸ内の血脈がシフトベクトルを用いてシフトされる。次に、血管パターンＸと比較内視鏡動画像Ｐ０を構成する比較フレーム画像ＰＦ０から抽出されたすべての比較血管パターンＹとの間で相関係数ρが算出される。比較画像選択手段５ｄにおいて、血管パターンＸを含む比較フレーム画像ＰＦ０が選択され、血管パターンＸを含むフレーム画像ＰＦと比較フレーム画像ＰＦ０とが同時に表示される。【選択図】図１
2008194334.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡装置を用いて被験者から動画として取得した内視鏡動画像を構成するフレーム画像に含まれる血管パターンを抽出し、
予め前記内視鏡装置を用いて前記被験者から動画として取得した比較内視鏡動画像を構成する複数の比較フレーム画像から、抽出した前記血管パターンを含む前記比較フレーム画像を選択し、
前記フレーム画像を前記表示装置に表示するときに、選択した前記比較フレーム画像を同時に表示する
ことを特徴とする内視鏡画像表示方法。
【請求項２】
内視鏡装置を用いて動画として取得された被験者の内視鏡動画像を構成するフレーム画像に含まれる血脈を血管パターンとして抽出するパターン抽出手段と、
予め前記内視鏡装置を用いて動画として取得された前記被験者の比較内視鏡動画像を記憶した画像データベースと、
該画像データベースに記憶された前記比較内視鏡動画像を構成する複数の前記比較フレーム画像から、前記パターン抽出手段により抽出された前記血管パターンを含む前記比較フレーム画像を選択する比較画像処理手段と、
前記フレーム画像を前記表示装置に表示するときに、前記比較画像処理手段により選択された前記比較フレーム画像を同時に表示する表示制御手段と
を備えたことを特徴とする内視鏡画像表示装置。
【請求項３】
前記パターン抽出手段が、前記内視鏡画像に含まれる前記血脈が黒色領域になるように前記内視鏡画像に２値化処理を施すことにより、前記血脈を前記血管パターンとして抽出するものであることを特徴とする請求項２記載の個人認証装置。
【請求項４】
前記血管パターンに対しアフィン変換を施すことにより、回転角度の異なる複数の前記血管パターンを生成するパターン回転手段をさらに備え、前記比較画像処理手段が、該パターン回転手段により生成された前記血管パターンを用いて該血管パターンを含む前記フレーム画像を選択するものであることを特徴とする請求項３記載の内視鏡画像表示装置。
【請求項５】
前記比較画像処理手段が、
前記血管パターン内の黒色領域の位置と、前記比較血管パターン内の黒色領域の位置とのずれをシフトベクトルとして算出するシフトベクトル算出手段と、
該シフトベクトル算出手段により算出された前記シフトベクトルを用いて前記血管パターン内において黒色領域の位置をシフトさせるパターンシフト手段と、
該パターンシフト手段により黒色領域がシフトされた前記血管パターンと前記比較血管パターンとの相関度合いを相関係数として算出する係数算出手段と、
該係数算出手段において前記比較フレーム画像毎に含まれる前記複数の比較血管パターンについてそれぞれ算出された複数の前記相関係数を用いて、前記血管パターンを含む前記比較フレーム画像を選択する比較画像選択手段と
を備えたものであることを特徴とする請求項３または４記載の内視鏡画像表示装置。
【請求項６】
コンピュータに、
内視鏡装置を用いて動画として取得された被験者の内視鏡動画像を構成するフレーム画像に含まれる血脈を血管パターンとして抽出し、
予め前記内視鏡装置を用いて動画として取得された前記被験者の比較内視鏡動画像を構成する複数の比較フレーム画像から、抽出した前記血管パターンを含む前記比較フレーム画像を選択し、
前記フレーム画像を前記表示装置に表示するときに、選択した前記比較フレーム画像を同時に表示する
ことを実行させるための内視鏡画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置を用いて撮影され取得された内視鏡動画像を表示装置に表示する内視鏡画像表示方法および装置ならびにプログラムに関するものである。
【背景技術】
【０００２】
内視鏡装置を用いて被写体の体腔内の撮影をしたときに、内視鏡装置を用いて撮影されている内視鏡画像だけでなく、内視鏡画像に関連した情報や過去に撮影した内視鏡画像を同時に表示することが提案されている（たとえば特許文献１参照）。特許文献１においては、内視鏡装置とたとえばパーソナルコンピュータ等の外部接続機器とをデータ転送可能に接続し、内視鏡画像と同じ患者の過去の内視鏡画像を表示させたいときには、外部接続機器で検索した過去の内視鏡画像を比較画像として内視鏡画像と同時に表示することができるようになっている。
【特許文献１】特開２００１−１５７２００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１において表示する内視鏡画像および過去の内視鏡画像は静止画である一方、近年においては、撮影している内視鏡画像を動画として表示する場合がある。よって、内視鏡画像が動画像の場合にも、内視鏡画像と過去の内視鏡画像とを同時に表示することが望まれている。
【０００４】
しかし、特許文献１のように、動画の場合に内視鏡画像と過去の内視鏡画像を同時に表示したとき、必ずしも体腔内の同一の部位の画像が同時に表示装置に表示されるとは限らないという問題がある。つまり、内視鏡画像と過去の内視鏡画像とが体腔内の同一の部位を撮影したものであっても、内視鏡画像と過去の内視鏡画像との間で同一の部位が表示されるタイミングが異なる場合がある。一方で、内視鏡画像と過去の内視鏡画像とを比較することにより診断効率を向上させるためには、同一の部位を撮影したときの内視鏡画像と過去の内視鏡画像とを同時に表示する必要がある。
【０００５】
そこで、本発明は、同一の部位を撮影したときの内視鏡動画像と比較内視鏡動画像とを動画として同時に表示装置に表示させることができる内視鏡画像表示方法および装置ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の内視鏡画像表示方法は、内視鏡装置を用いて動画として取得された被験者の内視鏡動画像を構成するフレーム画像に含まれる血脈を血管パターンとして抽出し、予め内視鏡装置を用いて動画として取得された被験者の比較内視鏡動画像を構成する複数の比較フレーム画像から、抽出した血管パターンを含む比較フレーム画像を選択し、フレーム画像を表示装置に表示するときに、選択した比較フレーム画像を同時に表示することを特徴とするものである。
【０００７】
本発明の内視鏡表示装置は、内視鏡装置を用いて動画として取得された被験者の内視鏡動画像を構成するフレーム画像に含まれる血脈を血管パターンとして抽出するパターン抽出手段と、予め内視鏡装置を用いて動画として取得された被験者の比較内視鏡動画像を記憶した画像データベースと、画像データベースに記憶された比較内視鏡動画像を構成する複数の比較フレーム画像から、パターン抽出手段により抽出された血管パターンを含む比較フレーム画像を選択する比較画像処理手段と、フレーム画像を表示装置に表示するときに、比較画像処理手段により選択された比較フレーム画像を同時に表示する表示制御手段とを備えたことを特徴とするものである。
【０００８】
本発明の内視鏡画像表示プログラムは、コンピュータに、内視鏡装置を用いて動画として取得された被験者の内視鏡動画像を構成するフレーム画像に含まれる血脈を血管パターンとして抽出し、予め内視鏡装置を用いて動画として取得された被験者の比較内視鏡動画像を構成する複数の比較フレーム画像から、抽出した血管パターンを含む比較フレーム画像を選択し、フレーム画像を表示装置に表示するときに、選択した比較フレーム画像を同時に表示することを実行させることを特徴とするものである。
【０００９】
ここで、内視鏡動画像は、内視鏡装置を用いて取得された動画像であれば、体腔内のいずれの部位の画像であっても良い。また、比較内視鏡動画像は、内視鏡動画像が撮影したすべての撮影部位を撮影し取得されたものに限らず、一部に内視鏡動画像と同一の被写体を含むものであればよい。
【００１０】
さらに、内視鏡動画像は、内視鏡装置を用いて動画として取得した直後に表示装置に表示されるものであってもよいし（リアルタイム表示）、一度画像データベースに記憶され、記憶された内視鏡動画像が表示装置に表示されるものであってもよい。
【００１１】
また、パターン抽出手段は、血脈を血管パターンとして抽出するものであればよく、たとえば内視鏡画像に含まれる血脈が黒色領域になるように内視鏡画像に２値化処理を施すことにより、血脈を血管パターンとして抽出するものであってもよいし、静脈パターンの分岐点の座標、長さ、分岐角度等の特徴量を血管パターンとして抽出するようにしても良い。
【００１２】
なお、血管パターンが２値化画像からなる場合、比較画像処理手段は、フレーム画像から抽出した血管パターンをそのまま用いて比較フレーム画像の選択を行うようにしても良いし、パターン回転手段により血管パターンに対しアフィン変換を施すことにより生成された回転角度の異なる複数の血管パターンを用いて比較フレーム画像の検索を行うようにしても良い。
【００１３】
また、比較画像処理手段は、血管パターンを含む比較フレーム画像の選択を行うものであればどのような手法を用いるものであっても良く、たとえばオプティカルフロー推定法を用いても良いし、公知のパターン認識手法を用いるようにしても良い。オプティカルフロー推定法により比較フレーム画像の選択を行う場合、たとえば比較画像処理手段は、比較画像処理手段が、血管パターン内の黒色領域の位置と、比較血管パターン内の黒色領域の位置とのずれをシフトベクトルとして算出するシフトベクトル算出手段と、シフトベクトル算出手段により算出されたシフトベクトルを用いて血管パターン内において黒色領域の位置をシフトさせるパターンシフト手段と、パターンシフト手段により黒色領域がシフトされた血管パターンと比較血管パターンとの相関度合いを相関係数として算出する係数算出手段と、係数算出手段において比較フレーム画像毎に含まれる複数の比較血管パターンについてそれぞれ算出された複数の相関係数を用いて、血管パターンを含む比較フレーム画像を選択する比較画像選択手段とを備えたものであってもよい。
【発明の効果】
【００１４】
本発明の内視鏡画像表示方法および装置ならびにプログラムによれば、内視鏡装置を用いて動画として取得された被験者の内視鏡動画像を構成するフレーム画像に含まれる血脈を血管パターンとして抽出し、予め内視鏡装置を用いて動画として取得された被験者の比較内視鏡動画像を構成する複数の比較フレーム画像から、抽出した血管パターンを含む比較フレーム画像を選択し、フレーム画像を表示装置に表示するときに、選択した比較フレーム画像を同時に表示することにより、内視鏡動画像と比較内視鏡動画像を表示装置に同時に表示するとき、内視鏡動画像と比較内視鏡動画像とが体腔内の同一の部位を表示することになるため、内視鏡動画像と比較内視鏡動画像とを比較しながら診断等を行うことができ、診断効率の向上を図ることができる。
【００１５】
なお、血管パターンに対しアフィン変換を施すことにより、回転角度の異なる複数の血管パターンを生成するパターン回転手段をさらに備え、比較画像処理手段が、該パターン回転手段により生成された血管パターンを用いて該血管パターンを含むフレーム画像を選択するものであるとき、内視鏡動画像と比較内視鏡動画像を撮影により取得するとき、異なる撮影角度等から撮影した場合であっても、血管パターンを含む比較フレーム画像を検索することができる。
【００１６】
また、比較画像処理手段が、血管パターン内の黒色領域の位置と、比較血管パターン内の黒色領域の位置とのずれをシフトベクトルとして算出するシフトベクトル算出手段と、シフトベクトル算出手段により算出されたシフトベクトルを用いて血管パターン内において黒色領域の位置をシフトさせるパターンシフト手段と、パターンシフト手段により黒色領域がシフトされた血管パターンと比較血管パターンとの相関度合いを相関係数として算出する係数算出手段と、係数算出手段において比較フレーム画像毎に含まれる複数の比較血管パターンについてそれぞれ算出された複数の相関係数を用いて、血管パターンを含む比較フレーム画像を選択する比較画像選択手段とを備えたものであれば、精度良く高速に比較フレーム画像の検索を行うことができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の好ましい実施の形態を詳細に説明する。以下、図面を参照して本発明の内視鏡表示装置の好ましい実施の形態を詳細に説明する。なお、図１のような内視鏡画像表示装置１の構成は、補助記憶装置に読み込まれた内視鏡画像表示プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この内視鏡画像表示プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００１８】
内視鏡画像表示装置１は、内視鏡装置５０により取得された被験者の内視鏡動画像Ｐと、過去に被験者体腔内を撮影したときに得られた内視鏡動画像Ｐとを同時に表示装置１００に表示する際、内視鏡動画像Ｐと比較内視鏡動画像Ｐ０とが同一の体腔内の部位を表示装置１００に映し出すようにするものである。内視鏡画像表示装置１は、画像取得手段２、パターン抽出手段３、画像データベースＤＢ、比較画像処理手段５、表示制御手段６等を有している。
【００１９】
画像取得手段２は、内視鏡装置５０により取得された被験者の体腔内の内視鏡動画像Ｐを取得するものである。なお、画像取得手段２は、内視鏡装置５０において撮影されている映像をリアルタイムで取得するものであってもよいし、既に内視鏡装置５０による撮影が終了し、画像データベースＤＢに記憶されている内視鏡動画像Ｐを取得するものであってもよい。
【００２０】
パターン抽出手段３は、画像取得手段２により取得された内視鏡動画像Ｐの各フレーム画像ＰＦにそれぞれ含まれる血管パターンＸを抽出するものである。具体的には、パターン抽出手段３はフレーム画像ＰＦの色情報を２値化(白黒化)するフィルタリング処理を施す。すると、フレーム画像ＰＦ内の血脈は２値化画像内において黒色の領域となってあらわれる。パターン抽出手段３は、黒色の領域として血脈が表れた２値化画像を血管パターンＸとして抽出する。
【００２１】
画像データベースＤＢは、予め内視鏡装置を用いて被写体を撮影し動画として取得した複数の比較フレーム画像ＰＦ０から構成される比較内視鏡動画像Ｐ０を記憶したものである。この比較内視鏡動画像Ｐ０は、上述した内視鏡動画像Ｐと同一の被験者を撮影することにより取得されたものであって、たとえば被験者の体腔内（たとえば食道）を過去に撮影したものからなっている。また、画像データベースＤＢには上述したパターン抽出手段３により抽出された比較血管パターンＹが各比較フレーム画像ＰＦ０毎にそれぞれ関連づけされて記憶されている。なお、画像データベースＤＢには、複数の被験者の比較内視鏡動画像Ｐ０および比較血管パターンＹが記憶されており、たとえばキーボードやマウス等の個人情報の入力に従い、パターン選択手段ＤＢＭが認証データベースＤＢから入力された個人情報ＰＤに関連づけされた比較内視鏡動画像Ｐ０を選択し、この比較内視鏡動画像Ｐ０の比較血管パターンＹを選択するようになっている。
【００２２】
パターン回転手段４は、血管パターンＸをたとえば１５°ずつアフィン変換に変換した回転角度の異なる複数の血管パターンＸを生成するものである。このように、血管パターンＸを回転させることにより、血管パターンＸと比較血管パターンＹとの撮影角度（画角）や撮影方向が異なる場合であっても、確実に照合を行うことができる。
【００２３】
比較画像処理手段５は、パターン抽出手段３により抽出された血管パターンＸと特定の人物の比較血管パターンＹとをオプティカルフロー推定法の一種であるLucas-Kanade 法を用いて照合し、内視鏡動画像Ｐの被写体となった人が特定の人物であることを照合するものである。
【００２４】
具体的には、図２に示すように、比較画像処理手段５はシフトベクトル算出手段５ａ、パターンシフト手段５ｂ、係数算出手段５ｃ、比較画像選択手段５ｄ等を備えている。なお、Lucas-Kanade 法は２台のカメラで立体視のために同時撮影した画像において物体の同一地点の認識のために考案された手法であり、２台のカメラにより撮影された２つの画像に写っている物体がほとんど変形していないことを仮定したものである。なお、シフトベクトルの算出方法については、'Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm' に開示されている。
【００２５】
シフトベクトル算出手段５ａは、血管パターンＸにおける血脈（黒色領域）の位置と比較血管パターンＹにおける血脈（黒色領域）の位置とのずれをシフトベクトルとして算出するものである。つまり、２値化画像内における血管パターンＸの平行移動距離を求める際に、抽出された血管パターンＸと比較血管パターンＹとの間において物体の変形は少ないと仮定しLucas-Kanade 法を用いてシフトベクトルを算出する。言い換えれば微小領域内の等輝度画素は同じ血管パターンが２枚の画像内において位置がずれた（移動した）ものであるとの仮定の下、２つの血管パターンＸ、Ｙ間のシフトベクトルを算出する。そして、パターンシフト手段５ｂは、シフトベクトル算出手段５ａにより算出されたシフトベクトルを用いて血管パターンＸ内における血脈（黒色領域）の位置をシフトさせる。なお、血管パターンＸと比較血管パターンＹとが似ていない場合、不正確なシフト量が算出されてしまうが、後述する相関係数ρの一致度が低くなるため、そのときに一致候補から除去することになる。
【００２６】
また、血管パターンＸを回転させた後にシフトベクトル算出手段５ａによりシフトベクトルを算出するようにしているが、血管パターンＸと比較血管パターンＹとからシフトベクトルを算出した後、シフトベクトルが大きすぎる場合にパターン回転手段４により血管パターンＸを回転させるようにしても良い。
【００２７】
係数算出手段５ｃは、パターンシフト手段５ｂにより黒色領域がシフトした血管パターンＸと画像データベースＤＢに記憶された複数の比較血管パターンＹとの相関度合いを相関係数ρとして算出するものである。具体的には、係数算出手段５ｃはたとえば下記式（１）に示すような、各血管パターンＸ、Ｙの共分散を各血管パターンＸ、Ｙのそれぞれについて算出された標準偏差の積で除算することにより相関係数ρを算出する。
【数１】
2008194334.tif 000003
【００２８】
ここで、Ｘｉ（ｉ＝１、２、・・・Ｎ、Ｎは血管パターンＸの画素数）は血管パターンＸの画素値、Ｙｉ（ｉ＝１、２、・・・Ｎ、Ｎは血管パターンＹの画素数）は比較血管パターンＹの画素値を示している。なお、血管パターンＸおよび比較血管パターンＹはそれぞれ２次元方向に画素が配列されたものであるが、上記式（１）においては、Ｎ個の１次元の画素列に再配列し相関係数ρの算出を行う。具体的には、係数算出手段５ｃは各血管パターンＸ、Ｙの左上から右上に向かう画素列を上の列から下の列までつなげてＮ個の１次元の画素列からなるデータに再配列し、式（１）により相関係数ρを算出する。上記式（１）に示すような相関係数ρを算出することにより、全体の平均的な明るさの変化に影響されることなく２つの血管パターンＸ、Ｙを比較することができる。
【００２９】
比較画像選択手段５ｄは、係数算出手段５ｃにおいて複数の比較血管パターンＹについてそれぞれ算出された複数の相関係数ρを用いて、血管パターンＸを含む比較フレーム画像ＰＦ０を選択するものである。ここで、比較画像選択手段５ｄは、たとえば相関係数ρ＝０．０〜０．２の場合ほとんど相関関係がない、相関係数ρ＝０．２〜０．４の場合やや相関関係がある、相関係数ρ＝０．４〜０．７の場合かなり相関関係がある、相関係数ρ＝０．７〜１．０の場合強い相関関係がある、と判断するようになっている。そして、１つの血管パターンＸに対し算出された複数の相関係数ρのうち、たとえば相関係数ρ＝０．７〜１．０のものがある場合、比較画像選択手段５ｄは最も相関度の強い比較フレーム画像ＰＦ０を選択する。
【００３０】
一方、たとえば複数の相関係数ρのいずれもが相関係数ρ＜０．７である場合、比較画像選択手段５ｄはフレーム画像の選択は行わない、あるいは相関係数ρ＜０．７である場合であっても、最も相関係数の大きい比較フレーム画像ＰＦ０を選択する。
【００３１】
図１の表示制御手段６は、フレーム画像ＰＦを表示装置１００に表示するときに、比較画像処理手段５において選択された比較フレーム画像ＰＦ０を同時に表示するものである。その結果、表示装置１００には、体腔内の略同一の部位の撮影により取得された内視鏡動画像Ｐと比較内視鏡動画像Ｐ０とが同時に表示される。すなわち、内視鏡動画像Ｐが動画表示されているときに表示装置１００に表示されるフレーム画像ＰＦが順次切り替わる度に、それに併せて比較フレーム画像ＰＦ０も切り替わることになる。これにより、動画の場合であっても、過去に所定の部位を撮影したときの比較内視鏡動画像Ｐ０を参考にしながら、内視鏡装置５０を用いて体腔内の所定の部位の内視鏡動画像Ｐを診断することができるため、診断効率の向上を図ることができる。
【００３２】
なお、表示制御手段６は、フレーム画像ＰＦと比較フレーム画像ＰＦ０自体をそのまま表示するようにしているが、フレーム画像ＰＦに加工を施した後表示するようにしてもよい。たとえばフレーム画像ＰＦと選択された比較フレーム画像ＰＦ０との差異点をマーキングして表示する等の公知の技術を用いてフレーム画像ＰＦもしくは比較フレーム画像ＰＦ０を加工した状態で表示装置１００に表示するようにしても良い。
【００３３】
また、表示制御手段６は、内視鏡装置５０により撮影し取得されている内視鏡動画像Ｐをリアルタイムで表示するものであってもよいし、画像データベースＤＢに記憶された内視鏡動画像Ｐを表示するものであってもよい。このとき、画像データベースＤＢには、フレーム画像ＰＦと比較画像選択手段５ｄにより選択された比較フレーム画像ＰＦ０とが関連づけされた状態で記憶される。
【００３４】
図３は本発明の内視鏡画像表示方法の好ましい実施の形態を示すフローチャートであり、図１から図３を参照して内視鏡画像表示方法について説明する。まず、内視鏡装置５０により体腔内の撮影が行われ、画像取得手段２において内視鏡動画像Ｐが取得される（ステップＳＴ１）。次に、パターン抽出手段３により取得した内視鏡動画像Ｐのフレーム画像ＰＦが２値化処理されることにより、フレーム画像ＰＦ内の血脈が黒色領域として表現された２値化画像からなる血管パターンＸが抽出される（ステップＳＴ２）。
【００３５】
そして、パターン回転手段４において、抽出された血管パターンＸがアフィン変換されることにより、回転角度の異なる複数の血管パターンＸが生成される（ステップＳＴ３）。
【００３６】
一方、キーボードやマウス等から個人情報が入力されるにより、画像選択手段ＤＢＭにおいて認証すべき被験者の内視鏡動画像Ｐ０が画像データベースＤＢから選択され、この内視鏡動画像Ｐ０の各比較フレーム画像ＰＦ０に関連づけされた比較血管パターンＹが逐次選択される（ステップＳＴ４）。なお、比較血管パターンＹの取得は、シフトベクトルの生成前に行われればよく、たとえば内視鏡画像Ｐの取得（ステップＳＴ１）の前に行うようにしても良い。
【００３７】
その後、シフトベクトル算出手段５ａにおいて、回転した血管パターンＸと比較血管パターンＹとにおける血脈の位置ずれを示すシフトベクトルが生成され、パターンシフト手段５ｂにより血管パターンＸ内の黒色領域がシフトベクトルを用いてシフトされる（ステップＳＴ５）。
【００３８】
次に、係数算出手段５ｃにおいて、シフトされた血管パターンＸと比較血管パターンＹとの間の相関係数ρが上記式（１）を用いて算出される（ステップＳＴ６）。この相関係数ρの算出が、回転された複数の血管パターンＸと、比較内視鏡動画像Ｐ０を構成する比較フレーム画像ＰＦ０から抽出されたすべての比較血管パターンＹとの間で算出される（ステップＳＴ４〜７）。
【００３９】
その後、比較画像選択手段５ｄにおいて、１つの血管パターンＸについて算出された複数の相関係数ρにおいて、相関係数ρが０．７以上であるか否かが判断される（ステップＳＴ８）。複数の相関係数ρのうち０．７以上の比較フレーム画像ＰＦ０があるとき、この比較フレーム画像ＰＦ０は血管パターンＸを含むものであると判断し、この比較フレーム画像ＰＦ０が表示装置１００に表示されるものとして選択される。そして、表示制御手段６において、血管パターンＸを含むフレーム画像ＰＦと比較フレーム画像ＰＦ０とが同時に表示される（ステップＳＴ９）。一方、複数の相関係数ρのいずれもが０．７未満であるとき、血管パターンＸを含む比較フレーム画像ＰＦ０はないと判断し、表示制御手段６により比較フレーム画像ＰＦ０は表示装置１００に表示されない（ステップＳＴ１０）。
【００４０】
上記実施の形態によれば、内視鏡装置５０を用いて体腔内の被写体を撮影し動画として取得した複数のフレーム画像ＰＦからなる内視鏡動画像Ｐを表示装置に表示するとき、内視鏡動画像Ｐのフレーム画像ＰＦに含まれる血脈を血管パターンＸとして抽出し、被写体を予め撮影し動画として取得した比較内視鏡動画像Ｐ０を構成する複数の比較フレーム画像ＰＦ０の中から抽出した血管パターンＸを含む比較フレーム画像ＰＦ０を選択し、フレーム画像ＰＦを表示装置１００に表示するときに選択した比較フレーム画像ＰＦ０を同時に表示することにより、表示装置１００に表示されるフレーム画像ＰＦの撮影部位と同一の部位を撮影した比較フレーム画像ＰＦ０を同時に表示する事ができるため、内視鏡動画像Ｐと比較内視鏡動画像Ｐ０とを比較しながら診断等を行うことによる診断効率の向上を図ることができる。
【００４１】
なお、血管パターンＸに対しアフィン変換を施すことにより、回転角度の異なる複数の血管パターンＸを生成するパターン回転手段４をさらに備え、比較画像処理手段５が、パターン回転手段４により生成された血管パターンを用いて血管パターンＸを含むフレーム画像ＰＦを検索するものであるとき、内視鏡動画像Ｐと比較内視鏡動画像Ｐ０を撮影により取得するとき、異なる撮影角度等から撮影した場合であっても、血管パターンＸを含む比較フレーム画像ＰＦ０を検索することができる。
【００４２】
また、比較画像処理手段５が、フレーム画像ＰＦ内の血管パターンの位置と比較フレーム画像ＰＦ内から抽出された比較血管パターンＹの位置とのずれをシフトベクトルとして算出するシフトベクトル算出手段５ａと、シフトベクトル算出手段５ａにより算出されたシフトベクトルを用いてフレーム画像ＰＦ内において血管パターンＸの位置をシフトさせるパターンシフト手段５ｂと、パターンシフト手段５ｂにより血管パターンＸがシフトしたフレーム画像ＰＦと比較フレーム画像ＰＦ０との相関度合いを相関係数ρとして算出する係数算出手段５ｃと、係数算出手段５ｃにおいて複数の比較血管パターンＹについてそれぞれ算出された相関係数ρを用いて、血管パターンＸを含む比較フレーム画像ＰＦ０を選択する比較画像選択手段５ｄとを備えたものであれば、精度良く高速に比較フレーム画像ＰＦ０の検索を行うことができる。
【００４３】
本発明の実施の形態は上記実施の形態に限定されない。たとえば、比較画像処理手段５は、パターン回転手段４により回転された血管パターンＸと比較血管パターンＹとを用いて比較フレーム画像ＰＦ０の選択・関連づけを行うようにしているが、血管パターンＸではなく抽出した血管パターンＸ自体を用いて比較血管パターンＹとの相関係数ρを算出し、比較フレーム画像ＰＦ０の選択・関連づけを行うようにしても良い。
【００４４】
また、図１のパターン抽出手段３において、血管パターンＸを画像として抽出するようにしているが、静脈パターンの分岐点の座標、長さ、分岐角度等の特徴量を血管パターンＸとして抽出するようにしても良い。このとき、画像データベースＤＢにも上述した静脈パターンの分岐点の座標等の特徴量が記憶されるものであり、比較画像処理手段５はこれら特徴量を用いた公知のパターン認識を用いて照合が行われることになる。
【００４５】
また、上記実施の形態において、パターン回転手段４が抽出された血管パターンＸを回転させるようにしているが、画像データベースＤＢに記憶された比較血管パターンＹをアフィン変換により回転させるようにしても良い。あるいは、回転させた比較血管パターンＹを予め画像データベースＤＢに記憶しておき、比較画像処理手段５による照合実行時にはパターン回転手段４による回転処理を行わないようにしてもよい。
【００４６】
さらに、上記実施の形態において、内視鏡動画像Ｐのすべてのフレーム画像ＰＦに対し行う場合について例示しているが、すべてのフレーム画像ＰＦに対して上述した比較フレーム画像ＰＦ０の選択を行わず、内視鏡動画像Ｐを再生しているときに、一定時間間隔でフレーム画像ＰＦのサンプリングを行い、このサンプリングされたフレーム画像ＰＦに対して上述した比較フレーム画像ＰＦ０の検索を行うことにより、比較内視鏡動画像Ｐ０を再生するようにしてもよい。
【００４７】
また、動画像の表示を行っている場合について例示しているが、内視鏡動画像Ｐと比較内視鏡動画像Ｐ０とを予め上述した照合処理を行い、フレーム画像ＰＦと比較フレーム画像ＰＦ０とを関連づけした状態で内視鏡動画像Ｐおよび比較内視鏡動画像Ｐ０を記憶しておき、内視鏡動画像Ｐを再生したときに、これに同期して比較内視鏡動画像Ｐ０が再生され、表示装置１００に同時に表示されるようにしても良い。
【図面の簡単な説明】
【００４８】
【図１】本発明の内視鏡画像表示装置の好ましい実施の形態を示すブロック図
【図２】図１の内視鏡画像表示装置における照合手段の一例を示すブロック図
【図３】本発明の内視鏡画像表示方法の好ましい実施の形態を示すフローチャート
【符号の説明】
【００４９】
１     内視鏡画像表示装置
２     画像取得手段
３     パターン抽出手段
４     パターン回転手段
５     比較画像処理手段
５ａ   シフトベクトル算出手段
５ｂ   パターンシフト手段
５ｃ   係数算出手段
５ｄ   比較画像選択手段
６     表示制御手段
５０   内視鏡装置
１００ 表示装置
Ｐ     内視鏡動画像
Ｐ０   比較内視鏡動画像
ＰＦ   フレーム画像
ＰＦ０ 比較フレーム画像
Ｘ     血管パターン
Ｙ     比較血管パターン
ρ     相関係数
【図１】
2008194334.tif 000004
【図２】
2008194334.tif 000005
【図３】
2008194334.tif 000006