"気管支鏡ガイダンス及び他のアプリケーションに有用なグローバルな登録方法であって、三次元気道ツリー内の分岐位置の仮想気管支鏡VBビューを含む仮想気管支鏡レンダリングを取得する処理と、前記三次元気道ツリー内に挿入された気管支鏡から、少なくとも1つの実際の気管支鏡RBビューを受信する処理と、前記受信したRBビューに最も近いVBビューをもつ最適化された分岐位置を識別するためにコンピュータで操作可能なアルゴリズムを提供し実行する処理と、前記VBビューで識別された分岐位置に基づき、前記三次元気道ツリー内の気管支鏡の三次元位置を出力する処理と、を含む方法。前記RBビューはビデオフレームより得られる、請求項1に記載の方法。前記アルゴリズムは、前記受信したRBビューに最も近いVBビューをもつ複数の可能性のある分岐位置を識別する、請求項1に記載の方法。前記アルゴリズムは、前記三次元気道ツリー内の全体的な気管支鏡位置をレンダリングする領域固有の情報を使用する、請求項1に記載の方法。前記領域固有の情報は、活動中の肺の設定又は肺葉位置を含む、請求項4に記載の方法。前記気管支鏡から複数のRBビューを受信する処理と、前記複数のRBビューに最も近い一つのVBビューをもつ最適化された分岐位置を識別する処理とを更に含む、請求項1に記載の方法。前記複数のRBビューは、気道ツリー内の同一又はマルチな分岐位置に関連する、請求項6に記載の方法。前記アルゴリズムは、ベストマッチを決定するために二乗距離行列の重みづけ正規化和を用いて、グローバルな気道分岐点サーチ空間におけるあらゆる分岐にわたり高速のサーチを実行する処理を更に含む、請求項1に記載の方法。前記アルゴリズムは、分岐内部サーチの後に分岐相互間サーチを実行する、請求項1に記載の方法。前記分岐内部サーチは、以下の式で与えられ、分岐内部サーチから得られるビューポイントの集合がである、請求項9に記載の方法。前記分岐内部サーチは、予め計算された矩形ルーメンの矩形領域及び高速ローカル登録の改良を使用する、請求項9に記載の方法。気管支鏡ガイダンス及び他のアプリケーションに有用なグローバルな登録方法であって、三次元気道ツリー内の分岐位置の仮想気管支鏡VBビューを含む仮想気管支鏡レンダリングを取得する処理と、前記三次元気道ツリー内に挿入された気管支鏡から、少なくとも1つの実際の気管支鏡RBビューを受信する処理と、前記受信したRBビューに最も近いVBビューをもつ分岐位置を識別するために、分岐内部サーチの後に分岐相互間サーチが続くアルゴリズムをコンピュータ上に提供し実行する処理と、前記VBビューで識別された最も可能性のある分岐位置に基づき、前記三次元気道ツリー内の気管支鏡の三次元位置を出力する処理と、を含む方法。前記アルゴリズムは、前記三次元気道ツリー内の全体的な気管支鏡位置をレンダリングする領域固有の情報を使用する、請求項12に記載の方法。前記領域固有の情報は、活動中の肺の設定又は肺葉位置を含む、請求項13に記載の方法。前記アルゴリズムは、ベストマッチを決定するために二乗距離行列の重みづけ正規化和を用いて、グローバルな気道分岐点サーチ空間におけるあらゆる分岐にわたり高速のサーチを実行する処理を更に含む、請求項12に記載の方法。前記分岐内部サーチは、以下の式で与えられ、分岐内部サーチから得られるビューポイントの集合がである、請求項12に記載の方法。前記分岐内部サーチは、予め計算された矩形ルーメンの矩形領域及び高速ローカル登録の改良を使用する、請求項12に記載の方法。気管支鏡ガイダンス及び他のアプリケーションに有用なグローバルな登録システムであって、三次元気道ツリー内の分岐位置の仮想気管支鏡VBビューを含む仮想気管支鏡レンダリングを記憶するメモリと、前記三次元気道ツリーの実際の気管支鏡RBビューを生成する気管支鏡と、前記RBビューを使用して、当該VBのレンダリングをサーチ及び解析し、前記RBビューに最もマッチする気管支鏡位置を識別するコンピュータと、前記VBビューで識別された分岐位置に基づき、前記三次元気道ツリー内の気管支鏡の三次元位置を表示するディスプレイと、を備えたシステム。前記気管支鏡は、1以上のビデオフレーム形式で前記RBビューを出力する、請求項18に記載のシステム。前記コンピュータは、受信した前記RBビューに最も近いVBビューをもつ複数の可能性のある分岐位置を識別する、請求項18に記載のシステム。前記コンピュータは、前記三次元気道ツリー内の全体的な気管支鏡位置をレンダリングする領域固有の情報を使用する、請求項18に記載のシステム。前記領域固有の情報は、活動中の肺の設定又は肺葉位置を含む、請求項21に記載のシステム。前記気管支鏡が、複数のRBビューを生成し、前記コンピュータが、前記複数のRBビューに最も近い一つのVBビューをもつ最適化された分岐位置を識別する、請求項18に記載のシステム。前記複数のRBビューは、気道ツリー内の同一又はマルチな分岐位置に関連する、請求項23に記載のシステム。前記コンピュータは、ベストマッチを決定するために二乗距離行列の重みづけ正規化和を用いて、グローバルな気道分岐点サーチ空間におけるあらゆる分岐にわたり高速のサーチを実行する、請求項18に記載のシステム。前記コンピュータは、分岐内部サーチの後に分岐相互間サーチを実行する、請求項18に記載のシステム。前記分岐内部サーチは、以下の式で与えられ、分岐内部サーチから得られるビューポイントの集合がである、請求項26に記載のシステム。前記分岐内部サーチは、予め計算された矩形ルーメンの矩形領域及び高速ローカル登録の改良を使用する、請求項26に記載のシステム。気管支鏡法の間、医者は気道ツリーを通して気管支鏡を操作する。画像ベースの気管支鏡法ガイダンスシステムは、分岐点で別個のガイダンスを提供する。マルチ検出コンピュータトモグラフィーMDCTの座標システムを用いた気管支鏡ビデオに見られるビューを登録するために、我々は三次元MDCTデータを用いることによって気管支鏡で見られる画像をモデル化する。VBビューをモデル化する際に、まず、オフライン手順を用いて気管支鏡カメラがキャリブレートされる[42]。焦点距離f及びカメラのFOV角などのパラメータが計算される。また、図1に示すように、ビデオフレームの樽型バレル歪みを修正するための係数が見つけられる。図1A及び図1Bは、気管支鏡のビデオフレームの歪み補正を示し、図1Bは歪み補正後の気管支鏡ビデオフレームを示す。VBビューを生成するため、ロバストなセグメンテーションアルゴリズムを用いて気道ツリーを自動的にセグメント化する[43]。マッチングキューブアルゴリズムが、三次元セグメンテーション上で行われ、気道ツリーのポリゴンサーフェースを得る[44]。仮想の気管支鏡は、焦点距離fと気管支鏡カメラと同じ画像ディメンジョンを有するピンホールカメラモデルとして設計される。内腔の気道サーフェースは、焦点に光源があるランバートLambertianとして仮定される。副次的な反射は無視する。これらの仮定を用いると、VBビューは図2A~2Fに示すようなOpenGL[45]を用いてレンダリングされる。仮想の気管支鏡をビューする。図2A~2Cは、気管内、左主気管支、右主気管支図2D-2F内にポジショニングされた三次元気道ツリー及び仮想の気管支鏡黄色の円筒グラフィカルな針状葉と対応するVBビューとの例を示す。<グローバルな登録の問題>三次元気道ツリーにおいて気管支鏡の最新の分岐位置が確立されるとき、グロ-バルな登録が定義される。グロ-バル登録問題を系統立てるため、我々は、気管支鏡が気道内に盲目的に挿入されるシナリオを考慮する。これにより、気管支鏡は幾つかの分岐点に存在することになる。我々は、気管支鏡からの実際の気管支鏡RBビデオフレームをIvx,yとしてあらわす。仮想気管支鏡から得られる仮想気管支鏡VBレンダリングは、ICTx,yとしてあらわす。気管支鏡の現時点で未だ分かっていないビューポイントはθ=x,y,z,α、β,γであり、x,y,zは三次元の空間位置を与え、α、β,γはオイラー角を特定する。グローバルな登録アルゴリズムは、所与のRBビューに最も近いVBビューをもつビューポイントを含む分岐を見つける。この問題は、最大事後確率MAP問題をもたらし得る。その最初の部分は、確率密度推定問題である。我々は、入力気管支鏡ビデオを与えたときに、気管支鏡が使用できる姿勢の空間にわたり事後密度を推定する。この問題はMoreno他によるものと類似する[32]。その論文においてはグローバルな登録のために反復解法が使用されているが、我々はWeiβ他による方法に類似する単一フレームを用いた登録方法を提供する[46]。ビューびMAPポイントより、グローバルな登録問題は最適問題でもあり、我々は、気管支鏡が事後確率密度:を最大にする姿勢を与える分岐を推定する。ベイズ理論を用いて、を得る。その結果、我々は、を得る。仮に、類似度関数C,が非類似度指標で置換えられる場合、グローバルな登録問題は、最適分岐は、以下の式6で与えられる。提案したアルゴリズムは、1以上の実際の気管支鏡ビデオフレームを入力として受付け、気道ツリー内の気管支鏡の三次元位置を出力する。このアルゴリズムは、気管支鏡の位置が未知なとき、実際の気管支鏡を行っている間、呼び出される。次ぎに、このアルゴリズムは、気道ツリー内の気管支鏡の位置を決定するだろう。本アルゴリズムを呼び出す前に、気道の分岐点の良好なビューが得られるように医者は気管支鏡をポジショニングする。その結果、図4に示すようなルーメン領域が上手く表示される。本方法の全体精度を向上させるため、同一の分岐点若しくは関連する分岐点親-娘分岐の何れか一方でこのアルゴリズムをマルチに実行することが用いられる。本アルゴリズムは、大きくは2つの主なステージ、すなわち、内部分岐サーと分岐相互間サーチとに分けられる。図3は、分岐内部サーチに関する事前計算を示している。この図は、青線でハイライトされた分岐に関して実行された事前計算をあらわしている。赤の線は、三次元の気道ツリーを通じてあらかじめ定義したセンターラインナビゲーション経路である。緑の三角形は、選択された分岐に沿った予め適宜した3つのビューサイトA,B,Cをハイライト化している。このビューサイトの右側にある図は、VBレンダリングA1,B1,C1、ルーメン閾値画像A2,B2,C2、及び各ビューサイトに関連する矩形を包含する最小部分A3,B3,C3である。上記最小の包含矩形の長手方向の長さは、事前計算中に保存され、後に、所与の分岐においてRBフレームの位置をローカライジングするために使用される。<分岐内部サーチ>分岐内部サーチは、以下の式7であらわされる。この最適化プロセスは、所与の分岐における可能性のあるすべてのビュー位置におよぶ必要がある。これは、関連する時間が過度となることから、リアルタイムのアルゴリズムにおいては実用的ではない。それゆえ、我々は2つのステップを含む新規な分岐内部サーチを使用する。第1のステップにおいて、分岐内部サーチは、分岐のセンターラインに沿った予め定義されたすべてのビューサイトを通じて高速のスキャンを実行する。第2のステップは、第1のローカル登録を用いながらのレンダー位置調整を含む。気管支鏡のロール角に不確かさがあるので、我々は異なるロール角を用いながら各分岐に対する4つの見込みのある位置のセットを使用する。ルーメン領域の矩形を包含する最小部分は、図3に示すようにレンダー位置が分岐点に向かったセンターラインに沿って動くとき、その長手寸法において変化がある。これは、センターラインに沿って高速スキャンサーチをすることの基本アイデアとなっている。このサーチの場合、最初に、入力のリアル画像Ivはルーメン領域をセグメントに分けるために閾値化される。p=10の値で閾値化されるpタイルはルーメン領域をセグメントに分けるための良好な結果を与えるよう経験的に見つけられてきた。ルーメン領域がセグメントに分けられると、セグメント領域の凸状体が見つけ出される。我々は、この目的野rために、BentleyFaustPreparataBFP高速近似の2次元凸状体アルゴリズムを使用する[47]。この凸状体は、図3に示すようなルーメン領域の矩形を包含する最小部分を見つけるのに使用される。この包含矩形の長手寸法は、DimMaxとして保存される。同様の特徴抽出ステップが、事前計算ステップで、すべての分岐の予め定義されたセンターラインビューポイントで実行され、そして包含矩形の長手寸法が保存される。生のグローバル登録の間で、分岐内部サーチは、DimMaxに最も近い特徴値をもつ各分岐で、最高のセンターラインビューポイントを与える。得られるベストなレンダリング位置は固定のロール角を有する。しかしながら、実画像は可能性のある任意のロール角をもつことだろう。これに取り組むため、90度のロール角、180度、及び270度のロール角がこのレンダリング位置に適用され、各分岐に関してベストな4つのレンダリング位置を生じさせる。実画像は、複数の自由度をもつ気管支鏡から得られる。したがって、前のステップで得られた4つのベストなレンダリング位置は実画像Ivに類似するレンダリング画像Ictを提供しないかもしれない。それゆえ、前のステップから得られる4つのレンダリング位置は、ローカルな登録に関する逆合成方法を用いてさらに調整される[24]。ローカルな登録は、画像比較のためにWNSSD行列を用いる。ここで我々は、明らかに重みづけされたケースとして以下を使用する。パラメータ更新は200msで行われ、それは収束するのに十分且つアルゴリズムのトータルランタイムを制限し、各分岐に関して4つの画像レンダリング位置を生じさせる。これらの位置のそれぞれでレンダリングされた画像は、ルーメン領域を得るためにスレッショホールド閾値化される。閾値化された画像は、次に、式11に記載される行列C1を用いて実画像から得られるルーメンスレッショホールド画像と比較される。式7において、s機器11を代入することにより、分岐のベストレンダリング位置を得る。ここで、である。<分岐相互間のサーチ>分岐相互間のサーチは、以下の式で与えられる。式12において、我々は式8で定義したようなWNSSD非類似度行列を使用する。最適なビューポイントは、式6を用いて最新の気管支鏡の分岐位置を見つけるのに使用される。上述したグローバルな登録方法は、式12で纏められていた。図4A~4Fは、サーチ空間の異なる分岐のためのベストなマッチ合致を示し、図4Bは分岐内部サーチ後の分岐を正確に識別している。図4Aは入力のRBフレームを示し、図4B~4Fはサーチ空間の5つの異なる分岐において分岐内部サーチにより発見されたときのベストな気管支鏡の位置に関連するVB画像を示す。分岐内部サーチは、ベスト分岐として図4Bに示すようなレンダリングにより分岐を正確に識別する。<結果>グルーバルな登録アルゴリズムの精度を評価するため、我々は3つのセットのテストを実行する。第1のセットにおいて、我々は仮想ケーススタディを用いながらグローバルな登録アルゴリズムを評価した。第2のセットのテストは、気道幻像の気管支鏡の診断検査から得られるRBフレームを用いてグルーバルな登録アルゴリズムの精度を評価した。第3のセットにおいては、我々は複数のテストフレームが用いられたときにアルゴリズムの精度に改善がみられたかを検証した。<仮想ケースを用いた評価>グルーバルな登録アルゴリズムは、表1に記載するとおり、承諾済みの患者のCTデータから派生される3つの仮想ケースを用いて評価された。仮想の気管支鏡を用いる一方で、最初の5つの気道の世代から最小の28分岐が用いられた。アルゴリズムのサーチ空間を変化させることによって、4つの異なるテストが実行された。すべてのテストにおいて、仮想の気管支鏡の分岐点ビューは、分岐サーチ空間からランダムに選択された。これは、本テストにおいて、未知の実際の生の気管支鏡ビデオとして提供された。この分岐点ビューは分岐に沿った任意のビューサイトにランダムに移動させることにより得られる。0~360度のランダムなロール角が用いられ、最大±5mmの摂動が仮想気管支鏡の位置に適用され、仮想気管支鏡をセンターラインから離して移動させた。第1のセットにおいて、サーチ空間のためにすべての分岐を用いた。第2のセットにおいて、サーチ空間は、左肺又は右肺の何れか一方のみの分岐を用いることによって2つに分けた。第3のセットにおいて、サーチ空間は肺葉の領域に基づき5つの異なる部分に分けた。第4のセットにおいて、同じ分岐の娘であった分岐のみをサーチ空間で用いた。これらのテストの結果を表2にまとめた。グローバルな登録の精度は71~92の範囲であった。28個の気道分岐からのランダムな選択が3.6の精度を与えたに過ぎないことに留意したい。表1テストに使用されたケースのまとめ表2仮想気管支鏡のケースに対し異なる集合セットのグローバルな登録の精度をパーセント表示<幻像ケースを用いた評価>気道幻像テストは、予め構築した気道ツリー幻像における実際の生の気管支鏡に関与した[25]。幻像は、直径59mmの気管支鏡を用いたときのアクセス可能な5個の分岐点より成る。グローバルな登録を実行するしながら、気管支鏡からの各入力ビデオフレームは入力として使用され、グローバルな登録アルゴリズムの出力はサーチ空間からの5個の分岐のうちの一つであった。テストを実行するために、気管支鏡は異なる5つの分岐のそれぞれに移動され、この気管支鏡操作から収集されたビデオがテストに用いられた。収集ビデオから、良好な分岐点を提供したビデオフレームのみがスタディーにおいて使用された。そのようなフレーム総数として836が得られた。グローバルな登録アルゴリズムは、836個のフレームに対して89の精度を与えた図5A~5J参照。図5A~5Jは、気道幻像に関するグローバルな登録の結果を示す。最上行図5A~5Eは、入力気管支鏡のビデオフレームであり、最行行図5F~5Jはアルゴリズムによって推定された気管支鏡位置でのVB画像である。<マルチフレームを用いた評価>マルチフレームを用いてグローバルな登録アルゴリズムの性能を評価するため、表1に記載した仮想ケースを用いた。このテストの設定は、仮想ケースを用いた評価のために使用した設定と同じである。我々は2つのセットのテストを実行した。第1のセットにおいて、同一の分岐点のマルチなランダムビューがテストのために使用された。本テストの方法論の場合、各フレームはグローバルな登録アルゴリズムによって独立に評価された。最も低いWNSSD行列式12からのベスト値を与えたフレームがフレーム群の分岐位置を決定した。第2のセットにおいて、2つの連続する分岐からのテストフレームが使用された。両方分岐は独立に評価された。2つのテストフレームのうち、低いWNSSD行列を与えるフレームが分岐の組を決定した。このセットのテストの結果は、表3にまとめられている。グローバルな登録の精度は82~99の範囲である。上記テストのすべてにおいて、グローバルな登録アルゴリズムはサーチ空間分岐毎に2~3秒の平均時間で実行することがわかった。表3仮想気管支鏡のケースに対しマルチテストフレームを用いたときのグローバルな登録の精度をパーセント表示"