(57)【特許請求の範囲】
【請求項１】
患者監視システムを較正する方法であって、当該方法は、
前記患者監視システムの画像検出器を使用して、較正オブジェクトの様々な向き及び位置での画像を含む較正画像のセットを取得するステップと、
該取得した較正画像を記憶するステップと、
該記憶した較正画像を処理して、前記画像検出器の位置及び向きを規定するカメラパラメータ、及び前記画像検出器の内部特性を特定するパラメータを計算するステップと、
該計算したパラメータを記憶するステップと、
続いて、前記画像検出器を使用して較正オブジェクトの追加画像を取得し、
前記画像検出器を使用して取得した前記追加画像と、記憶した前記カメラパラメータとを用いて前記画像検出器の内部特性の見かけの変化を検出し、
前記画像検出器の内部特性の見かけの変化が検出された場合に、前記画像検出器を使用して更なる較正画像のセットを取得するとともに、該更なる較正画像のセットを使用して前記画像検出器のカメラパラメータを再計算し、
前記画像検出器の内部特性の見かけの変化が検出されない場合に、記憶した前記較正画像のセットと、前記画像検出器によって取得した前記較正オブジェクトの追加画像とを使用して前記画像検出器のカメラパラメータを再計算することによって、前記患者監視システムを再較正するステップと、を含む、
方法。
【請求項２】
前記画像検出器の内部特性の見かけの変化を検出することは、記憶した前記較正画像を使用して決定された前記計算したカメラパラメータと、記憶した前記較正画像及び前記追加画像を使用して決定されたカメラパラメータとを比較することと、前記画像検出器の内部特性を特定するパラメータのいずれかが、閾値量を超えて異なるかどうかを決定することと、を含む、請求項１に記載の方法。
【請求項３】
前記画像検出器の内部特性の見かけの変化を検出することは、
記憶した前記カメラパラメータを利用して前記追加画像を処理して、前記画像検出器に対する前記較正オブジェクトの位置及び向きを決定することと、
記憶した前記カメラパラメータ及び較正シートの決定された位置及び向きを利用して、前記画像検出器の画像平面上への前記較正オブジェクトの予想される外観の逆投影を決定することと、
画像取込み検出器によって取り込まれた前記追加画像内の前記較正オブジェクトの外観を、前記較正オブジェクトの前記予想される外観の逆投影と比較することと、を含む、請求項１に記載の方法。
【請求項４】
記憶した前記較正画像のセットと、前記画像検出器によって取得した前記較正オブジェクトの前記追加画像とを使用して、画像検出器の前記カメラパラメータを再計算することは、前記追加画像を、他の画像と比較される基準画像として利用して、前記画像検出器の位置及び向き、及び前記画像検出器の内部特性を計算することを含む、請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記較正画像のセットを取得するときに使用した前記較正オブジェクトは、前記追加画像を取得するために使用した前記較正オブジェクトとは異なる、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記更なる較正画像のセットを取得するときに使用した前記較正オブジェクトは、前記較正画像の前記セットを取得するときに使用した前記較正オブジェクトと同じである、請求項５に記載の方法。
【請求項７】
前記較正オブジェクトは、較正シートを含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記追加画像は、前記患者監視システムの測定面上に直接的に配置された較正シートの画像を含む、請求項７に記載の方法。
【請求項９】
前記患者監視システムの測定面は、前記患者監視システムのために規定されたグローバル座標系のｚ＝０平面として規定される、請求項８に記載の方法。
【請求項１０】
前記患者監視システムのために規定された前記グローバル座標系は、前記患者監視システムによって監視される患者の表面の３Ｄワイヤメッシュモデルを生成するために使用される、請求項９に記載の方法。
【請求項１１】
較正画像のセットは、画像検出器の視野内の、前記較正オブジェクトの様々な向き及び様々な位置の少なくとも１０枚の画像を含む、請求項１乃至１０のいずれか一項に記載の方法。
【請求項１２】
前記患者監視システムは、複数の画像検出器を含む立体カメラシステムを有しており、前記患者監視システムを較正することは、請求項１乃至１１のいずれか一項に記載の方法に従って前記画像検出器のそれぞれを較正することを含む、方法。
【請求項１３】
前記患者監視システムの再較正が定期的に繰り返される、請求項１乃至１２のいずれか一項に記載の方法。
【請求項１４】
前記患者監視システムを使用して、前記較正オブジェクトの画像を取得することと、前記患者監視システムの前記再較正との間に患者の位置を監視することをさらに含む、請求項１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放射線療法中に患者の位置を監視するための患者監視システムを較正する方法に関する。具体的には、本発明の実施形態は、治療を成功させるために正確な位置付け及び患者の動きの検出が重要となる放射線治療装置等と共に使用するための立体カメラシステムの較正方法に関する。
【背景技術】
【０００２】
放射線療法は、放射線ビームを患者の身体の所定の領域に投射して、その身体内部に存在する腫瘍を破壊又は除去することから構成される。このような治療は、通常、定期的に繰り返し行われる。各医療介入において、選択した領域を可能な限り最も高い精度で放射線を照射し、放射線ビームが有害となり得る隣接する組織への照射を避けるために、放射線源を患者に対して位置付けしなければならない。
【０００３】
患者に放射線を照射する場合に、放射線が腫瘍の位置に集束し、他の組織への副次的な損傷を最小限に抑えるように、治療装置のゲート開閉動作(gating)を呼吸周期に一致させるべきである。患者の動きが検出された場合に、患者の腫瘍位置以外の領域を照射することを避けるために治療を中断すべきである。
【０００４】
この理由から、放射線治療中に患者の位置付けを支援するための多数の監視システムが、Vision  RTの先の特許及び特許出願（特許文献１、特許文献２、特許文献３、特許文献４、特許文献５、及び特許文献６）に記載されるように提案されおり、それらの全ての文献は、参照により本明細書に組み込まれる。
【０００５】
Vision  RTの特許出願に記載されるシステムでは、患者の立体画像を取得して、処理し、撮像される患者の表面上の点に対応する多数の点の３Ｄ位置を特定するデータを生成する。このようなデータは、前の機会に生成されたデータと比較され、一貫した方法で患者を位置付けする、又は患者が所定の位置から外れたときに警告を発するために使用される。典型的には、そのような比較は、ライブ画像に基づいて生成されたデータによって特定される患者の表面上の点と、以前の機会に生成されたデータによって特定される患者の表面上の点との間の位置の差を最小化する変換を決定するためのプロクラテス(Procrustes)解析を行うことを含む。
【０００６】
放射線療法の適用のための治療計画は、複数の又は浮遊するアイソセンターを有する治療装置を用いるので、益々複雑になってきている。また、全体的な治療時間を短縮するために、治療中に高線量の放射線を使用する傾向が高まっている。このような複雑性の増大及びより高い線量は、治療ミスの可能性を増大させる。従って、患者監視システムの精度の改善に対する必要性が益々高まっている。
【０００７】
妥当な視野を得るために、患者監視システムでは、患者を監視するカメラは、典型的には、所定の距離（例えば、監視される患者から１〜２メートル）から患者を見る。Vision  RTの患者監視システムは、患者の表面の非常に正確な（例えば、サブミリメートルの）モデルを生成することができる。そのためには、画像取込み装置／カメラの相対位置及び向き、各画像検出器／カメラのレンズの光学設計によって生じる光学収差（例えば、樽型(barrel)収差、陣笠(pincushion)収差、糸巻型(mustache)収差、偏心(decentering)収差、円周方向(tangential)収差）、及びカメラ／画像取込み装置の他の内部パラメータ（例えば、焦点距離、画像中心、アスペクト比スキュー、ピクセル間隔等）を特定するカメラパラメータを確立するために、監視システムを較正することが不可欠である。一旦既知になったカメラパラメータを利用して、取得した画像を操作し、歪みのない画像を得ることができる。次に、異なる位置から取得した画像内の対応する部分同士を一致させ、それらの一致並びに画像取込み装置／カメラの相対位置及び向きから３Ｄ位置を導出することによって、３Ｄ位置測定値を決定することができる。
【０００８】
典型的には、患者監視システムの較正は、視野内の較正マーキングの様々な向き及び様々な位置での既知の配置を用いて、既知のサイズの較正オブジェクトの複数の画像を取り込み、較正オブジェクト上のマーキングの予想される位置に関する情報を使用して画像を処理して、様々なパラメータを決定する。較正の精度は、較正プロセスで使用される画像の数に非常に依存する。使用される画像の数が多く、様々な画像同士の間の較正プレートの向きの変化が大きければ大きいほど、結果はより正確になる。例えば、MVTec  Software  GmbHのHALCONマシンビジョン・ソフトウェアパッケージは、少なくとも１０〜１５枚の画像の較正プレートを必要とし、較正オブジェクトが画像取込み装置／カメラの視野に対して小さい場合には、これよりも著しく多い画像を必要とし得る。取込む必要がある画像数の結果として、そのようなプロセスを使用してコンピュータビジョンシステムを較正するのに時間がかかることがある。
【０００９】
放射線治療中に患者の位置を監視するためにコンピュータビジョンシステムが使用される場合に、システムは、取込まれた画像を処理し且つコンピュータモデルを生成するために使用されるパラメータが立体カメラの現在の相対位置を正確に反映するのを保証するために、非常に頻繁に（理想的には個々の患者治療セッション毎に）再計算する必要がある。高精度で定期的な再較正の必要性は、カメラの向きの非常に小さな変化がモデルの精度に著しい影響を及ぼす可能性があるため、患者を所定の距離から見る患者監視システムの場合には悪化する。この感度のために、非常に定期的な較正は、特に、例えばカリフォルニアや日本等の地震に襲われやすい地域において、カメラが誤って衝撃を受けたり向きを変えたりする可能性がある患者監視システムにとっては重要である。小さな地震の揺れは、システムの画像取込み装置／カメラの動きを生じさせ、患者の位置付け及び治療にエラーをもたらし得る。しかしながら、このような較正が所望の頻度で行われる場合に、これは患者の治療のスループットに悪影響を与える。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第７，８８９，９０６号
【特許文献２】米国特許第７，３４８，９７４号
【特許文献３】米国特許第８，１３５，２０１号
【特許文献４】米国出願公開第２００９／１８７１１２号明細書
【特許文献５】国際公開２０１４／０５７２８０号
【特許文献６】国際公開２０１５／００８０４０号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従って、放射線療法の治療装置と共に使用される患者監視システムに対して較正手順を実施する効率を改善することが望ましい。
【００１２】
本発明の一態様によれば、患者監視システムを較正する方法が提供される。
【００１３】
最初に、患者監視システムの画像検出器を使用して、較正オブジェクトの様々な向き及び位置での画像を含む較正画像のセットを取得する。次に、これらの取得した較正画像を記憶し、処理して、画像検出器の位置及び向きを規定するカメラパラメータ、及び画像検出器の内部特性を特定するパラメータ（例えば、レンズ収差、焦点距離、アスペクト比等）を計算する。
【００１４】
続いて、患者監視システムは、画像検出器を使用して、較正オブジェクトの追加画像を取得することによって再較正される。次に、この追加画像及び記憶したカメラパラメータを使用して、画像検出器の内部特性の見かけの変化を検出する。画像検出器の内部特性の変化が検出された場合に、画像検出器を使用した更なる較正画像のセットが取得され、画像検出器のカメラパラメータは、更なる較正画像のセットを使用して再計算される。画像検出器内のパラメータの見かけの変化が検出されない場合に、患者監視システムの再較正は、記憶した較正画像のセットと、画像検出器によって取得した較正オブジェクトの追加画像とを使用して、画像検出器のカメラパラメータを再計算することによって達成される。
【００１５】
上述したプロセスは、患者監視システムの精度を迅速に確認する手段を提供し、それにより、較正手順の効率の改善が図られる。これは、複数の画像に基づいてシステムの完全な較正を実行するのではなく、単一の追加画像のみを取得して、この新しい単一の画像と、元の較正からの以前に記憶した画像とを使用してカメラ補正パラメータを再計算するからである。これにより、再較正プロセスを実行するのに必要な作業量が低減され、こうして処理装置を使用したスループットを維持するのを支援する。
【００１６】
画像検出器の内部特性が調整されると、内部パラメータを更新しない限り、システムはもはや正確ではなくなる。実際のものか、又は見かけのものであるかを問わず画像検出器の内部特性の変化が検出された場合に、これは完全な再較正を行う必要があることを示す。対照的に、内部特性に関連するカメラパラメータが正確であると確認できる場合に、画像検出器の相対的な位置及び向きについての正確なカメラパラメータは、カメラで撮影された画像内の既知の寸法の較正オブジェクトの外観に基づいて、現在の内部パラメータを使用して決定することができる。
【００１７】
画像検出器の内部特性の変化を検出することは、多くの方法で達成することができる。
【００１８】
いくつかの実施形態では、画像検出器の内部特性の変化を検出することは、記憶した較正画像を使用して決定された記憶したカメラパラメータと、記憶した較正画像及び追加画像を使用して決定されたカメラパラメータとを比較することと、画像検出器の内部特性を特定するパラメータのいずれかが閾値量よりも大きく異なることを判定することと、を含む。
【００１９】
あるいはまた、他の実施形態では、画像検出器の内部特性の見かけの変化を検出することは、記憶したカメラパラメータを利用して追加画像を処理し、画像検出器に対する較正オブジェクトの位置及び向きを決定することと、記憶したカメラパラメータ及び較正シートの決定された位置及び向きを利用して、画像検出器の画像平面上への較正オブジェクトの予想される外観の逆投影を決定することと、画像取込み検出器によって取り込まれた追加画像内の較正オブジェクトの外観を、較正オブジェクトの予想される外観の逆投影と比較することと、を含む。
【００２０】
記憶した較正画像のセットと、画像検出器によって取得した較正オブジェクトの追加画像とを使用して、画像検出器のカメラパラメータを再計算することは、追加画像を、他の画像が比較されるベース画像として利用して、画像検出器の位置及び向き、並びに画像検出器の内部特性を計算することを含んでもよい。
【００２１】
いくつかの実施形態では、較正オブジェクトは較正シートを含むことができ、追加画像は、患者監視システムの測定面上に直接的に配置される較正シートの画像を含むことができ、ここで、患者監視システムの測定面は、患者監視システムのために規定されたグローバル座標系のｚ＝０面として規定される。そのような実施形態では、患者監視システムのために規定されたグローバル座標系は、システムによって監視される患者の表面の３Ｄワイヤメッシュモデルを生成するために使用されるものであってもよい。
【００２２】
いくつかの実施形態では、システムを較正するために使用される較正画像のセットは、画像検出器の視野内の、較正オブジェクトの様々な向き及び様々な位置での少なくとも１０枚の画像を含むことができる。
【００２３】
この方法は、複数の画像検出器を有する立体カメラシステムを含む患者監視システムを較正するために使用することができ、各画像検出器は、上述したように較正される。
【００２４】
患者監視システムを較正する上述した方法は、定期的に再較正が繰り返される場合に、行うことができ、監視システムは、較正オブジェクトの画像を取得することと、患者監視システムの再較正との間で、患者の位置を監視するために使用される。
【００２５】
本発明の一実施形態について、添付の図面を参照してさらに詳細に説明する。
【図面の簡単な説明】
【００２６】
【図１】患者モニタの概略斜視図である。
【図２】図１の患者モニタのカメラシステムの正面斜視図である。
【図３】図１の患者モニタのコンピュータシステムの概略ブロック図である。
【図４】本明細書に記載される方法で使用するための較正シートの平面図である。
【図５Ａ】図４の較正シートの画像の画像歪みの結果を示す実例となる図である。
【図５Ｂ】図４の較正シートの画像の画像歪みの結果を示す実例となる図である。
【図５Ｃ】図４の較正シートの画像の画像歪みの結果を示す実例となる図である。
【図５Ｄ】図４の較正シートの画像の画像歪みの結果を示す実例となる図である。
【図６Ａ】本発明による較正方法のフロー図である。
【図６Ｂ】本発明による較正方法のフロー図である。
【発明を実施するための形態】
【００２７】
放射線療法の治療装置と共に使用するための患者監視システムを操作する方法を説明する前に、患者監視システム及び放射線療法の治療装置について、説明する。
【００２８】
図１は、配線（図示せず）によってコンピュータ１４に接続された、立体カメラシステム１０を含む例示的な患者監視システムの概略斜視図である。コンピュータ１４は、放射線療法を適用するための線形加速器等の治療装置１６にも接続される。治療中に患者２０が横たわる治療装置の一部として、機械的なカウチ(couch)１８が設けられる。治療装置１６及び機械的なカウチ１８は、コンピュータ１４の制御下で、機械的なカウチ１８と治療装置１６との相対位置を、図中のカウチに隣接する矢印に示されるように、横方向、縦方向、長手方向、及び回転方向に変化させることができるように構成される。
【００２９】
治療装置１６は、ガントリ２４を延ばす本体２２を有する。コリメータ２６が、治療装置１６の本体２２から離れたガントリ２４の端部に設けられる。患者２０に照射される放射線の角度を変化させるために、コンピュータ１４の制御下にあるガントリ２４は、治療装置１６の本体２２の中心を通る軸線の周りを回転するように構成される。さらに、治療装置による照射位置は、ガントリ２４の端部のコリメータ２６を回転させることによって変化させることもできる。
【００３０】
使用する際に、立体カメラ１０は、機械的なカウチ１８に横たわる患者２０のビデオ画像を取得する。これらのビデオ画像は、配線を介してコンピュータ１４に渡される。次に、コンピュータ１４は、患者２０の画像を処理して、患者の表面のモデルを生成する。このモデルは、以前の治療セッション中に生成された患者のモデルと比較される。患者を位置付けするときに、現在のモデル表面と以前のセッションで得られた目標モデル表面との間の差が特定され、これら表面を整列させるのに必要な位置付け命令が決定され、この命令が機械的なカウチ１８に送られる。続いて、治療中に、初期設定からのずれを特定することができ、このずれが閾値より大きい場合に、コンピュータ１４は、治療装置１６に命令を送り、患者２０が再位置付けされるまで治療を中断させる。
【００３１】
図２は、図１の患者監視システムの立体カメラシステム１０の正面斜視図である。
【００３２】
この実施形態では、立体カメラシステム１０は、ヒンジ４４を介してブラケット４２に接続されたハウジング４１を有する。ブラケット４２によって、立体カメラシステム１０を治療室の天井の固定した位置に取り付けることを可能にする一方で、ヒンジ４４によって、立体カメラシステム１０の向きをブラケット４２に対して向き合せすることができるので、立体カメラシステム１０は、機械的なカウチ１８上の患者２０を視野内に入れるように配置される。
【００３３】
一対のレンズ４６が、ハウジング４１の前面４８の端部に取り付けられる。これらのレンズ４６は、ハウジング４１内に収容されたＣＭＯＳ能動画素センサ（APS）又は電荷結合素子(CCD)（図示せず）等の画像取込み装置／カメラの前に位置付けされる。カメラ／画像検出器は、レンズ４６を介して患者２０の画像を取り込むようにレンズ４６の後ろに配置される。
【００３４】
スペックルプロジェクタ５２が、２つのレンズ４６の間のハウジング４１の前面４８の中間に設けられる。スペックルプロジェクタ５２は、２つの画像検出器によって患者２０の画像を取り込んだときに、取り込まれた画像の対応部分を区別できるように、赤色光の非繰返しのスペックルパターンで患者２０を照明するように構成される。そのために、スペックルプロジェクタは、ＬＥＤ等の光源と、フィルム上に印刷されたランダムなスペックルパターンを含むフィルムとを有する。使用する際に、光源からの光がフィルムを介して投影され、その結果、明領域及び暗領域から構成されるパターンが患者２０の表面上に投影される。投影されたスペックルパターンの画像が立体カメラシステム１０によって取り込まれると、次に、画像を処理して、患者の表面上の点のセットの位置を決定することができ、こうして、患者の位置を監視することができる。
【００３５】
図３は、図１の患者モニタのコンピュータ１４の概略ブロック図である。
【００３６】
コンピュータ１４が立体カメラシステム１０から受信した画像を処理するために、コンピュータ１４は、ディスク５４上に提供されたソフトウェアによって、又は通信ネットワークを介していくつかの機能モジュール５６〜６４に電気信号５５を受信することによって構成される。この例では、機能モジュール５６〜６４は、立体カメラシステム１０から受信した画像を処理する３Ｄ位置決定モジュール５６と、３Ｄ位置決定モジュール５６によって生成されたデータを処理し、そのデータを画像化されたコンピュータ表面の３Ｄワイヤメッシュモデルに変換するモデル生成モジュール５８と、撮像面の３Ｄワイヤメッシュモデルを記憶する生成モデル記憶装置６０と、以前に生成された３Ｄワイヤメッシュモデルを記憶する目標モデル記憶装置６２と、生成されたモデルと目標モデルとを一致させるために必要な回転及び並進を決定するマッチングモジュール６４と、を含む。
【００３７】
使用する際に、立体カメラシステム１０によって画像が取得されると、これらの画像は、３Ｄ位置決定モジュール５６によって処理される。この処理により、３Ｄ位置決定モジュールが、患者２０の表面上の一対の画像における対応する点の３Ｄ位置を特定することができる。これは、３Ｄ位置決定モジュール５６が、立体カメラシステム１０によって取得された一対の画像における対応する点を特定し、次に、取得した一対の画像における対応する点の相対位置及び立体カメラシステム１０の各画像取込み装置／カメラのカメラパラメータに基づいて、それらの点についての３Ｄ位置を決定することによって達成される。
【００３８】
典型的には、対応する点の特定は、約１６×１６画素の画像パッチの解析に基づく。上述したように対応するパッチを特定して一致させるのを支援するために、立体カメラシステム１０は、患者の表面の異なる部分をより容易に区別できるように、撮像される患者２０にランダム又は準ランダムスペックルパターンを投影するように構成されたスペックルプロジェクタ５２を含む。スペックルパターンのサイズは、異なるパターンが異なる画像パッチにおいて明らかになるように選択される。
【００３９】
次に、３Ｄ位置決定モジュール５６によって生成された位置データを、モデル生成モジュール５８に渡し、モデル生成モジュール５８は、その位置データを処理して、立体カメラ１０によって撮像された患者２０の表面の３Ｄワイヤメッシュモデルを生成する。この実施形態では、３Ｄモデルは、モデルの頂点が３Ｄ位置決定モジュール５６によって決定された３Ｄ位置に対応する三角形ワイヤメッシュモデルを含む。そのようなモデルが決定されると、そのモデルは、生成モデル記憶装置６０に記憶される。
【００４０】
患者２０の表面のワイヤメッシュモデルが記憶されると、マッチングモジュール６４が呼び出され、立体カメラ１０によって取得された現在の画像に基づいて生成されたモデルと、目標モデル記憶装置６２に記憶された患者の以前に生成されたモデル表面との間を一致させる並進及び回転を決定する。次に、決定された並進及び回転は、命令として機械的なカウチ１８に送られ、以前に治療したときのように、治療装置１６に対する同じ位置にカウチを患者２０に位置付けさせる。
【００４１】
続いて、立体カメラ１０は、患者２０を監視し続けることができ、更なるモデル表面を生成し、且つこれら生成された表面を目標モデル記憶装置６２に記憶した目標モデルと比較することによって、位置の変化を特定することができる。患者が所定の位置から外れたことが判定された場合に、治療装置１６を中断させ、患者２０は再位置付けされ、それによって患者２０の不適切な部分への照射を回避することができる。
【００４２】
可能な限り高い精度で患者の表面のモデルを構築するために、患者監視システム／立体カメラシステムは、画像の一致する部分が３Ｄ位置の決定に変換されるように較正する必要がある。これは、画像取込み装置の相対位置を決定することを含む。さらに、システムの較正は、レンズ４６によって、又は画像取込み装置によって導入される画像歪みを補正しなければならない。
【００４３】
コンピュータビジョンシステムを較正する従来の方法は、画像取込み装置／カメラの視野内の、較正マーキングの様々な方向及び様々な位置での既知の配置を用いて、既知のサイズの較正オブジェクトの複数の画像を含む、各画像取込み装置／カメラのための較正画像のセットを取り込むことを含む。このような較正オブジェクトは、典型的には、較正シートの形態をとり、図４は、アルミニウム又は鋼等の平坦な剛性材料の７０×７０ｃｍのシートを含む例示的な較正シート１００の平面図を示し、シートの表面上の既知の位置にマーキング／サークル１０１ａの３２マトリックスを表すパターンが提供される。さらに、この例では、較正シートの中心に向けて、４つのサークルに隣接する４つのより小さいマーカ１０１ｂがあり、このマーカの中心が共に、既知のサイズの四角形の四隅を特定し、シート１００の中央で交わる一対の破線によって形成される十字線１０２も特定する。
【００４４】
更なる例として、MVTec  Software  GmbHは、HALCONマシンビジョン・ソフトウェアパッケージと共に使用することが意図されたサイズ範囲の較正シートを提供し、これらの較正シートは、マーキング／サークルの７×７マトリックスを含む。
【００４５】
図５Ａ〜図５Ｄは、図４の較正シートの画像のセットを示す。図５Ａは、所定の角度から視た、較正シート１００の画像の例を示す。図５Ｂは、半径方向樽型歪みが存在する較正シート１００の画像の例を示し、図５Ｃは、放射状陣笠歪みが存在する較正シート１００の画像の例を示し、図５Ｄは、偏心歪みが存在する較正シート１００の画像の例を示す。
【００４６】
既知のマーキングのセットを含む、既知のサイズの較正シート１００の画像が各画像取込み装置／カメラによって取得された場合に、システムの画像取込み装置／カメラの相対位置及び向きを規定するパラメータを導出することができ、同様に各画像取込み装置／カメラの内部特性（例えば、焦点距離、放射状歪み係数、接線歪み係数等）を規定するパラメータを導出することができる。従って、例えば図５Ａのケースでは、較正シート１００の様々なマーキングのサイズ及び位置が既知の場合に、シートと、図５Ａに示されるような画像を取得するカメラとの相対的な向きを決定することができる。そのような画像にアフィン変換を適用して、斜めの角度から較正シート１００を視ることによって生じる歪みを除去する場合に、較正シート１００のビュー(view)は、図４に示す平面図に対応するはずである。図５Ｂ〜図５Ｄに示されるように、画像取込み装置／カメラの内部特性から生じる歪みのために、マーカのアレイのいずれかが図４の平面図に対応しない場合に、これらは、画像を処理して取り込んだ画像に基づいて３Ｄモデルを生成する前にこれらの歪みについての適切な補正を行うことができるので、特定することができる。
【００４７】
図６Ａ及び図６Ｂは、本発明による患者監視システム／立体カメラシステムを較正及び動作するための改善されたプロセスを示すフロー図である。
【００４８】
最初に、図６Ａに示されるように、患者監視システム／立体カメラシステムは、システムの各画像取込み装置／カメラのカメラパラメータを確立するために完全な較正を受ける。
【００４９】
図６Ａでは、画像取込み装置／カメラのこの完全な較正の第１のステップ（Ｓ６−１）において、画像取込み装置／カメラを使用して、画像取込み装置／カメラのための較正画像のセットを取得して記憶し、較正画像のセットは、画像取込み装置／カメラの視野内の、較正マーキングの様々な向き及び様々な位置での既知の配置を含む較正シートの複数の画像を有する。
【００５０】
この較正画像のセットは、較正される画像取込み装置／カメラの視野内の、異なる位置及び向きでの較正シートの多数の画像（例えば、１０〜１５枚の異なる画像）を含む。これらの画像のうちの１つが、較正プロセスのベース画像として指定され、ベース画像内の較正シートの表面は、システムについて規定されたグローバル座標系の平面ｚ＝０を規定するために使用される。
【００５１】
次に、ベース画像を含む、較正シートの較正画像のセットが、較正シート上のマーキングの予想位置に関する情報を用いて処理され、画像取込み装置／カメラのためのカメラパラメータを決定し、取り込まれた較正画像のセット及びこれらのカメラパラメータが記憶される（Ｓ６−２）。
【００５２】
図６Ａに示される完全な較正手順は、システムの全ての画像取込み装置／カメラに対してカメラパラメータが計算され、記憶されるまで、画像取込み装置／カメラのそれぞれに対して行われる。各画像取込み装置／カメラについてのカメラパラメータのこの決定は、従来技術を使用して行われる。
【００５３】
一例として、セット内の各較正画像を処理して、較正シート上のマーキングの画像内の座標を抽出することができる。次に、これらの座標を、座標系におけるマーキングの予想位置と比較して、カメラとカメラの相対的な位置及び向き特定するパラメータ、及びカメラ自体に内在するパラメータ（例えば、レンズ収差、焦点距離、アスペクト比等）を決定することができ、これは、”A  Versatile  Camera  Calibration  Technique  for  High-Accuracy  3D  Machine  Vision  Metrology  Using  Off  the  Shelf  TV  Camera  and  Lenses”,  Roger  Tsai,  IEEE  Journal  of  Robotics  and  Automation,  Vol.  Ra-3,  No.4,  August  1987に詳細に記載されている。更なる例として、MVTec  Software  GmbHからのHALCONマシンビジョン・ソフトウェアパッケージは、MVTec  Software  GmbHによって発行された”Solution  Guide  III-C-3D  Vision”に記載されるように、較正画像のセットからカメラのカメラパラメータセットを決定するための代替技術を実施する。
【００５４】
次に、記憶したカメラパラメータは、患者を監視するときに（例えば、画像からの歪みを除去し、画像内の比較的一致する位置、及び画像を取り込むために使用したカメラの相対的な位置及び向きに基づいて、異なる画像の部分間の一致を３Ｄ表面測定値に変換するために）画像取込み装置／カメラによって取り込まれた画像を処理する患者監視システムによって使用される。
【００５５】
完全な較正が完了した後、しばらくして、再較正が開始される。このような再較正の開始は、再較正が、システムオペレータによって、１日の始まりに又は患者と次の患者との間に開始される手動の動作とし得る。
【００５６】
図６Ｂは、この再較正手順を示すフロー図であり、このフローの間に、システムの各画像取込み装置／カメラは、ある程度の再較正を受ける。
【００５７】
再較正手順の第１のステップでは、再較正を受ける画像取込み装置／カメラを使用して較正シートの追加画像を取得し（Ｓ６−３）、ここで、較正シートは、好ましくは、システムについて規定されたグローバル座標系の平面ｚ＝０を規定するための位置に又はその近くに配置される。較正シート１００の所望の位置への配置は、較正シート１００を機械的なカウチ１８の表面上に置き、このシートを治療装置１６のアイソセンターに位置するシート１００の中心に配置することによって達成することができる。多くのケースでは、シートの正確な配置は、従来の放射線治療装置においてしばしば使用されるようなアイソセンターの位置を強調するためにレーザ光を使用し、レーザ光が投影された平面を用いてシート１００とシート１００上の十字線１０２を位置付けし、整列させることを容易にする。次に、この追加画像を使用して、画像取込み装置／カメラのために記憶した内部カメラパラメータ（すなわち、カメラの内部特性に関するカメラパラメータ）が依然として有効／正確であるかどうかを確認するための較正チェックを実施する（Ｓ６−４）（例えば、カメラが衝撃を受けたか、他に所定の位置から外れている場合には有効でないかもしれない）。
【００５８】
追加画像を使用して、画像取込み装置／カメラのために記憶した内部カメラパラメータが依然として有効／正確であるかどうかを確認するために、いくつかの可能な方法がある。
【００５９】
一例として、以前に記憶したカメラパラメータの精度をチェックするために、画像検出器の位置及び向き、並びに内部カメラ特性を特定する以前に記憶したカメラパラメータを使用して、追加画像を処理して、画像検出器に対する較正シートの位置及び向きを決定することができる。較正シートの決定された位置及び向き、並びに記憶したカメラパラメータを使用して、較正シート上のマーキングの画像平面への逆投影を実施することができる。特定の画像取込み装置／カメラのために記憶した内部カメラパラメータの精度は、画像取込み装置／カメラによって取り込まれた追加画像内の較正シート上のマーキングの外観を、逆投影内の較正オブジェクトの外観と比較することによって決定することができる。この比較によって、画像検出器の内部特性のあらゆる変化が明らかになる。逆投影は、較正オブジェクト及び較正オブジェクト上のマーキングの位置を表すデータを利用する。
【００６０】
代替案として、カメラの内部態様に関する以前に記憶したカメラパラメータ（例えば、レンズ収差、焦点距離、アスペクト比等）の精度は、追加画像と、初期較正計算で使用した較正画像のセットからの以前に記憶した画像との両方を使用してこれらのカメラパラメータを再計算することによって決定することができる。次に、画像取込み装置／カメラの内部態様に関連する再計算したカメラパラメータを、初期の完全な較正手順の間に画像取込み装置／カメラについて計算されたこれらの内部態様に関する記憶した対応するカメラパラメータと比較して、再計算したパラメータと記憶したパラメータとの間に実質的な差が存在するかを判定する。こうして、カメラの内部態様に関連する記憶したカメラパラメータが依然として正確であるかどうかを判定することができる。
【００６１】
例えば、これは、カメラの内部態様に関する再計算したカメラパラメータのそれぞれの値と、記憶した対応する内部カメラパラメータの値との間の差を計算することと、これらの差のいずれかが対応する閾値をこえるかどうかを判定することと、を含み得る。
【００６２】
最後に行った完全な較正から得られたカメラの内部特性に関連する記憶したカメラパラメータが、依然として十分に正確である（すなわち、カメラパラメータにおいて検出された変化、又は較正シート上のマーキングについての撮像位置と投影位置との間の差が、閾値量未満しか異ならない）ことを判定した場合に、完全に新しい較正画像のセットを必要とする完全な較正プロセスに着手する必要なく、画像取込み装置／カメラを部分的に再較正することができる。これは、以前に記憶したベース画像を新しく取込まれた画像に置き換え（Ｓ６−８）、次に新たに取込まれた画像を含む記憶した較正画像を使用して、カメラパラメータを再計算する（Ｓ６−９）ことによって達成することができる。
【００６３】
この再較正は、カメラの内部態様に関連するカメラパラメータが依然として十分に正確である（すなわち、カメラの内部特性のいずれもが十分に変化したことを示さない）と判定されたかのように、全く新しい較正画像のセットを取得する必要なしに、達成することができ、記憶した画像は、システムを較正するために新しいベース画像と一緒に再使用することができる。これは、オリジナルのカメラ画像セットの取得（Ｓ６−１）と新たな追加画像の取得（Ｓ６−３）との間の期間内にカメラが所定の位置からずれるようになった場合でさえも同様である。これは、カメラの現在の位置及び向きを決定するための基礎として新しい画像を使用することによって、画像取込み装置／カメラのあらゆる動きを考慮に入れることができるからである。
【００６４】
画像検出器の内部特性が著しく変化したことを示したと判定された場合には、完全な再較正が必要となる。例えば、これは、カメラのいくつかの内部態様が意図的に又は不意に調整されたことが考えられる。この場合に、システムは、この画像取込み装置／カメラの完全な再較正が必要であると判断し（Ｓ６−１０）、これをオペレータに示す。従って、プロセスは、完全に新しい較正画像のセットを使用して完全な再較正を必要とする完全な較正を実施することに進む（すなわち、ステップＳ６−１に戻る）。
【００６５】
再較正が開始されると、図６Ｂに示される手順は、カメラパラメータが、システムの全ての画像取込み装置／カメラに対して再計算され、記憶されるまで繰り返される。次に、システムは、次の再較正チェックの開始を待つ。
【００６６】
上述した実施形態の較正プロセスでは、較正シート１００の形態の較正オブジェクトの画像を利用するものとして、初期の完全な較正、較正チェック、及び患者監視システムの完全な較正及び部分的な再較正について説明している。これらのステップのそれぞれは、同じ較正オブジェクト、又は少なくとも同じ設計の較正オブジェクトを使用して実施することができるが、較正オブジェクトの３Ｄ位置及び向きを決定できるように、較正オブジェクトのフォーム／設計が十分であり、システムが各較正オブジェクトを表すデータを有することを条件として、各ステップに対して較正オブジェクトの異なるフォーム／設計を利用することも同等に可能である。例えば、初期の完全な較正のための較正画像のセットを取得するときに、第１の較正オブジェクトを使用することができ、較正チェックのための追加画像を取得するときに、第２の較正オブジェクトを使用することができ（この第２の較正オブジェクトの追加画像は、部分的な再較正のためにも使用される）、完全な較正のために更なる較正画像のセットを取得するときに、第３の較正オブジェクトを使用することができる。
【００６７】
特に有利な実施形態では、初期の完全な較正を実施するために第１の較正オブジェクトが使用される一方、較正チェック及び部分的な再較正を実施するために第２の較正オブジェクトが使用される。完全な再較正が必要な場合は、第１の較正オブジェクトを再利用する必要がある。この方法では、第２の較正オブジェクトよりも高価な第１の較正オブジェクトを使用することができ、第１の較正オブジェクトは、まれに完全な較正に必要なときに、患者監視システムの製造者／供給者によって一時的に利用可能にされ、第２の較正オブジェクトは、より定期的な部分的な再較正のために患者監視システムのエンドユーザに供給される。
【００６８】
図面を参照して説明した本発明の実施形態は、コンピュータ装置、及びコンピュータ装置で実行される処理を含むが、本発明は、本発明を実現するように適合されたコンピュータプログラム、特にキャリア上又は内のコンピュータプログラムにも及ぶ。プログラムは、ソースコード又はオブジェクトコードの形態であってもよく、又は本発明によるプロセスを実施する際に使用に適した他の形態であってもよい。キャリアは、プログラムを運ぶことができる任意のエンティティ又は装置とすることができる。
【００６９】
例えば、キャリアは、ＲＯＭ（例えばＣＤ−ＲＯＭ又は半導体ＲＯＭ）等の記憶媒体、又はフロッピー（登録商標）ディスク又はハードディスク等の磁気記録媒体を有してもよい。さらに、キャリアは、電気ケーブル又は光ケーブルを介して、或いは無線又は他の手段によって伝達され得る電気信号又は光信号等の伝送可能なキャリアであってもよい。プログラムが、ケーブル又は他の装置又は手段によって直接的に伝達される信号に組み込まれる場合に、そのようなケーブル又は他の装置又は手段によってキャリアを構成することができる。あるいはまた、キャリアは、プログラムが埋め込まれた集積回路であってもよく、集積回路は、関連するプロセスを実行するように適合され、又は関連するプロセスの実行において使用されるように適合される。
【図１】
0006543705.tif 000002
【図２】
0006543705.tif 000003
【図３】
0006543705.tif 000004
【図４】
0006543705.tif 000005
【図５Ａ】
0006543705.tif 000006
【図５Ｂ】
0006543705.tif 000007
【図５Ｃ】
0006543705.tif 000008
【図５Ｄ】
0006543705.tif 000009
【図６Ａ】
0006543705.tif 000010
【図６Ｂ】
0006543705.tif 000011