(57)【要約】  医療装置を介してリアルタイムで取得された画像を処理するための方法であって、前記画像はバッファにロードされており、バッファへの画像のロードを停止するステップと、ロードされた画像を増分アルゴリズムを用いて処理するステップと、処理の中間結果を連続して表示するステップと、前記中間結果の評価に基づいて、ロードを再開し、処理を停止するステップとを含む、方法である。
2012516176.tif 000002
【特許請求の範囲】
【請求項１】
医療装置を介してリアルタイムで取得された画像を処理するための方法であって、前記画像はバッファにロードされており、
バッファへの画像のロードを停止するステップと、
ロードされた画像を増分アルゴリズムを用いて処理するステップと、
処理の中間結果を連続して表示するステップと、
前記中間結果の評価に基づいて、ロードを再開し、処理を停止するステップとを含む、方法。
【請求項２】
取得された画像はリアルタイムで表示され、バッファへのロードを停止するステップは前記リアルタイムで表示された画像の評価に基づいている、請求項１に記載の方法。
【請求項３】
取得された画像はビデオシーケンスから生じており、処理は、視野を広げるために連続画像を反復して整列させ、融合することを含む、請求項１に記載の方法。
【請求項４】
取得された画像はシフトされた画像であり、処理は、高解像度画像を得るために前記画像を反復して登録することを含む、請求項１に記載の方法。
【請求項５】
取得された画像は血管を表わすビデオシーケンスから生じており、処理は血流速度を計算する、請求項１に記載の方法。
【請求項６】
ロードは自動的に停止される、請求項１に記載の方法。
【請求項７】
ロードは、動き検出器アルゴリズムに基づいて停止される、請求項６に記載の方法。
【請求項８】
中間結果の評価は、ユーザによって操作される、請求項１に記載の方法。
【請求項９】
中間結果の評価は、自動的に操作される、請求項１に記載の方法。
【請求項１０】
中間結果の評価は、動き検出器アルゴリズムによって操作される、請求項９に記載の方法。
【請求項１１】
バッファはＦＩＦＯバッファである、請求項１に記載の方法。
【請求項１２】
中間結果は記憶装置に記憶される、請求項１に記載の方法。
【請求項１３】
取得された画像はリアルタイムで表示され、処理の中間結果は、リアルタイムで表示された画像に統合される、請求項１に記載の方法。
【請求項１４】
医療装置はファイバ共焦点顕微鏡である、請求項１に記載の方法。
【請求項１５】
撮像システムであって、
画像を取得するための医療装置と、
前記画像をロードするためのバッファを含む記憶装置と、
画像を処理するためのプロセッサと、
表示装置とを含み、
プロセッサは、ロードの停止後、ロードされた画像を増分アルゴリズムを用いて処理し、前記アルゴリズムの中間結果が表示装置によって連続して表示され、前記中間結果の評価に基づいてロードが再開される、撮像システム。
【請求項１６】
取得された画像はリアルタイムで表示され、バッファへのロードの停止は、前記リアルタイムで表示された画像の評価に基づいている、請求項１５に記載のシステム。
【請求項１７】
医療装置はファイバ共焦点顕微鏡である、請求項１５に記載のシステム。
【請求項１８】
医療装置は第１の取得装置および第２の取得装置を含み、バッファは、第１および第２の取得装置において取得された画像をそれぞれロードするための第１のバッファおよび第２のバッファを含み、処理は、第２のバッファにロードされた１つの画像上に、第１のバッファにロードされた１つ以上の画像を融合することを含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
背景
開示の分野
この発明は一般に画像およびビデオオンライン処理に関し、特に、リアルタイムで取得された画像、とりわけ医療装置を介して取得された画像を処理するためのシステムおよび方法に関する。
【背景技術】
【０００２】
データのオンライン処理は、ビデオ監視、工業検査、ロボット工学、および生物医学撮像といった用途にとって重大である。たとえば、ビデオ処理は、内視鏡検査および内視顕微鏡検査において関心を引きそうなものである。特許出願ＵＳ２００５２０７６６８は、たとえば、内視顕微鏡検査で通常使用される光ファイバの束を介して取得されたリアルタイム画像を復元するシステムを提示している。
【０００３】
画像およびビデオ処理手法は一般に、デジタルビデオ取得装置で使用される。そのようなアルゴリズムの主な目的は、データから有用な情報を抽出することである。これは、最も単純な視覚化強化から、手術中の全自動の画像に基づいた意思決定に至る、あらゆるものを意味し得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
たとえば、内視鏡検査中、ある組織の所与の部分からのビデオシーケンスのある特定の詳細が、医師の注意を引くかもしれない。この関心を引く画像を調べるために、その画像が処理されることを医師が必要とする場合がある。オンライン画像処理はとりわけ、リアルタイム処理または時間遅延処理を通して実行され得る。リアルタイム処理は、２つの画像間の時間よりも処理時間が短い場合にのみ実現されてもよい。時間遅延処理は、ある一定数の画像に対応する時間内に処理が完了可能な場合にのみ実現されてもよく、いくつかの処理を並行して開始することを必要とする。遅延処理は組織上の調査区域の場所を見失うことをもたらす場合があるため、通常の内視鏡検査システムは、所与の画像で停止することを可能にするフリーズ機能を提供している。要望に応じて表示をフリーズさせることにより、医師には、画像を分析して診断を下すための時間がより多く与えられる。医師が要求した厳密な時間にビデオをフリーズさせることは、ぼやけた不良画像のフリーズをもたらす場合がある。米国特許ＵＳ４９０１１４３およびＵＳ５２７０８１０は、同時に良好な画像であり、医師が要求したフリーズ時間に近いフリーズ画像を選択する処理を提案している。米国特許ＵＳ４９０１１４３およびＵＳ５２７０８１０はまた、要求に応じてフリーズすることを開示しており、２つの並行なパイプラインを用いることによってフリーズ期間中に発生するビデオシーケンスの部分に含まれる情報を保持するという問題に対処している。しかしながら、一般的な手法は本質的に、フリーズされた画像の情報の内部品質または量によって制限されている。
【課題を解決するための手段】
【０００５】
この開示は、現行のビデオ取得中の情報検索を強化することを可能にする方法およびシステムを提案している。
【０００６】
請求される主題の概要
一局面によれば、ここに説明する実施例は、医療装置を介してリアルタイムで取得された画像を処理するための方法であって、前記画像はバッファにロードされており、
バッファへの画像のロードを停止するステップと、
ロードされた画像を増分アルゴリズムを用いて処理するステップと、
処理の中間結果を連続して表示するステップと、
前記中間結果の評価に基づいて、ロードを再開し、処理を停止するステップとを含む、方法に関する。
【０００７】
これは、リアルタイムでは実行できないかもしれない、多くの計算を要する何らかの処理手法を実行するために、フリーズ期間を利用することを可能にする。増分アルゴリズムは、次々に実行される必要がある異なるサブルーチンから構成されている。各サブルーチンの結果（すなわち、中間結果）はそれ自体、関心を引きそうなものである。増分アルゴリズムは、たとえば、非決定性多項式時間の難問といった、厳密解を見つけられない、または厳密解を妥当な時間量で見つけられない問題に対する近似解を見つけるために使用されてもよい。各中間結果は近似解を提供するかもしれず、このため関心を引くものである。実行できるステップが多くなるにつれて、近似解は厳密解により近くなる。なぜなら、１ステップ毎に結果が改良されるためである。画像を取得するための医療装置は、当業者に公知の如何なる装置であってもよく、内視顕微鏡、伝統的な内視鏡検査、高品位内視鏡検査、狭帯域光観察内視鏡検査、ＦＩＣＥ（登録商標）内視鏡検査、ダブルバルーン内視鏡検査、ズーム内視鏡検査、セルビジオ（Cellvizio）（登録商標）、２Ｄ／３Ｄ超音波撮像、または任意の他の非照射介入撮画手段を含むが、それらに限定されない。処理された画像は、ビデオシーケンスからの連続画像であってもよく、または任意のロードされた画像のサブセットであってもよい。
【０００８】
第２の局面によれば、ここに説明する実施例は、撮像システムであって、
画像を取得するための医療装置と、
前記画像をロードするためのバッファを含む記憶装置と、
画像を処理するためのプロセッサと、
表示装置とを含み、
プロセッサは、ロードの停止後、ロードされた画像を増分アルゴリズムを用いて処理し、前記アルゴリズムの中間結果が表示装置によって連続して表示され、前記中間結果の評価に基づいてロードが再開される、撮像システムに関する。
【０００９】
「フリーズ指令」という文言は、バッファへのロードを停止することを指す。「フリーズ時間」という文言は、ロードが停止され、処理が実現されてもよい期間を指す。「フリーズされたバッファ」という文言は、フリーズ時間中などのバッファを指す。
【００１０】
この発明の他の局面および利点は、以下の説明および添付された請求項から明らかとなるであろう。
【図面の簡単な説明】
【００１１】
【図１】この開示の一実施例に従った方法のステップを概略的に表わす図である。
【図２】この開示の一実施例に従ったビデオシーケンスモザイキング増分アルゴリズムを実現する方法のステップを概略的に表わす図である。
【図３】この発明の一実施例に従ったビデオシーケンスモザイキング増分アルゴリズムの連続する結果を示す表示である。
【図４】この開示の一実施例に従った超解像度増分アルゴリズムを実現する方法のステップを概略的に表わす図である。
【図５】この開示の一実施例に従った超解像度増分アルゴリズムの連続する結果を示す表示である。
【図６】この開示の一実施例に従った血流速度測定増分アルゴリズムを実現する方法のステップを概略的に表わす図である。
【図７】血流速度測定増分アルゴリズムの連続する結果を示す表示である。
【図８】この開示の一実施例に従った画像融合増分アルゴリズムを実現する方法のステップを概略的に表わす図である。
【図９】この開示の一実施例に従った画像融合増分アルゴリズムの連続する結果を示す表示である。
【発明を実施するための形態】
【００１２】
詳細な説明
この開示は、取得装置によってリアルタイムで取得されたビデオストリームから取ったフリーズされた１組の画像に対して、オンラインで、要望に応じて、および所与の時間量の間に行なわれる、リアルタイムでは実行できない、著しく多くの計算を要するビデオ処理を可能にする、画像処理システムおよび方法に関する。
【００１３】
フリーズしていない、基本的な動作モードでは、ビデオ取得装置はシステム用の入力として機能する。リアルタイムビデオ処理が行なわれてもよく、データは表示および記録可能である。一方、データは、先入れ先出し（ＦＩＦＯ）有限バッファであってもよいバッファで待ち行列に入れられる。
【００１４】
フリーズ指令が起動されると、ビデオ取得装置から到来するデータは、可能性があるリアルタイムビデオ処理、記録および表示パイプラインにおいて継続するかもしれないが、もはやＦＩＦＯバッファで待ち行列に入れられてはいないかもしれない。すなわち、ＦＩＦＯバッファはフリーズされている。一方、対象となる多くの計算を要するアルゴリズムが、フリーズされたバッファに作用し始めてもよく、フリーズ指令が解除されるまで継続してもよい。
【００１５】
多くの計算を要するアルゴリズムは通常、増分アルゴリズムであり、いくつかのステップで処理され、各ステップは中間結果を与える。たとえば、増分アルゴリズムは、反復性のものであってもよい。すなわち、何らかの初期化後、各反復で中間結果が強化される。そのような強化された処理中間結果が利用可能となる度に、提案されたシステムは結果を表示し、それを記録してもよい。
【００１６】
一般に、増分アルゴリズムのどの中間結果が、処理を停止するのに十分良好であると考えられ得るかを予測することはできない。したがって、処理を続行する必要があるかどうかを知るために、定量的基準、主観的基準、および人間の基準のうちの少なくとも１つに基づいて、各中間結果を評価する必要がある。
【００１７】
この開示の特定の実施例を、添付図面を参照して、以下に詳細に説明する。
図１は、この開示の一実施例に従った方法のいくつかのステップを示す。ビデオ取得装置が一旦始動すると（ステップ１００）、ビデオ処理システムはビデオ取得装置から画像ストリームを受信する（ステップ１１０）。ステップ１２０で、画像ストリームはリアルタイムで処理され得る。元のデータおよびリアルタイムで処理されたデータの双方が表示され（ステップ１２１）、記憶される（ステップ１２２）。次に、フリーズテストが行なわれる（ステップ１３０）。システムがフリーズモードでない場合（矢印Ｎ）、画像はバッファにロードされる（ステップ１４０）。システムがフリーズモードになると（矢印Ｙ）、新しい画像はもはやバッファに入らず、対象となる多くの計算を要するアルゴリズムが、バッファに入れられた１組の画像の処理を開始する（ステップ１５０）。多くの計算を要するアルゴリズムは、増分する態様で機能して、１つのステップが完了する度に中間結果を提供してもよい。アルゴリズムの１ステップが完了する度に、システムは、それがまだフリーズモードであるか否かを調べてもよい。システムがまだフリーズモードである場合、新しい処理ステップが開始されてもよく、そうでない場合、アルゴリズムは停止され、バッファへの画像のロードが再開される（ステップ１４０）。どちらの場合も、アルゴリズムの中間結果が表示され（ステップ１５１）、および／または記憶され（ステップ１５２）てもよい。
【００１８】
表示は、動画ディスプレイなどの上で行なわれてもよい。いくつかのそのような装置を使用して、異なるビデオストリームを表示してもよい。異なるストリームはまた、単一の表示装置上へと組合されてもよい。単純な並置または高度な画像融合手法が使用されてもよい。
【００１９】
ストレージおよびＦＩＦＯバッファは、ローカルまたはリモートのディスクストレージ、メモリ装置などの上に位置していてもよい。システムがデフォルトの非フリーズモードである場合、元の画像またはリアルタイム処理された画像は、有界のＦＩＦＯバッファで待ち行列に入れられる。ＦＩＦＯバッファがまだフル容量ではない場合、新しい画像は単にＦＩＦＯバッファに加えられる。ＦＩＦＯバッファが既にいっぱいの場合、新しい画像は最も古い画像に取って代わるであろう。ＦＩＦＯバッファの実際の容量限界は、ユーザまたはシステムによって選択されてもよく、もしくは単にハードウェア制約によって規定されてもよい。
【００２０】
一実施例では、ユーザは、表示装置に表示された元のまたはリアルタイム処理された画像ストリームを監視する。そのユーザが関心を引く場面を見て、画像処理を実行すべきであると決めた場合、ユーザはたとえば、取得装置の上などに位置し得るボタンを押してもよく、フリーズモードをトリガする。デフォルトの非フリーズモードに戻ることは、たとえば、そのボタンを解除すること、別のボタンを押すこと、所与の時間量の後自動的に、などによってトリガされてもよい。フリーズモードはまた、別の処理アルゴリズムによって下された決定に基づいて、自動的にまたは半自動的に起動もしくは解除されてもよい。そのようなアルゴリズムは、たとえば、米国特許ＵＳ４９０１１４３およびＵＳ５２７０８１０に開示されたような動き検出アルゴリズムであってもよい。これらのアルゴリズムは、ある画像ストリーム上の動きが滑らかなものから不安定なものになった場合にフリーズモードを起動するために、結合されてもよい。
【００２１】
多くの計算を要するアルゴリズムは単に、フリーズされた画像が設定されているバッファから有用な情報を抽出することを目的としている。利用可能な実際の計算能力が増加し続けているため、画像処理作業に利用可能なアルゴリズムの複雑性がより高くなっている。高度な処理が現在、リアルタイムで、または何らかの待ち時間を有して可能である。これらの進歩にもかかわらず、実際に利用可能な計算能力と、作業中に関心を引く最先端のいくつかの処理アルゴリズムを実行するために必要となる計算能力との間には、常に隔たりがあるであろう。ハードウェア制約のため、１組の画像から関心を引く情報を抽出することが、取得装置から到来する２つのフレームを隔てる時間内で必ずしも完了しないかもしれない。一実施例では、ビデオ取得中に多くの計算を有する最先端の処理アルゴリズムを実行可能ないくつかのシナリオは、新しい用途の開発を可能にし得る。ユーザらは、リアルタイムでも遅延された時間でも実行されないかもしれないそのような最先端のアルゴリズムを選択的に使用する可能性に関心を持っている。
【００２２】
ハードウェア制約のため、バッファ内の１組の画像から関心を引く情報を自動的に抽出するために必要な時間は、取得装置から到来する２つのフレームを隔てる時間内で完了することができなかった。一実施例では、多くの計算を要するアルゴリズムは、強化された新しい画像、または強化された新しい１組の画像を生成するために、フリーズされた１組の画像を使用してもよく、それを反復して行なう。
【００２３】
図２は、この開示の一実施例に従ったビデオシーケンスモザイキング増分アルゴリズムを実現する方法のいくつかのステップを示す。ベルコーテレン（Vercauteren）等は、たとえば内視顕微鏡検査との関連で、ビデオシーケンスからの多くの連続画像を整列させ、融合することによって視野を広げるために、専用のビデオモザイキング手法を使用することの潜在的利点を示した。このモザイキングアルゴリズムは、リアルタイムで実行されないかもしれず、モザイク画像を反復して改良することによって作用する。このため、それは明らかにこの発明から恩恵を受けることができる。より詳細には、引き続き図２を参照して、フリーズモードが起動されると、バッファにロードされた画像はフリーズされ（ステップ２００）、すなわち、バッファへの画像のロードが停止する。次に、ロードされた画像（フリーズされた画像とも呼ぶ）はまず、初期化および前処理ステップ２１０を経てもよい。このステップは、たとえば、ＦＩＦＯバッファ内の画像のサブセットにおけるすべての連続フレームが重複しているとモザイキングアルゴリズムの残りが仮定するように、そのサブセットを自動的に選択することからなっていてもよい。これは、迅速ではあるものの大まかな初期登録を行なうことによって行なわれてもよい。この大まかな登録の品質の定量的評価に対するしきい値を用いて、重複する画像のサブセットを規定することができる。その後、以下のステップが反復して行なわれてもよい。登録の結果が改良される（ステップ２２０）。次に、システムがまだフリーズモードであるかどうかを判断するために、フリーズテストが行なわれる（ステップ２３０）。システムがデフォルトの非フリーズモードに切換えられていた場合（矢印Ｎ）、登録の結果は記憶されてもよく、処理は休止される（ステップ２３２）。そうでない場合、モザイク画像が構築され（ステップ２４０）、表示される（ステップ２４１）。次に、フリーズテストが行なわれる（ステップ２５０）。システムがデフォルトの非フリーズモードに切換えられていた場合（矢印Ｎ）、再構築されたモザイクが記憶されてもよく（ステップ２４２）、処理は休止される。そうでない場合、新しい改良ステップが行なわれ、処理が反復して行なわれる。
【００２４】
図３は、この発明の一実施例に従ったビデオシーケンスモザイキング増分アルゴリズムの連続する結果を示す表示である。それは、フリーズ期間中の計算された画像モザイクの漸進的改善を強調している。このモザイキングアルゴリズムは、内視顕微鏡検査によって生体内で取得された健康な人の結腸の複数のフレーム（たとえば２６フレーム）に対して実行されてもよい。初期整列はかなり大まかであってもよく、画像モザイクは単純な画像の重ね合せ（画像３００）であってもよい。次に、全体的に一貫した整列が計算されてもよく（画像３１０）、最先端の画像融合手法が使用されてもよい。これに、内視顕微鏡検査を変える動きの歪みを考慮したモザイクが続いてもよい（画像３２０）。最後に、撮像された軟組織と内視顕微鏡の光学プローブとの相互作用による非剛性変形を補償するモザイクが構築されてもよい（画像３３０）。
【００２５】
図４は、この開示の一実施例に従った超解像度増分アルゴリズムを実現する方法のステップを概略的に表わす図である。特許出願ＵＳ２００７０２７３９３０は、たとえば内視顕微鏡検査との関連で、１組のシフトされた画像から高解像度画像を作り出すことの潜在的利点を示した。画像をシフトするためにそこに提示された機械的装置に加え、超解像度は、制御されていない動画像からも行なわれてもよい。イラニ（Irani）およびペレグ（Peleg）によって提示されているように、典型的な超解像度アルゴリズムは本質的に反復性であり、大量の処理能力を必要とする。より詳細には、引き続き図４を参照して、フリーズモードが起動すると、バッファ内にロードされた画像がフリーズされる（ステップ４００）。フリーズされた１組の画像は次に、所与の基準上に登録されてもよい（ステップ４１０）。整列が、米国特許出願ＵＳ２００７０２７３９３０と同様の機械的制約によって課されてもよく、または何らかの画像登録アルゴリズムの結果であってもよい。この整列から、高解像度画像がステップ４２０で構築され、ステップ４２１で表示される。次に、ステップ４３０でフリーズテストが行なわれる。システムがデフォルトの非フリーズモードに切換えられていた場合（矢印Ｎ）、再構築された高解像度画像が記憶されてもよく（ステップ４２２）、処理は休止される。そうでない場合（矢印Ｙ）、ステップ４４０で、現在の高解像度画像および撮像システムの知識から、低解像度画像がシミュレートされる。シミュレートされた低解像度画像と実際の元の低解像度画像との誤差を使用して、現在の高解像度画像を逆投影手法によって改善し、高解像度画像を構築するステップに戻る。
【００２６】
図５は、この開示の一実施例に従った超解像度増分アルゴリズムの連続する結果を示す表示である。フリーズされた１組の画像から１つの画像が選択され、アップサンプリングされて、高解像度画像の近似を提供する（画像５００）。反復改善の第１および第２の連続する結果を示す（それぞれ、画像５１０および５２０）。
【００２７】
図６は、この開示の一実施例に従った血流速度測定増分アルゴリズムを実現する方法のステップを概略的に表わす図である。米国特許出願ＵＳ２００８００４５８４８は、たとえば内視顕微鏡検査との関連で、１組の画像から血流速度を測定することの潜在的利点を示した。ペルシャン（Perchant）等によって提示されているように、血流速度計算は、１組の連続画像に作用する処理アルゴリズムのパイプラインによって行なわれてもよい。完全な処理は大量の処理能力を必要とする場合がある。このパイプラインは、厳密に言えば反復性ではないが、依然として増分的である。このパイプラインの各サブコンポーネントの結果は、ユーザにとって関心を引くものであり得る。より詳細には、引き続き図６を参照して、フリーズモードが起動すると、バッファ内にロードされた画像はフリーズされる（ステップ６００）。１つの所与の画像内の関心を引く領域が、フリーズされた１組の画像にわたって自動的に追跡され、安定化されてもよく（ステップ６１０）、安定化された１組の画像をもたらす。関心を引く初期領域はユーザによって規定されてもよく、顕著領域検出器といった別の処理アルゴリズムによって自動的に選択されてもよく、または完全な画像からなっていてもよい。安定化の結果は記憶（ステップ６１２）および／または表示されてもよい（ステップ６１１）。フリーズテストが行なわれてもよい（ステップ６２０）。システムがデフォルトの非フリーズモードに切換えられていた場合（矢印Ｎ）、処理は単に休止される。そうでない場合（矢印Ｙ）、信号対ノイズ比を改善するために、関心を引くシーケンスの安定化された領域から平均画像が計算され、安定化された平均画像に対して血管セグメント化アルゴリズムが行なわれる（ステップ６３０）。セグメント化の結果は表示（ステップ６３１）および記憶（ステップ６３２）されてもよい。フリーズテストが行なわれてもよい（ステップ６４０）。システムがデフォルトの非フリーズモードに切換えられていた場合（矢印Ｎ）、処理は単に休止される。そうでない場合（矢印Ｙ）、安定化された１組の画像におけるすべての画像に、セグメント化が伝搬される（ステップ６５０）。セグメント化の伝搬は表示（ステップ６５１）および／または記憶（ステップ６５２）されてもよい。フリーズテストが行なわれてもよい（ステップ６６０）。システムがデフォルトの非フリーズモードに切換えられていた場合（矢印Ｎ）、処理は単に休止される。そうでない場合（矢印Ｙ）、検出された血管内で、中央線形相関法といった専用の処理アルゴリズムによって血流速度が計算される（ステップ６７０）。最後に、推定された血流速度が表示（ステップ６７１）および／または記憶される（ステップ６７２）。
【００２８】
図７は、血流速度測定増分アルゴリズムの連続する結果を示す表示である。それは、前述の可能な実施例によって計算されるような血流速度測定処理パイプラインを経た推移を強調している。関心を引く所与の領域が、フリーズされたバッファ内のシーケンスを通して追跡され、安定化される（画像７１０、７２０および７３０）。次に、関心を引く画像の安定化された平均領域が示され、関心を引く領域に存在する血管構造をセグメント化するために使用される（画像７４０および７５０）。次のステップで、関心を引くシーケンスの安定化された領域に、セグメント化が伝搬される（画像７６０、７７０および７８０）。最後に、フリーズされたシーケンスを通して血流速度を時間の関数として推定することを表わすグラフが表示される（画像７９０）。
【００２９】
先行技術に従った内視顕微鏡検査の典型的な臨床用途では、内視鏡画像および内視顕微鏡画像が、別個のディスプレイでユーザに表示される。一般に、顕微鏡撮像プローブは、肉眼で見える内視鏡画像において目で見える。２つの情報源を融合し、肉眼で見える状況で顕微鏡画像を示すことは臨床的な関心を引くかもしれない。しかしながら、肉眼画像および顕微鏡画像のフローを融合する画像処理は、リアルタイムでは実行できない。
【００３０】
この開示の一実施例によれば、いくつかの取得装置からの情報を融合することが可能であり得る。図８は、画像を融合するために使用される方法のいくつかのステップを示す。たとえば、第１の取得装置において画像の第１のフローが取得されてもよく、第２の取得装置において画像の第２のフローが取得されてもよい。観察中の同じ物体の画像を取得するよう、第１および第２の取得装置は機械的に結合されてもよい。一実施例では、第１および第２の取得装置は、顕微鏡画像および肉眼画像を同時に取得するよう、内視鏡およびその内視鏡の付属チャネルに挿入された内視顕微鏡であってもよい。
【００３１】
より正確には、引き続き図８を参照して、一実施例では、内視顕微鏡（第１の取得装置）によって取得された画像が第１のバッファにロードされてもよく（ステップ８０２）、一方、内視鏡（第２の取得装置）によって取得された画像が第２のバッファにロードされてもよい（ステップ８０３）。
【００３２】
取得中、第１および第２の取得装置からの画像は表示されてもよい。ユーザは、現行の取得中、画像の第１のフロー（内視顕微鏡からの顕微鏡画像）のうちの１つ以上の画像に関連付けられた、画像の第２のフロー（内視鏡からの肉眼画像）のうちの１つ以上の関心を引く画像を選択してもよい。画像の第１のフローのうちの関連付けられた画像は、画像の第２のフローのうちの選択された画像に仮に対応していてもよい。この選択は、たとえば、ボタンをクリックすることによって行なわれてもよい（ステップ８０１）。システムは、選択された画像をバッファから検索することを可能にする、関心信号と呼ばれるタイミングを記憶してもよい。また、これに代えて、第１および第２の組の画像の中で関心を引く画像が、第１および第２のバッファに記憶された画像の中から、アルゴリズムによって自動的に選択されてもよい。たとえば、第１および第２のバッファにおいて、１０個の中から１個の画像が自動的に選択されてもよい。
【００３３】
別の実施例では、フリーズ指令が起動されて第１および第２のバッファがフリーズされると、ユーザは、第１および第２のバッファにロードされた第１または第２の組の画像の中から画像を選択してもよい。たとえば、ユーザは、第１および／または第２のバッファにロードされたそれらの組の画像を表示ユニットに表示することによって、それらの画像を検討してもよい。たとえば、ある画像が予め定められた時間量よりも長い間表示されている場合、その画像が、フリーズされたバッファにロードされた第１または第２の組の画像から選択されてもよい。
【００３４】
前述の実施例で説明したように、ユーザは、画像処理を実行すべきであると決断してもよい。したがって、ユーザは、たとえばフリーズボタンを押して、フリーズモードをトリガさせてもよい。フリーズモードに入ることが、第１および第２のバッファにおける画像のロードを停止させてもよい。画像選択ステップが完了してフリーズ指令が起動されると（ステップ８０４）、システムは、選択された画像の１つに対して検出ステップ（ステップ８０５）を行なってもよい。この検出は、処理された肉眼画像を得るために、第２の組の画像（すなわち肉眼画像）のうちの１つの選択された画像上の内視顕微鏡プローブを検出することを含んでいてもよい。検出結果は表示されてもよい（ステップ８０６）。次に、フリーズテストが行なわれてもよい（ステップ８０７）。システムがフリーズモードでない場合、検出結果は記憶されてもよい（ステップ８０８）。システムがフリーズモードである場合、システムは次に進み、選択され処理された肉眼画像に仮に対応する第１の組の画像（顕微鏡画像）の画像を融合する（ステップ８０９）。融合された結果は表示されてもよい（ステップ８１０）。顕微鏡画像は、顕微内視鏡プローブが検出された位置の隣に位置付けられてもよい。また、これに代えて、高度のテクスチャマッピング手法が使用されてもよい。フリーズテストが行なわれてもよく（ステップ８１１）、システムは、融合結果を記憶して終了する（８１２）か、または上述のプロセスに従って別の選択画像に進んでもよい。
【００３５】
一実施例では、１つの肉眼画像上に複数の顕微鏡画像が融合されてもよい（ステップ９０５）。これは、肉眼画像と対応する顕微鏡画像との１つ以上の融合から生じる情報を、主な肉眼画像に伝搬することによって行なわれてもよい。内視鏡画像は、内視顕微鏡画像と比べて大きな視野を有する。したがって、１つの肉眼画像上にいくつかの顕微鏡画像が融合される可能性がある。１つの肉眼画像上に補足的な１つの顕微鏡画像を融合することは、その補足的な顕微鏡画像が、前述の手法に従って、対応する第２の肉眼画像に融合されていることを、前もって必要とする場合がある。
【００３６】
図９は、この開示の一実施例に従った融合アルゴリズムの連続する結果を示す表示である。関心を引く１つの内視鏡画像が処理用に選択され（ステップ９０２）、内視顕微鏡プローブが検出されてプローブの先端が表示される（ステップ９０３）。前述の手法に従った融合が行なわれて、肉眼状況（ステップ９０４）において内視鏡画像に関連付けられた顕微鏡画像（ステップ９０１）を示す。次に、さらなる処理ステップが行なわれ、ステップ９０５は、１つの肉眼画像上に関心を引くいくつかの内視顕微鏡画像を融合した結果を示している。
【００３７】
限られた数の実施例に関してこの発明を説明してきたが、この開示の利益を有する当業者であれば、ここに開示されたようなこの発明の範囲から逸脱しない他の実施例が考えられ得ることを理解するであろう。たとえば、説明で言及した画像は、取得装置の複数の収集チャネル上で取得されるマルチスペクトル画像であってもよい。したがって、この発明の範囲は、添付された請求項によってのみ限定されるべきである。
【図１】
2012516176.tif 000003
【図２】
2012516176.tif 000004
【図３】
2012516176.tif 000005
【図４】
2012516176.tif 000006
【図５】
2012516176.tif 000007
【図８】
2012516176.tif 000008
【図９】
2012516176.tif 000009
【図６】
2012516176.tif 000010
【図７】
2012516176.tif 000011
【手続補正書】
【提出日】平成23年10月4日(2011.10.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
多くの計算を要するアルゴリズムは単に、フリーズされた画像が設定されているバッファから有用な情報を抽出することを目的としている。利用可能な実際の計算能力が増加し続けているため、画像処理作業に利用可能なアルゴリズムの複雑性がより高くなっている。高度な処理が現在、リアルタイムで、または何らかの待ち時間を有して可能である。これらの進歩にもかかわらず、実際に利用可能な計算能力と、作業中に関心を引く最先端のいくつかの処理アルゴリズムを実行するために必要となる計算能力との間には、常に隔たりがあるであろう。ハードウェア制約のため、１組の画像から関心を引く情報を抽出することが、取得装置から到来する２つのフレームを隔てる時間内で必ずしも完了しないかもしれない。この発明の一実施例では、ビデオ取得中に多くの計算を有する最先端の処理アルゴリズムを実行可能であるということは、新しい用途の開発を可能にし得る。ユーザらは、リアルタイムでも遅延された時間でも実行されないかもしれないそのような最先端のアルゴリズムを選択的に使用する可能性に関心を持っている。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像のオンライン処理のための方法であって、
（ａ）医療装置を介してリアルタイムで画像を取得するステップ（１００）と、
（ｂ）リアルタイムで画像を表示するステップ（１２１）と、
（ｃ）一組の画像を得るバッファに画像をロードするステップ（１４０）と、
（ｄ）リアルタイムで表示された画像の評価に基づいて、バッファへの前記画像のロードを停止するステップと、
（ｅ）ロードされた前記一組の画像を増分アルゴリズムを用いて処理するステップ（１５０）とを含み、増分アルゴリズムは、次々に実行される必要がありかつ中間結果を提供する異なるサブルーチンから構成されており、前記方法はさらに、
（ｆ）前記一組の画像を処理することによって得られた前記中間結果を連続して表示するステップ（１５１）と、
（ｇ）前記中間結果の評価に基づいて、ロードを再開し、処理を停止するステップとを含み、
バッファへの画像のロード（１４０）の停止時、画像を取得するステップ（１００）およびリアルタイムで画像を表示するステップ（１２１）は継続される、方法。
【請求項２】
取得された画像はビデオシーケンスから生じており、処理（１５０）は、視野を広げるために連続画像を反復して整列させ、融合することを含む、請求項１に記載の方法。
【請求項３】
取得された画像はシフトされた画像であり、処理（１５０）は、高解像度画像を得るために前記画像を反復して登録することを含む、請求項１に記載の方法。
【請求項４】
取得された画像は血管を表わすビデオシーケンスから生じており、処理（１５０）は血流速度を計算する、請求項１に記載の方法。
【請求項５】
ロード（１４０）は自動的に停止される、請求項１に記載の方法。
【請求項６】
ロードは、動き検出器アルゴリズムに基づいて停止される、請求項５に記載の方法。
【請求項７】
中間結果の評価は、ユーザによって、または自動的に操作される、請求項１に記載の方法。
【請求項８】
バッファはＦＩＦＯバッファである、請求項１に記載の方法。
【請求項９】
中間結果は記憶装置に記憶される、請求項１に記載の方法。
【請求項１０】
処理の中間結果は、リアルタイムで表示された画像に統合される、請求項１に記載の方法。
【請求項１１】
医療装置はファイバ共焦点顕微鏡である、請求項１に記載の方法。
【請求項１２】
撮像システムであって、
リアルタイムで画像を取得するための医療装置と、
リアルタイムで画像を表示するための表示装置と、
前記画像をロードするためのバッファを含む記憶装置と、
起動されると、バッファへの画像のロードを停止するフリーズ指令と、
画像を処理するためのプロセッサとを含み、
フリーズ指令が起動されると、
プロセッサは、ロードされた画像を増分アルゴリズムを用いて処理し、増分アルゴリズムは、次々に実行される必要がありかつ中間結果を提供する異なるサブルーチンから構成されており、
表示装置は、前記アルゴリズムの中間結果を連続して表示し、
医療装置および表示装置は、引き続きリアルタイムで画像を取得して表示し、
フリーズ指令が解除されると、前記中間結果の評価に基づいて、バッファへの画像のロードが再開される、撮像システム。
【請求項１３】
バッファへのロードの停止は、前記リアルタイムで表示された画像の評価に基づいている、請求項１２に記載のシステム。
【請求項１４】
医療装置はファイバ共焦点顕微鏡である、請求項１２に記載のシステム。
【請求項１５】
医療装置は第１の取得装置および第２の取得装置を含み、バッファは、第１および第２の取得装置において取得された画像をそれぞれロードするための第１のバッファおよび第２のバッファを含み、処理は、第２のバッファにロードされた１つの画像上に、第１のバッファにロードされた１つ以上の画像を融合することを含む、請求項１に記載の方法。
【国際調査報告】
2012516176.tif 000012
2012516176.tif 000013
2012516176.tif 000014