(57)【要約】組織特徴の組織表面追跡が開示される。第１の表面撮像特徴が、第１の波長において、第１及び第２の時間間隔画像に基づいて追跡される。第２の表面撮像特徴が、第２の波長において、第１及び第２の時間間隔画像に基づいて追跡される。追跡ステップに基づいて、追跡測定基準が取得される。追跡ステップは組み合わされて、結合追跡測定基準が提供される。結合追跡測定基準は、組織表面ナビゲーション用途において使用される。
2020513871.tif 000002
【特許請求の範囲】
【請求項１】
第１及び第２の異なる波長における画像データをそれぞれ含む第１の時間間隔組織表面画像及び第２の時間間隔組織表面画像を受信するデータ受信モジュールと、
第１の追跡モジュール及び第２の追跡モジュールと、
組み合わせモジュールと、
を含み、
前記第１の追跡モジュールは、前記第１の波長において、前記第１の時間間隔組織表面画像及び前記第２の時間間隔組織表面画像に基づいて、第１の組織表面撮像特徴を空間的に追跡して、少なくとも１つの第１の追跡測定基準を反応として出力し、
前記第２の追跡モジュールは、前記第２の波長において、前記第１の時間間隔組織表面画像及び前記第２の時間間隔組織表面画像に基づいて、第２の組織表面撮像特徴を空間的に追跡して、少なくとも１つの第２の追跡測定基準を反応として出力し、
前記組み合わせモジュールは、前記少なくとも１つの第１の追跡測定基準及び前記少なくとも１つの第２の追跡測定基準を組み合わせ、組織表面ナビゲーション用途における使用のための少なくとも１つの結合追跡測定基準を反応として出力し、
前記第１の波長及び前記第２の波長は、異なる種類のバイオマーカーに合わせて調整される、組織表面追跡システム。
【請求項２】
前記第１の追跡モジュールは、第１の種類のバイオマーカーの追跡に合わせて調整される第１の追跡アルゴリズムを動作させ、前記第２の追跡モジュールは、第２の種類のバイオマーカーの追跡に合わせて調整される第２の追跡アルゴリズムを動作させる、請求項１に記載のシステム。
【請求項３】
前記第１の追跡モジュールの追跡性能の品質を評価して、少なくとも１つの第１の重み付け測定基準を反応として出力し、前記第２の追跡モジュールの追跡性能の品質を評価して、少なくとも１つの第２の重み付け測定基準を反応として出力する少なくとも１つの品質評価モジュールを含み、前記組み合わせモジュールは、前記少なくとも１つの第１の重み付け測定基準及び前記少なくとも１つの第２の重み付け測定基準に基づいて、前記少なくとも１つの第１の追跡測定基準及び前記少なくとも１つの第２の追跡測定基準を適応的に組み合わせる、請求項１又は２に記載のシステム。
【請求項４】
前記組み合わせモジュールは、前記少なくとも１つの第１の重み付け測定基準及び前記少なくとも１つの第２の重み付け測定基準に基づいて、前記少なくとも１つの第１の追跡測定基準及び前記少なくとも１つの第２の追跡測定基準の相対的重みが決定される重み付けアルゴリズムを使用して、前記少なくとも１つの第１の追跡測定基準及び前記少なくとも１つの第２の追跡測定基準を組み合わせる、請求項３に記載のシステム。
【請求項５】
前記第１の追跡モジュールは、特徴ベースの追跡及び強度ベースの追跡の少なくとも一方を使用して、前記少なくとも１つの第１の追跡測定基準を決定し、前記第２の追跡モジュールは、特徴ベースの追跡及び強度ベースの追跡の少なくとも一方を使用して、前記少なくとも１つの第２の追跡測定基準を決定する、請求項１乃至３の何れか一項に記載のシステム。
【請求項６】
前記第１の波長は、前記第１の種類のバイオマーカーとしての表在性皮膚特徴に合わせて調整され、前記第２の波長は、前記第２の種類のバイオマーカーとしての表面下特徴に合わせて調整される、請求項１乃至５の何れか一項に記載のシステム。
【請求項７】
前記第１の種類のバイオマーカーは、ほくろ、毛、そばかす、毛穴、吹き出物、メラニン色素、くぼみ、表面粗さの群のうちの少なくとも１つを含む、請求項６に記載のシステム。
【請求項８】
前記第２の種類のバイオマーカーは、静脈又は動脈を含む、請求項６又は７に記載のシステム。
【請求項９】
異なるスペクトル帯域において前記第１の時間間隔組織表面画像及び前記第２の時間間隔組織表面画像を捕捉するカメラを含む、請求項１乃至８の何れか一項に記載のシステム。
【請求項１０】
請求項１乃至９の何れか一項に記載のシステムを含む、画像誘導手術若しくは医療介入システム、又は、術中撮像データ、術前撮像データ若しくは術中撮像データ及び術前撮像データの組み合わせを整合させるシステム。
【請求項１１】
請求項１乃至１０の何れか一項に記載のシステムを含む、皮膚モニタリング又は皮膚診断システム。
【請求項１２】
請求項１乃至１１の何れか一項に記載のシステムを含み、脱毛デバイス、散髪デバイス、整髪デバイス及び歯のクリーニングデバイスの群から選択される、家庭用電気製品。
【請求項１３】
異なる種類のバイオマーカーに合わせて調整されている第１及び第２の異なる波長における画像データをそれぞれ含む第１の時間間隔組織表面画像及び第２の時間間隔組織表面画像を受信するステップと、
前記第１の波長において、前記第１の時間間隔組織表面画像及び前記第２の時間間隔組織表面画像に基づいて、第１の表面撮像特徴として、第１の種類のバイオマーカーを追跡して、少なくとも１つの第１の追跡測定基準を反応として提供するステップと、
前記第２の波長において、前記第１の時間間隔組織表面画像及び前記第２の時間間隔組織表面画像に基づいて、第２の表面撮像特徴をとして、第２の種類のバイオマーカーを追跡して、少なくとも１つの第２の追跡測定基準を反応として提供するステップと、
前記少なくとも１つの第１の追跡測定基準及び前記少なくとも１つの第２の追跡測定基準を組み合わせ、少なくとも１つの結合追跡測定基準を反応として提供するステップと、
前記結合追跡測定基準を、組織表面ナビゲーション用途に使用するステップと、
を含む、組織表面追跡方法。
【請求項１４】
請求項１乃至６の何れか一項に記載のシステムを実現するため、又は、少なくとも１つのプロセッサによって実行されると、請求項１３に記載の方法のステップを行うための、コンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムが記憶された、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術分野は、概して、表面組織追跡に関する。具体的には、表面撮像された特徴が追跡プロセスにおいて利用される。
【背景技術】
【０００２】
国際特許公開ＷＯ２００７／０７２３５６は、センサ位置を特定するために患者の皮膚上のテクスチャ又はパターンを検出する撮像手段と、局所的なテクスチャ又はパターンを記憶することによって、センサの必要な位置を学習する画像処理ユニットと、記憶されたパターンを参照することによって、センサ又はユーザを所望の位置に再配置するようにユーザを誘導する手段とを有する患者モニタリングセンサ又は治療デバイス用の位置決めシステムについて開示している。テクスチャ又はパターンは、ほくろのパターン又は様々な肌の色といった自然なパターンからなる。しかし、ほくろの最適な追跡は、様々な色の追跡とは異なる追跡上の考慮を必要とする。更に、先行技術のシステムでは最適に追従することができない追跡可能である様々な他の可能なバイオマーカーがある。
【０００３】
したがって、よりロバストな追跡システム及び方法を提供することが求められている。更に、多くの種類のナビゲーション用途に使用可能である自然組織の表面特徴の正確かつロバストな追跡を可能にする追跡技術を提供することが求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、組織特徴追跡の改良かつ容易にされた方法を提供する必要がある。
【課題を解決するための手段】
【０００５】
概して、本発明の実施形態は、２つ以上の追跡プロセスを使用してバイオマーカーを追跡することに関する。各追跡プロセスは、それぞれの追跡プロセスにおいて、異なるようにスペクトル的にフィルタリングされた画像を使用することによって、異なる種類のバイオマーカーに合わせられる。各追跡プロセスからの追跡結果は、表面組織ベースのナビゲーション用途で使用するための単一追跡結果にまとめられる。
【０００６】
本発明の目的は、独立請求項の主題によって解決される。更なる実施形態は従属請求項に組み込まれる。
【０００７】
本開示の一態様では、組織表面追跡システムが提供される。システムは、第１の時間間隔組織表面画像及び第２の時間間隔組織表面画像を受信するデータ受信モジュールを含む。各時間間隔組織表面画像は、第１及び第２の異なる波長における画像データを含む。システムは、第１の追跡モジュール及び第２の追跡モジュールを含む。第１の追跡モジュールは、第１の波長において、第１の時間間隔画像及び第２の時間間隔画像に基づいて、第１の組織表面撮像特徴を空間的に追跡して、少なくとも１つの第１の追跡測定基準を反応として出力する。第２の追跡モジュールは、第２の波長において、第１の時間間画像及び第２の時間間隔画像に基づいて、第２の組織表面撮像特徴を空間的に追跡して、少なくとも１つの第２の追跡測定基準を反応として出力する。組み合わせモジュールが、少なくとも１つの第１の追跡測定基準及び少なくとも１つの第２の追跡測定基準を組み合わせ、組織表面ナビゲーション用途における使用のための少なくとも１つの結合追跡測定基準を反応として出力する。第１の波長及び第２の波長は、異なる種類のバイオマーカーに合わせて調整される。つまり、第１の波長は、第２の波長よりも第１の種類のバイオマーカーの検出及び追跡に適しており、第２の波長は、第１の波長よりも第２の種類のバイオマーカーの検出及び追跡に適している。第１の種類のバイオマーカーと第２の種類のバイオマーカーとは異なる。
【０００８】
異なる波長の画像に作用する追跡モジュールを並行して実行することによって、異なる表面撮像特徴に重点を置いて、よりロバストな追跡システムを提供することができる。例えば皮膚状態の変化は、１つの追跡モジュール及び単一の撮像帯域では、組織特徴を成功裏にかつ正確に追跡することは難しい。異なる波長の画像が、異なる表面特徴に対してより適している。本願は、追跡モジュールを並列に実行し、出力された追跡測定基準を組み合わせてより信頼性の高いシステムを提供することにより、この問題に対処する。このようにして、追跡モジュールが作用するデータ源を、バイオマーカーの種類に対して最適化することができる。
【０００９】
組織表面画像は、皮膚画像であってよい。第１の組織表面画像及び第２の組織表面画像は、マルチスペクトルカメラによって取得されてよい。組織表面の撮像される特徴が、バイオマーカーであってよい。時間間隔があけられた時間間隔画像は、基準画像及び後続画像を含んでよい。追跡測定基準は、変位ベクトルといった時間間隔画像間の空間変位情報を含んでよい。
【００１０】
一実施形態では、第１の追跡モジュールは、第１の種類のバイオマーカーの追跡に合わせて調整される第１の追跡アルゴリズムを動作させ、第２の追跡モジュールは、第２の種類のバイオマーカーの追跡に合わせて調整される第２の追跡アルゴリズムを動作させる。好適には、第１の追跡アルゴリズム及び第２の追跡アルゴリズムは異なる。
【００１１】
例えば追跡モジュールは、特定のバイオマーカーを特定できるように最適化されるために、異なる画像フィルタを動作させ、異なるセグメンテーション手法、異なる分解能レベルを訓練させて異なる種類の特徴に重点を置くことができる。更なる実施形態では、追跡モジュールは、特定のバイオマーカーに合わせて調整され、撮像波長もまた、その種類のバイオマーカーを強調するために最適化される。
【００１２】
一実施形態では、システムは、第１の追跡モジュールの追跡性能の品質を評価して、少なくとも１つの第１の重み付け測定基準を反応として出力し、第２の追跡モジュールの追跡性能の品質を評価して、少なくとも１つの第２の重み付け測定基準を反応として出力する少なくとも１つの品質評価モジュールを含む。組み合わせモジュールは、少なくとも１つの第１の重み付け測定基準及び少なくとも１つの第２の重み付け測定基準に基づいて、少なくとも１つの第１の追跡測定基準及び少なくとも１つの第２の追跡測定基準を適応的に組み合わせる。一実施形態では、組み合わせモジュールは、少なくとも１つの第１の重み付け測定基準及び少なくとも１つの第２の重み付け測定基準に基づいて、少なくとも１つの第１の追跡測定基準及び少なくとも１つの第２の追跡測定基準の相対的重みが決定される重み付けアルゴリズムを使用して、少なくとも１つの第１の追跡測定基準及び少なくとも１つの第２の追跡測定基準を組み合わせる。このような特徴によれば、追跡測定基準の組み合わせは、組織の状態に応じて適応される。つまり、特定の追跡モジュールの性能は、位置及び被験者に依存する。追跡性能を継続的に評価することによって、追跡測定基準の組み合わせが各モジュールの相対的性能を考慮するように、追跡モジュールを異なるように動作させるための異なる重みを割り当てることができる。
【００１３】
一実施形態では、第１の追跡モジュールは、特徴ベースの追跡及び強度ベースの追跡の少なくとも一方を使用して、少なくとも１つの第１の追跡測定基準を決定し、第２の追跡モジュールは、特徴ベースの追跡及び強度ベースの追跡の少なくとも一方を使用して、少なくとも１つの第２の追跡測定基準を決定する。
【００１４】
一実施形態では、第１の追跡モジュール及び第２の追跡モジュールは、それぞれ異なる種類のバイオマーカーを追跡する。第１の種類のバイオマーカーは、表在性皮膚構造であってよく、第２の種類のバイオマーカーは、表面下の特徴であってよい。例えば第１の種類のバイオマーカーは、ほくろ、毛、そばかす、毛穴、吹き出物、メラニン色素、くぼみ、表面粗さの群から選択され、第２の種類のバイオマーカーは、静脈又は動脈を含んでよい。
【００１５】
システムは、異なるスペクトル帯域において第１の時間間隔画像及び第２の時間間隔画像を捕捉するカメラを含んでよい。異なるスペクトル帯域を使用することによって、異なる組織表面特徴を最適に検出することができる。
【００１６】
本開示のシステムは、結合追跡測定基準に基づく表面組織ナビゲーションを必要とするか又は利用することができる多数の用途で使用することができる。例えば画像誘導手術又は医療介入システムは、本システムを、術中撮像データ、術前撮像データ、又は、術中撮像データ及び術前撮像データの組み合わせを整合させるシステムとして組み込むことができる。システムは、皮膚モニタリングシステム又は皮膚診断システムに含まれることも可能である。例えば皮膚モニタリングシステムは、疑わしいと特定されたほくろといった罹患している可能性のある皮膚の特徴の変化をモニタリングする。更なる用途は、脱毛デバイス、散髪デバイス、整髪デバイス及び歯のクリーニングデバイスといった家庭用電気製品である。
【００１７】
本開示の別の態様において、組織表面追跡方法が提供される。方法は、第１の時間間隔組織表面画像及び第２の時間間隔組織表面画像を受信するステップを含む。各時間間隔組織表面画像は、第１及び第２の異なる波長における画像データを含む。方法は、第１の波長において、第１の時間間隔画像及び第２の時間間隔画像に基づいて、第１の表面撮像特徴を追跡して、少なくとも１つの第１の追跡測定基準を反応として出力するステップを含む。方法は、第２の波長において、第１の時間間隔画像及び第２の時間間隔画像に基づいて、第２の表面撮像特徴を追跡して、少なくとも１つの第２の追跡測定基準を反応として出力するステップを含む。方法は、少なくとも１つの第１の追跡測定基準及び少なくとも１つの第２の追跡測定基準を組み合わせ、少なくとも１つの結合追跡測定基準を反応として出力するステップを含む。方法は更に、前述の用途の何れか１つといった組織表面ナビゲーション用途に、結合追跡測定基準を使用するステップを含む。
【００１８】
実施形態では、方法は、コンピュータ可読命令を実行する少なくとも１つのプロセッサを介してコンピュータ実施される。画像は、カメラといった撮像デバイスを介して取得されてよい。方法は、統合追跡測定基準をナビゲーション制御の一部として使用するコンピュータ実施組織表面ナビゲーションアプリケーションを含むシステムに、結合追跡測定基準を出力するステップを含んでよい。
【００１９】
一実施形態では、方法は、第１の追跡モジュールの追跡性能の品質を評価して、少なくとも１つの第１の重み付け測定基準を反応として決定するステップと、第２の追跡モジュールの追跡性能の品質を評価して、少なくとも１つの第２の重み付け測定基準を反応として決定するステップとを含む。更なる実施形態では、少なくとも１つの第１の追跡測定基準と少なくとも１つの第２の追跡測定基準とを組み合わせるステップは、少なくとも１つの第１の重み付け測定基準と少なくとも１つの第２の重み付け測定基準とに基づいて、少なくとも１つの第１の追跡測定基準及び少なくとも１つの第２の追跡測定基準の相対重みが決定される重み付けアルゴリズムを使用するステップを含む。
【００２０】
一実施形態では、第１の表面撮像特徴を追跡するステップは、第１の種類の表面撮像特徴に関して最適化された第１の追跡アルゴリズムを動作させるステップを含み、第２の表面撮像特徴を追跡するステップは、第２の異なる種類の表面撮像特徴の追跡に関して最適化された第２の追跡アルゴリズムを動作させるステップを含む。
【００２１】
本開示の更に別の態様では、少なくとも１つのプロセッサによって実行されると、本明細書に説明されるシステム及び方法を実施するように適応されたコンピュータプログラム要素が提供される。
【００２２】
更に別の態様では、上記プログラム要素が記憶されたコンピュータ可読媒体が提供される。
【００２３】
本発明のこれら及び他の態様は、以下に記載される実施形態から明らかとなり、当該実施形態を参照して説明される。
【図面の簡単な説明】
【００２４】
例示的な実施形態は、次の図面と併せて以下に説明される。図面において、同じ参照符号は、同じ要素を示す。
【００２５】
【図１】図１は、本開示の例示的な実施形態による組織表面特徴を追跡するシステムの概略機能ブロック図であり、システム図は、例示的モジュール及びシステムモジュールによるデータ変換を示す。
【図２】図２は、例示的な実施形態による表面組織特徴を追跡する方法のステップを示すフローチャートである。
【図３】図３は、例示的な実施形態による追跡アルゴリズムのステップを示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下の詳細な説明は、本質的に例示に過ぎず、用途及び使用を限定することを意図していない。更に、前述の技術分野、背景技術、発明の概要又は以下の詳細な説明に提示されている如何なる明示的又は黙示的理論によっても拘束されることを意図するものではない。
【００２７】
図１は、例示的なシステムによる組織表面追跡システム２０の機能ブロック図である。図１は、処理モジュール、データの流れ及び追跡システム２０の様々な処理モジュールによって行われるデータ内の変換を示す。
【００２８】
本明細書で使用する場合、モジュールとの用語は、特定用途向け集積回路（ＡＳＩＣ）、電子回路、１つ以上のソフトウェア若しくはファームウェアプログラムを実行するプロセッサ（共有、専用又はグループ）及びメモリ、組合せ論理回路、並びに／又は、説明する機能を提供する他の適切な構成要素を指す。具体的には、本明細書に説明されるモジュールは、少なくとも１つのプロセッサ、メモリ、及び、モジュールに関して本明細書に説明され、また更に、図２のフローチャートに関して説明される様々な機能及びプロセスを実現するために上記少なくとも１つのプロセッサによって実行可能である上記メモリに記憶されるコンピュータプログラム命令を含む。本明細書では、特定の機能について別々のモジュールが説明されているが、これは統合トポロジを排除するものではない。更に、図示されているモジュールは、更なるサブモジュールに分割されてもよい。モジュールは、本明細書に説明される特徴、プロセス及びシステムを実現するために、必要に応じて、例えばデータバスを介して互いに通信する。
【００２９】
図１は、異なるスペクトル帯域において複数の時間間隔があけられた画像２２を捕捉する撮像デバイス１０を示す。撮像デバイス１０は、カメラといった光学撮像デバイスであってよい。撮像デバイス１０は、組織表面（例えば皮膚）の関心領域の連続画像を捕捉する。撮像デバイス１０は、マルチスペクトルで、異なる波長（異なる波長帯域を含む）において複数の画像を取得し、当該マルチスペクトル画像を、連続した時間間隔で（例えば撮像デバイス１０の設定されたフレームレートに応じて）取得することができる。撮像デバイス１０は、それぞれが特定の１つ以上の波長において異なる組織表面の可視的特徴を撮像するようにデザインされた複数のフィルタを含んでよい。フィルタは、物理フィルタ、又は、物理フィルタと少なくとも１つのプロセッサによって動かされる画像処理フィルタとの組み合わせによって実現されてよい。撮像デバイス１０は、異なる波長において画像データ２２を取得するために、例えば別々のカメラを介する撮像ピクセルの別々のアレイを含むことができる。
【００３０】
撮像デバイス１０は、特定の解剖学的特徴に対して最適化されているそれぞれの波長において画像２２を捕捉する。例えば赤外波長は、特に静脈を追跡するために使用することができ、紫外線波長は、特にほくろ及びそばかすを追跡するために使用することができる。つまり、特定の波長は、特定の表面組織バイオマーカーを強調することができる。実施形態では、撮像デバイスは、それぞれのバイオマーカーに最適な波長において画像２２を捕捉することができる。ヒト組織は、視覚波長及び近赤外波長に対して部分的に透過性であり、メラニン色素及び毛といった表面特徴、並びに、静脈又は動脈といった表面下特徴を識別することを可能にする。紫外線に近い波長の光は、ほくろやそばかすといった表在性の肌特徴に最適である。
【００３１】
システム２０の１つの例示的な実施態様では、撮像デバイス１０によって、少なくとも３つの画像２２ａ、２２ｂ、２２ｃが取得される。撮像デバイス１０は、画像２２ａ、２２ｂ、２２ｃのそれぞれを取得するために、４５０ｎｍ、６８０ｎｍ及び８８０ｎｍの波長において画像２２ａ、２２ｂ、２２ｃを分離するフィルタといった異なる波長フィルタを利用してよい。これらの例示的な波長は、例えばほくろ又は他のメラニン色素特徴、しわといった表面の凸凹及び表面下の静脈にそれぞれ合わされる。
【００３２】
図１の例示的なシステムでは、時間間隔があけられた第１及び第２の組織表面画像２２を受信するデータ受信モジュール１２が示される。時間間隔があけられた各組織表面画像は、第１及び第２の異なる波長における画像データを含む。データ受信モジュール１２は、異なる波長λ１、λ２、λ３における画像データ２２ａ、２２ｂ、２２ｃを受信する。画像データ２２は、時間があけられた間隔で受信されるが、当該間隔の間に、画像コンテンツの変位が起きた可能性がある。本開示は、以下で更に説明されるように、追跡モジュール１４を利用してこの動きを追跡する。
【００３３】
データ受信モジュール１２は、画像データ２２を受信する入力データインターフェースを含んでよい。入力データインターフェースは、インターネット又はイントラネットといった無線ネットワークを介して画像データ２２を受信することを可能にするネットワーク構成要素であってよい。図１の例示的なシステムでは、画像データ２２は、撮像デバイス１０から受信される。データ受信モジュール１２は更に、時間間隔があけられた画像データ２２をそれぞれの追跡モジュール１４ａ、１４ｂ、１４ｃに提供するデータ出力インターフェースを含んでよい。各追跡モジュール１４ａ、１４ｂ、１４ｃは、異なる波長（異なる波長帯域を含む）λ１、λ２、λ３においてフィルタリングされた撮像データを受信する。データ受信モジュール１２は、画像データ２２の受信及び受信した画像データ２２’のそれぞれの追跡モジュール１４ａ、１４ｂ、１４ｃへの出力を指示するプロセッサ及び実行可能なコンピュータプログラム命令を含んでよい。
【００３４】
図１の例示的なシステム２０では、第１の追跡モジュール１４ａ、第２の追跡モジュール１４ｂ及び第３追跡モジュール１４ｃが設けられている。各追跡モジュール１４は、データ受信モジュール１２から受信した時間間隔があけられた画像データ２２’に基づいて、例えばバイオマーカーである組織表面の撮像された特徴を空間的に追跡する。追跡モジュール１４ａ、１４ｂ、１４ｃは、それぞれ、追跡測定基準
【数１】
2020513871.tif 000003
を出力する。追跡測定基準
【数２】
2020513871.tif 000004
は、時間間隔があけられた画像２２’における空間変位を表す。例えば追跡測定基準
【数３】
2020513871.tif 000005
は、回転成分及び／又は２次元若しくは３次元直交座標空間における線形変位を含んでよい３次元における時間間隔があけられた画像における変位を規定する空間変位ベクトルを含んでよい。追跡モジュール１４は、データ受信モジュール１２から画像データ２２’を受信する入力データインターフェースと、少なくとも１つの追跡測定基準
【数４】
2020513871.tif 000006
と、以下に更に説明するように、任意選択的に、追跡品質、即ち、性能測定基準Ｑ１、Ｑ２、Ｑ３とを出力する出力データインターフェースとを含んでよい。追跡モジュール１４は更に、少なくとも１つのプロセッサと、本明細書に説明される組織表面追跡アルゴリズムを実施するために少なくとも１つのプロセッサによって実行可能なコンピュータ可読命令とを含んでよい。更に、プロセッサ及びコンピュータ可読命令は、各追跡モジュール１４ａ、１４ｂ、１４ｃについて少なくとも１つの品質測定基準Ｑｎを決定するように動作する。
【００３５】
各追跡モジュール１４ａ、１４ｂ、１４ｃは、異なる追跡アルゴリズムを動作させる。図３を参照して、例示的な追跡アルゴリズムについて、以下に説明する。各追跡アルゴリズムは、異なる種類のバイオマーカーを追跡するように調整されている。組織表面撮像によって撮像可能である例示的なバイオマーカーには、ほくろ、毛、そばかす、吹き出物、メラニン色素、くぼみ、表面粗さ及び静脈が含まれる。例えば表面粗さに作用する追跡アルゴリズムは、各画像対の変位した画像強度間の最良の相関関係を探し出す。通常、各画像の画像パッチが正規化され、これらの正規化されたパッチ間の強度差が整合誤差として使用される。最小誤差を有するパッチ対が、最良の変位候補と考えられる。静脈に作用する例示的な追跡アルゴリズムは、（例えばスケール不変特徴変換ＳＩＦＴアルゴリズムを適用することによって）最初に画像を特徴ベクトルに変換し、これらのベクトルそれぞれについて記述子を計算する。次に、整合する記述子間の変位を使用して、画像対間の変位が計算される。したがって、特定のバイオマーカーに合わされた強度ベースの追跡を使用する追跡モジュール１４ａ、１４ｂ、１４ｃもあれば、異なるバイオマーカーに合わされた特徴ベースの追跡を使用する追跡モジュール１４ａ、１４ｂ、１４ｃもある。更に、追跡モジュール１４ａ、１４ｂ、１４ｃは、求められている特定のバイオマーカーに対応する様々な基準画像（基準記述子）を特徴ベースの追跡において利用することができる。前述したように、画像データ２２’はまた、画像データ２２’内に特定のバイオマーカーを識別する能力を最大化するように、スペクトル的に選択されてもよい。したがって、追跡モジュール１４の追跡アルゴリズムがバイオマーカーによって調整されるだけでなく、各追跡モジュール１４によって受信された画像データ２２’自体がそのバイオマーカーの識別を最適化するためにフィルタリングされる。様々な波長における画像データ２２’について、複数の空間トラッカ１４を並列に走らせることによって、表面組織における局所的な解剖学的差異（例えば毛、吹き出物及び静脈の存在及び量）に対してロバストである表面組織位置測定基準
【数５】
2020513871.tif 000007
を取得することができる。
【００３６】
図３を参照して、各モジュール１４ａ、１４ｂ、１４ｃの例示的な追跡アルゴリズム５０を一般的な詳細レベルで説明する。組織表面追跡アルゴリズム自体は当業者に知られており、本説明は、１つの例示的な実施態様を表すものである。追跡アルゴリズム５０は、時間間隔があけられた基準画像データ及び後続画像データを受信する受信ステップ３０、３２を含む。基準画像データ及び後続画像データは、前述の時間間隔があけられた画像データ２２’から取られたものである。ステップ３６において、基準画像データと後続画像データとが比較されて、基準画像データ及び後続画像データ内のバイオマーカーのパターンが整合される又は突合せされる。比較ステップ３６は、特徴ベースの追跡又は強度ベースの追跡を利用することができる。特徴ベースの追跡では、比較ステップ３６において、後続画像データ及び基準画像データ内の表面組織特徴のパターンが特定され、突合せされる又は整合される。強度ベースの追跡では、比較ステップ３６において比較される基準画像データ及び後続画像データ内に、画像パッチが規定され、これにより、基準画像データ及び後続画像データにおけるバイオマーカーの強度ベースのパターンが突合せされる又は整合される。強度ベースの方法と特徴ベースの方法との両方において、上述の追跡測定基準の一例としての相対的位置又は変位測定基準が比較ステップ３６に基づいて決定される次のステップ４０を実施することができる。具体的には、基準画像データと後続画像データとの間の特徴又は強度パターンの変位によって、ステップ３８において、前述の変位ベクトル
【数６】
2020513871.tif 000008
といった追跡測定基準を決定することが可能になる。比較される画像データは、有色でも単色でもよい。ステップ４０において、追跡モジュール１４によって実施される追跡アルゴリズムは、以下に説明するように、後続の処理のために出力される。
【００３７】
図１に戻り、各トラッカモジュール１４ａ、１４ｂ、１４ｃは、図３のステップ３６に関して上述したような画像データ２２’の対応分析に基づいて、前の（基準）画像データ２２’と後続画像データ２２’との間の変位測定基準
【数７】
2020513871.tif 000009
を導出する。
【００３８】
引き続き図１を参照する。例示的なシステム２０は、追跡測定基準
【数８】
2020513871.tif 000010
を組み合わせて結合追跡測定基準
【数９】
2020513871.tif 000011
を出力する組み合わせモジュール１６を含む。結合追跡測定基準
【数１０】
2020513871.tif 000012
は、組織表面ナビゲーション用途において使用される。結合追跡測定基準
【数１１】
2020513871.tif 000013
の例示的な用途については後述する。結合追跡測定基準
【数１２】
2020513871.tif 000014
は、入力として追跡測定基準
【数１３】
2020513871.tif 000015
を取る平均化関数によって決定されてよい。例示的な平均化関数には、平均値関数、中央値関数及びモード関数が含まれる。したがって、結合追跡測定基準
【数１４】
2020513871.tif 000016
は、平均変位測定基準又は平均変位ベクトルであってよい。組合せモジュール１６は、追跡モジュール１４からの追跡測定基準
【数１５】
2020513871.tif 000017
と、任意選択的に、品質評価モジュール１８からの重み付け測定基準Ｗｎとを受信する入力データインターフェースを含んでよい。品質評価モジュール１８については、以下でより詳細に説明する。組み合わせモジュール１６は、プロセッサと、プロセッサによって実行可能なコンピュータ可読命令とを含み、上述の通り、複数の入力追跡測定基準
【数１６】
2020513871.tif 000018
を組み合わせる機能を実施することができる。更に、組み合わせモジュール１６は、結合追跡測定基準
【数１７】
2020513871.tif 000019
を皮膚表面ナビゲーションに基づく制御機能の一部として組み込む器具２４に、結合追跡測定基準
【数１８】
2020513871.tif 000020
を提供する出力データインターフェースを含んでよい。機器２４の例及びその制御機能については後述する。
【００３９】
実施形態によれば、組み合わせモジュール１６は、各追跡モジュール１４ａ、１４ｂ、１４ｃの品質評価に基づいて適応的である平均化アルゴリズムを利用する。つまり、結合追跡測定基準
【数１９】
2020513871.tif 000021
における寄与の相対的重みが、各追跡モジュール１４ａ、１４ｂ、１４ｃの決定された性能品質に応じて適応される。具体的には、各追跡モジュール１４ａ、１４ｂ、１４ｃからの品質測定基準Ｑ１、Ｑ２、Ｑ３は、後述する品質評価モジュール１８によってまとめられ、追跡測定基準
【数２０】
2020513871.tif 000022
を平均化する平均化アルゴリズムに適用されるべき重み付け測定基準Ｗ１、Ｗ２、Ｗ３が決定される。このようにして、異なる追跡モジュール（例えば異なる追跡アルゴリズム及び／又は異なる撮像波長）が、被験者、身体部等に依存して異なる品質レベルにおいて動作するという事実に従って結合追跡測定基準の決定を適応させる適応型表面組織追跡機能が提供される。したがって、位置に依存せず、ロバストな追跡ソリューションが可能になる。
【００４０】
図１の例示的なシステム２０には、品質評価モジュール１８が含まれる。品質評価モジュール１８は、それぞれの追跡モジュール１４ａ、１４ｂ、１４ｃから受信した品質測定基準Ｑ１、Ｑ２、Ｑ３に基づいて追跡モジュール１４の追跡性能品質を評価する。品質評価モジュール１８は、品質測定基準を処理し、各追跡モジュール１４ａ、１４ｂ、１４ｃの重み付け係数Ｗ１、Ｗ２、Ｗ３を決定する。重み付け係数は、それぞれの追跡モジュール１４ａ、１４ｂ、１４ｃから受信され、追跡モジュールの性能品質を示す２つ以上の品質測定基準Ｑ１、Ｑ２、Ｑ３の組み合わせに基づいて決定される。品質測定基準Ｑｎは、各追跡モジュール１４ａ、１４ｂ、１４ｃによって、時間間隔があけられた画像データ２２’内のバイオマーカーの数又は量を表すパラメータ、時間間隔があけられた画像データ２２’間の整合又は位置合わせの数又は量を表すパラメータ、及び／又は、整合の品質、例えば時間間隔があけられた画像データ２２’を比較する際の整合の近さ又は最小誤差を表すパラメータに基づいて決定されてよい。
【００４１】
図３に関して上で提供した追跡アルゴリズムの説明を参照する。特徴ベースの追跡の場合、静脈追跡に使用されるものと同様に、品質測定基準Ｑは、時間間隔があけられた画像データ２２’内で特定される特徴（例えば静脈）の数及び／又は時間間隔があけられた画像データ２２’内で整合した特徴の数、時間間隔があけられた画像データ２２’内で特定される特徴間の整合誤差（例えば連続外観整合）及び／又は時間間隔があけられた画像データ２２’内の整合特徴間の一致を表すパラメータ（例えば特定された特徴間の変位一致）によって決定することができる。強度ベースの追跡の場合、品質測定基準Ｑｎは、時間間隔があけられた画像データ２２’内の規定された画像パッチの周波数成分（例えば詳細量）、時間間隔があけられた画像データ２２’内のパッチ間の適合品質（例えば強度差）及び／又は時間間隔があけられた画像データ２２’内のパッチ間の複数の対応の一致又は逆誤差の関数であってよい。
【００４２】
品質評価モジュール１８は、追跡モジュール１４から品質測定基準Ｑｎを受信する入力データインターフェースを含んでよい。品質評価モジュールは、様々な品質測定基準Ｑｎを評価し、品質測定基準Ｑｎに基づいて各追跡モジュール１４に関連付けられる重み付け係数Ｗｎを決定するプロセッサ及び当該プロセッサによって実行可能なコンピュータ可読命令を含んでよい。品質評価モジュール１８は、重み付け係数Ｗｎを組み合わせモジュール１６に提供する出力データインターフェースを含んでよい。
【００４３】
図１の例示的なシステム２０において、組み合わせモジュール１６は、重み付け係数Ｗｎを平均化アルゴリズムに適用して、各追跡測定基準
【数２１】
2020513871.tif 000023
の結合追跡測定基準
【数２２】
2020513871.tif 000024
に対する相対寄与を設定する。例えば重み付き平均又は重み付き中央値が、組み合わせモジュール１６によって、重み付け係数Ｗｎに基づいて実行され、最適波長及び追跡アルゴリズムの最適調整の両方に関して、画像データ２２’内のバイオマーカーの品質に適応する結合追跡測定基準が提供される。
【００４４】
図１の例示的なシステム２０において、結合追跡測定基準
【数２３】
2020513871.tif 000025
は器具２４に出力される。器具２４は、画像誘導手術若しくは医療介入システム、術中データ及び／若しくは画像データ位置合わせシステム、皮膚モニタリング若しくは皮膚診断システム、又は、脱毛デバイス、散髪デバイス、整髪デバイス及び歯のクリーニングデバイスといった家電製品であってよい。
【００４５】
実施形態では、器具２４は制御モジュール２６を含む。或いは、制御モジュール２６は外部に設けられてもよい。制御モジュール２６は、結合追跡測定基準
【数２４】
2020513871.tif 000026
に基づいて、器具２４の少なくとも１つの制御機能を決定する。つまり、器具２４の動作は、少なくとも部分的に表面組織ナビゲーションに依存してよい。表面組織ナビゲーションは、当業者に知られているスキームに従って結合追跡測定基準
【数２５】
2020513871.tif 000027
を使用して実施することができる。
【００４６】
１つの実施例では、器具２４は、ＣＴ撮像データ又はＭＲＩ撮像データといった術前撮像データ及び術中撮像データを位置合わせする器具である。或いは又は更に、器具２４は、ＭＲＩ画像又はＣＴ画像といった連続的な術中画像又は連続的な術前画像を位置合わせするためのものである。このような器具２４は、患者の侵襲的撮像のための撮像マシンを含んでよい。術前画像データ及び術中画像データは、撮像デバイス１０からの撮像データ２２と同時に取得される。撮像デバイス１０は、侵襲的撮像マシンと既知の関係を有する。したがって、バイオマーカーは、本明細書に説明される方法及びシステムに従って撮像データ２２から追跡することができ、術前撮像データ及び術中撮像データの位置合わせが可能にされる。このような位置合わせは、少なくとも部分的に結合追跡測定基準
【数２６】
2020513871.tif 000028
に基づいて制御モジュール２６内で実施することができ、位置合わせされた術前画像及び術中画像の表示をレンダリングすることができる。
【００４７】
別の実施例では、器具２４は、医療デバイスを誘導する器具を含む。本明細書に説明されるシステム及び方法に従って追跡された表面組織バイオマーカーを参照して正確な誘導を確立することができる。制御モジュール２６は、医療デバイスの誘導器具内に含まれて、少なくとも部分的に結合追跡測定基準
【数２７】
2020513871.tif 000029
に基づいて、ナビゲーション制御機能を確立することができる。
【００４８】
更に別の実施例では、本明細書に説明されるシステム及び方法に従って、毛又は皮膚処置デバイス（例えば散髪デバイス）が、バイオマーカーの追跡に基づいて表面組織をナビゲートすることができる。制御モジュール２６は、毛又は皮膚処置デバイス内に含まれて、少なくとも部分的に結合追跡測定基準
【数２８】
2020513871.tif 000030
に基づいて、少なくとも１つの毛又は皮膚処置制御機能を確立することができる。
【００４９】
更なる実施例では、器具２４は、疾患の可能性のある皮膚の特徴を経時的にモニタリングする器具である。例えば癌性が疑われるほくろが経時的にモニタリングされる。本明細書に説明されるシステム及び方法に従って追跡されたバイオマーカーを参照して、皮膚の特徴を特定しモニタリングすることができる。例えば形状、位置、大きさ及び／又は色の変化がモニタリングされる。制御モジュール２６は、当該モニタリング器具内に含まれて、少なくとも部分的に結合追跡測定基準
【数２９】
2020513871.tif 000031
に基づいて（皮膚特徴特定、皮膚特徴測定、皮膚特徴変化決定といった）少なくとも１つのモニタリング機能を確立することができる。
【００５０】
患者処置を行うために少なくとも部分的に表面組織ナビゲーションに基づいて制御される他のシステム及び器具も、本明細書に説明される表面組織追跡システム及び方法を利用することができる。
【００５１】
図２のフローチャートによって、本開示による組織表面追跡方法６０が示される。実施形態において、当該方法は、プロセッサによって実行されるコンピュータ可読命令によってコンピュータ実施される。実施形態において、当該方法は、図１に関して説明したシステム２０によって実施される。
【００５２】
ステップ６２において、データ受信モジュール１２を介して画像データ２２が受信される。画像データ２２は、時間間隔があけられたマルチスペクトルデータを含む。画像データ２２は、画像データ２２が異なる波長又はスペクトル帯域で取得されるように異なるフィルタを動作させるマルチスペクトルカメラ１０によって取得されてよい。異なる波長における時間間隔があけられた画像データ２２’は、それぞれ異なる追跡プロセスに提供される。
【００５３】
ステップ６４において、追跡モジュール１４を介して追跡プロセスが行われ、表面撮像された特徴、例えば表面組織バイオマーカーが追跡される。それぞれの追跡プロセスは、特定の波長にフィルタリングされた時間間隔があけられた画像データ２２’に対して行われる。具体的には、基準画像と後続の画像との相関分析に基づいて、基準画像から後続の画像へのバイオマーカーの空間的追跡が行われる。追跡プロセスは、それぞれ特定のバイオマーカーの種類に合わせて調整され、受信された画像データもそのバイオマーカーの種類に合わせて調整される。ステップ６４の追跡プロセスは、追跡モジュール１４のそれぞれについて追跡測定基準Ｘｎを生成する。
【００５４】
ステップ６６において、追跡モジュール１４と品質評価モジュール１８との組み合わせを介して品質評価プロセスが行われ、組み合わせモジュール１６によって使用される重み付け測定基準Ｗｎが生成される。実施形態において、品質評価プロセスは、追跡モジュール１４のそれぞれを介して少なくとも１つの品質測定基準Ｑｎを決定するサブプロセスを含む。少なくとも１つの品質測定基準Ｑｎは、追跡モジュール１４による追跡性能品質を表す。重み付け測定基準又は係数Ｗｎは、品質測定基準Ｑｎに基づいて決定することができる。
【００５５】
ステップ６８では、ステップ６４で得られた追跡測定基準Ｘｎの品質適応組み合わせが、ステップ６６で得られた重み付け測定基準Ｗｎに基づいて行われ、結合追跡測定基準
【数３０】
2020513871.tif 000032
が決定される。品質適応組合せは、重み付き平均又は重み付き中央値といった加重平均アルゴリズムを含んでよい。様々な追跡アルゴリズム及び撮像データの様々な波長が、表面組織の状態に応じて異なる動作をする。本明細書に説明されるシステム及び方法は、結合追跡測定基準
【数３１】
2020513871.tif 000033
を決定する際に、より良好に動作する追跡プロセスを優先させることができる。更に、図３の方法６０のプロセスは、表面組織の状態が変化するにつれて継続的な最適化を可能にするために、繰り返し行われる。
【００５６】
ステップ７０において、結合追跡測定基準
【数３２】
2020513871.tif 000034
は、表面組織ナビゲーションを動作させる患者の処置、治療又は診断の用途において、例えば患者処置、治療又は診断システムの制御入力として、使用されるか又は当該使用のために出力される。ＣＴ撮像データ又はＭＲＩ撮像データの整合、罹患皮膚特徴モニタリング、医療デバイスナビゲーション、毛又は皮膚治療用途といった上記用途の幾つかの例が前述されている。
【００５７】
当然のことながら、表面組織は、被験者上の位置及び被験者毎にかなり異なる。例えば異なる被験者及び異なる表面位置は、様々な量の毛、吹き出物及び静脈を有する。皮膚の場合、表面組織の外観は、非常に滑らか（即ち、色の変化、毛又はしわがない）から非常に細かい（即ち、メラニン斑点、毛及び表面粗さ並びに毛穴がある）まで様々である。この多様性は、体上の位置に依存するだけでなく（例えばほくろ／そばかすは背中でより多く見られ、血管は腕でより多く見られる）、被験者、人種、年齢及び性別にも依存する。本開示は、異なる波長を対象にした画像に作用する並列追跡モジュールを動作させるので、組織状態におけるこのような可変性に対してよりロバストなソリューションを提供し、これにより、様々な組織特徴を追跡のために強調することを可能にする。更に、追跡モジュール自体を、異なる組織特徴の追跡を最適化するように異なるようにアルゴリズム的に調整することができる。更にまた、追跡結果の組み合わせは追跡性能に応じて適応されるので、出力結果は、組織の状態に関係なく滑らかになる。
【００５８】
本発明の別の例示的な実施形態では、適切な処理システム上で、前述の実施形態のうちの１つによる方法の方法ステップを実行するように適合されていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
【００５９】
したがって、コンピュータプログラム要素は、コンピュータユニットに記憶されていてもよい。当該コンピュータユニットはまた、本発明の一実施形態の一部であってよい。当該コンピュータユニットは、上記方法のステップを行うか又はステップの実行を誘導する。更に、コンピュータユニットは、上記装置の構成要素を動作させる。コンピュータユニットは、自動的に動作するか及び／又はユーザの命令を実行する。コンピュータプログラムが、データプロセッサの作業メモリにロードされてよい。したがって、データプロセッサは、本発明の方法を実行する能力を備えている。
【００６０】
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。
【００６１】
更に、コンピュータプログラム要素は、上記方法の例示的な実施形態の手順を満たすすべての必要なステップを提供することができる。
【００６２】
本発明の更なる例示的な実施形態によれば、ＣＤ−ＲＯＭといったコンピュータ可読媒体が提示される。コンピュータ可読媒体に、コンピュータプログラム要素が記憶され、コンピュータプログラム要素は上記セクションに説明されている。
【００６３】
コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体上に記憶される及び／又は分散配置されるが、インターネット又は他の有線若しくは無線通信システムを介した形態といった他の形態で分配されてもよい。
【００６４】
しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワークを介して提示され、当該ネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、ダウンロード用にコンピュータプログラム要素を利用可能にする媒体が提供され、当該コンピュータプログラム要素は、本発明の上記実施形態のうちの１つによる方法を行うように構成される。
【００６５】
なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、デバイスタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び下記の説明から、特に明記されない限り、１つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関連する特徴の任意の組み合わせも、本願によって開示されていると見なされると理解できるであろう。しかし、すべての特徴は、特徴の単なる足し合わせ以上の相乗効果を提供する限り、組み合わされることが可能である。
【００６６】
少なくとも１つの例示的な実施形態が、上記詳細な説明において提示されたが、当然ながら、多数の変形実施態様が存在する。また、１つ以上の例示的な実施形態は、例示に過ぎず、開示の範囲、適用可能性又は構成を如何様にも限定することを意図していない。むしろ、上記詳細な説明は、当業者に１つ以上の例示的な実施形態を実施するための便利なロードマップを提供する。当然ながら、請求項及びその法的等価物に記載される開示の範囲から逸脱することなく、要素の機能及び配置において様々な変更を行ってよい。
【００６７】
請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「ａ」又は「ａｎ」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に引用される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。
【図１】
2020513871.tif 000035
【図２】
2020513871.tif 000036
【図３】
2020513871.tif 000037
【国際調査報告】
2020513871.tif 000038
2020513871.tif 000039
2020513871.tif 000040