(57)【要約】  関心のある領域である動物の皮膚の少なくとも一部（例えば、腫瘍などの異常にさらされている部分）を識別する（「セグメント化する」）ための方法が提案されている。この方法は、少なくとも、皮膚の領域の複数の点のそれぞれの温度を測定することによって得られた温度データセットを使用する。初期セグメンテーションは、統計モデルに基づく温度データを使用して実行できます。このモデルでは、各ポイントがその温度と、オプションで隣接するポイントの温度に基づいてセグメント化される。温度データに基づく初期セグメンテーションは、皮膚のプロファイルの３次元モデルを使用して改善することができ、強化されたセグメンテーションは、３次元モデルを改善するために使用することができる。【選択図】  図２
2021527834.tif 000002
【特許請求の範囲】
【請求項１】
関心領域である動物の皮膚の少なくとも１つの部分を識別する方法であって、以下：
前記動物の前記皮膚の前記領域内の複数の点のそれぞれの温度を示す温度データセットを受け取ること、及び
前記温度データセットに基づいて、前記関心領域の一部である前記皮膚の領域の前記部分の推定値を導き出すこと、
を含む方法。
【請求項２】
前記関心領域の一部である前記皮膚の前記部分の推定値を導出するステップは、前記皮膚のプロファイルの３次元モデルをさらに利用する、請求項１に記載の方法。
【請求項３】
前記温度データセットは、前記皮膚の前記領域を、前記関心領域の一部である前記皮膚の少なくとも１つの部分と、前記関心領域の一部ではない少なくとも1つの部分とに分類する、前記領域の皮膚の初期セグメンテーションを取得するために使用される、及び
前記皮膚の前記プロファイルの前記3次元モデルは、皮膚を前記関心領域の一部として誤って分類する前記初期セグメンテーションの少なくとも１つの領域を識別すること、及び識別された誤った分類を修正することによって、前記初期セグメンテーションを強化するために使用される、
請求項２に記載の方法。
【請求項４】
さらに以下：
前記３次元モデルの少なくとも１つの欠陥部分を特定すること、及び
前記３次元モデルの前記欠陥部分の少なくとも一部に補間面を追加することによって前記３次元モデルを修正することであって、前記補間面は、前記温度データに基づくセグメンテーションによれば、前記関心領域の一部である前記皮膚一部のエッジにある第1のエッジを有すること、
を含む、請求項２又は請求項３に記載の方法。
【請求項５】
前記セグメンテーションによると、前記補間面は、前記関心領域の一部である前記皮膚の部分に第２のエッジを有し、前記補間面は、前記3次元モデルの前記第2のエッジで連続している、請求項４に記載の方法。
【請求項６】
前記第2のエッジでは、前記補間面は、前記3次元モデルの勾配に等しい勾配を有する、請求項５に記載の方法。
【請求項７】
さらに、前記皮膚の前記プロファイルの前記修正された３次元モデルから、前記関心領域に関連する異常の体積を特徴付ける１つ又は複数の数値パラメータを導出することを包含する、請求項４から６のいずれかに記載の方法。
【請求項８】
前記関心領域の一部である前記皮膚の領域の前記部分の推定値を導出するステップは、1つ又は複数のカットオフ温度を導出するため前記温度データセットを使用すること、及び前記皮膚の領域内の複数の点のそれぞれについて、前記温度データセットに従った前記点の温度が、1つの導出されたカットオフ温度より上か下かを決定することによって、前記皮膚の領域のセグメンテーションを生成することを含む、請求項１から７のいずれかに記載の方法。
【請求項９】
前記１つ又は複数のカットオフ温度は、前記関心領域の一部である皮膚と前記関心領域の一部ではない皮膚の両方を含む皮膚の領域内の温度の統計的変動の統計モデルから導出され、皮膚上の特定のポイントの前記カットオフ温度は、統計モデルによれば、前記皮膚のポイントが同様に対象となる可能性が高い、又は関心領域の一部ではない可能性が高い温度である、請求項８に記載の方法。
【請求項１０】
前記統計モデルは、前記関心領域の一部である皮膚点の平均温度を示す第１の温度値、及び前記関心領域の一部ではない皮膚点の平均温度を示す第２の温度値を特徴とする、請求項９に記載の方法。
【請求項１１】
前記統計モデルはさらに、前記関心領域の一部である皮膚点の温度変動性を示す第１の分散値、及び前記関心領域の一部ではない皮膚点の温度変動性を示す第２の分散値によって特徴付けられる、請求項１０に記載の方法。
【請求項１２】
前記統計モデルによれば、皮膚のいずれの所与の点が前記関心領域の一部である可能性は、温度データによると、それぞれが所与の点に関して近接基準を満たす皮膚上の１つ又は複数の他の点の温度に基づいており、それにより、所与の点について導出されたカットオフ温度は、対応する他の点の温度に依存する、請求項９から１１のいずれかに記載の方法。
【請求項１３】
反復手順を含む、請求項９から１２のいずれかに記載の方法であって、ここで、複数のステップのそれぞれにおいて、：
前記統計モデルの１つ又は複数の数値パラメータの現在の推定値は、前記皮膚の領域の候補セグメンテーションを実行するのために使用される、及び
前記候補セグメンテーションは、前記１つ又は複数の数値パラメータの改善された推定値を生成するために使用される、方法。
【請求項１４】
温度データを取得することをさらに含む、請求項１から３のいずれかに記載の方法。
【請求項１５】
プロセッサと、動作可能なプログラム命令を格納するデータ記憶装置とを含むシステムであって、前記プロセッサによって実装される場合、前記プロセッサに請求項１から１３のいずれかに記載の方法を実行させる、システム。
【請求項１６】
前記温度データセットを生成するための熱イメージングシステムをさらに含む、請求項１５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、皮膚上の関心領域、例えば、動物、特に哺乳類、ラットや他のげっ歯類など、の体の腫瘍や傷などの３次元異常に関連する関心領域、の３次元（３Ｄ）画像を生成するための画像化方法及び画像化システムに関する。さらに、異常を特徴付ける数値データを抽出するための方法及びシステムに関する。
【背景技術】
【０００２】
本発明の背景
多くの実験室での研究には、ラットや他の哺乳類などの実験動物の皮膚の成長や傷の研究が含まれる。特に、腫瘍などの皮下成長がしばしば研究される。例えば、治療計画の対象となる実験動物の場合、腫瘍の範囲及び／又は成長速度の測定は、治療計画についての有用な情報を提供する。腫瘍は、横方向（つまり、皮膚表面に平行な範囲）又は突起（つまり、皮膚表面に垂直な範囲）によって測定できる。他の研究は、実験動物の皮膚の傷の間隔での測定を含む。すなわち、皮膚の空洞、例えば傷がどれだけ早く治癒（又は拡大）するかを測定する。
【０００３】
従来、成長／空洞の測定値は、キャリパーを使用して手動で取得され、多くの場合、動物が剃られた後に取得される。これにはいくつかの欠点がある。：  人為的ミスの影響を受る。；また、実験室の作業員が異なれば、腫瘍をわずかに異なる方法で測定し（例えば、腫瘍のさまざまな位置を測定する）、キャリパーを使用して腫瘍にさまざまなレベルの圧縮を加えることができるため、ある程度主観的である。測定プロセスには時間がかかり、再現性が不十分な場合がある。
【０００４】
最近、動物の皮膚の３次元モデルを自動的に取得する方法が提案されている。皮膚のプロファイル（つまり、皮膚の表面の３次元形状）は、レーザースキャン、測光、立体鏡検査などの方法で取得される。ただし、モデルの形状のどれだけが異常によるもので、どれだけが動物の皮膚の自然な湾曲によるものかを判断するのは難しいため、結果のデータセットを処理することは技術的に困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の要約
一般的に、本発明は、皮膚の領域の複数の点のそれぞれの温度を測定することによって得られる少なくとも温度データセットを使用して、関心領域（例えば、異常）である動物の皮膚の少なくとも一部を識別することを提案する。識別プロセスは、「セグメンテーション」と呼ばれる場合がある。すなわち、関心領域の一部である皮膚の少なくとも一部と、関心領域の一部ではない皮膚の他の部分（複数可）に皮膚をセグメント化（分類）する。この概念は、特定の皮膚の異常が皮膚の温度分布を変化させるという観察に基づいている。例えば、多くの腫瘍では、腫瘍の上の皮膚の温度は周囲の皮膚の温度よりも低くなる。
【課題を解決するための手段】
【０００６】
関心のある領域は、皮膚の隣接部分とは異なる温度にあると予想される皮膚の任意の部分であり得る。例えば、それは、皮膚の隣接部分と比較して、髪の割合が高い又は低い部分であり得る。しかしながら、より典型的には、それは、皮膚の温度を変化させる異常、例えば腫瘍、又はおそらく創傷にさらされる部分である。温度データセットは、皮膚の３次元プロファイルのモデルと組み合わせて使用することが好ましい。
【０００７】
この点で、温度データセットは、皮膚のプロファイルの３次元モデルと「融合」している。皮膚の強化されたセグメンテーション及び／又は改善された３次元モデルを取得する。皮膚のモデルは、例えば、複数のカメラを使用してキャプチャされた皮膚の領域の画像を組み合わせることによって取得することができる。例えば、立体視を使用して画像を組み合わせてモデルを作成することができる。
【０００８】
一例では、初期セグメンテーションは、温度データセットに基づいて取得することができ（例えば、以下で説明するように）、皮膚のプロファイルの３次元モデルを使用して強化することができる。例えば、最初のセグメンテーションで皮膚の特定の部分が関心領域の一部であると識別されたが、皮膚の３次元プロファイルのモデルの対応する部分が関心領域を示す基準を満たしていない場合（例えば、モデルの一部が皮膚の別の隣接又は周囲の部分に関して連続性基準に従っている場合）、皮膚の部分は、関心領域の一部ではないものとして再分類される場合がある。
【０００９】
最初の例と組み合わせることができる別の例では、温度データを使用して得られたセグメンテーションを使用して、皮膚のプロファイルの３次元モデルの少なくとも一部を改善する。例えば、改善は、欠落している部分、又は低精度であることを示す基準を満たすと決定された部分など、３次元モデルの欠陥部分を改善することができる。具体的には、改善は、皮膚のプロファイルの３次元モデルの欠陥部分の少なくとも一部に補間面を追加することができる。補間面は、温度データに基づくセグメンテーション（例えば、強化されたセグメンテーション）によれば、関心領域の一部である皮膚の部分のエッジにある第１のエッジを有し得る。セグメンテーションによれば、関心領域の一部である皮膚の一部にある補間面の第２のエッジで、補間面は、２番目のエッジの反対側にある３次元モデルと連続している場合があり、オプションで３次元モデルの勾配と等しい勾配を持つ場合がある。
【００１０】
次に、関心領域を特徴付ける１つ又は複数の数値パラメータを、皮膚のプロファイルの修正された３次元モデル、例えば、関心領域に関連する異常の体積を示す値から（例えば自動的に）導出することができる。例えば、数値パラメータ（複数可）は、修正された３次元モデルとベースライン表面との間の体積を含み得、これは、異常がなかった場合の皮膚の表面が何であったかについての推定値である。
【００１１】
上記のように、関心領域の一部である皮膚の部分の最初のセグメンテーションは、温度データを使用して形成され得る。具体的には、温度データセットに基づく皮膚の最初のセグメンテーションは、カットオフ温度より上又は下の温度データセットに従って、皮膚の領域の各点が温度を有するかどうかに基づくことができる。以下で説明するように、カットオフ温度は、すべての皮膚ポイントで同じである場合もあれば、皮膚のそれぞれのポイントで異なる場合があることに注意してください。カットオフ温度（複数可）は、温度データセットから導出されます。
【００１２】
例えば、カットオフ温度は、関心領域の一部である皮膚と関心領域の一部ではない皮膚の両方を含む皮膚の領域内の温度（複数可）の統計的変動の統計モデルから導き出すことができる。皮膚の所与の点のカットオフ温度は、統計モデルによれば、皮膚の点が関心領域の一部であるかどうかに等しくありそうな温度であり得る。
【００１３】
統計モデルは、関心領域の一部である皮膚点の平均（例えば平均）温度を示す第１の温度値及び関心領域の一部ではない皮膚点の平均（例えば平均）温度を示す第２の温度値によって特徴付けられ得る。統計モデルは、関心領域の一部である皮膚点の温度変動性を示す第１の分散値及び関心領域の一部ではない皮膚点の温度変動性を示す第２の分散値によってさらに特徴付けられ得る。言い換えれば、統計モデルによると、皮膚の任意の所与の点が関心領域の一部である可能性もまた、第１及び第２の温度値、及び任意選択で第１及び第２の分散値の関数である。
【００１４】
さらに、統計モデルによれば、皮膚の任意の所与の点が関心領域の一部である可能性は、温度データによれば、皮膚上の１つ又は複数の他の点の温度の関数であり得る。それぞれが、指定されたポイントに関して近接基準を満たしている。例えば、近接基準は、皮膚上の他の点が所与の点から特定の距離内にあることであり得る。したがって、任意の所与の皮膚点について、近接基準は、他の皮膚点からなる近傍を定義し、所与の皮膚点のカットオフ温度は、近傍の他の皮膚点の温度に依存する。
【００１５】
例えば、第1の温度値が2番目の温度値よりも高い（又は低い）場合、統計モデルによると、特定のスキンポイントが対象領域の一部である可能性は、対応する近傍のスキンポイントのそれぞれの温度の増加（減少）関数である。言い換えると、統計モデルによれば、特定のスキンポイントは、隣接するピクセルが暖かい（冷たい）場合、対象領域の一部である可能性が高くなる。
【００１６】
このように統計モデルを定義した結果、温度データセット内のノイズの影響が減少する。これは、特定のピクセルが隣接するピクセルとは異なる方法で分類されるためには、特定のポイントの温度が隣接するポイントの温度とより大きく異なる必要があるためである。
【００１７】
複数のステップのそれぞれにおいて、統計モデルの１つ又は複数の数値パラメータの現在の推定値を使用して（例えば、第１及び第２の温度値、及び／又は第１及び第２の分散）、皮膚の領域のセグメンテーションを実行する反復手順を実行することができ、セグメンテーションは、数値パラメータ（複数可）の改善された推定値を生成するために使用される。
【００１８】
本発明は、例えば、セグメンテーションを実行するために、及び／又は異常を特徴付ける数値パラメータ（複数可）を導出するために、皮膚の領域に関連する捕捉されたデータを処理するための方法又はシステムに関して表現され得る。あるいは、本発明は、方法を実行するために、プロセッサによって実装されるときに動作するプログラム命令を含むコンピュータプログラム製品（例えば、有形の記録媒体上に非一時的な形態で格納される）として表現され得る。あるいは、本発明は、皮膚の領域に関連するデータをキャプチャし、次にその方法によってそれを処理する画像化方法又はシステムとして表現され得る。
【図面の簡単な説明】
【００１９】
図面の簡単な説明
ここで、本発明の実施形態は、以下の図を参照する場合にのみ、例のために説明される。
【図１】図１は、本発明の一実施形態である  イメージングシステムの概略図である。
【図２】図２は、本発明の実施形態である方法の流れ図である。
【図３】図３は、図２の方法で使用される第１の可能な統計モデルを示す。
【図４】図４（ａ）は、異常にさらされている皮膚の部分を推定するために、図２の方法で生成された皮膚の領域の予備的なセグメンテーションを示し、図４（ｂ）は、予備的セグメンテーションから生成され得る改善されたセグメンテーションを示す。
【図５】図５は、図２の方法で使用される第２の可能な統計モデルを示している。
【図６】図６は、皮膚のプロファイルの３次元モデルである図６（ａ）と、図４（ｂ）のセグメンテーションなどの温度データから生成された初期セグメンテーションを３次元モデルと融合することによって生成された強化されたセグメンテーションを示す図６（ｂ）とから構成される。
【図７】図７は、図２の方法で実行された皮膚プロファイルの３次元モデルの補間を示している。
【図８】図８は、図１の  イメージングシステムのデータ処理システムの構造を示している。
【発明を実施するための形態】
【００２０】
実施形態の詳細な説明
図１は、本発明の実施形態であるイメージングシステムを概略的に示している。イメージングシステムは、動物１の少なくとも一部を配置することができるイメージング領域を包含する。動物１は、手で保持することも、保持機構によって保持することもできる。イメージング領域は、１つ又は複数のカメラ２ａ、２ｂの視野内にある。カメラは、異なるそれぞれの画像化位置から、そして任意選択で異なるそれぞれの視線方向で、視野のそれぞれの二次元画像を生成する。動物１が視野内に位置する場合、カメラ２ａ、２ｂによってキャプチャされた画像のそれぞれは、動物１の皮膚の領域の画像を含む。動物４は、典型的には、皮膚の領域が皮下腫瘍又は創傷などの皮膚異常の全体を含むように配置される。
【００２１】
カメラの数は図１に２つとして示されていますが、カメラの数は多かれ少なかれある。さらに、カメラ２ａ、２ｂは、静止画像及び／又はビデオ画像をキャプチャするように動作することができ、この文書では、両方の種類の画像を「画像」と呼ぶ。カメラ（複数可）２ａ、２ｂによって捕捉された電磁放射は、必ずしも可視周波数範囲ではなく、任意の周波数範囲にあり得る。
【００２２】
カメラ２ａ、２ｂの出力は、データ処理システム３に送信される。データ処理システム３の構成は、図８を参照して以下でより詳細に説明される。データ処理システム３は、カメラ２ａ、２ｂによってキャプチャされた画像を使用して動作可能であり、動物１の皮膚の領域の３次元数値モデルを構築する。１つの可能性では、３次元モデルは、立体視によって構築され得る。さらなる可能性において、３次元画像は、測光を使用して、例えば、ＷＯ２００９／１２２２００で採用されている測光技術を使用して構築され得、その開示は、参照により本明細書に組み込まれる。さらなる可能性において、測光と立体視を組み合わせることができる。さらに、カメラ２ａ、２ｂは、例えば、皮膚領域の連続する点に（例えば、ラスター内で）移動されたビームの反射を測定するレーザー画像化システム、又は超音波画像化システムと交換（又は補足）することができる。そして、測定結果から皮膚の領域の深度画像を形成する。
【００２３】
イメージングシステムは、動物の皮膚の領域の複数の点のそれぞれの温度を示す熱画像（温度データセット）をキャプチャするように動作する熱画像化システム４（通常は赤外線カメラ）をさらに備える。したがって、温度データセットは、皮膚の領域の２次元熱画像で構成される。温度データセットは、データ処理システム３に送信される。
【００２４】
オプションで、例えばノイズを低減するために、熱画像システム４及び／又はカメラ２ａ、２ｂのいずれかは、異なるそれぞれの時間に複数の画像をキャプチャし、それらを互いに組み合わせることができる（例えば、平均化によって）。したがって、例えば、上記の温度データセットは、実際には、異なるそれぞれの時間に熱画像システム４によってキャプチャされた複数の熱画像を平均することによって形成され得る。任意選択で、それぞれの熱画像がキャプチャされた時間の間の期間における動物１の動きを補償するために画像の選択された位置合わせを伴う。
【００２５】
温度データセットは、例えば、動物の皮膚の領域にまたがるそれぞれの点の配列への第１のマッピングの下で対応する点（ピクセル）の２次元配列のそれぞれのそれぞれの温度値であり得る。したがって、第１のマッピング（皮膚の領域に対する熱画像システムの位置に依存する）は、皮膚の湾曲した領域を、熱画像が定義される（平坦な）二次元空間にマッピングする。
【００２６】
同様に、カメラ（複数可）２ａ、２ｂによってキャプチャされた画像のそれぞれは、ピクセルの２次元配列のそれぞれについての強度値のセット（任意選択で複数の色のそれぞれについて）である。ピクセルは、各カメラのそれぞれの２番目のマッピングの下で、皮膚の領域のポイントに対応する。したがって、皮膚の典型的に湾曲した領域の小さなサブ領域は（例えば、以下で「皮膚のポイント」と呼ばれるもの）、第１のマッピングの下で、熱画像の第１の数の点、及び第２のマッピングのそれぞれの下で、カメラ２ａ、２ｂによってキャプチャされたそれぞれの画像内のそれぞれの第２の数の点に対応する。第１の数と第２の数の比率は、カメラ２ａ、２ｂ及び熱画像システム４の解像度に依存する。このドキュメントでは、「皮膚のポイント」の温度は、最初のマッピングでの皮膚のポイントに対応する温度データセット内のポイントの温度の平均を指す場合がある。簡単にするために、以下の説明は、「皮膚の領域のセグメント化」（すなわち、その一部を複数のクラスの対応するものに割り当てる）に言及し、言及されるセグメンテーションは、これらの対応する離散二次元空間のいずれかで実行されると理解されるべきである。又は皮膚の表面への別のマッピングによって対応するさらに別の離散的な二次元空間において。例えば、便利なことに、セグメンテーションは、温度データセットが定義されている二次元空間で、又は熱画像及びカメラ２ａ、２ｂによって捕捉された画像よりも解像度が低い離散二次元空間で実行され得る。
【００２７】
熱画像システム４は、皮膚の領域のプロファイルの３次元モデルを構築するために使用される画像をキャプチャするカメラ２ａ、２ｂとは別のものとして示されているが、他の実施形態では、熱画像自体を使用して、３次元モデルを生成することができる。例えば、画像化システムは、異なるそれぞれの画像化位置からそれぞれの熱画像を生成する複数の熱画像化システム４を含み得、立体視は、皮膚のプロファイルの３次元モデルを生成するために複数の熱画像に対して実行され得る。
【００２８】
図２に目を向けると、図１のイメージングシステムによって実行され、この方法の実施形態である方法１００が示されている。
【００２９】
ステップ１０１では、熱画像システム４を使用して温度データセット（温度マップ）をキャプチャし、カメラ（複数可）２ａ、２ｂを使用して、動物の皮膚の領域の他の画像をキャプチャする。したがって、ステップ１０１は、データ処理システム３の制御下で、熱画像システム４及びカメラ２ａ、２ｂによって実行される。
【００３０】
方法１００の残りのステップは、データ処理システム３のみによって実行される。ステップ１０２において、温度分布の数値パラメータ（複数可）が温度データセットから取得される。これらは、セグメンテーションを実行するためにステップ１０３で使用されるカットオフ温度を含み得る。
【００３１】
例えば、ステップ１０２において、温度に対する温度データのピクセル数のヒストグラムをプロットすることができる（すなわち、ヒストグラムは、重複しない温度範囲のシーケンスのそれぞれについて、その範囲の温度を持つ皮膚領域のそれぞれのポイント（ピクセル）の数を示す）。結果は、理想的には図３のようになる。つまり、２つのピークがあり、それらの間にディップがある。これは、異常の影響を受けるポイントは、最初の平均温度値（μ１で示される）と最初の分散値（σ１で示される）を持つガウス分布として分布される温度を持つ、及び異常の影響を受けないポイントは、第２の平均温度値（μ２で示される）と１番目の分散値（σ２で示される）を持つガウス分布として分布される温度を持つと予想されためである。第１及び第２の温度値μ１及びμ２の値、ならびに第１及び第２の分散値σ１及びσ２は、事前に知られていない可能性がある（そして実際、第１及び第２の温度値のどちらが高いか、及び／又は第１及び第２の分散値のどちらが高いかが事前にわかっていない場合がある）。したがって、図３のヒストグラムは、ほぼ２つのガウス曲線の合計である可能性が高く、それぞれが異常の影響を受けやすい皮膚の領域の割合に依存する振幅を持つ。温度データのノイズのため、真の第１及び第２の温度値μ１及びμ２は、図３のヒストグラムの最大値に正確に対応しないことに注意。それにもかかわらず、μ１とμ２の値は、図３のヒストグラムのピークに対応する２つの温度として概算できる。同様に、分散値分散値σ１及びσ２は、ピークのそれぞれの幅から概算することができる。
【００３２】
理想的なケースでは、カットオフ温度は、図３に示すように、ピーク間の分布の最小点に基づいて選択できる。ただし、実際には、ヒストグラムにはノイズが含まれている可能性が高いため、分布にはピーク間に複数の極小値がある。そのような最小値の１つをカットオフ温度としてランダムに選択するか、カットオフ温度を分布の２つのピークに対応する温度の平均に設定することができる（ノイズに応じて、それ自体が明確に定義されている場合とされていない場合がある）。
【００３３】
ステップ１０３において、温度データ及び数値パラメータ（例えば、カットオフ値）を使用して、皮膚の領域がセグメント化される。これは、温度データセットに従って温度がカットオフ温度より上又は下である皮膚上の点を決定することによって行うことができる。
【００３４】
任意選択で、カットオフ温度は、図３に示されるものと同様の皮膚温度の統計モデルに基づいて、及び図３のヒストグラムから推定される数値（σ１、σ２、μ１及びμ２等）に基づいて選択され得る。例えば、カットオフ温度は、統計モデルによれば、その温度での皮膚の一部が異常にさらされる確率が５０％であるような温度であり得る。カットオフ温度は、第１及び第２の温度値μ１及びμ２と、及び分散値σ１及びσ２と、に依存するため、皮膚領域の各ピクセルは、温度データセットに従ったピクセルの温度の関数である統計モデル、及び第１と第２の温度値μ１及びμ２、及び分散値σ１及びσ２に基づいてセグメント化されるといえる。これは、「期待値最大化」アルゴリズムと呼ぶことができる。
【００３５】
このカットオフ温度をセグメンテーションに適用した結果は、図４（ａ）のようになる。ここでは、検討中の皮膚の領域の外側の境界が２０として示されている。図４（ａ）に示されるように、皮膚２１、２２、２３ａ、２３ｂのいくつかの領域は、全体を通してカットオフ温度より上（又は下）である温度を有する一方、領域２５、及び皮膚領域２０の外側境界２０まで延びる領域２４は、カットオフ温度よりも低い（又は高い）温度を有する。領域２３ａ、２５はピクセルのクラスターであり、領域２３ｂは個々のピクセルである。領域２４の温度がカットオフ温度より高いか低いかに応じて、これが事前に知られていない場合、温度値μ１及びμ２のどちらが高いかを決定することができる。腫瘍の場合、腫瘍の対象となる皮膚の領域の部分の第１の温度値μ１は、任意選択で、腫瘍の対象とならない皮膚の領域の部分の第２の温度値μ２よりも低いと想定され得ることに留意。図４では、小さな領域２３ａ、２３ｂは、例えば、動物の表面の血管又は毛髪に起因する、温度データセット内のノイズの結果である可能性が高い一方、より大きな領域２１、２２の１つは、少なくともおおよそ、腫瘍自体を表す可能性があることに留意されたい。領域２５は、それを取り囲む領域２１の残りの部分からのカットオフ温度の反対側の温度を有する。したがって、領域２１がおおよそ異常を表す場合、領域２５は、ノイズアーチファクトである可能性が高い（例えば、腫瘍上の毛髪又は血管による）。
【００３６】
オプションとして、ステップ１０３において、セグメンテーションは、ここでは「修正された期待値最大化」（ＭＥＭ）モデルと呼ばれる、より洗練された統計モデルを使用して実行され得る。ＭＥＭは、Ｊ．  Ｄｅｈｍｅｓｈｋｉ  ｉｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｌｅｔｔｅｒｓ  ２０  （１９９９）  ９１９−９２６，による「肺の適応セグメンテーションと３Ｄ視覚化」で提案された。その開示は参照により組み込まれている。これは、コンピュータ断層撮影画像内の肺を描写するという無関係の技術分野を扱っていた。このより洗練された統計モデルによると、皮膚の任意の所与の点が異常にさらされる可能性は、温度データセットによれば、それぞれが所与の点に関して近接基準を満たす皮膚上の１つ又は複数の他の点の温度の関数である可能性がある。例えば、近接基準は、皮膚上の他の点が所与の点から特定の距離内にあることであり得る。したがって、任意のスキンポイントについて、近接基準は他のスキンポイントで構成される近隣を定義する。距離の尺度は、例えば、皮膚表面に対応する二次元空間におけるユークリッド距離、又は二次元空間におけるマンハッタン距離などの他の距離の尺度であり得る。
【００３７】
別の言い方をすれば、  皮膚領域の各ピクセルは、統計モデルに基づいてセグメント化される。ここで、腫瘍を覆っている（又は覆っていない）確率は、（ｉ）それ自体の温度、（ｉｉ）第１及び第２の温度値μ１及びμ２、及び第１と第２の分散値σ１とσ２、及び（ｉｉｉ）隣接するピクセルの測定温度の関数である。より洗練された統計モデルには、腫瘍の影響を受けている（又は受けていない）皮膚の点が、その近傍に他のそのような点を含む可能性が高いという事前の知識が組み込まれている。したがって、ある点が異常とは関係のない温度であっても、その点が異常の対象となる他の点に隣接している（例えば、囲まれている）場合、その点は依然として異常の対象となる可能性が高い。統計モデルの正確な形式（Ｊ．  Ｄｅｈｍｅｓｈｋｉによる上記の出版物の式（５）及び（６）に示されている）は、統計モデルの正確な形式は、値σ１、σ２、μ１、及びμ２と、その近傍の他の点の温度が与えられた場合に、与えられた点が２つのクラス（つまり、異常の影響を受けるかどうか）のいずれかにある事後確率である。皮膚上のポイントのカットオフ温度は、ポイントが異常にさらされる事後確率が５０％になるようなものである。
【００３８】
例えば、μ１がμ２よりも低い場合を考えると、統計モデルによれば、特定のスキンポイントが異常にさらされる可能性は、対応する近傍のスキンポイントのそれぞれの温度の減少関数である可能性がある。言い換えれば、統計モデルによれば、特定のスキンポイントは、隣接するピクセルの温度が低い場合に異常が発生する可能性が高くなる。
【００３９】
近傍のサイズ（すなわち、近接基準）は、異常についての事前の知識を持って選択することができる。例えば、異常が少なくとも１０ピクセル幅であると考えられる場合、近傍は、ほぼこの直径を有するように選択され得る。これをより一般的に表現するために、近傍は、関連する正規性の事前知識に基づく範囲（距離パラメータ）によって特徴付けられる。
【００４０】
このより洗練された方法で統計モデルを定義した結果、熱モデルのノイズが減少する。これは、皮膚領域２０でＭＥＭ技術を使用した結果を概略的に示す図４（ｂ）に示されている。特定のポイントを隣接するポイントとは異なる方法で分類するには、温度マップ内の特定のポイントの温度（つまり、温度マップの個々のピクセル、又はピクセルの小さなクラスター）を隣接するポイントの温度とより大きく異なる必要があるため、ノイズの影響が軽減される（つまり、領域２３ａ、２３ｂ、及び２５が削除される）。
【００４１】
事後確率を使用してMEMを実行する代わりに、温度マップをダウンサンプリングし（すなわち、ダウンサンプリングされたマップの単一のピクセルが元の温度マップのそれぞれの近傍（複数のピクセル）の平均である温度を持つように、そのピクセル解像度を下げる）、ダウンサンプリングされた温度マップの各ピクセルをカットオフ温度と比較することもできるに留意。すなわち、元の温度マップをダウンサンプリングして、ダウンサンプリングされたマップを生成することができ（例えば、マルチスケールアプローチを任意の回数使用して）、次に、ダウンサンプリングされた温度マップの各ピクセルがカットオフ温度と比較される。セグメンテーションは、比較の結果に基づいて行われる。したがって、この場合の近接基準は、ダウンサンプリングに続いて、元の温度マップの２つのポイントがダウンサンプリング操作によってダウンサンプリングされたマップの同じピクセルにマップされるかどうかである。例えば、元の温度マップのピクセル解像度が１０２４ｘ１０２４の場合、深度マップは５１２ｘ５１２、２５６ｘ２５６、１２８ｘ１２８、又は６４ｘ６４にダウンサンプリングできる。ＭＥＭへの確率論的アプローチを使用する場合と比較して、ダウンサンプリングアプローチは計算の労力が少なくて済む。異常に関する事前の知識を使用して、元の温度マップに適用されるダウンサンプリングの量を選択できる。
【００４２】
この改善されたセグメンテーションが実行されると、セグメンテーションに従って異常にさらされる皮膚点に対応するピクセルのそれぞれの温度を使用して、第１の温度値μ１及び第１の分散値σ１の改善された値を生成することができる。同様に、セグメンテーションによれば、異常の影響を受けない皮膚点に対応するピクセルのそれぞれの温度を使用して、第２の温度値μ２及び第１の分散値σ２の改善された値を生成することができる。次に、より洗練された統計モデルを使用した（つまり、隣接するピクセルの温度を使用した）セグメンテーションプロセスを、改善された値のσ１、σ２、μ１、及びμ２を使用して繰り返すことができる。
【００４３】
任意選択で、ステップ１０３は、複数のステップのそれぞれにおいて、（ｉ）統計モデルの１つ又は複数の数値パラメータ（例えば、σ１、σ２、μ１及びμ２）の現在の推定値を使用して実行する反復手順を含み得る。各ピクセルのそれぞれの近傍を使用するより洗練された統計モデルに基づく皮膚の領域のセグメンテーション、及び（ｉｉ）セグメンテーションを使用して数値パラメータの改善された推定値を生成する。
【００４４】
このプロセスを実行することの計算負荷は高くなる可能性がある。オプションで、図３に示す２つのガウス分布の合計ではなく、ピクセルの温度の分布が図５に示すようなものであると仮定して、統計モデルを定義することで削減できる。ここで、分布には、σ１とμ１に基づいて定義された第1の三角形の部分と、σ２とμ２に基づいて定義された第2の三角形の部分が含まれている。２つの三角形の部分は、カットオフ温度として使用される点で出会うことができる。
【００４５】
方法１００のステップ１０４において、カメラ２ａ、２ｂによってキャプチャされた画像データは、例えば、立体視などの上記の従来の方法の１つによって、皮膚の領域の３次元モデルを生成するために使用される。ステップ１０５において、欠陥のあるモデルの任意の部分、例えば、欠落しているか、信頼できない（つまり、信頼できないことを示す基準を満たす）ことが識別される場合がある。モデルの一部は、いくつかの理由の１つで欠陥がある可能性がある。以下で図７を参照して説明される１つは、皮膚の対応する部分が、閉塞のためにカメラ２ａ、２ｂによってキャプチャされた画像の少なくとも１つにおいて欠落していたことである。この場合、モデルの欠陥部分はモデルのギャップである可能性がある。あるいは、モデルの欠陥部分が存在する可能性があるが、信頼性を確保するには不十分なデータに基づいて構築されているため、信頼性が低い可能性がある。例えば、各カメラ２ａ、２ｂは、カメラ２ａ、２ｂから特定の距離よりも遠い皮膚範囲２０の任意の部分の信頼できる画像を撮ることができない場合がある
【００４６】
例えば、領域２０の皮膚（つまり、温度データセットが利用可能な皮膚）のプロファイルの３次元モデルが、等高線図として図６（ａ）に示されている。３次元モデルは、異常の影響を受けない部分３０を含む。この部分３０は、連続性基準に従って３次元モデルから識別され得る。例えば、部分３０は実質的に平面であり得る。別の例では、部分３０は、（穏やかに）湾曲していてもよいが、湾曲は、特定の閾値を下回り、部分３０全体にわたって空間的に均一（特定の許容範囲内）である。ベースライン表面は、領域２０全体に延びるように形成することができる。ベースライン表面は、部分３０と、部分３０を使用する補間によって形成される（すなわち、部分３０のギャップを滑らかに埋める）１つ又は複数の部分とを含む。ベースライン表面は、異常が存在しなかった場合の皮膚プロファイルの推定値である。３次元モデルは、連続性基準を満たさない部分３１をさらに含み、したがって、異常（腫瘍）にほぼ対応する可能性が高い。図６（ａ）では、部分３１は、ベースライン表面と等しい量だけ異なる３次元モデル上の線を示す等高線を含めて描かれている。３次元モデルの部分３２は、欠陥がある（欠落しているか、又は信頼できない）と識別される。欠陥部分３２は、部分３０に接する第１のエッジ３４と、部分３１に接する第２のエッジ３３とを有する。
【００４７】
ステップ１０４及び１０５は、任意選択で、単一のステップとして一緒に実行され得る。
【００４８】
ステップ１０６では、３次元モデルを使用して、ステップ１０３で得られたセグメンテーションを改善する。したがって、温度データセットは、皮膚の３次元プロファイルのモデルと「融合」して、皮膚の強化されたセグメンテーションを取得する。例えば、同じ皮膚領域を表す図４（ｂ）及び６（ａ）を比較すると、図４（ｄ）の領域２２は、領域３０内にある図６（ａ）の一部に対応する。したがって、領域２２は、異常の影響を受けないものとして再分類することができる。これにより、図６（ｂ）に示すように最終的なセグメンテーションが行われる。
【００４９】
ステップ１０７において、皮膚領域のプロファイルの３次元モデルは、３次元モデルの欠陥部分の少なくとも一部において修正（改善）される。
【００５０】
ステップ１０７を説明する前に、図６（ａ）でＡとマークされた平面内の３次元皮膚モデルの断面図である図７について説明する。図７は、カメラ２ａ、２ｂの位置も示す。上記のように、３次元モデルは、カメラ２ａ、２ｂからの画像を使用する立体視によって得られた。図７は、連続性基準を満たす３次元モデルの部分３０を示す。ベースライン表面は、領域２０全体にわたって延在する。それは、連続性基準を満たし、ギャップを含む３次元モデルの部分３０を含み、３次元モデルの部分３１及び３２に対応する。ベースライン表面はまた、ギャップを横切って部分３０を滑らかに補間することによって形成される部分７０を含む。３次元画像の部分３１は、腫瘍を覆っている（すなわち、腫瘍にさらされている）皮膚の部分７１に対応し、それは、両方のカメラ２ａ、２ｂの視野内にあるため、十分に画像化されている。
【００５１】
図７から、３次元モデルの欠陥部分が存在する理由が理解できる。皮膚突起のすべての表面はカメラ２ａの視野内にあるが、欠陥部分３２は、閉塞のためにカメラ２ｂの視野内にないので、立体視を使用して、３次元モデルの部分３２を構築することはできない。具体的には、欠陥部分３２は、カメラ２ｂの視線７３が皮膚表面７１を遮る線３３（図７では、この線３３は点として表示され、線３３は図の平面と交差する）と、視線７３がベースライン表面３０、７０を遮る線３４（ここでも、図７では、線３４が点として表示され、線３４が図の平面と交差する）との間に延在する。セグメンテーションモデルによれば、腫瘍にさらされる皮膚の部分のエッジである３次元モデルの欠陥部分３２に線がある。この線は、図７では点７５として表示され、線は図の平面と交差する。
【００５２】
ステップ１０７において、３次元モデルは、図７に線として現れる補間面７６をそれに追加することによって補足され、ここで、補間面７６は、図の平面と交差する。補間面７６は、ステップ１０６で得られたセグメンテーションに従って異常にさらされる皮膚の部分のエッジ７５である第１のエッジを有する。補間面７６のこの第１のエッジ７５は、ベースライン面３０、７０上にある。補間面７６は、線３３である第２のエッジを有する。したがって、追加された補間面７６は、３次元モデルの欠陥部分３２内の皮膚の表面の良好な推定値である。
【００５３】
３次元モデルの追加された補間面７６は、線３３で面７１と連続している。さらに、好ましくは、追加された表面７６の勾配（３次元で）は、線３３での表面７１の勾配に等しい。換言すれば、線３３における表面７１の勾配（表面７１は信頼できるので確実に得ることができる）を使用して、線３３における補間表面７６の勾配を設定する。
【００５４】
ステップ１０８において、異常を特徴付ける１つ又は複数の数値パラメータが、皮膚のプロファイルの修正された３次元モデル、例えば、その体積を示す値から（例えば自動的に）導出される。例えば、数値パラメータ（複数可）は、腫瘍上の皮膚を表す修正された３次元モデルの部分（すなわち、表面７１、７６）と、皮膚のベースライン表面３０、７０との間の計算された体積を含み得る。これは、異常がない場合の皮膚を表す。
【００５５】
図８は、データ処理システム３の技術アーキテクチャを示すブロック図である。データ処理システム３は、画像をいつキャプチャするかを制御し、画像を受信するために、画像キャプチャデバイス２ａ、２ｂ、４と通信するプロセッサ３２２（中央プロセッサユニット又はＣＰＵと呼ばれ得る）を含む。
【００５６】
プロセッサ３２２はまた、二次記憶装置３２４（ディスクドライブ又はメモリカードなど）、読み取り専用メモリ（ＲＯＭ）３２６、及びランダムアクセスメモリ（ＲＡＭ）３２１０を含むメモリデバイスと通信している。プロセッサ３２２は、１つ又は複数のＣＰＵチップとして実装され得る。
【００５７】
システム３００は、プロセッサ３２２を制御するためのユーザインターフェース（ＵＩ）３３０を含む。ＵＩ３３０は、タッチスクリーン、キーボード、キーパッド、又は他の既知の入力デバイスを含み得る。ＵＩ３３０がタッチスクリーンを含む場合、プロセッサ３２２は、タッチスクリーン上に画像を生成するように動作する。あるいは、システムは、プロセッサ３２２の制御下で画像を表示するための別個の画面３０２を含み得る。
【００５８】
この実施形態では、二次記憶装置３２４は、本開示の方法の様々な動作を実行するためにプロセッサ３２２によって動作可能な非一時的命令を含む注文生成コンポーネント３２４ａを有する。ＲＯＭ３２６は、プログラム実行中に読み取られる命令及びおそらくデータを格納するために使用される。二次ストレージ３２４、ＲＡＭ３２１０、及び／又はＲＯＭ３２６は、いくつかの状況において、コンピュータ可読記憶媒体及び／又は非一時的コンピュータ可読媒体と呼ばれ得る。
【００５９】
この実施形態では、二次記憶装置３２４は、本開示の方法の様々な動作を実行するためにプロセッサ３２２によって動作可能な非一時的命令を含む注文生成コンポーネント３２４ａを有する。ＲＯＭ３２６は、プログラム実行中に読み取られる命令及びおそらくデータを格納するために使用される。二次ストレージ３２４、ＲＡＭ３２１０、及び／又はＲＯＭ３２６は、いくつかの状況において、コンピュータ可読記憶媒体及び／又は非一時的コンピュータ可読媒体と呼ばれ得る。
【００６０】
プロセッサ３２２は、ハードディスク、フロッピーディスク、光ディスク（これらの様々なディスクベースのシステムはすべて二次記憶装置３２４と見なされ得る）、フラッシュドライブ、ＲＯＭ３２６、又はＲＡＭ３２１０からアクセスする命令、コード、コンピュータプログラム、スクリプトを実行する。１つのプロセッサ３２２のみが示されているが、複数のプロセッサが存在し得る。したがって、命令はプロセッサによって実行されるものとして説明され得るが、命令は、同時に、連続して、又はそうでなければ１つ又は複数のプロセッサによって実行され得る。
【００６１】
前述の説明は例示的な実施形態を説明しているが、当業者には、添付の特許請求の範囲内で実施形態の多くの変形を行うことができることが理解されるであろう。例えば、上記の実施形態の説明において、動物の皮膚は腫瘍を示すが、その実施形態は、動物の皮膚が代わりに創傷を示す場合にも同様に適用可能である。また、方法１００の特定のステップは、異なる順序で実行され、及び／又は省略され得る。さらに、この方法は、任意選択で、通信ネットワークを介して相互に通信する複数の処理ユニットを含む分散コンピュータシステムによって実行され得る。このドキュメントでは、「基づく」という用語を使用して、プロセスが特定のデータに基づいていると言われる場合、プロセスはそのデータを使用するが、他のデータも使用する場合があります。
【符号の説明】
【００６２】
１  動物
２ａ  カメラ１
２ｂ  カメラ２
３  データ処理システム
４  サーマルイメージングシステム
１００  方法
１０１，１０２，１０３，１０４，１０５，１０６，１０７、１０８  ステップ
【図１】
2021527834.tif 000003
【図２】
2021527834.tif 000004
【図３】
2021527834.tif 000005
【図４（ａ）】
2021527834.tif 000006
【図４（ｂ）】
2021527834.tif 000007
【図５】
2021527834.tif 000008
【図６（ａ）】
2021527834.tif 000009
【図６（ｂ）】
2021527834.tif 000010
【図７】
2021527834.tif 000011
【図８】
2021527834.tif 000012
【国際調査報告】
2021527834.tif 000013
2021527834.tif 000014