(57)【特許請求の範囲】
【請求項１】
解剖学的手術中の手術ガーゼの検出のためのシステムであって、
１又は２以上のビデオフレームを取り込むように構成された画像取り込みデバイスに通信的に結合された画像処理エンジン内の１又は２以上の回路、
を含み、
前記１又は２以上の回路は、
前記画像取り込みデバイスから受信したビデオフレームの少なくとも一部分に対して実行された色フィルタリングが施された前記ビデオフレームの少なくとも一部分に基づいてピクセル特性セットを決定し、
前記決定されたピクセル特性セットに基づいて前記ビデオフレームの前記少なくとも一部分内で手術ガーゼの一部分に対応する１又は２以上のピクセルブロックを検出し、
複数のメトリックに基づいて前記手術ガーゼの残りの部分に対応する追加ピクセルを識別し、かつ
前記ビデオフレーム内で前記手術ガーゼを該手術ガーゼの前記一部分に対応する前記１又は２以上のピクセルブロックの前記検出と前記残りの部分に対応する前記追加ピクセルの前記識別とに基づいて認識する、
ように構成され、
前記複数のメトリックは、少なくとも空間メトリック及びスペクトルメトリックを含み、
前記スペクトルメトリックは、照明不変色メトリックに対応し、
前記照明不変色メトリックは、前記ビデオフレームの前記少なくとも一部分内の２つのピクセルの色成分間の余弦距離に対応する、
ことを特徴とするシステム。
【請求項２】
解剖学的手術中の手術ガーゼの検出のためのシステムであって、
１又は２以上のビデオフレームを取り込むように構成された画像取り込みデバイスに通信的に結合された画像処理エンジン内の１又は２以上の回路、
を含み、
前記１又は２以上の回路は、
前記画像取り込みデバイスから受信したビデオフレームの少なくとも一部分に対して実行された色フィルタリングが施された前記ビデオフレームの少なくとも一部分に基づいてピクセル特性セットを決定し、
前記決定されたピクセル特性セットに基づいて前記ビデオフレームの前記少なくとも一部分内で手術ガーゼの一部分に対応する１又は２以上のピクセルブロックを検出し、
複数のメトリックに基づいて前記手術ガーゼの残りの部分に対応する追加ピクセルを識別し、かつ
前記ビデオフレーム内で前記手術ガーゼを該手術ガーゼの前記一部分に対応する前記１又は２以上のピクセルブロックの前記検出と前記残りの部分に対応する前記追加ピクセルの前記識別とに基づいて認識する、
ように構成され、
前記複数のメトリックは、少なくとも空間メトリック及びスペクトルメトリックを含み、
前記１又は２以上の回路は、前記ビデオフレームの前記少なくとも一部分の２つのピクセル間のユークリッド距離を決定するために前記空間メトリック、前記スペクトルメトリック、及び重み付けパラメータを組み合わせるように更に構成される、
ことを特徴とするシステム。
【請求項３】
解剖学的手術中の手術ガーゼの検出のためのシステムであって、
１又は２以上のビデオフレームを取り込むように構成された画像取り込みデバイスに通信的に結合された画像処理エンジン内の１又は２以上の回路、
を含み、
前記１又は２以上の回路は、
前記画像取り込みデバイスから受信したビデオフレームの少なくとも一部分に対して実行された色フィルタリングが施された前記ビデオフレームの少なくとも一部分に基づいてピクセル特性セットを決定し、
前記決定されたピクセル特性セットに基づいて前記ビデオフレームの前記少なくとも一部分内で手術ガーゼの一部分に対応する１又は２以上のピクセルブロックを検出し、
複数のメトリックに基づいて前記手術ガーゼの残りの部分に対応する追加ピクセルを識別し、かつ
前記ビデオフレーム内で前記手術ガーゼを該手術ガーゼの前記一部分に対応する前記１又は２以上のピクセルブロックの前記検出と前記残りの部分に対応する前記追加ピクセルの前記識別とに基づいて認識する、
ように構成され、
前記複数のメトリックは、少なくとも空間メトリック及びスペクトルメトリックを含み、
前記追加ピクセルは、前記空間メトリック、前記スペクトルメトリック、及び重み付けパラメータの組合せに基づいてｋ平均クラスター化技術を用いて識別される、
ことを特徴とするシステム。
【請求項４】
前記ピクセル特性セットは、エッジ特徴、形状特徴、テクスチャ特徴、サイズ特徴、色特徴、強度特徴、又は密度特徴のうちの１又は２以上を含むことを特徴とする請求項１〜３のいずれか１項に記載のシステム。
【請求項５】
前記空間メトリックは、前記ビデオフレームの前記少なくとも一部分内の２つのピクセルの座標間の幾何学的距離に対応することを特徴とする請求項１〜３のいずれか１項に記載のシステム。
【請求項６】
前記一部分に対応する前記１又は２以上のブロックは、前記ビデオフレームの前記少なくとも一部分の接続構成要素解析に基づいて検出されることを特徴とする請求項１〜３のいずれか１項に記載のシステム。
【請求項７】
前記１又は２以上の回路は、スーパーピクセルクラスター化技術に基づいて前記ビデオフレームの前記少なくとも一部分内の１又は２以上のピクセルクラスターを決定するように更に構成され、
前記追加ピクセルの前記識別は、前記１又は２以上のピクセルクラスターからの少なくとも１つのピクセルクラスターの選択を含む、
ことを特徴とする請求項１〜３のいずれか１項に記載のシステム。
【請求項８】
前記ビデオフレームの前記少なくとも一部分内の前記手術ガーゼの前記認識は、前記選択された少なくとも１つのピクセルクラスターに基づいていることを特徴とする請求項７に記載のシステム。
【請求項９】
前記画像取り込みデバイスの１又は２以上の画像取り込み設定が、前記ビデオフレームの前記少なくとも一部分内の前記手術ガーゼの前記認識に基づいて調節されることを特徴とする請求項１〜３のいずれか１項に記載のシステム。
【請求項１０】
前記１又は２以上の画像取り込み設定は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明のうちの１又は２以上を含むことを特徴とする請求項９に記載のシステム。
【請求項１１】
前記１又は２以上の回路は、前記解剖学的手術中にユーザインタフェースを通じて前記ビデオフレームの前記少なくとも一部分を表示するように更に構成され、
前記認識された手術ガーゼは、前記ビデオフレームの前記表示された前記少なくとも一部分内でマスキングされるか又は強調表示される、
ことを特徴とする請求項１〜３のいずれか１項に記載のシステム。
【請求項１２】
前記１又は２以上の回路は、前記手術ガーゼの前記認識を示す通知を発生させるように更に構成され、
前記通知は、音声警告、文字警告、視覚警告、又は触覚警告のうちの１又は２以上に対応する、
ことを特徴とする請求項１〜３のいずれか１項に記載のシステム。
【請求項１３】
解剖学的手術中に手術ガーゼを検出する方法であって、
画像取り込みデバイスに通信的に結合された画像処理エンジンにおいて、
１又は２以上のビデオフレームを取り込むように構成された前記画像取り込みデバイスから受信したビデオフレームの少なくとも一部分に対して実行された色フィルタリングが施された前記ビデオフレームの少なくとも一部分に基づいてピクセル特性セットを決定する段階と、
前記決定されたピクセル特性セットに基づいて前記ビデオフレームの前記少なくとも一部分内で手術ガーゼの一部分に対応する１又は２以上のピクセルブロックを検出する段階と、
複数のメトリックに基づいて前記手術ガーゼの残りの部分に対応する追加ピクセルを識別する段階と、
前記ビデオフレームの前記少なくとも一部分内で前記手術ガーゼを該手術ガーゼの前記一部分に対応する前記１又は２以上のピクセルブロックの前記検出と前記残りの部分に対応する前記追加ピクセルの前記識別とに基づいて認識する段階と、
を含み、
前記複数のメトリックは、空間メトリック又はスペクトルメトリックのうちの１又は２以上を含み、
前記ビデオフレームの前記少なくとも一部分の２つのピクセル間のユークリッド距離を決定するために前記空間メトリック、前記スペクトルメトリック、及び重み付けパラメータを組み合わせる段階を更に含む、
ことを特徴とする方法。
【請求項１４】
前記ピクセル特性セットは、エッジ特徴、形状特徴、テクスチャ特徴、サイズ特徴、色特徴、強度特徴、又は密度特徴のうちの１又は２以上を含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記追加ピクセルは、前記ユークリッド距離に基づいてｋ平均クラスター化技術を用いて識別されることを特徴とする請求項１３に記載の方法。
【請求項１６】
スーパーピクセルクラスター化技術に基づいて前記ビデオフレームの前記少なくとも一部分内の１又は２以上のピクセルクラスターを決定する段階を更に含み、
前記追加ピクセルの前記識別は、前記１又は２以上のピクセルクラスターからの少なくとも１つのピクセルクラスターの選択を含む、
ことを特徴とする請求項１３に記載の方法。
【請求項１７】
前記ビデオフレームの前記少なくとも一部分内の前記手術ガーゼの前記認識は、前記選択された少なくとも１つのピクセルクラスターに基づいていることを特徴とする請求項１６に記載の方法。
【請求項１８】
請求項１３〜１７のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
【請求項１９】
請求項１８に記載のプログラムを記憶したコンピュータ可読ストレージ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願への相互参照／引用による組み込み〕
本出願は、これにより引用によってその内容全体が組み込まれる２０１５年２月１９日出願の米国仮特許出願第６２／１１８，０３０号に対する優先権を主張するものである。
【０００２】
本発明の開示の様々な実施形態は、手術ガーゼの検出の方法及びそのためのシステムに関する。より具体的には、本発明の開示の様々な実施形態は、解剖学的手術中の手術ガーゼの検出の方法及びそのためのシステムに関する。
【背景技術】
【０００３】
最近の医療科学における進歩により、今日では様々な手術手順及び診断手順は、最小侵襲技術を用いて実施することができる。そのような最小侵襲技術は、患者の皮膚を通して体腔内に内視鏡手術器具又は腹腔鏡手術器具を挿入するために小さい切開を必要とする場合がある。内視鏡手術器具又は腹腔鏡手術器具は、体腔のビデオ映像を取り込むための内蔵カメラを含む場合がある。ビデオ映像は、医師が体腔内の指定解剖学的領域に対して手術手順又は診断手順を実施することを可能にするために医師に実時間で表示することができる。ある一定のシナリオでは、手術手順又は診断手順中に１又は２以上の手術ガーゼが使用される場合がある。例えば、手術手順又は診断手順中に滲出する可能性がある血液及び他の体液を吸収するために、手術ガーゼは、体腔内の解剖学的領域の周りに配置される場合がある。しかし、手術ガーゼは、手術手順又は診断手順の完了後に体腔内に残置された場合に患者に危険を及ぼす可能性がある。従って、解剖学的領域全域にわたって体腔内の手術ガーゼを検出かつモニタするための手術手順又は診断手順のビデオ映像の実時間解析に対する必要性が存在する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来的手法及び因習的手法の更に別の限界及び欠点は、本出願の残りの部分で図面を参照して示すような本発明の開示の一部の態様との説明するシステムの比較を通して当業者には明らかになるであろう。
【課題を解決するための手段】
【０００５】
特許請求の範囲により完全に列挙するように実質的に図のうちの少なくとも１つに示し、及び／又はそれに関連付けて説明するような解剖学的手術中に手術ガーゼを検出する方法及びシステム。
【０００６】
本発明の開示のこれら及び他の特徴及び利点は、全体を通して類似の参照番号が類似の部分を指す添付図面と共に本発明の開示の以下の詳細説明の精査から認めることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の開示の実施形態によるネットワーク環境を示すブロック図である。
【図２】本発明の開示の実施形態による例示的画像処理サーバを示すブロック図である。
【図３】本発明の開示の実施形態による例示的ユーザ端末を示すブロック図である。
【図４】本発明の開示の実施形態によりビデオフレーム内で手術ガーゼに対応する１又は２以上の画像ブロックを検出する方法を示す例示的流れ図である。
【図５】本発明の開示の実施形態によりビデオフレーム内で手術ガーゼを認識する方法を示す別の例示的流れ図である。
【図６】本発明の開示の実施形態によりユーザ端末上に提示することができるユーザインタフェース（ＵＩ）の例示的シナリオを示す図である。
【図７】本発明の開示の実施形態により解剖学的手術中に手術ガーゼを検出する例示的方法を示す流れ図である。
【発明を実施するための形態】
【０００８】
以下で説明する実施は、解剖学的手術中の手術ガーゼの検出のための本発明の開示の方法及びシステムにおいて見出すことができる。本発明の開示の例示的態様は、画像処理エンジンに実施可能な方法を含むことができる。画像処理エンジンは、画像取り込みデバイスに通信的に結合することができる。画像取り込みデバイスは、１又は２以上のビデオフレームを取り込むように構成することができる。本方法は、画像取り込みデバイスから受信したビデオフレームの少なくとも一部分に対して実行された色フィルタリングに基づくピクセル特性セットの決定を含むことができる。その後に、決定されたピクセル特性セットに基づいて、ビデオフレームの一部分内で手術ガーゼの一部分に対応する１又は２以上のピクセルブロックを検出することができる。更に、複数のメトリックに基づいて、手術ガーゼの残りの部分に対応する場合がある追加ピクセルを識別することができる。その後に、１又は２以上のピクセルブロックの検出と追加ピクセルの識別とに基づいて、ビデオフレームの一部分内で手術ガーゼを認識することができる。
【０００９】
実施形態により、ピクセル特性セットは、エッジ特徴、形状特徴、テクスチャ特徴、サイズ特徴、色特徴、強度特徴、及び／又は密度特徴を含むことができるがこれらに限定されない。実施形態により、複数のメトリックは、少なくとも空間メトリックとスペクトルメトリックとを含むことができる。空間メトリックは、ビデオフレームの一部分内の２つのピクセルの座標間の幾何学的距離に対応する場合がある。更に、スペクトルメトリックは、照明不変色メトリックに対応する場合がある。照明不変色メトリックは、ビデオフレームの一部分内の２つのピクセルの色成分間の余弦距離に対応する場合がある。
【００１０】
実施形態により、ビデオフレームの一部分内の２つのピクセル間のユークリッド距離を決定するために、空間メトリックとスペクトルメトリックと重み付けパラメータとを組み合わせることができる。実施形態により、追加ピクセルは、ｋ平均クラスター化技術を用いて空間メトリックとスペクトルメトリックと重み付けパラメータとの組合せに基づいて識別することができる。
【００１１】
実施形態により、手術ガーゼの一部分に対応する１又は２以上のブロックは、ビデオフレームの少なくとも一部分の接続構成要素解析に基づいて検出することができる。実施形態により、スーパーピクセルクラスター化技術に基づいてビデオフレーム内で１又は２以上のピクセルクラスターを決定することができる。追加ピクセルの識別は、１又は２以上のピクセルクラスターからの少なくとも１つのピクセルクラスターの選択を含むことができる。ビデオフレームの一部分における手術ガーゼの認識は、選択される少なくとも１つのピクセルクラスターに基づく場合がある。
【００１２】
実施形態により、ビデオフレームの一部分における手術ガーゼの認識に基づいて、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明を含むことができるがこれらに限定されない。
【００１３】
実施形態により、手術手順中に、ビデオフレームの少なくとも一部分は、ユーザインタフェース（ＵＩ）を通してユーザ（医師のような）に実時間で表示することができる。認識された手術ガーゼは、ＵＩを通してユーザに表示されるビデオフレームの少なくとも一部分内でマスキングされるか又は強調表示することができる。実施形態により、手術ガーゼの認識を示す通知を発生させることができる。通知の例は、音声警告、文字警告、視覚警告、又は触覚警告を含むことができるがこれらに限定されない。
【００１４】
図１は、本発明の開示の実施形態によるネットワーク環境を示すブロック図である。図１を参照すると、ネットワーク環境１００が示されている。ネットワーク環境１００は、手術デバイス１０２と、画像処理サーバ１０４と、ビデオデータベース１０６と、ユーザ端末１０８と、通信ネットワーク１１０とを含むことができる。手術デバイス１０２は、通信ネットワーク１１０を通じて画像処理サーバ１０４、ビデオデータベース１０６、及びユーザ端末１０８に通信的に結合することができる。
【００１５】
手術デバイス１０２は、患者の１又は２以上の解剖学的領域に関する１又は２以上の手術手順及び／又は診断分析を実施するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。手術デバイス１０２の例は、最小侵襲手術／診断デバイス、最小切開手術／診断デバイス、及び／又は内視鏡／腹腔鏡手術／診断デバイスを含むことができるがこれらに限定されない。
【００１６】
実施形態により、手術デバイス１０２は、画像取り込みデバイス（図１には示していない）を更に含むことができる。画像取り込みデバイスは、患者の解剖学的領域に対して手術手順又は診断手順が実施される時にこの解剖学的領域の１又は２以上のビデオフレームを取り込むことができる。これに代えて、手術デバイス１０２は、通信ネットワーク１１０を通じて画像取り込みデバイスに通信的に結合することができる。画像取り込みデバイスの例は、内視鏡／腹腔鏡カメラ、超音波ベースのカメラ、医療共鳴撮像（ＭＲＩ）デバイス、コンピュータ断層撮像（ＣＴ）走査デバイス、最小侵襲医療撮像デバイス、及び／又は最小切開医療撮像デバイスを含むことができるがこれらに限定されない。
【００１７】
画像処理サーバ１０４は、ユーザ端末１０８及び／又は手術デバイス１０２等の１又は２以上の認可電子デバイスに画像処理サービスを提供することができる１又は２以上のサーバを含むことができる。実施形態により、画像処理サーバ１０４は、手術手順又は診断手順が実施されている間に画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームを解析するように構成することができる。次いで、画像処理サーバ１０４は、１又は２以上のビデオフレームの解析に基づいて１又は２以上のビデオフレームのうちの少なくとも１つ内で手術ガーゼを認識することができる。実施形態により、画像処理サーバ１０４は、当業者に公知のいくつかの技術を使用する複数のクラウドベースのリソースとして実施することができる。更に、画像処理サーバ１０４は、１つ又は複数のサービスプロバイダに関連付けることができる。１又は２以上のサーバの例は、Ａｐａｃｈｅ（登録商標）ＨＴＴＰサーバ、Ｍｉｃｒｏｓｏｆｔ（登録商標）インターネット情報サービス（ＩＩＳ）、ＩＢＭ（登録商標）アプリケーションサーバ、Ｓｕｎ  Ｊａｖａ（登録商標）システムウェブサーバ、及び／又はファイルサーバを含むことができるがこれらに限定されない。
【００１８】
当業者は、本発明の開示の範囲が別々のエンティティとしての画像処理サーバ１０４と手術デバイス１０２との実施に限定されないことを理解するであろう。実施形態により、画像処理サーバ１０４の機能は、本発明の開示の範囲から逸脱することなく手術デバイス１０２によって実施することができる。
【００１９】
ビデオデータベース１０６は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームのリポジトリを格納することができる。実施形態により、ビデオデータベース１０６は、画像処理サーバ１０４に通信的に結合することができる。ビデオデータベース１０６は、ビデオフレームが画像取り込みデバイスによって取り込まれた時に画像処理サーバ１０４を通して１又は２以上のビデオフレームを受信することができる。実施形態により、ビデオデータベース１０６は、当業技術で公知の様々なデータベース技術を用いて実施することができる。ビデオデータベース１０６の例は、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬサーバ、Ｏｒａｃｌｅ（登録商標）、ＩＢＭ  ＤＢ２（登録商標）、Ｍｉｃｒｏｓｏｆｔ  Ａｃｃｅｓｓ（登録商標）、ＰｏｓｔｇｒｅＳＱＬ（登録商標）、ＭｙＳＱＬ（登録商標）、及び／又はＳＱＬｉｔｅ（登録商標）を含むことができるがこれらに限定されない。実施形態により、画像処理サーバ１０４は、１又は２以上のプロトコルに基づいてビデオデータベース１０６に接続することができる。そのような１又は２以上のプロトコルの例は、Ｏｐｅｎ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＯＤＢＣ）（登録商標）プロトコル及びＪａｖａ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＪＤＢＣ）（登録商標）プロトコルを含むことができるがこれらに限定されない。
【００２０】
当業者は、本発明の開示の範囲が別々のエンティティとしての画像処理サーバ１０４とビデオデータベース１０６との実施に限定されないことを理解するであろう。実施形態により、ビデオデータベース１０６の機能は、本発明の開示の精神から逸脱することなく画像処理サーバ１０４によって実施することができる。
【００２１】
ユーザ端末１０８は、ビデオフレームを医師等のユーザに表示するためのユーザインタフェース（ＵＩ）を提示するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ユーザ端末１０８は、患者の解剖学的領域に対して手術手順又は診断手順が実施される間にビデオフレームを実時間で表示することができる。ユーザ端末１０８は、ビデオフレームの各々の内部で画像処理サーバ１０４によって検出された手術ガーゼを表示するように更に構成することができる。ユーザ端末１０８の例は、スマート電話、カメラ、タブレットコンピュータ、ラップトップ、着用可能電子デバイス、テレビジョン、インターネットプロトコルテレビジョン（ＩＰＴＶ）、及び／又は携帯情報端末（ＰＤＡ）デバイスを含むことができるがこれらに限定されない。
【００２２】
当業者は、本発明の開示の範囲が別々のエンティティとしてのユーザ端末１０８と画像処理サーバ１０４との実施に限定されないことを理解するであろう。実施形態により、画像処理サーバ１０４の機能は、本発明の開示の精神から逸脱することなくユーザ端末１０８によって実施することができる。例えば、画像処理サーバ１０４は、ユーザ端末１０８上で実行及び／又はインストールされるアプリケーションプログラムとして実施することができる。
【００２３】
当業者は、実施形態に従ってユーザ端末１０８を手術デバイス１０２と統合することができることを理解するであろう。これに代えて、ユーザ端末１０８は、手術デバイス１０２に通信的に結合することができ、医師等のユーザ端末１０８のユーザは、ユーザ端末１０８のＵＩを通じて手術デバイス１０２を制御することができる。
【００２４】
通信ネットワーク１１０は、手術デバイス１０２及び／又はユーザ端末１０８が画像処理サーバ１０４等の１又は２以上のサーバと通信することを可能にする媒体を含むことができる。通信ネットワーク１１０の例は、インターネット、クラウドネットワーク、無線フィデリティ（Ｗｉ−Ｆｉ）ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、従来の電話サービス（ＰＯＴＳ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を含むことができるがこれらに限定されない。ネットワーク環境１００内の様々なデバイスは、様々な有線及び無線の通信プロトコルに従って通信ネットワーク１１０に接続するように構成することができる。そのような有線及び無線の通信プロトコルの例は、送信制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ  ８０２．１１、８０２．１６、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）通信プロトコルを含むことができるがこれらに限定されない。
【００２５】
作動時には、画像処理サーバ１０４は、画像取り込みデバイスによって取り込むことができるビデオフレーム内のピクセルのピクセル特性セットを決定するように構成することができる。ピクセル特性の例は、エッジ特徴、形状特徴、テクスチャ特徴、サイズ特徴、色特徴、強度特徴、及び／又は密度特徴を含むことができるがこれらに限定されない。実施形態により、ピクセル特性セットの決定は、ビデオフレームの少なくとも一部分に対して実施される色フィルタリングに基づく場合がある。
【００２６】
実施形態により、画像処理サーバ１０４は、決定されたピクセル特性セットに基づいてビデオフレーム内で手術ガーゼの一部分に対応する１又は２以上のピクセルブロックを検出するように更に構成することができる。その後に、画像処理サーバ１０４は、複数のメトリックに基づいて手術ガーゼの残りの部分に対する追加のピクセルを識別するように構成することができる。実施形態により、複数のメトリックは、少なくとも空間メトリック及びスペクトルメトリックを含むことができる。空間メトリックは、ビデオフレーム内の２つのピクセルの座標間の幾何学的距離に対応する場合がある。更に、スペクトルメトリックは、照明不変色メトリックに対応する場合がある。照明不変色メトリックは、ビデオフレーム内の２つのピクセルの色成分間の余弦距離に対応する場合がある。更に、画像処理サーバ１０４は、１又は２以上のピクセルブロックの検出及び追加ピクセルの識別に基づいてビデオフレーム内で手術ガーゼを認識するように構成することができる。
【００２７】
実施形態により、画像処理サーバ１０４は、空間メトリック、スペクトルメトリック、及び重み付けパラメータに基づいてビデオフレーム内の２つのピクセル間のユークリッド距離を決定するように更に構成することができる。しかし、本発明の開示を上記に限定することはできず、画像処理サーバ１０４は、当業技術で公知の他の数学関数を用いてビデオフレーム内の２つのピクセル間の距離を決定するように空間メトリックとスペクトルメトリックと重み付けパラメータとを本発明の開示の範囲から逸脱することなく組み合わせることができる。実施形態により、画像処理サーバ１０４は、決定したユークリッド距離に基づいてｋ平均クラスター化技術を用いて追加ピクセルを識別することができる。
【００２８】
実施形態により、画像処理サーバ１０４は、ビデオフレームの少なくとも一部分の接続構成要素解析に基づいて手術ガーゼの一部分に対応する１又は２以上のブロックを検出するように構成することができる。実施形態により、画像処理サーバ１０４は、スーパーピクセルクラスター化技術に基づいてビデオフレーム内で１又は２以上のピクセルクラスターを決定するように更に構成することができる。画像処理サーバ１０４は、追加ピクセルを識別するために１又は２以上のピクセルクラスターから少なくとも１つのピクセルクラスターを選択することができる。更に、画像処理サーバ１０４は、選択した少なくとも１つのピクセルクラスターに基づいてビデオフレーム内で手術ガーゼを認識することができる。
【００２９】
実施形態により、画像処理サーバ１０４は、ビデオフレーム内の手術ガーゼの認識に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を実時間で調節するように更に構成することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明を含むことができるがこれらに限定されない。
【００３０】
実施形態により、画像処理サーバ１０４は、手術手順又は診断手順が実施される間にビデオフレームをユーザ端末１０８のＵＩを通してユーザ（医師のような）に表示するように更に構成することができる。ビデオフレーム内で決定された手術ガーゼは、ＵＩを通してユーザに表示されるビデオフレーム内でマスキングされるか又は強調表示することができる。実施形態により、画像処理サーバ１０４は、手術ガーゼの認識を示す通知を発生させるように更に構成することができる。画像処理サーバ１０４は、手術デバイス１０２及び／又はユーザ端末１０８に通知を送信することができる。通知は、手術デバイス１０２及び／又はユーザ端末１０８によってユーザ（医師のような）に提示することができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚警告を含むことができるがこれらに限定されない。
【００３１】
図２は、本発明の開示の実施形態による例示的画像処理サーバを示すブロック図である。図２を図１に記載の要素に関連付けて説明する。図２を参照すると、画像処理サーバ１０４が示されている。画像処理サーバ１０４は、１又は２以上のプロセッサ（プロセッサ２０２のような）と、１又は２以上の送受信機（送受信機２０４のような）と、メモリ２０６と、手術場面解析ユニット２０８とを含むことができる。手術場面解析ユニット２０８は、画像フィルタリングエンジン２１０と、ピクセルクラスター化エンジン２１２と、データベースコネクタ２１４と、ＵＩマネージャ２１６と、カメラ制御ユニット２１８とを含むことができる。実施形態により、画像処理サーバ１０４は、送受信機２０４を通じて通信ネットワーク１１０を通してビデオデータベース１０６に通信的に結合することができる。これに代えて、画像処理サーバ１０４は、ビデオデータベース１０６を含むことができる。例えば、ビデオデータベース１０６は、メモリ２０６内に実施することができる。
【００３２】
プロセッサ２０２は、送受信機２０４、メモリ２０６、及び手術場面解析ユニット２０８に通信的に結合することができる。送受信機２０４は、通信ネットワーク１１０を通じて手術デバイス１０２及びユーザ端末１０８と通信するように構成することができる。
【００３３】
プロセッサ２０２は、メモリ２０６に格納された命令セットを実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ２０２は、当業技術で公知のいくつかのプロセッサ技術に基づいて実施することができる。プロセッサ２０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、及び／又は他のプロセッサとすることができる。
【００３４】
送受信機２０４は、通信ネットワーク１１０を通じてユーザ端末１０８及び／又は手術デバイス１０２と通信する（図１に示すように）ように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。送受信機２０４は、画像処理サーバ１０４と通信ネットワーク１１０との有線又は無線の通信をサポートする公知の技術を実施することができる。送受信機２０４は、アンテナ、無線周波（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタル信号プロセッサ、符号復号器（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができるがこれらに限定されない。
【００３５】
送受信機２０４は、インターネット、イントラネット等のネットワークとの無線通信、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワークとの無線通信を通じて通信することができる。無線通信は、移動通信のためのグローバルシステム（ＧＳＭ（登録商標））、拡張データＧＳＭ（登録商標）環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ  ８０２．１１ａ、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、及び／又はＩＥＥＥ  ８０２．１１ｎのような）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールのためのプロトコル、インスタントメッセージ、及び／又はショートメッセージサービス（ＳＭＳ）等の複数の通信規格、プロトコル、及び技術のうちのいずれも使用することができる。
【００３６】
メモリ２０６は、プロセッサ２０２によって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを格納するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。実施形態により、メモリ２０６は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームを格納するように更に構成することができる。メモリ２０６の実施の例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及び／又はセキュアデジタル（ＳＤ）カードを含むことができるがこれらに限定されない。
【００３７】
手術場面解析ユニット２０８は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームを解析及び処理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、手術場面解析ユニット２０８は、プロセッサ２０２の一部とすることができる。これに代えて、手術場面解析ユニット２０８は、画像処理サーバ１０４内の個別のプロセッサ又は回路として実施することができる。実施形態により、手術場面解析ユニット２０８とプロセッサ２０２は、手術場面解析ユニット２０８とプロセッサ２０２の機能を共同で実施する統合プロセッサ又はプロセッサのクラスターとして実施することができる。別の実施形態により、手術場面解析ユニット２０８は、プロセッサ２０２による実行時に手術場面解析ユニット２０８の機能を実施することができるメモリ２０６に格納されたコンピュータプログラムコードとして実施することができる。
【００３８】
画像フィルタリングエンジン２１０は、ビデオフレーム内の手術ガーゼの一部分に対応する１又は２以上のピクセルブロックを検出するために１又は２以上のビデオフレームからのビデオフレームを解析するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。画像フィルタリングエンジン２１０は、ビデオフレームの少なくとも一部分に対して実行された色フィルタリングに基づいてピクセル特性セットを決定するように構成することができる。画像フィルタリングエンジン２１０は、決定されたピクセル特性セットに基づいてビデオフレーム内の手術ガーゼの一部分に対応する１又は２以上のピクセルブロックを検出するように更に構成することができる。
【００３９】
ピクセルクラスター化エンジン２１２は、手術ガーゼの残りの部分に対応する追加ピクセルを識別し、ビデオフレーム内の手術ガーゼを認識するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ピクセルクラスター化エンジン２１２は、複数のメトリックに基づいて追加ピクセルを識別するように構成することができる。実施形態により、ピクセルクラスター化エンジン２１２は、スーパーピクセルクラスター化技術に基づいてビデオフレーム内で１又は２以上のピクセルクラスターを決定するように更に構成することができる。追加ピクセルの識別は、１又は２以上のピクセルクラスターからの少なくとも１つのピクセルクラスターの選択を含むことができる。実施形態により、ピクセルクラスター化エンジン２１２は、手術ガーゼの一部分に対応する１又は２以上のブロックの検出と手術ガーゼの残りの部分に対する追加ピクセルの識別とに基づいてビデオフレーム内で手術ガーゼを認識するように更に構成することができる。更に、手術ガーゼの認識は、選択される少なくとも１つのピクセルクラスターに基づく場合がある。
【００４０】
データベースコネクタ２１４は、手術場面解析ユニット２０８にビデオデータベース１０６へのアクセス及び接続性を与えるように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、データベースコネクタ２１４は、手術場面解析ユニット２０８とビデオデータベース１０６の間のデータベースセッションを確立することができる。データベースセッションを確立するのに使用される１又は２以上の通信プロトコルの例は、Ｏｐｅｎ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＯＤＢＣ）（登録商標）プロトコル及びＪａｖａ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＪＤＢＣ）（登録商標）プロトコルを含むことができるがこれらに限定されない。
【００４１】
ＵＩマネージャ２１６は、ユーザ端末１０８上に提示されているＵＩを管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ＵＩマネージャ２１６は、ユーザ端末１０８のユーザ（医師のような）に手術場面インタフェースを提供することができる。手術場面インタフェースは、ユーザ端末１０８のＵＩを通してユーザ端末１０８の表示デバイス上でユーザに提示することができる。実施形態により、手術場面インタフェースは、１又は２以上のビデオフレームをユーザに表示するように構成することができる。ビデオフレーム内で認識された手術ガーゼは、手術場面インタフェースを通してユーザに表示される１又は２以上のビデオフレームからのそれぞれのビデオフレーム内でマスキングされるか又は強調表示することができる。
【００４２】
カメラ制御ユニット２１８は、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節するために画像取り込みデバイスと通信するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、カメラ制御ユニット２１８は、手術ガーゼの認識に基づいて１又は２以上のビデオフレームを取り込むのに適するか又は最適であるとすることができる１又は２以上の画像取り込み設定の値を決定するように構成することができる。その後に、カメラ制御ユニット２１８は、１又は２以上の画像取り込み設定の決定値を画像取り込みデバイスに送受信機２０４を通じて送信するように構成することができる。画像取り込みデバイスは、カメラ制御ユニット２１８によって送られた対応する値に基づいてその画像取り込み設定を調節することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明を含むことができるがこれらに限定されない。
【００４３】
作動時には、医師は、手術デバイス１０２及び１又は２以上の手術器具を用いて患者の解剖学的領域に対して手術手順又は診断手順を実施することができる。１又は２以上の手術器具の例は、内視鏡カテーテル、手術鉗子、手術切開器具、及び／又は手術ガーゼを含むことができるがこれらに限定されない。手術手順又は診断手順の例は、最小侵襲手術／診断手順、最小切開手術／診断手順、腹腔鏡手順、及び／又は内視鏡手順を含むことができるがこれらに限定されない。
【００４４】
実施形態により、手術手順又は診断手順は、自動化され、医師からのいかなる監督又は指示もなく手術ロボットが実施することができる。実施形態により、手術手順又は診断手順は、半自動化され、医師からの１又は２以上の入力信号及び／又は指令によって手術ロボットが実施することができる。実施形態により、画像取り込みデバイス（図１には示していない）は、手術デバイス１０２に通信的に結合することができる（又はそこに含めることができる）。画像取り込みデバイスは、解剖学的領域に対して手術手順又は診断手順が実施される間に解剖学的領域のビデオフレームを実時間で取り込むことができる。その後に、手術デバイス１０２（又は画像取り込みデバイス自体）は、通信ネットワーク１１０を通じて、取り込んだビデオフレームを画像処理サーバ１０４に送信することができる。
【００４５】
画像処理サーバ１０４内の送受信機２０４は、手術デバイス１０２から通信ネットワーク１１０を通じてビデオフレームを受信するように構成することができる。実施形態により、ビデオフレームは、実時間搬送プロトコル（ＲＴＰ）及び／又は実時間ストリーミングプロトコル（ＲＴＳＰ）等の通信プロトコルを用いて実時間ストリーミング媒体コンテンツとして受信することができる。データベースコネクタ２１４は、ビデオデータベース１０６とのデータベースセッションを確立し、受信したビデオフレームをビデオデータベース１０６に格納するように構成することができる。更に、ビデオフレームは、メモリ２０６に格納することができる。
【００４６】
画像フィルタリングエンジン２１０は、ビデオフレームを解析するように構成することができる。実施形態により、ビデオフレームは、予め決められた数のビデオフレームが手術デバイス１０２から受信された時にバッチモード（オフライン処理）で解析することができる。実施形態により、ビデオフレームは、各新しいビデオフレームの受信時に実時間ベース（オンライン処理）で解析することができる。画像フィルタリングエンジン２１０は、ビデオフレームの解析に向けてビデオフレームをメモリ２０６又はビデオデータベース１０６から検索して取得することができる。
【００４７】
実施形態により、画像フィルタリングエンジン２１０は、解析に向けて各ビデオフレームを画像ブロック（以下では、交換可能に「ピクセルブロック」及び／又は「ブロック」と呼ぶ）に分割することができる。画像フィルタリングエンジン２１０は、ビデオフレームの少なくとも一部分に関するピクセル特性セットを決定するためにビデオフレームの少なくとも一部分（１又は２以上のそのような画像ブロックを含む可能性がある）に対して色フィルタリングを実施するように構成することができる。ピクセル特性セットの例は、エッジ特徴、形状特徴、テクスチャ特徴、サイズ特徴、色特徴、強度特徴、又は密度特徴を含むことができるがこれらに限定されない。画像フィルタリングエンジン２１０は、ビデオフレーム内のピクセルに対して１又は２以上の色制約条件を適用するように構成することができる。実施形態により、ビデオフレーム内の手術ガーゼの色は、赤（血液浸潤手術ガーゼの場合）、白（無血液手術ガーゼの場合）、又は青（放射性ストライプ付き手術ガーゼの場合）のうちの１つである可能性があるがこれらに限定されない。実施形態により、画像フィルタリングエンジン２１０は、以下の「条件１」、「条件２」、「条件３」、及び「条件４」等の１又は２以上の条件に基づいて１又は２以上の色制約条件を適用することができる。
条件１：｜ｇ−ｂ｜＜２５かつｒ≧８８
条件２：Ｉgray≧１５０かつＩopp2≦３３
条件３：ｂ＋６≧ｇかつＩopp2＞３３
条件４：ｂ≧ｒ＋５かつＩgray≧１５０
ここで、ｒ、ｇ、ｂは、ピクセルの赤、緑、及び青の色成分を表し、
Ｉgrayは、ピクセルのグレースケール強度を表し、
Ｉopp2は、ピクセルのｏｐｐ２色強度を表している。
【００４８】
実施形態により、画像フィルタリングエンジン２１０は、白い（無血液）手術ガーゼ又は赤い（血液浸潤）手術ガーゼを包含する可能性がある領域を識別するために条件「条件１」を検査することができる。そのような領域内のピクセルは、その緑色成分と青色成分の間に小さい絶対差（例えば、「２５又はそれよりも小さい」）を有する可能性がある。更に、これらのピクセルの赤色成分は、中間値（例えば、「８８又はそれよりも大きい」）を有する可能性がある。
【００４９】
実施形態により、画像フィルタリングエンジン２１０は、白い（無血液）手術ガーゼを包含する可能性がある領域を識別するが、銀色の外科ツールを除外するために条件「条件２」を検査することができる。「条件２」は、そのような領域が高いグレースケール強度と低いｏｐｐ２色強度とを有するピクセルを含む可能性があるという仮定に基づく場合がある。
【００５０】
実施形態により、画像フィルタリングエンジン２１０は、赤い（血液浸潤）手術ガーゼを包含するが黄色味を帯びた組織を除外する可能性がある領域を識別するために条件「条件３」を検査することができる。そのような領域内の各ピクセルの青色成分は、それぞれのピクセルの緑色成分よりも僅かに大きい場合がある。
【００５１】
実施形態により、画像フィルタリングエンジン２１０は、青い（放射性ストライプ付き）手術ガーゼを包含する可能性がある領域を識別するために条件「条件４」を検査することができる。そのような領域内のピクセルは、その赤色成分値と比較してより高い青色成分値を有する可能性がある。更に、そのような領域内のピクセルは、高いグレースケールピクセル強度（例えば、「１５０又はそれよりも高い」）を有する可能性がある。
【００５２】
実施形態により、画像フィルタリングエンジン２１０は、ビデオフレーム内で白い（無血液）手術ガーゼに対応する場合がある着目領域を条件「条件１」及び「条件２」に基づいて検出することができる。更に、画像フィルタリングエンジン２１０は、ビデオフレーム内で赤い（血液浸潤）手術ガーゼに対応する場合がある着目領域を条件「条件１」及び「条件３」に基づいて検出することができる。更に、画像フィルタリングエンジン２１０は、青い（放射性ストライプ付き）手術ガーゼに対応する場合がある着目領域を条件「条件４」に基づいて検出することができる。以下では、上述の様々な画像フィルタリング条件（「条件１」、「条件２」、「条件３」、及び「条件４」等であるがこれらに限定されない）に基づいて画像フィルタリングエンジン２１０がビデオフレーム内で識別する領域を参照するために「着目領域」という用語を使用する。
【００５３】
更に、画像フィルタリングエンジン２１０は、ビデオフレーム内でエッジピクセルを検出するためにエッジフィルタリングを実施するように構成することができる。実施形態により、エッジフィルタリングは、ビデオフレームに対して当業技術で公知のＳｏｂｅｌエッジフィルタを用いて実施することができる。画像フィルタリングエンジン２１０は、以下の条件に基づいてピクセルがエッジピクセルであることを検出することができる。
条件５：ＩSobel≧７１８２
式中の「ＩSobel」は、ピクセルのＳｏｂｅｌエネルギを表している。
【００５４】
すなわち、画像フィルタリングエンジン２１０は、ピクセルのＳｏｂｅｌエネルギが閾値（例えば、「７１８２」）よりも大きいか否かを決定するために条件「条件５」を検査することができる。特定のピクセルのＳｏｂｅｌエネルギが閾値よりも大きい場合に、画像フィルタリングエンジン２１０は、このピクセルをエッジピクセルとして検出することができる。当業者は、手術ガーゼがストライプを有することができることを理解するであろう。ビデオフレーム内のエッジピクセルの検出は、ビデオフレームにおけるストライプの識別を可能にすることができ、従って、画像フィルタリングエンジン２１２が手術ガーゼを包含する可能性がある着目領域を識別することを可能にすることができる。更に、血液浸潤手術ガーゼに対応する領域は、ビデオフレーム内で組織に対応する領域よりも多いエッジを有する可能性がある。従って、ビデオフレーム内のエッジピクセルの検出は、画像フィルタリングエンジン２１０が、ビデオフレーム内で血液浸潤手術ガーゼと組織との間で正確に区別を付けることを可能にすることができる。
【００５５】
実施形態により、画像フィルタリングエンジン２１０は、ビデオフレーム内で検出された着目領域内でエッジピクセルの密度解析を実施するように更に構成することができる。密度解析に基づいて、画像フィルタリングエンジン２１０は、ビデオフレーム内で検出された着目領域内にある各画像ブロック内のストライプの密度を決定することができる。実施形態により、画像ブロック内のストライプ密度は、画像ブロック内のピクセルの全個数に対する画像ブロック内のエッジピクセルの個数の比に対応する場合がある。画像フィルタリングエンジン２１０は、ビデオフレーム内の着目領域内の各画像ブロック内のストライプ密度に基づいてビデオフレーム内で手術ガーゼの一部分を検出するための信頼度マップを発生させることができる。実施形態により、画像フィルタリングエンジン２１０は、以下の条件に基づいて信頼度マップを発生させることができる。
条件６：ｄΩ≧０．３
式中のｄΩは、ビデオフレームの着目領域内の画像ブロック内のストライプ密度を表している。
【００５６】
すなわち、画像フィルタリングエンジン２１０は、高いストライプ密度を有するビデオフレームの検出着目領域内の画像ブロックを識別するために条件「条件６」を検査することができる。そのような画像ブロック内のピクセルは、これらの画像ブロックが手術ガーゼに対応する場合がある高い可能性を有する場合がある。従って、画像フィルタリングエンジン２１０は、そのような画像ブロックのピクセルを信頼度マップ内に含めることができる。実施形態により、画像フィルタリングエンジン２１０は、それぞれの画像ブロック内のストライプ密度に基づいて各そのような画像ブロック内のピクセルへの可能性値の割り当てによって信頼度マップを発生させることができる。
【００５７】
実施形態により、画像フィルタリングエンジン２１０は、決定されたピクセル特性セットに基づいてビデオフレーム内で手術ガーゼの一部分に対応する場合がある１又は２以上のピクセルブロックを検出するように更に構成することができる。実施形態により、そのようなピクセルブロックの検出は、ビデオフレームの少なくとも一部分（１又は２以上の画像ブロックを含む可能性がある）の接続構成要素解析に基づく場合がある。
【００５８】
画像フィルタリングエンジン２１０は、ビデオフレーム内で検出された着目領域に対して信頼度マップに基づいて閾値化演算を実施することができる。例えば、画像フィルタリングエンジン２１０は、予め決められた閾値（「０．５」のような）よりも大きい可能性値が割り当てられた着目領域（信頼度マップの範囲の）内のピクセルの選択によって閾値化演算を実施することができる。
【００５９】
その後に、画像フィルタリングエンジン２１０は、信頼度マップに基づいてビデオフレームの着目領域内の接続構成要素をリンクすることができる。実施形態により、画像フィルタリングエンジン２１０は、各接続構成要素がビデオフレームの少なくとも予め決められた数（５又は６以上のような）の連続画像ブロックを含むことができるように接続構成要素をリンクすることができる。連続画像ブロックは、閾値化演算の条件を満たすことができる。次いで、画像フィルタリングエンジン２１０は、リンクした接続構成要素に位置する画像ブロックをビデオフレーム内で手術ガーゼの一部分に対応する場合がある検出された１又は２以上のピクセルブロックとして識別することができる。ビデオフレーム内で手術ガーゼに対応する１又は２以上の画像ブロックの検出の方法を示す例示的流れ図に対しては図４で説明する。
【００６０】
実施形態により、ピクセルクラスター化エンジン２１２は、複数のメトリックに基づいてビデオフレーム内で手術ガーゼの残りの部分に対応する場合がある追加ピクセルを識別するように構成することができる。実施形態により、複数のメトリックは、少なくとも空間メトリック及びスペクトルメトリックを含むことができる。空間メトリックは、ビデオフレーム内の２つのピクセルの座標間の幾何学的距離に対応する場合がある。ビデオフレームのピクセルの座標は、ビデオフレームの寸法に基づいて正規化することができる。例えば、ピクセルの正規化座標は、次の式（１）によって表すことができる。
0006497536.tif 000002
式中の「ｍａｘ（ｘ）」は、ビデオフレーム内のピクセルの最大ｘ座標を表し、「ｍａｘ（ｙ）」は、ビデオフレーム内のピクセルの最大ｙ座標を表している。
【００６１】
更に、スペクトルメトリックは、ビデオフレーム内の２つのピクセルの色成分間の余弦距離に基づいて決定することができる照明不変色メトリックに対応する場合がある。実施形態により、ピクセルの各色成分は、ピクセルの色成分の二乗値の和の平方根に基づいて正規化することができる。例えば、ピクセルの正規化色成分は、次の式（２）によって表すことができる。
0006497536.tif 000003
式中の「Ｒ」、「Ｇ」、及び「Ｂ」は、ピクセルの赤、緑、青の色成分を表している。
【００６２】
実施形態により、ピクセルクラスター化エンジン２１２は、着目領域に位置する各対のピクセル間のユークリッド距離を決定するように構成することができる。上記で解説したように、ビデオフレーム内のこれらの着目領域は、条件「条件１」、「条件２」、「条件３」、及び「条件４」等の１又は２以上の色制約条件に基づいて識別することができる。実施形態により、ピクセルクラスター化エンジン２１２は、空間メトリック、スペクトルメトリック、及び重み付けパラメータに基づいてユークリッド距離を決定することができる。ユークリッド距離は、次の式（３）によって表すことができる。
0006497536.tif 000004
ここで、「ｄ」は、１対のピクセル間のユークリッド距離を表し、
「Ｒ」、「Ｇ」、及び「Ｂ」は、この１対のピクセルのそれぞれの正規化された赤、緑、及び青の色成分間の差を表し、
「Ｘ」及び「Ｙ」は、この１対のピクセルのそれぞれのｚ及びｙの正規化ピクセル座標の間のそれぞれの差を表し、
「α」は、重み付けパラメータ（ユーザ指定とするか又はピクセルクラスター化エンジン２１２によって構成することができる）を表している。
【００６３】
実施形態により、ピクセルクラスター化エンジン２１２は、手術ガーゼに対応する場合がある追加ピクセルを識別するためにビデオフレーム内の着目領域のピクセルをクラスター化するように更に構成することができる。実施形態により、ピクセルクラスター化エンジン２１２は、識別された着目領域内のピクセルをｋ平均クラスター化技術を用いて各対のピクセル間のユークリッド距離に基づいてクラスター化することができる。しかし、本発明の開示を上記に限定することはできず、ピクセルクラスター化エンジン２１２は、当業技術で公知の他の数学関数を用いてビデオフレーム内の２つのピクセル間の距離を決定するように空間メトリックとスペクトルメトリックと重み付けパラメータとを本発明の開示の範囲から逸脱することなく組み合わせることができる。
【００６４】
実施形態により、ピクセルクラスター化エンジン２１２は、スーパーピクセルクラスター化技術に基づいてビデオフレーム内で１又は２以上のピクセルクラスターを決定するように構成することができる。ピクセルクラスター化エンジン２１２は、１又は２以上のスーパーピクセルを発生させるために着目領域内で予め決められた数のピクセルを組み合わせることができる。ピクセルクラスター化エンジン２１２は、各それぞれのスーパーピクセル内に包含されるピクセルのピクセル特性セットに基づいて１又は２以上のスーパーピクセルの各々に対するピクセル特性セットを決定することができる。例えば、ピクセルクラスター化エンジン２１２は、スーパーピクセルを構成するピクセルを包含する領域の重心の座標に基づいてスーパーピクセルの座標を決定することができる。
【００６５】
更に、ピクセルクラスター化エンジン２１２は、スーパーピクセルを構成するピクセルの色成分に基づいてスーパーピクセルの色成分を決定することができる。例えば、ピクセルクラスター化エンジン２１２は、スーパーピクセルのそれぞれの色成分の値を決定するためにスーパーピクセルを構成する個々のピクセルの各色成分に対して平均化演算を実施することができる。平均化演算の例は、中間値、ローリング平均、重み付き平均、中央値、最頻値、及び／又はあらゆる他の応用数学技術又は統計的集計技術を含むことができる。実施形態により、ピクセルクラスター化エンジン２１２は、ビデオフレーム内の着目領域から発生させることができる各対のスーパーピクセル間のユークリッド距離を決定することができる。決定したユークリッド距離に基づいて、ピクセルクラスター化エンジン２１２は、ビデオフレーム内で１又は２以上のピクセルクラスターを決定することができる。
【００６６】
実施形態により、ピクセルクラスター化エンジン２１２は、ビデオフレーム内で決定された１又は２以上のピクセルクラスターから少なくとも１つのピクセルクラスターを選択するように更に構成することができる。少なくとも１つのピクセルクラスターの選択は、そのピクセルクラスターのサイズに基づく場合がある。例えば、ピクセルクラスター化エンジン２１２は、１又は２以上のピクセルクラスターから閾値サイズよりも大きいピクセルクラスターを選択することができる。ピクセルクラスター化エンジン２１２は、選択した少なくとも１つのピクセルクラスター内に包含されるピクセルを手術ガーゼの残りの部分に対応する場合がある追加ピクセルとして識別することができる。
【００６７】
更に、ピクセルクラスター化エンジン２１２は、着目領域内の１又は２以上のスーパーピクセルをビデオフレーム内で手術ガーゼの一部分として検出された１又は２以上のブロックの上に重ねるように構成することができる。次いで、ピクセルクラスター化エンジン２１２は、１又は２以上のブロックが手術ガーゼを包含するか否かをこれらの１又は２以上のブロックによる１又は２以上のスーパーピクセルのカバレージの広がりに基づいて認証することができる。例えば、ピクセルクラスター化エンジン２１２は、１又は２以上のブロックによって包含されるスーパーピクセルの個数を決定することができる。１又は２以上のブロックによって包含されるスーパーピクセルの個数が予め決められた閾値（「スーパーピクセルの全個数の３０パーセント」のような）よりも多い場合に、ピクセルクラスター化エンジン２１２は、１又は２以上のブロックをビデオフレーム内の手術ガーゼの一部分として認証することができる。
【００６８】
実施形態により、ピクセルクラスター化エンジン２１２は、手術ガーゼの一部分に対応する場合がある１又は２以上のピクセルブロックの検出と、手術ガーゼの残りの部分に対応する場合がある追加ピクセルの識別とに基づいてビデオフレーム内で手術ガーゼを認識するように構成することができる。ピクセルクラスター化エンジン２１２は、手術ガーゼを認識するために、選択した少なくとも１つのピクセルクラスターを手術ガーゼの一部分の認証された１又は２以上のブロックと組み合わせることができる。ビデオフレーム内の手術ガーゼの認識の方法を示す例示的流れ図に対しては図５で説明する。
【００６９】
当業者は、様々な予め決められた閾値が例示的な値であることを理解するであろう。予め決められた閾値は、実施、ハードウエア及び／又はソフトウエアの構成、及びユーザ要件に基づいて本発明の開示の範囲から逸脱することなく変えることができる。
【００７０】
実施形態により、ＵＩマネージャ２１６は、手術場面インタフェースをユーザ端末１０８の医師等のユーザに提示するように構成することができる。手術場面インタフェースは、ユーザ端末１０８の表示デバイス上でユーザ端末１０８のＵＩを通してユーザに提示することができる。実施形態により、手術場面インタフェースは、手術手順又は診断手順の１又は２以上のビデオフレームをユーザに表示するように構成することができる。特定のビデオフレーム内で認識された手術ガーゼは、このビデオフレームが手術場面インタフェースを通してユーザに表示される時にマスキングされるか又は強調表示することができる。手術場面インタフェースを表示するためにユーザに提示することができる例示的ＵＩに対しては図６で説明する。
【００７１】
実施形態により、ＵＩマネージャ２１６は、特定のビデオフレームにおける手術ガーゼの認識を合図する通知を発生させるように更に構成することができる。ＵＩマネージャ２１６は、発生された通知をユーザ端末１０８に送ることができる。通知は、ユーザ端末１０８のＵＩを通してユーザに提示することができる。手術ガーゼの認識のための１又は２以上のビデオフレームの実時間解析又はオンライン解析の場合に、ＵＩマネージャ２１６は、発生された通知を送受信機２０４を通じて手術デバイス１０２に送信することができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚フィードバックを含むことができるがこれらに限定されない。
【００７２】
実施形態により、カメラ制御ユニット２１８は、ビデオフレーム内の手術ガーゼの認識に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定に対する最適値を決定するように構成することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明を含むことができるがこれらに限定されない。実施形態により、１又は２以上の画像取り込み設定の最適値は、ビデオフレーム内で手術ガーゼとして認識された領域のサイズ、そのような領域内の平均ピクセル強度、及び／又はそのような領域の１又は２以上の特徴等の１又は２以上の条件に基づいて決定することができる。実施形態において、最適値の決定はまた、ユーザ指定基準に基づく場合がある。カメラ制御ユニット２１８は、１又は２以上の画像取り込み設定の最適値を送受信機２０４を通じて画像取り込みデバイスに送信するように構成することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定は、カメラ制御ユニット２１８によって送られたそれぞれの最適値に基づいて調節することができる。
【００７３】
実施形態により、ＵＩマネージャ２１６は、１又は２以上の画像取り込み設定の最適値をユーザ端末１０８のＵＩを通じてユーザに提示することができる。ＵＩマネージャ２１６は、ユーザがユーザ端末１０８のＵＩを通じて最適値を確認又は調節することを可能にすることができる。ＵＩマネージャ２１６は、最適値の確認又は調節を示すユーザ入力をユーザ端末１０８から送受信機２０４を通じて受信することができる。その後に、カメラ制御ユニット２１８は、ユーザ入力に基づいて最適値を更新し、更新した最適値を送受信機２０４を通じて画像取り込みデバイスに送信することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定は、カメラ制御ユニット２１８から受信した更新された最適値に基づいて調節することができる。
【００７４】
図３は、本発明の開示の実施形態による例示的ユーザ端末を示すブロック図である。図３を図１に記載の要素に関連付けて説明する。図３を参照すると、ユーザ端末１０８が示されている。ユーザ端末１０８は、１又は２以上のプロセッサ（プロセッサ３０２のような）と、１又は２以上の送受信機（送受信機３０４のような）と、メモリ３０６と、クライアントインタフェースユニット３０８と、表示デバイス３１４とを含むことができる。クライアントインタフェースユニット３０８は、ＵＩマネージャ３１０と表示アダプタ３１２とを含むことができる。プロセッサ３０２は、送受信機３０４、メモリ３０６、クライアントインタフェースユニット３０８、及び表示デバイス３１４に通信的に結合することができる。送受信機３０４は、画像処理サーバ１０４及び／又は手術デバイス１０２と通信ネットワーク１１０を通じて通信するように構成することができる。
【００７５】
プロセッサ３０２は、メモリ３０６に格納された命令セットを実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ３０２は、当業技術で公知のいくつかのプロセッサ技術に基づいて実施することができる。プロセッサ３０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、及び／又は他のプロセッサとすることができる。
【００７６】
送受信機３０４は、通信ネットワーク１１０を通じて画像処理サーバ１０４及び／又は手術デバイス１０２と通信する（図１に示すように）ように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。送受信機３０４は、ユーザ端末１０８と通信ネットワーク１１０との有線又は無線の通信をサポートする公知の技術を実施することができる。送受信機３０４は、アンテナ、無線周波（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタル信号プロセッサ、符号復号器（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができるがこれらに限定されない。
【００７７】
送受信機３０４は、インターネット、イントラネット等のネットワークとの無線通信、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワークとの無線通信を通じて通信することができる。無線通信は、移動通信のためのグローバルシステム（ＧＳＭ（登録商標））、拡張データＧＳＭ（登録商標）環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ  ８０２．１１ａ、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、及び／又はＩＥＥＥ  ８０２．１１ｎのような）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールのためのプロトコル、インスタントメッセージ、及び／又はショートメッセージサービス（ＳＭＳ）等の複数の通信規格、プロトコル、及び技術のうちのいずれも使用することができる。
【００７８】
メモリ３０６は、プロセッサ３０２によって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを格納するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。メモリ３０６の実施例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及び／又はセキュアデジタル（ＳＤ）カードを含むことができるがこれらに限定されない。
【００７９】
クライアントインタフェースユニット３０８は、ユーザ端末１０８上に提示されている１又は２以上のＵＩをレンダリングし、管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、クライアントインタフェースユニット３０８は、プロセッサ３０２の一部とすることができる。これに代えて、クライアントインタフェースユニット３０８は、ユーザ端末１０８内の個別のプロセッサ又は回路として実施することができる。例えば、クライアントインタフェースユニット３０８は、プロセッサ３０２に通信的に結合された専用グラフィックプロセッサ又はグラフィックチップセットとして実施することができる。実施形態により、クライアントインタフェースユニット３０８とプロセッサ３０２は、クライアントインタフェースユニット３０８とプロセッサ３０２の機能を実施する統合プロセッサ又はプロセッサクラスターとして実施することができる。別の実施形態により、クライアントインタフェースユニット３０８は、プロセッサ３０２による実行時にクライアントインタフェースユニット３０８の機能を実施することができるメモリ３０６に格納されたコンピュータプログラムコードとして実施することができる。
【００８０】
ＵＩマネージャ３１０は、ユーザ端末１０８のＵＩを管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ＵＩマネージャ３１０は、ユーザ端末１０８の入力デバイス（図３には示していない）を通して、ユーザ端末１０８のＵＩを通じて受信されるユーザ入力を受信かつ処理するように更に構成することができる。実施形態により、入力デバイスは、ユーザ端末１０８に通信的に結合する（又はそこに含める）ことができる。入力デバイスの例は、キーボード、マウス、ジョイスティック、トラックパッド、音声対応入力デバイス、タッチ対応入力デバイス、及び／又は動作対応入力デバイスを含むことができるがこれらに限定されない。
【００８１】
実施形態により、ＵＩマネージャ３１０は、画像処理サーバ１０４のＵＩマネージャ２１６と送受信機３０４を通して通信するように更に構成することができる。そのような通信は、手術場面インタフェースに対応する情報の受信を容易にすることができる。その後に、ＵＩマネージャ３１０は、手術場面インタフェースをユーザ端末１０８のＵＩを通じて提示することができる。
【００８２】
表示アダプタ３１２は、ＵＩマネージャ３１０と表示デバイス３１４とをインタフェースで接続するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、表示アダプタ３１２は、表示デバイス３１４の表示構成に基づいてユーザ端末１０８のＵＩのレンダリング及び表示特性の調節を実施することができる。表示調節を実施するために使用することができる１又は２以上の技術の例は、画像改善、画像安定化、コントラスト調節、輝度調節、解像度調節、及び／又は歪み／回転の調節を含むことができるがこれらに限定されない。
【００８３】
表示デバイス３１４は、ＵＩをレンダリングするように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、表示デバイス３１４は、ユーザ端末１０８の一部として実施することができる。別の実施形態により、表示デバイス３１４は、ユーザ端末１０８に通信的に結合することができる。表示デバイス３１４は、ブラウン管（ＣＲＴ）ベースのディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ベースのディスプレイ、有機ＬＥＤディスプレイ技術、及び／又はＲｅｔｉｎａディスプレイ技術などのようないくつかの公知の技術を通して実現することができる。更に、実施形態により、表示デバイス３１４は、ユーザから入力を受信することができる。そのようなシナリオでは、表示デバイス３１４は、ユーザが入力を与えることを可能にするタッチスクリーンとすることができる。実施形態により、タッチスクリーンは、抵抗タッチスクリーン、容量タッチスクリーン、又は熱タッチスクリーンのうちの少なくとも１つに対応することができる。実施形態により、表示デバイス３１４は、仮想キーパッド、スタイラス、動作ベースの入力、及び／又はタッチベースの入力を通して入力を受信することができる。そのような場合に、入力デバイスは、表示デバイス３１４内に統合することができる。これに加えて、実施形態により、ユーザ端末１０８は、タッチスクリーンベースの表示デバイス３１４とは別に補助的な入力デバイスを含むことができる。
【００８４】
作動時には、ユーザ端末１０８の送受信機３０４は、画像処理サーバ１０４のＵＩマネージャ２１６から通信ネットワーク１１０を通して手術場面インタフェースに対応する場合がある情報を受信することができる。実施形態により、その後にユーザ端末１０８のＵＩマネージャ３１０は、手術場面インタフェースをユーザ端末１０８のＵＩを通してユーザに提示することができる。実施形態により、手術場面インタフェースは、手術手順又は診断手順の１又は２以上のビデオフレームをユーザに提示することができる。実施形態により、ビデオフレームがユーザに表示される時に、特定ビデオフレーム内で認識された手術ガーゼは、マスキングされるか又は強調表示することができる。手術場面インタフェースの例に対しては図６でより詳細に説明する。
【００８５】
実施形態により、手術場面インタフェースによって提示される１又は２以上のビデオフレームは、手術手順又は診断手順が実施される間に画像取り込みデバイスによって取り込まれる実時間ビデオ映像とすることができる。そのような場合に、画像処理サーバ１０４は、少なくとも１つのビデオフレーム内で手術ガーゼを認識するために実時間ベース（オンライン処理）で１又は２以上のビデオフレームを解析することができる。認識された手術ガーゼは、手術場面インタフェースを通してビデオフレーム内のマスキング領域又は強調表示領域としてユーザに同時に提示することができる。
【００８６】
実施形態により、手術場面インタフェースは、手術ガーゼの認識を示す通知をユーザに提示するように更に構成することができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚警告を含むことができるがこれらに限定されない。ユーザ（医師のような）に対して、通知に基づいて適切な行動を起こすように促すことができる。例えば、手術場面インタフェースは、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節するようにユーザに促すことができる。実施形態により、画像処理サーバ１０４のカメラ制御ユニット２１８は、手術ガーゼの認識に基づいて１又は２以上の画像取り込み設定に対する最適値を決定するように構成することができる。手術場面インタフェースは、これらの最適値を１又は２以上の画像取り込み設定に対する提案値としてユーザに提示することができる。ユーザは、ユーザに提供された提案値に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定の調節に加えて、ユーザ（医師のような）は、手術ガーゼを患者の解剖学的領域の周りの体腔内で再配置する／そこから除去することができる。
【００８７】
図４は、本発明の開示の実施形態によりビデオフレーム内で手術ガーゼに対応する１又は２以上の画像ブロックを検出する方法を示す例示的流れ図を示している。図４を図１及び図２に記載の要素に関連付けて説明する。図４を参照すると、流れ図４００が示されている。流れ図４００は、入力ビデオフレーム４０２と、解剖学的領域４０４と、手術ガーゼ４０６と、手術器具４０８と、無血液領域４１０ａと、血液浸潤領域４１０ｂと、放射性ストライプ４１２と、色フィルタリング済みビデオフレーム４１４と、エッジフィルタリング済みビデオフレーム４１６と、信頼度マップ済みビデオフレーム４１８と、出力ビデオフレーム４２０と、第１の部分４２２ａと、第２の部分４２２ｂとを含む。
【００８８】
流れ図４００に示すように、入力ビデオフレーム４０２は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームからのビデオフレームのスナップショットを示している。入力ビデオフレーム４０２は、手術器具４０８を用いて手術手順又は診断手順が実施される解剖学的領域４０４を示している。入力ビデオフレーム４０２は、手術手順又は診断手順中に使用することができる手術ガーゼ４０６も示している。手術ガーゼ４０６は、無血液領域４１０ａと血液浸潤領域４１０ｂとを含む可能性がある。手術ガーゼ４０６内の無血液領域４１０ａは、色が白に見える場合があり、手術ガーゼ４０６内の血液浸潤領域４１０ｂは色が赤に見える可能性がある。更に、手術ガーゼ４０６は、色が青に見える可能性がある放射性ストライプ４１４を含む可能性がある。
【００８９】
実施形態により、画像処理サーバ１０４の画像フィルタリングエンジン２１０は、入力ビデオフレーム４０２の少なくとも一部分のピクセル特性セットを決定するために入力ビデオフレーム４０２を解析するように構成することができる。ピクセル特性セットは、エッジ特徴、形状特徴、テクスチャ特徴、サイズ特徴、色特徴、強度特徴、又は密度特徴を含むことができるがこれらに限定されない。ピクセル特性セットは、入力ビデオフレーム４０２の少なくとも一部分に対して実施される色フィルタリングに基づいて決定することができる。実施形態により、画像フィルタリングエンジン２１０は、図２において詳述した条件「条件１」、「条件２」、「条件３」、及び「条件４」等の１又は２以上の条件に基づいて色フィルタリングを実施することができる。色フィルタリング済みビデオフレーム４１４は、入力ビデオフレーム４０２の色フィルタリングに基づいて入力ビデオフレーム４０２から取得することができる得られるビデオフレームを示している。色フィルタリング済みビデオフレーム４１４は、入力ビデオフレーム４０２内で手術ガーゼ４０６に対応する場合がある着目領域を含む可能性がある。
【００９０】
実施形態により、画像フィルタリングエンジン２１０は、色フィルタリング済みビデオフレーム４１４内の着目領域内でエッジピクセルを検出するように構成することができる。画像フィルタリングエンジン２１０は、Ｓｏｂｅｌエッジフィルタを用いて図２において詳述した条件「条件５」に基づいてエッジピクセルを検出することができる。エッジフィルタリング済みビデオフレーム４１６は、色フィルタリング済みビデオフレーム４１４におけるエッジピクセルの検出に基づいて取得することができる得られるビデオフレームを示している。
【００９１】
実施形態により、画像フィルタリングエンジン２１０は、エッジフィルタリング済みビデオフレーム４１６内で検出されたエッジピクセルの密度解析を実施するように構成することができる。画像フィルタリングエンジン２１０は、密度解析に基づいてエッジフィルタリング済みビデオフレーム４１６の各画像ブロック内のストライプ密度を決定することができる。その後に、画像フィルタリングエンジン２１０は、入力ビデオフレーム４０２内で手術ガーゼ４０６の１又は２以上の部分を検出するための信頼度マップを発生させることができる。信頼度マップは、エッジフィルタリング済みビデオフレーム４１６の各画像ブロック内のストライプ密度に基づいて条件「条件６」（図２において詳述した）を使用することによって構成することができる。信頼度マップ済みビデオフレーム４１８は、信頼度マップがエッジフィルタリング済みビデオフレーム４１６上に重ね合わされた時に取得することができる得られるビデオフレームを示している。
【００９２】
実施形態により、画像フィルタリングエンジン２１０は、決定されたピクセル特性セットに基づいて入力ビデオフレーム４０２内で手術ガーゼ４０６の一部分に対応する場合がある１又は２以上のピクセルブロックを検出するように更に構成することができる。画像フィルタリングエンジン２１０は、入力ビデオフレーム４０２内の少なくとも一部分（１又は２以上の画像ブロックを含む可能性がある）の接続構成要素解析を実施することができる。画像フィルタリングエンジン２１０は、入力ビデオフレーム４０２の着目領域（エッジフィルタリング済みビデオフレーム４１６内で識別される）に対して閾値化演算を実施することができる。閾値化演算は、信頼度マップ済みビデオフレーム４１８内に表される信頼度マップに基づいて実施することができる。
【００９３】
その後に、画像フィルタリングエンジン２１０は、信頼度マップに基づいて入力ビデオフレーム４０２の着目領域内の接続構成要素をリンクすることができる。例えば、各接続構成要素は、閾値化演算の１又は２以上の条件を満たすことができる少なくとも予め決められた数（「５又は６以上」のような）の連続画像ブロックを含むことができる。次いで、画像フィルタリングエンジン２１０は、リンクした接続構成要素に位置する画像ブロックを入力ビデオフレーム４０２内の手術ガーゼ４０６の一部分に対応する場合がある検出された１又は２以上のピクセルブロックとして識別することができる。例えば、画像フィルタリングエンジン２１０は、第１の部分４２２ａ及び第２の部分４２２ｂを入力ビデオフレーム４０２内の手術ガーゼ４０６の一部分として識別することができる。
【００９４】
出力ビデオフレーム４２０は、入力ビデオフレーム４０２内で第１の部分４２２ａ及び第２の部分４２２ｂが識別されてマスキングされた時に取得することができる得られるビデオフレームを示している。図４から明らかなように、第１の部分４２２ａ及び第２の部分４２２ｂは、手術ガーゼ４０６全体を取り囲まない可能性がある。ピクセルクラスター化エンジン２１２は、手術ガーゼに対応する場合がある出力ビデオフレーム４２０内で追加ピクセルを識別するように構成することができる。第１の部分４２２ａ、第２の部分４２２ｂ、及び追加ピクセルの識別に基づいて、入力ビデオフレーム４０２内で手術ガーゼ４０６を認識することができる。
【００９５】
図５は、本発明の開示の実施形態によりビデオフレーム内で手術ガーゼを認識する方法を示す例示的流れ図を示している。図５を図１及び図２に記載の要素に関連付けて説明する。図５を参照すると、流れ図５００が示されている。流れ図５００は、前処理ビデオフレーム５０２と、解剖学的領域５０４と、手術器具５０６と、手術ガーゼ５０８と、事前識別部分５１０と、色／エッジフィルタリング済みビデオフレーム５１２と、ピクセルクラスター化済みビデオフレーム５１４と、後処理ビデオフレーム５１６と、第１の境界５１８と、出力ビデオフレーム５２０と、第２の境界５２２とを含む。
【００９６】
流れ図５００に示すように、前処理ビデオフレーム５０２は、画像取り込みデバイスによって取り込まれた入力ビデオフレーム（図５には示していない）の予備解析に基づいて取得することができる得られるビデオフレームのスナップショットを示している。画像フィルタリングエンジン２１０は、入力ビデオフレーム内で手術ガーゼの一部分を検出するための入力ビデオフレームの予備解析を実施することができる（図４の流れ図４００に示すものと類似の方式で）。
【００９７】
次いで、画像フィルタリングエンジン２１０は、前処理ビデオフレーム５０２を発生させるために入力ビデオフレーム内で検出された手術ガーゼの部分をマスキングすることができる。前処理ビデオフレーム５０２は、手術器具５０６を用いて手術手順又は診断手順が実施される解剖学的領域５０４を示している。前処理ビデオフレーム５０２は、手術手順又は診断手順中に使用することができる手術ガーゼ５０８も示している。更に、前処理ビデオフレーム５０２は、事前識別部分５１０を入力ビデオフレーム内で入力ビデオフレームの予備解析に基づいて画像フィルタリングエンジン２１０が識別することができる手術ガーゼ５０８の一部分として示している。
【００９８】
実施形態により、画像フィルタリングエンジン２１０は、図２において詳述した「条件１」、「条件２」、「条件３」、及び「条件４」等の１又は２以上の条件に基づく入力ビデオフレームの色フィルタリングによって色フィルタリング済みビデオフレーム（図５には示していない）を発生させることができる。更に、画像フィルタリングエンジン２１０は、色フィルタリング済みビデオフレーム（図５には示していない）内でエッジピクセルを識別することができる。画像フィルタリングエンジン２１０は、エッジピクセルを識別するのに条件「条件５」（図２において詳述した）を使用することができる。その後に、入力ビデオフレームの色フィルタリングと、色フィルタリングされた入力ビデオフレームにおけるエッジピクセルの識別とに基づいて、画像フィルタリングエンジン２１０は、色／エッジフィルタリング済みビデオフレーム５１２を発生させることができる。色／エッジフィルタリング済みビデオフレーム５１２は、手術ガーゼ５０８の他の部分を含む可能性があるビデオフレームの１又は２以上の着目領域を含む可能性がある。
【００９９】
実施形態により、ピクセルクラスター化エンジン２１２は、スーパーピクセルクラスター化技術を用いて色／エッジフィルタリング済みビデオフレーム５１２内で１又は２以上のピクセルクラスターを識別するように構成することができる。ピクセルクラスター化エンジン２１２は、空間メトリック及びスペクトルメトリック等の複数のメトリックに基づいてスーパーピクセルクラスター化を実施することができる。例えば、ピクセルクラスター化エンジン２１２は、色／エッジフィルタリング済みビデオフレーム５１２内の着目領域内で各対のピクセル間のユークリッド距離を決定することができる。ユークリッド距離は、空間メトリック、スペクトルメトリック、及び重み付けパラメータに基づく場合がある。ピクセルクラスター化済みビデオフレーム５１４は、スーパーピクセルクラスター化に基づいて色／エッジフィルタリング済みビデオフレームから発生させることができる得られるビデオフレームを示している。ピクセルクラスター化済みビデオフレーム５１４は、色／エッジフィルタリング済みビデオフレーム５１２から識別することができる１又は２以上のピクセルクラスターを含む可能性がある。
【０１００】
実施形態により、ピクセルクラスター化エンジン２１２は、後処理ビデオフレーム５１６を取得するために前処理ビデオフレーム５０２をピクセルクラスター化済みビデオフレーム５１４の上に重ねることができる。ピクセルクラスター化エンジン２１２は、１又は２以上のクラスターと事前識別部分５１０との重ね合わせの広がりを決定することができる。ピクセルクラスター化エンジン２１２は、１又は２以上のクラスターの重ね合わせの広がりに基づいて手術ガーゼ５０８に対応する場合がある第１の追加ピクセルセットを決定することができる。その後に、ピクセルクラスター化エンジン２１２は、手術ガーゼ５０８を取り囲む可能性がある第１の境界５１８を発生させるために第１の追加ピクセルセットを事前識別部分５１０と組み合わせることができる。
【０１０１】
実施形態により、ピクセルクラスター化エンジン２１２は、少なくとも１又は２以上のクラスターの各々のサイズに基づいて、１又は２以上のクラスターから少なくとも１つのクラスターを選択することができる。その後に、ピクセルクラスター化エンジン２１２は、手術ガーゼ５０８に対応する場合がある第２の追加ピクセルセットを識別することができる。その後に、ピクセルクラスター化エンジン２１２は、第２の境界５２２を発生させるために第２の追加ピクセルセット５１８に基づいて第１の境界５１８を精緻化することができる。第１の境界５１８の精緻化は、第１の境界５１８からの手術ガーゼ５０８の外側に位置する可能性があるピクセルの除去に対応する場合がある。これに加えて、第１の境界５１８の精緻化は、手術ガーゼ５０８の一部である可能性があるが、現時点では第１の境界５１８内に位置しない可能性があるピクセルの第１の境界５１８への包含に対応する場合がある。実施形態により、第２の境界５２２は、手術ガーゼ５０８を完全に取り囲むことができる。手術ガーゼ５０８は、第２の境界５２２に基づいて入力ビデオフレーム内で認識することができる。出力ビデオフレーム５２０は、入力ビデオフレーム内で手術ガーゼ５０８を認識するために第２の境界５２２が入力ビデオフレームの上に重ね合わされた時に取得することができる得られるビデオフレームに対応する場合がある。
【０１０２】
図６は、本発明の開示の実施形態によりユーザ端末１０８上に提示することができるＵＩの例示的シナリオを示している。図６を図１の要素に関連付けて説明する。図６を参照すると、ユーザ端末１０８のユーザに提示することができるユーザインタフェース（ＵＩ）６００が示されている。
【０１０３】
実施形態により、ＵＩ６００は、１又は２以上のビデオフレームをユーザに提示するための手術場面インタフェース６０２を表示するように構成することができる。例えば、図６に示すように、手術場面インタフェース６０２は、患者の解剖学的領域６０４の斜視断面図のスナップショットを含むビデオフレームを表示することができる。スナップショットは、解剖学的領域６０４に対して手術手順又は診断手順が実施される間に取り込むことができる。
【０１０４】
スナップショット内に示すように、手術手順又は診断手順は、手術ガーゼ６１０等の１又は２以上の手術ガーゼと、手術鉗子６０６及び内視鏡手術器具６０８等の１又は２以上の手術器具とを用いて実施することができる。例えば、図６に示すように、内視鏡手術器具６０８を用いて手術手順又は診断手順が実施される時に、解剖学的領域６０４の面は、手術鉗子６０６を用いて保持することができる。
【０１０５】
更に、手術手順又は診断手順が実施される間に滲出する可能性がある血液又は他の体液を吸収するために手術ガーゼ６１０を使用することができる。例えば、手術ガーゼ６１０は、図６に示すように血液浸潤領域（６１２で示す）を含むことができる。図６には単一の手術ガーゼ及び２つの手術器具しか示していないが、手術手順又は診断手順を実施するのに本発明の開示の範囲から逸脱することなく１又は２以上の追加の手術ガーゼ及び／又は手術器具を使用することができる。図６に示すように、スナップショットは、手術ガーゼ６１０を取り囲む可能性がある第１のマスク又は境界（６１４ａで示す）と、手術ガーゼ６１０の血液浸潤領域６１２を取り囲む可能性がある第２のマスク又は境界（６１４ｂで示す）を更に例示している。
【０１０６】
作動時には、手術場面インタフェース６０２内への特定のビデオフレームの表示の前に、画像処理サーバ１０４は、ビデオフレームを解析することができる。実施形態により、画像処理サーバ１０４の画像フィルタリングエンジン２１０は、ビデオフレームの少なくとも一部分に対して実行された色フィルタリングに基づいてピクセル特性セットを決定することができる。その後に、画像フィルタリングエンジン２１０は、ビデオフレーム内で手術ガーゼ（手術ガーゼ６１０のような）の一部分に対応する場合がある１又は２以上のピクセルブロックを決定されたピクセル特性セットに基づいて検出することができる。
【０１０７】
実施形態により、画像処理サーバ１０４のピクセルクラスター化エンジン２１２は、ビデオフレーム内で手術ガーゼ（手術ガーゼ６１０のような）の残りの部分に対応する場合がある追加ピクセルを複数のメトリックに基づいて検出することができる。追加ピクセルは、スーパーピクセルクラスター化技術を用いて識別することができる。更に、ピクセルクラスター化エンジン２１２は、手術ガーゼ６１０の一部分に対応する１又は２以上のブロックの検出と残りの部分に対応する追加ピクセルの識別とに基づいてビデオフレーム内で手術ガーゼ６１０を認識することができる。
【０１０８】
実施形態により、手術場面インタフェース６０２は、ビデオフレームがユーザに提示されている間にビデオフレーム内で認識された手術ガーゼ６１０をマスキングするか又は強調表示することができる。例えば、手術場面インタフェース６０２は、ビデオフレーム内で認識された手術ガーゼ６１０を取り囲む可能性がある第１のマスク又は境界を表示することができる。更に、図６のビデオフレームのスナップショット内に示すように、手術場面インタフェース６０２は、ビデオフレーム内で認識された手術ガーゼ６１０の血液浸潤領域６１２を取り囲む可能性がある第２のマスク又は境界６１４ｂを表示することができる。
【０１０９】
実施形態により、手術場面インタフェース６０２は、ビデオフレームにおける手術ガーゼ６１０及びその血液浸潤領域６１２の認識を示す通知をユーザに提示するように更に構成することができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚警告を含むことができるがこれらに限定されない。ビデオフレームが実時間で提示される場合に、手術場面インタフェース６０２は、通知に基づいて特定の行動を起こすようにユーザ（医師のような）に促すことができる。例えば、手術場面インタフェース６０２は、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節するようにユーザに促すことができる。
【０１１０】
手術場面インタフェース６０２は、１又は２以上の画像取り込み設定に対する最適値を提案することができる。ユーザは、ユーザに提示された提案最適値に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定の調節に加えて、ユーザ（医師のような）は、患者の解剖学的領域から手術ガーゼ６１０を除去するか又は移動させることができる。当業者は、ＵＩ６００が例証目的で提供したものであり、本発明の開示の範囲を限定するものと解釈すべきではないことを理解するであろう。
【０１１１】
本発明の開示の様々な実施形態は、多くの利点を包含することができる。上記で解説したように、画像処理サーバ１０４は、ビデオフレームの少なくとも一部分内で手術ガーゼを実時間で決定するために１又は２以上のビデオフレームを解析することができる。ビデオフレームの解析中に、画像処理サーバ１０４は、最初にビデオフレームの色フィルタリングに基づいてピクセル特性セットを決定することができる。画像処理サーバ１０４は、決定されたピクセル特性セットに基づいて手術ガーゼの一部分に対応する場合がある１又は２以上のピクセルブロックを検出することができる。検出された手術ガーゼの一部分は、手術ガーゼを完全には包含しない場合があり、手術ガーゼに属さないピクセルを含む可能性もある。画像処理サーバ１０４は、手術ガーゼの残りの部分に対応する場合がある追加ピクセルを識別するためのビデオフレームの更に別の解析をスーパーピクセルクラスター化技術に基づいて実施することができる。追加ピクセルの識別は、複数のメトリックに基づく１又は２以上のピクセルクラスターの識別を含むことができる。例えば、画像処理サーバ１０４は、１又は２以上のピクセルクラスターを識別するために空間メトリック、スペクトルメトリック、及び重み付けパラメータを使用することができる。ピクセルクラスターを識別するためのピクセルの空間属性とスペクトル属性との両方の使用は、ビデオフレーム内のピクセルの効率的なクラスター化を可能にすることができる。その後に、画像処理サーバ１０４は、手術ガーゼの一部分に対応する検出された１又は２以上のブロックと、手術ガーゼの残りの部分に対応する識別された追加ピクセルとに基づいてビデオフレーム内で手術ガーゼを認識することができる。
【０１１２】
手術手順又は診断手順中に、画像処理サーバ１０４は、手術ガーゼの認識を示すことができる通知を医師に実時間で提供することができる。実時間通知に基づいて、医師は、手術手順又は診断手順が実施される間に患者の解剖学的領域から手術ガーゼを除去するか又は解剖学的領域内で手術ガーゼを再配置することができる。更に、解説するように、画像処理サーバ１０４は、医師が、特定のビデオフレームにおける手術ガーゼの認識に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することを可能にすることができる。１又は２以上の画像取り込み設定におけるそのような調節は、画像取り込みデバイスによって取り込まれる１又は２以上のビデオフレームの品質の実時間の改善に役立たせることができる。
【０１１３】
図７は、本発明の開示の実施形態により解剖学的手術中に手術ガーゼを検出する例示的方法を示す流れ図である。図７を参照すると、流れ図７００が示されている。流れ図７００を図１及び図２に関連付けて説明する。本方法は、段階７０２で始まって段階７０４に進行する。
【０１１４】
段階７０４において、ピクセル特性セットを決定することができる。実施形態により、画像処理サーバ１０４の画像フィルタリングエンジン２１０は、ピクセル特性セットを決定するように構成することができる。ピクセル特性セットは、画像取り込みデバイスから受信した１又は２以上のビデオフレームからのビデオフレームの少なくとも一部分に対して実行された色フィルタリングに基づいて決定することができる。ピクセル特性セットは、エッジ特徴、形状特徴、テクスチャ特徴、サイズ特徴、色特徴、強度特徴、又は密度特徴を含むことができるがこれらに限定されない。実施形態により、画像フィルタリングエンジン２１０は、図２において詳述した条件「条件１」、「条件２」、「条件３」、及び「条件４」等の１又は２以上の条件に基づいてビデオフレームの色フィルタリングを実施することができる。更に、画像フィルタリングエンジン２１０は、図２において詳述した条件「条件５」に基づいて色フィルタリング済みビデオフレーム内でエッジピクセルを検出することができる。色フィルタリングとエッジピクセルの検出とに基づいて、画像フィルタリングエンジン２１０は、ビデオフレーム内で１又は２以上の着目領域を検出することができる。着目領域は、ビデオフレーム内の手術ガーゼの少なくとも一部分を包含することができる。
【０１１５】
段階７０６において、ビデオフレーム内で手術ガーゼの一部分に対応する場合がある１又は２以上のピクセルブロックを検出することができる。実施形態により、画像フィルタリングエンジン２１０は、ピクセル特性セット及び／又はビデオフレームの少なくとも一部分に対して実施された接続構成要素解析に基づいて１又は２以上のピクセルブロックを検出するように構成することができる。１又は２以上のピクセルブロックは、ビデオフレーム内の着目領域の密度解析に基づいて検出することができる。例えば、画像フィルタリングエンジン２１０は、ビデオフレーム内の着目領域内の各画像ブロック内のストライプ密度に基づいて手術ガーゼの一部分を検出するための信頼度マップを発生させることができる。信頼度マップは、図２において詳述した条件「条件６」に基づいて構成することができる。
【０１１６】
段階７０８において、ビデオフレーム内で１又は２以上のピクセルクラスターを決定することができる。実施形態により、画像処理サーバ１０４のピクセルクラスター化エンジン２１２は、スーパーピクセルクラスター化技術と複数のメトリックとに基づいてビデオフレーム内で１又は２以上のピクセルクラスターを決定するように構成することができる。複数のメトリックは、空間メトリックとスペクトルメトリックとを含むことができる。ピクセルクラスター化エンジン２１２は、空間メトリック、スペクトルメトリック、及び重み付けパラメータに基づいてユークリッド距離を決定することができる。その後に、ピクセルクラスター化エンジン２１２は、ビデオフレームの着目領域内の各対のピクセル間のユークリッド距離に基づいてビデオフレーム内で１又は２以上のピクセルクラスターを決定することができる。
【０１１７】
段階７１０において、ビデオフレーム内で手術ガーゼの残りの部分に対応する場合がある追加ピクセルを識別することができる。実施形態により、ピクセルクラスター化エンジン２１２は、ビデオフレーム内で手術ガーゼの残りの部分に対応する場合がある追加ピクセルを識別するように構成することができる。ピクセルクラスター化エンジン２１２は、各ピクセルクラスターと検出された１又は２以上のピクセルブロックとの重ね合わせの広がり、及び／又は各ピクセルクラスターのサイズに基づいて、決定した１又は２以上のピクセルクラスターから少なくとも１つのピクセルクラスターを選択することができる。その後に、ピクセルクラスター化エンジン２１２は、追加ピクセルを選択した少なくとも１つのピクセルクラスターに対応する場合があるピクセルとして識別することができる。
【０１１８】
段階７１２において、ビデオフレーム内で手術ガーゼを認識することができる。実施形態により、ピクセルクラスター化エンジン２１２は、ビデオフレーム内で手術ガーゼを認識するように構成することができる。手術ガーゼの認識は、手術ガーゼの一部分に対応する１又は２以上のブロックの検出と手術ガーゼの残りの部分に対応する追加ピクセルの識別とに基づく場合がある。制御は終了段階７１４に渡される。
【０１１９】
本発明の開示の実施形態により、解剖学的手術中に手術ガーゼを検出するためのシステムを開示した。システムは、画像取り込みデバイス（図１には示していない）に通信ネットワーク１１０を通して通信的に結合された画像処理サーバ１０４を含むことができる。画像取り込みデバイスは、手術手順又は診断手順中に１又は２以上のビデオフレームを取り込むように構成することができる。画像処理サーバ１０４は、１又は２以上のビデオフレームからのビデオフレームの少なくとも一部分の色フィルタリングに基づいてピクセル特性セットを決定するように構成することができる。画像処理サーバ１０４は、ピクセル特性セットに基づいてビデオフレーム内で手術ガーゼの一部分の１又は２以上のピクセルブロックを検出するように更に構成することができる。更に、画像処理サーバ１０４は、複数のメトリックに基づいてビデオフレーム内で手術ガーゼの残りの部分に対応する追加ピクセルを識別するように構成することができる。更に、画像処理サーバ１０４は、１又は２以上のブロックピクセルの検出と追加ピクセルの識別とに基づいてビデオフレーム内で手術ガーゼを認識するように構成することができる。
【０１２０】
本発明の開示の様々な実施形態は、解剖学的手術中の手術ガーゼ検出に向けて機械及び／又はコンピュータによって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムが格納された非一時的コンピュータ可読媒体及び／又はストレージ媒体、及び／又は非一時的機械可読媒体及び／又はストレージ媒体を提供することができる。画像処理サーバ１０４内にある少なくとも１つのコードセクションは、１又は２以上のビデオフレームからのビデオフレームの少なくとも一部分の色フィルタリングに基づいてピクセル特性セットの決定を含む段階を機械及び／又はコンピュータに実行させることができる。１又は２以上のビデオフレームは、画像処理サーバ１０４に通信ネットワーク１１０を通して通信的に結合することができる画像取り込みデバイスによって取り込むことができる。実施形態により、ピクセル特性セットに基づいて手術ガーゼの一部分の１又は２以上のピクセルブロックを検出することができる。更に、複数のメトリックに基づいて手術ガーゼの残りの部分に対応する追加ピクセルを識別することができる。手術ガーゼは、ビデオフレーム内で１又は２以上のピクセルブロックの検出と追加ピクセルの識別とに基づいて認識することができる。
【０１２１】
本発明の開示は、ハードウエア、又はハードウエアとソフトウエアの組合せに実現することができる。本発明の開示は、少なくとも１つのコンピュータシステムにおいて中央集中様式に実現するか、又は相互接続したいくつかのコンピュータシステムにわたって様々な要素を分散させることができる分散様式に実現することができる。本明細書で説明する方法を実施するように適応化されたコンピュータシステム又は他の装置が適切である場合がある。ハードウエアとソフトウエアの組合せは、ロードされて実行された時に、本明細書で説明する方法を実施するようにコンピュータシステムを制御することができるコンピュータプログラムを有する汎用コンピュータシステムとすることができる。本発明の開示は、他の機能も実行する集積回路の一部分を含むハードウエアに実現することができる。
【０１２２】
本発明の開示は、本明細書で記述した方法の実施を可能にする全ての特徴を含み、コンピュータシステム内にロードされた時にこれらの方法を実施することができるコンピュータプログラム製品に組み込むことができる。本発明の関連において、コンピュータプログラムは、特定の機能を直接に実施するか、又はａ）別の言語、コード、又は表記への変換とｂ）異なる材料形態における複製とのいずれか又は両方の後に実施するかのいずれかで情報処理機能を有するシステムに行わせることが意図された命令セットのあらゆる言語、コード、又は表記におけるあらゆる表現を意味する。
【０１２３】
本発明の開示をある一定の実施形態を参照して記述したが、当業者は、本発明の開示の範囲から逸脱することなく様々な変更を加えることができ、かつ均等物で代用することができることを理解するであろう。これに加えて、本発明の開示の教示に対してその範囲から逸脱することなく特定の状況又は材料を適応させるために多くの修正を加えることができる。従って、本発明の開示は、開示した特定の実施形態に限定されず、むしろ添付の特許請求の範囲に収まる全ての実施形態を含むことになるように意図している。
【符号の説明】
【０１２４】
１００  ネットワーク環境
１０２  手術デバイス
１０４  画像処理サーバ
１０８  ユーザ端末
１１０  通信ネットワーク
【図１】
0006497536.tif 000005
【図２】
0006497536.tif 000006
【図３】
0006497536.tif 000007
【図４】
0006497536.tif 000008
【図５】
0006497536.tif 000009
【図６】
0006497536.tif 000010
【図７】
0006497536.tif 000011