(57)【特許請求の範囲】
【請求項１】
解剖学的手術中の煙検出のためのシステムであって、
１又は２以上のビデオフレームを取り込むように構成された画像取り込みデバイスに通信的に結合された画像処理エンジン内の１又は２以上の回路、
を含み、
前記１又は２以上の回路は、
現在のビデオフレーム内の部分可視領域を前記画像取り込みデバイスから受信した該現在のビデオフレームと前のビデオフレームの間の時間的差異に基づいて推定し、
前記現在のビデオフレームと前記前のビデオフレームとの対応する画像ブロックの平均強度差に基づいて、前記現在のビデオフレーム内の前記推定された部分可視領域内において１又は２以上の候補ピクセルを検出し、かつ
検出された前記１又は２以上の候補ピクセルの刈り込みに基づいて前記部分可視領域に煙領域を決定する、
ように構成される、
ことを特徴とするシステム。
【請求項２】
前記１又は２以上の候補ピクセルは、煙ブロック、組織ブロック、又は非組織ブロックのうちの１又は２以上に対応することを特徴とする請求項１に記載のシステム。
【請求項３】
前記１又は２以上の回路は、前記検出された１又は２以上の候補ピクセルから１又は２以上の誤検出候補ピクセルを決定するように更に構成され、
前記検出された１又は２以上の候補ピクセルの前記刈り込みは、該検出された１又は２以上の候補ピクセルからの前記１又は２以上の誤検出候補ピクセルの排除を更に含む、
ことを特徴とする請求項１に記載のシステム。
【請求項４】
前記１又は２以上の誤検出候補ピクセルは、少なくとも前記現在のビデオフレーム内の動きぶれ領域内の第１のピクセルセット、及び該現在のビデオフレーム内のハロー効果領域内の第２のピクセルセットを含むことを特徴とする請求項３に記載のシステム。
【請求項５】
前記動きぶれ領域は、前記画像取り込みデバイス、非組織物体、又は組織部分のうちの１又は２以上の移動を包含する前記現在のビデオフレーム内の領域に対応することを特徴とする請求項４に記載のシステム。
【請求項６】
前記１又は２以上の回路は、オプティカルフローベースの技術又はアーチファクト検出技術のうちの１又は２以上の使用によって前記動きぶれ領域を検出するように更に構成されることを特徴とする請求項４に記載のシステム。
【請求項７】
前記１又は２以上の回路は、エッジ検出技術の使用によって前記現在のビデオフレーム内の１又は２以上の第１のエッジピクセルと前記前のビデオフレーム内の１又は２以上の第２のエッジピクセルとを識別するように更に構成され、
前記動きぶれ領域は、少なくとも前記１又は２以上の第２のエッジピクセルからの前記１又は２以上の第１のエッジピクセルの場所の差に基づいて検出される、
ことを特徴とする請求項６に記載のシステム。
【請求項８】
前記１又は２以上の回路は、領域成長速度推定技術の使用によって前記ハロー効果領域を検出するように更に構成されることを特徴とする請求項４に記載のシステム。
【請求項９】
前記部分可視領域の前記推定は、前記現在のビデオフレームと前記前のビデオフレームの間の前記時間的差異のヒストグラムのエントロピーに基づいていることを特徴とする請求項１に記載のシステム。
【請求項１０】
前記画像取り込みデバイスの１又は２以上の画像取り込み設定が、前記煙領域の前記決定に基づいて調節され、
前記１又は２以上の画像取り込み設定は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明のうちの１又は２以上を含む、
ことを特徴とする請求項１に記載のシステム。
【請求項１１】
前記１又は２以上の回路は、前記解剖学的手術中にユーザインタフェースを通じて前記現在のビデオフレームを表示するように更に構成され、
前記決定された煙領域は、前記表示された現在のビデオフレーム内で隠されるか又は強調表示される、
ことを特徴とする請求項１に記載のシステム。
【請求項１２】
前記１又は２以上の回路は、前記煙領域の前記決定を示す通知を発生させるように更に構成され、
前記通知は、音声警告、文字警告、視覚警告、又は触覚警告のうちの１又は２以上に対応する、
ことを特徴とする請求項１に記載のシステム。
【請求項１３】
解剖学的手術中の煙検出の方法であって、
画像取り込みデバイスに通信的に結合された画像処理エンジンにおいて、
現在のビデオフレーム内の部分可視領域を１又は２以上のビデオフレームを取り込むように構成された前記画像取り込みデバイスから受信した該現在のビデオフレームと前のビデオフレームの間の時間的差異に基づいて推定する段階と、
前記現在のビデオフレームと前記前のビデオフレームとの対応する画像ブロックの平均強度差に基づいて、前記現在のビデオフレーム内の前記推定された部分可視領域内において１又は２以上の候補ピクセルを検出する段階と、
前記検出された１又は２以上の候補ピクセルの刈り込みに基づいて前記部分可視領域に煙領域を決定する段階と、
を含むことを特徴とする方法。
【請求項１４】
前記１又は２以上の候補ピクセルは、煙ブロック、組織ブロック、又は非組織ブロックのうちの１又は２以上に対応することを特徴とする請求項１３に記載の方法。
【請求項１５】
前記検出された１又は２以上の候補ピクセルから１又は２以上の誤検出候補ピクセルを決定する段階を更に含み、
前記検出された１又は２以上の候補ピクセルの前記刈り込みは、該検出された１又は２以上の候補ピクセルからの前記１又は２以上の誤検出候補ピクセルの排除を更に含む、
ことを特徴とする請求項１３に記載の方法。
【請求項１６】
前記１又は２以上の誤検出候補ピクセルは、少なくとも前記現在のビデオフレーム内の動きぶれ領域内の第１のピクセルセット、及び該現在のビデオフレーム内のハロー効果領域内の第２のピクセルセットを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記画像取り込みデバイスの１又は２以上の画像取り込み設定が、前記煙領域の前記決定に基づいて調節され、
前記１又は２以上の画像取り込み設定は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明のうちの１又は２以上を含む、
ことを特徴とする請求項１３に記載の方法。
【請求項１８】
前記解剖学的手術中にユーザインタフェースを通じて前記現在のビデオフレームを表示する段階を更に含み、
前記決定された煙領域は、前記表示された現在のビデオフレーム内で隠されるか又は強調表示される、
ことを特徴とする請求項１３に記載の方法。
【請求項１９】
前記煙領域の前記決定を示す通知を発生させる段階を更に含み、
前記通知は、音声警告、文字警告、視覚警告、又は触覚警告のうちの１又は２以上に対応する、
ことを特徴とする請求項１３に記載の方法。
【請求項２０】
コンピュータをして、
現在のビデオフレーム内の部分可視領域を画像取り込みデバイスから受信した該現在のビデオフレームと前のビデオフレームの間の時間的差異に基づいて推定する段階であって、該画像取り込みデバイスが、前記コンピュータに通信的に結合され、該画像取り込みデバイスが、１又は２以上のビデオフレームを取り込むように構成された前記推定する段階と、
前記現在のビデオフレームと前記前のビデオフレームとの対応する画像ブロックの平均強度差に基づいて、前記現在のビデオフレーム内の前記推定された部分可視領域内において１又は２以上の候補ピクセルを検出する段階と、
前記検出された１又は２以上の候補ピクセルの刈り込みに基づいて前記部分可視領域に煙領域を決定する段階と、
を含む段階を実行させるためのコンピュータ実行可能命令セットが格納された非一時的コンピュータ可読ストレージ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願への相互参照／引用による組み込み〕
本出願は、これによりその内容全体が引用によって組み込まれる２０１５年２月１８日出願の米国仮特許出願第６２／１１７，８１５号に対する優先権を主張するものである。
【０００２】
本発明の開示の様々な実施形態は、煙検出のためのシステム及び方法に関する。より具体的には、本発明の開示の様々な実施形態は、解剖学的手術中の煙検出のためのシステム及び方法に関する。
【背景技術】
【０００３】
最近の医療科学の分野における進歩により、今日では様々な手術手順及び診断手順を最小侵襲技術を用いて実施することができる。そのような最小侵襲技術は、手術する必要がある体腔内に患者の皮膚を通して内視鏡手術器具又は腹腔鏡手術器具を挿入するために小さい切開を必要とする場合がある。内視鏡ツール及び／又は腹腔鏡ツールのうちの少なくとも一方は、体腔のビデオ画像を取り込むための内蔵カメラを含む。カメラは、医師が、手術手順又は診断手順を実施する解剖学的領域に到達するように内視鏡ツール及び／又は腹腔鏡ツールを体腔を通してナビゲートすること可能にすることができる。他の内視鏡ツール及び／又は腹腔鏡ツールは、解剖学的領域の組織に対して外科手術を実施することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ある一定のシナリオでは、手術手順又は診断手順中に体腔内に煙が出現する場合がある。例えば、内視鏡手術器具及び／又は腹腔鏡手術器具を用いて解剖学的領域に局所化された熱が印加されると、体腔内の温度が変化する場合がある。この温度変化は、体腔内に水霧又は煙の形成をもたらす場合がある。体腔における水霧又は煙の出現は、医師の視認性を阻害する可能性がある。その結果、内視鏡カメラによって取り込まれるビデオ映像の品質は、水霧又は煙に起因して低下する可能性がある。従って、手術手順又は診断手順中に出現する可能性があるそのような水霧又は煙の検出及び除去は不可欠であると考えられる。しかし、水霧又は煙の検出は、多くの内因性及び外因性の課題に曝されやすい可能性がある。煙検出における内因性課題の例は、煙出現の頻繁な変化を含む場合がある。煙検出における外因性課題の様々な例は、動きぶれ（カメラ、手術ガーゼ、及び／又は手術ツールの動きによって引き起こされる可能性がある）、ハロー効果、及び／又は白色組織の煙様の外見を含むことができるがこれらに限定されない。従って、上述の課題を解消するために、内視鏡カメラによって取り込まれたビデオ映像内で煙を検出し、ビデオ映像の品質を改善する方法及び／又はシステムに対する必要性が存在する。
【０００５】
従来的手法及び因習的手法の更に別の限界及び欠点は、本出願の残りの部分で図面を参照して示すような本発明の開示の一部の態様との説明するシステムの比較を通して当業者には明らかになるであろう。
【課題を解決するための手段】
【０００６】
特許請求の範囲により完全に示すように実質的に図のうちの少なくとも１つに示し、及び／又はそれに関連して説明するような解剖学的手術中の煙検出のためのシステム及び方法。
【０００７】
本発明の開示のこれら及び他の特徴及び利点は、全体を通して類似の参照番号が類似の部分を指す添付図面と共に本発明の開示の以下の詳細説明の精査から認めることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の開示の実施形態によるネットワーク環境を示すブロック図である。
【図２】本発明の開示の実施形態による例示的画像処理サーバを示すブロック図である。
【図３】本発明の開示の実施形態による例示的ユーザ端末を示すブロック図である。
【図４】本発明の開示の実施形態による解剖学的手術のビデオフレーム内の煙検出の方法を示す例示的流れ図である。
【図５Ａ】本発明の開示の実施形態によるユーザ端末上に提示することができるユーザインタフェース（ＵＩ）の例示的シナリオの図である。
【図５Ｂ】本発明の開示の実施形態によるユーザ端末上に提示することができるユーザインタフェース（ＵＩ）の例示的シナリオの図である。
【図６】本発明の開示の実施形態による解剖学的手術中の煙検出の例示的方法を示す例示的流れ図である。
【発明を実施するための形態】
【０００９】
以下で説明する実施は、解剖学的手術中の煙検出のための本発明の開示のシステム及び方法において見出すことができる。本発明の開示の例示的態様は、画像処理エンジン内に実施可能な方法を含むことができる。画像処理エンジンは、画像取り込みデバイスに通信的に結合することができる。画像取り込みデバイスは、１又は２以上のビデオフレームを取り込むように構成することができる。本方法は、画像取り込みデバイスから受信した現在のビデオフレームと前のビデオフレームの間の時間的差異に基づく現在のビデオフレーム内の部分可視領域の推定を含むことができる。その後に、現在のビデオフレーム内で推定された部分可視領域内で１又は２以上の候補ピクセルを検出することができる。更に、検出された１又は２以上の候補ピクセルの刈り込みに基づいて部分可視領域内で煙領域を決定することができる。
【００１０】
実施形態により、現在のビデオフレームと前のビデオフレームの間の時間的差異のヒストグラムのエントロピーを決定することができる。部分可視領域の推定は、決定されたエントロピーに基づくことができる。実施形態により、１又は２以上の候補ピクセルの検出は、現在のビデオフレームと前のビデオフレームとの対応する画像ブロックの平均強度差に基づくことができる。実施形態により、１又は２以上の候補ピクセルは、煙ブロック、組織ブロック、及び／又は非組織ブロックのうちの１又は２以上に対応することができる。
【００１１】
実施形態により、検出された１又は２以上の候補ピクセルから１又は２以上の誤検出候補ピクセルを決定することができる。検出された１又は２以上の候補ピクセルの刈り込みは、検出された１又は２以上の候補ピクセルからの１又は２以上の誤検出候補ピクセルの排除を含むことができる。実施形態により、１又は２以上の誤検出候補ピクセルは、現在のビデオフレーム内の動きぶれ領域内の第１のピクセルセット及び現在のビデオフレーム内のハロー効果領域内の第２のピクセルセットを含むことができるがこれらに限定されない。動きぶれ領域は、オプティカルフローベースの技術又はアーチファクト検出技術のうちの１又は２以上を用いて検出することができる。実施形態により、ハロー効果領域は、領域成長速度推定技術を用いて検出することができる。
【００１２】
実施形態により、エッジ検出技術を用いて、現在のビデオフレーム内で１又は２以上の第１のエッジピクセルを識別することができ、前のビデオフレーム内で１又は２以上の第２のエッジピクセルを識別することができる。動きぶれ領域は、１又は２以上の第２のエッジピクセルからの１又は２以上の第１のエッジピクセルの場所の差に基づいて少なくとも検出することができる。実施形態により、動きぶれ領域は、画像取り込みデバイス、非組織物体、及び／又は組織部分のうちの１又は２以上のものの移動を包含することができる現在のビデオフレーム内の領域に対応する場合がある。
【００１３】
実施形態により、煙領域の決定に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明を含むことができるがこれらに限定されない。
【００１４】
実施形態により、手術手順中に現在のビデオフレームをユーザインタフェース（ＵＩ）を通してユーザ（医師等）に実時間で表示することができる。決定された煙領域は、ユーザインタフェースを通してユーザに表示される現在のビデオフレーム内で隠されるか又は強調表示することができる。実施形態により、煙領域の決定を示す通知を発生させることができる。通知の例は、音声警告、文字警告、視覚警告、又は触覚警告を含むことができるがこれらに限定されない。
【００１５】
図１は、本発明の開示の実施形態によるネットワーク環境を示すブロック図である。図１を参照すると、ネットワーク環境１００が示されている。ネットワーク環境１００は、手術デバイス１０２と、画像処理サーバ１０４と、ビデオデータベース１０６と、ユーザ端末１０８と、通信ネットワーク１１０とを含むことができる。手術デバイス１０２は、通信ネットワーク１１０を通じて画像処理サーバ１０４、ビデオデータベース１０６、及びユーザ端末１０８に通信的に結合することができる。
【００１６】
手術デバイス１０２は、患者の１又は２以上の解剖学的領域に関する１又は２以上の手術手順及び／又は診断分析を実施するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。手術デバイス１０２の例は、最小侵襲手術／診断デバイス、最小切開手術／診断デバイス、及び／又は内視鏡／腹腔鏡手術／診断デバイスを含むことができるがこれらに限定されない。
【００１７】
実施形態により、手術デバイス１０２は、画像取り込みデバイス（図１には示していない）を更に含むことができる。画像取り込みデバイスは、患者の解剖学的領域に対して手術手順又は診断手順が実施される時にこの解剖学的領域の１又は２以上のビデオフレームを取り込むことができる。これに代えて、手術デバイス１０２は、通信ネットワーク１１０を通じて画像取り込みデバイスに通信的に結合することができる。画像取り込みデバイスの例は、内視鏡／腹腔鏡カメラ、超音波撮像デバイス、医療共鳴撮像（ＭＲＩ）デバイス、コンピュータ断層撮像（ＣＴ）走査デバイス、最小侵襲医療撮像デバイス、及び／又は最小切開医療撮像デバイスを含むことができるがこれらに限定されない。
【００１８】
画像処理サーバ１０４は、ユーザ端末１０８及び／又は手術デバイス１０２等の１又は２以上の認可電子デバイスに画像処理サービスを提供することができる１又は２以上のサーバを含むことができる。実施形態により、画像処理サーバ１０４は、手術手順又は診断手順が実施されている間に画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームを解析するように構成することができる。次いで、画像処理サーバ１０４は、１又は２以上のビデオフレームの解析に基づいて１又は２以上のビデオフレーム内で１又は２以上の煙領域を検出することができる。実施形態により、画像処理サーバ１０４は、当業者に公知のいくつかの技術を使用する複数のクラウドベースのリソースとして実施することができる。更に、画像処理サーバ１０４は、１又は複数のサービスプロバイダに関連付けることができる。画像処理サーバ１０４の例は、Ａｐａｃｈｅ（登録商標）ＨＴＴＰサーバ、Ｍｉｃｒｏｓｏｆｔ（登録商標）インターネット情報サービス（ＩＩＳ）、ＩＢＭ（登録商標）アプリケーションサーバ、Ｓｕｎ  Ｊａｖａ（登録商標）システムウェブサーバ、及び／又はファイルサーバを含むことができるがこれらに限定されない。
【００１９】
当業者は、本発明の開示の範囲が別々のエンティティとしての画像処理サーバ１０４と手術デバイス１０２との実施に限定されないことを理解するであろう。実施形態により、画像処理サーバ１０４の機能は、本発明の開示の範囲から逸脱することなく手術デバイス１０２によって実施することができる。
【００２０】
ビデオデータベース１０６は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームのリポジトリを格納することができる。実施形態により、ビデオデータベース１０６は、画像処理サーバ１０４に通信的に結合することができる。ビデオデータベース１０６は、画像取り込みデバイスが１又は２以上のビデオフレームを取り込んだ時に画像処理サーバ１０４を通して１又は２以上のビデオフレームを受信することができる。実施形態により、ビデオデータベース１０６は、当業技術で公知の様々なデータベース技術を用いて実施することができる。ビデオデータベース１０６の例は、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬサーバ、Ｏｒａｃｌｅ（登録商標）、ＩＢＭ  ＤＢ２（登録商標）、Ｍｉｃｒｏｓｏｆｔ  Ａｃｃｅｓｓ（登録商標）、ＰｏｓｔｇｒｅＳＱＬ（登録商標）、ＭｙＳＱＬ（登録商標）、及び／又はＳＱＬｉｔｅ（登録商標）を含むことができるがこれらに限定されない。実施形態により、画像処理サーバ１０４は、１又は２以上のプロトコルに基づいてビデオデータベース１０６に接続することができる。そのような１又は２以上のプロトコルの例は、Ｏｐｅｎ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＯＤＢＣ）（登録商標）プロトコル及びＪａｖａ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＪＤＢＣ）（登録商標）プロトコルを含むことができるがこれらに限定されない。
【００２１】
当業者は、本発明の開示の範囲が別々のエンティティとしての画像処理サーバ１０４とビデオデータベース１０６との実施に限定されないことを理解するであろう。実施形態により、ビデオデータベース１０６の機能は、本発明の開示の精神から逸脱することなく画像処理サーバ１０４によって実施することができる。
【００２２】
ユーザ端末１０８は、１又は２以上のビデオフレームを医師等のユーザに表示するためのユーザインタフェース（ＵＩ）を提示するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ユーザ端末１０８は、患者の解剖学的領域に対して手術手順又は診断手順が実施される間に１又は２以上のビデオフレームを実時間で表示することができる。ユーザ端末１０８は、１又は２以上のビデオフレームの各々において画像処理サーバ１０４によって検出された１又は２以上の煙領域を表示するように更に構成することができる。ユーザ端末１０８の例は、スマート電話、カメラ、タブレットコンピュータ、ラップトップ、着用可能電子デバイス、テレビジョン、インターネットプロトコルテレビジョン（ＩＰＴＶ）、及び／又は携帯情報端末（ＰＤＡ）デバイスを含むことができるがこれらに限定されない。
【００２３】
当業者は、本発明の開示の範囲が別々のエンティティとしてのユーザ端末１０８と画像処理サーバ１０４との実施に限定されないことを理解するであろう。実施形態により、画像処理サーバ１０４の機能は、本発明の開示の精神から逸脱することなくユーザ端末１０８によって実施することができる。例えば、画像処理サーバ１０４は、ユーザ端末１０８上で実行及び／又はインストールされるアプリケーションプログラムとして実施することができる。
【００２４】
当業者は、実施形態に従ってユーザ端末１０８を手術デバイス１０２と統合することができることを理解するであろう。これに代えて、ユーザ端末１０８は、手術デバイス１０２に通信的に結合することができ、医師等のユーザ端末１０８のユーザは、ユーザ端末１０８のＵＩを通じて手術デバイス１０２を制御することができる。
【００２５】
通信ネットワーク１１０は、手術デバイス１０２及び／又はユーザ端末１０８が画像処理サーバ１０４等の１又は２以上のサーバと通信することを可能にする媒体を含むことができる。通信ネットワーク１１０の例は、インターネット、クラウドネットワーク、無線フィデリティ（Ｗｉ−Ｆｉ）ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、従来の電話サービス（ＰＯＴＳ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を含むことができるがこれらに限定されない。ネットワーク環境１００内の様々なデバイスは、様々な有線及び無線の通信プロトコルに従って通信ネットワーク１１０に接続するように構成することができる。そのような有線及び無線の通信プロトコルの例は、送信制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ  ８０２．１１、８０２．１６、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）通信プロトコルを含むことができるがこれらに限定されない。
【００２６】
作動時には、画像取り込みデバイスは、解剖学的手術中に１又は２以上のビデオフレームを取り込むように構成することができる。１又は２以上のビデオフレームは、少なくとも現在のビデオフレーム及び前のビデオフレームを含むことができる。画像処理サーバ１０４は、現在のビデオフレーム内で部分可視領域を推定するように構成することができる。実施形態により、部分可視領域の推定は、現在のビデオフレームと前のビデオフレームの間の時間的差異に基づくことができる。
【００２７】
実施形態により、画像処理サーバ１０４は、現在のビデオフレームと前のビデオフレームの間の時間的差異のヒストグラムのエントロピーを決定するように更に構成することができる。部分可視領域の推定は、決定されたエントロピーに基づくことができる。実施形態により、画像処理サーバ１０４は、現在のビデオフレーム内で推定された部分可視領域内で１又は２以上の候補ピクセルを検出するように構成することができる。１又は２以上の候補ピクセルは、現在のビデオフレームと前のビデオフレームとの対応する画像ブロックの平均強度差に基づいて検出することができる。１又は２以上の候補ピクセルの例は、煙ブロック、組織ブロック、及び／又は非組織ブロックに対応することができるがこれらに限定されない。
【００２８】
実施形態により、画像処理サーバ１０４は、検出された１又は２以上の候補ピクセルから１又は２以上の誤検出候補ピクセルを決定するように更に構成することができる。１又は２以上の誤検出候補ピクセルは、現在のビデオフレーム内の動きぶれ領域内の第１のピクセルセット及び現在のビデオフレーム内のハロー効果領域内の第２のピクセルセットを含むことができる。
【００２９】
実施形態により、画像処理サーバ１０４は、１又は２以上のオプティカルフローベースの技術及び／又はアーチファクト検出技術を用いて動きぶれ領域を検出するように更に構成することができる。動きぶれ領域は、画像取り込みデバイス、非組織物体、又は組織部分のうちの１又は２以上のものの移動を包含する場合がある現在のビデオフレーム内の領域に対応することができる。動きぶれ領域は、少なくとも１又は２以上の第２のエッジピクセルからの１又は２以上の第１のエッジピクセルの場所の差に基づいて検出することができる。実施形態により、画像処理サーバ１０４は、エッジ検出技術を用いて現在のビデオフレーム内で１又は２以上の第１のエッジピクセルを識別し、前のビデオフレーム内で１又は２以上の第２のエッジピクセルを識別することができる。実施形態により、画像処理サーバ１０４は、領域成長速度推定技術を用いてハロー影響領域を検出するように更に構成することができる。
【００３０】
画像処理サーバ１０４は、決定された１又は２以上の誤検出候補ピクセルの排除により、検出された１又は２以上の候補ピクセルを刈り込むことができる。更に、画像処理サーバ１０４は、検出された１又は２以上の候補ピクセルの刈り込みに基づいて部分可視領域内で煙領域を決定するように構成することができる。実施形態により、画像処理サーバ１０４は、煙領域の決定に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を実時間で調節するように更に構成することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明を含むことができるがこれらに限定されない。
【００３１】
実施形態により、画像処理サーバ１０４は、手術手順又は診断手順が実施される間に現在のビデオフレームを含む１又は２以上のビデオフレームをユーザ端末１０８のＵＩを通じてユーザ（医師等）に表示するように更に構成することができる。決定された煙領域は、ＵＩを通じてユーザに表示される現在のビデオフレーム内で隠されるか又は強調表示することができる。実施形態により、画像処理サーバ１０４は、煙領域の決定を示す通知を発生させるように更に構成することができる。画像処理サーバ１０４は、手術デバイス１０２及び／又はユーザ端末１０８に通知を送信することができる。通知は、手術デバイス１０２及び／又はユーザ端末１０８によってユーザ（医師等）に提示することができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚警告を含むことができるがこれらに限定されない。
【００３２】
実施形態により、画像処理サーバ１０４は、手術デバイス１０２に関連付けられた煙排出器（図１には示していない）をオンにするように構成することができる。煙排出器は、オンにされると、手術デバイス１０２を用いて手術が行われる体腔に存在する煙又は水霧を除去するように構成することができる。当業者は、ある一定のシナリオにおいて煙排出器を手術デバイス１０２の一部として実施することができることを理解するであろう。しかし、本発明の開示の範囲は、このシナリオに限定すべきではない。実施形態により、煙排出器は、手術デバイス１０２に通信的に結合され、手術デバイス１０２と連携して機能することができる個別のデバイスとして実施することができる。
【００３３】
図２は、本発明の開示の実施形態による例示的画像処理サーバを示すブロック図である。図２は、図１に記載の要素に関連付けて説明する。図２を参照すると、画像処理サーバ１０４が示されている。画像処理サーバ１０４は、プロセッサ２０２等の１又は２以上のプロセッサと、送受信機２０４等の１又は２以上の送受信機と、メモリ２０６と、手術場面解析ユニット２０８とを含むことができる。手術場面解析ユニット２０８は、候補ピクセル検出器２１０と、刈り込みエンジン２１２と、データベースコネクタ２１４と、ＵＩマネージャ２１６と、カメラ制御ユニット２１８とを含むことができる。実施形態により、画像処理サーバ１０４は、通信ネットワーク１１０を通じて、送受信機２０４を通じてビデオデータベース１０６に通信的に結合することができる。これに代えて、画像処理サーバ１０４は、ビデオデータベース１０６を含むことができる。例えば、ビデオデータベース１０６は、メモリ２０６内に実施することができる。
【００３４】
プロセッサ２０２は、送受信機２０４、メモリ２０６、及び手術場面解析ユニット２０８に通信的に結合することができる。送受信機２０４は、通信ネットワーク１１０を通じて手術デバイス１０２及びユーザ端末１０８と通信するように構成することができる。
【００３５】
プロセッサ２０２は、メモリ２０６に格納された命令セットを実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ２０２は、検出された１又は２以上の候補ピクセルを解析するように構成することができる。この解析に基づいて、プロセッサ２０２は、現在のビデオフレーム内の煙領域を決定することができる。実施形態により、プロセッサ２０２は、候補ピクセル検出器２１０によって検出された１又は２以上の候補ピクセルから１又は２以上の誤検出候補ピクセルを決定するように構成することができる。プロセッサ２０２は、当業技術で公知のいくつかのプロセッサ技術に基づいて実施することができる。プロセッサ２０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、及び／又は他のプロセッサとすることができる。
【００３６】
送受信機２０４は、通信ネットワーク１１０を通じてユーザ端末１０８及び／又は手術デバイス１０２と通信する（図１に示すように）ように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。送受信機２０４は、画像処理サーバ１０４と通信ネットワーク１１０との有線又は無線の通信をサポートする公知の技術を実施することができる。送受信機２０４は、アンテナ、無線周波（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタル信号プロセッサ、符号復号器（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができるがこれらに限定されない。
【００３７】
送受信機２０４は、インターネット、イントラネット等のネットワークとの無線通信、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワークとの無線通信を通じて通信することができる。無線通信は、移動通信のためのグローバルシステム（ＧＳＭ（登録商標））、拡張データＧＳＭ（登録商標）環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ  ８０２．１１ａ、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、及び／又はＩＥＥＥ  ８０２．１１ｎ等）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールのためのプロトコル、インスタントメッセージ、及び／又はショートメッセージサービス（ＳＭＳ）等の複数の通信規格、プロトコル、及び技術のうちのいずれも使用することができる。
【００３８】
メモリ２０６は、プロセッサ２０２によって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを格納するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。実施形態により、メモリ２０６は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームを格納するように更に構成することができる。メモリ２０６の実施の例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及び／又はセキュアデジタル（ＳＤ）カードを含むことができるがこれらに限定されない。
【００３９】
手術場面解析ユニット２０８は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームを解析及び処理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、手術場面解析ユニット２０８は、プロセッサ２０２の一部とすることができる。これに代えて、手術場面解析ユニット２０８は、画像処理サーバ１０４内の個別のプロセッサ又は回路として実施することができる。実施形態により、手術場面解析ユニット２０８とプロセッサ２０２は、手術場面解析ユニット２０８とプロセッサ２０２の機能を実施する統合プロセッサ又はプロセッサのクラスターとして実施することができる。別の実施形態により、手術場面解析ユニット２０８は、プロセッサ２０２による実行時に手術場面解析ユニット２０８の機能を実施することができるメモリ２０６に格納されたコンピュータプログラムコードとして実施することができる。
【００４０】
候補ピクセル検出器２１０は、煙検出のための候補であると考えられる１又は２以上のピクセルを検出するために１又は２以上のビデオフレームを解析するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、候補ピクセル検出器２１０は、１又は２以上のビデオフレームからの現在のビデオフレーム内で部分可視領域を推定するように構成することができる。部分可視領域は、１又は２以上のビデオフレームからの現在のビデオフレームと前のビデオフレームの間の時間的差異に基づいて推定することができる。候補ピクセル検出器２１０は、現在のビデオフレームの推定部分可視領域内で１又は２以上の候補ピクセルを検出するように更に構成することができる。そのような１又は２以上の候補ピクセルは、煙検出に向けて選択されるピクセルに対応することができる。１又は２以上の候補ピクセルは、煙ブロック、組織ブロック、又は非組織ブロックに対応することができるがこれらに限定されない。
【００４１】
刈り込みエンジン２１２は、候補ピクセル検出器２１０によって検出された１又は２以上の候補ピクセルを刈り込むように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。刈り込みは、検出された１又は２以上の候補ピクセルからの決定された１又は２以上の誤検出候補ピクセルの排除を含むことができる。更に、刈り込みエンジン２１２は、プロセッサ２０２と連携して、刈り込まれた１又は２以上の候補ピクセルに基づいて部分可視領域内で煙領域を決定するように構成することができる。
【００４２】
データベースコネクタ２１４は、手術場面解析ユニット２０８にビデオデータベース１０６へのアクセス及び接続性を与えるように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、データベースコネクタ２１４は、手術場面解析ユニット２０８とビデオデータベース１０６の間のデータベースセッションを確立することができる。データベースセッションを確立するのに使用される１又は２以上の通信プロトコルの例は、Ｏｐｅｎ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＯＤＢＣ）（登録商標）プロトコル及びＪａｖａ  Ｄａｔａｂａｓｅ  Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＪＤＢＣ）（登録商標）プロトコルを含むことができるがこれらに限定されない。
【００４３】
ＵＩマネージャ２１６は、ユーザ端末１０８上に提示されているＵＩを管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ＵＩマネージャ２１６は、ユーザ端末１０８のユーザ（医師等）に手術場面インタフェースを提供することができる。手術場面インタフェースは、ユーザ端末１０８のＵＩを通じてユーザ端末１０８の表示デバイス上でユーザに提示することができる。実施形態により、手術場面インタフェースは、現在のビデオフレームを含む１又は２以上のビデオフレームをユーザに表示するように構成することができる。検出煙領域は、手術場面インタフェースを通してユーザに表示される現在のビデオフレーム内で隠されるか又は強調表示することができる。
【００４４】
カメラ制御ユニット２１８は、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節するために画像取り込みデバイスと通信するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、カメラ制御ユニット２１８は、煙領域の決定に基づいて１又は２以上のビデオフレームを取り込むのに適するか又は最適であるとすることができる１又は２以上の画像取り込み設定の値を決定するように構成することができる。その後に、カメラ制御ユニット２１８は、１又は２以上の画像取り込み設定の決定された値を画像取り込みデバイスに送受信機２０４を通じて送信するように構成することができる。画像取り込みデバイスは、カメラ制御ユニット２１８によって送信された対応する値に基づいてその画像取り込み設定を調節することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明を含むことができるがこれらに限定されない。
【００４５】
作動時には、医師は、手術デバイス１０２及び１又は２以上の手術器具を用いて患者の解剖学的領域に対して手術手順又は診断手順を実施することができる。１又は２以上の手術器具の例は、内視鏡カテーテル、手術鉗子、手術切開器具、及び／又は手術ガーゼを含むことができるがこれらに限定されない。手術手順又は診断手順の例は、最小侵襲手術／診断手順、最小切開手術／診断手順、腹腔鏡手順、及び／又は内視鏡手順を含むことができるがこれらに限定されない。実施形態により、手術手順又は診断手順は、自動化され、医師からのいかなる監督又は指示もなく手術ロボットが実施することができる。実施形態により、手術手順又は診断手順は、半自動化され、医師からの１又は２以上の入力信号及び／又は指令によって手術ロボットが実施することができる。実施形態により、画像取り込みデバイス（図１には示していない）は、手術デバイス１０２に通信的に結合することができる（又はそこに含めることができる）。画像取り込みデバイスは、解剖学的領域に対して手術手順又は診断手順が実施される間に解剖学的領域の１又は２以上のビデオフレームを実時間で取り込むことができる。その後に、手術デバイス１０２（又は画像取り込みデバイス自体）は、通信ネットワーク１１０を通じて、取り込んだビデオフレームを画像処理サーバ１０４に送信することができる。
【００４６】
画像処理サーバ１０４内の送受信機２０４は、手術デバイス１０２から通信ネットワーク１１０を通じて１又は２以上のビデオフレームを受信するように構成することができる。実施形態により、１又は２以上のビデオフレームは、実時間搬送プロトコル及び／又は実時間ストリーミングプロトコル（ＲＴＳＰ）等の通信プロトコルを用いて実時間ストリーミング媒体コンテンツとして受信することができる。データベースコネクタ２１４は、ビデオデータベース１０６とのデータベースセッションを確立し、受信したビデオフレームをビデオデータベース１０６に格納するように構成することができる。更に、ビデオフレームは、メモリ２０６に格納することができる。
【００４７】
候補ピクセル検出器２１０は、１又は２以上のビデオフレームを解析するように構成することができる。実施形態により、ビデオフレームは、予め決められた数のビデオフレームが手術デバイス１０２から受信された時にバッチモード（オフライン処理）で解析することができる。実施形態により、ビデオフレームは、各新しいビデオフレームの受信時に実時間ベースで解析することができる（オンライン処理）。候補ピクセル検出器２１０は、ビデオフレームの解析に向けてビデオフレームをメモリ２０６又はビデオデータベース１０６から検索して取得することができる。
【００４８】
実施形態により、候補ピクセル検出器２１０は、１又は２以上のビデオフレームの現在のビデオフレーム内で部分可視領域を推定するように構成することができる。部分可視領域は、１又は２以上のビデオフレームからの現在のビデオフレームと前のビデオフレームの間の時間的差異に基づいて推定することができる。実施形態により、候補ピクセル検出器２１０は、現在のビデオフレームと前のビデオフレームとの両方をそれぞれの画像ブロックに分割することができる。候補ピクセル検出器２１０は、例えば、現在のビデオフレームと前のビデオフレームとの対応する画像ブロック内のピクセルの強度の間の時間的差異に基づいて差異画像「Ｄ」を決定することができる。こうして「Ｉt」が現在のビデオフレーム内のピクセルの強度を表し、「Ｉt-1」が前のビデオフレーム内で対応するピクセルの強度を表す時に、差異画像「Ｄ」内のピクセル強度が表現式「Ｉt−Ｉt-1」によって計算される。その後に、候補ピクセル検出器２１０は、「Ｄｂｌｏｃｋ＿ｉ」が差異画像「Ｄ」のｉ番目の画像ブロック内のピクセルのピクセル強度を表す時にピクセル強度のヒストグラム「ｈｉｓｔ（Ｄblock_i）」を差異画像の各画像ブロック内で決定することができる。更に、差異画像「Ｄ」内の各画像ブロックに関して、候補ピクセル検出器２１０は、「ｂｌｏｃｋ＿ｉ」が差異画像「Ｄ」のｉ番目の画像ブロックを表す時に当該画像ブロックに関して決定されたヒストグラムのエントロピー「Ｅblock_i」を決定するように構成することができる。実施形態により、候補ピクセル検出器２１０は、次の式（１）を用いてエントロピーを決定することができる。
0006573084.tif 000002
式中の「ｎ」は、ヒストグラム「ｈｉｓｔ（Ｄblock_i）」内のビンの個数を表し、「ｈｉｓｔ（Ｄblock_i）j」は、ヒストグラム「ｈｉｓｔ（Ｄblock_i）」のｊ番目のビン内のｉ番目の画像ブロックのピクセルの個数を表している。
【００４９】
実施形態により、候補ピクセル検出器２１０は、差異画像の各画像ブロックに関して決定されたヒストグラムのエントロピーを「０．７５」等の第１の予め決められた閾値と比較するように構成することができる。ｉ番目の画像ブロック「Ｅblock_i」に関するエントロピーが「０．７５」等の第１の予め決められた閾値よりも小さかった場合に、現在のビデオフレームの対応するｉ番目の画像ブロックを現在のビデオフレームの部分可視領域の一部分として識別することができる。類似の方式で、候補ピクセル検出器２１０は、様々な画像ブロックを部分可視領域の一部分として識別することができる。候補ピクセル検出器２１０は、部分可視領域を推定するために部分可視領域の一部分として識別された様々な画像ブロックを互いに組み合わせることができる。
【００５０】
実施形態により、候補ピクセル検出器２１０は、現在のビデオフレーム内で推定された部分可視領域内で１又は２以上の候補ピクセルを検出するように構成することができる。１又は２以上の候補ピクセルの例は、煙ブロック、組織ブロック、又は非組織ブロックのうちの１又は２以上に対応するピクセルを含むことができるがこれらに限定されない。実施形態により、１又は２以上の候補ピクセルの検出は、現在のビデオフレーム内と前のビデオフレーム内とにおいて対応する画像ブロックの平均ピクセル強度の差に基づくことができる。１又は２以上の候補ピクセルを検出するために、候補ピクセル検出器２１０は、差異画像「Ｄ」内で現在のビデオフレームの推定部分可視領域に対応する画像ブロックに関して平均ピクセル強度を決定することができる。その後に、差異画像「Ｄ」内のそのような画像ブロックの平均ピクセル強度と「１」等の第２の予め決められた閾値との比較に基づいて、候補ピクセル検出器２１０は、１又は２以上の候補ピクセルを検出することができる。例えば、差異画像の画像ブロックの平均ピクセル強度が「１」等の第２の予め決められた閾値よりも大きかった場合に、候補ピクセル検出器２１０は、現在のビデオフレームの対応する画像ブロックによって取り囲まれるピクセルを候補ピクセルであると決定することができる。そのような方式で、現在のビデオフレームの推定部分可視領域内で１又は２以上の候補ピクセルを検出することができる。
【００５１】
実施形態により、プロセッサ２０２は、検出された１又は２以上の候補ピクセルから１又は２以上の誤検出候補ピクセルを決定するように構成することができる。１又は２以上の誤検出候補ピクセルの例は、現在のビデオフレーム内の動きぶれ領域内の第１のピクセルセット及び現在のビデオフレーム内のハロー効果領域内の第２のピクセルセットを含むことができるがこれらに限定されない。実施形態により、プロセッサ２０２は、オプティカルフローベースの技術及び／又はアーチファクト検出技術などの様々な画像処理技術を用いて動きぶれ領域を検出するように構成することができる。実施形態により、プロセッサ２０２は、領域成長速度推定技術を用いてハロー影響領域を検出するように構成することができる。
【００５２】
実施形態により、動きぶれ領域は、現在のビデオフレーム内で画像取り込みデバイス、非組織物体（手術器具又は手術ガーゼ等）、及び／又は組織部分のうちの１又は２以上のものの移動を包含する場合がある領域に対応することができる。実施形態により、プロセッサ２０２は、エッジ検出技術を用いて現在のビデオフレーム内で１又は２以上の第１のエッジピクセルを識別し、かつ前のビデオフレーム内で１又は２以上の第２のエッジピクセルを識別するように構成することができる。次いで、プロセッサ２０２は、少なくとも１又は２以上の第２のエッジピクセルからの１又は２以上の第１のエッジピクセルの場所の差に基づいて動きぶれ領域を検出することができる。実施形態により、プロセッサ２０２は、現在のビデオフレームのエッジピクセルに関連付けられた前のビデオフレームの対応するピクセルに対する移動を検出するためにオプティカルフローベースの技術を使用することができる。オプティカルフローベースの技術は、次の式（２）及び式（３）を用いたオプティカルフローベクトル
0006573084.tif 000003
及びその大きさの二乗
0006573084.tif 000004
の決定を含むことができる。
0006573084.tif 000005
0006573084.tif 000006
ここで、
0006573084.tif 000007
は、オプティカルフローベクトルを表し、
0006573084.tif 000008
は、オプティカルフローベクトルの大きさの二乗を表し、
「Ｉt」は、現在のビデオフレーム内のピクセルの強度を表し、
「Ｉt-1」は、前のビデオフレーム内のピクセルの強度を表し、
0006573084.tif 000009
は、前のビデオフレームと現在のビデオフレームの間のピクセル強度変化の動きベクトルを表し、
「（Ｒ，Ｇ，Ｂ）t」は、現在のビデオフレームのピクセルの赤、緑、及び青の色成分を表し、
「（Ｒ，Ｇ，Ｂ）t-1」は、前のビデオフレームのピクセルの赤、緑、及び青の色成分を表し、
「Ｆ2」は、（Ｒ，Ｇ，Ｂ）t又はＩtにおける空間勾配の大きさの二乗を表している。
【００５３】
当業者は、オプティカルフローベースの技術を同じ物体を表すピクセルの強度が現在のビデオフレーム内と前のビデオフレーム内とにおいて一定に留まることができるという仮定に基づくことができることを理解するであろう。しかし、動きぶれに起因して、物体の移動に関する領域内に取り囲まれるピクセルの強度は変化する可能性がある。更に、現在のビデオフレーム内の煙ピクセルは、オプティカルフローベースの技術の一定強度という仮定を破る可能性がある。これはオプティカルフローベースの技術の適用に対する動きぶれの効果を悪化させる可能性がある。エッジピクセルの検出に基づいて、物体の動きを動きぶれによる影響を受けないとすることができるエッジピクセルの場所を基準として追跡することができる。更に、エッジピクセルは、煙の存在下であっても明確に感知可能である可能性がある。従って、エッジ検出は、正当な候補ピクセルの検出の遺漏を低減することができ、それによって候補ピクセルの検出における誤検出を低減することができる。従って、エッジピクセルの検出と検出されたエッジピクセルに対するその後のオプティカルフローベースの技術の実施とによって候補ピクセルの検出における誤検出を低減することができる。
【００５４】
実施形態により、プロセッサ２０２は、ビデオフレーム（又はビデオフレームのある領域）内の動きぶれの広がりが予め決められた動きぶれ閾値を超えたか否かを決定することができる。そのような動きぶれは、ビデオフレーム（又はその領域）内の照明の動き誘起変化に起因する可能性がある。動きぶれの広がりが予め決められた動きぶれ閾値を超えた場合に、ビデオフレームは、それ以上解析されない場合があり、ビデオフレーム（又はその領域）内の煙検出は、割愛することができる。従って、候補ブロック内の動きぶれ又はハロー効果によって生成される誤検出候補ピクセルを防止することができる。例えば、プロセッサ２０２は、動きぶれ領域のサイズ及び／又は動きぶれ領域内の平均ピクセル強度を決定することができる。動きぶれ領域のサイズがサイズ閾値よりも大きい及び／又は動きぶれ領域内の平均ピクセル強度が強度閾値よりも高い場合に、プロセッサ２０２は、ビデオフレーム（又はその領域）をそれ以上処理しない場合がある。従って、この場合に、ビデオフレーム（又はその領域）内の煙の決定を割愛することができる。
【００５５】
当業者は、ビデオフレーム（又はその領域）内の煙の存在がビデオフレーム（又はその領域）内の動きの誤った推定を招く可能性があることを理解するであろう。ある一定のシナリオでは、この誤った推定動きぶれは、予め決められた動きぶれ閾値よりも大きい可能性がある。そのような場合に、ビデオフレーム（又はその領域）を煙検出に向けて処理しないことができ、従って、割愛することができる。しかし、上述のように、煙の存在下であってもエッジピクセルは感知可能である可能性がある。従って、エッジピクセルの検出は、動き推定において誤差を低減することができ、それによって煙検出のためのビデオフレーム（又はその領域）の誤った割愛が低減される。
【００５６】
実施形態により、候補ピクセル検出器２１０は、ビデオフレーム内に共起する画像ブロック（特定画像ブロックの近くにある画像ブロック等）内に煙が存在するか否かを検査することができる。煙が共起画像ブロックに存在するか、又は共起画像ブロックが、煙を含む可能性がある１又は２以上の候補ピクセルを有する場合に、候補ピクセル検出器２１０は、この特定画像ブロックを候補ブロックとして指定することができる。候補ピクセル検出器２１０は、候補ブロック内のピクセルを候補ピクセルとして指定することができる。そのようなシナリオでは、候補ピクセル検出器２１０は、候補ピクセルを検出するために候補ブロックを解析しない場合がある。その後に、プロセッサ２０２は、候補ブロック内で誤検出候補ピクセルを識別し、次いで、そのような誤検出候補ピクセルをこのブロックから刈り込むことができる。
【００５７】
実施形態により、プロセッサ２０２は、現在のビデオフレーム内の領域を識別するために「条件１」及び「条件２」等の１又は２以上の条件を検査することができる。そのような領域は、画像取り込みデバイスの移動を包含する可能性がある。「条件１」及び「条件２」等の１又は２以上の条件は、次式として表すことができる。
条件１：
0006573084.tif 000010
条件２：
0006573084.tif 000011
ここで、
0006573084.tif 000012
は、現在のビデオフレーム内の非静止エッジピクセルの個数を表し、
「Ｎ（Ｉ＿ｅｄｇｅ）」は、現在のビデオフレーム内のエッジピクセルの個数を表し、
「ｒａｔｉｏ＿ｓｍｏｋｅ」は、現在のビデオフレーム内のピクセルの全個数に対する候補ピクセルの個数の比を表している。
【００５８】
すなわち、プロセッサ２０２は、現在のビデオフレーム内のエッジピクセルの全個数に対する非静止エッジピクセルの個数の比が値「１５パーセント」よりも大きいか否かを決定するために条件「条件１」を検査することができる。プロセッサ２０２は、現在のビデオフレーム内の煙（候補ピクセル等）の百分率が値「５パーセント」よりも小さいことを検査することができる。更に、プロセッサ２０２は、現在のビデオフレーム内のエッジピクセルの全個数に対する非静止エッジピクセルの比が値「６０パーセント」よりも大きいか否かを決定するために条件「条件２」を検査することができる。２つの条件のいずれかが満たされた場合に、プロセッサ２０２は、識別領域（対応する非静止エッジピクセルを含む）が、少なくとも画像取り込みデバイスの移動を包含する動きぶれ領域であると決定することができる。プロセッサ２０２は、識別したそのような動きぶれ領域内に取り囲まれるピクセルを誤検出候補ピクセルとして識別し、識別したピクセルを１又は２以上の候補ピクセルから排除することができる。
【００５９】
実施形態により、プロセッサ２０２は、１又は２以上のビデオフレームからの前のビデオフレーム内で非組織物体（手術器具又は手術ガーゼ等）を包含する領域を識別するためにアーチファクト検出技術を使用することができる。実施形態により、煙検出中に、プロセッサ２０２は、前のビデオフレームの識別非組織領域に対応する現在のビデオフレーム内の領域を考慮しない場合がある。それによって前のビデオフレームの非組織領域を現在のビデオフレーム内の候補ピクセルの識別中に除外することができる。現在のビデオフレーム内の候補ピクセルの識別の後に、プロセッサ２０２は、そのような非組織領域に対して実施された拡張演算に基づいて前のビデオフレームの非組織領域のスパン（又は場所）を現在のビデオフレーム内で拡張することができる。その後に、プロセッサ２０２は、現在のビデオフレームの候補ピクセルを含む１又は２以上の煙ブロックと拡張された非組織領域との間の重ね合わせ（又は交差）の広がりを次の表現式として決定することができる。
0006573084.tif 000013
ここで、「Ｉsmoke」は、現在のビデオフレーム内で１又は２以上の候補ピクセルを含む煙ブロックの平均ピクセル強度を表し、
0006573084.tif 000014
は、前のビデオフレーム内のツールブロック等の非組織ブロックの平均ピクセル強度を表し、
0006573084.tif 000015
は、前のビデオフレーム内のガーゼブロック等の非組織ブロックの平均ピクセル強度を表している。
【００６０】
次いで、プロセッサ２０２は、１又は２以上の煙ブロックと拡張非組織領域の間の重ね合わせ又は交差の広がりを「９５パーセント」等の第３の予め決められた閾値と比較することができる。重ね合わせ範囲が「９５パーセント」等の第３の予め決められた閾値を超えた場合に、プロセッサ２０２は、そのような１又は２以上の煙ブロック内の候補ピクセルを非組織物体を包含する動きぶれ領域のピクセルとして識別することができる。従って、前のビデオフレームの拡張アーチファクト（非組織）領域が煙飽和状態にあると検出された場合に、そのような領域内で検出された煙は、そのようなアーチファクトの動きによって引き起こされた動きぶれに起因する場合がある。更に、ある事例では、拡張アーチファクト領域は、ツール及びガーゼ等のアーチファクトの影を含む可能性もある。刈り込みエンジン２１２は、識別された全てのそのようなピクセルを誤検出候補ピクセルとして１又は２以上の候補ピクセルから排除することができる。
【００６１】
実施形態により、プロセッサ２０２は、１又は２以上の候補ピクセルに対して「条件３」及び「条件４」等の１又は２以上の条件を検査するように更に構成することができる。プロセッサ２０２は、次式で表される「条件３」及び「条件４」等の１又は２以上の条件に基づいて１又は２以上の候補ピクセルを刈り込むことができる。
条件３：
0006573084.tif 000016
条件４：
0006573084.tif 000017
ここで、
0006573084.tif 000018
は、候補ピクセルを含む画像ブロックの平均ピクセル強度を表し、
「ｍａｘ（Ｒ，Ｇ，Ｂ）」は、候補ピクセルの赤、緑、及び青の色成分からの最大値を表し、
「ｍｉｎ（Ｒ，Ｇ，Ｂ）」は、候補ピクセルの赤、緑、及び青の色成分からの最小値を表している。
【００６２】
すなわち、プロセッサ２０２は、候補ピクセルを包含する各画像ブロックの平均ピクセル強度値が「３０から２４０まで」等の特定の範囲にあるか否かを決定するために条件「条件３」を検査することができる。更に、プロセッサ２０２は、各候補ピクセルのＲＧＢ色成分の最小値と最大値の間の差が「１２０」等の閾値よりも小さいか否かを決定するために条件「条件４」を検査することができる。プロセッサ２０２は、条件「条件３」及び「条件４」のうちの１又は２以上が満たされない候補ピクセルを識別することができる。次いで、刈り込みエンジン２１２は、識別されたそのようなピクセルを誤検出候補ピクセルとして１又は２以上の候補ピクセルから排除することができる。条件「条件３」は、刈り込まれる候補ピクセルが中程度のホワイト値を有することを確実にすることができる。更に、条件「条件４」は、刈り込まれる候補ピクセルが低い彩度値を有することを確実にすることができる。
【００６３】
実施形態により、プロセッサ２０２は、現在のビデオフレーム内の過渡的な不規則模様に関して検査を行うように更に構成することができる。プロセッサ２０２は、差異画像の各画像ブロック「Ｅblock_i」のヒストグラムに関して決定されたエントロピーを「０．９」等の第４の予め決められた閾値と比較するように構成することができる。更に、プロセッサ２０２は、差異画像内の各画像ブロックの平均ピクセル強度を「０．５」等の第５の予め決められた閾値と比較するように構成することができる。画像ブロックのエントロピーが「０．９」等の第４の予め決められた閾値よりも小さく、かつこの画像ブロックの平均ピクセル強度が「０．５」等の第５の予め決められた閾値よりも高かった場合に、プロセッサ２０２は、この画像ブロックが過渡的不規則模様を有する可能性があることを検出することができる。実施形態により、プロセッサ２０２は、検出されたそのようなブロックのピクセルを１又は２以上の候補ピクセルに追加することができる。それによって煙を含む可能性があるが、他の点ではそのような画像ブロックの過渡的不規則模様に起因して検出されないことになる画像ブロックの検出を補助することができる。
【００６４】
実施形態により、刈り込みエンジン２１２は、１又は２以上の候補ピクセルから１又は２以上の誤検出候補ピクセルを排除することによって１又は２以上の候補ピクセルを刈り込むように構成することができる。次いで、プロセッサ２０２は、１又は２以上の候補ピクセルの刈り込みに基づいて現在のビデオフレーム内の部分可視領域内で煙領域を決定することができる。当業者は、様々な予め決められた閾値の値が例示的値であることを理解するであろう。予め決められた閾値の値は、実施及びユーザ要件に基づいて本発明の開示の範囲から逸脱することなく変えることができる。
【００６５】
実施形態により、カメラ制御ユニット２１８は、現在のビデオフレーム内の煙領域の決定に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定に対する最適値を決定するように構成することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明を含むことができるがこれらに限定されない。実施形態により、１又は２以上の画像取り込み設定の最適値は、煙領域のサイズ、煙領域内の平均ピクセル強度、又は煙領域の１又は２以上の特徴等の１又は２以上の条件に基づいて決定することができる。一部の実施形態において、最適値の決定は、ユーザ指定基準に基づくことができる。カメラ制御ユニット２１８は、１又は２以上の画像取り込み設定の最適値を送受信機２０４を通じて画像取り込みデバイスに送信するように構成することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定は、カメラ制御ユニット２１８によって送られたそれぞれの最適値に基づいて調節することができる。
【００６６】
実施形態により、ＵＩマネージャ２１６は、１又は２以上の画像取り込み設定の最適値をユーザ端末１０８のＵＩを通じてユーザに提示することができる。ＵＩマネージャ２１６は、ユーザがユーザ端末１０８のＵＩを通じて最適値を確認又は調節することを可能にすることができる。ＵＩマネージャ２１６は、最適値の確認又は調節を示すユーザ入力をユーザ端末１０８から送受信機２０４を通じて受信することができる。その後に、カメラ制御ユニット２１８は、ユーザ入力に基づいて最適値を更新し、更新した最適値を送受信機２０４を通じて画像取り込みデバイスに送信することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定は、カメラ制御ユニット２１８から受信した更新された最適値に基づいて調節することができる。
【００６７】
実施形態により、ＵＩマネージャ２１６は、手術場面インタフェースをユーザ端末１０８の医師等のユーザに提示するように構成することができる。手術場面インタフェースは、ユーザ端末１０８の表示デバイス上でユーザ端末１０８のＵＩを通じてユーザに提示することができる。実施形態により、手術場面インタフェースは、現在のビデオフレームを含む１又は２以上のビデオフレームをユーザに表示するように構成することができる。検出煙領域は、手術場面インタフェースを通してユーザに表示される現在のビデオフレーム内で隠されるか又は強調表示することができる。手術場面インタフェースの例示的シナリオに対しては図５Ａ及び図５Ｂで説明する。
【００６８】
実施形態により、ＵＩマネージャ２１６は、現在のビデオフレーム内の煙領域の決定を示す通知を発生させるように更に構成することができる。ＵＩマネージャ２１６は、発生させた通知をユーザ端末１０８に送ることができる。通知は、ユーザ端末１０８のＵＩを通じてユーザに提示することができる。煙領域の決定のための１又は２以上のビデオフレームの実時間解析又はオンライン解析の場合に、ＵＩマネージャ２１６は、発生させた通知を送受信機２０４を通じて手術デバイス１０２に送信することができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚フィードバックを含むことができるがこれらに限定されない。
【００６９】
図３は、本発明の開示の実施形態による例示的ユーザ端末を示すブロック図である。図３を図１に記載の要素に関連付けて説明する。図３を参照すると、ユーザ端末１０８が示されている。ユーザ端末１０８は、プロセッサ３０２等の１又は２以上のプロセッサと、送受信機３０４等の１又は２以上の送受信機と、メモリ３０６と、クライアントインタフェースユニット３０８と、表示デバイス３１４とを含むことができる。クライアントインタフェースユニット３０８は、ＵＩマネージャ３１０と表示アダプタ３１２とを含むことができる。プロセッサ３０２は、送受信機３０４、メモリ３０６、クライアントインタフェースユニット３０８、及び表示デバイス３１４に通信的に結合することができる。送受信機３０４は、画像処理サーバ１０４及び／又は手術デバイス１０２と通信ネットワーク１１０を通じて通信するように構成することができる。
【００７０】
プロセッサ３０２は、メモリ３０６に格納された命令セットを実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ３０２は、当業技術で公知のいくつかのプロセッサ技術に基づいて実施することができる。プロセッサ３０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、及び／又は他のプロセッサとすることができる。
【００７１】
送受信機３０４は、通信ネットワーク１１０を通じて画像処理サーバ１０４及び／又は手術デバイス１０２と通信する（図１に示すように）ように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。送受信機３０４は、ユーザ端末１０８と通信ネットワーク１１０との有線又は無線の通信をサポートする公知の技術を実施することができる。送受信機３０４は、アンテナ、無線周波（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタル信号プロセッサ、符号復号器（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができるがこれらに限定されない。
【００７２】
送受信機３０４は、インターネット、イントラネット等のネットワークとの無線通信、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワークとの無線通信を通じて通信することができる。無線通信は、移動通信のためのグローバルシステム（ＧＳＭ（登録商標））、拡張データＧＳＭ（登録商標）環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ  ８０２．１１ａ、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、及び／又はＩＥＥＥ  ８０２．１１ｎ等）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールのためのプロトコル、インスタントメッセージ、及び／又はショートメッセージサービス（ＳＭＳ）等の複数の通信規格、プロトコル、及び技術のうちのいずれも使用することができる。
【００７３】
メモリ３０６は、プロセッサ３０２によって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを格納するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。メモリ３０６の実施例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及び／又はセキュアデジタル（ＳＤ）カードを含むことができるがこれらに限定されない。
【００７４】
クライアントインタフェースユニット３０８は、ユーザ端末１０８上に提示されている１又は２以上のＵＩをレンダリングし、管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、クライアントインタフェースユニット３０８は、プロセッサ３０２の一部とすることができる。これに代えて、クライアントインタフェースユニット３０８は、ユーザ端末１０８内の個別のプロセッサ又は回路として実施することができる。例えば、クライアントインタフェースユニット３０８は、プロセッサ３０２に通信的に結合された専用グラフィックプロセッサ又はグラフィックチップセットとして実施することができる。実施形態により、クライアントインタフェースユニット３０８とプロセッサ３０２は、クライアントインタフェースユニット３０８とプロセッサ３０２の機能を実施する統合プロセッサ又はプロセッサクラスターとして実施することができる。別の実施形態により、クライアントインタフェースユニット３０８は、プロセッサ３０２による実行時にクライアントインタフェースユニット３０８の機能を実施することができるメモリ３０６に格納されたコンピュータプログラムコードとして実施することができる。
【００７５】
ＵＩマネージャ３１０は、ユーザ端末１０８のＵＩを管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ＵＩマネージャ３１０は、ユーザ端末１０８の入力デバイス（図３には示していない）を通して、ユーザ端末１０８のＵＩを通じて受信されるユーザ入力を受信かつ処理するように更に構成することができる。実施形態により、入力デバイスは、ユーザ端末１０８に通信的に結合する（又はそこに含める）ことができる。入力デバイスの例は、キーボード、マウス、ジョイスティック、トラックパッド、音声対応入力デバイス、タッチ対応入力デバイス、及び／又は動作対応入力デバイスを含むことができるがこれらに限定されない。
【００７６】
実施形態により、ＵＩマネージャ３１０は、画像処理サーバ１０４のＵＩマネージャ２１６と送受信機３０４を通して通信するように更に構成することができる。そのような通信は、手術場面インタフェースに対応する情報の受信を容易にすることができる。その後に、ＵＩマネージャ３１０は、手術場面インタフェースをユーザ端末１０８のＵＩを通じて提示することができる。
【００７７】
表示アダプタ３１２は、ＵＩマネージャ３１０と表示デバイス３１４とをインタフェースで接続するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、表示アダプタ３１２は、表示デバイス３１４の表示構成に基づいてユーザ端末１０８のＵＩのレンダリング及び表示特性の調節を実施することができる。表示調節を実施するために使用することができる１又は２以上の技術の例は、画像改善、画像安定化、コントラスト調節、輝度調節、解像度調節、及び／又は歪み／回転の調節を含むことができるがこれらに限定されない。
【００７８】
表示デバイス３１４は、ＵＩをレンダリングするように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、表示デバイス３１４は、ユーザ端末１０８の一部として実施することができる。別の実施形態により、表示デバイス３１４は、ユーザ端末１０８に通信的に結合することができる。表示デバイス３１４は、ブラウン管（ＣＲＴ）ベースのディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ベースのディスプレイ、有機ＬＥＤディスプレイ技術、及びＲｅｔｉｎａディスプレイ技術等であるがこれらに限定されないいくつかの公知の技術を用いて実現することができる。更に、実施形態により、表示デバイス３１４は、ユーザから入力を受信することができる。そのようなシナリオでは、表示デバイス３１４は、ユーザが入力を与えることを可能にするタッチスクリーンとすることができる。実施形態により、タッチスクリーンは、抵抗タッチスクリーン、容量タッチスクリーン、又は熱タッチスクリーンのうちの少なくとも１つに対応することができる。実施形態により、表示デバイス３１４は、仮想キーパッド、スタイラス、動作ベースの入力、及び／又はタッチベースの入力を通して入力を受信することができる。そのような場合に、入力デバイスは、表示デバイス３１４内に統合することができる。これに加えて、実施形態により、ユーザ端末１０８は、タッチスクリーンベースの表示デバイス３１４とは別に補助的な入力デバイスを含むことができる。
【００７９】
作動時には、ユーザ端末１０８の送受信機３０４は、画像処理サーバ１０４のＵＩマネージャ２１６から通信ネットワーク１１０を通じて手術場面インタフェースに対応することができる情報を受信することができる。実施形態により、その後に、ユーザ端末１０８のＵＩマネージャ３１０は、手術場面インタフェースをユーザ端末１０８のＵＩを通じてユーザに提示することができる。実施形態により、手術場面インタフェースは、現在のビデオフレームを含む１又は２以上のビデオフレームをユーザに提示することができる。実施形態により、現在のビデオフレームがユーザに表示される時に、現在のビデオフレーム内で決定された煙領域は、隠されるか又は強調表示することができる。手術場面インタフェースの例に対しては、図５Ｂでより詳細に説明する。
【００８０】
実施形態により、手術場面インタフェースによって提示される１又は２以上のビデオフレームは、手術手順又は診断手順が実施される間に画像取り込みデバイスによって取り込まれる実時間ビデオ映像とすることができる。そのような場合に、画像処理サーバ１０４は、１又は２以上のビデオフレームのうちの現在のビデオフレーム内で煙領域を決定するために実時間ベース（オンライン処理）で１又は２以上のビデオフレームを解析することができる。決定された煙領域は、手術場面インタフェースを通して現在のビデオフレーム内の隠された領域又は強調表示領域としてユーザに同時に提示することができる。
【００８１】
実施形態により、手術場面インタフェースは、決定された煙領域を示す通知をユーザに提示するように更に構成することができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚警告を含むことができるがこれらに限定されない。ユーザ（医師等）に対して、通知に基づいて行動を起こすように促すことができる。例えば、手術場面インタフェースは、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節するようにユーザに促すことができる。実施形態により、画像処理サーバ１０４のカメラ制御ユニット２１８は、煙領域の決定に基づいて１又は２以上の画像取り込み設定に対する最適値を決定するように構成することができる。手術場面インタフェースは、これらの最適値を１又は２以上の画像取り込み設定に対する提案値としてユーザに提示することができる。ユーザは、ユーザに提示された提案値に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定の調節に加えて、ユーザ（医師等）は、患者の解剖学的領域から煙を取り除くための煙除去手順を実施することができる。
【００８２】
図４は、本発明の開示の実施形態による解剖学的手術のビデオフレーム内の煙検出のための方法を示す例示的流れ図を示している。図４を図１及び図２に記載の要素に関連付けて説明する。図４を参照すると、流れ図４００が示されている。流れ図４００は、ビデオフレーム４０２と、解剖学的領域４０４と、手術器具４０６と、１又は２以上の候補ピクセル４１０と、刈り込まれた候補ピクセル４１２と、煙領域４１４とを含む。流れ図４００は、手術手順又は診断手順中に画像取り込みデバイスによって取り込むことができるビデオフレームのスナップショット（ビデオフレーム４０２として示す）を示している。ビデオフレーム４０２は、手術器具４０６を用いて手術手順又は診断手順を実施することができる解剖学的領域４０４を示している。ビデオフレーム４０２は、煙領域を包含することができる部分可視領域４０８を更に例示している。
【００８３】
画像処理サーバ１０４の候補ピクセル検出器２１０は、部分可視領域４０８を推定するためにビデオフレーム４０２を解析するように構成することができる。候補ピクセル検出器２１０は、部分可視領域４０８内の１又は２以上の候補ピクセル４１０を検出するように更に構成することができる。実施形態により、画像処理サーバ１０４のプロセッサ２０２は、１又は２以上の候補ピクセル４１０から１又は２以上の誤検出候補ピクセルを決定するように構成することができる。刈り込みエンジン２１２は、１又は２以上の候補ピクセル４１０からの決定された１又は２以上の誤検出候補ピクセルの排除に基づいて１又は２以上の候補ピクセル４１０を刈り込むように構成することができる。流れ図４００には刈り込まれた候補ピクセルを４１２で例示している。プロセッサ２０２は、刈り込まれた候補ピクセル４１２に基づいてビデオフレーム４０２内で煙領域４１４を決定するように更に構成することができる。
【００８４】
図５Ａ及び図５Ｂは、本発明の開示の実施形態によるユーザ端末１０８上に提示することができるＵＩの例示的シナリオを示している。図５Ａ及び図５Ｂを図１の要素に関連付けて説明する。図５Ａ及び図５Ｂを参照すると、ユーザ端末１０８のユーザに提示することができるユーザインタフェース（ＵＩ）５００の事例が示されている。
【００８５】
図５Ａに関しては、ＵＩ５００の第１の例示的シナリオが示されている。ＵＩ５００は、１又は２以上のビデオフレームをユーザに提示するための手術場面インタフェース５０２を表示するように構成することができる。例えば、図５Ａに示すように、手術場面インタフェース５０２は、患者の解剖学的領域５０４の斜視断面図のスナップショットを含むビデオフレームを表示することができる。スナップショットは、解剖学的領域５０４に対して手術手順又は診断手順が実施される間に取り込むことができる。スナップショット内に示すように、手術手順又は診断手順は、手術ガーゼ５０８等の１又は２以上の手術ガーゼと、手術鉗子５０６及び内視鏡手術器具５１０等の１又は２以上の手術器具とを用いて実施することができる。例えば、図５Ａに示すように、内視鏡手術器具５１０を用いて手術手順又は診断手順が実施される時に、解剖学的領域５０４の面は、手術鉗子５０６を用いて保持することができる。更に、手術手順又は診断手順が実施される間に滲出する可能性がある血液又は他の体液を吸収するために手術ガーゼ５０８を使用することができる。図５Ａには単一手術ガーゼ及び２つの手術器具しか示していないが、手術手順又は診断手順を実施するのに本発明の開示の範囲から逸脱することなく１又は２以上の追加の手術ガーゼ及び／又は手術器具を使用することができる。図５Ａに示すように、スナップショットは、第１の領域５１２ａ、第２の領域５１２ｂ、第３の領域５１２ｃ、第４の領域５１２ｄ、第５の領域５１２ｅ、及び第６の領域５１４等の様々な部分可視領域を更に例示している。
【００８６】
作動時には、手術場面インタフェース５０２内への特定のビデオフレームの表示の前に、画像処理サーバ１０４は、ビデオフレームを解析することができる。一部の実施形態において、画像処理サーバ１０４の候補ピクセル検出器２１０は、図５Ａに示すビデオフレームの部分可視領域として領域５１２ａから５１２ｅ及び５１４を推定することができる。その後に、候補ピクセル検出器２１０は、ビデオフレームの各部分可視領域内で１又は２以上の候補ピクセルを検出することができる。更に、画像処理サーバ１０４の刈り込みエンジン２１２は、１又は２以上の候補ピクセルからの１又は２以上の誤検出候補ピクセルの排除に基づいて１又は２以上の候補ピクセルを刈り込むことができる。実施形態により、１又は２以上の誤検出候補ピクセルは、ビデオフレームの動きぶれ領域又はハロー効果領域に対応することができる。
【００８７】
例えば、第１の領域５１２ａは、内視鏡手術器具５１０を包含する場合があるハロー影響領域である可能性がある。領域５１２ｂから５１２ｅは、ビデオフレーム内の動きぶれ領域である可能性がある。第２の領域５１２ｂは、内視鏡手術器具５１０の移動によって引き起こされる動きぶれによる影響を受ける可能性がある。第３の領域５１２ｃは、手術ガーゼ５０８の移動に起因する動きぶれを受ける可能性がある。更に、第４の領域５１２ｄは、手術鉗子５０６の近くの解剖学的領域５０４の組織の移動に起因する動きぶれによる影響を受ける可能性がある。更に、第５の領域５１２ｅは、画像取り込みデバイスの移動に起因する動きぶれを受ける領域である可能性がある。プロセッサ２０２は、領域５１２ａから５１２ｅが誤検出候補ピクセルを取り囲んでいると決定することができる。
【００８８】
図５Ｂを参照すると、候補ピクセルを刈り込むために刈り込みエンジン２１２が１又は２以上の候補ピクセルからそのような誤検出候補ピクセルを排除する時のＵＩ５００の第２の例示的シナリオが示されている。プロセッサ２０２は、候補ピクセルの刈り込みに基づいて第６の領域５１４（図５Ａ）のみが煙領域であると決定することができる。手術場面インタフェース５０２は、ビデオフレームがユーザに提示されている間にビデオフレーム内で決定された煙領域を隠すか又は強調表示することができる。例えば、第６の領域５１４をビデオフレーム内の煙領域として決定することができる。図５Ｂのビデオフレームのスナップショット内に示すように、第６の領域５１４内の煙を強調表示するために第６の領域５１４を点線境界５１６でマーク付けすることができる。
【００８９】
実施形態により、手術場面インタフェース５０２は、ビデオフレーム内で点線境界５１６によって取り囲まれた第６の領域５１４等の煙領域の決定を示すためにユーザに通知を提示するように更に構成することができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚警告を含むことができるがこれらに限定されない。ビデオフレームが実時間で提示される場合に、手術場面インタフェース５０２は、通知に基づいて特定の行動を起こすようにユーザ（医師等）に促すことができる。例えば、手術場面インタフェース５０２は、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節するようにユーザに促すことができる。手術場面インタフェース５０２は、１又は２以上の画像取り込み設定に対する最適値を提案することができる。ユーザは、ユーザに提示された提案最適値に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定の調節に加えて、ユーザ（医師等）は、患者の解剖学的領域から煙を取り除くための煙除去手順を実施することができる。当業者は、ＵＩ５００が例証目的のために提供されたものであり、本発明の開示の範囲を限定するものと解釈すべきではないことを理解するであろう。
【００９０】
本発明の開示の様々な実施形態は、多くの利点を包含することができる。上記で解説したように、画像処理サーバ１０４は、１又は２以上のビデオフレームからの現在のビデオフレーム内で煙領域を実時間で決定するために１又は２以上のビデオフレームを解析することができる。１又は２以上のビデオフレームの解析中に、画像処理サーバ１０４は、現在のビデオフレーム内の部分可視領域を推定し、次いで、部分可視領域内で候補ピクセルを検出することができる。次いで、画像処理サーバ１０４は、煙領域を決定するために検出した候補ピクセルから誤検出候補ピクセルを刈り込んで排除することができる。そのような誤検出候補ピクセルは、動きぶれ又はハロー効果による影響を受ける領域に位置する場合があり、従って、煙と同じく見える可能性がある。従って、そのような誤検出候補ピクセルの排除は、画像処理サーバ１０４による煙検出の精度及びロバスト性を高めることができる。
【００９１】
手術手順又は診断手順中に、画像処理サーバ１０４は、煙の検出を示すことができる通知を医師に実時間で提供することができる。実時間通知に基づいて、医師は、手術手順又は診断手順が実施される間に煙除去手順を開始することができる。更に、解説するように、画像処理サーバ１０４は、医師が、現在のビデオフレーム内の煙領域の決定に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することを可能にすることができる。１又は２以上の画像取り込み設定におけるそのような調節は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームの品質の実時間の改善に役立たせることができる。
【００９２】
図６は、本発明の開示の実施形態による解剖学的手術中の煙検出のための例示的方法を示す例示的流れ図である。図６を参照すると、流れ図６００が示されている。流れ図６００を図１及び図２に関連付けて説明する。本方法は、段階６０２で始まって段階６０４に進行する。
【００９３】
段階６０４において、１又は２以上のビデオフレームからの現在のビデオフレーム内で部分可視領域を推定することができる。実施形態により、患者の解剖学的領域に対して実施される手術手順又は診断手順中に、１又は２以上のビデオフレームを画像取り込みデバイスによって取り込むことができる。実施形態により、画像処理サーバ１０４の候補ピクセル検出器２１０は、現在のビデオフレーム内で部分可視領域を推定するように構成することができる。実施形態により、部分可視領域は、少なくとも１又は２以上のビデオフレームからの現在のビデオフレームと前のビデオフレームの間の時間的差異に基づいて推定することができる。
【００９４】
段階６０６において、ビデオフレーム内の動きぶれの広がりが予め決められた動きぶれ閾値を超えたか否かを決定するための検査が実施される。実施形態により、画像処理サーバ１０４のプロセッサ２０２は、ビデオフレーム内の動きぶれの広がりを予め決められた閾値と比較するように構成することができる。例えば、プロセッサ２０２は、ビデオフレーム内で動きぶれを含む領域を決定するためにビデオフレームを解析することができる。その後に、プロセッサ２０２は、そのような領域内のピクセルのサイズ及び／又は平均強度を決定することができる。プロセッサ２０２は、動きぶれ領域のサイズをサイズ閾値と比較し、かつ動きぶれ領域の平均ピクセル強度を強度閾値と比較することができる。動きぶれ領域のサイズ及び平均ピクセル強度がサイズ閾値及び強度閾値それぞれを超えた場合に、プロセッサ２０２は、ビデオフレーム内の動きぶれの広がりが予め決められた動きぶれ閾値を超えたと決定することができる。ビデオフレーム内の動きぶれの広がりが予め決められた動きぶれ閾値を超えた場合に、制御は終了段階６１８に渡される。従って、この場合に、ビデオフレーム内の煙の決定を割愛することができ、ビデオフレームは、それ以上処理及び／又は解析しない場合がある。そうでなければ制御は段階６０８に渡される。
【００９５】
段階６０８において、ビデオフレームの共起画像ブロック内に煙が存在するか否かを決定するための検査が実施される。実施形態により、候補ピクセル検出器２１０は、ビデオフレームの共起画像ブロック内に煙が存在するか否かを検査するように構成することができる。共起画像ブロックは、解析下にある特定画像ブロックの近くに位置する可能性がある画像ブロックに対応することができる。共起画像ブロック内に煙が存在するか、又は共起画像ブロックが、煙を含む可能性がある１又は２以上の候補ピクセルを有する場合に、候補ピクセル検出器２１０は、この特定画像ブロックを候補ブロックとして指定することができる。候補ピクセル検出器２１０は、そのようなブロック内のピクセルを候補ピクセルとして指定することができる。そのようなシナリオでは、候補ピクセル検出器２１０は、候補ピクセルを検出するためにこのブロックを解析しない場合がある。従って、そのようなシナリオでは、段階６１０を割愛することができ、制御は、段階６１２に移ることができる。しかし、共起画像ブロック内に煙が存在しない及び／又は共起画像ブロック内で候補ピクセルが検出されない場合には、制御は、段階６１０に移ることができる。
【００９６】
段階６１０において、推定部分可視領域内で、１又は２以上の候補ピクセルを検出することができる。実施形態により、候補ピクセル検出器２１０は、推定部分可視領域内で１又は２以上の候補ピクセルを検出するように構成することができる。一部の実施形態において、１又は２以上の候補ピクセルは、少なくとも現在のビデオフレームと前のビデオフレームとの対応する画像ブロックの平均強度の差に基づいて検出することができる。実施形態により、１又は２以上の候補ピクセルは、煙ブロック、組織ブロック、又は非組織ブロックであるがこれらに限定されないもののうちの１又は２以上に対応することができる。
【００９７】
段階６１２において、検出された１又は２以上の候補ピクセルから１又は２以上の誤検出候補ピクセルを決定することができる。実施形態により、画像処理サーバ１０４のプロセッサ２０２は、検出された１又は２以上の候補ピクセルから１又は２以上の誤検出候補ピクセルを決定するように構成することができる。１又は２以上の誤検出候補ピクセルの例は、現在のビデオフレーム内の動きぶれ領域内の第１のピクセルセット及び現在のビデオフレーム内のハロー効果領域内の第２のピクセルセットを含むことができるがこれらに限定されない。
【００９８】
段階６１４において、検出された１又は２以上の候補ピクセルを刈り込むことができる。実施形態により、刈り込みエンジン２１２は、検出された１又は２以上の候補ピクセルからの決定された１又は２以上の誤検出候補ピクセルの排除により、検出された１又は２以上の候補ピクセルを刈り込むように構成することができる。
【００９９】
段階６１６において、現在のビデオフレームの推定部分可視領域内で煙領域を決定することができる。実施形態により、プロセッサ２０２は、検出された１又は２以上の候補ピクセルの刈り込みに基づいて推定部分可視領域内で煙領域を決定するように構成することができる。制御は、終了段階６１８に渡される。
【０１００】
本発明の開示の実施形態により、解剖学的手術中の煙検出のためのシステムを開示する。システムは、画像取り込みデバイス（図１には示していない）に通信ネットワーク１１０を通じて通信的に結合された画像処理サーバ１０４を含むことができる。画像取り込みデバイスは、解剖学的手術中に１又は２以上のビデオフレームを取り込むように構成することができる。画像処理サーバ１０４は、１又は２以上のビデオフレームからの現在のビデオフレームと前のビデオフレームとの間の時間的差異に基づいて現在のビデオフレーム内で部分可視領域を推定するように構成することができる。画像処理サーバ１０４は、現在のビデオフレーム内の推定部分可視領域内で１又は２以上の候補ピクセルを検出するように更に構成することができる。これに加えて、画像処理サーバ１０４は、検出した１又は２以上の候補ピクセルの刈り込みに基づいて部分可視領域内で煙領域を決定するように構成することができる。
【０１０１】
本発明の開示の様々な実施形態は、解剖学的手術中の煙検出に向けて機械及び／又はコンピュータによって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムが格納された非一時的コンピュータ可読媒体及び／又はストレージ媒体、及び／又は非一時的機械可読媒体及び／又はストレージ媒体を提供することができる。画像処理サーバ１０４内にある少なくとも１つのコードセクションは、１又は２以上のビデオフレームからの現在のビデオフレームと前のビデオフレームとの間の時間的差異に基づく現在のビデオフレーム内の部分可視領域の推定を含む段階を機械及び／又はコンピュータに実行させることができる。１又は２以上のビデオフレームは、画像処理サーバ１０４に通信ネットワーク１１０を通じて通信的に結合することができる画像取り込みデバイスによって取り込むことができる。実施形態により、１又は２以上の候補ピクセルは、現在のビデオフレーム内で推定された部分可視領域内で検出することができる。更に、検出された１又は２以上の候補ピクセルの刈り込みに基づいて部分可視領域内で煙領域を決定することができる。
【０１０２】
本発明の開示は、ハードウエア、又はハードウエアとソフトウエアの組合せに実現することができる。本発明の開示は、少なくとも１つのコンピュータシステムにおいて中央集中様式に実現するか、又は相互接続したいくつかのコンピュータシステムにわたって様々な要素を分散させることができる分散様式に実現することができる。本明細書で説明する方法を実施するように適応化されたコンピュータシステム又は他の装置が適切である場合がある。ハードウエアとソフトウエアの組合せは、ロードされて実行された時に、本明細書で説明する方法を実施するようにコンピュータシステムを制御することができるコンピュータプログラムを有する汎用コンピュータシステムとすることができる。本発明の開示は、他の機能も実行する集積回路の一部分を含むハードウエアに実現することができる。
【０１０３】
本発明の開示をある一定の実施形態を参照して記述したが、当業者は、本発明の開示の範囲から逸脱することなく様々な変更を加えることができ、かつ均等物で代用することができることを理解するであろう。これに加えて、本発明の開示の教示に対してその範囲から逸脱することなく特定の状況又は材料を適応させるために多くの修正を加えることができる。従って、本発明の開示は、開示した特定の実施形態に限定されず、むしろ添付の特許請求の範囲に収まる全ての実施形態を含むことになるように意図している。
【符号の説明】
【０１０４】
１００  ネットワーク環境
１０２  手術デバイス
１０４  画像処理サーバ
１０８  ユーザ端末
１１０  通信ネットワーク
【図１】
0006573084.tif 000019
【図２】
0006573084.tif 000020
【図３】
0006573084.tif 000021
【図４】
0006573084.tif 000022
【図５Ａ】
0006573084.tif 000023
【図５Ｂ】
0006573084.tif 000024
【図６】
0006573084.tif 000025